Sobreoptimización y ruptura de sistemas

Expón tus sistemas e indicadores y debátelos con otros usuarios.
Avatar de Usuario
agmageton
Mensajes: 3313
Registrado: 30 Ene 2008 11:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por agmageton » 26 May 2016 11:40

Queda claro entonces, mientras el edge persista, actuaremos sobre el sistema, cuando haya señales que ese edge desaparece o no representa la realidad con la que se ha creado, esta roto, antes de entrar en serio DD, aunque puede pasar que esta última se solape con la primera...sino sería la leche...

Por lo tanto el multi hilo, servirá para verificar la persistencia del edge detectado...muy fácil de entender muy difícil de desarrollar.

saludos.


Prefiero una buena oportunidad con expectativa mediocre, que una mala oportunidad con expectativa excelente, porque la mala oportunidad te hará perder la expectativa.

ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 26 May 2016 11:49

Agma, en realidad el multi hilo nos servirá para comprobar si una lógica tiene "edge" (que no sea una sobreoptimización) y poder caracterizarla con más precisión para monitorizarla adecuadamente...tener expectativas más realistas.
Pero luego el hecho de que haya que comerse el Drawdown o no viene determinado por la base sobre la que se ha construido el sistema, si es cuantitativa...entonces lo que hay que monitorizar es, además de la curva de Equity, la serie temporal.



Avatar de Usuario
agmageton
Mensajes: 3313
Registrado: 30 Ene 2008 11:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por agmageton » 26 May 2016 11:59

Vale, el multi hilo sirve para comprobar que la lógica tiene "edge", pero no sirve para parar el sistema temprano, sino para entender que esa lógica ha desaparecido el edge, para parar el sistema se hace del modo clásico, equity y serie temporal que sigue siendo más eficiente, supongo que la rotura definitiva del edge sobre la lógica. Por lo que podría pasar que parases el sistema, aunque la lógica todavía vuelva a remontar y entonces se podría activar de nuevo...

Tengo ganas ya de leer tu articulo, espabila... :-D


Prefiero una buena oportunidad con expectativa mediocre, que una mala oportunidad con expectativa excelente, porque la mala oportunidad te hará perder la expectativa.

ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 26 May 2016 12:05

No Agma, me debo estar expresando mal.. con el enfoque multihilo pasas de comparar curvas (un hilo) a comparar distribuciones (multihilo). Donde antes tenías puntos de la curva de equity ahora tienes distribuciones.



Avatar de Usuario
agmageton
Mensajes: 3313
Registrado: 30 Ene 2008 11:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por agmageton » 26 May 2016 12:31

Bueno a ver si leo el articulo, porque no entiendo muy bien la implicaciones que tienen las diferentes distribuciones, en la aceptación del edge como "real" que la lógica sea fuerte y no este optimizada. Quizás va por el tema que al tener mayor información se ve mejor si es producto de la optimización o que realmente el edge es fuerte.


Prefiero una buena oportunidad con expectativa mediocre, que una mala oportunidad con expectativa excelente, porque la mala oportunidad te hará perder la expectativa.

Royal
Mensajes: 55
Registrado: 15 Mar 2016 09:19

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Royal » 26 May 2016 12:46

hago una pregunta tonta para roboco ¿diferencia entre Forward Walk y el Forward Walk Optimization nuevo? gracias d eantemano



ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 26 May 2016 13:00

Royal, de eso trata entre otras cosas el próximo artículo. Cuando esté publicado lo comentamos



Rango Starr
Mensajes: 3208
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr » 26 May 2016 13:18

Hola, buenos días.

Interesante discusión. Me gustaría hacer un par de puntualizaciones...

1) trading sistematico..... aquel que utiliza en su concepción una serie de reglas. Aquí los discrecionales por lo general, también son sistematicos. Creo es un error generalizado identificar sistematico con algorítmico, desdeñando la realidad de los discrecionales, que cuentan con reglas. Si eres discrecional, y te mantienes, entonces es que eres "sitematico"........

2) trading quant.... aquel que trata de desarrollarse de forma "matemática"..... pero , decir que no se fundamenta en el "data mining", no corresponde con la realidad. Si tu una estadística, no la creas en base a una minería de datos?, entonces en base a que la creas?

Otra cosa es donde busquemos la "ineficiencia"....... pero esa ineficiencia, deberá ser reflejada en los datos, para verificar que estamos en lo cierto......

por ejemplo, noticias a las 14:30.... verificar la dirección del activo de los últimos 5 minutos antes de la noticia. Si es cierto que existen filtraciones en las noticias, entonces eso quedara reflejado en esos 5 minutos.... como se reflejara?....pues con un alto nivel de correlacion en el sentido de la vela de los 5 minutos, y la dirección de la noticia... (por ejemplo el 75%).....

eso, seria un ejemplo de quant, que deberíamos verificar con minería.......

AGMA,

Trata de imaginar una simulación de Montecarlo, pero en este caso, con las salidas numéricas de todo el rango de salidas posibles de parámetros de la logica..... a eso es a lo que creo se refiere ROBOCO..

Evidentemente los sistemas que se situen en la parte alta del ramillete, estarán sobreoptimizados, y los de la parte baja, infraoptimizados.... la parte central sera la parte robusta de la lógica...aquella que tendrá un comportamiento mas consistente con los resultados en real.... (en teoría).

Saludos!
Última edición por X-Trader el 26 May 2016 13:29, editado 1 vez en total.
Razón: Corregido quántico por quant



ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 26 May 2016 13:44

Rango,

1) Cuando nos referimos a "sistemático" se hace en contraposición de "discreccional" (en las distintas bases de datos institucionales te hacen determinar si eres sistemático o discreccional). La idea es que las señales estén generadas por algoritmos...sean luego ejecutadas de forma automática o manual.

2) La diferencia entre "quant" y "data minning", básicamente es que el primero utiliza el método científico. Es decir plantea una hipótesis y la comprueba. Creo que hay un malentendido aquí...la diferencia está en el Diseño, no en la Evaluación. La evaluación la pueden hacer ambos de la misma forma, con sus estadísticas y tal....pero el Diseño es totalmente distinto.

La ineficiencia tiene una causa, puedes conocerla o no. Un ejemplo muy típico, con una causa fundamental fuerte: el bias de los índices hacia el lado largo...tiene causas: inflacción, suvivorship bias, etc...., la distribución de los precios no está centrada en cero.....pues podrías trabajar el concepto de desarrollar sistemas "sólo largos"...tiene un apoyo empírico y fundamental.....



Avatar de Usuario
agmageton
Mensajes: 3313
Registrado: 30 Ene 2008 11:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por agmageton » 26 May 2016 14:09

Por ejemplo supongamos que los indices desciende a nivel de volatilidad y velocidad un nivel X, se cierran cortos y eso hace subir al precio rápidamente para arriba, decimos que es un pull back, si tu determinas con muchas distribuciones de x1 a x1000 que la media de distribuciones es muy positiva para tus intereses ya sabes que tienes un edge. Hasta que las distribuciones dejen el nivel (que es lo que quiero saber... :-D ) de eficiencia, diremos que ese edge ha desaparecido.

Pero digamos que sabemos que esto pasa, pero la causa fundamental quizás es más difícil de saber realmente para algunos casos, de porque pasa esa ineficiencia, porque quizás es un fondo que ha dominado el mercado en esa época y luego deja de hacerlo, o vete tu a saber...yo tengo claro que mediante lo que dice roboco, se puede llegar a la conclusión que no estamos ante una optimización sino que la causa fundamental florece por su fuerza, pero realmente conocer porque se produce esa ineficiencia seguramente en muchos casos no lo sabremos, y más en el intradía, supongamos que Goldman y simons crean robots que se retroalimentan, y esto hace florecer una anomalía en el mercado que es detectada, hacemos las distribuciones y vemos que sí realmente hay presente un edge, sabemos que esta presente , pero no sabemos en algunos casos que se produce por Goldma y simons y sus robots diabólicos...teniendo en cuenta que el 60% del volumen viene de estas máquinas en índices, un cambio masivo de algoritmos o reglas de estos robots, variaran el edge, como así suele pasar sobretodo en el corto plazo.

En más largos plazos, quizás salvando esta época de dominio de los bancos centrales interviniendo en la economía, los seguidores de tendencia tenían mucho que decir, desde hace algunos años, esto ya ha pasado a mejor vida, ya que las tendencias son más confusas y el precio de montarse en una es mucho más caro por el ruido que genera esa intervención y el camino llano a las máquinas diabólicas.


Prefiero una buena oportunidad con expectativa mediocre, que una mala oportunidad con expectativa excelente, porque la mala oportunidad te hará perder la expectativa.

Rango Starr
Mensajes: 3208
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr » 26 May 2016 15:28

...pues vaya....

4 post que se han ido con el viento.....


en esta tesitura que se vaya a tomar viento el postear ¿no?....

ale hasta luego!!



Avatar de Usuario
clowner
Mensajes: 185
Registrado: 27 Ene 2011 08:23

Re: Sobreoptimización y ruptura de sistemas

Mensaje por clowner » 26 May 2016 15:47

Entonces,

en lugar de cogernos el conjunto parametrico que toque para trabajarlo en real y contrastar el PnL que nos vaya generando (un hilo) con nuestra población de comparacion (OOS), ahora lo que nos cogemos son todos los conjuntos parametricos (imagino que de la zona robusta delimitada en la fase diseño) y generaramos todas las curvas PnL de cada uno de los conjuntos (multihilo) para ese mismo periodo en real, es contra esta distribución con la que vamos a comparar y a determinar si el cacharro esta roto o no, imagino que por la degradación del BMO, NP, PF, SQN, etc. de toda la distribución. ¿Van por ahi los tiros ROBOCO?. Si es asi, tiene todo el sentido del mundo. Puede que nuestra combinación seleccionada este funcionando por azar y echemos un vistazo a todas las curvas de todos los conjuntos en este mismo periodo y empecemos a ver una degradación considerable, bye bye edge!



ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 26 May 2016 16:13

Exacto clowner...por ahí van los tiros. Tu sistema se caracteriza por la distribucion de los hilos, la cual no es constante tampoco en el tiempo. Con este enfoque se pueden medir muchas más cosas y tener expectativas más realistas..también se romperan menos sistemas en caso de que el WF te hubiera dado un hilo demasiado generoso.



Avatar de Usuario
clowner
Mensajes: 185
Registrado: 27 Ene 2011 08:23

Re: Sobreoptimización y ruptura de sistemas

Mensaje por clowner » 26 May 2016 18:00

Gracias ROBOCO,


tienes razón, se me ocurren varias mediciones mas con este enfoque. La pregunta, ¿cuantos conjuntos parametricos?, me explico, lanzamos una optimización gruesa sobre nuestro trozo IS, obtenemos un conjunto con potencial, lanzamos ahora una optimizacion moviendo ahora el rango de valores de cada parámetro de ese conjunto con potencial, por ejemplo, un 40% arriba y abajo, digamos que resulta que la mediana NP, BMO y SQN de todos los conjuntos obtenidos son aceptables y ademas que las curvas resultantes contenidas a +/- 2 Desviaciones y las curvas de sus extremos también tienen estadísticos aceptables. Vuelvo a la pregunta inicial, ¿cuando consideramos que tenemos una muestra de conjuntos lo suficientemente representativa?. o dicho de otra manera, ¿Cuanto de amplio debería de ser el rango robusto de cada parámetro para que consideremos que todas los conjuntos que vamos a obtener no es una muesta de conjuntos sobreoptimizada?. Por ejemplo, si tenemos 3 parámetros y de su optimizacion (porque tenemos rangos estrechos) solo obtenemos una distribución de 40 combinaciones/conjuntos/curvas con mediana +/- 2 Desviaciones con NP, BMO, SQN aceptables, ¿nos serviría esta distribucion para medir?, tenemos una muestra muy pequeña, de solo 40. ¿Donde estarían los limites?, ¿100 conjuntos?, ¿200?.
Última edición por clowner el 26 May 2016 19:17, editado 1 vez en total.



Avatar de Usuario
X-Trader
Administrador
Mensajes: 10762
Registrado: 06 Sep 2004 10:18
Contactar:

Re: Sobreoptimización y ruptura de sistemas

Mensaje por X-Trader » 26 May 2016 18:31

Rango Starr escribió:...pues vaya....

4 post que se han ido con el viento.....


en esta tesitura que se vaya a tomar viento el postear ¿no?....

ale hasta luego!!
Rango, eso que te sucede es muy raro, a nadie más le sucede que yo sepa. Quizás sea tema del navegador o de algún complemento. No sé, dame detalles y lo analizo. De todas formas, si le das para atrás no deberías perder el texto escrito. Asimismo una buena idea es escribirlo en un editor de texto o en Word y pegarlo en el Foro, así nunca lo pierdes.

Saludos,
X-Trader


"Los sistemas de trading pueden funcionar en ciertas condiciones de mercado todo el tiempo, en todas las condiciones de mercado en algún momento del tiempo, pero nunca en todas las condiciones de mercado todo el tiempo."


Responder

Volver a “Sistemas y Estrategias de Trading”