Sobreoptimización y ruptura de sistemas

Expón tus sistemas e indicadores y debátelos con otros usuarios.
ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 27 May 2016 10:37

Claro!,

Imaginad que alguien tiene un sistema que utiliza el dato de PIB porque tiene un algoritmo que de alguna forma aprovecha el caos que se produce a esa hora. Imaginad ahora que el gobierno de USA dice que ya no va a suministrar ese dato nunca más....el sistema se ha quedado sin fundamento....un trader particular que sólo monitorizase la serie de los resultados de su algoritmo para determinar estadísticamente si el sistema se ha roto, tendría que esperar un cerro de trades antes de darse cuenta de que ya no hay ineficiencia. Un quant (o un trader normal que sepa la causa de la ineficiencia) dejaría de usar el sistema al momento de la notificación del gobierno.

Este es un ejemplo extremo pero creo que queda claro



Rango Starr
Mensajes: 3216
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr » 27 May 2016 10:38

Agma, me parecio leer "el mejor hilo".... al ver que no lo ponía, (o bien me jugo una mala pasada la vista, o bien lo rectificaste), borre el comentario.

Es que las verdades absolutas en trading me chirrían... y se que cualquier discrecional que lea el hilo lo mirara con sentido atono..... (ellos hacen readaptación in situ), sus problemas son otros...(de indole mistico)

Saludos!!



Rango Starr
Mensajes: 3216
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr » 27 May 2016 10:46

ROBOCO escribió:Claro!,

Imaginad que alguien tiene un sistema que utiliza el dato de PIB porque tiene un algoritmo que de alguna forma aprovecha el caos que se produce a esa hora. Imaginad ahora que el gobierno de USA dice que ya no va a suministrar ese dato nunca más....el sistema se ha quedado sin fundamento....un trader particular que sólo monitorizase la serie de los resultados de su algoritmo para determinar estadísticamente si el sistema se ha roto, tendría que esperar un cerro de trades antes de darse cuenta de que ya no hay ineficiencia. Un quant (o un trader normal que sepa la causa de la ineficiencia) dejaría de usar el sistema al momento de la notificación del gobierno.

Este es un ejemplo extremo pero creo que queda claro
Justo!!.... el otro dia en un hilo de Agma decía algo parecido.... si sabes que un sistema no va a funcionar... no lo utilices....
o sea, no esperes a que se cumplan los requisitos de dejarlo aparcado. Al final, los precios reflejan un "cierto entorno", alejado del precio en si...situaciones de "psicología de masas", hacen que los precios tengan un determinado comportamiento, pero "algoritmizar" eso yo no se. Pero si se que tiene un determinado poder de mutación de la serie de precios....

Saludos!!



Avatar de Usuario
agmageton
Mensajes: 3314
Registrado: 30 Ene 2008 11:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por agmageton » 27 May 2016 10:49

Rango un trader discrecional se debe apoyar de igual modo en causas fuertes fundamentales, lo que cambia es la forma de ejecutarlo, creo que puede haber confusión en este sentido pero sería otro debate mucho menos interesante...porque ya entraríamos mira me parece que esto es así, lo intuyo en el gráfico, y ahí ya no hay debate. Porque a fin de cuentas lo que importa es esa causa fundamental este presente, y no creo la intuición sea un valor estable en el largo plazo. Por eso es mejor no desvirtuar el hilo en esos debates estériles.

Saludos (ah y no modifique nada, pero no importa Rango, que no pasa nada).

Por cierto, yo lo que hago antes de enviar un post, es hacer una copia con el pulsero del ratón, así si desaparece lo vuelves a pegar, hombre precavido vale por dos... :-D


Prefiero una buena oportunidad con expectativa mediocre, que una mala oportunidad con expectativa excelente, porque la mala oportunidad te hará perder la expectativa.

Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil » 27 May 2016 10:56

Buenos días,

Roboco está claro lo que dices en este ejemplo. Pero supongamos otro en que un quant determina que la serie de precios del activo es antipersistente con un grado de confianza estadística del 99% y en base a ello crea algún sistema. Entre otras cosas comprobará, para ver que no se ha roto la base sobre la que construyó el sistema, que esta antipersistencia continua dandose, pero para ello no le queda más remedio que adentrarse en la serie de datos y por tanto, incurrirá igualmente en un DD si esta ineficiencia se rompe.

Saludos



Avatar de Usuario
X-Trader
Administrador
Mensajes: 10789
Registrado: 06 Sep 2004 10:18
Contactar:

Re: Sobreoptimización y ruptura de sistemas

Mensaje por X-Trader » 27 May 2016 11:06

Gratphil escribió:Buenos días,

Roboco está claro lo que dices en este ejemplo. Pero supongamos otro en que un quant determina que la serie de precios del activo es antipersistente con un grado de confianza estadística del 99% y en base a ello crea algún sistema. Entre otras cosas comprobará, para ver que no se ha roto la base sobre la que construyó el sistema, que esta antipersistencia continua dandose, pero para ello no le queda más remedio que adentrarse en la serie de datos y por tanto, incurrirá igualmente en un DD si esta ineficiencia se rompe.

Saludos
Justo iba a decir eso, ¡me lo has quitado de la boca Gratphil! Por cierto, a lo mejor no lo he oído bien pero este hilo empieza a pedirme a gritos un artículo sobre el exponente de Hurst ¿no? :-D

Saludos,
X-Trader


"Los sistemas de trading pueden funcionar en ciertas condiciones de mercado todo el tiempo, en todas las condiciones de mercado en algún momento del tiempo, pero nunca en todas las condiciones de mercado todo el tiempo."

ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 27 May 2016 11:09

Gratphil, nadie dice que no te encuentres en un Drawdown cuando analizando la serie de datos detectes que algo va mal, sino que esto se produce mucho antes que analizando la serie de PL. De hecho los sistemas se encuentran casi siempre en Drawdown



Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil » 27 May 2016 11:11

Rango Starr escribió:
ROBOCO escribió:Claro!,

Imaginad que alguien tiene un sistema que utiliza el dato de PIB porque tiene un algoritmo que de alguna forma aprovecha el caos que se produce a esa hora. Imaginad ahora que el gobierno de USA dice que ya no va a suministrar ese dato nunca más....el sistema se ha quedado sin fundamento....un trader particular que sólo monitorizase la serie de los resultados de su algoritmo para determinar estadísticamente si el sistema se ha roto, tendría que esperar un cerro de trades antes de darse cuenta de que ya no hay ineficiencia. Un quant (o un trader normal que sepa la causa de la ineficiencia) dejaría de usar el sistema al momento de la notificación del gobierno.

Este es un ejemplo extremo pero creo que queda claro
Justo!!.... el otro dia en un hilo de Agma decía algo parecido.... si sabes que un sistema no va a funcionar... no lo utilices....
o sea, no esperes a que se cumplan los requisitos de dejarlo aparcado. Al final, los precios reflejan un "cierto entorno", alejado del precio en si...situaciones de "psicología de masas", hacen que los precios tengan un determinado comportamiento, pero "algoritmizar" eso yo no se. Pero si se que tiene un determinado poder de mutación de la serie de precios....

Saludos!!
Rango, no tiene nada que ver. Si tú esas sensaciones que percibes que se están dando las hubieses contemplado en el histórico, sí que entiendo desde un punto de vista sistemático o algorítmico que no operes el sistema, siendo esas sensaciones si fuesen cuantificables una especie de filtro. Pero no es así, es simplemente una percepción tuya que no está en modo alguno cuantificado.

Saludos



Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil » 27 May 2016 11:15

Roboco, claro que los sistemas están la mayoría del tiempo en DD,lo que quiero decir es incurrir en un DD que te pueda, por sí mismo, llevar a abandonar un sistema.



Rango Starr
Mensajes: 3216
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr » 27 May 2016 11:25

Gratphil,

el sentimiento inversor existe y esta cuantificado, el flujo de salida de capitales existe y esta cuantificado.... son cosas cuantificadas y palpables (como ejemplos de lo que digo, sirven), pero a la hora de meterlo en una plataforma estándar yo no puedo.... Podria si fuera un fiera de la programación, (que no lo soy), con las herramientas adecuadas y gastando profusamente capital.... ¿pero me compensaría?.... creo que no. Asi que prefiero tener diferentes cartuchos y gastarlos cuando los entornos son los adecuados.

Pero hay mas causas por las que no puede ser adecuado un tipo de sistema en según que entornos. Por ejemplo cuando se contradicen entre si diversos enfoques... ahi deberas darle prioridad a uno de ellos....

Saludos!



ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO » 27 May 2016 11:31

Gratphil, la diferencia es que por definición el tiempo de dejar de utilizar el sistema analizando la serie de dartos además de la de PL es siempre igual o menor a sólo usar la de la serie de P&L exclusivamente...normalmente bastante menor.



Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil » 27 May 2016 12:11

Rango,

De acuerdo, cada uno opera como lo considera. Ya en el otro hilo Agma te hizo la propuesta de que si es cuantificable lo pases al Excel.

En cuanto a lo que dices que se contardicen los enfoques entiendo que te refieres a que un sistema da largo y otro corto. No entiendo el problema, a mi eso me ocurre cada dos por tres, de hecho por ejemplo hoy estoy corto en dos sistemas del EURUSD y largo en otro. El tema también está en que cada sistema tiene su propio riesgo y el tamaño de las posiciones son inversamente proporcionales, de tal forma que aunque tuviese uno largo y uno corto aparecería una posición neta favorable al sistema con menos riesgo.

Roboco, gracias, aclarado.

Saludos



Rango Starr
Mensajes: 3216
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr » 27 May 2016 12:44

Gratphil,

no se como explicarlo, pero un entorno operativo, de estos que hablo viene a durar de 6 meses a 2 años.....son marcoepocas pero el edge no surge y desaparece de repente. Aparece y desaparece progresivamente. Entonces te creas un umbral de actividad en el grafico fuera de precio, en el cual te merece la pena operar esa ineficiencia de esa forma adecuada.
Solo tienes que monitorear de vez en cuando las condiciones, para mantener activo o retirar el sistema (dejar de utilizarlo)....

suena a muy parecido a lo que dice ROBOCO, solo que yo soy muy "pachanga", y sueno mas a chirigota que a orquesta....

En cuanto a la segunda parte, no es tan fácil como dos sistemas en el que uno te dice que largo y el otro corto.....

Suponte que utilizas una media de 200 periodos para medir una tendencia alcista, pero suponte que el precio se aleja tanto de dicha media, que por otro lado sabes que una vez cruza a la baja un cierto umbral, el 100% de las veces ha ido a buscar dicha media. Pero el proceso de búsqueda (de la media), es lento en el tiempo.... cuestión de meses.... pero la lógica que empleas, puesto que es un mercado digamos "alcista", solo entra a largos.....este entorno, estadísticamente no es el adecuado para este sistema..... asi que emplearlo puede tener desagradables consecuencias..... este seria un ejemplo, de contradicción.

Saludos!!



Hermess
Mensajes: 892
Registrado: 02 Abr 2015 14:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Hermess » 28 May 2016 00:06

“Sobre el tema de la detección anticipada de un sistema, depende de los fundamentos en los que está construido el sistema. El trader particular (retail) que no tenga conocimientos científicos, econometría, series temporales, etc (es decir una gran mayoría) desarrolla sus estrategias por "Data Minning", es decir buscando patrones recursivos en los gráficos, no le importa si existe una causa fundamental o empírica (analizando la serie temporal) por la que un determinado conjunto de reglas parece capturar una ineficiencia. Por ello, sólo puede evidenciar la rotura de un sistema cuando se han producido una muestra significativa de operaciones que estadísticamente determina que está jugando a una cosa distinta de la prevista. No hay forma de poder adelantarse al Drawdown sin esa muestra de trades.

Sin embargo, un Quant que basa su modelo en causas fundamentales o empíricas sobre el gráfico, puede constantemente verificar si las condiciones que son la lógica de su modelo se siguen cumpliendo o no...y para eso no necesita una muestra de resultados negativos. Este es un enfoque mucho más potente porque no te hace falta entrar en Drawdown para parar un sistema.

Os pongo un ejemplo. Imaginad que observando las series temporales un tipo detecta una ineficiencia que se produce a una determinada hora, de forma recurrente durante años (puede ser debida a que una mano fuerte tenga un algoritmo que la provoque siempre a esa hora), pongamos para simplificar que a las 21:00 en el CL hay un pico de volumen bestial durante unos segundos. Si construyes un modelo que se basa en que a esa hora se produce la ineficiencia... no necesitas comerte un Drawdown en caso de que la ineficiencia desaparezca....simplemente monitorizas si la ineficiencia permanece o no. Si deja de existir, el modelo no tiene fundamento para seguir utilizándose.

La diferencia, por tanto, entre un modelo "quant" y uno por "data minning" es que en el segundo caso, el desarrollador no sábe por qué funciona la estrategia...no sabe, por tanto, por qué debería seguir funcionando en el futuro. Ojo, esto no quiere decir que la ineficiencia no esté y no se pueda explotar, simplemente que el "peaje" que hay que pagar es estar dispuesto a comerse un Drawdown que justifique la rotura, nada más.
Esto que dices se reduce a diferenciar a dos modelos, un desarrollador que conozca las causas que producen la ineficiencia a explotar y otro que solo detecte la ineficiencia sin preocuparse de las causas que la generan, no creo que esa aproximación sea correcta, cualquier trader puede investigar y determinar que causas generan una ineficiencia que quiera explotar sin estar identificado ese modelo como Quant, que tu quieras contarlo así, es tu opinión, pero la ventaja en este caso la estas centrando en comparar a dos trader que no tienen la misma información sobre el mercado, es obvio que el que mas información tenga tendrá una mayor base de datos independientemente que se identifique o no como Quant el modelo que desarrolle
Tus respuestas a las preguntas que se te han hecho van en esa línea
Las causas fundamentales y empíricas que determinen una ineficiencia no tiene nada que ver con el tratamiento de los datos, son cosas distintas . Las causas fundamentales y empíricas que determinen una ineficiencia no son exclusivas de un modelo Quant como lo presentas aquí.
El planteamiento de base es erróneo ya que planteas comparar el análisis de causa y efecto frente al análisis del simple efecto por diferentes análisis de datos para determinar un resultado, estas sesgando la información de partida y no es comparable.
Esto que dices:
“La diferencia, por tanto, entre un modelo "quant" y uno por "data minning" es que en el segundo caso, el desarrollador no sábe por qué funciona la estrategia...
Es un argumento falaz, afirmas lo que no tiene porque ser así, puede ser al revés de como lo planteas porque el problema que planteas no es de tratamiento de datos, es de llegar a resultados hipotéticos partiendo de diferente información y eso nada tiene que ver con identificarse como un modelo Quant .

“……………en realidad el multi hilo nos servirá para comprobar si una lógica tiene "edge" (que no sea una sobreoptimización) y poder caracterizarla con más precisión para monitorizarla adecuadamente...tener expectativas más realistas.
Pero luego el hecho de que haya que comerse el Drawdown o no viene determinado por la base sobre la que se ha construido el sistema,……………”

El multi hilo no esta exento de caer el la sobre optimización por exceso de filtrado de datos

Si se conocen las causas que generan una ineficiencia, con un monitoreo periódico de análisis multivariante + un análisis correlacional, deductivo, etc y la observación de que las causas que generan esa ineficiencia permanecen, no tiene porque comerse un sistema el DD, cuando la causa que genera esa ineficiencia desaparece, la ineficiencia también, no es necesario tratar los datos matemáticamente con mucho rigor para determinar que el sistema fallara, es una obviedad que lo hará si las causas de la ineficiencia desaparecen por simple deducción

Pienso que estas mezclando cosas, hechos que se conocen a priori( causas que generan la ineficiencia) con el tratamiento de datos
Si explicaras porque un modelo Quant puede predecir con mas probabilidades de acierto que otro modelo que no sea Quant el comerse un DD de un sistema, le encontraría sentido a lo que dices, pero de momento no lo has hecho al comparar dos bases de datos distintas.

Saludos


El comercio puede ser muy fácil o muy difícil. Si no podemos ver lo fácil, entonces tenemos que cuestionar lo que creemos que sabemos.

Avatar de Usuario
Wikmar
Mensajes: 3296
Registrado: 29 Sep 2010 00:01
Ubicación: Madrid

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Wikmar » 28 May 2016 04:24

Gratphil escribió:2) No entiendo que se pueda considerar sobreoptimizada o infraoptimizada aquellas curvas IS que se alejan varias desviaciones típicas de su media.

La sobreoptimización solo podemos comprobar que efectivamente se produce a posteriori y se da fundamentalmente por utilizar un histórico insuficiente para el número posible de combinaciones paramétricas. Aquí parece que asume la utilización de históricos insuficientes al decir que en cada corte temporal será optima una combinación paramétrica distinta.
Yo tampoco lo comprendo, o diría que no estoy de acuerdo.

De hecho, el conjunto de parámetros que da la curva más alejada del centro del cono, podría ser el mejor conjunto para el futuro.

Se podría entender como una tesis probabilística, basada en casuística. Pero nada rigurosa (o estoy muy equivocado).


            https://wikmar.wordpress.com
            Si quieres algo de privacidad, cuidado con las Nubes, que nadie ha conseguido todavía ponerles una puerta.


Responder

Volver a “Sistemas y Estrategias de Trading”