Sobreoptimización y ruptura de sistemas

El espacio de los traders quant: sistemas de trading, gestión monetaria, automatización de sistemas.
ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO »

Claro!,

Imaginad que alguien tiene un sistema que utiliza el dato de PIB porque tiene un algoritmo que de alguna forma aprovecha el caos que se produce a esa hora. Imaginad ahora que el gobierno de USA dice que ya no va a suministrar ese dato nunca más....el sistema se ha quedado sin fundamento....un trader particular que sólo monitorizase la serie de los resultados de su algoritmo para determinar estadísticamente si el sistema se ha roto, tendría que esperar un cerro de trades antes de darse cuenta de que ya no hay ineficiencia. Un quant (o un trader normal que sepa la causa de la ineficiencia) dejaría de usar el sistema al momento de la notificación del gobierno.

Este es un ejemplo extremo pero creo que queda claro
Rango Starr
Mensajes: 3842
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr »

.
Última edición por Rango Starr el 19 May 2021 11:56, editado 1 vez en total.
un ciclo y otro ciclo, son un biciclo...
si añadimos otro ciclo, entonces tendremos "un triciclo"... famoso trio catalan de humor de los 90....

..y nada mas...
Rango Starr
Mensajes: 3842
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr »

.
Última edición por Rango Starr el 19 May 2021 11:57, editado 1 vez en total.
un ciclo y otro ciclo, son un biciclo...
si añadimos otro ciclo, entonces tendremos "un triciclo"... famoso trio catalan de humor de los 90....

..y nada mas...
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por agmageton »

Rango un trader discrecional se debe apoyar de igual modo en causas fuertes fundamentales, lo que cambia es la forma de ejecutarlo, creo que puede haber confusión en este sentido pero sería otro debate mucho menos interesante...porque ya entraríamos mira me parece que esto es así, lo intuyo en el gráfico, y ahí ya no hay debate. Porque a fin de cuentas lo que importa es esa causa fundamental este presente, y no creo la intuición sea un valor estable en el largo plazo. Por eso es mejor no desvirtuar el hilo en esos debates estériles.

Saludos (ah y no modifique nada, pero no importa Rango, que no pasa nada).

Por cierto, yo lo que hago antes de enviar un post, es hacer una copia con el pulsero del ratón, así si desaparece lo vuelves a pegar, hombre precavido vale por dos... :-D
La entrada te da la probabilidad y la salida la rentabilidad...
Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil »

Buenos días,

Roboco está claro lo que dices en este ejemplo. Pero supongamos otro en que un quant determina que la serie de precios del activo es antipersistente con un grado de confianza estadística del 99% y en base a ello crea algún sistema. Entre otras cosas comprobará, para ver que no se ha roto la base sobre la que construyó el sistema, que esta antipersistencia continua dandose, pero para ello no le queda más remedio que adentrarse en la serie de datos y por tanto, incurrirá igualmente en un DD si esta ineficiencia se rompe.

Saludos

Avatar de Usuario
X-Trader
Administrador
Mensajes: 12781
Registrado: 06 Sep 2004 10:18
Contactar:

Re: Sobreoptimización y ruptura de sistemas

Mensaje por X-Trader »

Gratphil escribió:Buenos días,

Roboco está claro lo que dices en este ejemplo. Pero supongamos otro en que un quant determina que la serie de precios del activo es antipersistente con un grado de confianza estadística del 99% y en base a ello crea algún sistema. Entre otras cosas comprobará, para ver que no se ha roto la base sobre la que construyó el sistema, que esta antipersistencia continua dandose, pero para ello no le queda más remedio que adentrarse en la serie de datos y por tanto, incurrirá igualmente en un DD si esta ineficiencia se rompe.

Saludos
Justo iba a decir eso, ¡me lo has quitado de la boca Gratphil! Por cierto, a lo mejor no lo he oído bien pero este hilo empieza a pedirme a gritos un artículo sobre el exponente de Hurst ¿no? :-D

Saludos,
X-Trader
"Los sistemas de trading pueden funcionar en ciertas condiciones de mercado todo el tiempo, en todas las condiciones de mercado en algún momento del tiempo, pero nunca en todas las condiciones de mercado todo el tiempo."
ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO »

Gratphil, nadie dice que no te encuentres en un Drawdown cuando analizando la serie de datos detectes que algo va mal, sino que esto se produce mucho antes que analizando la serie de PL. De hecho los sistemas se encuentran casi siempre en Drawdown
Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil »

Rango Starr escribió:
ROBOCO escribió:Claro!,

Imaginad que alguien tiene un sistema que utiliza el dato de PIB porque tiene un algoritmo que de alguna forma aprovecha el caos que se produce a esa hora. Imaginad ahora que el gobierno de USA dice que ya no va a suministrar ese dato nunca más....el sistema se ha quedado sin fundamento....un trader particular que sólo monitorizase la serie de los resultados de su algoritmo para determinar estadísticamente si el sistema se ha roto, tendría que esperar un cerro de trades antes de darse cuenta de que ya no hay ineficiencia. Un quant (o un trader normal que sepa la causa de la ineficiencia) dejaría de usar el sistema al momento de la notificación del gobierno.

Este es un ejemplo extremo pero creo que queda claro
Justo!!.... el otro dia en un hilo de Agma decía algo parecido.... si sabes que un sistema no va a funcionar... no lo utilices....
o sea, no esperes a que se cumplan los requisitos de dejarlo aparcado. Al final, los precios reflejan un "cierto entorno", alejado del precio en si...situaciones de "psicología de masas", hacen que los precios tengan un determinado comportamiento, pero "algoritmizar" eso yo no se. Pero si se que tiene un determinado poder de mutación de la serie de precios....

Saludos!!
Rango, no tiene nada que ver. Si tú esas sensaciones que percibes que se están dando las hubieses contemplado en el histórico, sí que entiendo desde un punto de vista sistemático o algorítmico que no operes el sistema, siendo esas sensaciones si fuesen cuantificables una especie de filtro. Pero no es así, es simplemente una percepción tuya que no está en modo alguno cuantificado.

Saludos
Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil »

Roboco, claro que los sistemas están la mayoría del tiempo en DD,lo que quiero decir es incurrir en un DD que te pueda, por sí mismo, llevar a abandonar un sistema.
Rango Starr
Mensajes: 3842
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr »

.
Última edición por Rango Starr el 19 May 2021 11:56, editado 1 vez en total.
un ciclo y otro ciclo, son un biciclo...
si añadimos otro ciclo, entonces tendremos "un triciclo"... famoso trio catalan de humor de los 90....

..y nada mas...
ROBOCO
Mensajes: 479
Registrado: 01 Nov 2007 17:09

Re: Sobreoptimización y ruptura de sistemas

Mensaje por ROBOCO »

Gratphil, la diferencia es que por definición el tiempo de dejar de utilizar el sistema analizando la serie de dartos además de la de PL es siempre igual o menor a sólo usar la de la serie de P&L exclusivamente...normalmente bastante menor.
Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Gratphil »

Rango,

De acuerdo, cada uno opera como lo considera. Ya en el otro hilo Agma te hizo la propuesta de que si es cuantificable lo pases al Excel.

En cuanto a lo que dices que se contardicen los enfoques entiendo que te refieres a que un sistema da largo y otro corto. No entiendo el problema, a mi eso me ocurre cada dos por tres, de hecho por ejemplo hoy estoy corto en dos sistemas del EURUSD y largo en otro. El tema también está en que cada sistema tiene su propio riesgo y el tamaño de las posiciones son inversamente proporcionales, de tal forma que aunque tuviese uno largo y uno corto aparecería una posición neta favorable al sistema con menos riesgo.

Roboco, gracias, aclarado.

Saludos
Rango Starr
Mensajes: 3842
Registrado: 22 Dic 2014 10:49

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Rango Starr »

.
Última edición por Rango Starr el 19 May 2021 11:55, editado 1 vez en total.
un ciclo y otro ciclo, son un biciclo...
si añadimos otro ciclo, entonces tendremos "un triciclo"... famoso trio catalan de humor de los 90....

..y nada mas...
Hermess
Mensajes: 1532
Registrado: 02 Abr 2015 14:32

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Hermess »

“Sobre el tema de la detección anticipada de un sistema, depende de los fundamentos en los que está construido el sistema. El trader particular (retail) que no tenga conocimientos científicos, econometría, series temporales, etc (es decir una gran mayoría) desarrolla sus estrategias por "Data Minning", es decir buscando patrones recursivos en los gráficos, no le importa si existe una causa fundamental o empírica (analizando la serie temporal) por la que un determinado conjunto de reglas parece capturar una ineficiencia. Por ello, sólo puede evidenciar la rotura de un sistema cuando se han producido una muestra significativa de operaciones que estadísticamente determina que está jugando a una cosa distinta de la prevista. No hay forma de poder adelantarse al Drawdown sin esa muestra de trades.

Sin embargo, un Quant que basa su modelo en causas fundamentales o empíricas sobre el gráfico, puede constantemente verificar si las condiciones que son la lógica de su modelo se siguen cumpliendo o no...y para eso no necesita una muestra de resultados negativos. Este es un enfoque mucho más potente porque no te hace falta entrar en Drawdown para parar un sistema.

Os pongo un ejemplo. Imaginad que observando las series temporales un tipo detecta una ineficiencia que se produce a una determinada hora, de forma recurrente durante años (puede ser debida a que una mano fuerte tenga un algoritmo que la provoque siempre a esa hora), pongamos para simplificar que a las 21:00 en el CL hay un pico de volumen bestial durante unos segundos. Si construyes un modelo que se basa en que a esa hora se produce la ineficiencia... no necesitas comerte un Drawdown en caso de que la ineficiencia desaparezca....simplemente monitorizas si la ineficiencia permanece o no. Si deja de existir, el modelo no tiene fundamento para seguir utilizándose.

La diferencia, por tanto, entre un modelo "quant" y uno por "data minning" es que en el segundo caso, el desarrollador no sábe por qué funciona la estrategia...no sabe, por tanto, por qué debería seguir funcionando en el futuro. Ojo, esto no quiere decir que la ineficiencia no esté y no se pueda explotar, simplemente que el "peaje" que hay que pagar es estar dispuesto a comerse un Drawdown que justifique la rotura, nada más.
Esto que dices se reduce a diferenciar a dos modelos, un desarrollador que conozca las causas que producen la ineficiencia a explotar y otro que solo detecte la ineficiencia sin preocuparse de las causas que la generan, no creo que esa aproximación sea correcta, cualquier trader puede investigar y determinar que causas generan una ineficiencia que quiera explotar sin estar identificado ese modelo como Quant, que tu quieras contarlo así, es tu opinión, pero la ventaja en este caso la estas centrando en comparar a dos trader que no tienen la misma información sobre el mercado, es obvio que el que mas información tenga tendrá una mayor base de datos independientemente que se identifique o no como Quant el modelo que desarrolle
Tus respuestas a las preguntas que se te han hecho van en esa línea
Las causas fundamentales y empíricas que determinen una ineficiencia no tiene nada que ver con el tratamiento de los datos, son cosas distintas . Las causas fundamentales y empíricas que determinen una ineficiencia no son exclusivas de un modelo Quant como lo presentas aquí.
El planteamiento de base es erróneo ya que planteas comparar el análisis de causa y efecto frente al análisis del simple efecto por diferentes análisis de datos para determinar un resultado, estas sesgando la información de partida y no es comparable.
Esto que dices:
“La diferencia, por tanto, entre un modelo "quant" y uno por "data minning" es que en el segundo caso, el desarrollador no sábe por qué funciona la estrategia...
Es un argumento falaz, afirmas lo que no tiene porque ser así, puede ser al revés de como lo planteas porque el problema que planteas no es de tratamiento de datos, es de llegar a resultados hipotéticos partiendo de diferente información y eso nada tiene que ver con identificarse como un modelo Quant .

“……………en realidad el multi hilo nos servirá para comprobar si una lógica tiene "edge" (que no sea una sobreoptimización) y poder caracterizarla con más precisión para monitorizarla adecuadamente...tener expectativas más realistas.
Pero luego el hecho de que haya que comerse el Drawdown o no viene determinado por la base sobre la que se ha construido el sistema,……………”

El multi hilo no esta exento de caer el la sobre optimización por exceso de filtrado de datos

Si se conocen las causas que generan una ineficiencia, con un monitoreo periódico de análisis multivariante + un análisis correlacional, deductivo, etc y la observación de que las causas que generan esa ineficiencia permanecen, no tiene porque comerse un sistema el DD, cuando la causa que genera esa ineficiencia desaparece, la ineficiencia también, no es necesario tratar los datos matemáticamente con mucho rigor para determinar que el sistema fallara, es una obviedad que lo hará si las causas de la ineficiencia desaparecen por simple deducción

Pienso que estas mezclando cosas, hechos que se conocen a priori( causas que generan la ineficiencia) con el tratamiento de datos
Si explicaras porque un modelo Quant puede predecir con mas probabilidades de acierto que otro modelo que no sea Quant el comerse un DD de un sistema, le encontraría sentido a lo que dices, pero de momento no lo has hecho al comparar dos bases de datos distintas.

Saludos
El comercio diario es el juego del diablo. Te prometieron una olla de oro pero terminarás perdiendo tu alma. :-D
Avatar de Usuario
Wikmar
Mensajes: 3868
Registrado: 29 Sep 2010 00:01
Ubicación: Madrid

Re: Sobreoptimización y ruptura de sistemas

Mensaje por Wikmar »

Gratphil escribió:2) No entiendo que se pueda considerar sobreoptimizada o infraoptimizada aquellas curvas IS que se alejan varias desviaciones típicas de su media.

La sobreoptimización solo podemos comprobar que efectivamente se produce a posteriori y se da fundamentalmente por utilizar un histórico insuficiente para el número posible de combinaciones paramétricas. Aquí parece que asume la utilización de históricos insuficientes al decir que en cada corte temporal será optima una combinación paramétrica distinta.
Yo tampoco lo comprendo, o diría que no estoy de acuerdo.

De hecho, el conjunto de parámetros que da la curva más alejada del centro del cono, podría ser el mejor conjunto para el futuro.

Se podría entender como una tesis probabilística, basada en casuística. Pero nada rigurosa (o estoy muy equivocado).
            https://wikmar.wordpress.com
            Si quieres algo de privacidad, cuidado con las Nubes, que nadie ha conseguido todavía ponerles una puerta.
Si te ha gustado este hilo del Foro, ¡compártelo en redes!


Responder

Volver a “Sistemas de Trading”