Sobreoptimización y ruptura de sistemas

[ROBOCO]

Hermes, no estás interpretando bien lo que he comentado. Yo no divido a los traders entre "quants" y "data minning"...divido a los "traders algorítmicos". Los que no son algorítmicos no son objeto de este debate.

Luego estás mezclando más cosas, como que se conozcan las causas fundamentales y con que se detecten estadísticamente la ineficiencias o identificar definición con expresar diferencia. Por otro lado asumes que me refiero a cosas que yo no he dicho sino que son una interpretación tuya de lo que crees que he querido decir.

Entiendo que es muy dificil que puedas subscribir o estar de acuerdo con cosas que comento porque partimos de bases conceptuales de trading totalmente distintas, antagónicas diría yo. Creo que es mucho más constructivo que el hilo siga su curso, si no pasará como siempre y se perderá en debates colaterales estériles.

[Rango Starr]

.

[Hermess]

“Hermes, no estás interpretando bien lo que he comentado. Yo no divido a los traders entre "quants" y "data minning"...divido a los "traders algorítmicos". Los que no son algorítmicos no son objeto de este debate.”

Me limite a citar lo que escribiste, si no se te entiende bien puede deberse a la semántica ambigua, si escribes una cosa y quieres decir otra estas a tiempo de rectificar

“La diferencia, por tanto, entre un modelo "quant" y uno por "data minning" es que en el segundo caso, el desarrollador no sábe por qué funciona la estrategia... “

Eres libre de contestar o no la las objeciones que se planteen, el hilo seguirá su curso si contestas las preguntas que se planteen directamente respondiendo a la pregunta y de igual forma seguirá su curso si contestas con respuestas evasivas o simplemente no contestas.
No tengo un especial interés en demostrar que estas en lo cierto o en error, sin embargo si decido participar lo hare desde mi óptica interpretando lo que dices literalmente sin doble lectura

“Luego estás mezclando más cosas, como que se conozcan las causas fundamentales y con que se detecten estadísticamente la ineficiencias o identificar definición con expresar diferencia. Por otro lado asumes que me refiero a cosas que yo no he dicho sino que son una interpretación tuya de lo que crees que he querido decir.”

Es el ejemplo que planteaste sobre dos modelos que parten de diferente información, ese planteamiento es una idealización que no resuelve el problema planteado en el hilo


Yo veo que pone en el titulo del hilo :
Sobreoptimización y ruptura de sistemas y no dices nada de a quienes va destinado

No se que entiendes por algoritmo, si no se te endiende lo que escribes puede deberse a que no te expresas bien

¿Qué es un algoritmo?:

Un algoritmo es un conjunto de reglas que están destinadas a resolver un problema de una manera predefinida y creo que pocos traders quedan fuera de esa definición , si el hilo trata de sobre optimización y ruptura de sistemas, es normal que surjan objeciones a tus planteamientos tal como lo has explicado

Nuestro trading puedes creer que es antagónico o lo que quieras, las creencias son libres.

El mercado es un sistema a estudio y todas las aproximaciones pretenden resolver el mismo problema, el resto es semántica

También el análisis chartista lo entendemos diferente, yo lo entiendo como una herramienta de análisis fractal.

“Las técnicas basadas en el "análisis fractal" sugieren que el dato del mercado exhibe correlación temporal (es decir, las fluctuaciones volátiles tienden a ocurrir con una
determinada tendencia) con distribuciones de probabilidad con cola ancha (los eventos extremos podrían ocurrir con mayor frecuencia que la descrita por una distribución normal). Por tal motivo, las técnicas tradicionales basadas en los modelos lineales no reflejan correctamente la volatilidad. Mandelbrot descubrió este comportamiento usando los precios diarios de algodón en 1963. El análisis fractal proporciona valores numéricos que representan indicadores de aspereza. El concepto fractal, íntimamente ligado al de invariancia de escala, es utilizado para identificar orden en muchos problemas de características no lineales. Sin la ayuda de los fractales, los sistemas complejos no pueden ser diseñados en gran detalle. Variaciones pequeñas o fluctuaciones pueden ser amplificados mediante procesos iterativos y crean los cambios cualitativos en el nivel macro.
http://www.barcelonaschoolofmanagement. ... cieros.pdf

Saludos

[ROBOCO]

Mira Hermes, si es muy sencillo. Este es un hilo que se ha creado con el objetivo de mostrar cómo afrontar una problemática concreta a la que se enfrentan los traders cuantitativos y sistemáticos que está desarrollando mucho interés en el mundillo. No está para filosofar sobre lo que es el mercado o lo que es un algoritmo, sino que está orientado hacia aquellos que comparten una base conceptual común.

Si tu me dices que lo que ocurre es que me expreso mal, es posible, al igual que lo es que quizá el que no lo entiendas las cosas seas tu....es igual no vamos a entrar en eso .

Lo que si te digo es que tu has abierto un hilo con tu enfoque sobre trading. Respetuosamente te digo que está en las antípodas de mi aproximación y que no lo comparto en absoluto.

Por otro lado la experiencia me dice cuando un hilo deja de seguir su rumbo...y este empieza a hacerlo si se empieza a debatir sobre aspectos de base en la que casi todos los demás interesados, objetivos del mismo, no tienen dudas. Simplemente déjalo fluir

Un saludo

[Hermess]

No problem

Todo tuyo

Saludos

[Wikmar]

2) No entiendo que se pueda considerar sobreoptimizada o infraoptimizada aquellas curvas IS que se alejan varias desviaciones típicas de su media.

La sobreoptimización solo podemos comprobar que efectivamente se produce a posteriori y se da fundamentalmente por utilizar un histórico insuficiente para el número posible de combinaciones paramétricas. Aquí parece que asume la utilización de históricos insuficientes al decir que en cada corte temporal será optima una combinación paramétrica distinta.

Yo tampoco lo comprendo, o diría que no estoy de acuerdo.

De hecho, el conjunto de parámetros que da la curva más alejada del centro del cono, podría ser el mejor conjunto para el futuro.

Se podría entender como una tesis probabilística, basada en casuística. Pero nada rigurosa (o estoy muy equivocado).

wikmar,

yo pensaría mas en una campana de Gauss..... es mas fácil que la distribución de resultados tienda a ser mayor en el centro, asi que posiblemente las curvas que se encuentren en los extremos, tiendan en un futuro a ir al centro (las sobreoptimizadas a perder los ratios, y las infraoptimizadas a resultar en mejores ratios.......

de hecho intuitivamente, entiendo que un edge que teóricamente tuviera un mantenimiento en el tiempo, tendería a converger a un único punto en el infinito... (los parámetros resultarían en un mejor o peor comportamiento según la componente aleatoria del precio...)

Saludos!!

Gracias por contestar, Rango.

Lo que dices es lo mismo que digo yo. Sí, pensando muy en general, se puede decir que en muchos sistemas, los mejores parámetros serán los de alguna curva cercana al centro del cono, y que por encima y por debajo de unos límites, habrá sobre e infra optimización. Sí.

Ahora, no olvidemos que esto no va más allá de "algo" por intentar una aproximación, dada la casuística. No es riguroso. No digo que sea incorrecto, entre otras cosas porque probablemente no se pueda hacer una categorización universal, pero sí creo importante no perder esa referencia porque de lo contrario, avanzando en el desarrollo y perdiendo esa perspectiva, se seguirán sacando conclusiones cada vez menos válidas:

Dos cuestiones sobre ese gráfico que hacen ver que hay que tener cuidado con no perder esa perspectiva:

1) La campana de Gauss que hay a la derecha. ¿Qué es?. Perdiendo la perspectiva, será (quizá quiere ser) la densidad de curvas con mejores parámetros. Cuidado; simplemente es la densidad de curvas a la derecha del gráfico. Dependiendo del sistema en sí, lo de mejores estará desplazado hacia arriba o hacia abajo. Solo pensando en la nube de la generalidad de sistemas, esa campana está centrada, y quizá cometiendo un error por sobre-generalización.

2) Sobre las líneas que delimitan la sobre e infra optimización: ¿hay alguna cuantificación rigurosa de dónde situarlas en el eje de ordenadas?. Verás que no. Ni siquiera creo que nadie se atreva a dar un múltiplo de sigma, porque depende absolutamente de cada sistema. Alguien puede manejar datos de una nube de sistemas (vendedores de CTAs p. ej.), dar un múltiplo y salirte otros, cada uno con el suyo.


Cuanto mejor sea el edge de un sistema, cuánto más independiente de condiciones específicas de Mercado, su curva con los mejores parámetros, estará más arriba en la distribución de curvas, y viceversa. Incluso podría haber sistemas cuyos mejores parámetros fueran los de la curva de más arriba, lo cual no quiere decir que fuera un sistema perfecto, ni incluso ganador, simplemente que dada la naturaleza de ese sistema, solo hay una mejor solución, o ¿porqué no?, una única solución.

Esto último enlaza con otro problema que también se puede dar por hecho y hay que tener cuidado: la distribución de curvas, debida cada una a un conjunto de parámetros, se ha formado ¿a partir de qué intervalo y salto en cada parámetro?.

Para cada parámetro; ¿se ha elegido bien el intervalo para optimizar?, ¿se ha elegido bien el salto?. El conjunto de estas elecciones también va a poner su sello en la distribución que salga, y en las líneas de sobre e infra.

En resumen; no perder de vista que la distribución y las lineas de sobre e infra, son únicas para cada sistema. La campana de Gauss..., o no entiendo lo que significa o equivoca más que otra cosa.

[Wikmar]

A partir de la distribución de curvas, cómo elegir la que tenga el mejor conjunto de parámetros.

Pues para independizarnos de que tenga que estar por el centro del cono, se me ocurre (como idea genérica) que si operamos a la vez unas cuantas, p. ej. la de más arriba (A), la del centro (B), y la de más abajo (C) (u otra combinación distribuida por la distribución), con unos volúmenes que adoptaremos como pesos:

aA + bB +cC

y en función de los resultados, vamos balanceando los pesos a, b, y c, nos irá aproximando a la curva con mejores parámetros.

Si después de N veces (sesiones p. ej.), la cosa va por a = 35% del volumen a utilizar, b = 55%, c = 10%, la prueba nos estará diciendo por dónde debe caer la curva con los mejores parámetros, p. ej. con un cálculo tipo dentro de masas (en este ejemplo, estará entre A y B, así a ojo; un 20% por encima de B).

Además, lo por encima o debajo del centro del cono que esté esa convergencia, nos dirá los bueno que es el edge cualitativamente hablando (lo independiente de condiciones y estructura de Mercado).

[ROBOCO]

Wikmar, es que te has adelantado un poco. En el artículo que saldrá esta semana se explica con más detalle cosas que preguntas en este y se da un marco más "riguroso". Las distribuciones que obtienes de las curvas no son estacionarias sino que varían con el tiempo, como dices.

La imagen con las curvas y la distribución simplemente quiere mostrar de forma intuitiva para el lector lo que ocurre...la diferencia entre coger un sólo hilo y de ahí caracterizar las propiedades estadísticas del sistema, respecto a coger toda la distribución...las modifica sustancialmente.

Por así decirlo ese primer artículo es una introducción de lo que se verá después.

[Wikmar]

la diferencia entre coger un sólo hilo y de ahí caracterizar las propiedades estadísticas del sistema, respecto a coger toda la distribución...las modifica sustancialmente

Esa diferencia de tratamiento es importante. Permite otros enfoques, adelantarse a lo malo, y evitarlo. Ahora hace falta sistematizarlo lo mejor posible. Para ello, N mentes producirán más que unas pocas. Por eso, se agradece hacerlo participativo, aparte de que es la mejor solución por muchos motivos.

A costa de quizá adelantarme más. Pongo encima de la mesa otro factor, muy importante, que incide sobre las distribuciones: la métrica contra la que se optimiza.

Cuanto mejor sea la métrica, más arriba estarán las curvas con los mejores parámetros, ya que será más y mejor selectiva.

Cuanto mejor sea la métrica, más partido sacará del In-Sample, y por tanto, menos diferencias habrá entre buenos conjuntos seleccionados por ésta, y lo que ocurra Out-Sample.

Por tanto, la barrera de la sobreoptimización, tendrá otro calibre que con métricas más confusas (peores).

[polxx]

Hola,

Cuando decís que un sistema ha dejado de funcionar, ¿a que os referís? ¿a sus reglas en si mismas, o al conjunto de reglas+parámetros?
Observo que los parámetros van cambiando con el paso de los años, pero los sistemas siguen siendo válidos.

Conozco varias pautas ganadoras, pero desconozco el origen del porque se producen. El precio tiende a volver a la media, o ser antipersistente, o tiene hurst < 0,5. O podemos decir que es antitendencia. Pero realmente, ¿que genera eso? Porque si lo supiéramos, los sistemas trabajarían mucho mejor.

[Wikmar]

La gente se refiere a reglas + conjuntos posibles de parámetros.

Pero las reglas de los sistemas también pueden dejar de ser válidas. De hecho si no encuentras un solo conjunto de parámetros que le den un mínimo de validez, ya te puedes oler que las reglas en sí están fallando.

Recordando algún sistema que se ha propuesto ultimamente en el foro (es un poco de perogrullo pero en ocurre general): reaccionar de alguna forma ante noticias. Yo te lo refino para ponérmelo más a capón: ante noticias de las ruedas de prensa de Draghi. Ahora suponte que el BCE decide que para evitar saltos de volatilidad grandes que no representan más que problemas, van a hacer las ruedas de prensa cuando estén cerrados los Mercados. Se jodieron las reglas.