¿Optimización exhaustiva o genetica?

El foro dedicado a un clásico de la programación de sistemas de trading
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: ¿Optimización exhaustiva o genetica?

Mensaje por agmageton »

Gratphil escribió:
agmageton escribió:Si el "algo que subyazce" es potente, puede durar mucho tiempo y lo que variara será la entrega, esta puede deteriorarse o potenciarse, dependiendo el estado temporal que sea cómplice de tu edge o la optimación que hagas de la misma constante.
De acuerdo
agmageton escribió:Pero hay una excepción en este caso y es un fenómeno no observado en el histórico, por ejemplo un año de mercado totalmente que choque frontalmente con tu edge o tus edges, la historia dice que esto es más común de lo que desearíamos.
Por supuesto y está claro que lo único que tenemos es el histórico para comprobar la bondad de un sistema. Lo que está a la derecha no lo sabemos. Que el edge choque por como se comporte el mercado, por supuesto. Es realmente dificil, para mi imposible, construir un sistema que de resultados positivos todos los años fuera de muestra y si diese todos los años resultados positivos sería a base de tantas pruebas e intentos que sería una sobreoptimización encubierta.

Sí estoy de acuerdo en que tendemos a sobreoptimizar, a todos nos gusta ver una curva de equity con una pendiente sostenida y constante. En definitiva se trata de una lucha, al incorporar un sistema, no incoroporarle tantos parámetros o hacer una optimización de grano fino.

Saludos

Una buena prueba de ver lo que te espera en un sistema es coger un activo no valorado y ponerlo, por ejemplo si tu has generado un sistema a base de indices y luego te coges el cacao o el gas natural y los resultados son desastrosos, cuidado....aunque los indices siempre han tenido un carácter de sesgo tendencial alcista, hay que contemplar que en el futuro no pueda ser así, de hecho si miramos la historia del dow jones industrial han habido décadas en los más de 100 años de historia que han presentado lateralidad y fase bajista durante toda esta década, por poner un ejemplo.

En este caso tenemos por ejemplo que las materias primas como la plata y otros metales, han experimentado bajadas sostenibles y con baja volatilidad durante los últimos años, produciendo esto la rotura de muchos sistemas, que no tenían observado bajadas severas y continuas con baja volatilidad, es un ejemplo únicamente de fenómeno no contemplado.

saludos.
La entrada te da la probabilidad y la salida la rentabilidad...
Gratphil
Mensajes: 473
Registrado: 08 Jun 2013 12:24

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Gratphil »

Guille escribió: Lo que no entiendo es lo que dices que a mayor número de iteraciones hay mayor riesgo de sobreoptimizar pues pensaba que era al contrario , de hecho, pensaba que la optimización exhaustiva es más fina que la genética.
Por supuesto, es más fina en el histórico conocido y por tanto es más fácil encontrar soluciones que se sobreajustan a nuestro histórico y por tanto es más fácil sobreoptimizar.

Cuantos más intentos, más pruebas, más iteracciones mayores posiblidades de sobreoptimizar.

Saludos
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

Rafa7 escribió: Podrías aplicar un divide y vencerás a esos 5 parámetros (manteniendo fijos los parámetros del SL y TS, que ya has optimizado) en lugar de hacer una optimización de fuerza bruta sobre los 5 parámetros.

Saludos.
Pues mira, no se me había ocurrido hacer mas partes.
Hasta ahora he pensado que los parámetros propios del sistema es mejor optimizarlos juntos por estar de alguna manera relacionados entre si, y de igual manera, como las condiciones de entrada no tienen mucha relación con las de salida de los stops, pensaba que sus parámetros se podían optimizar aparte sin problemas.
Ahora según tu aporte, puedo considerar optimizar, por ejemplo, las dos condiciones de la entrada por separado, a ver que pasa.
Gracias Rafa7
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

agmageton escribió:Rafa, las ABSICISAS representa la rentabilidad que va obteniendo las operaciones, y las ORDENADAS el tiempo.

Pero vamos, que siempre digo lo mismo, bajo este punto de inflexión a la hora de optimizar una operativa, lo más importante es "algo que subyazca" esto evita una más que segura sobre optimización, hagas las pruebas que hagas, siempre al final irás optimizando hasta que las pruebas tengan un sentido, es muy raro coger 2 ó 3 parámetros y que le des a las pruebas y te salga perfecto, al final siempre se acaba sobre optimizando, sino los sistemas no durarían tan poco en el tiempo. ( y si estos duran es por una desproporción, como falta de stops o algún tipo de sesgo predominante en el histórico, o cosas similares que igual en el futuro no se les representa.)

Como el edge esta en la inmensa mayoría de operativas clásicas en la entrada, (salvando las operativas de riesgo), nos hemos de procurar muy mucho que nuestras entradas representen un edge que pueda ser extraído y transporlar a varias momentos temporales o activos, aunque presenten diferencias, siempre que estas no sean totalmente equidistantes. Para de este modo entender que estamos sobre un cimiento potente...esto es lo más difícil, luego la optimización de ese edge, ya se pueden utilizar herramientas como la expuesta o otros tipos como por ejemplo en este caso genéticas, etc etc....

Es sólo mi opinión....


saludos.
Hola agmageton,
¿es posible que hayas confundido las abcisas con las ordenadas? es que no se porque pones el tiempo en % .
Por otro lado opino lo mismo. Pienso que un buen sistema con fundamento sólido debe funcionar en varios time frimes e incluso varios activos diferentes, ajustando los parámetros en cada caso mediante las optimizaciones
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: ¿Optimización exhaustiva o genetica?

Mensaje por agmageton »

si esta al revés, perdón :-D
La entrada te da la probabilidad y la salida la rentabilidad...

Avatar de Usuario
Traderday
Mensajes: 449
Registrado: 31 Jul 2008 18:43

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Traderday »

Guille, respecto a que los resultados por optimizacion lineal o genetica, es normal que falle ligeramente y no sean identicos, pero si muy parecidos.

En cuanto a que metido es mejor: sin duda el de algoritmos geneticos.

Aunque en este caso solo tenias 5 parametros y solo te salían 20000 pasos a optimizar, en un futuros si pones mas parametros o mas escala temporal que te ralenntiza cada paso te puedes morir.

Con algoritmos geneticos te das cuenta enseguida de si va bien el metodo o no, y ya lo paras y haces las variaciones que sea sin perder tiempo.

Si optimizaras por metodo lineal podrias estar varias horas con resultados malisimos y descartar el sistema, cuando en cambio a lo mejor al rato te daría mucho mejores reultados.

Lo que si puedes es variar es la "poblacion" que no se tu plataforma te lo permite, pero se podian hacer ciertas variaciones en visualchart para intentar mejorar la optimizacion y teoricamente ser unos resultados digamos como mas reales, o mas logicos en menos tiempo de optimizacion.

Hace varios años que no uso sistemas automaticos y estoy un poco olvidado del tema y no te puedo decir mas así de memoria

Nada mas, saludos
Entrena ahora cada día para despues ganarte el jornal todos los días!!!
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

Traderday escribió:Guille, respecto a que los resultados por optimizacion lineal o genetica, es normal que falle ligeramente y no sean identicos, pero si muy parecidos.

En cuanto a que metido es mejor: sin duda el de algoritmos geneticos.

Aunque en este caso solo tenias 5 parametros y solo te salían 20000 pasos a optimizar, en un futuros si pones mas parametros o mas escala temporal que te ralenntiza cada paso te puedes morir.

Con algoritmos geneticos te das cuenta enseguida de si va bien el metodo o no, y ya lo paras y haces las variaciones que sea sin perder tiempo.

Si optimizaras por metodo lineal podrias estar varias horas con resultados malisimos y descartar el sistema, cuando en cambio a lo mejor al rato te daría mucho mejores reultados.

Lo que si puedes es variar es la "poblacion" que no se tu plataforma te lo permite, pero se podian hacer ciertas variaciones en visualchart para intentar mejorar la optimizacion y teoricamente ser unos resultados digamos como mas reales, o mas logicos en menos tiempo de optimizacion.

Hace varios años que no uso sistemas automaticos y estoy un poco olvidado del tema y no te puedo decir mas así de memoria

Nada mas, saludos
Hola Traderday, gracias por contestar,

Creo que si, Traderday que para el caso que comentaba de los cinco parámetros sería mejor una genética tal y como dices, debido a la gran cantidad de test.
Yo lo que estoy deduciendo por todos los post que se están poniendo es que, en general, si el rango y las acotaciones de los parámetros son grandes (saldrán muchas iteraciones) es mejor la optimización genética pero si el rango y acotaciones de los parámetros son estrechas de forma que salen pocas iteraciones es mejor la opimización exhaustiva.
Luego está la posibilidad de optimizar los parámetros por grupos, que me parece una idea bastante buena, y que permite utilizar la optimización exhaustiva en cada grupo de parámetros (al reducir el número de test de cada optimización), pero creo que esta forma de optimizar es mejor hacerla cuando los parámetros ya vienen sesgados de zonas estables (de una optimización genética ).

Gracias y un saludo
Rango Starr
Mensajes: 3842
Registrado: 22 Dic 2014 10:49

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Rango Starr »

:D
Última edición por Rango Starr el 19 May 2021 07:10, editado 1 vez en total.
un ciclo y otro ciclo, son un biciclo...
si añadimos otro ciclo, entonces tendremos "un triciclo"... famoso trio catalan de humor de los 90....

..y nada mas...
Avatar de Usuario
sersansistemas
Mensajes: 79
Registrado: 20 Sep 2004 08:26
Ubicación: Reus
Contactar:

Re: ¿Optimización exhaustiva o genetica?

Mensaje por sersansistemas »

Guille escribió:
Traderday escribió:Guille, respecto a que los resultados por optimizacion lineal o genetica, es normal que falle ligeramente y no sean identicos, pero si muy parecidos.

En cuanto a que metido es mejor: sin duda el de algoritmos geneticos.

Aunque en este caso solo tenias 5 parametros y solo te salían 20000 pasos a optimizar, en un futuros si pones mas parametros o mas escala temporal que te ralenntiza cada paso te puedes morir.

Con algoritmos geneticos te das cuenta enseguida de si va bien el metodo o no, y ya lo paras y haces las variaciones que sea sin perder tiempo.

Si optimizaras por metodo lineal podrias estar varias horas con resultados malisimos y descartar el sistema, cuando en cambio a lo mejor al rato te daría mucho mejores reultados.

Lo que si puedes es variar es la "poblacion" que no se tu plataforma te lo permite, pero se podian hacer ciertas variaciones en visualchart para intentar mejorar la optimizacion y teoricamente ser unos resultados digamos como mas reales, o mas logicos en menos tiempo de optimizacion.

Hace varios años que no uso sistemas automaticos y estoy un poco olvidado del tema y no te puedo decir mas así de memoria

Nada mas, saludos
Hola Traderday, gracias por contestar,

Creo que si, Traderday que para el caso que comentaba de los cinco parámetros sería mejor una genética tal y como dices, debido a la gran cantidad de test.
Yo lo que estoy deduciendo por todos los post que se están poniendo es que, en general, si el rango y las acotaciones de los parámetros son grandes (saldrán muchas iteraciones) es mejor la optimización genética pero si el rango y acotaciones de los parámetros son estrechas de forma que salen pocas iteraciones es mejor la opimización exhaustiva.
Luego está la posibilidad de optimizar los parámetros por grupos, que me parece una idea bastante buena, y que permite utilizar la optimización exhaustiva en cada grupo de parámetros (al reducir el número de test de cada optimización), pero creo que esta forma de optimizar es mejor hacerla cuando los parámetros ya vienen sesgados de zonas estables (de una optimización genética ).

Gracias y un saludo

Hola Guille,

Tan solo añadir que no tienen que ser iguales sus resultados por lo comentado por X-trader, pero que en principio es mejor el genético que el lineal (aunque dependerá del objetivo perseguido)
El genético tiende a encontrar solo zonas robustas mientras que el lineal te los muestra todos, pero los ganadores serán los más altos, independientemente si están zona robusta o no. El genético, por su propia manera de iteraccionar, probablemente no encontrará una zona en la que solo haya un valor alto aislado.
Saludos
SERSAN SISTEMAS
Av. Bellissens, 42 - Edif. TecnoRedessa - 43204 Reus
Teléfono: +34 877 44 98 45
Email: [email protected] •t: @sersansistemas
Web: sersansistemas.com • twitch.tv/sersansistemas
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

Rango Starr escribió:Hola, buenos días, Guille,

Desconozco el time frame que estes utilizando, 5 parámetros a optimizar?, 21000 salidas?.... optimizacion de parámetros optimos previa?....

La pregunta que deberías hacerte no es si exhaustiva o genética. Cuantos mas parámetros tengas , mas fácil es ceñirse a curva. Mayor probabilidad de que falle el Walk forward. Si realizando genética te da por valida la estrategia, y por exhaustiva no, deberías sacar tus propias conclusiones. Me extraña que nadie te lo haya dicho.

¿ Te jugarías el capital en una estrategia que es validada por genética pero invalidada por exhaustiva? ( Mas claro no lo puedo decir).

Piensa además que los mercados tienen un comportamiento estocástico. Asi que lo mejor es que pocos parámetros y ligero ligero como el viento la optimización.... Porque lo que menos deseas es hacer trabajo de gratis, y cuanto menos optimices mejor. (no te interesa que se rompa al mes de estar en marcha un trabajo de 3 meses)

Primero, es descubrir un edge. Luego, buscar que programación es la adecuada para explotar ese edge. Solo los programas de algoritmos genéticos, primero programan y luego descubren el edge. (Y ni aun asi. Su ventaja reside en la velocidad de creación de estructuras algorítmicas, pero a la que miras su código muchas veces te mueres de la risa).

Otra cosa. Mas del 95% del personal pierde capital. Huye de las verdades que encuentres por ahi, o de las verdades que no hayas comprobado por ti mismo....

Me ha parecido leer que decias que un sistema debe ser multitimeframe, multi instrumento, y ya que estamos, porque no, multigalactico....

Agma no estaba diciendo eso precisamente. Dudo que lo haya dicho. El va por algo que precisamente no se encuentra en el precio en si. Es una característica que suele producir movimiento. Aunque nunca sabes hacia adonde , ni con que profundidad. No es en si ningún sistema.

Eso que has puesto, es una creencia popular que no tiene ningún fundamento y que es peligrosísima por si misma. Te obliga a buscar sistemas universales, y de esos hay pocos, muy pocos....(yo al menos no conozco ningún sistema de esos, aunque no niego su existencia). Puede que feroz, te pudiera explicar alguno, aunque por lo que comento algún dia, el programa que utiliza tiene mas líneas que salidas tiene tu optimización.

Espero que lo tomes como una critica positiva, que es lo que pretende ser.

Personalmente , antes de comenzar a programar una estrategia, primero me preguntaria que es lo que pretendo, y donde quiero llegar.

Saludos!!
Hola Rango Starr,
Te agradezco mucho tu post.
Creo que lo de realizar una optimización genética previa, con rangos muy amplios, sirve para buscar zonas estables de los parámetros con los cuales poder empezar a trabajar.
Otra cosa es lo que comentas de que el número de parámetros sea excesivo, que es una cosa que debo de intentar corregir.
Lo de la universalidad de los sistemas mi opinión es que un buen sistema quizás no valga para todo el universo de activos pero si debe funcionar bien en aquellos que estén relacionados y en diferentes TF. Y digo solo ir bien , pero no me refiero a que se puedan aplicar ni a que pasen las pruebas, sino simplemente a que no se comporten mal del todo. Pero es solo una opinión que me dice mi lógica y lo que he leído porque mi experiencia es escasa.
Y lo de que la estrategia ha sido invalidada por la optimización genética o exhaustiva me gustaría matizarlo porque no es del todo correcto:
Realmente el sistema si que pasó las prueba de opimización tanto genética como exhaustiva, de hecho, ambas optimizaciones proporcinaron unos parámetros que daban buenos resultados out of simple, con unos DD bastante bajos y demás.
El problema fue al hacerle la prueba de robustez a la optimización exhaustiva, esto es, al hacerle numerosas pruebas externas con diferentes periodos in simple y out sample hasta obtener varios periodos out sample sin optimizar con los mejores parámetros encontrados en la parte optimizada. Esa es la prueba que no pasó que no paso con la optimización exhaustiva y si con la genética.
Y ya de paso me hago la pregunta que planteas y solo me sale una respuesta....a ganar dinero¡¡

Gracias y un saludo
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

sersansistemas escribió:

Hola Guille,

Tan solo añadir que no tienen que ser iguales sus resultados por lo comentado por X-trader, pero que en principio es mejor el genético que el lineal (aunque dependerá del objetivo perseguido)
El genético tiende a encontrar solo zonas robustas mientras que el lineal te los muestra todos, pero los ganadores serán los más altos, independientemente si están zona robusta o no. El genético, por su propia manera de iteraccionar, probablemente no encontrará una zona en la que solo haya un valor alto aislado.
Saludos
Hola sersansistemas,

Muchas gracias por contestar.
El tema también era que con la optimización exhaustiva, el sistema no había pasado el WFO y con la genética si, y no se hasta que punto eso podía valer para considerar el sistema como robusto. De ahí la pregunta sobre cual de las dos optimizaciones es mejor.

Gracias y un saludo
Avatar de Usuario
sersansistemas
Mensajes: 79
Registrado: 20 Sep 2004 08:26
Ubicación: Reus
Contactar:

Re: ¿Optimización exhaustiva o genetica?

Mensaje por sersansistemas »

Guille escribió:
sersansistemas escribió:

Hola Guille,

Tan solo añadir que no tienen que ser iguales sus resultados por lo comentado por X-trader, pero que en principio es mejor el genético que el lineal (aunque dependerá del objetivo perseguido)
El genético tiende a encontrar solo zonas robustas mientras que el lineal te los muestra todos, pero los ganadores serán los más altos, independientemente si están zona robusta o no. El genético, por su propia manera de iteraccionar, probablemente no encontrará una zona en la que solo haya un valor alto aislado.
Saludos
Hola sersansistemas,

Muchas gracias por contestar.
El tema también era que con la optimización exhaustiva, el sistema no había pasado el WFO y con la genética si, y no se hasta que punto eso podía valer para considerar el sistema como robusto. De ahí la pregunta sobre cual de las dos optimizaciones es mejor.

Gracias y un saludo
Sí, lo se, pero a eso ya te has ido respondiendo tu durante el post :)
Ambos son buenos y malos. WFO es fantástico pero la selección de muestra y rangos la hacemos nosotros y eso puede influir decisivamente en el resultado.
Por otro lado, a los sistemas tendenciales les cuesta pasar el consistency, es normal. Quiero decir que hay Faileds y Faileds, por esode hecho los requisitos se pueden editar
Saludos
SERSAN SISTEMAS
Av. Bellissens, 42 - Edif. TecnoRedessa - 43204 Reus
Teléfono: +34 877 44 98 45
Email: [email protected] •t: @sersansistemas
Web: sersansistemas.com • twitch.tv/sersansistemas
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

sersansistemas escribió:
Sí, lo se, pero a eso ya te has ido respondiendo tu durante el post :)
Ambos son buenos y malos. WFO es fantástico pero la selección de muestra y rangos la hacemos nosotros y eso puede influir decisivamente en el resultado.
Por otro lado, a los sistemas tendenciales les cuesta pasar el consistency, es normal. Quiero decir que hay Faileds y Faileds, por esode hecho los requisitos se pueden editar
Saludos
Bueno, de momento prefiero no cambiar los criterios que tiene el WFO por defecto. Cuando tenga más experiencia, quizás.
He revisado el WFO realizado a la optimización exhaustiva en cuestión y la mayoría de FAILEDS lo fueron por no cumplir el criterio 4 de distribución de beneficios.

Saludos y muchas gracias por todo
Avatar de Usuario
sersansistemas
Mensajes: 79
Registrado: 20 Sep 2004 08:26
Ubicación: Reus
Contactar:

Re: ¿Optimización exhaustiva o genetica?

Mensaje por sersansistemas »

Guille escribió:
sersansistemas escribió:
Sí, lo se, pero a eso ya te has ido respondiendo tu durante el post :)
Ambos son buenos y malos. WFO es fantástico pero la selección de muestra y rangos la hacemos nosotros y eso puede influir decisivamente en el resultado.
Por otro lado, a los sistemas tendenciales les cuesta pasar el consistency, es normal. Quiero decir que hay Faileds y Faileds, por esode hecho los requisitos se pueden editar
Saludos
Bueno, de momento prefiero no cambiar los criterios que tiene el WFO por defecto. Cuando tenga más experiencia, quizás.
He revisado el WFO realizado a la optimización exhaustiva en cuestión y la mayoría de FAILEDS lo fueron por no cumplir el criterio 4 de distribución de beneficios.

Saludos y muchas gracias por todo

Fallo típico de un tendencial, que justamente basa su éxito en unos pocos trades. Por lo tanto, podría ser hasta normal, que un run gane más del 50% del profit total. Dependiendo del número de runs y del sistema. Verás como muchos Pass, pasan este test por lo pelos.
No olvides que si se definen bien los rangos, WFO es una prueba de stress impresionante, realmente difícil de pasar. Obligamos al sistema a que de PASS en los 5 tests, que aplicados a años y momentos de mercado probablemente muy distintos. Por tanto, demuestra una capacidad de adaptación extraordinaria.

Saludos
Saludos
SERSAN SISTEMAS
Av. Bellissens, 42 - Edif. TecnoRedessa - 43204 Reus
Teléfono: +34 877 44 98 45
Email: [email protected] •t: @sersansistemas
Web: sersansistemas.com • twitch.tv/sersansistemas
Guille
Mensajes: 478
Registrado: 29 Ene 2015 14:50

Re: ¿Optimización exhaustiva o genetica?

Mensaje por Guille »

sersansistemas escribió:
Fallo típico de un tendencial, que justamente basa su éxito en unos pocos trades. Por lo tanto, podría ser hasta normal, que un run gane más del 50% del profit total. Dependiendo del número de runs y del sistema. Verás como muchos Pass, pasan este test por lo pelos.
No olvides que si se definen bien los rangos, WFO es una prueba de stress impresionante, realmente difícil de pasar. Obligamos al sistema a que de PASS en los 5 tests, que aplicados a años y momentos de mercado probablemente muy distintos. Por tanto, demuestra una capacidad de adaptación extraordinaria.

Saludos
Saludos
Por falta de experiencia solo había atinado a ver el resultado final del WFO y a mirar por encima los criterios FAILED en los resultados de los test, sin analizar su por qué.
Ahora, gracias a tu explicación, puedo interpretar los resultados mas objetivamente y no limitarme al pasa o no pasa, que era lo que estaba haciendo.

Muchas Gracias y un saludo
Si te ha gustado este hilo del Foro, ¡compártelo en redes!


Responder

Volver a “TradeStation”