La falacia de la prueba externa

El espacio de los traders quant: sistemas de trading, gestión monetaria, automatización de sistemas.
Responder
Avatar de Usuario
hammer
Mensajes: 675
Registrado: 12 Jul 2005 02:00

La falacia de la prueba externa

Mensaje por hammer »

A las buenas,

Aprovechando que el bund se ha puesto de los nervios, y mientras se va tranquilizando, voy a exponer una idea que últimamente me ronda la cabeza.

Se trata de avisar a quienes desarrollan sistemas automáticos de la posibilidad de que el método de la prueba externa les esté dando resultados inútiles.

La prueba externa consiste, básicamente (y como todo el mundo sabe), en comprobar los resultados de un sistema sobre una parte del histórico sobre la que no se ha realizado una optimización de los parámetros.

Puede ser una práctica muy saludable, pero puede ocurrir que lo que estemos haciendo es una optimización manual. Es decir, si vemos que los resultados sobre el histórico no optimizado no nos gustan, pasamos de esos parámetros y buscamos otros.

De esta forma estamos ajustando de forma manual los parámetros al histórico incluyendo la parte no optimizada.

Es sólo una idea para pensar un poco :idea:.

Saludos ;-).
pepes
Mensajes: 36
Registrado: 28 Nov 2006 16:14
Ubicación: Madrid

Totalmente deacuerdo

Mensaje por pepes »

Pues no podria estar mas deacuerdo contigo, es muy habitual caer en esa tentación. Esta idea me hizo replantearme los sistemas, y buscar sistemas que apenas tubieran parametros y que con los mismos vaya bien en la mayoria de los futuros sobre indices, por ejemplo para mi un sistema que sea para Dax , debe de ir igual de bien en Eurostxx, Cac40 e Ibex35. Asi solo me quedo con los sistemas que cumplan este requisito y evito sobreoptimizar.

Un saludo;
javi7
Mensajes: 113
Registrado: 03 Jun 2006 17:08

Mensaje por javi7 »

Pero es que cada activo es un mundo. Cada uno tiene su rango su volatilidad y demás parametros que afectan en la efectividad de un parametro.
Avatar de Usuario
hammer
Mensajes: 675
Registrado: 12 Jul 2005 02:00

Mensaje por hammer »

Pues la verdad es que a mi también me parece mucho pedir a un sistema que curre con todos esos activos y encima con los mismos parámetros.

Pero si lo has conseguido, ¡¡¡enhorabuena!!! (cuando tengas tiempo, cuelga una foto del Ferrari para ponernos los dientes largos :-D).

Saludos ;-).
Avatar de Usuario
Zubi
Mensajes: 504
Registrado: 17 Sep 2004 22:38
Ubicación: Granada

Mensaje por Zubi »

Quizas en una operativa discrecional en base a patrones se pueda conseguir q un sistema curre en casi todos los activos e incluso, en cualquier compresion, ahora bien conseguir mecanizar eso pa mi q 'tiene tela'.
Y por supuesto me parece q no son pocos los parametros q se necesita pa ello y ademas para cada activo necesitará unos concretos, y dentro de cada activo, para las diferentes compresiones, otra vez a concretar, asi q dudo q se pueda logar, mecanizar algo q nos haga ganar, sin bjarnos del 'autobus'.
Pero por supuesto de programar no tengo ni pajonera idea, asi q es una opinion con 'poco o ningun fundamento' :-)
Salu2.
lo facil es opinar sobre la parte izquierda del grafico, lo dificil es operar en tiempo real en el lado derecho

pepes
Mensajes: 36
Registrado: 28 Nov 2006 16:14
Ubicación: Madrid

Objetivo

Mensaje por pepes »

Pues para mi ese fue el objetivo, y si funciona en todos los indices mencionados, en la mismas compresiones y mismos parametros, y tienen muy pocos parametros.
Estoy deacuerdo en que cada producto tiene cosas diferentes, y eso es bueno porque asi diversificas, pero para hacer una estrategia no me fijo en las cosas que los diferencian sino en las que se parecen. Sino consiguiera que una estrategia funcionara en productos que en teoria son iguales en comportamiento, no estaria seguro, porque quien me dice que en un futuro el dax por ejemplo no se comportara como el Eurostxx. Para mi, si un sistema va bien en los indices, debe de hacerlo medianamente bien en todos, sino descarto el sistema.
Avatar de Usuario
scalp
Mensajes: 1916
Registrado: 17 Sep 2004 22:45

Hay pocos sistemas que funcionen sin

Mensaje por scalp »

Optimizar parametros en diferentes activos, pero los hay ........

Uno de ellos trabaja las pautas tendencia-lateral y patrones con los mismos parametros, pero esta lejos de poder automatizarse totalmente.

Otro trabaja la estructura y rango de las barras y el volumen.

Y seguro que hay muchos mas.

saludos :wink:
Scalp.




Antes de que puedas hacer algo que nunca has hecho, tienes que ser capaz de imaginar que es posible.
Avatar de Usuario
Zubi
Mensajes: 504
Registrado: 17 Sep 2004 22:38
Ubicación: Granada

Mensaje por Zubi »

Hablo de sistema mecanizado, partiendo de la base q confieso q no tengo ni idea de programar.
Ahora bien, sistema discrecional (no se interprete discrecional, por entrar almercado alegremente, como el q entra en un chiringuito a tomarse algo), refiriendome a la operativa manual, con la exigencia del cumplimiento de unas determinadas condiciones q nos proporcionan puntos de entrada y salida del mercado, yo ese modestamente hace tiempo q lo tengo y con el sobrevivo.
Salu2.
lo facil es opinar sobre la parte izquierda del grafico, lo dificil es operar en tiempo real en el lado derecho
pepes
Mensajes: 36
Registrado: 28 Nov 2006 16:14
Ubicación: Madrid

sistema automatico

Mensaje por pepes »

Todo lo que te comento es con sistemas automaticos, el mismo sistema automatico tiene que funcionar en todos los indices si el sistema es para indices, con los mismos parametros y en la misma compresion.
Sino es un sistema automatico no puedo comprobar que las estadistica tienen esperanza matematica positiva.
Bueno, para mi esto es un camino por el cual me siento comodo, para mi una estrategia que gane en unos futuros sobre indices y en otros no no me genera confianza, es solo una opinion, .
Avatar de Usuario
hammer
Mensajes: 675
Registrado: 12 Jul 2005 02:00

Mensaje por hammer »

Estoy seguro de que se puede programar un sistema que, sin parámetros, funcione bien en Bund, Dax y ES50 por lo menos (que son los que conozco un poco).

Pero también estoy seguro de que ese sistema (que es el que utilizo en operativa discrecional [de manual, no de chiringuito, ¿eh? :D]) no lo puedo programar con Visual Chart ni de coña. Le faltan unas cuantas versiones para permitirlo :?.

Pero no dudo de que otros más hábiles lo hayan conseguido.

Saludos ;-).
pepes
Mensajes: 36
Registrado: 28 Nov 2006 16:14
Ubicación: Madrid

Programacion

Mensaje por pepes »

Si que se puede programar en visual, aunque no es la plataforma que utilizo.
Hay sistemas que llevan funcionando 20 años y son multicomoditties, como el Aberration, y la idea del mismo es unas simples bandas, nada mas. Y esta idea funciona en la mayoria de comodities. Tendemos a hacer que un sistema vaya fenomenal en un mercado, y para eso utilizamos 20 variable, y asi acabas ajustandote. Los sistemas que funcionan en todas los mercados no tienen mas de 4 variable.

Un saludo
Avatar de Usuario
Elvys
Mensajes: 177
Registrado: 22 Mar 2006 04:03

Mensaje por Elvys »

Pienso q se debe de buscar un punto medio,querer dar con una estrategia q gane en todos los mercados (q amplitud de indices¡¡) es pedirles peras al olmo,ni tampoco sistemas con 20 parametros optimizables...q tambien los hay q no se optimizan jeje,creo q la optimizacion de variables esta para algo,despreciarla es querer hacer florituras o malabarismos con las estrategias.
Puede ser q estrategias sin variables optimizables den buenos resultados en varios mercados,eso es bueno,pero siempre se puede matizar un poco la estrategia añadiendo alguna variable optimizable q no desvirtue en exceso o en nada las reglas de la estrategia y q la mejore,por poner un ejemplo,a cualquier estrategia podriamos ponerle una variable optmizable como el "tiempo" horas de entrada y salida y optmizar franjas horarias,los resultados podrian ser cuanto mas curiosos e incluso como simple ejercicio pratico seria bueno,podriamos sacar alguna conlcusion tambien, y las reglas de entrada y salida siguen siendo las mismas,lo q quiero expresar es q todo es ralativo y dinamico a la vez ,ademas el grado de satisfaccion de destripar estrategias y hacerle todo tipo de perrerias no me la quita nadie aunque sea como puro ejercicio practico.Osea "Una estrategia sin varibles optimizables q de buen resultado en algunos/varios indices se puede mejorar añadiendo algun tipo de varialbe optimizable,pero no por el simple hecho de añadirle una optimizable¡¡ sino por q la estrategia ya de por si es ganadora con sus reglas basicas.....q no es lo mismo q añadir variables optmizables a estrategias q no dan dinero para intentar q lo den y convertirlas en estrategias rentables",se me entiende no,para mi esto va a misa aunque solo es mi vision del tema.
javi7
Mensajes: 113
Registrado: 03 Jun 2006 17:08

Mensaje por javi7 »

Como dice Elvys habría que distinguir entre dos variables:

-Las variables "intrensecas" del mercado: Que son los parametros del activo como la volatilidad, el rango o incluso datos estadisticos como el Stop-Loss "idoneo" estadísticamente o el retroceso medio del mercado cuando se dan unas circunstancias X.

-Las variables "para cuadrar sistemas": Que son aquellas que no reflejan una magnitud o patrón en un activo sino el valor que da el mejor retorno como por ejemplo optimizar periodos en medias.

Esta distinción no resuelve nada ya que las variables "para cuadrar sistemas" reflejan en el periodo del gráfico estudiado una variable intrinseca. Como por ejemplo en un sistema de cruce de una media con el activo el periodo de la media nos muestra en cierto modo la volatlidad de la muestra estudiada.

Por lo tanto cuando pretendemos hacer constante una variable "intrinseca" la convertimos en una variable inutil.

El sistema perfecto no debe usar variables constantes sino que se "refresquen" diariamente para adaptarse a la situación. Aunque con esto estamos en las de siempre: Distinguir entre laterla y tendencia. Si supieramos predecir esto seriamos ricos!!xD

Saludos
Última edición por javi7 el 27 Ene 2007 23:45, editado 1 vez en total.
Avatar de Usuario
polxx
Mensajes: 847
Registrado: 09 Dic 2005 10:25
Ubicación: Albacete

Mensaje por polxx »

Toooooooootalmente de acuerdo contigo ELVYS.

Hay que optimizar, pero sin pasarse, con conocimiento. Y optimizar sobre reglas que por si solas funcionen.

Ultimamente ando pensando, ¿que periodo es el mas optimo para optimizar parametros?

Si tomamos 8 años estamos tomando periodos alcistas, bajistas, laterales, de volatilidades altas, bajas...Pero por contra estamos tomando datos muy obsoletos, y el mercado ya no se comporta asi. Por poner un ejemplo hace 8 años apenas habia sistemas automaticos, y el mercado ha ido cambiando sus pautas y movimientos conforme los sistemas automaticos han ido consolidandose.

Por otro lado, si tomamos 1 año estamos optimizando y sacando los parametros que mejor se han comportado justamente en el ultimo año. Buscamos saber los parametros que mejor se comportaran en el futuro, y como no podemos saberlos con exactitud, buscamos una apoximacion. Los parametros que mejor se comportaran en el futuro no son los mejores del ultimo año, pero es razonable pensar que estan muy cerca unos de otros.

¿Por tanto como resolvemos el periodo a tomar de historico para optimizar?
¿Tomamos mucho o poco periodo?
Yo propongo lo siguiente. Optimizamos los 8 ultimos años, y optimizamos el ultimo año.
Imaginemos que tenemos un sistema con 1 solo parametro que puede valer desde 0 hasta 100.
Si la optimizacion de 8 años nos dice que 50, y la de 1 año nos dice que 50, evidentemente tomamos 50 para el futuro.

Si la optimizacion de 8 años nos dice 50, y la de 1 año nos dice 80. Podriamos pensar que estamos en un extremo del valor optimo del parametro. El mercado se esta comportanto ultimamente de forma extremista visto desde el punto de vista de nuestro sistema. Asi que seria razonable pensar que en el futuro el parametro que mejor va a funcionar este cercano al del ultimo año, pero acercandose al parametro de 8 años.

Lo que hariamos seria ponderar las 2 optimizaciones. 70% del peso para la del ultimo año, y 30% para la de 8 años:
70*80 = 5600
30*50 = 1500
5600+1500 = 7100
7100/100 = 71

¿Y porque he tomado una ponderacion del 70%? Pues no lo se, por poner un ejemplo. Afinar eso ya seria cuestion de verlo con la experiencia.
¿Porque he tomado 1 y 8 años? Por tomar años completos, ya que dentro de cada año se producen pautas estacionales que se repiten, parece mas logico tomar 1 año, que año y medio por ejemplo.

Y ya para rematar, si este proceso de ajuste de parametros, lo repetimos cada 2 o 3 meses, pues vamos siguiendo mas de cerca a los parametros optimos.

Eso si, siempre y cuando el sistema sea bueno por si mismo, y no produzco de la optimizacion. Yo solo hablo de como ajustar un sistema que de por si es ganador.
Si te ha gustado este hilo del Foro, ¡compártelo en redes!


Responder

Volver a “Sistemas de Trading”