Página 1 de 1

La falacia de la prueba externa

Publicado: 24 Ene 2007 11:32
por hammer
A las buenas,

Aprovechando que el bund se ha puesto de los nervios, y mientras se va tranquilizando, voy a exponer una idea que últimamente me ronda la cabeza.

Se trata de avisar a quienes desarrollan sistemas automáticos de la posibilidad de que el método de la prueba externa les esté dando resultados inútiles.

La prueba externa consiste, básicamente (y como todo el mundo sabe), en comprobar los resultados de un sistema sobre una parte del histórico sobre la que no se ha realizado una optimización de los parámetros.

Puede ser una práctica muy saludable, pero puede ocurrir que lo que estemos haciendo es una optimización manual. Es decir, si vemos que los resultados sobre el histórico no optimizado no nos gustan, pasamos de esos parámetros y buscamos otros.

De esta forma estamos ajustando de forma manual los parámetros al histórico incluyendo la parte no optimizada.

Es sólo una idea para pensar un poco :idea:.

Saludos ;-).

Totalmente deacuerdo

Publicado: 24 Ene 2007 12:32
por pepes
Pues no podria estar mas deacuerdo contigo, es muy habitual caer en esa tentación. Esta idea me hizo replantearme los sistemas, y buscar sistemas que apenas tubieran parametros y que con los mismos vaya bien en la mayoria de los futuros sobre indices, por ejemplo para mi un sistema que sea para Dax , debe de ir igual de bien en Eurostxx, Cac40 e Ibex35. Asi solo me quedo con los sistemas que cumplan este requisito y evito sobreoptimizar.

Un saludo;

Publicado: 25 Ene 2007 17:43
por javi7
Pero es que cada activo es un mundo. Cada uno tiene su rango su volatilidad y demás parametros que afectan en la efectividad de un parametro.

Publicado: 25 Ene 2007 18:36
por hammer
Pues la verdad es que a mi también me parece mucho pedir a un sistema que curre con todos esos activos y encima con los mismos parámetros.

Pero si lo has conseguido, ¡¡¡enhorabuena!!! (cuando tengas tiempo, cuelga una foto del Ferrari para ponernos los dientes largos :-D).

Saludos ;-).

Publicado: 25 Ene 2007 18:58
por Zubi
Quizas en una operativa discrecional en base a patrones se pueda conseguir q un sistema curre en casi todos los activos e incluso, en cualquier compresion, ahora bien conseguir mecanizar eso pa mi q 'tiene tela'.
Y por supuesto me parece q no son pocos los parametros q se necesita pa ello y ademas para cada activo necesitará unos concretos, y dentro de cada activo, para las diferentes compresiones, otra vez a concretar, asi q dudo q se pueda logar, mecanizar algo q nos haga ganar, sin bjarnos del 'autobus'.
Pero por supuesto de programar no tengo ni pajonera idea, asi q es una opinion con 'poco o ningun fundamento' :-)
Salu2.

Objetivo

Publicado: 25 Ene 2007 19:20
por pepes
Pues para mi ese fue el objetivo, y si funciona en todos los indices mencionados, en la mismas compresiones y mismos parametros, y tienen muy pocos parametros.
Estoy deacuerdo en que cada producto tiene cosas diferentes, y eso es bueno porque asi diversificas, pero para hacer una estrategia no me fijo en las cosas que los diferencian sino en las que se parecen. Sino consiguiera que una estrategia funcionara en productos que en teoria son iguales en comportamiento, no estaria seguro, porque quien me dice que en un futuro el dax por ejemplo no se comportara como el Eurostxx. Para mi, si un sistema va bien en los indices, debe de hacerlo medianamente bien en todos, sino descarto el sistema.

Hay pocos sistemas que funcionen sin

Publicado: 25 Ene 2007 19:38
por scalp
Optimizar parametros en diferentes activos, pero los hay ........

Uno de ellos trabaja las pautas tendencia-lateral y patrones con los mismos parametros, pero esta lejos de poder automatizarse totalmente.

Otro trabaja la estructura y rango de las barras y el volumen.

Y seguro que hay muchos mas.

saludos :wink:

Publicado: 25 Ene 2007 19:39
por Zubi
Hablo de sistema mecanizado, partiendo de la base q confieso q no tengo ni idea de programar.
Ahora bien, sistema discrecional (no se interprete discrecional, por entrar almercado alegremente, como el q entra en un chiringuito a tomarse algo), refiriendome a la operativa manual, con la exigencia del cumplimiento de unas determinadas condiciones q nos proporcionan puntos de entrada y salida del mercado, yo ese modestamente hace tiempo q lo tengo y con el sobrevivo.
Salu2.

sistema automatico

Publicado: 25 Ene 2007 19:51
por pepes
Todo lo que te comento es con sistemas automaticos, el mismo sistema automatico tiene que funcionar en todos los indices si el sistema es para indices, con los mismos parametros y en la misma compresion.
Sino es un sistema automatico no puedo comprobar que las estadistica tienen esperanza matematica positiva.
Bueno, para mi esto es un camino por el cual me siento comodo, para mi una estrategia que gane en unos futuros sobre indices y en otros no no me genera confianza, es solo una opinion, .

Publicado: 25 Ene 2007 19:56
por hammer
Estoy seguro de que se puede programar un sistema que, sin parámetros, funcione bien en Bund, Dax y ES50 por lo menos (que son los que conozco un poco).

Pero también estoy seguro de que ese sistema (que es el que utilizo en operativa discrecional [de manual, no de chiringuito, ¿eh? :D]) no lo puedo programar con Visual Chart ni de coña. Le faltan unas cuantas versiones para permitirlo :?.

Pero no dudo de que otros más hábiles lo hayan conseguido.

Saludos ;-).

Programacion

Publicado: 26 Ene 2007 09:14
por pepes
Si que se puede programar en visual, aunque no es la plataforma que utilizo.
Hay sistemas que llevan funcionando 20 años y son multicomoditties, como el Aberration, y la idea del mismo es unas simples bandas, nada mas. Y esta idea funciona en la mayoria de comodities. Tendemos a hacer que un sistema vaya fenomenal en un mercado, y para eso utilizamos 20 variable, y asi acabas ajustandote. Los sistemas que funcionan en todas los mercados no tienen mas de 4 variable.

Un saludo

Publicado: 27 Ene 2007 20:47
por Elvys
Pienso q se debe de buscar un punto medio,querer dar con una estrategia q gane en todos los mercados (q amplitud de indices¡¡) es pedirles peras al olmo,ni tampoco sistemas con 20 parametros optimizables...q tambien los hay q no se optimizan jeje,creo q la optimizacion de variables esta para algo,despreciarla es querer hacer florituras o malabarismos con las estrategias.
Puede ser q estrategias sin variables optimizables den buenos resultados en varios mercados,eso es bueno,pero siempre se puede matizar un poco la estrategia añadiendo alguna variable optimizable q no desvirtue en exceso o en nada las reglas de la estrategia y q la mejore,por poner un ejemplo,a cualquier estrategia podriamos ponerle una variable optmizable como el "tiempo" horas de entrada y salida y optmizar franjas horarias,los resultados podrian ser cuanto mas curiosos e incluso como simple ejercicio pratico seria bueno,podriamos sacar alguna conlcusion tambien, y las reglas de entrada y salida siguen siendo las mismas,lo q quiero expresar es q todo es ralativo y dinamico a la vez ,ademas el grado de satisfaccion de destripar estrategias y hacerle todo tipo de perrerias no me la quita nadie aunque sea como puro ejercicio practico.Osea "Una estrategia sin varibles optimizables q de buen resultado en algunos/varios indices se puede mejorar añadiendo algun tipo de varialbe optimizable,pero no por el simple hecho de añadirle una optimizable¡¡ sino por q la estrategia ya de por si es ganadora con sus reglas basicas.....q no es lo mismo q añadir variables optmizables a estrategias q no dan dinero para intentar q lo den y convertirlas en estrategias rentables",se me entiende no,para mi esto va a misa aunque solo es mi vision del tema.

Publicado: 27 Ene 2007 23:13
por javi7
Como dice Elvys habría que distinguir entre dos variables:

-Las variables "intrensecas" del mercado: Que son los parametros del activo como la volatilidad, el rango o incluso datos estadisticos como el Stop-Loss "idoneo" estadísticamente o el retroceso medio del mercado cuando se dan unas circunstancias X.

-Las variables "para cuadrar sistemas": Que son aquellas que no reflejan una magnitud o patrón en un activo sino el valor que da el mejor retorno como por ejemplo optimizar periodos en medias.

Esta distinción no resuelve nada ya que las variables "para cuadrar sistemas" reflejan en el periodo del gráfico estudiado una variable intrinseca. Como por ejemplo en un sistema de cruce de una media con el activo el periodo de la media nos muestra en cierto modo la volatlidad de la muestra estudiada.

Por lo tanto cuando pretendemos hacer constante una variable "intrinseca" la convertimos en una variable inutil.

El sistema perfecto no debe usar variables constantes sino que se "refresquen" diariamente para adaptarse a la situación. Aunque con esto estamos en las de siempre: Distinguir entre laterla y tendencia. Si supieramos predecir esto seriamos ricos!!xD

Saludos

Publicado: 27 Ene 2007 23:21
por polxx
Toooooooootalmente de acuerdo contigo ELVYS.

Hay que optimizar, pero sin pasarse, con conocimiento. Y optimizar sobre reglas que por si solas funcionen.

Ultimamente ando pensando, ¿que periodo es el mas optimo para optimizar parametros?

Si tomamos 8 años estamos tomando periodos alcistas, bajistas, laterales, de volatilidades altas, bajas...Pero por contra estamos tomando datos muy obsoletos, y el mercado ya no se comporta asi. Por poner un ejemplo hace 8 años apenas habia sistemas automaticos, y el mercado ha ido cambiando sus pautas y movimientos conforme los sistemas automaticos han ido consolidandose.

Por otro lado, si tomamos 1 año estamos optimizando y sacando los parametros que mejor se han comportado justamente en el ultimo año. Buscamos saber los parametros que mejor se comportaran en el futuro, y como no podemos saberlos con exactitud, buscamos una apoximacion. Los parametros que mejor se comportaran en el futuro no son los mejores del ultimo año, pero es razonable pensar que estan muy cerca unos de otros.

¿Por tanto como resolvemos el periodo a tomar de historico para optimizar?
¿Tomamos mucho o poco periodo?
Yo propongo lo siguiente. Optimizamos los 8 ultimos años, y optimizamos el ultimo año.
Imaginemos que tenemos un sistema con 1 solo parametro que puede valer desde 0 hasta 100.
Si la optimizacion de 8 años nos dice que 50, y la de 1 año nos dice que 50, evidentemente tomamos 50 para el futuro.

Si la optimizacion de 8 años nos dice 50, y la de 1 año nos dice 80. Podriamos pensar que estamos en un extremo del valor optimo del parametro. El mercado se esta comportanto ultimamente de forma extremista visto desde el punto de vista de nuestro sistema. Asi que seria razonable pensar que en el futuro el parametro que mejor va a funcionar este cercano al del ultimo año, pero acercandose al parametro de 8 años.

Lo que hariamos seria ponderar las 2 optimizaciones. 70% del peso para la del ultimo año, y 30% para la de 8 años:
70*80 = 5600
30*50 = 1500
5600+1500 = 7100
7100/100 = 71

¿Y porque he tomado una ponderacion del 70%? Pues no lo se, por poner un ejemplo. Afinar eso ya seria cuestion de verlo con la experiencia.
¿Porque he tomado 1 y 8 años? Por tomar años completos, ya que dentro de cada año se producen pautas estacionales que se repiten, parece mas logico tomar 1 año, que año y medio por ejemplo.

Y ya para rematar, si este proceso de ajuste de parametros, lo repetimos cada 2 o 3 meses, pues vamos siguiendo mas de cerca a los parametros optimos.

Eso si, siempre y cuando el sistema sea bueno por si mismo, y no produzco de la optimizacion. Yo solo hablo de como ajustar un sistema que de por si es ganador.