Protocolo para Testear Sistemas.

Todo sobre el trading en los mercados financieros: funcionamiento, dudas, noticias, etc.
Responder
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Protocolo para Testear Sistemas.

Mensaje por kundera »

Hola compinches,

Ven en el post del sistema velocidad como todos nos quejamos de las “maravillosas” plusvalías que se consiguen en los estudios teóricos y que cuando uno va al mundo real, coñe, la cosa ya no va como la seda y queda un trabajo tremendo de probar y probar en papel antes de pasar al real.

Aprovechando ese sentimiento os voy a describir el método que uso para testear sistemas. Seguro que me dejo cosas, así que entre todos podemos llegar a identificar cual sería la secuencia lógica de “pruebas del algodón” necesarias para minimizar el riesgo de operar con un determinado sistema en el real:

1 – Cogemos un sistema (propio o ya testeado) basado en una idea lógica y con el menor número de parámetros posibles.

2 – Primera pametrización general y muy suave, es decir, en con amplias zonas de variación en cada parámetro para no pasarnos de parametrización. Por ejemplo, si tenemos que tener en cuenta las “n” barras anteriores, que el parámetro Barras se incremente de 3 en tres o 4 en cuatro.
Esa parametrización cogemos un periodo de dos o dos años y medio hacia atrás, no superior para no modificar demasiado el mercado actual.

3 – Analizamos los resultados buscando zonas robustas.

4 – A esas zonas robustas les aplicamos una parametrización más detallada tanto por criterio ganancia como por criterio drawdown. Sacamos conclusiones sobre zona robusta (funciona mejor cerrandose al final del día, ...).

5 – Estudiamos esa zona robusta con profundidad viendo como se altera ante cambios en cada parámetro. Es necesario que sea sólida en todos los entornos, si no, puede ser una casualidad matemática.

6 – Colocamos en gráficos esos resultados. A mi me ayuda bastante la comparación gráfica.

7 - Analizamos cual es la parametrización más consistente en el conjunto, entendiendo como más consistente, aquella que tenga la mejor ecuación ganancia/drawdown (aconsejo primar el drawdown), y que tenga mayor consistencia en cuanto “Índice de Ruina”, etc., y que todas las parametrizaciones aledañas también sean sólidas.

8 – Verificamos que también es sólida en otros tipos de mercado, probándolo en años no testeados (1996 – 2002).

9 -Verificamos que esa parametrización es sólida también en otros periodos, (15, 30, 60, dia, ...).

10 – Verificamos que funciona en otros futuros. Cac, Mini-Sp, Bund, petroleo, ...
En este punto tengo dudas sobre si debe o no funcionar en todos los futuros.

11 – Verificación en papel.

Bueno, espero que seáis críticos y déis caña a lo comentado arriba. Cuantos más puntos de vista mejor para conformar un “protocolo” efectivo.

A seguir dando caña! :wink:
"La Buena Suerte se comparte"
Avatar de Usuario
strada
Mensajes: 72
Registrado: 18 Nov 2004 14:05

Mensaje por strada »

Saludos

Ahora que estoy optimizando precisamente, te cuento un poco cómo lo hago (por ahora)
Pienso que los mercados no son iguales cuando suben que cuando bajan o cuando están laterales. Por esto separo un sistema para largos y otro para cortos, los testeo y optimizo por separado luego intentaré juntarlos si se puede, si no tendré ese problema de tener que abrir dos cuentas o algo así.

Después lo hago más o menos como tú dices, trabajo con 2 años en 5 min. pero para afinar más busco en diario tramos alcistas, bajistas y neutros que sean suficientemente amplios (3 a 6 meses).
Sobre estos trabajo por separado y miro las similitudes.
Si el sistema se comporta bien en los tres tipos de tramos con las mismas magnitudes de los parámetros, el sistema es bueno.

Después miro los lugares (días o semanas) donde se producen las pérdidas y veo si el sistema contrario produce más beneficios, y si se puede aplicar un filtro u otro parámetro para minimizar las pérdidas en estos tramos sin mermar las ganancias en los buenos.

Y con eso estamos, quizá sería muy bueno graficar algunas optimizaciones en Excel. Pero eso es otra cuestión, yo no sé hacerlo.

:smt024
Saludos y suerte
El perro le dijo al hueso:
tú serás duro pero yo no tengo prisa.
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Mensaje por kundera »

Hola Strada,

Me acabas de dar una buena idea que no tenía en mente :D :D :D. Yo en mi "protocolo" de testeo de sistemas, despúes de verificar su comportamiento en los dos años precedentes, me pongo a mirar como se ha comportado año a año. Sin embargo, tienes toda la razón que se puede sacar una información de alto valor identificando los resultados en lugar de año a año, en periodos concretos con un comportamiento sesgado (alcista, lateral o bajista). Tomo esa idea y la añado al protocolo, será lo segundo que haga después de parametrizar un poco y verificar como se comporta en todas las posibilidades aledañas.

Me da un poco de coraje la GENTE DEL FORO porque anda bastante poco parcipativa. Entiendo que mucha gente no se quiera mojar dando parametrizaciones exactas, no creo en cualquier caso que influya mucho en el comportamiento de un futuro líquido lo que hagamos unos pocos españolitos, pero entiendo que la gente prefiera ser celosa de su trabajo. :roll: Me cuesta mucho más entender que nadie más quiera ofrecer puntos de vista y operativas en el testeo de sistemas que les hayan servido en su operativa. Venga compinches, que estamos aquí para aprender todos de todos. Me gusta el lema de un amigo de este mundo, "Eterno Aprendiz", pues eso aprendamos todos un poco, que este toro tiene muchos cuernos para sabernoslas todas.

A seguir dando caña! :wink:
"La Buena Suerte se comparte"
Avatar de Usuario
gofiodetrigo
Mensajes: 3823
Registrado: 17 Sep 2004 22:42
Ubicación: Macaronesia

olas kundera

Mensaje por gofiodetrigo »

kundera escribió: para minimizar el riesgo de operar con un determinado sistema en el

real:
La Unica forma q entiendo minimiza el riesgo de operar con un determinado sistema en el real es estimar el drawdown q se considere oportuno ( worst case scenario ) y se ajuste al riesgo de cada [email protected], meterlo en una cuenta y lanzar las señales q le dE a [email protected] el sistema ( si kieres con un poco de papel antes, pero vamos, q como si no se hiciera nada pues el dinero luego tiene poderes especiales ) con la esperanza o si kieres un pekeño estudio de las series negativas para intentar entrar en el final de una y así evitar en la medida de lo posible no comenzar con un apalancamiento asimEtrico q realmente entiendo es la pesadilla.

Una vez se ha empezao con buen pie ia continuas con el testeo si kieres, pero, segUn lo veo io, todos los testeos previos ( q pueden llegar a ser interminables ) pueden estar reflejAndonos cierto temor a perder un dinero del q nadie nos va a salvar; es decir, vamos a perder dinero, testeemos lo q testeemos y probemos lo q probemos. Pero no pasa nada. Esa es la parte del juego desagradable, por q tb vamos a ganar dinero. Ganaremos y perderemos o perderemos y ganaremos, el orden alterarA o n0 el producto, lo Unico q sí lo alterarA serA q la diferencia entre lo q ganemos y perdamos primero n0 supere ese drawdown estimado y segundo sea superior a la cantidad con la q empezamos. A partir de ese punto ia no hacen falta mAs testeos ni nada de eso. Si se nos ha comido el drawdown tp. Pero lo mAs curioso de todo es q el sistema no habrA tenido mucho q ver tp en nuestros resultados, sino q habrA sido el mercado el q nos los habrA proporcionado, tanto si son buenos como si son malos.

Me voy por las ramas. Conclusi0n: El sistema para reconocer la oportunidad de participar en el mercado con un potencial de beneficio es una parte muy pekeña del conjunto si relativizamos y cuanto mAs esfuerzo y atenci0n le prestemos a esta parte estaremos desatendiendo otras q son tanto o mAs importantes q esta.

Mi opinión.

Por lo tanto, desde mi punto de vista, y muy de acuerdo en lo q dice Mark Douglas, es mejor destinar una pekeña cantidad de dinero q se pueda perder por completo sin suponernos ninguna diferencia en nuestro way of living Y aprender todo lo q podamos del mercado atendiendo a las señales q ese sistema nos vA dando, y POR SUPUESTO, respetAndolas y ejecutAndolas MINUCIOSAMENTE, como bien dice el autor. Una moneda ( o tres - mi elecci0n ) sirven perfectamente tb como sistema para entrar al mercado, incluso si me apuras si estA nublao o soleao o lo q se te pueda ocurrir, pues n0 va a ser determinante lo q uno haga en sus resultados a la hora de entrar sino lo q haga el mercado una vez q estamos dentro nosotros, y eso, nunca se sabrA con certeza, a menos q seamos ese gran participante de la mano negra tipo 990n, y lo Unico q podremos hacer es elegir salir si nuestra entrada ha sido mala y cuAnto entendemos q nos tienen q kitar para q sea mala.

s2
"No es dichoso aquél a quien la fortuna no puede dar más, sino aquel a quien no puede quitar nada." Francisco de Quevedo y Villegas 1580-1645.
Avatar de Usuario
hammer
Mensajes: 682
Registrado: 12 Jul 2005 02:00

Sistema automático

Mensaje por hammer »

Hola kundera,

Te voy a dar mi opinión sobre el método que utilizas: si consigues que algún sistema lo pase, estarás en posesión de un diamante en bruto.

Yo creo que el orden en que se vayan pasando las pruebas no es lo más importante. Lo importante es que se pasen. Y si un sistema, con una parametrización concreta, es capaz de dar buenos resultados en distintas compresiones, distintos peridos históricos y distintos futuros, no hace falta seguir buscando: ya lo tienes.

Yo soy menos optimista en mi búsqueda y me conformo con lograr resultados en un solo futuro (creo cada uno tiene sus peculiaridades no intercambiables) y en una compresión concreta (cada una de ellas tiene sus tendencias y figuras).

Esta es mi modesta opinión, pero me encantaría estar equivocado y saber que existe un cojosistema que pase tu método ;-) .

Un saludo,

bunder
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Mensaje por kundera »

A
Última edición por kundera el 25 Ago 2005 23:33, editado 2 veces en total.
"La Buena Suerte se comparte"
Avatar de Usuario
Enrio
Mensajes: 308
Registrado: 26 Oct 2004 13:36

Mensaje por Enrio »

Creo que la idea de formar grupos de análisis es buena, pues se pierde bastante tiempo analizando datos para simplemente ver que el sistema no funciona, o que funciona por casualidad matemática. Lo malo es que todos estamos medio de vacaciones, los hay que hasta lo están del todo.

Respecto a lo de paper trading or not paper trading, creo que lo mejor es hacer las pruebas en real... otro tema es que se puedan hacer. Eso no quiere decir que el papel se tenga dejar, pero sobran los artículos (y experiencias) para ver que no es lo mismo.
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Mensaje por kundera »

Hola,

Los grupos de trabajo organizados, son complicados (vacaciones, disciplina, lider que priorice, ...). Sin embargo los "grupos expontáneos" alrededor de una idea son perfectos, en realidad en eso se basan los foros, en el intercambio de conocimiento entre seres desconocidos y de forma no organizada previamente. Sigo esperando vuestros comentarios a la parametrización del Runday.

Me cuesta estar deacuerdo en la afirmación de cuanto trabajo da probar un sistema para ver después que no funcion. Pues de eso se trata precisamente ,de trabajo, trabajo, trabajo,..., y después un poco más de trabajo hasta conseguir seleccionar entre montones de estrategias las que sirven a tu operativa. Como dice un compinche forero "La única forma de dar una vez en el clavo es dar cien veces en la herradura".

Trading en papel diferente de trading en real. Totalmente deacuerdo. La cuestión es que la operación en real implica la emotividad del dinero. No miramos las señales del mercado porque estamos más pendientes de lo que el mercado está haciendo a nuestro capital. Por ello el trading en papel es fundamental para saber que nos podemos encontrar en el real (meses sin beneficio, rachas negativas, ...), y poder así controlar mejor nuestras emociones cuando estemos en el real.

A seguir dando caña!
"La Buena Suerte se comparte"
Avatar de Usuario
gofiodetrigo
Mensajes: 3823
Registrado: 17 Sep 2004 22:42
Ubicación: Macaronesia

olas kundera

Mensaje por gofiodetrigo »

"Habia en la China un hombre al que le gustaban las imágenes de dragones, y en sus ropas, sus muebles y su decoración abundaban los dragones. Tan profundo interés acabó llamando la atención de la Divinidad Dragón, y un día se le apareció en persona ante su ventana. Cuentan que el hombre, al verlo, tuvo tal susto que murió de miedo.
Debía de ser un hombre de esos que se llenan la boca con grandes palabras, pero que son incapaces de hacer nada cuando llega el momento de la verdad."

YAMAMOTO TSUNEMOTO
Hagakure



"The traDING system is simply a vehicle to give you a positive mathematical expectation on wich to use money management."


"El sistema de trading es simplemente un vehículo para darnos una esperanza matemAtica positiva sobre la cual utilizar MM "

Ralph Vince by gofiodetrigo



Sabes si ese sistema existe para ProReal : ? Lo has probado con Mini Ibex : ?
Si tienes confianza en EL antes q seguir haciendo parametrizaciones y optimizaciones ( lo q segUn Ralph Vince corta lo q EL iama la "libertad" del sistema ) por quE no buscar un producto digamos econ0mico y lanzar 30 opes y ver si sobrevive y en caso de no hacerlo cuanto ha perdido : ? imo, como dicen los iankis chateros, is my opinion.
Si piensas q en real estAs demasiado pendiente de lo q le va pasando a la cuenta en vez de a lo q hace el sistema, no crees q el problema no estA en el sistema ( el q sea ) sino en [email protected] [email protected] q se preocupa demasiado de la cuenta : ? ( cuando, te puedo decir sin q nadie se sorprendiera-tomemos el ejemplo de cttsc por ser "de la familia" y pUblico- tras el peor de los resultados -en ese momento estamos PREOCUPADIISIMOS por la cuenta, vienen 3 o 4 opes wenas seguidas y zAs, tamos en mAximos hist0ricos...así q...q tal si trabajamos en nuestra psicología al tiempo q probamos el sistema en real : ? Digu. Es una cuesti0n de CUANTO ; )

s2 :-)
"No es dichoso aquél a quien la fortuna no puede dar más, sino aquel a quien no puede quitar nada." Francisco de Quevedo y Villegas 1580-1645.
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Me dejas fuera de juego (por no decir cosas peores)

Mensaje por kundera »

Gofiodetrigo,

Mira, yo vengo al foro a contrastar ideas con gente con las mismas inquietudes que yo. Colocamos opiniones a veces en la misma línea y otras veces totalmente discordantes. Eso hace útil al foro.

Me sorprende muy negativamente que ante mi respuesta a tu anterior comentario, en la que lo único que hago es rebatir tu posición desde la más pulcra educación, me lances un discurso paternalista con claros toques peyorativos hacia mi persona.

El párrafo "Debía de ser un hombre de esos que se llenan la boca con grandes palabras, pero que son incapaces de hacer nada cuando llega el momento de la verdad.", con perlas como "llenan la boca con grandes palabras" e "incapaces de hacer nada" te dejan bastante mal.

Por el contrario, párrafos y opiniones como " "El sistema de trading es simplemente un vehículo para darnos una esperanza matemAtica positiva sobre la cual utilizar MM" serán siempre bienvenidos.

Puedes tener el 99% de la razón y yo sólo el 1%. No problem en eso. Pero por favor, no caigas más en el insulto directo conmigo. Yo no te trato ni a ti ni a tus comentarios despectivamente, te pido que me trates con el mismo baremo.

A seguir dando caña!
"La Buena Suerte se comparte"
Avatar de Usuario
X-Trader
Administrador
Mensajes: 11069
Registrado: 06 Sep 2004 10:18
Contactar:

Mensaje por X-Trader »

A ver, me toca actuar como moderador :smt032 : entiendo que el párrafo en rojo con la fabula china no es para ti sino que es de tipo genérico, aplicable a todos aquellos que no saben aplicar la disciplina de su sistema (o sea, todos en alguna ocasión nos hemos quedado petrificados al ver al dragón). Por tanto, amigo Kundera, creo que ha sido un malentendido y que no ha sido en referencia a ti como persona. Al menos eso entiendo yo...

Un saludo
X-Trader
"Los sistemas de trading pueden funcionar en ciertas condiciones de mercado todo el tiempo, en todas las condiciones de mercado en algún momento del tiempo, pero nunca en todas las condiciones de mercado todo el tiempo."
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Mensaje por kundera »

Hola X-trader,

Aceptemos "pulpo como animal de compañía". Tienes razón que en cualquier caso no hago ningún favor al foro colocando aquí esa interpelación. Si me siento aludido directamente debo tratar el tema en un mensaje privado con Gofio. Disculpadme todos por no haberlo hecho así.

Y si he malinterpretado a Gofio, pues también me disculpo específicamente con él por haber dudado de su buena fé :oops:.

Sigamos con el intercambio de conocimiento que es lo importante.

A seguir dando caña! :wink:
"La Buena Suerte se comparte"
Avatar de Usuario
gofiodetrigo
Mensajes: 3823
Registrado: 17 Sep 2004 22:42
Ubicación: Macaronesia

Gracias X-trader

Mensaje por gofiodetrigo »

y siento te haya tocado la fibra Kundera y lo hayas personalizado. Disculpas. La interpretaci0n de X es la misma q me motiv0 a incluir el texto en el tema.

s2
"No es dichoso aquél a quien la fortuna no puede dar más, sino aquel a quien no puede quitar nada." Francisco de Quevedo y Villegas 1580-1645.
Avatar de Usuario
kundera
Mensajes: 50
Registrado: 01 Jun 2005 13:31

Mensaje por kundera »

Todo arreglado Gofio!

No se ha visto, pero acabamos darnos un apretón de manos virtual. :wink:

Me largo dentro de 3 minutos a comenzar el finde. Que lo disfrutéis todos también donde sea que vayáis a estar.

A seguir dando caña!
"La Buena Suerte se comparte"
Responder

Volver a “Trading en General”