¿ Como calificar si un sistema es bueno o no?

[Searchpoint]

Bueno, abro este post para solicitar ideas de como valorar un buen sistema. Me gustaria recibir ideas porque estoy seguro que cada persona exige cosas distintas a sus sistemas.

Intentare plasmar las cosas que yo valoro que ha de tener un sistema para empezar a verlo con buenos ojos:

Un sistema que durante al menos durante los 5 últimos años haya obtenido beneficios todos los años.

Con un ratio beneficio anual / Maximo DD superior a 1.5

Con un Profit factor superior a 1.5 y una Fiabilidad del 50%.

El numero de operaciones puede variar segun el sistema pero por supuesto un mayor número de operaciones dara mas fiabilidad a todos los datos.

Para mi las barras han de ser como máximo de 60 min y como minimo de 5 min, para todo tipos de sistemas. (sobre futuros)

Bueno hasta aqui creo que son las cosas típicas pero este post es por las cosas que no son tan evidentes y que cada uno mira. Por ejemplo:

Yo por ejemplo valoro mucho la estabilidad en las ganancias anuales, por ejemplo si la ganacia media anual durante 5 años es de 5000 euros, lo que nos da una ganancia total de 25.000 euros, pues que no haya un año que ganamos 15.000 y los otros 10.000 euros repartidos en cuatros años.

Otra cosa importante es la duración de los DD, cualquiera se pone nervioso si nos tiramos inmersos medio año dentro de un DD, empiezan las dudas sobre el sistema, sera bueno?, sera una castaña?

Una cosa que he empezado a mirar hace poco es el maximo DD en un año respecto del beneficio obtenido. No es lo mismo que tengamos el máximo DD un año con pocos beneficios, que en un año con muchos beneficios. Por poner un ejemplo los 2003 y 2004 fueron malos, y esto deberia repercutir en que nuestro sistema opere menos y ganemos menos, pero por contra también el máximo DD de estos dos años deberia ser pequeño.

No estoy de acuerdo con la idea de que un mismo sistema, ha de funcionar con distintos tipos de barras y en diferentes mercados. Que si es asi pues mejor, pero eso no implica que si no es asi el sistema sea peor o menos fiable, cada mercado es distinto.

Bueno, como veis, no pretendo entrar en los sistemas en si, sino en las cosas que hay que tener en cuenta para que sea un sistema aceptable.

Espero comentarios, tanto ideas nuevas como críticas hacia mis puntos de vista.

Por favor abstenerse los traders que hacen sistemas como churros con ratios: benefios / perdidas cercanos a infinito.

[JuanP]

Una manera sencilla y rápida de evaluar un sistema visualmente consiste en ver su curva de capital. Es decir, hacer una gráfica en la que se muestre cuanto dinero tendríamos acumulado en un momento dado si hubieramos ido siguiendo ese sistema. Esto nos da una idea de la consistencia del sistema: Los sistemas solidos muestran una línea casi recta, mientras que los sistemas inestables tienen muchos altibajos bruscos.

Además, podemos ver fácilmente si existe un efecto de saturación, es decir, si la pendiente se va reduciendo poco a poco, aplanandose en la zona de la derecha. Esto significaría que la eficacia del sistema se está reduciendo (quizá por que se trate de una técnica que hace un tiempo era novedosa pero ya no lo es).

Pueden verse gráficos de este tipo en páginas como www.collective2.com (en inglés), donde se muestran comparativas de distintos tipos de sistemas. Por cierto, que si alguien tiene un buen sistema, en esta página puede rentabilizarlo "alquilándolo".

Por último, a mí también me gusta mirar cuanto gano yo frente a cuanto ha ganado mi broker. Si el gana más que yo... Quizá estoy operando demasiado rápido.


Un saludo

[Plutarco]

Lo que yo me preguntaría al hablar de "valorar sistemas". Es valorar qué:

- ¿Pruebas de backtesting?
- ¿Series out-sample?
- ¿Operativa real (con dinero contante y sonante)?

Lo primero te dará una idea laxa del potencial del sistema. Pero sólo vale como primera aproximación. Hay que cogerla con pinzas y poner muchos interrogantes....

Lo segundo ya parece más serio, pero evidencia un sesgo de difícil resolución: Los deslizamientos. Esto puede ser clave en sistemas con mujas operaciones y muy bajo beneficio neto por operación.

Lo tercero es lo ideal. Pero es un bien escaso. Tan escaso que se cuentan con las yemas de un dedo los desarrolladores que ofrecen series de operativa real de más de 5 años.

Bien, por otro lado al evaluar un sistema lo más importante a considerar son los grados de libertad: ¿Cuantos parámetros? ¿Con qué rango de valores? Personalmente prefiero los de menos de tres parámetros. Al menos con esos se pueden hacer mapas de optimización y otros estudios estadísticos. Pero si un sistema sin parámetros ganase, no cinco años (como dices) sino tres consecutivos, estaríamos ante un "rara avis" el el bestiario de lo imposible. ¡Que maravilla...! ¿Pero dónde está?

En segundo lugar, Los mecanismos de gestión del riesgo y de cierre de posiciones: Analizar el Drawdown está muy bien, pero debes ser consciente de que en las pruebas de backtesting obtienes el drawdown de operaciones cerradas, no el de las barras intermedias hasta el cierre de posiciones.

Someter al sistema a pruebas de Montecarlo es otra opción. Pero sólo resulta efectiva con datos out-sample.

Por otro lado, está el tema de la "C" (mayúscula de capital) ¿Qué porcentaje del capital estoy dispuesto a confiar al sistema? ¿2%? ¿5%? ¿10%? ¿uf...15%?

Sistemas multimercado. Mira, sería lo ideal, que muestren su robustez en muchos mercados y time frames. Pero de eso hay poco por ahí...

¿Sistemas de señales? (como los de collective2) Estarás comprando una caja negra. Pero negra, negra... Del color de los montes gallegos. Registrate en esa web y verás lo contentos que están los pocos incautos que han pagado por alguna de esas maravillas. Muchos de los foros parecen un auténtico coro de plañideras.

Pd. Si tienes un buen sistema. Pide a un colega con conocimientos de trading sistemático que haga una valoración objetiva. Nosotros somos juez y parte, y en consecuencia esclavos, de nuestras propias ideas y nos resistimos a arrojarlas a la cuneta cuando son erróneas.