Continuamos el tutorial sobre esta excelente herramienta, disponible de forma gratuita para todos los usuarios de X-Trader.net. En esta ocasión revisamos cómo diferenciar una buena estrategia de una mala mediante las diferentes herramientas incluidas en Expert Advisor Studio.
Lo primero que seguramente hayan observado al generar estrategias con el Generator (si no sabes cómo, echa un vistazo al artículo anterior) es que en los primeros minutos rápidamente la herramienta encuentra estrategias con una equity espectacular, incluso en su comportamiento fuera de muestra (rectángulo verde), como pueden ver en la siguiente figura:
Sin embargo, si esto fuera cierto, podríamos dejar de trabajar para siempre y vivir de las estrategias generadas, ¿verdad? Evidentemente esto no es así y precisamente el trabajo duro de un trader de sistemas que trabaja con este tipo de herramientas que generan cientos de estrategias empieza realmente tras la generación de las mismas.
Lo primero de todo, si queremos quitar algo de morralla, es filtrar las estrategias obtenidas. Para ello basta con pinchar en Collection para acceder a las últimas estrategias generadas y en la columna de la izquierda filtrar los resultados en base a una gran cantidad de criterios como podéis ver en la siguiente imagen:
Personalmente a mí me gusta exigir como mínimo que el Minimum Net Profit sea superior a 0 (así nos quitamos de encima todas las estrategias perdedoras) y que el Profit Factor sea superior a 1.5, aunque por supuesto podemos meter otras muchas cosas como forzar que el %Drawdown sea inferior a una determinada cantidad o que realice un número mínimo de operaciones.
Una vez estemos satisfechos con los resultados y nos queden unas 10-20 estrategias, deberemos analizarlas una a una para ver si se pueden validar como robustas. Para ello deberemos pinchar en cada estrategia y se nos abrirá una ventana como la siguiente:
Observad que he marcado 3 apartados en rojo: esos serán los que deberemos utilizar para verificar la robustez de cada estrategia que nos parezca que tenga potencial. En particular, el orden que sigo para analizar el resultado, tras examinar el Report de la estrategia es que veremos a continuación en los siguientes apartados.
1. OOS Monitor
El Out Of Sample (OOS) Monitor nos permite analizar diferentes escenarios fuera de muestra para la estrategia. Así, podemos variar el tamaño de muestra In-Sample y Out of Sample, para ver cómo varían las diferentes métricas en función de los diferentes tamaños. Esto nos permite ya hacernos una idea de por dónde van los tiros de la estrategia, por cuanto si observamos que las métricas dentro y fuera de muestra se desvían demasiado entre sí es probable que el resultado obtenido sea el resultado de la casualidad, y que no tengamos una estrategia muy robusta. En el siguiente pantallazo tenéis un ejemplo de una estrategia que, a pesar de mostrar una equity bastante bonita, yo no operaría por cuanto fuera de muestra baja bastante en beneficio por día (ni más ni menos que un -75% de variación), así como el Sharpe Ratio y el Profit Factor.
2. Monte Carlo
Pero la que de verdad para mí es la verdadera «prueba del algodón» de las estrategias obtenidas en el apartado de simulaciones de Monte Carlo con las que vamos a poder determinar el verdadero potencial de la estrategia obtenida. Para ello, pinchamos en la pestaña Monte Carlo y se nos abrirá este panel:
Antes de iniciar las simulaciones os recomiendo que hagáis click en la pestaña Options para ajustar el número de simulaciones (normalmente le pongo 100 como mínimo). Asimismo, podéis establecer todos los parámetros que queréis variar en la simulación y cómo queréis hacerlo, aunque normalmente los parámetros por defecto suelen ir bien:
Seguidamente le damos al botón Start y obtendremos algo parecido a esto:
Una vez finalizadas las simulaciones la verdadera chicha del asunto la tenemos en la pestaña Confidence Table. Los resultados obtenidos en este caso son los siguientes:
Como podéis ver en los recuadros en rojo, lo que debemos hacer en esa tabla es comparar los valores de la estrategia original con los obtendríamos a diferentes niveles de confianza. ¿Qué significan estos niveles de confianza? Nos indican la probabilidad de que los diferentes valores de la estrategia (Profit, Max DD, SWN, etc.) sean iguales o mejores que los valores indicados.
Por ejemplo, si examinamos la tabla anterior, veremos que con un 95% de confianza el beneficio de la estrategia será mayor o igual a 2.181$; o dicho de otro modo, que con esta estrategia ganaremos menos de 2.181$ con un 5% de probabilidad.
Bien, comparemos los valores obtenidos: en los resultados de nuestro ejemplo observamos que, si bien la estrategia sigue siendo rentable incluso en los peores casos posibles, también es cierto que su máximo drawdown casi se multiplica por 3, el Return/DD se divide casi por 10 y el SQN se reduce notablemente.
Dicho de otro modo: lo ideal sería ver que las diferentes métricas generadas por la simulación no se desvíen en exceso de las de la estrategia original, de lo contrario estaremos ante un sistema muy poco robusto con el que perderemos dinero al poco tiempo de ponerlo en marcha.
Por tanto, aquí es donde hay que hacer el trabajo realmente importante cuando usamos un generador este tipo: hay que analizar y examinar a fondo los resultados hasta lograr dar con estrategias cuyos resultados sean relativamente resistentes a los cambios de las condiciones de mercado, no produciéndose grandes desviaciones en sus métricas (por ejemplo, que el drawdown al 95% de confianza no sea superior al doble del de la estrategia original).
Posiblemente este arduo trabajo sea el que menos gente haga a la hora de trabajar con generadores y ello explique los resultados mediocres que luego se encuentran muchos traders a la hora de ejecutar en real estrategias cuya equity parecía prometer grandes ganancias cuando en realidad es muy poco robusta en términos estadísticos.
3. Multi Market
La última prueba que podemos realizar para analizar la robustez de una estrategia es hacerle un test multimercado. Para ello pinchamos en el menú Multi Market y accederemos a un panel como este:
En dicha ventana podremos elegir diferentes mercados y timeframes sobre los que probar la misma estrategia con el fin de verificar si la ventaja detectada forma parte de la dinámica propia de los mercados y funciona en diferentes activos o, por el contrario, solo funciona en el activo que la hemos generado (lo cual deberíamos considerar como una señal negativa a tener en cuenta).
Siguiendo con la estrategia del ejemplo, añadimos algunos productos de nuestra base de datos (EURUSD, GBPUSD y un CFD sobre Dow Jones) y pulsamos en el botón Start. Una vez realizados los cálculos obtendremos algo como esto:
Donde podemos ver que en el caso del par GBPUSD (línea verde) la estrategia pierde dinero y no pasa el criterio de validación. Pinchando en Statistics obtenemos estos resultados:
Como podemos ver, aparte del activo sobre el que la hemos desarrollado (XAUUSD), realmente no podemos decir que esta estrategia genere beneficios significativos en el resto de activos por lo que, considerando además los resultados de las pruebas previas a esta, resulta más que evidente que deberíamos desechar esta estrategia (por muy bonita que nos pareciera la equity al principio ;)).
Conclusión
En este artículo hemos visto cómo debemos analizar en profundidad las estrategias obtenidas en el Generator, lo que nos permitirá determinar mediante diferentes pruebas la robustez y el potencial de las mismas. Sin lugar a dudas es aquí donde deberemos concentrar los esfuerzos y echarle horas al asunto hasta lograr encontrar nuestras primeras estrategias robustas.
(Continuará…)
Saludos,
X-Trader
