En este artículo del número de junio de 2019 la revista The Ticker (editada por el Instituto Wyckoff), Jesús Illescas donde nos da las claves para saber cómo valorar si un sistema de trading es bueno o no.
Principales Métricas de Evaluación de un Sistema de Trading
Muchas personas, cuando operan en los mercados, no tienen un rumbo definido, no tienen un sistema. Tener un sistema es básico y fundamental para operar en un mercado y para guiarnos en la vida. Las reglas de este sistema han de ser escritas antes de operar y ser reproducibles a lo largo de un histórico.
Las personas que hacen trading manual, es decir, que operan sentados delante de una pantalla todo el dia, pueden no tener completamente cerradas sus reglas de operativa. Esto hace que muchas veces se cambie la manera de operar en los mercados. Muchos dirán que adaptarse es bueno, y es cierto, el problema es que muchas veces se confunde adaptación con anarquía en la toma de decisiones.
Otro de los problemas que me encuentro habitualmente en mis alumnos es que no saben si sus reglas han tenido ventaja en el largo plazo. Esto se debe fundamentalmente a que esas reglas que se habían impuesto son subjetivas, del estilo “cuando esté subiendo mucho compro” o “cuando la media apunte al techo salgo de la operación”. Este tipo de reglas no pueden ser medidas de una manera fiable y por tanto no deberían guiar nuestra operativa.
Para evitar todos estos problemas lo que debemos hacer es buscar un sistema. Yo personalmente opero un portfolio de sistemas, pero la creación, compensación y rentabilización de la cartera daría para una serie larga de artículos. Centrémonos en la importancia de un buen sistema y de cómo nos puede ayudar en nuestra operativa.
Consideramos un sistema de trading como un conjunto de reglas objetivas de entrada y salida al Mercado que nos permiten explotar una ventaja estadística obteniendo un conjunto de operaciones con esperanza matemática positiva a lo largo del tiempo. Lo más importante de un sistema de trading es la ventaja estadística que aprovecha del mercado. Esa ventaja ha de ser objetiva, medible y recurrente a lo largo del tiempo.
Una vez hemos hallado una ventaja viene el trabajo de desarrollar el conjunto de reglas que nos permitan aprovechar esa ventaja. Por tanto tendremos que tener una regla clara de entrada y una de salida. Los sistemas de trading también son conocidos como Robots, EAS o Estrategias de inversión o trading. A mi me gusta llamarlos Sistemas de Inversión.
Una vez hemos definido el sistema y hemos pasado su reglas a código tenemos lo que se denomina un backtest. Este backtest nos dirá las bondades del movimiento o ventaja que queramos extraer del mercado. Si se parece a esto mejor:
Y aquí empezamos con el primero de los estadísticos, qué es la Curva de Ganancia o Equity Curve de un sistema. Será el conjunto de operaciones resultante a lo largo de un histórico. Tiene que ser una curva ascendente sin grandes oscilaciones. Muchas personas opinan que este es el estadístico fundamental y no miran otros. El problema viene cuando tengamos que comparar distintas curvas y nuestros ojos no puedan apreciar todas. Es por ello que necesitamos estadísticos con números redondos para hacernos una idea del rendimiento del sistema.
No os llevéis a engaño, hacer una curva perfecta es fácil, el problema viene en hacer una curva realista y que aguante el paso del tiempo. Por tanto la curva que obtengamos ha de ser el resultado de incluir comisiones de operativa y el deslizamiento esperado en el mercado (entendemos por deslizamiento como la diferencia entre el lugar en el que se lanza la orden y el precio al que finalmente se ejecuta).
Una vez tenemos un backtest realista viene en el conjunto de pruebas para saber si nuestro sistema es robusto. Aquí entraríamos en un proceso de validación para ver la estabilidad del modelo.
Una de estas pruebas consisten en buscar la zona robusta para ver que un gran conjunto paramétrico es ganador y no solo es una curva elegida al azar. Os adjunto una imagen de un estudio en el que analizo la zona robusta de un sistema. Recoge la distribución de resultados de un estadístico que se explica más abajo.
En esta distribución podemos ver cómo el beneficio medio de un sistema es siempre positivo y tiene una mediana que supera tres veces comisiones y deslizamientos.
La selección de los parámetros que empleemos para poner en real un sistema (siempre y cuando es el sistema se ajuste a nuestro perfil de riesgo y perfil de inversor) ha de estar situado en la zona robusta.
A continuación revisaré las métricas que considero más importantes para conocer si nuestro sistema es bueno o es malo, también nos servirán para poner en relación unos sistemas con otros. Los estadísticos son, entre otros:
- Número de Operaciones: el número de operaciones es muy importante ya que nos indicará la relevancia estadística de la muestra que hayamos extraído del mercado. Diremos que hay sistema siempre y cuando allá más de 30 operaciones. En sistemas que emplean velas diarias buscaremos más de 100 operaciones en 10 años. En sistemas de base intradiaria me siento cómodo cuándo tienen más de 400. Con carácter general cuantas más operaciones mayor relevancia estadística, por tanto buscaremos sistemas que operan mucho, que nos pueden hacer ricos cuanto antes.
- Beneficio Neto: será el resultado de las operaciones del sistema. Cuanto más beneficio neto mejor. Debe estar expresado descontando las comisiones y deslizamientos. Ha de ser constante a lo largo del histórico y por ello hay una métrica relativa muy importante que es el beneficio medio mensual. El Beneficio neto hay que ponerlo en relación con otras medidas de riesgo para saber si merece la pena operar un sistema. Hay que conocer su binomio riesgo-beneficio.
- Beneficio Medio por Operación o BMO: Es el verdadero caballo de batalla de los sistemas. Nos indica el pedazo del mercado que nos podremos llevar cada vez que iniciamos una operación. Es el resultado de dividir el beneficio medio entre el número de operaciones. Es la medida a la que hay que descontarle deslizamientos y comisiones. Debe superar dos o tres veces las comisiones del mercado y los deslizamientos considerados.
- Máxima Pérdida o Drawdown: El drawdown es la máxima disminución de capital desde un máximo anterior. En realidad lo que mide es cuánto dinero se está perdiendo en un momento determinado respecto de un momento anterior en que el sistema tuvo su máxima ganancia. El máximo drawdown de un sistema es buscar el peor entre los drawdowns individuales. Es un mero suceso estadístico. Nos ayuda a saber el capital que necesitaremos para operar un sistema. Nos interesan medidas relativas a él como el número total de ellos y la media de sus pérdidas. Crecerá con el tiempo.
Sin un sistema con reglas específicas y un buen backtest no tendríamos esta medida del riesgo tan importante. La representación de la máxima pérdida es la siguiente:
- Profit Factor o Factor de Beneficio: el Factor de Beneficio o Profit Factor es otra medida popular del rendimiento de un sistema. Es algo tan simple como dividir lo que ganan las operaciones con ganancias entre lo que pierden las operaciones con pérdidas. Si la estrategia es rentable entonces por definición el Profit Factor tiene que ser mayor que 1. Las estrategias que no son rentables producen factores de beneficio menores que uno.
Profit Factor = Beneficio Bruto / Pérdida Bruta
Ejemplo: Profit Factor = 1750 / 1500 = 1.17Un buen sistema tiene un profit factor de 2 o más. Lo bueno del Profit Factor es que nos dice lo que vamos a ganar por cada euro que tengamos. Un profit factor de 2.50 nos dice que por cada euro que podamos perder operando podremos ganar 2.50, así de sencillo. En sistemas intradiarios será muy difícil conseguir un Profit Factor mayor que 2.
- System Quality Number (SQN): Una medida muy útil para sistemas intradía. Incluye medidas importantes como es la dispersión. Esto ayuda a buscar menos desviación de los rendimientos, lo que hace que las curvas que encuentra sean mejores.
Se calcula como:
SQN = Raíz(N)*(BMO/DesV)
Donde:
N = Número de operaciones del sistemaBMO = Beneficio medio por operación
Fue creado y registrado por Van Tharp.
DesV = Desviación típica del BMO - Ratio Win/Loss: Nos indica cuánto ganamos de media en relación a cuánto perdemos de media por operación. Así un ratio 1:1 quiere decir que por 1 unidad de ganancia arriesgamos una de pérdida. Es una medida importante para conocer ante qué tipo de sistema estamos. Existen sistemas formidables en cada uno de los ratios que pensemos. Los sistemas tendenciales tendrán un lo que se denomina un ratio largo (1:2 en adelante). Los sistemas antitendenciales tienen un ratio corto (1:0,75 o más bajo).
- Fiabilidad: Nos indica el porcentaje de operaciones ganadoras de un sistema. Así una fiabilidad de un 50% quiere decir que pierde las mismas veces que gana. También una medida importante para conocer qué tipo de sistema tenemos delante. Existen sistemas buenos en cada uno de los porcentajes de fiabilidad que pensemos. Los sistemas antitendenciales tienen altos porcentajes de acierto que pueden llegar al 80%, mientras que los sistemas tendenciales tienen un bajo porcentaje de acierto que puede rondar el 30%. Este estadístico afecta directamente a la psicología de la inversión, ya que a la mente humana le gusta ganar y, por tanto, preferirá sistemas antitendenciales. Sólo después de una amplia experiencia y creer en nosotros mismos estaremos preparados psicológicamente para largas rachas perdedoras.
Veamos un ejemplo completo de los estadísticos que nos aporta la plataforma Multicharts sobre un sistema sobre el que estoy trabajando. El sistema ha sido realizado sobre el futuro del Nasdaq 100 en velas de 15 minutos y los resultados que se muestran son sobre un histórico de dos años. El sistema es intradiario puro, cerrando operaciones al final del día. Incluye comisiones y deslizamientos.
El backtest nos separa entre operaciones cortas, largas y de la suma de los dos. Comentaré los resultados del conjunto de todas las operaciones. De las estadísticas podemos comprobar que ha ganado en el histórico del backtest 48.462$ en dos años, mensualmente ha arrojado una beneficio medio mensual de 2.019,25$. Durante todo el histórico ha tenido una máxima disminución de capital o Drawdown de 4.851$. Tiene un 44,41% de operaciones ganadoras. Tiene un Profit Factor de 2,15. Hace 340 operaciones. Con un Beneficio Medio por Operación de 142,54$ y por último vemos que hay un ratio win/loss de1:2,69.
Una breve nota sobre el riesgo de la estrategia: resultados pasados no son indicativos de resultados futuros, mucho cuidado.
Muchos pensarán que operando este sistema corren un riesgo de 4851$, que es el Drawdown, pero haciendo un análisis de Montecarlo el riesgo real que podemos estar corriendo es de 8311$.
Conclusiones
- Existen miles de métricas de sistemas.
- Busca aquellas que te ayuden, de un vistazo, a saber ante qué tipo de sistema estás delante.
- Busca métricas que incluyan la dispersión de las operaciones.
- Aprende a medir el riesgo y no lo subestimes.
Sobre el Autor
Jesús Illescas es doble licenciado en Derecho y Dirección de Empresas por la Universidad de Madrid, Experto en Sistemas y Modelos Cuantitativos de Trading Algorítmico por la Universidad Politécnica de Madrid y ganador de la VII Edición del Concurso Robotrader.
Amante y estudioso del trading algorítmico y los mercados. Trader en activo que opera sus propios sistemas que desarrollo y programo. Y por último, me reconozco un afortunado por trabajar en el Sector Financiero, en Gestión de Patrimonios Mobiliarios, SV, donde voy todos los días a aprender más sobre una de mis pasiones: los mercados financieros.