Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

El espacio de los traders quant: sistemas de trading, gestión monetaria, automatización de sistemas.
mutu
Mensajes: 170
Registrado: 06 Abr 2020 17:25

Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por mutu »

Buenas noches:
La pregunta que nos hace X-Trader en este artículo no tiene desperdicio. ¿Quién no se la ha hecho alguna vez?
Pero una cosa es hacerla en la intimidad y otra en este foro. Hay que ser valiente para plantear semejante herejía en este "templo", pero no le falta razón. Y todos deberíamos hacérnosla de vez en cuando. Siempre hay que dudar.
No es mi intención desgranarlo aquí. Pero sí os recomiendo la lectura, para que si ya sois precavidos, todavía andéis más "con pies de plomo". Sobre todo de algunos gurús que pueblan las redes y los fondos de inversión.
Saludos

https://www.x-trader.net/y-si-todos-los ... n-mentira/
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por agmageton »

Me parece uno de los artículos de más base que ha escrito Alberto, (aunque estudios muy complejos de entender para no matemáticos o estadísticos los del Sr Pardo.) y con una profunda argumentación.

Si llevamos ya años en esto, y ya hemos molido muchas veces la sistemática de la curva de resultados haciendo a la plataforma, sistema o paquete estadístico responsables, cuando realmente lo que hacíamos era sobre optimizar aunque sea de manera fina o sutil.

Pasamos al nivel que entendemos que los creadores de mercado, los nuevos partícipes o nuevas tecnologías hacen que los mercados varíen con el tiempo lo necesario para desajustar esos parámetros que consideramos óptimos utilizando un sinfín de métodos estadísticos y niveles de confianza, esa para mí es una de la claves, en lo único que estamos o podemos estar de acuerdo es en la varianza que tendrá el mercado a futuro porque siempre ha sido así, entonces hay que reflexionar sobre los procesos de flexibilización y creación y sobre todo para mí tiene mayor importancia el nivel estratégico de la visión del mercado.

En que lugar del tablero te colocas teniendo en cuenta que las ineficiencias en un horizonte temporal dado son las mismas y lo que varía es la forma en que las interpretamos y actuamos sobre ellas generando conocimiento.
La entrada te da la probabilidad y la salida la rentabilidad...
Avatar de Usuario
sk_c7
Mensajes: 1352
Registrado: 28 Mar 2013 22:40
Contactar:

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por sk_c7 »

Esa cuestión es mucho más trascendental y extrapolable a todo lo que nos rodea. Si te paras a fijarte en todo lo que te rodea cada ladrillo del sistema te das cuenta de que están construidos de puro azar en su mayor parte, solo tienes que ver cómo funciona todo: en mitad de una pandemia constituida por olas desde la primera a la última los gobiernos han ido detrás o peor aun aplicando medidas incoherentemente ineficaces y ya testadas. Lo mismo si ves a un bocachancla hablar de mercados con miles de seguidores que le dan de comer pero que muestra su verdadera ineptitud tras el humo que vende.

Al final lo que importa es que a grandes números hay pequeñas ventajas que van sumando, en economía se usa el residuo de solow. Aunque eso tampoco garantiza nada. Muchas veces he visto ya desvanecer sistemas muy ganadores de la noche a la mañana como si alguien apagara un interruptor. Todo en la naturaleza tiende al equilibrio por lo que es bastante difícil saber hasta qué punto todo lo acontecido fue una anomalía estadística. En un mundo donde todo tiene un inicio y un final es fácil de preveer que un día los índices bursátiles valdrán cero y ahí el equilibrio se restituirá. Cada uno de nosotros podemos ser caminos infinitesimales determinados por circunstancias concretas azarosas. Aunque parece difícil creer que el saber hacer de alguien y el esfuerzo dedicado no sea recompensado.
" El futuro ya no es lo que era"

Darwin UYZ-Darwin SKN
Avatar de Usuario
X-Trader
Administrador
Mensajes: 12781
Registrado: 06 Sep 2004 10:18
Contactar:

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por X-Trader »

Estimados compañeros,

Mil gracias por vuestras amables palabras y comentarios, me alegro de que haya gustado el artículo. En particular:
  • @mutu, muchas gracias, la verdad es que esa era la intención: hacer dudar sobre el espejismo que pueden llegar a ser los backtests. Es más, si tengo tiempo en las próximas semanas seguramente prepare una segunda parte más práctica y aplicada.
  • @Agma, ya se te echaba de menos por aquí golfo! Efectivamente lo que señalas va en la línea de lo que estoy pensando últimamente, supongo que estoy en la típica crisis existencial de los traders (todos pasamos alguna vez por ellas de cuando en cuando).
  • @sk_c7, me ha encantado esta frase, ¡la enmarco! - > "Cada uno de nosotros podemos ser caminos infinitesimales determinados por circunstancias concretas azarosas. Aunque parece difícil creer que el saber hacer de alguien y el esfuerzo dedicado no sea recompensado". A lo que solo te puedo responder a lo José Mota: ya pero... ¿y si sí? :D
Por supuesto, no dudéis en aportar más reflexiones que os vengan a la cabeza tras macerarlo en reposo. Os soy sincero: yo según lo estaba escribiendo a ratos me estaba asustando y a ratos veía algo de luz al final del tunel.

Saludos,
X-Trader
"Los sistemas de trading pueden funcionar en ciertas condiciones de mercado todo el tiempo, en todas las condiciones de mercado en algún momento del tiempo, pero nunca en todas las condiciones de mercado todo el tiempo."
Hermess
Mensajes: 1532
Registrado: 02 Abr 2015 14:32

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por Hermess »

Holas
Me sorprende el articulo por lo que significa para el traders cuantitativo

Algunos discreccionales llevábamos tiempo incidiendo en esa cuestion y parecia que eramos una especie en extincion aunque las estadisticas de ganadores-perdedores no cambiaran despues de muchos años con un poder de computacion al alcance del traders minorista inimaginable años o decadas atras.

Es un buen articulo por el atrevimiento de abrir la caja de pandora en un tema tan delicado
Pienso que la tecnologia es de gran ayuda si se comprende el problema a resolver, el problema tal como dices no es ajustar una tecnica como un guante a un historico que no se mueve, si fuera asi habria pocos perdedores

El mercado es un sistema dinamico y se comporta como tal aunque repita muchas pautas y este tan manipulado por grandes operadores y creadores de mercado
Inversores de largo plazo-de corto plazo, intradias, scalpers, coberturas y un sin fin de estrategias como las de fuerza relativa inciden directamente en la dinamica del precio con diferentes volumenes y cada uno con objetivos diferentes

La dinamica y evolucion del mercado deberia ser un caos si no estuviera tan manipulado por los grandes operadores y condicionado a los datos macroeconomicos
La tecnologia ayuda pero caer en sobreoptimizaciones es muy sencillo y no estan evidente y obvio como parece hasta que no se pone una estrategia a operar en tiempo real y no funciona

Hemos debatido en el foro sobre que factores radican en la eficiencia del mercado y creo que todos estamos de acuerdo que es en que la informacion en tiempo real del mercado es diferente a la historica y eso genera la alternancia de pautas, volatilidad etc...

Hemos debatido muy someramente sobre que factores aportaban mas al resultado, si una determinada tecnica o los filtros que la condicionaban

Pienso que los backtests deben ir orientados a medir variables en el historico en pautas de mercado muy especificas que son inherentes al mercado, para ayudar a identificar y clasificar diferentes regimenes de mercado y volatilidad, no para ajustar tecnicas creadas con informacion del historico para operar sobre la informacion actual del mercado obviandola, porque eso es tanto como suponer que la informacion que tenia el mercado en el historico es la misma que la informacion actual
La informacion que tiene en tiempo real el mercado y los diferentes volumenes de contratacion demuestran que son los factores mas importantes que determinan su evolucion a corto plazo

Pienso que el problema de las sobreoptimizaciones esta en cada detalle incluso a nivel discreccional siendo sistematico porque nuestros sesgos es dificil eliminarlos

Por poner un jemplo representativo de una sobreoptimizacion muy habitual al tratar de posicionarnos para capturar un probable movimiento

Lo que prima generalmente al colocar la orden en el nivel de entrada, es que este ajustada a los maximos o minimos marcados, precisamente para tratar de capturar el movimiento desde el minimo o maximo marcado y rebajar el rango de stop sin pensar en las probabilidades que tiene la operacion de ejecutar la entrada y nos deja pasmados cuando el mercado por unos pocos puntos no la ejecuta, se gira y va donde teniamos planteado y a veces mucho mas

En una serie larga de operaciones, ese error de sobreoptimizacion es mas costoso que llevar un stop demasiado estrecho y sin defensa estructural porque muchos buenos movimientos nos dejan fuera por haber intentado entrar en el minimo o maximo marcado y si fueramos objetivos, colocariamos la orden de entrada
donde tenga buenas probabilidades de ejecutarse, donde para el grueso de los movimientos, aunque el stop sea un poco mas amplio en rango.
Ese articulo es interesante por lo que representa y es de agradecer aunque en mi opinion el tema tratado con honestidad intelectual y sin estar condicionados a todo lo que rodea la industria cuantitativa, da para mucho mas y espero que profundices en el en otras entregas. :D

saludos
El comercio diario es el juego del diablo. Te prometieron una olla de oro pero terminarás perdiendo tu alma. :-D

Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por agmageton »

Seré breve, desde la perspectiva quant ha servido mucho el avance tecnológico para agilar procesos, el gran problema es que muchas veces nos dejamos deslumbrar por los backtesting que generan estos paquetes tecnológicos. En muchos casos creando verdaderos castillos de naipes.

Sinceramente la visión con que uno ve el mercado es prioritaria, quiero decir, que si tu te pones delante de un pc y te empeñas en hacer pruebas al final te saldrás con la tuya, y cuidado que lo digo a niveles muy altos de conocimiento, esto mismo pasa incluso con los físicos, muchas veces necesitados de resultados para poder generar expectativas de inversión, hacen estudios científicos que en el mejor de los casos están sobre expuestos.

Las ineficiencias son neutralizadas al tiempo por los propios actores de mercado, el dinero informado es al que hay que seguir, pero hay veces que toda la información esta en el mercado y entonces actúan los creadores de mercado cuando la desviación a la media es acusada sin valor de información, y ese es el juego del mercado...que segundan las tendencias y el vértigo de las noticias.

saludos.
La entrada te da la probabilidad y la salida la rentabilidad...
dahon
Mensajes: 1433
Registrado: 11 Dic 2018 08:57

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por dahon »

Hablando de trading y sistemas para uso propio, todos no: los que salen mal directamente, eso son los que mas validez tienen, los que descartan estrategias.

Muchas veces se echa la culpa a la falta de disciplina, a la mala gestión de las emociones o de la gestión del riesgos, y es que simplemente, el sistema no es rentable.Y cuanto antes nos demos cuenta mejor.
Avatar de Usuario
Foréxitos
Mensajes: 682
Registrado: 12 Mar 2017 19:13

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por Foréxitos »

Pregunta: más allá del tema de los BT, ¿creer en que se puede hacer un sistema de trading que gane siempre es un sesgo cognitivo? Saludos.
ImagenImagenImagenImagenImagen
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por agmageton »

Foréxitos escribió: 07 Feb 2022 23:41 Pregunta: más allá del tema de los BT, ¿creer en que se puede hacer un sistema de trading que gane siempre es un sesgo cognitivo? Saludos.


De hecho si nos fijamos en el mundo de los gestores, se divide en varios grupos de inversión, unos apuestan por valores o sectores concretos después de un análisis macro y se cubren con futuros, estos suelen funcionar bien si aciertas el sector....

Luego tienes los que indexan directamente y se olvidan si bajan porque lo hace el mercado si sube lo hemos hecho bien....

Luego tienes cta´s que son los más valientes porque a la vez suelen tener menor ratio de super vivencia y mucha varianza en la equity, hay brillantes, estos son los mejores...

Luego tienes los putos amos, el SR Simons y alguno más, que estos lo que hacen es todo un modelo de arbitraje super puesto en varios sistemas cubriendo hasta prácticamente todo el tapete de juego en condiciones normales de mercado, también les vino el cisne negro con lo del covid, el modelo esta tan determinado que una bajada en picado de la cotización, destrozo el 95% de probabilidades....

No creas sólo en un sistema, cree en la fuerza que pueden tener varios de ellos desde un punto de vista probabilista y aún así puede llegar el cisne negro.... como comprobamos cada x tiempo.
La entrada te da la probabilidad y la salida la rentabilidad...
Avatar de Usuario
Foréxitos
Mensajes: 682
Registrado: 12 Mar 2017 19:13

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por Foréxitos »

Hola agmageton, gracias por responder; entonces estoy en un problema existencial… jajajaj. Estoy totalmente convencido de que si se puede tener un sistema, que puede ser compuesto por varios sistemas en simultaneo, que gane siempre todo el tiempo incluso en los cisnes negros. Seguro que más de uno me está puteando….jajajaja. Este mismo sesgo o no sesgo lo tengo desde que empecé sin tener ni idea de los mercados pero hoy en día es como que me acerco más y más a que deje de ser un sesgo. Volviendo al hilo ¿y si me estoy mintiendo a mí mismo sin ser consciente de que en los resultados de los BT’s son el producto de lo que yo quiero ver y no lo que es en verdad la realidad?... porque a lo largo de toda mi experiencia me di cuenta que el ser rentable en esto es un largo proceso (de practica y estudio) y por más que tengas un montón de estrategias ganadoras la rentabilidad te la va a dar el largo plazo. Ahora si es en realidad es un sesgo estoy en serios problemas porque para mí es un sueño que voy a hacer realidad en el futuro. Me olvidaba, buen articulo X. Saludos.
ImagenImagenImagenImagenImagen
Avatar de Usuario
X-Trader
Administrador
Mensajes: 12781
Registrado: 06 Sep 2004 10:18
Contactar:

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por X-Trader »

Foréxitos escribió: 08 Feb 2022 15:12 Me olvidaba, buen articulo X. Saludos.
Muchas gracias Foréxitos ;) :smt023


Saludos,
X-Trader
"Los sistemas de trading pueden funcionar en ciertas condiciones de mercado todo el tiempo, en todas las condiciones de mercado en algún momento del tiempo, pero nunca en todas las condiciones de mercado todo el tiempo."
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por agmageton »

Foréxitos escribió: 08 Feb 2022 15:12 Hola agmageton, gracias por responder; entonces estoy en un problema existencial… jajajaj. Estoy totalmente convencido de que si se puede tener un sistema, que puede ser compuesto por varios sistemas en simultaneo, que gane siempre todo el tiempo incluso en los cisnes negros. Seguro que más de uno me está puteando….jajajaja. Este mismo sesgo o no sesgo lo tengo desde que empecé sin tener ni idea de los mercados pero hoy en día es como que me acerco más y más a que deje de ser un sesgo. Volviendo al hilo ¿y si me estoy mintiendo a mí mismo sin ser consciente de que en los resultados de los BT’s son el producto de lo que yo quiero ver y no lo que es en verdad la realidad?... porque a lo largo de toda mi experiencia me di cuenta que el ser rentable en esto es un largo proceso (de practica y estudio) y por más que tengas un montón de estrategias ganadoras la rentabilidad te la va a dar el largo plazo. Ahora si es en realidad es un sesgo estoy en serios problemas porque para mí es un sueño que voy a hacer realidad en el futuro. Me olvidaba, buen articulo X. Saludos.
A ver por definición un cisne negro es un elemento no previsto y quizás nunca visto por tu backtesting, por eso se llama así, es imposible de resolver porque no existe todavía en tu historia, otra cosa es que tengas varios sistemas que compensen al tiempo el riesgo del potencial cisne negro. (lo ha tenido hasta Renaissance Technologies, que reúne a las mentes más brillantes del mundo).

Por otro lado una formula que yo empleo bastante para ver como estoy de optimizado en la creación de mis pautas es ver como funcionan en otros activos que tengan similares horquillas de volatilidad, por ejemplo índices aunque estos tengan peculiaridades distintas.

No sé en que andas metido, pero prueba de lanzar tu arsenal de sistemas en otros activos si ves que la curva de resultados es muy distinta es que has sobre optimizado, no hay otra.

Y por último creo que todos absolutamente todos pasamos por lo mismo, al principio nos creemos que nos vamos a hacer ricos y que vamos a sacar rentabilidades de escándalo anualmente que sino mensual, aunque veamos que tenemos cta´s auditados y fondos, etc que van arrojando rentabilidades sonrojantes y los top de media con rentabilidades modestas para lo que al principio se cree, y es que al final siempre hay una ecuación que surge con el paso del tiempo entre la relación de la rentabilidad riesgo que es incuestionable, para mí darse cuenta de eso es un paso de gigante e incluso cambia tu visión del trading .

saludos.
La entrada te da la probabilidad y la salida la rentabilidad...
Avatar de Usuario
Foréxitos
Mensajes: 682
Registrado: 12 Mar 2017 19:13

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por Foréxitos »

Hola agmageton, gracias por responder; claro, eso es lo que quise decir: la composición de mis sistemas en conjunto trabajan para cuando en el historial aparece un cisne negro o algo parecido en cualquier dirección sepa sacarle su mayor provecho al mercado por ejemplo: un cisne negro violento le da muchos más beneficios que un mercado con poca volatilidad.
Mucha razón te doy en el siguiente párrafo, opino lo mismo, mientras más largo sea el periodo que corras un sistema y mientras más activos diferentes uses para correrlo con data real o lo más real posible, el sistema va tomando más y más credibilidad siempre y cuando el sistema realice un buen número de operaciones (he visto “sistemas” que en más de 30 años corridos en el SP500 pone solo 52 compras… personalmente para mí eso no es un sistema… lo hace cualquiera.)
Para que te des una idea y no pienses que ando en cosas raras… Jajaja mi sistema o mi EA no tiene parámetros... o sea, o ejecuta o no ejecuta.
Y por último mi pensamiento va más allá de lo que uno puede llegar a pensar al principio, que por cierto es más que obvio que al principio se piensa en ganar fortunas sin parar, como alguna vez lo pensé yo… jajaja pero después de varios años en esto uno ya piensa en solo ganarle al mercado, ese es más que nada el pensamiento que tengo actualmente, estoy totalmente convencido de que existe ganarle siempre al mercado en cualquier circunstancia y sea cual sea el activo o periodo (aunque al principio también lo creía); quizás en un futuro lo pueda demostrar. Ahora, no soy mente cerrada así que cuando escucho fundamentos que son diferentes a los míos los analizo hasta descartarlos o no y tranquilamente puedo cambiar de visión en el trading porque me adapto fácilmente. Saludos.
ImagenImagenImagenImagenImagen
Avatar de Usuario
agmageton
Mensajes: 3578
Registrado: 30 Ene 2008 11:32

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por agmageton »

Foréxitos escribió: 09 Feb 2022 14:58 Hola agmageton, gracias por responder; claro, eso es lo que quise decir: la composición de mis sistemas en conjunto trabajan para cuando en el historial aparece un cisne negro o algo parecido en cualquier dirección sepa sacarle su mayor provecho al mercado por ejemplo: un cisne negro violento le da muchos más beneficios que un mercado con poca volatilidad.
Mucha razón te doy en el siguiente párrafo, opino lo mismo, mientras más largo sea el periodo que corras un sistema y mientras más activos diferentes uses para correrlo con data real o lo más real posible, el sistema va tomando más y más credibilidad siempre y cuando el sistema realice un buen número de operaciones (he visto “sistemas” que en más de 30 años corridos en el SP500 pone solo 52 compras… personalmente para mí eso no es un sistema… lo hace cualquiera.)
Para que te des una idea y no pienses que ando en cosas raras… Jajaja mi sistema o mi EA no tiene parámetros... o sea, o ejecuta o no ejecuta.
Y por último mi pensamiento va más allá de lo que uno puede llegar a pensar al principio, que por cierto es más que obvio que al principio se piensa en ganar fortunas sin parar, como alguna vez lo pensé yo… jajaja pero después de varios años en esto uno ya piensa en solo ganarle al mercado, ese es más que nada el pensamiento que tengo actualmente, estoy totalmente convencido de que existe ganarle siempre al mercado en cualquier circunstancia y sea cual sea el activo o periodo (aunque al principio también lo creía); quizás en un futuro lo pueda demostrar. Ahora, no soy mente cerrada así que cuando escucho fundamentos que son diferentes a los míos los analizo hasta descartarlos o no y tranquilamente puedo cambiar de visión en el trading porque me adapto fácilmente. Saludos.
Foréxitos si trabajas sin parámetros ya tienes mucho ganado, imagino que te refieres a la forma de ver la ineficiencia porque al entrar y salir ya son dos parámetros que tendrás que definir aunque no tengas stop de perdidas ni de beneficios. Pero lo dicho me parecen los mejores los sistemas que tengan los parámetros sólo en la entrada y la salida y que la ineficiencia surja por si misma...si haces todas las pruebas pertinentes y la evidencia estadística emerge, sólo puedo que felicitarte.

Yo tenía un sistema que rastreaba estadísticamente las posibilidades de un gran día alcista ante x días de bajada, y son sistemas que emergen por si solos y que prácticamente no llevan parámetros, aunque los llevan.

Luego se dice que cuando más operaciones mejor porque al fin y al cabo la estadística es más cierta, yo solo creo en parte en esto, en la parte que cuando más operaciones tienes puedes emplear una mejor gestión monetaria, la parte en contra es que cuanto más operaciones más te pegas a la curva del precio y eso muchas veces rompe los sistemas con el paso del tiempo más rápido.

Hay sistemas con pocas operaciones anuales que se juegan en riesgo en 8 ó 12 operaciones por activo y tienen un razonamiento muy claro, caballo sota y rey...

Y luego otro razonamiento, y yo te animo a que sigas con tu proceso que seguro que llegas a buen puerto...

Pero es un hecho muy latente que los que nos acercamos a este mundo tengamos una especie efecto Dunning-Kruger donde nuestra ignorancia engendra más confianza que el conocimiento, y nos creamos mejores que los demás en el ámbito del trading... como hemos oído muchas veces a personas que se creen mejores hasta que el propio Sr Simons o Buffet en cuestión de rentabilidad por poner un ejemplo... aunque la estadística nos diga que es imposible :shock:
La entrada te da la probabilidad y la salida la rentabilidad...
Avatar de Usuario
cdtrader
Mensajes: 588
Registrado: 28 Dic 2016 17:04

Re: Artículo ¿Y Si Todos Los Backtests Fueran Mentira?

Mensaje por cdtrader »

Foréxitos escribió: 09 Feb 2022 14:58 estoy totalmente convencido de que existe ganarle siempre al mercado en cualquier circunstancia y sea cual sea el activo o periodo (aunque al principio también lo creía); quizás en un futuro lo pueda demostrar.
"Siempre" es un periodo de tiempo demaciado grande para poder probar algo, sin mencionar que con el tiempo ciertos mercados puede hasta dejar de existir.

por ahi poner un periodo mas realizable, digamos "30 años medido anualmente"
Imagen
Si te ha gustado este hilo del Foro, ¡compártelo en redes!


Responder

Volver a “Sistemas de Trading”