Medir sistemas, operativas y/o gestores

[Wikmar]

Y el Sortino también está superado. No tengo tiempo ahora de leer en detalle el mensaje de tartarugap, pero quizá se presta precisamente a aplicar métricas a los ejemplos que pone... y ver lo que sale...

[Gratphil]

https://papers.ssrn.com/sol3/papers.cfm ... id=2460551

Hay os dejo, para quien lo quiera mirar una métrica que corrige el sesgo de selección, el backtest overfitting y la no normalidad en la distribución de los resultados. Casi nada.

[tartarugap]

Wikmar tienes toda la razon - el TRIZ (the theory of inventive problem solving) indica que todo ya esta inventado, o sea para solucionar nuestros problemas unicamente tenemos que usar lo que ya esta investado e modificar o alterar el paradigma del problema

Agmamenton - El metodo no es bien sortino devido al problema de la volatilidad fuera de amuestra...

O sea si por alguna razon teneres algunas operaciones que tiveran rentabilidad de 100% (estoy a exagerar) quien nos dice que se van a repetir? quen nos dice que esso no es un resultado fuera de amuestra.

Este sistema de metrica permite medir todos los sistemas que ay asta todos al mismo tiempo (Direcionales, Neutrales e arbitrages ) , porque aqui lo que importa no es el resultado final, pero saber si tenemos o no um sistema ganador o perdedor...

Al saber que tipo de sistema tenemos podemos adequar la tactica e classificar:

Si es mucho ganador pero las ganancias (moda) son pequenas podemos estar a tener um sistema concavo, o sea un cisne negro nos saca del camino, (tendremos que colocar proteciones de volatilidad - para tornar nuestro sistema en convexo)

Si tiene muchas derrotas pero las varias vitorias nos dan resultados positivos - nuestro sistema es convexo e solo tenemos que eliminar la moda de derrotas o optimizar

Si tenemos muchas vitorias e ganancias ennormes entonces no mudar - es un sistema convexo volatil positivo

Si tenemos muchas derrotas e las vitorias son pequenas - desistir de esse sistema

O sea el sistema metrico determina si es vencedor o perdedor e la segunda metrica de los resultados nos permite classificar el sistema e tomar medidas correctivas

[Wikmar]

Hay os dejo, para quien lo quiera mirar una métrica que corrige el sesgo de selección, el backtest overfitting y la no normalidad en la distribución de los resultados. Casi nada.

"backtest overfitting". Apuntan como agma. Bueno, veremos.

De estos dos (conocidos y reputados) autores, ya nos pusiste el Probabilistic Sharpe Ratio. No obstante, el PSR no me epató, y por lo que se ve, a ellos tampoco.

Gracias por todo.

[Gratphil]

Buenos días,

Wikmar, no son excluyentes. Uno mide operativa real ejecutada y el otro sirve para analizar sistemas.

Saludos

[Wikmar]

Hola de nuevo en este tema.

A ver si me podéis confirmar una cosa.

Doy los resultados (fabricados) de dos operativas, A y B. Luego os cuento más:

A:

0,10
0,05
-0,09
0,20
2,50
-0,30
2,54
-0,10
5
6,25
6,32
5
6,75
7,92
8,30
-7,00
9,22
9,36
1,00
10,17


B:

0,10
0,07
0,72
-0,07
2,50
2,33
2,54
3,63
4,91
6,25
6,32
6,60
6,75
7,92
8,30
9,00
9,22
9,36
9,37
10,17

En imágenes:

¿Podéis decirme qué valor de K-Ratio os da para cada uno?.

Gracias. S2.

[Wikmar]

Vengo aquí a colación de los comentarios surgidos en el hilo "Método para comparar estrategias y elegir la mejor", desde el mensaje viewtopic.php?f=22&t=20069#p238833 hasta el viewtopic.php?f=22&t=20069&p=238843#p238869
en que comentamos sobre una métrica propuesta por mí.

Quedé en comentar algunas cosas alrededor de ella. Aquí van:


Aunque el paper podía haberlo escrito entre uno y dos años atrás, (las ideas y las series de datos del estudio con el que muestro que el K-Ratio falla, tienen casi dos años), a mediados de Agosto pasado, simplemente entre que me apeteció y que surgieron unos días propicios para plasmarlo y escribirlo (material complementario incluido), me puse en marcha.

Cargarse la que tecnicamente creo se podía considerar la métrica más avanzada, el K-Ratio, inventado por un profesor de la Universidad de Pensilvania; Lars Kestner, en 1996, con retoques en 2003 y 2013 (retoques en el coeficiente "N"; número de resultados en cuenta. El nucleo de la expresión se ha mantenido inalterado desde 1996), no es ninguna tontería. Por ello, por respeto, y por confirmación desde la fuente original, el 23 de Agosto escribí a Lars presentándole los resultados ejemplo que consideraba yo hacen fallar el K-Ratio, y pensando en no subir el paper a la editorial hasta no contrastar opiniones con él.

Pero pasaban los días y Lars no contestaba. Ni idea de las razones; ¿vacaciones?, ¿desinterés?, ¿?. Así que el 2 de Septiembre, Domingo, por la noche, decidí subir el paper.

A la mañana siguiente tenía un correo de Lars Kestner, que me había llegado de madrugada, 2h y 45min después de que yo expusiera publicamente el paper en SSRN, misma editorial donde él publica.

¡Ooops!. ¿Esto qué es?. Pues creo que una sencilla casualidad.

Lars me dedicó unos cuantos párrafos, y por resumir al máximo, me vino a decir: "Pues vale".


¿Qué valor tiene la métrica que presento, el PQM?. Sin echar abajo el K-Ratio y el Calmar, como hago (el Sharpe ya cayó hace tiempo, llevándose por delante a todas sus variantes; SQN, Sortino, etc.), podría pensarse que es una métrica que valora mejor las operativas, tanto en términos absolutos como relativos.

Si se tiene en cuenta que las demás no lo hacen bien, de momento, más allá de opiniones y con humildad, es la única que yo conozca que valora correctamente, que distingue y clasifica correctamente. PERO, no creo que sea infalible.

Mejora y supera al K-Ratio (y a las demás al uso) porque abandona la estadística para basarse en datos más directos de cada operativa, y porque tiene como datos base, dos torpedos de la medición de rentabilidad y calidad, respectivamente: la pendiente de la curva de resultados acumulados, y el todopoderoso drawdown, y además, elige una forma de medir el DD, bastante interesante, creo yo.

No obstante, creo con cierta probabilidad, que se pueda forzar el fallo, PERO bastante más difícilmente que con las otras.


PQM: Profitability and Quality Measurement. Profitability + Quality es desempeño (Performance). Podría haberlo llamado Performance Measurement, pero he querido dejar claro que busca, en un mismo dato, tener muy cuenta las variables independientes relacionadas con la rentabilidad, y por otro lado con la calidad de las operativas (a misma rentabilidad, hay muy diferentes calidades de operativas).


¿Hay algo por hacer en este momento?: SÍ. De entrada, una cosa en la que puede colaborar cualquiera: aunque en los 23 ejemplos que he utilizado, he buscado casos característicos de todo, incluida la normalidad, la mayoría tienden a ser extremos. Se evidencia que los valores concretos de PQM pueden llegar a tener órdenes de magnitud de diferencia. Sería mucho más bonito y cómodo tener valores sencillos y más agrupados; 4, 1, 0, -1, 2,7, etc.

En necesidades matemáticas como esta, yo recurro a la técnica de encapsulado. P. ej.: si tengo una función con recorrido (-infinito, infinito), pero quisiera convertirlo a [-1 , 1], la misma función, la metes como argumento de p. ej. el seno o el coseno, y ya lo tienes. Las funciones trigonométricas hiperbólicas dan mucho juego también para esto, los logaritmos, y por supuesto, funciones compuestas.

Si alguien aporta algo consistente en este sentido, lo incorporaría al paper, con su referencia. Pero ojo, no vayamos a salir de Málaga para meternos en Malagón; no vayamos a pasar de comparar valores de 10E3 y 10E-3, para solucionarlo con el 5º o 6º decimal. Los que sabéis matemáticas, ya me entendéis.


Repercusión del PQM. ¿Va a llegar muy lejos?. No lo creo. Sin ir más lejos, el K-Ratio ha sido escasamente usado. ¿Vemos fichas, folletos de IICs, informes en publicaciones, en webs oficiales de supervisores, etc. con el K-Ratio?: NO. ¿Porqué?. Buena pregunta. Yo creo que hay varias razones y la más fuerte es que a La Industria, incuidos los Darwinex, eToros, etc., no les interesan las buenas métricas, sino aquellas que forman una nube de humo en la que se puede subjetivar y vender precisamente eso: humo.

No obstante, estamos en una sociedad trabajando una crisis evolutiva, vete a saber si cambia el paradigma...

También ayudaría si alguna publicación importante, la primera; la editorial SSRN, valorara los progesos adecuadamente p. ej. en sus newsletters (dicen que los mandan pero yo todavía no he recibido ninguno).

Eso es todo, amigos.

[cls]

Enhorabuena por el trabajo Wikmar. Menudo nivel que te gastas.

Aparte de que podrías hablar con algunos gestores que conoces del foro, para que se interesen por el PQM y lo incluyan en sus reportes, también podrías incluirlo en NinjaTrader 8, previa programación. En el editor de ninja, entra en PerformanceMetrics y ahí tienes un código de ejemplo. Hay que saber de POO, si lo ves complicado te puedo echar una mano. Una vez terminado lo compartes en los foros correspondientes, y automáticamente cualquiera que lo instale tendrá disponible el PQM en todos los backtestings y optimizaciones. Algo de publicidad seguro que te dará.

Saludos

[Wikmar]

Enhorabuena por el trabajo Wikmar. Menudo nivel que te gastas.

Aparte de que podrías hablar con algunos gestores que conoces del foro, para que se interesen por el PQM y lo incluyan en sus reportes, también podrías incluirlo en NinjaTrader 8, previa programación. En el editor de ninja, entra en PerformanceMetrics y ahí tienes un código de ejemplo. Hay que saber de POO, si lo ves complicado te puedo echar una mano. Una vez terminado lo compartes en los foros correspondientes, y automáticamente cualquiera que lo instale tendrá disponible el PQM en todos los backtestings y optimizaciones. Algo de publicidad seguro que te dará.

Saludos

Muchísimas gracias, cls. Buenas ideas y extraordinaria buena voluntad por tu parte.

Sobre lo de hablar con gestores para que se interesen por el PQM y lo incluyan en sus reportes, verás; soy muy amante o creo mucho en el curso natural de las cosas. Sí tengo interés en que no se deje de conocer, pero tanto en esto como en general, no quiero "meterlo" más allá de lo que una vez conocido, cada uno le parezca por sí mismo. O sea; empujarlo; cero.

Tengo que ver las formas de darlo a conocer lo más posible entre los usuarios de SSRN; quizá unirlo a más eJournals o Networks (epígrafes cómo ellos lo llaman), y quizá de alguna otra manera.

Lo tengo referenciado en mi blog, de Wordpress, con lo que se indexa rápido en Google.

Lo comento en X-Trader, lo comentaré cuando vea que los intervinientes hablan del tema y lo desconocen.

Pero no quiero empujarlo, solo darlo a conocer o como dices sobre Ninja, ponerlo a disposición.

Es buena idea lo de Ninja, de nuevo por si a la gente le sirve de verdad, no por mí o por promocionar algo mío.

Pero de hacer todas esas cosas en Ninja, no tengo ni idea, no soy usuario de Ninja.


Comento de pasada; me parece absurdo que entidades como Darwinex (y sus semejantes) valoren y clasifiquen de acuerdo a un algoritmo o fórmula propia, ¡"secreta"!, en este caso llamada D-Score. No tiene sentido y hasta se puede interpretar como facilitar la manipulación, o, que el algortimo no tiene suficiente calidad y temen que se vea.

Me gustan los restaurantes en los que la cocina está a la vista (por poner un ejemplo / simil). Se llama transparencia. Entonces, en un entorno en el que se pretende clasificar y valorar operativas a base de rigor y transparencia, que escondan la maquinita de los resultados... en fin.

Bueno, ahí están las métricas clásicas y ahora el PQM, en abierto, para medirse como herramienta y ser utilizado... si verdaderamente se pretende en este caso asignar valoraciones consistentemente. Si no se quiere, pues al Sharpe o a la métrica secreta. Cada uno sabrá, pero luego que no se quejen de que vengan "destroyers", con fundamento, a desmontar el chiringuito.

"O te ajustas o te ajustan".

Muchas gracias de nuevo, cls.