Medir sistemas, operativas y/o gestores

[Gratphil]

Hola,

Rango un sistema hay que medirlo, desde un punto de vista prudente, pero hay que medirlo.

Como voy a saber la cantidad que puedo invertir en un sistema si no tengo una valoración (prudente) del riesgo del sistema?

Lo que podría pasar es que invierta por operación o arriesgue por operación más de lo que el sistema permitia y eso conlleva inevitablemente a la ruina.

Saludos

[Rango Starr]

.

[Rango Starr]

.

[Feroz]

Rango

Lo que comentas es muy típico de estrategias de seguimiento del precio, indicador, etc.

Por ejemplo, ahora se han reactivado las estrategias que contemplan tendencia, y hace nada estaban en un DD serio, ahora sufren los basados en Momentum.

Todo lo que persiga al precio, es una estrategia de Quiebra en el medio plazo, aparte el DD que te comes.

[Rango Starr]

.

[Gratphil]

Logicamente hay que establecer un protocolo a priori de cuando dejar de operar un sistema.

Pero no puedo compartir, creo que es algo que comentameos, darle al botón de apagado cuando creo que no va a funcionar determinado sistema o al botón de encendido cuando creo que va a funcionar. Otra cosa es que le metas al sistema determinados filtros, también establecidos a priori para que opere o no. (A más filtros más riesgo de sobreoptimizar, pero bueno).

Contestando a Feroz, ya sé que estás en otro nivel, pero lo que suele ocurrir con los sistemas comunes es que funcionan bien en un determinado entorno y mal en otras situaciones. Lo que tenemos que procurar es que cuando se den situaciones en los que funcionen mal se procure minimizar los efectos negativos, claro que esto será a costa de que también se comporten peor cuando se de la situación buena.

Y Rango, en relación a Cagigas, le he leído su explicación de creación de algún sistema, y bajo mi punto de vista fallaba en tres cosas basicamente, histórico insuficiente, prueba externa de solo un año (claramente insuficiente) y sistemas con pocas operaciones (poco solidos estadisticamente). Ojo con los dos primeros estoy en desacuerdo completamente, con el último punto lo que necesitamos es un histórico mucho más amplio tanto de backtest como de prueba externa.

Saludos

[tartarugap]

Gratphil - puedes tener un buen sistema com datos de solo 3 meses

Incluso los datos de 3 meses tienem mas ponderacion que los datos anteriores.

Voy explicar porque datos de 3 meses son mas eficaces que tener datos de 10 anos..

Piensa en Nokia

Hasta los inicios de los anos 90 era una empresa que se dedicava a los aclomerados de madera, e comencio a entrar en la industria de los moviles hasta que finales de los 90 vende su negocio de madera e se dedica unicamente al negocio de los moviles

En los anos 90 sus fundamentales e "aspectos" tecnicos estavam mas relacionados al sector floresta/papel, pero en los finales de los 90 sus fundamentales e "aspectos tecnicos" estavam mas relacionados com el sector de telefonia movil.

Como sus fundamentales eran diferentes la participacion de los players en esse activo era diferente luego el activo tenia aspectos diferentes tecnicos (volumen, slipage, volatilidad, spreads, n.º de mercados participantes (opciones, fut, aciones, etc)

Lo que quiero decir es:

Si haces un backtes en un activo com datos de 10 anos vas a "poluir" el sistema e a optimizar de una forma erronea el sistema...Tienes que dar valorizacion a esses datos de una forma trimestral (trimestral porque los relatorios salen de 3 en 3 meses) e evaluar si hay algun aspecto tecnico que mudo...

Otro exemplo:

Futuros sobre indices: ai recurrentemente la evaluacion de la constituicion e ponderacion de un indice e quando entra o sale una empresa e la ponderacion de peso se altera, las caracteristicas "tecnicas" tambien se alteran o sea hacer backtest de mucho prazo es en mi opinion una mala escoja

[Rango Starr]

.

[Gratphil]

Rango, por supuesto que nada es "exacto", pero es importante medir el riesgo implícito de un sistema y después para operarlo le dejas un margen de error (cuanto más grande mejor). Dos sistemas no son iguales, los hay que corren más riesgo que otros a igual cantidad invertida o arriesgada. Para mí es una barbaridad, eso que todos hemos leído de arriesgar el 2% por operación. Dos sistemas no son iguales y por tanto el riesgo de cada operación tiene que ser distinto. No es de sentido común arriesgar lo mismo por operación en un sistema que opera todos los días que otro que opera una vez a la semana. Ni es lo mismo un sistema que está el 5% de tiempo en el mercado que otro que está el 20%.

Tartarugap, por supuesto que el mercado va cambiando. En eso estoy de acuerdo, pero cuando contemplo más histórico contemplo más cantidad de situaciones por la que el mercado ha atravesado (Tendencias crecientes, decrecientes, lateralidades, volatilidades altas, bajas y combinadas con las tenedencias). Por supuesto que no sé como se va a comportar en el lado derecho y se pueden dar situaciones no contempladas, pero bajo mi punto de vista a más histórico menor riesgo de equivocarme a futuro y mayores posiblidades de que se dé una situación que ya se ha dado.

He comprobado empiricamente, hace tiempo, como con un corto histórico algún sistema que tenía, lo unico que hacía era ajustarse a él y logicamente fallaba estrepitosamente en el lado derecho. El mismo sistema con un histórico mucho más amplio soportaba la situación. Por lo tanto mi conclusión es que posiblemente los sistemas hechos con amplios históricos no sean tan rentables a corto plazo , pero sin lugar a dudas son mucho más robustos.

[agmageton]

Logicamente hay que establecer un protocolo a priori de cuando dejar de operar un sistema.

Pero no puedo compartir, creo que es algo que comentameos, darle al botón de apagado cuando creo que no va a funcionar determinado sistema o al botón de encendido cuando creo que va a funcionar. Otra cosa es que le metas al sistema determinados filtros, también establecidos a priori para que opere o no. (A más filtros más riesgo de sobreoptimizar, pero bueno).

Contestando a Feroz, ya sé que estás en otro nivel, pero lo que suele ocurrir con los sistemas comunes es que funcionan bien en un determinado entorno y mal en otras situaciones. Lo que tenemos que procurar es que cuando se den situaciones en los que funcionen mal se procure minimizar los efectos negativos, claro que esto será a costa de que también se comporten peor cuando se de la situación buena.

Y Rango, en relación a Cagigas, le he leído su explicación de creación de algún sistema, y bajo mi punto de vista fallaba en tres cosas basicamente, histórico insuficiente, prueba externa de solo un año (claramente insuficiente) y sistemas con pocas operaciones (poco solidos estadisticamente). Ojo con los dos primeros estoy en desacuerdo completamente, con el último punto lo que necesitamos es un histórico mucho más amplio tanto de backtest como de prueba externa.

Saludos

Da gusto leerte, y coincido plenamente en todo lo que dices, y añadiría que ampliaría no sólo a un histórico amplio de un activo, sino a un grupo de activos con correlaciones muy altas, por ejemplo índices, ya que lo que conseguimos con esto es ampliar el número de observaciones, y poner otro punto a favor de la no sobre optimización. Por otro lado como seguramente habrán en el futuro sucesos no observados (por la mera evolución de los mercados), hay que diagnosticar bien cuando deja de funcionar un sistema de forma metódica, esto es esencial, sino ya se nos cae el primer pilar del trader, la confianza, un trader sin confianza en sus métodos no tiene cabida en este mundo. Y dependiendo de como planteemos la robustez de la lógica, incidirá directamente sobre la robustez temporal del sistema.

saludos.

[Wikmar]

Tengo poco que aportar sobre la utilidad de las métricas, que no sean obviedades. Alguien de renombre, pero no recuerdo quién, dijo: "Mide todo lo que puedas, y lo que no puedas, hazlo medible". A mí me gustan los aparatos de medida, durante un tiempo casi los coleccionaba, sobre todo cuanta menos energía necesiten y más sencillos sean. Pero no me regaléis alguno, que ya no quiero trastos.

Este mensaje es más bien para decir (otra obviedad) que Cagigas o cualquiera, puede enunciar ecuaciones, teoremas, ciencia en definitiva, correcta y quizá útil, y cualquier otra cosa (que sea terrorista, cura, que se equivoque en todo lo demás, etc, etc), no invalida lo anterior (correcto y útil).

[agmageton]

Wik yo creo que hay una cosa fundamental en todo esto, y es que si un sistema esta sobre optimizado, importará poco todas las métricas del mundo y los mejores algoritmos o simulaciones de Montecarlo, aquí lo que se trata para dar por buenas unas métricas, es ver como esta configurado el sistema en relación con los históricos que tiene, el número de observaciones que tiene, el número de activos y las pruebas fuera de muestra. Al final si un sistema cumple con unos requisitos robustos de modelización , entonces si podemos hablar de métricas, pero si ya la base esta mal planteada, el valor de la métrica es 0.

Hace un tiempo ley un estudio, que se preocupo de valorar un número importante de sistemas que ofrecían paginas tipo brokers o de señales, el estudio era de gran alcance, al final las conclusiones de esas páginas y esos fenomenales resultados, era que el 100% estaban totalmente sobre optimizados, con pocos históricos, con pruebas fuera muestra precarias, con nula observación de activos vecinos en correlación y volatilidad, con riesgos ocultos, etc...

Entonces a uno le dan esos resultados, le ponen las métricas que sean y te sale el santo crial....

por eso es tan importante tener claro primero la base de la robustez a la hora de hacer sistemas, y siguiendo una metodología potente, de históricos, activos y pruebas fuera de muestra, y siempre partiendo de un gran número de obsevarciones, si eso no se cumple y tienes un sistema con resultados increíbles, simplemente esta sobre optimizado, y la sobre optimización es lo más cercano a que mañana te peten la cuenta.

saludos.

[tartarugap]

Voy dar mi opinion sobre este tema de evaluar sistemas.

Evaluar sistemas es muy importante pero casi todas las formulas tienem para mi un error de concepcion:

Dan demasiada importancia ao DD e al gain (no me mateis aun )

Casi todos los sistemas tienem un freno para el DD o sea quando atinge un determinado valor el sistema se para ... O sea el DD maximo será sempre el defenido (ya eliminamos la variable del DD)

Quanto al Gain (no se como se escrive win o gain en castellano e no me da la gana de ir a traductor hahaa ) tiene casi las mismas premissas pero este puede ter un limite (el sistema se sale por alvo) o puede no haver limite (o sea el sistema hace trailing stop)

Muchas vezes una operacion tiene una rentabilidad de 15%, outras de 30 e otras de 1% e estas volatilidades en la rentabilidad por operacion hace que las formulas classicas desvirtualize la real metrica del sistema:

Exemplo Tiengo 5 operaciones:

1º operacion - perdida de 2%
2ª operacion - perdida de 3%
3ª operacion gananccia de 50%
4º Operacion perdida de 1%
5 Operacion ganacia de 2%

Qual es el error aqui? la 3ª operacion dio una ganacia de 50% o sea desvirtuo la metrica, lo que quiero decir es que todas las metricas lineares tienem errores de volatilidad o porporcion

Como solucione este problema : (use una tactica Sovietica - em vez de una lapisera que escrive en el espacio que custa millares de dollars uso un lapis!)

Exemplificando:

Vamos a classificar el sistema por escalones:

rentabilidad negativa asta 0% - classificacion - perdida - 0
Rentabilidad 0% mitad del alvo - classificacion - neutral - mantiene la media anterior
Rentabilidad superior a la midat del alvo - classificacion - positico - 1

Assi conseguimos transformar una metrica no gaussiana en una metrica gaussiana

Començamos com una valor de 0.5 (acertamos 50% de las possibilidades)

Exemplo: inicial com 0.5

inicio - 0.5
Operaciones

gain =(1+0.5)/2=0.75
gain =(1+0.75)/2=0.875
´loose=(0+0.875)/2=0.4375
loose=(0+0.475)=0.21875
neutral=0.21875
neutral=0.21875
Gain = (0.21875+1)/2=0.609375


(en este exemplo estoy a utilizar una media de 2 periodos pero se utiliza una exponencial de n periodos - expoenensial porque el mercado es dinamico e doy mas ponderacion a los ultimos acontecimientos)

Que hace este sistema - en la pratica evalua no el conjunto global de operaciones pero determina las zonas onde sistema fue mejor, o peor e assi puedes corrigir essas zonas (metodo de evaluacion de operaciones)


Qual es la moraleja:

Todas las metricas de sistemas que conocemos tienem componentes gaussianos sean desvios padrones, seam copulas etc pero el mercado no es gaussinano, la curva es de potencia o levy caudas largas...

Assi quando transformamos una metrica no gaussiana en gaussiana conseguimos evaluar correctamente um sistema

En la pratica: consigues comparar batatas com batatas

[agmageton]

Para esto que describes en tu ejemplo, tienes el ratio sordino, que valora la desviación sólo de las perdidas, se da en sistemas tendenciales, donde tienen una penalización muy grande en el sharpe ratio al valorar las ganadoras igual que las perdedoras siendo las ganadoras varios múltiplos de las perdedoras, si esta todo inventado, lo único que si es cierto que hay que encontrar los ratios idóneos para cada sistema por su lógica.

saludos.

[Wikmar]

Wik yo creo que hay una cosa fundamental en todo esto, y es que si un sistema esta sobre optimizado, importará poco todas las métricas del mundo y los mejores algoritmos o simulaciones de Montecarlo, aquí lo que se trata para dar por buenas unas métricas, es ver como esta configurado el sistema en relación con los históricos que tiene, el número de observaciones que tiene, el número de activos y las pruebas fuera de muestra. Al final si un sistema cumple con unos requisitos robustos de modelización , entonces si podemos hablar de métricas, pero si ya la base esta mal planteada, el valor de la métrica es 0.

Hace un tiempo ley un estudio, que se preocupo de valorar un número importante de sistemas que ofrecían paginas tipo brokers o de señales, el estudio era de gran alcance, al final las conclusiones de esas páginas y esos fenomenales resultados, era que el 100% estaban totalmente sobre optimizados, con pocos históricos, con pruebas fuera muestra precarias, con nula observación de activos vecinos en correlación y volatilidad, con riesgos ocultos, etc...

Entonces a uno le dan esos resultados, le ponen las métricas que sean y te sale el santo crial....

por eso es tan importante tener claro primero la base de la robustez a la hora de hacer sistemas, y siguiendo una metodología potente, de históricos, activos y pruebas fuera de muestra, y siempre partiendo de un gran número de obsevarciones, si eso no se cumple y tienes un sistema con resultados increíbles, simplemente esta sobre optimizado, y la sobre optimización es lo más cercano a que mañana te peten la cuenta.

saludos.

Estimado agma, no estoy así muy de acuerdo con meter a las métricas en el saco del desarrollo de sistemas.

Si pasas a la métrica unos resultados de un sistema sobreoptimizado, y son buenos debido a la sobreoptimización, no le podemos pedir a la métrica que cante que hay un vicio oculto por sobreoptimización. El hecho es que los resultados son buenos y eso es lo que canta. Cuando se empiecen a torcer, lo cantará. No le podemos pedir más.

Es como cuando toman por ahí un benchmark al que se ajustan de pm, y luego te enteras que el benchmark no incluía los dividendos o lo contrario, según interese al gestor. ¿Le vas a echar la culpa a la métrica que ha dicho que lo que se le ha dado está altamente correlacionado?, ¿se la echamos a la fórmula del coeficiente de correlación?, ¿o a los granujas del gestor y el auditor?.

La métrica además, tiene de bueno que puedes optimizar contra ella, pero la dependencia del sistema de los parámetros (unos dependen más fuertemente que otros), y la elección final del conjunto de parámetros de trabajo, no es cosa de la métrica, ni siquiera es su papel analizarlo.