Tamaño de la muestra antes de evaluar un sistema

El espacio de los traders quant: sistemas de trading, gestión monetaria, automatización de sistemas.
Avatar de Usuario
clowner
Mensajes: 185
Registrado: 27 Ene 2011 08:23

Tamaño de la muestra antes de evaluar un sistema

Mensaje por clowner »

Hola a todos,

¿cual es el minimo numero de operaciones hay que considerar antes de evaluar un sistema?, obviamente cuantas mas mejor, pero que numero de operaciones deberiamos tener en la muestra como minimo para considerarla fiable independientemente del marco temporal.

Un saludo.
elmasme
Mensajes: 147
Registrado: 29 Mar 2010 17:57

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por elmasme »

Yo considero 300, por encima más fiabilidad, por debajo menos.

Saludos
La bolsa me confunde
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

Andrés García habla de un mínimo de 100, pero en operaciones reales.

Es decir que si haces estadísticas de operaciones simuladas, luego tienes que hacer 100 operaciones reales de un solo contrato (o lote). Y la estadística buena es la de las operaciones reales. (Claro que si la f-óptima de las operaciones reales supera a la del backtesting, me quedo con la del backtesting).

Si te preocupa si el número de operaciones es suficiente o no, hay una regla muy interesante: el SQN.
Si el SQN >= 1. Ya tienes estadísticos suficientes para concluir en que un sistema es ganador. Pero mejor que obtengas, para mayor seguridad un SQN >= 2.
Cuanto mayor es el SQN, mas robustas son las estadísticas.
Con el SQN no tienes que preocuparte de la pregunta de cuantas operaciones necesitas, ya que en el mismo SQN te indica si ya es suficiente. Claro que es dificil que con menos de 100 operaciones obtengas un SQN >= 2.

Si SQN >= 1, podemos hablar un sistema ganador. Si SQN >= 2, lo podemos afirmar con mas seguridad.

SQN = Raíz(n) * m / s
Donde m es la esperanza (en fracción), s su desviación típica y n el número de operaciones.

Saludos.
Última edición por Rafa7 el 27 Ene 2011 10:12, editado 1 vez en total.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com
elmasme
Mensajes: 147
Registrado: 29 Mar 2010 17:57

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por elmasme »

Hola Rafa7,

Permíteme que haga una puntualización desde mi punto de vista:
Al multiplicar por la raiz del número de operaciones en la formula que has puesto lo que se pretende es normalizar el resultado para hacerlo comparable independientemente del número de operaciones. Por tanto el resultado no te va a decir si tienes un número de operaciones suficiente, sólo te dará una idea de la robustez del sistema independientemente del número de operaciones.

Saludos.
La bolsa me confunde
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

Hola. elmasme,

se a que te refieres y me alegro de que hallas posteado.

En rigor tienes razón. El SQN tiene mas que ver con la robustez del sistema

Pero ¿qué entendemos por robustez? pues implica que halla un número suficiente de operaciones. Fíjate que Raíz(n) hace que SQN, a medida que hagamos operaciones, va separándose el ratio de Sharpe simplificado (que es mas estable): s/m.

Pero lo que digo no es descabellado, ya que obtener SQN = 2 se necesita mas histórico que obtener uin SQN = 1. ¿Cierto?

Con el SQN matamos dos pájaros de un tiro, ya que un SQN >= 2, no solo nos indica la robustez del sistema sino si el número de operaciones es suficiente. Espero que me hallas entendido.

¿Cómo lo podemos ver?
Muy sencillo. de un sistema que consideres ganador anota en una columna de una hoja de cálculo cuanto ganas porcentualmente en cada operación, ordenadas cronológicamente. Y en la siguiente columna, calcula el SQN.
Haz el gráfico de la segunda columna.
Y verás una cosa curiosa: a medida que avanzas en el tiempo el SQN va creciendo.
El ratio de Sharpe simplificado, convergerá (aproximadamente) a su valor histórico. Pero el SQN es una función creciente con el tiempo (o sea con el número de operaciones).

Saludos.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com

elmasme
Mensajes: 147
Registrado: 29 Mar 2010 17:57

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por elmasme »

Rafa7,

Comprendo lo que explicas y no me parece descabellado. He respondido al hilo porque me ha parecido una pregunta muy importante que me he hecho siempre.

Te explico un poco más mi visión.
Los sistemas pueden ser mas o menos robustos, para ello podemos utilizar el SQN y compararlos, pero es uno más de los diferentes datos que hay que valorar como también lo es el número de operaciones y el tamaño del histórico. Si no tenemos un mínimo de operaciones puede que no debamos fiarnos tanto de otros datos aunque sean buenos.
La bolsa me confunde
Avatar de Usuario
clowner
Mensajes: 185
Registrado: 27 Ene 2011 08:23

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por clowner »

Hola @rafa7 @ elmasme,

gracias por la respuesta, entiendo que el backtesting solo tiene sentido para una operativa completamente sistematica, parece que seria imposible hacer una simulacion de una operativa discrecional ya que los factores que dependen de la "intuicion" del operador (como por ejemplo el clima en el mercado en el momento de entrar) son imposibles de simular, supongo que podriamos hacer simulaciones del sistema discrecional de solo las variables que si se pueden introducir en el software que configuran el setup obviando las discrecionales, pero claro, seguramente esas variables que solo las puede evaluar el operador son las que permiten que haya edge o no. Complicado simular operativas discrecionales o lo mejor me equivoco. Tambien seria muy dificil probar un sistema no intradia en los que el factor de oportunidad es bajo, a no se que seamos muy jovenes y dediquemos años a tomar 100 - 300 muestras reales de nuestra operativa swing o position. ¿Que opinias?

¿Por cierto existe alguna herramienta unica que alimentemos con muestras de operativa y nos saque todos los parametros necesarios (sharpe, DD, ratios, fiabilidad...) para ajustar y tomar decisiones? o tenemos que trabajar con varios montones de hojas excel por separado... me gustaria ir leyendo opiniones a ver como trabajan los compañeros.

Un Saludo.
elmasme
Mensajes: 147
Registrado: 29 Mar 2010 17:57

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por elmasme »

Rafa7,

Tengo la sensación de no haberme explicado del todo:
Tú quieres decir que si obtenemos un buen SQN, ya nos está diciendo que tenemos suficientes operaciones. Pero puede ser engañoso.
Puedes comparar sistemas con diferente histórico y diferente número de operaciones mediante ese SQN pero necesitas exigirles un mínimo de histórico y un mínimo de operaciones para dar cierta fiabilidad a esas comparaciones.
La bolsa me confunde
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

elmasme escribió:Rafa7,

Tengo la sensación de no haberme explicado del todo:
Tú quieres decir que si obtenemos un buen SQN, ya nos está diciendo que tenemos suficientes operaciones. Pero puede ser engañoso.
Puedes comparar sistemas con diferente histórico y diferente número de operaciones mediante ese SQN pero necesitas exigirles un mínimo de histórico y un mínimo de operaciones para dar cierta fiabilidad a esas comparaciones.
Si, te has explicado bien. Lo he entendido perfectamente, no te preocupes. Ya te digo que con rigor tienes razón: el SQN mide la robustez.

Pero un buen SQN requiere de buen ratio de Sharpe y suficiente histórico.

Mira, si comparas un sistema en un mercado del que dispones poco histórico, con otro sistema en un mercado con mucho histórico, el SQN premiará "injustamente" al sistema del mercado con mucho histórico (esta es la pega del SQN a saco). Si quieres comparar dos sistemas por su SQN, tiens que hacerlo en el mismo período histórico. El de mayor SQN es mas robusto si el período comparativo es el mismo.

Yo no creo que un SQN >= 2 se pueda obtener fácilmente con 30 operaciones.

Lo mejor, para saber si tengo razón o estoy equivocado es hacer el gráfico que te dije. Cuando disponga de tiempo tal vez yo mismo publique un gráfico. Pero si quieres adelantarte, sería fantástico que lo publiques tú.

Si, claro que el SQN puede ser engañoso, pero eso lo delata el gráfico que he sugerido. Mirando el gráfico del SQN se ve por donde van los tiros. Una imagen vale mas que mil palabras.

Saludos.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

elmasme escribió:Rafa7,

Tengo la sensación de no haberme explicado del todo:
Tú quieres decir que si obtenemos un buen SQN, ya nos está diciendo que tenemos suficientes operaciones. Pero puede ser engañoso.
Puedes comparar sistemas con diferente histórico y diferente número de operaciones mediante ese SQN pero necesitas exigirles un mínimo de histórico y un mínimo de operaciones para dar cierta fiabilidad a esas comparaciones.
Si, te has explicado bien. Lo he entendido perfectamente, no te preocupes. Ya te digo que con rigor tienes razón: el SQN mide la robustez.

Pero un buen SQN requiere de buen ratio de Sharpe y suficiente histórico.

Mira, si comparas un sistema en un mercado del que dispones poco histórico, con otro sistema en un mercado con mucho histórico, el SQN premiará "injustamente" al sistema del mercado con mucho histórico (esta es la pega del SQN a saco). Si quieres comparar dos sistemas por su SQN, tiens que hacerlo en el mismo período histórico. El de mayor SQN es mas robusto si el período comparativo es el mismo.

Yo no creo que un SQN >= 2 se pueda obtener fácilmente con 10 operaciones. (Significaría un Sharpe del 63% !!!!)

Lo mejor, para saber si tengo razón o estoy equivocado es hacer el gráfico que te dije. Cuando disponga de tiempo tal vez yo mismo publique un gráfico. Pero si quieres adelantarte, sería fantástico que lo publiques tú.

Si, claro que el SQN puede ser engañoso, pero eso lo delata el gráfico que he sugerido. Mirando el gráfico del SQN se ve por donde van los tiros. Una imagen vale mas que mil palabras.

Afirmo lo siguiente:
El ratio de Sharpe de 100 operaciones y el de 1000 operaciones es relativamente parecido. Pero el SQN de 100 operaciones tiene que ser muy inferior al de 1000 operaciones.

Pero esto no lo he comprobado. Lo creo por matemáticas y sentido común. Basta comparar la fómrula del ratio de Sharpe simplificado con el SQN.

Saludos.
Última edición por Rafa7 el 27 Ene 2011 12:42, editado 1 vez en total.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com
Avatar de Usuario
guevon
Mensajes: 1990
Registrado: 11 May 2008 00:12
Ubicación: Montañas del Goierri

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por guevon »

Buenos dias.
...

Sobre este tema (tamaño de la muestra), hace algun tiempo (en la primera quedada que estuve), yo,tuve un pequeño debate con un chico, (ahora no me acuerdo como se llamaba), pero si que me acuerdo de lo que hablamos, puesto que era importante.

Al grano.

Segun todo lo que yo he estudiado (poco pero bien aprendido) en econometria y estadistica, hay un principio que dice...

"El tamaño muestral nunca sera superior al tamaño de la poblacion a estudiar "

Este principio que todos comprendemos perfectamente, en todo lo relacionado con biologia u otras materias, cuando llegamos al trading, lo solemos olvidar.

Solemos hacer tamaños muestrales de 10.000 , 25.000, 100.000 (por poner un ejemplo) barras-periodos-operaciones, y...
extrapolamos los resultados de dichos estudios, a conjuntos de 10-20-30 barras-periodos-operaciones... que normalmente son los siguientes en el tiempo futuro...

Yo me acuerdo, que en aquella conversacion, yo le decia a mi interlocutor que nos comportabamos como "aprendices de brujos", olvidabamos (de forma consciente o incosciente) todo lo aprendido ortodoxamente, y aplicabamos las reglas estadisticas como se nos salia de los guevos...

...

He explicado esta anecdota, que es cierta, aunque sea (que ya lo se), inveraz mi razonamiento, pero tiene mucha parte de verdad.

Cuantas veces, decimos tan tranquilos, han salido 100 veces rojo seguidas... y deducimos... a continuacion... las siguientes seran negras... y nos quedamos tan tranquilos.

¿?

Aplicando las reglas ortodoxas de tamaños muestrales y proyecion hacia el futuro, tendriamos que coger varias muestras pequeñas de la serie de rojos, (y veriamos que todos son rojos), y las reglas ortodoxas nos dirian que lo mas probable con un 95% de acierto es que sean rojos los siguientes...

Independientemente de las probabilidades de color.

Nuestra deducion humana es de negros, y, nuestro calculo academico es de rojos...

...

En fin, es una reflexion, la tenia en la cabeza (en la parte de atras), desde hace tiempo, y si que me ha hecho gracia ver el titulo del hilo, pues es una de las cosas mas curiosas que yo suelo observar en muchisima gente de aqui, "el tamaño muestral", emperrarnos en hacer muestras de millones de datos, para intentar descubrir de una forma o de otra, con mas o menos acierto, los siguientes 10 datos.

S2.
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

guevon escribió:"El tamaño muestral nunca sera superior al tamaño de la poblacion a estudiar "
Hola guevon.

Esto no lo entiendo. si la población a estudiar tiene n elementos y tomas una muestra de los n elementos de la población, la muestra tendrá como máximo n elementos.
Entonces la condición es una condición que siempre es verdadera. Y si siempre es verdadera la condición no sé que utilidad tiene.

Tal vez lo que quisiste decir es en términos predicitivos:
"El tamaño muestral del pasado nunca será superior al tamaño de la población futura a estudiar"
Esto si que le encuentro sentido. Y podemos estar de acuerdo o no. Yo no lo veo.

¿Qué es lo que quisiste decir?
guevon escribió: En fin, es una reflexion, la tenia en la cabeza (en la parte de atras), desde hace tiempo, y si que me ha hecho gracia ver el titulo del hilo, pues es una de las cosas mas curiosas que yo suelo observar en muchisima gente de aqui, "el tamaño muestral", emperrarnos en hacer muestras de millones de datos, para intentar descubrir de una forma o de otra, con mas o menos acierto, los siguientes 10 datos.
Normalmente, los traders sistemáticos no se preocupan de el resultado de la próxima operación, ni de las 10 próximas operaciones. Simplemente confían en que su sistema es ganador y aplican un algoritmo de money managment (tamaño de la posición) para conseguir que su cuenta crezca geométricamente en función del capital disponible. Así que tiene sentido usar todo el histórico si lo que pretendes es usar un sistema por largo tiempo.

Ahora bien. Si uno quiere un sistema para hacer solamente 10 operaciones, la cosa cambia. Seguramente no hay necesidad de todo el histórico. (A no ser que lo usemos para saber el número óptimo de la ventana).

Saludos.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

elmasme escribió:Rafa7,

Tengo la sensación de no haberme explicado del todo:
Tú quieres decir que si obtenemos un buen SQN, ya nos está diciendo que tenemos suficientes operaciones. Pero puede ser engañoso.
Puedes comparar sistemas con diferente histórico y diferente número de operaciones mediante ese SQN pero necesitas exigirles un mínimo de histórico y un mínimo de operaciones para dar cierta fiabilidad a esas comparaciones.
Te doy una segunda respuesta.

El SQN se puede usar desde varios enfoques, uno de ellos es para comparar la robustez de diferentes sistemas, que en mi entender requiere que se comparen en un mismo período.

Otro enfoque es no para comparara un sistema con otros sistemas sino un sistema consigo mismo.
Mira, si tras hacer un backtesting (o paper trading) te lanzas ha hacer operaciones reales con un solo lote o contrato, para elegir una delta (si quieres aplicar fixed fraction o fixed ratio), necesitas un número suficiente de operaciones. Una posibilidad es ver que se te defina un SQN. Si el sistema es ganador irá creciendo. Una idea es decidir la delta cuando hallas alcanzado un determinado SQN. Alcanzado ese SQN ya puedes estar "seguro" de que el sistema es ganador.

Esta idea que lanzo, puede ser errónea. Por eso me parece normal que hallas puesto objeciones.

Otra idea que se me ocurre, que también puede ser errónea, es que el SQN también nos puede indicar si debemos desechar un sistema. Supongamos que haces operaciones y el SQN está decreciendo y alcanza el nivel -1. Tal vez sea el momento de dejar de operar y buscar otro sistema (que puede ser el mismo pero corregido).

Saludos.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com
Avatar de Usuario
guevon
Mensajes: 1990
Registrado: 11 May 2008 00:12
Ubicación: Montañas del Goierri

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por guevon »

Buenas tardes Rafa.
...

Bufff... has abierto un melonnnn, que no sabes bien, yo, sobre este tema podria escribir un libro entero.

Primero de todo, este debate es totalmente academico y filosofico, no quiero en ningun momento, que cualquier expresion mia, del tipo que sea, te la tomaras mal, ni personalmente ni academicamente.
Para mi esta discusion, es totalmente filosofica, pero tiene un buen porcentaje de logica en su seno.

...

Cuando queremos conocer algo en sus caracteristicas, Que nos enseñan en la escuela que hay que hacer?...

Nos enseñan, que tenemos que coger una pequeña muestra de ello, o bien, varias muestras, analizarlas matematicamente, y... sacar conclusiones.

Ojo! fijate que hablo en abstracto, uso "algo", uso "muestra", uso "pequeña", uso "varias".

Bien.

Que hacemos nosotros en el trading (comunmente)?, hacemos lo que he dicho?... coger varias muestras de cotizaciones y analizarlas matematicamente?, yo creo que no, yo creo que no lo hacemos (fijate que me incluyo yo, tambien).

Se me ocurre un ejemplo, (como se me ha ocurrido mientras escribo esto, igual no es valido).

...

Tu, supon, que te piden, que tienes que acertar en el pueblo donde vives, como va a ser el siguiente nacimiento, sexo?, color de pelo?, numero de mamas o ubres?, numero de piernas?,color de piel?...

(asumimos que el siguiente nacimiento es la siguiente vela).

De la forma que hacemos los aficionados al trading las cosas (o, por lo menos de la forma en que veo hacerlo a la mayoria), lo harias de la forma siguiente, cogerias el censo del pueblo, e incluso pedirias el censo de los pueblos que rodean a tu pueblo (para asi tener mas historico), cogerias e irias al ambulatorio de cada pueblo a pedir la relacion de cojos que hay en cada uno, etc... en una palabra, intentarias sacar la mayor cantidad de datos posibles... bien.

Mezclarias todos esos datos, y que nos saldria a la mayoria?

El siguiente chavalin en nacer, seria hermafrodita, con una sola teta, de un color indescriptible, y tendria una pierna mas corta que la otra.

Bien, como comprenderas, afortunadamente no nace nadie asi, y eso a pesar que esa seria la media de lo que te han salido de los datos que tenias, y digo mas... defenderias tu resultado perfectamente (matematicamente hablando), que es lo que has hecho mal en este ejemplo? (matematicamente hablando)... pues...

Has usado demasiados datos.

Con haber cogido media docena de muestras de tu propio pueblo (olvidandote de los de alrededor), estoy seguro que la deducion (tambien, matematicamente hablando), habria sido mas acercada a la realidad.

---

Con esto que quiero decir?... , hombre!, yo veo aqui que mucha gente intenta acaparar historicos de 10 o 20 o de 30 años, y solamente los quieren para saber lo que va a hacer la cotizacion en un solo dia, o en una semana, o incluso en el mes siguiente, por eso digo que el tamaño muestral es importante, pero... eso si... nunca nunca pero es que nunca ...

El tamaño de la muestra tiene ser mayor que el tamaño que vayas a estudiar... porque sino, los resultados que te salgan seran irreales...

---

Hummm... me estan llamando para cenar, pero despues sigo, en este tema estoy muy puesto, lo digo de verdad.

"Mira, mi escalera solo funciona a partir de una minima tendencia, yo, no avanzo nada, aunque tenga mas o menos historicos con o sin tendencia, es mas, incluso me confunden (como al Dinio)"

La mayor parte de la gente de aqui, dice que trabaja con analisis tecnico, o con analisis fundamentales.

"Analisis tecnico" creo que todo el mundo estara de acuerdo que es un patron de movimiento (basado en el precio y volumen), mas o menos repetido en el tiempo.

"Analisis fundamental" creo que todo el mundo estara de acuerdo que es un patron de movimiento (basado en... no se, eso si que no lo se), mas o menos repetido en el tiempo.

Me voy a cenar, que tengo ya los morros de ternera con tomate calientes en la cazuelita, luego seguire.

S2.
Avatar de Usuario
Rafa7
Mensajes: 4924
Registrado: 17 Dic 2009 21:36
Contactar:

Re: Tamaño de la muestra antes de evaluar un sistema

Mensaje por Rafa7 »

guevon escribió: Con esto que quiero decir?... , hombre!, yo veo aqui que mucha gente intenta acaparar historicos de 10 o 20 o de 30 años, y solamente los quieren para saber lo que va a hacer la cotizacion en un solo dia, o en una semana, o incluso en el mes siguiente, por eso digo que el tamaño muestral es importante, pero... eso si... nunca nunca pero es que nunca ...

El tamaño de la muestra tiene ser mayor que el tamaño que vayas a estudiar... porque sino, los resultados que te salgan seran irreales...
guevon,

si uno pretende hacer una sola operación mas no necesitará mirar todo el gráfico de toda la historia. Solo tiene que mirar las últimas n velas. Pero si estudias el histórico podrás deducir el n óptimo. Esto te hablo desde el trading sistemático.
Desde el trading discreccional, miras solo las últimas n velas, ¿qué n? el que tu experiencia e intuición te guíen.

Por cierto, en eso de las escaleras, ¿has mirado si el ADX te sirve para mejorar tus estadísticas?
Tendrías que buscar un setup, una situación por indicador o lo que sea, que te indique que tras la calma viene la tempestad que necesitas.

Saludos.
¡Jesús es el Rey de Reyes y el Señor de Señores!
https://loquepermanece.blogspot.com
Si te ha gustado este hilo del Foro, ¡compártelo en redes!


Responder

Volver a “Sistemas de Trading”