Puesta en producción

[INtrader]

Quiero traer aquí un asunto del que hablamos a menudo pero que ponemos poco en práctica. ¿Cuando ponemos en producción un sistema? o ¿Qué criterios deben de cumplirse para poner en producción un sistema?

Me gustaría hacer el caso lo más práctico posible, por lo que colgaré un sistema y unos backtest para que todos podamos opinar y definir los pasos a dar antes de sacar a producción.

Como puntos de partida, muy genéricos, podemos pensar en:

1. El sistema tiene una base lógica solida
2. Las pruebas ofrecen resultados aceptables (el sistema gana dinero) en diferentes mercados, timeframes.
3. Las pruebas en modo demo no difieren demasiado de los backtests

Ahora quedaría definir con mayor exactitud, además de añadir algo más, los puntos anteriores, medir los resultados y decidir si definitivamente el sistema puede entrar en producción (seguramente junto con otros sistemas que compongan un portfolio).

Saludos
INtrader

[INtrader]

El sistema que ya colgué en el hilo "Rotura de cajas" de Russell viewtopic.php?f=9&t=18045&hilit=rotura+ ... 30#p204913 es bastante sencillo:

Se sitúan entradas (stop) en el máximo y mínimo, más un filtro), de n barras atrás. Un vez dentro ponemos un TP y un SL y nos sentamos a esperar.

Una optimización en GBPUSD de 15m en 2010-2011 ofrece esté gráfico:

optimización rango03 gbpusd 15m

Seleccionando alguno de los mejores puntos y "cargando un poco" de lotes (4 lotes para 10.000 EUR) obtenemos este resultado para un backtest en el mismo periodo:

Test rango03

Resultados test rango03

Se admiten participantes...

[Traderday]

hola Intrader, has probado el sistema para adelante??

al menos a mi los sistemas me funcionaban para atras claro, con optimizacion, pero para adelante es otra cosa....en fin, solo era comentartelo, creo que la clave es probarlo un tiempo en grafico nuevo, con los parametros ya definitivos y ver que tal, para intradia varia mucho segun el horario donde se prueben, la clave es siempre operarlos a la misma hora y mismo valor claro esta.

yo ya desistí de sistemas automaticos hace unos años, perdí la batalla

saludos

[INtrader]

Hola Traderday.

Gracias por la propuesta. No, todavía no he probado el sistema "para adelante". No sabría como hacerlo.

¿Que parámetros o conjunto de parámentros debería de escoger para realizar un test "para adelante"?

¿No debería primero saber si mi sistema merece la pena con los primeros backtests? ¿Como decidirlo? ¿Y como saber que parámetros escoger para probarlo en un gráfico nuevo?

Dices que has abandonado la búsqueda de sistemas automáticos por que entiendo no te dieron los resultados que esperabas. ¿Como puedes entonces aconsejar la manera de buscar un sistema rentable? Puede que tu método de búsqueda de sistemas no funcione...

Tu propuesta me resulta muy interesante para saber que necesito plantearme para encontrar un sistema ganador.

Saludos
INtrader

[Traderday]

hola Intrader, para delante es simplemente hacerlo funcionar en cuenta papertrading, el tema escoger parametros es la clave, a modo de ejemplo:

para intradia, si fuera swing te lo adaptasa tu tiempo adecuado:

haces una optimizacion sobre el valor, futuro o lo que vayas a usar de por jemplo 3 semanas si fueran barras de 15 segundos por ejmplo, eso ya es bastante carga para el ordenador, ya estara quizas un dia calculando entero, pues tiene muchisimas barras que calcular, esto podria equivaler a la carga de por ejmplo 1 año en barras de 5 o 10 minutos.

una vez tengas un poco de resultados, incluso no es necesario el 100% de la optimizacion si lo haces por metodo no lineal (visualchart tiene esa opcion, es calculo aleatorio, no lineal en orden.) montas esos parametros al sistema y lo aplicas al grafico sobre el que has optimizado, has de observar si las operaciones las hace naturales, o sea, que no te haga pocas operaciones de mucha ganancia si no muchas operaciones de poca ganacia, aunque si exagerar, este metodo te ira mejor porque en lateral trabajara mejor , aunque en tendencias fuertes te gane menos porque cierre las operaciones antes, pero es lo mas estable, que es lo que uno busca.

Bueno, esto es largo, lo ideal es que con el vchart5 conforme te va dando resultados (los mejores de la optimizacion le des al boton de "aplicar" asi veras donde entra y sale en elas operaciones en el grafico directamente, de esta manera descartaras parametros raros, no buenos de cara a estabilidad.

uan vez tengas la optimizacion mas o menos adecuada, le reduce el margen, por ejemplo si ves que un parametyro, un rsi a modo de ejmeplo te suele salir como adecuado alrededor de 55-65, en la proxima optimizacion le das ese margen, pones de limite 55-65 y descartas otros superiuores e inferiores.

eso hay que hecerlo con todos los indicadires que uses, hasta que encuentres los parametros(naturales) de cad indicador del sistema, una vez tienes todos los parametros "reducidos en poco margen "
vuelves a optimizar de nuevo sobre el grafico, ahi ya obtendras unos valores bastante buenos y "logicos", no valores extraños que no serían estables.

Una vez optimices ese grafico de nuevo(el de 3 semanas en barras de 15 segundos) por ejemplo, ya tendras un margen reducido , ahi te coges y te copias a una hoja de excell las ultimas 10 lineas de resultados mejores que te da visualchart o el programa que hayas usado.

Ha sde coger y sumar el resultado de cada parametro y dividirlo entre 10 (porque has cogido 10 lineas), ahi ya tendras un parametro limpio, por ejmplo te habras quedad con un rsi por arriba de 57 (a modo de ejemplo),

ahora coges del grafico grande de 3 semanas, que tenía los huecos de cada cierre diario, y lo divides en por ejmplo tres graficos semanales, y vuelvesa a optimizar cada semana con paraemtreo muy cercanos a el valor ejemplo del resi, si era 57, pues ese parametro le dices que valaga entre 52 y 62, una vez tengas el resultado de esa optimizacion te habra dado un parametro por ejmoplo para la primera semana de 54, para la segunda semana de 55 y para la tercera semana de 60,

ahora ya lo comoplicamos mas, sabes que tu ideal esta entre 54 y 60 , pues has de optimizar dia por dia, para que no haya huecos de apertura que lian al sistema automatico, asi que has de optimizar tres semans pero dia a dia, en grafico sseparados, para que no haya hueco de apertura.

cuando tengas unos parametros ya medio buenos habras de reducir todavia mas el margen de cada parametro, por ejmplo te quedaras con el resi que te he comentado como ejemplo a que los mejores nuemeros se consiguen con valores entre 56 y 58 por ejmplo, pues ahi al final vuelve a optimazr de nuevo con esos margenes m,uy pequeños el sistema de nuevo en dias separadaos como te he comentado para al final que te quedes con los mejorcitos de cada indicador que hayas usado, .

Bien.... pues ahora ya tendras el mejor parametro para cada indicador o filtro que use tu sistema, eso ya lo puedes hacer funcionar para "adelante" y ver que pasa, si acierta o no, si ves que funciona en grafico nuevo y sacas beneficio ya podras tirate a la piscina en real, si quieres!!!

otra cosa que va bien, es que de la sesion, hay monmnetos mejores y peores para operar, si cuando optimizas en dias independientes, le quitas al garfico la franja horaria "mala" el sistema sera mejor,

tendras que decidir que franja horaria es la mejor para que el sistema funcione y acierte, y siempre optimizar en esa franja horaria.

luego lo ideal es que como los creadores de mercado te iran cambiando la forma de manejar el precio, deberas ir haciendo pequelos retoque por ejmoplo semanal mente por si los parametros "maestros" que usas para el sistema se pueden afinar un poco mas, pues todo va cambiando con el tiempo, no tendria logica usar unso parametros que te dieron resultados ahace meses pudiendo afinar en buscar los mejores de hace una semana por ejmplo.

Bueno, todo esto que te he explicado te lo hecho desde la vision de intradia, pero te lo puedes adapatar para operar en barras diarias o lo que te guste, pero es un buen metodo para sacar parametros"maestros"

te pongo aqui un enlace a uno de mis sistemas, que era muyt bueno, pero el mercado es mas bueno todavía y no lo vi lo suficiente mente bueno para operarlo en real, ahi veras que la cosa esta dificil, es decir, con sistemas de "banco de sistemas, cafeteros y cosa de esas tipicas a mi parecer no se va a ninguna parte, hay que evolucionarlos mucho mas, y sobre todo lo ideal es que te lo inventes "tu" para entender al milimetro lo que "hace tui sistema en cada momento y que es lo que esta calculando por dentro" cuando se mueve el grafico.

enlace a uno de mis mejores sistemas, llegue a crear te diria que decenasde sistemas, ya que cualquier variable o mejora que uno añade pues es un sistema nuevo, dentro de la misma idea, aqui pongo el enlace a un hilo de hace ya mucho tiempo, pero seguro que mucha gente del foro no lo ha visto nunca: http://www.x-trader.net/foro/viewtopic. ... 88#p197653

Asi que el que quiera que lo analice y coja la idea que le parezca seguro que algo os va bien, esta hecho para intradia en el sp o nasdaq, graficos de entre 10 y 15 ticks, osea, muy rapido.

[Rafa7]

1. El sistema tiene una base lógica solida
2. Las pruebas ofrecen resultados aceptables (el sistema gana dinero) en diferentes mercados, timeframes.
3. Las pruebas en modo demo no difieren demasiado de los backtests

Hola INtrader,


Yo añadiría:
4.- Las pruebas en real, con un solo lote, no difiere demasiado de los backtests.

La prueba en real nos va a dar más información, por ejemplo, los deslizamientos, con los cuales podríamos modificar el backtests para tenerlos en cuenta, y entonces hacer la comparación del backtest (teniendo en cuenta los deslizamientos) con las pruebas en real.

El siguiente paso es ya explotar el sistema aplicando un algoritmo de MM.

Andrés García aconseja el criterio de operar con el nuevo sistema durante 6 meses (si la memoria no me falla) con un solo lote, antes de explotarlo con algoritmo de MM.

Van Tharp aconseja otra cosa, en lugar de operar con un solo lote, operar con un FixedFractión(1%) antes de aplicar otro algoritmo de MM más agresivo.

Así que el punto 4 también podría ser:
4.- Las pruebas en real aplicando FixedFraction(1%), no difiere demasiado de los backtests.


Saludos.

[Gratphil]

Hola Traderday.

Gracias por la propuesta. No, todavía no he probado el sistema "para adelante". No sabría como hacerlo.

¿Que parámetros o conjunto de parámentros debería de escoger para realizar un test "para adelante"?

¿No debería primero saber si mi sistema merece la pena con los primeros backtests? ¿Como decidirlo? ¿Y como saber que parámetros escoger para probarlo en un gráfico nuevo?

Dices que has abandonado la búsqueda de sistemas automáticos por que entiendo no te dieron los resultados que esperabas. ¿Como puedes entonces aconsejar la manera de buscar un sistema rentable? Puede que tu método de búsqueda de sistemas no funcione...

Tu propuesta me resulta muy interesante para saber que necesito plantearme para encontrar un sistema ganador.

Saludos
INtrader

Buenos días,

evidentemente lo que haces optimizar dentro de muestras y luego determinadas pruebas de robustez. Sí, estoy de acuerdo es basicamente lo primero. Quizás lo primero sea ver el sistema como muy en bruto, sin practicamente filtros y ver si funciona en una variedad de mercados, y luego meterle algún frito (no muchos porque sobreotimizarías) y hacer la misma prueba de robustez sobre varios mercados.

Un tema importante es que el sistema tenga una lógica, que no sea fruto de una casualidad estadística. Para ello, creo que debemos establecer el sistema a priori, que los filtros que pongamos sigan la lógica inicial y que los parámetros tengan esa misma lógica. Por ejemplo si de acuerdo a nuestra lógica estamos pensando en una tendencia relativamente larga y para ello utilizamos una media, cuando pongamos a optimizar el parámetro no lo cojamos desde 1 hasta 500, sino más bien por ejemplo desde 100 y con pasos relativamente holgados, por ejemplo de 10 en 10.

Y una vez hecho esto y viendo que el sistema pasa los primeros filtros para su puesta en práctica, lo que hay que hacer son pruebas fuera de muestra, es decir optimizar determinados periosdos y probarlos en periodos posteriores. En mi opinión no es necesario probarlos en real como dice Rafa, pero siempre tomar las variables de coste con cierta prudencia (sipages más altos de los realmente esperados, banda alta de los spreads, etc.). Logicamente cuando lo ejecutas en real hay que ir observando por ejemplo que los slipages efectivamente son menores o que los spreads también lo son.

En cuanto a tus preguntas, los parámetros que debes coger son los que te resultan de la optimización que hayas realizado de acuerdo a la función objetivo que hayas seleccinados (SQN, Resultado/DD medio, Minimar R^2, Resultado bruto, etc.).

Quería hacer un comentario a traderday y es que siempre contemplas sistemas con una cadencia operativa muy elevada o con time frames superpequeños. En estas situaciones los costes que se tienen sobre los beneficios potenciales son enormes y necesitas sistemas con muy alta fiabilidad para obtener resultados. Siempre te leo comentar que sino lo hicieses así los riesgos serían muy altos. Quizás deberías plantearte operar otros activos con menor valor nocional, para ajustarlo a tu capital, por ejemplo CFD´S, con más costes pero donde puedes ajustar mejor el tamaño de las posiciones. Y también desde mi experiencia no he encontrado sistemas que funcionen en timeframes tan sumamente bajos, precisamente por dos factores los costes en relación al beneficio potencial y el exceso de aleatoriedad del mercado en esos timeframes.

Saludos

[Rafa7]

y luego meterle algún frito (no muchos porque sobreotimizarías) y hacer la misma prueba de robustez sobre varios mercados.

Hola Gratphil,


No entiendo que quiere decir esto de "frito".
¿Puedes poner algún ejemplo de frito?


Saludos.

[oni]

Jajajaja, que cachondo el rafa

[Gratphil]

"filtro". Sorry

[Rafa7]

Quizás lo primero sea ver el sistema como muy en bruto, sin practicamente filtros

Hola Gratphil,


¿En la optimización hay que tener en cuenta las comisiones?
Yo creo que no, Porque si uno tiene en cuenta las comisiones, cae en sobreoptimización, ya que las comisiones poco tienen que ver con los movimientops de los precios.
Yo creo que es mejor optimizar teniendo en cuenta deslizamientos pero sin tener en cuenta las comisiones. Pero una vez Optimizado el sistema hay que añadir las comisiones para evaluar si sus estadísticas nos convencen. Si el sistema optimizado antes de comisiones, nos sigue gustando despuñes de comisiones, vamos por buen camino.
Si después de comisiones el sistema automatizado antes de comisiones no nos convence, eso nos puede llevar a ver si es aplicable en un timeframe superior.

Antes de comisiones, un buen sistema debería funcionar en varios timeframes, pero no debemos exigir que el sistema deba funcionar después de comisiones en timeframes inferiores pero si exigir que después de comisiones funcione en timeframes superiores.

¿Cómo lo vés?


Saludos.

[Kosparuk]

Es lo mismo. Es un deslizamiento más.

Yo optimizo el ibex con 15 ptos de deslizamiento, aunque sé por la experiencia de mis 4 años reales que la media es de 3, pero así ya no caigo en sobreoperar para sacar 3 ptos, cuando en real ni los voy a oler.

[Gratphil]

Hola Rafa7,

No veo que tienen que ver las comisiones con la sobreoptimización. Es igual que el spread o el slipage, un coste de la operativa.

En cuanto a ir creando el sistema antes sin comisiones, bueno pues puede ser, no sé. Está bien lo que comentas para ver una robustez general en timefreames inferiores.

Particularmente lo hago desde el principio con todos los costes previstos (spread, slipagge y comisiones) y pruebo su robustez con todos los costes, pero sobre otros activos, no tengo en cuenta time frames inferiores o superiores.

Quizás por lo anterior, se me hace muy dificil encontrar sistemas que funcionen en intradiario.

Saludos

[Traderday]

si que hay que optimizar con las comisiones incluidas, a ver porque pensais que mis sistemas no eran del todo efectivos...porque incluia todo, hay que hacerlo como si fuera real, sino estaremos haciendonos ilusiones de algo que no funciona.

Puedes agrupar los dos gastos en una sola cosa si para eso se hace mas rapido el trabajar optimizando muchas veces, si se ve que el deslizamiento es de un tick, y la comision equivale a otro tick, pues si eso equivale a 0,5 puntos, pues en los gastos le ponemos como comision por ejemplo 0,5 puntos, por no tener que rellenar dos veces el dato, pero hay que ponerlas, sino, no estaremos realmente buscando que el sistema sea bueno.

En mi caso para intradia, practica,mente scalping, es fundamental, en mas largo plazo, entiendo que no importa tanto, pero es que si no se ponen las comisiones a la hora de optimizar, el sistem,a dara por buenas pequeñas operaciones, y no se optimizara bien, si tiene bien marcadas las comisiones, el sistema al optiomizar nos descartara esas operaciones y nos dara realmente los parametros mas buenos, los que aciertan mas tramo, en fin, es lo suyo.

saludos.

[Rafa7]

No veo que tienen que ver las comisiones con la sobreoptimización. Es igual que el spread o el slipage, un coste de la operativa.

Hola Gratphil,


Por cierto, la idea de optimizar antes de comisiones es un consejo de John Murphy.

Ya que lo mencionas, tal vez al optimizar no hemos de tener en cuenta ni comisiones, ni spread, ni slipages. Pero el sistema optimizado para valorarlo, hemos de tener en cuenta todos estos gastos.

Hay que tener en cuenta, que lo que realmente mueve el precio son las operaciones de grandes tamaños, en los cuales los gastos, especialmente el de comisiones, tienen una importancia muy leve. Optimizar después de gastos, es darles a los mismos una importancia que en realidad no tienen en la formación de los precios.

¿Qué prefieres? ¿optimizar antes de gastos o depués de gastos? ¿Por qué?


Saludos.