Aplicación de prediccion de redes neuronales

[edge2k]

Buenas,
Después de un tiempo de desconexion con el mundo de desarrollo en el trading (3 años ) he vuelto con las pilas cargadas y un montón de nuevos conocimientos (me especialicé en Big Data, Machine Learning etc y ahora trabajo como investigador de esos temas )

He conseguido desarrollar una red neuronal bastante potente, que intento predecir si la siguiente vela cerrará con un valor superior o inferior a la actual. Los datos que están saliendo me gustan bastante (por ejemplo en el 2014 DJIA, con barras de 1min, acierta el 60,7% de las veces, en el 2015, acertó el 59,8%) y tan solo con los datos típicos (high,low,open,close).

Me gustaría alimentar al sistema con nuevos datos (añadir resultados de indicadores) pero sobretodo, como aplico ese resultado? que análisis puedo hacer si sé que va a pasar en la siguiente vela? y estrategias?

Con ninjatrader no puedo hacer ningún import de esa predicción y por tanto no puedo aplicar estrategias en base a la predicción y utilizar todos sus útiles análisis. Alguna idea?

Gracias!!

[Wikmar]

Utilizar otra plataforma que te permita conectar con los sistemas en los que tienes en funcionamiento la red neuronal.

¿Cuál?. Por mi parte, no es que te la recomiende, pero en la que yo utilizo se pueden hacer conexiones con el exterior. Es Visual Chart V (no entro en la versión 6 "todo en la #@#!%# (perdón) nube").

No es que venga directamente pensada u orientada a ese tipo de conexiones, pero como tiene un Visual Basic de desarrollo de sistemas, indicadores y estudios, pues en ese entorno se puede conectar con el exterior en los dos sentidos.

Ojo; detalles avanzados sobre esa conexión, no te garantizo que estén a tu alcance, pero por lo menos te doy dos ideas; que otra plataforma como respuesta a tu pregunta, y una con la que creo podrías hacerlo.

Y por otro lado, otra idea que te doy es que sería muy interesante que contaras sobre redes neuronales, sobre los entornos en los que se desarrollan, sobre lo que has hecho, etc.

S2

[X-Trader]

Hola edge2k, respecto a lo que comentas dos cuestiones: por un lado, te comento mi experiencia con Redes Neuronales, básicamente a la conclusión a la que llegué cuando trabajé con ellas es que ajustan muy bien datos pasados pero la capacidad predictiva no es muy buena. Y eso me lleva a la segunda cuestión: acertar el 60% de las veces en el mercado con velas de 1 min usando un modelo teórico es lo mismo que lanzar una moneda o incluso algo peor. Me explico: si tu modelo acierta el 60% en teoría, en la práctica descontando slippage y spread/comisiones al final te quedará algo como un 50-55% de acierto. A poco que se te den mal un par de operaciones por un fallo o una mala ejecución tendrás pérdidas casi seguro.

Para mejorar el asunto se me ocurre que subas el timeframe (habrá menos ruido, el slippage será menor en porcentaje sobre ganancia, los recorridos serán más largos lo que mejorará tu esperanza matemática, etc.) e introduzcas luego filtros (que la vela anterior vaya en la misma dirección, que se rompa un máximo o un mínimo) a ver si la cosa aumenta el % de aciertos.

Saludos,
X-Trader

[X-Trader]

Ah se me olvidó lo que comentas de la plataforma: en mi experiencia lo mejor en estas lides es Matlab, existen conectores para diferentes plataformas que te permiten operar con los datos recibidos, procesarlos en Matlab y lanzar las órdenes.

Saludos,
X-Trader

[Rafa7]

Sres. foristas,



Soy excéptico sobre las posibilidades actuales de las redes neuronales.
En ajedrez la inteligencia artificial ha conseguido la supremacía sobre el hombre. Hay programas que vencen a Kasparov y a Carlsen. Pero la explicación es que las posibilidades en ajedrez aunque son muy grandes, son finitas.
El problema, para que la inteligencia artificial, venza en los mercados es que las posibilidades son infinitas (no finitas como en el ajedrez).
El día que la inteligencia artificial venza en los mercados será el jaque mate de los sistemas mecánicos sin inteligencia artificial. Los únicos que podrán hacer frente a los sistemas basados en inteligencia artificial será el trading discrecional.
En el futuro no habrá más opciones: O trading con sistemas de inteligencia artificial o trading discrecional.
Los minoristas no tendremos más remedio que aplicar el trading discrecional, a no ser qque uno sea muy bueno en inteligencia artificial, ya que los que más dinero tienen, los mayoristas, dispondrán siempre de la mejor tecnología.



Saludos.

[cls]

Buenas,
Después de un tiempo de desconexion con el mundo de desarrollo en el trading (3 años ) he vuelto con las pilas cargadas y un montón de nuevos conocimientos (me especialicé en Big Data, Machine Learning etc y ahora trabajo como investigador de esos temas )

He conseguido desarrollar una red neuronal bastante potente, que intento predecir si la siguiente vela cerrará con un valor superior o inferior a la actual. Los datos que están saliendo me gustan bastante (por ejemplo en el 2014 DJIA, con barras de 1min, acierta el 60,7% de las veces, en el 2015, acertó el 59,8%) y tan solo con los datos típicos (high,low,open,close).

Me gustaría alimentar al sistema con nuevos datos (añadir resultados de indicadores) pero sobretodo, como aplico ese resultado? que análisis puedo hacer si sé que va a pasar en la siguiente vela? y estrategias?

Con ninjatrader no puedo hacer ningún import de esa predicción y por tanto no puedo aplicar estrategias en base a la predicción y utilizar todos sus útiles análisis. Alguna idea?

Gracias!!

Desde mi experiencia con ninjatrader te puedo decir que le puedes conectar o importar cualquier cosa.
Le he añadido controles de usuario programados en VisualStudio, conectado con WCF services, importado datos externos de múltiples fuentes, conectado con bases de datos locales y externas, etc. Las mismas posibilidades que tendrías con una aplicación .NET.

Supongamos que tienes una serie de predicciones y las puedes identificar por índice de barra. P.ej. :
Número de barra --- / --- Predición realizada para la siguiente barra :
10 --- / --- alcista
23 --- / --- bajista
42 --- / --- alcista
46 --- / --- alcista
etc.

Te las bajas a un fichero de texto. Las importas en Ninja y las cargas en una DataSeries. Tienes que codificar un programa a medida que te abra el fichero y te cargue la DataSeries. Pero poder se puede, y sin mayor dificultad.

Una vez que tienes la Dataserie completada ya la puedes usar como fuente de datos para cualquiera de los indicadores de Ninja (los estándar y los que tú puedas hacerte), así como para programar algún sistema automático y hacerle backtesting para analizar el desempeño de la red neuronal.

Otra opción si aún no controlas ninjascript es importar la serie de precciones como una serie de barras (alcista=1, bajista=-1, y 0 si no hay predicción). Tendrás unas barras muy extrañas (entre -1 y 1), pero serán una serie válida sobre la que puedes aplicar cualquier indicador sin programar nada.

Saludos

PD: si tienes programada la red neuronal en C# la deberías de poder conectar a Ninja, incluso en tiempo real.

[edge2k]

Utilizar otra plataforma que te permita conectar con los sistemas en los que tienes en funcionamiento la red neuronal.

¿Cuál?. Por mi parte, no es que te la recomiende, pero en la que yo utilizo se pueden hacer conexiones con el exterior. Es Visual Chart V (no entro en la versión 6 "todo en la #@#!%# (perdón) nube").

Gracias por el consejo. Estudiare Visual Chart.

Hola edge2k, respecto a lo que comentas dos cuestiones: por un lado, te comento mi experiencia con Redes Neuronales, básicamente a la conclusión a la que llegué cuando trabajé con ellas es que ajustan muy bien datos pasados pero la capacidad predictiva no es muy buena. Y eso me lleva a la segunda cuestión: acertar el 60% de las veces en el mercado con velas de 1 min usando un modelo teórico es lo mismo que lanzar una moneda o incluso algo peor. Me explico: si tu modelo acierta el 60% en teoría, en la práctica descontando slippage y spread/comisiones al final te quedará algo como un 50-55% de acierto. A poco que se te den mal un par de operaciones por un fallo o una mala ejecución tendrás pérdidas casi seguro.

Para mejorar el asunto se me ocurre que subas el timeframe (habrá menos ruido, el slippage será menor en porcentaje sobre ganancia, los recorridos serán más largos lo que mejorará tu esperanza matemática, etc.) e introduzcas luego filtros (que la vela anterior vaya en la misma dirección, que se rompa un máximo o un mínimo) a ver si la cosa aumenta el % de aciertos.

Saludos,
X-Trader

Gracias por el comentario X-Trader.
Sobre las redes neuronales, depende mucho de que tipo utilices, y no hacer overfitting. Una de las grandes ventajas y el motivo por el que estoy desarrollando sobre ellas es la capacidad de seguir aprendiendo según le lleguen nuevos datos.
En este caso trato de usar algo bastante avanzado y nuevo, siguiendo el paradigma del deeplearning.

Sobre el timeframe, soy consciente de ello, pero testeando las redes con mas datos (1 año de barras de 1min son 97000 barras) puedo observar mejor el comportamiento. En el caso de llevar esto algún día a real, aumentaría bastante el timeframe.

Ah se me olvidó lo que comentas de la plataforma: en mi experiencia lo mejor en estas lides es Matlab, existen conectores para diferentes plataformas que te permiten operar con los datos recibidos, procesarlos en Matlab y lanzar las órdenes.

Saludos,
X-Trader

Buscaba algo mas integrado y operativo para Trading. En el caso de usar un lenguaje, seguiré con Python ya que es donde tengo la Red Neuronal y existen librerías financieras.

Sres. foristas,

Soy excéptico sobre las posibilidades actuales de las redes neuronales.
En ajedrez la inteligencia artificial ha conseguido la supremacía sobre el hombre. Hay programas que vencen a Kasparov y a Carlsen. Pero la explicación es que las posibilidades en ajedrez aunque son muy grandes, son finitas.
El problema, para que la inteligencia artificial, venza en los mercados es que las posibilidades son infinitas (no finitas como en el ajedrez).

No estoy de acuerdo. La explosión combinatoria que existe en el ajedrez hace de el un ejercicio infinito. En cualquier caso lo que propones (jugar en base a las posibilidades finitas) seria un problema para solucionarlo con Fuerza Bruta, o con un Arbol de Decision. Esa es una rama de la IA, la otra es la que estamos tratando, las Redes Neuronales, lo cual todo cambia.

Por cierto, ya se ha ganado a GO https://www.google.es/search?q=go+artif ... SmU8-uoNAP (se pensaba que jamas se podría hace unos años)

[edge2k]

Desde mi experiencia con ninjatrader te puedo decir que le puedes conectar o importar cualquier cosa.
Le he añadido controles de usuario programados en VisualStudio, conectado con WCF services, importado datos externos de múltiples fuentes, conectado con bases de datos locales y externas, etc. Las mismas posibilidades que tendrías con una aplicación .NET.

Supongamos que tienes una serie de predicciones y las puedes identificar por índice de barra. P.ej. :
Número de barra --- / --- Predición realizada para la siguiente barra :
10 --- / --- alcista
23 --- / --- bajista
42 --- / --- alcista
46 --- / --- alcista
etc.

Te las bajas a un fichero de texto. Las importas en Ninja y las cargas en una DataSeries. Tienes que codificar un programa a medida que te abra el fichero y te cargue la DataSeries. Pero poder se puede, y sin mayor dificultad.

Una vez que tienes la Dataserie completada ya la puedes usar como fuente de datos para cualquiera de los indicadores de Ninja (los estándar y los que tú puedas hacerte), así como para programar algún sistema automático y hacerle backtesting para analizar el desempeño de la red neuronal.

Otra opción si aún no controlas ninjascript es importar la serie de precciones como una serie de barras (alcista=1, bajista=-1, y 0 si no hay predicción). Tendrás unas barras muy extrañas (entre -1 y 1), pero serán una serie válida sobre la que puedes aplicar cualquier indicador sin programar nada.

Saludos

PD: si tienes programada la red neuronal en C# la deberías de poder conectar a Ninja, incluso en tiempo real.

Muy interesante. Tengo que estudiar mejor tu respuesta.

Como decía, la red la tengo programada en python. Había pensado en crear una API en python, la cual usaría Ninjatrader de la siguiente manera:

NT lee la barra -> se la envía a python -> la red hace la predicción -> NT recibe la predicción y actúa

Busque por internet, y en los foros leí algo de que no se podía conectar con APIs externas, por eso pensé que no se podría hacer. Si me pones un ejemplo para poder enviar a fuentes externas los datos, estaría muy agradecido!!

Gracias a todos por la respuestas, seguimos trabajando.

[Rafa7]

[ La explosión combinatoria que existe en el ajedrez hace de el un ejercicio infinito.

Hola edge2k,



En ajedrez, cuando se producen 50 movimientos sin que se produzca ninguna captura ni ningún movimiento de peón, la partida queda en tablas. Y si se producen 3 posiciones idénticas tocándole a jugar al mismo jugador en las 3 posiciones, la partida también queda en tablas. Estas dos normas fueron introducidas para evitar que una partida pueda llegar a tener un número infinito de jugadas.
Por lo tanto, el número de combinaciones aunque es astronómico, es finito.



Saludos.

[edge2k]

[ La explosión combinatoria que existe en el ajedrez hace de el un ejercicio infinito.

Hola edge2k,



En ajedrez, cuando se producen 50 movimientos sin que se produzca ninguna captura ni ningún movimiento de peón, la partida queda en tablas. Y si se producen 3 posiciones idénticas tocándole a jugar al mismo jugador en las 3 posiciones, la partida también queda en tablas.
Estas dos normas hacen imposible que haya un número infinito de combinaciones, fueron introducidas para evitar que una partida pueda llegar a tener un número infinito de jugadas.
Por lo tanto, el número de combinaciones aunque es astronómico, es finito.



Saludos.

Eso se aplicaría a la poda del arbol. La profundidad del arbol es tan grande que es computacionalmente inviable, a eso me refería de ejercicio infinito

[Rafa7]

Eso se aplicaría a la poda del arbol. La profundidad del arbol es tan grande que es computacionalmente inviable, a eso me refería de ejercicio infinito

Ok, edge2k,



No obstante, en ajedrez, la profundidad del árbol de un programa puede ser muy superior a la de Kasparov o Carlson, y, por lo tanto, un programa tiene capacidad computacional suficiente para vencerlos.

Será más difícil (no imposible) que los programas de inteligencia artificial venzan en los mercados, que venza en el ajedrez. La complejidad de los mercados financieros es mucho mayor, yo diría que infinita.

En ajedrez un programa ni siquiera necesita inteligencia artificial para ganar a los hombres en ajedrez. Simplemente por fuerza bruta pueden vencernos.

En cambio en los mercados financieros no es suficiente la fuerza bruta.



Saludos.

[cls]

Muy interesante. Tengo que estudiar mejor tu respuesta.

Como decía, la red la tengo programada en python. Había pensado en crear una API en python, la cual usaría Ninjatrader de la siguiente manera:

NT lee la barra -> se la envía a python -> la red hace la predicción -> NT recibe la predicción y actúa

Busque por internet, y en los foros leí algo de que no se podía conectar con APIs externas, por eso pensé que no se podría hacer. Si me pones un ejemplo para poder enviar a fuentes externas los datos, estaría muy agradecido!!

Gracias a todos por la respuestas, seguimos trabajando.

Todo lo que te decía era para .NET. No he visto hasta ahora que lo tenías hecho en Python.
Sé que en .NET existen librerías para interoperabilidad pero no las he usado. En teoría te permitirían conectar tu aplicación en Python con otra aplicación en .NET (como NinjaTrader). Pero no lo he usado nunca.

Python está muy bien para desarrollar con rapidez prototipos. Para hacer backtesting y cosas así. Pero ya a nivel productivo y en tiempo real no sé si es la elección más adecuada. Si te vas a mover en máquinas windows yo me iría a .NET. Supongo que conoces los libros de Jeff Heaton sobre redes neuronales. Tiene ejemplos prácticos ya programados en Java y C#. No creo que te cueste mucho adaptar tu código Python a C# por ejemplo.

En cualquier caso siempre podrías hacer alguna "chapuza" del tipo:

1.- Ninja lee una barra y vuelca los datos a un fichero ascii.
2.- Tienes a tu aplicación Python monitorizando el directorio donde ninja deja el fichero, para procesarlo, borrarlo de la carpeta y esperar al siguiente fichero.
3.- Ninja hace lo mismo con el fichero de predicción de Python.

Y así sucesivamente. Tendrías que implementarlo multihilo pero creo que funcionaría bien.

También se me ocurre que podrías hacerlo con sockets. Como si fuera una red pero dentro de tu propio pc y cada programa actuara de cliente/servidor. Cada uno (Python y Ninja) estarían escuchando su puerto y enviando información al puerto del otro. Esto en Java se puede hacer seguro, así que en .NET también se podrá. Ya en Python no sé.

De todos modos mi consejo es que te pases a .NET y lo integres todo junto: recepción de datos + red neuronal + aplicación de trading.

Saludos

[edge2k]

También se me ocurre que podrías hacerlo con sockets. Como si fuera una red pero dentro de tu propio pc y cada programa actuara de cliente/servidor. Cada uno (Python y Ninja) estarían escuchando su puerto y enviando información al puerto del otro. Esto en Java se puede hacer seguro, así que en .NET también se podrá. Ya en Python no sé.

Ese es el objetivo que tengo. Es el uso de APIs del que hablaba. Intentaré aplicarlo.

En cualquier caso, y volviendo mas al tema algorítmico, una vez predecida la siguiente vela, que hacer? cuando entrar? que analizar?

Un saludo

[Rafa7]

Python está muy bien para desarrollar con rapidez prototipos. Para hacer backtesting y cosas así. Pero ya a nivel productivo y en tiempo real no sé si es la elección más adecuada.

Hola cls,



Hay programas que generan código C a partir de código Python. Una vez obtenido el código C se puede compilar, con un compilador de C, y se obtiene un programa ejecutable en Windows (ejecutable más rápido que la ejecución de código Java o C# de .Net, C# de .Net podríamos considerarlo un dialecto de Java).

Tengo un conocido que también está aplicando redes neuronales con código Python.
Si tanta gente elige usar Python para redes neuronales, por algo será.
Este amigo me dijo que prefiere usar Python antes que Java porque en Python hay muchas rutinas orientadas a las finanzas.

Una cosa muy buena de Python es que es un lenguaje multiparadigma, ya que permite programación imperativa, programacin orientada a objetos (y con herencia múltiple) y programación funcional. Además Python es multiplataforma: el mismo código sirve para ejecutarlo, sin necesidad de compilar, en diferentes sistemas operativos (Windows, Mac OS X, Linux, etc ...).



Saludos.

[cls]

Hola Rafa,

no vamos a discutir qué lenguaje es mejor porque la discusión sería interminable y no conduciría a nada. En Google se puede buscar y encontrar de todo.

Desde mi experiencia y hablando siempre en entorno windows + aplicaciones para trading, y más si empiezo y tengo que decidirme por un lenguaje, sin dudarlo me iría a .NET y C#. Java sería una segunda opción y no consideraría ninguna más.

Ya en linux se podría ampliar el abanico a C o Python. Pero aquí tienes el problema de la ausencia de aplicaciones comerciales de trading por lo que tú tendrías que programarte el tema de conexión al datafeed, envío de órdenes, interfaz gráfica si la hubiera, ... un montón de trabajo y problemas. Te compensa si eso ya lo tienes en windows, integrado, testeado y funcionando perfectamente ?

Por cierto, a día de hoy y en windows, los compiladores actuales de C# producen ejecutables incluso más rápidos que los compilados en C (claro que también depende de la complejidad del código). Así que salvo que trabajes en linux no te compensa.

Si te preocupa la rapidez tienes que ir a la latencia que es donde está el cuello de botella. El tiempo empleado en recibir y enviar datos y órdenes es incomparablemente mayor al del procesamiento de los datos. Y si trabajas a cierre de barra, cuanto mayor sea tu timeframe menos importancia tiene el tiempo de procesamiento. Hay gente que trabaja en tiempo real con IB + Excel, muy ineficaz en runtime a otras opciones pero perfectísimamente válido para escenarios a fin de día o timeframes altos.

Al final se trata de ensamblar todas las piezas (recepción de datos + algoritmos de procesamiento + envío de órdenes ) y que la solución sea fácil de mantener y escalable. Si usas aplicaciones como NinjaTrader todo eso lo tienes localizado e integrado en el mismo sitio. No vas a tener ningún problema. Y si no, pues programas la API del datafeed en C++ o Java o lo que te dé el proveedor (que no va a ser Python seguro), tus algoritmos en Python, tu GUI gráfica si la necesitaras, la API del bróker (en Python tampoco), ...Que una cosa es el backtesting pero luego en tiempo real los problemas son otros.

edge2k a fin de cuentas lo que tiene es una señal de entrada. Eso no es ni la mitad de un sistema automático. Le queda lo difícil y lo que determinará si el sistema es ganador o no; gestión de la posición y señal de salida. Eso también podría incluirlo en una red neuronal aunque la complejidad ya sería enorme, con demasiados factores interdependientes y con relaciones muy frágiles. No sé hasta qué punto los resultados serían fiables.

Una posibilidad (de entre unas cuantas que podría haber) rápida y fácil para saber si la predicción es aprovechable es entrar a mercado. Y analizar el MAE y MFE para averiguar el recorrido medio de las entradas y a partir de ahí ir afinando y ver si el sistema tiene posibilidades. Eso ninja te lo da en su report de backtesting.

Saludos