Usando Power BI para Datos Históricos

[Fercho]

Hola elarvi, muy buen dato lo de ForexTester, y la verdad que la subsripción de por vida si realmente son datos de calidad, no esta nada mal el precio comparado con otros servicios como Tickdata LCC que pide unos 21 mil usd por un pack de datos M1

¿ Porqué dices que no se puede pegar en Excel ? ¿ por la cantidad de datos ? en ese caso prueba con el complemento PowerPivot de Excel, hay muchísimo video en youtube de cómo usarlo. He cargado más de 10 millones de filas en menos de 20 segundos. Luego el formuleo es bien parecido a Excel, nada más que en inglés y hay que tratar cada columna como un todo, es decir como si metieramos en una celda 10 millones de celdas. Lo bueno luego es que en Excel abres tablas dinámicas en un par de clics y resuelves toda la información, gráficos etc, sin formulear más nada. Muy potente.

De momento estoy haciendo tests con datos históricos para 21 pares en M1 desde 1986 hasta el 2013, cuando le pueda sacar un duro a esos años vuelvo al presente y me suscribo a algun proveedor fiable, que por lo que he visto más o menos todos los de bajo coste/grátis tienen información parecida (y no me fio mucho..), igual nada el forex tiene eso, hay muchísima diferencia de un proveedor a otro...

Saludos!

Esta conversación viene de este hilo:

viewtopic.php?t=15611

[elarvi]

Hola elarvi, muy buen dato lo de ForexTester, y la verdad que la subsripción de por vida si realmente son datos de calidad, no esta nada mal el precio comparado con otros servicios como Tickdata LCC que pide unos 21 mil usd por un pack de datos M1

¿ Porqué dices que no se puede pegar en Excel ? ¿ por la cantidad de datos ? en ese caso prueba con el complemento PowerPivot de Excel, hay muchísimo video en youtube de cómo usarlo. He cargado más de 10 millones de filas en menos de 20 segundos. Luego el formuleo es bien parecido a Excel, nada más que en inglés y hay que tratar cada columna como un todo, es decir como si metieramos en una celda 10 millones de celdas. Lo bueno luego es que en Excel abres tablas dinámicas en un par de clics y resuelves toda la información, gráficos etc, sin formulear más nada. Muy potente.

De momento estoy haciendo tests con datos históricos para 21 pares en M1 desde 1986 hasta el 2013, cuando le pueda sacar un duro a esos años vuelvo al presente y me suscribo a algun proveedor fiable, que por lo que he visto más o menos todos los de bajo coste/grátis tienen información parecida (y no me fio mucho..), igual nada el forex tiene eso, hay muchísima diferencia de un proveedor a otro...

Saludos!

Buenas, pues desconocía que con PowerPivot se podía manejar tanta información, lo echaré un vistazo, porque quería montar una estadística con el PoC y no se me ocurría de dónde sacar el dato sino haciéndolo yo... para 10 años de cotización, tic a tic, me salen 211 millones de datos, jejeje....

Hasta el momento he intentado sacar estadísticas de datos y cuando tomas series históricas de tantos años, la cosa cambia mucho, pues las condiciones económicas de hace 30 años, no son las de ahora, pero bueno, como curiosidad te puede valer.

No se si conoces programas como Forex Strategy Buider, te optimizan estrategias, pero son tan perfecto que te optimizan estrategias para determinados períodos, que si intentas llevar a otro activo ... no funcionan, no se, es un mundo complicado, jejeje....

Un saludo y gracias por responder.

[Fercho]

Le pregunté a Google..

"Power Pivot uses the data stored in the Data Model of Excel. And this data model so huge that it can contain 2,147,483,647 tables and each of those table can have 2,147,483,647 columns and 1,999,999,997 rows. That makes many million Rows of data."

Asique parece que sin problemas para 211 millones de filas

He probado Adaptrade Builder solamente, y la verdad que no le he encontrado la vuelta..

Ninjatrader 8 también trae un generador de estrategias, y es gratis, igual no me puesto seriamente con generadores de estrategias más que un par de dias, es como que al final lo veo todo muy curve fitting y falto de lógica para mi gusto, pero bueno, es muy probable que me falte experiencia en el tema

[elarvi]

Le pregunté a Google..

"Power Pivot uses the data stored in the Data Model of Excel. And this data model so huge that it can contain 2,147,483,647 tables and each of those table can have 2,147,483,647 columns and 1,999,999,997 rows. That makes many million Rows of data."

Asique parece que sin problemas para 211 millones de filas

He probado Adaptrade Builder solamente, y la verdad que no le he encontrado la vuelta..

Ninjatrader 8 también trae un generador de estrategias, y es gratis, igual no me puesto seriamente con generadores de estrategias más que un par de dias, es como que al final lo veo todo muy curve fitting y falto de lógica para mi gusto, pero bueno, es muy probable que me falte experiencia en el tema

Pues tenías razón, la verdad es que no parece muy complicado, me tengo que familiarizar con el entorno, pero con la información al tic, me resulta más fácil calcular de un modo exacto el PoC, pues unos de los problemas que tengo era que no tenía información histórica del PoC para elaborar estadísticas.

Mil gracias, cada día en este foro se aprende algo nuevo.

[elarvi]

Le pregunté a Google..

"Power Pivot uses the data stored in the Data Model of Excel. And this data model so huge that it can contain 2,147,483,647 tables and each of those table can have 2,147,483,647 columns and 1,999,999,997 rows. That makes many million Rows of data."

Asique parece que sin problemas para 211 millones de filas

He probado Adaptrade Builder solamente, y la verdad que no le he encontrado la vuelta..

Ninjatrader 8 también trae un generador de estrategias, y es gratis, igual no me puesto seriamente con generadores de estrategias más que un par de dias, es como que al final lo veo todo muy curve fitting y falto de lógica para mi gusto, pero bueno, es muy probable que me falte experiencia en el tema

Buenas...

Sigo trasteando con Power Pivot, aunque a decir verdad estoy con Power BI que la base es la misma y me sirve para más cosas, quizás en teoría acepte millones de datos, pero tiene una limitación en cuanto al tamaño del archivo input, no puede superar los 2 GB, pero también lo superado, he troceado la base de datos en archivos inferiores a esa cantidad y asunto resuelto, construyo la base de datos total a partir de cada uno de los fragmentos.

Respecto a los generadores de estrategias, sirven de ayuda, pero tengo la sensación que la excesiva sobreparametrización de los indicadores sólo te lleva a sólo funciona para ese activo y para el periodo analizado, si la intentas llevar a futuro, no se en qué medida se cumplirá. Salvo que sea una curva realmente buena, muy lineal, sin saltos, etc.

Un saludo.

[Fercho]

Que tal Elarvi!

Me alegro que te haya sido de utilidad, tienes razón con Power Bi puedes hacer más cosas, yo no he salido de Power Pivot, de momento me sobra para lo que vengo trabajando, quizás expandiendo horizontes en un futuro lo necesite...

Tienes razón con respecto al límite de 2GB por archivo, he hecho una prueba y me ha salido el aviso de restricción: "...No se puede completar la consulta. El resultado de la consulta tiene un tamaño superior al tamaño máximo de una base de datos (2 GB)..."

Lo que se me ocurre es dividir el archivo en partes de un max de 2GB y luego establecer relaciones,

[X-Trader]

@Elarvi y @Fercho, quizás sería buena idea abrir un hilo aparte sobre PowerBI y sus aplicaciones, ¿cómo lo veis? Si queréis lo creo a partir del post que me digáis con el título que queráis, ya me decís, gracias.

Saludos,
X-Trader

[Fercho]

@Elarvi y @Fercho, quizás sería buena idea abrir un hilo aparte sobre PowerBI y sus aplicaciones, ¿cómo lo veis? Si queréis lo creo a partir del post que me digáis con el título que queráis, ya me decís, gracias.

Saludos,
X-Trader

Sería un gran honor @X-Trader! sé algunas cosas de Power Pivot, me he puesto con los artículos de Marcov de Oscar C. sobre todo, hasta podríamos hacer un mix, Markov en PowerPivot

[X-Trader]

Sería un gran honor @X-Trader! sé algunas cosas de Power Pivot, me he puesto con los artículos de Marcov de Oscar C. sobre todo, hasta podríamos hacer un mix, Markov en PowerPivot

¡Hecho!

Y genial lo de Markov, a ver qué te sale

Saludos,
X-Trader

[elarvi]

No se te escapa una @X-Trader, mil gracias.

@Fercho, no sé si conoces mi pasión por el FDAX, pero hice una cadena de markov utilizando volumen, vdax-new y un par de cosas más... lo busco y te comparto resultados.

Un saludo.

[Fercho]

hola @elarvi ! no, no sabía lo de tu pasión por el vda-new, cuando quieras ! todo suma ! yo ni bien termine un par de cosas publico un videito tipo youtube que será el primero de la serie,
(esperemos que Netflix no la cancele antes).. vamos encendiendo motores