Cambiar formato a historicos

[Calike]

Hola, a ver si alguien me puede echar una mano.. Necesito analizar sistemas que trabajan sobre barras de rango, lo cual implica que se necesitan historicos de ticks.
Buscando un poco por ahi he encontrado esta web que parece que me soluciona el problema http://ratedata.gaincapital.com/ .
Están comprimidos por semanas y cada archivo tiene unas 80.000 lineas apx, lo cual no permite ni excel, open office, etc.
El formato de los datos es asi -> 959470224,EUR/USD,2009-10-04 17:00:50,1.460600,1.460900,D . El primero no se lo que es, el segundo está claro, fecha, hora, ask, bid y la "D" tampoco se lo que es...
Bien, tal y como vienen no son validos para el Ninja. Asi que, despues de calentarme el tarro un rato he hecho lo siguiente.
Desde un terminal de linux-> nawk 'BEGIN {FS=","} {print $3";"($4+$5)/2}' $1 |nawk 'BEGIN {FS="-"} {print $1$2$3}'|nawk 'BEGIN {FS=":"} {print $1$2$3}' Basicamente es un script que devuelve el archivo mas o menos como yo lo quiero ->
20091018 170104;1.48885 aunque realmente lo que necesito es esto-> 20091026 132713;1.5029;6000000

Solo me falta saber que coj*n*s es el último dato o si quizas estoy mareando la perdiz y hay un metodo mucho mas rapido q todo eso.
Gracias.

[cls]

Hola Calike,
hay alguna letra más aparte de la D, en los demás registros ?
Por cierto cómo sabes si el cruce ha sido en el bid o en el ask ? A lo mejor la D te dice si ha sido en el bid. Y hay otra letra para el ask.

S2

[Spirit]

Son todas letras D, CLS y yo creo que los cruces son todos bid por ser Forex, aunque si fuesen registros de una ECN debiera ser como tú dices.

El primer parámetro creo que es un ID que se utiliza para todas las cotizaciones de todos los pares. Esos archivos segúramente se generan a partir de los datos guardados en una única tabla. Así cada tick es guardado con un ID que lo identifica.

[Calike]

Hola.
Si, como dice Spirit son todos letras D. Aunque realmente esa letra no es la que me preocupa, ya que en el archivo valido no aparece. La primera columna de los datos de Gain, puede que sea lo que dices Spirit, ya que no tiene mucho sentido que pongan el ticker del par.
Realmente lo unico que me falta para terminar es saber la ultima columna del archivo exportado del Ninja cuyos datos SI que son de un ECN.
Este es el log del error cuando intenta cargar el archivo modificado: vb: Unexpected number of fields in line '1', should be 6 or 3.
Y así son los datos del export que me devulve del broker (mbtrading), la ultima columna es lo que me pide el error del ninja.

20091026 133044;1.5026;3000000
20091026 133044;1.5026;6000000
20091026 133044;1.5026;5000000
20091026 133044;1.5026;3000000
20091026 133044;1.5025;5000000
20091026 133044;1.5025;2000000
20091026 133044;1.5025;6000000
20091026 133044;1.5025;2000000
20091026 133045;1.5025;8000000
20091026 133045;1.5025;2000000
20091026 133045;1.5025;8000000
20091026 133045;1.5025;6000000
20091026 133045;1.5025;8000000
20091026 133047;1.5025;6000000
20091026 133048;1.5025;5000000
20091026 133048;1.5025;3000000
20091026 133048;1.5025;5000000
20091026 133048;1.5024;8000000
20091026 133048;1.5024;6000000
20091026 133049;1.5024;5000000
20091026 133049;1.5025;1000000
20091026 133049;1.5025;3000000
20091026 133049;1.5025;6000000
20091026 133049;1.5025;5000000
20091026 133049;1.5025;3000000
20091026 133049;1.5025;5000000
20091026 133049;1.5024;2000000
20091026 133049;1.5024;6000000
20091026 133049;1.5024;5000000
20091026 133049;1.5024;3000000
20091026 133049;1.5024;5051000
20091026 133049;1.5024;51000
20091026 133052;1.5024;50000
20091026 133053;1.5024;6020000
20091026 133053;1.5024;5020000
20091026 133053;1.5024;3020000
20091026 133053;1.5024;20000
20091026 133054;1.5023;6000000
20091026 133055;1.5023;5000000

[Optiondreamer]

http://www.forexfactory.com/showthread.php?p=2884030

Dealable Price (cotización realmente concretizable)

Esto no lo había visto nunca. Imagino que serán cruces reales, aunque si alguno puede aportar más info, será bienvenida.

Saludos.

[cls]

Calike, en el hilo de Ninjatrader colgué una herramienta para convertir ficheros de visualchart a ninjatrader. Por si te sirve, aquí te dejo un pdf que explicaba su funcionamiento y como subir los ficheros convertidos en ninja. Tu problema parece que es con el mapeo de los campos y puede que el pdf te sirva.
(También puedes probar a bajarte una sesión de visualchart, convertirla con la herramienta y ver el formato del fichero para comprobar que lo estás haciendo bien desde la shell de linux. Ahora no tengo a mano ningún fichero convertido).

S2

[Man Apart]

Aparentemente , ese fichero no tiene los datos que NT espera encontrar. Tambien es lógico, ten en cuenta que los datos minimos para una grafico de velas son:

Activo: El nombre del fichero en si mismo contiene la información p.e. ES 12-09.txt ( e-mini SP vto Dic-2009)
Fecha y hora
precio1
precio2
precio3
precio4
volumen

Precios: 1,2,3,4 son los de apertura , maximo, minimo, cierre de la barra, que en este momento no se exactamente el orden , pero que es facil de identificar haciendo un "export".

A tu fichero , claramente le falta inforrmación.

[Calike]

Gracias a todos vuestra ayuda.
El lunes me registro en VC para que me den los tres dias de tiempo real y pruebo la herramienta de conversión. El problema es que aunque funcione, no me serviría, ya que ellos solo dan unos dias de ticks. Quizas vea donde está el fallo al hacer la comparativa.
Lo de las aperturas/cierres, max/mins es para velas de minutos, dias, etc.. por eso el error es" 3 o 6 campos", aunque por la hora exacta puede crearlas el mismo partiendo de los ticks.
Quizas el soporte de NT de puedan decir lo que es el último campo, si me lo aclaran ellos cuelgo la respuesta por si le sirve a alguien mas.
En fin, gracias de nuevo.

[Spirit]

Aparentemente , ese fichero no tiene los datos que NT espera encontrar. Tambien es lógico, ten en cuenta que los datos minimos para una grafico de velas son:

Activo: El nombre del fichero en si mismo contiene la información p.e. ES 12-09.txt ( e-mini SP vto Dic-2009)
Fecha y hora
precio1
precio2
precio3
precio4
volumen

Precios: 1,2,3,4 son los de apertura , maximo, minimo, cierre de la barra, que en este momento no se exactamente el orden , pero que es facil de identificar haciendo un "export".

A tu fichero , claramente le falta inforrmación.

Son ticks, y como mucho te faltará el Ask y el volumen, no son velas Man Apart. Con los ticks construyes las velas.

[Man Apart]

Son ticks, y como mucho te faltará el Ask y el volumen, no son velas Man Apart. Con los ticks construyes las velas.

Gracias Spirit me di cuenta posteriormente. pero como quedaba claro que mi respuesta iba por otro sitio , no añadí mas cosas.

Ademas, en forex, tengo entendido que el concepto volumen es algo "proceloso" y por tanto no se que información se puede grabar. No he trabajado aun con esto y por tanto no lo se, pero tengo muchas dudas respecto a esa información, maxime cuando hay brokers que , como se ha denunciado en este foro, deshacen posiciones a mes vencido.

Yo haría lo siguiente: Exportar desde ninja un fichero y de esta forma quedaría "cristalino" el formato que emplea. Luego dadas las habilidades del compi Calike con el comando awk, pues no creo que tenga problemas en generar un fichero ad-hoc.

[cls]

Encontré un fichero de ticks y el formato es como el que has puesto. Estos datos se importan sin error en el ninja. La única diferencia es que son datos de un futuro.

Código: Seleccionar todo

20080502 080011;3797.000;2770
20080502 080011;3798.000;2
20080502 080011;3798.000;1
20080502 080011;3798.000;2
20080502 080011;3798.000;90
20080502 080011;3799.000;211
20080502 080011;3800.000;24
20080502 080011;3800.000;1
20080502 080011;3800.000;7
20080502 080011;3800.000;1
20080502 080011;3800.000;220
20080502 080011;3800.000;162

Prueba a cambiar en el instrument manager el tipo de activo de Currency a Future.
Y renombra el fichero para ponerle un vencimiento.
Te debería cargar bien.

S2