A las buenas,
Desde mi humilde opinión , y si hablamos de sistemas automáticos: el proceso de optimización es la parte final del desarrollo de un sistema. Por lo tanto, que el sistema sea capaz de funcionar con mercados alcistas, bajistas o lo que sea, es algo de lo que nos tenemos que preocupar desde el momento del diseño inicial y durante todo el proceso de desarrollo.
Por otro lado, para saber si un sistema tiene posibilidades de funcionar en el mercado real, lo que se hace es probarlo sobre los históricos disponibles. Estas pruebas sirven para saber qué hubiera pasado si lo hubiésemos aplicado en el pasado. No nos garantizan en absoluto que vayan a seguir produciéndose resultados parecidos en el futuro.
De la forma en que realicemos estas pruebas dependerá que los resultados sean más o menos fiables de cara al futuro.
Al tiempo que se comprueba el comportamiento sobre los históricos, se ajustan ciertos parámetros que se hayan definido durante la programación para conseguir que el sistema se adapte lo mejor posible a esos datos históricos. Esta es la optimización, que encierra el peligro de ajustarlo demasiado a unas condiciones de mercado que no tienen porqué volver a producirse. Es decir, podemos llegar a optimizar el sistema para que funcione de maravilla sobre los datos del año 2004 y que resulte que al aplicarlo sobre el año 2005 los resultados sean desastrosos. Eso sería una sobreoptimización.
El asunto de la optimización es algo que debe hacerse tratando de no engañarse a uno mismo. Yo en particular creo que un sistema no puede funcionar eternamente y que debe irse adaptando a las condiciones cambiantes de los mercados. Por ello, probarlo en históricos antiguos puede no reflejar la realidad actual y no servir de gran cosa.
Yo creo que si somos capaces de optimizar un sistema sobre el histórico del 2004 y el sistema se comporta -usando esos parámetros- de forma parecida sobre el histórico del 2005 hasta ahora, estamos hablando de un sistema potencialmente ganador.
Otra cosa distinta es que, dependiendo de la plataforma sobre la que se desarrolle, los resultados sobre los históricos se parezcan en mayor o menor medida a lo que hubiera pasado en la realidad. Por tanto no sirve de nada seguirlo en papel durante un tiempo porque el problema de la diferencia entre pruebas y real seguirá existiendo.
Cuanto más se conozca el sistema sobre el que se programa y el funcionamiento del servidor de pruebas, más posibilidades tendremos de desarrollar un sistema que funcione en real como se espera que lo haga. Pero hasta que no lo pongamos a currar no vamos a poder estar 100% seguros de que hace exactamente lo que se espera de él.
Un saludo (y perdón por el ladrillo)
