El concepto de Curve-fitting hace referencia a la curva de optimización. En general tiene una connotación negativa referida a que cuando testas una hipótesis de inversión, te enamoras de sus resultados históricos, y luego esa idea fracasa, no generando similares resultados cuando decides llevarla a la práctica en vivo.
No es lo mismo que otro concepto llamado overfitting que hace referencia a una sobre-optimización de los modelos de inversión.
Por diferentes motivos ambos son malos en sí mismos, sólo que hoy nos centraremos en el primero, la curva de optimización.
1) Datos Out of Sample
Imagina que dispones de una base de datos que te permite testar hasta 10 años, por ejemplo. Lo adecuado sería usar los 7 primeros para investigar sobre tus hipótesis y desarrollar un modelo de inversión consistente y con sentido (estos serán los datos in sample), guardándote para una test posterior los últimos 3 años de datos, por ejemplo (datos out of sample).
Si el modelo en cuestión te enamora a lo largo de los primeros 7 años, debería ser capaz de reproducir similares resultados usando los datos out of sample. De no ser así, probablemente el modelo estará curve-fit.
2) To fall short of occurrences
En este caso, nos encontramos ante la circunstancia de que nuestro modelo se quede corto de operaciones.
Quizá se entienda mejor con una moneda: imaginar que lanzamos una moneda al ire 10 veces y 7 de ellas cae ‘cara’ y 3 ‘cruz’, nada nos haría pensar que esa moneda está trucada. Sin embargo, si la lanzamos 10.000 veces, y 7.000 cae ‘cara’ y 3.000 cruz, tendríamos la suficiente certeza de que esa moneda está trucada. Ya que la probabilidad de que caiga ‘cara’ o ‘cruz’ es del 50% y si la muestra es grande (en este caso 10.000 tiradas) tendería a caer el 50% de las veces ‘cara y el otro 50% ‘cruz’ aproximadamente.
En nuestro caso, un número elevado de acciones por portfolio anual cuando estamos testando estrategias cuantitativas sería irreal también, de hecho muchos papers trabajan usando deciles (primer 10% de los rankings) pero sobre universos de acciones muy grandes con lo que cada portfolio anual se compone de cientos de empresas. Eso no es real, pues ningún inversor seguiría una estrategia al pie de la letra diversificando su cartera entre cientos de empresas a la vez.. Por otro lado, si es demasiado pequeño el número de acciones que maneja el modelo al año, nos encontraríamos en un defecto por “quedarnos cortos de ocurrencias” (falling short of occurrences).
Lo adecuado unas 30.
Por último este mismo problema es aplicable al número de años de estudio. Si el estudio abarca un período de pocos años, 3 ó 4 el resultado se estaría quedando corto de ocurrencias y no sería confiable. Mejor 15 ó más...
3) Validate your strategy across other markets
Muchas veces muchos académicos o inversores publican estudios de investigación sobre ciertas estrategias cuantitativas de factor investing centradas en, por ejemplo, EEUU. El problema es que tras la lectura de esos trabajos sus lectores pueden quedar prendados de tan fabulosos resultados y tratan de replicar dichos modelos aquí en Europa; o peor, en España.
El resultado les resulta nefasto, y eso es porque esa estrategia estar sesgada con un acuciante curve-fit, es decir que su optimización no sea adecuada.
Si una estrategia funciona en un solo mercado, tiene más posibilidades de que su curva de optimización sea errónea que si una estrategia funciona de forma rentable en un puñado de mercados. No estoy diciendo que una estrategia que solo funciona en un mercado esté curve-fit, ya que hay muchos matices, diferentes jugadores e idiosincrasias que existen dentro de cada mercado. Sin embargo, si una estrategia funciona en todos los mercados, entonces puede tener una mayor confianza de que su puesta en práctica en vivo no tenga sorpresas desagradables.
Lo primero que querría decir es que hemos hecho una nueva actualización de la herramienta de Backtest para que por su parte evíte muchos de los factores que llevan al curve-fit de estrategias.
En concreto,
Dicho esto, creo que por nuestra parte podemos decir que la herramienta de Backtesting es la más precisa de las existentes y que por su lado, evita muchos de los llamados problemas de curve-fit. Sin embargo, no todos, y de tí dependerá cómo la usas para que tus modelos sean replicables en la realidad de la forma más fidedigna posible.
Veamos un ejemplo:
Si un inversor quiere invertir en empresas pequeñas, debería estudiar qué tal se comportan éstas históricamente. Supongamos que decide estudiar a lo largo de los últimos 15 años el comportamiento de las empresas más pequeñas de todos los países. En concreto el Top30 de cada año a lo largo de estos 15 años.
Rentabilidad Anual Media (CAGR): 270.63 %
Volatilidad: 831.62 %
Ratio Sharpe: 0.33
Valor inicial de la inversión: 100.000€
Valor final de la inversión:34.201.620.568.373,70 €
El resultado es fantástico, y cualquiera se enamoraría de esta rentabilidad. Eso de ganar un 270% anual pinta muy bien, sin embargo es de todas imposible de que funcione en la vida real.
Muchas acciones de estas serán demasiado pequeñas para ser compradas. Otras no tendrán liquidez para ser vendidas y muchas serán Pink Sheets. Dicho ésto es absurdo que nadie se enamore de esta estrategia. Este modelo pecaría de curve-fit.
En este caso tendremos en consideración que la capitalización de las empresas sea en todos los casos mayor de 50 millones de Euros o equivalente al cambio. Además tendremos en cuenta todos los sectores excepto Financiero y Utilities, siguiendo la recomendación de Greenblatt.
Rentabilidad Anual Media (CAGR): 19 %
Volatilidad: 37.3 %
Ratio Sharpe: 0.51
Valor inicial de la inversión: 100.000€
Valor final de la inversión:1.358.660,81 €
Rentabilidad Anual Media (CAGR): 24.93 %
Volatilidad: 33.27 %
Ratio Sharpe: 0.75
Valor inicial de la inversión: 100.000€
Valor final de la inversión:2.817.792,28 €
La fórmula Mágica parece en una primera instancia que genera buenos resultados tanto en EEUU como en Europa.
Veamos en España,
Rentabilidad Anual Media (CAGR): 8.9 %
Volatilidad: 26.49 %
Ratio Sharpe: 0.34
Valor inicial de la inversión: 100.000€
Valor final de la inversión:359.497,79 €
Aquí parece que la estrategia hace aguas…
Estudiaremos la Fórmula Mágica en EEUU del 2009 - 2017 y a ver qué ocurre:
Rentabilidad Anual Media (CAGR): 8.49 %
Volatilidad: 28.43 %
Ratio Sharpe: 0.3
Valor inicial de la inversión: 100.000€
Valor final de la inversión:208.218,00 €
Upppssss!
Parece que un período de 15 años generaba un resultado excelente (19% anual medio) pero si recortamos ese período a 9 años, la rentabilidad baja al 8,5%.
Parece que la fórmula mágica tiene curve-fit
Vamos a añadir algún factor que nos permita una sofisticación del modelo sin perder el sentido original.
Queremos empresas que se cataloguen dentro del enfoque Contrarian, que sean una “ganga” y que atesoren calidad. Además sumaría un factor F-Score para que esa calidad se vea apoyada por una creciente excelencia en sus ratios de contabilidad financiera.
De hacer esto tendríamos una estrategia Contrarian basada en la Fórmula Mágica que podría traer una mejor optimización a lo largo del tiempo.
Veámoslo,
Países
Alemania
EEUU
Holanda
Suecia
Austria
España
Italia
Suiza
Bélgica
Francia
Noruega
Reino Unido
Canadá
Grecia
Portugal
Basic materials
Consumer Goods
Consumer Services
Healthcare
Industrials
Oil & Gas
Technology
Telecommunications
Largo
Orden 1: EV/EBIT
Order 2: Return on Invested Capital (ROIC Greenblatt)
Market Cap > 50.000.000
Piotroski F-Score ≥ 7
EV/EBIT > 0
zonavalue.com
En este caso, el rendimiento asciende a un 30,49% anual medio con una volatilidad del 39,47%.
En este caso el resultado es el siguiente,
Rentabilidad Anual Media (CAGR): 28.89 %
Volatilidad: 27.05 %
Ratio Sharpe: 1.07
Valor inicial de la inversión: 100.000€
Valor final de la inversión:981.407,56 €
El resultado se mantiene constante, con una rentabilidad del 28,89% anual medio pero mejora mucho la volatilidad del modelo.
Nótese que he considerado una etapa previa hasta el 2008 y otra diferente a partir del 2008. Consideramos que el mercado ha cambiado desde el 2009 incluído en adelante y quería comprobar el resultado de este modelo en esa etapa. Tratando de seguir uno de los métodos para paliar curve-fitting en los modelos de estudio.
Si tenemos en cuenta el período 2008 - 2013, el resultado bajaría a un 16,54% como consecuencia de una pérdida en el 2008 (final de la etapa previa) del -53,92% en ese mismo año. Con lo que remontar esa pérdida asumida al inicio del período de estudio reduce la rentabilidad global del modelo al 16,54% del 28,89% si no consideramos ese año en el período de análisis.
Como vemos, el modelo es sostenible, y evita el curve-fit de forma fiable. Con 15 años de estudio (desde el 2003) y 9, mantiene un estándar de rentabilidad que explica una correlación elevada con altos retornos cíclicamente. Además el modelo no se queda corto de operaciones.
Faltaría comprobar si la estrategia se sostiene a través de diferentes mercados y no todos en conjunto.
Usaré dos universos de acciones diferentes, uno EEUU y Canadá; y el otro, el resto de países Europeos.
Rentabilidad Anual Media (CAGR): 24.35 %
Volatilidad: 37.6 %
Ratio Sharpe: 0.65
Valor inicial de la inversión: 100.000€
Valor final de la inversión:2.627.700,68 €
Rentabilidad Anual Media (CAGR): 23.85 %
Volatilidad: 30.35 %
Ratio Sharpe: 0.79
Valor inicial de la inversión: 100.000€
Valor final de la inversión:2.474.270,83 €
Como veis el modelo se sostiene también a través de diferentes geografías. Al parecer añadir el F-Score a la Fórmula Mágica mejora y mucho el global del sentido de esta fantástica estrategia que nos enseñó Joel Greenblatt.
Por supuesto, el modelo que se ajusta a las mejores características es el Global, y es ese el que nos interesaba testar su bondad, por tanto, tras los diferentes análisis, el resultado sería que el modelo tiene sentido y puede aplicarse sin pecar de curve-fitting.
Espero que os haya gustado el artículo.
Saludos
Identifíquese ó regístrese para comentar el artículo.