El concepto de Curve-fitting hace referencia a la curva de optimización. En general tiene una connotación negativa referida a que cuando testas una hipótesis de inversión, te enamoras de sus resultados históricos, y luego esa idea fracasa, no generando similares resultados cuando decides llevarla a la práctica en vivo.
No es lo mismo que otro concepto llamado overfitting que hace referencia a una sobre-optimización de los modelos de inversión.
Por diferentes motivos ambos son malos en sí mismos, sólo que hoy nos centraremos en el primero, la curva de optimización.
Tres reglas que ayudarán a evitar los pitfalls (fracasos en tus modelos)
1) Datos Out of Sample
Imagina que dispones de una base de datos que te permite testar hasta 10 años, por ejemplo. Lo adecuado sería usar los 7 primeros para investigar sobre tus hipótesis y desarrollar un modelo de inversión consistente y con sentido (estos serán los datos in sample), guardándote para una test posterior los últimos 3 años de datos, por ejemplo (datos out of sample).
Si el modelo en cuestión te enamora a lo largo de los primeros 7 años, debería ser capaz de reproducir similares resultados usando los datos out of sample. De no ser así, probablemente el modelo estará curve-fit.
2) To fall short of occurrences
En este caso, nos encontramos ante la circunstancia de que nuestro modelo se quede corto de operaciones.
Quizá se entienda mejor con una moneda: imaginar que lanzamos una moneda al ire 10 veces y 7 de ellas cae ‘cara’ y 3 ‘cruz’, nada nos haría pensar que esa moneda está trucada. Sin embargo, si la lanzamos 10.000 veces, y 7.000 cae ‘cara’ y 3.000 cruz, tendríamos la suficiente certeza de que esa moneda está trucada. Ya que la probabilidad de que caiga ‘cara’ o ‘cruz’ es del 50% y si la muestra es grande (en este caso 10.000 tiradas) tendería a caer el 50% de las veces ‘cara y el otro 50% ‘cruz’ aproximadamente.
En nuestro caso, un número elevado de acciones por portfolio anual cuando estamos testando estrategias cuantitativas sería irreal también, de hecho muchos papers trabajan usando deciles (primer 10% de los rankings) pero sobre universos de acciones muy grandes con lo que cada portfolio anual se compone de cientos de empresas. Eso no es real, pues ningún inversor seguiría una estrategia al pie de la letra diversificando su cartera entre cientos de empresas a la vez.. Por otro lado, si es demasiado pequeño el número de acciones que maneja el modelo al año, nos encontraríamos en un defecto por “quedarnos cortos de ocurrencias” (falling short of occurrences).
Lo adecuado unas 30.
Por último este mismo problema es aplicable al número de años de estudio. Si el estudio abarca un período de pocos años, 3 ó 4 el resultado se estaría quedando corto de ocurrencias y no sería confiable. Mejor 15 ó más...
3) Validate your strategy across other markets
Muchas veces muchos académicos o inversores publican estudios de investigación sobre ciertas estrategias cuantitativas de factor investing centradas en, por ejemplo, EEUU. El problema es que tras la lectura de esos trabajos sus lectores pueden quedar prendados de tan fabulosos resultados y tratan de replicar dichos modelos aquí en Europa; o peor, en España.
El resultado les resulta nefasto, y eso es porque esa estrategia estar sesgada con un acuciante curve-fit, es decir que su optimización no sea adecuada.
Si una estrategia funciona en un solo mercado, tiene más posibilidades de que su curva de optimización sea errónea que si una estrategia funciona de forma rentable en un puñado de mercados. No estoy diciendo que una estrategia que solo funciona en un mercado esté curve-fit, ya que hay muchos matices, diferentes jugadores e idiosincrasias que existen dentro de cada mercado. Sin embargo, si una estrategia funciona en todos los mercados, entonces puede tener una mayor confianza de que su puesta en práctica en vivo no tenga sorpresas desagradables.
Cómo validar nuestros estudios de Backtest con la herramienta de zonavalue.com
Lo primero que querría decir es que hemos hecho una nueva actualización de la herramienta de Backtest para que por su parte evíte muchos de los factores que llevan al curve-fit de estrategias.
En concreto,
- Hemos eliminado de la base de datos tantas empresas como hemos podido identificar que fueran ilíquidas en su momento, ya que por más que pudieran aparecer en los estudios, un inversor no las podría haber comprado. Además entiéndase que muchas de las empresas ilíquidas son pennys y éstas, siendo tan pequeñas, suman un extra de rentabilidad a los modelos que sería del todo irreal. No significa que las hemos quitado todas, sino un grupo de ellas que son de fácil identificación dados los casos. El motivo se debe a que uno de los Systematic Factors más relevantes en el estudio de modelos factoriales consiste en el Low Size.
- Hemos eliminado muchos de los OTC que el inversor tampoco podría haber negociado y que podían, del mismo modo que en el caso anterior, aportar cierta rentabilidad extra maquillando al alza la rentabilidad media del modelo.
- Hemos eliminado del universo de acciones aquellas acciones que finalizaban sus períodos fiscales en períodos distintos del último trimestre para estudios con rotaciones anuales.
Dicho esto, creo que por nuestra parte podemos decir que la herramienta de Backtesting es la más precisa de las existentes y que por su lado, evita muchos de los llamados problemas de curve-fit. Sin embargo, no todos, y de tí dependerá cómo la usas para que tus modelos sean replicables en la realidad de la forma más fidedigna posible.
Veamos un ejemplo:
Estrategia Low Size
Si un inversor quiere invertir en empresas pequeñas, debería estudiar qué tal se comportan éstas históricamente. Supongamos que decide estudiar a lo largo de los últimos 15 años el comportamiento de las empresas más pequeñas de todos los países. En concreto el Top30 de cada año a lo largo de estos 15 años.
El resultado 2003 - 2017
Rentabilidad Anual Media (CAGR): 270.63 %
Volatilidad: 831.62 %
Ratio Sharpe: 0.33
Valor inicial de la inversión: 100.000€
Valor final de la inversión:34.201.620.568.373,70 €
El resultado es fantástico, y cualquiera se enamoraría de esta rentabilidad. Eso de ganar un 270% anual pinta muy bien, sin embargo es de todas imposible de que funcione en la vida real.
Muchas acciones de estas serán demasiado pequeñas para ser compradas. Otras no tendrán liquidez para ser vendidas y muchas serán Pink Sheets. Dicho ésto es absurdo que nadie se enamore de esta estrategia. Este modelo pecaría de curve-fit.
La Magic Formula: Low EV/EBIT & High ROIC
En este caso tendremos en consideración que la capitalización de las empresas sea en todos los casos mayor de 50 millones de Euros o equivalente al cambio. Además tendremos en cuenta todos los sectores excepto Financiero y Utilities, siguiendo la recomendación de Greenblatt.
EEUU 2003 - 2017
Rentabilidad Anual Media (CAGR): 19 %
Volatilidad: 37.3 %
Ratio Sharpe: 0.51
Valor inicial de la inversión: 100.000€
Valor final de la inversión:1.358.660,81 €
Europa 2003 - 2017
Rentabilidad Anual Media (CAGR): 24.93 %
Volatilidad: 33.27 %
Ratio Sharpe: 0.75
Valor inicial de la inversión: 100.000€
Valor final de la inversión:2.817.792,28 €
La fórmula Mágica parece en una primera instancia que genera buenos resultados tanto en EEUU como en Europa.
Veamos en España,
España 2003 - 2017
Rentabilidad Anual Media (CAGR): 8.9 %
Volatilidad: 26.49 %
Ratio Sharpe: 0.34
Valor inicial de la inversión: 100.000€
Valor final de la inversión:359.497,79 €
Aquí parece que la estrategia hace aguas…
¿Y si estudiamos un período de tiempo más corto?
Estudiaremos la Fórmula Mágica en EEUU del 2009 - 2017 y a ver qué ocurre:
EEUU del 2009 - 2017
Rentabilidad Anual Media (CAGR): 8.49 %
Volatilidad: 28.43 %
Ratio Sharpe: 0.3
Valor inicial de la inversión: 100.000€
Valor final de la inversión:208.218,00 €
Upppssss!
Parece que un período de 15 años generaba un resultado excelente (19% anual medio) pero si recortamos ese período a 9 años, la rentabilidad baja al 8,5%.
Parece que la fórmula mágica tiene curve-fit
¿Entonces cómo lo arreglamos?
Vamos a añadir algún factor que nos permita una sofisticación del modelo sin perder el sentido original.
Queremos empresas que se cataloguen dentro del enfoque Contrarian, que sean una “ganga” y que atesoren calidad. Además sumaría un factor F-Score para que esa calidad se vea apoyada por una creciente excelencia en sus ratios de contabilidad financiera.
De hacer esto tendríamos una estrategia Contrarian basada en la Fórmula Mágica que podría traer una mejor optimización a lo largo del tiempo.
Veámoslo,
Países
Alemania
EEUU
Holanda
Suecia
Austria
España
Italia
Suiza
Bélgica
Francia
Noruega
Reino Unido
Canadá
Grecia
Portugal
Sectores
Basic materials
Consumer Goods
Consumer Services
Healthcare
Industrials
Oil & Gas
Technology
Telecommunications
Dirección
Largo
Orden
Orden 1: EV/EBIT
Order 2: Return on Invested Capital (ROIC Greenblatt)
Condiciones
Market Cap > 50.000.000
Piotroski F-Score ≥ 7
EV/EBIT > 0
Global 2003 - 2017
zonavalue.com
En este caso, el rendimiento asciende a un 30,49% anual medio con una volatilidad del 39,47%.
¿Qué pasaría si estudiamos el mismo modelo desde el año 2009 hasta el 2017, en lugar de considerar como inception el 2013?
En este caso el resultado es el siguiente,
Global 2009 - 2017
Rentabilidad Anual Media (CAGR): 28.89 %
Volatilidad: 27.05 %
Ratio Sharpe: 1.07
Valor inicial de la inversión: 100.000€
Valor final de la inversión:981.407,56 €
Takeaways
El resultado se mantiene constante, con una rentabilidad del 28,89% anual medio pero mejora mucho la volatilidad del modelo.
Nótese que he considerado una etapa previa hasta el 2008 y otra diferente a partir del 2008. Consideramos que el mercado ha cambiado desde el 2009 incluído en adelante y quería comprobar el resultado de este modelo en esa etapa. Tratando de seguir uno de los métodos para paliar curve-fitting en los modelos de estudio.
Si tenemos en cuenta el período 2008 - 2013, el resultado bajaría a un 16,54% como consecuencia de una pérdida en el 2008 (final de la etapa previa) del -53,92% en ese mismo año. Con lo que remontar esa pérdida asumida al inicio del período de estudio reduce la rentabilidad global del modelo al 16,54% del 28,89% si no consideramos ese año en el período de análisis.
Como vemos, el modelo es sostenible, y evita el curve-fit de forma fiable. Con 15 años de estudio (desde el 2003) y 9, mantiene un estándar de rentabilidad que explica una correlación elevada con altos retornos cíclicamente. Además el modelo no se queda corto de operaciones.
Faltaría comprobar si la estrategia se sostiene a través de diferentes mercados y no todos en conjunto.
Usaré dos universos de acciones diferentes, uno EEUU y Canadá; y el otro, el resto de países Europeos.
EEUU - Canadá
Rentabilidad Anual Media (CAGR): 24.35 %
Volatilidad: 37.6 %
Ratio Sharpe: 0.65
Valor inicial de la inversión: 100.000€
Valor final de la inversión:2.627.700,68 €
Europa
Rentabilidad Anual Media (CAGR): 23.85 %
Volatilidad: 30.35 %
Ratio Sharpe: 0.79
Valor inicial de la inversión: 100.000€
Valor final de la inversión:2.474.270,83 €
Como veis el modelo se sostiene también a través de diferentes geografías. Al parecer añadir el F-Score a la Fórmula Mágica mejora y mucho el global del sentido de esta fantástica estrategia que nos enseñó Joel Greenblatt.
Por supuesto, el modelo que se ajusta a las mejores características es el Global, y es ese el que nos interesaba testar su bondad, por tanto, tras los diferentes análisis, el resultado sería que el modelo tiene sentido y puede aplicarse sin pecar de curve-fitting.
Espero que os haya gustado el artículo.
Saludos
