Cómo extender un programa piloto (1)

Esta es la primera parte de la versión en español de mi artículo de enero en Mapping Ignorance.

La economía necesita teoría, experimentos de laboratorio, datos históricos y pruebas de campo. Los programas piloto y los ensayos controlados aleatorios son particularmente creíbles desde el punto de vista de su validez interna. Sin embargo, los resultados de estos programas y ensayos son más bien una "prueba de concepto" y no se extienden necesariamente más allá del contexto en el que se implementan y pueden no mantenerse si se generalizan.

Banerjee et al. (2017) [1] estudian seis desafíos principales para extraer conclusiones de ensayos controlados aleatorios localizados: efectos de equilibrio de mercado, efectos indirectos, reacciones políticas, dependencia del contexto, aleatorización o sesgo de selección del sitio, y sesgo de prueba. A continuación, documentan la superación de algunos de estos desafíos usando como ejemplo una intervención exitosa que comenzó con una organización no gubernamental en algunos barrios marginales, y se desarrolló a una política implementada a escala por los gobiernos estatales en India. Aquí presentamos un resumen de su trabajo usando párrafos seleccionados del artículo.

Los desafíos

1. Efectos de equilibrio de mercado

El primer desafío debería ser familiar para los economistas. Una implementación a pequeña escala puede tener solo consecuencias de equilibrio parcial, mientras que una implementación a gran escala puede afectar el equilibrio general. Como consecuencia, los resultados de un programa a pequeña escala pueden subestimar o sobreestimar los resultados es caso de ser generalizado. Por ejemplo, otorgar una beca a un pequeño grupo de estudiantes puede tener un gran efecto en el grupo, pero una generalización de las becas aumentará el logro educativo en toda la población, disminuyendo el rendimiento general de la educación (Heckman et al., 1998). [2]).

Como otro ejemplo, considérese el bajo impacto de los microcréditos en los beneficiarios según los ensayos de control aleatorizados (Barnejee et al., 2105 [3] revisan esta literatura). Sin embargo, el repentino colapso del microcrédito en Andhra Pradesh, India, debido a razones políticas y no a razones económicas, causó un gran efecto negativo en las comunidades donde se utilizó. Aunque el mecanismo no se entiende completamente, parece que el microcrédito tiene un efecto multiplicador donde se implementa, algo que no se habría capturado en los microdatos.

2. Efectos indirectos (spillovers)

Muchos tratamientos realizados en un colectivo tienen efectos indirectos en colectivos vecinos, lo que implica que esos colectivos no son grupos de control ideales. Algunos efectos indirectos están relacionados con la tecnología. Por ejemplo, las lombrices intestinales son contagiosas, por lo que si un niño es desparasitado, esto afectará también a su vecino. Otros fuentes de efectos indirectos son causas informativas: cuando se introduce una nueva tecnología (como una tela mosquitera de cama tratada con insecticida de larga duración); las primeras personas que están expuestas a ella pueden no aceptarla o usarla adecuadamente.

3. Reacciones políticas

Las reacciones políticas, incluida la resistencia o el apoyo a un programa, pueden variar a medida que los programas se amplían. Es probable que los funcionarios corruptos se interesen en aprovecharse de los programas una vez que alcanzan cierto tamaño (Deaton 2010 [4]).

4. Dependencia del contexto

Las evaluaciones generalmente se llevan a cabo en unas pocas ubicaciones (cuidadosamente elegidas), con organizaciones específicas. ¿Se extenderían los resultados en una configuración diferente (incluso dentro del mismo país)? ¿Dependerían de algunas características observadas o no observadas de la ubicación donde se llevó a cabo la intervención?

5. Aleatorización o sesgo de selección del sitio

Las organizaciones o individuos que aceptan participar en un experimento temprano pueden ser diferentes del resto de la población. Esto puede deberse a que los socios dispuestos son particularmente competentes y motivados, porque los que tienen más probabilidades de beneficiarse también tienen más probabilidades de ser tratados, o porque la organización, sabiendo que será evaluada, elige una ubicación o un subgrupo donde se espera que los efectos sean particularmente grandes.

6. Control del sesgo / desafíos de implementación

Un programa a gran escala será dirigido inevitablemente por una burocracia también a gran escala. El monitoreo intenso que es posible en un programa piloto puede que ya no sea factible cuando eso ocurra, o puede requerir un esfuerzo especial.

Referencias 

1. Banerjee, A.; Banerji, R.; Berry, J.; Duflo, E.; Kannan, H.; Mukerji, S.; Shotland, M., y Walton, M. 2017. From Proof of Concept to Scalable Policies: Challenges and Solutions, with an Application. Journal of Economic Perspectives 31(4), 73–102. 

2. Heckman, J. J.; Lochner, L., y Taber, C. 1998. Explaining Rising Wage Inequality: Explorations with a Dynamic General Equilibrium Model of Labor Earnings with Heterogeneous Agents. Review of Economic Dynamics 1, 1–58. 

3. Banerjee, A.; Karlan, D.; y Zinman, J. 2015. Six Randomized Evaluations of Microcredit: Introduction and Further Steps. American Economic Journal: Applied Economics 7(1), 1–21. 

4. Deaton, A. 2010. Instruments, Randomization, and Learning about Development. Journal of Economic Literature 48(2), 424–55.

-----------------------------------------------------------------------------------------------------------

Hace cinco años en el blog: Política ficción.
Hace tres años en el blog: El papel del Gobierno en la financiación del sistema de salud (1).
Y también: El papel del Gobierno en la financiación del sistema de salud (2).
-----------------------------------------------------------------------------------------------------------