sábado, 13 de octubre de 2012

¿Afirmaciones extraordinarias requieren pruebas extraordinarias?


Tenemos a priori dos teorías, A y B, para explicar unos fenómenos. Estimamos que ambas son ciertas con probabilidades 1/2, 1/2. No contentos con ello buscamos más datos. Según la teoría A, la observación x ocurre con una probabilidad p(x/A) (léase probabilidad de x condicionada a que A es cierta), mientras que según B, ocurre con p(x/B). Así con otras observaciones y, z,…

Después de recopilar muchas observaciones, usando la regla de Bayes, tenemos, por ejemplo, que las probabilidades a posteriori que asignamos a A y B ya no son 1/2, 1/2 sino 0,9997 frente a 0,0003 (porque las observaciones son mucho más probables si la teoría A es cierta que si lo es la teoría B). Tras la investigación aceptamos la teoría A como mucho más probable que la B.

Ahora alguien nos quiere convencer de que, en realidad, la B es la más adecuada. Esto es una afirmación extraordinaria. ¿Requiere evidencias extraordinarias?

Veamos: requiere encontrar una observación r (o un conjunto de observaciones r, s, t, ...) que ocurre con muy, muy poca probabilidad según A y con mucha, mucha probabilidad según B (por lo menos en términos relativos).

La evidencia que requerimos para aceptar B tras las observaciones x, y, z,… que nos hicieron aceptar, en principio, A tiene que ser mucho más fuerte que la que hubiéramos necesitado para aceptar B sin aquellas observaciones.

Otra posibilidad es aplicar la expresión, no a las teorías, sino a las posibles observaciones. Tras tener una teoría A que explica mejor los hechos hasta ahora conocidos que la alternativa B nos comunican que hay un hecho muy poco probable según A y muy probable según B. ¿Aceptamos sin más que existe ese hecho? De otra manera: ¿qué es más probable, que el presunto hecho sea un error de observación o que sea cierto? Para descartar un error de observación, de nuevo por la regla de Bayes, hacen falta mayores pruebas cuando la teoría A es la aceptada hasta ahora que cuando no lo es

¿Llamamos a esto prueba extraordinaria? A mí no me parece mala expresión. Resume bien todo lo anterior.

------------------------------------------------------------------------------------------------------------
Hace tres años en el blog: Concierto para vascos. Primer movimiento.
------------------------------------------------------------------------------------------------------------

11 comentarios:

  1. Existe un elemento más a tener en cuenta: los "payoffs". Por ejemplo, podemos tener evidencias sobre si el calentamiento global está causado por el hombre o no (teorías A y B). Imaginemos que existe una probabilidad del 50% para A y del 50% para B.

    Existe la opción de hacer algo al respecto o no hacerlo. Pero si no se hace nada, las consecuencias pueden ser catastróficas.

    Tendría pues sentido "hacer algo al respecto" incluso si la probabilidad de que el calentamiento global tiene causas humanas es menor que la de la opción alternativa, ¿no?

    ResponderEliminar
    Respuestas
    1. Al usar una teoría para tomar una acción hay que tener en cuenta, claro está, las consecuencias de cada alternativa. Pero esa es una parte del problema distinta de la de asignar probabilidades a los resultados o a la teoría. Es lo bueno de usar un análisis cuidadoso: te permite poner cada cosa en su sitio.

      Un saludo

      Eliminar
  2. Lo que dices al final viene que ni pintado para la historia de los neutrinos superluminicos.

    Solo añadiria que el estatus extraordinario de las evidencias es consecuencia de que la afirmacion tambien es extraordinaria. Dicho de otra manera, las evidencias son extraordinarias solo si la afirmacion lo es tambien. En cuanto la evidencia se materializa, tanto la afirmacion que sustenta como la evidencia en si dejan de ser extraordinarias (pendiente de nueva informacion claro)

    A que viene todo esto? Pues simplemente para recalcar que el estatus ordinario/extraordinario de algo no es unicamente una caracteristica real de ese algo, sino tambien una propiedad del estado de creencia (o como narices se diga "state of belief") del observador.

    ResponderEliminar
    Respuestas
    1. Efectivamente, el estatus de extraordinario o no de la afirmación (y, por ende, de las evidencias necesarias para sostenerla) no es algo intrínseco, sino que cambia según el estado de la cuestión. Si hemos encontrado esas evidencias extraordinarias, la afirmación deja de serlo y pasa a ser ordinaria.

      Eliminar
  3. Si ese nuevo hecho solo ha sido registrado una vez, no es un más que un indicio que te debe hacer estar atento. Al hilo de esto me he acordado de que hace poco hubo un hecho que de ser cierto cuestionaba la relatividad, luego se demostro que la medición había sido bastante cutre. Esto es un pensamiento mío, pero a veces tengo la sensación de que nos vemos siempre obligados a decidir entre A y B, y en la vida en general pero sobre todo en ciencia, hay que saber decir, no lo sé, con la información que tengo simplemente no lo sé, humildad, eso que nunca ha hecho la religión por ejemplo,aunque presuma de ello.

    ResponderEliminar
    Respuestas
    1. Así es, pero si de verdad hay que elegir entre A y B y se tiene poca información, además de decir "no sé" habra que tomar esa decisión con esos pocos datos. Sucede muchas veces en medicina o en economía. Por supuesto, hay que saber que nos podemos equivocar, pero que sospechamos que el error será mayor con la otra decisión. Por supuesto, también, estaremos muy interesados en adquirir nueva y más información y cambiar de opinión si llega el caso.

      Eliminar
    2. Estoy de acuerdo. Igual lo que la mayoría de la gente no piensa es que cuando tomas la decisión más probable y luego resulta equivocada, en realidad tu no te has equivocado, digamos que ya contabas con la posibilidad del error. Has actuado correctamente, pero el resultado es negativo. Esto se puede aplicar a situaciones de emergencia, siempre hay alguien que a toro pasado dice lo que había que hacer, pero es posible que el responsable tome la mejor decisión y aún así salga mal. No sé si me he explicado.

      Eliminar
    3. Pero en ese momento con esa información era la mejor decisión. Creo que esto lo explica mejor

      Eliminar
    4. Lo has explicado perfectamente. Por eso hacemos autopsias y por eso los economistas tenemos fama de predecir el pasado.

      Eliminar
  4. Pero habría que definir en instancia primaria qué es una afirmación y una evidencia extraordinaria. Es claro que dicho "axioma" o conjetura (me parece mejor) no es un regla en la investigación ni en la ciencia, hay muchos casos que refutarían tal si consideramos que una afirmación extraordinaria es aquella que raya en lo improbable (parapsicología, homeopatía, acupuntura....) según unas determinadas creencias enraizadas en un contexto social, cultural y psíquico. Sin llegar a caer en un relativismo extremo, es claro que la operatividad de dicha conjetura es bastante problemática por que nos obliga a acudir a un modelo lineal absurdo: "entre mas absurdo es la afirmación, mas evidencia requiere" y a aplicar un doble rasero: "la parapsicología necesita evidencia extraordinaria".

    Me explico: Se dice que la telepatia contradice las leyes de la velocidad de la luz, y otras leyes de la física. Para su validez se necesitan entonces evidencias extraordinarias, por que es una afirmación extraordinaria según determinadas creencias o por que hay hechos que no las soportan en un modelo de la realidad dado. Pero resulta que hay un montón de afirmaciones que no se caracteriza por "paranormales" como es el famoso problema del Horizonte que contradicen varias leyes de la física y no se les califica de pseudociencia, ni mucho menos se les exige evidencia extraordinaria. Un caso reciente es este:

    http://actualidad.rt.com/ciencias/view/56875-peces-invisibles-leyes-fisica

    De forma cualitativa se trata de una afirmación extraordinaria ¿por qué no necesita de evidencia extraordinaria? No vemos al mago Randi ofreciendo un premio de 1000000 dolares a esos investigadores. Incluso existen ejemplos donde no se les califica de evidencia extraordinaria, pero se les exige tal: El caso de la teoría de la evolución es un ejemplo, aunque es hoy en día la teoría mas sólida que tenemos.

    Entonces en la práctica de toman los estudios científicos, he visto mas estudios en el campo de la parapsicología experimental (nada de fantasmas ni tonterías de hadas) como en la acupuntura, por ejemplo, en revistas arbitradas y meta análisis con resultados alentadores. La proporción de estudios negativos es menor a los positivos incluso si se restringen los estudios de alta calidad metodológica. ¿Es eso entonces evidencia extraordinaria? Veo que no, los círculos racionalistas como las organizaciones del llamado Nuevo Escepticismo Kurtziano aplican un doble rasero a esta investigación tratando de descalificar con campañas agresivas y argumentos ad-hoc como "no puede funcionar, es implausible" tales posibles fenómenos. En cambio no dudan ni un poco de las que en su concepción serían otras formas de afirmaciones extraordinarias que contradicen teorías, leyes, conceptos básicos que se pueden ver en las revistas de física, química, biología, e incluso en las de ciencias sociales.

    ResponderEliminar
    Respuestas
    1. Noto un poco de lío en tu comentario. No se trata, como dices, de que sean extraordinarias con respecto a "determinadas creencias enraizadas en un contexto social, cultural y psíquico", sino con respecto al mejor saber científico.

      Confundes también lo extraordinario de un dato con su mal encaje en las teorías. Los datos que existen y son evidenciados, aún contradiciendo teorías, deben tomarse como lo que son, datos. El caso que enlazas de los peces invisibles, al contrario de lo que dice el titular, no contradicen las leyes de la óptica, sino lo que sabíamos acerca de la fisiología de los peces en general. No problem, se añade y ya. Esto es porque el dato es suficiente evidencia. Claro que para reconocerlo como dato no basta cualquier testimonio, debe estar bien documentado.

      No veo doble rasero en el tratamiento científico de la parapsicología o la acupuntura. Más bien el doble rasero es de quien intenta colarlas sin pasar los rigores del método científico. Ni un solo estudio bien documentado de hechos parapsicológicos, ni un solo estudio bien documentado de acupuntura que vaya más allá de alguna disminución de un dolor no grave.

      Eliminar