#140 Nuno Barbosa Morais - Vieses cognitivos, incentivos perversos, Big data, e outros desafios à boa Ciência

Nuno Barbosa Morais é um biólogo computacional. É licenciado em Engenharia Física Tecnológica pelo Instituto Superior Técnico e doutorado em Ciências Biomédicas pela Faculdade de Medicina da Universidade de Lisboa, tendo feito investigação internacional durante uma década nas universidades de Cambridge e de Toronto. Lidera, desde 2015, o laboratório de Transcritómica de Doença no Instituto de Medicina Molecular e lecciona cursos de Biologia Computacional a vários mestrados da Faculdade de Medicina da Universidade de Lisboa. 

-> Apoie este projecto e faça parte da comunidade de mecenas do 45 Graus em: 45grauspodcast.com

_______________

Índice (com timestamps):

(0:00) Introdução

(5:57) INÍCIO DA CONVERSA: Crise da Replicação | Vieses cognitivos e as limitações das técnicas de inferência estatística. P-value | Karl Popper | Gregor Mendel | Ronald Fisher (história do chá) | Jacob Bernoulli

(22:25) De onde surgiu esta a Crise na Ciência? | Artigo  Why Most Published Research Findings Are False (John Ioannidis) | Artigo de Florian Markowetz 1,500 scientists lift the lid on reproducibility | Five selfish reasons to work reproducibly | Fraude em Alzheimer: Blots on a field? | Artigos de investigadores japoneses na Nature (um, dois) | HARKing 

(41:12) Big data e complexificação das metodologias. | Artigo João P. Magalhães «Every gene can (and possibly will) be associated with cancer» | Overfitting | As bombas alemãs em Londres e a ‘clustering illusion’ | Riscos de usar programas bioinformáticos como caixas negras |  Inteligência artificial

(1:05:43) Será que a ciência já esgotou o “low hanging fruit” das descobertas? Estudo: Rate of scientific breakthroughs slowing over time | Perigos da hiperespecialização. | C. P. Snow

(1:16:27) Incentivos perversos do sistema de publicação | Robert Merton e o Matthew effect | Luc Montagnier e as teorias da conspiração Covid

(1:28:53) Outras ideias para melhorar a Ciência. | Talent Identification at the limits of Peer Review: an analysis of the EMBO Postdoctoral Fellowships Selection Process | Revisão por pares prévia à publicação |  Algoritmos de revisão com AI: statcheck e grim

Livros recomendados: The Drunkard's Walk, de Leonard Mlodinow | Pensar, Depressa e Devagar. de Daniel Kahneman | Science Fictions, de Stuart Ritchie | Calling Bullshit, de Carl Bergstrom e Jevin D. West

_______________

Na conversa que vão ouvir, o Nuno identifica uma série de desafios / obstáculos à boa ciência, que eu diria que se podem dividir em dois tipos: os de sempre e aqueles que se tornaram mais agudos nas últimas décadas, devido a algumas mudanças, quer nas técnicas, quer institucionais que afectam o modo como se faz hoje ciência

Os primeiros desafios (os de sempre) têm que ver com a grande dificuldade da Ciência enquanto actividade: conseguir compreender o mundo (identificar “leis” na natureza) sendo os dados de que dispomos sempre parcelares e imperfeitos,e contando apenas com a mente dos cientistas -- humana e, por isso, cheia de limitações e vieses. 

Para contrariar as nossas limitações cognitivas (e os nossos próprios defeitos morais) criou-se ao longo do tempo uma arquitectura institucional com uma série de válvulas de segurança. Por exemplo, os trabalhos só são publicados depois de serem revistos por outros cientistas, e a ciência é feita de forma aberta, de modo a que estejamos sempre sujeitos à que as nossas conclusões sejam invalidadas por outros investigadores. 

E para decidir o que conta e o que não conta como descoberta científica a partir dos tais dados limitados, foi preciso criar um método e um referencial de significância aceite por todos. Instituíram-se, então, testes de inferência estatística, os chamados testes de hipóteses, o mais conhecido dos quais o célebre p value (de que falamos na conversa). 

Só que estes testes são apenas uma via indirecta de inferir conclusões (como não é possível nunca ter a certeza em relação à nossa hipótese para explicar determinado fenómeno, o máximo que estes testes fazem é… rejeitar a hipótese de não haver fenómeno nenhum nos dados…). E depois há outro problema, mais grave. É que uma vez estabelecendo-se um referencial para determinar o que conta e não conta como descoberta científica, criam-se incentivos, como o Nuno explica, para que ele seja aldrabado (intencionalmente ou não) pelos cientistas. 

Pelas limitações da nossa mente e destes métodos estatísticos, a Ciência foi sempre  uma actividade…complexa. E nas últimas décadas algumas mudanças vieram tornar estes obstáculos ainda maiores. Por um lado, o sistema de publicação de artigos científicos tornou-se cada vez mais competitivo, gerando incentivos para publicar resultados vistosos, mesmo que para isso seja necessário ser menos rigoroso. Por outro lado, a ciência (em particular na área do convidado, as ciências biomédicas) tornou-se mais complexa e informatizada devido à ascensão do chamado big data e o aumento  da utilização de programas “bioinformáticos”. Isto criou desafios adicionais a quem utiliza estas ferramentas sem por vezes as compreender bem. 

Estes obstáculos (e outros, de que falamos durante a conversa) desembocaram naquilo que se tem chamado a Crise da Replicação, em que várias conclusões aparentemente sólidas, sobretudo na biomedicina e na psicologia, têm sido invalidadas por estudos posteriores. Esta crise tem feito correr muita tinta nos últimos anos, com já vários livros publicados sobre o assunto. 

E foi precisamente por aí que começámos a nossa conversa -- na qual percorremos as causas e consequências deste estado de coisas. No final, pedi ao Nuno para apontar soluções para resolver estes desafios (os antigos e os novos). Como vão ver, ele tem muitas ideias. 

_______________

Obrigado aos mecenas do podcast:

Francisco Hermenegildo, Ricardo Evangelista, Henrique Pais

João Baltazar, Salvador Cunha, Abilio Silva, Tiago Leite, Carlos Martins, Galaró family, Corto Lemos, Miguel Marques, Nuno Costa, Nuno e Ana, João Ribeiro, Helder Miranda, Pedro Lima Ferreira, Cesar Carpinteiro, Luis Fernambuco, Fernando Nunes, Manuel Canelas, Tiago Gonçalves, Carlos Pires, João Domingues, Hélio Bragança da Silva, Sandra Ferreira , Paulo Encarnação , BFDC, António Mexia Santos, Luís Guido, Bruno Heleno

Tomás Costa, João Saro, Daniel Correia, Rita Mateus, António Padilha, Tiago Queiroz, Carmen Camacho, João Nelas, Francisco Fonseca, Rafael Santos, Andreia Esteves, Ana Teresa Mota, ARUNE BHURALAL, Mário Lourenço, RB, Maria Pimentel, Luis, Geoffrey Marcelino, Alberto Alcalde, António Rocha Pinto, Ruben de Bragança, João Vieira dos Santos, David Teixeira Alves, Armindo Martins , Carlos Nobre, Bernardo Vidal Pimentel, António Oliveira, Paulo Barros, Nuno Brites, Lígia Violas, Tiago Sequeira, Zé da Radio, João Morais, André Gamito, Diogo Costa, Pedro Ribeiro, Bernardo Cortez

Vasco Sá Pinto, David , Tiago Pires, Mafalda Pratas, Joana Margarida Alves Martins, Luis Marques, João Raimundo, Francisco Arantes, Mariana Barosa, Nuno Gonçalves, Pedro Rebelo, Miguel Palhas, Ricardo Duarte, Duarte , Tomás Félix, Vasco Lima, Francisco Vasconcelos, Telmo , José Oliveira Pratas, Jose Pedroso, João Diogo Silva, Joao Diogo, José Proença, João Crispim, João Pinho , Afonso Martins, Robertt Valente, João Barbosa, Renato Mendes, Maria Francisca Couto, Antonio Albuquerque, Ana Sousa Amorim, Francisco Santos, Lara Luís, Manuel Martins, Macaco Quitado, Paulo Ferreira, Diogo Rombo, Francisco Manuel Reis, Bruno Lamas, Daniel Almeida, Patrícia Esquível , Diogo Silva, Luis Gomes, Cesar Correia, Cristiano Tavares, Pedro Gaspar, Gil Batista Marinho, Maria Oliveira, João Pereira, Rui Vilao, João Ferreira, Wedge, José Losa, Hélder Moreira, André Abrantes, Henrique Vieira, João Farinha, Manuel Botelho da Silva, João Diamantino, Ana Rita Laureano, Pedro L, Nuno Malvar, Joel, Rui Antunes7, Tomás Saraiva, Cloé Leal de Magalhães, Joao Barbosa, paulo matos, Fábio Monteiro, Tiago Stock, Beatriz Bagulho, Pedro Bravo, Antonio Loureiro, Hugo Ramos, Inês Inocêncio, Telmo Gomes, Sérgio Nunes, Tiago Pedroso, Teresa Pimentel, Rita Noronha, miguel farracho, José Fangueiro, Zé, Margarida Correia-Neves, Bruno Pinto Vitorino, João Lopes, Joana Pereirinha, Gonçalo Baptista, Dario Rodrigues, tati lima, Pedro On The Road, Catarina Fonseca, JC Pacheco, Sofia Ferreira, Inês Ribeiro, Miguel Jacinto, Tiago Agostinho, Margarida Costa Almeida, Helena Pinheiro, Rui Martins, Fábio Videira Santos, Tomás Lucena, João Freitas, Ricardo Sousa, RJ, Francisco Seabra Guimarães, Carlos Branco, David Palhota, Carlos Castro, Alexandre Alves, Cláudia Gomes Batista, Ana Leal, Ricardo Trindade, Luís Machado, Andrzej Stuart-Thompson, Diego Goulart, Filipa Portela, Paulo Rafael, Paloma Nunes, Marta Mendonca, Teresa Painho, Duarte Cameirão, Rodrigo Silva, José Alberto Gomes, Joao Gama, Cristina Loureiro, Tiago Gama, Tiago Rodrigues, Miguel Duarte, Ana Cantanhede, Artur Castro Freire, Rui Passos Rocha, Pedro Costa Antunes, Sofia Almeida, Ricardo Andrade Guimarães, Daniel Pais, Miguel Bastos, Luís Santos

_______________

Esta conversa foi editada por: Hugo Oliveira

_______________

Bio: Nuno Barbosa Morais é um biólogo computacional. É licenciado em Engenharia Física Tecnológica pelo Instituto Superior Técnico e doutorado em Ciências Biomédicas pela Faculdade de Medicina da Universidade de Lisboa, tendo feito investigação internacional durante uma década nas universidades de Cambridge e de Toronto. Lidera, desde 2015, o laboratório de Transcritómica de Doença no Instituto de Medicina Molecular e lecciona cursos de Biologia Computacional a vários mestrados da Faculdade de Medicina da Universidade de Lisboa. A sua investigação recorre a análises de grandes dados moleculares no estudo das alterações na regulação da actividade dos genes em tecidos humanos que os tornam mais susceptíveis a doenças, nomeadamente as associadas ao envelhecimento. No processo, a equipa desenvolve ferramentas bioinformáticas que visam tornar acessíveis e inteligíveis aquelas análises a colegas sem formação informática. Procura contribuir para uma maior reprodutibilidade da prática científica, através da promoção da investigação inter-disciplinar, da formação quantitativa de biólogos e do uso de ferramentas de análises de grandes dados como sistemas de apoio à decisão, por oposição a “caixas negras”.