Análise de Dados e IA Aplicada ao DireitoVieses algorítmicos e discriminação no créditoNível 3
Uma fintech treinou um modelo de concessão de crédito com o histórico de dez anos de uma instituição que, no passado, recusava com frequência pedidos de moradores de determinados bairros periféricos. Para evitar discriminação, a equipe retirou do modelo as variáveis "raça" e "renda declarada", mas manteve o CEP do solicitante. A taxa de recusa nesses bairros permaneceu muito superior à média, mesmo para clientes com bom histórico de pagamento.
A explicação mais adequada é que
Aa retirada das variáveis sensíveis eliminou o viés, de modo que a diferença observada decorre só do risco real de inadimplência.
Bo problema é de alucinação, já que o modelo inventou dados de inadimplência inexistentes para os moradores desses bairros.
Co modelo aprendeu o padrão discriminatório dos dados históricos e o reproduz por meio de uma variável que funciona como proxy.✓ correta
Do viés só existiria se o modelo fosse de IA simbólica, pois sistemas de aprendizado de máquina são neutros por natureza.
Ea diferença é mera correlação estatística e, por isso, não pode ter nenhuma relevância jurídica para fins de discriminação.
Resposta correta: alternativa C
💡 Explicação
A alternativa C está correta: modelos de aprendizado de máquina aprendem os padrões dos dados de treino, inclusive os discriminatórios, e variáveis aparentemente neutras, como o CEP, podem funcionar como substitutas (proxies) de características sensíveis. Por isso, retirar a variável sensível não basta, e a alternativa A está errada. A alternativa B confunde viés com alucinação, fenômeno típico de IA generativa. A alternativa D inverte a realidade, pois o aprendizado de máquina é justamente o mais exposto ao viés dos dados, e a alternativa E ignora que efeitos discriminatórios têm relevância jurídica, como reconhece o princípio da não discriminação da LGPD.Questão enviada por Equipe Canetinha ao banco público do Canetinha.