Frontdaciência - T08E16 - Ética e Robótica II
Resumo
O programa Fronteiras da Ciência continua a discussão sobre ética e robótica, com os convidados Edson Prestes, roboticista, e Daniel Nascimento, filósofo. Eles exploram os limites entre ciência e mito no contexto da crescente influência da tecnologia da informação e algoritmos no dia a dia, que tornam a vida mais fácil mas também criam dependência e vulnerabilidades.
A conversa aborda as leis da robótica de Isaac Asimov, apresentadas no livro ‘Eu Robô’, como uma solução ficcional para controlar máquinas inteligentes. No entanto, destaca-se que soluções práticas são necessárias, especialmente com o avanço das inteligências artificiais autônomas. A IEEE patrocinou uma iniciativa global para estabelecer diretrizes éticas para IA e sistemas autônomos, focando em garantir que esses sistemas não se voltem contra os humanos.
Os participantes debatem como implementar valores humanos, como os da Declaração dos Direitos Humanos, em máquinas, considerando a relatividade ética entre diferentes comunidades. Discute-se a dificuldade de inserir normas e valores em robôs, especialmente em sociedades plurais, e a necessidade de transparência no funcionamento dos algoritmos para evitar erros catastróficos e viés.
Exemplos atuais de robótica, como robôs de companhia para idosos ou aspiradores Roomba, são citados para ilustrar riscos reais, como questões de privacidade e segurança. A conversa também toca em tópicos como metaética, a racionalidade prática humana, e o futuro das normas da IEEE, incluindo a versão 2.0 do documento e padrões emergentes para desenvolvimento ético.
Indicações
Articles
- Artigo na revista Compute (1981) — Artigo de Isaac Asimov mencionado no debate, onde ele discute as leis da robótica como leis éticas fundamentais que deveriam regular o comportamento humano, conectando-as ao Imperativo Categórico de Kant.
Books
- Eu Robô — Livro de Isaac Asimov que propõe as três leis da robótica, discutido no programa como uma solução ficcional para controlar máquinas inteligentes, com leis embutidas nos cérebros positrônicos.
Organizations
- IEEE — Organização internacional que patrocinou a Iniciativa Global para Considerações Éticas em Inteligência Artificial e Sistemas Autônomos, discutida como esforço para estabelecer diretrizes éticas e padrões para robôs e IAs.
- Electronic Frontier Foundation (EFF) — Associação mantida por sócios, focada na proteção de direitos fundamentais relacionados à tecnologia, especialmente privacidade, mencionada por um participante como referência em discussões éticas sobre robótica.
Tools
- AIBO — Robô cão usado em geriatrias e para tratamento de autismo, citado como exemplo atual de robótica que levanta questões sobre dependência emocional e impacto social.
- Roomba — Aspirador robô discutido em relação a riscos de privacidade e segurança, como hackers acessando dados domésticos, ilustrando desafios éticos práticos em dispositivos autônomos.
Linha do Tempo
- 00:00:00 — Introdução ao programa e convidados — Apresentação do programa Fronteiras da Ciência, com os hosts Jorge Kufel e Marco Idiarte, e os convidados Edson Prestes e Daniel Nascimento. É anunciada a continuação da discussão sobre ética e robótica, focando nos limites entre ciência e mito na tecnologia.
- 00:02:20 — Leis de Isaac Asimov e sua aplicação prática — Mencionam as três leis da robótica de Asimov do livro ‘Eu Robô’, discutindo sua natureza ficcional como solução embutida nos cérebros positrônicos. Debate-se a busca por soluções práticas para controlar máquinas inteligentes, já que as IAs autônomas estão se tornando realidade em poucos anos.
- 00:03:01 — Iniciativa da IEEE para ética em IA e sistemas autônomos — Apresentação da Iniciativa Global da IEEE para Considerações Éticas em Inteligência Artificial e Sistemas Autônomos, patrocinada em 2016. O objetivo é discutir regras para projetar robôs e IAs, garantindo que não se voltem contra os humanos, com foco em diretrizes baseadas em valores humanos.
- 00:04:15 — Implementação de valores humanos como os Direitos Humanos — Discussão sobre como fazer máquinas observarem valores humanos, como os da Declaração dos Direitos Humanos, que servem de base para as diretrizes da IEEE. Aborda-se a mistura de debates sobre proteção contra robôs complexos e a questão de direitos para criaturas sencientes, se surgirem.
- 00:06:01 — Relatividade ética e normas comunitárias — Debate sobre a ética não ser universal, variando entre comunidades, e como isso afeta a inserção de normas em robôs. Discute-se a dificuldade de aplicar regras como os Direitos Humanos em contextos específicos, considerando costumes e valores sociais diversos.
- 00:10:01 — Inserção de normas e valores em robôs para comunidades plurais — Exploração de como robôs devem incorporar normas de múltiplas comunidades, já que os humanos pertencem a várias (como acadêmica, familiar). O documento da IEEE propõe que robôs, como funcionários de comunidades, precisam conhecer e negociar regras diferentes para interagir sem impactar negativamente.
- 00:13:02 — Metaética e racionalidade prática na tomada de decisões — Discussão sobre metaética, área da filosofia que estuda conceitos éticos fundamentais, e como seres humanos tomam decisões morais lendo situações através de percepção e racionalidade. Compara-se isso com a possibilidade de IAs avaliarem situações com base em normas, mas com desafios de implementação.
- 00:16:08 — Exemplos atuais de robótica e seus impactos — Citação de robôs como cães robóticos em geriatrias e brinquedos interativos para tratamento de autismo, como AIBO. Debate-se os riscos reais, como dependência emocional, privacidade e segurança, em contraste com medos ficcionais, destacando implicações éticas práticas.
- 00:19:01 — Riscos de erros catastróficos e necessidade de transparência — Discussão sobre o perigo de algoritmos que não antecipam todos os cenários, levando a erros catastróficos, como em Fukushima. Enfatiza-se a importância da transparência, onde robôs devem fornecer dados claros sobre suas ações para auditoria e responsabilização, especialmente em sistemas complexos como deep learning.
- 00:22:00 — Opacidade do deep learning e desafios de transparência — Abordagem sobre deep networks em IA, que são bem-sucedidas mas opacas, difíceis de decodificar devido a milhares de conexões. Debate-se a normatização antecipatória para garantir auditabilidade, com padrões da IEEE evoluindo para selos de transparência, mesmo com a complexidade crescente.
- 00:25:01 — Menção à Electronic Frontier Foundation (EFF) e privacidade — Referência à EFF, associação focada em proteger direitos fundamentais relacionados à tecnologia, especialmente privacidade. Discute-se se a iniciativa da IEEE foi influenciada por trabalhos similares, e como a robótica já foi tema da EFF, conectando-se a questões éticas atuais.
- 00:26:00 — Futuro das normas da IEEE e versão 2.0 do documento — Discussão sobre a evolução do documento da IEEE, com a versão 2.0 em desenvolvimento, incluindo comentários da comunidade internacional. Mencionam-se grupos de trabalho adicionais sobre computação afetiva, superinteligência, e padrões emergentes para desenvolvimento ético de software robótico.
- 00:27:30 — Viés em algoritmos e exemplos como Google Translate — Exploração de como algoritmos podem incorporar preconceitos dos programadores ou dados de treinamento, citando casos como o Google mapeando negros como macacos ou traduções com viés de gênero. Debate-se a necessidade de padrões para mitigar bias e garantir justiça em sistemas autônomos.
- 00:28:12 — Nudging e manipulação em interações robóticas — Discussão sobre nudging, onde robôs auxiliam usuários em tarefas sem mudar decisões, mas com risco de manipulação. Compara-se com sistemas antigos e destaca-se a importância de padrões para evitar abusos, como parte das diretrizes éticas da IEEE para interações autônomas.
Dados do Episódio
- Podcast: Fronteiras da Ciência
- Autor: Fronteiras da Ciência/IF-UFRGS
- Categoria: Science
- Publicado: 2017-06-18T23:00:00Z
Referências
- URL PocketCasts: https://pocketcasts.com/podcast/fronteiras-da-ci%C3%AAncia/fb4669d0-4a98-012e-1aa8-00163e1b201c/frontdaci%C3%AAncia-t08e16-%C3%A9tica-e-rob%C3%B3tica-ii/6274a040-36c1-0135-52f9-452518e2d253
- UUID Episódio: 6274a040-36c1-0135-52f9-452518e2d253
Dados do Podcast
- Nome: Fronteiras da Ciência
- Site: http://frontdaciencia.ufrgs.br
- UUID: fb4669d0-4a98-012e-1aa8-00163e1b201c
Transcrição
[00:00:00] Este é o programa Fronteiras da Ciência da Rádio da Universidade, onde discutiremos
[00:00:09] os limites entre o que é ciência e o que é mito.
[00:00:12] Este programa é a continuação da discussão que tivemos sobre robótica e ética com os
[00:00:16] convidados, o roboticista Edson Prestes, que é professor do Departamento de Informática
[00:00:21] Teórica da URIs, e o filósofo Daniel Nascimento, que é doutor em Filosofia pela PUC do Rio.
[00:00:27] O pessoal do programa é o Jorge Kufel, do Departamento de Biofísica, e o Marco Idiarte,
[00:00:32] do Departamento de Física da URIs.
[00:00:34] Existe uma crescente influência da tecnologia da informação no dia a dia da humanidade.
[00:00:39] Algoritmos de todos os tipos fazem a nossa vida cada vez mais fácil, mas ao mesmo tempo
[00:00:43] causam uma certa dependência e nos colocam em situações de vulnerabilidade.
[00:00:48] Além disso, esses algoritmos estão crescendo em sofisticação, e o que é mais perturbador,
[00:00:54] pelo menos para mim, é que a gente começa a poder se comunicar com eles usando a nossa
[00:00:59] própria linguagem.
[00:01:00] Existe uma classe muito especial desses algoritmos, que é a classe das inteligências artificiais,
[00:01:06] e essas inteligências artificiais são ainda muito mais extraordinárias.
[00:01:09] Elas tomam decisões baseadas em análises de dados que são cada vez mais opacas ao
[00:01:16] ser humano.
[00:01:17] Isso parece um pouco contraditório, porque nós mesmos nos construímos essas máquinas,
[00:01:22] mas não é bem assim.
[00:01:23] O que desenhamos e entendemos de certa forma são os algoritmos de aprendizagem dessas
[00:01:28] máquinas, ou seja, como elas usam os dados para se modificar internamente.
[00:01:33] Mas como elas acham as soluções para os problemas, isso a gente não entende muito bem.
[00:01:39] Então essa crescente sofisticação e essa dificuldade de leitura de como é que a máquina
[00:01:44] está resolvendo um problema, faz com que a gente trate essas máquinas cada vez mais
[00:01:49] como outros seres conscientes.
[00:01:51] E agora imagine se ainda dermos a forma humanoide para essas máquinas, ou seja, a forma de
[00:01:57] um robô.
[00:01:58] Não é de se surpreender o efeito psicológico e todo o tipo de medo que isso vai criar num
[00:02:04] ser humano.
[00:02:05] E a pergunta importante para nós é, serão esses novos seres que estamos criando benevolentes
[00:02:11] conosco quando ficarem mais capazes que nós cognitivamente?
[00:02:15] Ou seja, eles ainda serão nossos escravos depois que ficarem mais capazes que nós?
[00:02:20] Como é que a gente garante isso?
[00:02:21] O escritor Isaac Asimov, no seu livro clássico dos anos 50, o Eu Robô, propôs uma solução
[00:02:28] onde essas máquinas teriam uma série de leis embutidas nos seus cérebros positrônicos.
[00:02:33] Essas leis seriam tão intrinsecamente acopladas às suas inteligências que se o robô não
[00:02:38] seguisse elas, ele danificaria o cérebro.
[00:02:41] Mas claro, isso é uma solução ficcional.
[00:02:43] Essa solução talvez não seja uma solução prática.
[00:02:46] E hoje em dia estamos começando a buscar essas soluções práticas porque as inteligências
[00:02:51] artificiais autônomas estão logo ali, há alguns poucos anos.
[00:02:56] Então recentemente, em 2016, a ITREZE, que é uma organização internacional dedicada
[00:03:01] à tecnologia, a ITREZE é uma organização americana, mas hoje em dia é mundial, ela
[00:03:09] publica periódicos em tecnologia e engenharia, começou com engenharia elétrica e eletrônica
[00:03:15] e agora se estendeu para a computação e outras áreas, mas são áreas da engenharia
[00:03:19] e da tecnologia.
[00:03:21] Então essa organização recentemente patrocinou a chamada Iniciativa Global para Considerações
[00:03:28] Éticas e Inteligência Artificial e Sistemas Autônomos.
[00:03:31] Então a ideia dessa iniciativa era justamente começar a discutir regras para projetos de
[00:03:37] robôs, de inteligências artificiais e sistemas autônomos, para que a gente ficasse com uma
[00:03:44] certa garantia que eles não se virariam, por exemplo, contra nós no futuro.
[00:03:48] Como é que a gente começa a limitar alguns tipos de comportamentos dessas inteligências
[00:03:55] artificiais?
[00:03:56] Então a motivação desse programa, que foi feito em duas partes, é porque o Edson Trestes
[00:04:02] participou desse trabalho que formulou essa série de diretrizes que devem ser observadas
[00:04:08] pelos projetistas de máquinas inteligentes, agora e no futuro.
[00:04:11] O foco do programa de hoje, a gente vai partir do seguinte ponto.
[00:04:15] Como é que na prática a gente pode fazer com que essas máquinas observem valores humanos
[00:04:20] tais como os que tem na Declaração dos Direitos Humanos?
[00:04:23] A Declaração dos Direitos Humanos é um pouco da base dessa série de diretrizes propostas
[00:04:30] pelos pesquisadores e cientistas que trabalharam na iniciativa da I3D.
[00:04:37] Então, na verdade, tem duas discussões misturadas, tem a discussão da proteção
[00:04:42] de nós contra os robôs ficando mais complexos, capazes de fazer mais coisas com graus progressivamente
[00:04:47] maiores de autonomia, o que deixa eles mais arriscados, porque eles vão dever em programas
[00:04:52] para que nós possamos cometer, e, segundo, a questão é quando entra a inteligência
[00:04:55] artificial em ação, vai surgir um debate que eu acho que ainda é muito prematúrio,
[00:05:00] um cérebro eletrônico mais complicado de ser, não tem nada a ver com um cérebro biológico
[00:05:04] em termos de complexidade.
[00:05:05] Eu não tenho nenhum risco de esses computadores seriais virarem cérebros, não tenho, na
[00:05:11] minha opinião.
[00:05:12] Posso ter errado, mas acho que não.
[00:05:14] O problema é que se, por acaso, for cruzada essa linha, aí surge um novo debate, que
[00:05:18] é, ok, essas são criaturas sencientes, podemos conferir direitos iguais ou semelhantes ao
[00:05:24] que nós conferimos a nós mesmos como humanos, e aí o debate é todo outro.
[00:05:28] Eu acho que essas regras que eles colocam aqui ainda não estão nesse nível, mas estão
[00:05:31] preocupados com isso.
[00:05:32] Estão preocupados com isso.
[00:05:33] Esse projeto, a gente se conhece como humanidade, que a gente tem toda essa maravilha, essa
[00:05:37] capacidade incrível de fazer coisas boas, de refletir e produzir regras tão fantásticas,
[00:05:41] e ao mesmo tempo nós somos um desastre, nós somos autodestrutivos, somos assassinos,
[00:05:45] somos cruéis, somos monstruosos, e a gente está pensando que se essas máquinas seguirem
[00:05:48] esse caminho, vamos fazer o mesmo e podem ser piores do que nós.
[00:05:51] Então, o projeto é a culpa, quase, não acha?
[00:05:54] A gente está tentando criar essas normas baseadas em conceitos de ética, mas o problema é
[00:05:59] que a ética não é universal.
[00:06:01] Então, por exemplo, a ética é relativa, relativa à comunidade, aí vem o que tem
[00:06:05] a preocupação, né?
[00:06:06] Às vezes, as regras dos direitos humanos são pensadas para serem pensadas.
[00:06:09] São pensadas, são pensadas para serem pensadas.
[00:06:10] Porque assim, ó, tem limites, o sofrimento não é aceito.
[00:06:13] Não, mas, observa, os direitos humanos, mas quando a gente vai olhar para as especificidades,
[00:06:17] a maneira, os costumes, os valores da sociedade, porque isso é algo que tem que ser pensado
[00:06:21] também, não é simplesmente o conjunto de regras dos direitos humanos, a gente observa
[00:06:25] que muda de comunidade para comunidade, porque assim, ó, se você observar as regras de
[00:06:29] Asmo, elas estão todas pensadas em um toque para o robô.
[00:06:32] No robô escravo?
[00:06:33] No robô escravo.
[00:06:34] Porém, assim, a gente não pode, por exemplo, olhar dessa forma para o robô, porque o robô
[00:06:40] ele não é moramente capaz, né?
[00:06:42] Começa por aí.
[00:06:43] Então, tanto que essas leis são chamadas de leis de insegurança da robótica, elas
[00:06:46] nunca vão ser atingidas.
[00:06:47] Só não sei que tu tenhas, por exemplo, a superinteligência.
[00:06:50] A gente tem uma discussão também sobre novas leis de Asmo, onde essas novas leis elas
[00:06:55] são mais focadas em robôs que obedeçam em hierarquias, robôs que transfiram, por
[00:07:01] exemplo, o controle de uma maneira suave dele em relação ao usuário, né?
[00:07:06] Porque, por exemplo, se tu olhar essas regras aí podem ser rapidamente comprometidas, né?
[00:07:12] Basta tu pensar assim, ó, um ser humano tá com sede, tá morrendo de sede, aí o robô
[00:07:17] vai lá e tenta proteger o ser humano, pega um copo de água contaminada.
[00:07:20] Ele não sabe que aquilo é água contaminada.
[00:07:22] E na cabeça dele tá achando que tá pra vivendo esse ser humano.
[00:07:25] Mas aí é um erro.
[00:07:26] Um erro pode acontecer com o humano também.
[00:07:28] Pode acontecer com o humano também.
[00:07:29] Não, tô pensando em outras coisas.
[00:07:30] Não pode usar robôs, por exemplo, pra trabalhar com o controle de rotidões, com desarmar
[00:07:35] bombas e aí causar danos a humanos e tal.
[00:07:38] Então tem decisões que ele não pode fazer.
[00:07:40] Eu concordo que as leis são mais ficção científica.
[00:07:42] É, são mais ficção científica.
[00:07:43] Mas eu tô refletindo o passo seguinte.
[00:07:45] Eu acho que as regras do IE3D agora já parecem ser, digamos, as pré-leis.
[00:07:50] As pré-leis.
[00:07:51] Isso, as pré-leis.
[00:07:52] Mas mesmo assim, já tá…
[00:07:54] Os ambos estão pensando assim, o robô como um escravo.
[00:07:57] Não vou entrar tanto nessa história da relatividade, porque eu acho que isso dá outro programa.
[00:08:03] E não vou entrar tanto nas leis das imóveis, porque eu gostaria que isso desse outro programa.
[00:08:07] Só vou comentar uma coisa.
[00:08:09] Tem uma edição de uma revista chamada, acho que é Compute, que termina com um ponto de
[00:08:14] vergonha.
[00:08:15] Eu baixei essa revista.
[00:08:16] Compute.
[00:08:17] Não, é Compute.
[00:08:18] Compute.
[00:08:19] É um artigo de 1981 do Asimov, onde ele fala das três leis.
[00:08:21] E ele diz com todas as letras.
[00:08:22] Ele diz, olha, essas são leis que não só eu acho que todo robô seguiria, como eu acho
[00:08:27] que todo ser humano tem que seguir, deve seguir.
[00:08:30] Eu acho que essas são as leis éticas fundamentais que devem regular o nosso comportamento nos
[00:08:34] convores.
[00:08:35] E na obra do Asimov, embora elas no começo sejam introduzidas da mesma forma como elas
[00:08:40] são no documento.
[00:08:41] Como lei de segurança, aos poucos ele vai te contando a história toda e te dizendo
[00:08:46] que, na opinião dele, aquelas são leis, que na verdade são leis éticas fundamentais.
[00:08:50] E eu acho que ele tem uma certa razão.
[00:08:52] Se você pegar o Imperativo Categórico do Kant, você consegue chegar ao muito parecido
[00:08:56] do que ele está te dando.
[00:08:57] Inclusive, a quarta lei que ele acrescenta depois é uma das leis do Imperativo Categórico,
[00:09:02] uma das leis mais citadas.
[00:09:05] Exatamente.
[00:09:06] Mas isso é vago, porque na verdade ele define definições e tal.
[00:09:09] Claro.
[00:09:10] Mas olha…
[00:09:11] A declaração dos direitos humanos, ela vai a nudo e não interessa.
[00:09:14] E a unidade tem algo que trabalhar.
[00:09:16] Não, mas aí é que tá.
[00:09:17] Você teria que inserir os direitos humanos como leis fundamentais ali.
[00:09:19] Mas aí a gente chega na outra questão, que eu acho que é uma questão interessante
[00:09:22] do documento e da nossa discussão, que é como é que você vai fazer com que o robô
[00:09:29] efetivamente seja inteligente, essa inteligência artificial.
[00:09:32] O modelo que está aí é um modelo de uma entidade capaz de seguir nós.
[00:09:38] Esse é o modelo que nos é oferecido.
[00:09:41] Sem grandes logos de autonomia e…
[00:09:43] Justo.
[00:09:44] Embora, aí é que está.
[00:09:45] Qual o modelo?
[00:09:46] O da Clip?
[00:09:47] Não.
[00:09:48] O documento supõe que existem determinadas normas com que se inserirem e que o robô tem
[00:09:54] que cumprir.
[00:09:55] A questão é…
[00:09:56] Isso é importante porque, assim, um ponto…
[00:09:59] As normas e os valores.
[00:10:01] 1.1 e 1.2.
[00:10:02] Na verdade, assim, tem um grupo, um contexto que está discutindo justamente como inserir
[00:10:07] isso.
[00:10:08] Mas, por exemplo, todos os outros campes, eles falam de outras coisas.
[00:10:11] Ali ao redor.
[00:10:12] No redor.
[00:10:13] No começo, vamos falar disso.
[00:10:14] Para mim, isso é, digamos assim, fundamental.
[00:10:16] No momento que eles foram incapazes de fazer isso, uma série de problemas vão se colocando
[00:10:20] e tem um problema que é como é que a gente faz eles fazer isso.
[00:10:24] Inserir normas e valores.
[00:10:26] E aí tem o problema que você chamou a atenção, que são as diferentes comunidades.
[00:10:29] Eu diria, não somente que você tenha regras morais diferentes no sentido de cada comunidade,
[00:10:36] mas que um dos mais problemas que a gente tem hoje é que nós, habitantes das democracias
[00:10:41] ocidentais contemporâneas, vivemos em comunidades plurais.
[00:10:44] Todos nós existimos dentro de mais de uma comunidade.
[00:10:47] Tem uma comunidade que é a comunidade dos estudadores brasileiros, tem outra comunidade
[00:10:50] que é a comunidade que nós pertencemos no interior de cada um das nossas famílias, tem
[00:10:53] uma outra comunidade que é a comunidade que nós pertencemos nos nossos sindicatos e daí
[00:10:57] por diante.
[00:10:58] Comunidade acadêmica.
[00:10:59] Comunidade acadêmica.
[00:11:00] Tem um monte de comunidades.
[00:11:01] Então, quando você está alocando um computador para dentro de uma comunidade, e não necessariamente
[00:11:05] para os indivíduos, você não está dando um computador pessoal para você, pode fazer
[00:11:09] o que você quiser.
[00:11:10] Não, não.
[00:11:11] Ele pertence a uma comunidade, ele é um funcionário dessa comunidade.
[00:11:14] O que o documento propõe é que você tenha que colocar as normas dessa comunidade dentro
[00:11:19] do computador.
[00:11:20] E o computador e o robô, eu uso como se fosse a mesma coisa, porque para mim é difícil
[00:11:25] pensar que não ser.
[00:11:26] No final é isso.
[00:11:27] Esses filósofos.
[00:11:28] Pois bem, não só, hoje em dia eu acho que a exigência não é só que você, tudo
[00:11:33] bem, você vai dar lá o computador para o, enfim, como assim agora?
[00:11:38] Você vai dar lá o computador, comunidade do judeu da ToDocs.
[00:11:41] Ele vai lá e você coloca todas as regras do judeu da ToDocs lá dentro.
[00:11:44] Não basta.
[00:11:45] Se ele vai andar perambulando pelo mundo, ele tem que conhecer as regras não só do judeu
[00:11:48] da ToDocs, mas de todo mundo.
[00:11:49] Porque você não concede a ninguém mais o direito de sair tratando os outros de acordo
[00:11:54] com as suas próprias regras de moráquia.
[00:11:56] Tirando o núcleo duro que nós achamos partilhado de direitos humanos e tal.
[00:12:00] Eu acho que tudo isso dá para fazer.
[00:12:02] Ou pelo menos é concebido o que se faz.
[00:12:04] Isso, por sinal, eu tenho discutido em um dos comentários.
[00:12:07] E não está aparecendo nesse documento.
[00:12:09] Está aparecendo na versão 2.0.
[00:12:11] Que é justamente inserir um robô de forma que não impacte negativamente.
[00:12:17] E fazer isso é justamente levar em consideração esses aspectos.
[00:12:20] Levar em consideração essa probabilidade.
[00:12:22] Ou seja, quando um judeu da ToDocs está se comunicando, está interagindo com uma outra
[00:12:29] pessoa de uma outra religião, ele deve ter uma interação onde de repente ele consiga
[00:12:37] refletir os valores daquela outra religião.
[00:12:39] Ou negociar pelo menos.
[00:12:41] Ou negociar pelo menos.
[00:12:42] Então, isso são aspectos que são discutidos.
[00:12:44] Em fato, é uma doença.
[00:12:45] As pessoas têm que ver drogas de tolerância e confidencia em algum cisolo, um gueto,
[00:12:49] outros não.
[00:12:50] Isso são outras coisas importantes.
[00:12:53] Mas é difícil.
[00:12:54] É super difícil.
[00:12:55] Como é que você vai implementar tudo isso?
[00:12:57] Como é que você vai identificar?
[00:12:58] Ao mesmo tempo, e isso é uma coisa que eu tinha comentado antes de começar o programa
[00:13:02] e que eu achei muito interessante.
[00:13:03] Hoje em dia, o que eu mais estudo é uma área da filosofia chamada metaética.
[00:13:07] Que é uma área que está preocupada em, enfim, esclarecer nossos conceitos éticos fundamentais.
[00:13:11] Bom e mal, direito e errado, etc.
[00:13:15] E nessa discussão de metaética você mais cedo ou mais tarde se encontra com um modelo
[00:13:20] de que seria a racionalidade prática dos seres humanos.
[00:13:22] Basicamente, o que a maioria dos filósofos hoje acreditam é o seguinte.
[00:13:26] Que quando você tem que tomar uma decisão a respeito de alguma coisa, o que você faz
[00:13:31] é ler a situação que se apresenta para você, através do seu aparato perceptivo,
[00:13:36] das suas capacidades racionais, etc.
[00:13:38] Você consegue isolar as características dessa situação que são mais relevantes
[00:13:43] para a sua decisão e tomar essa decisão baseado nessas características.
[00:13:46] No caso de uma decisão moral, muita gente acredita que as características que são
[00:13:50] moralmente relevantes numa situação são dadas pelos nossos conceitos morais.
[00:13:54] Quer dizer, quando você vê um indivíduo na rua e você percebe que o outro indivíduo
[00:13:58] acabou de bater a carteira dele e saiu correndo, você lê essa situação perceptualmente
[00:14:04] e racionalmente como uma situação de roubo e o princípio moral que diz roubar é errado,
[00:14:08] te faz emitir um juízo de valor, um juízo moral imediatamente sobre aquela situação,
[00:14:12] aquele indivíduo fez uma coisa errada e, a partir desse juízo, você tem a sua reação.
[00:14:16] Eu fico impressionado, é exatamente isso o que esse modelo parece que a gente consegue fazer
[00:14:23] Eles vão ser capazes de ler a situação e, de posse de um monte de normas,
[00:14:28] eles vão ser capazes de avaliar essa situação e reagir perante ela.
[00:14:34] Que é isso que eu venho vendo, que eu vejo no filme de ficção científica desde que eu sou adolescente.
[00:14:38] Então, você entende que isso me parece plausível, isso me parece factível.
[00:14:42] Agora, eu não tenho a menor compreensão de como é que você consegue fazer isso.
[00:14:45] Eu tenho a menor compreensão de como é que você consegue fazer isso.
[00:14:49] Sim, esse é a minha grande questão.
[00:14:53] Eu acho que os nossos medos ainda são muito orientados pela imagem ficcional
[00:14:59] que nos é dada desses objetos.
[00:15:02] E menos pautado pelos objetos tal como nós somos capazes de produzir,
[00:15:06] sobre os efeitos que acho que eles podem ter.
[00:15:08] Agora, já!
[00:15:11] Esse é o meu grande medo.
[00:15:14] Agora, eu gostaria de saber de vocês se parece que essa empreitada é possível,
[00:15:20] porque isso me interessa, enfim, por curiosidade mesmo.
[00:15:22] É, eu sou besta.
[00:15:24] Falar sobre ficção científica, tudo bem, é óbvio que todo mundo está assistindo filme de ficção científica,
[00:15:31] mas ele não é orientado pela ficção científica.
[00:15:34] Eu acho que ele tem uma inspiração forte ali.
[00:15:36] Eu acho que ele tem uma expectativa ali de que estamos na bórbola,
[00:15:39] na beira disso de começar a funcionar.
[00:15:41] Não, mas isso é o medo nosso.
[00:15:44] Lá no começo, o homem tem esse medo.
[00:15:49] É porque ele diagnostica esse sentimento.
[00:15:51] Eu acho que ele faz as leis.
[00:15:53] E o documento não é assim por causa da ficção científica.
[00:15:56] O documento é assim por nossa calma.
[00:15:58] Esses são os medos que nós temos.
[00:16:00] Esses são os nossos medos.
[00:16:02] E isso é um problema.
[00:16:04] Eu vou pensar nos robôs que são utilizados realmente atualmente,
[00:16:08] tipo aquele cão de robô que é utilizado dentro de geriatrias,
[00:16:15] onde existe um cão de robô que é utilizado dentro de geriatrias.
[00:16:20] De geriatrias, elas não podem ter cães realmente vivos.
[00:16:24] Então, são dados com robôs para pessoas para isso.
[00:16:27] Mas isso existe mesmo na prática? Só no Japão?
[00:16:30] Não, existe.
[00:16:31] Você pensa, por exemplo, em alguns outros brinquedos robôs que são utilizados.
[00:16:34] Sim, sobre brinquedos.
[00:16:36] Então, você olha os brinquedos interativos e começa a refletir sobre qual é o impacto disso.
[00:16:41] Então, você pensa, por exemplo, no people,
[00:16:44] onde são robôs supersímiles que são utilizados para tratamento de autismo.
[00:16:49] Aí você pensa, por exemplo, no jibo, que em breve vai estar aí.
[00:16:53] No próprio Alex, você pensa, por exemplo, no robô dentro de Santa Fábrica.
[00:16:57] Se você pensar no próprio robô que limpa esse burrumba,
[00:17:01] o burrumba fica num momento de privacidade séria.
[00:17:03] Se você pensar dessa forma, ele está conectado à sua rede,
[00:17:05] você poderia ter um hacker que acessa esse burrumba e faz matamento em toda a sua casa.
[00:17:10] Então, aspectos como esses não são aspectos societípicos, mas é algo que está real.
[00:17:15] É, mas isso não são aspectos éticos, né?
[00:17:17] São aspectos…
[00:17:18] Enquanto você pensa nos aspectos éticos, você pensa no mais holístico.
[00:17:22] Tem problemas e implicações.
[00:17:23] Quais são as implicações que tem uma máquina ali dentro de sua casa?
[00:17:26] O teu aspirador pode entregar para um ladrão hacker o local do teu cofre.
[00:17:29] Não, mas não é ele que entrega.
[00:17:31] Não é ele que entrega.
[00:17:32] Mas não é ele que entrega.
[00:17:34] Ele permite isso acontecer.
[00:17:35] Sim, mas é uma questão de segurança.
[00:17:36] Inconscientemente.
[00:17:37] Sim, mas é uma questão de segurança que você tem hoje com esse motivo.
[00:17:39] É o mesmo…
[00:17:40] É o mesmo cara entrar e espionar a tua casa.
[00:17:42] Isso, para mim a mesma questão de segurança que ter uma janela grande.
[00:17:45] A diferença é que alguém entrar, invadir a tua casa, espionar ela
[00:17:48] e alguém usar uma coisa que você voluntariamente botou na tua casa.
[00:17:51] E também permite isso. Tem uma diferença legal.
[00:17:53] É que para mim a questão é se o Roomba pudesse tomar decisões
[00:17:57] sobre o que ele fazer dentro da tua casa e tomasse decisões.
[00:18:00] Não, não precisa.
[00:18:01] Precisa isso.
[00:18:02] Por exemplo, se precisava de uma privilacidade de dados,
[00:18:04] se precisava de um grupo de manipulação, é justamente isso.
[00:18:08] Tem uma terceira pessoa ali que está acessando o teu robô remotamente
[00:18:11] e está te coletando dados.
[00:18:12] Ou está, por exemplo, imagina só um robô que vai cuidar da tua criança.
[00:18:15] Sim, sim.
[00:18:16] Eu estou querendo dizer que essa pessoa que está acessando o robô
[00:18:22] e coletando os seus dados, ela está…
[00:18:24] Ela está lhe operando.
[00:18:26] Mas ela está mudando a função do robô.
[00:18:29] Então tem uma questão de segurança parecida com a da janela.
[00:18:31] Mas não é a questão do que o robô está fazendo, o que ele pode…
[00:18:35] As novas implicações éticas que o robô coloca não são essas.
[00:18:39] Quer dizer, isso é um perigo novo.
[00:18:41] Uma vez que você tem um robô lá, todos os perigos que ele traz são perigos novos.
[00:18:44] Mas eles são perigos semelhantes aos perigos antigos que você enfrentava com os outros.
[00:18:48] Eu acho que tem que fazer uma gravação, uma espécie de gravação de níveis de risco.
[00:18:54] Existem os riscos, uma linha de corte entre o que é real e o que é possível,
[00:18:58] o ficcional e o que é ficcional é o puro.
[00:19:01] Eu acho uma questão interessante que o Edson tinha levantado antes.
[00:19:06] Por exemplo, a dependência emocional de uma pessoa com um robô
[00:19:13] que vai fazer o contrário.
[00:19:15] O que se diz que…
[00:19:16] Tiram o cão-robô lá da Gisele?
[00:19:19] Não, mas não só isso.
[00:19:21] Não é impossível.
[00:19:22] Eu puxo um caso mais simples.
[00:19:24] É uma coisa mais simples que isso aí.
[00:19:25] Que é o que eu chamo de opositoridade do erro catastrófico.
[00:19:28] Como não existem inteligência real, robôs intuitivos que fazem como nós,
[00:19:32] fazendo pra tomar decisões, eles precisam decidir a partir de algoritmos
[00:19:35] que nós implantamos, previamente.
[00:19:37] E eles trabalham dentro daquilo.
[00:19:38] E algoritmos são coisas que você antecipa cenários,
[00:19:42] mas você nunca consegue antecipar tudo.
[00:19:44] Então, você pode planejar um algoritmo que, na verdade,
[00:19:46] se você seguir ele, arrisca e algo inesperado entra em ação,
[00:19:50] ele pode ser a forma do desastre.
[00:19:52] De certo modo, o que aconteceu em Fukushima,
[00:19:54] é o exemplo que eu chamo de efeito estrangeiro.
[00:19:57] Tudo está planejado para não ter risco e acaba sendo o fim do mundo.
[00:20:02] O robô pode entrar com um planejamento tal,
[00:20:04] o robô é um cuidador e tal,
[00:20:05] e de repente ele segue uma sequência de eventos e acaba sufocando.
[00:20:08] Quanto evita isso aí?
[00:20:09] Um detalhe muito mais simples que inteligência real.
[00:20:12] E eu acho que essas regras aqui já antecipa um pouco isso.
[00:20:15] Talvez seja o caso de não ter robôs.
[00:20:17] Até a gente conseguir ter certeza do que vai acontecer.
[00:20:19] Tecnofóbico.
[00:20:21] Neoludita.
[00:20:23] Como é que é?
[00:20:24] Neoludita.
[00:20:27] Mas eu sou um neoludita temperado.
[00:20:31] Esse ponto que tu levantaste é extremamente importante,
[00:20:33] porque antes de nós começarmos a gravação,
[00:20:35] nós estávamos comentando sobre transparência,
[00:20:37] que é algo super importante para o desenvolvimento desses sistemas robóticos.
[00:20:41] Eu acho que isso foi uma das grandes contribuições das suas excursões.
[00:20:45] A transparência é de fornecer dados claros.
[00:20:48] E o robô te dizer quais são as ações que ele tomou para chegar a uma determinada conclusão.
[00:20:55] Só que, lógico, tem diferentes níveis de abstração.
[00:20:58] Se o robô gerar uma falha, está numa situação de falha,
[00:21:01] num acidente em particular, está um robótico.
[00:21:04] Eu preciso saber o que aconteceu ali,
[00:21:07] para eu poder, por exemplo, saber quem seria o responsável daquela ação.
[00:21:11] O robô quer botar o carro e esquecer de dirigir sozinho.
[00:21:14] Aí vai ter um problema com os acidentes catastróficos que podem acontecer.
[00:21:17] E já aconteceu.
[00:21:19] Acidentes catastróficos ocorrem sem os robôs.
[00:21:22] Quer saber, vai aumentar?
[00:21:24] Vai se diminuir o coincidente catastrófico?
[00:21:27] A questão é que hoje em dia, quando existe um acidente de carro,
[00:21:30] eu sei quem foi o culpado.
[00:21:33] Eu acho que esse é o grande.
[00:21:35] Bom, para mim, o conceito de transparência é um conceito virtualmente mágico que aparece aí.
[00:21:39] Porque, efetivamente, eu só consigo acreditar que essa transparência é totalmente possível
[00:21:44] no caso dos atendimentos artificiais.
[00:21:46] E acho que se forem capazes de produzir isso, vão ter feito uma coisa muito, muito impressionante.
[00:21:50] Agora, no caso dos seres humanos, eu tendo a acreditar que esse nível de transparência é…
[00:21:56] Não, os seres humanos, certamente.
[00:21:58] Mas, por exemplo, no caso de uma máquina,
[00:22:00] quando você pensa em transparência,
[00:22:02] quando você pensa nesse nível de detalhamento,
[00:22:04] pode pensar assim, tá, mas como é que eu desenvolvo um modelo que me permite dizer…
[00:22:07] Justo! O que você quer?
[00:22:09] E ao mesmo tempo que você sabe o que que gerou aquela causa,
[00:22:12] você pode saber quais são as situações de falhas, que podem gerar falhas.
[00:22:15] Então, se tu tiveres um modelo, tu consegue prever como foi gerado aquele…
[00:22:19] Chegamos naquele evento baseado no combustível de comportamento,
[00:22:23] mas quais são aquelas ações que podem te levar a casa?
[00:22:26] Mas isso é importante do ponto de vista, por exemplo,
[00:22:29] a ideia da transparência antecipando o projeto é muito importante.
[00:22:35] Porque hoje em dia a gente tem, por exemplo,
[00:22:37] esses grandes sucessos de inteligência artificial, que são essas deep networks,
[00:22:43] que estão resolvendo uma série de problemas cada dia.
[00:22:45] Cada dia a gente sabe de uma nova inteligência artificial que resolve um novo problema.
[00:22:50] Só que…
[00:22:52] Deep learning.
[00:22:54] Só que essas inteligências artificials são muito difíceis de decodificar.
[00:22:58] Elas são completamente opacas.
[00:23:00] Tu não sabe o que está sendo…
[00:23:02] Porque são milhares de conexões.
[00:23:04] Mas essa é a minha pergunta.
[00:23:06] Não, não, mas isso que eu estava falando.
[00:23:08] Agora, se tu tem uma normatização antecipatória,
[00:23:12] que diz assim, ah, tu vai desenhar uma coisa,
[00:23:15] mas tu tem que pensar que essa coisa tem que ser auditada.
[00:23:19] Porque essas inteligências artificials são muito bem sucedidas.
[00:23:22] É uma ação de muito difícil interpretação pós fenômeno.
[00:23:27] Muito, muito difícil.
[00:23:28] Por isso que eu acho que é legal essa ideia.
[00:23:30] Mas você não acha que quanto mais complexo for a operação,
[00:23:34] mais difícil vai ser que essa máquina seja capaz de te dar um relatório perspiro?
[00:23:39] Claro, claro.
[00:23:40] Quer dizer, um relatório que você consiga, a partir dele, apontar a causa.
[00:23:43] Mesmo supondo que a causa do funcionamento tenha a ver com alguma coisa,
[00:23:47] o relatório pode te mostrar.
[00:23:48] Porque pode ser um fator externo.
[00:23:50] Mas o que eu estou querendo dizer é que é muito importante
[00:23:53] que faça parte da investigação e da pesquisa,
[00:23:56] tu tenha transparência também.
[00:23:58] Porque é muito fácil, quer dizer, não,
[00:24:00] botei tudo ali, rodei, deu o resultado, deu.
[00:24:02] Funcionar bem é teu.
[00:24:04] É fundamental.
[00:24:05] É muito fácil dizer que não é possível e simplesmente não se fazer nada.
[00:24:08] Só que a questão é, está se colocando o ideal.
[00:24:11] O ideal que deve ser.
[00:24:13] E além do mais, assim, os padrões,
[00:24:15] o sinal de transparência vai se tornar um padrão oficial da I3I.
[00:24:20] Então, nesse caso, imagina, tu vai ter quase um selo dizendo,
[00:24:23] olha, esse robô aqui, ele tem um selo ISO I3I 2000 e alguma coisa.
[00:24:30] Dizendo que ele tem um nível de transparência.
[00:24:32] Só que esse padrão, ele evolui ao longo do tempo.
[00:24:34] Então, cada vez mais, quanto mais tu conheces sistemas de bote,
[00:24:37] mais tu pode, por exemplo, melhorar o teu nível de transparência.
[00:24:39] Claro.
[00:24:40] Eu sigo há muitos anos a ESS, Electronic Frontier Foundation,
[00:24:46] que é derivada da I3E, não sei se tu conhece o trabalho lá.
[00:24:50] Que é uma, é assim, é uma associação mantida pelos sócios,
[00:24:55] que é voltada a proteção dos direitos fundamentais com relação à tecnologia.
[00:24:59] Especialmente questões de privacidade.
[00:25:01] Exatamente esses temas que a gente está discutindo.
[00:25:03] E eles são engenheiros, são techs, o pessoal aí fala,
[00:25:06] e eles discutem muito, o tema da privacidade tem sido tema dominante
[00:25:09] nos últimos dez anos, mas ele já discutiu outros temas.
[00:25:11] Esta robótica já foi um assunto,
[00:25:13] porque essa fundação já tem uns trinta anos ou mais,
[00:25:15] está baseada em São Francisco,
[00:25:17] e eu gosto muito dos materiais deles,
[00:25:19] tem umas análises muito boas,
[00:25:21] até fico pensando se não foi um pouco a iniciativa de EFF,
[00:25:23] esse comitê aí.
[00:25:25] Sinceramente, eu não…
[00:25:27] EFF, é um…
[00:25:29] É, o que eu sei é que essa iniciativa é da I3E.
[00:25:35] Isso aí, mas eu não sei, por exemplo,
[00:25:37] quais foram as bases.
[00:25:39] Na verdade, a discussão relacionada à ética
[00:25:41] tem ocorrido,
[00:25:43] tem ocorrido, só que localizada, né?
[00:25:45] Ah, uns focos ali na Europa,
[00:25:47] outros focos nos Estados Unidos,
[00:25:49] ou seja, nada ao nível global.
[00:25:51] Então eles observaram esses focos,
[00:25:53] viram que todas as pessoas participam da mesma sociedade,
[00:25:56] então resolveram fazer uma iniciativa global.
[00:25:58] E qual é o futuro disso agora?
[00:26:00] Você disse que vai sair o documento 2.0.
[00:26:02] O documento 2.0 agora, onde?
[00:26:04] Não, na verdade, vai ser o primeiro
[00:26:06] quer dizer, vai ser bastante diferente.
[00:26:08] O primeiro curso, talvez.
[00:26:10] Nós vamos estar recinando o primeiro,
[00:26:12] a primeira versão, porque nós abrimos
[00:26:14] para a comunidade internacional
[00:26:16] comentar, só que
[00:26:18] vamos ter outros grupos ali
[00:26:20] apresentando esses trabalhos.
[00:26:22] Um deles é o de computação afetiva, mas existem outros grupos
[00:26:24] associados à superinteligência,
[00:26:26] realidade virtual, realidade aumentada,
[00:26:28] e entre outras coisas.
[00:26:30] Ou seja, o documento que vai ser
[00:26:32] disponibilizado daqui a…
[00:26:34] eu acho que um mês, dois meses,
[00:26:36] vai conter todas as informações.
[00:26:38] Só que um ponto importante é que
[00:26:40] esse documento também está dando origem
[00:26:42] a vários padrões, porque aqui
[00:26:44] é um conjunto de recomendações. Ainda não é um padrão.
[00:26:46] Então, existem padrões, por exemplo,
[00:26:48] como desenvolver esse sistema
[00:26:50] de entesista social e autônomo
[00:26:52] seguindo princípios éticos.
[00:26:54] Na parte de todo o desenvolvimento
[00:26:56] do software em si,
[00:26:58] tem um associado à
[00:27:00] transparência de dados, um que a gente
[00:27:02] chegou a discutir, que é sobre bias,
[00:27:04] ou seja,
[00:27:06] quando você desenvolve o algoritmo,
[00:27:08] você está colocando o conhecimento
[00:27:10] do programador ali.
[00:27:12] E os pregoceitos dele.
[00:27:14] É, todos os pregoceitos.
[00:27:16] A criatura será tão boa quanto o criador,
[00:27:18] na melhor das hipóteses.
[00:27:20] Mas não somente isso. Por exemplo, uma coisa simples,
[00:27:22] aquele caso do aplicativo do Google
[00:27:24] que estava mapeando negros como macacos,
[00:27:26] devido ao conjunto
[00:27:28] de treinamento. São coisas
[00:27:30] bem interessantes.
[00:27:32] Acho que eu mencionei contigo,
[00:27:34] o Google Translate, por exemplo,
[00:27:36] quando ele faz traduções
[00:27:38] de línguas que não tem gênero
[00:27:40] para línguas que tem gênero em geral, por exemplo,
[00:27:42] eu vi o caso do
[00:27:44] tradução de
[00:27:46] turco para inglês
[00:27:48] e onde o turco não tem
[00:27:50] gênero e aí, por exemplo,
[00:27:52] médico era
[00:27:54] traduzido como o médico
[00:27:56] e enfermeira era traduzido como
[00:27:58] a enfermeira.
[00:28:00] Ou seja, eles botavam bias
[00:28:02] dado ao conjunto de treinamento
[00:28:04] e mudavam a tradução.
[00:28:06] Entre outras coisas.
[00:28:08] Então, por exemplo, um padrão sobre
[00:28:10] nudging e manipulation.
[00:28:12] Nudging é uma espécie de tutoria.
[00:28:14] O robô te auxiliando
[00:28:16] a como resolver determinados
[00:28:18] tarefos. É um processo onde
[00:28:20] você não muda o processo de decisão da
[00:28:22] pessoa em si, mas cria
[00:28:24] mecanismos para que essa pessoa
[00:28:26] consiga realizar uma tarefa da melhor forma possível.
[00:28:28] Só que ao mesmo tempo, você cria esse mecanismo
[00:28:30] e você pode manipular essa pessoa
[00:28:32] diretamente, porque
[00:28:34] você tem um culto oralista e você pode usar de manipulação.
[00:28:36] Isso é uma variante dos
[00:28:38] ex-procíssemos que tinha nos anos 80 e 90,
[00:28:40] que é o precursor disso.
[00:28:42] Então, existem
[00:28:44] várias, eu acho que até o momento tem
[00:28:46] 14. A gente tem um grupo extra-oficial
[00:28:48] aprovado. Exceptionamente aprovado.
[00:28:50] Onde esse grupo, ele…
[00:28:52] Está completo a volta, tem um subgrupo de
[00:28:54] todo o avião tropical ali.
[00:28:56] A gente precisa entrar com o tropicalismo
[00:28:58] no sistema.
[00:29:00] Assim que o grupo for oficialmente aprovado,
[00:29:02] eu comunico com vocês, mas a ideia é que
[00:29:04] a gente consiga criar um padrão
[00:29:06] que consiga
[00:29:08] desenvolver esse tema robótico autônomo
[00:29:10] utilizando conceitos
[00:29:12] de ontologias.
[00:29:14] Vou ter que terminar aqui.
[00:29:16] Essa então foi a segunda parte
[00:29:18] do programa sobre ética e robótica.
[00:29:20] Os convidados foram o Edson Prestes,
[00:29:22] que é professor do Departamento de
[00:29:24] Informática Teórica da URGS,
[00:29:26] é doutor em robótica e membro da
[00:29:28] iniciativa da I3E para considerações
[00:29:30] éticas, inteligência artificial e
[00:29:32] sistemas autônomos.
[00:29:34] Outro convidado é o filósofo Daniel Nascimento,
[00:29:36] que é doutor em filosofia para
[00:29:38] Pugno Gil e trabalha
[00:29:40] no assunto de ética.
[00:29:42] O pessoal do programa, o Jorge Kylf,
[00:29:44] eu da biofísica e eu o Marco de Arte
[00:29:46] da Física da URGS.
[00:29:48] O programa Fronteiras da Ciência é um projeto
[00:29:50] feito do Instituto de Física da URGS.