Lembrando o humano usando a máquina

Lembrando o humano usando a máquina

Sempre que ouço sobre novos desenvolvimentos no mundo da tecnologia, minha reação inicial tende a ser entusiasmo. E agora, muitos novos desenvolvimentos em tecnologia tendem a ser dominados por IA, aprendizado de máquina e automação.

Em todo o seu potencial, essa tecnologia tem o poder de ajudar, encantar e melhorar as experiências das pessoas. No entanto, à medida que construímos coisas para grupos cada vez maiores de pessoas, mais difícil é antecipar seus efeitos; bom ou mal.

Então, quando entrei pela primeira vez em uma equipe de ciência de dados na empresa de software de contabilidade na nuvem Xero, fiquei animado com a oportunidade, mesmo que não tivesse certeza de qual seria o meu papel. (Lembro-me de ser perguntado “Por que a ciência de dados precisa de um designer?” E não ter inicialmente uma resposta – isso foi algo que não ficou claro para mim até muito mais tarde.)

Foi com essa equipe, ao testar com os clientes, que observamos quão brilhantemente essas tecnologias poderiam abordar os pontos problemáticos do cliente.

No entanto, também observamos que precisávamos responder a todos os novos problemas e novos comportamentos que a tecnologia poderia criar – aqueles que não víamos chegando.

É como mágica!
Para alguém que não é técnico, a percepção de aprendizado de máquina e automação pode ser quase mágica. Vemos isso em nossos próprios clientes quando algo tedioso e demorado foi automatizado ou antecipado para eles. Quando eles descrevem algo como “mágica”, vem de um sentimento de deleite – nosso produto economizou tempo e fez o trabalho para eles.

Mas o que acontece quando as coisas estão erradas?

Automação carrega grandes expectativas de velocidade e precisão
Sabemos na Xero que é uma vitória para nossos clientes quando podemos automatizar tarefas repetitivas de contabilidade, dando-lhes mais tempo para gastar em seus negócios. Dependendo dos negócios do cliente, isso pode economizar horas por semana.

Quando minha equipe estava testando inicialmente os processos de contabilidade automatizada com os clientes, deixamos os detalhes do processo de automação vagos e ouvimos nossos clientes definirem suas próprias expectativas de como seria. Nós incluímos ambos os cenários ideais (onde tudo funciona perfeitamente) e realistas (onde algo está faltando ou algo dá errado).

Um de nossos primeiros aprendizados foi como seria difícil atender às expectativas de nossos clientes. Os participantes do teste ficaram entusiasmados com a perspectiva de capturar e transcrever informações automaticamente e assumiram que o processo automatizado faria isso de forma rápida e precisa.

Inevitavelmente, esses participantes ficaram decepcionados e confusos quando trabalhavam mais devagar do que esperavam. Para alguns, isso se tornou uma barreira para uso posterior. A quebra de suas expectativas os fez pensar se talvez fosse o processo que estava quebrado ou se seria melhor inserir os detalhes manualmente.

Delicie-se quando ele funciona e devastação quando ele não
Descobrimos outros motivos pelos quais a substituição de um fluxo de trabalho manual por um totalmente automatizado nem sempre funcionava bem. Os participantes falavam em manter um rastro de papel físico, caso houvesse problemas no futuro. Ao passar para um processo automatizado, eles explicaram que precisariam continuar verificando seus registros em papel até que o serviço se mostrasse confiável e preciso ao longo do tempo.

No entanto, depois que os participantes usaram nosso processo automatizado corretamente, percebemos uma maior confiança no processo e um comportamento mais casual em relação à dupla verificação. Eles rapidamente confiaram (e em alguns casos confiaram) no “sistema” e em sua capacidade de acertar as coisas.

Com essas expectativas elevadas, baixou-se a tolerância e a paciência por problemas ou erros. Quando dados incorretos surgiram, os participantes inicialmente assumiram que haviam feito algo errado. Quando, finalmente, perceber o erro veio do software, isso rapidamente se transformou em raiva e constrangimento. Nossos clientes achavam que tinham sido decepcionados e sua confiança traída. Na verdade, a confiança no Xero como produto inteiro (não apenas no processo automatizado) foi prejudicada.

Os participantes descreveram a dor de tarefas adicionais que precisariam fazer se erros como esse acontecessem – verificando novamente as faturas e chamando seus clientes para verificar os créditos, por exemplo. As ramificações de um erro se espalharam por toda parte.

Nosso líder de pesquisa de design descreveu o evento como “The Big One” – que, como a famosa montanha-russa de Blackpool, quando acertamos a automação, aumentamos as expectativas que os clientes já tinham do Xero. Quando entendi errado, foi uma queda livre emocional.

Quando a tecnologia não funciona da maneira que o cliente precisava, os resultados podem ser devastadores. Foto por Dmitry Mashkin em Unsplash
As pessoas querem ser pilotos, não apenas passageiros
Frequentemente, presumimos que os fluxos de trabalho e os comportamentos existentes dos clientes poderiam ser facilmente sobrescritos se fossem substituídos pela opção de um processo “mais simples”. O que aprendemos em vez disso é a necessidade de projetar ao lado (e não contra) seus comportamentos existentes.

1. O modelo mental de alguns fluxos de trabalho vai além da tarefa. A automação traz o risco de reduzir a visibilidade que os clientes têm em relação aos detalhes menores de seus dados. Os clientes que têm o hábito de supervisionar esses detalhes têm uma noção melhor do que está acontecendo em seus negócios. A revisão desses dados também pode solicitar que eles façam outras tarefas importantes.

2. Não podemos ajudar nossos clientes quando eles estiverem fora do sistema.
A conformidade fiscal e o relacionamento com o cliente são o resultado final de uma empresa. Se algo der errado em seu software, pode haver um grande impacto em tudo que ele toca, e isso é algo que precisamos ter em mente.

3. Os clientes realmente precisam entender o nível de controle e visibilidade que têm antes de estarem dispostos a experimentar novos processos.
Apesar do benefício da automação, eles ainda precisam de um senso de controle. O processo automatizado precisa existir para atendê-los e às suas necessidades, sem substituí-los. Eles precisavam ser o piloto do avião, não apenas o passageiro.

“Preferimos pensar em IA como Inteligência Aumentada em vez de Inteligência Artificial. Adotar uma abordagem centrada no ser humano para construir relacionamentos entre a IA e os seres humanos nos obriga a encontrar humanos em seus termos, construindo relações de confiança e respeito, e sempre lembrando que sistemas inteligentes devem existir a serviço da humanidade, e não o contrário. ”
– Justin Massa, AI precisa ganhar nossa confiança, assim como qualquer relacionamento humano
Perguntas óbvias são facilmente esquecidas
Eu estava conversando recentemente com um convidado em um jantar. Ela era uma técnica têxtil – seu trabalho era experimentar e desenvolver tecidos diferentes para uma empresa de roupas esportivas. Ela estava me contando uma história sobre o desenvolvimento deste super tecido com sua equipe. Ela descreveu um novo material incrível que era à prova d’água, à prova de poeira, resistente a rugas, leve e extremamente durável.

No entanto, não foi até algum lugar no meio de fazer esse tecido que alguém de repente pensou em perguntar:

“Ei, isso vai ser confortável?”
Foi quando todos perceberam que estavam desenvolvendo um tecido super incrível que tinha a textura de uma lixa grossa.

Parece uma coisa óbvia a considerar, mas questões como essa são negligenciadas o tempo todo em qualquer tipo de indústria. É tão fácil pensar que estamos ajudando as pessoas com nossas soluções inovadoras e, depois, sofrer com o desapontamento quando isso não funcionar para elas. O que essas sessões de pesquisa me ensinaram é que é importante sempre voltar o foco para o cliente e seu problema, e não ser pego de todas as maneiras diferentes pelas quais a surpreendente tecnologia pode resolvê-lo.

Ficar conectado ao humano usando a máquina
As empresas de tecnologia precisam fazer avanços contínuos para responder às necessidades e melhorar a vida das pessoas para melhor. No entanto, também acho que somos levados a inovar primeiro e fazer perguntas depois.

Fazer perguntas é importante porque melhorar os produtos pode não ser tão simples quanto simplesmente automatizar uma tarefa tediosa e dolorosa isoladamente. Embora acreditemos que estamos simplificando e facilitando as coisas, também podemos estar alterando comportamentos não intencionais e introduzindo novos problemas para nossos clientes.

Também é importante estabelecer expectativas equilibradas com nossos clientes. E, embora em alguns casos a confiança do cliente seja facilmente obtida, precisamos lembrar que ela também pode ser facilmente perdida se formos negligentes. Isso pode ser devastador para os clientes, seus negócios e para nossa marca como um todo.

Como os designers e as equipes de produtos incorporados nos dados, precisamos continuar voltando ao problema do cliente. Porque sabemos que o aprendizado de máquina e a automação não são mágicos e não consertam os problemas das pessoas fazendo com que eles simplesmente desapareçam. A mudança acontece de forma incremental e exige muito rigor. E enquanto os dados nos dizem uma coisa, falar com clientes reais nos dá as perspectivas que precisamos para desafiar nossas suposições entusiasmadas.


Advertisement