Ethan Mollick's new book on AI and the future of work

Date de récolte : [[2024-04-06-samedi]]

Titre :

Mon avis :

Je me reconnais beaucoup dans ce que dit Ezra Klein ici :

And yet, I find living in this moment really weird, because as much as I know this wildly powerful technology is emerging beneath my fingertips, as much as I believe it’s going to change the world I live in profoundly, I find it really hard to just fit it into my own day to day work. I consistently sort of wander up to the A.I., ask it a question, find myself somewhat impressed or unimpressed at the answer. But it doesn’t stick for me. It is not a sticky habit. It’s true for a lot of people I know.

Les capacités des modèles sont devenues incroyables, mais on n'a pas encore trouvé la ou les bonnes manières d'interagir au quotidien, je dirais même chaque heure et chaque minute avec eux. Ou plutôt si : le signe d'une IA productive c'est quand on ne s'en aperçoit pas ou plus. Visiblement, il y a encore pas mal de cas où on n'a pas encore atteint ce stade. Bref, l'avenir de l'IA, de notre rapport à l'IA, est peut-être au moins autant une question de design, d'UX, que de machine learning.

Qui dit UX dit interaction. Ethan Mollick pense qu'il faut s'habituer à réfléchir à nos interactions avec les LLM comme à des interactions avec des personnes, plutôt que des outils :

A.I. is built like a tool. It’s software. It’s very clear at this point that it’s an emulation of thought. But because of how it’s built, because of how it’s constructed, it is much more like working with a person than working with a tool. And when we talk about it this way, I almost feel kind of bad, because there’s dangers in building a relationship with a system that is purely artificial, and doesn’t think and have emotions. But honestly, that is the way to go forward. And that is sort of a great sin, anthropomorphization, in the A.I. literature, because it can blind you to the fact that this is software with its own sets of foibles and approaches. But if you think about it like programming, then you end up in trouble. In fact, there’s some early evidence that programmers are the worst people at using A.I. because it doesn’t work like software. It doesn’t do the things you would expect a tool to do. Tools shouldn’t occasionally give you the wrong answer, shouldn’t give you different answers every time, shouldn’t insult you or try to convince you they love you. And A.I.s do all of these things. And I find that teachers, managers, even parents, editors, are often better at using these systems, because they’re used to treating this as a person. And they interact with it like a person would, giving feedback. And that helps you. And I think the second piece of that “not tool” piece is that when I talk to OpenAI or Anthropic, they don’t have a hidden instruction manual. There is no list of how you should use this as a writer, or as a marketer, or as an educator. They don’t even know what the capabilities of these systems are. They’re all sort of being discovered together. And that is also not like a tool. It’s more like a person with capabilities that we don’t fully know yet.

Je ne suis pas sûr d'être d'accord ici. Enfin pas tout le temps. Ethan dit que les développeurs sont les plus mauvais utilisateurs de l'IA. Pourtant ce sont probablement ceux qui aujourd'hui l'utilisent le plus et le plus souvent dans leur travail (en octobre 2023, le CEO de Microsoft, propriétaire de Github, annonçait avoir [plus d'un million d'utilisateurs payants à Copilot](https://www.linkedin.com/posts/ashtom_microsoft-has-over-a-million-paying-github-activity-7123051140115562497-7Hbq?utm_source=share&utm_medium=member Android), ce qui en fait probablement le système d'IA verticalisée pour un métier spécifique le plus rentable et le plus utilisé). Mais dans Github Copilot on peut interroger l'IA si on veut, mais le plus souvent l'IA se fait plutôt souffleuse : elle vient discrètement, sans trop déranger et sans que l'utilisateur ait à opérer de switch cognitif, proposer une suggestion. De la même manière que dans notre Gmail et depuis des années l'outil nous aide à aller plus vite dans certaines parties (jusqu'ici assez bénignes) de la rédaction de nos emails (les formules de politesse, ce genre de choses).

Ethan et Ezra parlent ensuite de la "personnalité" des grands modèles (ChatGPT, Gemini, Claude...). Et Etjhn souligne ceci :

So when I said that Claude is allowed to be more personable, part of that is that the system prompt in Claude, which is the initial instructions it gets, allow it to be more personable than, say, Microsoft’s Copilot, formerly Bing, which has explicit instructions after a fairly famous blow up a while ago, that it’s never supposed to talk about itself as a person or indicate feelings. So there’s some instructions, but that’s on top of these roiling systems that act in ways that even the creators don’t expect.

Ce qui me fait réaliser ceci : la grande majorité des utilisateurs de ces modèles ne sera jamais exposée qu'à une portion extrêmement réduite de l'ensemble des possibilités théoriques du modèle - pourtant développé à grands frais. Le system prompt revient en effet à réduire drastiquement l'espace latent au sein duquel on peut faire se promener le modèle au travers de nos propres prompts. Quel dommage d'une certaine manière ! Il pourrait exister dans des univers parallèles des millions de versions un peu différentes de ChatGPT ou Claude, sans qu'il soit besoin de les réentrainer, juste avec un system prompt différent. Du coup je réalise que je faisais jusqu'à présent l'hypothèse que lorsqu'on interroge ces modèles par API il n'y a pas de system prompt (ou plutôt c'est le développeur qui interroge l'API qui rédige le system prompt). Mais peut-on être sur qu'il n'y a pas de meta system prompt 🤔🤔?

S'agissant des hallucinations, je ne saurais mieux dire que Ethan. *It's a feature, not a bug.

So hallucination rates are dropping over time. But the A.I. still makes stuff up because all the A.I. does is hallucinate. There is no mind there. All it’s doing is producing word after word. They are just making stuff up all the time. The fact that they’re right so often is kind of shocking in a lot of ways.

URL :