Liebe Neugierige, Kreative, Entdecker*innen,

raue Zeiten, wenn man sich anschaut, dass mittlerweile jeder Kasperle und seine Oma mit einem Handy in der Hand ein Deepfake des Direktors beim Äpfel stehlen erstellen kann. Ja, ich weiß, völlig beknacktes Szenario, aber das, was tatsächlich teils mit Deepfakes gemacht wird, erzeugt bei mir Würgereflexe, also lieber die Äpfel.

Nun rücken aber die Nutzungsszenarien Künstlicher Intelligenz (KI) weiter unaufhaltsam in unser Leben – in immer mehr Bereiche! Und so wird, neben zugegebenermaßen auch vielen positiven Szenarien, auch das Bedrohungsszenario durch KI-Fälschungen für jeden einzelnen von uns immer realer. Aber manchmal muss man eben auch mal den Finger in die Wunde legen. Deshalb kümmern wir uns diese Woche mal darum, wie wir in der digitalen Ära gegen Fake-News, gefälschte Bilder und Stimmen vorgehen können, ohne unser Vertrauen in die Technologie und (noch viel wichtiger) unser Vertrauen in die Wahrheit an sich, zu verlieren.

„Es gab die Wahrheit und die Unwahrheit, und wenn man an der Wahrheit festhielt, sogar gegen die ganze Welt, war man nicht verrückt.“ – George Orwell, 1984

Wie KI-Fälschungen entstehen und was sie bedrohlich macht

Die Fähigkeit von KI, nahezu fotorealistische Bilder, authentisch klingende Stimmen und überzeugende Videosequenzen zu erzeugen, hat die Verbreitung von Fake-News und Desinformation beinahe schon salonfähig gemacht. Wie funktionieren diese Technologien, welche Anwendungen haben sie und welche ethischen Überlegungen werfen sie auf?

Technische Grundlagen

KI-Fälschungen, auch bekannt als Deepfakes, nutzen neuronale Netze, um Bilder, Videos oder Audio zu manipulieren oder zu erzeugen. Diese Programme werden mit großen Datenmengen trainiert, um menschliche Gesichter, Stimmen und Bewegungen nachzuahmen und können dazu verwendet werden, um Personen in Situationen zu zeigen, die nie stattgefunden haben, oder um eine Person in eine andere Situation zu setzen. Stimmen können mit RVC lokal auf dem eigenen PC geklont werden. Bilder wie die in diesem Artikel werden mit lokalen Programmen wie „Forge“ erstellt, die Gesichter über Programme wie fluxgym trainiert. Das geht mit entsprechender Hardware schon mit ca. 20 Bildern der Zielperson und 3 Stunden Rechenleistung. Videos faked man lokal mit Programmen wie „FaceFusion„. Keines der Programme kosten Geld, sind selber installierbar, brauchen aber (noch) etwas Kenntnisse. FaceFusion gibt es auch als One-Click Installer gegen eine kleine einmalige Gebühr. Alles kein Hexenwerk mehr. Und die Konsequenzen? Schauen wir uns das einmal als nächstes an.

Anwendungen und Auswirkungen

– Verschwörungstheorien und Fake-News: KI-Fälschungen können dazu genutzt werden, um vermeintliche Beweise für Verschwörungstheorien zu liefern oder politische Gegner zu diffamieren.

– Betrug und Phishing: Stimmen von Verwandten oder Freunden können imitiert werden, um in Phishing-Anrufen vertrauliche Informationen oder Geld zu erpressen.

– Desinformation: Politische Akteure oder Organisationen können KI-Fälschungen einsetzen, um die öffentliche Meinung zu beeinflussen oder Wahlen zu manipulieren.

Ethik und Transparenz: Die ethische Dimension der KI-Fälschungen ist gewaltig. Es ist eine Herausforderung, zwischen der Nutzung der Technologie zur Unterhaltung oder Bildung und der Missbrauch zur Täuschung und Manipulation zu unterscheiden. Transparenz und Verantwortlichkeit sind von zentraler Bedeutung.

Und wer macht da mal was?

Forschung dazu, wie man Deepfakes erkennen und entgegen wirken kann, gibt es zahlreiche. Hier eine Auswahl führender Forscher, die sich mit Gegenmaßnahmen gegen Deepfakes auseinander setzen:

• Mark Green von der University of California, Los Angeles (UCLA): Green leitet das Institute for Pure and Applied Mathematics (IPAM) und organisiert Workshops zu den wissenschaftlichen, gesellschaftlichen und rechtlichen Aspekten von Deepfakes.

• Bimal Viswanath von der Virginia Tech: Assistenz Professor Viswanath und sein Team arbeiten an der Erkennung und Entschärfung von gefälschten Medien und Desinformation.

• Siwei Lyu von der University at Buffalo, State University of New York: Professor Lyu ist bekannt für seine Forschung in den Bereichen Deepfake-Erkennung und digitale Medienforensik. Er hat Techniken entwickelt, die Inkompatibilitäten bei der Gesichtsvertauschung erkennen können.

• Edward Delp von der Purdue University: Delp und seine Kollegen nutzen neuronale Netzwerke zur Erkennung von Inkompatibilitäten in Videosequenzen, die oft durch Deepfake-Manipulationen entstehen.

• Oren Etzioni von der Allen Institute for Artificial Intelligence (AI2), University of Washington: Dr. Etzioni hat das Nonprofit-Organisation TrueMedia.org gegründet, um Werkzeuge zur Erkennung von digitaler Desinformation zu entwickeln und bereitzustellen.

• Hany Farid von der University of California, Berkeley: Professor Farid konzentriert sich auf digitale Forensik, Fehlinformationen und menschliche Wahrnehmung. Er ist bekannt für seine Erforschung von Methoden zur Erkennung von Deepfakes und warnt vor den Risiken, die sie mit sich bringen, insbesondere in Bezug auf Wahlen und die Verbreitung von Desinformation.

Praktische Tipps zur Erkennung von KI-Fälschungen

Man muss aber kein Forscher sein, um etwas gegen Fakes zu unternehmen. Jede*r von uns hat ein unschlagbares Tool zur Hand, das schon viel Schaden abwenden kann – das Zeug zwischen unseren Ohren:

– Logische Analyse: Überprüfe die interne und externe Logik eines Bildes oder Videos. Gibt es in den Details Fehler, die nicht mit der Realität übereinstimmen?

– Detailgenauigkeit: Achte auf die natürlichen Proportionen, besonders bei Händen und Füßen, sowie auf realistische Bewegungen und Lichtverhältnisse.

– Rückverfolgung: Nutze Tools wie Google Image Search oder TinEye, um zu überprüfen, ob das Bild oder Video an anderer Stelle im Internet auftaucht und in welchem Kontext.

– Mundbewegungen: Bei Videos auf unnatürliche Mundbewegungen achten, die nicht zum gesprochenen Text passen. Pro Tip: bewegt sich der Kehlkopf der Person im Video beim Sprechen?

– Mehr Fake Detection: Corridor Digital haben ein wirklich gutes Video zum Thema „Fake Detection“ raus gebracht. Unbedingt anschauen!

Top-Links

1. Anwendung: Deepware Scanner – Ein Open-Source-Tool, das auf mehreren Datenquellen getestet wurde, um Deepfakes zu erkennen.

2. Studie: Informationsmanipulation als komplexe Herausforderung – Eine Studie des CeMAS, die die Auswirkungen von Desinformation durch KI-Fälschungen untersucht.

3. Beste Praxis: Ferrari Deepfake-Betrugsfall – Eine Fallstudie, die zeigt, wie ein Autohersteller auf einen Betrugsversuch mittels Audio-Deepfake reagiert hat.

Reflexion und Ausblick

Die Bedrohung durch KI-Fälschungen ist real, aber wir sind da sicher nicht alle schon hier und heute dem „Untergang“ geweiht. Mit dem richtigen Mindset, Technologie und einem gesunden Menschenverstand, unserem menschlichem Urteilsvermögen können wir der Desinformation entgegenwirken. Künstliche Intelligenz kann uns nicht nur zur Schaffung von Fakes, sondern auch zur Bekämpfung derselben dienen.

Wie sind Eure Gedanken und Erfahrungen mit Fakes bisher? Habe ich in diesem Newsletter maßlos übertrieben? Oder war’s eher zu sanft? Sind Euch schon echte digitale KI Deepfakes über den Weg gelaufen?

Mit neugierigen Grüßen,

Euer Arno

AI fakes: is it „Game over“ for the truth?

Dear Curious, Creative, and Explorers,

rough times when you realize that nowadays, every Tom, Dick, and Harry, even their grandma, can create a deepfake of the principal stealing apples with just a smartphone in hand. Yes, I know, it’s a completely absurd scenario, but what is actually being done with deepfakes sometimes makes me want to gag, hence, the apples. However, the use cases for Artificial Intelligence (AI) are relentlessly advancing into more areas of our lives! Thus, alongside admittedly many positive scenarios, the threat posed by AI-generated fakes is becoming increasingly real for each and every one of us. Sometimes, one needs to press the wound a bit. Therefore, this week we’ll focus on how we can tackle fake news, manipulated images, and voices in the digital era without losing our trust in technology, and even more importantly, in the truth itself.

„There was truth and there was untruth, and if you clung to the truth even against the whole world, you were not mad.“ – George Orwell, 1984

How AI-Generated Fakes are Created and Why They are Threatening

The ability of AI to generate near-photorealistic images, authentic-sounding voices, and convincing video sequences has made the spread of fake news and disinformation almost acceptable in society. How do these technologies work, what applications do they have, and what ethical considerations do they raise?

Technical Foundations

AI-generated fakes, also known as deepfakes, use neural networks to manipulate or generate images, videos, or audio. These programs are trained with large datasets to mimic human faces, voices, and movements and can be used to depict people in situations that never happened or to place a person in a different context. Voices can be cloned locally on one’s computer using RVC. Images like those in this article are created with local programs like „Forge,“ trained through platforms like fluxgym. This can be done with about 20 pictures of the target person and 3 hours of computing power with the appropriate hardware. Videos are faked locally with programs like „FaceFusion.“ None of these programs cost money, they can be self-installed, but still require some knowledge. FaceFusion also offers a one-click installer for a small fee. It’s no longer wizardry. And the consequences? Let’s take a look at that next.

Applications and Impacts

• Conspiracy Theories and Fake News: AI-generated fakes can be used to provide supposed evidence for conspiracy theories or to defame political opponents.

• Fraud and Phishing: Voices of relatives or friends can be imitated to extract confidential information or money through phishing calls.

• Disinformation: Political actors or organizations can use AI-generated fakes to influence public opinion or manipulate elections.

• Ethics and Transparency: The ethical dimension of AI-generated fakes is huge. It’s a challenge to distinguish between using technology for entertainment or education and the misuse for deception and manipulation. Transparency and accountability are central.

Who is Doing Something About It?

Research into detecting and countering deepfakes is plentiful. Here’s a selection of leading researchers engaged in developing countermeasures:

• Mark Green of the University of California, Los Angeles (UCLA), leads the Institute for Pure and Applied Mathematics (IPAM) and organizes workshops on the scientific, societal, and legal aspects of deepfakes.

• Bimal Viswanath of Virginia Tech, Assistant Professor Viswanath and his team work on detecting and neutralizing fake media and disinformation.

• Siwei Lyu from the University at Buffalo, State University of New York, is known for his research in deepfake detection and digital media forensics. He has developed techniques to detect inconsistencies in facial swaps.

• Edward Delp of Purdue University uses neural networks to detect inconsistencies in video sequences often created through deepfake manipulations.

• Oren Etzioni from the Allen Institute for Artificial Intelligence (AI2), University of Washington, founded the nonprofit organization TrueMedia.org to develop and provide tools for detecting digital disinformation.

• Hany Farid of the University of California, Berkeley, focuses on digital forensics, misinformation, and human perception. He is known for his research on methods to detect deepfakes and warns about the risks they pose, especially regarding elections and the spread of disinformation.

Practical Tips for Detecting AI-Generated Fakes

You don’t need to be a researcher to do something about fakes. Each of us has an unbeatable tool at hand that can prevent much harm – the stuff between our ears:

• Logical Analysis: Check the internal and external logic of an image or video. Are there any details that don’t match with reality?

• Attention to Detail: Pay attention to natural proportions, especially hands and feet, as well as realistic movements and lighting conditions.

• Source Tracking: Use tools like Google Image Search or TinEye to check if the image or video appears elsewhere on the internet and in what context.

• Mouth Movements: In videos, watch for unnatural mouth movements that don’t match the spoken text.

• More fake detection: Corridor Digital have produced a really good video on the subject of „fake detection“. Be sure to watch it!

Top Links

1. Application: Deepware Scanner – An open-source tool tested on multiple data sources for detecting deepfakes.

2. Study: The Spread of Deepfake Media Online – A study by CeMAS examining the impact of disinformation through AI-generated fakes.

3. Best Practice: Ferrari Deepfake Fraud Case – A case study showing how a car manufacturer responded to a fraud attempt using audio deepfakes.

Reflection and Outlook

The threat of AI-generated fakes is real, but we’re certainly not all doomed to „doomsday“ here and now. With the right mindset, technology, and a healthy dose of common sense, our human judgment can counter disinformation. Artificial Intelligence can not only create fakes but also help combat them.What are your thoughts and experiences with fakes so far? Have I exaggerated in this newsletter, or was it too soft? Have you come across any real digital AI deepfakes?

With curious greetings,

Yours Arno