–>> Du bist unterwegs und kannst das KI-Logbuch gerade nicht lesen? Klicke hier, um die KI-generierte Version dieses Newsletters als Podcast zu hören <<–

Liebe Neugierige, Kreative, Entdecker*innen,

Eine Welt, in der Computerprogramme nicht mehr mühsam Zeile für Zeile von Menschenhand getippt werden, sondern sich quasi selbst aus einer Idee oder einer Problembeschreibung heraus erschaffen – das MUSS ja Science Fiction sein. Wirklich? Oder eher: weit gefehlt?

Eine Welt, in der Algorithmen so hochkomplex werden, dass sie sogar die menschliche Vorstellungskraft von Profis übersteigen. Eine Welt, in der solcher Code automatisch und autonom komplett vom Menschen getrennt generiert wird, eine solche Welt entwickelt sich just in diesem Moment, während Du das hier liest – Code, fehlerfrei und hocheffizient.

Das Feld der Programmsynthese verspricht genau das: die automatische Konstruktion von Computerprogrammen direkt aus übergeordneten Spezifikationen. In einem vorangegangenen KI-Logbuch „Nie wieder Schreibblockade? KI wird zum Co-Autor„ haben wir gesehen, wie KI das Schreiben von Texten unterstützt. Heute tauchen wir dagegen aber noch tiefer in die Materie ein und schauen, wie KI nicht nur assistiert, sondern potenziell selbst zum Architekten komplexer Software wird. Der Informatiker Edsger W. Dijkstra sagte einst:

„Einfachheit ist eine große Tugend, aber sie erfordert harte Arbeit, um sie zu erreichen, und Bildung, um sie zu schätzen. Und was noch schlimmer ist: Komplexität verkauft sich besser.“

Die Programmsynthese könnte uns helfen, die Komplexität der Softwareentwicklung zu meistern und vielleicht sogar eine neue Form von Einfachheit und Eleganz in unseren Algorithmen zu entdecken.

Was ist Programmsynthese? Die Kunst, Code automatisch zu generieren

Programmsynthese ist ein faszinierendes und gleichzeitig extrem anspruchsvolles Gebiet der Informatik, das darauf abzielt, Computerprogramme automatisch aus einer formalen oder deklarativen Beschreibung ihrer gewünschten Funktionsweise zu erstellen. Also ähnlich, wie Stable Diffusion Bilder generiert. Nur ist’s hier halt Code. Anstatt, dass menschliche Programmierer explizite Algorithmen in einer Programmiersprache implementieren, geben sie dem System eine präzise Spezifikation vor – also eine genaue Beschreibung dessen, was das Programm tun soll, nicht unbedingt wie es das tun soll. Die KI, oder genauer gesagt, die Algorithmen der Programmsynthese, versuchen dann, ein Programm zu finden oder zu konstruieren, das diese Spezifikation nachweislich erfüllt. Das Ziel ist ambitioniert: menschliche Programmierer von der oft fehleranfälligen und zeitaufwendigen manuellen Code-Erstellung zu entlasten und gleichzeitig die Korrektheit und Effizienz der erzeugten Software zu gewährleisten. Die Spezifikationen können dabei vielfältig sein, von logischen Formeln über Beispiele für Ein- und Ausgabe bis hin zu natürlichsprachlichen Beschreibungen, auch wenn letztere eine besondere Herausforderung darstellen. Historisch gesehen reichen die Wurzeln der Programmsynthese bis in die 1960er Jahre zurück, aber erst die jüngsten Fortschritte in der Künstlichen Intelligenz, insbesondere im Bereich des maschinellen Lernens und der Large Language Models (LLMs), haben dem Feld neuen Schwung verliehen.

Hiverges Vision: Algorithmus-Entdeckung jenseits menschlicher Grenzen

Ich bin im Rahmen der gerade zuende gegangenen T-Challenge auf das Thema „Synthetic Programming“ gekommen. Ein Unternehmen, das die Programmsynthese als transformative Technologie vorantreibt, ist Hiverge. Ihr Ansatz geht über die reine Automatisierung der Code-Generierung hinaus. Hiverge betont die Schaffung von Modellen, die in der Lage sind, neuartige Algorithmen zu entdecken, die die menschliche Intuition übertreffen könnten, insbesondere in komplexen Bereichen wie Ressourcenallokation und Optimierungsproblemen. Dies ist besonders relevant in dynamischen Umgebungen, in denen sich Anforderungen schnell ändern und Ressourcen begrenzt sind. Hiverge formuliert seine Mission so:

„Bei Hiverge entwickeln wir die besten Programmsynthesemodelle für die Entdeckung von Algorithmen, die über die menschliche Intuition hinausgehen, ohne die Sicherheit zu beeinträchtigen.“

Dieser Fokus auf die „algorithmische Entdeckung“ ist entscheidend. Es geht nicht nur darum, bekannte Lösungen schneller zu implementieren, sondern darum, potenziell überlegene oder völlig neue Lösungswege für Probleme zu finden, bei denen traditionelle, von Menschen entworfene Ansätze an ihre Grenzen stoßen. Ein weiterer Kernaspekt bei Hiverge ist die Betonung von Sicherheit und Verlässlichkeit. Die automatisch synthetisierten Programme sollen robust und vertrauenswürdig sein, was in kritischen Anwendungsbereichen unerlässlich ist. Hiverge sieht die Programmsynthese also nicht nur als Werkzeug, sondern als einen Motor für Innovation, der in der Lage ist, in ressourcenbeschränkten und sich schnell wandelnden Szenarien praktische und überlegene Lösungen zu liefern.

Die Bausteine und Herausforde1rungen der Programmsynthese

Die automatische Erstellung von Code ist ein komplexer Prozess. Typischerweise umfasst die Programmsynthese mehrere Schritte: Zuerst muss die Spezifikation präzise erfasst und verstanden werden. Dann kommt die Phase der Suche oder Konstruktion, in der das System versucht, ein Programm zu generieren, das diese Spezifikation erfüllt. Dies kann durch verschiedene Techniken geschehen, wie deduktive Synthese (basierend auf logischen Beweisen), induktive Synthese (Lernen aus Beispielen, oft mit maschinellem Lernen) oder skizzenbasierte Ansätze, bei denen der Programmierer eine grobe Struktur vorgibt, die das System dann vervollständigt. Schließlich muss das generierte Programm verifiziert werden, um sicherzustellen, dass es tatsächlich korrekt ist und die Spezifikation erfüllt.

Die Integration von Large Language Models hat hier neue Möglichkeiten eröffnet. Projekte wie „Jigsaw“ von arXiv zeigen, wie LLMs mit traditionellen Synthesetechniken kombiniert werden können, um die Leistungsfähigkeit zu steigern. LLMs können beispielsweise dabei helfen, natürlichsprachliche Spezifikationen zu interpretieren oder Code-Schnipsel zu generieren, die dann von formale Methoden verfeinert und verifiziert werden. Trotz der Fortschritte bleiben Herausforderungen bestehen. Die Skalierbarkeit für sehr große und komplexe Programme ist oft ein Problem. Auch die Generierung von wirklich effizientem Code, der mit von Experten handgeschriebenem Code mithalten kann, ist nicht trivial. Die Erstellung von verständlichen und wartbaren Programmen durch Synthese ist ein weiteres Forschungsfeld, denn automatisch generierter Code ist nicht immer menschenlesbar.

Schon gewusst? Wusstest Du, dass Microsoft Research schon seit vielen Jahren intensiv an Programmsynthese forscht und Werkzeuge wie „PROSE“ (Program Synthesis using Examples) entwickelt hat? Diese können beispielsweise dazu verwendet werden, um komplexe Datenmanipulationen in Excel-Tabellen aus wenigen Beispielen automatisch zu lernen und auszuführen.

Tips und Tricks: Die Programmsynthese verstehen und nutzen

1. Präzise Spezifikationen sind der Schlüssel: Je klarer und formaler Du beschreibst, was ein Programm tun soll, desto höher die Chance, dass die Synthese erfolgreich ist.

2. Starte mit kleinen Beispielen: Wenn Du mit Synthesetools experimentierst, beginne mit einfachen Problemen, um ein Gefühl für die Funktionsweise und die Grenzen zu bekommen.

3. Kombiniere menschliche Expertise mit KI: Programmsynthese muss nicht den menschlichen Programmierer ersetzen. Skizzenbasierte Ansätze oder die Nutzung von Synthese für Teilprobleme können sehr effektiv sein.

4. Achte auf Verifikation und Sicherheit: Nur weil ein Programm automatisch generiert wurde, heißt das nicht, dass es fehlerfrei oder sicher ist. Verifikationsschritte sind unerlässlich.

5. Beobachte die Forschung: Das Feld entwickelt sich rasant. Verfolge aktuelle Veröffentlichungen (z.B. auf arXiv oder von Forschungsinstituten), um auf dem Laufenden zu bleiben.

Top Links:

• Software/Tool (Forschungsbeispiel): PROSE Framework von Microsoft – Ein Framework zur Programmsynthese aus Beispielen, das die zugrundeliegende Technologie für Features in Produkten wie Excel (Flash Fill) und PowerShell darstellt.

• Aktuelle Studie/Paper: Jigsaw: Large Language Models meet Program Synthesis (arXiv) – Ein Paper, das die Kombination von LLMs und Programmsynthese untersucht.

• Inspirierendes Unternehmen: Hiverge AI – Als Beispiel für einen fokussierten Ansatz zur algorithmischen Entdeckung durch Programmsynthese in komplexen Optimierungsbereichen.

Was bleibt?

Programmsynthese die Art, wie wir Software entwickeln, grundlegend verändern. Sie verspricht nicht nur eine Entlastung von Routineaufgaben, sondern auch die Entdeckung völlig neuer Algorithmen, die menschliche Intuition übersteigen. Der Weg dorthin ist sicherlich noch mit vielen Forschungs- und Entwicklungsherausforderungen gepflastert, aber die Vision ist bestechend. Es erinnert an die Worte des Kybernetikers Heinz von Foerster:

„Handle stets so, daß die Anzahl der Wahlmöglichkeiten größer wird!“

Programmsynthese könnte uns Werkzeuge an die Hand geben, um in der komplexen Welt der Algorithmen neue Wahlmöglichkeiten zu schaffen und Lösungen für Probleme zu finden, die heute noch unlösbar scheinen. Die Betonung von Sicherheit und Verlässlichkeit, wie sie Hiverge hervorhebt, wird dabei entscheidend sein, um das Vertrauen in diese automatisch arbeitenden Systeme zu gewährleisten.

Was denkst Du über die Programmsynthese? Eine Revolution in der Softwareentwicklung oder noch ferne Zukunftsmusik? Ich freue mich auf Deine Kommentare!

Bis dahin, bleib neugierig!

Dein Arno Selhorst

AI writes better programs than we do?

–>> Are you on the road and can’t read the AI logbook right now? Click here to listen to the AI-generated version of this newsletter as a podcast <<–

Dear curious, creative, explorers,

A world in which computer programs are no longer laboriously typed line by line by humans, but instead create themselves from an idea or a description of a problem – that MUST be science fiction. Really? Or rather: far from it?

A world in which algorithms become so highly complex that they even exceed the human imagination of professionals. A world in which such code is generated automatically and autonomously, completely separate from humans, a world that is developing right now as you read this – code that is error-free and highly efficient.

The field of program synthesis promises exactly that: the automatic construction of computer programs directly from higher-level specifications. In a previous AI logbook „Never again writer’s block? AI becomes a co-author“, we saw how AI supports the writing of texts. Today, however, we are delving even deeper into the subject and looking at how AI not only assists, but potentially becomes the architect of complex software itself. The computer scientist Edsger W. Dijkstra once said:

„Simplicity is a great virtue, but it requires hard work to achieve it and education to appreciate it. And what’s worse: complexity sells better.“

Program synthesis could help us to master the complexity of software development and perhaps even discover a new form of simplicity and elegance in our algorithms.

What is program synthesis? The art of generating code automatically

Program synthesis is a fascinating yet extremely challenging area of computer science that aims to automatically generate computer programs from a formal or declarative description of their desired functionality. It’s similar to the way stable diffusion generates images. Only here it’s code. Instead of human programmers implementing explicit algorithms in a programming language, they give the system a precise specification – that is, an exact description of what the program should do, not necessarily how it should do it. The AI, or more precisely, the program synthesis algorithms, then attempt to find or construct a program that demonstrably meets this specification. The goal is ambitious: to relieve human programmers of the often error-prone and time-consuming task of creating code manually, while at the same time ensuring the correctness and efficiency of the software produced. The specifications can be diverse, ranging from logical formulas and examples of input and output to natural language descriptions, even if the latter pose a particular challenge. Historically, the roots of program synthesis go back to the 1960s, but it is only recent advances in artificial intelligence, particularly in the field of machine learning and large language models (LLMs), that have given the field new impetus.

Hiverges Vision: Algorithmus-Entdeckung jenseits menschlicher Grenzen

I came across the topic of „Synthetic Programming“ as part of this year’s T-Challenge that has just ended. One company that is driving forward program synthesis as a transformative technology is Hiverge. Their approach goes beyond the mere automation of code generation. Hiverge emphasizes the creation of models that are capable of discovering novel algorithms that could outperform human intuition, especially in complex areas such as resource allocation and optimization problems. This is particularly relevant in dynamic environments where requirements change rapidly and resources are limited. Hiverge formulates its mission as follows:

„At Hiverge, we develop the best program synthesis models for algorithm discovery that go beyond human intuition without compromising safety.“

This focus on „algorithmic discovery“ is crucial. It’s not just about implementing known solutions faster, but about finding potentially superior or completely new ways to solve problems where traditional human-designed approaches reach their limits. Another key aspect of Hiverge is the emphasis on security and reliability. The automatically synthesized programs should be robust and trustworthy, which is essential in critical application areas. Hiverge therefore sees program synthesis not just as a tool, but as an engine for innovation, capable of delivering practical and superior solutions in resource-constrained and rapidly changing scenarios.

The building blocks and challenges of program synthesis

The automatic creation of code is a complex process. Typically, program synthesis comprises several steps: First, the specification must be precisely captured and understood. Then comes the search or construction phase, in which the system attempts to generate a program that meets this specification. This can be done through various techniques, such as deductive synthesis (based on logical proofs), inductive synthesis (learning from examples, often with machine learning) or sketch-based approaches, where the programmer provides a rough structure that the system then completes. Finally, the generated program must be verified to ensure that it is actually correct and meets the specification.

The integration of large language models has opened up new possibilities here. Projects such as arXiv’s „Jigsaw“ show how LLMs can be combined with traditional synthesis techniques to increase performance. For example, LLMs can help interpret natural language specifications or generate code snippets that are then refined and verified by formal methods. Despite the progress, challenges remain. Scalability for very large and complex programs is often a problem. Generating truly efficient code that can keep up with code hand-written by experts is also not trivial. The creation of comprehensible and maintainable programs through synthesis is another field of research, as automatically generated code is not always human-readable.

Did you know?

Did you know that Microsoft Research has been conducting intensive research into program synthesis for many years and has developed tools such as „PROSE“ (Program Synthesis using Examples)? These can be used, for example, to automatically learn and execute complex data manipulations in Excel spreadsheets from just a few examples.

Tips and tricks: Understanding and using program synthesis

• Precise specifications are the key: the more clearly and formally you describe what a program should do, the greater the chance that the synthesis will be successful.

• Start with small examples: When experimenting with synthesis tools, start with simple problems to get a feel for how they work and their limitations.

• Combine human expertise with AI: Program synthesis does not have to replace the human programmer. Sketch-based approaches or using synthesis for sub-problems can be very effective.

• Pay attention to verification and security: Just because a program was generated automatically does not mean that it is error-free or secure. Verification steps are essential.

• Keep an eye on research: The field is developing rapidly. Follow current publications (e.g. on arXiv or from research institutes) to stay up to date.

Top Links:

• Software/tool (research example): PROSE Framework from Microsoft – A framework for program synthesis from examples that provides the underlying technology for features in products such as Excel (Flash Fill) and PowerShell.

• Recent study/paper: Jigsaw: Large Language Models meet Program Synthesis (arXiv) – A paper that explores the combination of LLMs and program synthesis.

• Inspiring company: Hiverge AI – As an example of a focused approach to algorithmic discovery through program synthesis in complex optimization domains.

What remains?

Program synthesis will fundamentally change the way we develop software. It promises not only to relieve us of routine tasks, but also to discover completely new algorithms that transcend human intuition. The road ahead is certainly still paved with many research and development challenges, but the vision is captivating. It brings to mind the words of the cyberneticist Heinz von Foerster:

„Always act so as to increase the number of choices!“

Program synthesis could provide us with tools to create new choices in the complex world of algorithms and find solutions to problems that still seem unsolvable today. The emphasis on safety and reliability, as emphasized by Hiverge, will be crucial to ensure trust in these automatically operating systems.

What do you think about program synthesis? A revolution in software development or still a distant dream of the future? I look forward to your comments!

Until then, stay curious!

Your Arno Selhorst