Digital
Samsung

Ich habe Samsungs neue KI-Tricks ausprobiert und das kam dabei raus

Galaxy S24, S24 Plus und S24 Ultra sind die ersten «KI-Smartphones» von Samsung.
Galaxy S24, S24 Plus und S24 Ultra sind die ersten «KI-Smartphones» von Samsung. bild: samsung

Ich habe Samsungs neue KI-Tricks ausprobiert und das kam dabei raus

Samsung zündet die grosse KI-Parade: Das sind die neuen Funktionen, die teils nützlich, manchmal spassig und bisweilen (noch) komplett unbrauchbar sind.
18.02.2024, 10:3919.02.2024, 09:13
Mehr «Digital»

Nach Google stattet auch Samsung seine neusten Smartphones mit reichlich Künstlicher Intelligenz aus. Noch stecken viele KI-Anwendungen in den Kinderschuhen, andere sind schon jetzt verblüffend gut und nützlich. Eine Übersicht.

Mit «Circle to Search» gibt es eine neue Art, bei Google zu suchen

Animiertes GIFGIF abspielen
Praktisch: Einfach den Home-Button oder die Navigationsleiste länger gedrückt halten und einkreisen, wonach man suchen möchte. gif: watson

Eine Bemerkung vorab: Ich habe die KI-Funktionen in den letzten paar Wochen auf einem Galaxy S24 Ultra getestet, das im Januar 2024 in den Handel kam. Mein Urteil stellt eine Momentaufnahme dar, da sich generative KI rasend schnell weiterentwickelt und viele Funktionen bereits in einem Jahr spürbar besser sein dürften. Samsung wird das Galaxy S24 übrigens sieben Jahre mit Android-Updates versorgen, insofern bleibt reichlich Zeit für Optimierungen.

Bildbearbeitung für Photoshop-Laien

In Samsungs Foto-App kann man nun Personen und Objekte auf Fotos auswählen und spielend leicht im Bild verschieben, rotieren, ihre Grösse ändern oder auch vollständig entfernen – dies alles ohne Bildbearbeitungskenntnisse. Die dabei entstehenden Lücken im Bild werden von der generativen KI automatisch mehr oder weniger passend ausgefüllt, wie dieses Beispiel zeigt.

Kann der Junge auch etwas höher durch die Luft fliegen?

Animiertes GIFGIF abspielen
Die Lücke im Himmel neu zu generieren, ist für die KI eine vergleichsweise einfache Aufgabe.gif: watson / bild: shutterstock

Ja, es ist Photoshop für Dummies, aber ich mag es.

Die mit KI bearbeiteten Fotos werden automatisch mit einem Hinweis in den Metadaten und einem kleinen Wasserzeichen versehen (das sich natürlich auch entfernen lässt).
Die mit KI bearbeiteten Fotos werden automatisch mit einem Hinweis in den Metadaten und einem kleinen Wasserzeichen versehen (das sich natürlich auch entfernen lässt). ki-bild: watson

Manchmal braucht es mehrere Versuche, bis die KI den Hintergrund passend erstellt. Das Resultat ist stark vom Motiv abhängig und die gewünschte Bildbearbeitung gelingt selten auf Anhieb zu 100 Prozent perfekt. Für Spielereien taugt es aber allemal und die Resultate werden künftig mit jedem Update besser.

Die generative KI entfernt Personen binnen Sekunden aus Fotos.

Samsung KI
Die KI versucht, die Lücke passend zu füllen. Hier klappte es ziemlich gut, aber manchmal braucht es mehrere Versuche.ki-bild: watson

Doch manchmal geht das Ganze einfach zu weit! 😉

Samsung KI
Oben das Original-Foto. Statt das Auto zu löschen, erfindet die KI … ähm … irgendwas. ki-bild: watson

Wenn der Fotograf die Kamera nicht gerade halten kann, hilft die KI.

Samsung KI
Beim Ausrichten und Zuschneiden geht der Bildrand verloren. Die durch die Drehung entstandenen Lücken werden von der generativen KI passend ausgefüllt.
bild: watson

Sie kann schief geratene Bilder ausrichten, wobei die fehlenden Stellen an den Rändern mehr oder weniger passend ausgefüllt werden (schiebe den Pfeil ganz nach links und rechts, um beide Bilder zu sehen).

image after
image before
An den Rändern hat die KI das zuvor schräge Bild neu generiert. Aber was ist mit dem Auto ganz am linken Bildrand passiert?! Zudem sind die Ränder teils verschwommen. (Schiebe den Pfeil ganz nach links und rechts, um beide Bilder zu sehen).bild: watson

Beim Ausrichten und Zuschneiden wird ein Teil des Bildes abgeschnitten. Die generative KI versucht daher, die fehlenden Teile zu ergänzen. Auf den ersten Blick sieht das per KI erweiterte Foto gut aus, bei genauerer Betrachtung fallen Bildfehler und unscharfe Bildränder auf. Da man üblicherweise den Bildrand kaum beachtet, fallen diese Fehler weniger ins Gewicht. Wichtig: Ich zeige hier bewusst ein schlechtes Beispiel, um die Bildfehler deutlich erkennbar zu machen. Fairerweise sei gesagt, dass man den Prozess mehrmals wiederholen kann, bis das Resultat besser wird.

Unschöne Spiegelungen in Fotos? Das muss nicht sein.

Animiertes GIFGIF abspielen
gif: watson / video: @MaxJmb
Samsung KI
Das Waschbecken spiegelt sich in der Glaswand der Dusche. Rechts ist die Reflexion deutlich verringert.bild: watson

Eine andere nützliche Funktion ist die Möglichkeit, Reflexionen auf Fotos mit einem Tippen zu entfernen, beispielsweise wenn man durch eine Scheibe fotografiert. Das klappt erfreulich gut.

Bewertung: Die KI-gestützten Fotobearbeitungs-Funktionen sind nicht perfekt, aber leicht bedienbar und teils tatsächlich nützlich.

Telefonanrufe in Echtzeit übersetzen

Eine Funktion mit viel Potenzial ist «Call Translate», mit der Anrufe auf Wunsch fast in Echtzeit übersetzt werden. Ist die Funktion in der Telefon-App aktiviert, können beide Personen in ihrer Muttersprache sprechen und bekommen mit einer kurzen Verzögerung die passende Übersetzung zu hören.

Die andere Person muss kein Samsung-Smartphone haben. Aber nur die Person mit einem Galaxy S24 – oder einem anderen Handy, das «Call Translate» künftig unterstützt – erhält auf dem Display zusätzlich eine schriftliche Übersetzung des Gesprächs angezeigt.

Samsung KI
Live-Übersetzung wandelt das von dir und dem Anrufer Gesagte in die Sprache des jeweils anderen um. Nur Personen mit einem Galaxy S24 sehen die Übersetzung auch auf dem Display.screenshot: watson

Die KI-gestützte Live-Übersetzung kann vor einem Anruf oder während des Gesprächs aktiviert werden. Die KI-Stimme – wahlweise weiblich oder männlich – teilt der anderen Person mit, dass das Gespräch übersetzt wird. Insgesamt werden 13 Sprachen unterstützt. Die Übersetzung geschieht direkt auf dem Handy, deshalb müssen vor dem Gespräch die entsprechenden Sprachpakete heruntergeladen werden.

Wer gerade nicht sprechen kann oder generell nicht gerne telefoniert, kann auf einen Anruf per Text-Anruf reagieren. In diesem Modus sieht man auf dem Display, was der Anrufer sagt, und kann durch Texteingaben antworten, was der Anrufer wiederum zu hören bekommt. Bei meinem Test funktionierte das nur mittelprächtig. Die KI versteht Deutsch deutlich schlechter als Englisch.

Im Text-Anruf-Modus sieht man, was der Anrufer sagt, und antwortet per Texteingabe, was der Anrufer zu hören bekommt.

Samsung KI
Bei einem Anruf kann man wählen, ob man per Text-Anruf, Live-Übersetzung oder normal telefonieren möchte. Zumindest auf Deutsch funktionieren Text-Anrufe noch nicht wirklich gut.screenshot: watson

Bewertung: Vor allem «Call Translate» bzw. die Live-Übersetzung ist durchaus beeindruckend, funktioniert aber nur dann einigermassen gut, wenn beide Personen wissen, dass hier eine nicht perfekte KI ihr Gespräch übersetzt, die zwischendurch völlig sinnlose Sätze von sich gibt. Einfach eine unbekannte Person mit «Call Translate» anzurufen, würde ich mich derzeit nicht getrauen. Ob sich das wirklich durchsetzt, bleibt abzuwarten.

Chat-Nachrichten übersetzen und KI-Hilfe beim Schreiben

Die KI kann E-Mails und Chatnachrichten übersetzen und beim Formulieren unter die Arme greifen.

Samsung KI
Die Übersetzung (links) ist nicht perfekt, aber man versteht, worum es geht. Beim Antworten (rechts) kann man sich die Nachricht vor dem Absenden übersetzen lassen, den Schreibstil von der KI anpassen oder den Text auf Grammatik und Rechtschreibung prüfen lassen.screenshot: watson

Die Übersetzungs- und Schreibstil-Hilfe ist in der Samsung-Tastatur integriert und somit fast überall verfügbar, egal ob WhatsApp, Gmail, Outlook oder Signal. Die Übersetzung läuft lokal auf dem Gerät, ohne dass der Text an Samsung übermittelt wird.

Nebst der zweifellos nützlichen Grammatik- und Rechtschreibprüfung gibt es die Option, eigene Texte in ihrer Tonalität zu verändern. Wer mag, kann die geschriebene Nachricht auf Knopfdruck professioneller, höflicher oder salopper klingen lassen. Zu meinem Erstaunen funktioniert das ziemlich gut, allerdings schleichen sich bisweilen merkwürdige Formulierungen ein.

Eine E-Mail an den Kundendienst einer Firma, die Akku-Tests für E-Autos anbietet.

Samsung KI
screenshot: watson

Laut Samsungs KI hätte meine E-Mail so professioneller geklungen. 🤔

Samsung KI
screenshot: watson

Anders als die Übersetzung funktionieren Schreibstil-Anpassung sowie Grammatik- und Rechtschreibkorrektur bisher nicht lokal auf dem Gerät, sondern in der Cloud. Nur bei englischen und koreanische Texten geschieht die KI-gestützte Schreibstil-Anpassung bereits jetzt auf dem Handy. Samsung wird bemüht sein, weitere Sprachen wie Deutsch bald ebenfalls auf dem Smartphone verarbeiten zu können, um Rechenkapazität in der Cloud und somit Kosten zu sparen.

Bewertung: Die Übersetzung funktioniert grösstenteils zufriedenstellend und wird für viele Menschen nützlich sein. Die KI-Hilfe beim Schreiben erzeugt vereinzelt merkwürdige Formulierungen, kann aber zumindest für all jene nützlich sein, die generell Mühe mit Schreiben bekunden.

«Circle to Search»: Googles neue Suchfunktion

Googles Suchfunktion «Circle to Search» ist bislang exklusiv für Samsungs Galaxy-S24-Modelle und Googles Pixel 8 (Pro) verfügbar. Die KI-gestützte Bildersuche ermöglicht es, nach allem zu suchen, was auf dem Smartphone angezeigt wird. Sei es ein Detail eines Bildes bzw. Videos oder auch eine Textpassage, zu der man mehr Infos möchte.

Welche Jacke trug Taylor Swift am Super Bowl? «Circle to Search» hilft!

Animiertes GIFGIF abspielen
Wird Taylor Swifts Jacke eingekreist, sucht die KI das entsprechende Produkt im Netz.gif: watson

Um eine Suche zu starten, hält man den Home-Button oder die Navigationsleiste kurz gedrückt. Nun können beliebige Dinge auf dem Bildschirm eingekreist oder angetippt werden und man erhält direkt in der jeweiligen App die Google-Suchergebnisse zu den eingekreisten Produkten, Sehenswürdigkeiten oder prominenten Personen angezeigt.

So lässt sich beispielsweise aufspüren, welche Kleidung eine Person auf einem Foto trägt oder wo sich die Sehenswürdigkeit befindet, die man in einem Video erspäht hat.

Animiertes GIFGIF abspielen
«Circle to Search» ist nützlich, um mehr Infos zu Sehenswürdigkeiten zu erhalten.gif: watson

Bewertung: Googles KI-Anwendung erinnert an die Bildersuche «Google Lens», ist aber intuitiver und bequemer nutzbar – allein schon, weil die Suchfunktion überall und jederzeit gestartet werden kann, sprich unabhängig davon, welche App gerade geöffnet ist. Es ist also nicht mehr notwendig, ein Foto oder ein Screenshot zu erstellen.

«Circle to Search» ist hübsch umgesetzt und funktioniert grösstenteils sehr gut. Im Alltag habe ich Googles neue Suchfunktion zwar kaum gebraucht, kann mir aber gut vorstellen, dass sie für andere rasch unverzichtbar wird.

Zusammenfassen und übersetzen von Webseiten

Samsung KI
Samsungs Browser fasst einen englischen BBC-Artikel auf Deutsch zusammen.screenshot: watson

Internet-Browser können Webseiten seit Jahren übersetzen, Samsungs Browser kann zudem Artikel zusammenfassen – man erhält also beispielsweise von einem englischen Artikel wahlweise eine Zusammenfassung auf Englisch oder Deutsch oder kann sich den gesamten Artikel übersetzen lassen. Zudem lässt sich einstellen, ob eine knappe oder längere Zusammenfassung erwünscht ist.

Das GIF zeigt, wie das Zusammenfassen und Übersetzen von Webseiten funktioniert.

Animiertes GIFGIF abspielen
Übersetzung und/oder Zusammenfassung werden per KI-Button im Browser aktiviert.gif: watson

Bewertung: Nichts Neues, aber gut umgesetzt. Per Tippen auf den KI-Button im Browser wird die Übersetzung oder Zusammenfassung aktiviert und übersichtlich dargestellt. Der KI gelingt es oft, die wichtigsten Punkte eines Artikels zu erkennen. Bei sehr langen Texten wirkt es aber teils auch etwas beliebig, was herausgenommen wird. Die Übersetzung ist nicht fehlerfrei, aber im Kontext fast immer verständlich.

Dolmetschen von Gesprächen

Dolmetscher-Apps gibt es wie Sand am Meer. Samsung hat die Funktion nun direkt ins Betriebssystem integriert. Sie wird über die Benachrichtigungszentrale aktiviert und läuft lokal auf dem Gerät, also ohne Internetverbindung. Dies kann im Ausland ein Vorteil sein, wenn man kein Daten-Roaming hat, allerdings sollte man nicht vergessen, zuerst die entsprechenden Sprachpakete herunterzuladen.

Ebenfalls praktisch: Das Eingabefeld kann umgedreht werden, damit die Person gegenüber die Übersetzung bequem lesen kann.

Samsung KI
Auf das Mikrofon tippen und lossprechen: Das Gegenüber bekommt eine gesprochene und schriftliche Übersetzung.
screenshot: watson

Bewertung: Im Test versteht die Dolmetscher-App meine auf Deutsch gestellten Fragen zuverlässig, aber die Übersetzung auf Englisch oder Französisch ist mehr als holprig und gefühlt deutlich schlechter als DeepL oder Google Translate.

Sprachaufnahmen in Text umwandeln, zusammenfassen und übersetzen

Ähnlich wie der Google Recorder kann auch Samsungs Diktiergerät-App Aufnahmen von Besprechungen, Vorlesungen oder Sprachmemos in Text umwandeln. Die Sprachaufzeichnungen lassen sich zudem zusammenfassen und in 13 Sprachen übersetzen.

Samsung wirbt damit, dass die Sätze beim Transkribieren den unterschiedlichen Sprechern zugeordnet werden. Die Funktion bietet sich also theoretisch an, um Sitzungen zu protokollieren und gleich eine Zusammenfassung zu erhalten.

Für einen Test habe ich einen rund siebenminütigen Beitrag der deutschen Tagesschau zum Putin-Interview des US-Moderators Tucker Carlson aufgenommen und von der Diktier-App in Text umwandeln lassen. Obwohl die Tagesschau-Sprecherin und der zugeschaltete Ausland-Korrespondent überaus deutlich und akzentfrei sprachen, konnte die KI das Gespräch weder inhaltlich noch grammatikalisch korrekt verschriftlichen. Auch bei einem zweiten Versuch scheiterte die KI kläglich. Erstaunlicherweise war die generierte Zusammenfassung dennoch ziemlich gut.

Die Abschrift ist unbrauchbar.

Samsung KI
screenshot: watson

Die Zusammenfassung hingegen gar nicht mal so schlecht.

Samsung KI
screenshot: watson

Abschrift und Zusammenfassung lassen sich als Text in andere Notizen-Apps einfügen, um sie weiter zu bearbeiten. Das Transkribieren geschieht lokal auf dem Gerät, die weit bessere Zusammenfassung wird hingegen in der Cloud mit einem leistungsfähigeren KI-Sprachmodell von Google (Gemini Pro) erzeugt. Dies erklärt den Qualitätsunterschied zwischen miserabler Abschrift und ziemlich guter Zusammenfassung.

Bewertung: Was auf Englisch oder Koreanisch funktionieren mag, ist auf Deutsch bislang nur begrenzt hilfreich. Die Abschrift ist ein kaum verständliches Kauderwelsch. Trotzdem generierte die KI in meinem Test eine gute Zusammenfassung, welche die wesentlichen Punkte enthielt.

Kommen diese KI-Funktionen auch auf ältere Samsung-Geräte?

Alle neuen KI-Funktionen sind mit dem Galaxy S24, S24 Plus sowie S24 Ultra nutzbar. Einige Features wie «Circle to Search», die von Google stammen, sind auch für neuere Pixel-Smartphones verfügbar. Eine Auswahl der KI-Funktionen dürfte mit dem Update auf Samsungs One UI 6.1 demnächst den Weg auf die Modelle der Galaxy-S23-Serie inklusive Galaxy Z Fold 5 und Flip 5 finden. Ob ältere Geräte das KI-Update erhalten, ist höchst ungewiss.

Wie steht's um den Datenschutz?

Samsungs KI-Funktionen laufen teils lokal auf dem Handy, teils in der Cloud. Wer die Verarbeitung seiner Daten in der Cloud nicht will, kann dies in den Systemeinstellungen zentral für alle KI-Anwendungen oder für jede Anwendung einzeln deaktivieren. Ohne Online-Verarbeitung sind gewisse Funktionen wie die Google-Suche «Circle to Search» naturgemäss nicht verfügbar.

Ausserdem wird es wohl für einige User künftig schwieriger, auf ein Samsung-Konto zu verzichten. Dieses ist die Voraussetzung für die Nutzung der KI-Anwendungen.

Samsung KI
Samsung nutzt Googles KI-Modell Gemini Nano direkt auf seinen neusten Smartphones, trotzdem laufen noch viele KI-Anwendungen in der Cloud.

Wie die Tabelle zeigt, funktionieren vor allem Sprachfunktionen wie die Übersetzungen von Telefongesprächen oder Chat-Nachrichten lokal. Die Bildbearbeitung sowie das Zusammenfassen von Texten wird in der Cloud generiert, da dies bislang die weit besseren Resultate liefert. In meinem Test überzeugten denn auch vorwiegend jene KI-Funktionen, die von der Verarbeitung in der Cloud und somit mächtigeren KI-Modellen profitierten.

Das Ziel von Samsung und anderen Smartphone-Herstellern wird es trotzdem sein, künftig immer mehr KI-Anwendungen direkt auf dem Gerät auszuführen. Dies nicht nur wegen Datenschutzbedenken. Alle KI-Anwendung, die online ausgeführt werden, bedürfen Rechenkapazität in der Cloud und verursachen nicht unerhebliche Kosten, insbesondere wenn sie von Millionen Menschen genutzt werden.

Samsung nutzt daher schon jetzt Googles KI-Sprachmodell Gemini Nano lokal auf seinen neusten Smartphones der Galaxy-S24-Reihe. Auf diese Weise kann beispielsweise der Schreibstil eines englischen Textes offline, sprich auf dem Gerät, angepasst werden. Es ist nur eine Frage der Zeit, bis dies auch auf Deutsch ohne Online-Verarbeitung funktioniert.

Aktuell gilt: User sollten sich bewusst sein, dass ihre Daten temporär bei Samsung und deren KI-Partnerfirmen wie Google landen, sofern sie die Online-Verarbeitung in den Systemeinstellungen aktiviert haben.

Samsung schreibt zum Datenschutz:

  • «Deine Daten werden sofort nach Abschluss der Generierung von unseren Servern oder den Servern unserer Partner gelöscht.»
  • «Deine Daten werde niemals für Machine Learning oder zielgerichtete Werbung verwendet.»
  • «Moderne KI-Funktionen greifen niemals ohne deine Erlaubnis automatisch oder im Hintergrund auf deine Daten zu.»
  • «Alle für das Training moderner KI-Funktionen verwendeten Daten stammen aus ethischen Quellen.»
  • «Es werden keine personenbezogenen oder privaten Daten für das Training verwendet und wir holen die Erlaubnis von Urheberrechtsinhabern ein, bevor wir urheberrechtlich geschütztes Material für das Training verwenden.»

So informiert Samsung über seine KI-Funktionen

Samsung KI
screenshot: watson
DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet, um die Zahlung abzuschliessen.)
5 CHF
15 CHF
25 CHF
Anderer
Oder unterstütze uns per Banküberweisung.
Wenn KI-Chatbots allzu neugierig sind
1 / 18
Wenn KI-Chatbots allzu neugierig sind
Freundlich plaudernde und flirtende KI-Apps können ziemlich aufdringlich, respektive datenhungrig sein. watson hat die iPhone-App «EVA AI» ausprobiert und zeigt, was man preisgeben soll ...
quelle: watson / imago-images.de
Auf Facebook teilenAuf X teilen
«Dumme Fragen!» - ChatGPT beklagt sich über uns
Video: watson
Das könnte dich auch noch interessieren:
20 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
chregu
18.02.2024 12:11registriert Februar 2014
"ich hoffe, diese E-Mail findet Sie gut." ist ja schon fast ein Klassiker, um KI generierte Mails zu erkennen ;)
421
Melden
Zum Kommentar
20
    Apple öffnet iPhones: Siri erhält Konkurrenz durch ChatGPT, Gemini und Co.
    Wichtige Änderung bei Apples Sprachassistenten: EU-Nutzer sollen künftig Siri durch ChatGPT, Google Gemini oder andere Alternativen ersetzen können.

    iPhone-Nutzer in der Europäischen Union sollen künftig Apples Sprachassistentin Siri gegen andere Programme austauschen können. Wie «Bloomberg» berichtet, plant der Konzern diese Änderung als Reaktion auf den Digital Markets Act (DMA) der EU-Kommission.

    Zur Story