{"id":11099,"date":"2023-06-15T14:36:40","date_gmt":"2023-06-15T14:36:40","guid":{"rendered":"https:\/\/rocketloop.de\/?p=11099"},"modified":"2023-09-20T16:02:14","modified_gmt":"2023-09-20T16:02:14","slug":"hybrid-future-of-generative-ai-open-source-amp-cloud-hosted","status":"publish","type":"post","link":"https:\/\/rocketloop.de\/de\/blog\/die-hybride-zukunft-der-generativen-ki-nutzen-open-source-und-cloud-hosting\/","title":{"rendered":"Die hybride Zukunft der generativen KI nutzen: Open-Source und Cloud-Hosting"},"content":{"rendered":"<h2 class=\"wp-block-heading\">Einf\u00fchrung<\/h2>\n\n\n\n<p>Angesichts der transformativen Kraft von generativer KI und gro\u00dfen Sprachmodellen, die sich in Unternehmensprozessen durchsetzen, stehen wir vor neuen Herausforderungen. Wie k\u00f6nnen diese Modelle nahtlos mit internen ERPs und CRMs interagieren? K\u00f6nnen sie sensible Kundendaten verarbeiten, ohne den Datenschutz und die Sicherheit zu gef\u00e4hrden?<\/p>\n\n\n\n<p>In letzter Zeit wurde die Leistung von Open-Source-Modellen erheblich verbessert, und autonome Agenten wie AutoGPT, die auf diesen gro\u00dfen Sprachmodellen aufbauen, haben gezeigt, dass sie in der Lage sind, komplizierte Aufgaben zu l\u00f6sen und sich gleichzeitig nahtlos in externe Systeme zu integrieren. Doch um solche Spitzeninnovationen nutzen zu k\u00f6nnen, m\u00fcssen wir die bestehende IT-Infrastruktur \u00fcberdenken und umgestalten und gleichzeitig neue Prozesse und Paradigmen einbeziehen. Dieser Artikel gibt einen Ausblick auf eine Zukunft, in der Open-Source- und in der Cloud gehostete Modelle gleichberechtigt nebeneinander im generativen KI-Stack des Unternehmens existieren.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Navigieren durch das Hybridmodell<\/h2>\n\n\n\n<p>Zwar leisten Tech-Giganten wie Microsoft Azure und Google Pionierarbeit bei der Interaktion mit ihren gro\u00dfen Sprachmodellen, ohne alle Inhalte zu \u00fcbertragen, doch diese Ans\u00e4tze haben ihre T\u00fccken: Sie sind kostspielig, erfordern eine Feinabstimmung mit vorhandenen Daten und setzen ein unersch\u00fctterliches Vertrauen in die Prozesse dieser Anbieter voraus.<\/p>\n\n\n\n<p>Open-Source-Modelle hingegen k\u00f6nnen innerhalb der Infrastruktur eines Unternehmens ausgef\u00fchrt werden. Ihre Leistung ist sprunghaft angestiegen, so dass sie in der Lage sind, Aufgaben auszuf\u00fchren, die normalerweise von \u00f6ffentlich gehosteten Alternativen ausgef\u00fchrt werden, ohne dabei Datenschutz- und Sicherheitsrisiken zu bergen.<\/p>\n\n\n\n<p>Die Entscheidung zwischen einem selbst gehosteten, m\u00f6glicherweise fein abgestimmten Open-Source-Modell und einem \u00f6ffentlichen Modell sollte sich nach dem jeweiligen Anwendungsfall richten. Insbesondere bei kritischen internen Systemen wie ERPs und CRMs kann die zus\u00e4tzliche Kontrolle \u00fcber das Modell und die Daten, die das Self-Hosting bietet, von unsch\u00e4tzbarem Wert sein.<\/p>\n\n\n\n<p>Ein weiterer Vorteil von Textschnittstellenmodellen ist ihre Austauschbarkeit. Abgesehen von Szenarien mit Einbettungen und Vektorsuche, bei denen ein Wechsel m\u00f6glicherweise die Generierung neuer Einbettungen erfordert, k\u00f6nnen Unternehmen kontinuierlich verschiedene Modelle vergleichen und sie aktualisieren, sobald neuere Modelle verf\u00fcgbar werden.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Die Auswahl des richtigen Modells: Zu ber\u00fccksichtigende Faktoren<\/h2>\n\n\n\n<p>Bei der Auswahl des richtigen Modells f\u00fcr eine bestimmte Aufgabe spielen mehrere Faktoren eine Rolle:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li class=\" translation-block\"><strong>Leistung:<\/strong> Welches Modell eignet sich am besten f\u00fcr eine bestimmte Aufgabe? Ist eine Feinabstimmung erforderlich? Je nach Datenverf\u00fcgbarkeit k\u00f6nnen beide Optionen unterschiedliche Vorteile haben.<\/li>\n\n\n\n<li class=\" translation-block\"><strong>Datenschutz:<\/strong> Bei Interaktionen, die personenbezogene Daten oder Gesch\u00e4ftsgeheimnisse betreffen, k\u00f6nnen selbst gehostete Modelle wie interne Systeme behandelt werden, wodurch zus\u00e4tzliche Risiken vermieden werden.<\/li>\n\n\n\n<li class=\" translation-block\"><strong>Interaktion mit internen Systemen:<\/strong> Selbst gehostete Modelle k\u00f6nnen aufgrund der Tatsache, dass sie innerhalb der Unternehmensinfrastruktur laufen, in bestehende Authentifizierungs- und Autorisierungssysteme integriert werden und eliminieren das Risiko eines kritischen Informationsverlustes.<\/li>\n\n\n\n<li class=\" translation-block\"><strong>Kosten:<\/strong> Abh\u00e4ngig vom Anwendungsfall und dem verarbeiteten Datenvolumen k\u00f6nnen beide Varianten kosteng\u00fcnstiger sein.<\/li>\n<\/ul>\n\n\n\n<p>Betrachten Sie diese Beispiele:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Agenten, die Berichte auf der Grundlage \u00f6ffentlicher Informationen erstellen, m\u00fcssen nur auf Internetquellen zugreifen und k\u00f6nnen ohne Einschr\u00e4nkungen in der Cloud arbeiten.<\/li>\n\n\n\n<li>Umgekehrt ist die Automatisierung des Kundendienstes, die eine Interaktion mit dem CRM, internen Datenbanken und die Verarbeitung sensibler Kundeninformationen erfordert, besser f\u00fcr ein selbstgehostetes Modell geeignet, das auf bestehende Kundengespr\u00e4che abgestimmt ist.<\/li>\n<\/ol>\n\n\n\n<p>Lassen Sie uns zwei Beispiele betrachten:<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Beispiel 1: Agenten zur Erstellung von Berichten auf der Grundlage \u00f6ffentlicher Informationen<\/h3>\n\n\n\n<p>Stellen Sie sich ein Unternehmen vor, das sich bei der Erstellung von Branchenberichten haupts\u00e4chlich auf Daten bezieht, die aus \u00f6ffentlichen Quellen stammen. Eine solche Aufgabe k\u00f6nnte das Abrufen von Informationen aus verschiedenen Online-Nachrichtenkan\u00e4len, staatlichen Datenbanken oder Trends in sozialen Medien beinhalten. Der Umfang dieses Vorgangs in Verbindung mit seinem \u00f6ffentlichen Charakter macht ihn zu einem idealen Anwendungsfall f\u00fcr eine in der Cloud gehostete generative KI.<\/p>\n\n\n\n<p>Ein in der Cloud gehostetes Modell, das auf einer riesigen Fl\u00e4che des Internets trainiert wurde, ist hervorragend in der Lage, das Web zu durchforsten und komplexe, sich entwickelnde Muster zu analysieren. Diese Modelle k\u00f6nnen dank ihrer robusten Rechenleistung und der beispiellos gro\u00dfen Menge an Trainingsdaten die erforderlichen Informationen schnell und effizient extrahieren und verarbeiten. Die Agenten interagieren jedoch nicht mit gesch\u00fctzten oder sensiblen Daten, so dass keine hohen Sicherheitsvorkehrungen erforderlich sind. Daher bietet die Ausf\u00fchrung dieser Aufgaben in der Cloud sowohl praktische als auch wirtschaftliche Vorteile, ohne dass der Datenschutz oder die Sicherheit beeintr\u00e4chtigt werden.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"Example-2:-Automating-Customer-Service\">Beispiel 2: Automatisierung des Kundendienstes<\/h3>\n\n\n\n<p>Vergleichen Sie das vorherige Beispiel mit der Automatisierung des Kundendienstes, einer Aufgabe, die am anderen Ende des Datenschutzspektrums liegt. Im Kundenservice werden sensible Kundeninformationen verarbeitet, es wird mit internen Datenbanken interagiert und es werden h\u00e4ufig komplexe, personalisierte Anfragen gestellt. Hier erweist sich ein selbst gehostetes, fein abgestimmtes Modell als die bevorzugte Option.<\/p>\n\n\n\n<p>Ein selbstgehostetes Modell erm\u00f6glicht ein H\u00f6chstma\u00df an Kontrolle und Sicherheit und behandelt die Kundendaten mit der gebotenen Vertraulichkeit. Dieses Modell kann auf bestehende Kundeninteraktionen abgestimmt werden, um sicherzustellen, dass es nicht nur intelligent, sondern auch einf\u00fchlsam ist und mit der Haltung und den Werten des Unternehmens \u00fcbereinstimmt. Es l\u00e4sst sich nahtlos in interne Systeme wie CRM und firmeneigene Datenbanken integrieren und bietet so schnellen Zugriff auf relevante Kundendaten. Alle Interaktionen finden innerhalb der sicheren Grenzen der Unternehmensinfrastruktur statt, so dass das Risiko von Datenlecks ausgeschlossen ist. Da das Modell selbst gehostet wird, hat das Unternehmen au\u00dferdem die vollst\u00e4ndige Kontrolle \u00fcber Updates und Verbesserungen und kann so sicherstellen, dass sich die KI mit dem Unternehmen und den Erwartungen der Kunden weiterentwickelt.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"687\" src=\"https:\/\/rocketloop.de\/wp-content\/uploads\/2023\/06\/TruthfulQA-0-shot-Open-Source-LLMs-vs.-Open-AI-1024x687.png\" alt=\"TruthfulQA (0-shot) Open Source LLMs vs. Open AI\" class=\"wp-image-11104\" srcset=\"https:\/\/rocketloop.de\/wp-content\/uploads\/2023\/06\/TruthfulQA-0-shot-Open-Source-LLMs-vs.-Open-AI-1024x687.png 1024w, https:\/\/rocketloop.de\/wp-content\/uploads\/2023\/06\/TruthfulQA-0-shot-Open-Source-LLMs-vs.-Open-AI-300x201.png 300w, https:\/\/rocketloop.de\/wp-content\/uploads\/2023\/06\/TruthfulQA-0-shot-Open-Source-LLMs-vs.-Open-AI-768x515.png 768w, https:\/\/rocketloop.de\/wp-content\/uploads\/2023\/06\/TruthfulQA-0-shot-Open-Source-LLMs-vs.-Open-AI-18x12.png 18w, https:\/\/rocketloop.de\/wp-content\/uploads\/2023\/06\/TruthfulQA-0-shot-Open-Source-LLMs-vs.-Open-AI.png 1031w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Open Source LLMs erreichen zunehmend \u00e4hnliche Performance, wie Cloud-basierte Modelle<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Fr\u00fchzeitige Bindung an einen Anbieter vermeiden<\/h2>\n\n\n\n<p class=\" translation-block\">Ziehen Sie schon zu Beginn Ihrer generativen KI-Projekte einen hybriden Modellansatz in Betracht. Frameworks wie <a href=\"https:\/\/github.com\/hwchase17\/langchain\" target=\"_self\">LangChain<\/a> sind effektive Werkzeuge, die die Interaktion mit einem Modellanbieter vereinfachen.<\/p>\n\n\n\n<p>Etablieren Sie einen Modell- und Anbieterauswahlprozess, der sicherstellt, dass jedes Projekt die relevanten Faktoren bewertet, um das richtige Modell und den richtigen Anbieter auszuw\u00e4hlen.<\/p>\n\n\n\n<p>Es ist von entscheidender Bedeutung, dass Sie sich die Kompetenz aneignen, generative Open-Source-KI-Modelle innerhalb Ihrer Infrastruktur sicher und in gro\u00dfem Umfang zu betreiben, zu warten und zu optimieren. Lassen Sie sich nicht vom Glanz und der Geschwindigkeit der Innovation blenden, um zu erkennen, wie wichtig es ist, solide, langfristige strategische Entscheidungen zu treffen. Die MVPs von heute k\u00f6nnen schnell zur Legacy-Software von morgen werden. Die Integration von generativer KI in die Unternehmenswelt ist ein Marathon, kein Sprint.<\/p>\n\n\n\n<p>Nehmen Sie sich die Zeit, eine generative KI-Strategie, -Infrastruktur und -Richtlinien zu entwickeln. Informieren, schulen und bef\u00e4higen Sie Ihre Mitarbeiter, insbesondere Software-Ingenieure und Produktmanager.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Fazit<\/h2>\n\n\n\n<p>Wir stehen an der Schwelle zu einer aufregenden neuen \u00c4ra voller bahnbrechender Technologien und M\u00f6glichkeiten. Doch die Zukunft ist nicht ohne Herausforderungen. Um eine breite Akzeptanz zu erreichen, m\u00fcssen wir diese H\u00fcrden \u00fcberwinden.<\/p>\n\n\n\n<p>Der Aufbau einer robusten internen Infrastruktur, die mit wichtigen Akteuren wie OpenAI, Azure und Google kompatibel ist, ist vorteilhafter als das Risiko, sich an einen bestimmten Anbieter zu binden. Eine solche Grundlage erm\u00f6glicht es Ihnen, das Beste aus beiden Welten zu nutzen - die Innovation von Cloud-basierten L\u00f6sungen und die Kontrolle von selbst gehosteten Modellen - und ebnet den Weg f\u00fcr einen nahtlosen \u00dcbergang zur generativen KI.<\/p>","protected":false},"excerpt":{"rendered":"<p>Introduction As the transformative power of Generative AI and large language models sweeps through corporate processes, new challenges knock at our doors. How can these models interact seamlessly with internal ERPs and CRMs? Can they handle sensitive customer data without compromising privacy and security? Recent advancements have seen open-source models significantly improve in performance, with [&hellip;]<\/p>","protected":false},"author":4,"featured_media":11106,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_seopress_robots_primary_cat":"none","footnotes":""},"categories":[56],"tags":[],"class_list":["post-11099","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-generative-ai"],"acf":[],"_links":{"self":[{"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/posts\/11099","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/comments?post=11099"}],"version-history":[{"count":4,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/posts\/11099\/revisions"}],"predecessor-version":[{"id":11327,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/posts\/11099\/revisions\/11327"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/media\/11106"}],"wp:attachment":[{"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/media?parent=11099"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/categories?post=11099"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rocketloop.de\/de\/wp-json\/wp\/v2\/tags?post=11099"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}