Der Landesbetrieb Information und Technik Nordrhein-Westfalen (im Folgenden IT.NRW genannt) übernimmt für die Landesverwaltung Nordrhein-Westfalen Aufgaben in den Bereichen Informationstechnik und Statistik. Im Geschäftsfeld Informationstechnik umfasst dies insbesondere die Entwicklung und den Betrieb der IT-Infrastruktur für die nordrhein-westfälische Landesverwaltung, die Bera-tung und Unterstützung von Behörden und Einrichtungen des Landes beim Einsatz von Informationstechnik sowie IT-Fortbildungen für Mitarbeitende der öffentlichen Verwaltung. Als Statistisches Landesamt des bevölkerungsreichsten Bundeslandes Deutsch-lands erheben und veröffentlichen wir umfassende Daten über soziale und wirt-schaftliche Gegebenheiten. Diese Tätigkeiten führen dazu, dass der Bedarf der Landesverwaltung an KI in den kommenden Monaten durch eine verbesserte Verfügbarkeit von Software-Lösungen stark steigen wird. Um diesem Bedarf gerecht zu werden, wird beim Auftraggeber eine KI-Plattform in Betrieb genommen, die die Bereitstellung und Implementierung von KI beschleunigen soll. Die Skalierungsherausforderung wird am Leuchtturmprojekt NRW.Genius deutlich, ei-nem Verwaltungsassistenten für Nordrhein-Westfalen, bei dem mehrere zehntausend Nutzer erwartet werden. Darüber hinaus erhöht das Aufkommen von Modellen mit großen Parameterzahlen, fortschrittlichen RAG-Technologien und agentischer KI den Bedarf weiter. In diesem Zusammenhang sind zusätzliche mögliche Einsatzbereiche die Datenanalyse und Mustererkennung (z. B. für Prognosen und Trendmodellierungen) sowie die Prozessautomatisierung (Do-kumenten- und Formularprüfung, Entscheidungsunterstützung).

KI-Inferenz über Confidential Computing

Mit der vorliegenden Ausschreibung sollen Lizenzen für einen Managed Service zur Bereitstellung von KI-Inferenz über Confidential Computing beschafft werden. Der zu beauftragende Managed Service ermöglicht es dem Auftraggeber, KI Modelle zur sicheren Verarbeitung sensibler Daten in einer vertrauenswürdigen, hardwaregestützten Ausführungsumgebung (Trusted Execution Environment, TEE) auszuführen. Die Lösung wird benötigt um die Skalierung von KI in der Öffentlichen Verwaltung zu beschleunigen. Die Inferenzleistung soll über marktübliche Schnittstellen (APIs) an die KI-Plattform angebunden werden, soll eine Ende-zu-Ende Verschlüsselung ermöglichen und die Option diese Verschlüsselung jederzeit zu verifizieren (Remote Attestation) bieten. Ziel ist der Schutz von Daten während der Verarbeitung (Data-in-Use), indem die Vertraulichkeit und Integrität der Workloads kryptografisch und technisch gesichert wird, sodass der Managed Service Provider, der Cloud-Administrator oder der Host-Betriebssystem-Layer nachweislich keinen unverschlüsselten Zugriff auf die Workload-Daten oder den Code innerhalb des TEE besitzt. Ziel ist außerdem die Einhaltung relevanter Sicherheits- und Datenschutzanforderungen sowie Bereitstellung von Betriebs- und Support-Leistungen aus einer Hand. Dabei liefert der Auftragnehmer gemäß dieser Leistungsbeschreibung und dem Anforderungskatalog angepasste Lizenzen für Inferenz von großen Sprachmo-dellen (LLM) durch Confidential Computing. Der Auftragnehmer unterstützt dabei den Aufbau und Betrieb des Services gemäß dieser Leistungsbeschreibung, des Anforderungskatalogs und der weiteren beigestellten Dokumente.