Blog

Effizienzgewinn durch Digitalisierung im Evaluations-Prozess

atrete bietet für die Angebotsevaluation nun eine benutzerfreundliche und prozessgeführte Alternative zu den bekannten Lösungen mit Tabellenkalkulationen an.

von Martin Strässler

Partner und Head of IT sourcing advisory

16. Juli 2021

Mit einer spezifisch für unseren Berater-Alltag entwickelten Cloud-Applikation führen wir den Evaluations-Prozess nun noch effizienter zusammen mit unseren Kunden online, prozess-geführt und vollständig dokumentiert durch.

Eine Ausschreibung mit Hilfe eines Tabellenkalkulationsprogramms auszuwerten ist wohl für die grosse Mehrheit der mit Beschaffungen involvierten Spezialist*innen nach wie vor der «Quasi-Standard». Die Vorzüge von beinahe unendlicher Flexibilität (= Fehleranfälligkeit!) und vielfältigen Gestaltungsmöglichkeiten (= Zeitaufwand!) der geliebten und gehassten Tabellenkalkulation stehen aber immer härter in Konkurrenz zu den Anforderungen an Online- und Mehrbenutzer-Fähigkeit, Prozess-Führung und Nachvollziehbarkeit. Ein Wechsel drängt sich also auf.

atrete hat sich darum entschieden, eine eigene, cloud-basierte Lösung entwickeln zu lassen, welche die spezifischen Anforderungen an unsere Sourcing Advisory Mandate massgeschneidert erfüllt. Das Ergebnis begeistert!

Grundprinzipien einer strukturierten Evaluation

Bei der Evaluation von Produkten oder Dienstleistungen ist es oft schwierig, Entscheide bezüglich der Wahl eines bestimmten Angebotes zu treffen, welche auf objektiven, nachvollziehbaren und nicht auf vorgefassten, subjektiven Argumenten beruhen. Die aktuelle öffentliche Diskussion über die Beschaffung von neuen Kampfflugzeugen für die Schweiz zeigt einmal mehr, wie viele «Spezialisten» nach dem vom Bundesrat bekannt gegebenen Typenentscheid mit mehr oder minder handfesten Argumenten das Resultat aus einem durchwegs systematisch durchgeführten Evaluationsprozess[1] umzustossen versuchen.

Aber auch in manch einem IT Sourcing Vorhaben werden bezüglich des Vorgehens sowie der Wahl und Gewichtung von geeigneten Auswahlkriterien früher oder später hitzige Diskussionen geführt. Bei strittigen Anforderungen wird dann oft und gerne einfach eine weitere Zeile an den Anbieter-Fragenkatalog hinzugefügt (Excel ist ja ideal dafür gemacht!), ohne sich vorgängig Gedanken darüber zu machen, wie die Antwort auf diese Frage schlussendlich in die Bewertung des Angebotes einfliessen soll. Ohne geführten Prozess entstehen so Fragenkataloge mit hunderten von Einträgen, wo das Evaluations-Team nach Eingang der Angebote mit der schieren Menge an Informationen überfordert ist.

Um unsere Kunden strukturiert und ohne Emotionen durch diesen Prozess zu begleiten, setzt atrete seit vielen Jahren auf ein methodisches Vorgehen, welches auf dem Prinzip der Nutzwertanalyse beruht.

Die konkrete Anwendung gestaltet sich im Regelfall wie folgt:

Evaluationsschritte
  1. In einem gemeinsamen Workshop mit dem Evaluations-Team werden zuerst alle Kriterien erfasst, welche mit den Anforderungen an das zu evaluierende Produkt im Zusammenhang stehen. Diese Kriterien sind jeweils nach «Muss» bzw. «Kann» Kriterien zu unterteilen. Die «Kann»-Kriterien, i.d.R. auch als Bewertungskriterien oder Zuschlagskriterien bezeichnet, werden anschliessend in Kategorien zusammengefasst (z.B. technische Kenngrössen, betriebliche Kriterien, Dienstleistungs-Angebot, Qualifikation von Lieferant bzw. Hersteller sowie Kosten und Investitionsschutz). Je nach Komplexität drängt sich zudem die Verwendung von entsprechenden Sub-Kategorien auf.
    Mittels paarweisem Vergleich unter den Hauptkriterien ist sodann die Gewichtung eben dieser Kategorien zu bestimmen, um der relativen Wichtigkeit untereinander Ausdruck zu geben. Auch die in jeder Sub-Kategorie zusammengefassten Bewertungskriterien werden ihrerseits mit Gewichten versehen (durch paarweisen Vergleich oder durch direkte Vergabe der Gewichte). Auch dieser Schritt wird bevorzugt im Plenum durchgeführt, um so eine möglichst hohe Akzeptanz der Kriterien und Gewichtung zu erreichen. Zugleich ist auch das Bewertungsraster zu vereinbaren (z.B. 0 – 4, Schulnoten o.a.). Erst nach diesem Schritt können die Ausschreibungsunterlagen ausgearbeitet und dabei die Fragen an die Anbieter so formuliert werden, dass die vereinbarten Kriterien durch das Evaluations-Team auch bewertet werden können (eine mit Ja/Nein zu beantwortende Frage lässt keine differenzierte Bewertung zu, eine allgemein formulierte Frage kann demgegenüber die Vergleichbarkeit zwischen den Antworten verunmöglichen. Die Kunst ist hier, in der Formulierung den guten Mittelweg zu finden).
  2. Nach Eingang der Angebote erfolgt durch die Mitglieder*Innen des Evaluationsteams eine Einzelbewertung eines jeden einzelnen Bewertungskriterium anhand des vereinbarten Bewertungsraster. Anschliessend werden die abgegebenen Bewertungen verglichen und allfällige Abweichungen wiederum im Plenum geklärt, um so eine einheitliche Bewertung herbeizuführen (Konsolidierung). Sollten nach der ersten Konsolidierung nach wie vor offene Fragen zur Bewertung einzelner Kriterien bestehen, sind diese durch Rückfragen an die Anbieter, Referenz-Calls oder auch Teststellungen zu klären.
  3. Pro Angebot wird nun der Nutzwert eines jedes Bewertungskriteriums bestimmt, indem die Gewichtung mit der jeweiligen Bewertung multipliziert wird und schliesslich durch Summenbildung der gesamte Nutzwert berechnet wird. Dasjenige Angebot mit dem höchsten Gesamtnutzwert erfüllt demzufolge die gegebenen Kriterien am besten und sollte damit auf Rang 1 stehen[2].

Soweit zum theoretischen Hintergrund. Im Netz finden sich zum Thema Nutzwertanalyse und paarweisem Vergleich, wie auch zu anderen Evaluationsmethoden viele spannende Artikel und zum Teil auch kritische Auseinandersetzungen mit dem Thema. In unserer 25-jährigen Praxis hat sich das oben beschriebene Vorgehen im Grundsatz jedenfalls bestens bewährt, muss der Projekt-Situation aber auch angepasst werden.

Die Anfänge auf Basis MS Excel

Ich kann mich noch gut an meinen damaligen Arbeitskollegen Roland Henzi erinnern, der die Methode vor über 25 Jahren in einer Microsoft Excel Vorlage abbildete, um mehrere Angebote für eine Netzwerk-Hardware-Beschaffung systematisch vergleichen und bewerten zu können. In den nachfolgenden Jahren haben wir diese Vorlage dutzendfach im Rahmen unserer Mandate eingesetzt, jeweils an die spezifischen Projektanforderungen angepasst und sukzessive mit weiteren Hilfs-Tabellen für die Bewertung sowie entsprechenden Auswertungs-Grafiken ergänzt.

So einfach die Anwendung einer Excel-basierten Bewertung auch ist, die Herausforderungen sind:

  • bei Schritt 1) und 2) die «ad-hoc» Verschiebung eines Bewertungskriteriums von einer Haupt-Kategorie in eine andere (cut & paste hinterlässt eine leere Zeile bzw. bringt die Reihenfolge und Gewichtung an der eingefügten Stelle durcheinander),
  • bei Schritt 3) in der Zusammenführung von individuellen Bewertungen und der damit verbundenen Handhabung von verschiedenen Datei-Versionen und
  • allgemein die zunehmenden Restriktionen auf Kundenseite bezüglich Austausches von Daten bzw. Beschränkungen beim Zugriff auf eine gemeinsame Datenablage.

Zudem setzten unsere grösseren Kunden vermehrt online Ausschreibungstools ein, welche nach eingehender Prüfung jedoch nicht für den Beratungsalltag geeignet sind, da der Funktionsumfang in der Regel viel zu umfangreich (Anspruch, den gesamten Beschaffungs-LifeCycle abdecken zu können) und aus lizenztechnischen Gründen.

atrete Eval-Tool goes online

Kommerziell erhältliche Ausschreibung bzw. Beschaffungs-Tools waren für uns also keine Option, da ein einfach anzuwendendes Werkzeug mit Fokus auf den Evaluations-Prozess suchten.
Mangels Alternativen betrauten wir nach einigen Überlegungen einen unserer Consultants mit Software-Entwicklungserfahrung mit der Erstellung eines Prototyps. Kaum zwei Wochen nach dem Start konnten wir bereits eine erste grafische Umsetzung für Schritt 1) bestaunen und uns die vielfältigen Möglichkeiten von modernen OpenSource Software-Modulen erklären lassen – vorausgesetzt die geeigneten Software-Module sind einem bekannt. Leider rückte das Vorhaben aufgrund der Priorisierung von Kundenmandaten etwas in den Hintergrund und wir entschieden uns, für die weitere Entwicklung eine Kooperation mit Swiss Knowledge Base AG einzugehen.

Einige Sprints später steht nun eine einfach zu bedienende, web-basierte Lösung zur Verfügung, welche uns erlaubt, noch effizienter in unseren Sourcing-Mandaten zu arbeiten. Die Zeiten des E-Mail-Versandes von Excel-Versionen an alle Evaluations-Teammitglieder*innen sind damit vorbei, eine orts- und zeitunabhängige Bewertung von Angeboten kann stattfinden und selbstverständlich wird die Nachvollziehbarkeit der Aktionen und die Einhaltung des Datenschutzes gewährleistet.

Das atrete Evaluations-Tool unterstützt die oben erwähnten Schritte 1) bis 3) vollständig:

  • Gliederung in “Muss-Kriterien” (Eignungskriterien bzw. technische Spezifikationen) sowie Bewertungs- bzw. Zuschlagskriterien
  • Erfassung von Bewertungskriterien und flexible Kategorisierung über mehrere Hierarchien (Verschiebung mittels Mausklick)
  • Kommentarfeld für die Eingabe von Bewertungs-Vorgaben pro Kriterium (wann erhält die Antwort die maximale Punktzahl etc.)
  • Gewichtung von Bewertungskriterien sowohl über paarweisen Vergleich als auch durch direkte Eingabe der Gewichtung
  • Verwendung von vordefinierten Notenskala bzw. Erfassung von projektspezifischer Notenskala
  • Definition der Preisbewertung
  • Benutzer-Erfassung des Evaluationsteam
  • Individuelle Bewertung der eingegangenen Angebote inkl. Kommentarfunktion durch Mitglieder*innen des Evaluationsteam
  • Konsolidierungsfunktion der Einzelbewertungen
  • Export-Funktion (Kriterien, Bewertungen und Kommentare) für die weitere Verwendung in Berichten, Management-Präsentationen oder Anbieter De-Briefings
  • Versionierung (Kriterien, Gewichtung, Bewertungen)
  • Übernahme eines bestehenden Kriterienkatalogs in neues Projekt
  • etc.

Fazit

In ersten Kundenprojekten konnten wir unser neues Evaluations-Tool bereits erfolgreich einsetzen und dabei die Vorzüge der Digitalisierung schätzen lernen:

  1. Effizienz durch «echte Kollaboration» statt einzeln im Excel
  2. Fokussierung auf die wirklich entscheidenden Faktoren
  3. Historisierung / Nachvollziehbarkeit der Eingaben

Ob wir das Werkzeug als eigenständige Software weiterentwickeln und zukünftig vermarkten werden, wird die Zukunft zeigen. Jedenfalls konnten wir mit der Eigenentwicklung einen wichtigen Schritt Richtung digitale Beratung einschlagen.


Mein Team und ich freuen uns, wenn wir mit unserem neuen digitalen «Helferlein» auch Sie in Ihrem nächsten Evaluations-Projekt unterstützen dürfen. Sie können dazu auf die Erfahrungswerte aus über 120 durchgeführten Ausschreibungen in den verschiedensten Bereichen der IT zählen.


[1] Siehe Kurzbericht Evaluation Neues Kampfflugzeug, https://www.newsd.admin.ch/newsd/message/attachments/67477.pdf

[2] Liegen die Nutzwerte nahe beieinander, empfiehlt sich die Durchführung einer Sensitivitätsanalyse. Bei privatrechtlichen Beschaffungen können bei einem knappen Ausgang zudem auch weitere Bewertungskriterien hinzugefügt, die Bewertungsskala verfeinert oder eine Risikoanalyse durchgeführt werden. Bei öffentlich-rechtlichen Beschaffungen sind die Handlungsspielräume jedoch stark eingeschränkt und es können primär die Bewertungen nachgeprüft werden.