Herkömmliche Benchmarkverfahren
Herkömmliche Benchmarkverfahren messen und vergleichen die Leistungsstärke (Performance) der IT-Dienstleistungen eines Unternehmens mit denen anderer Unternehmen. Der Faktor Leistungsstärke fasst sowohl Effizienz- als auch Effektivitätskriterien zusammen. Ziel eines Benchmarkings ist es, Optimierungspotenziale zu identifizieren und Empfehlungen abzuleiten, wie die Performance optimiert werden kann.
Die weit verbreiteten traditionellen Benchmarkverfahren verwenden sehr häufig einfache Kenngrößen (KPI, Key Performance Indicators), um Vergleiche anzustellen. Eine typische Kenngröße sind z.B. Kosten pro Benutzer. Wenn man Kosten pro Benutzer vergleicht, geht man implizit davon aus, dass die Kosten proportional zu der Zahl der Benutzer sind. Folgende Punkte werden in dieser Annahme nicht berücksichtigt:
- Die Kosten, die ein Benutzer tatsächlich verursacht, hängen von seinem Verhalten ab. Ein Poweruser verursacht höhere Kosten als ein Gelegenheitsnutzer. Die Nutzungsintensität in verschiedenen Systemen ist aber sehr unterschiedlich. Ein System mit 90 Prozent Gelegenheitsnutzern kann sehr teuer sein, aber trotzdem sehr niedrige Kosten pro Benutzer haben.
- Kosten hängen nicht nur von der Nutzung, sondern auch von der Qualität ab. Betrachtet man nur die Kosten pro Benutzer, so bleiben unterschiedliche Qualitätsansprüche unberücksichtigt.
- Kosten für den Batchbetrieb sind unabhängig von der Zahl der Nutzer.
- Es gibt für jedes System einen Sockelbetrag, der unabhängig von der Zahl der Benutzer ist.
Das sind nur einige wenige Punkte. In der Realität werden also von KPI-Verfahren vielfältige und nicht-transparente Annahmen getroffen.
Die Verwendung von Peer-Gruppen
Traditionelle Benchmarkverfahren verwenden häufig Peer-Gruppen, um die Vergleichbarkeit herzustellen. Peer-Gruppen werden zum Beispiel gebildet, indem man sich auf die gleiche Branche, die gleiche Unternehmensgröße, die gleichen Qualitätsanforderungen etc. beschränkt. Dieses Verfahren hat eine Reihe von Nachteilen:
- Implizit wird vorausgesetzt, dass in ähnlichen Unternehmen auch die SAP-Systeme ähnlich genutzt werden, ähnliche Ansprüche vorliegen etc. Das ist aus der Sicht der Statistik ein unbegründetes Vorurteil, das zudem auch durch die vorliegenden empirischen Daten deutlich widerlegt wird.
- Für unterschiedliche Fragestellungen sind unterschiedliche Aspekte wichtig, damit müsste man dann auch unterschiedliche Peer-Gruppen bilden. Das führt aber zu Verzerrungen und ist für traditionelle Verfahren viel zu komplex.
- Legt man als nahe liegenden Ausweg dagegen viele Kriterien für die Peer-Gruppen-Bildung an, dann werden die Peer-Gruppen klein, und damit basieren die Aussagen, die man aus den Vergleichen bekommt, auf sehr wenigen Daten. Wählt man umgekehrt nur eines oder wenige Kriterien, so erhält man Peer-Gruppen mit schlecht vergleichbaren Elementen. Ein unauflösbares Dilemma.