Objektive Evaluation semantischer Jobsuchmaschinen (PDF)

Masterarbeit aus dem Jahr 2014 im Fachbereich Informatik - Wirtschaftsinformatik, Note: 1,0, Universität des Saarlandes, Sprache: Deutsch, Abstract: Die vorliegende Masterarbeit befasst sich mit der Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. In einem ersten Teil wird die Fragestellung untersucht, wie die Leistung semantischer Jobsuchmaschinen gemessen werden kann. Der zweite Teil vergleicht die Leistung einer syntaktischen und einer semantischen Jobsuchmaschine durch eine prototypische Implementierung der vorgestellten Methode.

Die entwickelte Verfahrensweise basiert auf dem Standardverfahren zur Evaluation klassischer Suchmaschinen, das als einfach anzuwenden gilt und leicht zu interpretierende Kennzahlen zur Verfügung stellt. Allerdings besitzt der Ansatz mit der eingeschränkten Objektivität, der Fehleranfälligkeit und dem hohen Durchführungsaufwand einzelner Prozessschritte auch einige wesentliche Problemstellen. Deshalb untersucht die Arbeit auch, wie diese Problematiken gelöst werden können.

Um die zentralen Ziele zu beantworten, werden die in der Literatur auffindbaren Empfehlungen zur Evaluation von klassischen Suchmaschinen herausgearbeitet, mit den Anforderungen und Eigenschaften von semantischen Jobsuchmaschinen zu einer eigenständigen Methode zur Evaluation solcher Systeme integriert und schließlich die Leistung beider Jobsuchmaschinen durch eine prototypische Implementierung der Methode verglichen.

Im Ergebnis entstand eine Vorgehensweise, mit der die Leistung von semantischen Jobsuchmaschinen objektiv evaluiert werden kann. Um die Objektivität der Methode zu gewährleisten, wurde das Konzept der Relevanzschwelle eingeführt. Mit der automatisierten Suchanfragegenerierung und der automatischen Relevanzeinschätzung wurden zwei Ansätze zur Reduzierung des Durchführungsaufwands und der Fehleranfälligkeit vorgestellt.

Aus der prototypischen Implementierung der Methode ging ein umfangreicher Evaluationsprototyp hervor, mit dem die bessere Retrieval-Effektivität der semantischen Jobsuchmaschine auf Basis der zugrundeliegenden Testumgebung herausgestellt werden konnte.