If you don't remember your password, you can reset it by entering your email address and clicking the Reset Password button. You will then receive an email that contains a secure link for resetting your password
If the address matches a valid account an email will be sent to __email__ with instructions for resetting your password
Die Betrachtung verschiedener versorgungsbezogener Daten, wie zum Beispiel der Patient:innen-zufriedenheit, kann für eine Gesundheitseinrichtung wichtige Informationen zur Verbesserung des Angebots beinhalten. Durch eine regelmäßige und automatische Erhebung dieser Daten im Internet kann Zeit und Geld gespart werden. Diese Datenerhebung kann mithilfe von Web Scraping erfolgen. Web Scraping ist für die Erhebung und Verknüpfung von (Sekundär-)Daten aus dem Internet sehr gut geeignet. In diesem Beitrag wird eine niedrigschwellige Möglichkeit für das Web Scraping illustriert: Web Scraping mit der kommerziellen Software OutWit. Diese Methode ist auch für Forscher:innen ohne Erfahrung im Bereich des Web Scrapings geeignet. Nach einem Web Scraping können bei quantitativen Daten klassische Methoden der Statistik oder bei qualitativen Daten Methoden der qualitativen Inhaltsanalyse genutzt werden. Vor einer Datenerhebung mithilfe von Web-Scraping-Verfahren sollten rechtliche Rahmenbedingungen für das individuelle Forschungsprojekt geklärt werden, und es sollte eine ethische Betrachtung stattfinden, denn nicht immer ist das automatisierte Auslesen von Daten mit den geltenden Nutzungsbedingungen der jeweiligen Datenhalter vereinbar.
Abstract
Reviewing various care-related data, such as patient satisfaction, can provide valuable information for a health care organization to improve its services. Regular and automatic data collection of internet data can save time and money. This data collection can be performed using web scraping. Web scraping is well-suited for collecting and linking (secondary) data from the internet. In this paper, a low-threshold option for web scraping is illustrated: Web scraping using the commercial software OutWit. This method is also suitable for researchers with no experience in web scraping. Following web scraping, classical statistical methods can be used for quantitative data or qualitative content analysis for qualitative data. Before collecting data using web scraping methods, the legal framework for the individual research project should be clarified. Additionally, ethical considerations should be addressed because the automated extraction of data is not always compatible with the respective data holder’s applicable terms of use.
Relevanz von Web Scraping für die Versorgungsforschung
Plattformen wie „www.klinikbewertungen.de“, „www.patientenfragen.net“ oder „www.onmeda.de“ bieten Internetnutzer:innen die Möglichkeit, sich gezielt über Krankenhausaufenthalte, den eigenen Krankheitsverlauf und Gesundheitsfragen zu informieren und auszutauschen oder Gesundheitseinrichtungen zu bewerten. In sozialen Netzwerken, Kommentarspalten unter digitalen Zeitungsartikeln oder Produktbewertungen von medizinischen Apps tauschen sich Nutzer:innen ebenfalls über verschiedene gesundheitsrelevante Themen aus. Die Hälfte aller Menschen in Europa zwischen 16 und 76 Jahren nutzen diese Angebote [
]. Mithilfe von Web Scraping können diese Informationen extrahiert und dann für die Versorgungsforschung genutzt werden.
In einer Studie konnten mittels Web Scraping auf Jobbörsen beispielsweise die geforderten Kompetenzen in Ausschreibungen für Medizininformatiker:innen automatisch gesammelt werden und man stellte so fest, dass SoftSkills und Spezialistenwissen gleich bedeutsam sind [
]. Meyer et al. (2019) konnten mithilfe einer Webbrowser-Erweiterung die Nutzer:innenkommentare unter Zeitungsartikeln zu COVID-19 extrahieren und zeigen, dass extreme Ansichten die Diskussion für oder gegen eine Impfung stark polarisierten und Nutzer:innen nicht nach zusätzlichem Wissen suchten, sondern eher nach weiteren Argumenten für die bereits bestehende eigene Meinung [
]. Vilardaga et al. (2020) sammelten Informationen aus Appstores und werteten die Informationen anschließend systematisch aus, um eine Einschätzung der Qualität von Gesundheits-Apps vorzunehmen [
Für das Web Scraping wird Software genutzt, welche automatisch durch Websites navigiert, Informationen auf den Internetseiten sucht, diese Informationen extrahiert und in einer vorgegebenen Form speichert [
]. Web Scraping, wie es in diesem Artikel beschrieben wird, kann nicht auf App-Anwendungen übertragen werden, sondern bezieht sich nur auf Internetseiten.
In diesem Beitrag soll eine einfache Möglichkeit des Web Scrapings beschrieben werden, welche einen niedrigschwelligen Zugang für Forschende ermöglicht. Zudem wird ein Ausblick auf komplexere Vorgehensweisen gegeben. Zunächst werden Basiskompetenzen für Forscher:innen vorgestellt, damit diese mit dem Web Scraping beginnen können. Folgend werden die technischen, rechtlichen und ethischen Voraussetzungen für Web Scraping beschrieben. Danach wird die Anwendung eines konkreten Programms exemplarisch dargestellt. Der Artikel schließt mit einem Ausblick zu fortgeschritteneren Methoden des Web Scrapings und einem Fazit.
Basiskompetenzen für das Web Scraping
Für erste softwaregestützte Web-Scraping-Projekte, müssen Forschende nur wenige zusätzliche Kompetenzen erwerben. Sie sollten aber ein grobes Verständnis davon haben, wie Internetseiten aufgebaut sind. Bei den meisten Internetseiten handelt es sich um Webdokumente, die auf der Hypertext Markup Language (HTML) basieren [
]. Die HTML-Datei enthält die Inhalte einer Seite und Anweisungen zur Strukturierung und Formatierung, welche als Tags angegeben werden. Das Erscheinungsbild einer Internetseite wird zusätzlich durch den Einsatz von Cascading Style Sheets (CSS) oder die Einbindung von JavaScript bestimmt [
Nicht alle Internetseiten sind für Web Scraping geeignet oder sie erfordern fortgeschrittene Methoden. Am geeignetsten sind zum Einstieg in das Web Scraping diejenigen Internetseiten, bei denen Informationen direkt und ohne weiteres Nachladen auf einer Internetseite zu finden sind. Dies lässt sich bereits bei der Ansicht einer Internetseite grob einschätzen. Liegen zum Beispiel viele Elemente auf einer Internetseite vor, die sich durch Anklicken öffnen, ist diese Internetseite für das Web Scraping weniger geeignet als eine Internetseite, bei welcher der Text direkt vollständig angezeigt wird. Werden bei einer Internetseite beispielsweise häufig JavaScripts genutzt, wird auch das Web Scraping mit einfachen Methoden deutlich komplizierter.
Im Entwicklermodus eines Browsers lässt sich diese erste Einschätzung schnell überprüfen. Wenn über die Suchfunktion im HTML-Text die Informationen von Interesse gefunden werden, ist diese Internetseite wahrscheinlich geeignet. Im Beispiel lässt sich in Abbildung 1 erkennen, dass auf dieser Internetseite 41 Ergebnisse zum Suchparameter „Krankheitsbild“ gefunden werden. Daher ist davon auszugehen, dass diese Internetseite technisch gut für das Web Scraping, zum Beispiel für das Auslesen der jeweiligen Krankheitsbilder, geeignet ist.
]. Daten von Patient:innen aus dem Internet werden zudem durch das Web Scraping ausgewertet, ohne dass diese Personen darüber informiert werden. Besonders, wenn Forschende sich Zugang zu Daten verschaffen, die erst nach Anmeldung einsehbar sind (z. B. Diskussionsforen, die nicht frei zugänglich sind), ist die Datensammlung für Forschungszwecke kritisch zu betrachten [
Je nach Anwendungsfall und je nach Internetseite, von welcher die Informationen extrahiert werden sollen, unterscheiden sich die Nutzungsmöglichkeiten und die rechtlichen Rahmenbedingungen. Bei der rechtlichen Auseinandersetzung mit Web Scraping wird allerdings häufig die kommerzielle Nutzung betrachtet und nicht die wissenschaftliche Verwertung der Daten [
]. Black (2015) ist der Auffassung, dass Web Scraping in der Forschung zulässig ist, solange es nicht mit den kommerziellen Aktivitäten der Datenquellen kollidiert und/oder den Besitz der Daten behauptet [
]. Nach § 60d UrhG wird wissenschaftlichen, nicht-kommerziellen Forschungsprojekten die Vervielfältigung und Auswertung beim Einsatz von Data Mining umfassend gewährt. Data Mining umfasst die Sammlung und automatische Analyse von digitalen Werken auf Muster und Trends und ist damit umfassender als Web Scraping, da beim Web Scraping nur die Datensammlung stattfindet. Web Scraping ist damit ein Teilbereich vom Data Mining. Redlich (2020) verweist zudem auf Gerichtsurteile
Redlich (2020) listet einige Urteile auf: „6 U 221/08 des OLG Frankfurt am Main, 308 O 162/09 des LG Hamburg und 3 U 191/08 des OLG Hamburg sowie I ZR 159/10 des Bundesgerichtshofs und Urteil C-30/14 des Europäischen Gerichtshofs“
, die Web Scraping erlauben obwohl die Nutzungsbedingungen das Web Scraping verbieten, solange den jeweiligen Nutzungsbedingungen nicht aktiv zugestimmt wurde [
Im Anschluss an ein Web Scraping muss eine Aufbereitung der Daten vorgenommen werden. Fehler bei der Datenextraktion können die Auswertung und Interpretation der Daten stark beeinflussen oder völlig verfälschen [
]. Die extrahierten Daten sollten daher stichprobenhaft mit den Originaldaten auf der Internetseite abgeglichen werden, um Fehler bei der Datenextraktion auszuschließen [
Wie genau mit den Daten nach der Extraktion durch Web Scraping umgegangen wird, hängt von der Art und der Menge an Daten, der Fragestellung und der zu verwendenden Analysen ab. Dahingehend unterscheiden sich solche Daten nicht von primärerhobenen Daten oder von Sekundärdaten, die ohne den Einsatz von Web Scraping bezogen wurden.
Es ist auch denkbar, dass verschiedene Datenquellen im Internet identifiziert werden, welche dann verknüpft werden können. Eine Verknüpfung könnte beispielsweise mit Krankenhausname, Adressen oder der Krankenhaus-ID vorgenommen werden. Bei der Verknüpfung von verschiedenen Datenbanken müssen Gemeinsamkeiten in den verschiedenen Quellen gesucht werden. Einheitliche Möglichkeiten der Verknüpfung gibt es nicht.
Softwarelösung – OutWit Hub
Es gibt viele Tools, welche für Einsteiger:innen im Bereich Web Scraping geeignet sind, wie zum Beispiel DataMiner, WebScraper.io oder SimpleScraper. OutWit Hub ist eine weitere Web-Scraping-Software, welche in einer kostenlosen und in verschiedenen kostenpflichtigen Versionen bereitsteht und aus eigener Erfahrung sehr gut für die Datenextraktion aus dem Internet geeignet ist. Bereits die kostenlose Version des Programms besitzt einen ausreichenden Funktionsumfang für einfache Web-Scraping-Projekte.
Zunächst wird eine Liste aller zu durchsuchenden Internetseiten angefertigt, welche dann als Grundlage für das Web Scraping dienen kann. In OutWit lassen sich alle URLs auf einer Internetseite anzeigen. Ist hier ein Muster erkennbar, kann die Internetseite schnell ausgelesen werden. In Abbildung 2 lässt sich erkennen, dass die einzelnen Forenbeiträge auf der Internetseite „omenda.de“ (ab Zeile 38) ein bestimmtes Muster (fragen.omenda.de/forum/*Name des Forums*/*Nummer und Titel des Forenbeitrags*) aufweisen. Forenbeiträge auf den einzelnen Themenseiten können daher schnell identifiziert und gesammelt werden.
Bei hoch komplexen und vielschichtigen Internetseiten funktioniert dieses Vorgehen in OutWit weniger gut und es sollte auf Möglichkeiten in R oder Python zurückgegriffen werden (siehe unten).
Die Datenextraktion auf einer Website mit OutWit verläuft immer nach dem gleichen Muster. Ohne weitere Kenntnisse von HTML-Code lassen sich Daten von einer Internetseite auslesen und in aggregierter Form speichern. Der Fokus bei OutWit liegt immer auf einem selbst gewählten Marker vor der zu extrahierenden Information und einem selbst gewählten Marker nach der zu extrahierenden Information im HTML Code. Das folgende Beispiel soll dies illustrieren:
Wenn aus Tabelle 1 die „Pro“-Argumente für ein Krankenhaus ausgelesen werden sollen, wäre dies möglich, indem aus dem HTML-Code als Marker davor „<dl> <dt>Pro:</dt> <dd>“ und als Marker danach „<dd>“ angegeben würde. Zwischen den Markern liegt die gewünschte Information im Klartext vor (vgl. Tabelle 1). Nach dem Setzen der Marker vor und nach dem gewünschten Klartext könnte der Web-Scraper auf der Internetseite alle gewünschten Informationen extrahieren. Es ist ohne HTML-Kenntnisse möglich, einen Web-Scraper anzulegen, wenn bei den Markern ein wenig ausprobiert wird. Die Bedeutung des HTML-Codes selbst ist dabei unerheblich, da nur eine Struktur gesucht werden muss, die sich wiederholt. Mit mehreren Markern können verschiedene Inhalte gleichzeitig von einer Internetseite extrahiert werden.
Vor- und Nachteile von Web Scraping
Klare Vorteile von automatischem Web Scraping sind die Zeiteffizienz und Kostenreduktion gegenüber herkömmlichen Datenerhebungsmethoden [
]. Im Gegensatz zu primärdatenbasierten Erhebungsmethoden, bei denen Personen im direkten Kontakt befragt werden, werden Personen durch das Web Scraping nicht erneut belastet, da hier auf bereits verfügbare Daten zurückgegriffen wird [
]. Zusätzlich ist eine Reduktion von sozialerwünschtem Antwortverhalten zu erwarten, da Aussagen nicht in einer Erhebungssituation gemacht werden. Allerdings ist hier der Kontext der Onlinebeiträge bei der Interpretation der Daten zu berücksichtigen, da sich Onlinebewertungen tendenziell in Extrembereichen befinden.
Zudem bietet automatisches Web Scraping inhaltliche Vorteile für die Versorgungsforschung. So können qualitative Berichte aus dem Internet von Nutzer:innen zu Erkenntnisgewinnen beitragen, die durch primärdatenbasierte Verfahren nur unter großem Ressourceneinsatz zu erreichen wären [
]. Beispielsweise wäre es möglich, die Patient:innenzufriedenheit in der Corona-Pandemie rückwirkend zu verschiedenen Zeitpunkten der Pandemie auf der Grundlage von Forenbeiträgen zu betrachten, indem Daten aus Foren nachträglich mit Datumsangaben extrahiert und qualitativ ausgewertet werden können. Dieses Forschungsdesign wäre mit einer Interviewstudie oder einer quantitativen Befragung rückwirkend schwer umsetzbar.
Web Scrapings mit Python oder R
Eine kostenlose und deutlich leistungsstärkere, jedoch weniger niedrigschwellige Möglichkeit des Web Scraping ist das Web Scraping mit der Programmiersprache Python und dem dazugehörigen Modul ‚BeautifulSoup‘ [
]. Mit Python und R kann Web Scraping deutlich differenzierter und genauer durchgeführt werden, als es beispielsweise mit OutWit der Fall ist. Hierfür sind allerdings Programmierkenntnisse sowie ein grundlegendes Verständnis von HTML notwendig [
]. Der Mehraufwand durch eigene Programmierungen wird durch fundierte Daten und die Möglichkeiten der automatischen Auswertung gerechtfertigt.
Fazit
Web Scraping kann für die Versorgungsforschung eine neue Datengrundlage aus dem Internet erschließen und dabei unterstützen, neue Forschungsfragen zu beantworten. Kommentare, Forenbeiträge und Bewertungen von Gesundheitseinrichtungen können so die Grundlage von aktuellen Forschungsbeiträgen bilden.
Insgesamt erscheint OutWit, stellvertretend für softwarebasiertes Web Scraping als eine gut geeignete Möglichkeit für den Einstieg in Web Scraping und ist mit sehr wenig Einarbeitungszeit eine gute Möglichkeit für erste Web-Scraping-Forschungsprojekte. Mit etwas mehr händischer Arbeit und weniger Automation in den einzelnen Schritten wird es möglich, ohne viel Wissen im Bereich der Programmierung solide Ergebnisse beim Web Scraping zu erhalten. Damit ist die Zeitersparnis für kleinere Projekte größer, als es eine manuelle Extraktion oder eine aufwendige Einarbeitung in die Programmierung ist.
Interessenkonflikt
Die Autoren erklären, dass kein Interessenkonflikt besteht.
Autor*innenschaft
Christian Kempny: Konzeptualisierung, Methodik, Software, Recherche, Schreiben des ersten Entwurfs, Überprüfen & Lektorieren, Visualisierung, Projektverwaltung.
Patrick Brzoska: Konzeptualisierung, Methodik, Recherche, Überprüfen & Lektorieren, Supervision.
00228-8&id=gr1.jpg){kind=link}
00228-8&id=gr2.jpg){kind=link}