raRoB-VetPrimäre Zielvorgabe von WP4 bestand in der Prüfung der potenziellen Anwendbarkeit und Weiterentwicklung des in SA5 entwickelten Instruments zur Bewertung des Verzerrungspotenzials von epidemiologischen Humanstudien (raRoB) für die Analyse von epidemiologischen Tierstudien (Deliverable 1). Auf dieser Grundlage sollte ein neues und zur Analyse epidemiologischer Tierstudien geeignetes Instrument entwickelt werden (Deliverable 2).Zur Prüfung der bestehenden Struktur und deren Weiterentwicklung in ein separates Instrument wurde mit 16 international rekrutierten Experten aus der Veterinärmedizin und Messtheorie eine modifizierte 3-stufige Delphi-Studie durchgeführt. Im Laufe dieses Entwicklungsprozesses wurden 3 Versionen des Instruments erstellt und 2 separate Testungen mit Experten sowie unabhängig rekrutierten Testern durchgeführt. Dabei wurde das bestehende Instrument nicht nur auf die Anwendung auf epidemiologischen Tierstudien erweitert, sondern auch als Shiny-webapp konzipiert und implementiert. Zudem wurde ein additiver Summenscore zur Bewertung des Gesamtrisiko von Verzerrungen (overall risk of bias score) entwickelt und integriert.Auf Grundlage der Delphi-Studie wurde somit in einem iterativen, konsensorientierten Verfahren ein webbasiertes Instrument zur Analyse des Verzerrungspotenzials von epidemiologischen Tierstudien entwickelt. Durch die Erweiterung des Instruments zu einer webapp wurden die Zielvorgaben des Projekts übertroffen. raRoB-vet ist unter http://shiny.bfr.bund.de/apps/raRoB-vet/ verfügbar und wird vom Bundesinstitut für Risikobewertung gehostet. Das Instrument umfasst sieben Domänen mit 14 Items, die alle primären Quellen für Verzerrungen potentiell abdecken, darunter Formen des ‚Selection‘-, ‚Information‘-, ‚Confounding‘-, ‚Attrition‘- und ‚Reporting bias‘. Das Instrument ist für die Analyse einer Vielzahl an epidemiologischen Studiendesigns konzipiert, darunter ‚Cohort‘-, ‚Case-control‘, ‚Case-cohort‘, ‚Cross-sectional‘, ‚Ecological‘- und ‚Nested case-control studies‘. Für alle Items und Domänen wurden Signalfragen und Hilfefunktionen entwickelt, die fachfremde Nutzer während der geführten Analyse zur Unterstützung nutzen können. Neben der itembasierten Bewertung nach spezifischen Domänen liefert das Instrument am Ende jeder Analyse einen overall risk of bias score. Analyseberichte können im MS Word- und MS Excel-Format ausgegeben werden, sodass das Instrument für den Einsatz in Metaanalysen und Weight of Evidence-Ansätzen gleichermaßen geeignet ist. Die Landingpage der webapp bietet darüber hinaus eine Einführung in das Instrument sowie Links zum Manual und Kontaktinformationen für Support-Anfragen. raRoB-vet wurde im Rahmen des Projekts auf zwei Konferenzen vorgestellt: der DAGSTAT 2024 in Salzburg und der ISVEE 2024 in Sydney. Dabei wurde das Potenzial einer Anbindung des Instruments an automatisierte Verfahren mithilfe von LL-Modellen diskutiert und als mögliche Option zur Weiterentwicklung angeregt. Ein weiteres zukünftiges Ziel ist die weitere Testung des Instruments, insbesondere zur eines kappa und der damit verbundenen Quantifizierung der Interrater-Reliabilität.
shiny rriskDie
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) erkennt die Bedeutung quantitativer Risikoschätzungen in ihren Risikobewertungen an, um die Verwertbarkeit ihrer Schlussfolgerungen zu erhöhen und die Risikokommunikation zu verbessern. Quantitative Ansätze bieten gegenüber rein narrativen Beschreibungen mehrere Vorteile:Sie bieten ein messbares RisikoniveauSie beziehen inhärente Unsicherheiten in die Bewertung einSie ermöglichen präzisere Vergleiche und EntscheidungenRisikobewertungen beinhalten oft mehrere Einflussfaktoren und Teilfragen. Um Evidenz und Unsicherheiten über verschiedene Stufen bis zum endgültigen quantitativen Ergebnis zu führen, werden häufig mathematische Berechnungen eingesetzt. Diese Berechnungen erfordern spezielle Software wie:kommerzielle (z. B. @RISk) oder Open-Source spreadsheet based risk model (SRBM) Tools (z. B. Poptools)Open-Source-Anwendungen wie z. B. shiny rrisk, das in R implementiert wurde und die erforderlichen Funktionalitäten des R-Universums nutzt.Die
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) verpflichtet sich zu Transparenz in ihrer Arbeit, sodass Stakeholder und die Öffentlichkeit ihre Schlussfolgerungen überprüfen und hinterfragen können. Um dies zu erreichen,veröffentlicht die
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) alle Nachweise, Methoden und Zwischenergebnisseveröffentlicht die
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) Software-Code (z. B. @RISK-Dateien) als zusätzliches Material in ihren Stellungnahmenallgemeinere Inhalte im Zenodo-Repository freigibtBei @RISK-Dateien werden bestimmte Funktionen deaktiviert, um eine Überprüfung mit Microsoft Excel zu ermöglichen. Für die Neuberechnung von Ergebnissen ist jedoch eine @RISK-Lizenz erforderlich, um die erforderlichen Funktionen zu aktivieren und Monte-Carlo-Simulationen durchzuführen.Durch die Einführung von Tools wie shiny rrisk und die Aufrechterhaltung der Transparenz in ihren Prozessen könnte die
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) die Qualität, Zuverlässigkeit und Zugänglichkeit ihrer Risikobewertungen in verschiedenen Bereichen verbessern.Die Nutzer von SBRMs sind nicht nur im regulatorischen Bereich tätig, sondern auch in vielen anderen Bereichen, einschließlich der Finanzindustrie. Das bedeutet, dass diese Tools allein nicht die spezifischen Bedürfnisse der Regulierungsbehörden abbilden können; diese müssen von den jeweiligen Nutzern selbst im SBRMs durch Selbstdisziplin eingeführt und gepflegt werden. Dies kann funktionieren, wie in Fallstudie 1 des Projektes. Es kann jedoch auch scheitern, wie in den beiden anderen Fallstudien, in denen entweder die Excel-Datei schwer zu reproduzieren war oder die Dokumentation des Modells selbst schwer zu verstehen war.Im Gegensatz zu den SBRM-Tools bietet shiny rrisk eine Anleitung für die Modellierung und die Dokumentation von Expositions- und Risikomodellen, wie sie in Regulierungsbehörden verwendet werden. Außerdem wird das gesamte Modell in einem offenen Datenformat gespeichert. Dadurch sollten zuverlässige und transparente Risiko- und Expositionsmodelle, die vollständig verfügbar und ausführbar sind, eher die Norm als die Ausnahme sein.shiny rrisk bietet die Möglichkeit einer 2D-Monte-Carlo-Simulation, eine Funktionalität, die in SBRM-Tools nicht verfügbar ist. Die Abbildung von Unsicherheit ist aufgrund der Vielzahl verfügbarer Parameterschätzungen ein absolutes Muss für Risikomodelle, um sicherzustellen, dass die Risikobewertung realistisch ist.
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) und
BfRkurz fürBundesinstitut für Risikobewertung haben in der Vergangenheit in diesem Bereich zusammengearbeitet.Die Fähigkeit, „shiny rrisk“ auszuführen, hängt nicht von der Verfügbarkeit von MS Excel und einem kommerziellen Add-on ab, sondern kann als kostenloser Webdienst auf allen Plattformen genutzt werden.„Shiny rrisk“ eignet sich auch gut für Schulungen in der Risiko- und Expositionsmodellierung (z. B. EU-FORA-Plattform), da es kostenlos ausgeführt werden kann, über eine strukturierte grafische Benutzeroberfläche verfügt und auf allen Plattformen ausgeführt werden kann.Wir konnten zeigen, dass shiny rrisk auf die Hauptbereiche der quantitativen Risikomodellierung der
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) angewendet werden kann. Darüber hinaus konnten wir im Rahmen dieses Projekts die Anpassbarkeit und Erweiterbarkeit von shiny rrisk demonstrieren.Die Software und das Handbuch werden über Github BfRstats zur Verfügung gestellt. Das Web-Tool ist derzeit beim
BfRkurz fürBundesinstitut für Risikobewertung über shiny rrisk als laufendes Web-Tool sowie über shiny rrisk distribution verfügbar.
Sobald die Lücke in der Funktionalität von shiny rrisk für die Verteilungsanpassung geschlossen ist, sollte die Anwendung von den zuständigen
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit)-Modellierern getestet und validiert werden. Wenn dies positiv ausfällt, kann shiny rrisk bei der
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit) als Modellierungs- und Dokumentationswerkzeug eingesetzt werden.In Zukunft wird die Anwendung
„shiny rrisk distributions“ die App
„shiny rrisk“ ergänzen. „shiny rrisk distribution“ ermöglicht eine transparente, reproduzierbare und gut dokumentierte Verteilungsanpassung (sowohl als Dichte- als auch als kumulative Verteilungsfunktion). Die Ergebnisse von „shiny rrisk distribution“ können von den Benutzern direkt in „shiny rrisk“ integriert werden. Dadurch wird die derzeitige Ad-hoc-Implementierung für die
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit)-EKE-CDF-Anpassung ersetzt.
Die Anwendung kann jedoch bereits als Lern- und Schulungsumgebung genutzt werden, z. B. im Rahmen des EU-FORA-Programms. Dazu müsste eine shiny rrisk-Anwendung auf dem
EFSAkurz fürEuropean Food Safety Authority (Europäische Behörde für Lebensmittelsicherheit)-eigenen R4EU-Server ausgeführt werden.