LU504906B1 - Kamerasystem und Verfahren zur Einstellung eines Kamerasystems für die Erkennung eines Objekts - Google Patents

Abstract

Bereitgestellt wird ein Verfahren (200) zur Einstellung eines Kamerasystems (10) für die Erkennung eines Objekts (12). Das Verfahren (200) umfasst (a) ein Empfangen (202) eines mittels einer Kamera (14) des Kamerasystems (10) erfassten Bildes eines als Referenzobjekt zumindest teilweise in einem Bildfeld (16) der Kamera (14) befindlichen Objekts (12), sowie (b) ein Veranlassen einer Durchführung (204) einer Objekterkennung anhand des erfassten Bildes. Das Verfahren (200) umfasst ferner (c) ein Veranlassen eines Ermittelns (206) einer Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung, und (d) ein Beurteilen (208) einer Eignung einer Ausrichtung und/oder einer Fokussierung der Kamera (14) für die durchgeführte Objekterkennung anhand der ermittelten Erkennungszuverlässigkeit.

Description

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 1/34 LU504906

KAMERASYSTEM UND VERFAHREN ZUR EINSTELLUNG EINES

KAMERASYSTEMS FÜR DIE ERKENNUNG EINES OBJEKTS

Bereitgestellt werden ein computer-implementiertes Verfahren zur Einstellung eines Kamerasystems für die Erkennung eines Objekts, eine Verwendung einer

Erkennungszuverlässigkeit einer mittels eines Kamerasystems durchgeführten

Objekterkennung als Regelgröße zur Regelung der Ausrichtung und/oder

Fokussierung des Kamerasystems, eine Steuereinheit für ein Kamerasystem für die Erkennung eines Objekts, ein Computerprogramm, ein computerlesbares

Medium, ein Kamerasystem und ein Roboter. Die Ausführungsformen liegen somit insbesondere auf dem Gebiet der Objekterkennung und optional auf dem Gebiet der Automatisierungstechnik.

Im Stand der Technik sind Kamerasysteme bekannt, welche zur optischen ı5 Erfassung von Objekten verwendbar sind. Dabei ist es erforderlich, die Kamera auf die zu erfassenden Objekte anzupassen. Die sequentielle Anpassung der

Kamera erfolgt dabei in der Regel in einer sequentiellen Reihe von unabhängigen

Schritten, welche zunächst eine Einstellung eines Bildfeldes der Kamera umfassen, die durch eine Positionierung der Kamera relativ zum zu erfassenden

Objekt oder durch eine Verstellung der Brennweite des Kameraobjektivs erfolgen kann. Letzteres ist nur möglich, wenn die Kamera ein Objektiv mit veränderbarer

Brennweite aufweist oder eine Auswechslung des Objektivs erlaubt. In einem weiteren Schritt erfolgt in der Regel eine Einstellung der Fokuslage der abbildenden Optik, also des Kameraobjektivs, um die Abbildung auf ein oder mehrere zu erfassende Objekte scharfzustellen. Bei der Verwendung der Kamera zur Erkennung des optisch erfassten Objekts kann nach Abschluss der

Anpassung und Einstellung der Kamera in einem weiteren Schritt ein Aufnehmen eines oder mehrerer Bilder und ein Analysieren des Bildes bzw. der mehreren

Bilder erfolgen. Die Erkennung des Objektes bzw. der Objekte kann dabei unter

Verwendung von künstlicher Intelligenz erfolgen.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 2/34 LU504906

Die US8181878B2 beschreibt ein Verfahren und eine Vorrichtung zur Anzeige eines Schärfe- oder Unschärfezustands für eine zweidimensionale

Abbildungsvorrichtung in einer optischen Lese- und Dekodiervorrichtung zum

Empfang eines kodierten Bildes von einem Zielbereich auf einem Gegenstand oder einer Verpackung.

In der JP2006173979A wird ein digitaler Fotoapparat mit einem drehbaren Kame- raobjektivteil vorgestellt, wobei hinter dem Kameraobjektivteil eine LED-Lampe in- stalliert ist, die dem Bediener zur Bestätigung dient, dass sich das Kameraobjek- tivteil in räumlicher Relation zu einem Objekt im Fokussierungszustand befindet.

Die WO2009/089142A2 beschreibt eine Technik zum Fokussieren einer

Digitalkamera, die folgende Schritte umfasst: 1. Das Vorspeichern mindestens eines bestimmten Bildobjekts, wie z. B. eines bekannten Gesichts oder einer bekannten Landmarke. 2. Das Aktivieren der Kamera, um ein Bild zu erhalten. 3.

Das Analysieren von Objekten im Bild. 4. Das Vergleichen der Objekte im Bild mit dem mindestens einen bestimmten Bildobjekt, und 5. Das Bestimmen, ob es eine

Übereinstimmung zwischen mindestens einem Objekt im Bild und mindestens einem bestimmten Bildobjekt gibt. Wenn eine Übereinstimmung gefunden wird, wird die Kamera auf das übereinstimmende Objekt fokussiert und das Bild wird aufgenommen.

In der EP2693363B1 wird ein Kamerasystem (bzw. ein kamerabasiertes

Codelesesystem) zur Erfassung von einem relativ zu dem Kamerasystem bewegten Strom von Objekten angegeben, wobei das Kamerasystem mehrere

Erfassungseinheiten mit jeweils einem Bildsensor und einer Fokussiereinheit, sowie mindestens eine Steuerungseinheit aufweist.

Die im Stand der Technik bekannten Verfahren und Vorrichtungen haben den ge- meinsamen Nachteil, dass eine ungeeignete Einstellung bzw. Anpassung der Ka- mera auf das zu erkennende Objekt zu einem kompletten Versagen der Objekter- kennung führen kann. Da die ungeeignete Einstellung bzw. Anpassung der Ka- mera jedoch möglicherweise erst bei einer fehlerhaften Objekterkennung

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 3/34 LU504906 festgestellt wird, hat dies zur Folge, dass eine Installations- bzw. Einrichtungspro- zedur zur Einstellung bzw. Anpassung der Kamera erneut durchgeführt werden muss. Dazu sind meist zeitaufwändige Wiederholungen manueller Vorgänge durch das Bedienpersonal erforderlich. Dieser Nachteil kann besonders ausge- prägt sein, wenn viele unterschiedliche Objekte oder Fehlerzustände erkannt wer- den müssen. Zudem kann dies zusätzlich erschwert werden, wenn schnell be- wegte Objekte erkannt werden sollen.

Vor dem Hintergrund dieses Standes der Technik kann eine Aufgabe der vorliegenden Offenbarung darin gesehen werden eine Vorrichtung und/oder ein

Verfahren anzugeben, die jeweils geeignet sind den Stand der Technik zu bereichern.

Gelöst wird die Aufgabe durch die Merkmale der unabhängigen Ansprüche. Die nebengeordneten Ansprüche und die Unteransprüche haben jeweils optionale

Weiterbildungen der Offenbarung zum Inhalt.

Bereitgestellt wird ein Verfahren zur Einstellung eines Kamerasystems für die

Erkennung eines Objekts, das Verfahren umfasst (a) ein Empfangen eines mittels einer Kamera des Kamerasystems erfassten Bildes eines als Referenzobjekt zumindest teilweise in einem Bildfeld der Kamera befindlichen Objekts, und (b) ein

Veranlassen einer Durchführung einer Objekterkennung anhand des erfassten

Bildes. Zudem umfasst das Verfahren ferner ein (c) Veranlassen eines Ermittelns einer Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung, und (d) ein Beurteilen einer Eignung einer Ausrichtung und/oder einer Fokussierung der

Kamera für die durchgeführte Objekterkennung anhand der ermittelten

Erkennungszuverlässigkeit.

Ferner wird eine Verwendung einer Erkennungszuverlässigkeit einer mittels eines

Kamerasystems durchgeführten Objekterkennung als Regelgröße zur Regelung der Ausrichtung und/oder Fokussierung des Kamerasystems bereitgestellt.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 4/34 LU504906

Zudem wird eine Steuereinheit für ein Kamerasystem für die Erkennung eines

Objekts bereitgestellt, wobei die Steuereinheit dazu eingerichtet ist, ein offenbarungsgemäßes Verfahren auszuführen.

Darüber hinaus wird ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein offenbarungsgemäßes Verfahren auszuführen.

Ferner wird ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die beider Ausführung der Befehle durch einen Computer diesen veranlassen, ein offenbarungsgemäßes Verfahren auszuführen.

Des Weiteren wird ein Kamerasystem für die Erkennung eines Objekts bereitgestellt. Das Kamerasystem umfasst eine Kamera mit veränderlicher

Ausrichtung und Fokussierung, wobei die Kamera derart auf ein zu erkennendes

Objekt ausrichtbar ist, dass sich das Objekt zumindest teilweise in einem Bildfeld der Kamera befindet, sowie eine Steuereinheit. Die Steuereinheit ist dabei mit dem

Kamerasystem verbunden und dazu eingerichtet ein Erfassen eines Bildes des im

Bildfeld befindlichen Objekts mittels der Kamera zu veranlassen und eine

Durchführung einer Objekterkennung anhand des erfassten Bildes zu veranlassen. Die Steuereinheit kann auch Bestandteil des Kamerasystems oder der Kamera sein. Die Steuereinheit ist ferner dazu eingerichtet, ein Ermitteln einer

Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung zu veranlassen, und eine Information über die ermittelte Erkennungszuverlässigkeit bereitzustellen, welche ein Beurteilen einer Eignung der Ausrichtung und/oder

Fokussierung der Kamera für die durchgeführte Objekterkennung anhand der ermittelten Erkennungszuverlässigkeit ermöglicht.

Ferner wird ein Roboter umfassend ein offenbarungsgemäßes Kamerasystem bereitgestellt.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 5/34 LU504906

Das Verfahren kann dabei als computer-implementiertes Verfahren ausgebildet sein. Dass das Verfahren ein computer-implementiertes Verfahren sein kann, bedeutet dabei, dass zumindest manche Verfahrensschritte von einem Computer durchgeführt werden. Optional können alle Verfahrensschritte von einem

Computer durchgeführt werden. Optional kann der Computer als eine der im

Folgenden beispielhaft aufgelisteten Vorrichtungen ausgebildet sein: ein Personal

Computer, ein Notebook Computer, ein Tablet Computer, ein Smartphone, eine

Steuereinheit, ein Microcontroller, und ein Prozessor. Die Steuereinheit kann optional einen oder mehrere Prozessoren und ein oder mehrere Speicherelemente aufweisen.

Das Kamerasystem kann dabei eine oder mehrere Kameras aufweisen. Optional kann das Kamerasystem weitere Komponenten aufweisen, wie etwa eine

Steuereinheit und/oder ein Kommunikationsmodul. Die optionalen mehreren

Komponenten der Steuereinheit können dabei zusammen eine bauliche Einheit bilden und optional in einem gemeinsamen Gehäuse angeordnet sein. Alternativ können zumindest manche Komponenten des Kamerasystem getrennt voneinander angeordnet sein.

Die Erkennung eines Objekts kann auch als Objekterkennung bezeichnet werden.

Die Erkennung des Objektes kann einer Ermittlung dienen, ob ein oder mehrere optisch erfasste Objekte einem vorbestimmten Objekttyp entsprechen oder nicht.

Optional kann die Objekterkennung auch eine Extraktion von weiteren

Informationen umfassen, beispielsweise, ob Abweichungen zwischen einem erkannten Objekt und einem vorbestimmten Objekttyp bestehen, oder nicht.

Optional kann eine Extraktion von weiteren Informationen auch ein Auslesen von in oder an dem Objekt gespeicherten Informationen beinhalten, etwa das

Auslesen eines Strichcodes und/oder eines QR-Codes und/oder von herkömmlicher, menschenlesbarer Schrift und/oder von Symbolen anderer Art.

Das Bildfeld ist dabei ein Bereich in einer von der Kamera abgebildeten

Objektebene, welcher durch den Bildwinkel aufgespannt wird. Mit anderen Worten

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 6/34 LU504906 ausgedrückt, das Bildfeld stellt jenen Bereich in der Objektebene dar, welcher mittels der Kamera mit den gewählten Einstellungen abgebildet werden kann. Die

Ausrichtung der Kamera kann dabei durch die Richtung bestimmt sein, in welche die optische Achse der Kamera, bzw. die optische Achse eines abbildenden

Elements der Kamera, etwa einer Objektivlinse der Kamera, gerichtet ist. Optional kann die Ausrichtung der Kamera auch durch eine Brennweite des abbildenden

Elements der Kamera mitbestimmt sein. Optional kann die Ausrichtung der Kamera auch durch einen Abstand zwischen der Kamera und dem optisch zu erfassenden

Objekt bestimmt sein. Somit kann das Ändern der Ausrichtung der Kamera durch ein Verändern einer Orientierung der optischen Achse der Kamera und/oder durch ein Verändern einer Position der Kamera entlang der optischen Achse, also durch ein Ändern des Abstands zwischen der Kamera und dem optisch zu erfassenden

Objekt, erfolgen. Das Ändern der Ausrichtung der Kamera kann optional auch durch ein Verändern der Brennweite des abbildenden Elements der Kamera, zum Beispiel eines Zoom-Objektives, erfolgen. Die Fokussierung der Kamera kann dabei ein

Scharfstellen der Kamera, bzw. des abbildenden Elements der Kamera, auf das

Objekt sein, sodass eine scharfe Abbildung des Objekts auf eine Sensorfläche der

Kamera erfolgt. Mit anderen Worten erklärt, kann das Scharfstellen ein präzises

Einstellen der Entfernung des abbildenden Elements zwischen dem Objekt und der

Sensorfläche der Kamera darstellen. Die Entfernungseinstellung kann optional durch ein Kameraobjektiv erfolgen.

Eine Erkennungszuverlässigkeit der Objekterkennung kann dabei eine

Zuverlässigkeit bezeichnen, mit welcher bei der vorherrschenden Qualität des empfangenen Bildes die Objekterkennung anhand eines Referenzobjekts erfolgreich durchgeführt werden kann, d. h. mit welcher Zuverlässigkeit die

Durchführung möglich ist. Dies bedeutet, dass die Erkennungszuverlässigkeit primär oder ausschließlich von dem empfangenen Bild und dessen Eignung für die

Objekterkennung abhängen kann. Optional kann die diesbezügliche Qualität

Zzumindest teilweise und/oder ausschließlich von der Ausrichtung und/oder der

Fokussierung der Kamera auf das Referenzobjekt abhängen. Mit anderen Worten ausgedrückt, kann die Erkennungszuverlässigkeit im Sinne der Offenbarung

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 7134 LU504906 primar oder ausschließlich ein Mal} fur die Eignung des einen oder der mehreren empfangenen Bilder, welche mittels der Kamera des Kamerasystems erfasst wurden, abhangen. Hingegen kann die Erkennungszuverlassigkeit als

Beurteilungskriterium derart gewählt sein, dass eine Qualität und/oder eine

Eignung des gewählten Referenzobjekts und/oder eine Qualität und/oder Eignung der Trainingsdaten und/oder eines Trainingsverfahrens einer künstlichen

Intelligenz zum Antrainieren der Objekterkennung und/oder andere

Referenzinformationen für die Befähigung zur Objekterkennung nicht oder nur in geringem Maße die Erkennungszuverlässigkeit beeinflussen.

Dabei kann die Erkennungszuverlässigkeit dadurch beeinflusst sein, mit welcher

Zuverlässigkeit eine durchgeführte Objekterkennung zu einem korrekten Ergebnis führt. Die Erkennungszuverlässigkeit kann optional in mehrere Stufen eingeteilt sein, etwa hoch, mittel und niedrig. Optional kann die Erkennungszuverlässigkeit prozentual angegeben werden, wobei optional eine Erkennungszuverlässigkeit von 100% eine vollständig zuverlässige und optional fehlerlose Objekterkennung zum Ausdruck bringt, während 0% auf eine gänzlich nicht vorhandene

Zuverlässigkeit bei der Objekterkennung hindeuten kann.

Dass das computer-implementierte Verfahren und/oder die Steuereinheit dazu eingerichtet sind, die Durchführung mancher Schritte zu veranlassen, kann dabei bedeuten, dass das computer-implementierte Verfahren und/oder die

Steuereinheit die Schritte selbst ausführt und/oder zur Ausführung an eine andere

Vorrichtung übermittelt. Das Veranlassen mancher Schritte kann auch bedeuten, dass eine menschlich wahrnehmbare Signalisierung ausgegeben wird, anhand welcher ein menschlicher Bediener notwendige Schritte erkennen und dann (manuell) durchführen und/oder in die Wege leiten kann. Optional kann die andere

Vorrichtung als ein weiterer Computer ausgebildet sein. Optional kann die andere

Vorrichtung in Form eines Servers und/oder eines Zentralsteuergeräts vorliegen, mit welchem die Steuereinheit eine Kommunikationsverbindung aufweisen kann.

Optional können der Server und/oder das Zentralsteuergerät neben dem

Ausführen der Schritte noch weitere Funktionen innehaben. Optional kann die

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 8/34 LU504906

Steuereinheit dazu eingerichtet sein, mittels einer Netzwerkverbindung, wie etwa

Ethernet und/oder USB und/oder mittels einer kabellosen Übertragungsform die

Anweisungen und/oder Informationen an den anderen Computer zu übermitteln.

Die Steuereinheit kann zur Ausführung der Schritte unter Verwendung einer künstlichen Intelligenz optimiert sein. Optional kann die Steuereinheit eine

Hardware-Architektur aufweisen, welche für den Betrieb einer künstlichen

Intelligenz besonders geeignet und/oder ressourcenschonend ist.

Das Computerprogramm kann in Form eines Programmcodes vorliegen,

Insbesondere in einem Code, der für Steuerungen von Kamerasystemen geeignet ist. Das Computerprogramm muss nicht zwingend auf einem computerlesbaren

Speichermedium gespeichert sein, um der Steuereinheit zur Verfügung gestellt zu werden, sondern kann auch über das Internet oder anderweitig extern bezogen werden.

Ein Roboter kann dabei eine Maschine bezeichnen, welche zur Durchführung bestimmter Aufgaben programmiert werden kann. Der Roboter kann dabei als stationärer Roboter ausgebildet sein, welcher fest mit seinem Standort verbunden ist. Alternativ kann der Roboter als ein bewegbarer Roboter ausgebildet sein, sodass der Roboter seinen Standort ändern kann. Optional kann der Roboter dazu ausgelegt sein, mittels des Kamerasystems Objekte zu erkennen und optional diese zu bearbeiten.

Ein Referenzobjekt kann dabei solch ein Objekt sein, welches einem gemäß dem

Verfahren zu erkennenden Objekt entspricht. Optional können mehrere identische und/oder verschiedene Referenzobjekte verwendet werden.

Dass das Beurteilen der Eignung der Ausrichtung und/oder der Fokussierung der

Kamera für die durchgeführte Objekterkennung erfolgt, kann derart zu verstehen sein, dass das Beurteilen der Eignung der Ausrichtung und/oder der Fokussierung der Kamera alternativ oder zusätzlich für zukünftig durchzuführende

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 9/34 LU504906

Objekterkennungen erfolgt, welche optional während eines Regelbetriebs des

Kamerasystems nach abgeschlossener Einrichtung durchgeführt werden.

Die Offenbarung bietet den Vorteil, dass die Erkennungszuverlässigkeit als

Kriterium für die Eignung der gewählten Ausrichtung und/oder Einstellung der

Brennweite und/oder Fokussierung der Kamera des Kamerasystems für die

Erkennung eines Objekts herangezogen werden kann. Mit anderen Worten ausgedrückt bietet die Offenbarung den Vorteil, dass die eigentliche Verwendung des Kamerasystems für die Objekterkennung als Entscheidungskriterium hinsichtlich der Ausrichtung und/oder Fokussierung der Kamera herangezogen werden kann, anstatt losgelöst von der Erkennungszuverlässigkeit zunächst die

Ausrichtung und/oder Fokussierung der Kamera an sich zu optimieren. Dadurch bietet die Erfindung die Möglichkeit, die Einstellung des Kamerasystems für die

Objekterkennung zu vereinfachen und/oder die dafür erforderliche Zeit und/oder den dafür erforderlichen Aufwand zu reduzieren. Insbesondere kann die

Offenbarung den Vorteil bieten, dass eine Anzahl von notwendigen Schritten für die

Einrichtung des Kamerasystem zur Objekterkennung reduziert werden kann und/oder die Einrichtung des Kamerasystems teilweise oder vollständig automatisiert werden kann.

Zudem bietet die Offenbarung den Vorteil, dass optional auf herkömmliche

Methoden zur Fokus-Bewertung und Fokus-Einstellung, wie etwa Phasenvergleich und/oder Kantenkontrastmessung, verzichtet werden kann, da die Eignung des gewählten Fokus des Kamerasystems für die beabsichtigte Objekterkennung anhand der Erkennungszuverlässigkeit der Objekterkennung ermittelt werden kann.

Dadurch können die technischen Anforderungen an das Kamerasystem reduziert und optional die Herstellungskosten für das Kamerasystem verringert werden.

Somit bietet die Offenbarung den Vorteil, dass ein Kamerasystem für die Erkennung von Objekten mit geringen Herstellungskosten bereitgestellt werden kann.

Das Beurteilen der Eignung der Ausrichtung und/oder Fokussierung der Kamera für die durchgeführte Objekterkennung anhand der ermittelten

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 10/34 LU504906

Erkennungszuverlässigkeit kann optional durch die Steuervorrichtung selbst und/oder durch eine entfernt vom Kamerasystem angeordnete Recheneinheit im

Rahmen eines computer-implementierten Verfahrens durchgeführt werden. Dies kann optional teilweise oder vollständig automatisiert erfolgen. Alternativ oder zusätzlich kann das Beurteilen der Eignung der Ausrichtung und/oder Fokussierung der Kamera für die durchgeführte Objekterkennung anhand der ermittelten

Erkennungszuverlässigkeit durch einen menschlichen Benutzer erfolgen. Optional kann sich das Beurteilen der Eignung der Ausrichtung und/oder Fokussierung der

Kamera für die durchgeführte Objekterkennung darauf beschränken, ob mit der vorherrschenden Ausrichtung und/oder Fokussierung der Kamera ein

Referenzobjekt mit ausreichender Zuverlässigkeit erkannt wird oder nicht. Alternativ kann das Beurteilen der Eignung eine abgestufte Bewertung der Eignung umfassen, also etwa in welchem Maße bei der vorherrschenden Ausrichtung und/oder

Fokussierung eine Erkennung des Referenzobjekts erfolgt.

Das Beurteilen der Eignung der Ausrichtung und/oder der Fokussierung der

Kamera für die durchgeführte Objekterkennung kann optional ausschließlich anhand der ermittelten Erkennungszuverlässigkeit erfolgen. Dies kann ein intuitives Einstellen der Ausrichtung und/oder Fokussierung der Kamera erleichtern. Optional kann dabei bei einem Versuch, Ausrichtung und/oder

Fokussierung der Kamera zu verbessern, die Ausrichtung und/oder Fokussierung der Kamera angepasst werden und die sich daraus ergebenden Auswirkungen auf die Erkennungszuverlässigkeit bei der Erkennung eines Referenzobjekts beurteilt werden.

Das Beurteilen der Eignung der Ausrichtung und/oder der Fokussierung der Kamera für die durchgeführte Objekterkennung kann ein Beurteilen, ob die

Erkennungszuverlässigkeit unterhalb eines vorbestimmten Schwellwertes liegt, umfassen. Dies kann den Vorteil bieten, dass eine zuverlässige Erkennung der zu erkennenden Objekte sichergestellt werden kann und dennoch ein großer

Einstellungsbereich für die Ausrichtung und/oder Fokussierung der Kamera des

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 11/34 LU504906

Kamerasystems verwendet werden kann. Dadurch kann die Einstellung der Kamera vereinfacht werden.

Zudem kann das Verfahren optional ein Veranlassen einer Änderung der

Ausrichtung und/oder einer Fokussierung der Kamera derart umfassen, dass die

Erkennungszuverlässigkeit durch das geänderte Bildfeld und/oder die geänderte

Fokussierung verbessert wird, sofern die beurteilte Erkennungszuverlässigkeit unterhalb des vorbestimmten Schwellwertes liegt. Mit anderen Worten kann bei

Vorliegen einer unzureichenden Erkennungszuverlässigkeit eine Einstellung der

Kamera vorgenommen werden, um die Erkennungszuverlässigkeit zu verbessern.

Dies kann den Vorteil bieten, dass die Erkennungszuverlässigkeit als

Entscheidungskriterium herangezogen werden kann, bei der Fragestellung ob die

Änderung der Einstellung der Kamera erforderlich ist oder nicht. Dadurch kann ein unnétiger Zeitaufwand für eine Optimierung der Ausrichtung und/oder Fokussierung der Kamera vermieden werden, beispielsweise in einem Fall, in dem auch ohne einen derartigen Aufwand die Erkennungszuverlassigkeit bereits ausreichend ist.

Die Änderung der Ausrichtung und/oder Fokussierung kann dabei bei Bedarf manuell durch einen Benutzer erfolgen, etwa nach Ausgabe eines Hinweises durch das Kamerasystem an den Benutzer, und/oder teilweise oder vollständig automatisiert durch das Kamerasystem selbst.

Die Schritte a) bis d) und optional e) können optional wiederholt durchgeführt werden. Dies bietet den Vorteil, dass eine regelmäßige und/oder gar laufende

Überwachung der Erkennungszuverléassigkeit durchgeführt werden kann. Dies bietet zudem den Vorteil, dass eine etwaige unzureichende

Erkennungszuverlässigkeit rasch erkannt werden kann und geeignete

Gegenmaßnahmen eingeleitet werden können. Somit kann dies den Vorteil bieten, dass während eines Betriebs des Kamerasystems eine ausreichende

Erkennungszuverlässigkeit zuverlässig beibehalten werden kann.

Das Verfahren kann ferner ein Ausgeben eines Signals zur Regelung der

Ausrichtung und/oder Fokussierung des Kamerasystems mittels wiederholter

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 12/34 LU504906

Durchführung der Schritte a) bis e) umfassen. Mit anderen Worten kann das regelmäßige und optional fortlaufende Ermitteln der Erkennungszuverlässigkeit eine Regelung erlauben, um die Erkennungszuverlässigkeit auf einem vorbestimmten Niveau zu halten und/oder gemäß einem vorbestimmten Verlauf zu ändern. Dies bietet die Möglichkeit, die Erkennungszuverlässigkeit automatisiert auf einem vorbestimmten Niveau und/oder in einem vorbestimmten Bereich zu halten.

Das Ermitteln einer Erkennungszuverlässigkeit kann ein Ermitteln einer Güte und/oder Quote und/oder einer Sicherheit der durchgeführten Objekterkennung anhand eines Vergleichs mit vorgegebenen Vergleichsinformationen umfassen. Die vorgegebenen Vergleichsinformationen können Bildinformationen umfassen, welche Objekte darstellen, die den zu erkennenden Objekten entsprechen. Die

Objekterkennung kann demnach einen Vergleich der erfassten Bilder des zumindest einen Referenzobjekts mit den vorgegebenen Vergleichsinformationen umfassen, sodass eine Ähnlichkeit und/oder ein Grad der Übereinstimmung zwischen dem zu erkennenden Objekt im erfassten Bild und den

Vergleichsinformationen ermittelt werden kann. Die Erkennungszuverlässigkeit kann optional anhand des größten aller Werte für die Übereinstimmung mit den

Vergleichsinformationen ermittelt werden. Die vorgegebenen

Vergleichsinformationen können optional dazu verwendet werden, eine auf künstlicher Intelligenz beruhende Software des Kamerasystems zu trainieren, um die Objekterkennung sodann zumindest teilweise mittels der künstlichen Intelligenz durchzuführen.

Das Verfahren kann ferner ein Veranlassen eines Bereitstellens einer Information über die ermittelte Erkennungszuverlässigkeit und/oder die Beurteilung der

Ausrichtung und/oder Fokussierung des Kamerasystems an einen Benutzer des

Kamerasystems und/oder eine mit dem Kamerasystem verbundene Vorrichtung umfassen. Optional kann das Bereitstellen der Information das Ausgeben eines

Hinweises über einer etwaige unzureichende Erkennungszuverlässigkeit umfassen, um dem Benutzer und/oder der verbundenen Vorrichtung, etwa einem Server, das

Einleiten von Gegenmaßnahmen zu ermöglichen. Optional kann das Verfahren das

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 13/34 LU504906

Bereitstellen einer Information über das Vorliegen einer ausreichenden

Erkennungszuverlässigkeit umfassen, um dem Benutzer und/oder der verbundenen

Vorrichtung zu signalisieren, dass diesbezüglich kein Handlungsbedarf besteht.

Das Durchführen der Objekterkennung anhand des erfassten Bildes und/oder das

Ermitteln einer Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung und/oder das Beurteilen der Ausrichtung und/oder Fokussierung des

Kamerasystems kann unter Verwendung einer künstlichen Intelligenz erfolgen.

Optional können die Vergleichsinformationen zum Trainieren der künstlichen

Intelligenz verwendet werden.

Das Veranlassen der Durchführung einer Objekterkennung anhand des erfassten

Bildes kann durch eine Steuereinheit des Kamerasystems erfolgen. Dabei kann in

Folge des Veranlassens die Steuereinheit und/oder eine vom Kamerasystem entfernt angeordnete Recheneinheit die Objekterkennung durchführen. Mit anderen

Worten kann die Steuereinheit die Durchführung der Objekterkennung initiieren und dabei die Durchführung selbst durchführen und/oder die Objekterkennung anderenorts durchführen lassen, etwa von einem vom Kamerasystem entfernten

Server. Letzteres kann den Vorteil bieten, dass die Hardwareanforderungen an die

Steuereinheit gering gehalten werden können, da eine etwaige aufwendige

Bildauswertung und/oder Objekterkennung nicht von der Steuereinheit selbst durchgeführt werden müssen. Die Durchführung durch die Steuereinheit selbst kann den Vorteil bieten, dass keine Datenübertragung an eine entfernt angeordnete

Recheneinheit zwingend erforderlich ist. Entsprechend muss keine

Kommunikationsverbindung bereitgestellt werden.

Optional kann das Veranlassen des Ermittelns der Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung durch eine Steuereinheit des Kamerasystems erfolgen. Optional kann in Folge des Veranlassens die Steuereinheit und/oder eine vom Kamerasystem entfernt angeordnete Recheneinheit das Ermitteln der

Erkennungszuverlässigkeit durchführen. Letzteres kann den Vorteil bieten, dass die

Hardwareanforderungen an die Steuereinheit gering gehalten werden können, da

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 14/34 LU504906 eine etwaige aufwendige Bildauswertung und/oder Objekterkennung nicht von der

Steuereinheit selbst durchgeführt werden müssen. Die Durchführung durch die

Steuereinheit selbst kann den Vorteil bieten, dass keine Datenübertragung an eine entfernt angeordnete Recheneinheit zwingend erforderlich ist. Entsprechend muss keine Kommunikationsverbindung bereitgestellt werden.

Das Beurteilen der Ausrichtung und/oder der Fokussierung der Kamera kann optional durch eine Steuereinheit des Kamerasystems erfolgen. In Folge des

Veranlassens kann die Steuereinheit und/oder eine vom Kamerasystem entfernt angeordnete Recheneinheit das Beurteilen der Ausrichtung und/oder der

Fokussierung der Kamera durchführen. Dazu kann die Steuereinheit und/oder die vom Kamerasystem entfernt angeordnete Recheneinheit ein entsprechendes

Steuersignal an das Kamerasystem bzw. die Kamera ausgeben. Die Durchführung durch die entfernt angeordnete Recheneinheit kann den Vorteil bieten, dass die

Hardwareanforderungen an die Steuereinheit gering gehalten werden können, da eine etwaige aufwendige Bildauswertung und/oder Objekterkennung nicht von der

Steuereinheit selbst durchgeführt werden müssen. Die Durchführung durch die

Steuereinheit selbst kann den Vorteil bieten, dass keine Datenübertragung an eine entfernt angeordnete Recheneinheit zwingend erforderlich ist. Entsprechend muss keine Kommunikationsverbindung bereitgestellt werden. Optional kann ein

Veranlassen der Änderung der Ausrichtung und/oder einer Fokussierung der

Kamera durch eine Steuereinheit erfolgen. In Folge des Veranlassens kann die

Kamera des Kamerasystems die Änderung der Ausrichtung und/oder einer

Fokussierung durchführen. Optional kann in Folge der Veranlassung ein menschlicher Benutzer manuell eine Anpassung der Ausrichtung und/oder

Fokussierung der Kamera vornehmen. Dabei kann die Steuereinheit optional aktiv als Veranlassung einen Hinweis an den Benutzer ausgeben. Optional kann die

Veranlassung als ein bloßes Erkennen einer verbesserungswürdigen

Erkennungszuverlässigkeit durch den Benutzer vorliegen.

Das Kamerasystem kann optional dazu ausgelegt sein, sich relativ zur Kamera bewegende Objekte oder relativ zur Kamera ruhende Objekte zu erkennen. Optional

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 15/34 LU504906 kann das Kamerasystem dazu eingerichtet sein, sich auf einem Förderband relativ zum Kamerasystem bewegende Objekte zu erkennen. Optional kann das

Kamerasystem in einen beweglichen Roboter integriert sein und Objekte in der

Umgebung, in welcher sich der Roboter bewegt, erkennen.

Optional kann initial vor Durchführung der Objekterkennung ein initiales Ausrichten des Kamerasystems derart erfolgen, dass sich das Objekt zumindest teilweise in einem Bildfeld des Kamerasystems befindet. Dies kann einen Bereich festlegen, in welchem Objekte erkannt werden sollen.

Im Folgenden wird ein Beispiel für eine optionale Ausführungsform der

Offenbarung beschrieben, welche jedoch den Offenbarungsgehalt nicht einschränkt.

Ein erster Schritt einer Einrichtung des Kamerasystems zur Erkennung eines

Objekts kann ein Einlernen der später zu erkennenden Objekte bzw. Zustände dieser Objekte betreffen, also ein Training einer künstlichen Intelligenz, welche für die Objekterkennung vorgesehen ist. Dieser Schritt geschieht optional unter „Laborbedingungen“, d. h. beispielsweise an einem Ort idealer Bedingungen bezüglich Ausleuchtung, kontrastfreiem Hintergrund (einfarbige Leinwand) und/oder mit ruhenden Objekten.

Sollen verschiedene Zustände eines einzelnen Objektes erfasst werden, z. B. der

Idealzustand und ein oder mehrere typische Fehlerzustände, so können jeweils mehrere Beispielaufnahmen angefertigt werden und beispielsweise mit dem

Qualitätskriterium „gut“ oder „schlecht“ versehen werden. Fehlerzustände einer

Verpackungseinheit als Objekt können optional ein nicht oder fehlerhaft verschlossener Karton, Schäden, wie Löcher oder Einbeulungen, fehlende

Etikettierung und/oder falsche Markierungen sein.

Eine Sammlung dieser Vergleichsaufnahmen der im späteren Betrieb zu erkennenden Objekte können optional im Kamerasystem selbst und/oder in einem

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 16/34 LU504906 externen Speicher, etwa auf einem Server, und/oder in einer Datenbank abgelegt werden. Damit können angelernte Bilder einfach auf mehrere Kameras übertragen werden, die beispielsweise an verschiedenen Stellen einer Fertigungsanlage o. A. zum Einsatz kommen sollen.

Die Einrichtung des Kamerasystems am eigentlichen Einsatzort kann mit der mechanischen Installation des Kamerasystems beginnen. In einer darauf folgenden Einstellphase können manche oder alle veränderlichen Parameter während des realen Arbeitsvorganges des Kamerasystems eingestellt werden und/oder es können spezielle Einrichtungs-Szenarien durchgespielt werden.

Zunächst kann optional ein möglichst großes Bildfeld eingestellt werden, indem — je nach gegebener Situation/Ausstattung — der Abstand der Kamera (wie etwa der

Objektivfrontlinse) zur Objektebene maximiert und/oder die kleinstmögliche ı5 Brennweite („Weitwinkel“) des Objektives gewählt wird. Dadurch kann der kleinstmögliche Abbildungsmaßstab der optischen Abbildung der Kamera eingestellt werden. Dies kann wiederum zu der gröRmöglichen Ausdehnung des

Schärfenbereiches zwischen Frontlinse und Hintergrund („Schärfentiefe“) führen.

Optional kann alternativ oder zusätzlich eine Apertur der Kamera eingestellt werden.

Bei Objekten, die sich relativ zur Kamera durch das Bildfeld bewegen — z. B. auf einem Förderband — kann das größtmögliche Bildfeld auch die Einstellung mit der längsten Aufenthaltsdauer der zu erkennenden Objekte im Bildfeld der Kamera darstellen.

Dieser erste Parameter „Bildfeld“ kann — wie die anderen Parameter auch — automatisch elektro-mechanisch und/oder durch einen manuellen Eingriff eines

Bedieners eingestellt werden.

Anhand dieser ersten Einstellung kann eine erste Überprüfung einer Rückmeldung des Kamerasystems über die Erkennungszuverlässigkeit hinsichtlich der im

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 17/34 LU504906

Bildfeld aufgenommenen Objekte erfolgen. Diese Rückmeldung erfolgt optional durch eine optische Signalisierung.

Zusätzlich oder alternativ zu einer binären Rückmeldung, „erkannt“ (z. B. grünes

Leuchten) oder „nicht erkannt“ (z. B. kein Leuchten), kann optional eine abgestufte

Signalisierung erfolgen, welche einer Erkennungs-Quote bzw. Sicherheits-Quote des verwendeten Bilderkennungsalgorithmus entspricht. Diese Quote (z. B. reelle

Zahl zwischen 0= keine Erkennung“ und 1= sicher erkannt“) kann auf eine farbkodierte Rückmeldung oder eine Blinkfrequenz einer Signallampe abgebildet werden. So kénnen z. B. eine Quote von Q=0 durch kein Leuchten; Q=0,5 durch eine Blinkfrequenz von 3 Herz; Q=0,7 durch eine Blinkfrequenz von 10 Herz und

Q>0,9 durch dauerhaftes Leuchten signalisiert werden.

Die Rückmeldung kann optional in Form eines analogen und/oder digitalen

Signals (beliebig oder nach einem geigneten Standard) an eine

Steuerungseinrichtung erfolgen, welche dieses Signal auswertet bzw. weiterverarbeitet. Diese Steuereinrichtung kann optional als ein interner

Schaltkreis und/oder als ein internes Modul des Kamerasystems ausgebildet sein.

In manchen Fallen kann in der Einstellphase eine Verbesserung der

Erkennungszuverlassigkeit durch eine Verstellung der Einstellentfernung des

Objektives (Fokuslage) möglich sein. Im Fall einer optischen Signalisierung an einen Bediener kann dieser manuell einen entsprechenden Einstellring des

Objektives betätigen und somit die Erkennungszuverlassigkeit verbessern. Dies geschieht optional umso leichter, je schneller das kontinuierliche Feedback, d. h. die nach einer Verstellung korrigierte Rückmeldung der Erkennungszuverlassigkeit eintrifft. Optional beträgt diese Verzôgerungszeit weniger als eine Sekunde, optional weniger als 1/10 Sekunde.

Im Fall einer Automatik („Autofokus“) führt das Feedback-Signal optional aus dem

Erkennungs-Modul zu einem automatischen Nachstellen des Objektiv-Fokus, z. B. durch einen Servo-Motor und/oder mit Hilfe eines Ultraschallverfahrens.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 18/34 LU504906

Optional kann ein Abbildungsmaßstab der zu erkennenden Objekte als weiterer

Parameter zur Verbesserung der Erkennungsquote verwendet werden. Wie oben beschrieben ist optional zunächst der minimale Abbildungsmaßstab eingestellt.

Durch eine Annäherung der Kamera an die Objektebene und/oder durch

Einstellen einer größeren Brennweite kann ein Objekt größer abgebildet und damit ggf. sicherer erkannt werden. Sollen mehrere verschiedene Objekte erkannt werden, so ist diese Einstellung optional für alle diese Objekte zu testen.

Das Verfahren kann insbesondere dann vorteilhaft sein, wenn der Unterschied zwischen dem kleinsten und dem größten zu erkennenden Objekt nicht zu groß ist. Das größte aller Objekte kann den größtmöglichen AbbildungsmaRlstab bestimmen, da es optional vollständig in das Bildfeld passen soll. Im Fall bewegter

Objekte muss optional zusätzlich die Verweildauer des größten Objektes im

Bildfeld ausreichend lang sein. Bei diesem einsatzbezogenen größtmöglichen ı5 Abbildungsmaßstab soll optional auch noch das kleinste aller Objekte hinreichend erkannt werden können. Wenn dies nicht möglich ist kann es vorteilhaft sein, eine

Auswahl einer Menge aller mit einer Einstellung der Kamera zu erkennender

Objekte entsprechend einzuschränken.

Abhängig von den optischen Eigenschaften des Kamerasystems — insbesondere abhängig von einer Schärfentiefe der Kamera bzw. Aufnahmeoptik — kann auch eine Bewertung der richtigen Einstellung der Schärfenebene (Einstellentfernung) anhand einer Erkennungszuverlässigkeit des aufgenommenen Objektes erfolgen.

Dieses ist umso bedeutender, je größer der Abbildungsmaßstab — und damit geringer die Schärfentiefe - der optischen Aufnahme ist.

Optional kann ein Benutzer einen Schwellwert für die Erkennungszuverlässigkeit vorgeben. Der Schwellwert kann optional zwischen 0 und 1 liegen. Damit wird der

Kamera dieser Schwellwert als „hinreichend“ zur sicheren Erkennung von

Objekten mitgeteilt. Wenn die momentane Erkennungszuverlässigkeit diesen

Schwellwert erreicht oder übertrifft, kann sich das auf die externe Signalisierung (z. B. dauerhaftes Leuchten oder grünes Signal) auswirken. Weiterhin kann in diesem Fall ein zusätzliches Signal ausgegeben werden, z. B. über eine

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 19/34 LU504906

Signalleitung. Es ist auch möglich, dass die Kamera beim Erreichen des

Schwellwerts einen neuen Schritt einer automatisierten Einstellprozedur beginnt oder die momentane Einrichtungsprozedur selbständig beendet.

Optional kann ein Algorithmus auf Basis künstlicher Intelligenz dazu verwendet werden Fehler in der Objekterkennung zu erkennen, wie etwa einen zu kleinen

Abbildungsmaßstab, eine zu niedrige Auflösung, und/oder eine zu geringe

Verweilzeit des (bewegten) Objekts im Bildfeld.

Optional kann das Verfahren die Bildschärfe anpassen. Wenn das erfasste Bild keine ausreichende Schärfe aufweist, kann optional durch ein Blinkverhalten und/oder Farbverhalten einer Leuchtanzeige die Richtung signalisiert werden, in die der Fokus zu bewegen ist, z. B also eine Drehrichtung eines Objektivrings, oder eine Nachjustierung einer Montagehalterung, oder für eine etwaige erforderliche Bewegung der Kamera, sofern der Fokusbereich der Kamera nicht ausreicht. Wenn der Fokuspunkt erreicht wird, kann dies optional durch

Dauerleuchten oder einen Wechsel der Farbe signalisiert werden. Optional kann eine automatisierte Änderung der Position der Kamera entlang der optischen

Achse erfolgen oder veranlasst werden. Optional kann dazu ein Roboter ein

Steuersignal für eine Positionsänderung der Kamera erhalten.

Optional können für einen Multi-Objekt-Modus der Einstellprozedur

Einzelaufnahmen bzw. verschiedenen Objekten aus der Datenbasis der

Vergleichsinformationen individuelle Gewichtungen zugeordnet werden, welche bei der Berechnung der gesamten Erkennungszuverlässigkeit berücksichtigt werden können.

Sämtliche für das computer-implementierte Verfahren präsentierte Offenbarungen sind auch für das Kamerasystem, die Steuereinheit, das Computerprogramm, das computerlesbare Medium und den Roboter als offenbart anzusehen und umgekehrt.

Die oben genannten und im Folgenden erläuterten Merkmale und

Ausführungsformen sind dabei nicht nur in den jeweils explizit genannten

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 20/34 LU504906

Kombinationen als offenbart anzusehen, sondern sind auch in anderen technisch sinnhaften Kombinationen und Ausführungsformen vom Offenbarungsgehalt umfasst.

Weitere Einzelheiten und Vorteile sollen nun anhand von den folgenden

Beispielen und optionalen Ausführungsformen mit Bezug auf die Figuren näher erläutert werden.

Es zeigen:

Fig. 1A und 1B ein Kamerasystem 10 gemäß einer optionalen

Ausführungsform;

Fig. 2 bis 4 Verfahren gemäß optionalen Ausführungsformen zum Einstellen und/oder Betreiben eines Kamerasystems zur Erkennung eines

Objekts;

Figur 5 einen Roboter gemäß einer optionalen Ausführungsform in einer schematischen Darstellung.

In den folgenden Figuren werden gleiche oder ähnliche Elemente in den verschiedenen Ausführungsformen der Einfachheit halber mit gleichen

Bezugszeichen bezeichnet.

Figur 1A zeigt in einer schematischen Seitenansicht ein Kamerasystem 10 gemäß einer optionalen Ausführungsform für die Erkennung eines Objekts 12. Das

Kamerasystem 10 umfasst eine Kamera 14 mit einem Objektiv 14a mit veränderlicher Ausrichtung und Fokussierung, welche derart auf ein zu erkennendes Objekt 12 ausrichtbar ist, dass sich das Objekt 12 zumindest teilweise in einem Bildfeld 16 der Kamera 14 befindet. Das Bildfeld 16 wird dabei durch den Bildwinkel aufgespannt, der durch die Linien 16a symbolisch dargestellt wird.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 21/34 LU504906

Zudem weist das Kamerasystem 10 eine Steuereinheit 18 auf, welche mit dem

Kamerasystem 10 verbunden oder in das Kamerasystem 10 integriert ist, und dazu eingerichtet ist, ein Erfassen eines Bildes des im Bildfeld 16 befindlichen

Objekts 12 mittels der Kamera 14 zu veranlassen, und eine Durchführung einer

Objekterkennung anhand des erfassten Bildes zu veranlassen.

Die Steuereinheit 18 ist ferner dazu eingerichtet, ein Ermitteln einer

Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung zu veranlassen, und eine Information über die ermittelte Erkennungszuverlässigkeit bereitzustellen, welche ein Beurteilen der Ausrichtung und/oder Fokussierung der

Kamera 14 für die durchgeführte Objekterkennung anhand der ermittelten

Erkennungszuverlässigkeit ermöglicht. Die Steuereinheit 18 kann zur Ausführung der Schritte unter Verwendung einer künstlichen Intelligenz optimiert sein.

Das Kamerasystem 10 kann das Ändern der Ausrichtung der Kamera 14 durch ein

Verändern einer Orientierung der optischen Achse 100 der Kamera 14 und/oder durch ein Verändern einer Brennweite des Objektives 14a vornehmen.

Das Kamerasystem 10 kann dazu eingerichtet sein, die Durchführung der

Objekterkennung und/oder das Ermitteln der Erkennungszuverlässigkeit und/oder das Beurteilen der Ausrichtung und/oder der Fokussierung der Kamera 14 mittels der Steuereinheit 18 selbst durchzuführen und/oder mittels einer mit der

Steuereinheit in Verbindung stehenden entfernten Recheneinheit 20 durchzuführen.

Das Kamerasystem kann ferner ein Ausgabeelement 22 aufweisen, um einen

Hinweis an einen Benutzer auszugeben. Optional kann das Ausgabeelement 22 ein Leuchtelement aufweisen, etwa eine LED, um ein Leuchtsignal an den

Benutzer auszugeben. Der Hinweis kann optional Informationen darüber bereitstellen, ob eine ausreichende Erkennungszuverlässigkeit vorliegt, oder nicht.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 22/34 LU504906

Das Objekt kann optional auf einer dafür vorgesehenen Auflage 24 angeordnet sein. Diese kann optional als Förderband ausgebildet sein, um das Objekt 12 oder mehrere Objekte relativ zur Kamera 14 zu bewegen. Die Kamera 14 kann optional eine Einstellmöglichkeit, z.B. einen Entfernungsring 26, für die Fokussierung der

Kamera bieten. Damit kann das von der Kamera erfasste Bild manuell und/oder automatisiert auf das Objekt bzw. eine vorgegebene Objektebene scharfgestellt werden.

Die Ausrichtung der Kamera 14 relativ zum Objekt 12 kann optional anhand eines

Abstands der Kamera 14 zum Objekt 12 entlang der optischen Achse 100 geändert werden, wie mit dem Pfeil 102 angedeutet wird. Dabei kann optional der

Bildbereich 16 variiert werden.

Figur 1B zeigt das Kamerasystem 10 in einer schematischen Darstellung aus ı5 Sicht des Objekts 12.

Das Kamerasystem 10 und optional die Steuereinheit 18 können dazu eingerichtet sein, ein im Folgenden mit Bezug zu Figur 2 erläutertes Verfahren 200 auszuführen. Das Verfahren 200 kann dabei optional als ein computer- implementiertes Verfahren 200 ausgestaltet sein und von der Steuereinheit 18 des

Kamerasystems 10 ausgeführt werden.

Das Verfahren 200 umfasst in einem Schritt 202 ein Empfangen eines mittels einer Kamera 14 des Kamerasystems 10 erfassten Bildes eines als

Referenzobjekt zumindest teilweise in einem Bildfeld 16 der Kamera 14 befindlichen Objekts 12.

In einem Schritt 204 umfasst das Verfahren 200 ein Veranlassen einer

Durchführung einer Objekterkennung anhand des erfassten Bildes. Das

Veranlassen der Durchführung einer Objekterkennung kann anhand des erfassten

Bildes durch die Steuereinheit 18 des Kamerasystems 10 erfolgen, wobei in Folge des Veranlassens die Steuereinheit 18 und/oder eine vom Kamerasystem entfernt angeordnete Recheneinheit 20 die Objekterkennung durchführen kann.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 23/34 LU504906

In einem Schritt 206 umfasst das Verfahren 200 ferner ein Veranlassen eines

Ermittelns einer Erkennungszuverlässigkeit bei der durchgeführten

Objekterkennung. Das Ermitteln der Erkennungszuverlässigkeit kann ein Ermitteln einer Güte und/oder Quote und/oder Sicherheit der durchgeführten

Objekterkennung anhand eines Vergleichs mit vorgegebenen

Vergleichsinformationen umfassen. Das Veranlassen des Ermittelns der

Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung kann durch die Steuereinheit 18 des Kamerasystems erfolgen, wobei in Folge des

Veranlassens die Steuereinheit 18 und/oder die vom Kamerasystem entfernt angeordnete Recheneinheit 20 oder eine anderweitige Recheneinheit das

Ermitteln der Erkennungszuverlässigkeit durchführen kann.

In einem Schritt 208 umfasst das Verfahren 200 ein Beurteilen einer Eignung einer

Ausrichtung und/oder einer Fokussierung der Kamera 14 für die durchgeführte

Objekterkennung anhand der ermittelten Erkennungszuverlässigkeit. Dabei kann ein Veranlassen des Beurteilens der Ausrichtung und/oder der Fokussierung der

Kamera durch eine Steuereinheit des Kamerasystems erfolgen, wobei in Folge des Veranlassens die Steuereinheit 18 und/oder die vom Kamerasystem entfernt angeordnete Recheneinheit 20 oder eine weitere Recheneinheit das Beurteilen der Ausrichtung und/oder der Fokussierung der Kamera 14 durchführen kann.

Alternativ oder zusätzlich kann das Beurteilen einer Eignung der Ausrichtung und/oder der Fokussierung der Kamera (14) für die durchgeführte

Objekterkennung anhand der ermittelten Erkennungszuverlässigkeit durch einen

Menschlichen Benutzer des Kamerasystems erfolgen. Optional kann das

Beurteilen einer Eignung einer Ausrichtung und/oder einer Fokussierung der

Kamera 14 für die durchgeführte Objekterkennung ein Beurteilen, ob die ermittelte

Erkennungszuverlässigkeit unterhalb eines vorbestimmten Schwellwertes liegt, umfassen.

In einem optionalen Schritt 210 kann das Verfahren 200 ein Veranlassen einer

Änderung der Ausrichtung und/oder einer Fokussierung der Kamera 14 derart

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 24/34 LU504906 umfassen, dass die Erkennungszuverlässigkeit durch das geänderte Bildfeld und/oder die geänderte Fokussierung verbessert wird, sofern die beurteilte

Erkennungszuverlässigkeit unterhalb des vorbestimmten Schwellwertes liegt. Das

Veranlassen der Änderung der Ausrichtung und/oder einer Fokussierung der

Kamera kann durch die Steuereinheit 18 erfolgen, und wobei in Folge des

Veranlassens die Kamera 14 des Kamerasystems 10 die Änderung der

Ausrichtung und/oder einer Fokussierung durchführt.

Das Verfahren kann optional in einem weiteren Schritt 212 ferner ein Ausgeben eines Signals zur Regelung der Ausrichtung und/oder Fokussierung des

Kamerasystems 10 mittels wiederholter Durchführung der Schritte 202 bis 210 umfassen.

Ferner kann das Verfahren 200 optional in einem Schritt 214 ein Veranlassen ı5 eines Bereitstellens einer Information über die ermittelte

Erkennungszuverlässigkeit und/oder die Beurteilung der Ausrichtung und/oder

Fokussierung des Kamerasystems an einen Benutzer des Kamerasystems und/oder eine mit dem Kamerasystem 14 verbundene Vorrichtung umfassen. Das

Bereitstellen der Information kann optional das Ausgeben eines Hinweises mittels des Ausgabeelements 22 umfassen. Dies kann einem Benutzer ermöglichen, die

Beurteilung der Eignung der Ausrichtung und/oder Fokussierung des

Kamerasystems für die Objekterkennung vorzunehmen.

Das Durchführen der Objekterkennung anhand des erfassten Bildes und/oder das

Ermitteln einer Erkennungszuverlässigkeit bei der durchgeführten

Objekterkennung und/oder das Beurteilen der Ausrichtung und/oder Fokussierung des Kamerasystems 14 können unter Verwendung einer künstlichen Intelligenz erfolgen.

Die Schritte 202 bis 208 und optional 210 bis 214 können dabei wiederholt durchgeführt werden.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 25/34 LU504906

Mit Bezug zu Figur 3 wird ein beispielhaftes Verfahren 300 zum Betrieb eines

Kamerasystems zur Erkennung eines Objektes angegeben, ohne dass die

Offenbarung auf das Beispiel beschränkt ist.

Zunächst erfolgt in Schritt 302 eine initiale Montage und Installation des

Kamerasystems 10. In Schritt 304 erfolgt eine Überprüfung, ob das Kamerasystem 14 einsatzbereit ist. Sofern dies nicht der Fall ist, wird in Schritt 304a ein

Warnhinweis ausgegeben, etwa durch ein rot leuchtendes und/oder in kurzen

Abständen blinkendes Leuchtelement.

Sofern das Kamerasystem 10 einsatzbereit ist, erfolgt in Schritt 306 eine

Bilderkennung im einstellbaren Fokusbereich. Sofern diese nicht erfolgreich ist, wird in Schritt 306a ein Warnhinweis ausgegeben, etwa durch ein gelb leuchtendes und/oder dreimal kurz blinkendes Leuchtelement.

Sofern die Bilderkennung in Schritt 306 durchgeführt werden konnte, erfolgt in

Schritt 308 eine Überprüfung, ob die Bilderkennung scharf ist. Sofern dies der Fall ist, erfolgt in Schritt 308a ein Ausgeben eines Hinweises, etwa durch ein grün leuchtendes und/oder permanent leuchtendes Leuchtelement.

Bei unscharfer Bilderkennung erfolgt für einen Fall 310, in dem der Fokusbereich für das erkannte Objekt zu nah ist, in Schritt 310a die Ausgabe eines Hinweises, etwa durch ein blau leuchtendes oder kurz blinkendes Leuchtelement. Für den Fall 312, dass für das erkannte Objekt der Fokusbereich zu weit entfernt ist, erfolgt in

Schritt 312a die Ausgabe eines Hinweises, etwa durch ein violett leuchtendes und/oder lang blinkendes Leuchtelement.

Sodann wird nach einer Anpassung der Einstellung des Kamerasystems 10 eine erneute Überprüfung 314 durchgeführt, ob die Bilderkennung scharf ist. Ist dies zu verneinen, erfolgt ein erneuter Durchlauf der Schritte 310 und 310a bzw. 312 und 312a. Ist eine scharfe Bilderkennung hingegen gegeben, erfolgt in Schritt 316 eine

Ausgabe eines Hinweises, etwa mittels einem grün leuchtenden Leuchtelement. In

Schritt 318 ist damit die Einrichtung des Kamerasystems 10 angeschlossen.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 26/34 LU504906

Mit Bezug zu Figur 4 wird ein beispielhaftes Verfahren 400 zum Betrieb eines

Kamerasystems 10 zur Erkennung eines Objektes 12 angegeben, ohne dass die

Offenbarung auf das Beispiel beschränkt ist.

In Schritt 402 wird zunächst eine künstliche Intelligenz des Kamerasystems 10 für die Objekterkennung trainiert und das Kamerasystem 10 am vorgesehenen

Einsatzort installiert.

In Schritt 404 wird ein minimal möglicher Abbildungsmaßstab eingestellt.

In Schritt 406 wird die Fokussierung auf eine minimal mögliche Entfernung eingestellt.

In Schritt 408 wird das erste oder das nächste Objekt 12 präsentiert und eine

Objekterkennung durchgeführt.

In Schritt 410 wird ermittelt, ob die Erkennungszuverlässigkeit einen vorgegebenen Schwellwert bei der Objekterkennung erreicht hat. Falls ja, wird in

Schritt 412 geprüft, ob ein weiteres Objekt und/oder Szenario für die

Objekterkennung vorgesehen ist. Falls ja, wird Schritt 408 wiederholt. Falls nicht, wird in Schritt 414 die Objekterkennung mit einem Hinweis auf erfolgreich abgeschlossene Objekterkennung beendet.

Sofern in Schritt 410 ermittelt wird, dass die Erkennungszuverlässigkeit einen vorgegebenen Schwellwert bei der Objekterkennung nicht erreicht hat, wird in

Schritt 416 geprüft, ob die maximale Entfernung bei der Fokussierung vorliegt.

Falls nicht, wird in Schritt 418 die Entfernungseinstellung des Objektives 14a vergrößert und anschließend eine erneute Objekterkennung durchgeführt; daraufhin wird Schritt 410 wiederholt.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 27134 LU504906

Falls die maximale Entfernung bei der Fokussierung vorliegt, wird in Schritt 420 geprüft, ob der maximale AbbildungsmaBstab erreicht ist. Sofern dem nicht so ist, werden in Schritt 422 der AbbildungsmaBstab vergrößert, die Einstellentfernung reduziert oder minimiert und anschließend eine erneute Objekterkennung durchgeführt; daraufhin wird Schritt 410 wiederholt. Sofern Schritt 420 zu dem

Ergebnis führt, dass der maximale AbbildungsmaRBstab erreicht ist, wird die

Objekterkennung in Schritt 424 erfolglos beendet und ein entsprechender

Warnhinweis ausgegeben, wonach das Objekt nicht ausreichend erkennbar ist.

Figur 5 zeigt in einer schematischen Darstellung einen Roboter 28 mit einem

Kamerasystem 10 gemäß einer optionalen Ausführungsform.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 28/34 LU504906

Bezugszeichenliste 10 Kamerasystem 12 Objekt 14 Kamera 14a Objektiv 16 Bildfeld 16a Bildwinkel 18 Steuereinheit 20 Recheneinheit 22 Ausgabeelement 24 Auflage 26 Einstellmôglichkeit bzw. Entfernungsring 28 Roboter 100 optische Achse der Kamera 200 Verfahren zur Einstellung eines Kamerasystems fur die Erkennung eines Objekts 202-214 Verfahrensschritte 300 Verfahren zum Betrieb eines Kamerasystems zur Erkennung eines Objekts 302-318 Verfahrensschritte 400 Verfahren zum Betrieb eines Kamerasystems 402-424 Verfahrensschritte

Claims (22)

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 29/34 LU504906 Patentansprüche

1. Verfahren (200) zur Einstellung eines Kamerasystems (10) für die Erkennung eines Objekts (12), das Verfahren (200) umfassend: a) Empfangen (202) eines mittels einer Kamera (14) des Kamerasystems (10) erfassten Bildes eines als Referenzobjekt zumindest teilweise in einem Bildfeld (16) der Kamera (14) befindlichen Objekts (12); b) Veranlassen einer Durchführung (204) einer Objekterkennung anhand des erfassten Bildes; dadurch gekennzeichnet, dass das Verfahren (200) ferner umfasst: c) Veranlassen eines Ermittelns (206) einer Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung; und d) Beurteilen (208) einer Eignung einer Ausrichtung und/oder einer Fokussierung der Kamera (14) für die durchgeführte Objekterkennung anhand der ermittelten Erkennungszuverlässigkeit .

2. Verfahren (200) gemäß Anspruch 1, wobei das Beurteilen der Eignung der Ausrichtung und/oder der Fokussierung der Kamera (14) für die durchgeführte Objekterkennung ausschließlich anhand der ermittelten Erkennungszuverlassigkeit erfolgt.

3. Verfahren (200) gemäß Anspruch 1 oder 2, wobei das Beurteilen (208) einer Eignung einer Ausrichtung und/oder einer Fokussierung der Kamera (14) für die durchgeführte Objekterkennung ein Beurteilen, ob die ermittelte Erkennungszuverlässigkeit unterhalb eines vorbestimmten Schwellwertes liegt, umfasst.

4. Verfahren (200) gemäß Anspruch 3, ferner umfassend: e) Veranlassen einer Änderung (210) der Ausrichtung und/oder einer Fokussierung der Kamera (14) derart, dass die Erkennungszuverlässigkeit durch das geänderte Bildfeld (16) und/oder die geänderte Fokussierung

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 30/34 LU504906 verbessert wird, sofern die beurteilte Erkennungszuverlässigkeit unterhalb des vorbestimmten Schwellwertes liegt.

5. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei die Schritte a) bis d) und optional e) wiederholt durchgeführt werden.

6. Verfahren (200) gemäß Anspruch 4 oder gemäß Anspruch 5, sofern auf Anspruch 4 rückbezogen, ferner umfassend ein Ausgeben eines Signals zur Regelung der Ausrichtung und/oder Fokussierung des Kamerasystems (10) Mittels wiederholter Durchführung der Schritte a) bis e).

7. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Ermitteln (206) einer Erkennungszuverlässigkeit ein Ermitteln einer Güte und/oder Quote und/oder einer Sicherheit der durchgeführten Objekterkennung anhand eines Vergleichs mit vorgegebenen Vergleichsinformationen umfasst.

8. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, ferner umfassend ein Veranlassen eines Bereitstellens (212) einer Information über die ermittelte Erkennungszuverlässigkeit und/oder die Beurteilung der Ausrichtung und/oder Fokussierung des Kamerasystems (10) an einen Benutzer des Kamerasystems (10) und/oder eine mit dem Kamerasystem (10) verbundene Vorrichtung.

9. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Durchführen (204) der Objekterkennung anhand des erfassten Bildes und/oder das Ermitteln (206) einer Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung und/oder das Beurteilen (208) der Ausrichtung und/oder Fokussierung des Kamerasystems (10) unter Verwendung einer künstlichen Intelligenz erfolgen.

10. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Veranlassen der Durchführung (204) einer Objekterkennung anhand des erfassten

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 31/34 LU504906 Bildes durch eine Steuereinheit (18) des Kamerasystems (10) erfolgt, und wobei in Folge des Veranlassens die Steuereinheit (18) und/oder eine vom Kamerasystem (10) entfernt angeordnete Recheneinheit (20) die Objekterkennung durchführt.

11. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Veranlassen des Ermittelns (206) der Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung durch eine Steuereinheit (18) des Kamerasystems (10) erfolgt; und wobei in Folge des Veranlassens die Steuereinheit (18) und/oder eine vom Kamerasystem (10) entfernt angeordnete Recheneinheit (20) das Ermitteln (206) der Erkennungszuverlässigkeit durchführt.

12. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Veranlassen des Beurteilens (208) der Ausrichtung und/oder der Fokussierung der Kamera (14) durch eine Steuereinheit (18) des Kamerasystems (10) erfolgt, und ı5 wobei in Folge des Veranlassens die Steuereinheit (18) und/oder eine vom Kamerasystem (10) entfernt angeordnete Recheneinheit (20) das Beurteilen der Ausrichtung und/oder der Fokussierung der Kamera (14) durchführt.

13. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Veranlassen der Änderung (210) der Ausrichtung und/oder einer Fokussierung der Kamera durch eine Steuereinheit (18) erfolgt, und wobei in Folge des Veranlassens die Kamera (14) des Kamerasystems (10) die Änderung der Ausrichtung und/oder einer Fokussierung durchführt.

14. Verwendung einer Erkennungszuverlässigkeit einer mittels eines Kamerasystems (10) durchgeführten Objekterkennung als Regelgröße zur Regelung der Ausrichtung und/oder Fokussierung des Kamerasystems (10).

15. Steuereinheit (18) für ein Kamerasystem (10) für die Erkennung eines Objekts, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu eingerichtet ist, ein Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 32/34 LU504906

16. Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren (200) gemäß einem der Ansprüche 1 bis 13 auszuführen.

17. Computerlesbares Medium, dadurch gekennzeichnet, dass das computerlesbare Medium Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, ein Verfahren (200) gemäß einem der vorhergehenden Ansprüche auszuführen.

18. Kamerasystem (10) für die Erkennung eines Objekts (12), das Kamerasystem (10) umfassend: - eine Kamera (14) mit veränderlicher Ausrichtung und Fokussierung, welche derart auf ein zu erkennendes Objekt (12) ausrichtbar ist, dass sich das Objekt (12) zumindest teilweise in einem Bildfeld (16) der Kamera (14) befindet; - eine Steuereinheit (18), welche mit dem Kamerasystem (10) verbunden und dazu eingerichtet ist: - ein Erfassen eines Bildes des im Bildfeld (16) befindlichen Objekts (12) mittels der Kamera (14) zu veranlassen; und - eine Durchführung einer Objekterkennung anhand des erfassten Bildes zu veranlassen; dadurch gekennzeichnet, dass die Steuereinheit (18) ferner dazu eingerichtet ist: - ein Ermitteln einer Erkennungszuverlässigkeit bei der durchgeführten Objekterkennung zu veranlassen; und - eine Information über die ermittelte Erkennungszuverlässigkeit bereitzustellen, welche ein Beurteilen einer Eignung der Ausrichtung und/oder Fokussierung der Kamera (14) für die durchgeführte Objekterkennung anhand der ermittelten Erkennungszuverlässigkeit ermöglicht.

Tautz & Schuhmacher IP TUR1112P11LU 14. August 2023 33/34 LU504906

19. Kamerasystem (10) gemäß Anspruch 18, wobei das Ändern der Ausrichtung der Kamera (14) durch ein Verändern einer Orientierung der optischen Achse (100) der Kamera (14) und/oder durch ein Verändern der Position der Kamera entlang der optischen Achse (100) und/oder durch ein Verändern einer Brennweite der Kamera (14) erfolgt.

20. Kamerasystem (10) gemäß Anspruch 18 oder 19, wobei die Steuereinheit (18) zur Ausführung der Schritte unter Verwendung einer künstlichen Intelligenz optimiert ist.

21. Kamerasystem (10) gemäß einem der Ansprüche 18 bis 20, wobei das Kamerasystem (10) dazu eingerichtet ist, die Durchführung der Objekterkennung und/oder das Ermitteln der Erkennungszuverlässigkeit und/oder das Beurteilen der Ausrichtung und/oder der Fokussierung der Kamera (14) mittels der Steuereinheit (18) durchzuführen und/oder mittels eines mit der Steuereinheit (18) in Verbindungstehenden entfernten Recheneinheit (20) durchzuführen.

22. Roboter (28) umfassend ein Kamerasystem (10) gemäß einem der Ansprüche 18 bis 21.