KR20230038537A - 3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스 및 방법 - Google Patents

3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR20230038537A
KR20230038537A KR1020237004909A KR20237004909A KR20230038537A KR 20230038537 A KR20230038537 A KR 20230038537A KR 1020237004909 A KR1020237004909 A KR 1020237004909A KR 20237004909 A KR20237004909 A KR 20237004909A KR 20230038537 A KR20230038537 A KR 20230038537A
Authority
KR
South Korea
Prior art keywords
marking
arrangement
marking unit
units
unit
Prior art date
Application number
KR1020237004909A
Other languages
English (en)
Inventor
로랑 길손
볼프강 브루어닝
프랑크 호니슈
Original Assignee
소프트2텍 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트2텍 게엠베하 filed Critical 소프트2텍 게엠베하
Publication of KR20230038537A publication Critical patent/KR20230038537A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

경로(13)를 따라 배치된 조명 수단(20)을 갖는 적어도 2개의 마킹 유닛(11, 21)을 포함하고, 각각의 마킹 유닛(11, 21)은 적어도 3개의 조명 수단(20)을 가지며, 조명 수단(20)은 마킹(21) 및/또는 통신 요소(22)로서 형성되는, 적어도 하나의 마킹 배열체(2, 7); 마킹 배열체(2, 7)의 이미지(90)를 기록하도록 구성된 적어도 하나의 광학 이미지 캡처 유닛(3); 및 광학 이미지 캡처 유닛(3) 중 하나의 정확히 1개의 이미지(90)로부터 마킹 배열체(2, 7)의 배향 및 위치를 명확하게 결정하도록 구성된 평가 유닛(4)을 갖는, 3차원 공간 내의 마킹(21)의 배향 및 위치를 검출하기 위한 가능성이 기술되어 있다. 적어도 3개의 마킹(21)을 갖는 제1 마킹 유닛 유형(11) 및 정확히 2개의 마킹(21)과 적어도 하나의 통신 요소(22)를 갖는 적어도 하나의 제2 마킹 유닛 유형(12)이 제공된다. 평가 유닛(4)은 마킹 유닛(11, 12)을 인식하고, 인식된 마킹(21)을 사용하여 마킹 배열체(2, 7)의 배향 및 위치를 명확하게 결정하도록 설정된다.

Description

3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스 및 방법
3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스가 기술되어 있다. 따라서, 마킹의 배향 및 위치를 검출하는 중에, 정의된 공간 좌표계에 대한 공간 내의 그 배향 및 위치가 결정된다. 본 발명은 또한 기술된 디바이스 뿐만 아니라 컴퓨터 프로그램 제품으로 배향 및 위치 검출을 수행하기 위한 방법에 관한 것이다.
제안된 디바이스는 특히 물체에 고정될 수 있는 적어도 하나의 마킹 배열체를 갖는다. 따라서, 마킹 배열체 상의 마킹의 배향 및 위치를 결정함으로써 물체의 배향을 역으로 계산하는 것도 가능하다. 마킹 배열체는 적어도 2개의 마킹 유닛을 포함하고, 각각은 (직선, 즉 비곡선 경로의 관점에서) 경로를 따라 배치된 광학적으로 활성인 조명 수단을 갖는다. 바람직하게는, 하나 또는 각각의 마킹 유닛의 조명 수단은 정확히 1개의 직선 경로를 따라 배치되며, 마킹 유닛은 비-동일 선상 방식으로 배치된다. 각각의 마킹 유닛은 마킹 및/또는 통신 요소로서 설계된 적어도 3개의 조명 수단을 갖는다.
또한 마킹 및 통신 요소는 각각이 항상 광학적으로 활성인 요소이며, 이는 이후에 기술되는 바와 같이 적어도 그 기능면에서 상이하다. 본 명세서에서, 용어 "조명 수단"은 또한 항상 광학적으로 활성인 요소, 즉 스위치-온되어 있거나 광을 반사시키는 조명 디바이스를 의미하는 것으로 이해해야 한다. 마킹 유닛 상에 존재하지만 스위치-온되어 있지 않거나 광을 반사시키지 않는 조명 디바이스는 (광학적으로 활성인) 조명 수단, 즉 마킹 또는 통신 요소로 간주되지 않는다. 이는 동작 중인 마킹 유닛이 광학 이미지 캡처 유닛에 의해 명확하게 검출될 수 있는 동작 중인 특정 개수의 조명 수단을 갖도록 배열된다는 것을 의미한다. 바람직한 실시형태에 따르면, 이들은 스위치-온 또는 오프되어 광학적으로 활성화되는 LED와 같은 발광 디바이스이다. 그러나 원칙적으로, 조명 수단의 관점에서 커버되어 있지 않은 광-반사 표면 또한 광학적으로 활성화 상태일 수 있다. 따라서, 예를 들어 조명 디바이스의 반사 표면이 커버되어 있지 않기 때문에, 디바이스에서 사용되도록 구성된 마킹 유닛이, 마킹 유닛의 동작 중에, 이러한 목적으로 구성된 조명 디바이스가 활성화되어 광을 방출하거나 비춰지는 광을 반사시키도록 제공된다.
동작 중에 스위치-온되지 않거나(즉, 동작 중에 스위치-오프됨) 예를 들어 커버로 인해 반사되지 않는 다른 조명 디바이스는 조명 수단으로 간주되지 않는다. 이것은 예를 들어 마킹 유닛이 동작 중이지 않고 디바이스가 위치 검출에 사용되지 않을 경우, 전기적으로 동작되는 조명 수단이 스위치-오프되는(즉, 일시적으로 전원이 공급되지 않는) 것을 모두 배제하는 것은 아니다.
디바이스는 또한 마킹 배열체의 이미지를 캡처하도록 설정된, 예를 들어 디지털 카메라의 형태인 적어도 하나의 광학 이미지 캡처 유닛 및 상기 광학 이미지 캡처 유닛 중 하나의 정확히 1개의 이미지로부터 마킹 배열체 상의 마킹 및/또는 통신 요소의 배향 및 위치를 명확하게 결정하도록 구성된 평가 유닛을 구비한다. 이를 위해, 마킹 유닛 상의 조명 수단(마킹 또는 통신 요소)의 위치 및 마킹 배열체 상에 마킹/통신 요소를 갖는 마킹 유닛의 위치가 평가 유닛에 알려진다. 바람직한 실시형태에 따르면, 평가 유닛이 오직 마킹으로부터의 배향 및 위치를 결정하도록 설정되는 것이 제공될 수 있다.
기본적으로 알려진 바람직한 실시형태에 따르면, 각각의 마킹 유닛은 바람직하게는 스위치-온되었을 때 광파를 방출하는 여러 개(적어도 3개)의 LED의 선형 어레이로, 바람직하게는 광학적으로 가시적인 또는 비가시적인 파장 범위 내에서 스위치-온/오프될 수 있는 조명 디바이스 LED(발광 다이오드)로서 형성될 수 있다. 특히 바람직한 실시형태는 적외선 LED를 제공한다. 바람직하게는, 이들 LED는 정의된 거리에서, 예를 들어 LED가 등거리로 배치된 LED를 갖는 LED 경로 어레이로서 또는 사전결정된 거리(필요한 경우, 회로 보드 상에 개별적으로 고정됨)에서 특정 위치에 배치된 LED로서 회로 기판 상에 배치될 수 있다.
직선 경로 내에 있는 마킹 및/또는 통신 요소의 임의의 배열(만)이 본 발명에 따른 마킹 유닛으로 간주되고; 따라서 이러한 경로 상에 있지 않은 마킹 및/또는 통신 요소는 본 발명에 따른 마킹 유닛을 구성하지 않는다. 광학적으로 활성인 조명 수단의 투영만이 2개의 다른 광학적으로 활성인 조명 수단을 연결하는 경로 상에 놓이지만, 광학적으로 활성인 조명 수단이 다른 평면에 배치되는 경우에, 이러한 광학적으로 활성인 조명 수단은 2개의 다른 조명 수단을 연결하는 본 발명의 관점에서 경로 상에 놓이지 않는다.
마킹 유닛은 자체 (개별) 하우징 내에 배치될 수 있으므로 여러 개별 하우징이 함께 마킹 배열체를 형성한다. 그러나 본 발명에 따르면, 여러 마킹 유닛(예를 들어, 2개 또는 3개의 마킹 유닛)이 공통 하우징에서 서로에 대해 정의된 배열로 결합될 수 있으며 따라서 본 발명에 따른 마킹 배열체를 형성할 수 있다.
물체에 고정된 마킹 배열체를 캡처하는 수단에 의해 공간 내의 물체의 배향 및 위치를 결정할 수 있는 시스템 및 방법이, 공개문헌 EP 1 813 911 A1, US 2005/0201613 A1, EP 1 498 688 B1, WO 2004/114112 A1, US 2008/0111985 A1, WO 2006/069748 A1, US 5 227 985 A, US 7 742 895 B2 및 DE 10 2014 012 693 B4에 공지되어 있다. 이를 위해, 광학적으로 가시적인 마킹이 고정된 기하학적 배열로 마킹 배열체 상에 제공된다. 평가를 위해 다수의 서로 다른 배열이 가능하다. 제안된 배열의 대부분은 적어도 4개의 마킹을 제공하며, 그 중 적어도 3개의 마킹은 하나의 평면에 걸쳐있고 적어도 하나의 마킹은 이 평면 외부에 있다. 하나의 평면 내에 배치된 적어도 3개의 마킹은 평면에 걸쳐있는 적어도 2개의 평행하지 않은 직선 상에 놓일 수 있다. 이러한 마킹의 배열은 광학 이미지 캡처 유닛(예로서 카메라, 특히 디지털 카메라)에 의해 캡처되는 마킹 배열체의 단일 캡처된 2차원 이미지로부터 공간 내의 마킹 배열체의 배향 및 위치의 신뢰성 있는 결정을 가능하게 한다.
DE 10 2014 012 693 B4에는 신뢰 가능하게 동작하지만 복잡한 시스템 및 방법이 기술되어 있다. 위치 및 배향 결정은 물체에 부착된 적어도 7개의 마킹이 제공된 마킹 배열체의 단일 2차원 이미지에 기초한다. 이 시스템은 물체 또는 물체 상에 배치된 마킹 배열체의 2차원 이미지를 획득하기 위한 이미지 캡처 유닛 및 캡처된 이미지를 기반으로 물체의 배향 및 위치를 정확하게 결정하기 위한 평가 유닛을 추가로 포함한다. 마킹 배열체의 7개 마킹은 서로에 대해 고정된 공간 관계에 있고, 이들 마킹 중 6개는 하나의 평면을 형성하는 반면, 7번째 마킹은 그러한 평면 외부에 또는 그러한 평면으로부터 거리를 두고 배치된다. 6개의 마킹은 90°의 각도로 교차하는 2개의 서로 다른 직선 상에 놓이는 그룹으로 분할된다. 제1 직선은 적어도 4개의 마킹을 포함하고, 제2 직선은 적어도 2개의 다른 마킹을 포함한다. 위에서 본 평면도에서, 평면 밖에 있는 7번째 마킹은 또한 제1 직선의 적어도 2개의 마킹과 반대 방향인 제2 직선 측면의 이러한 제1 직선 상에 놓인다. 이것은 이미지 마킹, 즉 이미지 내에 묘사된 마킹의 명확한 할당에 중요하며, 따라서 공간 내의 마킹의 배향 및 위치의 재구성에 중요하다. 평가하는 동안, 가능한 할당에 대해 여러 호모그래피(homography)가 계산된다. 이들 호모그래피로부터, 각 경우에 대한 위치 결정이 재구성된다. 이에 기초하여, 각 위치 결정에 대한 모든 이미지 마킹에 대해 (마킹 배열체 상에서 알려진 실제 마킹 배열체와 비교하여) 평균 재투영 오차가 계산된다. 가장 낮은 오차를 가진 호모그래피가 올바른 것이며 고유한 위치 결정에 사용된다.
이러한 평가는 실제로 우수한 결과로 이어지지만, 특히 하나보다 많은 호모그래피를 계산하고 매회 Levenberg-Marquardt 기법을 적용함으로써 배향을 추정해야 하기 때문에, 시스템의 이미지 평가 및 계산 능력의 측면에서 비용이 매우 높다. 또한, 동일 평면 마킹 및 비-동일 평면 마킹에 대해 재생산 오차가 계산되고 일치하는 최소값이 배향의 평가에 사용된다. 특히 하나의 이미지 내에서도 하나의 마킹 배열체뿐만 아니라 복수의 마킹 배열체가 시스템 내에서 모니터링된다면 실제로 사용되는 시스템의 계산 능력이 충분하지 않기 때문에, 이러한 복잡한 계산 및 특히 많은 개수의 마킹을 고려하는 것은 빠르게 움직이는 물체의 실시간 추적에서 문제를 발생시킨다.
이론적으로, 각 마킹 배열체는 서로 다른 라벨에 의해 이미지에 캡처된 다른 마킹 배열체와 구별될 수 있다. 그러나 (예로서, 스티커 형태인) 이러한 마킹이 이미지 내에서 정확히 보이지 않는 경우 움직이는 물체를 추적할 때 이미지 내의 마킹 배열체 주변의 평가는 자주 불명확성을 발생시킨다. 원칙적으로, 마킹 배열체 상의 마킹을 기하학적으로 서로 다른 방식들로 배열하는 것 또한 생각할 수 있다. 그러나 이것은 다수의 서로 다르게 배열된 마킹에 대한 보다 복잡한 평가로 이어진다.
산업 환경에서는, 특히 생산 라인에서 실시간 애플리케이션을 사용할 수 있도록 매우 빠르게 마킹 배열체의 배향 및 위치를 결정할 수 있는 것이 때로는 바람직하다. 이를 위해, 카메라 이미지의 평가 및 배향과 위치의 결정은 예컨대 동작 제어를 위해 생산 프로세스에서의 직접적인 적용을 가능하게 하도록 충분히 빨라야 한다. 평면 내에 배치된 마킹의 십자 형태를 찾는 것은 시간 소모적이며 위치 결정 속도를 늦춘다. 평면 내의 마킹의 십자 형태는 비교적 넓은 마킹의 평면 면적을 발생시키며, 이는 특히 높은 위치에 있는 마킹으로 인해 다른 마킹이 가려질 수 있기 때문에 마킹을 360° 방위각으로 배열하기 어렵게 만든다. 이는 카메라의 시야각에 따라 검출 정확도를 달라지게 한다.
따라서, 본 발명의 목적은 서두에서 언급된 유형의 배향 및 위치 검출을 위한 디바이스에 대해 마킹 유닛의 배향 및 위치 검출을 위한 단순화된 가능성을 제공하여 매우 다른 카메라 시야각을 갖는 경우에도 빠른 평가와 높은 정확도 및 검출률을 가능하게 하는 것이다.
이러한 과제는 청구범위 제1항의 특징을 갖는 디바이스 및 청구범위 제 8항의 특징을 갖는 방법에 의해 해결된다. 특히, 마킹 유닛 중 적어도 하나는, 적어도 3개 또는 바람직하게는 정확히 3개의 마킹을 갖는 제1 마킹 유닛 유형에 속하고, 다른 마킹 유닛 중 적어도 하나는, 정확히 2개의 마킹 및 적어도 하나의 통신 요소를 갖는 제2 마킹 유닛 유형에 속하도록 제공된다. 적어도 하나의 제2 마킹 유닛 유형의 통신 요소는 2개의 마킹 사이에 배치된다. 바람직하게는 (여러 통신 요소의 경우) 모든 통신 요소는 2개의 마킹 사이에 배치된다. 본 발명에 따르면, 어떠한 마킹 유닛도 동일한 마킹 배열체의 다른 마킹 유닛과 동일 선상에 배치되어서는 안되며, 즉 하나의 동일한 직선 상에 놓여서는 안된다.
우수한 배향 검출을 달성하기 위해, 제1 마킹 유닛 유형의 마킹 유닛 중 적어도 하나와 제2 마킹 유닛 유형의 마킹 유닛 중 적어도 하나는, 비-동일 평면 방식으로 배치된다. 각각의 선형 마킹 유닛은 (용도 및 적용에 따라) 마킹 배열체에서 비교적 자유롭게 위치될 수 있으며, 이에 따라 특히 바람직한 실시형태에 따르면 개별 마킹 유닛은 마킹 유닛이 서로 교차하지 않는다는 점에서 마킹 배열체 내에 중첩되지 않게 배치된다. 이러한 제한은 배향 및 위치 검출에 사용되는 마킹에 대한 이미지에서 검출된 조명 수단의 할당을 상당히 단순화한다. 따라서 본 발명에 따른 가장 작은 마킹 배열체는 제1 유형의 정확히 1개의 마킹 배열체 및 제2 유형의 정확히 1개의 마킹 배열체로 구성될 수 있으며(유형은 마킹 유닛 유형을 의미함), 본 발명에 따르면 바람직하게는 이미지 평가에서 고려되지만 예를 들어 상태 LED를 포함하지 않는 조명 수단을 더 이상 갖지 않는다. 정확히 2개의 마킹 유닛을 갖는 이러한 마킹 배열체에서, 마킹 유닛(즉, 조명 수단을 갖는 경로)은 평행하게 배치되지 않으므로, 마킹 유닛은 서로 동일 평면에 있지 않다. 이러한 가장 작은 마킹 배열체는 예를 들어 각각 고유한 하우징을 가지고 바디에 개별적으로 자유롭게 고정될 수 있는 마킹 유닛을 이용하여 간단하게 구현될 수 있다. 그 다음 평가 유닛은 예를 들어 이후에 기술되는 방법을 이용하여 마킹 유닛의 배열을 교시해야 한다. 대안적으로, 마킹 유닛의 배열이 또한 측정될 수 있으며 측정된 값으로서 평가 유닛에 공급될 수 있다.
본 발명에 따르면, 평가 유닛은 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 마킹 유닛들을 인식하도록 설계된다. 이는 마킹 배열체에서 개별 마킹 유닛이 가능한 자유롭게 배열됨에도 불구하고, 마킹 배열체가 신속하고 간단한 이미지 평가를 이용하여 검출되고 그 배향 및 위치가 결정될 수 있도록 한다. 이를 위해, 본 발명에 따르면, 평가 유닛은 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 인식된 마킹 유닛의 마킹만을 사용하여 마킹 배열체의 배향 및 위치를 명확하게 결정하도록 구성되어 제공된다. 이는 제1 또는 제2 유형의 마킹 유닛에 대응하는 기록된 이미지 내의 몇가지 알려진 패턴에만 기초하여 마킹 유닛의 다양한 배열, 예를 들어 물체 둘레에 배치된 것도 매우 유연하게 인식하는 것을 가능하게 하며, 어떠한 시야각, 특히 방위각에서도 배향 및 위치 검출을 가능하게 한다.
바람직한 실시형태에 따르면, 제1 및 제2 마킹 유닛 유형 각각의 마킹은 디바이스의 모든 마킹 배열체에 대해 동일하다. 특히, 이는 제1 마킹 유닛 유형의 마킹 유닛 및 제2 마킹 유닛 유형의 마킹 유닛 내의 마킹이 각각 동일한 위치에 배치됨을 의미한다. 마킹과 관련하여, 바람직한 실시형태에 따르면 제1 마킹 유닛 유형의 모든 마킹 유닛과 제2 마킹 유닛 유형의 모든 마킹 유닛은 동일하다. 이는 특히 다수의 마킹 배열체를 갖는 시스템 또는 디바이스에서 마킹 배열체의 마킹 배향 및 위치를 결정하기 위해 동일한 알고리즘을 사용하는 것을 가능하게 한다. 그 다음 서로 다른 마킹 배열체의 구별이 통신 요소를 통해 이루어지며, 이는 (예로서 디바이스 내의 고유한 상대 배열로 인해) 명확한 식별을 가능하게 한다. 이들 통신 요소는 통신 요소를 포함하는 마킹에 대한 통신 요소의 코딩이 동일한 디바이스에서 동작하는 제2 유형의 모든 마킹 유닛에 대해 상이한 방식으로 제2 유형의 마킹 유닛의 마킹 유닛에 제공된다.
동일한 조명 디바이스에 의해 가능한 하드웨어로서 구현될 수 있는 마킹 및 통신 요소의 차이점은 평가 유닛의 조명 디바이스 배열이 각 마킹 유닛 유형에 대해 알려져 있다는 사실, 즉 서로에 대한 조명 디바이스의 위치가 알려져 있고 "마킹" 또는 "통신 요소" 기능이 각 위치에 할당되거나 할당될 수 있다는 사실로부터 평가 유닛에서 발생한다. 본 발명에 따른 특히 바람직한 실시형태에 따르면, 각각의 마킹 유닛 유형에서 조명 방향의 정확히 1개의 위치는 "마킹" 또는 "통신 요소" 기능 중 오직 정확히 하나에만 할당되며, 즉 기능의 이중 할당이 없다.
본 발명의 바람직한 실시형태에 따르면, 제1 및 제2 마킹 유닛 유형의 각각의 마킹 유닛은 3개 내지 7개의 활성 조명 수단, 즉 마킹 및/또는 통신 요소를 가질 수 있지만, 필요한 경우 더 많은 조명 디바이스가 제공될 수 있다. 그러나 바람직한 실시형태의 마킹 유닛은, 동작 중에 활성화된 3개 내지 5개보다 많지 않은 활성 조명 디바이스를 갖도록 동작 중에 배치된다.
바람직한 실시형태는 마킹("마킹" 기능을 갖는 활성 조명 수단)의 개수를 최대 5개, 더욱 바람직하게는 최대 4개, 특히 바람직하게는 최대 3개로 제한한다. 더 많은 마킹이 제공될수록 마킹의 배향 및 위치를 결정하는 데에 더욱 긴 시간이 소요된다. 따라서, 본 발명에 따른 특히 바람직한 실시형태는 제1 마킹 유닛 유형의 마킹 유닛이 정확히 3개의 조명 디바이스 및 정확히 3개의 마킹을 갖도록 제공한다.
선행 실시형태와 결합되는 것이 바람직할 수 있는 추가 실시형태에 따르면, 제2 유형의 마킹 유닛의 마킹 유닛은 6개 내지 14개, 바람직하게는 8개 내지 12개, 특히 바람직하게는 10개의 조명 디바이스를 가질 수 있으며, 그 중 (바람직하게는 정확히) 2개는 마킹으로서 사용되고 2 내지 5개는 통신 요소로서 사용된다. 바람직하게는, 시스템 또는 디바이스에서 사용되는 제2 유형의 모든 마킹 유닛은 그 통신 요소의 배열이 상이하다. 이는 제2 마킹 유닛 유형의 각 마킹 유닛에서 적어도 식별을 가능하게 하기 위해 서로 다른 조명 디바이스가 통신 요소로서 활성화됨을 의미한다.
바람직한 실시형태에서, 제1 및 제2 마킹 유닛 유형의 조명 수단의 선형 배열이 서로 다른 길이를 갖는 것도 가능하다. 예를 들어, 제2 마킹 유닛 유형에서 조명 수단의 선형 배열은 제1 마킹 유닛 유형보다 짧을 수 있다. 제1 및 제2 마킹 유닛 유형은 적어도 3개의 조명 수단의 경로에 의해 형성되며, 이 경로는 "마킹" 기능이 할당된 (엔드 마킹) 종단 조명 수단에 의해 각 종단에서 제한된다. 엔드 마킹 사이에, 각 마킹 유닛 유형에서 종단 조명 수단을 연결하는 경로 상에 적어도 하나의 추가 조명 수단이 배치된다. 바람직한 실시형태에서, 제1 마킹 유닛 유형의 경로는 제2 마킹 유닛 유형의 경로보다 길다. 이는 마킹의 배향 검출에서 특히 유리하게 활용될 수 있다.
통신 요소가 많을수록 시간 단위당 통신할 수 있는 데이터의 수가 증가한다. 이것은 마킹 배열체를 식별하는 것 외에, 통신 요소는 또한 예를 들어 시간-분할 멀티플렉싱 프로세스에서 추가 데이터를 전송하기 위해서도 사용되는 경우에 활용될 수 있다. 그러나 이것은 또한 서로 다른 통신 패턴의 수를 증가시켜 통신 패턴으로부터의 데이터 정보 판독 시간을 연장시킨다. 또한, 활성 조명 수단(마킹 및/또는 통신 요소)의 개수는 마킹 유닛 및 마킹 배열체당 전력 소비를 증가시킨다. 특히 통신 요소가 마킹 배열체 및/또는 마킹 유닛을 식별하는 데에만 사용되는 경우, 종종 많은 개수의 통신 요소가 필요하지 않다. 제2 마킹 유닛 유형의 마킹 유닛 내의 적어도 2개의 통신 요소 및 (바람직하게는 정확히) 2개의 마킹이 2개의 마킹 유닛 유형의 마킹 유닛들의 구별 가능성을 용이하게 한다.
본 발명의 특히 바람직한 실시형태에 따르면 마킹 유닛(및 또한 여러 마킹 유닛을 포함하는 마킹 배열체)의 에너지 공급이 재충전 가능한 배터리에 의해 제공되기 때문에, 마킹 유닛당 3개의 활성 마킹으로의 제한이 특히 유리하다. 만약 예를 들어 마킹 유닛이 더욱 큰 작업물에 부착되는 경우, 이는 더욱 큰 작업물의 에너지 공급부(예로서, 어떠한 방식이든 전기적으로 동작하는 작업 도구)에도 연결될 수 있다. 이러한 경우, 전원 공급부는 사용 중인 광학 활성 마킹 및/또는 통신 요소의 개수를 제한하는 결정적인 요소가 아니다. 그러나 축전지가 장착되지 않은 마킹 배열체의 경우, 상응하는 전원 공급부 인터페이스 또는 충전 인터페이스, 예를 들어 유선 충전 접속부 또는 예로서 유도 충전 인터페이스의 형태인 무선 충전 옵션이 축전지를 충전하기 위해서 필요하다. 이것은 제조 및 유지 비용이 더 높다.
본 발명에 따라 청구된 마킹 배열체 내의 마킹 유닛들의 배열을 사용하여, (본 발명의 광학 이미지 캡처 유닛의 관점에서) 보정된 카메라를 이용해 2차원 이미지로 기록된 마킹으로부터 공간 내의 마킹 배열체의 배향 및 위치를 역으로 계산하는 것이 가능하다. 이를 위해, 당업자에게 알려진 다양한 솔루션이 존재한다. 이것은 본 발명의 관련 기술분야의 당업자에게 알려져 있고 기술된 P3P(Perspective-3-Point)와 같은 솔루션 방법, 특히 P3P 문제에 대한 알려진 대수 솔루션 알고리즘(AP3P 방법) 또는 P3P 문제에 대한 반복 솔루션 알고리즘(반복 P3P)을 포함하며, 예를 들어 공개 문헌 AP3P: 2017년 IEEE 학회 Computer Vision and Pattern Recognition(CVPR)에서 공개된 Tong Ke 및 Stergios Roumeliotis에 의한 An efficient algebraic solution to the perspective-three-point problem, P3P: 2003년 Pattern Analysis and Machine Intelligence, IEEE Transactions on, 25(8):930-943에서 공개된 Xiao-Shan Gao, Xiao-Rong Hou, Jianliang Tang 및 Hang-Fei Cheng에 의한 Complete solution classification for the perspective-three-point problem에 기술되어 있다. 이전에 정의된 조건을 충족하도록 제공된 이러한 잘 알려진 알고리즘은, 물체 상의 마킹과 보정된 카메라 이미지의 2차원 이미지 사이에서 알려진 관계의 대응관계로부터 공간 내의 물체의 배향 및 위치를 찾는다.
이미지 내의 지점 재구성에서 이상값(outlier)에 대해 이러한 알고리즘을 보다 강력하게 만들기 위해, 소위 RANSAC(Random Sample Consensus) 방법이 사용되며, 이는 이미지 내에서 검출된 (제1 및 제2 마킹 유닛 유형의) 마킹 유닛들 사이의 초기 상관관계를 확립한다. 이러한 제1 상관관계는 이미지 내에서 검출 가능한 검출된 마킹 유닛들 사이의 관계 전체가 알려지고 그에 따라 마킹 유닛이 알려질 때까지 반복적으로 개선될 수 있다. 이러한 정보를 사용하여 마킹 간의 관계가 평가될 수 있으며, 이로부터 공간 내의 마킹 배열체의 배향 및 위치가 결정될 수 있다. RANSAC 절차는 이상값이 추정값에 영향을 미치지 않아야 할 때 이상값을 포함하는 관찰된 데이터의 집합으로부터 수학적 모델의 파라미터를 추정하기 위한 반복적인 방법이다. 따라서, 이것은 이상값 검출 방법으로도 해석될 수 있다. 이러한 알고리즘에 대한 설명은 예를 들어 1981년 6월자 논문 Martin A. Fischler, Robert C. Bolles: Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Communications of the ACM, https://doi.org/10.1145/358669.358692에서 볼 수 있다.
이들 방법의 적용예는 당업자에게 알려져 있다. 이들은 기술된 방식으로 본 발명에 적용될 수 있고, 필요한 경우, 숙련된 최적화 프레임워크 내에서 구성될 수 있다.
원칙적으로, 본 발명은 배향 및 위치 검출을 위한 (당업계에 이미 알려진) 특정 유형의 알고리즘과는 독립적이다.
본 발명에 따라 제안된 마킹 배열체의 구체적인 장점은 (일반적인 산업 제조 및 조립 프로세스, 예를 들어 원격 제어되는 내시경으로 수행되는 수술의 맥락과 같은 의학적인 적용예 또는 예들 들어 산업 부품 검사에서의 유사한 적용예에 대해) 사실상 (즉, 인간의 동작 순서에 대해) 실시간으로 간단하고 명확한 구조의 마킹 배열체를 사용하여 마킹 배열체의 배향 및 위치를 결정할 수 있으며, 그에 따라 실시간 마킹 배열체의 추적도 가능하다는 것이다. 이는 마킹 배열체가 제공되는 도구, 디바이스 또는 신체 부위의 움직임의 실시간 추적을 가능하게 한다.
다수의 적용예에서, 평가 속도는 또한 매니퓰레이터(manipulator)(통상적으로 로봇으로도 지칭되는 제어된 기계식 이동 디바이스)에 의해 수행되는 이동에 충분하므로, 본 발명이 보편적으로 사용될 수 있다. 구조의 단순성 및 유연성으로 인해, 배향 및 위치 검출을 포함하는 이미지 지점의 평가가 종래 기술에 비해 더욱 간단하고 빠르다. 종래 기술로부터 알려진 십자 형태와는 달리, 예를 들어 일종의 원통형 표면 상에 마킹 유닛을 배치함으로써 360°배향 검출 또한 쉽게 획득될 수 있다. 본 발명의 중요한 이점은 특히 배열의 대칭축(즉, 예를 들어 원통형 표면의 배열의 경우 원통 축)에 대한 방위각에 관계없이, 기록된 이미지들이 유사하고 360°의 전체 방위각에 걸쳐 일정한 정확도를 도출한다는 사실에 있다. 이는 특히 마킹 유닛 사이에 교차점이 없는 직선 경로 마킹 유닛의 바람직한 배열에 적용된다.
본 발명의 바람직한 실시형태에 따르면, (디바이스의 적어도 하나의 마킹 배열체 중 하나 이상 또는 각각의 마킹 배열체의 관점에서) 마킹 배열체는 제1 마킹 유닛 유형의 적어도 2개의 마킹 유닛 및 제2 마킹 유닛 유형의 적어도 하나의 마킹 유닛을 포함하며, 이들은 평가 유닛에 알려진 정의된 배열로 서로에 대해 고정되어 있다.
바람직한 실시형태에서, 마킹 배열체는 추가의 마킹 유닛이 존재하기 않거나 또는 추가의 마킹이 마킹 유닛에 제공되지 않는다는 의미에서 제1 마킹 유닛 유형의 정확히 2개의 마킹 유닛과 제2 마킹 유닛 유형의 정확히 1개의 마킹 유닛을 갖는다. 바람직하게는, 이것은 디바이스의 모든 마킹 배열체에 적용되어 모든 마킹 배열체 내의 마킹의 위치가 동일하며 디바이스의 각각의 바람직한 마킹 배열체는 (오직) 제2 마킹 유닛 유형의 마킹 유닛이 정확히 1개 포함된 통신 요소에 의해서만 디바이스의 다른 마킹 배열체와 상이하다. 이들 마킹 배열체 중 몇몇은 공통 구조, 예를 들어 프레임 또는 하우징 내에서 서로에 대해 고정식으로 배치될 수 있고, 함께 멀티-마킹 배열체를 형성하며, 따라서 여러 마킹 배열체가 서로에 대해 고정식으로 배치된다. 배향 및 위치 검출에 사용되는 모든 조명 수단(즉, 마킹)이 동일하게 배치되는 마킹 배열체의 항상 동일한 구조로 인해, 특히 효과적이고 빠른 알고리즘이 위치 검출에 사용될 수 있다.
그러나 제2 유형의 적어도 하나의 마킹 유닛이 제1 유형의 2개의 마킹 유닛 사이에 항상 위치되는 본 발명에 따른 마킹 배열체의 실시형태도 고안될 수 있다. 만약 제2 마킹 유닛 유형의 더 많은 마킹 유닛이 마킹 배열체에서 서로 나란히 배치되면, 예를 들어 많은 서로 다른 마킹 배열체가 대형 시스템(본 발명에 따르면 대형 디바이스)에서 함께 동작되어야 하는 경우 또는 예를 들어 오직 하나의 코드만을 이용하는 또는 데이터 정보가 차례로 전송되는 순서대로 제시되는 서로 다른 코드의 여러 코드를 이용하는 데이터 전송에 의해 많은 추가 정보가 전송되어야만 하기 때문에 높은 데이터 전송률이 필요한 경우, 통신 속도가 크게 증가될 수 있다. 다른 실시형태는 비평면 표면, 예로서 원통형, 원뿔형 또는 다른 기본적으로 임의의 형태를 갖는 바디 상에 제1 유형의 적어도 하나의 마킹 유닛과 제2 유형의 하나의 마킹 유닛이 (규칙적인 반복 또는 임의의 배열로) 서로 인접하게 배치되고 사진에서 볼 수 있는 방식으로 제1 및 제2 유형의 여러 마킹 유닛이 배치되는 것을 제공할 수 있다. 예를 들어 원통형 표면 상의 마킹 유닛의 평행한 배열의 경우, 바람직하게는 모든 마킹 유닛이 서로 비-동일 평면 방식으로 2개의 제1 유형의 마킹 유닛이 1개의 제2 유형의 마킹 유닛에 인접하게 배치된다. 이러한 유형의 바람직한 실시형태는 원통형 바디 표면 상의 배열일 수 있으며, 여기서 제1 및 제2 유형의 평행하게 배치된 마킹 유닛은 원통 축을 따라서 (원주에 대해) 전체 표면 또는 적어도 부분들에 걸쳐 배치된다.
마킹 배열체의 특히 바람직한 실시형태에서, 예를 들어 정확히 3개의 마킹 유닛(2개의 제1 유형 및 1개의 제2 유형)을 갖는 실시형태에서, 제1 마킹 유닛 유형의 마킹 유닛의 조명 수단의 경로는 바람직하게는 조명 수단의 경로가 평행사변형의 대향하는 2개의 면을 형성하는 방식으로 공통 평면에 놓인다. 조명 수단의 경로가 끝나는 각 마킹 유닛의 엔드 마킹은 꼭지점을 형성한다. 특히 바람직한 실시형태에서, 조명 수단(꼭지점)을 연결하는 직선 경로는 직사각형의 각 꼭지점에 엔드 마킹을 갖는 직사각형을 형성할 수 있다. 또한, 제2 마킹 유닛 유형의 마킹 유닛의 경로는 제1 마킹 유닛 유형보다 짧을 수 있으며, 즉 엔드 마킹들 사이의 거리는 제1 마킹 유닛 유형보다 제2 마킹 유닛 유형에서 더 짧을 수 있다. 그러한 실시형태에서, 제2 마킹 유닛 유형의 마킹 유닛은 제1 마킹 유닛 유형의 마킹 유닛이 걸쳐지는 평행사변형 또는 직사각형 내에, 또는 보다 일반적으로 제1 마킹 유닛 유형의 마킹 유닛의 엔드 마킹을 연결함으로써 형성된 표면 형태 내에 배치될 수 있다. 이는 마킹 배열체의 하나의 이미지에서 마킹을 찾는 것을 용이하게 하며, 이에 기초하여 배향 및 위치 검출이 수행된다.
특별한 실시형태에서, 제2 유형의 마킹 유닛의 마킹 유닛은 특히 하나의 평면에 대해 상대적으로 상승된, 제2 유형의 마킹 유닛의 2개의 마킹 유닛에 걸쳐진 평면의 외부에 배치될 수 있다. 상승된 배열은 (제1 유형의 마킹 유닛이 걸쳐진) 평면에 수직인 시야 방향에서의 마킹 유닛의 조명 수단의 배열을 지칭하며, 이때 조명 수단을 볼 수 있다. 이러한 배열에서, 제2 마킹 유닛 유형의 마킹 유닛의 마킹은 그에 따라 확실하게 제1 마킹 유닛 유형의 마킹 유닛의 마킹들과 동일 평면상에 있지 않다. 이는 배향 및 위치 검출의 정확도를 향상시킨다. 그러나 바람직한 실시형태에 따르면, 제2 마킹 유닛 유형의 조명 수단의 경로는 제1 마킹 유닛 유형의 마킹이 걸쳐지는 평면에 평행한 평면에 놓일 수 있다. 이는 특히 공간 내의 마킹의 배향 검출을 용이하게 한다.
본 발명의 바람직한 실시형태는 마킹 배열체의 마킹 유닛의 조명 수단의 직선 경로가 평행하게 배치되는 것을 제공한다. 이것은 또한 본 명세서에서 마킹 유닛의 병렬 배열로 축약된다. 이러한 표현은 동의어로서 이해되어야 한다. 이는 마킹 배열체, 특히 제1 마킹 유닛 유형의 정확히 2개의 마킹 유닛(동의어에 따르면 "제1 유형의 마킹 유닛"으로도 지칭됨) 및 제2 마킹 유닛 유형의 정확히 1개의 마킹 유닛(동의어에 따르면 "제2 유형의 마킹 유닛"으로도 지칭됨)을 가진 마킹 배열체의 모든 마킹 유닛의 조명 수단의 (직선) 경로를 따르는 직선이 교차하지 않음을 의미한다. 직선은 수학적 의미에서 무한히 긴 것으로 이해되지 않고, 주어진 길이에 걸쳐 교차하지 않는 직선 배열의 확장된 경로로서 이해된다. 예를 들어 서로에 대해 최대 5°의 작은 각도로 정렬된 경로는 또한 본 발명의 목적을 위해 평행한 것으로 간주된다. 이것은 특히 제조 오차를 포함한다.
마킹 배열체의 선택된 또는 모든 마킹 유닛의 병렬 배열은 마킹 유닛에 속하는 마킹 배열체를 선택하는 데 매우 효과적인 기준을 나타내며 배향 및 위치 검출을 위한 알고리즘 적용에서 매우 정확한 경계 조건이다. 특히 바람직하게는 제1 유형의 2개의 마킹 유닛에 적용된다. 이러한 실시형태에서, 제2 마킹 유닛 유형은 또한 제1 유형에 대해 임의의 위치에 배치될 수도 있다. 그러나 특히 바람직하게는, 제1 유형의 마킹 유닛들 사이에 배치될 수 있으며, 이는 마킹의 할당을 특히 용이하게 한다. 그러나 본 발명은 이러한 바람직한 실시형태에 제한되지 않으며, 이는 특히 마킹 배열체 내에 정확히 3개의 마킹 유닛이 있을 때 매우 유용할 수 있다.
원칙적으로, 제1 마킹 유닛 유형의 마킹 유닛이 (마킹 배열체 전체 또는 마킹 배열체의 일부에서만) 제2 마킹 유닛 유형의 마킹 유닛에 인접한 마킹 배열체에 배치되는 것이 제안될 수 있으며, 여기서 인접 배열은 제1 마킹 유닛 유형 중 하나의 마킹 유닛이 2개의 측면 중 적어도 하나에서 마킹 유닛의 길이 방향을 가로지르게 배치되고, 바람직하게는 제1 유형의 마킹 유닛 중 하나의 마킹 유닛 또한 2개의 측면 각각에, 역시 길이 방향으로 배치됨을 의미한다. 길이 방향은 특히 제1 유형과 제2 유형의 마킹 유닛의 경로 사이의 (최소) 각도가 45°미만이고 (직선 경로에 대해 가로 방향으로 서로 인접하는) 직선 경로가 (경로의 길이 방향에서) 적어도 50% 중첩됨을 의미한다.
마킹 배열체의 마킹 유닛의 적어도 일부 또는 전부의 병렬 배열을 갖는 이러한 특히 바람직한 실시형태는 원칙적으로 이미 기술된 바와 같이 여러 마킹 배열체가 공통 구조로 결합되어 멀티-마킹 배열체를 형성하는 경우에도 사용될 수 있다. 그러나 본 발명은 이에 제한되지 않으며, 원칙적으로 하나의 마킹 배열체가 멀티-마킹 배열체에서 여러 번 배치되지 않고 마킹 배열체에서 자유로운 개수의 제1 및/또는 제2 마킹 유닛 유형의 마킹 유닛을 허용한다. 공간 배열에서, 마킹 배열체는 특히 바람직하게는 추가 실시형태에 대해 아래에서 기술되는 바와 같이 볼록한 바디를 형성한다.
따라서 본 발명의 일 실시형태에 따르면, 제1 유형의 적어도 하나의 마킹 유닛 및 제2 유형의 하나의 마킹 유닛을 포함하는 복수의 마킹 배열체가 공통 구조를 형성하도록 결합될 수 있으며, 여기서 개별 마킹 배열체는 서로에 대해 정의된 방식으로 배치되고 멀티-마킹 배열체를 형성하며, 공통 구조의 외부 윤곽은 볼록한 바디를 형성한다.
기하학적으로 단순한 가능성은 직선 경로 상의 각 마킹 유닛에 배치된 마킹(또는 상응하는 모든 조명 수단)이 원형, 타원형 또는 유사한 곡선형 단면을 가진 슬리브 상에 놓이는 것을 제안하며, 이때 슬리브의 축방향에서 서로에 평행하게 정렬된 조명 수단을 갖는 모든 경로는 단면적에 수직으로 이어진다. 이것은 예를 들어 조명 수단(마킹 또는 통신 요소)을 갖는 모든 경로가 원통형 슬리브의 축방향으로, 즉 서로 평행하게 원통형 슬리브 상에 배치되는 경우이다. 이는 결과적으로 볼록한 바디를 만든다.
본 발명의 목적을 위해, 바로 인접하지 않거나 동일한 마킹 유닛에서 동일 선상에 배치되지 않은 2개의 마킹(또는 가능하게는 조명 수단) 사이의 직선 연결이 바디의 외부 윤곽 내에서 또는 외부 윤곽을 따라서 이어지는 경우에 볼록한 바디가 존재한다. 바디의 형태가 예를 들어 원통형 바디의 경우와 같이 명확하지 않은 경우, 각각의 경우에 서로에 대해 최단 거리를 갖는 3개의 마킹(또는 조명 수단)이 삼각형 표면에 의해서 연결되도록 외부 윤곽이 형성될 수 있다. 이러한 방식으로, 각각의 경우에 외부 윤곽이 형성되고, 이것을 기반으로 하여 볼록한 외부 윤곽의 존재가 확인될 수 있다. 에지 영역, 예를 들어 바디의 종단면,에 남아있는 개구가 개별 윤곽 표면의 교차점으로부터 시작하는 삼각형에 의해서 폐쇄된다. 이러한 멀티-마킹 배열체는 임의의 바디 둘레에 배치될 수 있으며, 이때 마킹의 최적의 가시성을 보장하는 볼록한 바디 형태가 배향 및 위치 검출에 사용된다.
바람직한 실시형태에 따르면, 평가 유닛은 아래에 기술된 방법 또는 그 일부를 수행하도록 설정된다. 특히, 아래에 기술된 방법 또는 그 특정 실시형태가 상기 기술된 실시형태 중 특정 실시형태에 대해서 특히 적합할 수 있다.
따라서 본 발명은 또한 3차원 공간에서 마킹의 배향 및 위치를 검출하기 위한 방법, 특히 평가 유닛이 방법 또는 방법의 일부를 수행하도록 설정된 전술된 디바이스의 실시형태들 중 하나를 사용하는 방법에 관한 것이다. 본 발명에 따르면, 이 방법은 특히 아래에 기술된 순서대로 수행될 수 있는 다음의 단계들을 포함한다. 그러나 기술적으로 가능하다면, 그러한 순서는 본 발명의 청구대상을 벗어나지 않는 범위내에서 변경될 수도 있다.
- 제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛 및 제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛을 포함하고, 각각은 경로를 따라 배치된 적어도 3개의 광학적으로 활성인 조명 수단을 포함하는 적어도 하나의 마킹 배열체의 이미지를 캡처하는 단계. 바람직한 실시형태에 따르면, 제1 유형의 마킹 유닛은 각 마킹 유닛에서 동일한 위치에 배치되고 마킹 기능을 갖는 고정된 개수의 조명 수단, 특히 3개의 조명 수단을 가질 수 있다. 제2 유형의 마킹 유닛은 경로 내에 배치된 조명 수단과 함께, 특히 2개의 대향하는 종단에서 마킹으로서의 역할을 하는 (엔드 마킹으로도 지칭됨) 조명 수단을 갖는다. 2개의 마킹 사이에 배치된 제2 유형의 마킹 유닛의 다른 모든 조명 수단은 본 발명에 따른 디바이스의 바람직한 실시형태에 따라 통신 요소로서의 역할을 할 수 있으며, 이는 바람직하게는 각각이 특히 광학적으로 활성화함으로써 또는 서로 다른 조명 디바이스를 스위치-온 함으로써 본 발명에 따른 제2 유형의 각 마킹 유닛에 대해 상이하게 배치될 수 있다. 이들은 또한 제1 및 제2 유형의 마킹 유닛이 그 위치 및/또는 개수, 특히 바람직하게는 적어도 그 개수에 기초하여 (광학적으로 활성인) 조명 수단에 의해 구별될 수 있도록 선택될 수 있다. 따라서, 제2 유형의 마킹 유닛은 바람직하게는 정확히 2개 내지 5개, 즉 정확히 2개, 3개, 4개 또는 5개의 통신 요소 및 (각각 경로의 시작과 끝에 있는) 정확히 2개의 마킹을 가질 수 있다.
- 캡처된 이미지에서 조명 수단을 검출하는 단계. 종래의 이미지 검출 소프트웨어를 사용하여, 개별 조명 수단은 이미지 내의 조명되는 지점으로 인식되고 픽셀 좌표로도 알려진 고유한 2차원 이미지 좌표(xB, yB)가 이미지 내의 지점에 할당된다. 그 다음 이들 이미지 좌표가 후속하여 추가적인 평가를 수행하도록 사용될 수 있다. 이것의 예는 이후에 기술될 것이다.
- 검출된 조명 수단을 마킹 전용으로 설계된 조명 수단을 갖는 제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛에 할당하고, 검출된 조명 수단을 마킹 및 통신 요소로서 설계된 조명 수단을 갖는 제2 마킹 유닛 유형의 적어도 하나의 마킹 유닛에 할당하는 단계. 이것은 검출된 조명 수단의 이미지 좌표를 평가함으로써, 그리고 이미지 내의 특정 조명 수단(즉 그 이미지 좌표)의 선택이 (단계를 수행하는 평가 유닛에서 알려진) 제1 또는 제2 마킹 유닛 유형의 마킹 배열체와 일치하거나 일치할 수 있는지 여부의 평가에 의해서 수행된다. 이를 위해 적절한 선택 기준이 명시된다.
- 이미지에서 검출된 조명 수단에 마킹 기능 또는 통신 요소 기능을 할당하는 단계. 이것은 특히 2개의 마킹 유닛 유형 중 하나에 대한 조명 수단의 할당에 기초하여 수행될 수 있다.
- 마킹에 기초하여, 즉 "마킹" 기능이 할당된 조명 수단을 기반으로 마킹 배열체의 배향 및 위치를 결정하고, 마킹 배열체 상의 마킹의 배열, 본 발명의 관점에서 동의어인 마킹 배열체 내의 마킹 유닛의 배열 및 마킹 유닛 상의 마킹의 배열을 각각 파악하는 단계. 본 발명에 따르면, 이것은 이미 기술된 알고리즘 및 RANSAC 방법을 이용하여 수행될 수 있다.
바람직하게는 본 발명에 따르면, 제1 또는 제2 마킹 유닛으로의 마킹 유닛의 할당은 캡처된 이미지 내에 정확히 총 3개의 조명 수단(즉, 총 3개의 마킹 및/또는 통신 요소)을 갖는 모든 직선 경로를 결정하는 단계를 포함할 수 있다. 이는 이미지 내에서 신뢰 가능하게 검출될 수 있고 (마킹 및/또는 통신 요소) 직선 경로 내에 배치된 정확히 3개의 조명 수단 모두가, 조명 수단이 마킹인지 또는 통신 요소인지 여부에 관계없이 3개의 (광학적으로 활성인) 조명 수단을 사용하여 전체 직선 경로에 수집됨을 의미한다. 이들 경로는 예를 들어 목록 내의 정확히 3개의 마킹/통신 요소 각각의 이미지 좌표를 갖는 3-튜플(tuple)로서 기록되고 보관될 수 있다. 따라서 3-튜플은 캡처된 이미지에서 인식될 수 있는 3개의 마킹/통신 요소를 가진 직선 경로를 기술한다. 이러한 방식으로 결정된 모든 3-튜플은 전체 직선 경로를 형성한다. 3-튜플은 예를 들어 [xB(1), yB(1); xB(2), yB(2); xB(3), yB(3)]의 형태를 가지고, 여기서 괄호 안의 숫자는 검출된 조명 수단(마킹/통신 요소)의 번호이다. 경로는 바람직하게는 각각의 경우에 조명 수단에서 끝나며 이들 조명 수단 사이에 다른 조명 수단이 존재한다. 직선 경로가 끝나는 조명 수단은 엔드 포인트로도 지칭된다.
캡처된 이미지의 직선 경로 상에 배치된 3개보다 많은 마킹 또는 통신 요소가 존재하는 경우, 정확히 3개의 마킹 또는 통신 요소(즉, 3개의 조명 수단)를 갖는 각각의 가능한 하위 조합이 정확히 3개의 마킹/통신 요소를 갖는 결정된 직선 경로 중 하나로 간주되며 예로서 3-튜플 목록에 포함된 전체 직선 경로에 기록된다. 아래에서는 단순성을 위해 직선 경로가 때때로 간단히 경로로 지칭된다. 따라서 이들 용어는 동의어로서 사용된다.
본 발명에 따른 바람직한 디바이스에서, 제1 및 제2 마킹 유닛 유형의 마킹 유닛(각각 조명 수단이 배치되는 경로)의 길이는 대략 동일한 길이로, 즉 특히 최대 10% 이하, 바람직하게는 최대 5%의 차이가 있으며, 이미지 캡처 중 가능한 원근 왜곡에도 불구하고 경로의 길이(각각 엔드 마킹에 의해 형성된 경로의 엔드 포인트들 사이의 거리)가 대략 동일한 길이를 가진다고 가정한다. 이는 특히 3cm 내지 15cm, 바람직하게는 3cm 내지 6cm 범위인 마킹 유닛의 전형적인 길이 및 적어도 1m보다 큰, 바람직하게는 2m 내지 5m 또는 2m 내지 10m인 캡처된 마킹 배열체에 대한 카메라(이미지 캡처 유닛)의 거리에 대해 그러하다. 이것은 전형적인 적용예에 대해서 일반적이다. 이러한 경우, 마킹 배열체에 속할 가능성이 있는 경로에 대한 선택 기준으로서, 그 경로는 직선 경로의 엔드 포인트들 사이의 거리가 유사한 결정된 직선 경로 전체로부터 결정될 수 있다. 이러한 경로는 패킷으로 집합될 수 있으며, 이에 따라 필요한 경우, 특히 여러 서로 다른 마킹 배열체가 하나의 이미지에서 검출되는 경우 여러 패킷이 하나의 이미지에서 결정될 수 있다.
마킹 유닛(각각 조명 수단이 배치되는 경로)이 병렬로 배치되는 본 발명에 따른 디바이스에서, 이러한 병렬 배열은 하나의 마킹 배열체에 속할 가능성이 있는 경로에 대한 대안적인 또는 추가의 선택 기준으로서 사용될 수 있다. 이미지 캡처 중의 원근 왜곡으로 인해, 수학적 관점에서 무한히 긴 직선으로 확장된 경로가 이미지의 2차원 좌표계에서 교차하지 않는다고 가정될 수는 당연히 없다.
매우 간단한 평가에서, 적어도 이미지 좌표계에서 직접 교차하는 경로는 비평행으로서 배제될 수 있다. 이러한 선택 기준 사용의 바람직한 변형예에서, 특정 확장 계수, 예를 들어 한쪽 또는 양쪽 종단에서 확장 계수 1.5 및 5에 의한 직선 경로의 확장이 교차하는 확장된 경로를 도출하였는지 여부가 확인될 수 있다. 또한 이러한 경우, 확장된 경로와 같은 교차하는 이러한 경로는 비평행으로서 배제될 수 있으며, 특히 적용의 경우 및/또는 획득 기하학적 구성에 따라 확장 계수가 파라미터화 가능할 수 있다. 가능하게는 위에서 언급된 바람직한 범위 밖의 적절한 확장 계수의 선택은 당업자의 이해 범위 내에 있다. 이러한 경로는 또한 패키지를 형성하도록 결합될 수 있다. 만약 - 예를 들어 오직 2개의 마킹 유닛을 갖는 마킹 배열체에서 평행한 직선 경로가 배제되어야 하는 경우, 유사한 반대 기준이 적용될 수 있다.
만약 이러한 기준이 조명 수단의 이미지에 적용되는 경우, 그리고 특히 이러한 기준 및/또는 추가 기준이 결합되는 경우, 경로들의 패키지는 조명 수단의 이미지의 평가에만 기초하여 이미 선택될 수 있으며, 이는 실제로 마킹 배열체에 속하는 조명 수단의 효과적인 사전선택으로 이어진다. 배열로 인해 기본적으로 마킹 유닛의 조명 수단으로서 가능한 조명 수단의 사전선택은 배향 및 위치 검출을 위한 시간 소모적인 계산이 가능한 마킹의 유망한 그룹으로 제한될 수 있기 때문에 평가 속도를 상당히 증가시킨다. 이는 예를 들어 특정 마킹이 특정 위치에 도달하는 시기를 결정하기 위해(추적) 검출된 동작 시퀀스에서 사실상 실시간 적용을 가능하게 한다.
마킹 배열체에서 마킹 유닛의 배열 및 개수가 알려진 경우 추가의 선택 기준이 결정될 수 있다. 예를 들어 디바이스의 일 실시형태에서, 만약 총 3개의 마킹 유닛이 제1 마킹 유닛 유형의 마킹 유닛 유형 옆에 각각이 배치되는 제2 마킹 유닛 유형의 마킹 유닛과 함께 마킹 배열체로 결합되는 경우, 이러한 경로의 배열은 이미지 내에서 탐색될 수 있다. 특히, 조명 수단의 서로 다른 상대적 배열을 갖는 적어도 하나의 경로가 조명 수단의 유사한 상대적 배열을 갖는 2개의 직선 경로 사이에 배치되는 경로들의 선택된 패킷으로부터 선택될 수 있다. 따라서, 중앙에 위치된 경로(들)는 제2 마킹 유닛 유형의 경로가 될 수 있으며, 외부에 위치된 직선 경로는 제1 마킹 유닛 유형의 경로일 수 있다. 제1 마킹 유닛 유형의 경로에 대한 추가 기준으로서, 제1 및 제2 유형의 마킹 유닛이 뚜렷하게 구별될 수 있는 경우 경로 상의 조명 수단의 간격의 상대적 비율 또한 기준이 될 수 있다. 이러한 정렬 기준을 만족시키는 경로는 가능한 마킹 유닛 유형에 할당될 수 있다. 이것은 본 발명의 특히 바람직한 실시형태에 따라 특히 모든 마킹 유닛이 기본적으로 동일한 마킹 유닛 배열을 갖는 경우에 적용된다.
보다 일반적인 접근법에 따르면, 결정된 직선 경로를 제1 마킹 유닛 유형에 할당하기 전에, 제2 마킹 유닛 유형에 대한 경로의 할당이 발생하도록 본 발명에 따라 제공될 수 있다. 이것은 통신 요소를 포함하고, 이것에 기초하여 마킹 배열체의 명확한 식별이 발생할 수 있거나 발생한다. 본 발명에 따르면, 서로에 대한 마킹 유닛의 상대적 배열을 갖는 시스템에서 설정된 마킹 배열체가 평가 유닛에서 알려져있다.
식별된 마킹 배열체에서 제1 및 제2 유형의 마킹 유닛의 배열에 대한 지식으로, 식별된 마킹 배열체에 속할 수 있는 캡처된 이미지 내의 경로가 결정될 수 있다. 따라서 제2 유형의 마킹 유닛 부근에서, 이러한 마킹 배열체에 속하는 마킹 유닛에 대한 표적 탐색이 이루어질 수 있다. 이러한 방식으로, 단지 기록된 이미지의 이미지 평가를 통해서만 가능한 마킹 유닛이 실제로 신속하고 신뢰 가능하게 식별될 수 있다. 따라서, 특히 바람직한 실시형태에 따르면, 제2 마킹 유닛 유형의 마킹 유닛 유형에 속하는 경로가 결정된 직선 경로로부터 선택되고, 마킹 배열체의 식별이 제2 마킹 유닛의 통신 요소로부터 유도되는 것이 제공될 수 있다. 따라서, 마킹 유닛의 구조 및 마킹 유닛 상의 마킹의 배열이 알려져있다.
따라서 특히 바람직한 실시형태에서, 마킹이 탐색되는 제2 유형의 마킹 유닛의 마킹에 기초하여 기록된 이미지에서 탐색 영역을 정의하는 것이 가능하다. 만약 기록된 이미지 내의 탐색 영역에서 조명 수단이 발견되면, 이는 마킹 유닛에 마킹으로서 할당되며 배향 및 위치를 결정하는 데에 사용될 수 있다.
간단한 실시형태에서, 제2 유형의 마킹 유닛의 직선 경로는 이것이 조명 수단의 배열에서 제1 유형의 마킹 유닛의 경로와 서로 상당히 다른 비율을 갖는다는 사실에 의해 인식될 수 있다.
제2 유형 마킹 유닛의 마킹 유닛이 (정확히) 조명 수단의 경로의 엔드 마킹으로서 2개의 마킹을 가지고, 마킹과 (정확히) 2개의 마킹, 즉 엔드 마킹 사이의 경로 상에 배치된 적어도 2개의 통신 요소가 디바이스(즉 전체 시스템 또는 설비)의 제2 유형의 모든 마킹 유닛에 대해 동일한 경우에 더욱 단순하고 안전한 검출 가능성이 상승한다. 다른 한편으로, (엔드) 마킹 사이에 제공되는 통신 요소는 시스템 내의 각 마킹 유닛마다 구별 가능하게 상이하다.
본 발명에 따르면, 제2 유형의 이러한 마킹 유닛은 결정된 직선 경로로부터 캡처된 이미지 내의 동일한 엔드 포인트(각각 검출된 조명 수단)을 갖는 경로를 선택함으로써 쉽게 결정될 수 있다. 적어도 2개의 통신 요소의 경우, 동일한 엔드 포인트 및 상이한 조명 수단을 갖는 적어도 2개의 직선 경로가 그에 따라 엔드 포인트 사이의 경로 상에서 발견된다. 따라서, 엔드 포인트(조명 수단)에는 "마킹" 기능이 할당되고 엔드 포인트 사이에 위치된 조명 수단에는 "통신 요소" 기능이 할당된다. 따라서 하나의 이미지로부터, 제2 유형의 마킹 유닛은 통신 요소의 코딩으로 재구성될 수 있으며 코딩은 예를 들어 알려진 코딩 패턴과 비교하여 판독될 수 있다. 이는 배향 및/또는 위치 검출에 대한 필요성 없이 캡처된 이미지만으로도 가능하다.
통신 요소는 이러한 마킹 유닛의 고유 식별자(식별)를 표시할 수 있으며, 이를 통해 예를 들어 마킹 배열체가 고유하게 식별될 수 있다. 또한 본 발명에 따르면, 통신 요소는 또한 평가 유닛에서 조합되고 디코딩되는 코딩된 데이터에 의해 가능하게는 여러 개의 연속적으로 기록된 이미지에서 추가 정보를 전달하도록 사용될 수 있다. 이러한 정보는 예를 들어 도구의 배터리 상태, 도구에 의해 실행되는 기능 또는 검출된 데이터 값과 같이 마킹 유닛이 부착된 도구에 대한 정보를 포함할 수 있다. 당업자는 예를 들어 DE 10 2019 114 531 A1로부터 이에 대한 구체적인 가능성을 잘 알고 있다.
본 발명의 바람직한 실시형태에 따르면, 제2 마킹 유닛 유형에 속하는 직선 경로가 결정되고 이제 식별된 마킹 배열체의 마킹 유닛의 배열을 인지한 후에 탐색 영역이 정의될 수 있으며, 여기서 탐색은 제1 마킹 유닛 유형에 속하는 직선 경로에 대해 이루어진다. 그러한 마킹 유닛이 발견되면, 마킹 배열체가 신뢰 가능하게 식별되었다고 가정될 수 있다. 이미지에서 검출된 조명 수단은 이제 이미지에서 검출된 조명 수단에 "마킹" 기능을 할당함으로써 가능한 한 마킹 유닛의 나머지 마킹에 할당된다.
그 다음 이들 마킹은 예를 들어 기술된 알고리즘에 의해 마킹 배열체 상의 마킹 배열체에 대해 인지하는 마킹에 기초하여 마킹 배열체의 배향 및 위치를 결정하는 데 사용된다.
예를 들어 제1 및 제2 유형의 마킹 유닛의 개별 마킹 유닛은 기본적으로 임의의 방식으로 마킹 배열체를 형성하기 위해 물체에 동일 선상으로 고정되지 않기 때문에, 마킹 배열체에서 마킹 유닛의 배열이 사전에 알려지지 않은 경우, 바람직하게는 마킹 중 적어도 하나가 마킹 배열체의 마킹 유닛 중 나머지 마킹과 공통 평면에 놓이지 않고, 본 발명은 특히 3차원 공간에서 마킹의 배향 및 위치 검출을 위해 제안된 방법과 관련하여 방법을 제안하며, 이 방법은 배향 및 위치 검출을 위해 전술된 방법의 실행 이전에 적어도 한 번 실행되고 마킹 및 통신 요소의 위치를 학습한다.
제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛 및 제2 마킹 유닛 유형의 적어도 하나의 마킹 유닛이 위치되고, 각각은 경로를 따라 배치된 적어도 3개의 광학적으로 활성인 조명 수단을 갖는 마킹 배열체 내의 마킹 및 통신 요소의 설정을 교시하기 위한 본 발명에 따른 방법이 개시된다. 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 마킹 유닛 내의 마킹 또는 통신 요소로서 사용되는 조명 수단의 배열이 사전에 알려져있다. 바람직하게는, 전술된 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 마킹 유닛이 사용된다.
본 발명에 따른 방법에서, 다음의 단계가 수행된다:
- 이미지 캡처 유닛에 대해 고정된 마킹 유닛을 갖는 마킹 배열체를 이동시키고 상기 이동 중에 이미지 시퀀스를 캡처하는 단계로서, 여기서 모든 마킹 유닛이 사전결정된 또는 사전결정 가능한 최소 기간 동안 그리고 이미지 포착 수단에 의해, 즉 포착된 이미지 시퀀스의 각각의 이미지에서 사전결정되거나 사전결정 가능한 최소 회전 동안 보일 수 있다. 마킹 배열체의 상대적 이동은 마킹 배열체 또는 이미지 캡처 디바이스에 의해 수행되는 병진 및/또는 회전일 수 있다.
- 이미지 시퀀스의 이미지에서 잠재적 마킹 배열체를 검출하는 단계. 본 발명에 따르면 이것은 전술된 방법, 특히 이후에 제1 또는 제2 마킹 유닛 유형의 잠재적인 마킹 유닛에 할당되는, 기록된 이미지에서 정확히 총 3개의 조명 수단을 갖는 직선 경로를 검출과 관련하여 설명된 이미지 평가를 이용하여 수행될 수 있다.
- 이미지 시퀀스의 여러 이미지에 걸친 잠재적 마킹 유닛을 추적하는 단계. 본 발명에 따르면, 이동이 프레임 속도에 비해 작도록 잠재적인 마킹 유닛의 추적이 구현될 수 있다(즉, 상응하는 느린 회전 및/또는 병진운동이 본 발명에 따라 발생한다). 그 다음, 잠재적인 마킹 유닛뿐 아니라 잠재적인 마킹 유닛의 거리가 서로에 대해 변하지 않는다는 사실에 기초하여 이미지 검출의 맥락에서 타당성 고려가 이루어질 수 있다.
- 기본적으로 알려지고 이미 설명된 RANSAC 방법에 의해, 하위 어레이 사이에 초기 관계를 생성하고 회전 동작을 갖는 전체 이미지 시퀀스에 대한 전체 관계가 알려질 때까지 수치 최적화를 통해 전체 이미지 시퀀스에 대한 관계를 반복적으로 향상시키는 것이 가능하다.
- 기하학적 할당에 기초하여 전체 관계로부터 마킹 유닛의 배열을 도출하는 단계. 이러한 절차는 이미지 평가를 위한 방법의 맥락에서 당업자에게 알려져있다.
따라서 마킹 배열체 내의 마킹 유닛의 배열이 결정되고, 전술된 배향 및 위치 검출 방법이 수행될 수 있다. 본 발명에 따르면, 마킹 배열체 내의 마킹 및 통신 요소의 배열을 교시하는 방법은 아직 알려지지 않은 경우 마킹의 배향 및 위치 검출의 반복된 실행 이전에 적어도 한 번 수행될 수 있다.
간섭을 피하고 정확성을 향상시키기 위해, 마킹 배열체 내의 마킹 및 통신 요소의 배열에서 교시하기 위해 제안된 방법의 구현 중에, 하나의 마킹 유닛에 배치되지 않은 이미지 시퀀스의 획득 중에 이미지 캡처 유닛의 이미지 영역에 조명 수단이 배치되지 않도록 하는 것이 바람직하다.
본 발명의 추가적인 이점, 특징 및 적용 가능성에 대해 이하의 바람직한 실시형태에 대한 설명 및 도면을 통해 알 수 있을 것이다. 이에 따라, 모든 설명되고/되거나 도시된 특징은, 기술되거나 도시된 실시형태 또는 청구범위에서의 요약과 독립적으로, 함께 또는 임의의 기술적으로 합리적인 조합으로 본 발명의 청구대상에 속한다.
도 1은 본 발명에 따른 디바이스의 바람직한 실시형태를 개략적으로 도시하고;
도 2는 도 1에 도시된 마킹 배열체의 측면도를 도시하고;
도 3은 본 발명에 따른 마킹 배열체의 대안적인 실시형태의 측면도를 도시하고;
도 4는 이미지에서 볼 수 있는 2개의 마킹 배열체를 갖는 본 발명에 따른 방법의 바람직한 실시형태의 구현 중에 취한 이미지를 개략적으로 도시하고;
도 5는 도 4에 따른 이미지를 위한 방법의 바람직한 실시형태의 구현 중에 결정된 3개의 조명 수단을 갖는 직선 경로를 개략적으로 도시하고;
도 6은 도 1의 마킹 배열체에서의 마킹 및 통신 요소의 공간적 배열의 개념도를 도시하며;
도 7은 도 3과 유사한 마킹 배열체에서의 마킹 및 통신 요소의 공간적 배열의 개념도를 도시한다.
도 1은 마킹 배열체(2)를 갖는 3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스(1)를 개략적으로 도시한다. 도시된 예에서, 마킹 배열체(2)는 총 3개의 마킹 유닛(11, 12)을 포함하며 조명 디바이스(10)는 경로(13)를 따라 배치된다. 조명 디바이스(10)는 스위치-온될 때 광학적으로 활성화되고 광 또는 특히 바람직하게는 적외선을 방출한다. 조명 디바이스(10)는 특히 예를 들어 회로 보드 상에 배치될 수 있는, 스위치-온 및 오프될 수 있는 LED로서 구성될 수 있다. 광학적 활성 상태에서, 조명 디바이스(10)는 또한 조명 수단(20)으로도 지칭되고, 이는 도 4 내지 7에서 어둡게 도시되어 있다. 도 1에서, 모든 조명 디바이스(10)가 오프 상태로 도시되어 있다. 디바이스(1)의 동작에서, 각각의 마킹 유닛(11, 12)은 적어도 3개의 조명 수단(20), 즉 스위치-온 조명 디바이스(10)를 가지며, 여기서 조명 수단(20)은 마킹(21) 및/또는 통신 요소(22)로서 설계된다.
디바이스(1)는 특히 공간에서 보정되는 카메라(디지털 카메라)로서 설계된 광학 이미지 캡처 유닛(3)을 포함한다. 이미지 캡처 유닛/카메라(3)는 마킹 배열체(2)의 이미지(90)를 캡처하도록 설정된다. 카메라(3)는 하나의 광학 이미지 캡처 유닛(3)의 정확히 1개의 이미지(90)로부터 마킹 배열체(2)의 배향 및 위치의 명확한 결정을 위해 이미 기술된 방식으로 구성된 평가 유닛(4)에 연결된다.
마킹 배열체(2)는 3개의 조명 수단(20)이 동작하는 제1 마킹 유닛 유형의 2개의 마킹 유닛(11)을 갖는다. 따라서 본 명세서에 도시된 예에서, 2개의 마킹 유닛(11)의 3개의 조명 디바이스(10) 모두가 스위치-온되고 마킹(21)의 기능을 채택한다. 이러한 기능은 조명 디바이스(10) 내에 도시된 십자로 도 1에 표시되어 있다. 따라서, 동작 중인 모든 마킹 유닛(11)은 정확히 동일한 위치에 3개의 조명 수단(20)과 동일하게 형성된다. 이것은 일반적으로 캡처된 이미지 내의 조명 수단(20)의 상대적인 간격에 의해 이미 식별되었을 수 있다.
마킹 유닛의 제1 유형의 2개의 마킹 유닛(11) 사이에, 마킹 유닛의 제2 유형의 마킹 유닛(12)이 마킹 배열체(2) 내에 배치되며, 동작 시에 (조명 디바이스(10)에서 교차하는) 정확히 2개의 마킹(21) 및 적어도 하나의 통신 요소(22)를 갖는다. 이러한 "통신 요소" 기능은 조명 디바이스(10)에 도시된 X로 도 1에 표시되어 있다. 그러나 하드웨어 측 상에서, 조명 디바이스(10)는 바람직하게는 "마킹" 또는 "통신 요소" 기능과 무관하게 동일한 설계를 가질 수 있다.
제2 마킹 유닛 유형의 마킹 유닛(12)에서, 마킹(21)으로서의 기능을 하는 2개의 조명 수단(20)은 마킹 유닛의 2개의 종단에 배치되고 엔드 마킹으로도 지칭된다. 이러한 정의는 이러한 텍스트에서 일반적으로 적용된다. 이들 (정확히는 2개의) 마킹(20) 사이에, 통신 요소(22)의 기능을 채택하는 마킹 유닛(12)의 적어도 하나의 조명 수단(20), 바람직하게는 적어도 2개 내지 5개의 조명 수단(20)이 배치된다.
본 발명에 따른 디바이스(1)의 바람직한 실시형태에 따르면, 제2 유형의 마킹 배열체(2)의 적어도 하나의 마킹 유닛(12)의 통신 요소(22)는 마킹 배열체(2)를 고유하게 식별하는 역할을 한다. 이것은 디바이스(1)에서 사용된 모든 마킹 유닛(2)이 통신 요소(20)의 고유한 조합을 나타내도록 각각 구성됨으로써 달성된다.
모든 조명 디바이스(10)와 상응하는 모든 마킹(21) 및 적용 가능한 경우 마킹 유닛(11, 12)의 통신 요소(22)는 경로(13) 상에 놓이고, (모든) 통신 요소(22)는 마킹 유닛(12)의 2개의 마킹(21) 사이에 배치된다. 이것은 평가를 용이하게 한다. 또한, (위에서 정의된 의미에서) 엔드 마킹의 거리는 제1 마킹 유닛 유형의 마킹 유닛(11) 및 제2 마킹 유닛 유형의 마킹 유닛(12)에 대해 상이하며, 바람직하게는 엔드 마킹의 거리는 제1 유형의 마킹 유닛(11)에 대해서보다 제2 유형의 마킹 유닛(12)에 대해서 더 작다. 또한, 마킹 배열체(2)의 모든 마킹 유닛(11, 12)은 병렬로 배치되며, 즉 조명 수단(10)의 경로(13)는 평행하게 이어진다. 특히 제1 마킹 유닛 유형의 마킹 유닛(11)이 직사각형에 걸쳐있고 제2 유형의 마킹 유닛의 마킹 유닛(12)이 직사각형 내에서 이러한 직사각형의 중심축을 따라 대칭하게 배치되는 도시된 변형예가 바람직하다. 마킹(21)의 결과적인 배열은 기록된 이미지(90)에서 적절한 선택 기준에 의해 쉽게 인식될 수 있고 평가를 위해 선택될 수 있다.
도 2에 따른 마킹 유닛(2)의 측면도에서 볼 수 있는 바와 같이, 제2 유형의 마킹 유닛(12)은 제1 유형의 마킹 유닛(11) 사이의 높은 위치에 배치된다. 이는 마킹 유닛(12)이 평면에 걸쳐있는 2개의 마킹 유닛(11)과 동일 평면에 배치되지 않음을 보장한다.
마킹 배열체(2) 내의 마킹 유닛(11, 12)의 배열을 인식하여, 평가 유닛(4)은 제1 마킹 유닛 유형의 마킹 유닛(11) 및 제2 마킹 유닛 유형의 마킹 유닛(12) 또는 동등하게 그 마킹(21)을 인식하고 (바람직하게는 독점적으로) 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 인식된 마킹 유닛(11, 12)의 마킹(21)을 사용하여 마킹 배열체(2)의 배향 및 위치를 명확하게 결정하도록 채택된다.
도 3은 조명 디바이스(10)가 적어도 대략적으로 가상의 원통형 표면(6) 상에 놓이도록 여러 마킹 배열체(2)가 중공의 원통 형태로 배치되는 멀티-마킹 배열체(5)를 도시한다. 따라서, 멀티-마킹 배열체(5)는 볼록한 바디에 대한 실시형태를 나타내고, 이것의 배향 및 위치는 멀티-마킹 배열체(5)의 대부분의 임의의 위치에서의 공간에서 오직 하나의 카메라(3)만으로도 신뢰 가능하게 검출될 수 있다. 따라서 이러한 멀티-마킹 배열체(5)의 바람직한 사용은 멀티-마킹 배열체(5)가 작업 도구 둘레에 고정되게 사용하는 것이다.
도 4 및 5를 참조하면, 배향 및 위치를 결정하기 위한 제안된 방법의 적용의 맥락에서 이미지 평가를 위한 기본적인 절차가 아래에 기술된다.
도 4는 본 발명에 따른 방법의 평가 및 실행을 위해 평가 유닛(4)에 공급되는 카메라 또는 광학 이미지 캡처 유닛(3)으로부터의 이미지(90)를 도시한다.
이미지(90)는 공간에서 서로 다른 거리 및 배향으로 위치된 2개의 마킹 배열체(2, 2')를 도시한다. 특히, 마킹 배열체(2, 2')는 이동 순서를 추적할 수 있도록 도구 또는 신체 부위와 같이 도시되지 않은 공간의 물체에 고정될 수 있다.
이미지에서, 오직 조명 수단(20)만을 광점으로서 볼 수 있다. 조명 수단(20)이 배치된 경로(13) 또는 도 4에서 마킹 유닛(11, 12) 상에 배치된 위치에서 점선 원으로 도시된 조명 디바이스(10)(스위치-온되지 않으므로 광학적으로 비활성)는 그렇지 않다. 또한, 이미지(90)에서 조명 수단은 모두 동일하게 보인다. 서로 다른 형태(마킹(21)은 원형, 통신 요소(22)는 사각형)는 이미지 자체로부터 수집될 수 없다. 이러한 정보는 아래에 설명된 이미지 평가의 과정에서 먼저 결정된다.
프로세스 단계에서, 이미지(90) 내의 모든 조명 수단(20)이 검출되고 2차원 이미지 좌표(xB, yB)가 이들에 할당된다. 이는 캡처된 이미지(90)에서 각 조명 수단(20)을 식별한다.
다음으로, 도 5에 개략적으로 도시된 바와 같이 총 3개의 조명 수단(20)을 갖는 모든 직선 경로(30-01, 30-02, 30-03, 30-04, 30-05, 30-06 및 30-11, 30-12, 30-13, 30-14, 30-15, 30-16)가 이미지(90)에서 결정된다. 모든 평행한 직선 경로(30)는 잠재적으로 마킹 배열체(2, 2')에 속할 수 있는 패킷(31-1 및 31-2)으로 집합된다. 또한, 이들 직선 경로(30-01, 30-02, 30-03, 30-06 및 30-11, 30-12, 30-13, 30-16)는 대략 동일한 길이를 갖는, 즉 엔드 포인트(엔드 마킹) 사이에 유사한 거리를 갖는 패킷(31-1 및 31-2)으로부터 선택된다. 도시된 예에서, 직선 경로(30-04, 30-05, 30-14, 30-15)는 훨씬 더 짧다. 따라서 이들은 어떤 마킹 배열체(2, 2')에도 할당될 수 없으며 각각 패킷(31-1 및 21-2)로부터 삭제된다.
패키지(31-1 및 31-2)의 나머지 직선 경로(30)에서, (직선 경로의 종단에 배치된 조명 수단(20)의 측면에서의 각 엔드 마킹인) 동일한 엔드 포인트를 가지고 엔드 포인트 사이에 상이하게 위치된 조명 수단(20)을 갖는 직선 경로(30-02, 30-03 및 30-12, 30-13)가 선택된다. 이들 경로(30-02, 30-03 및 30-12, 30-13)는 (도 4에 상응하는) 이미지(90) 내에서 중첩되고 그 엔드 포인트는 (각 패킷(31-1 및 31-2)에 대해) 각각 동일한 이미지 좌표를 갖는다는 것이 주목된다. 이들 경로는 이러한 평가 단계를 도시하도록 도 5에서 나란히 도시되어 있다.
따라서 경로(30-02 및 30-03)는 하나의 마킹 배열체(2)의 제2 유형의 마킹 유닛(12)에 할당될 수 있으며 따라서 경로(30-12 및 30-13)는 제2 유형의 다른 마킹 배열체(2')의 마킹 유닛(12)에 할당될 수 있다. 따라서, 마킹(21) 및 통신 요소(22)의 할당이 가능하다. 또한, 통신 요소(22)의 패턴으로부터 마킹 유닛(2 또는 2')이 명확하게 식별될 수 있다.
나머지 경로(30-01, 30-06 및 30-11, 30-16)의 조명 수단(20)은 제1 유형의 마킹 유닛(11)에 따라 할당된다. 조명 수단(20)은 상응하는 마킹(21)이다.
이제 검출된 마킹 배열체(2, 2') 각각에 할당된 마킹(21)으로부터, 평가 유닛(4)은 이미 설명되고 기본적으로 당업자에게 알려진 방식으로 마킹 배열체(2, 2')의 배향 및 위치를 계산한다.
도 6은 5개의 통신 요소(22)가 제공되는 마킹 배열체(2)에 대한 마킹(21) 및 통신 요소(22)의 3차원 배열을 도시한다.
도 7은 기본적으로 도 3에 도시된 멀티-마킹 배열체(5)와 유사한 볼록한 바디로서 설계된 마킹 배열체(7)에 대한 마킹(21) 및 통신 요소(22)의 3차원 배열을 도시한다.
마킹(21) 및 통신 요소(22)는 제1 유형의 마킹 유닛(11) 및 제2 유형의 마킹 유닛(12)이 항상 서로 옆에 교대로 배치되는 원통형 표면(6) 상에 위치된다. 대향하는 종단들에 있는 마킹(21)에 추가로, 각각의 마킹 유닛(12)은 오직 하나의 제2 유형 마킹 유닛(12)이 이미지 캡처 유닛(3)에 의해 포착된다고 해도 마킹 배열체(7)에 연결된 물체의 배향 인식을 가능하게 하는, 각각 서로 다른 코딩의 5개의 통신 요소(22)를 구비한다.
1 디바이스
2, 2' 마킹 배열체
3 디지털 카메라로서 설계된 이미지 캡처 유닛
4 평가 유닛
5 멀티-마킹 배열체
6 가상 원통형 표면
7 볼록한 바디로서 형성된 마킹 배열체
10 조명 디바이스
11 제1 마킹 유닛 유형의 마킹 유닛
12 제2 마킹 유닛 유형의 마킹 유닛
13 경로
20 조명 수단
21 마킹
22 통신 요소
30 이미지 평가로부터의 직선 경로
31 직선 경로로 구성된 패키지
90 캡처된 이미지

Claims (15)

  1. 3차원 공간 내의 마킹(21)의 배향 및 위치를 검출하기 위한 디바이스로서,
    - 경로(13)를 따라 배치된 조명 수단(20)을 갖는 적어도 2개의 마킹 유닛(11, 12)을 포함하고, 각각의 마킹 유닛(11, 21)은 적어도 3개의 조명 수단(20)을 가지며, 상기 조명 수단(20)은 마킹(21) 및/또는 통신 요소(22)로서 설계되는, 적어도 하나의 마킹 배열체(2, 7),
    - 상기 마킹 배열체(2, 7)의 이미지(90)를 캡처하도록 구성된 적어도 하나의 광학 이미지 캡처 유닛(3), 및
    - 광학 이미지 캡처 유닛(3) 중 하나의 정확히 1개의 이미지(90)로부터 상기 마킹 배열체(2, 7)의 배향 및 위치를 명확하게 결정하도록 구성된 평가 유닛(4)
    을 포함하고,
    - 마킹 유닛(11) 중 적어도 하나는, 적어도 3개의 마킹(21)을 갖는 제1 마킹 유닛 유형에 속하고,
    - 마킹 유닛(12) 중 적어도 다른 하나는, 정확히 2개의 마킹(21) 및 적어도 하나의 통신 요소(22)를 갖는 제2 마킹 유닛 유형에 속하며, 상기 적어도 통신 요소(22)는 상기 2개의 마킹(21) 사이에 배치되고,
    - 제1 마킹 유닛 유형의 마킹 유닛(11) 중 적어도 하나와 제2 마킹 유닛 유형의 마킹 유닛(12) 중 적어도 하나는 비-동일 평면 방식으로 배치되며,
    - 상기 평가 유닛(4)은 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 마킹 유닛(11, 12)을 인식하고, 인식된 상기 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 마킹 유닛(11, 12)의 마킹(21)을 사용하여, 상기 마킹 배열체(2, 7)의 배향 및 위치를 명확하게 결정하도록 구성되는 것을 특징으로 하는, 디바이스.
  2. 제1항에 있어서,
    상기 마킹 배열체(2, 7)는, 제1 마킹 유닛 유형의 2개의 마킹 유닛(11) 및 제2 마킹 유닛 유형의 하나의 마킹 유닛(12)을 포함하는 것을 특징으로 하는, 디바이스.
  3. 제2항에 있어서,
    상기 제2 마킹 유닛 유형의 마킹 유닛(12)은, 상기 제1 마킹 유닛 유형의 2개의 마킹 유닛(11)이 걸쳐진 평면의 외부에 배치되는 것을 특징으로 하는, 디바이스.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 마킹 배열체(2, 7)의 마킹 유닛(11, 12)의 조명 수단(20)의 직선 경로(13)는 서로 평행하게 배치되는 것을 특징으로 하는, 디바이스.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 마킹 유닛 유형의 하나의 마킹 유닛(12)은, 항상 마킹 배열체(2, 7) 내의 제2 마킹 유닛 유형의 하나의 마킹 유닛(12)에 인접하게 배치되는 것을 특징으로 하는, 디바이스.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    여러 마킹 배열체(2)는, 개별적인 마킹 배열체(2)가 서로에 대해 정의된 방식으로 배치되고 멀티-마킹 배열체(5)를 형성하는 공통 구조 내에 결합되고, 상기 공통 구조의 외부 윤곽은 볼록한 바디를 형성하는 것을 특징으로 하는, 디바이스.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 평가 유닛(4)은, 제 8항 내지 제15항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 것을 특징으로 하는, 디바이스.
  8. 특히 제1항 내지 제7항 중 어느 한 항에 따른 디바이스(1)를 사용하여, 3차원 공간 내의 마킹(21)의 배향 및 위치를 검출하기 위한 방법으로서,
    상기 방법은,
    - 제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛(11) 및 제2 마킹 유닛 유형의 적어도 하나의 마킹 유닛(12)을 포함하는 적어도 하나의 마킹 배열체(2, 7)의 이미지(90)를 캡처하는 단계로서, 각각은 경로(13)를 따라 배치된 적어도 3개의 조명 수단(20)을 포함하는, 단계;
    - 상기 캡처된 이미지(90)에서 조명 수단(20)을 검출하는 단계;
    - 마킹(21) 전용으로 설계된 조명 수단(20)을 갖는 제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛(11)에 검출된 조명 수단(20)을 할당하는 단계;
    - 마킹(21) 및 통신 요소(22)로서 설계된 조명 수단(20)을 갖는 제2 마킹 유닛 유형의 적어도 하나의 마킹 유닛(12)에 검출된 조명 수단(20)을 할당하는 단계;
    - 상기 이미지(90)에서 검출된 조명 수단(20)에 마킹 기능 및/또는 통신 요소 기능을 할당하는 단계;
    - 마킹 배열체(2, 7) 상의 마킹(21)의 배열에 대한 지식을 가진 마킹(21)에 기초하여 상기 마킹 배열체(2, 7)의 배향 및 위치를 결정하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  9. 제8항에 있어서,
    검출된 조명 수단(20)을 제1 마킹 유닛 유형 또는 제2 마킹 유닛 유형의 마킹 유닛(11, 12)에 할당하는 단계는, 캡처된 이미지(90)에서 정확히 총 3개의 조명 수단(20)을 갖는 모든 직선 경로(30)를 결정하는 단계를 포함하는 것을 특징으로 하는, 방법.
  10. 제9항에 있어서,
    상기 결정된 전체 직선 경로(30)로부터 직선 경로(30)의 엔드 포인트 사이의 거리가 유사한 경로가 결정되는 것을 특징으로 하는, 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 결정된 전체 직선 경로(30)로부터 평행하게 놓인 직선 경로가 결정되는 것을 특징으로 하는, 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    제2 마킹 유닛 유형의 마킹 유닛(12)에 속하는 직선 경로는 상기 결정된 직선 경로(30)로부터 선택되며, 마킹 배열체(2, 7)의 식별은 상기 제2 마킹 유닛 유형의 마킹 유닛(12)의 통신 요소(22)로부터 도출되는 것을 특징으로 하는, 방법.
  13. 제12항에 있어서,
    상기 제2 마킹 유닛 유형에 속하는 직선 경로(30) 둘레에 탐색 영역이 정의되고, 상기 탐색 영역에서 제1 마킹 유닛 유형에 속하는 직선 경로(30) 마킹 유닛(12)이 탐색되는 것을 특징으로 하는, 방법.
  14. 마킹 배열체(2, 7) 내의 마킹(21) 및 통신 요소(22)의 설정을 교시하기 위한 방법으로서,
    제1 마킹 유닛 유형의 적어도 하나의 마킹 유닛(11) 및 제2 마킹 유닛 유형의 적어도 하나의 마킹 유닛(12)이 위치되고, 각각은 경로(13)를 따라 배치된 적어도 3개의 조명 수단(20)을 가지며, 상기 제1 마킹 유닛 유형 및 제2 마킹 유닛 유형의 마킹 유닛(11, 12) 내의 마킹(21) 또는 통신 요소(22)로서 사용되는 조명 수단(20)의 배열이 사전에 알려지며,
    상기 방법은,
    - 마킹 유닛(12) 및 이미지 캡처 유닛(3)에 대해 고정된 마킹 유닛(11, 12)을 갖는 마킹 배열체(2, 7)를 이동시키고 이동 중에 이미지 시퀀스를 캡처하는 단계;
    - 상기 이미지 시퀀스의 이미지(90)에서 잠재적인 마킹 배열체(11, 12)를 검출하는 단계;
    - 상기 이미지 시퀀스의 여러 이미지(90)에 걸쳐 잠재적인 마킹 유닛(2, 17)을 추적하는 단계;
    - 마킹 유닛(11, 12) 사이의 초기 관계를 생성하고 움직임이 있는 전체 이미지 시퀀스에 대한 전체 관계가 알려질 때까지 전체 이미지 시퀀스에 대한 관계를 반복적으로 개선하는 단계;
    - 기하학적 할당에 기초하여 전체 관계로부터 마킹 유닛(11, 12)의 배열을 도출하는 단계
    를 가지는 것을 특징으로 하는, 방법.
  15. 제14항에 있어서,
    이미지 시퀀스의 기록 중에 마킹 유닛(11, 12)에 위치되지 않는 이미지 캡처 유닛(3)의 이미지 영역 내에 조명 수단(20)이 배치되지 않는 것을 특징으로 하는, 방법.
KR1020237004909A 2020-07-13 2021-06-24 3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스 및 방법 KR20230038537A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020118407.7A DE102020118407A1 (de) 2020-07-13 2020-07-13 Vorrichtung und Verfahren zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
DE102020118407.7 2020-07-13
PCT/EP2021/067356 WO2022012899A2 (de) 2020-07-13 2021-06-24 Vorrichtung und verfahren zur lage- und positionserkennung von markierungen im dreidimensionalen raum

Publications (1)

Publication Number Publication Date
KR20230038537A true KR20230038537A (ko) 2023-03-20

Family

ID=76765123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237004909A KR20230038537A (ko) 2020-07-13 2021-06-24 3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스 및 방법

Country Status (7)

Country Link
US (1) US20230269455A1 (ko)
EP (1) EP4179501A2 (ko)
JP (1) JP2023537841A (ko)
KR (1) KR20230038537A (ko)
CN (1) CN116157649A (ko)
DE (1) DE102020118407A1 (ko)
WO (1) WO2022012899A2 (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
SG115546A1 (en) 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
ATE305130T1 (de) 2003-07-17 2005-10-15 Axios 3D Services Gmbh Lokator und optisches messsystem
WO2006069748A1 (de) 2004-12-23 2006-07-06 Ife Industrielle Forschung Und Entwicklung Gmbh Vorrichtungen zur vermessung eines objektes und verfahren zur verwendung einer derartigen vorrichtung
DE202006020719U1 (de) 2006-01-25 2009-08-27 Axios 3D Services Gmbh Positionsbestimmungssystem
JP5127820B2 (ja) 2006-04-20 2013-01-23 ファロ テクノロジーズ インコーポレーテッド カメラ利用標的座標計測方法
JP4530011B2 (ja) 2007-09-12 2010-08-25 富士ゼロックス株式会社 位置計測システム
FR2945127B1 (fr) * 2009-04-30 2012-03-30 Thales Sa Procede et dispositif de detection optique des mouvements d'un solide dans l'espace
DE102014012693B4 (de) 2014-09-01 2019-11-14 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System und Verfahren sowie Computerprogramm zur Positions-und Lagebestimmung von Objekten
US9851091B2 (en) * 2015-02-18 2017-12-26 Lg Electronics Inc. Head mounted display
DE102019114531B4 (de) 2019-05-29 2021-06-17 Soft2Tec Gmbh Vorrichtung zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
CN111127559B (zh) * 2019-12-26 2023-06-16 深圳市瑞立视多媒体科技有限公司 光学动捕系统中标定杆检测方法、装置、设备和存储介质
DE202020103679U1 (de) * 2020-06-25 2020-07-06 Soft2Tec Gmbh Vorrichtung zur Lage- und Positionserkennung von Markierungen und Computerprogrammprodukt

Also Published As

Publication number Publication date
JP2023537841A (ja) 2023-09-06
DE102020118407A1 (de) 2022-01-13
WO2022012899A2 (de) 2022-01-20
EP4179501A2 (de) 2023-05-17
US20230269455A1 (en) 2023-08-24
CN116157649A (zh) 2023-05-23
WO2022012899A3 (de) 2022-03-31

Similar Documents

Publication Publication Date Title
CN102419178B (zh) 基于红外路标的移动机器人定位系统和方法
US11504853B2 (en) Robotic system architecture and control processes
CN105486311B (zh) 室内机器人定位导航方法及装置
EP2188589B1 (en) System and method for three-dimensional measurement of the shape of material objects
US20180135969A1 (en) System for measuring the position and movement of an object
US8396254B1 (en) Methods and systems for estimating a location of a robot
ES2384609T3 (es) Clasificación de objetos así como reconocimiento de su posición y orientación en el espacio
CN104165600A (zh) 一种无线手持3d激光扫描系统
AU2020303722A1 (en) Tracker-based surgical navigation
JP2021527220A (ja) 空間内の複雑な表面上の点を特定するための方法および設備
JP2009285778A (ja) ロボットハンドの姿勢検知システム
EP3499180A1 (en) Marker and attitude estimating method using marker
Shi et al. 3D reconstruction framework via combining one 3D scanner and multiple stereo trackers
WO2022072055A2 (en) Systems, methods, and media for directly recovering planar surfaces in a scene using structured light
KR20230026482A (ko) 마킹의 장소 및 위치의 검출을 위한 장치 및 컴퓨터 프로그램 제품
JP4977436B2 (ja) 光源位置推定装置
KR20230038537A (ko) 3차원 공간 내의 마킹의 배향 및 위치를 검출하기 위한 디바이스 및 방법
US11280872B1 (en) Location tracking using one or more beacons
KR102290218B1 (ko) 복수의 카메라를 이용한 위치추적 시스템 및 이를 이용한 위치추적 방법
JPWO2002023122A1 (ja) 可動物体位置検出システム
JP2008058204A (ja) 位置計測システム
JP7105059B2 (ja) 内部センサによる相対測位
Lee et al. An optimal sensing strategy for recognition and localization of 3D natural quadric objects
Lin et al. A monocular target pose estimation system based on an infrared camera
US11162776B2 (en) Measuring device