KR20230110616A - 광학 추적 시스템 및 광학 추적 시스템을 위한 마커 - Google Patents

광학 추적 시스템 및 광학 추적 시스템을 위한 마커 Download PDF

Info

Publication number
KR20230110616A
KR20230110616A KR1020237021740A KR20237021740A KR20230110616A KR 20230110616 A KR20230110616 A KR 20230110616A KR 1020237021740 A KR1020237021740 A KR 1020237021740A KR 20237021740 A KR20237021740 A KR 20237021740A KR 20230110616 A KR20230110616 A KR 20230110616A
Authority
KR
South Korea
Prior art keywords
optical tracking
marker
camera
led
optical
Prior art date
Application number
KR1020237021740A
Other languages
English (en)
Inventor
스체판 카직
Original Assignee
스체판 카직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스체판 카직 filed Critical 스체판 카직
Publication of KR20230110616A publication Critical patent/KR20230110616A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 LED 벽 및/또는 LED 천장 및/또는 LED 바닥과 같은 적어도 하나의 LED 그리드(30) 부근에 위치하는 이동 가능한 객체, 바람직하게는 메인 카메라(20)의 3D 위치 또는 3D 위치 및 방향을 추적하기 위한 광학 추적 시스템에 관한 것으로, 상기 객체(20)에 부착 가능한 광학 추적 카메라(11)를 포함하며, 상기 광학 추적 카메라(11)에 근접하여 배치되고, 상기 광학 추적 카메라(11)에 부착되는 것이 바람직하다; 광학 추적 카메라(11)에 근접하여 배치되고, 바람직하게는 광학 추적 카메라(11)에 부착되고, 광학 추적 카메라(11)의 시야로 빛을 방출하도록 구성되는 광원(12); 및 광학 추적 카메라(11)의 환경, 바람직하게는 LED 그리드(30)에 배치 가능한 복수의 마커(13); 여기서 마커(13)는 광학 추적 카메라(11)에만 보이도록 구성되고, 객체인 메인 카메라에는 보이지 않도록 구성된다. 본 발명은 또한 광학 추적 시스템에서 사용하기 위한 마커(13) 및 광학 추적 시스템에서 마커(13)의 사용에 관한 것이다.

Description

광학 추적 시스템 및 광학 추적 시스템을 위한 마커
본 발명은 청구항 1에 따른 광학 추적 시스템 및 청구항 9에 따른 광학 추적 시스템에서 사용되는 마커와 관련이 있다.
객체 추적은 객체의 위치 및/또는 방향을 지속적으로 결정하는 활동이다. 객체 추적은 공장 자동화, 자율 로봇 이동, 자율 주행 차량 또는 우주 탐사 등 많은 산업에서 중요한 작업이다. 추적 객체가 카메라인 경우, 이는 추적된 카메라의 영상에 확장 현실(XR) 효과를 생성하는데 사용된다. 확장 현실은 증강 현실, 가상 현실 및 혼합 현실을 포괄하는 전체적인 개념이다. 이러한 효과를 생성하기 위해서는 실제 카메라 영상을 가상 그래픽과 결합해야 한다. 가상 그래픽은 올바른 시각으로 렌더링되어야 하므로, 실제 카메라 영상과 가상 그래픽의 조합이 일관성 있게 나타나게 된다. 가상 그래픽을 올바르게 렌더링하기 위해서는 카메라의 위치 및/또는 방향을 매우 정확하게 결정해야 한다.
가상 현실 효과는 주로 '그린 스크린'이라고 불리는 방법을 사용하여 구현되어 왔다. 그린 스크린은 특정한 그린 색상으로 균일하게 덮인 영역을 말한다. 다른 색상도 사용될 수 있지만, 그린이 가장 일반적이다. 촬영된 영상에서 배경의 특정한 그린 색상을 인식하여 다른 비디오 콘텐츠로 대체할 수 있다. 이를 통해, 배경에 가상 그래픽을 배치할 수 있다. 그린 스크린 사용의 도전은 올바른 시각으로 그래픽을 렌더링하는 것 뿐만 아니라, 실제 영상과 가상 그래픽이 일치하도록 조명을 조정하는 것이다. 특히 그래픽이 시간에 따라 변화하는 경우에는 이 과정이 매우 어렵다. 예를 들어, 가상 그래픽에서 빛의 움직임이 실제 세계의 빛원은 정적인 상태로 유지되는 경우, 실제와 가상 요소를 결합한 결과물은 비자연스러워 보일 수 있다.
이것은 LED 벽이 퀄리티 있는 가상 스튜디오 제작에 있어 그린 스크린 대신 선호되는 이유 중 하나이다. LED 벽은 그리드 형태로 배열된 많은 개별 발광 다이오드(LED)로 구성된 디지털 디스플레이이다.
LED 벽을 사용하여 가상 현실 효과를 제작할 때는 실제 카메라 영상과 별도로 렌더링된 가상 그래픽을 결합할 필요가 없다. 가상 그래픽은 메인 카메라가 촬영하는 주요 장면에 이미 포함되어 있다. 따라서, LED 벽은 예를 들어 그린 스크린보다 가상 그래픽을 실제 배우와 물체와 더 잘 통합할 수 있다.
그린 스크린 설정의 또 다른 도전은 "크로마키"이다. 이는 캡처된 이미지의 특정한 그린 색상이 지배하는 영역에 투명성을 추가하는 프로세스이다. 그린 스크린의 추가 문제점은 배경의 그린 표면에서 반사된 빛으로 인해 배우들에게 생기는 "그린 스필(green spill)"을 제거하는 것이다. 이러한 원치 않는 효과를 제거하기 위해서는 복잡한 이미지 처리가 필요한다.
그린 스크린을 사용하는 경우, 천둥이 치는 장면이나 깜박이는 빛과 같이 가상 그래픽에서 발생하는 조명의 동적인 변화는 배경에서만 눈에 띄게 된다. 배우들은 이러한 배경 앞에서 해당 가상 그래픽에 해당하는 조명 효과를 체험하지 못한다. 이러한 경우에도 LED 벽이 선호된다. LED 벽에 표시된 조명 효과는 실제로 배우들에게 실제 빛을 비추어 전체 장면을 더욱 현실적으로 보이게 한다. 이 모든 것은 메인 카메라로 촬영된 영상에 어떠한 개입도 필요하지 않고 이루어진다.
LED 벽을 사용한 확장 현실 기술은 최근 루카스필름의 인기 있는 스타워즈 시리즈 "맨달로리안"에서 선보였으며, 이후로 빠르게 인기를 얻고 있다. 특히, COVID-19 팬데믹 기간 동안 영화 산업은 영화 제작 방식을 재고하고 촬영장에 출입하는 인원을 줄이기 위해 안전 제한을 준수해야 했다. 이 새로운 XR 기술은 그린 스크린 스튜디오의 현대적인 대체재로 인기를 얻고 있다.
어떤 경우에든 LED 벽이나 비디오 벽을 사용하여 가상 현실 효과를 제작할 때 일관된 가상 그래픽을 렌더링하기 위해 카메라의 위치 및/또는 방향을 매우 정확하게 결정해야 한다.
객체 추적에는 다양한 방법이 존재한다. 예를 들어, GPS는 객체의 위치를 추적할 수 있지만 정확하지 않으며 실내에서는 작동하지 않다. 추적 대상이 바퀴를 가지고 있는 경우, 바퀴 주행 거리 측정(wheel odometry)을 사용하여 언제든지 객체의 위치를 추정할 수 있다. 바퀴 주행 거리 측정은 바퀴의 슬립을 감지하며 시간이 지남에 따라 오차가 누적되므로 자주 재시작이 필요한다. 기계적 추적은 만족스러운 성능을 제공할 수 있지만, 크레인과 같은 기계적 지지체에 객체를 부착해야 한다. 마지막으로, 광학 추적은 다양성과 정밀도의 조합을 제공한다. 광학 추적은 객체의 위치를 추적하기 위해 이미지 캡처 장치, 즉 카메라를 사용하는 것을 의미한다. 광학 추적에 사용되는 카메라를 광학 추적 카메라라고 한다. 광학 추적이 카메라의 위치를 추적하기 위해 사용될 때, 추적되는 카메라를 메인 카메라라고 한다.
광학 객체 추적은 시각적 특징에 의존한다. 시각적 특징은 광학 추적 카메라에 의해 추출될 수 있는 시각적으로 구별되는 요소이다. 예를 들어, 맑은 하늘은 일반적으로 시각적 특징을 포함하지 않을 가능성이 크다. 반면에 일반적인 거실과 같은 환경에는 벽에 붙은 그림, 식물, 가구 등 많은 시각적 특징이 포함될 수 있다. 시각적 특징은 자연적일 수도 있고 인공적일 수도 있다.
인공적인 시각적 특징, 즉 환경의 필수적인 부분은 아니지만 카메라의 환경에 의도적으로 배치하거나 배치할 수 있는 시각적 특징은 본 개시의 맥락에서 "마커"로 지칭된다. 마커는 광학 추적 카메라의 환경에 배치되거나 및/또는 배치될 수 있으며, 광학 추적 카메라가 광학 추적 카메라로 캡처한 이미지에서 마커를 감지할 수 있도록 한다.
객체 추적 대상에 시각적 특징이 있고 광학 카메라가 정적인 경우, 이를 아웃사이드-인 추적(outside-in tracking)이라고 하며, 주로 모션 캡처에 사용된다. 반대로, 환경에 시각적 특징이 있고 광학 추적 카메라가 추적 대상 객체에 부착된 경우, 이를 인사이드-아웃 추적(inside-out tracking)이라고 한다.
인사이드-아웃 추적을 사용할 때, 시각적 특징은 광학 추적 카메라의 환경에 위치한다. 광학 추적에 적합한 시각적 특징은 특정한 외관을 가져야 하거나 매우 두드러져야 할 수도 있다. 따라서 이러한 특징은 메인 카메라가 촬영하는 주요 장면에는 원치 않는 요소일 수 있다. 예를 들어, 비디오 벽, 그린 스크린 또는 LED 그리드가 큰 영역에 사용되는 주 장면인 경우, 인사이드-아웃 광학 추적은 비디오나 LED 그리드에서 관찰되는 시각적 특징을 신뢰할 수 없다. 왜냐하면 이러한 시각적 특징은 영구적이지 않기 때문이다.
또 다른 예로는, 그린 스크린 스튜디오와 같이 일정 부분이 균일한 색상 영역으로 구성된 주 장면이다. 이러한 응용 시나리오에서는 광학 추적 카메라에 적합한 시각적 특징이 메인 카메라가 촬영한 비디오에 나타나지 않도록 하는 것이 바람직하다. 일반적으로 광학 추적 카메라와 메인 카메라를 서로 다른 방향으로 포인팅하여 이를 달성한다. 메인 카메라는 주 장면을 촬영하고, 광학 추적 카메라는 적합한 시각적 특징을 포함한 다른 영역을 촬영한다. 이렇게 함으로써, 주요 장면은 광학 추적 카메라에 적합한 시각적 특징을 포함할 필요가 없다.
그러나, 어떤 상황에서는 메인 씬 내에서 광학 추적에 적합한 시각적 특징을 반드시 갖춰야 한다. 이것은 메인 장면이 카메라 환경의 대부분을 포함하거나 메인 장면 외부의 카메라 환경이 시각적 특징을 포함하기에 부적합하기 때문일 수 있다.
업계에서는 LED 벽과 LED 천장으로 구성된 환경에 마커를 배치해야 하는 인사이드 아웃 카메라 트래킹 시스템의 사용을 기피하고 있다. 이러한 마커는 LED 벽에 배치할 경우 적어도 개별 LED에서 나오는 빛을 가리기 때문에 눈에 잘 띄기 때문이다. 따라서, 이러한 상황에서 선호되는 선택은 추적을 위해 환경에 마커나 시각적 특징이 필요하지 않은 아웃사이드 인 카메라 추적 시스템이다. 그러나, 이러한 시스템에서는 정적 광학 추적 카메라가 주변 환경에 노출될 수 있어 바람직하지 않다. 따라서, 이러한 단점을 극복할 수 있는 시스템이 필요한다.
이상에서 살펴본 바와 같이, 본 발명은 종래 기술에 존재하는 단점을 극복하기 위한 해결책을 제공하는데 그 목적이 있으며, 특히 LED 그리드가 사용되는 환경에서 광학 추적 시스템으로 물체의 위치 및/또는 방향을 추적할 때 이러한 단점을 극복하기 위한 해결책을 제공하는 것이 본 발명의 목적이다.
상기의 목적은 청구항 1의 주제에 따른 광학 추적 시스템 및 청구항 9의 주제에 따른 광학 추적 시스템에서 사용하기 위한 마커에 의해 해결된다. 본 발명의 바람직한 실시예는 종속 청구항의 주제에 의해 정의된다.
특히, 본 발명은 LED 벽 및/또는 LED 천장 및/또는 LED 바닥과 같은 적어도 하나의 LED 그리드 근처에 위치한 이동 가능한 물체, 바람직하게는 메인 카메라의 3D 위치 또는 3D 위치 및 방향을 추적하기 위한 광학 추적 시스템에 의해 해결되며, 이는 다음을 포함한다:
- 객체에 부착 가능한 광학 추적 카메라;
- 광학 추적 카메라에 근접하여 배치되고, 바람직하게는 광학 추적 카메라에 부착되고, 광학 추적 카메라의 광학 축의 시야로 빛을 방출하도록 구성되는 광원; 및
- 광학 추적 카메라의 환경에 배치 가능 및/또는 배치되는 복수의 마커, 바람직하게는 LED 그리드 상에 배치되는 복수의 마커;
여기서, 마커는 광학 추적 카메라에만 보이고 객체, 바람직하게는 메인 카메라에는 보이지 않도록 구성된다.
본 발명의 중요한 측면은, 마커는 광학 추적 카메라에만 보이고 메인 카메라와 같은 추적 대상 객체에는 사실상 보이지 않도록 보장되는 것과, 메인 카메라에 의해 촬영될 메인 장면에 마커를 배치해도 메인 장면의 외관에 악영향을 미치지 않는다는 인식에 있다. 본 발명에 따른 광학 추적 시스템을 사용하면, 마커가 메인 장면에서 눈에 거슬리지 않으면서도 인사이드 아웃 카메라 추적 시스템을 사용하여 객체 또는 메인 카메라의 광학 추적이 가능하다.
마커의 광학 추적 카메라 가시성은 광학 추적 카메라 근처에 광원을 제공하고 광원이 광학 추적 카메라의 시야에 빛을 방출하도록 구성함으로써 보장된다. 광원은 마커를 광학 추적 시스템에 비출 수 있는 반면, 메인 카메라에는 마커를 메인 카메라에 보이게 하는 전용 광원이 장착되어 있지 않다.
본 발명에 있어서, LED 그리드는 예를 들어, LED 벽, LED 천장 또는 LED 바닥과 같이 규칙적으로 배열된 LED의 확장 영역으로 이해되어야 한다. LED 그리드의 개별 LED는 시간에 따라 광도, 밝기 및/또는 색상을 변경하도록 제어될 수 있으므로 LED 그리드에서 공간적으로 고정된 위치를 감지할 수 없기 때문에, LED 그리드는 본질적으로 영구적이고 눈에 띄는 시각적 특징을 갖지 않다.
본 발명에 따르면, 광학 추적 카메라의 환경에 배치 가능하거나 배치되는 마커는 광학 추적 카메라에 보이도록 구성된다. 본 발명의 맥락에서, 마커는 광학 추적 카메라에 의해 캡처된 이미지에서 그 픽셀 위치를 결정할 수 있는 경우 광학 추적 카메라에 보이는 것으로 간주된다. 반대로, 본 개시의 맥락에서, 마커는 캡처된 이미지에서 그 외관을 결정할 수 없거나, 메인 카메라에 의해 캡처된 이미지에서 그 외관이 메인 카메라에 의해 캡처될 주요 장면의 시각적 콘텐츠와 관련하여 눈에 거슬리지 않을 정도로 눈에 띄지 않는 경우 추적되는 객체, 특히 메인 카메라에 보이지 않거나 보이지 않는 것으로 이해된다.
실제 추적은 광학 추적 카메라에 보이는 마커의 시각적 표현을 포함하는 광학 추적 카메라로 캡처한 이미지를 분석하여 수행된다. 이를 위해 광학 추적 카메라 또는 광학 추적 카메라에 연결된 포지셔닝 시스템이 광학 추적 카메라로 캡처한 이미지를 분석하여 캡처된 이미지에서 시각적 특징의 위치를 감지한다.
디지털 카메라를 광학 추적 카메라로 사용하면 캡처된 이미지는 기본적으로 픽셀로 구성된 래스터 이미지(raster image)이다. 이미지에서 마커가 캡처되는 경우 일반적으로 두 개 이상의 픽셀에 걸쳐 있다. 광학 추적 시스템은 캡처된 이미지에서 시각적 특징과 나머지 환경 사이의 묘사를 수행하도록 구성된다. 광학 추적 시스템은 이미지에서 주변 환경과 크게 대비되는 픽셀을 감지한다.
이러한 대비가 높은 영역을 기반으로 밝기와 어둠의 경계를 나타내는 밝기 임계값이 계산될 수 있다. 그런 다음 계산된 임계값을 사용하여 광학 추적 카메라의 이미지에서 캡처된 마커의 표현을 구성하는 것으로 간주할 픽셀을 정확하게 식별할 수 있다. 요청된 픽셀 세트가 식별되면 광학 추적 시스템은 캡처된 이미지 내에서 마커의 시각적 특징 표현의 정확한 위치를 계산하기 위해 진행할 수 있다.
이 정보를 기반으로 광학 추적 카메라의 3D 위치 및/또는 방향, 따라서 광학 추적 카메라에 부착된 객체의 3D 위치 및/또는 방향은 SLAM(Simultaneous Localization and Mapping, 동시 위치 파악 및 매핑) 알고리즘과 같은 적합한 알려진 알고리즘을 사용하여 결정할 수 있다. SLAM은 광학 추적 방법의 문헌에서 잘 알려진 기술이다. 이 접근 방식을 사용하면 광학 추적 시스템이 처음에는 알려지지 않은 주변 환경의 맵을 구축 및/또는 업데이트하면서 동시에 주변 환경 내에서 자신의 위치를 추적한다.
이 접근 방식을 사용하면 광학 추적 시스템이 광학 추적 카메라로 캡처한 주변 환경의 시각적 특징 또는 마커를 자동으로 감지하고, 감지된 시각적 특징 또는 마커의 3D 위치를 결정하여 시각적 특징의 3D 위치에 대한 정보가 포함된 3D 모델에 저장한다. 이렇게 저장된 3D 위치는 광학 추적 카메라의 위치를 빠르게 결정하는 데 사용할 수 있다. 3D 모델은 예를 들어 표준 "움직임으로부터의 구조" 기법을 사용하여 생성할 수 있다.
이 분야에서 SLAM 알고리즘의 구현을 설명하는 중요한 작업은 Andrew J. Davison이 2003년에 발표한 논문이다: "Real-Time Simultaneous Localization and Mapping with a Single Camera"(DOI: 10.1109/ICCV.2003.1238654). 더 자세한 내용은 H. Durrant Whyte 등의 "Simultaneous localization and mapping: part I"(DOI: 10.1109/MRA.2006.1638022) 및 T. Bailey의 "Simultaneous localization and mapping(SLAM): part II"(DOI: 10.1109/MRA.2006.1678144)를 참조할 수 있다.
본 발명의 초점은 실제 추적 알고리즘의 계산 세부 사항에 있는 것이 아니라, 알려진 인사이드-아웃 측위 알고리즘을 사용할 수 있는 공간적으로 고정된 시각적 특징을 제공할 수 없기 때문에 인사이드-아웃 추적에 본질적으로 부적합한 것으로 간주되어 온 환경에서 알려진 광학 기반 인사이드-아웃 측위 알고리즘을 사용할 수 있도록 하는 광학 추적 시스템의 물리적 구성에 있다는 것을 이해해야 한다.
광학 추적 시스템에 배치 가능하거나 배치된 마커를 제공함으로써 광학 추적 시스템에서만 볼 수 있고 다른 곳에서는 감지할 수 없는 마커를 제공함으로써 LED 그리드가 존재하는 것과 같은 시나리오에서 인사이드 아웃 추적 방법을 사용할 수 없었던 종래 기술 솔루션의 단점을 극복할 수 있다.
바람직한 실시예에 따르면, 광원은 광학 추적 카메라와 동기화된 방식으로 빛을 방출하도록 구성되어 광원이 광학 추적 카메라의 노출 시간 동안에만 빛을 방출하도록 구성된다. 이렇게 하면, 마커가 광학 추적 카메라의 노출 시간 동안에만 조명되므로, 광학 추적 카메라의 노출 시간 동안에 마커의 높은 가시성을 보장하면서 메인 카메라에 대한 마커의 가시성을 더욱 감소시킬 수 있다.
광학 추적 카메라는 광학 추적 카메라의 광학 이미징 시스템에 근접하여 배치되는 광원을 구비하여, 광원이 광학 추적 카메라의 시선 방향으로 빛을 방출하도록 구성되는 것이 바람직하다. 따라서, 마커를 가시화하기 위해 광원에 의해 광학 추적 카메라의 시야가 적절하게 조명되도록 보장될 수 있다.
광원은 광학 파장 스펙트럼의 근적외선 및/또는 적외선 부분에서 빛을 방출하도록 구성하는 것이 더욱 바람직하다. 근적외선 또는 적외선은 사람의 눈에는 거의 보이지 않거나 보이지 않으므로 메인 카메라에는 거의 보이지 않기 때문에 이 점이 유용한다. 따라서 근적외선 또는 적외선으로 마커를 비추는 것은 메인 카메라의 마커 가시성을 증가시키지 않으면서 광학 추적 카메라의 마커 가시성을 증가시키는 역할을 할뿐이다. 이 경우, 광학 추적 카메라는 근적외선 및/또는 적외선에 대해 높은 감도를 갖도록 구성하는 것이 더욱 바람직하다. 이는 광학 추적 카메라에 InGaAs 또는 CMOS 센서와 같은 적절한 이미지 센서를 사용하여 달성할 수 있다.
또 다른 바람직한 실시예에 따르면, 광원은 광학 추적 카메라가 가장 민감하게 반응하는 파장 범위, 바람직하게는 450nm 내지 650nm 사이의 파장 범위에서 빛을 방출하도록 구성된다. 이 경우, 광학 추적 카메라는 매우 짧은 노출 시간, 바람직하게는 1ms 미만의 노출 시간으로 이미지를 캡처하도록 구성되는 것이 더욱 바람직하다. 이 경우, 광원은 광학 추적 카메라의 노출 시간 동안에만 빛을 방출하도록 구성되는 것이 더욱 바람직하다.
광학 추적 카메라의 주 장면의 다른 구성 요소와 비교하여 마커의 가시성을 더욱 높이기 위해, 광학 추적 카메라는 광원에 의해 방출되는 파장 주변의 파장 대역을 제외한 모든 파장의 빛을 감쇠 또는 차단하도록 구성된 광학 필터를 포함하는 것이 바람직하다.
광학 추적 카메라 및/또는 광원은 메인 카메라와 동기화 가능하도록 구성하여, 광학 추적 카메라의 노출 시간(및 광원이 빛을 방출하는 해당 시간 간격)이 메인 카메라의 노출 시간과 시간적으로 약간 겹치거나, 광학 추적 카메라의 노출 시간(및 광원이 빛을 방출하는 해당 시간 간격)이 메인 카메라의 노출 시간과 시간적으로 겹치지 않도록 하는 것이 더욱 바람직하다.
광학 추적 카메라는 메인 카메라에 부착할 수 있으며 메인 카메라와 같은 방향으로 향하게 할 수 있다. 짧은 노출 시간과 민감한 이미지 센서를 사용하는 광학 추적 카메라는 광학 추적 카메라의 노출 시간과 동기화되는 광원과 결합하여 광원이 주 장면을 향해 빛을 방출하더라도 매우 눈에 거슬리지 않을 수 있다.
바람직한 실시예에 따르면, 마커는 평면 형상을 가지며 입사광을 입사 방향으로 반사하도록 구성된 역반사 영역을 포함한다. 바람직하게는, 마커의 전체 표면 또는 표면의 90% 이상의 일부가 역반사된다. 이렇게 하면 광원의 에너지 사용을 최적화하고 광학 추적 카메라와 다른 위치에 있는 관찰자에게 마커가 덜 눈에 띄게 된다.
마커에 역반사 소재를 사용하고 광원을 광학 추적 카메라 가까이에 배치하는 경우, 광학 추적 카메라로 캡처한 이미지에는 광학 추적 시스템의 광원에서 방출되는 입사광의 방향성 반사로 인해 캡처된 이미지에서 마커의 두드러짐이 증가하는 마커의 역반사로 인해 상당한 대비가 있는 부분이 포함될 것이다. 으로 예상된다. 따라서, 역반사 마커는 광학 추적 카메라가 캡처한 이미지에서 나머지 환경보다 훨씬 더 밝게 나타난다. 광학 추적 카메라의 짧은 노출 시간 및/또는 광학 대역 통과 필터를 사용하면 대비를 더욱 뚜렷하게 만들 수 있다. 따라서 광학 추적 시스템은 캡처된 이미지에서 대비가 높은 영역을 캡처된 이미지의 시각적 특징의 표현과 연관시킬 수 있다.
복수의 마커 중 적어도 일부는 홀을 갖고, LED 그리드의 LED가 마커의 홀 뒤 또는 홀에 위치하도록 LED 그리드에 부착 가능하도록 구성되는 것이 더욱 바람직하다. 이를 통해, 주요 장면의 방해받지 않는 관찰을 위해 필수적인 LED 그리드의 작동을 방해하지 않고 LED 그리드에 마커를 간단하게 배치할 수 있다.
또 다른 바람직한 실시예에 따르면, 마커는 복수의 홀을 가지며, 홀의 크기와 홀 사이의 거리는 LED 벽에 있는 LED의 크기와 거리에 해당한다. 이는 LED 벽면의 LED 밀도가 높은 경우 마커를 벽면에 부착할 수 있는 가능성을 보장한다. 이러한 경우 하나의 LED만 둘러싸고 있는 마커는 너무 작아 광학 추적 카메라가 인식할 수 없으므로 복수의 LED에 걸쳐 여러 개의 홀이 있는 마커가 바람직할 수 있다.
이러한 마커는 메인 카메라에서는 거의 보이지 않지만 해당 광원을 사용하는 광학 추적 카메라에서는 매우 눈에 띄는 것으로 밝혀졌다. 이것은 메인 카메라가 LED 그리드의 빛에 의해 주로 정의된 이미지를 캡처하는 반면, 메인 카메라 렌즈의 LED 그리드의 개별 LED가 생성하는 눈부심이 LED 사이의 공간을 채우고 있기 때문이다. 홀이 뚫린 마커, 즉 홀으로 구성된 마커를 사용하면 광학 추적 카메라가 원거리에서 볼 수 있을 정도로 충분히 큰 마커를 제공하면서도 메인 카메라에는 완전히 보이지 않게 할 수 있다.
마커의 홀은 마커를 뚫거나 마커의 홀을 조각하여 만들 수 있다. 바람직하게는, 마커에 홀을 생성하는 것은 홀에 배치된 LED로부터의 빛이 LED 그리드의 표면으로부터 직각으로 방출되는 것이 아니라 여전히 넓은 각도로 방출될 수 있도록 하는 방식으로 수행된다.
또 다른 바람직한 실시예에 따르면, 마커는 직사각형, 정사각형, 원형, 타원형, 다각형 또는 별 모양과 같은 특징적인 모양을 갖는다. 개별 마커에 특징적인 형상을 사용하면 마커를 효율적으로 식별할 수 있다. 이러한 맥락에서, 복수의 마커는 서로 다른 마커 간의 구별을 용이하게 하기 위해 서로 다른 구별 가능한 특징적인 형상으로 구성되는 것이 바람직하다.
마커는 특정 색상, 바람직하게는 LED 그리드의 배경 색상과 일치하는 색상을 갖는 것이 더욱 바람직하다. 이렇게 하면 메인 카메라에 대한 마커의 가시성이 더욱 감소한다. 특히 LED 그리드와 함께 사용할 때는 마커의 색상을 LED 그리드의 배경색과 일치시키는 것이 좋다. 이렇게 하면 마커의 표면이 역 반사 영역으로 구성된 경우 특히 광학 추적 카메라에 대한 가시성을 유지하면서 마커가 메인 카메라에 덜 눈에 띄게 된다.
본 발명의 목적은 앞의 청구항 중 어느 하나에 따른 광학 추적 시스템에서 사용하기 위한 마커에 의해 더욱 해결되며, 평면 형상을 가지며 입사광을 입사 방향으로 반사하도록 구성된 역반사 영역을 포함한다.
이러한 마커는 특히 LED 그리드 근처에 위치한 물체의 3D 위치 및/또는 방향을 추적하기 위한 광학 추적 시스템에서 사용하기에 적합하다. 이러한 마커는 전술한 바와 같이 발명적인 광학 추적 시스템과 함께 사용될 때 광학 추적 카메라에 동시에 표시되는 동시에 메인 카메라와 같이 추적할 물체에는 거의 보이지 않는다.
본 발명의 마커로 달성되는 기술적 장점은 위에서 설명한 광학 추적 시스템으로 달성되는 장점과 일치한다. 본 발명의 광학 추적 시스템의 맥락에서 설명된 양상, 특징 및 장점은 본 발명의 마커에도 적용 가능하며, 그 반대의 경우도 마찬가지이다.
바람직하게는, 마커는 하나 이상의 홀을 포함하며, LED 그리드의 LED가 마커의 홀 뒤 또는 홀에 위치하도록 LED 그리드에 부착 가능하도록 구성된다. 이렇게 하면 마커에 의해 가려진 LED 그리드의 LED에서 나오는 빛이 마커를 통과할 수 있도록 마커를 LED 그리드에 배치할 수 있다. 이렇게 하면 마커가 LED 그리드와 매끄럽게 어우러져 LED 그리드의 시각적 외관에 미치는 영향을 최소화할 수 있다.
홀은 마커 전체를 통해 확장될 수 있다. 또는 마커는 여러 레이어로 구성될 수 있으며, 재귀반사 레이어와 하나 이상의 투명층를 포함하는 것이 바람직하다. 이 경우, 홀은 마커의 모든 레이어를 통해 확장되지 않고 역반사 레이어와 같은 마커의 불투명층를 통해서만 확장될 수 있다. 홀은 LED 그리드의 LED가 하나 이상의 불투명 층의 홀을 통해 그리고 투명 층을 통해 빛을 방출할 수 있도록 홀 뒤에 배치될 수 있도록 배열된다.
마커는 투명층과 불투명층을 포함하는 복수의 층으로 구성되는 것이 바람직할 수 있으며, 여기서 불투명층은 홀을 가지며 마커가 LED 그리드에 부착 가능하도록 구성 및 배치되어 LED 그리드의 LED가 마커의 홀 뒤에 위치하도록 하는 것이 바람직할 수 있다.
또한, 마커는 직사각형, 정사각형, 원형, 타원형, 다각형 또는 별 모양과 같은 특징적인 모양을 갖는 것이 바람직하다. 위에서 설명한 바와 같이, 특징적인 모양은 마커를 효율적으로 식별할 수 있도록 한다.
또한, 마커는 특정 색상, 바람직하게는 LED 그리드의 배경색과 일치하는 색상을 갖는 것이 바람직하다. 이를 통해 마커를 메인 장면의 배경에 시각적으로 더 잘 통합할 수 있다.
본 발명은 광학 추적 시스템, 특히 전술한 광학 추적 시스템에서 전술한 바와 같은 마커 또는 복수의 마커의 사용과 더욱 관련된다.
본 발명의 광학 추적 시스템 및 마커를 통해 달성할 수 있는 기술적 이점은 전술한 광학 추적 시스템에서 마커를 사용함으로써 달성할 수 있는 이점과 일치한다. 본 발명의 광학 추적 시스템 및 본 발명의 마커의 맥락에서 설명된 측면, 특징 및 장점은 마커의 발명적 사용에도 적용 가능하며, 그 반대의 경우도 마찬가지이다.
이상과 같은 본 발명의 특징 및 장점은 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대한 다음의 상세한 설명으로부터 더욱 용이하게 알 수 있을 것이다.
도 1은 LED 벽을 포함하는 환경에서 메인 카메라의 추적을 가능하게 하는 본 발명의 실시예에 따른 광학 추적 시스템의 개략도이다.
도 2는 본 발명의 실시예에 따른 광학 추적 시스템용 광학 추적 카메라 및 광원을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 광학 추적 시스템용 광학 추적 카메라 및 광원의 추가 구성에 대한 개략도이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 마커가 있는 LED 벽의 일부를 개략적으로 도시한 사시도이다.
도 5a 내지 5d는 본 발명의 실시예에 따른 마커가 부착된 LED 벽의 단면의 개략적인 측면도이다.
도 1은 본 발명의 실시예에 따른 메인 카메라와 같은 객체의 3차원 위치 및/또는 방향을 추적하기 위한 광학 추적 시스템의 개략도이다. 광학 추적 시스템은 광학 추적 카메라(11)와 광학 추적 카메라(11)에 부착되는 광원(12)을 포함한다.
광학 추적 카메라(11)는 3D 위치 및/또는 방향을 추적해야 하는 메인 카메라(20)에 부착된다. 광학 추적 카메라(11)는 메인 카메라(20)에 부착된다. 광학 추적 카메라(11)는 메인 카메라(20)와 본질적으로 동일한 방향을 향하도록 배치된다.
메인 카메라(20)와 광학 추적 카메라(11)는 모두 그리드에 배열된 다수의 LED(31)로 구성된 LED 벽(30)을 향한다. 도 1에 도시되고 이하에서 설명되는 예시적인 실시예들에서, LED 벽(30)은 LED 그리드의 예시적인 표현이다. LED 그리드는 메인 카메라(20)와 같은 추적 가능한 객체에 의해 관찰되거나 촬영되는 주요 장면의 주요 부분을 구성하는 상당한 공간적 범위의 LED 벽, LED 천장, LED 바닥, 전자의 임의의 조합 또는 LED 그리드(31)의 다른 배열에 의해 구성될 수 있다는 것을 이해해야 한다.
광학 추적 시스템은 메인 카메라(20)의 3D 위치 및/또는 방향을 추적하도록 구성된다. 이를 위해, 광학 추적 카메라(11)는 광학 추적 시스템에 의해 분석된 이미지를 캡처하여 메인 카메라(20)의 3D 위치 및/또는 방향을 결정한다. 이러한 판단을 가능하게 하려면 광학 추적 카메라(11)의 환경에는 시간이 지나도 움직이지 않는 고정된 시각적 특징이 포함되어야 한다. 이러한 시각적 특징은 측위 알고리즘의 랜드마크 역할을 한다. LED 그리드의 경우, 광학 추적 시스템에 의해 활용될 수 있는 고정된 시각적 특징을 쉽게 사용할 수 없으며, 개별 LED(31)의 색상과 밝기는 시간에 따라 달라질 수 있다.
이러한 이유로, 본 발명에 따른 광학 추적 시스템은 광학 추적 카메라(11)의 시야로 빛을 방출하도록 구성된 광원(12)과 LED 벽(30)에 배치 가능한 마커(13)의 조합을 활용한다. 도 1은 LED 벽(30)에 배치된 10개의 마커(13)를 개략적으로 나타낸 도면이다. 마커(13)는 광원(12)을 통한 조명에 의해 광학 추적 카메라(11)에 보이도록 구성되는 반면, 메인 카메라(20)에는 거의 보이지 않도록 구성된다.
도 2는 본 발명의 실시예에 따른 광학 추적 카메라(11) 및 광원(12)의 개략도를 도시한 도면이다. 광원(12)이 항상 광학 추적 카메라(11)의 시야에서 빛을 방출하도록 배치되도록 하기 위해, 광원(12)은 광학 추적 카메라(11)에 부착된다.
도 3은 본 발명의 다른 실시예에 따른 광학 추적 카메라(11) 및 광원(12)의 개략도를 도시한 도면이다. 광원(12)은 발광 다이오드와 같은 복수의 광원 유닛(12a)으로 구성되며, 발광 다이오드는 광학 추적 카메라(11)의 렌즈(11a) 주위에 배치되는 링 형태의 광으로 구성된다. 이 실시예에 따르면, 광원 유닛(12)은 항상 광학 추적 카메라(11)의 광축 방향으로, 따라서 광학 추적 카메라(11)의 시야 영역으로 빛을 방출하도록 보장될 수 있다.
광원(12)은 적외선 또는 근적외선을 방출하도록 구성될 수 있다. 이 경우, 광학 추적 카메라(11)는 광원(12)에 의해 방출되는 빛의 스펙트럼 범위에서 충분한 감도를 갖는 적절한 이미지 센서를 구비한다. 또한, 광학 추적 카메라(11)는 광원(12)의 스펙트럼 범위에서 빛을 투과하고 다른 스펙트럼 범위의 빛을 차단하도록 구성되는 하나 이상의 광학 필터, 바람직하게는 대역 통과 필터를 포함할 수 있다.
그리고, 광원(12)은 광학 추적 카메라(11)의 이미지 센서가 가장 민감하게 반응하는 스펙트럼 범위에서 빛을 방출하도록 구성될 수 있다.
광학 추적 시스템이 메인 카메라(20)의 동작에 미치는 영향을 최대한 줄이고, 과열을 방지하며, 에너지를 절약하기 위해서는 광원(12)이 연속적으로 빛을 방출하지 않는 것이 바람직하다. 오히려, 광원(12)은 짧은 시간 동안에만 빛을 발광하도록 구성되는 것이 바람직하다. 광원(12)은 광학 추적 카메라(11)와 동기화되어 광원(12)이 광학 추적 카메라(11)의 노출 시간 동안에만 빛을 방출하도록 하는 것이 바람직하다. 이렇게 하면, 광학 추적 카메라(11)의 작동을 위해 환경이 적절하게 조명되는 동시에 메인 카메라(20)의 작동에 미치는 영향이 최소화된다. 더욱 바람직하게는, 광학 추적 시스템은 광학 추적 카메라(11)의 노출 시간(즉, 광원(12)이 빛을 방출하는 시간 간격)이 메인 카메라(20)의 노출 시간과 실질적으로 겹치지 않거나 전혀 겹치지 않도록 메인 카메라(20)와 동기화된다. 이 경우, 메인 카메라(20)의 동작은 광원(12)의 발광에 의해 거의 영향을 받지 않는다.
마커(13)를 LED 벽(30)에 용이하게 부착하기 위해, 마커(13)가 LED 벽(30)의 작동에 미치는 영향을 최소화하고 메인 카메라(20)에 대한 가시성을 가능한 한 감소시키면서, 마커(13)는 실질적으로 평면적인 형상을 갖는 것이 바람직하다. 마커(13)는 플레이트와 같은 물체나 포일 형태로 제공될 수 있다. 바람직하게는, 마커(13)는 LED 벽(30)에의 부착을 용이하게 하기 위해 자체 접착력이 있는 뒷면을 구비하는 것이 바람직하다.
광학 추적 카메라(11)에 대한 마커(13)의 가시성을 높이기 위해, 마커(13)는 입사광을 입사 방향으로 다시 반사하도록 구성된 역반사 영역을 포함하는 것이 바람직하다. 바람직하게는, 마커(13)의 부착 후 LED 벽면(30)으로부터 반대쪽을 향하는 마커(13)의 전면이 역반사 영역을 포함하는 것이 바람직하다. 마커(13)의 전면의 대부분, 예를 들어 마커(13)의 전면 영역의 90% 이상이 재귀반사/역반사되도록 구성되는 것이 바람직하다. 재귀반사성은 마커(13)의 표면을 캣아이 방식으로 형성하거나, 마커(13)의 표면에 재귀반사 필름을 적용함으로써 달성될 수 있다.
재귀 반사 마커(13)는 입사광을 입사 방향으로 다시 반사한다는 장점이 있다. 전술한 바와 같이 광학 추적 시스템과 함께 사용하면 광원(12)에서 방출된 빛이 마커(13)에 의해 광원(12) 방향, 즉 광학 추적 카메라(11) 방향으로 반사된다.
따라서 마커(13)의 가시성이 크게 향상된다. 이를 통해 광학 추적 카메라(11)의 노출 시간과 광원(12)의 조명 시간을 줄일 수 있다. 따라서, 광학 추적 시스템이 메인 카메라(20)의 작동에 미치는 영향이 더욱 감소될 수 있다. 메인 카메라(20)에는 전용 광원이 장착되어 있지 않으므로 마커(13)가 메인 카메라(20)에는 보이지 않는다. 전술한 바와 같이 광학 추적 시스템이 메인 카메라(20)에 동기화되면, 메인 카메라(20)의 노출 시간 동안 마커(13)가 조명되지 않으므로, 마커(13)가 메인 카메라(20)에 보이지 않게 된다.
마커(13)를 LED 벽(30)에 쉽게 부착할 수 있도록 마커(13)는 마커(13)가 LED 벽(30)에 부착될 때 LED 벽(30)의 LED(31)가 홀에 위치하도록 배열된 홀을 포함한다. 이는 LED 벽(30)에 마커(13)를 눈에 띄지 않게 배치하는 것을 용이하게 한다.
그림 4a 내지 4c는 마커(13)가 배치되는 LED 그리드(31)가 있는 LED 벽(30)의 단면을 개략적으로 나타낸 것이다.
도 4a 및 도 4b에 도시된 마커(13)는 마커가 LED 벽(30)에 부착될 때 하나의 LED(31)를 수용하는 하나의 홀을 포함한다. 마커(13)는 역반사 표면을 가지며, 이는 해칭으로 표시된다. 광학 추적 시스템을 위한 개별 마커(13)의 식별을 용이하게 하기 위해, 특징적인 형상을 갖는 마커(13)가 사용되는 것이 바람직하다. 도 4a 및 도 4b는 특징적인 크기, 즉 원형, 타원형, 직사각형 및 별 모양을 갖는 마커(13)의 상이한 실시예가 도시된다. 마커는 이러한 모양에 국한되지 않으며 다각형 모양 또는 불규칙한 모양으로 제공될 수도 있다.
LED 벽(30)에 LED(31)의 밀도가 높은 경우, 하나의 홀만으로 광학 추적 카메라(11)에서 인식할 수 있는 충분한 크기의 마커(13)를 제공하는 것이 불가능할 수 있다. 이 경우, 마커(13)는 LED 벽(30) 상의 LED(31)들의 거리 및 크기와 일치하도록 거리 및 크기가 구성된 복수의 홀을 포함한다. 도 4c는 LED(31)의 밀도가 높은 LED 벽(30)에 사용될 수 있는 복수의 홀을 갖는 마커(13)의 다양한 실시예를 개략적으로 도시한 것이다. 마커(13)의 형상은 특별히 제한되지 않으며, 홀의 개수 또한 제한되지 않는다. 도 4c에 도시된 실시예에서, 좌측의 마커(13)는 9개의 홀을 갖는 정사각형 형상이고, 중앙의 마커(13)는 4개의 홀을 갖는 원형 형상이며, 우측의 마커(13)는 5개의 홀을 갖는 십자형 형상이다.
마커(13)의 전면 표면의 색상은 LED 벽(30)의 배경색과 일치하도록 선택되는 것이 바람직하다. 이렇게 하면 마커(13)가 직접 조명되지 않을 때 거의 보이지 않게 된다.
마커(13)의 홀은 마커(13)가 충분히 얇은 경우 피어싱에 의해 생성될 수 있다. 또는 마커가 플라스틱 재료와 같은 고체 재료로 만들어지고 충분한 두께를 갖는 경우 마커(13)에서 홀을 조각할 수 있다. 홀의 구성은 도 5a 내지 5c에 개략적으로 도시된 바와 같이 마커의 두께 및 LED 벽(30)에 있는 LED(31)의 구성에 맞게 조정되어야 한다.
도 5a는 3개의 LED(31)와 마커(13)가 LED 벽(30)에 부착되어 있는 LED 벽(30)의 단면을 개략적으로 도시한 것이다. 도 5a의 LED(31)는 공간적 범위가 넓고 LED 벽(30)로부터 상당히 돌출되어 있다. 마커(13)는 매우 얇기 때문에 마커(13)는 부착 후 LED(31) 뒤에 실질적으로 배치된다. 이러한 구성에서, 마커(13)는 LED(31), 특히 마커(13)의 홀에 위치한 LED(31)의 작동에 영향을 미치지 않는다. 이 경우, 마커(13)의 홀은 마커(13)를 스탬핑 또는 피어싱하여 제공할 수 있다. 앞의 설명에서와 같이, 재귀반사 재료는 해칭된 영역으로 표시된다.
도 5b는 LED 벽(30)의 다른 구성을 개략적으로 도시한 것으로서, LED(31)가 LED 벽(30)으로부터 실질적으로 돌출되지 않고 LED 벽(30)의 표면에 가깝게 형성되어 있다. 도 5b의 마커(13)는 다시 매우 얇다. 마커(13)의 표면은 LED 벽(30)으로부터 LED(31)의 팁과 동일한 거리에 있으므로, 마커(13)의 존재가 마커 부근에 있는 LED(31)의 발광을 실질적으로 방해하지 않는다.
도 5c는 LED 벽(30)의 표면으로부터 실질적으로 돌출되지 않는 LED(31)를 갖는 LED 벽(30)에 두꺼운 마커(13)가 사용되는 경우를 도시한다. 이 경우, 마커(13)에 홀을 뚫거나 스탬핑하여 마커(13)에 홀을 만드는 것은 편리하지 않다. 오히려, 마커(13)의 홀은 마커(13)의 두께 방향으로 홀의 직경이 증가하도록 조각되어야 한다. 마커(13)의 뒷면에서는 홀의 직경이 LED 벽(30)의 LED(31)의 직경과 일치하도록 하여, 마커(13)를 홀에 LED(31)를 위치시킨 채로 LED 벽(30)에 배치할 수 있도록 한다. 마커(13)의 전면으로 갈수록 홀의 직경이 커져 마커(13)가 마커의 홀에 위치한 LED(31)를 가리지 않도록 한다.
도 5a 내지 5c에는, 본질적으로 하나의 불투명한 역반사 층으로 구성된 마커가 도시되어 있다. 마커는 투명층을 포함하여 여러 층/레이어로 구성될 수도 있다. 도 5d는 홀이 있는 역반사층(해칭된 영역으로 표시됨)과 투명층(13a)을 포함하는 마커(13)를 보여준다. 홀은 마커(13)의 불투명층을 통해서만 연장된다. 투명층(13a)은 홀을 포함하지 않는다. 마커(13)는 불투명층의 홀이 마커(13)를 배치할 수 있는 크기와 거리를 갖도록 구성되며, LED(31)가 불투명층의 홀 뒤에 위치하도록 마커(13)를 배치할 수 있다. LED는 점선으로 표시된 바와 같이 투명층(13a)과 불투명층의 홀을 통해 광각으로 빛을 방출할 수 있다. 이러한 마커(13)의 구성은 마커(13)가 마커(13)의 불투명층의 홀 뒤에 위치한 LED(31)의 발광을 방해하지 않고, LED(31) 위에 직접 배치될 수 있기 때문에 마커(13)를 LED 벽(30)에 간단하게 배치할 수 있게 해준다.
마커(13)가 제조되는 재료는 특별히 제한되지 않는다. 마커(13)가 캣아이 표면으로 구성되는 경우, 마커(13)를 합성 또는 폴리머 재료로 제조하는 것이 바람직할 수 있다. 마커(13)는 또한 한쪽 표면에 재귀반사 물질이 있고 다른 표면에 자체 접착 코팅이 있는 호일 또는 필름의 형태로 제공될 수도 있다.
11 : 광학 추적 카메라
11a : 렌즈
12 : 광원
12a : 광원 유닛
13 : 마커
13a : 투명층
20 : 메인 카메라
30 : LED 벽
31 : LED

Claims (13)

  1. 이동 가능한 객체, 바람직하게는 메인 카메라(20)의 3D 위치, 또는 3D 위치 및 방향을 추적하기 위한 광학 추적 시스템으로서, LED 벽 및/또는 LED 천장 및/또는 LED 바닥과 같은 적어도 하나의 LED 그리드(30) 부근에 위치하며,
    객체(20)에 부착 가능한 광학 추적 카메라(11);
    상기 광학 추적 카메라(11)에 근접하여 배치되고, 바람직하게는 광학 추적 카메라(11)에 부착되고, 광학 추적 카메라(11)의 시야 내로 빛을 방출하도록 구성된 광원(12); 및
    상기 광학 추적 카메라(11)의 환경에 배치 가능한 복수의 마커(13), 바람직하게는 LED 그리드(30) 상에 배치 가능한 복수의 마커(13);를 포함하고,
    상기 마커(13)는 상기 광학 추적 카메라(11)에만 보이도록 구성되고 물체, 바람직하게는 메인 카메라에는 보이지 않도록 구성되는 것을 특징으로 하는 광학 추적 시스템.
  2. 제1항에 있어서,
    상기 광원(12)은 상기 광학 추적 카메라(11)와 동기화된 방식으로 빛을 방출하도록 구성되어 상기 광원(12)이 상기 광학 추적 카메라(11)의 노출 시간 동안에만 빛을 방출하도록 구성되는 것을 특징으로 하는 광원 추적 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 광원(12)은 광학 파장 스펙트럼의 근적외선 및/또는 적외선 부분에서 빛을 방출하도록 구성되는 것을 특징으로 하는 광원 추적 시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 광원(12)은 상기 광학 추적 카메라(11)가 가장 민감하게 반응하는 파장 범위, 바람직하게는 450nm 내지 650nm 사이의 파장 범위에서 빛을 방출하도록 구성되는 것을 특징으로 하는 광학 추적 시스템.
  5. 전술한 청구항 중 어느 한 항에 있어서,
    상기 마커(13)는 평면 형상을 가지며 입사된 빛을 입사 방향으로 반사하도록 구성된 역반사 영역을 포함하는 것을 특징으로 하는 광학 추적 시스템.
  6. 전술한 청구항 중 어느 한 항에 있어서,
    상기 복수의 마커(13) 중 적어도 일부가 홀을 가지며, 상기 LED 그리드(30)에 부착 가능하도록 구성하여 상기 LED 그리드(30)의 LED(31)가 상기 마커(13)의 홀 뒤 또는 홀 내에 위치하도록 구성되는 것을 특징으로 하는 광학 추적 시스템.
  7. 전술한 청구항 중 어느 한 항에 있어서,
    상기 마커(13)가 직사각형, 정사각형, 원형, 타원형, 다각형 또는 별 모양과 같은 특징적인 모양을 갖는 것을 특징으로 하는 광학 추적 시스템.
  8. 전술한 청구항 중 어느 한 항에 있어서,
    상기 마커(13)는 특정 색상, 바람직하게는 LED 그리드(30)의 배경 색상과 일치하는 색상을 갖는 것을 특징으로 하는 광학 추적 시스템.
  9. 전술한 청구항 중 어느 한 항에 따른 광학 추적 시스템에 사용하기 위한 마커(13)로서, 평면 형상을 가지며 입사광을 입사 방향으로 반사하도록 구성된 역반사 영역을 포함하는 마커(13).
  10. 제9항에 있어서,
    하나 이상의 홀을 포함하고, LED 그리드(30)에 부착 가능하도록 구성되어 LED 그리드(30)의 LED(31)가 마커(13)의 홀 뒤 또는 홀에 위치하도록 구성되는 것을 특징으로 하는 마커(13).
  11. 제9항 또는 제10항에 있어서,
    직사각형, 정사각형, 원형, 타원형, 다각형 또는 별 모양과 같은 특징적인 모양을 갖는 마커(13).
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    특정 색상, 바람직하게는 LED 그리드(30)의 배경색과 일치하는 색상을 갖는 마커(13).
  13. 제1항 내지 제8항 중 어느 한 항에 따른 광학 추적 시스템, 바람직하게는 광학 포지셔닝 시스템에서 제8항 내지 제12항 중 어느 한 항에 따른 마커(13)의 사용.
KR1020237021740A 2020-12-24 2021-12-22 광학 추적 시스템 및 광학 추적 시스템을 위한 마커 KR20230110616A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20217238.3A EP4020392A1 (en) 2020-12-24 2020-12-24 Optical tracking system and marker for optical tracking system
EP20217238.3 2020-12-24
PCT/IB2021/062195 WO2022137168A1 (en) 2020-12-24 2021-12-22 Optical tracking system and marker for optical tracking system

Publications (1)

Publication Number Publication Date
KR20230110616A true KR20230110616A (ko) 2023-07-24

Family

ID=74105754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237021740A KR20230110616A (ko) 2020-12-24 2021-12-22 광학 추적 시스템 및 광학 추적 시스템을 위한 마커

Country Status (6)

Country Link
US (1) US20240029293A1 (ko)
EP (1) EP4020392A1 (ko)
JP (1) JP2024503224A (ko)
KR (1) KR20230110616A (ko)
CN (1) CN116830156A (ko)
WO (1) WO2022137168A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020118407A1 (de) * 2020-07-13 2022-01-13 Soft2Tec Gmbh Vorrichtung und Verfahren zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
CN116499470B (zh) * 2023-06-28 2023-09-05 苏州中德睿博智能科技有限公司 环视相机定位系统优化控制方法、装置及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701253B2 (en) * 2017-10-20 2020-06-30 Lucasfilm Entertainment Company Ltd. Camera systems for motion capture
US11810473B2 (en) * 2019-01-29 2023-11-07 The Regents Of The University Of California Optical surface tracking for medical simulation

Also Published As

Publication number Publication date
US20240029293A1 (en) 2024-01-25
EP4020392A1 (en) 2022-06-29
WO2022137168A1 (en) 2022-06-30
JP2024503224A (ja) 2024-01-25
CN116830156A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
US20240029293A1 (en) Optical tracking system and marker for optical tracking system
US8040361B2 (en) Systems and methods for combining virtual and real-time physical environments
US7315241B1 (en) Enhanced perception lighting
EP3268798B1 (en) Dual-mode illuminator for imaging under different lighting conditions
US20100182340A1 (en) Systems and methods for combining virtual and real-time physical environments
CN106062862A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
CN109477966A (zh) 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
JP2009508193A (ja) 1次マーカ及び2次マーカを使用するモーションキャプチャ
WO2014184274A1 (en) Imaging a patient's interior
WO2002004247A1 (en) Method and apparatus for providing adaptive illumination
GB2321814A (en) Key signal generation using retro-reflective background in video image composition system
JPH0782539B2 (ja) 瞳孔画像撮影装置
EP3631599B1 (en) A system for rendering virtual characters and a method thereof
CN108701363A (zh) 使用多相机识别和追踪对象的方法、设备和系统
WO2018069867A1 (en) Method and apparatus for indoor positioning
CN207475756U (zh) 机器人红外立体视觉系统
JP5601179B2 (ja) 視線検出装置及び視線検出方法
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
CN111386554A (zh) 照明集成
JP2019128724A (ja) 情報処理装置、情報処理システム及びプログラム
EP3454098A1 (en) System with semi-transparent reflector for mixed/augmented reality
US20080247727A1 (en) System for creating content for video based illumination systems
JP7188902B2 (ja) 情報処理システム及びプログラム
JP7188901B2 (ja) 情報処理システム及びプログラム