KR102561173B1 - 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터 - Google Patents

다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터 Download PDF

Info

Publication number
KR102561173B1
KR102561173B1 KR1020217040955A KR20217040955A KR102561173B1 KR 102561173 B1 KR102561173 B1 KR 102561173B1 KR 1020217040955 A KR1020217040955 A KR 1020217040955A KR 20217040955 A KR20217040955 A KR 20217040955A KR 102561173 B1 KR102561173 B1 KR 102561173B1
Authority
KR
South Korea
Prior art keywords
fiducial
wavelength
light
sensor
target
Prior art date
Application number
KR1020217040955A
Other languages
English (en)
Other versions
KR20210154998A (ko
Inventor
윌리엄 와이트하우스
에릭 폭스린
토마스 캘러웨이
존 포포라파드
Original Assignee
탈레스 비저닉스 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 탈레스 비저닉스 아이엔씨. filed Critical 탈레스 비저닉스 아이엔씨.
Publication of KR20210154998A publication Critical patent/KR20210154998A/ko
Application granted granted Critical
Publication of KR102561173B1 publication Critical patent/KR102561173B1/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

다른 조명 조건 하에서의 이중 모드 촬상을 위한 장치, 시스템 및 방법이 개시된다. 센서가 타겟을 촬상하도록 구성되어 있다. 센서가 타겟을 촬상하고 있을 때 이중 모드 조명원이 타겟을 조명하도록 구성되어 있다. 이중 모드 조명원은 제 1 조명 조건 하에서 제 1 파장의 빛을 사용하여 타겟을 조명하고 또한 제 2 조명 조건 하에서는 제 2 파장의 빛을 사용하여 타겟을 조명하도록 구성되어 있다. 본 시스템이 광학 추적 시스템에 사용되어 대상의 운동을 추적할 수 있다.

Description

다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터 {DUAL-MODE ILLUMINATOR FOR IMAGING UNDER DIFFERENT LIGHTING CONDITIONS}
본 출원은 "DUAL-MODE ILLUMINATOR FOR IMAGING UNDER DIFFERENT LIGHTING CONDITIONS" 이라는 명칭으로 2015년 3월 13일에 출원된 미국 가 출원 62/133,138의 이익을 주장하며, 이 가 출원은 전체적으로 본원에 명시적으로 참조로 관련되어 있다.
본 개시는 일반적으로 예컨대 광학 추적에 사용되는, 다른 조명 조건하에서의 이중 모드 촬상에 관한 것이다.
예컨대 기점(fiducial) 또는 타겟과 관련된 광학 추적은 조명 조건이 다를 때는 어려운 일이다. 예컨대, 조명 조건이 낮과 밤 사이에서 변하는 경우 촬상 시스템이 하루 전체에 걸쳐 타겟을 정확히 촬상하는 것은 어렵다.
광학 추적은 이동하는 대상의 위치를 결정하기 위해 기점과 같은 피동형 타겟의 영상을 찍는 것을 포함할 수 있다. 예컨대, 카메라 또는 다른 센서를 사용하여 타겟을 촬상할 수 있다. 때때로, 카메라는 타겟을 정확히 촬상하기 위해 조명을 필요로 할 수 있다. 주변 조명 조건이 변할 수 있고, 한 조명 조건 하에서 적절한 조명은 다른 조명 조건 하에서는 도움이 안되거나 문제가 될 수 있다.
이들 문제 및 만족되지 않은 요건을 감안하여, 본 개시는 다른 조명 조건 하에서 센서의 이중 모드 촬상을 제공하는 시스템, 방법 및 장치를 제공한다. 본 명세서에서 주어진 양태는 예컨대 광학 추적 시스템의 일부분으로서 사용될 수 있다. 본 명세서에서 주어진 양태는, 센서가 적어도 2개의 다른 파장의 빛을 사용하여 기준 타겟을 촬상하고 있을 때 그 기준 타겟을 조명하는 이중 모드 조명원을 포함한다. 이중 모드 조명원은, 다른 조명 조건 하에서 타겟을 촬상하기 위해 적절한 노출 시간과 함께 2개의 다른 파장을 사용할 수 있다. 예컨대 좁은 밴드 패스밴드 필터가 센서 및 이중 조명원과 함께 사용될 수 있다.
이들 양태의 추가적인 이점 및 신규한 특징은 이하의 설명에 부분적으로 제시될 것이고, 또한 부분적으로 이하에 대한 검토 또는 본 발명의 실시를 통한 배움으로 당업자에게 더 명백하게 될 것이다.
다음과 같은 도면을 참조하여, 시스템 및 방법의 양태의 다양한 예를 상세히 설명할 것이다.
도 1은 본 발명의 양태에 따른 이중 모드 조명기를 갖는 장치의 일 예를 도시한다.
도 2는 본 발명의 양태에 따른 사용을 위해, 바로 뒤에 태양이 있는 기점의 영상의 일 예를 도시한다.
도 3은 본 발명의 양태에 따른 추적 요소의 일 예를 도시한다.
도 4는 본 발명의 양태에 따른 사용을 위해 이중 모드 조명기를 갖는 대상 추적 시스템의 일 예를 도시한다.
도 5는 본 발명의 양태에 따른, 차량 추적 시스템과 관련된 좌표축을 갖는 전투기 젯트 조종석의 일 예를 도시한다.
도 6은 본 발명의 양태에 따른 이중 모드 조명기를 갖는 장치의 일 예를 도시한다.
첨부 도면과 관련하여 아래에 제시된 상세한 설명은, 다양한 구성을 설명하기 위한 것이고, 본 명세서에서 설명되는 개념이 실행될 수 있는 구성만 나타내고자 하는 것은 아니다. 상세한 설명은 다양한 개념에 대한 철저한 이해를 제공하기 위한 목적으로 특정한 상세를 포함한다. 그러나, 이들 개념은 이들 특정한 상세 없이 실시될 수 있음이 당업자에게 명백할 것이다. 어떤 경우에, 잘 알려져 있는구조 및 요소는 이러한 개념을 모호하게 하지 않도록 블럭도 형태로 나타나 있다.
이제 다양한 장치 및 방법을 참조하여 운동 추적 시스템의 여러 양태가 주어질 것이다. 이들 장치 및 방법은 이하의 상세한 설명에서 기술되고 또한 다양한 블럭, 요소, 회로, 단계, 공정, 알고리즘 등(총칭적으로 "요소'라고 함)에 의해 첨부 도면에 도시되어 있다. 이들 요소는 전자 하드웨어, 컴퓨터 소프트웨어 또는 이것들의 임의의 조합을 사용하여 구현될 수 있다. 이러한 요소가 하드웨어로 구현되는지 또는 소프트웨어로서 구현되는지는, 특정한 용례 및 전체적인 시스템에 주어진 설계 구속 요건에 따른다.
예컨대, 일 요소 또는 요소의 일부분 또는 요소들의 조합은 하나 이상의 프로세서를 포함하는 "처리 시스템"으로 구현될 수 있다. 프로세서를 예를 들면, 마이크로프로세서, 마이크로제어기, 디지털 신호 처리기(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 프로그래머불 논리 장치(PLD), 상태 기계, 게이트형 논리, 개렬 하드웨어 회로, 및 본 개시에 전체에 걸쳐 설명되는 다양한 기능을 수행하도록 구성된 다른 적절한 하드웨어가 있다. 처리 시스템에 있는 하나 이상의 프로세서는 소프트웨어를 실행할 수 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어이든 아니면 다른 것이든 관계없이, 지시, 지시 세트, 코드, 코드 세그먼트, 프로그램 코드, 프로그램, 서브프로그램, 소프트웨어 요소, 어플리케이션, 소프트웨어 어플리케이션, 소프트웨어 패키지, 루틴, 서브루틴, 대상, 실행가능한 것, 실행의 스레드(thread), 절차, 기능 등을 의미하는 것으로 넓게 해석되어야 한다.
따라서, 하나 이상의 예시적 실시 형태에서, 설명되는 기능은 하드웨어, 소프트웨어, 펌웨어 또는 이것들의 조합으로 실행될 수 있다. 기능은, 소트트웨어로 실행되는 경우, 컴퓨터 판독 가능한 매체에 저장되거나 하나 이상의 지시 또는 코드로서 인코딩될 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 접근될 수 있는 어떤 이용가능한 매체라도 될 수 있다. 예컨대 그리고 비한정적으로, 이러한 컴퓨터 판독가능한 매체는, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 전기적으로 삭제가능한 프로그래머블 ROM(EEPROM),컴팩트 디스크 ROM(CD-ROM) 또는 다른 광학적 디스크 저장부, 자기적 디스크 저장부 또는 다른 자기적 저장 장치, 또는 지시 또는 데이타 구조 형태의 원하는 프로그램 코드를 지니거나 저장하기 위해 사용될 수 있고 컴퓨터에 의해 접근될 수 있는 다른 매체를 포함할 수 있다. 본 명세서에서 사용되는 바와 같은 디스크(disk) 및 디스크(disc)는, CD, 레이저 디스크, 광학 디스크, 디지털 다용도 디스크(DVD), 및 플로피 디스크를 포함하는데, 여기서 디스크(disk)는 일반적으로 데이타를 자기적으로 재현하고, 반면 디스크(disc)는 데이타를 레이저를 이용하여 광학적으로 재현한다. 위 사항의 조합이 또한 컴퓨터 판독가능한 매체의 범위에 포함된다.
이중 모드 조명기
광학 추적은 이동하는 대상의 위치를 결정하기 위해 기점(fiducial)과 같은 피동형 타겟의 영상을 찍는 것을 포함할 수 있다. 예컨대, 카메라 또는 다른 센서를 사용하여 타겟을 촬상할 수 있다. 때때로, 카메라/센서는 타겟을 촬상하기 위해 조명을 필요로 할 수 있다. 주변 조명 조건이 변할 수 있고, 한 조명 조건 하에서 적절한 조명은 다른 조명 조건 하에서는 도움이 안되거나 문제가 될 수 있다.
예컨대, 직사 햇빛은 이러한 타겟의 촬상을 어렵게 할 수 있다. 타겟이 조종석의 캐노피에 배치되어 있는 경우, 직사 햇빛은 타겟 뒤에서 캐노피를 통과해 비치어 어떤 타겟의 정확한 영상을 찍는 것을 방해할 수 있다. 야간에는, 조명이 빛 자제를 방출하지 않는 피동형 타겟을 검출할 필요가 있을 수 있기 때문에 다른 문제가 생긴다. 타겟에 대한 조명은, 센서가 햇빛 조건 및 더 어두운 조건 모두에서 타겟을 검출하는데에 도움을 줄 수 있다. 추가적으로, 이러한 조명은 그것이 NVIS 장비에 의해 보이지 않거나 검출되지 않도록 그 NVIS 장비와 적합적일 필요가 있을 수 있다. NVIS 장비와의 간섭을 피하는 파장 범위는 통상적인 실리콘 영상 센서의 스펙트럼 응답 곡선의 가장자리 근처에 있다. 이러한 특성으로 인해, 주간 작업 중에 햇빛이 있는 상태에서 질 좋은 영상을 얻기에 충분히 밝게 타겟을 조명하는 것이 매우 어렵게 된다. 본 명세서에서 주어진 양태는, 다른 조명 조건 하에서 다른 파장을 사용하여 타겟을 조명하는 이중 모드 조명기를 제공하여 이러한 어려움을 해결한다.
도 1은 다른 조명 조건 하에서의 이중 모드 촬상을 위한 장치(100)의 일 예를 도시한다. 이 장치는 예컨대 대상의 추적과 관련하여 사용될 수 있다. 상기 장치는 적어도 하나의 타겟(108)을 촬상하도록 구성된 센서(110)를 포함한다. 예컨대, 그 센서는 대상의 운동을 추적하기 위해 타겟의 영상을 찍는 카메라를 포함할 수 있다. 특히, 이러한 카메라는 CMOS 글로벌 셔터 조상기(imager)와 같은 상보적인 금속-산화물-반도체(CMOS) 조상기를 포함할 수 있다. 어안(fish eye) 렌즈와 같은 렌즈가 또한 그러한 영상과 함께 사용될 수 있다. 이는 센서가 타겟에 매우 가깝게 위치되어 있는 상황에 도움이 될 수 있다.
상기 장치는 또한, 센서(110)가 타겟을 촬상하고 있을 때 그 타겟(108)을 조명하도록 구성된 이중 모드 조명원(112)을 포함할 수 있다. 이중 모드 조명원은 제 1 조명 조건 하에서 제 1 파장의 빛을 사용하여 타겟을 조명하고 또한 제 2 조명 조건 하에서는 제 2 파장의 빛을 사용하여 타겟을 조명하도록 구성될 수 있다.
예컨대, 조명기(112)는 예컨대 주간 동안에 주변의 빛이 문턱 레벨 이상이면 제 1 파장의 빛을 방출할 수 있고, 또한 예컨대 더 어둡거나 야간 조건 동안에 주변의 빛이 문턱 레벨 아래로 떨어지면 제 2 파장의 빛을 방출할 수 있다. 조명기(112)는 적어도 하나의 LED를 포함할 수 있다. 조명기(112)는 2개의 다른 방출기, 즉 제 1 파장의 빛을 방출하는 제 1 방출기 및 제 2 파장의 빛을 방출하는 제 2 방출기를 포함할 수 있다. 주간 조명은 예컨대 적어도 하나의 LED에 의해 제공될 수 있다. 야간 조명은 예컨대 수직 공동 표면 방출 레이저(VCSEL) 방출기, 레이저 다이오드, LED 등에 의해 제공될 수 있다. 이러한 방출기는, NVG(night vision goggle)가 민감하지 않는 UV 범위 또는 가시 스펙트럼의 어떤 부분에서 작동할 수 있다.
조명기(112)는 촬상을 위해 타겟을 조명하기 위해 번쩍이거나 아니면 주기적으로 발광할 수 있다. 대안적으로, 조명기는 주변 빛의 조건에 따라 항상 두 파장 중의 하나를 방출할 수 있다.
주간 조건 하에서는, 추적 카메라, 예컨대 센서(110)가 효율적으로 검출할 수 있는 스펙트럼의 일 부분 내에 있는 빛을 조명기가 방출하는 것이 중요할 수 있다. 조명기를 위한 적절한 파장의 선택은 카메라 노출 시간의 조절과 조합적으로 사용될 수 있다. 예컨대, 노출 시간이 감소되면, 타겟의 영상에 대한 직사 햇빛(114)의 영향이 제한될 수 있다. 더 밝은 조명 조건 하에서의 노출 시간은 더 어두운 조명 조건 하에서의 노출 시간에 비해 감소될 수 있다. 예컨대, 만족스러운 양의 햇빛을 제거하기 위해 노출 시간을 예컨대 1 밀리초의 최저 사용가능 설정으로부터 훨씬 낮은 50 마이크로초로 낮출 수 있다. 주간 조건 하에서, 노출 시간은 예컨대 대략 15 ㎲ 내지 150 ㎲일 수 있다. 이러한 노출 시간은, 햇빛 가독성 및 고유 조명기 설계와의 NVG 적합성 모두가 제공될 수 있다. 노출 시간은 검출되는 주변 빛의 양에 근거하여 조절될 수 있다. 주변 빛이 문턱값에 있는 것으로 검출되면 감소된 노출 시간이 사용될 수 있다.
일 예에서, 주간 조명을 위한 광원은 인간의 눈에 보이지 않도록 선택될 수 있다. 예컨대, 파장은 적외선 파장일 수 있다. 그러나, 가시 파장도 사용될 수 있다. 주간 조건 동안에 사용되는 파장은 대략 700 내지 1000 nm, 예컨대 대략 850 nm 일 수 있다.
이와는 달리, 야간 모드 조명 파장은 NVG의 범위 밖에 있도록 선택될 수 있는데, 이에 대해 민감도는 일반적으로 940 nm 만큼 거의 제로로 떨어진다. 따라서 야간 모드 조명 파장은 대략 940 nm 보다 높을 수 있는데, 예컨대 대략 980 nm 일 수 있다. 일 예에서, VCSELS 방출기가 사용될 수 있다. NVIS 적합 파장을 사용하는 이중 파장 조명기가 예컨대 밤에 사용될 수 있다.
더 어두운 조건에서는, 주간 조건 하에서 적합한 더 긴 노출 시간과 함께 NVIS 적합 파장이 사용될 수 있다. 예컨대, 더 긴 노출 시간은 햇빛을 완전히 제거하지 않을 수 있다. 야간 노출은 대략 500 ㎲ 내지 2000 ㎲ 범위 내일 수 있다. 주간 동안에는, 더 쉽게 검출 가능한 파장이 사용될 수 있는데, 이러한 파장은 NVIS 적합적일 필요는 없다. 그래서, 더 쉽게 검출 가능한 파장은, 대부분의 햇빛 간섭을 제거하는 매우 짧은 노출을 사용하여 촬상된다. 주변 빛이 문턱값 이하인 것으로 검출되면 더 긴 노출 시간이 사용될 수 있다.
예컨대, 적정한 수의 LED를 사용하여 850 nm에서 햇빛 제거를 달성할 수 있지만, 이러한 LED는 NVG 적합적이지 않을 수 있다. 980 nm VCSEL의 사용은 NVG 적합성을 제공할 수 있지만, 햇빛을 제거하는데에 필요한 짧은 노출 시간을 만족하기에 충분한 광학적 파워는 제공하지 않을 수 있다. 따라서, 일 예에서, 850 nm의 파장을 갖는 LED 방출기가 주간 모드에 사용될 수 있고, 대략 950 nm의 파장을 갖는 VCSELS 방출기가 야간 모드에 사용될 수 있고,
직사 햇빛에서 타겟 가독성의 문제를 더 해결하기 위해, 타겟에 대한 촬상은 2개의 파장에 대응하는 패스밴드를 갖는 간섭 필터(118)를 사용하여 개선될 수 있다. 이 필터는 예컨대 렌즈와 센서 사이와 같은 타겟과 센서 사이에 위치될 수 있다. 주간 조명을 위해 850 nm 파장을 사용하고 야간 조명을 위해 980 nm 파장을 사용하는 예에서, 예컨대, 850 nm 및 980 nm에서 2개의 좁은 패스밴드를 갖는 간섭 필터가 사용될 수 있다. 이 예는 2개의 패스밴드의 사용을 보여주기 사용된다. 다른 파장도 사용될 수 있다.
이러한 이중 모드 조명기는 다른 조명 조건 하에서, 예컨대 주간 및 야간 조건 하에서 피동형 기점 마커에 대한 충분한 조명을 제공한다.
이중 모드 촬상 장치와 관련하여 사용되는 타겟(108)은 태양의 역광을 받으면 비례적으로 더 밝아지도록 구성될 수 있다. 예컨대, 항공기와 관련한 광학 추적의 경우, 센서(110)는 그 항공기의 캐노피 쪽으로 향할 수 있다. 따라서, 때때로, 타겟은 태양의 역광을 받을 수 있고, 따라서 그 타겟을 정확하게 촬상하는 것이 어렵게 된다. 이중 모드 조명기는, 타겟이 햇빛(114)의 역광을 받든 또는 더 어두운 조명 조건 하에 있든 상관 없이 정확하게 검출될 수 있게 해준다.
추가적인 선택안으로서, 확산 기점 및 복귀로 인한 역자승 손실을 가능한 한 렌즈에 대한 조명 만큼 많이 극복하기 위해 캐노피 상의 기점에 대해 역반사 스틱커를 사용할 수 있다. 이러한 기점 설계로, 140 도 FOV의 대부분에 걸쳐 높은 판독율을 얻기 위해 기점을 NVG 적합 파장으로 조명할 수 있다.
도 2는 태양(114)이 바로 뒤에 있는 기점(108)의 광학 센서 영상(200)의 일 예를 도시하며, 이 영상은 주간 조건 하에서 이중 모드 조명기를 사용하여 얻어진 것이다. 각 기점은 그 옆에 있는 식별 번호와 함께 도시되어 있다. 이 도는 이중 모드 조명기를 사용하여 얻어진 영상의 햇빛 제거 능력을 도시한다. 주간 조명을 위한 더 효율적인 파장 및 더 타이트한 밴드 패스 여과 및 더 짧은 노출 기간의 조합에 의해 영상에 대한 직사 햇빛(114)의 영향이 감소된다. 도 2에 있는 영상은 투명 플라스틱에 장착되는 기점 컨스텔레이션(fiducial constellation)의 HObIT 광학 센서를 통해 얻어진 것으로, 태양은 직접 센서 렌즈 안으로 비치고 있다. 도 2에서, 모든 기점은 뚜렷하게 확인되며, 햇빛(114)은 기점(108)의 크기 주위의 점으로 감소되었다. 태양이 기점에 인접하여 촬상되면, 그 기점은 더 이상 확인되지 않을 것이다. 그러나, 도 2에 도시되어 있는 바와 같이, 한번에 하나의 기점만 태양에 의해 흐려지게 될 수 있다. 그러므로, 도 2에 도시되어 있는 바와 같은 복수의 기점 컨스텔레이션의 영상이 햇빛 간섭의 영향을 덜 받게 된다. 영상 및 이 영상 내 다른 기점의 식별을 사용하여 카메라의 위치를 검출할 수 있다.
도 3은 예컨대 광학 추적기에 사용될 수 있는 이중 모드 조명 요소의 예를 도시한다. 도 3은 타겟(304)을 촬상하는 센서로서 사용될 수 있는 카메라(302)를 도시한다. 본 발명의 양태에 따르면, 관성 측정 유닛(IMU)(306)이 또한 사용되어 대상의 운동을 추적할 수 있다. 역반사 타겟을 직접 조명함으로써, 그림자 또는 최적 미달 노출과 같은 주변 조명으로 인한 문제가 회피될 수 있다. 일 예에서, 이중 모드 조명원은 카메라(302)를 둘러싸도록 구성될 수 있다. 도 3에 도시되어 있는 예에서, 카메라는 개구(308)를 포함하고, 이 캐구를 통해 타겟이 촬상된다. 도 3은 둥근 개구인 개구(308)를 도시한다. 이중 모드 조명기(310)는 둥근 개구(308) 주위에 위치될 수 있다. 다른 예에서, 이중 모드 조명기는 카메라에 대해 다른 위치에 배치될 수 있다.
일 예에서, 본 명세서에서 주어지는 양태는 대상의 운동을 추적하는 추적 시스템과 관련하여 사용될 수 있다. 도 4는 움직이는 플랫폼(404)에 대해 움직이는 대상(402)을 추적하기 위한 추적 시스템(400)을 도시한다.
도 4에 도시되어 있는 바와 같이, 대상(402) 및 움직이는 플랫폼은 외부 기준 프레임(406)에 대해서도 움직이고 있다. 외부 기준 프레임(406)은 고정된 기준 프레임(예컨대, 지구)일 수 있고, 움직이는 플랫폼(404)은 대상(402)이 함께 움직이는 차량, 예컨대, 비행기 또는 다른 차량일 수 있다. 대상은 차량에 대해 움직이는 사용자 디스플레이일 수 있다. 예컨대, 움직이는 대상은 헤드 장착 디스플레이(HMD)일 수 있고 또한 움직이는 플랫폼은 항공기와 같은 차량일 수 있다.
반사 기점과 같은 기준 타겟(408)이 움직이는 플랫폼(404)에 고정될 수 있다. 항공기의 예에서, 기점은 그 항공기의 캐노피에 고정될 수 있다. 추적 시스템(400)은 움직이는 플랫폼(404)에 대한 대상(402)의 운동을 추적하기 위해 타겟(408)을 촬상하는 적어도 하나의 센서(410)를 포함할 수 있다. 일 예에서, 기점은 항공기의 캐노피에 고정될 수 있고, 대상은 HMD를 포함할 수 있다.
상기 장치는 적어도 하나의 타겟(408)을 촬상하도록 구성된 센서(410)를 포함한다. 도시되어 있지는 않지만, 어안 렌즈와 같은 렌즈가 이러한 조상기(410)와 함께 사용될 수 있다. 이는 센서가 타겟에 매우 가깝게 위치되는 경우에 도움이 될 수 있다.
항공기용 광학 기구는 매우 넓은 필드의 어안 렌즈를 필요로 할 수 있는데, 왜냐하면 예컨대 카메라는 항공기 캐노피로부터 불과 약 5 ∼ 10 cm 떨어져 있기 때문이다. 양호하고 뚜렷한 촬상이 근거리에서, 예컨대 140 FOV 전체에 걸쳐 필요할 수 있다. 카메라는 항공기 캐노피의 방향으로 향하기 때문에, 태양이 카메라의 FOV 내에 직접 있을 수 있는데, 이는 일부 매우 어려운 동적 범위 문제를 야기한다. 카메라가 캐노피 쪽으로 향함으로써 초래되는 잠재적인 어려움을 해결하기 위해, 기점(408)은 태양의 역광을 받으면 비례적으로 더 밝아지도록 구성될 수 있다. 야간에서 이러한 기점을 사용하기 위해, 조명기가 추가될 수 있다.
따라서, 상기 장치는, 센서(410)가 타겟(408)을 촬상하고 있을 때 그 타겟을 조명하도록 구성된 이중 모드 조명원(412)을 또한 포함할 수 있고, 조명원(412)은 빛의 적어도 2개의 파장을 사용한다. 센서(410), 타겟(408), 및 이중 모드 조명원(412)은 도 1 ∼ 3과 관련하여 설명한 것들과 유사할 수 있다.
예컨대, 조명기(412)는 2개의 다른 방출기, 즉 제 1 파장의 빛을 방출하는 제 1 방출기(414) 및 제 2 파장의 빛을 방출하는 제 2 방출기(416)를 포함할 수 있다. 주간 조명은 예컨대 적어도 하나의 LED에 의해 제공될 수 있다. 야간 조명은 예컨대 수직 공동 표면 방출 레이저(VCSEL) 방출기, 레이저 다이오드, LED, 등에 의해 제공될 수 있다. 이러한 방출기는 NVG가 민감하지 않는 UV 범위 또는 가시 스펙트럼의 어떤 부분에서 작동할 수 있다. 주변 빛이 문턱값에 있는지에 따라 2개의 다른 방출기 중의 하나가 사용되어 타겟(들)(408)을 조명할 수 있다.
도 5는 타겟(들)(510)이 캐노피(502)에 부착되어 있는 전투기 젯트 조종석(500)의 일 예를 도시한다. 도 5는 본 발명의 양태에 따른 플랫폼 INS(p)(504), 디스플레이(d)(506), 센서 본체(b)(508), 기점 컨스텔레이션(n)(510) 및 지상(i)(512)과 관련된 좌표축의 예를 도시한다. 표 1에는 5개의 관련된 좌표 프레임이 열거되어 있다.
i-프레임 i-프레임은 관성 기준 프레임으로, 관성 프레임으로 생각되기에 충분히 느리게 회전하는 항공기의 아래에서 지상에 있는 예컨대 국지적 레벨 북-동-하방(NED) 프레임일 수 있다.
p-프레임 항공기 "플랫폼 INS" 프레임. "플랫폼 INS"는 미션 컴퓨터(MC)와 디스플레이 시스템에 자세 데이타를 공급하는 관성 항법 시스템이다.
n-프레임 추적 시스템의 기준 프레임. 자기적 추적기의 경우, n-프레임은 소스 코일 어셈블리에 있는 원점 및 이 소스 코일 어셈블리와 명목상 정렬되는 축을 가질 수 있다. 일 예로, n-프레임은 기점 중의 하나에서 원점을 가질 수 있고 또한 그의 축은 지상 조화 과정 중에 항공기 축에 대략적으로 정렬될 수 있다.
b-프레임 추적기 센서의 본체 프레임. 일 예로, b-프레임은 센서 어셈블리 내부에 있는 NavChip에 의해 규정될 수 있고, 이는 헬멧에 대해 거꾸로, 뒤쪽에 그리고/또는 경사져 장착될 수 있다.
d-프레임 디스플레이 포드(pod)에 있는 광안내 광학 요소(LOE) 또는 "패들(paddle)"에 의해 규정되는 디스플레이 프레임
도 6은 본 발명의 양태에 따른 추적 장치의 일 예를 도시한다. 도 6의 예에서, HMD(602)의 운동이 항공기에 대해 추적된다. 반사 기점(608)이 파일럿의 머리 위쪽에 있는 항공기의 캐노피(604)에 타겟으로서 배치되어 있다. 카메라(610)가 HMD에 결합되어, HMD의 운동을 추적하는 일 양태로서 기점(608)을 촬상한다. 이중 조명원(612)이 센서 근처에 제공되어 있고 일반적으로 기점 쪽을 향한다. 기점(608), 카메라(610), 및 이중 조명원(612)은 도 1 ∼ 4와 관련하여 설명한 것들과 유사할 수 있다. 카메라 및/또는 조명기는 제어부(606)에 의해 제어될 수 있다. 이 제어부는 메모리 및 본 명세서에서 설명하는 바와 같이 카메라 및/또는 조명기의 작동을 제어하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다. 예컨대, 제어부는 카메라 또는 센서에 의해 사용되는 노출 시간을 제어할 수 있다. 제어부는 검출되는 주변 빛의 양에 관한 정보를 받을 수 있고 또한 주변 빛의 검출된 양 및 제 1 문턱값에 근거하여 노출 시간을 제어할 수 있다. 제어부는 주변 빛의 검출된 양 및 제 2 문턱값에 근거하여 조명원에 의해 방출되는 빛의 파장을 제어할 수 있다. 제 1 문턱값과 제 2 문턱값은 동일할 수 있고 또한 다를 수도 있다.광학 자세 회복에 대해, CMOS 글로벌 셔터 SXGA(1280x1024) 조상기가 카메라(610)로서 사용될 수 있다. 이 카메라(610)는 150°(±75°)의 시야를 갖는 어안 렌즈와 조합될 수 있다. 예컨대 이러한 추적 시스템에서 광학적 왜곡 보상에 의해 ±70°까지의 축외 기점 확인이 가능하다. 센서는 940 nm을 넘는 파장에서 민감성을 제공한다. 조명기는 NVG 민감 범위를 넘는 파장에서 작동하며, 그리하여 NVG가 적합적이고 또한 눈에 안전하게 된다.
기점의 크기는 공수용의 경우 대략 6 mm 내지 25 mm일 수 있다. 센서로부터 기준까지의 거리에 의해, 필요한 크기가 결정된다. 전술용으로는 특히 8 mm의 기점이 사용될 수 있다. 천장이 불규칙하면 다른 크기의 기점이 사용될 수 있다. 기점 자체는, 햇빛 저항, 고습, 고온 및 온도 충격시의 사용, 및 유체 저항의 해소에 적합한 예컨대 MIL-810일 수 있다. 사용되는 기본 재료는 도로 표지용으로 설계된 것과 같은 역반사기를 포함할 수 있다.
가능한 용례
본 명세서에서 주어진 양태는 "운동 추적"이라는 명칭의 미국 특허 6,474,159(2002년 11월 5일에 발행), "자동 조화를 사용하는 차량 증강 현실용의 개선된 정합"라는 명칭으로 2014년 5월 2일에 출원된 미국 가 출원 61/988,106, 및 대응 출원 14/702,402(US2015/0317838 A1로 공개되었음)(각각의 전체 내용은 본원에 참조로 관련되어 있음)에 기재되어 있는 운동 추적과 관련하여 사용될 수 있다.
다양한 종류의 항공기 및 지상 차량에서 AR에 대한 응미로운 용례가 있다. 사실, "AR"이라는 용어가 만들어지기 전 수십년 동안 아주 이른 머리-추적형 씨쓰르우 HMD가 항공기에 사용되었다. 추가적인 상세는 Furness, T.A. (1986). The Super Cockpit and Human Factors Challenges. In Ung, M. Proceedings of Human Factors Society 30th Annual Meeting, pp. 48-52에 기재되어 있고, 이의 전체 내용은 본원에 참조로 관련되어 있다. 차량에서의 비젼-기반 추적은 통상적인 지상-기반 AR의 경우와는 매우 다른 어려움을 준다. 즉각적인 시각적 주변 환경은 차량의 내부이고, 여기서 마커의 사용이 완전히 실용적일 수 있다. 그러나, 이들 마커(또는 차량에 있는 어떤 다른 시각적 부분)는 증강의 안정화가 필요한 세계 프레임에 대해 움직이며, 그래서, 차량을 추적하고 또한 차량에 대해 머리를 추적하고 또한 달성할 충분한 정확도로 이것을 모두 조합하기 위해서는 주의 깊은 공학적 기술이 필요하다.
1991년 전에 비행기에서 사용되었던 다양한 머리 추적기(예컨대, 대개 기계식, 광학식 및 자기식이었음)가 F. Ferrin, "Srvey of helmet tracking technologies" SPIE, vol. 1456, pp 86-94, 1991(이의 전체 내용은 본원에 참조로 관련되어 있음)에 기재되어 있다. 항공기용 하이브리드 관성 헬멧 추적기가 Foxlin, E. Head-tracking relative to a moving vehicle or simulator platform using differential inertial sensors. Proceedings of Helmet and Head-Mounted Displays V, SPIE Vol. 4021, AeroSense Symposium, Orlando, FL, April 24-25, 2000(이의 전체 내용은 본원에 참조로 관련되어 있음)에 기재되어 있다. 인사이드-아웃사이드-인 옵티컬을 포함한 추가 양태가 Foxlin, E., Altshuler, Y., Naimark, L., & Harrington, M. FlightTracker: A Novel Optical/Inertial Tracker for Cockpit Enhanced Vision. IEEE/ACM International Symposium on Mixed and Augmented Reality (Washington, D.C., ISMAR 2004), Nov. 2-5, 2004; Foxlin, E. & Naimark, L. (2003). VIS-Tracker: A Wearable Vision-Inertial Self-Tracker. IEEE Conference on Virtual Reality (Los Angeles, CA, 2003); 및 Atac, R. & Foxlin, E. Scorpion hybrid optical-based inertial tracker (HObIT).　Proc. SPIE　8735, Head- and Helmet-Mounted Displays XVIII: Design and Applications, 873502, May 16, 2013(이의 전체 내용은 본원에 참조로 관련되어 있음)에 기재되어 있다.
본 명세서에서 주어진 장치, 시스템 및 방법의 양태는 군용 항공기 및 민간 항공기 모두를 포함한 다양한 차량에 적합하다. 예컨대 항공기에 이미 존재할 수 있는 다른 미션 컴퓨터(MC)와 적합할 수 있도록, 본 발명의 양태에 따른 디스플레이 시스템이 모든 차량 AR 시스템에 공통적인 일반적인 머리 추적, 렌더링(rendering) 및 디스플레이 기능만 실행할 수 있고, 타겟팅, 큐잉(cueing), 향상된 비젼 또는 합성 비젼과 같은 미션 특정적인 기능은 실행하지 않는다. 이러한 시스템은 렌더링을 책임질 것이고 렌더링될 대상은 결정하지 않기 때문에, MC에 대한 인터페이스는, MC가 임의의 색 또는 두께 및/또는 비트맵(bitmap)의 선분이 관련되는 2D 또는 3D 형상을 포함한 임의의 세트의 "기호"를 규정하고 다운로드할 수 있게 해준다. 각 기호는 지상 안정화되거나 머리 안정화되거나 또는 차량 안정화되도록 MC에 의해 특정될 수 있다.
예컨대, AR 시스템의 일 예는 추적 요소 및 디스플레이를 포함하는 HMD를 포함할 수 있다. 제어부 및 영상 발생기는 HMD에 관한 추적 데이타를 받고 발생된 이미지를 HMD에 전달하게 된다. 제어부는 또한 차량의 미션 컴퓨터로부터 입력(예컨대 기호 데이타 및 항공기 GPS/INS로부터 온 데이타를 포함하여)를 받을 수 있다.
본 명세서에서 주어진 양태는 자기적 추적기를 대체하는 것을 포함할 수 있는데, 그래서 시스템은 조종석에 설치되는 능동형 장치(예컨대, 자기 소스 또는 광학 카메라)를 포함하지 않는다. 대신에, 모든 관성 및 광학 센서는 예컨대 헬멧에 장착되는 자기 충적인(self-contained) 센서에 제공될 수 있다. 센서는 헬멧-차량 인터페이스(HVI)를 통해 조종석 장착 제어부와 같은 제어부와 통신할 수 있다. 센서는 예컨대 디스플레이 포드로서 동일한 HVI 케이블을 사용하여 제어부와 통신할 수 있다. 기점 스틱커가 파일럿 또는 운전자의 머리 위쪽의 캐노피에 배치되어 운동 추적을 도와줄 수 있다.
항공기 외에도, 본 명세서에서 주어지는 운동 추적 양태에 대한 많은 가능한 용례가 있다. 예컨대, 지상 차량에서의 AR 용례가 있다. 눈이 많이 내리는 알래카와 같은 기후에서는, 눈이 높게 쌓여 제설차의 운전자가 도로변 안내 기둥의 정상부를 볼 수 없게 되다. 이 경우, AR 시스템이 사용되어 제설차의 운전자를 안내할 수 있다.
다른 가능성은, 토목 공사 장비 및 다른 건설 중장비 기계의 작동자가 CAD 모델에서 계획된 원하는 결과를 더욱 효율적이고 정확하게 얻는 것을 도와주기 위해 그 작동자를 위한 AR 안내이다. 최초 대응자가 현장으로 운전해 가고 있을 때 또한 현장에 도달하여 차량에서 내린 후에 그 최초 대응자에게 상황 인식을 제공하는데에 AR 헤드셋이 또한 가치가 있을 것이다.
본 명세서에서 주어진 양태는 기점의 영상의 정확도를 개선하여 이들 종류의 차량에서의 운동 추적을 개선해 준다.
본 명세서에서 주어진 양태는, 준비되지 않은 실제 세계 환경에 있는 대응하는 물리적 대상에 대한 증강의 확실한 공간적-시간적 정합을 이룰 수 있는 머리 추적 및 충분한 시야(FOV)를 갖는 작고 편안한 HMD를 만드는 광학적 기술을 포함한 어려움을 해결한다. 추가적인 상세는 Azuma, R., 및 Bishop, G., "Improving Static and Dynamic Registration in a See-Through HMD", Proceedings of SIGGRAPH 37 '94. In Computer Graphics, Annual Conference Series, Orlando, FL., pp. 197-204, 1994; Krevelen, D.W.F., & Poelman, R. A Survey of Augmented Reality Technologies, Applications and Limitations. The International Journal of Virtual Reality, 9(2):1-20, 2010; Daniel Wagner, Gerhard Reitmayr, Alessandro Mulloni, Tom Drummond, Dieter Schmalstieg. Pose tracking from natural features on mobile phones. Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, pages 125-134. ISMAR 2008; Welch, G., Bishop, G., Vicci, L., Brumback, S., Keller, K. & Colluci, D. (2001). High-Performance Wide-Area Optical Tracking: The HiBall Tracking System. Presence: Teleoperators and Virtual Environments vol 10, issue 1, MIT Press; 및 Zhou, F., Been-Lirn Duh, Henry., Billinghurst, M. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR. Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, Pages 193-202. ISMAR 2008; and Roberts, D., Menozzi, A., Cook, J., Sherrill, T., Snarski, S., Russler, P., ... & Welch, G. Testing and evaluation of a wearable augmented reality system for natural outdoor environments. In　SPIE defense, Security, and Sensing　(pp. 87350A-87350A). International Society for Optics and Photonics. May 2013에 기재되어 있고, 이들 각각의 전체 내용은 본원에 참조로 관련되어 있다.
본 명세서에 설명한 양태는 위에서 약술한 양태의 예와 관련하여 설명했지만, 알려져 있거나 또는 현재 예상되지 않거나 예상될 수 없는지에 상관 없이 다양한 대안예, 수정예, 변화예, 개량예 및/또는 실질적인 등가예가 당업자에게 명백할 것이다. 따라서, 전술한 바와 같은 양태의 예는 실례를 들기 위한 것이지 한정적인 것이 아니다. 본 발명의 요지 및 범위에서 벗어남이 없이 다양한 변화가 이루어질 수 있다. 그러므로, 본 발명은 알려져 있거나 나중에 개발될 모든 대안예, 수정예, 변화예, 개량예 및/또는 실질적인 등가예를 포함하도록 되어 있다.
따라서, 청구 범위는 본 명세서에 나타나 있는 양태에 한정되지 않지만, 청구 범위의 기재 사항과 일차하는 전제 범위가 주어질 것이며, 어떤 요소에 대한 단수 표현은, 다른 구체적인 언급이 없으면, "하나의 그리고 단지 하나의"를 의미하는 것은 아니고 오히려 "하나 이상"을 의미한다. 당업자에게 알려져 있는 또는 나중에 알려질 본 개시 전체에 걸쳐 설명되어 있는 다양한 양태의 요소에 대한 모든 구조적 및 기능적 등가예가 명시적으로 본원에 참조로 관련되어 있고 청구 범위에 포함되도록 되어 있다. 더욱이, 본 명세서에 개시된 어떤 것도, 그러한 개시가 청구 범위에 명시적으로 언급되어 있는지에 관계 없이, 대중에 전용되도록 되어 있는 것은 아니다. 청구 범위 요소는, 그 요소가 "∼을 위한 수단"이라는 문구를 사용하여 명시적으로 언급되어 있지 않다면, 수단 + 기능으로서 해석되어서는 아니 된다.

Claims (15)

  1. 다른 조명 조건 하에서의 이중 모드 촬상을 이용하여 항공기의 캐노피, 조종석, 또는 객실에 탑재된 타겟을 추적하기 위한 장치에 있어서,
    헬멧;
    상기 헬멧에 탑재되며, 렌즈를 포함하고 기점(fiducial)(608)을 촬상하도록 구성된 센서(610); 및
    상기 헬멧에 탑재되며, 상기 센서가 상기 기점을 촬상하는 동안 상기 기점을 조명하도록 구성된 이중 모드 조명원(612)을 포함하고,
    상기 이중 모드 조명원(612)은 제 1 조명 조건 하에서 가시 밴드 밖의 제1 파장의 빛을 사용하여 상기 기점을 조명하고, 제 2 조명 조건 하에서 940 ㎚ 보다 긴 제 2 파장의 빛을 사용하여 상기 기점을 조명하도록 구성되어 있는 것이며,
    상기 이중 모드 조명원(612)은 주변 빛이 문턱값(threshold)을 충족할 때 제 1 파장의 빛을 방출하고, 주변 빛이 문턱값을 충족하지 못할 때 제 2 파장의 빛을 방출하는 것인, 타겟 추적 장치.
  2. 제 1 항에 있어서,
    상기 센서는 상기 제 1 파장의 빛을 사용하여 상기 기점이 조명될 때 제 1 노출 시간을 사용하여 상기 기점을 촬상하고, 상기 제 2 파장의 빛을 사용하여 상기 기점이 조명될 때 제 2 노출 시간을 사용하는 것이며, 상기 제 1 노출 시간은 제 2 노출 시간 보다 짧거나 그와 동일한 것인, 타겟 추적 장치.
  3. 제 2 항에 있어서,
    상기 제 1 노출 시간은 15 내지 150 ㎲를 포함하는 제 1 범위 내에 있고, 상기 제 2 노출 시간은 500 내지 2000 ㎲를 포함하는 제 2 범위 내에 있는 것인, 타겟 추적 장치.
  4. 제 2 항에 있어서,
    상기 제 1 파장은 850 nm이고 상기 제 2 파장은 980 nm인, 타겟 추적 장치.
  5. 제 1 항에 있어서,
    상기 센서와 상기 기점 사이에 위치되는 간섭 필터를 더 포함하는, 타겟 추적 장치.
  6. 제 5 항에 있어서,
    상기 간섭 필터는, 상기 제 1 파장의 좁은 패스 밴드, 및 상기 제 2 파장의 제2 좁은 패스 밴드를 포함하는 것인, 타겟 추적 장치.
  7. 제 1 항에 있어서,
    상기 이중 모드 조명원은, 상기 제 1 파장의 빛을 방출하는 제 1 방출기, 및 상기 제 2 파장의 빛을 방출하는 제 2 방출기를 포함하는 것인, 타겟 추적 장치.
  8. 제 7 항에 있어서,
    상기 제1 방출기는 적어도 하나의 발광 다이오드(LED; light emitting diode)를 포함하고, 상기 제2 방출기는 수직 공동 표면 방출 레이저(VCSEL; vertical cavity surface emitting laser) 방출기, 레이저 다이오드, 및 발광 다이오드(LED)로 이루어진 그룹에서 선택되는 적어도 하나를 포함하는 것인, 타겟 추적 장치.
  9. 제 8 항에 있어서,
    상기 제 2 방출기는 자외선 범위의 빛을 방출하는 것인, 타겟 추적 장치.
  10. 제 8 항에 있어서,
    관성 측정 유닛(IMU; inertial measurement unit)을 더 포함하고, 상기 센서는 어안(fish eye) 렌즈를 포함하는 것인, 타겟 추적 장치.
  11. 제 1 항에 있어서,
    상기 이중 모드 조명원은 상기 센서 주위에 위치되는 복수의 방출기를 포함하는 것인, 타겟 추적 장치.
  12. 다른 조명 조건 하에서 타겟을 촬상 함으로써 항공기의 캐노피, 조종석, 또는 객실에 탑재된 타겟을 추적하기 위한 이중 모드 촬상 시스템에 있어서,
    기점(608); 및
    제 1 항에 따른 타겟 추적 장치를 포함하고,
    상기 센서는 상기 기점을 촬상하도록 구성된 것이며, 상기 이중 모드 조명원은 상기 센서가 상기 기점을 촬상하는 동안 상기 기점을 조명하도록 구성된 것인, 이중 모드 촬상 시스템.
  13. 제 12 항에 있어서,
    상기 기점은 역반사(retro-reflective) 재료를 포함하고 6㎜ 내지 25㎜의 크기를 갖는 것인, 이중 모드 촬상 시스템.
  14. 제 12 항에 있어서,
    상기 기점의 이미지에 근거하여 상기 항공기의 캐노피에 대해 움직이는 헬멧의 위치를 추적하도록 구성된 프로세서를 더 포함하는, 이중 모드 촬상 시스템.
  15. 제 12 항에 있어서,
    상기 이중 모드 조명원은 주변 빛이 문턱값(threshold)을 충족할 때 제 1 파장의 빛을 방출하고, 주변 빛이 문턱값을 충족하지 못할 때 제 2 파장의 빛을 방출하는 것이고, 상기 센서는 상기 제 1 파장의 빛을 사용하여 상기 기점이 조명될 때 제 1 노출 시간을 사용하여 상기 기점을 촬상하고, 상기 제 2 파장의 빛을 사용하여 상기 기점이 조명될 때 제 2 노출 시간을 사용하는 것이며, 상기 제 1 노출 시간은 제 2 노출 시간 보다 짧은 것인, 이중 모드 촬상 시스템.
KR1020217040955A 2015-03-13 2016-03-02 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터 KR102561173B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562133138P 2015-03-13 2015-03-13
US62/133,138 2015-03-13
US15/052,712 2016-02-24
US15/052,712 US10212355B2 (en) 2015-03-13 2016-02-24 Dual-mode illuminator for imaging under different lighting conditions
KR1020177029435A KR102341181B1 (ko) 2015-03-13 2016-03-02 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터
PCT/US2016/020462 WO2016148920A1 (en) 2015-03-13 2016-03-02 Dual-mode illuminator for imaging under different lighting conditions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177029435A Division KR102341181B1 (ko) 2015-03-13 2016-03-02 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터

Publications (2)

Publication Number Publication Date
KR20210154998A KR20210154998A (ko) 2021-12-21
KR102561173B1 true KR102561173B1 (ko) 2023-07-27

Family

ID=56919299

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177029435A KR102341181B1 (ko) 2015-03-13 2016-03-02 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터
KR1020217040955A KR102561173B1 (ko) 2015-03-13 2016-03-02 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177029435A KR102341181B1 (ko) 2015-03-13 2016-03-02 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터

Country Status (8)

Country Link
US (1) US10212355B2 (ko)
EP (2) EP3786686B1 (ko)
JP (1) JP6672326B2 (ko)
KR (2) KR102341181B1 (ko)
ES (2) ES2830178T3 (ko)
IL (1) IL253944B (ko)
WO (1) WO2016148920A1 (ko)
ZA (1) ZA201706737B (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180248B2 (en) 2015-09-02 2019-01-15 ProPhotonix Limited LED lamp with sensing capabilities
US10401956B2 (en) 2017-05-11 2019-09-03 Microsoft Technology Licensing, Llc Infrared eye-tracking in high ambient light conditions
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10274979B1 (en) * 2018-05-22 2019-04-30 Capital One Services, Llc Preventing image or video capture of input data provided to a transaction device
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US11291507B2 (en) 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
US11155226B2 (en) 2018-08-17 2021-10-26 Veoneer Us, Inc. Vehicle cabin monitoring system
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11272118B2 (en) * 2018-10-11 2022-03-08 Stmicroelectronics (Grenoble 2) Sas Method for processing signals from an imaging device, and associated device
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10438010B1 (en) 2018-12-19 2019-10-08 Capital One Services, Llc Obfuscation of input data provided to a transaction device
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) * 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11487124B2 (en) 2019-08-14 2022-11-01 Thales Defense & Security, Inc. Methods and systems for auto-alignment of displays
US11249546B2 (en) * 2019-10-22 2022-02-15 Rockwell Collins, Inc. Night vision compatible short-wave infrared eye tracking system
DE102019218178A1 (de) * 2019-11-25 2021-05-27 Robert Bosch Gmbh Bildaufnahmeverfahren und landwirtschaftliche Maschine
KR20210141036A (ko) 2020-05-15 2021-11-23 삼성전자주식회사 광원 패키지 및 이를 포함하는 모바일 기기
US11363188B2 (en) 2020-06-17 2022-06-14 Microsoft Technology Licensing, Llc Motion-based operation of imaging devices
US11920922B2 (en) 2021-04-02 2024-03-05 Rockwell Collins, Inc. Combiner alignment detector
WO2024029738A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093805A1 (en) * 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US20070296688A1 (en) * 2006-06-22 2007-12-27 Toshiba Matsushita Display Technology Co., Ltd. Liquid crystal display device achieving imaging with high s/n ratio using invisible light

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169096A (ja) * 1999-12-08 2001-06-22 Canon Inc 画像読取方法及び装置並びに記憶媒体
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US20030067537A1 (en) * 2001-10-04 2003-04-10 Myers Kenneth J. System and method for three-dimensional data acquisition
JP4033008B2 (ja) * 2003-03-17 2008-01-16 日産自動車株式会社 車両用暗視装置
US7217913B2 (en) 2003-12-18 2007-05-15 Micron Technology, Inc. Method and system for wavelength-dependent imaging and detection using a hybrid filter
US7095002B2 (en) * 2004-02-23 2006-08-22 Delphi Technologies, Inc. Adaptive lighting control for vision-based occupant sensing
US7307721B2 (en) 2005-04-13 2007-12-11 Brightwell Technologies Particle imaging system with a varying flow rate
US7609249B2 (en) 2005-04-21 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination utilizing a cordless device
US7515822B2 (en) 2006-05-12 2009-04-07 Microsoft Corporation Imaging systems' direct illumination level adjusting method and system involves adjusting operation of image sensor of imaging system based on detected level of ambient illumination
US8077914B1 (en) 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
JP5259937B2 (ja) * 2006-08-11 2013-08-07 株式会社島津製作所 表示装置および表示システム
WO2008097933A1 (en) 2007-02-04 2008-08-14 Miralex Systems Incorporated Systems and methods for gaze tracking using multiple images
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP4915314B2 (ja) * 2007-08-23 2012-04-11 オムロン株式会社 撮像装置および撮像制御方法
JP2009153578A (ja) * 2007-12-25 2009-07-16 Hitachi Maxell Ltd 生体情報取得装置及び電子機器
JP5395512B2 (ja) * 2009-05-26 2014-01-22 オリンパスイメージング株式会社 撮影装置
US8746914B2 (en) 2010-02-15 2014-06-10 Webb T. Nelson Sports set that utilize stereoscopic illumination and retroreflective materials
CA2765651A1 (en) 2011-01-24 2012-07-24 Elizabeth Alice Munro System and method for optical imaging with vertical cavity surface emitting lasers
US9027838B2 (en) * 2012-02-06 2015-05-12 Cognex Corporation System and method for expansion of field of view in a vision system
US20140028861A1 (en) 2012-07-26 2014-01-30 David Holz Object detection and tracking
JP5923180B2 (ja) * 2012-11-12 2016-05-24 アルプス電気株式会社 生体情報計測装置及びそれを用いた入力装置
JP5853947B2 (ja) 2012-12-27 2016-02-09 株式会社デンソー 暗視装置
DE102013102653A1 (de) * 2013-03-14 2014-09-18 Finatec Holding Ag Vorrichtung und Verfahren zum Transport und zur Untersuchung von schnelllaufenden Behandlungsgütern
US9766075B2 (en) 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
KR20170056753A (ko) * 2015-11-13 2017-05-24 현대오트론 주식회사 헤드업 디스플레이를 이용한 주행 보조정보 표시 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093805A1 (en) * 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US20070296688A1 (en) * 2006-06-22 2007-12-27 Toshiba Matsushita Display Technology Co., Ltd. Liquid crystal display device achieving imaging with high s/n ratio using invisible light

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Atac et al.,Scorpion Hybrid Optical based Inertial Tracker (HObIT) Test Results, Proceeding of SPIE, 2014-06-13, Vol. 9086, 90860U
Atac et al.,Scorpion hybrid optical-based inertial tracker (HObIT), Proceeding of SPIE, 2013-05-16, Vol. 8735, 873502

Also Published As

Publication number Publication date
EP3268798A1 (en) 2018-01-17
WO2016148920A1 (en) 2016-09-22
EP3786686A1 (en) 2021-03-03
IL253944B (en) 2019-11-28
KR102341181B1 (ko) 2021-12-21
ZA201706737B (en) 2020-01-29
EP3268798A4 (en) 2018-10-24
US10212355B2 (en) 2019-02-19
ES2910417T3 (es) 2022-05-12
US20170026560A1 (en) 2017-01-26
ES2830178T3 (es) 2021-06-03
KR20210154998A (ko) 2021-12-21
IL253944A0 (en) 2017-10-31
EP3268798B1 (en) 2020-10-14
EP3786686B1 (en) 2022-03-16
JP2018515958A (ja) 2018-06-14
JP6672326B2 (ja) 2020-03-25
KR20170137102A (ko) 2017-12-12

Similar Documents

Publication Publication Date Title
KR102561173B1 (ko) 다른 조명 조건들에서의 이미징을 위한 듀얼-모드 일루미네이터
ES2926177T3 (es) Registro mejorado para realidad aumentada en vehículos que usa autoarmonización
US9324229B2 (en) System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5055516B2 (ja) 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法
US6232602B1 (en) Enhanced vision system sensitive to infrared radiation
CN107683220B (zh) 投影型显示装置以及投影显示方法
US8487787B2 (en) Near-to-eye head tracking ground obstruction system and method
US8218006B2 (en) Near-to-eye head display system and method
US20220382064A1 (en) Metalens for use in an eye-tracking system of a mixed-reality display device
US10455199B1 (en) Image management system for reducing effects of laser beams
US11768374B1 (en) Vehicle including head wearable display device and imperceptible reference fiducials and method therefor
EP3812824A1 (en) Night vision compatible short-wave infrared eye tracking system
US20240087164A1 (en) Electroluminescent reference fiducial and system therefor
CN111221414A (zh) 信息处理方法、信息处理装置和电子设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant