KR102366110B1 - 번쩍임의 광원에의 매핑 - Google Patents

Abstract

본원에 개시되는 기술은 물체로부터 반사되는 번쩍임을 번쩍임의 원인인 광원에 매핑하는 다양한 실시예를 제공한다. 본원에 개시되는 실시예는 단지 몇 개의 영상을 카메라로 포착함으로써 번쩍임을 광원에 정확하게 매핑할 수 있다. 광원의 상이한 패턴으로 물체를 조명하면서 각각의 영상이 포착된다. 번쩍임 없는 영상이 또한 결정될 수 있다. 번쩍임 없는 영상은 영상 처리 기법에 의해 번쩍임이 제거된 영상이다.

Description

번쩍임의 광원에의 매핑{MAPPING GLINTS TO LIGHT SOURCES}

본 발명은 번쩍임의 광원에의 매핑에 관한 것이다.

번쩍임(glint)은 광원(light source)이 물체(object)로부터 반사된 것이다. 예를 들어, 광원으로부터의 광이 누군가의 눈으로부터 반사될 때, 카메라에 의해 포착(capturing)된 영상(image)에서 번쩍임이 검출될 수 있다. 물체의 3D 지오메트리(3D geometry)를 결정하는 것과 같은 기능을 수행하기 위해 번쩍임이 분석될 수 있다. 물체가 사람의 눈이면, 사람이 주시하고 있는 방향을 나타내는 3D 벡터를 결정하는 것이 가능하다. 물체 인식, 고속 움직임 추적, 및 생산 라인 제어와 같은, 번쩍임을 분석하는 많은 다른 응용 분야가 있다.

본 기술은 번쩍임을 광원에 매핑하는 다양한 실시예를 제공한다. 번쩍임을 번쩍임의 원인인 광원에 정확하게 매핑하는 것은 물체의 3D 지오메트리를 결정하는 것과 같은 기능을 수행할 수 있는 데 유용하다. 번쩍임 없는(glint free) 영상이 또한 결정될 수 있다. 번쩍임 없는 영상은 영상 처리 기법에 의해 번쩍임이 제거된 영상이다. 번쩍임 없는 영상을 갖는 것이, 사람의 눈의 동공과 같은, 물체의 요소를 식별하는 것을 돕는 데 유용할 수 있다.

일 실시예는 번쩍임을 광원에 매핑하는 방법을 포함하고, 이 방법은 다음과 같은 것을 포함한다. 물체가 광원들의 패턴들로 조명(illuminating)된다. 패턴은 광원들 중 제1 광원이 온(on)인 제1 패턴과 제1 광원이 오프(off)인 제2 패턴을 포함한다. 패턴들 중 대응하는 패턴들로 물체를 조명하면서 물체의 영상이 카메라에서 포착된다. 포착된 복수의 영상들에서의 번쩍임들이 분석된다. 분석에 기초하여, 번쩍임이 번쩍임의 원인인 광원에 매핑된다.

일 실시예는 복수의 광원, 카메라, 그리고 복수의 광원 및 카메라와 통신하는 논리를 포함하는 시스템이다. 논리는 복수의 광원들의 패턴들로 물체를 조명하기 위해 광원을 제어하도록 구성되어 있다. 패턴은 광원들 중 제1 광원이 온인 제1 패턴과 제1 광원이 오프인 제2 패턴을 포함한다. 광원들 각각은 패턴들 중 적어도 하나에 대해 오프이고, 패턴들 중 적어도 하나에 대해 온이다. 논리는 패턴들 중 대응하는 상이한 패턴들로 물체를 조명하면서 물체의 영상을 카메라에서 포착하도록 구성되어 있다. 논리는 패턴들로 물체를 조명한 결과로서의 포착된 영상들에서의 번쩍임들을 분석하도록 구성되어 있다. 논리는 분석에 기초하여 번쩍임을 번쩍임의 원인인 광원에 매핑하도록 구성되어 있다.

일 실시예는 이하의 것을 포함하는 방법이다. 눈이 복수의 광원들의 패턴들로 조명된다. 패턴은 광원들 중 제1 광원이 온인 제1 패턴과 제1 광원이 오프인 제2 패턴을 포함한다. 광원들 각각은 패턴들 중 적어도 하나에 대해 오프이고, 패턴들 중 적어도 하나에 대해 온이다. 패턴들 중 대응하는 패턴들로 눈을 조명하면서 눈의 영상이 카메라에서 포착된다. 포착된 복수의 영상들에서의 번쩍임들이 분석된다. 분석에 기초하여, 번쩍임이 각자의 번쩍임의 원인인 광원에 매핑된다. 번쩍임들에 기초하여 눈 시선(eye gaze)의 방향이 결정된다.

이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 선택된 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징 또는 필수적인 특징을 확인하기 위한 것이 아니며, 청구된 발명 요지의 범주를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다.

도 1은 실시예가 실시될 수 있는 예시적인 환경을 나타낸 도면.
도 2는 번쩍임을 광원에 매핑하는 프로세스의 일 실시예의 플로우차트.
도 3a는 혼합 현실 디스플레이 시스템(mixed reality display system)의 일 실시예의 예시적인 구성요소를 나타낸 블록도.
도 3b는 안경에 구현되는 혼합 현실 디스플레이 디바이스 상의, 각자의 눈 각각과 마주하여 배치된, 각각의 눈에 대한 시선 검출 시스템 내의 각자의 시선 검출 요소 세트의 위치의 예시적인 배열을 나타낸 도면.
도 3c는 안경에 구현되는 혼합 현실 디스플레이 디바이스 상의, 각자의 눈 각각과 마주하여 배치된, 각각의 눈에 대한 시선 검출 시스템 내의 각자의 시선 검출 요소 세트의 위치의 다른 예시적인 배열을 나타낸 도면.
도 3d는 안경에 의한, 각자의 눈 각각과 마주하여 배치된, 각각의 눈에 대한 시선 검출 시스템 내의 각자의 시선 검출 요소 세트의 위치의 또 다른 예시적인 배열을 나타낸 도면.
도 4a는 본 개시 내용에 기술되는 실시예에서 사용될 수 있는 투시형 접안 혼합 현실 디스플레이 유닛(see-through, near-eye, mixed reality display unit)의 하드웨어 및 소프트웨어 구성요소의 일 실시예의 블록도.
도 4b는 투시형 접안 디스플레이 유닛과 연관된 처리 유닛의 하드웨어 및 소프트웨어 구성요소의 일 실시예의 블록도.
도 5는 한 번에 하나의 광원을 턴오프시키는 것을 수반하는, 번쩍임을 광원에 매핑하고 번쩍임 없는 영상을 발생시키는(generating) 프로세스의 일 실시예의 플로우차트.
도 6a는 N 개의 상이한 패턴에 대응하는 N 개의 영상을 포착하는 동안 번쩍임이 최대 2^N - 2 개의 광원에 매핑될 수 있는 프로세스의 일 실시예의 플로우차트.
도 6b 및 도 6c는 도 6a의 프로세스 동안 수행되는 적당한 연산을 결정하는 예를 나타낸 도면.
도 7은 번쩍임 없는 영상을 개선(refine)시키는 프로세스의 플로우차트.
도 8은 번쩍임을 광원에 매핑하는 것에 부가하여 수행될 수 있는 추가 처리의 프로세스의 플로우차트.
도 9는 사람의 양눈이 초점이 맞춰져 있는 주시점(point of gaze)에서 교차하는 시선 벡터의 예를 나타낸 평면도.
도 10은 실시예를 구현하는 데 사용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도.

본원에 개시되는 기술은 물체로부터 반사되는 번쩍임을 각자의 번쩍임의 원인인 광원에 매핑하는 다양한 실시예를 제공한다. 번쩍임을 각자의 광원에 정확하게 매핑하는 것은 물체의 3D 지오메트리를 결정하는 것과 같은 기능을 수행할 수 있는 데 유용하다. 물체의 2D 영상으로부터 3D 지오메트리를 결정하는 것이 가능하다. 그렇지만, 번쩍임을 그 각자의 광원에 정확하게 매핑하는 것은 어려운 일일 수 있다. 하나의 과제는 물체가 움직이고 있을 수 있다는 것이다. 일 예로서, 사람의 눈이 꽤 빠르게 움직이고 있을 수 있다. 따라서, 움직임 아티팩트(motion artifact)와 연관된 문제점을 감소시키기 위해 아주 빠르게 수행될 수 있는 기법을 갖는 것이 유익할 수 있다.

본원에 개시되는 실시예는 단지 몇 개의 영상을 카메라로 포착하면서 번쩍임을 광원에 정확하게 매핑할 수 있다. 일 실시예에서, 광원들의 상이한 패턴들로 물체를 조명하면서 각각의 영상이 포착된다. 추가 상세는 이하에서 논의된다.

번쩍임 없는 영상이 또한 결정될 수 있다. 번쩍임 없는 영상은 영상 처리 기법에 의해 번쩍임이 제거된 영상이다. 번쩍임 없는 영상을 갖는 것이 물체의 요소를 식별하는 것을 돕는 데 유용할 수 있다. 예를 들어, 사람의 눈의 동공이 번쩍임 없는 영상에서 보다 쉽게 찾아질 수 있다. 실시예에 따르면, 번쩍임 없는 영상이, 어쩌면 하나의 부가 영상과 함께, 번쩍임을 광원에 매핑하는 데 사용되는 동일한 포착된 영상으로부터 결정될 수 있다.

도 1은 실시예가 실시될 수 있는 예시적인 환경을 나타낸 것이다. 일반적으로, 카메라(105)가 번쩍임을 포함하는 영상을 포착하는 동안 광원(107)이 물체(101)를 조명한다. 번쩍임은 광원(107)으로 인한 물체(101)로부터의 반사이다. 일 실시예에서, 번쩍임이 번쩍임의 원인인 광원(107)에 매핑된다. 하나의 비제한적인 예로서, 5 개의 도시된 광원(107) 각각이 개별적인 번쩍임을 야기할 수 있다. 이와 같이, 본 시스템은 번쩍임 각각을 그 각자의 광원(107)에 일의적으로 매핑할 수 있다.

일 실시예에서, 광원(107)은 LED(light emitting diode)이다. 일 실시예에서, 광원(107)은 IR(infrared) 광을 방출한다. 대부분의(또는 모든) 광원(107)이 번쩍임을 카메라(105)로 반사시키도록 광원(107)이 배치될 수 있다. 일 실시예에서, 광원(107)이 물체(101)에 상대적인 위치에 실질적으로 고정되어 있다. 사람의 눈의 움직임에서와 같이, 물체(101)가 얼마간 움직일 수 있다는 것에 유의해야 한다. 일부 실시예에서, 광원(107), 물체(101) 및 카메라(105)가 절대 위치에 고정되어(또는 적어도 실질적으로 고정되어) 있다. 일부 실시예에서, 물체(101) 및/또는 카메라(105)에 대한 광원(107)의 상대 위치가 고정되어(또는 적어도 실질적으로 고정되어) 있다. 그렇지만, 절대 위치가 실질적으로 변할 수 있다. 예를 들어, 사람이, 광원(107)은 물론 카메라(105)를 포함하는 장치를 착용하고 있으면서, 걷고 있을 수 있다.

제어 회로부(103)는 광원(107)을 제어하도록 구성되어 있다. 일 실시예에서, 특정의 조명 패턴을 생성하기 위해 광원(107)이 턴온 또는 턴오프된다. 패턴들 각각에 대해 개별적인 영상이 카메라(105)에 의해 포착된다. 제어 회로부(103)는, 각각의 패턴에 대한 영상을 포착하기 위해, 카메라(105)의 동작을 조명 패턴에 동기화시킬 수 있다. 제어 회로부(103)는 각각의 영상에 대한 노출을 제어할 수 있다. 이것은 상이한 패턴으로부터 상이한 조명 레벨이 야기되는 경우에 유용할 수 있다. 예를 들어, 하나의 패턴은 모든 광원(107)이 온일 수 있는 반면, 다른 패턴은 하나 이상의 광원(107)이 오프일 수 있다.

제어 회로부(103)(또는 다른 논리)는 번쩍임을 광원(107)에 매핑하기 위해 영상을 분석한다. 제어 회로부(103)는 소프트웨어 및/또는 하드웨어의 임의의 조합일 수 있다. 예를 들어, 제어 회로부(103)에 의해 구현되는 논리의 전부 또는 일부분이 프로세서 실행 가능 명령어를 프로세서 상에서 실행하는 것에 의해 구현될 수 있다.

살펴본 바와 같이, 물체(101)가 카메라(105)에 대해 움직이지 않거나 카메라(105)에 대해 얼마간 움직일 수 있다. 카메라(105)는, 포착된 영상들 사이의 움직임이 작게 유지되도록, 고속 카메라일 수 있다. 일 실시예에서, 모든 광원(107)이 온인 상태에서 하나의 영상이 포착된다("올 온 영상(All On image)"). 제어 회로부(103)는 이 올 온 영상을 사용하여 상이한 영상에서의 특징(번쩍임 등)을 공간적으로 동기화시킬 수 있다. 환언하면, 물체(101)와 카메라(105) 및/또는 번쩍임의 원인인 광원(107) 사이의 약간의 움직임으로 인해, 번쩍임이 상이한 영상에서 약간 상이한 픽셀 위치에 나타날 수 있다. 제어 회로부(103)는 번쩍임이 모든 영상에 대해 균일한 픽셀 위치에 있도록 보정을 하기 위한 것이다.

일 실시예에서, 물체(101)가 눈(예컨대, 사람 눈)이다. 이러한 실시예에서, 번쩍임은, 각막 구체(cornea sphere)와 같은, 눈 지오메트리(eye geometry)의 재구성을 발생시키는 데 사용될 수 있다. 눈 시선이 눈 지오메트리에 기초하여 결정될 수 있다. 이것은 또한 3D 시선 벡터(3D eye vector)를 결정하는 것이라고도 지칭될 수 있다. 그렇지만, 물체 인식, 고속 움직임 추적, 및 생산 라인 제어와 같은, 번쩍임에 대한 많은 다른 응용 분야가 있다는 것에 유의해야 한다. 이와 같이, 물체(101)가 눈일 필요는 없다.

도 2는 번쩍임을 광원(107)에 매핑하는 프로세스(201)의 일 실시예의 플로우차트이다. 도 1의 시스템이 참조될 것이지만; 프로세스(201)가 도 1의 시스템으로 제한되지 않는다는 것을 잘 알 것이다.

단계(203)에서, 물체(101)가 광원(107)으로 조명된다. 예를 들어, 제어 회로부(103)는 물체(101)를 특정 패턴으로 조명하기 위해 광원(107)을 제어한다. 패턴은 어느 광원(들)이 온이고 어느 광원(들)(있는 경우)이 오프인지에 의해 정의된다. 예를 들어, 하나의 패턴은 모든 광원(107)이 온이다. 다른 패턴은 광원들(107) 중 정확히 하나가 오프이고 나머지 광원들(107) 모두가 온이다. 광원들(107) 각각에 대한 이러한 "원 온(one on)" 패턴이 있을 수 있다. 또 다른 패턴은 광원들(107) 중 2 개 이상이 온이고 나머지가 오프일 수 있다.

일부 실시예에서, 패턴은 제1 광원(107)이 온인 제1 패턴과 제1 광원(107)이 오프인 제2 패턴을 포함한다. 일 예로서, 제1 패턴에서, 광원들(107) 모두가 온이다. 그렇지만, 제2 패턴에서, 제1 광원(107)만이 오프이다 - 나머지 광원들(107)은 온임 -. 도 5는 이 기법의 일 실시예를 기술하고 있다. 그렇지만, 이것이 일 예에 불과하다는 것에 유의해야 한다. 다른 예는 제1 광원(107)이 온이고 다른 광원들(107) 중 하나 이상이 오프인 제1 패턴에 대한 것이다. 이어서, 제2 패턴에서, 제1 광원(107)과 다른 광원들(107) 중 0 개 이상이 오프이다. 도 6a는 이 기법의 일 실시예를 기술하고 있다.

일부 실시예에서, 광원들 (107) 각각은 패턴들 중 적어도 하나에 대해 오프이고, 패턴들 중 적어도 하나에 대해 온이다. 이것은, 각각의 광원에 대해 이러한 패턴을 갖는, 주어진 패턴에 대해 정확히 하나의 광원(107)이 오프인 것을 포함한다. 도 5는 이 기법의 일 실시예를 기술하고 있다. 이것은 또한 주어진 패턴에 대해 2 개 이상의 광원이 오프인 것을 포함할 수 있다. 도 6a는 이 기법의 일 실시예를 기술하고 있다.

단계(205)에서, 제어 회로부(103)는 패턴들 중 대응하는 패턴으로 물체(101)를 조명하면서 카메라(105)가 영상을 포착하게 한다. 즉, 각각의 패턴에 대해 하나의 영상이 포착될 수 있다. 일 실시예에서, 카메라(105)는, 영상이 아주 짧은 기간에 걸쳐 포착될 수 있도록, 고속 카메라(105)이다. 영상이 물체(101)가 그다지 움직이지 않는 기간에 걸쳐 포착되는 것이 바람직할 수 있다. 얼마간의 움직임은 처리될 수 있다.

단계(207)에서, 영상에서의 번쩍임이 분석된다. 이것은 제어 회로부(103) 또는 다른 논리에 의해 수행될 수 있다. 분석은 광원들(107) 중 특정의 광원에 대한 번쩍임을 검출하도록 설계되어 있는 영상들 중 특정의 영상에 대해 일련의 동작들을 수행하는 것을 수반할 수 있다. 즉, 동작들의 결과로서 검출되는 어느 번쩍임 또는 번쩍임들이든 특정의 광원(107)에 매핑되는 것으로 알려져 있다. 처리를 위해 선택되는 특정의 영상은 어느 광원(107)이 처리되고 있는지에 의존할 수 있다. 또한, 영상에 대해 수행되는 특정의 동작은 물체를 조명하기 위해 어느 패턴이 사용되는지는 물론, 어느 광원(107)이 처리되고 있는지에 의존할 수 있다.

일 실시예에서, 단계(207)는 하나의 영상과 다른 영상 사이의 차분(difference)을 비교하는 것을 포함한다. 일 예로서, 정확히 하나의 광원(107)이 오프인 상태에서 포착된 영상에 없는 번쩍임을 찾아내기 위해, 정확히 하나의 광원(107)이 오프인 상태에서 포착된 영상이 모든 광원(107)이 온일 때 포착된 영상과 비교될 수 있다. 일 실시예에서, 단계(107)는 올 온 영상과 단지 하나의 광원(107)이 오프인 상태에서의 영상 사이의 픽셀별(per-pixel) 차분 영상을 계산하는(computing) 것을 포함한다. 게다가, 상세는 도 5의 논의와 관련하여 이하에서 논의된다.

일 실시예에서, 단계(207)는 "최소(min) 영상"을 생성하기 위해 하나 이상의 영상의 픽셀별 최소치(per-pixel minimum)를 수행하는 것을 포함한다. 이것은 제1 광원(107)이 온인 일련의 영상에 대한 것일 수 있다. 일 실시예에서, 단계(207)는 "최대치(max) 영상"을 생성하기 위해 하나 이상의 영상의 픽셀별 최대치(per-pixel maximum)를 수행하는 것을 포함한다. 이것은 제1 광원(107)이 오프인 일련의 영상에 대한 것일 수 있다. 일 실시예에서, 단계(207)는 최대치 영상이 최소치 영상으로부터 차감되는 픽셀별 부호 없는 포화 차감 연산(per-pixel unsigned saturated subtract operation)인 픽셀별 차분 영상을 계산하는 것을 포함한다. 게다가, 상세는 도 6a의 논의와 관련하여 이하에서 논의된다.

단계(209)에서, 단계(207)의 분석에 기초하여 번쩍임이 광원(107)에 매핑된다. 일부 실시예에서, 단계(207)의 분석은 현재 분석되고 있는 광원에 어느 번쩍임이 매핑되든 그 번쩍임을 포함하는 영상을 생성한다. 단계(209)가 번쩍임을 광원에 매핑하는 것으로 표현되어 있지만, 단계(207)에서의 적당한 분석에 의해 번쩍임이 광원들(107) 모두에 매핑될 수 있다는 것을 잘 알 것이다.

추가 상세를 논의하기 전에, 예시적인 디바이스 및 응용 분야가 논의될 것이다. 예시적인 응용 분야는 시선 검출이다. 시선은 때때로 사용자의 눈부터 사용자가 보고 있는 물체(실제 물체 또는 가상 물체)까지의 가시선(line of sight)이라고 지칭된다. 실시예가 이 예시적인 디바이스 또는 이 예시적인 응용 분야로 제한되지 않는다.

도 3a는 시선 결정(gaze determination)을 갖는 혼합 현실 디스플레이 시스템의 일 실시예의 예시적인 구성요소를 나타낸 블록도이다. 시스템(10)은 전선(6)을 통해 처리 유닛(4)과 통신하는 접안 헤드 마운티드 디스플레이 디바이스(near-eye, head mounted display device)(2)인 투시형 디스플레이 디바이스를 포함한다. 다른 실시예에서, 헤드 마운티드 디스플레이 디바이스(2)는 무선 통신을 통해 처리 유닛(4)과 통신한다. 처리 유닛(4)은 다양한 실시예를 취할 수 있다. 일부 실시예에서, 처리 유닛(4)은 사용자의 신체(예컨대, 예시된 예에서, 손목) 상에 또는 주머니에 착용될 수 있는 별개의 유닛이고, 접안 디스플레이 디바이스(2)를 작동시키는 데 사용되는 컴퓨팅 능력의 상당 부분을 포함한다. 처리 유닛(4)은 하나 이상의 컴퓨팅 시스템(도 3a에 도시되지 않음)과 무선(예컨대, WiFi, 블루투스, 적외선, 또는 다른 무선 통신 수단)으로 통신할 수 있다. 다른 실시예에서, 처리 유닛(4)의 기능이 디스플레이 디바이스(2)의 소프트웨어 및 하드웨어 구성요소에 통합될 수 있다.

일 실시예에서, 프레임(frame)(115) 내의 안경알의 형상으로 되어 있는 헤드 마운티드 디스플레이 디바이스(2)는, 사용자가, 이 예에서, 각각의 눈에 대한 디스플레이 광학계(14)로서 구현되는 디스플레이를 투시하고 따라서 사용자의 전방에 있는 공간을 실제로 직접 볼 수 있도록, 사용자의 머리에 착용된다. 프레임(115)은 시스템의 요소를 제자리에 유지시키기 위한 지지체는 물론, 전기적 연결을 위한 통로를 제공한다. 이 실시예에서, 프레임(115)은 이하에서 추가로 논의되는 시스템의 요소에 대한 지지체인 편리한 안경테(eyeglass frame)를 제공한다. 다른 실시예에서, 다른 지지 구조물이 사용될 수 있다. 이러한 구조물의 일 예는 바이저 또는 고글이다. 프레임(115)은 사용자의 양귀 각각에 걸리는 안경다리 또는 사이드 아암(side arm)을 포함한다. 안경다리(102)는 우측 안경다리의 일 실시예를 나타낸다. 프레임의 코 받침(104)은 소리를 녹음하고 오디오 데이터를 처리 유닛(4)으로 전송하기 위한 마이크로폰(110)을 포함한다. 일 실시예에서, 처리 유닛(4)은, 스마트 셀룰러 전화와 같은, 모바일 디바이스의 일부이다. 모바일 디바이스(5)의 어떤 다른 예는 랩톱 또는 노트북 컴퓨터 및 넷북 컴퓨터이다. 처리 유닛(4)은 또한 데스크톱 또는 다른 컴퓨팅 시스템일 수 있다.

도 3b는 안경(2)에 구현되는 투시형 접안 혼합 현실 디스플레이 시스템에 의한, 각자의 눈 각각과 마주하여 배치된, 각각의 눈에 대한 시선 검출 시스템 내의 각자의 시선 검출 요소 세트의 위치의 예시적인 배열을 나타낸 것이다. 각각의 눈에 대해 렌즈처럼 보이는 것은 각각의 눈에 대한 디스플레이 광학계(14)(예컨대, 14r 및 14l)를 나타낸다. 디스플레이 광학계는, 보통의 안경에서와 같이, 투시형 렌즈를 포함하지만, 가상 콘텐츠를 렌즈를 통해 보이는 실제의 직접적인 현실 세계 뷰와 매끄럽게 융합시키기 위한 광학 요소(예컨대, 거울, 필터)도 포함한다. 디스플레이 광학계(14)는 왜곡없는 뷰(distortionless view)를 제공하기 위해 광이 일반적으로 평행화(collimate)되는 투시형 렌즈의 중심에 일반적으로 있는 광축을 가진다. 예를 들어, 안과 의료 전문가가 통상의 안경을 사용자의 얼굴에 맞출 때, 목적은 안경이 각각의 동공이 각자의 렌즈의 중심 또는 광축과 정렬되는 위치에서 사용자의 코에 걸치고, 그 결과 명확하거나 왜곡없는 뷰를 위해 일반적으로 평행화된 광이 사용자의 눈에 도달하게 하는 것이다.

도 3b의 예에서, 적어도 하나의 센서의 검출 영역(139r, 139l)이 그 각자의 디스플레이 광학계(14r, 14l)의 광축과 정렬되고, 따라서 검출 영역(139r, 139l)의 중심이 광축을 따라 광을 포착하고 있다. 디스플레이 광학계(14)가 사용자의 동공과 정렬되면, 각자의 센서(134)의 각각의 검출 영역(139)이 사용자의 동공과 정렬된다. 검출 영역(139)의 반사광은 하나 이상의 광학 요소를 통해 카메라 - 이 예에서, 파선에 의해 프레임(115) 내부에 있는 것으로 예시되어 있음 - 의 실제 영상 센서(134)로 전달된다.

일 예에서, 가시광 카메라(흔히 RGB 카메라라고도 지칭됨)가 센서일 수 있고, 광학 요소 또는 광 지향 요소(light directing element)의 일 예는 부분 투과성(partially transmissive) 및 부분 반사성(partially reflective)인 가시광 반사 거울이다. 가시광 카메라는 사용자의 눈의 동공의 영상 데이터를 제공하는 반면, IR 광 검출기(152)는 스펙트럼의 IR 부분에서의 반사인 번쩍임을 포착한다. 가시광 카메라가 사용되는 경우, 가상 영상의 반사가 카메라에 의해 포착되는 눈 데이터(eye data)에 나타날 수 있다. 원하는 경우, 가상 영상 반사를 제거하기 위해 영상 필터링 기법이 사용될 수 있다. IR 카메라는 눈에서의 가상 영상 반사에 민감하지 않다. 물체(101)로부터의 번쩍임을 포착하는 카메라(105)의 하나의 구현을 위해 IR 광 검출기(152)가 사용될 수 있다. 그렇지만, 번쩍임을 포착하기 위해 IR 광 검출기(152)에 부가하여 또는 그 대신에 다른 센서가 사용될 수 있다.

다른 예에서, 적어도 하나의 센서(134)는 IR 방사가 지향될 수 있는 IR 카메라 또는 PSD(position sensitive detector)이다. 예를 들어, 고온 반사면이 가시 광은 투과시키지만 IR 방사는 반사시킬 수 있다. 눈으로부터 반사되는 IR 방사는 조명기(153), 다른 IR 조명기(도시되지 않음)의 입사 방사로부터 또는 눈으로부터 반사되는 주변 IR 방사로부터 온 것일 수 있다. 조명기(153)는 물체(101)를 조명하는 데 사용되는 광원(107)의 일 실시예이다.

일부 예에서, 센서(134)는 RGB 카메라와 IR 카메라의 결합일 수 있고, 광 지향 광학 요소는 가시광 반사 또는 전환 요소 및 IR 방사 반사 또는 전환 요소를 포함할 수 있다. 일부 예에서, 카메라는 소형(예컨대, 2 밀리미터(mm) x 2 mm)일 수 있다. 이러한 카메라 센서의 일 예는 Omnivision OV7727이다. 다른 예에서, 예컨대, 영상 센서 또는 카메라(134)가 디스플레이 광학계(14)의 광축 또는 다른 위치에 중심이 올 수 있도록 카메라가 충분히 소형(예컨대, Omnivision OV7727)일 수 있다. 예를 들어, 카메라(134)는 광학계(14)의 렌즈 내에 매립되어 있을 수 있다. 그에 부가하여, 사용자에 대한 임의의 주의 산만을 줄이기 위해 카메라를 사용자 시야 내에 블렌딩(blend)하기 위해 영상 필터링 기법이 적용될 수 있다.

도 3b의 예에서, 조명기(153)에 의해 발생되는 입사광과 광 검출기(152)에 수광되는 반사광 사이의 간섭을 피하기 위해, 장벽(154)에 의해 분리되어 있는 광 검출기(152)와 조명기(153)의 쌍이 4 세트 있다. 도면에서의 불필요한 복잡함을 피하기 위해, 대표적인 쌍에 대해 도면 번호가 도시되어 있다. 각각의 조명기는 대략 미리 결정된 파장의 좁은 광 빔을 발생시키는 적외선(IR) 조명기일 수 있다. 광 검출기들 각각이 대략 미리 결정된 파장의 광을 포착하기 위해 선택될 수 있다. 적외선은 근적외선도 포함할 수 있다. 조명기 또는 광 검출기의 파장 드리프트(wavelength drift)가 있을 수 있거나 파장에 관한 작은 범위가 허용 가능할 수 있기 때문에, 조명기 및 광 검출기는 발생 및 검출을 위한 파장에 관한 허용 오차 범위(tolerance range)를 가질 수 있다. 센서가 IR 카메라 또는 IR PSD(position sensitive detector)인 실시예에서, 광 검출기는 부가의 데이터 포착 디바이스일 수 있고, 또한 조명기의 동작(예컨대, 파장 드리프트, 빔 폭 변화 등)을 모니터링하는 데 사용될 수 있다. 광 검출기는 또한 센서(134)로서 가시광 카메라를 사용하여 번쩍임 데이터를 제공할 수 있다.

도 3c는 안경에 구현되는 혼합 현실 디스플레이 디바이스 상의, 각자의 눈 각각과 마주하여 배치된, 각각의 눈에 대한 시선 검출 시스템 내의 각자의 시선 검출 요소 세트의 위치의 다른 예시적인 배열을 나타낸 것이다. 이 실시예에서, 2 세트의 조명기(153) 및 광 검출기(152) 쌍이, 디스플레이 광학계(14)를 둘러싸고 있는, 각각의 프레임 부분(115)의 상단 근방에 배치되고, 조명기와 따라서 조명기가 발생시키는 번쩍임 사이의 기하학적 관계의 다른 예를 예시하기 위해, 다른 2 세트의 조명기 및 광 검출기 쌍이 각각의 프레임 부분(115)의 하단 근방에 배치된다. 이 배열의 번쩍임은 수직 방향에서의 동공 위치에 관한 보다 많은 정보를 제공할 수 있다.

도 3d는 안경에 의한, 각자의 눈 각각과 마주하여 배치된, 각각의 눈에 대한 시선 검출 시스템 내의 각자의 시선 검출 요소 세트의 위치의 또 다른 예시적인 배열을 나타낸 것이다. 이 예에서, 센서(134r, 134l)는 그 각자의 디스플레이 광학계(14r, 14l)의 광축과 일직선으로 있거나 정렬되어 있지만, 프레임(115) 상에서 광학계(14) 아래쪽에 위치되어 있다. 그에 부가하여, 일부 실시예에서, 카메라(134)는 깊이 카메라이거나 깊이 센서를 포함할 수 있다. 이 예에서, 2 세트의 조명기(152) 및 광 검출기(152)가 있다.

도 4a는 본 개시 내용에 기술되는 실시예에서 사용될 수 있는 투시형 접안 혼합 현실 디스플레이 유닛의 하드웨어 및 소프트웨어 구성요소의 일 실시예의 블록도이다. 도 4b는 처리 유닛(4)의 다양한 구성요소를 나타낸 블록도이다. 이 실시예에서, 접안 디스플레이 디바이스(2)는 처리 유닛(4)으로부터 가상 영상에 관한 명령어를 수신하고 센서 정보를 다시 처리 유닛(4)에 제공한다. 처리 유닛(4) - 그의 구성요소는 도 4b에 도시되어 있음 - 은 디스플레이 디바이스(2)로부터 감각 정보를 수신할 것이다. 그 정보에 기초하여, 처리 유닛(4)은 가상 영상을 언제 어디서 사용자에게 제공할지를 결정하고 그에 따라 명령어를 디스플레이 디바이스(2)의 제어 회로부(136)로 송신할 것이다.

유의할 점은 그 디바이스들 각각이 2 개씩(헤드 마운티드 디스플레이 디바이스(2)의 좌측에 하나 그리고 우측에 하나) 있다는 것을 나타내기 위해, 도 4a의 구성요소들 중 일부(예컨대, 물리적 환경 대향 카메라(113), 눈 카메라(134), 가변 가상 초점 조절기(135), 광 검출기 인터페이스(139), 마이크로 디스플레이(120), 조명 디바이스(153) 또는 조명기, 이어폰(138), 및 온도 센서(138))가 음영 처리되어 도시되어 있다는 것이다. 도 4a는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 나타내고 있다. 제어 회로(200)는 프로세서(210), 메모리(214)(예컨대, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 구동기(display driver)(220), 디스플레이 포맷터(display formatter)(222), 타이밍 발생기(226), 디스플레이 출력 인터페이스(display out interface)(228), 및 디스플레이 입력 인터페이스(display in interface)(230)를 포함한다. 하나의 실시예에서, 제어 회로(220)의 구성요소들 모두는 하나 이상의 버스의 전용 라인(dedicated line)을 통해 서로 통신한다. 다른 실시예에서, 제어 회로(200)의 구성요소들 각각은 프로세서(210)와 통신한다.

카메라 인터페이스(216)는 2 개의 물리적 환경 대향 카메라(113)에 대한 인터페이스를 제공하고, 카메라(113, 134)로부터 수신되는 각자의 영상을 카메라 버퍼(218)에 저장한다. 디스플레이 구동기(220)는 마이크로디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는 마이크로디스플레이(120) 상에 디스플레이되고 있는 가상 영상에 관한 정보를, 증강 현실 시스템을 위한 처리를 수행하는 하나 이상의 컴퓨터 시스템의 하나 이상의 프로세서(예컨대, 4, 12, 210)에 제공할 수 있다. 타이밍 발생기(226)는 시스템에 대한 타이밍 데이터를 제공하기 위해 사용된다. 디스플레이 출력(228)은 물리적 환경 대향 카메라(113) 및 눈 카메라(134)로부터의 영상을 처리 유닛(4)에 제공하기 위한 버퍼이다. 디스플레이 입력(230)은 마이크로디스플레이(120) 상에 디스플레이될 가상 영상과 같은 영상을 수신하기 위한 버퍼이다. 디스플레이 출력(228) 및 디스플레이 입력(230)은 처리 유닛(4)에 대한 인터페이스인 밴드 인터페이스(band interface)(232)와 통신한다.

전력 관리 회로(202)는 전압 조정기(234), 눈 추적 조명 구동기(236), 가변 조절기 구동기(variable adjuster driver)(237), 광 검출기 인터페이스(239), 오디오 DAC 및 증폭기(238), 마이크로폰 전치 증폭기 및 오디오 ADC(240), 온도 센서 인터페이스(242) 및 클럭 발생기(244)를 포함한다. 전압 조정기(234)는 처리 유닛(4)으로부터 밴드 인터페이스(232)를 통해 전력을 받고 그 전력을 헤드 마운티드 디스플레이 디바이스(2)의 다른 구성요소에 제공한다. 조명 구동기(236)는, 예를 들어, 구동 전류 또는 전압을 통해, 미리 결정된 파장 근방에서 또는 파장 범위 내에서 동작하도록 조명 디바이스(153)를 제어한다. 오디오 DAC 및 증폭기(238)는 이어폰(130)으로부터 오디오 정보를 수신한다. 마이크로폰 전치 증폭기 및 오디오 ADC(240)는 마이크로폰(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스이다. 전력 관리 유닛(202)은 또한 3축 자력계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)에 전력을 제공하고 그로부터 다시 데이터를 수신한다. 전력 관리 유닛(202)은 또한 GPS 송수신기(144)에 전력을 제공하고 그로부터 다시 데이터를 수신하고 그에게로 데이터를 송신한다.

가변 조절기 구동기(237)는 마이크로디스플레이 어셈블리(173)의 하나 이상의 요소를 움직여, 제어 회로부(13)의 프로세서(210), 또는 처리 유닛(4, 5) 또는 허브 컴퓨터(12) 또는 둘 다에서 실행 중인 소프트웨어에 의해 계산되는 초점 영역에 대한 변위를 달성하기 위해 제어 신호(예를 들어, 구동 전류 또는 구동 전압)를 조절기(135)에 제공한다. 변위의 범위 그리고 따라서 초점 영역의 범위에 걸쳐 스위프(sweep)하는 실시예에서, 가변 조절기 구동기(237)는 프로그램된 레이트(rate) 또는 주파수로 동작하기 위해 타이밍 신호를 타이밍 발생기(226) 또는, 대안적으로, 클럭 발생기(244)로부터 수신한다.

광 검출기 인터페이스(239)는 각각의 광 검출기로부터의 전압 또는 전류 판독을 위해 필요한 임의의 아날로그-디지털 변환을 수행하고, 판독치를 프로세서 판독 가능 포맷으로 메모리 제어기(212)를 통해 메모리에 저장하며, 온도 및 파장 정확도와 같은, 광 검출기(152)의 동작 파라미터를 모니터링한다.

도 4b는 투시형 접안 디스플레이 유닛과 연관된 처리 유닛(4)의 하드웨어 및 소프트웨어 구성요소의 일 실시예의 블록도이다. 도 4b는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 나타낸 것이다. 제어 회로(304)는 CPU(central processing unit)(320), GPU(graphics processing unit)(322), 캐시(324), RAM(326), 메모리(330)(예컨대, D-RAM)와 통신하는 메모리 제어기(328), 플래시 메모리(334)(또는 다른 유형의 비휘발성 저장소)와 통신하는 플래시 메모리 제어기(332), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 투시형 접안 디스플레이 디바이스(2)와 통신하는 디스플레이 출력 버퍼(336), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 접안 디스플레이 디바이스(2)와 통신하는 디스플레이 입력 버퍼(338), 마이크로폰에 연결하기 위해 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 디바이스(346)에 연결하기 위한 PCI express 인터페이스(444), 및 USB 포트(들)(348)를 포함한다.

일 실시예에서, 무선 통신 구성요소(346)는 Wi-Fi 지원 통신 디바이스, 블루투스 통신 디바이스, 적외선 통신 디바이스 등을 포함할 수 있다. USB 포트는, 데이터 또는 소프트웨어를 처리 유닛(4)에 로딩하는 것은 물론, 처리 유닛(4)을 충전시키기 위해, 처리 유닛(4)을 다른 컴퓨팅 디바이스(12)에 도킹시키는 데 사용될 수 있다. 일 실시예에서, CPU(320) 및 GPU(322)는 가상 영상을 언제, 어디서 그리고 어떻게 사용자의 뷰에 삽입해야 하는지를 결정하기 위한 주된 수단이다.

전력 관리 회로(306)는 클럭 발생기(360), 아날로그-디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 투시형 접안 디스플레이 전원(376), 및 온도 센서(374)(처리 유닛(4)의 손목 밴드 상에 위치됨)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류-직류 변환기(362)는 AC 전원을 받아서 시스템에 대한 DC 전원을 생성하기 위해 충전 잭(370)에 연결되어 있다. 전압 조정기(366)는 시스템에 전력을 공급하기 위해 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 받을 때 (전압 조정기(366)를 통해) 배터리(368)를 충전시키는 데 사용된다. 디바이스 전원 인터페이스(376)는 전력을 디스플레이 디바이스(2)에 제공한다.

도 5는 한 번에 하나의 광원(107)을 턴오프시키는 것을 수반하는, 번쩍임을 광원(107)에 매핑하는 프로세스(500)의 일 실시예의 플로우차트이다 프로세스(500)는 도 2의 프로세스(201)의 일 실시예이다. 이 프로세스(500)는 또한 번쩍임 없는 영상이 어떻게 발생될 수 있는지를 기술한다. 단계(502)에서, 모든 광원(107)이, 예를 들어, 제어 회로부(103)에 의해 턴온된다.

단계(504)에서, 모든 광원(107)이 물체(101)를 조명하고 있는 동안 카메라(105)는 영상을 포착한다. 이 "올 온" 영상은 결과를 개선시키고 공간적으로 동기화시키는 데 도움을 주기 위해 사용될 수 있다. 예를 들어, 물체(101) 및/또는 카메라(105) 및/또는 광원(107)이 움직이고 있을 수 있고, 여기서 포착된 영상에서의 번쩍임의 위치에 약간의 차이가 있을 수 있다.

단계(506)에서, 모든 광원(107)이 온인 상태에서 포착된 영상이 작업 중인(working) 번쩍임 없는 영상으로 복사된다. 이 때 모든 광원(107)이 온이기 때문에, 작업 중인 번쩍임 없는 영상에 번쩍임이 있을 것이다. 프로세스(500) 동안, 작업 중인 번쩍임 없는 영상이, 번쩍임이 없게 될 때까지 그로부터 번쩍임을 제거하기 위해, 업데이트된다.

단계(508)에서, 처리 중인 광원(107)에 대한 카운터("L")가 "1"로 초기화된다. 제어가 이어서 단계(512)로 넘어간다. 단계(512) 내지 단계(522)는 광원들(107) 중 하나 - 광원 "L"이라고 지칭될 것임 - 를 처리하는 것에 관한 것이다. 즉, 단계(512) 내지 단계(522)는 각각의 광원(107)에 대해 한 번씩 수행될 수 있다. 단계(512)에서, 광원(L)을 제외한 모든 광원(107)이 턴온된다. 달리 말하면, 광원(L)이 오프이고 나머지 광원이 온인 패턴이 생성된다. 단계(514)에서, 물체(101)가 단계(512)에 기술된 바와 같이 조명되고 있는 동안 영상이 카메라(105)에 의해 포착된다. 이 영상은 "번쩍임(L)" 영상이라고 지칭될 것이다.

단계(516)에서, 현재 작업 중인 번쩍임 없는 영상 및 번쩍임(L) 영상의 픽셀별 최소치를 계산하는 것에 의해 작업 중인 번쩍임 없는 영상이 업데이트된다. 이것은 오프인 광원(L)과 연관되어 있는 번쩍임을 제거하는 효과가 있다.

단계(518)에서, 모든 광원이 온인 영상과 현재 번쩍임(L) 영상 사이의 픽셀별 차분에 기초하여 "차분(L) 영상"이 발생된다. 일 실시예에서, 부호 없는 포화 차감 연산(unsigned saturated subtract operation)이 수행된다. 이러한 연산에서, 번쩍임(L) 영상이 올 온 영상으로부터 차감될 수 있다. 이것은 다음과 같이 표현될 수 있다: Diff(A,B), 여기서 A는 올 온 영상이고 B는 번쩍임(L) 영상이다. 대안적으로, 이것이 Max(0, A-B)로서 표현될 수 있다. 이와 같이, 이러한 연산에 의해, 영상 B에서의 주어진 픽셀이 영상 A에서의 대응하는 픽셀로부터 차감된 결과가 영 미만의 값으로 되면(언더플로우(underflow)), 값이 그 픽셀에 대해 0으로 설정된다. 살펴본 바와 같이, 이 연산은 픽셀 단위로 수행된다.

단계(520)에서, 광원(L)에 매핑되는 번쩍임(들)을 검출하기 위해 차분(L) 영상이 분석된다. 광원(107)마다 하나 초과의 번쩍임이 있을 수 있다는 것에 유의한다. 이것이 일어날 수 있는 하나의 방식은 물체가 사람의 눈이고 사람이 안경을 착용하고 있는 경우이다. 다른 가능한 경우는 주어진 광원(107)으로부터의 광이 각막 및 공막 둘 다로부터 다시 카메라(105)로 반사되고, 이로써 2 개의 번쩍임이 생기는 것이다. 단계(518) 및 단계(520)는, 광원(L)이 오프인 영상에서 어느 번쩍임이 없는지를 결정하기 위해, 사실상 광원(L)이 오프인 영상을 올 온 영상과 비교할 수 있다.

단계(522)에서, 차분(L) 영상에서의 모든 검출된 번쩍임이 광원(L)에 대한 매핑으로서 기록된다. 단계(524)는 광원의 카운터를 증분시킨다. 제어가 이어서 단계(510)로 넘어간다. 단계(510)에서, 제어 논리(103)는 처리할 광원(107)이 더 있는지를 결정한다. 그러한 경우, 제어가 다음 광원(107)을 처리하기 위해 단계(512)로 넘어간다. 그렇지 않은 경우, 프로세스(500)는 이어서 작업 중인 번쩍임 없는 영상이 최종적인 번쩍임 없는 영상으로서 표시되는 단계(526)로 간다. 프로세스(500)가 이어서 종료된다. 프로세스(500)가 종료될 때, 모든 광원(107)이 (모든 다른 광원(107)이 온인 상태에서) 한 번씩 턴오프되었을 것임에 유의한다.

이전에 살펴본 바와 같이, 결과의 개선을 위해서는 물론, 영상에서의 특징의 공간적 동기화를 위해, 올 온 영상이 사용될 수 있다. 유의할 점은, 프로세스(500)에서, 각각의 광원(L)이 처리된 후에, 올 온 영상에 대한 개선/동기화가 즉각 수행될 수 있다는 것이다. 번쩍임이 어떻게 공간적으로 동기화되는지의 일 예는 다양한 영상에서 검출되는 번쩍임 위치를 취하는 것과, 그 번쩍임이 제거되면 그 번쩍임의 위치에 대해 개선시킬 "올 온" 영상에서의 그 위치 주위에서 로컬 피크 분석 알고리즘을 실행하는 것이다. "번쩍임 없는" 영상 분석의 결과를 개선시키는 데 유사한 접근법이 취해질 수 있다. "번쩍임 없는" 영상이 다수의 영상의 조합이기 때문에, 움직임은 동기화되지 않은 결과에 상당한 오차를 유입시킬 수 있다.

도 5의 프로세스(500)는 번쩍임을 "n" 개의 광원(107)에 매핑하기 위해 n+1 개의 영상이 사용된 일 실시예를 기술하였다. 즉, "올 온(All On)" 패턴과 각각의 광원(107)이 오프인 유일한 광원(107)인 각각의 광원(107)에 대한 패턴이 있었다.

번쩍임을 광원(107)에 매핑하기 위해 광원(107)마다 적어도 하나의 영상이 있을 필요가 없다. 보다 적은 영상이 사용될 수 있다. 일 실시예에서, 번쩍임을 2^N - 2 개의 광원에 매핑하기 위해 N 개의 영상이 사용될 수 있다. 예를 들어, 번쩍임을 최대 6 개의 광원에 매핑하기 위해 3 개의 영상이 사용될 수 있다. 다른 예로서, 번쩍임을 최대 14 개의 광원에 매핑하기 위해 4 개의 영상이 사용될 수 있다. 다른 예로서, 번쩍임을 2 개의 광원에 매핑하기 위해 2 개의 영상이 사용될 수 있다.

도 6a는 N 개의 상이한 패턴에 대응하는 N 개의 영상을 포착하는 동안 번쩍임이 최대 2^N - 2 개의 광원에 매핑될 수 있는 프로세스(600)의 일 실시예의 플로우차트이다. 프로세스(600)는 또한 번쩍임 없는 영상이 어떻게 발생될 수 있는지를 기술한다. 프로세스(600)는 프로세스(201)의 일 실시예이다.

단계(602)에서, 패턴 카운터("S")가 "1"로 초기화된다. 이 패턴 카운터는 물체(101)를 조명하는 데 사용될 광원의 N 개의 상이한 패턴에 대한 것이다. 단계(604)에서, 물체(101)를 조명하기 위해 모든 패턴이 사용되었는지의 결정이 행해진다. 즉, 패턴 카운터 "S"가 패턴의 개수 "N"과 비교된다. 모든 패턴이 아직 사용되지 않았다고 가정하여, 제어가 단계(606)로 넘어간다.

단계(606)에서, 제어 회로부(103)는 현재 패턴에 따라 광원(107)을 온 또는 오프로 설정한다. 논의를 위해, 이것은 "이진 패턴(S)"라고 지칭될 것이다. 일 실시예에서, 총 N 개의 이진 패턴이 있을 것이다.

단계(608)에서, 현재 패턴이 물체(101)를 조명하고 있는 동안 영상이 카메라(105)에 의해 포착된다. 논의를 위해, 이것은 "시퀀스(S)"라고 지칭될 것이다. 도 6a의 추가적인 논의에 앞서, 이진 패턴의 일부 예가 논의될 것이다.

하나의 간단한 예로서, 광원(107)의 총수가 2일 수 있다. 이 경우에, 번쩍임을 2 개의 광원(107)에 매핑하기 위해 2 개의 이진 패턴이 사용될 수 있다. 이와 같이, 이 예에서, 2 개의 영상이 포착된다.

표 1은 번쩍임이 2 개의 이진 패턴을 사용하여 2 개의 광원(107)에 어떻게 매핑될 수 있는지를 나타내고 있다. 패턴 A에서, 광원(L1)은 오프이고, 광원(L2)는 온이다. 패턴 B에서, 광원(L1)은 온이고, 광원(L2)는 오프이다. 번쩍임을 2 개의 광원에 매핑하기 위해 "올 온" 패턴이 필요하지 않지만, 하나의 가능한 부가 패턴으로서 나타내어져 있다.

광원	패턴 A	패턴 B	올 온
L1 L2	오프 온	온 오프	온 온

약간 더 복잡한 예로서, 광원의 총수가 6일 수 있다. 이 경우에, 번쩍임을 6 개의 광원(107)에 매핑하기 위해 3 개의 이진 패턴이 사용될 수 있다. 이와 같이, 이 예에서, 3 개의 영상이 포착될 수 있다. 표 2는 번쩍임을 6 개의 광원(L1 내지 L6)에 매핑하기 위해 3 개의 영상이 어떻게 포착될 수 있는지를 나타내고 있다. 이 표에서, 그 패턴에 대해 "0"은 광이 오프인 것을 의미하고, "1"은 광이 온인 것을 의미한다.

광원	패턴 A	패턴 B	패턴 C	올 온
L1 L2 L3 L4 L5 L6 L7* L8* L9*	0 0 0 1 1 1 1 1 1	0 1 1 0 0 1 1 1 1	1 0 1 0 1 0 1 1 1	1 1 1 1 1 1 0 0 0

광원(L7 내지 L9)은 필요하지 않다. 이들은 부가 조명을 위해 사용되는 광원이다. 그렇지만, 이 예에서, 이들은 "비검출 가능" 광원이다. 비검출 가능 광원은 번쩍임이 매핑되지 않는 광원이다. 표에 기술되는 바와 같이, 광원(L7 내지 L9)을 사용하는 것의 한 가지 결과는 항상 6 개의 광원이 온일 것이며, 이는 조명 세기가 균일할 수 있다는 것이다.

프로세스(600)에서의 하나의 옵션은 번쩍임 없는 영상을 발생시키는 것이다. 단계(610) 내지 단계(614)는, 선택적으로, 번쩍임 없는 영상을 발생시키기 위해 수행될 수 있다. 단계(610)에서, 번쩍임 없는 영상이 이미 초기화되었는지가 결정된다. 그렇지 않은 경우, 시퀀스(S) 영상을 번쩍임 없는 영상으로 복사함으로써 번쩍임 없는 영상을 초기화하기 위해 제어가 단계(612)로 넘어간다.

다른 한편으로, 번쩍임 없는 영상이 이미 초기화되었으면, 제어가 단계(614)로 넘어간다. 단계(614)에서, 현재 번쩍임 없는 영상 및 시퀀스(S) 영상의 픽셀별 최소치를 계산하는 것에 의해 번쩍임 없는 영상이 업데이트된다.

어느 경우든지, 프로세스(600)는 이어서 이진 패턴의 카운터를 증분시키기 위해 단계(616)로 계속된다. 제어는 이어서 물체(101)를 조명하기 위해 사용될 이진 패턴이 더 있는지를 결정하기 위해 단계(604)로 넘어간다. 모든 이진 패턴이 사용되었을 때, 제어가 단계(618)로 넘어간다. 단계(618) 내지 단계(636)에서, 번쩍임을 광원(107)에 매핑하기 위해, 포착된 영상이 처리된다. 이 단계들은 광원들(107) 각각에 대해 개별적으로 수행될 수 있다. 유의할 점은, 영상이 단계(606) 및 단계(608)에서 이미 포착되었기 때문에, 단계들이 병렬로 수행될 수 있다는 것이다.

단계(618)에서, 번쩍임이 광원들(107) 중 제1 광원에 매핑되어야 한다는 것을 나타내기 위해 광원(107)의 개수의 카운터가 "1"로 초기화된다. 단계(620)는 모든 광원(107)이 처리되었는지를 결정하는 테스트이다. 그렇지 않은 경우, 제어가 단계(622)로 넘어간다. 간략히 말하면, 단계(622) 및 단계(624)는 단계(608)에서 포착된 영상들 각각을 2 개의 세트(S1 또는 S2) 중 하나에 넣는다. 세트 S1은 현재 광원이 온인 영상들 모두에 대한 것이다. 세트 S2는 현재 광원이 오프인 영상들 모두에 대한 것이다. 이와 같이, 단계(622)에서, 광원(L)이 온인 모든 이진 패턴 영상이 세트 S1에 넣어진다. 단계(624)에서, 광원(L)이 오프인 모든 이진 패턴 영상이 세트 S2에 넣어진다.

이하는 예시하기 위해 사용될 것이다. 표 2를 다시 참조하여, 광원(L1)을 처리하는 일 예가 논의될 것이다. 광원(L1)은 패턴 C에 대해 온이다. 이와 같이, 물체(101)를 조명하기 위해 패턴 C가 사용되었을 때 포착된 영상은 세트 S1에 넣어질 것이다. 광원(L1)은 패턴 A 및 패턴 B에 대해 오프이다. 이와 같이, 물체(101)를 조명하기 위해 패턴 A 및 패턴 B가 사용되었을 때 포착된 영상은 세트 S2에 넣어질 것이다. 표 2에서 다른 광원(L2 내지 L6)에 대해 유사한 추론이 적용된다. 유의할 점은, 표 2가 이진 패턴의 일 예에 불과하고 다른 것이 사용될 수 있다는 것이다.

흐름을 계속하여, 단계(626)에서, 세트 S1 내의 모든 영상들의 픽셀별 최소치를 계산하는 것에 의해 "S1 최소 영상(S1 Min Image)"이 계산된다. 광원(L1)에 대한 표 2로부터의 예에서, 세트 S1에 단지 하나의 영상(그것은 C 영상임)이 있다. 이와 같이, 세트 S1 내의 영상들 모두의 픽셀별 최소치는 그 영상일 것이다. 그렇지만, 광원(L3)에 대해서는, L3가 온인 2 개의 패턴이 있다는 것에 유의한다. 이와 같이, 광원(L3)에 대해서는, 패턴 B 및 패턴 C가 사용되었을 때 포착된 영상이 세트 S1에 넣어질 것이다. 단계(622)는 이와 같이, 이 예에 대해, 물체(101)를 조명하기 위해 패턴 B 및 패턴 C가 사용되었을 때 포착된 2 개의 영상 간에 픽셀별 최소치를 수행한다.

단계(626)에서, 세트 S2 내의 모든 영상들의 픽셀별 최대치를 계산하는 것에 의해 "S2 최대치 영상(S2 Max Image)"이 계산된다. 표 2에서의 광원(L1)의 예를 다시 참조하면, 물체(101)를 조명하기 위해 패턴 A 및 패턴 B가 사용되었을 때 포착된 영상은 세트 S2에 넣어졌다. 이와 같이, 단계(622)는, 이 예에 대해, 물체(101)를 조명하기 위해 패턴 A 및 패턴 B가 사용되었을 때 포착된 영상들 간에 픽셀별 최대치를 수행한다. 광원(L3)과 같은, 일부 광원(107)에 대해, 세트 S2에 단지 하나의 영상이 있을 수 있다.

표 3은 번쩍임을 6 개의 광원(L1 내지 L6)에 매핑하기 위해 3 개의 이진 패턴이 사용되는 예에 대한 다양한 영상에서 번쩍임이 어떻게 나타날 수 있는지의 일 예를 나타내고 있다. "1"은 번쩍임 위치에 있는 밝은 픽셀을 나타낸다. ?0"은 번쩍임 위치에 있는 보통 픽셀을 나타낸다. 환언하면, "1"은 번쩍임의 원인인 광원(107)이 온인 것을 나타내고, ?0"은 번쩍임의 원인인 광원(107)이 오프인 것을 나타낸다.

영상	G1	G2	G3	G4	G5	G6	G7-G9*
A B C 올 온	0 0 1 1	0 1 0 1	0 1 1 1	1 0 0 1	1 0 1 1	1 1 0 1	1 1 1 0

표 3에서, G7 내지 G9는 선택적인 광(L7 내지 L9)으로 인한 번쩍임을 지칭한다. 부가 조명을 생성할 목적으로 영상(A 내지 C)을 포착할 때 이 광이 온인 것을 상기한다. 그렇지만, 실시예에 따르면 번쩍임(G7 내지 G9)이 검출되지 않는다.

표 4는 번쩍임을 6 개의 광원(L1 내지 L6)에 매핑하기 위해 3 개의 이진 패턴이 사용되는 예에 대한 다양한 최소치 및 최대치 영상에서 번쩍임이 어떻게 나타날 수 있는지의 일 예를 나타내고 있다. 표 4는 표 3의 값에 대해 적절한 연산을 적용하는 것에 의해 도출될 수 있다. 예를 들어, Min(A,B)는 A 영상과 B 영상 둘 다가 밝은 경우에만 밝은 픽셀을 갖는다. 환언하면, 영상 A 또는 영상 B 중 어느 하나가 보통 픽셀인 경우, Min(A,B) 영상은 보통이다. 살펴본 바와 같이, 실시예에 따르면 번쩍임(G7 내지 G9)이 검출되지 않는다.

Min/Max	G1	G2	G3	G4	G5	G6	G7-G9*
Min(A,B) Max(A,B) Min(A,C) Max(A,C) Min(B,C) Max(B,C) Min(A,B,C,All)	0 0 0 1 0 1 0	0 1 0 0 0 1 0	0 1 0 1 1 1 0	0 1 0 1 0 0 0	0 1 1 1 0 1 0	1 1 0 1 0 1 0	1 1 1 1 1 1 0

프로세스 흐름을 계속하여, 픽셀별 차분 영상 "Diff L"이 단계(630)에서 계산된다. 픽셀별 차분 영상은 S1 최소치 영상과 S2 최대치 영상 사이의 픽셀별 불포화 차감(per-pixel unsaturated subtract)에 기초하여 계산될 수 있다. 구체적으로는, 일 실시예에서, S2 최대치 영상이 S1 최소치 영상으로부터 차감된다.

이 연산은 다음과 같이 표현될 수 있다: Diff(A,B), 여기서 A는 S1 최소치 영상이고 B는 S2 최대치 영상이다. 대안적으로, 이것이 Max(0, A-B)로서 표현될 수 있다. 이와 같이, 이러한 연산에 의해, 영상 B에서의 주어진 픽셀이 영상 A에서의 대응하는 픽셀로부터 차감된 결과가 영 미만의 값으로 되면(언더플로우), 값이 그 픽셀에 대해 0으로 설정된다. 살펴본 바와 같이, 이 연산은 픽셀 단위로 수행된다.

단계(632)에서, 광원(L)에 매핑되는 번쩍임(들)을 검출하기 위해 Diff L 영상이 분석된다. 일 실시예에서, 광원(L)에 매핑되는 번쩍임에 대응하는 Diff L에서의 픽셀은 나머지 Diff L 영상보다 훨씬 더 큰 값(예컨대, 보다 밝음)을 가질 것이다. 환언하면, 일 실시예에서, 다른 픽셀은 일반적으로 0 주위의 값을 가질 것이다.

표 5는 번쩍임을 6 개의 광원(L1 내지 L6)에 매핑하기 위해 3 개의 이진 패턴이 사용되는 예에 대한, 픽셀별 차분 영상을 계산하는 것이 어떻게 번쩍임이 광원에 매핑될 수 있게 하는지의 일 예를 나타내고 있다. 표 5에서, "1"은 밝은 픽셀에 대응하고, 대쉬(?-")는 번쩍임 위치에 있는 거의 흑색인 픽셀을 나타낸다. 예를 들어, 표 5는 (광원(L1)에 대응하는) 번쩍임(G1)이 픽셀별 차분 영상 Diff(C,Max(A,B))에 나타나야만 한다는 것을 보여준다.

Diff	G1	G2	G3	G4	G5	G6	G7-G9
Diff(Min(A,b),C) Diff(C,Max(A,B)) Diff(Min(A,C),B) Diff(B,Max(A,C)) Diff(Min(B,C),A) Diff(A,Max(B,C))	- 1 - - - -	- - - 1 - -	- - - - 1 -	- - - - - 1	- - 1 - - -	1 - - - - -	- - - - - -

표 5에서의 정보를 보는 다른 방식은 번쩍임 후보가 어떻게 발견될 수 있는지를 보여준다는 것이다. 예를 들어, 번쩍임 6 후보: Diff(Min(A,B),C), 기타 등등. 추가로 예시하기 위해, 번쩍임 후보가 표 1로부터의 예에 대해 다음과 같이 위치될 수 있다. 표 1이 번쩍임이 2 개의 이진 패턴을 사용하여 2 개의 광원에 어떻게 매핑될 수 있는지를 보여준다는 것을 상기한다. 번쩍임 1 후보는 Diff(B,A)이다. 번쩍임 2 후보는 Diff(A,B)이다.

단계(634)에서, Diff L 영상에서 검출된 번쩍임(또는 번쩍임들)은 광원(L)에 매핑되는 것으로 기록된다. 제어는 이어서, 다음 광원(107)이 단계(620) 내지 단계(634)를 반복하는 것에 의해 처리될 수 있도록 광원 카운터를 증분시키기 위해, 단계(636)로 넘어간다. 궁극적으로, 모든 광원(107)이 처리된다(단계(620) = 아니오). 모든 광원(107)을 처리한 후에, 프로세스(600)가 종료된다.

유의할 점은, 도 6a의 프로세스(600)가 도 5의 프로세스(500)보다 더 적은 영상이 포착될 수 있게 한다는 것이다. 이것은 조명에 노출되는 물체(101)(예컨대, 사람)에 대한 전체적인 노출을 감소시킨다. 이는 또한 카메라(105)가 보다 오랜 기간 동안 오프될 수 있게 하는 것은 물론, 광원(107)이 그만큼 온일 필요가 없는 것에 의해 전력을 절감한다.

도 6a의 프로세스(600)는 또한 첫 번째 영상과 마지막 영상 사이의 시간 거리(temporal distance)를 감소시킬 수 있다. 이것은, 원하는 경우, 증가된 조명 노출을 가능하게 할 수 있다. 알고리즘이 카메라(105) 상에서 실행되는 속도를 감소시키는 것이 또한 가능할 수 있다.

이하에서는 표 2의 예에 대해 이진 시퀀스가 어떻게 도출될 수 있는지의 상세를 기술한다. 즉, 이것은 번쩍임을 6 개의 광원에 매핑하기 위해 3 개의 이진 패턴(및 대응하는 영상)이 사용되는 예에 대한 것이다. 이 원리가 2 개의 광원에 대한 2 개의 이진 패턴 및 14 개의 광원에 대한 4 개의 이진 패턴과 같은 다른 경우로 확장될 수 있다

단계 1은 사용할 이진 패턴의 개수를 선택하는 것이다. 이 예에서, 3 개의 이진 패턴이 사용된다.

단계 2는 그렇게 많은 이진 숫자(binary digit)를 사용하는 모든 수(number)를 열거하는 것이다. 이 예에서, 3 개의 이진 숫자를 사용하는 수가 열거된다: 000, 001, 010, 011, 100, 101, 110, 111.

단계 3은 첫 번째 수와 마지막 수를 삭제하는 것이다. 즉, 모두 "0"인 경우와 모두 "1"인 경우가 사용되지 않는다.

단계 4는 나머지 수의 각각의 유효 숫자(significant digit)에 따라 광의 이진 패턴을 정의하는 것이다. 이 예에서, 이진 패턴은 다음과 같다: 000111, 011001, 101010. 유의할 점은, 이진 패턴의 이 시퀀스가 표 2에 나타내어져 있다는 것이다. 논의를 위해, 3 개의 이진 패턴의 이 시퀀스가 순서대로 A, B 및 C라고 지칭될 것이다.

유의할 점은, 시퀀스에서의 각각의 번쩍임이 AND 및 "AND NOT" 연산을 사용하여 도출될 수 있다는 것이다. 주어진 영상에 대해, MIN 연산이 AND 대신에 사용될 수 있다. 마찬가지로, DIFF(a,b) 연산이 "AND NOT" 대신에 사용될 수 있다.

또한 유의할 점은, A "AND NOT" B "AND NOT" C가 A "AND NOT" (B OR C)라고도 쓰여질 수 있다는 것이다. 주어진 영상에 대해, MAX 연산이 OR 연산 대신에 사용될 수 있다.

도 6b 및 도 6c의 예가 추가로 예시하기 위해 사용될 것이다. 도 6b는 "001000"에 대한 예를 나타내고 있다. 이 예는 연산자 "AND"는 물론 "AND NOT"으로 표현되는 다수의 동등한 표현식을 보여준다. 앞서 논의된 바와 같이, MIN 연산이 AND 대신에 사용될 수 있다. 이와 같이, MIN(B,C) 연산이 사용될 수 있다. 앞서 논의된 바와 같이, DIFF(a,b) 연산이 "AND NOT" 대신에 사용될 수 있다. 이와 같이, DIFF(A, MIN(B,C)) 연산이 사용될 수 있다. 유의할 점은, 도 6b가 G3에 대한 표 5에서의 연산에 대응하는 연산을 나타내고 있다는 것이다.

도 6c는 "000100"에 대한 예를 나타내고 있다. 이 예는 연산자 "AND", "OR"는 물론 "AND NOT"으로 표현되는 다수의 동등한 표현식을 보여준다. 앞서 논의된 바와 같이, MAX 연산이 OR 연산 대신에 사용될 수 있다. 이와 같이, MAX(B,C) 연산이, 나타낸 바와 같이, 사용될 수 있다. 앞서 논의된 바와 같이, DIFF(a,b) 연산이 "AND NOT" 대신에 사용될 수 있다. 이와 같이, DIFF(A, MAX(B,C)) 연산이, 나타낸 바와 같이, 사용될 수 있다. 유의할 점은, 도 6c가 G4에 대한 표 5에서의 연산에 대응하는 연산을 나타내고 있다는 것이다.

다른 번쩍임에 대한 표 5에서의 연산을 도출하기 위해 유사한 분석이 수행될 수 있다. 이상에서, 2^N - 2 개의 독특한 번쩍임와 광원 간의 매핑을 검출하기 위해 어떻게 (N 개의 이진 패턴에 대응하는) N 개의 영상이 이론적으로 사용될 수 있는지를 설명하고 있다. 앞서 살펴본 바와 같이, 분석이 다른 경우로 확장될 수 있다.

일 실시예에서, 물체(101)가 번쩍임을 매핑하는 데 요망되지 않는 광원으로 조명될 수 있다. 도 6a의 흐름에서, 이것은 광원(107)이 모든 이진 패턴에 대해 항상 온인 예에 대응한다. 예를 들어, 표 2에서의 광원(L7 내지 L9)은 비검출 가능이다. 유의할 점은, 이러한 광원(107)이 "검출 가능 광원"이 아니라는 것이다. 즉, 단계(622) 내지 단계(634)는 번쩍임을, 단계(606) 및 단계(608)에서 사용되는 모든 이진 패턴에 대해 온인 그 광원(107)에 매핑하는 데 사용되지 않는다. 본원에서, 이것은 "비검출 가능" 광원(107)이라고 지칭된다.

이 비검출 가능 광원(107)은 올 온 영상을 포착할 때 턴오프될 수 있다. 유의할 점은, 올 온 영상을 포착할 때 이 비검출 가능 광원(107)이 오프일 필요가 없다는 것이다. 이 비검출 가능 광원(107)이 올 온 영상을 포착할 때 오프로 유지되는 경우에, 번쩍임 없는 영상을 결정하는 것에 대해 부가의 개선이 행해질 수 있다. 이 개선은 도 6a의 프로세스에서 언제라도 행해질 수 있다. 예를 들어, 이는 번쩍임 없는 영상을 초기화(단계(612))하기 이전에, 번쩍임 없는 영상이 각각의 시퀀스 영상으로 업데이트된 후에(단계(614)가 마지막으로 수행된 후에), 또는 이 2 가지 이벤트 사이에 행해질 수 있을 것이다.

도 7은 번쩍임 없는 영상을 개선시키는 프로세스(700)의 플로우차트이다. 이것은, 방금 기술된 바와 같이, 도 6a에서 번쩍임 없는 영상을 생성하는 것과 관련하여 사용될 수 있다. 제어 회로부(103)가 이 프로세스를 수행할 수 있다. 단계(702)에서, 모든 검출 가능 광원(107)이 턴온된다. 표 2로부터의 예를 사용하여, 광(L1 내지 L6)이 턴온되고, 광(L7 내지 L9)는 오프로 유지된다. 단계(704)에서, 검출 가능 광원(107)이 턴온되어 있는 동안 올 온 영상이 카메라(105)를 사용하여 포착된다.

단계(706)에서, 번쩍임 없는 영상이 이미 초기화되었는지가 결정된다. 일 실시예에서, 이 초기화는 도 6a의 단계(612)에서 일어난다. 그렇지 않은 경우, 번쩍임 없는 영상은 올 온 영상을 그에게 복사함으로써 초기화된다.

다른 한편으로, 번쩍임 없는 영상이 초기화되었으면(단계(706)=예), 제어가 단계(710)로 넘어간다. 단계(710)에서, 현재 번쩍임 없는 영상 및 올 온 영상의 픽셀별 최소치를 계산하는 것에 의해 현재 번쩍임 없는 영상이 업데이트된다. 번쩍임 없는 영상의 추가 처리가 도 6a에 기술되어 있다.

도 8은 번쩍임을 광원(107)에 매핑하는 것에 부가하여 수행될 수 있는 추가 처리의 프로세스(800)의 플로우차트이다. 단계(802)에서, 번쩍임 없는 영상을 발생시키기 위해, 포착된 영상들이 모든 영상들의 최소치를 사용하여 결합된다. 단계(802)의 예는 프로세스(500) 및 프로세스(600)와 관련하여 이전에 기술되었다. 예를 들어, 단계(516)는 새로운 번쩍임(L) 영상이 포착될 때 픽셀별 최소치를 반복하여 계산한다. 프로세스(600)에서, 단계(614)는 새로운 시퀀스(S) 영상이 포착될 때 픽셀별 최소치를 반복하여 계산한다.

단계(802)에서, 번쩍임 없는 영상이 물체(101)를 분석하는 데 사용된다. 번쩍임 없는 영상은 광 반사 없는 양호한 조명의 장점을 가지며, 동공 위치와 같은, 내부 인자(intrinsic)의 분석을 위한 보다 나은 입력 데이터를 가능하게 한다. 동공 위치는 3D 눈 시선 재구성을 위한 핵심적인 입력 요소이다. 홍채의 생체 인식 매핑과 같은 다른 목적을 위해 번쩍임 없는 영상이 사용될 수 있다.

단계(806)에서, 올 온 영상이 결과를 개선시키기 위해 사용된다. 이것은 이전에 공간적 동기화/개선으로서 논의되었다. 이것은 프로세스(201), 프로세스(500) 또는 프로세스(600)와 관련하여 사용될 수 있다.

단계(808)에서, 결과 및 교정된 외부 인자(extrinsic)를 사용하여 3D 지오메트리 재구성이 수행된다. 3D 지오메트리 재구성의 일 예는 사람의 눈의 3D 지오메트리를 결정하는 것 및 눈 시선을 결정하는 것이다. 이것은 이하에서 추가로 기술된다. 이것은, 영상으로부터 꼭 도출될 필요는 없는 데이터인, 교정된 외부 인자에 기초할 수 있다.

번쩍임을 6 개의 광원(107)에 매핑하는 것의 일 예가 이전에 기술되었다. 예를 들어, 단계(606) 및 단계(608)에서, 표 2에 기술된 바와 같이, 3 개의 상이한 이진 패턴이 사용될 수 있다. 어떤 경우에, 번쩍임을 부가의 광원에 매핑하는 것이 바람직할 수 있다. 단계(606) 및 단계(608)에서 4 개의 상이한 이진 패턴/영상을 사용하는 것에 의해, 번쩍임이 최대 14 개의 광원(107)에 매핑될 수 있다. 그렇지만, 4 개의 이진 패턴을 사용할 때 계산 복잡도가 상당히 증가할 수 있다.

일 실시예는 하이브리드 접근법을 포함한다. 예를 들어, 번쩍임을 6 개의 광원(107)에 매핑하기 위해 3 개의 패턴을 사용하는 기법이 번쩍임을 2 개의 광원(107)에 매핑하기 위해 2 개의 패턴을 사용하는 것과 결합될 수 있다. 이 결과, 번쩍임을 8 개의 광원(107)에 매핑하기 위해 4 개의 패턴을 사용할 수 있게 된다.

다른 예로서, 예를 들어, 번쩍임을 6 개의 광원(107)에 매핑하기 위해 3 개의 패턴을 사용하는 기법이 번쩍임을 6 개의 광원(107)에 매핑하기 위해 3 개의 패턴을 사용하는 것과 결합될 수 있다. 이 결과, 번쩍임을 12 개의 광원(107)에 매핑하기 위해 5 개의 패턴을 사용할 수 있게 된다.

번쩍임을 8 개의 광원에 매핑하기 위해 4 개의 패턴을 사용하는 전자의 예가 이제부터 논의될 것이다. 표 6는 사용될 수 있는 4 개의 이진 패턴을 보여주고 있다. 각각의 이진 패턴이 영상 A, B, C 또는 D로 표시된 열에 나타내어져 있다. 이 예에서, 광원(L1 내지 L8)은 검출 가능 광원이다. 광원(L9 내지 L12)은 필요하지 않다. 이들은 부가 조명을 위해 사용될 수 있는 비검출 가능 광원이다. 유의할 점은, 각각의 영상에 대해, 8 개의 광이 온이고, 그 결과 균일한 조명 세기가 얻어진다는 것이다.

LS	영상 A	영상 B	영상 C	영상 D	올 온
L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12	0 0 0 1 1 1 1 0 1 1 1 1	0 1 1 0 0 1 1 0 1 1 1 1	1 0 1 0 1 0 1 0 1 1 1 1	1 0 0 0 1 0 0 1 1 1 1 1	1 1 1 1 1 1 1 1 0 0 0 0

표 7에 나타낸 바와 같이 번쩍임 후보가 발견될 수 있다 즉, 표 7은 번쩍임을 광원에 매핑하기 위해 포착된 영상에 적용될 수 있는 적당한 연산을 나타내고 있다. 유의할 점은, 이 표가 번쩍임을 6 개의 광원에 매핑하기 위해 3 개의 이진 패턴을 사용하고 번쩍임을 2 개의 광원에 매핑하기 위해 2 개의 이진 패턴을 사용하는 기법들의 조합을 반영하고 있다는 것이다.

번쩍임
번쩍임 1 번쩍임 2 번쩍임 3 번쩍임 4 번쩍임 5 번쩍임 6 번쩍임 7 번쩍임 8	Diff(C,Max(A,B)) Diff(B,Max(A,C)) Diff(Min(B,C),A) Diff(A,Max(B,C)) Diff(Min(A,C),B) Diff(Min(A,B),C) Diff(C,D) Diff(D,C)

번쩍임에 대한 하나의 가능한 사용 사례는 눈 시선 재구성에서이다. 이하는 이것이 어떻게 달성될 수 있는지의 개요이다. 카메라(105) 및 다수의 광원(107)을 갖는 고정된 설비가 설정되고 교정된다. 교정은 광원(107)(예컨대, LED)의 절대 또는 상대 위치와 카메라 투영점(camera projection point)을 결정하는 것을 수반한다. 어떤 경우에, 시야 내의 물체(101)가 또한 교정될 필요가 있을 수 있다. 전체 시스템 기하학적 구조(full system geometry)에 따라 절대 위치 결정(absolute positioning) 대신에 상대 위치 결정(relative positioning)이 행해질 수 있다.

이 시스템은 피사체의 눈 시선을 재구성하는 데 사용될 수 있다. 사람의 눈의 예상된 고속 움직임으로 인해, 고속 카메라 및 정밀한 제어 회로부가 일반적으로 사용된다. 피사체가 시스템의 시야 내에 있다면, 제어 회로부(103)는 광원(107)을 미리 결정된 패턴으로 관여시키고, 다수의 영상 - 각각의 영상은 상이한 이진 패턴에 대응함 - 을 잇달아 취한다.

포착된 영상이 분석을 위해 프로세서로 전달되고, 프로세서는, 각각의 번쩍임을 검출하고 그의 광원(107)에 매칭시키기 위해, 본원에 기술되는 알고리즘을 사용한다. 번쩍임 위치 및 매핑이 그 결과에 따른 3D 분석 및 눈 시선 재구성에서 사용된다.

도 9는 눈 시선을 결정하는 것의 부가 상세를 나타내고 있다. 도 9는 사람의 양눈이 초점이 맞춰져 있는 주시점에서 교차하는 시선 벡터의 예를 나타낸 평면도이다. Gullstrand 모형안(schematic eye model)에 기초하여 각각의 눈에 대해 눈(160l, 160r)에 대한 눈의 모형이 예시되어 있다. 각각의 눈에 대해, 안구(160)는 회전 중심(166)을 갖는 구체(sphere)로서 모델링되고, 역시 구체로서 모델링되고 중심(164)을 가지는 각막(168)을 포함한다. 각막은 안구와 함께 회전하고, 안구의 회전 중심(166)은 고정점으로서 취급될 수 있다. 각막은 홍채(170) - 동공(162)이 그의 중심에 있음 - 를 덮고 있다. 이 예에서, 번쩍임(174 및 176)은 각자의 각막의 표면(172) 상에 있다.

회전 중심(166)으로부터 각막 중심(164)을 통해 동공(162)까지 형성되는 축(178)은 눈의 광축이다. 시선 벡터(180)는 때때로 중심와(fovea)로부터 동공(162)의 중심을 통해 뻗어 있는 가시선 또는 시축(visual axis)이라고 지칭된다. 중심와는 망막에 위치된 약 1.2도의 작은 영역이다. 도 9의 실시예에서 계산된 광축과 시축 사이의 각도 오프셋은 수평 성분 및 수직 성분을 갖는다. 수평 성분은 광축으로부터 최대 5도이고, 수평 성분은 2도 내지 3도이다. 많은 실시예에서, 광축이 결정되고, 시선 벡터로서 선택되는 시축을 획득하기 위해 사용자 교정을 통해 결정된 작은 보정이 적용된다. 각각의 사용자에 대해, 작은 가상 물체가 디스플레이 디바이스에 의해 상이한 수평 및 수직 위치에 있는 다수의 미리 결정된 위치들 각각에 디스플레이될 수 있다. 각각의 위치에 물체를 디스플레이하는 동안 광축이 계산될 수 있고, 광선이 그 위치로부터 사용자의 눈 내로 뻗어 있는 것으로 모델링될 수 있다. 수평 및 수직 성분을 갖는 오프셋 각도(offset angle)는 모델링된 광선과 정렬하기 위해 광축이 어떻게 이동되어야만 하는지에 기초하여 결정될 수 있다. 상이한 위치로부터, 수평 또는 수직 성분을 갖는 평균 오프셋 각도가 각각의 계산된 광축에 적용될 작은 보정으로서 선택될 수 있다. 일부 실시예에서, 오프셋 각도 보정을 위해 수평 성분만이 사용된다.

도 9의 예시된 실시예에서, 센서 검출 영역(139)은 안경테(115) 내의 각각의 디스플레이 광학계(14)의 광축과 정렬되어 있다. 이 예에서의 각자의 영상 센서는 프레임(115)의 좌측에 있는 조명기(153a 및 153b)에 의해, 각각, 발생되는 번쩍임(174l 및 176l)을 나타내는 영상 데이터 및 조명기(153c 및 153d)에 의해, 각각, 발생되는 번쩍임(174r 및 176r)을 나타내는 데이터를 포착할 수 있는 카메라이다.

안경테(115)에 있는 디스플레이 광학계(14l 및 14r)를 통해, 사용자의 시야는 실제 물체(190, 192, 및 194) 및 가상 물체(182, 184, 및 186) 둘 다를 포함한다. 이 예에서, 좌측 눈의 각막(168l)은 우측으로 또는 사용자의 코 쪽으로 회전되고, 우측 눈의 각막(168r)은 좌측으로 또는 사용자의 코 쪽으로 회전된다. 양 동공은 가상 물체(186)를 주시하고 있다. 각각의 눈으로부터의 시선 벡터(180l 및 180r)는 가상 물체(186)가 위치해 있는 Panum의 융합 영역(fusional region)(195)에 들어간다. Panum의 융합 영역은 사람의 시각과 같은 양안시 시스템(binocular viewing system)에서의 단일시(single vision)의 영역이다. 시선 벡터(180l)와 시선 벡터(180r)의 교차는 사용자가 가상 물체(186)를 보고 있다는 것을 나타낸다.

투시형 혼합 현실 디스플레이 디바이스에 있어서, 실제 물체(전형적으로 컴퓨터 제어 하에 있지 않음) 및 애플리케이션에 의해 발생되는 가상 물체 둘 다를 포함하는 3차원(3D) 사용자 시야에서의 주시점을 식별하기 위해 시선 벡터가 결정된다. 시선 벡터는 10 피트 떨어져 있는 물체에서 또는 멀리 떨어져(사실상 무한대에서) 교차할 수 있다. 이하의 도면은 3D 사용자 시야를 결정하는 실시예를 간략히 논의한다.

전방 영상 데이터라고 하는 것은 도 3a에서의 카메라(113)와 같은 하나 이상의 전방 카메라로부터의 영상 데이터를 지칭한다. 이 실시예에서, 카메라가 각각의 디스플레이 광학계(140의 광축(142)으로부터 비교적 작은 오프셋에 위치되기 때문에, 전방 카메라(113)의 시야는 사용자의 시야와 비슷하다. 영상 데이터에서 이 오프셋이 고려될 수 있다.

도 10은 컴퓨팅 디바이스의 예시적인 블록도를 나타낸 것이다. 컴퓨팅 디바이스는 제어 회로부(103) 및/또는 프로세서(4)의 전부 또는 일부분을 구현하는 데 사용될 수 있다. 컴퓨팅 디바이스는, 프로세스(201, 500, 600, 700, 및 800)(이들로 제한되지 않음)를 비롯한, 본원에 기술되는 다양한 알고리즘의 전부 또는 일부분을 수행하는 데 사용될 수 있다. 처리 유닛(259) 상에서 실행되는 명령어는, 주변기기 인터페이스(233)를 통해, 카메라(105) 및 광원(107)을 제어할 수 있다.

컴퓨팅 시스템(1000)은 전형적으로 각종의 유형적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터(241)를 포함한다. 이것은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 둘 다를 포함한다. 시스템 메모리(222)는 ROM(read only memory)(223) 및 RAM(random access memory)(260)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동 중과 같은 때에 컴퓨터 내의 요소들 간의 정보 전송을 돕는 기본 루틴이 들어 있는 기본 입출력 시스템(224)(BIOS)은 전형적으로 ROM(223)에 저장되어 있다. RAM(260)에는 전형적으로 처리 유닛(259)에 의해 즉각 액세스될 수 있고 그리고/또는 현재 처리되고 있는 데이터 및/또는 프로그램 모듈이 들어 있다. 그래픽 인터페이스(231)는 GPU(229)와 통신한다. 운영 체제(225), 애플리케이션 프로그램(226), 다른 프로그램 모듈(227), 및 프로그램 데이터(228)이 또한 제공된다.

컴퓨터는 또한 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체(예컨대, 비이동식, 비휘발성 자기 매체로부터 판독하거나 그에 기입하는 하드 디스크 드라이브(238), 이동식, 비휘발성 자기 디스크(254)로부터 판독하거나 그에 기입하는 자기 디스크 드라이브(239), 및 CD-ROM 또는 다른 광 매체와 같은 이동식, 비휘발성 광 디스크(253)로부터 판독하거나 그에 기입하는 광 디스크 드라이브(240))를 포함할 수 있다. 예시적인 운영 환경에서 사용될 수 있는 다른 이동식/비이동식, 휘발성/비휘발성 유형적 컴퓨터 판독 가능 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD(digital versatile disk), 디지털 비디오 테이프, 고상 RAM, 고상 ROM, 기타(이들로 제한되지 않음)를 포함한다. 하드 디스크 드라이브(238)는 전형적으로 인터페이스(234)와 같은 비이동식 메모리 인터페이스를 통해 시스템 버스(221)에 연결되고, 자기 디스크 드라이브(239) 및 광 디스크 드라이브(240)는 전형적으로 인터페이스(235)와 같은 이동식 메모리 인터페이스에 의해 시스템 버스(221)에 연결된다.

이 드라이브들 및 그와 연관된 컴퓨터 저장 매체는 컴퓨터에 대한 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 및 다른 데이터의 저장을 제공한다. 예를 들어, 하드 디스크 드라이브(238)는 운영 체제(258), 애플리케이션 프로그램(257), 다른 프로그램 모듈(256), 및 프로그램 데이터(255)를 저장하는 것으로 도시되어 있다. 유의할 점은 이 구성요소들이 운영 체제(225), 애플리케이션 프로그램(226), 다른 프로그램 모듈(227), 및 프로그램 데이터(228)와 동일하거나 상이할 수 있다는 것이다. 여기서 운영 체제(258), 애플리케이션 프로그램(257), 다른 프로그램 모듈(256), 및 프로그램 데이터(255)에 상이한 번호가 부여되어 있는 것은 적어도 이들이 상이한 사본임을 나타내기 위한 것이다. 사용자는 키보드(251) 및 포인팅 디바이스(252)(흔히 마우스, 트랙볼 또는 터치 패드라고 지칭됨) 등의 입력 디바이스를 통해 컴퓨터에 명령 및 정보를 입력할 수 있다. 다른 입력 디바이스는 마이크로폰(261), 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 디바이스는 종종 시스템 버스에 결합된 사용자 입력 인터페이스(236)를 통해 처리 유닛(259)에 연결되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은 다른 인터페이스 및 버스 구조에 의해 연결될 수 있다. 모니터(242) 또는 다른 유형의 디스플레이 디바이스가 또한, 비디오 인터페이스(232)와 같은, 인터페이스를 통해 시스템 버스(221)에 연결된다. 모니터 이외에, 컴퓨터는 또한 주변 기기 인터페이스(233)를 통해 연결될 수 있는, 스피커(244) 및 프린터(243)와 같은, 다른 주변 디바이스도 포함할 수 있다.

컴퓨터는, 원격 컴퓨터(246)와 같은, 하나 이상의 원격 컴퓨터에의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(246)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 통상의 네트워크 노드일 수 있고, 전형적으로 컴퓨터와 관련하여 앞서 기술된 요소들 중 다수 또는 그 전부를 포함하지만, 메모리 저장 디바이스(247)만이 도시되어 있다. 논리적 연결은 LAN(local area network, 근거리 통신망)(245) 및 WAN(wide area network, 원거리 통신망)(249)을 포함하지만, 다른 네트워크들도 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔한 것이다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터는 네트워크 인터페이스 또는 어댑터(237)를 통해 LAN(245)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터는 전형적으로 인터넷과 같은 WAN(249)을 통해 통신을 설정하는 모뎀(250) 또는 다른 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(250)은 사용자 입력 인터페이스(236) 또는 다른 적절한 메카니즘을 통해 시스템 버스(221)에 연결될 수 있다. 네트워크화된 환경에서, 컴퓨터(20) 또는 그의 일부분과 관련하여 도시된 프로그램 모듈은 원격 메모리 저장 디바이스에 저장될 수 있다. 원격 애플리케이션 프로그램(248)은 메모리 디바이스(247) 상에 존재한다. 도시된 네트워크 연결이 예시적인 것이고 컴퓨터들 간에 통신 링크를 설정하는 다른 수단이 사용될 수 있다는 것을 잘 알 것이다.

컴퓨팅 시스템은 본원에 기술되는 바와 같은 방법을 수행하도록 적어도 하나의 프로세서를 프로그램하기 위한 컴퓨터 판독 가능 소프트웨어가 구현되어 있는 유형적 컴퓨터 판독 가능 저장 디바이스 또는 장치를 포함할 수 있다. 유형적 컴퓨터 판독 가능 저장 디바이스는, 예컨대, 구성요소들(222, 234, 235, 230, 253 및 254) 중 하나 이상을 포함할 수 있다. 게다가, 컴퓨팅 시스템의 하나 이상의 프로세서는 본원에 기술되는 바와 같은 프로세서-구현 방법을 제공할 수 있다. GPU(229) 및 처리 유닛(259)은 프로세서의 예이다.

도면에 예시된 예시적인 컴퓨터 시스템은 컴퓨터 판독 가능 저장 매체의 예를 포함한다. 컴퓨터 판독 가능 저장 매체는 또한 프로세서 판독 가능 저장 매체이다. 이러한 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보를 저장하기 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 캐시, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광 디스크 저장소, 메모리 스틱 또는 카드, 자기 카세트, 자기 테이프, 매체 드라이브, 하드 디스크, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 디바이스(이들로 제한되지 않음)를 포함한다.

발명 요지가 구조적 특징 및/또는 방법적 동작과 관련하여 기술되어 있지만, 첨부된 청구항에 한정되어 있는 발명 요지가 앞서 기술된 구체적인 특징 또는 동작으로 꼭 제한될 필요는 없다는 것을 잘 알 것이다. 오히려, 앞서 기술된 구체적인 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 개시되어 있다.

Claims (18)

1. 방법에 있어서,
   복수의 광원(light source)들의 패턴들로 물체(object)를 조명하는(illuminating) 단계 - 상기 패턴들은 상기 광원들 중 제1 광원이 온(on)인 제1 패턴 및 상기 제1 광원이 오프(off)인 제2 패턴을 포함함 - ;
   상기 물체를 상기 패턴들 중 대응하는 패턴들로 조명하는 동안 상기 물체의 복수의 영상(image)들을 카메라에서 포착하는(capturing) 단계 - 상기 광원들 각각은 상기 복수의 영상들 중 적어도 하나에 대해서는 오프이고 상기 복수의 영상들 중 적어도 하나에 대해서는 온임 - ;
   상기 제1 광원이 온인 영상들 전부 중 픽셀별 최소치(per-pixel minimum)인 최소치 영상을 결정하는 단계;
   상기 제1 광원이 오프인 영상들 전부 중 픽셀별 최대치인 최대치 영상을 결정하는 단계;
   상기 최대치 영상이 상기 최소치 영상으로부터 차감되는 픽셀별 부호없는 포화 차감 연산(per-pixel unsigned saturated subtract operation)인 차분 영상(difference image)을 계산하는 단계;
   상기 포착된 복수의 영상들 내의 번쩍임(glint)들을 분석하는 단계; 및
   상기 차분 영상 내의 번쩍임을 상기 제1 광원에 매핑하는 단계를 포함하고,
   상기 포착하는 단계 및 분석하는 단계는,
   상기 복수의 광원들 전부가 온인 상태에서 상기 복수의 영상들 중 제1 영상을 포착하는 단계;
   상기 복수의 광원들 중 제2 광원이 오프이고 나머지가 온인 상태에서 상기 복수의 영상들 중 제2 영상을 포착하는 단계;
   상기 제2 영상 내에 어떤 번쩍임이 없는지를 결정하기 위해 상기 제1 영상과 상기 제2 영상을 비교하는 단계를 포함하고, 상기 방법은,
   상기 없는 번쩍임을 상기 제2 영상이 포착되었을 때 오프였던 상기 제2 광원에 매핑하는 단계를 더 포함하는 것인, 방법.
2. 삭제
3. 제1항에 있어서, 상기 복수의 영상들을 포착하는 단계는 상기 복수의 광원들 중 정확히 하나의 광원이 오프이고 상기 복수의 광원들 중 나머지가 온인 상태에서 추가 영상들을 포착하는 단계를 포함하고,
   상기 분석하는 단계는 각각의 추가 영상 내에 없는 번쩍임을 결정하기 위해 상기 제1 영상과 각각의 추가 영상을 비교하는 단계를 포함하며,
   상기 방법은 상기 추가 영상들 각각 내에 없는 번쩍임을 각각의 추가 영상에 대해 오프인 광원에 매핑하는 단계를 더 포함하는 것인, 방법.
4. 제1항에 있어서, 상기 복수의 영상들을 포착하는 단계는,
   상기 복수의 광원들 전부가 상기 물체를 조명하는 동안 영상을 포착하는 단계;
   상기 패턴들 중 일부가 상기 물체를 조명하는 동안 복수의 추가 영상들을 포착하는 단계 - 상기 추가 영상들 각각은 상기 복수의 광원들 중 정확히 하나가 오프이고 상기 복수의 광원들 중 나머지가 온인 상태에서 포착됨 - ;
   작업 영상(working image)을, 상기 복수의 광원들 전부가 상기 물체를 조명하고 있는 동안 포착된 영상으로서 설정하는(establishing) 단계;
   상기 복수의 광원들 각각에 대해, 상기 작업 영상과, 상기 광원들 중 정확히 하나가 오프이고 상기 광원들 중 나머지가 온인 영상 간의 픽셀별 최소치에 기초하여 상기 작업 영상을 업데이트하여, 최종 작업 영상을 초래하는 단계;
   상기 최종 작업 영상을 번쩍임 없는(glint free) 영상으로서 설정하는 단계를 포함하는 것인, 방법.
5. 제1항에 있어서,
   상기 제1 광원에 추가하여 상기 복수의 광원들 각각에 대해,
   상기 최소치 영상을 결정하는 단계, 상기 최대치 영상을 결정하는 단계, 상기 차분 영상을 계산하는 단계, 및 상기 차분 영상 내의 번쩍임을 각 광원에 매핑하는 단계를 반복하는 단계를 더 포함하는, 방법.
6. 제5항에 있어서, 번쩍임들은, 광원들보다 더 적은 수의 포착된 영상들을 사용하여 상기 번쩍임들의 각 광원들에 매핑되는 것인, 방법.
7. 제1항에 있어서,
   작업 영상을 상기 포착된 영상들 중 제1의 포착된 영상으로서 설정하는 단계;
   상기 복수의 포착된 영상들 중 나머지 포착된 영상들에 대해, 상기 작업 영상과 상기 영상 간의 픽셀별 최소치에 기초하여 상기 작업 영상을 업데이트하여, 최종 작업 영상을 초래하는 단계; 및
   상기 최종 작업 영상을 번쩍임 없는 영상으로서 설정하는 단계를 포함하는 것인, 방법.
8. 시스템에 있어서,
   복수의 광원들;
   카메라; 및
   상기 복수의 광원들 및 상기 카메라와 통신하는 논리부를 포함하고, 상기 논리부는,
   상기 복수의 광원들의 패턴들로 물체를 조명하기 위해 상기 광원들을 제어하도록 - 상기 패턴들은 상기 광원들 중 제1 광원이 온인 제1 패턴 및 상기 제1 광원이 오프인 제2 패턴을 포함하고, 상기 광원들 각각은 상기 패턴들 중 적어도 하나에 대해서는 오프이고 상기 패턴들 중 적어도 하나에 대해서는 온임 - ;
   상기 물체를 상기 패턴들 중 대응하는 상이한 패턴들로 조명하는 동안 상기 물체의 복수의 영상들을 상기 카메라에서 포착하도록 - 상기 광원들 각각은 상기 복수의 영상들 중 적어도 하나에 대해서는 오프이고 상기 복수의 영상들 중 적어도 하나에 대해서는 온임 - ;
   상기 제1 광원이 온인 영상들 전부 중 픽셀별 최소치인 최소치 영상을 결정하도록;
   상기 제1 광원이 오프인 영상들 전부 중 픽셀별 최대치인 최대치 영상을 결정하도록;
   상기 최대치 영상이 상기 최소치 영상으로부터 차감되는 픽셀별 부호없는 포화 차감 연산인 차분 영상을 계산하도록;
   상기 패턴들로 상기 물체를 조명한 결과로서 상기 포착된 복수의 영상들 내의 번쩍임들을 분석하도록;
   상기 차분 영상 내의 번쩍임을 상기 제1 광원에 매핑하도록; 그리고
   번쩍임 없는 영상을 생성하기 위해 상기 포착된 복수의 영상들의 픽셀별 최소치를 수행하도록 구성되는 것인, 시스템.
9. 제8항에 있어서, 상기 논리부가 포착하도록 그리고 분석하도록 구성되는 것은, 상기 논리부가
   상기 복수의 광원들 전부가 온인 상태에서 상기 복수의 영상들 중 제1 영상을 포착하도록;
   상기 복수의 광원들 중 제2 광원이 오프이고 상기 복수의 광원들 중 나머지가 온인 상태에서 상기 복수의 영상들 중 제2 영상을 포착하도록;
   픽셀별 차분 영상(Diff(A,B) =Max(0, A-B)) - 여기서 A는 상기 제1 영상이고 B는 상기 제2 영상임 - 을 생성하도록; 그리고
   상기 픽셀별 차분 영상 내의 번쩍임을, 상기 제2 영상이 포착되었을 때 오프였던 상기 제2 광원에 매핑하도록
   구성되는 것을 포함하는 것인, 시스템.
10. 제9항에 있어서, 상기 논리부는 또한,
    상기 패턴들 중 다른 일부가 상기 물체를 조명하는 동안 복수의 추가 영상들을 포착하도록 - 상기 추가 영상들 각각은 상기 복수의 광원들 중 정확히 하나가 오프이고 상기 복수의 광원들 중 나머지가 온인 상태에서 포착됨 - ;
    상기 추가 영상들 각각에 대해, 픽셀별 차분 영상(Diff(A,B) =Max(0, A-B)) - 여기서 A는 상기 제1 영상이고 B는 상기 추가 영상임 - 을 생성하도록; 그리고
    상기 추가 영상들 각각에 대해, 대응하는 픽셀별 차분 영상 내의 번쩍임을 상기 추가 영상에 대해 오프인 광원에 매핑하도록 구성되는 것인, 시스템.
11. 제8항에 있어서, 상기 제1 광원에 추가하여 상기 복수의 광원들 각각에 대해, 상기 논리부는 또한,
    최소치 영상을 결정하도록, 최대치 영상을 결정하도록, 차분 영상을 계산하도록, 그리고 상기 차분 영상 내의 번쩍임을 각 광원에 매핑하도록 구성되는 것인, 시스템.
12. 제1항에 있어서,
    상기 번쩍임들을 분석한 것에 기초하여, 상기 포착된 복수의 영상들 내의 번쩍임을 상기 복수의 광원들 중 상기 번쩍임의 원인인 한 광원에 매핑하는 단계를 더 포함하는, 방법.
13. 제8항에 있어서, 상기 논리부는 또한, 상기 포착된 복수의 영상들 내의 번쩍임을 상기 복수의 광원들 중 상기 번쩍임의 원인인 한 광원에 매핑하도록 구성되는 것인, 시스템.
14. 제8항에 있어서,
    상기 논리부와 통신하는 시스루, 근안 디스플레이를 더 포함하는, 시스템.
15. 시스템에 있어서,
    복수의 광원들;
    카메라; 및
    상기 복수의 광원들 및 상기 카메라와 통신하는 논리부를 포함하고, 상기 논리부는,
    상기 복수의 광원들의 패턴들로 물체를 조명하기 위해 상기 광원들을 제어하도록 - 상기 패턴들은 상기 복수의 광원들 전부가 온인 제1 패턴 및 상기 복수의 광원들 중 제1 광원이 오프이고 나머지가 온인 제2 패턴을 포함함 - ;
    상기 복수의 광원들 전부가 온인 상태에서 제1 영상을 포착하도록;
    상기 복수의 광원들 중 상기 제1 광원이 오프이고 나머지가 온인 상태에서 제2 영상을 포착하도록;
    픽셀별 차분 영상(Diff(A,B) =Max(0, A-B)) - 여기서 A는 상기 제1 영상이고 B는 상기 제2 영상임 - 을 생성하도록; 그리고
    상기 픽셀별 차분 영상 내의 번쩍임을, 상기 제2 영상이 포착되었을 때 오프였던 상기 제1 광원에 매핑하도록 구성되는 것인, 시스템.
16. 제15항에 있어서, 상기 논리부가 포착하도록, 생성하도록, 그리고 매핑하도록 구성되는 것은, 상기 논리부가
    상기 패턴들 중 다른 일부가 상기 물체를 조명하는 동안 복수의 추가 영상들을 포착하도록 - 상기 추가 영상들 각각은 상기 복수의 광원들 중 정확히 하나가 오프이고 상기 복수의 광원들 중 나머지가 온인 상태에서 포착됨 - ;
    상기 추가 영상들 각각에 대해, 픽셀별 차분 영상(Diff(A,B) =Max(0, A-B)) - 여기서 A는 상기 제1 영상이고 B는 상기 추가 영상임 - 을 생성하도록; 그리고
    상기 추가 영상들 각각에 대해, 대응하는 픽셀별 차분 영상 내의 번쩍임을 상기 추가 영상에 대해 오프인 광원에 매핑하도록
    구성되는 것을 포함하는 것인, 시스템.
17. 시스템에 있어서,
    복수의 광원들;
    카메라; 및
    상기 복수의 광원들 및 상기 카메라와 통신하는 논리부를 포함하고, 상기 논리부는,
    상기 복수의 광원들의 패턴들로 물체를 조명하기 위해 상기 광원들을 제어하도록 - 상기 패턴들은 상기 광원들 중 제1 광원이 온인 제1 패턴 및 상기 제1 광원이 오프인 제2 패턴을 포함하고, 상기 광원들 각각은 상기 패턴들 중 적어도 하나에 대해서는 오프이고 상기 패턴들 중 적어도 하나에 대해서는 온임 - ;
    상기 물체를 상기 패턴들 중 대응하는 상이한 패턴들로 조명하는 동안 상기 물체의 복수의 영상들을 상기 카메라에서 포착하도록;
    상기 제1 광원이 온인 영상들 전부 중 픽셀별 최소치인 최소치 영상을 결정하도록;
    상기 제1 광원이 오프인 영상들 전부 중 픽셀별 최대치인 최대치 영상을 결정하도록;
    상기 최대치 영상이 상기 최소치 영상으로부터 차감되는 픽셀별 부호없는 포화 차감 연산인 차분 영상을 계산하도록;
    상기 패턴들로 상기 물체를 조명한 결과로서 상기 포착된 복수의 영상들 내의 번쩍임들을 분석하도록; 그리고
    상기 차분 영상 내의 번쩍임을 상기 제1 광원에 매핑하도록 구성되고,
    상기 포착하는 것 및 분석하는 것은,
    상기 복수의 광원들 전부가 온인 상태에서 상기 복수의 영상들 중 제1 영상을 포착하는 것;
    상기 복수의 광원들 중 제2 광원이 오프이고 나머지가 온인 상태에서 상기 복수의 영상들 중 제2 영상을 포착하는 것;
    상기 제2 영상 내에 어떤 번쩍임이 없는지를 결정하기 위해 상기 제1 영상과 상기 제2 영상을 비교하는 것을 포함하고, 상기 논리부는 또한,
    상기 없는 번쩍임을 상기 제2 영상이 포착되었을 때 오프였던 상기 제2 광원에 매핑하도록 구성된 것인, 시스템.
18. 제17항에 있어서, 상기 제1 광원에 추가하여 상기 복수의 광원들 각각에 대해, 상기 논리부는 또한,
    최소치 영상을 결정하도록, 최대치 영상을 결정하도록, 차분 영상을 계산하도록, 그리고 상기 차분 영상 내의 번쩍임을 각 광원에 매핑하도록 구성되는 것인, 시스템.

Images