KR20020086590A - 응시 추적을 통해 렌즈 배율을 자동으로 조절하기 위한시스템 및 방법 - Google Patents

Abstract

본 발명은 자동 줌 렌즈들을 포함하는 디바이스에 관한 것으로, 보다 명확하게는, 응시 추적 시스템에 링크된 프로세서에 의해 제어되는 줌 렌즈에 관한 것이다. 사용자가 이 디바이스를 통해 객체를 주시할 때, 응시 추적 시스템은 사용자의 각 눈의 위치에 관한 데이터를 수집한다. 이 눈 위치 데이터는 프로세서에 입력되고, 그 곳에서, 사용자의 초점이 결정된다. 그후, 프로세서는 사전 설정된, 또는, 사용자 입력 줌 팩터 중 어느 한쪽에 기초하여 객체 상으로 줌인 또는 줌아웃되도록 줌 렌즈를 조절한다.

Description

응시 추적을 통해 렌즈 배율을 자동으로 조절하기 위한 시스템 및 방법{System and method for automatically adjusting a lens power through gaze tracking}

쌍안경들 및 카메라들 같은 광학 디바이스들은 종종 보여지는 객체의 확대율을 조절하도록 줌인(zoom in) 및 줌아웃(zoom out)을 할 수 있는 시스템들을 포함한다. 이들 디바이스들에 포함된 시스템들은 수동 조절 또는 모터에 의한 조절 중 어느 한쪽에 의해 줌 렌즈를 이동시킴으로써 확대율 또는 줌 비율을 변화시킨다. 동력화된 시스템들(motorized systems)은 일반적으로 스텝퍼 모터(stepper motor)와 같은 모터에 링크된, 다이얼 또는 푸시 버튼 시스템(dial or push button system)이나 몇몇 다른 전자 제어를 포함하며, 이 스텝퍼 모터는 렌즈들을 이동시켜 줌 비율을 조절한다. 버튼을 누름으로써, 신호가 제어 유닛에 보내지고, 이것이 스텝퍼 모터를 작동시킨다. 스텝퍼 모터는 기계적으로 렌즈 시스템에 링크되어 있고, 사용자의 제어 시 렌즈들을 조절하여 줌인 또는 줌아웃한다. 동력화된 줌 렌즈들의 한 특정한 제조업자는 펠코(Pelco)이며, 그 동작 및 제원들은 그 웹사이트<<http://www.pelco.com>>에서 볼 수 있다.

현존하는 동력화된 줌 렌즈들의 한가지 문제점은 이들 모두는 줌을 제어하기 위해 사용자가 손을 사용해야 할 필요가 있다는 것이다.

역시 본 발명에 관련되어 있는 다른 분야에서, 일반적으로 응시 추적이라 지칭되는 사람의 눈의 이동 방향을 추적하기 위한 다양한 기술들이 존재한다. 응시 추적은 눈의 각도 이동 및 위치의 검출 또는 측정에 관련한 것이다. 공지된 응시 추적 기술들을 설명하는 문헌은 1995년 테오 엥겔-닐슨(Theo Engell-Nielson) 및 아르네 존 글렌스트럽(Arne John Glenstrup)에 의한눈 제어식 매체; 현재와 미래 상태이며, 이는 <<http://www.diku.dk/~panic/eyegaze>>에서 발견할 수 있으며, 본 명세서에서 참조하고 있다. 다양한 기술들은 사용자의 머리 및/또는 눈들의 이동을 추적함으로써 사용자의 초점을 결정한다. 눈의 이동은 세 가지 현용 기술들을 사용하여 검출될 수 있으며, 이는 눈의 상이한 부분들의 반사광을 검출하는 것과, 눈이 이동할 때, 인접 피부의 전위차를 측정하는 것 및 특별히 설계된 콘텍트 렌즈를 사용하는 것이다.

상업적으로 이용 가능한 응시 추적 시스템은 사람이 주시하는 방향을 판정하고, 관련 목적을 위해 응시 각도에 관한 이 데이터를 사용한다. 응시 추적 시스템의 일 제조업자는 센소모토릭 인스트루먼트이며, 그 상업적으로 이용 가능한 장비는 <<http://www.smi.de>>에서 볼 수 있다. 검출기들, 예로서, 카메라들 및/또는 다른 센서들을 사용자의 눈 위에 또는 부근에 장착함으로써, 시스템은 눈의 작은각도 이동을 검출하고, 눈의 각도 이동에 기반하여 커서를 이동시킨다. 센소모토릭 인스트루먼트 시스템즈(Sensomotoric Instrument systems)는 또한 의료적 진단 목적을 위한 검출된 눈 이동의 분석을 개시하고 있다.

따라서, 응시 추적 시스템들은 여태까지, 눈의 검출된 응시 각도에 대응하도록 커서를 이동시키는 단순한 응용이나 눈 운동 그 자체의 분석에 그 응용 분야가 제한되어 있다.

본 발명은 사용자의 초점에 기초하여 광학 디바이스의 확대율(magnification factor)을 변화시키는 시스템에 관한 것으로, 특히, 사용자의 응시 라인들(gaze lines)의 교차를 결정함으로써 확대율을 변화시키는 시스템에 관한 것이다.

도 1은 본 발명의 실시예에 따른, 렌즈를 자동으로 줌(zooming)하기 위한 시스템의 다이어그램.

도 1a는 사람의 눈의 몇 가지 소자들을 도시하는 다이어그램.

도 1b는 도 1a에 도시된 사람의 눈의 측면도.

도 1c는 응시 추적 시스템에 의해 포착된 사람의 눈의 이미지의 다이어그램.

도 1d는 도 1c와 다른 위치에서의 사람의 눈의 이미지의 다이어그램.

도 2는 본 발명의 실시예에 따른 도 1에 도시된 시스템의 기하학적 형상의 다이어그램.

도 3은 본 발명의 실시예에 따른 시스템의 동작을 도시하는 흐름도.

본 발명의 양태는 응시 추적 시스템의 사용을 통해 광학 디바이스의 확대율을 제어하기 위한 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 양태는 줌 렌즈의 기본 기능들을 제어하기 위해 음성 인식 시스템을 추가로 통합하도록 하는 것이다.

본 발명은 응시 추적 시스템으로부터 수신된 응시 각도를 사용하여 계산된 응시 거리 파라미터에 기초하여 광학적 파라미터를 자동으로 조절하는 응시 추적 시스템을 가지는 광학 디바이스를 포함한다.

본 발명의 일 실시예에서, 광학 디바이스는 적어도 하나의 조절 가능 광학 소자와, 응시 추적 입력 센서들과, 상기 적어도 하나의 광학 소자와 인터페이스 접속하여 상기 적어도 하나의 소자를 이동시킬 수 있는 모터와, 제어 유닛을 포함하고, 상기 제어 유닛은 응시 추적 및 관련 응시 거리 알고리즘과 모터에 제어 입력을 제공하는 소프트웨어를 지원한다. 응시 추적 입력 센서들은 눈들의 응시 각도에 관한 입력을 수신하고, 이는 제어 유닛에 전송된다. 제어 유닛의 응시 추적 알고리즘은 눈의 응시 각도를 결정하고, 응시 거리 알고리즘은 산출된 응시 각도를 사용하여 응시 거리, 즉, 관찰자로부터 눈이 응시하는 또는 초점 형성되는 지점까지의 거리를 산출한다. 산출된 거리는 그후, 적어도 하나의 광학 소자의 조절을 계산하기 위해 사용되고, 제어 신호가 모터에 보내져서 적어도 하나의 광학 소자의 위치를 조절한다.

다른 양호한 실시예에서, 한 쌍의 쌍안경은 줌 렌즈들과, 적어도 하나의 응시 추적 카메라들과, 상기 줌 렌즈들과 인터페이스하는 스텝퍼 모터와, 제어 유닛을 포함하고, 상기 제어 유닛은 응시 추적 및 관련 응시 거리 알고리즘과 스텝퍼 모터에 대한 제어 입력을 제공하는 소프트웨어를 지원한다. 응시 추적 카메라들은 눈들의 응시 각도를 결정하기 위해 제어 유닛에서 응시 추적 알고리즘에 의해 사용되는 눈들의 적어도 하나의 특징들의 위치의 이미지를 포착한다. 응시 각도는 응시 거리를 결정하기 위해 응시 거리 알고리즘에 의해 추가로 처리된다. 응시 거리는 응시 거리에서 초점 형성하도록 줌 렌즈들의 적절한 위치를 결정하기 위해 추가로 사용되고, 적절한 제어 신호가 프로세서에 의해 스텝퍼 모터에 제공되어 줌 렌즈들을 그 위치로 이동시킨다.

또 다른 양호한 실시예에서, 카메라는 줌 렌즈와, 적어도 하나의 응시 추적 카메라들과, 상기 줌 렌즈와 인터페이스 결합하는 스텝퍼 모터와, 응시 추적 및 관련 응시 거리 알고리즘과 스텝퍼 모터에 제어 입력을 제공하는 소프트웨어를 지원하는 제어 유닛을 포함한다. 응시 추적 카메라는 눈들의 응시 각도를 결정하기 위해 제어 유닛내의 응시 추적 알고리즘에 의해 사용되는 눈들의 적어도 하나의 특징들의 위치의 이미지들을 포착한다. 응시 각도는 응시 거리를 결정하기 위해 추가로 응시 거리 알고리즘에 의해 처리된다. 응시 거리는 응시 거리에서 카메라를 초점형성하기 위해 줌 렌즈의 적합한 위치를 결정하기 위해서 추가로 사용되며, 적절한 제어 신호가 프로세서에 의해 스텝퍼 모터에 제공되어, 그 위치로 줌 렌즈를 이동시키게 한다.

따라서, 무엇보다도, 본 발명은 사용자의 응시 각도와 대응 초점에 기반하여 광학 소자에 대한 자동 조절을 제공한다. 부가적으로, 본 발명은 음성 인식 시스템과 추가로 통합될 수 있으며, 그에 의해, 자동 조절이 취해지기 이전에 입력으로서 음성 명령이 필요할 수 있다.

상술한 바 및 다른 본 발명의 양태들, 특징들 및 장점들은 첨부 도면과 관련하여 하기의 상세한 설명으로부터 보다 명백해질 것이다.

본 발명의 양호한 실시예가 첨부 도면을 참조로 하기에 설명된다. 하기의 설명에서, 본 발명을 불필요하게 상세화하여, 불명확하게 만들기 때문에, 널리 공지된 기능들 또는 구성들은 상세히 설명되지 않는다.

도 1은 쌍안경 시스템(10)을 포함하는 본 발명의 실시예를 통해 주시하는 사용자를 도시하고 있다. 도 1에 도시된 바와 같이, 응시 추적 서브시스템은 두 개의 카메라들(C1, C2)과, 제어 유닛(100) 및 내부에 저장된 관련 소프트웨어로 구성된다. 사용자의 눈(E1, E2)이 도시되어 있다. 또한, 쌍안경을 구성하는 단안(monocular) B1 및 단안 B2도 도시되어 있다. 스텝퍼 모터(105)는 줌 렌즈들(Z1, Z2)에 연결된 것으로 도시되어 있다. 상세히 후술될 바와 같이, 제어 유닛(100)은 제어 유닛(100)에 대한 제어 신호들을 생성하는 소프트웨어를 포함한다.

제어 유닛(100)은 예로서, 쌍안경 시스템(100)에 직접 장착되어 있는 연계된 RAM 및 ROM을 가지는 프로세서를 포함할 수 있고, 이는 카메라들(C1, C2)에 와이어들(미도시)로 상호 접속되어 그로부터 응시 추적 정보 데이터를 수신한다. 또한, 제어 유닛(100)은 스텝퍼 모터(105)와 와이어 및 와이어들(미도시)로 상호 연결되어 그에 명령을 제공하고, 줌 렌즈의 위치 데이터를 수신한다. 대안적으로, 제어 유닛(100)은 와이어 또는 무선 접속으로 카메라들(C1, C2) 및 스텝퍼 모터(105)와 접속되어 있는, 쌍안경에 장착되지 않은 별개의 유닛을 포함할 수 있다.

카메라들(C1, C2)은 눈(E1, E2)의 각도 이동에 관한 비디오 데이터(응시 추적 데이터)을 제어 유닛(100)에 제공한다. 응시 추적 데이터는, 제어 유닛(100)의 소프트웨어 내에 응시추적 알고리즘의 형태로 저장되어 있는 본 기술 분야에 공지된 바와 같은 응시 추적 기술들 중 하나와 어울리게 된다. 따라서, 제어 유닛(100)은 수직(즉, 사람이 직전방을 주시하거나, 대등하게, 단안들(B1, B2)의 축을 따라 주시할 때의 축)에 대한 응시 각도(들)를 결정하기 위해 수신된 응시 추적 데이터를 처리한다. 결정된 응시 각도는 사용자의 눈들(E1, E2)의 이격도 같은 다른 입력과 함께 제어 유닛(100)에서 처리되어 사용자가 초점을 맞추고 있는 지점(예로서, 도 1에 도시된 지점 O)까지의 거리(사용자의 초점 거리)를 계산한다. 눈들 사이의 거리는 제어 유닛(100)에 별도의 입력으로서 제공될 수 있다. 예로서, 단안들(B1, B2)이 관찰자의 눈에 조절되게될 때, 눈들은 일반적으로 각 단안의 중앙축과 정렬되게 된다. 따라서, 관찰자의 눈들 사이의 거리가 단안들의 중앙축들의 이격도와 실질적으로 같아지며, 이는 단안들(B1, B2) 사이의 조절 메커니즘의 설정의 함수이다. 단안들(B1, B2) 사이의 조절 메커니즘과 인터페이스 연결된 센서는 제어 유닛(100)에 단안들(B1, B2) 사이의 조절 설정의 척도를 제공할 수 있다. 따라서, 제어 유닛(100)은 예로서, 조절 메커니즘의 설정의 함수로서 단안들(그리고, 관찰자의 눈들)의 중앙각도 사이의 거리를 제공하는 표를 사용하여 눈의 이격도를 결정할 수 있다.

대안적으로, 카메라들(C1, C2)에 의해 제공된 이미지가 유사한 방식으로 사용될 수 있다. 예로서, 눈 측정 모드에서, 단안들(B1, B2)은 각 눈이 각카메라(C1, C2)에 의해 제공된 이미지의 중앙에 위치되도록 조절될 수 있다. 제어 유닛(100)은 눈들이 이미지에 이렇게 중심 설정되었을 때, 단안들(B1, B2) 사이의 조절 메커니즘의 설정의 함수로서 눈 이격 거리를 제공하는 예비 저장된 표를 구비한다. 조절 설정은 눈들이 이미지에 중심 설정되었을 때, 조절 메커니즘과 인터페이스 연결된 센서에 의해 제어 유닛(100)에 보내진다. 제어 유닛(100)은 이 측정치를 사용하여 눈 이격 거리를 찾는다.

언급한 바와 같이, 제어 유닛(100)은 렌즈들(Z1, Z2)의 현 위치를 메모리 내에 저장한다. 제어 유닛은 시간에 걸쳐, 스텝퍼 모터(105)에 의한 스텝("줌 틱(zoom ticks)이라 지칭됨)들의 방향과 스텝들의 수의 계수값을 유지함으로써, 렌즈 위치의 추적을 유지할 수 있다. 대안적으로, 스텝퍼 모터 및/또는 렌즈들과 인터페이스 연결된 센서가 제어 유닛(100)에 렌즈들의 현재 위치를 제공하기 위해, 제어 유닛에 의해 질문을 받게될 수 있다. 응시 추적 데이터에 기초하여 사용자의 초점 거리를 계산한 이후에, 그후, 제어 유닛(100)은 쌍안경에 의한 초점 상에 줌 초점을 제공하기 위해 줌 렌즈들(Z1, Z2)이 이동되어야만 하는 위치를 결정한다. 제어 유닛(100)은 스텝 또는 줌 틱 명령을 스텝퍼 모터(105)에 출력하고, 스텝 모터는 렌즈들(Z1, Z2)을 현 위치로부터 사용자 초점 거리로 이동시킨다. 따라서, 쌍안경이 자동으로 그 거리에, 다라서, 사용자가 응시하는 지점에 초점 형성된다.

도 1a는 결막부(200)와, (통상적으로)보다 어두운 홍체부(202)와, 중앙 동공부(204)를 가지는 사용자의 눈(E1)의 정면도를 도시한다. 도 1a의 눈은 예로서, 머리가 레벨이고, 눈이 그 레벨에서 사용자의 중앙축으로서 지칭되는 축을 따라 지평선을 주시할 때의, 중앙에 위치된 상태로 도시되어 있다. 따라서, 도 1a에서, 사용자의 중앙축은 도 1b의 페이지의 곧바른 바깥쪽이다. 도 1b는 사용자의 중앙축의 제 2 사시도를 도시하는 눈의 측면도이다.

상술한 바와 같이, 응시 추적을 위하여, 도 1의 카메라 같은 카메라는 도 1a에 도시된 것 같은 눈(E1)의 이미지들을 처리를 위해 제어 유닛(100)에 제공한다. 본 기술분야에 공지된 바와 같이, 눈의 이미지들은 CCD 어레이의 화소들 상에서 카메라(C1)에 의해 포착된다. 따라서, CCD 어레이의 각 화소는 제어 유닛에 포착된 이미지의 대응 부분에 대한 강도 측정을 제공한다. 도 1a를 다시 참조하면, 지점 A(또는 결막부(200)와 홍체부(202) 사이의 경계상의 소정의 지점)에 대응하는 이미지의 영역내의 화소들은 특정 화소들 사이에서 상대적으로 큰 강도 변화를 나타낸다. 지점 B(또는 홍체부(202)와 동공(204) 사이의 경계상의 소정의 지점)에 대응하는 화소에 대해서도 동일하다.

부가적으로, 제어 유닛은 눈과 사용자의 얼굴(206)의 피부 사이에서 지점 C 같은 기준 지점을 결정할 수 있다. 지점 C는 예로서, 사용자의 피부(206)와 결막부(200)의 화소들 사이의 강도의 변화에 의해 검출될 수 있다. 지점 C는 눈의 이동에 관해 사용자의 머리상의 고정된 기준 지점이다. 기준 지점 C는 카메라의 시계 내에서 사용자의 머리상의 소정의 지점에 위치될 수 있으며, 후술되는 바와 같은 이차원의 움직임을 판정하기 위해 사용될 수 있다. 또한, 고정된 기준지점은 예로서, 사람 손의 이미지 인식 알고리즘에 의해 결정된, 일련의 지점들일 수도 있다.

일 응시 추적 기술에서, 머리에 관한 눈의 위치가 이미지로부터 판정된다. 이 응시 추적 기술의 원리는 도 1c 및 도 1d와 관련하여 설명된다. 도 1 c와 도 1d는 카메라(C1)에 의해 기록되어 카메라의 CCD내의 각 화소로부터 디지털화된 데이터의 형태로 제어 유닛에 보내지는 바와 같은, 상이한 응시 각도들에서 눈(E1)의 두 상이한 이미지들을 도시하고 있다. 도 1c는 직전방을 주시, 즉, 상술한 바와 같은 중앙축을 따라 주시하고 있는 눈을 도시하고 있다. 홍체부(202)와 결막부(200) 및 상술한 바와 같은 사용자의 머리(206)의 피부 사이의 강도의 변화를 사용하여, 제어 유닛(100)은 도시된 바와 같은 X 축을 따라, 지점들 A(홍체부(202)와 결막부(200)의 경계)와, 지점 C(결막부(200)와 피부(200) 사이의 경계)를 결정한다. 따라서, 이미지 거리(X1)가 제어 유닛(100)에 의해 결정된다.

도 1d에서, 눈은 중앙축에 관한 응시 각도에서 좌측(X축을 따른)으로 응시한다. 따라서, 이미지내의 지점 A는 도시된 바와 같이 지점 C를 향해 이동한다. 도 1의 이미지내의 지점들(A, C)의 위치들을 결정함으로써(다시 말해, 눈들의 특징들 사이의 강도들의 변화를 검출함으로써), 제어 유닛(100)은 거리(X2)를 결정한다.

중앙축에 관한 눈(E1)의 응시 각도는 X 위치의 변화, 즉 X1-X2의 함수이다. 이 함수는 이미지들 내의 눈의 변위(예로서, 지점들 A 및 C 사이에서 측정된 바와 같은)가 공지된 응시 각도들에 대하여 검출 및 기록되는 트레이닝 프로그램에서 제어 유닛(100)에 의해 결정될 수 있다. (도 1의 시스템에서, 예로서, 눈이 이미지내의 중심에 있을 때, 응시 각도는 0이고, 시계의 가장자리를 응시할 때, 응시 각도는 단안의 각도 폭과 같다. 트레이닝 프로그램에서 이들 두 이미지들을 포착함으로써, 제어 유닛(100)은 변위와 응시 각도 사이의 선형 상관관계를 결정할 수 있다). 트레이닝 프로그램에서 수집된 데이터를 사용하여, 제어 유닛(100)은 이미지내의 검출된 변위(X-X2 같이)에 대한 응시 각도를 외삽 추정(extrapolate)할 수 있다.

눈은 도 1d에 도시된 바와 같이 이미지의 X 축을 따라 응시할 필요는 없으며, X 및 Y 축에 대해 소정 각도로 위치될 수 있다는 것을 인지하여야 한다. 제어 유닛(100)은 X 및 Y 방향 양자 모두로(즉, X-Y 평면내의 소정의 방향으로) 눈의 이동을 수용하는 유사한 처리를 가질 수 있다.

본 기술 분야에 공지된 바와 같이, 이것 및 다른 응시 추적 기술들은 머리의 이동, 작은 이동들의 높은 해상, 신속한 응답 시간, 이차원 눈의 이동 등을 수용하기 위해 매우 복잡해지게 된다. 통상적으로, 응시 추적 시스템들은 이들 다른 변수들 및 팩터들을 수용하기 위해 응시 각도 처리 시 고속 이미지들을 사용한다. 부가적으로, 양 눈들에 대한 응시 각도가 결정된다. 응시 추적의 기술에 관한 하기의 문헌들은 본 명세서에서 참조하고 있다. 1) 로빈슨 등의 발명의 명칭이 "눈 응시 추적을 제공하기 위한 눈 검출 시스템"인 미국 특허 제 5,861,940호, 2) 후친슨 등의 발명의 명칭이 "눈 응시 방향 추적기"인 미국 특허 제 6,152,563호, 3) 스티벨하겐 양 & 와이벨의 모델 기반 응시 추적 시스템(국제 인공 지능 툴 잡지(International Journal of Artificial Intelligence Tools), 제 6 권 2호 193-209쪽, 1997년), 4) 슈미트 발루자 & 딘 포멀로이의 "인공 신경 네트워크들을 사용한 비개입식 응시 추적"(CMU 기술보고서(CMU Technical Report), CMU-CS-94-102), 5) 로버트 제이. 케이. 자콥의 "눈의 운동을 인간대 컴퓨터 대화 기술들에사용하는 방법 : 주시하는 것이 얻는 것이다"(정보시스템상의 ACM 트랜잭션(ACM Transactions On Information System), 제 6 권 3호 152-169쪽, 1999년 4월), 6) 하인즈만 및 젤링스키의, "강인성 실시간 추적 프로그램을 사용한 3-D 얼굴 포즈 및 응시점 추정"(패턴 분석 및 기계 지능에 관한 IEEE 컴퓨터 협회 기술 위원회에서 후원한 자동 얼굴 및 제스처 인식에 관한 제 3 국제 학술대회 회보, 1998년 4월 14일 - 16일, 일본, 나라현, 142-147쪽).

대안적으로, 센소모토릭 인스트루먼츠 "아이링크 응시추적" 시스템 같은 상업적으로 이용 가능한 시스템이 사용될 수 있다(상술한 바와 같이, 아이링크 시스템에 관한 상세한 내용 및 센소모토릭 인스트루먼츠의 다른 시스템들은 그 웹사이트WWW.smi.de에서 발견할 수 있다). 아이링크 시스템은 카메라와 응시 추적 소프트웨어를 제공하지만, 소프트웨어는 검출된 눈 운동에 응답하여 디스플레이 스크린상의 커서의 이동을 제어한다. 따라서, 아이링크 시스템이 사용되는 경우에, 예로서, 이는 커서 위치(아이링크 응시 추적 시스템에 의해 출력된)를 다시 중앙축에 관한 각도 위치로 변환하는 소프트웨어 서브루틴으로 적응된다. 이런 서브루틴은 디스플레이와 사용자 사이의 올바른 기하학적 및 공간적 관계들에 기초할 수 있다.

따라서, 도 1의 쌍안경 시스템(10)에 의해 응시 추적 기술이 사용될지라도, 응시 추적 콤포넌트들(즉, 카메라들(C1, C2), 제어 유닛(100) 및 관련 소프트웨어)은 기본적으로 관찰자의 중앙 각도에 관한 눈들(E1, E2)의 응시 각도를 계산한다. 도 2는 거리를 두고 있는 지점 O에서 초점 형성하는, 또는, 그 지점을 응시하는 눈들(E1, E2)을 나타낸다. 도 2에 나타난 바와 같이, 눈들(E1, E2)은 각각 축들 P1및 P2로부터 각각 응시 각도들 ∂1 및 ∂2를 각각 갖는다.(축들 P1 및 P2는 각각 눈들 E1 및 E2의 중앙축들을 나타낸다) 도 2는 관찰자의 눈들(E1, E2)과 지점 O 사이에 개재된, 도 1에 도시된 단안들(Z1, Z2)을 생략한다. 그러나, 본 기술분야의 숙련자들이 쉽게 인식할 수 있는 바와 같이, 단안들이 개재되어 있더라도, 눈들(E1, E2)은 가상 거리 D에 있는 가상 지점 O를 각도들 α1 및 α2로 응시한다.

또한, 눈들(E1, E2) 사이의 거리인 거리(De)도 도시되어 있다. 상술한 바와 같이, 거리 De는 예로서, 상술한 바와 같이 사용자의 눈 이격도를 측정하거나, 다른 방식으로 사용자의 눈 이격도를 검출함으로써 제어 유닛(100)에 알려진다. 라인들 P1, P2 및 D는 눈들(E1, E2)을 연결하는 라인에 수직인 라인들이다. 제어 유닛(100)이 상술한 바와 같이, 응시 추적 각도들(α1, α2)을 산출하고 나면, 거리 D는 하기와 같이 제어 유닛(100)에 의해 첫 번째 순서로 계산되게 된다.

제어 유닛은 참조표나 탄젠트를 계산하기 위한 서브루틴을 사용할 수 있다.

거리 D가 결정되고 나면, 제어 유닛(100)은 줌 렌즈들(Z1, Z2)의 위치를 조절하도록 스텝퍼 모터(105)를 제어하며, 그래서, 디폴트 거리(d₀)의 자동 줌 초점형성이 이루어진다. 디폴트 거리(d₀)에 대응하는 줌 초점 길이(f)는 다음과 같이 계산될 수 있다.

여기서, d₀은 객체가 존재하는 디폴트 줌 거리이고, f_h는 사용자(사람) 광학 시스템의 초점 길이 이다. 계산이 완료되고 나면, 제어 유닛(100)은 광학 시스템이 초점 길이 f를 갖도록 줌 렌즈들(Z1, Z2)을 이동시키도록 스텝퍼 모터(105)에 제어 신호들을 보낸다. 실제 위치는 시스템의 광학장치들의 함수들이며, 특정 광학 시스템의 다양한 초점 거리대 줌 렌즈 위치의 참조표가 제어 유닛(100)내에 프로그래밍될 수 있다.

제어 유닛(100)은 거리 D에서 관찰자에 의해 초점 형성된 객체가 최초 디폴트 줌 거리에 대한 부가적인 증분들에 의해 줌인 또는 줌아웃되도록 줌 렌즈들(Z1, Z2)을 추가로 이동시킬 수 있다. 사용자는 카메라 초점 길이에 부가적인 증분들을 연관시키는 캘리브레이션 프로세스에 증분 거리들을 입력할 수 있다. 캘리브레이팅되고 나면, 줌 증분들은 상술한 바와 같이 스텝퍼 모터(105)의 스텝 또는 "줌 틱"에 대응한다. 초점 길이들(f)과 줌 틱들(z) 사이의 관계는 예로서 하기와 같이 주어진다.

여기서, a₀, a₁, 및 f₀은 줌 틱당 캘리브레이션을 제공하기 위해 사용자에게제공될 수 있는 캘리브레이션 파라미터들이다. 렌즈들(Z1, Z2)의 이동 범위에 걸친 줌 틱들에 대응하는 초점 길이들은 예로서, 제어 유닛(100)내의 참조표에 저장될 수 있다. 대안적으로, 참조표는 광학 시스템내의 대응 초점 길이를 제공하는 렌즈들(Z1, Z2)의 위치("줌 틱 위치")에 줌 틱을 상호 연관시킬 수 있다.

줌 틱들은 거리 D에서 응시된 객체가 디폴트 거리(d₀)로 줌되도록 렌즈들(Z1, Z2)이 자동적으로 이동된 이후에, 부가적인 줌이나 미세 조절을 제공하기 위한 경로를 사용자에게 제공한다. 내향 줌 또는 외향 줌에 대응하는 줌 틱 입력은 제어 유닛(100)이 내향 또는 외향 중 어느 한쪽으로 렌즈들(Z1, Z2)이 다음 줌 틱 위치를 이동시키게 한다. 제어 유닛(100)은 렌즈들(Z1, Z2)의 현 위치(즉, 디폴트 거리(d₀)에 대응하는 위치)에 대해 내향 또는 외향 중 어느 한쪽인 인접 줌 틱 위치를 결정하기 위해 참조표를 사용할 수 있다. 제어 유닛(100)은 줌 틱 위치로 렌즈들(Z1, Z2)을 이동시키기 위해, 스텝퍼 모터(105)를 제공한다.

렌즈들(Z1, Z2)이 디폴트 거리(d₀)에서 초점 형성되도록 이동된 이후에, 줌 틱은 버튼을 사용하여 사용자의 수동으로 또는 음성 입력을 경유하여 시스템에 입력될 수 있다. 후자의 경우에, 제어 유닛(100)과 인터페이스 연결되는 쌍안경 시스템(10)상에 마이크로폰이 포함된다. 제어 유닛(100)은 예로서, 단어 "줌인" 또는 "줌아웃"을 인식하는 음성 인식 소프트웨어를 가질 수 있다. 사용자가 예로서 "줌인"이라 말할 때마다, 제어 유닛(100)은 렌즈들(Z1, Z2)을 다음 줌 틱 위치로 내향 이동시킨다. 사용자가 예로서, "줌아웃"이라 말할 때마다, 제어 유닛(100)은 렌즈들(Z1, Z2)을 다음 줌 틱 위치로 외행 이동시킨다. 부가적으로, 거리 D에 있는 응시된 객체의 디폴트 줌 거리(d₀)로의 줌인은 최초에 발음된 단어 "줌" 같은 사용자 입력을 필요로 할 수 있다. 디폴트 줌의 후속하는 미세 조율이나, 줌 틱 증분들의 다른 사유들로 인한 부가적인 줌인 또는 줌아웃은 상술한 "줌인" 또는 줌아웃"을 사용하여 취해질 수 있다.

부가적으로, 이런 음성 인식 특성은 도 1의 쌍안경 시스템(10)과 대안적인 방식으로 사용될 수 있다. 예로서, 음성 인식 소프트웨어는 발음된 숫자들과 단어들 "피드", "미터" 또는 다른 치수들을 인식할 수 있다. 따라서, 제어 유닛(100)은 "10 피트" 같은 사용자에 의해 말해진 원하는 줌 거리를 인식한다. 제어 유닛(100)은 상술한 바와 동일한 수학식, 즉, 하기의 수학식 4를 사용할 수 있다.

여기서, D는 이전과 같이 객체의 응시 거리를 나타내고, d는 본 실시예에서 10 피트 같은 사용자에 의한 원하는 말해진 줌 거리를 나타낸다. 제어 유닛(100)은 상술한 수학식을 사용하여 대응 초점 길이 f를 결정하고, 그후, 초점 거리에 대응하는 렌즈들(Z1, Z2)의 위치를 결정한다(예로서, 렌즈 위치에 광학 시스템의 초점 거리를 상관시키는 참조표를 사용하여). 제어 유닛(100)이 대응 렌즈 위치를 결정하고 나면, 이는 스텝퍼 모터(105)에 제어 신호들을 제공하여, 렌즈들을 그 위치로 이동시키고, 따라서, 객체를 예로서, 10 피트로 줌한다. 이런 특징은 상술한 자동디폴트 줌 및/또는 줌 틱 줌에 부가될 수 있다.

상술한 쌍안경 시스템(10)의 포괄적인 실시예의 제어 유닛(100)에 의한 처리는 하기와 같이 도 3(도 1 및 도 2에 도시된 바와 같은 콤포넌트들 및 거리들을 참조)을 참조로 설명된다. 단계 300에서, 응시 추적 및 음성 인식 시스템이 시작된다. 이 단계는 예로서, 눈들 사이의 거리(De)를 검출 및 결정하는 것을 포함할 수 있다. 제어 유닛(100)은 단계 304에서 사용자가 객체를 주시할 때, C1 및 C2로부터의 눈들(E1, E2)의 이미지 데이터를 수신하고, 단계 306에서 응시 추적 기술을 사용하여 눈들(E1, E2)의 응시 각도들(α1, α2)을 결정한다. 이 응시 각도들을 사용하여, 제어 유닛(100)은 예로서, 상술한 수학식 1을 사용하여, 단계 308에서 객체(O)에 대한 거리(D)를 산출한다.

그후, 제어 유닛은 단계 309에서 사용자에 의해 디폴트 모드가 선택되었는지 여부를 판정한다. 디폴트 모드가 선택된 경우에, 그후, 단계 310에서, 제어 유닛(100)은 디폴트 거리(d₀)로 객체를 줌하기 위한 광학 시스템의 초점 거리를 산출(예로서, 수학식 2를 사용하거나, 참조표를 통해)하고, 초점에 대응하는 줌 렌즈 위치를 판정(예로서, 참조표를 통해)한다.(대안적으로, 단계 310은 예로서, 줌 거리를 줌 렌즈 위치에 상관시키는 단일 참조표인 일원화된 단계를 포함할 수 있다. 이때, 디폴트 거리(d₀)는 렌즈 위치를 직접적으로 결정하기 위해 사용될 수 있다.)스텝 312에서, 제어 유닛은 줌 음성 입력(예로서, 말해진 단어 "줌")이 수신되었는지 여부를 판정한다. 입력된 경우에, 단계 314에서, 제어 유닛(100)은 제어 명령을스텝퍼 모터(105)에 보내어 렌즈들을 디폴트 줌 위치를 위해 결정된 위치로 이동시킨다.

디폴트 거리(d₀)로 객체를 줌한 이후에, 제어 유닛(100)은 단계 316에서, 줌 티킹에 대한 음성 명령이 도입되었는지 여부를 판정한다. 도입된 경우에(예로서, "줌인" 또는 "줌아웃"), 제어 유닛(100)은 단계 318에서 상술한 방식으로 렌즈를 다음 줌 틱 위치로 내측 또는 외측으로 이동시킨다. 단계 318을 실행한 이후에, 또는, 단계 316 또는 312에서의 판정이 "아니오"인 경우에, 처리는 단계 304로 복귀되고, 따라서, 응시된 객체가 음성 명령이 수신될 때 줌되게 하는 것을 보증한다.

디폴트 줌 모드가 선택된 것이 단계 309에서 판정된 경우에, 제어 유닛(100)은 단계 322에서, 음성 명령이 줌 거리(d), 예로서, "10 피트"를 제공하는 입력인지 여부를 판정한다. 그런 경우에, 그후, 단계 324에서, 제어 유닛(100)은 입력 거리(d)와, 응시 거리(D)(단계 304 - 308에서 결정된)를 사용하여 입력 거리(d)로 객체를 줌하기 위한 광학 시스템의 초점 길이를 산출(예로서, 수학식 4를 사용하여, 또는, 참조표를 통해)하고, 또한, 초점에 대응하는 줌 렌즈 위치를 결정(예로서 참조표를 통해)한다. (대안적으로, 단계 324는 예로서, 줌 거리를 줌 렌즈 위치에 상관시키는 단일 참조표인 일원화된 단계를 포함할 수 있다. 이때, 입력 거리(d)는 렌즈 위치를 직접적으로 결정하기 위해 사용될 수 있다.) 단계 326에서, 제어 유닛(100)은 입력 줌 거리를 위해 결정된 위치로 렌즈들을 이동시키기 위해 스텝퍼 모터(105)에 제어 명령들을 보낸다. 그후, 처리는 상술한 바와 같이, 줌 티킹을 위한 단계 316으로 지속된다(단계 316은 또한 단계 322에서의 판정이 "아니오"인 경우에 제어 유닛이 지속되는 지점이다).

본 발명을 그 특정 양호한 실시예를 참조로 도시 및 설명되었지만, 본 기술 분야의 숙련자들은 첨부된 청구범위에 의해 정의된 본 발명의 개념 및 범주로부터 벗어나지 않고 형상 및 세부사항들의 다양한 변화가 이루어질 수 있다는 것을 이해할 것이다. 예로서, 상기 양호한 실시예들은 쌍안경 시스템에 관련하여 본 발명을 설명하지만, 본 기술 분야의 숙련자들은 예로서, 카메라를 포함하는 줌 특성을 가지는 소정 유형의 광학 시스템에 본 발명이 쉽게 적용될 수 있다는 것을 이해할 거시다. 부가적으로, 본 발명은 줌에 한정되지 않으며, 예로서, 카메라, 쌍안경 또는 다른 광학 시스템의 통상적인 초점 형성 같은 소정 유형의 광학적 조절에 적용될 수 있다.

Claims (16)

1. 적어도 하나의 조절 가능한 광학 소자(Z1)와, 그에 대한 조절을 제공하도록 상기 적어도 하나의 조절 가능한 광학 소자(Z1)와 인터페이스하는 모터(105)와, 관찰자의 제 1 및 제 2 눈(E1, E2)에 대한 눈 위치 데이터를 각각 검출하는 제 1 및 제 2 눈 위치 센서들(C1, C2)과, 상기 제 1 및 제 2 눈 위치 센서들(C1, C2)로부터 위치 데이터를 수신하고 제어 신호들을 상기 모터(105)에 제공하는 제어 유닛(100)를 포함하는 광학 시스템에 있어서,

   상기 제어 유닛(100)은,

   ⅰ) 상기 제 1 및 제 2 눈 위치 센서들(C1, C2)에 의해 제공된 눈 위치 데이터로부터 상기 관찰자의 눈들(E1, E2) 각각에 대한 응시 각도들을 결정하는 응시 추적 처리,

   ⅱ) 상기 결정된 응시 각도들(α1, α2)을 이용하여 상기 관찰자의 응시 거리를 결정하는 응시 거리 처리와,

   ⅲ) 상기 결정된 응시 거리의 함수로서 상기 적어도 하나의 광학 소자(Z1)의 조절 위치를 결정하는 광학 소자 위치 결정 처리를 포함하고,

   상기 제어 유닛(100)은 상기 적어도 하나의 조절 가능한 광학 소자(Z1)를 상기 조절 위치에 이동시키도록 제어 신호들을 상기 모터(105)에 제공하는, 광학 시스템.
2. 제 1 항에 있어서,

   상기 적어도 하나의 조절 가능한 광학 소자(Z1)는 상기 광학 시스템의 사용자에 초점을 제공하는 적어도 하나의 렌즈를 포함하는, 광학 시스템.
3. 제 2 항에 있어서,

   상기 적어도 하나의 렌즈는 줌 렌즈를 포함하는, 광학 시스템.
4. 제 1 항에 있어서,

   상기 제 1 및 제 2 눈 위치 센서들(C1, C2)은 상기 관찰자의 상기 제 1 및 제 2 눈들(E1, E2)에 각각 향해진 제 1 및 제 2 카메라들을 포함하는, 광학 시스템.
5. 제 4 항에 있어서,

   상기 제 1 및 제 2 카메라들(C1, C2)에 의해 각각 검출된 상기 제 1 및 제 2 눈들(E1, E2)의 상기 눈 위치 데이터는 상기 제 1 및 제 2 눈들(E1 및 E2)의 이미지들인, 광학 시스템.
6. 제 5 항에 있어서,

   상기 제어 유닛의 상기 응시 추적 처리는 상기 이미지들에서의 상기 제 1 및 제 2 눈들의 특징의 위치를 이용하여 상기 제 1 및 제 2 눈(E1, E2) 각각에 대한응시 각도(α1, α2)를 결정하는, 광학 시스템.
7. 제 6 항에 있어서,

   상기 응시 거리 처리는 방정식 D=De/(tan α1 + tan α2)에 따라 관찰자의 응시 거리(D)를 결정하고,

   De는 상기 사용자의 눈들 사이의 거리를 나타내고, α1은 상기 제어 유닛에 의해 결정된 상기 제 1 눈의 응시 각도이며, α2는 상기 제어 유닛에 의해 결정된 상기 제 2 눈의 응시 각도인, 광학 시스템.
8. 제 1 항에 있어서,

   상기 광학 소자 위치 결정 처리는 상기 관찰자의 응시 거리로부터 디폴트 거리를 결정하고,

   상기 적어도 하나의 광학 소자(Z1)의 조절 위치는 상기 디폴트 거리의 함수인, 광학 시스템.
9. 제 8 항에 있어서,

   상기 적어도 하나의 광학 소자(Z1)는 줌 렌즈를 포함하고,

   상기 디폴트 거리는 상기 응시 거리가 줌되는 디폴트 줌 거리이며,

   상기 조절 위치는 상기 응시 거리에서 객체를 디폴트 줌 거리로 줌하는 상기 적어도 하나의 광학 소자(Z1)의 위치인, 광학 시스템.
10. 제 9 항에 있어서,

    상기 제어 유닛(100)은 상기 적어도 하나의 조절 가능한 광학 소자를 사용자 입력 없이 상기 조절 위치에 이동시키도록 제어 신호들을 상기 모터(105)에 자동으로 제공하는, 광학 시스템.
11. 제 10 항에 있어서,

    상기 제어 유닛(100)은 상기 관찰자의 음성 명령의 검출 시 상기 줌 렌즈(Z1)의 부가적인 조절을 후속 줌 틱 위치들에 제공하도록 상기 모터(105)를 제어하는, 광학 시스템.
12. 제 1 항에 있어서,

    상기 광학 소자 위치 결정 처리는 상기 관찰자로부터 입력 거리를 수신하고, 상기 적어도 하나의 광학 소자(Z1)의 조절 위치는 상기 입력 거리의 함수인, 광학 시스템.
13. 제 12 항에 있어서,

    상기 적어도 하나의 광학 소자(Z1)는 적어도 하나의 줌 렌즈를 포함하고,

    상기 입력 거리는 응시 거리가 줌되기를 상기 사용자가 원하는 줌 거리이며,

    상기 조절 위치는 상기 응시 거리에서 객체를 입력 줌 거리로 줌하는 상기적어도 하나의 줌 렌즈(Z1)의 위치인, 광학 시스템.
14. 제 13 항에 있어서,

    상기 제어 유닛(100)은 상기 적어도 하나의 줌 렌즈(Z1)를, 상기 응시 거리에서 객체를 상기 입력 줌 거리로 줌하는 위치에 이동시키도록 제어 신호들을 상기 모터(105)에 제공하는, 광학 시스템.
15. 제 13 항에 있어서,

    상기 제어 유닛(100)은 음성 입력에 의해 상기 관찰자로부터 상기 입력 줌 거리를 수신하는, 광학 시스템.
16. 제 13 항에 있어서,

    상기 제어 유닛(100)은 상기 관찰자의 음성 명령의 검출 시 상기 줌 렌즈(Z1)의 부가적인 조절을 후속 줌 틱 위치들에 제공하도록 상기 모터(105)를 제어하는, 광학 시스템.