KR101712350B1 - 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체 - Google Patents

Abstract

가상 객체를 선택하기 위한 니어 아이 디스플레이 장치는, 좌측 및 우측 영상을 각각 표시하는 제1 영상 표시부 및 제2 영상 표시부; 좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 제1 영상 취득부 및 제2 영상 취득부; 사용자의 손 영상을 취득하는 제3 영상 취득부; 상기 제1 영상 표시부, 상기 제2 영상 표시부, 상기 제1 영상 취득부, 상기 제2 영상 취득부 및 상기 제3 영상 취득부를 고정하는 고정부; 상기 좌측 눈 영상 및 우측 눈 영상을 이용하여, 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 눈 영상 처리부; 상기 사용자의 손 영상을 이용하여, 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 손 영상 처리부; 및 상기 눈 정보 및 상기 손 정보를 결합하여, 가상 객체를 선택하는 가상 객체 선택부를 포함한다. 이에 따라, 가상현실에서 실제감, 몰입감 및 정확도가 향상된 가상 객체 선택 기능을 제공할 수 있다. 또한, 여러 가상 객체들의 겹침이 발생할 경우나 가상 객체의 깊이가 실제 사용자의 손 움직임 영역보다 더 깊은 경우 등의 환경에도 강인한 가상 객체 선택 최적화에 기여할 수 있다.

Description

시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체{NEAR-EYE DISPLAY DEVICE FOR SELECTING VIRTUAL OBJECT, METHOD FOR SELECTING VIRTUAL OBJECT USING THE DEVICE AND RECORDING MEDIUM FOR PERFORMING THE METHOD}

본 발명은 몰입형 가상현실을 위해 사용자의 시선 및 손 정보를 기반으로 가상 객체를 선택하기 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 헤드 마운티드 디스플레이 장치 또는 시스루 디스플레이 장치와 같은 니어 아이 디스플레이 장치에서, 광학 장치를 이용하여 사용자의 양 눈 및 손의 영상을 취득하고, 이를 기반으로 시선 및 손 위치를 계산 및 결합하여 직관적으로 가상현실 세계의 가상 객체를 선택하기 위한 장치 및 방법에 관한 것이다.

[국가지원 연구개발에 대한 설명]

본 연구는 한국과학기술연구원의 주관 하에 미래창조과학부의 글로벌프론티어사업(몰입현실 지원 Full-HD 광각 Video See-through HMD 기술(2N39280), 과제(고유)번호: 2014054715)의 지원에 의하여 이루어진 것이다.

몰입형 가상현실(Immersive Virtual Reality)이란, 헤드 마운티드 디스플레이(Head Mounted Display, 이하 HMD), 데이터 장갑(data glove), 데이터 옷(data suit) 등의 특수 장비를 통해 인간으로 하여금 실제로 보고 만지는 것 같은 감각적 효과를 느끼게 해 생생한 환경에 몰입하기 위한, 3차원 시뮬레이션을 통해 실제 같은 효과를 부여하는 가상현실 시스템의 한 종류이다.

가상현실에서의 활동 및 몰입을 위해서, 가상현실 세계에 직접 들어간 듯한 몰입감을 주는 HMD의 사용은 사실상 필수적이라고 볼 수 있다. 이러한 HMD를 사용한 가상현실 세계에서 키보드, 마우스 등의 기존 입력장치나 터치, 음성 인식, 시선 추적 및 손동작 인식 등을 통해 가상 객체 또는 가상 메뉴 등을 선택할 수 있다.

이러한 가상 객체의 선택은 일반적으로 키보드와 마우스 같은 입력장치를 사용하기 때문에 이들을 항상 휴대해야 하거나 이들이 설치된 공간에서만 사용할 수 있다는 공간적 제약이 존재한다. 또한, 시스루(see-through) 타입 디스플레이 장치가 아닌 디스플레이 장치에서 수행할 경우 키보드와 마우스 같은 입력장치를 실제로 볼 수 없기 때문에 입력 정확도가 떨어지며, 실제감 및 몰입감을 제공하는데 한계가 있다.

한편, 터치, 음성 인식, 시선 추적 및 손동작 인식 등을 통한 가상 객체 선택 방법은 사용자에게 실제감 및 몰입감을 제공할 수는 있지만 인식 정확도가 떨어진다는 한계가 있다.

공개번호 10-2014-0010616 공개번호 10-2010-0044983

Image Plane Interaction Techniques In 3D Immersive Environments, Proceeding I3D '97 Proceedings of the 1997 symposium on Interactive 3D graphics, Jeffrey S. Pierce et al.

이에, 본 발명의 기술적 과제는 이러한 종래의 가상 객체 선택 방법의 한계에서 착안한 것으로서, 본 발명의 목적은 사용자 양 눈 및 손 정보를 결합하여 가상현실 세계에서 실제감, 몰입감 및 신뢰도 높은 가상 객체 선택을 위한 장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 가상현실에서 여러 가상 객체들의 겹침이 발생하는 경우나, 가상 객체의 깊이가 실제 사용자의 손 움직임 영역보다 더 깊은 경우 등의 환경에서도 강인한 가상 객체 선택 방법을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 니어 아이 디스플레이 장치는, 좌측 및 우측 영상을 각각 표시하는 제1 영상 표시부 및 제2 영상 표시부; 좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 제1 영상 취득부 및 제2 영상 취득부; 사용자의 손 영상을 취득하는 제3 영상 취득부; 상기 제1 영상 표시부, 상기 제2 영상 표시부, 상기 제1 영상 취득부, 상기 제2 영상 취득부 및 상기 제3 영상 취득부를 고정하는 고정부; 상기 좌측 눈 영상 및 우측 눈 영상을 이용하여, 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 눈 영상 처리부; 상기 사용자의 손 영상을 이용하여, 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 손 영상 처리부; 및 상기 눈 정보 및 상기 손 정보를 결합하여, 가상 객체를 선택하는 가상 객체 선택부를 포함한다.

본 발명의 실시예에서 상기 눈 영상 처리부는, 상기 취득한 눈 영상에서 조명에 의한 반사광 및 동공 영역을 검출하는 반사광 및 동공 영역 검출부; 상기 검출한 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하는 반사광 및 동공 중심 계산부; 상기 계산된 반사광 및 동공 중심을 이용하여 사용자의 시선 위치를 계산하는 시선 위치 계산부; 및 상기 계산된 사용자의 시선 위치를 기반으로 사용자의 관심영역을 설정하는 관심영역 설정부를 포함할 수 있다.

본 발명의 실시예에서 상기 반사광 및 동공 영역 검출부는, 조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하는 반사광 대체 특징 검출부를 포함할 수 있다.

본 발명의 실시예에서 상기 반사광 및 동공 영역 검출부는, 상기 동공 영역을 검출하여 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단부를 포함할 수 있되, 사용자가 눈을 감은 상태에서는 시스템 부하를 줄이기 위해 이어지는 프로세스를 중지한다.

본 발명의 실시예에서 상기 시선 위치 계산부는, 상기 제1 영상 표시부 및 상기 제2 영상 표시부에 출력되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 수행부를 포함할 수 있다.

본 발명의 실시예에서 상기 관심영역 설정부는, 상기 계산된 시선 위치를 상기 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선 오차 계산부를 포함할 수 있으되, 상기 관심영역을 설정할 경우 상기 시선 오차를 고려한다.

본 발명의 실시예에서 상기 손 영상 처리부는, 상기 제3 영상 취득부에서 취득한 손 영상에서 손 영역을 검출하는 손 영역 검출부; 및 상기 검출된 손 영역이 가상 객체를 가리는 정도를 계산하는 가상 객체 가림 계산부를 포함할 수 있다.

본 발명의 실시예에서 상기 손 영상 처리부는, 상기 검출된 손 영역에서 손가락 영역을 검출하는 손가락 영역 검출부; 및 상기 검출된 손 영역 및 손가락 영역을 이용하여 파지 방법을 검출하는 파지 방법 검출부를 더 포함할 수 있되, 가상 객체를 선택할 경우 상기 파지 방법에 따라 손가락 가중치를 계산한다.

본 발명의 실시예에서 상기 제1 영상 취득부 및 상기 제2 영상 취득부는, 외부광의 간섭 노이즈를 방지하기 위한 적외선 광학장치, 적외선 조명 및 적외선 투과 필터 중 적어도 하나를 사용할 수 있다.

본 발명의 실시예에서 상기 장치는, 헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치 또는 시스루 디스플레이(see-through display) 장치일 수 있다.

본 발명의 실시예에서 상기 고정부는, 안경 또는 고글 형태의 프레임일 수 있다.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 가상 객체를 선택하는 방법은, 사용자의 좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 단계; 상기 사용자의 좌측 눈 영상 및 우측 눈 영상을 이용하여 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 단계; 사용자의 손 영상을 취득하는 단계; 상기 사용자의 손 영상을 이용하여 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 단계; 및 상기 눈 정보 및 상기 손 정보를 결합하여 가상 객체를 선택하는 단계를 포함한다.

본 발명의 실시예에서 상기 눈 정보를 획득하는 단계는, 상기 취득한 눈 영상에서 조명에 의한 반사광 및 동공 영역을 검출하는 반사광 및 동공 영역 검출 단계; 상기 검출한 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하는 반사광 및 동공 중심 계산 단계; 상기 계산된 반사광 및 동공 중심을 이용하여 사용자의 시선 위치를 계산하는 시선 위치 계산 단계; 및 상기 계산된 사용자의 시선 위치를 기반으로 사용자의 관심영역을 설정하는 관심영역 설정 단계를 포함할 수 있다.

본 발명의 실시예에서 상기 반사광 및 동공 영역 검출 단계는, 조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하는 반사광 대체 특징 검출 단계를 포함할 수 있다.

본 발명의 실시예에서 상기 반사광 및 동공 영역 검출 단계는, 상기 동공 영역을 검출하여 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단 단계를 포함할 수 있되, 사용자가 눈을 감은 상태에서는 시스템 부하를 줄이기 위해 이어지는 프로세스를 중지한다.

본 발명의 실시예에서 상기 시선 위치 계산 단계는, 상기 니어 아이 디스플레이 장치에 표시되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 단계를 포함할 수 있다.

본 발명의 실시예에서 상기 관심영역 설정 단계는, 상기 계산된 시선 위치를 상기 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선 오차 계산 단계를 포함할 수 있으되, 상기 관심영역을 설정할 경우 상기 시선오차를 고려한다.

본 발명의 실시예에서 상기 손 정보를 획득하는 단계는, 상기 취득한 손 영상에서 손 영역을 검출하는 손 영역 검출 단계; 및 상기 검출된 손 영역이 가상 객체를 가리는 정도를 계산하는 가상 객체 가림 계산 단계를 포함할 수 있다.

본 발명의 실시예에서 상기 손 정보를 획득하는 단계는, 상기 검출된 손 영역에서 손가락 영역을 검출하는 손가락 영역 검출 단계; 및 상기 검출된 손 영역 및 손가락 영역을 이용하여 파지 방법을 검출하는 파지 방법 검출 단계를 더 포함할 수 있되, 가상 객체를 선택할 경우 상기 파지 방법에 따라 손가락 가중치를 계산한다.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체에는, 가상 객체를 선택하는 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.

이와 같은 니어 아이 디스플레이 장치와 이를 이용한 시선 및 손 정보를 이용한 가상 객체 선택 방법에 따르면, 광학장치를 이용하여 취득한 눈 영상에서 반사광 및 동공 영역과 반사광 및 동공 중심을 검출하여 사용자의 시선 위치를 계산하고, 광학장치를 이용하여 취득한 손 영상에서 사용자의 손 영역 및 손가락 영역을 검출하고 이를 이용하여 파지 방법을 검출하여 이에 따라 손가락 가중치를 부여함으로써 시선 및 손 정보를 결합을 통해 가상현실의 가상 객체를 선택한다.

따라서, 니어 아이 디스플레이 장치를 통한 가상현실에서 실제감, 몰입감 및 정확도가 향상된 가상 객체 선택 기능을 제공할 수 있다. 또한, 여러 가상 객체들의 겹침이 발생할 경우나 가상 객체의 깊이가 실제 사용자의 손 움직임 영역보다 더 깊은 경우 등의 환경에도 강인한 가상 객체 선택 최적화에 기여할 수 있다.

도 1a 및 도 1b는 발명의 일 실시예에 따른 니어 아이 디스플레이 장치의 개념도이다.
도 2는 발명의 일 실시예에 따른 사용자 시선 및 손 정보를 결합한 가상 객체 선택 방법의 블록도이다.
도 3은 도 2의 눈 영상 처리부의 상세 블록도이다.
도 4는 도 3의 반사광 및 동공 영역 검출부의 상세 블록도이다.
도 5a 내지 도 5c는 동공 영역 검출을 설명하기 위한 도면들이다.
도 5d는 정확한 동공 영역의 검출을 설명하기 위한 도면이다.
도 6은 반사광 대체 특징을 설명하기 위한 도면이다.
도 7은 도 2의 손 영상 처리부의 상세 블록도이다.
도 8은 다양한 파지 방법을 설명하기 위한 도면이다.
도 9는 다양한 파지 방법에 따른 가상 객체의 가림 정도를 설명하기 위한 도면이다.
도 10은 가상 객체의 겹침이나 가림이 발생하는 경우를 설명하기 위한 도면이다.
도 11은 가상 객체의 깊이가 사용자의 손 움직임 영역보다 더 깊은 경우를 설명하기 위한 도면이다.
도 12는 상기 시스템을 이용하여 가상 객체를 선택하는 경우를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 사용자 시선 및 눈 정보를 결합한 가상 객체 선택 방법의 흐름도이다.
도 14는 도 13의 눈 정보 획득 단계의 상세 흐름도이다.
도 15는 도 14의 반사광 및 동공 영역 검출 단계의 상세 흐름도이다.
도 16은 도 13의 손 정보 획득 단계의 상세 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.

또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1a 및 도 1b는 일 실시예에 따른 니어 아이 디스플레이 장치(10, 이하 장치)의 개념도이다. 본 발명에 따른 장치(10)는 안경 혹은 고글 형태의 머리에 착용하는 웨어러블 영상표시 장치로써, HMD 및 시스루 디스플레이 장치일 수 있다. 그러나 상기 장치(10)의 형태는 일 예에 불과하며 다양한 형태로 제공될 수 있다.

상기 장치(10)는 유무선 통신이 가능하며, 휴대폰, 비디오 장치, TV, 컴퓨터와 같은 외부의 영상 출력 장치로부터 입력되는 영상을 표시할 수 있고, 사용자는 상기 영상을 눈으로 보면서 마치 일정한 거리에 대형의 스크린을 두고 영상을 보는 것과 같은 효과를 누릴 수 있다. 또한, 상기 장치(10)는 증강현실(Augmented Reality) 또는 가상현실(Virtual Reality) 기술을 사용하기 위하여 활용될 수 있다.

나아가, 상기 장치(10)는 사용자의 시선 및 손 정보를 이용하여 상기 가상현실의 가상 객체를 선택함으로써 실제감, 몰입감 및 정확도가 향상된 가상 객체 선택 방법을 제공할 수 있다. 이를 위해, 사용자의 양 눈 및 손 정보를 획득하는 것이 우선시 된다.

이를 위해, 상기 장치(10)는 고정부(110), 제1 영상 표시부(131), 제2 영상 표시부(132), 제1 영상 취득부(151), 제2 영상 취득부(152), 제3 영상 취득부(153), 눈 영상 처리부(170), 손 영상 처리부(190) 및 가상 객체 선택부(210)를 포함할 수 있다. 상기 장치(10)의 각 부분의 상호 작용이 도 2에 도시되어 있다.

상기 고정부(110)는 상기 제1 영상 표시부(131), 상기 제2 영상 표시부(132), 상기 제1 영상 취득부(151), 상기 제2 영상 취득부(152) 및 상기 제3 영상 취득부(153)를 고정한다. 상기 고정부(110)는 안경 혹은 고글 형태의 프레임일 수 있다. 그러나 상기 고정부(110)의 형태는 일 예에 불과하며 다양한 형태로 제공될 수 있다.

사용자의 양 눈 영상을 취득하기 위한 광학장치인 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)는 도 1a와 같이 장치(10)의 측면 방향에 위치할 수 있으며, 사용자의 눈 영상을 취득하기 위해 눈을 기준으로 정면 또는 후면 등 다양하게 위치할 수 있다. 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)는 사용자 얼굴에 각각 근접하게 형성된 카메라일 수 있으며, 줌렌즈 등을 사용할 수 있다. 사용자의 손 영상을 취득하기 위한 광학장치인 상기 제3 영상 취득부(153)는 전방의 좀 더 넓은 영역을 취득하기 위해 광각 및 어안 렌즈 등을 사용할 수 있다.

상기 제1 영상 취득부(151)는 사용자 좌측 눈의 영상을 상기 눈 영상 처리부(170)에 제공하고, 상기 제2 영상 취득부(152)는 사용자 우측 눈의 영상을 상기 눈 영상 처리부(170)에 제공하고, 상기 제3 영상 취득부(153)는 사용자의 전방 손 영상을 상기 손 영상 처리부(190)에 각각 제공한다.

상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)는 외부광의 간섭을 방지하기 위해 제1 영상 표시부(131) 및 제2 영상 표시부(132)에서 출력되는 영상이 사용자 눈에 반사되어 생기는 노이즈를 필터링하고, 동공과 홍채(iris)의 뚜렷한 경계를 가진 눈 영상을 취득하기 위해 적외선 광학장치, 적외선 조명 및 적외선 투과 필터 중 적어도 하나를 사용할 수 있다. 또한, 제3 영상 취득부(153)는 신뢰 있는 손 영역 검출을 위해 가시광선뿐만 아니라, 깊이 정보까지 포함된 RGB-D 광학장치 또는 깊이 정보를 유추하기 위해 두 대 이상의 가시광선 광학장치 및 타임 오브 플라이트(Time of Flight; TOF) 방식의 광학장치를 사용할 수 있다.

도 3을 참조하면, 상기 눈 영상 처리부(170)는 눈 영상으로부터 반사광 및 동공 영역, 또는 반사광의 대체 특징 등을 검출하는 반사광 및 동공 영역 검출부(171), 상기 검출된 반사광 및 동공 영역으로부터 적외선 조명이 동공 및 홍채 등에서 반사되어 생기는 반사광을 탐색하고 이를 기준으로 동공 영역 및 중심을 계산하는 반사광 및 동공 중심 계산부(172), 상기 계산된 반사광 및 동공 중심과 미리 정의된 관계를 이용하여 현재 사용자의 시선 위치를 계산하는 시선 위치 계산부(175) 및 계산된 시선 위치를 기반으로 사용자의 관심영역을 설정하는 사용자 관심영역 설정부(177)를 포함할 수 있다.

상기 반사광 및 동공 영역 검출부(171)는 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)에서 취득한 좌측 및 우측 눈 영상으로부터 동공(Pupil)의 영역을 검출하여 조명에 반사되는 반사광, 동공 중심, 눈 깜박임 등을 측정한다. 상기 반사광은 참조점 역할을 수행함으로써 얼굴 움직임에도 강인한 시선 추적을 수행할 수 있다.

도 4를 참조하면, 상기 반사광 및 동공 영역 검출부(171)는, 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)가 사용자의 안구 측면에 위치할 경우 동공 혹은 홍채 등에 조명에 의한 반사광이 생기지 않을 수 있으므로, 이를 대체할 수 있는 적외선 반사 테이프 등의 반사체 또는 눈 꼬리 같은 반사광 대체 특징을 탐색하는 반사광 대체 특징 검출부(173) 및 상기 동공 영역 검출 유무를 이용하여 눈 깜박임을 판단하는 눈 깜박임 판단부(174)를 포함할 수 있다.

상기 반사광 및 동공 중심 계산부(172)는 상기 좌측 및 우측 눈 영상으로부터 조명에 의한 반사광을 검출하고 이를 기준으로 동공 영역 및 중심을 측정한다. 상기 반사광은 다른 영역에 비해 매우 밝은 영역이며 홍채와 공막(sclera) 사이에 존재하여 길게 늘어지는 현상이 발생하여도 일정 크기 이하를 가지는 특징을 가지고 있다. 이러한 특성을 이용하여 반사광 후보 영역들을 검출할 수 있다. 상기 반사광 후보 영역들에 대해서 대략적인 동공 중심을 측정하고 이를 기준으로 더욱 정확한 동공 중심을 측정할 수 있다.

이후, 영상 표시부에 출력되는 1 내지 N 개의 참조점을 응시하는 사용자 캘리브레이션 과정을 수행하여 시선 위치를 계산할 수 있다. 이를 위해. 정확한 동공 중심을 측정하는 것이 우선시 된다.

도 5a 및 5b는 상기 장치(10)의 제1 영상 취득부(151) 및 제2 영상 취득부(152)가 사용자의 눈을 기준으로 정면에 위치했을 경우와 측면에 위치했을 경우의 정확한 동공 중심을 측정하기 위해 대략적인 동공 영역을 검출하는 방법을 각각 도시한다. 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)에서 취득한 눈 영상에서 2원화(binarization) 및 사이즈 필터링(size filtering) 등을 통해 동공 혹은 홍채 등에 반사된 반사광 후보 영역들을 탐색한다.

그런 다음, 상기 탐색된 반사광 후보 영역들을 기준으로 눈 영상에서 동공 영역의 밝깃값이 가장 어두운 특징을 이용한 서브-블록 기반 매칭(sub-block based matching) 방법을 사용하여 동공 후보 영역들의 매칭 스코어(matching score)를 측정한다.

여기서 대략적인 동공 영역은 매칭 스코어가 가장 큰 영역으로 정의한다. 매칭 스코어는 3×3 마스크(310)의 중앙 4번 윈도우(window)와 나머지 윈도우와의 평균 밝깃값의 차이의 합으로 정의한다. 특정 윈도우와의 평균 밝깃값의 차이의 합을 사용하여 매칭 스코어를 계산할 수 있다. 이때, 매칭 스코어 계산의 빠른 처리 속도를 위해 적분 영상(integral image)을 활용할 수 있으며, 윈도우의 사이즈 조절을 통해 동공 크기 변화에 강인할 수 있다. 상기 매칭 스코어가 가장 큰 3×3 마스크의 중앙 4번 윈도우의 중심을 대략적인 동공 영역의 중심으로 정의한다. 상기 대략적인 동공 영역의 중심과 가장 가까운 반사광 후보 영역을 반사광으로 선택한다.

상기 대략적인 동공 영역을 검출하고 히스토그램 스트레칭(histogram stretching), 2원화(binarization), 라벨링(labeling), 형태학(morphology), 캐니 에지 검출(Canny edge detection) 및 타원 피팅(ellipse fitting) 등의 방법을 이용하여 정확한 동공 중심을 측정한다.

도 5c는 상기 서브-블록 기반 매칭 방법이 사용자의 눈에 적용되는 것을 도시하며, 상기 3×3 마스크(310)는 행을 따라 우측으로 한 픽셀씩 이동하며, 한 행의 스코어 측정이 끝나면 아래 행으로 한 픽셀 내려가서 이러한 측정을 반복한다. 이동하는 픽셀 단위를 조정함으로써 동공 탐색 정확도 및 속도에 영향을 줄 수 있다.

도 5d는 순서에 따라 상기 정확한 동공 중심을 측정하기 위한 방법을 도시한다.

상기 반사광 대체 특징 검출부(173)는 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)의 위치에 따라 반사광이 생기지 않을 수 있으므로 이를 대체할 수 있는 적외선 반사 테이프 같은 반사체 혹은 눈 꼬리 같은 반사광 대체 특징을 탐색하고 이를 반사광 대신 사용함으로써 반사광을 이용하는 경우와 마찬가지로 얼굴 움직임에 강인한 시선 추적을 기대할 수 있다.

도 6은 적외선 반사 테이프를 이용한 반사광 생성 및 눈 꼬리 탐색의 예를 도시한다. 적외선 반사 테이프를 이용한 반사광 생성의 경우, 상기 적외선 조명에 의한 반사광과 마찬가지로 밝은 영역 및 일정 크기를 가지므로 상기 반사광 후보 영역 탐색 방법을 이용하여 반사체를 탐색하고 그 중심을 측정할 수 있다. 눈 꼬리의 경우, 템플릿 매칭(template matching) 또는 에지(edge) 정보 등을 이용하여 탐색할 수 있다.

상기 눈 깜박임 판단부(174)는 상기 대략적인 동공 영역 검출 과정에서 매칭 스코어가 일정 임계 값보다 낮거나 동공 검출 조건에 맞지 않아, 동공이라고 판단되는 영역이 탐색 되지 않는 경우에 대해 눈을 감았다고 판단한다. 또한, 눈을 감고 있는 상태에서 눈을 떴을 경우를 눈 깜박임 횟수에 포함시킨다. 눈을 감은 상태에서는 이후 처리를 진행하지 않으므로 시스템 부하를 줄일 수 있다.

상기 시선 위치 계산부(175)는 시선 위치 계산의 정확도를 향상시키기 위해 사용자 캘리브레이션 수행부(176)를 포함할 수 있고, 상기 사용자 캘리브레이션 수행부(176)는 상기 제1 영상 취득부(151) 및 상기 제2 영상 취득부(152)에서 취득한 눈 영상에서 동공 움직임과 영상 표시부와의 관계를 매핑(mapping)하기 위해 사용자가 영상 표시부에 출력되는 1 내지 N 개의 참조점을 응시하게 한다.

이러한 과정은 시선 위치를 계산하기 위한 전처리 단계로서, 2차원적인 시선 추적 방법에서는 사용자 캘리브레이션이 필수적으로 요구된다. 또한, 사용자 캘리브레이션이 복잡해질수록 시선 추적 정확도는 높아질 수 있지만 사용자는 불편을 느낄 수 있다. 사용자에 따라 초기 캘리브레이션 정보를 저장 및 로드하여 사용시 불편을 줄일 수 있다. 참조점의 응시시간은 사용자가 설정할 수 있으며, 설정한 시간 내의 평균 동공 중심을 영상 표시부와의 관계 매핑에 이용할 수 있다.

또한, 응시 시간 내의 눈을 감거나 참조점을 응시한 동공 중심이 일정 임계치를 넘은 경우는 에러 케이스로 분류시키고 제외시킬 수 있다. 예를 들어, 참조점 응시 시간이 2초이고 상기 눈 영상 취득 광학장치가 초당 30프레임이라면 60프레임의 평균 동공 중심을 사용할 수 있다.

상기 시선 위치 계산부(175)는 상기 사용자 캘리브레이션 수행부(176)에서 영상 표시부에 출력되는 1 내지 N 개의 참조점을 응시할 때의 동공 움직임과 영상 표시부와의 관계를 정의한 변환행렬을 기반으로 현재의 반사광 및 동공 중심을 이용하여 현재의 시선 위치를 계산할 수 있다. 상기 변환행렬은 기하학적 변형(Geometric transform) 등의 방법을 이용하여 계산될 수 있다.

상기 사용자 관심영역 설정부(177)는 상기 시선 위치 계산부(175)에서 계산된 사용자의 시선 위치를 기반으로 가상현실 세계의 사용자 관심영역을 설정한다. 사용자 관심영역의 크기는 사용자가 조절할 수 있다.

도 3을 참조하면, 상기 사용자 관심영역 설정부(177)는 사용자의 시선 오차를 계산하는 시선 오차 계산부(178)를 포함할 수 있다. 시선 오차는 상기 사용자 캘리브레이션부(176)에서 참조점을 응시했을 때의 상기 시선 위치 계산부(175)에서 계산된 시선 위치와 상기 참조점과의 차이를 의미한다. 상기 사용자 관심영역은 상기 시선 오차를 고려하여 설정될 수 있다.

도 7을 참조하면, 상기 손 영상 처리부(190)는 상기 제3 영상 취득부(153)에서 취득한 영상을 기반으로 손 영역을 검출하는 손 영역 검출부(191), 상기 검출된 손 영역을 기반으로 손가락을 검출하는 손가락 검출부(193), 상기 검출된 손 영역 및 손가락을 기반으로 파지 방법을 검출하는 파지 방법 검출부(195) 및 상기 손 영역에 의한 가상 객체 가림 정도를 계산하는 가상 객체 가림 계산부(197)를 포함할 수 있다.

상기 손 영역 검출부(191)는 상기 제3 영상 취득부(153)에서 취득한 영상을 기반으로 손 영역을 검출한다. 가시광선을 이용한 RGB 광학장치 기반 손 영역 검출 방법 및 깊이 정보를 이용한 깊이 광학장치 기반 손 영역 검출 방법을 포함할 수 있다. RGB 광학장치 기반 손 영역 검출 방법은 조도 변화에 강인한 손 영역 검출을 위해 RGB 색상 정보를 정규화할 수 있으며, HSI, YCbCr 및 HCbCr 등 여러 색상 모델을 이용하여 피부 색상 필터 등을 기반으로 손 후보 영역을 검출할 수 있다.

이후, 2원화(binarization), 형태학(morphology) 등을 이용하여 노이즈를 제거할 수 있으며, 라벨링(labeling), 사이즈 필터링(size filtering) 등을 이용하여 최종 손 영역을 검출할 수 있다. 깊이 광학장치 기반 손 영역 검출 방법은 가시광선 기반의 RGB 광학장치뿐만 아니라 깊이 영상 정보를 같이 획득할 수 있는 깊이 광학장치를 이용하여 손 영역을 검출할 수 있다. RGB 광학장치에서 얻은 영상은 상기 RGB 광학장치 기반 손 영역 검출 방법에서 쓰인 것과 비슷하게 피부 색상을 이용하여 손 후보 영역을 검출하고, 이들 후보 영역들의 깊이 값을 비교하여 가장 가까운 거리에 있는 영역을 최종 손 영역으로 검출할 수 있다.

상기 손가락 검출부(193)는 상기 손 영역 검출부(191)에서 검출한 손 영역을 기반으로 손가락을 검출한다. 손가락 검출을 위해 상기 검출한 손 영역의 무게 중심을 구하고 이를 중심으로 캐니 에지(Canny edge), 연쇄 코드(chain code) 등을 이용하여 손 영역의 외곽선을 검출할 수 있다. 이후 외곽선의 기울기를 분석하고 기울기의 변화에 따라 손가락을 탐색할 수 있으며 손가락의 수를 측정할 수 있다.

상기 파지 방법 검출부(195)는 상기 손 영역과 손가락의 모델링을 통해 사용자가 가상 객체를 어떻게 잡았는가에 대한 파지 방법을 검출한다. 상기 모델링은 가우시안 혼합 모델(Gaussian Mixture Model), 학습 기반 등의 방법을 사용할 수 있다. 상기 검출된 파지 방법에 따라 손가락 가중치를 부여할 수 있다.

도 8은 다양한 파지 방법에 대한 예를 도시하며, 이외에도 다양한 파지 방법이 존재할 수 있다. 예를 들어 도 8의 좌측 파지 방법의 경우 검지, 중지 및 엄지 순서로 가중치를 높게 설정할 수 있고, 중앙 파지 방법의 경우 엄지, 검지 및 중지 순서로 가중치를 높게 설정할 수 있고, 우측 파지 방법의 경우 약지, 중지 및 검지 순서로 가중치를 높게 설정할 수 있다.

상기 가상 객체 가림 계산부(197)는 상기 검출된 손 영역이 가상현실의 가상 객체를 가리는 정도를 계산한다. 또한, 상기 계산은 상기 사용자 관심영역 설정부(177)에서 미리 정의된 사용자 관심영역 이내의 가상 객체에 대해서만 수행할 수 있다. 전체 손 영역 대비 가상 객체에 의해 가려지는 면적은 픽셀 등의 단위로 표현할 수 있다.

도 9는 상기 파지 방법에 따라 사용자의 손 영역이 가상 객체를 가리는 예를 도시한다.

상기 가상 객체 선택부(210)는 상기 사용자의 시선위치를 기반으로 사용자 관심영역과 가상 객체가 사용자의 손에 가려지는 정도를 결합하여 가상 객체를 선택할 수 있다. 상기 검출한 전체 손 영역 대비 가려지는 면적과 손가락 가중치의 곱이 일정 임계치 이상이면 가상 객체를 선택하도록 설정할 수 있다.

도 10은 상기 시선 및 손 정보를 이용한 선택 방법을 이용하여 가상 객체가 겹침이나 가림에 의한 상황에도 강인한 예를 도시한다. 도 11은 가상 객체의 깊이가 사용자의 손 움직임 영역보다 더 깊은 상황에도 강인한 예를 도시한다. 도 12는 상기 시스템을 이용하여 가상 객체를 선택하는 예를 도시한다.

본 발명은 종래에 머리 움직임 정보와 손 정보를 기반으로 가상 객체를 선택하는 방법이 아닌 사용자의 눈 및 손 영상을 취득하고 계산된 시선을 기반으로 손 정보를 결합하여 가상 객체를 선택하는 방법이다.

이에 따라, 가상현실에서 메뉴나 아이콘 등을 포함한 가상 개체 선택할 때 실제감, 몰입감 및 선택의 정확도를 향상시킬 수 있으며, 여러 가상 객체의 가림이나 겹침 및 가상 객체의 깊이가 사용자의 손 움직임 영역보다 더 깊은 경우 등의 환경에도 강인한 가상 객체 선택 최적화에도 기여할 수 있다.

본 실시예에 따른 시선 및 손 정보를 결합하여 가상 객체를 선택하는 방법은, 도 1a 및 1b의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1a 및 1b의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.

또한, 본 실시예에 따른 시선 및 손 정보를 결합하여 가상 객체를 선택하는 방법은, 가상현실에서의 가상 객체를 선택하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.

도 13를 참조하면, 본 실시예에 따른 시선 및 손 정보를 결합하여 가상 객체를 선택하는 방법은, 먼저 사용자의 좌측 눈 및 우측 눈의 영상을 각각 취득한다(S100).

이어, 눈 정보 획득 단계(S200)에서는, 상기 좌측 눈의 영상 및 상기 우측 눈의 영상으로부터 반사광 및 동공 영역을 검출한다(S210).

반사광 및 동공 영역 검출에 대해 구체적으로, 2원화(binarization), 사이즈 필터링(size filtering) 등의 방법을 이용하여 반사광후보 영역을 탐색하고, 후보 영역들에 대해서 서브-블록 기반 매칭(sub-block based matching) 방법 등을 이용하여 대략적인 동공 영역을 탐색한다.

이어, 검출된 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하고(S230), 이를 기반으로 사용자의 시선 위치를 계산한다(S250). 시선 위치 계산 단계는 상기 시선 위치 계산의 정확도를 향상시키기 위해, 상기 장치의 영상 표시부에 출력되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 수행 단계(S260)를 포함할 수 있다.

이어, 상기 계산된 시선 위치를 이용하여 사용자의 관심 영역을 설정한다(S270). 관심 영역 설정 단계는 상기 계산된 시선 위치를 상기 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선 오차 계산 단계(S280)를 포함할 수 있다.

이때, 반사광 및 동공 영역 검출 단계(S210)는, 조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하기 위한 반사광 대체 특징 검출 단계를 포함할 수 있다(S220).

또한, 사용자가 눈을 감은 상태에서는 프로세스를 중지하여 시스템 부하를 줄이기 위해, 상기 검출된 동공 영역으로부터 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단 단계를 포함할 수 있다(S240).

이어, 본 실시예에 따른 시선 및 손 정보를 결합하여 가상 객체를 선택하는 방법은, 사용자의 손 영상을 취득한다(S300).

이어, 상기 취득한 손 영상을 이용하여 손 정보를 획득하는 단계(S400)에서는, 취득한 손 영상으로부터 사용자의 손 영역을 검출한다(S410).

상기 손 영역 검출 단계에 대해 구체적으로, RGB 광학장치만을 이용할 경우, 여러 색상 모델을 이용하여 피부 색상 필터 등을 이용하여 손 후보 영역을 검출한다. 이후, 2원화(binarization), 형태학(morphology) 등을 이용하여 노이즈를 제거할 수 있으며, 라벨링(labeling), 사이즈 필터링(size filtering) 등을 이용하여 최종 손 영역을 검출할 수 있다.

RGB 정보가 포함된 깊이 광학장치를 이용할 경우, 상기 손 영역 검출과 비슷하게 피부 색상을 이용하여 손 후보 영역을 검출하고 이들 후보 영역들의 깊이 값을 비교하여 가장 가까운 거리에 있는 영역을 최종 손 영역으로 검출할 수 있다.

이어, 상기 검출된 손 영역으로부터 캐니 에지(Canny edge), 연쇄 코드(chain code) 등을 이용하여 외곽선을 검출하고 검출된 외곽선의 기울기 등을 분석하여 손가락 끝과 손가락 수를 검출한다(S430).

이어, 상기 검출된 손 영역과 손가락으로부터 가우시안 혼합 모델(Gaussian Mixture Model), 학습 기반 모델링 등을 통해 사용자의 파지 방법을 검출할 수 있다(S450). 상기 검출된 파지 방법에 따라 손가락 가중치를 부여할 수 있다.

이어, 상기 시선 오차를 고려하여 설정된 사용자 관심 영역 이내에서, 상기 검출된 손 영역이 가상 객체를 가리는 정도를 측정한다(단계 S470).

이어, 상기 사용자 관심영역과 손 영역이 가상 객체를 가리는 정도를 결합하여 가상 객체를 선택한다. 상기 검출한 전체 손 영역 대비 가려지는 면적과 손가락 가중치의 곱이 일정 임계치 이상이면 가상 객체를 선택할 수 있다(단계 S500).

이와 같은 사용자 시선 및 손 정보를 결합한 가상 객체 선택 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

최근 HMD나 시스루 디스플레이 같은 고글이나 안경 형태의 니어 아이 디스플레이를 이용한 착용형 디스플레이 장치가 개발 및 보급되고 있으며 이러한 추세는 가상현실 세계에서 의료, 교육, 군사, 우주항공, 게임, 회의 및 공동 작업 등의 몰입현실을 위해 더욱 가속화될 예정이다. 본 발명은 상기 장치에 사용자 눈 및 손 영상을 취득할 수 있는 광학장치를 사용하여 가상현실의 가상 객체(메뉴나 아이콘 등 포함)를 선택하는 기술로써, 가상 객체를 직관적으로 선택하려는 사용자의 욕구를 충족시킬 수 있다. 이 분야의 최첨단 기술(State-of-the-arts)인 마이크로소프트의 홀로렌즈(Hololens)는 옵티컬 시스루(optical see-through) 방식의 HMD로써 키넥트(Kinect)와 비슷한 카메라를 내장하여 사용자의 손동작을 인식하지만, 검지 손가락을 이용한 포인팅과 같은 간단한 동작만 인식한다.

또한, 사용자의 시선이 아닌 머리 움직임을 이용하여 가상 객체 선택을 수행한다. 본 발명은 시선 및 손 정보를 결합하여 가상현실의 가상 객체를 선택함으로써 직관적이고 신뢰 있는 가상 객체 선택 인터페이스를 제공한다.

또한, 여러 가상 객체들의 가림 혹은 겹침이나 가상 객체의 깊이가 실제 사용자의 손 움직임 영역보다 더 깊은 경우 등의 환경에도 강인한 가상 객체 선택을 수행할 수 있다. 따라서, 점차 발전하고 있는 착용형 디스플레이 기반 가상현실 시장에서 폭넓게 활용될 수 있다.

10: 니어 아이 디스플레이 장치
110: 고정부
131: 제1 영상 표시부
132: 제2 영상 표시부
151: 제1 영상 취득부
152: 제2 영상 취득부
153: 제3 영상 취득부
170: 눈 영상 처리부
171: 반사광 및 동공 영역 검출부
172: 반사광 및 동공 중심 계산부
173: 반사광 대체 특징 검출부
174: 눈 깜박임 판단부
175: 시선 위치 계산부
176: 사용자 캘리브레이션 수행부
177: 사용자 관심영역 설정부
178: 시선 오차 계산부
190: 손 영상 처리부
191: 손 영역 검출부
193: 손가락 검출부
195: 파지 방법 검출부
197: 가상 객체 가림 계산부
210: 가상 객체 선택부
310: 동공 영역 탐색 마스크

Claims (20)

1. 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치로서,
   좌측 및 우측 영상을 각각 표시하는 제1 영상 표시부 및 제2 영상 표시부;
   좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 제1 영상 취득부 및 제2 영상 취득부;
   사용자의 손 영상을 취득하는 제3 영상 취득부;
   상기 제1 영상 표시부, 상기 제2 영상 표시부, 상기 제1 영상 취득부, 상기 제2 영상 취득부 및 상기 제3 영상 취득부를 고정하는 고정부;
   상기 좌측 눈 영상 및 우측 눈 영상을 이용하여, 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 눈 영상 처리부;
   상기 사용자의 손 영상을 이용하여, 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 손 영상 처리부; 및
   상기 눈 정보 및 상기 손 정보를 결합하여, 가상 객체를 선택하는 가상 객체 선택부를 포함하되,
   상기 손 영상 처리부는,
   상기 제3 영상 취득부에서 취득한 손 영상에서 손 영역을 검출하는 손 영역 검출부;
   상기 검출된 손 영역이 가상 객체를 가리는 정도를 계산하는 가상 객체 가림 계산부;
   상기 검출된 손 영역에서 손가락 영역을 검출하는 손가락 영역 검출부; 및
   상기 검출된 손 영역 및 손가락 영역을 이용하여 파지 방법을 검출하는 파지 방법 검출부를 더 포함하되,
   가상 객체를 선택할 경우 상기 파지 방법에 따라 손가락 가중치를 계산하는, 니어 아이 디스플레이 장치.
   
2. 제1항에 있어서, 상기 눈 영상 처리부는,
   상기 취득한 눈 영상에서 조명에 의한 반사광 및 동공 영역을 검출하는 반사광 및 동공 영역 검출부;
   상기 검출한 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하는 반사광 및 동공 중심 계산부;
   상기 계산된 반사광 및 동공 중심을 이용하여 사용자의 시선 위치를 계산하는 시선 위치 계산부; 및
   상기 계산된 사용자의 시선 위치를 기반으로 사용자의 관심영역을 설정하는 관심영역 설정부를 포함하는, 니어 아이 디스플레이 장치.
   
3. 제2항에 있어서, 상기 반사광 및 동공 영역 검출부는,
   조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하는 반사광 대체 특징 검출부를 포함하는, 니어 아이 디스플레이 장치.
   
4. 제2항에 있어서, 상기 반사광 및 동공 영역 검출부는,
   상기 동공 영역을 검출하여 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단부를 포함하되,
   사용자가 눈을 감은 상태에서는 시스템 부하를 줄이기 위해 이어지는 프로세스를 중지하는, 니어 아이 디스플레이 장치.
   
5. 제2항에 있어서, 상기 시선 위치 계산부는,
   상기 제1 영상 표시부 및 상기 제2 영상 표시부에 출력되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 수행부를 포함하는, 니어 아이 디스플레이 장치.
   
6. 제5항에 있어서, 상기 관심영역 설정부는,
   상기 계산된 시선 위치를 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선 오차 계산부를 포함하되,
   상기 관심영역을 설정할 경우 상기 시선 오차를 고려하는, 니어 아이 디스플레이 장치.
   
7. 삭제
8. 삭제
9. 제1항에 있어서, 상기 제1 영상 취득부 및 상기 제2 영상 취득부는,
   외부광의 간섭 노이즈를 방지하기 위한 적외선 광학장치, 적외선 조명 및 적외선 투과 필터 중 적어도 하나를 사용하는, 니어 아이 디스플레이 장치.
   
10. 제1항 내지 제6항 및 제9항 중 어느 한 항에 있어서, 상기 장치는,
    헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치 또는 시스루 디스플레이(See-through display) 장치인, 니어 아이 디스플레이 장치.
    
11. 제1항 내지 제6항 및 제9항 중 어느 한 항에 있어서, 상기 고정부는,
    안경 또는 고글 형태의 프레임인, 니어 아이 디스플레이 장치.
    
12. 니어 아이 디스플레이 장치를 이용하여 가상 객체를 선택하는 방법으로서,
    사용자의 좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 단계;
    상기 사용자의 좌측 눈 영상 및 우측 눈 영상을 이용하여 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 단계;
    사용자의 손 영상을 취득하는 단계;
    상기 사용자의 손 영상을 이용하여 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 단계; 및
    상기 눈 정보 및 상기 손 정보를 결합하여 가상 객체를 선택하는 단계를 포함하되,
    상기 손 정보를 획득하는 단계는,
    상기 취득한 손 영상에서 손 영역을 검출하는 손 영역 검출 단계;
    상기 검출된 손 영역이 가상 객체를 가리는 정도를 계산하는 가상 객체 가림 계산 단계;
    상기 검출된 손 영역에서 손가락 영역을 검출하는 손가락 영역 검출 단계; 및
    상기 검출된 손 영역 및 손가락 영역을 이용하여 파지 방법을 검출하는 파지 방법 검출 단계를 더 포함하되,
    가상 객체를 선택할 경우 상기 파지 방법에 따라 손가락 가중치를 계산하는, 가상 객체를 선택하는 방법.
    
13. 제12항에 있어서, 상기 눈 정보를 획득하는 단계는,
    상기 취득한 눈 영상에서 조명에 의한 반사광 및 동공 영역을 검출하는 반사광 및 동공 영역 검출 단계;
    상기 검출한 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하는 반사광 및 동공 중심 계산 단계;
    상기 계산된 반사광 및 동공 중심을 이용하여 사용자의 시선 위치를 계산하는 시선 위치 계산 단계; 및
    상기 계산된 사용자의 시선 위치를 기반으로 사용자의 관심영역을 설정하는 관심영역 설정 단계를 포함하는, 가상 객체를 선택하는 방법.
    
14. 제13항에 있어서, 상기 반사광 및 동공 영역 검출 단계는,
    조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하는 반사광 대체 특징 검출 단계를 포함하는, 가상 객체를 선택하는 방법.
    
15. 제13항에 있어서, 상기 반사광 및 동공 영역 검출 단계는,
    상기 동공 영역을 검출하여 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단 단계를 포함하되,
    사용자가 눈을 감은 상태에서는 시스템 부하를 줄이기 위해 이어지는 프로세스를 중지하는, 가상 객체를 선택하는 방법.
    
16. 제13항에 있어서, 상기 시선 위치 계산 단계는,
    상기 니어 아이 디스플레이 장치에 표시되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 단계를 포함하는, 가상 객체를 선택하는 방법.
    
17. 제16항에 있어서, 상기 관심영역 설정 단계는,
    상기 계산된 시선 위치를 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선오차 계산 단계를 포함하되,
    상기 관심영역을 설정할 경우 상기 시선 오차를 고려하는, 가상 객체를 선택하는 방법.
    
18. 삭제
19. 삭제
20. 제12항 내지 제17항 중 어느 하나의 청구항에 따라 가상 객체를 선택하는 방법을 수행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.

Images