KR100903490B1

KR100903490B1 - 인간친화형 컴퓨터입출력 시스템

Info

Publication number: KR100903490B1
Application number: KR1020070112970A
Authority: KR
Inventors: 김종철
Original assignee: 김종철
Priority date: 2006-12-16
Filing date: 2007-11-07
Publication date: 2009-06-18
Also published as: KR20080055622A

Abstract

본 발명은 컴퓨터와 인간과의 인터페이스(Human Computer Interface)가 시각도형의 위치인 그래픽 사용자인터페이스 환경에서, 스테레오 비전 센서로 사용자의 얼굴특징점을 인식측량하여 사용권한이 있는 사용자를 인식하고, 얼굴의 위치와 자세를 판별하여 사용자의 시선과 관심시점 등을 구하여, 시각도형을 자동으로 표시하고, 스테레오스코픽 디스플레이의 해상도를 조절하고, 주파수반응효과 3D 오디오시스템을 구동함으로써 3차원적 시각과 청각효과를 제공하게 되어 현실감을 높이며, 업무효율을 높이도록 하였다.

그래픽 사용자인터페이스, 스테레오 비전, 얼굴인식, 얼굴자세, 헤드마우스

Description

인간친화형 컴퓨터입출력 시스템{ Ergonomic Human Computer Interface}

본 발명은 컴퓨터(또는 컴퓨터 유사장치)와 인간과의 인터페이스에 관한 것으로, 컴퓨터가 사람의 얼굴을 인식하고 얼굴의 3차원적 위치와 자세, 시선방향과 관심시점(Point of Interest), 귀의 위치를 인지하므로서 사용자에게 알맞은 시청각출력과 사용자에게 편리한 입력방식을 제공하는 것이다.

통상의 컴퓨터는 수동적으로서 키보드나 마우스를 통하여 사용자가 지시를 할 때까지 기다리다가, 지시된 작업을 수행한 결과를 사용자의 자세나 위치에 무관하게 인간의 오감 중 시각과 청각을 자극하는 표현 즉, 글자 또는 영상, 소리를 제공한다.

따라서 수동형 스테레오스크픽 디스플레이는 사용자가 정해진 위치에서 보아야만 정확한 영상을 볼 수 있다.

컴퓨터의 마우스는 키보드와 더불어 입력장치의 표준으로 자리 잡았으나 왼팔과 오른팔의 동작이 비대칭이므로 앉은 자세를 왜곡시키고, 피곤이 쉽게 오며, 장시간 사용하면 손이나 어깨에 통증을 유발한다.

컴퓨터가 사용자를 인식하고, 사용자의 관심과 의도를 추정하여 미리 명령대 상후보를 준비하고 사용자로 하여금 선택 또는 확인받도록 한다면 즉, 사용자의 지시행위를 쉽게 한다면 업무 효율이 오르고 편리해진다.

이러한 용도로 쓸 수 있는 종래기술은 다음과 같이 요약할 수 있다.

단안(Monocular) 시각시스템은 영상에서 명암의 강도 또는 색깔의 농염 등으로 구분이 분명한 픽셀군(pixel group)을 하나의 대상으로 보고 미리 저장되어 있는 형상과 비교하여 식별한다. 얼굴 인식에서는 대개 다음과 같이 5 단계를 거친다.

1. 영상 취득

2. 취득한 영상에서 얼굴처럼 보이는 형상(예:타원형의 얼굴 형상과 두 눈과 입을 가진 형상)을 검출

3. 얼굴 영상에서 얼굴특징(feature)을 검출하여 형판(template)생성

4. 만들어진 형판과 유사한 정도가 높은 후보얼굴 형판을 Data Base 에서 검색

5. 확인 또는 인식

얼굴자세(facial pose)는 사용자 얼굴이 향한 방향을 뜻하며 피치, 요우, 롤 각으로 표현되며, 궁극적으로 사용자의 관심이 향하고 있음을 뜻한다.

2차원의 영상으로 3차원인 얼굴의 자세까지 추정하는 방법은 다음 두 가지로 분류된다.

1. 해석기하적 방법 - 3차원좌표계가 2차원으로 투영된 영상에서 얼굴구성요소의 2차원좌표를 구하고 3차원좌표계가 2차원 영상으로 투영되는 좌표변환식의 해를 구함.

예) US PN 6,154,559, US PN 6,937,745, US PN 7,121,946

2. 학습에 기초한 방법 - 자세와 자세에 따른 2차원 영상의 견본들을 저장하고 취득한 영상에 근사한 견본을 찾음으로서 자세를 추정함.

예) US PN 6,471,756

최근에는 항공사진측량에서 오래전부터 사용하던 스테레오 영상을 이용하는 방법도 제시되고 있다.

예) US PN 6,188,777

앞의 기술들은 일반얼굴모형(generic head model)을 기초로 하여 얼굴 구성요소들에 대한 형상이나 색깔 등을 학습시키어 얼굴자세를 추정함으로 불특정 다수에 대한 시스템 사용이 가능하나 정확도가 부족하고 계산량이 많다는 문제점을 안고 있다.

한편, 눈동자의 위치로서 시선을 추정하는 방법도 많이 연구되었으나, 사람의 눈은 계속 새로운 정보를 받아들이기 위하여 두리번거리기 때문에 마우스의 역할로 쓰기에는 너무 민감하다는 문제가 있다.

(참고: Eye Controlled Media: Present and Future State: Arne John Glenstrup, Theo Engell-Nielsen, University of Copenhagen, 1995. 6. 1.)

본 발명에서는 인간친화적으로, 즉 컴퓨터가 사용자가 누구인지를 알아보고 사용자의 위치, 얼굴의 자세, 눈동자의 위치를 측정하여서, 그래픽 사용자인터페이스 (GUI:Graphic User Interface) 환경에서 사용자의 의도를 추정하여, 사용자가 지시할 가능성이 있는 명령내용을 미리 준비하여 제시하고 사용자의 확인 또는 선택에 따라 해당한 명령을 수행한 결과를 사용자의 눈과 귀에 적합한 시청각효과를 출력할 수 있도록 하는 방법과 장치를 구현하는 것이 기술적 과제이다.

본 발명에서는 컴퓨터(또는 컴퓨터 유사기계)의 주변기기로서 2개 이상의 스피커와, 2차원적 평면 디스플레이 또는 3차원적 영상을 제공하는 스테레오스코픽 디스플레이와, 디스플레이의 모서리 또는 주변에 최소 두 개의 CCD카메라 또는 비디오 카메라를 두고, 사용자는 안경알이 없는 안경테를 착용하는 것을 기본으로 한다.

그 안경테에는 최소 3개의 시각 마커가 있어 카메라가 검출하기 쉽도록 하였으며, 안경테에는 카메라교정을 위한 눈금이 있다.

안경알 없는 안경테는 스테레오 카메라의 교정에도 쓰이며, 헤드마우스(head mouse)역할을 하므로 헤드마우스판이라 부르도록 한다.

도 1은 2차원 디스플레이(7)의 양 모서리에 있는 두 개의 CCD 카메라(5), (6)와 사용자가 세 마커 (1), (2), (3)이 있는 헤드마우스판(4)를 착용한 모습이다.

헤드마우스판은 평면으로 되어 있으며, 안경처럼 사용자 얼굴에 장착하면 얼굴기준면과 평행하게 된다고 본다. 얼굴 기준면이란 양 눈이 이루는 면으로서 시선에 대하여 수직이며, 수식의 전개 편의상 마커 (1) (2)의 중앙은 양 눈의 중앙으로부터 시선이 통과한다고 본다.

도 2 는 사용자 머리 위에서 내려다 본 그림으로서 디스플레이 평면을 따라서 왼쪽과 오른쪽의 CCD 카메라를 이은 축을 X 축이라 하고, 디스플레이에 수직이며 헤드마우스판으로 향한 축을 Z 축이라 한다.

하나의 마커 (8)에 대하여, b 의 거리만큼 떨어진 두 개의 CCD 카메라에 투영된 상의 위치가 각각 x_img1와 x_img2 와 로 다르게 나타나며, 이들 위치 차이를 CCD 소자의 픽셀 단위길이 a 로 나누어 시차 d 라 부른다. 이때 디스플레이로부터 마커까지의 거리 z 는 CCD 카메라 렌즈의 초점거리 f 와 CCD 카메라 간의 거리 기선 b 로서, 다음의 근사식으로 표현된다. (참고: RANGE AND VELOCITY ESTIMATION OF OBJECTS AT LONG RANGES USING MULTIOCULAR VIDEO SEQUENCES,

N.Scherer, R.Gabler; http://www.isprs.org/istanbul2004/comm5/papers/649.pdf)

z = ( bㆍf )/ ( dㆍa )

이로써 헤드마우스판 좌표계와 디스플레이 좌표계가 수평면을 공유한다면,안경테의 마커 (1) 과 (2) 로서 사용자가 주시하는 시선점의 수평위치를 구하고, 마커 (2)와 (3)으로서 시선점의 수직위치를 구할 수 있다.

도 3 은 디스플레이 좌표계의 원점을 센서 1 (왼쪽 CCD 카메라)의 중심으로 옮기어서 시선이 디스플레이의 한 점에 닿는 곳의 위치를 구하는 방법을 2차원에서 설명코자 한다.

마커 M1 (1)과 M2 (2)의 상이 왼쪽 CCD 카메라에 투영된 위치가 x_p1 과 x_p2 이면, 앞의 근사식으로 M1과 M2의 위치는 각각 (x_p1 z₁/f, z₁) 과 (x_p2 z₂/f, z₂)이며, 마커들의 중앙점 M_c에서마커들을 잇는 선에 수직한 시선이 디스플레이와 만나는 점 (9)의 위치는

이다.

도 4는 디스플레이 좌표계와 헤드마우스판 좌표계의 관계를 나타내는 그림이며, 헤드마우스판의 뒤편에 있는 사용자의 얼굴특징(facial feature), 즉 눈썹의 양모서리, 눈의 양 가장자리, 귀 등 얼굴표정에 비교적 무관한 얼굴특징점 들의 위치를 측정할 수 있다. 또한, 사용자별로 특이한 특징으로서 사마귀나 점(10)의 위치를 측정할 수 있다. (점이나 사마귀가 있는 사용자 경우)

헤드마우스판 좌표계에서 얼굴특징점 k 들의 좌표를 (x_T ^k, y_T ^k, z_T ^k)라 하면 디스플레이 좌표계에서의 왼쪽과 오른쪽의 CCD 카메라의 화상에서의 화소좌표 (x_cp ^k _L , y_cp ^k _L , -f), (x_cp ^k _R , y_cp ^k _R , -f)는 다음 식으로 표현된다.

한편, 헤드마우스판에 기초한 좌표계와 디스플레이 좌표계 변환관계 즉, 디스플레이 좌표계로부터 X_T,Y_T,Z_T 만큼 병진이동하고, θ,φ,ψ 만큼 X,Y,Z 축을 중심으로 순서대로 회전한 헤드마우스판 좌표계의 변환식은 다음과 같다.

사용자 얼굴특징점들의 위치좌표를 기억해놓은 뒤에는, 헤드마우스판 없이도 얼굴 특징점들을 측정하여 판 좌표계와 디스플레이 좌표계의 변환관계를 계산함으로서 시선(line of sight)과 디스플레이 평면상의 관심시점( POI: Point of Interest) (9)을 구할 수 있다.

쌍안(Binocluar)시각 시스템은 단안시각에 비하여 조명, 거리, 관점(viewpoint)에 무관하다는 장점이 있으나, 사람의 눈과 달리 컴퓨터시각에서는 불일치문제(correspondence problem)가 있다. 이러한 문제를 풀기 위하여는 카메라 보정(camera calibration)을 해주어야 하는데, 알려진 방법으로는 "Camera Calibration of Stereo Photogrammetric System with One-Dimensional Optical Reference Bar" Q U Xu et al, International Sysmposium on Instrumentation Science and Technology (2006) 1048-1052, "A Flexible New Technique for Camera Calibration" Zhengyou Zhang, 1998.12.2. http://research.microsoft.com 등이 있다. 헤드마우스판의 눈금으로 컴퓨터 디스플레이 세팅이 바뀔 때마다 앞서의 방법을 적용하여 교정을 하면 편리하다.

컴퓨터(또는 컴퓨터 유사기계)의 초기화 시에는 헤드마우스판으로 카메라의 교정을 마치고, 헤드마우스판에 의한 디스플레이 상의 관심시점 위치를 계산하여, 커서(curser)와 같은 시각도형을 계산된 관심시점 위치에 표현하고 사용자의 확인행위(feedback), 즉 사용자가 원하는 위치에 시각도형이 위치하지 아니하였다면 얼굴의 자세를 바꾸고, 컴퓨터는 바뀐 얼굴자세에 따라 새로운 위치에 시각도형을 위치함을 반복하다가, 시각도형이 사용자가 원하는 위치에 이르렀을 때 사용자는 확인(confirm) 또는 선택 등의 지시행위를 키보드 상의 정해진 버튼을 누르거나 뗌으로서 핸드마우스의 역할을 대신할 수 있다. 초기화 시 사용자의 얼굴특징에 대한 스테레오 사진측량으로 얼굴표정에 무관한 얼굴특징점들의 좌표를 읽어서 저장등록하고, 초기화 이후의 운영체제에서는 헤드마우스판을 장착하지 않아도 사용자의 얼굴특징을 측정하여, 등록된 얼굴의 데이터베이스와 비교하여 특정사용자를 인식할 수 있으며, 동시에 얼굴기준면의 위치와 자세가 산출되므로서 디스플레이 상의 POI를 추정하여 커서를 표시할 수 있다.

도 5는 왼쪽 눈과 오른쪽 눈에 같은 입체대상이나 서로 다른 영상을 중첩시켜 보임으로서 시차차(parallax difference)를 조성하므로서 원근감을 느끼도록 하는 입체시각시스템과 입체음향을 제공하기 위한 컴퓨터 주변기기의 설치 예이다. 구성은 왼쪽 눈과 오른쪽 눈에 보여줄 영상을 제공하는 디스플레이 (11),(12)를 좌우에 두고, 이들을 반사시키는 거울(13),(14)가 있으며, 입체음향효과를 내기 위한 네 개의 스피커 (15),(16),(17),(18) 과 입체적인 음향취득을 위한 마이크 (19), (20)이 있다. CCD 카메라 (5),(6)은 거울 (13),(16)의 중앙에 위치한 경우이다.

도 6은 도 5의 평면도로서 시각시스템에 관한 부분이다. 도 6에서 (21)구역은 왼쪽 눈과 오른쪽 눈의 영상이 겹쳐지는 영역으로 입체시역(stereo-region)이며

POI(9)를 표현하고 있다. 도 7-a 는 POI 가 무한대인 경우에 눈동자의 위치를 보여주며, 도 7-b는 POI가 유한한 경우에 눈동자의 위치로서, 이들 눈동자 위치 차이로서 POI까지의 거리, 즉 입체 심도(3 Dimensional Depth)를 구할 수 있음을 보여준다. 따라서 스테레오 디스플레이에서 POI 부근의 ±10°정도 부위만 해상도를 높이고, 그 외는 해상도를 낮게 하여 눈의 피로를 덜하게 할 수 있다.( 참고 "Foveation for 3D Visualization and Stereo Imaging" Arzu Coltekin,TKK Institute of Photogammetry and Remote Sensing Publication Espoo 2006, Helsingki University of Technology)

컴퓨터의 초기화 시 카메라 보정 및 사용자 얼굴특징점들의 좌표를 구하여 등록하는 단계에서, 가상의 POI를 생성하여 무한대의 입체심도로부터 가까이 까지 근접시키면서 사용자의 양쪽 눈동자의 위치변화를 기록하여 테이블로 만들어 등록하도록 한다. 즉, 도 7-a 의 무한대 시점의 눈동자 위치와, 도 7-b 의 유한거리 관심시점(POI) (9)에 대하여 사용자의 눈동자 위치차이 (22)와 (23)을 측정하여, 입체심도 대 눈동자위치차이의 테이블을 구축하고, 초기화 이후 운영체제에서는 눈동자 위치차이 (22)와 (23)을 측정하여 테이블로부터 해당 입체심도를 읽어서 해당위치에 표현하도록 한다.

시각에서 입체감을 동일한 점(POI)에 대한 왼쪽 눈과 오른쪽 눈에 맺히는 상의 위치차이(시차:parallax)로 인지하듯이, 소리의 입체감은 양쪽 귀에서 들리는 소리의 시간차이(Interaural Time Difference:ITD), 강도차이(Interaural Level Difference:ILT), 방향에 따른 주파수반응효과(Head-Related Transfer Function: HRTF)로서 인지한다. 주파수반응효과는 소리의 방향에 따라서 1 KHz이하의 소리와 4KHz 이상의 소리가 머리, 몸통 및 외이(outer ear)를 통하며 회절과 반사에 따른 주파수별 반사음향효과를 뜻한다. 따라서 주파수반응효과 3D 입체음향시스템을 가동시키기 위하여는 각각의 음원에 대한 신호정보, 청취자의 위치와 얼굴자세, 음원의 위치를 입력하여야 한다. (참고: "Efficeient and Effective Use of Low Cost 3D Audio Systems", Kenneth Wang, Proceedings of the 2002 International Conference on Auditory Display, Kyoto, Japan, July 2-5, 2002.

US PN 6,961,439 Method and Apparatus for Producing Spatialized Audio Signals)

본 발명에서는 청취자의 위치와 얼굴자세를 입력하기 위하여 왼쪽 귀와 오른쪽 귀를 인식하고 위치를 측정하여 입력하거나, 양 귀가 영상에 잡히지 않을 경우 사용자의 얼굴의 다른 특징점 또는 헤드마우스판의 3차원적 위치와 자세를 스테레오 사진측량 인식하므로서 사용자의 귀의 위치 데이터를 입력할 수 있다.

도 1은 사용자가 세 개의 마커가 있는 헤드마우스판을 착용하고 디스플레이를 쳐다보는 개념도

도 2는 도 1의 평면도로서 두 개의 센서에 나타나는 시차로 심도를 재는 개념을 나타냄.

도 3은 도 1의 평면도로서 시선과 POI를 구하는 개념도

도 4는 헤드마우스판을 착용하고 얼굴특징점들을 측정하는 개념도

도 5는 입체시각과 입체음향을 제공하는 시스템의 예시임.

도 6은 스테레오스코픽 디스플레이에서 입체심도를 표현하는 개념도임.

도 7은 무한대 시점과 유한거리 시점에 대한 사용자 눈동자의 위치차이를 나타내는 개념도

Claims

두 개 이상의 영상취득장치를 구비하고, 디스플레이상에 표시된 시각도형의 좌표에 따라 수행작업을 구분하는 그래픽 사용자인터페이스 환경의 컴퓨터가 시각도형을 표시하고 사용자의 입력을 받는 데 있어,

(a) 두 개 이상의 영상취득장치로부터 사용자의 얼굴과 머리 부분의 영상을 취득하는 단계:

(b) 등록된 사용자 얼굴데이타베이스에서 지정된 세 개 이상의 얼굴특징점을 상기 각각의 영상에서 검색하여 영상픽셀의 위치를 구하고, 각각의 영상픽셀위치차이(시차)를 이용하여 디스플레이의 기준점에 대한 얼굴 특징점들의 3차원 좌표를 구하는 단계:

(c) 상기 단계에서 구해진 사용자 얼굴특징점들의 3차원 좌표값과 등록된 후보사용자 얼굴특징점 좌표값을 비교하여, 미등록인지 또는 등록된 사용자 중의 누구인지 식별하여 분류하는 단계:

(d) 사용자 얼굴기준면에 수직이고 양 눈의 중앙을 통과하는 직선(시선)방향을 구하고, 이 직선이 디스플레이 평면과 만나는 교점(관심시점)을 구하여 디스플레이 평면에 시각도형을 표시하는 단계:

(e) 일정기간동안 사용자로부터 확인신호를 대기하다가 확인신호가 있으면, 제(c)단계에서 미등록 또는 등록자중 누구인지 분류한 유형에 따라 디스플레이상의 위치에 지정된 작업을 수행하는 단계로 이행하는 동시에 상기 (a)단계인 영상취득단계로 회귀하고, 확인신호가 없더라도 상기 (a)단계인 영상취득단계로 회귀하는 단계:

로 구성되어, 시각도형의 좌표가 동일하더라도 사용자가 미등록 또는 등록자중 누구인지 분류한 유형에 따라 컴퓨터가 각기 다른 작업을 수행할 수 있도록 하는 방법
1 항에 있어,

상기 사용자 얼굴과 머리부분의 영상을 취득하는 (a) 단계에, 사용자의 얼굴특징점(눈썹의 양끝점, 눈의 양모서리, 입술의 양모서리, 양귀 끝점, 점이나 사마귀 등)중 사용자가 지정한 세 개 이상의 점에 대하여 각각의 영상에서 영상픽셀위치를 구하고, 상기 영상픽셀위치 차이(시차)로 3차원 좌표를 구하여 컴퓨터 사용권한이 있는 사용자얼굴데이타 베이스로 등록하는 단계를 더 포함하는 방법
두 개 이상의 영상취득장치와 스테레오 디스플레이를 구비한 컴퓨터가 스테레오 영상을 사용자에게 제공함에 있어,

(a) 두 개 이상의 영상취득장치로부터 사용자의 얼굴과 머리 부분의 영상을 취득하는 단계:

(b) 사용자의 얼굴영상에서 세 개 이상의 얼굴특징점들에 대하여 적어도 두 개의 영상픽셀의 위치차이(시차)를 구하여 스테레오 디스플레이의 기준점에 대한 얼굴 특징점들의 3차원 좌표를 구하는 단계:

(c) 사용자 얼굴기준면에 수직이고 양 눈의 중앙을 통과하는 직선(시선)방향을 구하고, 스테레오 디스플레이에 있어 상기 시선방향의 무한대 입체 심도로부터 최근접 입체 심도까지 단계적으로 시각도형을 표시하고 각 단계별 양 눈동자의 중심위치변화를 기록하여 해당사용자의 입체시각특성 데이터로 저장하는 단계:

(d) 해당사용자의 얼굴과 머리 부분의 영상을 취득하여 시선방향을 구하고, 양 눈의 눈동자 위치를 측정하여, 상기 제(c)단계에서 작성한 해당사용자의 입체시각특성 데이터로부터 사용자 관심시점의 입체심도를 읽어 들여, 해당관심시점부위 밖의 영상 해상도는 낮추어 스테레오 영상을 출력하는 단계:

로 이루어져,

사용자의 관심시점의 입체심도에 따라 해상도를 달리하는 스테레오 영상제공 방법
스테레오 영상을 제공하는 컴퓨터에 있어,

- 두 개 이상의 영상취득장치로 구성된 사용자 얼굴특징점 좌표측정수단:

- 사용자 얼굴특징점 좌표저장수단 :

- 스테레오 디스플레이로 구성된 입체시각표현수단:

- 시각도형 표현수단:

으로 구성되어,

사용자 관심시점의 입체심도에 따라 입체영상의 해상도가 조절되는 특성을 갖는 컴퓨터입출력장치
그래픽 사용자인터페이스 환경의 컴퓨터에 있어,

- 두 개 이상의 영상취득장치로 구성된 사용자 얼굴특징점 3차원 좌표측정수단:

- 사용권한이 있는 사용자를 식별할 수 있는 얼굴특징점들의 3차원 좌표데이터 저장수단:

- 상기 얼굴특징점 좌표측정수단으로부터 얻은 사용자 얼굴데이타와 사용권한이 있는 사용자로 등록된 얼굴데이타의 일치 또는 불일치의 비교수단:

- 상기 얼굴특징점좌표 측정수단으로부터 얻은 사용자 얼굴의 기준면에 수직이고 사용자의 양눈의 중앙을 통과하는 직선(관심시선)이 디스플레이 평면과 만나는 교점(관심시점)에 시각도형을 표시하는 시각도형표현수단:

- 디스플레이에 표시된 시각도형의 위치에 대하여 사용자의 의사를 확인할 수 있는 확인수단:

으로 구성되어,

디스플레이에서 시각도형의 좌표가 동일하더라도 사용자가 미등록 또는 등록자중 누구인지 분류한 유형에 따라 컴퓨터가 각기 다른 작업을 수행할 수 있도록 할 수 있는 특징을 갖는 컴퓨터입출력장치
스테레오 디스플레이를 구비한 그래픽사용자 인터페이스 환경의 컴퓨터에 있어,

- 두 개 이상의 영상취득장치로 구성된 사용자 얼굴특징점 3차원 좌표측정수단:

- 사용권한이 있는 사용자를 식별할 수 있는 얼굴특징점들의 3차원 좌표데이터 저장수단:

- 상기 얼굴특징점 좌표측정수단으로부터 얻은 사용자 얼굴데이터와 사용권한이 있는 사용자로 등록된 얼굴데이터의 일치 또는 불일치의 비교수단:

- 상기 얼굴특징점 좌표측정수단으로부터 얻은, 사용자 얼굴의 기준면에 수직이고 사용자의 양 눈 중앙을 통과하는 직선(관심시선)방향의 무한대심도의 스테레오 디스플레이에 시각도형을 표시하는 시각도형표현수단:

- 스테레오 디스플레이 기준면을 지나는 관심시선의 위치에 대하여 사용자의 의사를 확인할 수 있는 확인수단:

으로 구성되어,

스테레오 디스플레이에서 사용자의 관심시선 방향이 같더라도 사용자가 미등록 또는 등록자중 누구인지 분류한 유형에 따라 컴퓨터가 각기 다른 작업을 수행할 수 있도록 할 수 있는 특징을 갖는 컴퓨터입출력장치
제 4항 내지 제 6항 중 어느 한 항에 있어,

최소 2개의 스피커 또는 이어폰으로 구성된 주파수반응효과 입체 음향시스템이 더 포함되고,

상기 사용자 얼굴특징점 좌표측정수단을 이용하여 사용자 양귀의 위치좌표를 상기 주파수반응효과 입체 음향시스템에 입력하는 특징을 갖는 컴퓨터입출력장치
삭제