KR20120136719A - 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법 - Google Patents

손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법 Download PDF

Info

Publication number
KR20120136719A
KR20120136719A KR1020110055828A KR20110055828A KR20120136719A KR 20120136719 A KR20120136719 A KR 20120136719A KR 1020110055828 A KR1020110055828 A KR 1020110055828A KR 20110055828 A KR20110055828 A KR 20110055828A KR 20120136719 A KR20120136719 A KR 20120136719A
Authority
KR
South Korea
Prior art keywords
screen
eye
hand
point
available area
Prior art date
Application number
KR1020110055828A
Other languages
English (en)
Inventor
안지윤
Original Assignee
안지윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안지윤 filed Critical 안지윤
Priority to KR1020110055828A priority Critical patent/KR20120136719A/ko
Publication of KR20120136719A publication Critical patent/KR20120136719A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 전자기기 모니터(10)의 스크린 에지 부위에 설치하고 3차원 위치정보를 인식하는 기능을 가지는 카메라(20);
모니터(10) 스크린의 가로세로크기(x,y 좌표)와 카메라(20) 설치위치 좌표를 정보로 인식하여 스크린(11)의 크기를 바닥면으로 정의하고, 사용자의 눈 위치를 꼭지점 위치로 간주하여, 바닥면과 뿔로 이루어지는 사각뿔 영역을 가용영역(30)으로 정하고, 가용영역(30) 내의 손의 위치 및 상태를 인식하는 인식모듈(42)을 가지는 전자기기 본체(40)를 포함하고;
인식모듈(42)은 사용자 눈의 스크린 기준점에 대한 3차원 위치정보 좌표와 가용역격(30) 내의 손의 3차원 위치정보 좌표 지점을 계산하고, 눈의 3차원 위치정보와 손의 3차원 위치정보의 연장선상의 모니터 스크린 지점의 좌표를 계산하고, 계산된 좌표의 스크린 지점을 시작점으로 손의 위치 이동을 인식하여, 모니터 스크린과의 직접 접촉 없이 모니터 스크린 상에서 물체를 지목하거나 제어할 수 있도록 하는 것을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법이다.

Description

손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법{The method of pointing and controlling objects on screen at long range using 3D positions of eyes and hands}
본 발명은 스크린에 터치하지 않고 사용자 눈 부위와 스크린 사이의 사각뿔 형태의 가용영역 공간에서 손이 이동하는 것을 스크린 에지부위에 설치한 카메라의 촬영 영상과, 컴퓨터 본체에 내장한 촬영영상 인식모듈을 이용하여, 사각뿔 공간 내에서 손의 위치를 카메라촬영으로 인식하여 사용자의 눈에서 보이는 손 위치로 스크린상의 위치로 연산함으로써, 전자기기 모니터 스크린상에 별도의 커서 없이도 아이콘 등을 지목해서 제어할 수 있는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법에 관한 것이다.
최근 Wii / Kinect등의 게임기기의 성공으로 제스처 중심의 입력방식(이하 UI;User Interface)에 대한 연구와 응용이 활발하게 이루어지고 있다. 그러나 대부분의 제스처 중심의 UI는 터치방식처럼 실제 접촉이 발생하기 않기 때문에, 실제 컨트롤하고자 하는 대상을 지목하는데 어려움이 있다. 그래서 대부분의 경우 마우스 커서를 사용하게 되는데, 이는 직관성을 현저하게 떨어뜨리므로 편의적이라 할 수 없다. 또한, 제스처중심의 UI에 대한 관심이 높아지고, 이를 적용코자 하는 제품들이 늘어나고 있다.
그러나, 터치 UI 와는 다르게 직접(물리)적인 접촉이 일어나지 않아, 사용자가 어떤 오브젝트(대상. 예를 들어, 사진이나, 윈도우 등)를 컨트롤하고자 하는지 알아내는데 어려움이 있다. 이를 위해 (물리적인 접촉이 없을 경우) 대부분
마우스 커서( 또는 비슷한 기능을 하는 )를 화면에 투사하여, 제스처로써 마우스커서를 움직이도록 하고 있다. 그러나, 상기 명시한 방법은 직접적으로 컨트롤하는 직관성을 제거하게 되며, 이는 사용성 저하로 이어진다.
또한, 손가락을 이용한 UI 관련 기술로 국내공개특허10-2007-0030398호가 알려져 있으나, 모바일 기기에 적용하는 기술로, 모바일 자체의 카메라를 사용하여 사용이 제한적이고 전자기기 모니터 방식의 스크린에는 적용할 수 없는 문제점을 가진다.
본 발명은 이와 같은 문제점들을 해결하고자하는 것으로, 본 발명의 목적은 전자기기 모니터 스크린 에지 부위에 적어도 하나의 카메라를 설치하고, 전자기기 본체에는 인식모듈을 두어, 스크린화면과 사용자의 눈 부위와의 사각뿔 가용영역을 설정하고, 이 가용영역에서 손가락 이동을 인식하여 직관적으로 컨트롤하는 대상을 지목할 수 있는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법을 제공하려는 것이다.
본 발명의 다른 목적은 사각뿔 형태의 가용영역에서 손가락 작동 및 위치 이동을 사용자의 눈에서 보이는 스크린 위치로 역산하여 인식토록 하여 손가락 이동을 기초로 목적물(물체,오브젝트) 선택이나, 영상 조작 기능을 구현 가능토록 하여 사용자의 편리성을 극대화시키면서 정확성을 갖도록 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법을 제공하려는 것이다.
본 발명의 또 다른 목적은 카메라에서 사용자의 눈 부위를 실시간으로 촬영하여 스크린 화면과 눈 부위와의 사각뿔 가용영역을 실시간으로 구축하므로, 눈의 상태를 한눈을 기준으로 하는 제 1 가용영역과 다른 한눈을 기준으로 하는 제 2 가용영역의 교집합 또는 합집합 부위를 기초로 손 위치에 대응하는 스크린화면위치를 산출하는 개략 판단기능과, 한쪽 눈을 감고 제 1 가용영역과 제 2가용영역 중의 한 영역에 속하는 손을 추적하여 카메라를 통한 상대적인 정밀한 판단기능을 수행하여, 실시간으로 인식 가능토록 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법을 제공하려는 것이다.
이하 본원 발명은 전자기기 모니터 스크린 에지 부위에 설치하고 3차원 위치정보를 인식하는 기능을 가지는 카메라;
전자기기 모니터 스크린의 가로,세로 크기(x,y 사양)와 카메라 위치에 대한 정보와, 카메라의 3차원 상의 설치위치 정보를 기초로 바닥면으로 정의하고, 사용자의 눈 위치를 꼭지점으로 간주하는 사각뿔 영역을 가용영역으로 정하고, 가용영역 내의 손가락 위치 및 상태를 인식하는 인식모듈을 가지는 전자기기 본체를 포함하고;
인식모듈은 사용자 눈의 초점거리 좌표와 손의 좌표 지점을 카메라로부터 인식한 데이타에 의하여 계산하고, 각 좌표지점의 연장선상의 모니터 스크린 지점을 계산하고, 계산된 스크린 지점을 시작점으로 손가락 이동위치를 인식하여, 스크린 화면과의 직접 접촉 없이 스크린 상에서 별도의 커서 없이도 아이콘 등을 지목해서 제어할 수 있는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법을 제공한다.
본 발명에서 사용자의 눈 위치와 손(손가락)의 3차원 위치정보를 획득할 수 있는 카메라는 "TOF 카메라와 일반 RGB 카메라". " 두 대 이상의 일반 RGB 카메라( StereoVision / Triangulation )"을 예시할 수 있으나 특별히 한정하지는 않으며, 본 발명 도면에서는 하나의 TOF 카메라를 설치한 경우를 예시하였다. TOF 카메라에 대한 특허자료는 국내공개특허10-2007-0030398호를 예시할 수 있다.
본 발명의 인식모듈은 카메라를 통한 사용자의 얼굴과 눈 부위의 3차원 위치정보를 인식하도록 카메라와의 거리를 찾도록 카메라 내에 내장되는 적외선 엘이디를 사용한 발광과 수광 신호의 수신레벨을 기초로 거리와 위치를 3차원 위치정보로 인식하도록 기능 한다(이러한 거리 탐색 기능은 통상의 기술이므로 단순히 위치정보를 인식한다 라고 표기한다). 이를 위하여 카메라와 스크린의 절대적 위치는 기본적으로 스크린의 도 1 과 같은 인치를 기초로 가로와 세로의 사양을 미리 세팅되어야한다.
이러한 세팅 기본자료를 기초로 인식모듈을 통하여 눈과 손의 상대적 3차원 위치정보를 획득한다. 이 정보는 스크린에 대해, 또는 카메라에 대한 설정 기준 좌표를 기초로 한 상대적 3차원 위치정보(좌표 정보)를 도 2 및 도 3 과 같이 획득하는 것이다. 눈의 위치정보를 획득하는 방식은 다양하다. 적외선 반사 (Infrared Reflection) 방식, 형태 추적 (Shape Recognition) 방식이나 이들의 조합 방식이 사용될 수 있다. 물론 사진 영상으로 정형화된 사람의 형상과 눈의 형상에 대한 데이타를 도 8의 저장부에 저장하여 카메라에서 촬영한 사용자의 얼굴 및 눈과 대비하여 정 위치를 정하고, 이에 의하여 3차원 위치정보를 판단하는 것이 좋다.
본 발명은 눈과 스크린의 위치/크기 정보(좌표정보)를 이용하여 사각뿔 형태의 가용영역(Active Region)을 정의한다. 가용영역은 (대상이 스크린일 경우) 사각뿔 형태가 되며, 이 가용영역은 눈의 위치에 따라 실시간으로 변경된다. 이러한 정의를 기초로 본 발명은 눈과 스크린 사이의 가용영역에 손(손가락)이 도 4 내지 도 6과 같이 들어오면 그때부터 손의 움직임을 3차원 위치정보로 인식한다. 구체적으로 손이 가리키는 목적물(오브젝트)은 사용자의 눈에서 손의 위치를 연장한 스크린상의 지점으로 파악한다. 이러한 위치 파악을 기초로 사용자는 손으로 직접 자신의 시야의 스크린을 초점을 맞춰 컨트롤한다. 이때 스크린과 손의 거리, 눈과 손의 거리는 가용영역 내에서 문제가 되지 않는다.
본 발명은 PC나 TV등 스크린을 기반으로 한 전자기기들에 마우스나 리모컨 대용으로 사용하도록 적용가능하며, 구체적으로 디스플레이를 통하여 제어하는 컴퓨터 외에 임베디드 기술이 적용 가능한 자동차, 에어컨, 공장 자동화 장비에서부터 TV 셋톱 박스, 휴대폰, 핸드헬드 컴퓨터에 이르기까지 다양한 전자기기 제품들에 적용 가능하다.
본 발명은 이러한 원리에 근거하여 두 사람 이상 동시 사용 가능하다. 이 경우는 각 사람의 위치에 의한 가용영역을 분리하여 인식하도록 하면 가능하고, 이는 동시 게임을 하거나 픽처인 픽쳐 형태로 화면 분할하여 시청할 경우에 유리하게 사용할 수 있다.
본 발명은 스크린을 기반으로 한 TV나 컴퓨터 외에 오디오제품, 전열기기, 냥반방기등의 전자기기에 카메라와 스크린 및 인식모듈을 이용하여 다양하게 적용 가능하다.
본 발명은 스크린 기반의 전자기기(PC나 TV같이 모니터나 스크린을 사용하는 전자기기)의 복잡한 기능을 직관적으로 컨트롤할 수 있다.
일반적인 제스쳐 기반의 UI가 마우스커서를 컨트롤 하나, 본 발명은 가용영역 내에서 목적물(오브젝트)을 직접 지목하고 컨트롤할 수 있어 사용이 편리하다.
도 1은 본 발명의 모니터 스크린의 상단에지에 카메라를 설치한 설명도,
도 2는 도 1에서 사용자의 얼굴과 눈을 찾아 거리 개념으로 3차원적인 위치를 정하는 설명도,
도 3은 도 2의 눈의 3차원 위치정보를 기초로 스크린의 사각면을 바닥면으로 하는 사각뿔의 가용영역을 정의하는 설명도,
도 4는 도 3의 가용영역에 손가락이 위치하는 상태를 보인 설명도,
도 5는 사용자의 눈에 보이는 손가락의 지시모습 설명도,
도 6은 도 5의 측면 상태로 보인 설명도,
도 7은 본 발명의 위치 추적윈리를 보인 도면,
도 8은 본 발명의 제어블록도,
도 9는 본 발명의 폴더를 크릭하는 사용예를 보인 도면,
도 10은 본 발명으로 볼륨을 조절하는 예를 보인 도면,
도 11은 본 발명으로 영상을 앞으로 뒤로 이동하는 예를 보인 도면,
도 12는 본 발명의 스크린상의 용어를 정의한 도면,
도 13은 본 발명의 가용영역의 평면도면,
도 14는 본 발명의 가용역역의 교집합 부위를 나타낸 평면도면,
도 15는 본 발명의 가용영역의 합집합 부위를 나타낸 평면도이다.
이하 본 발명의 실시예를 도면을 참조하여 상세히 설명한다.
본 발명은 도 8과 같이 전자기기(컴퓨터) 모니터(10)의 스크린(11)의 에지부위(예를 들어 상단에지(11a))에 설치하고 촬영대상물의 거리(3차원 위치정보)를 인식하는 기능을 가지는 카메라(20);
전자기기의 모니터(10) 스크린(11)의 가로세로 크기(x,y 좌표(X0,Y0,Z0) (X0,Y6,Z0) (X10,Y6,Z0) (X10,Y0,Z0)) 와 카메라(20) 설치위치 좌표(X5,Y6,Z0)(엄밀히 말하면 좌표가 설치자마다 다를 수 있고, 카메라 사양에 따라 다를 수 있으나, 이는 좌표를 설정하여 인식하면 되므로 요약하여 설명의 편리 상 좌표를 기재하여 나타낸다. 실제로는 에지가 아닌 별도의 하우징이나 구조물에 설치할 수도 있으며, 이 경우는 스크린의 3차원 위치정보와, 스크린과 대응된 카메라의 3차원 위치정보를 정확하게 입력하여(입력수단은 프로그램으로 할 수도 있고, 미리 위치를 지정하여 내장한 상태로 출하할 수도 있다) 상대적인 사용자의 눈과 손 위치와 지시하는 목적물 위치를 인식 및 연산할 수 있다)를 기초로 스크린(11)의 크기를 바닥면으로 정의하고, 사용자의 눈 위치를 꼭지점으로 하여 바닥면과 꼭지점으로 이루어지는 사각뿔 영역을 가용영역(30)으로 정하고, 가용영역(30) 내의 손의 3차원 위치정보 및 상태를 인식하는 인식모듈(42)을 가지는 전자기기 본체(40)를 포함하고;
인식모듈(42)은 도 7 과 같이 사용자 눈의 스크린 기준점(X0,Y0,Z0)에 대한 3차원 위치정보(좌표지점(X3,Y15,Z15))와, 가용영역(30) 내의 손의 3차원 위치정보(좌표지점(X5,Y3,Z7))를 카메라(20)로부터 인식한 데이타에 의하여 계산하고, 눈의 위치정보(좌표지점(X3,Y15,Z15))에서부터 손의 위치정부(좌표지점 (X5, Y3,Z7))를 경유한 연장선상의 모니터 스크린(11)의 스크린지점 위치정보(좌표지점 (X4,Y6,Z0))를 계산하고, 계산된 스크린지점 위치정보(좌표지점(X4,Y6,Z0))를 시작점으로 손의 위치 이동을 인식하여, 모니터 스크린 화면과의 직접 접촉 없이 스크린 화면상에서 커서를 작동시키거나 스크린 상의 목적물을 선택하여 제어 가능토록 수행한다.
상기, 인식모듈(42)을 통한 사용자의 눈의 위치정보(좌표지점(X3,Y5,Z15))는 실제로 양쪽 눈을 포함하는 영역이므로, 개략적인 위치 인식을 원할 경우는 양쪽 눈의 중앙 지점을 눈의 좌표지점으로 정하여 수행토록 할 수 있다. 이는 도 13 내지 15와 같이 한쪽 눈을 통한 스크린과의 제1 가용영역과, 다른 한쪽 눈을 통한 스크린과의 제 2 가용영역의 교집합 영역(도 14)또는 합집합 영역(도 15)에 해당하는 영역을 의미한다.
상기, 인식모듈(42)을 통한 사용자의 눈의 좌표(X3,Y5,Z15)는 양쪽 눈 중에서 감은 눈 부분과 뜬눈 부분을 구분하여(구분하는 방식은 여러 가지가 있으나 사람 얼굴에서 눈 부위를 분리하고, 양쪽 눈이 일시적으로 감는 것을 제외하고 적어도 1초 이상 감은 경우를 한쪽 눈을 감은 경우로 판단토록 하는 것을 예시할 수 잇으며, 이러한 판단은 기 저장된 눈의 형상과 현재의 눈의 형상을 대비하여 판단하는것을 예시할 수 있다) 좌표를 설정하고, 정확한 위치 인식을 원할 경우 감은 부분이 아닌 뜬눈 부분을 눈의 좌표지점으로 정하면 좋다. 즉, 도 13에서와 같이 한쪽 눈을 통한 스크린과의 제1 가용영역이나, 다른 한쪽 눈을 통한 스크린과의 제 2 가용영역 중의 하나의 영역을 선택하여, 손이나 눈의 3차원 위치를 인식하고 이에 대응하는 스크린상의 목적물 위치를 정확하게 인식하도록 한다.
상기, 인식모듈(42)의 손의 위치이동 인식은 도 9 와 같이 엄지 및 다른 손가락(도면 9에서는 엄지와 검지) 끝이 서로 만나는 지점이 크릭하는 것으로 인식하도록 수행하는 것을 예시할 수 있다. 물론 엄지와 중지손가락 끝이 만나거나 엄지와 다른 손가락 끝이 만나는 지점을 인식하도록 할 수도 있다.
상기, 인식모듈(42)의 손의 위치이동 인식은 사각뿔의 가용영역(30)의 좌측에지(11c)에서 들어와 도 10과 같이 수직방향(직선방향)으로 이동할 때 볼륨 조절 기능을 하도록 수행한다. 바람직하기는 위로 올리면 볼륨이 커지고, 아래로 내리면 볼륨이 작아진다.
상기, 인식모듈(42)의 손의 위치이동 인식은 사각뿔의 가용영역(30)의 하단에지(11b)에서 들어와 도 11과 같이 좌우측으로 이동하여 멈추는 지점의 영상을 선택하도록 하여, 영상의 시작부분에서 마지막 부분까지 선택할 수 있도록 수행한다. 바람직하기는 왼쪽으로 이동하면 영상의 시작부분을 선택하고. 우측단으로 가면 영상의 마지막 부분을 선택하며, 이동 중간에 멈추면 멈춘 지점의 영상이 디스플레이되도록 한다.
상기, 인식모듈(42)의 손의 위치이동 인식은 사각뿔의 가용영역(30)의 좌우측 에지 중의 한 에지에서 들어와 반대편 에지로 지날 경우 책장을 넘기거나 다음 목적물을 선택하거나 다음번 사진으로 넘어가도록 지시하는 기능을 수행한다.
이하 본 발명을 단계별로 설명한다.
눈 위치 검출(Eye Detection )
본 발명에서 눈의 위치를 3차원으로 인식하여야 하며, 이 위치정보는 카메라의 위치에 대해 상대적이거나 절대적으로 설정 가능하고, 바람직하기는 상대적 설정이 용이하다. 또한, 조명의 영향을 최소화하기 위해 마이크로소프트사의 카메라(상표명; Kinect camera )인 TOF 카 메라를 본 발명의 카메라(20)로 사용하며, 모든 환경에서 인식률은 90% 이상이며, 인식 가능 거리는 1.5m~5m 이므로, 카메라(20)와 사용자의 눈은 1.5m~5m사이의 거리에서 눈이 인식 되도록 하는 것이 좋다. 물론 이를 위하여는 도 8 에 보인 저장부에 일반적인 사람이나 눈의 영상 데이타를 저장하여두고, 이와 카메라에서 촬영한 사용자의 얼굴 및 눈 부위를 대비하여 눈의 위치를 파악하고, 파악한 눈의 위치의 3차원 정보를 카메라를 통하여 거리를 산출하는 방식으로 인식한다.
본 발명은 카메라의 시야 내에서 눈의 다중인식을 가능토록 하는바, 눈이 여러 개가 감지되었을 시, 각각의 눈을 인식하여 각 눈에 대한 가용영역을 설정하여야한다.
가용영역의 예로는 도 13과 같이 눈을 감았는지 떴는지 여부를 인식하여 한쪽 눈을 통한 스크린과의 제 1 가용영역과, 다른 한쪽 눈을 통한 스크린과의 제 2 가용영역을 기초로 도 14와 같이 교집합 영역이나 도 15와 같이 합집합 영역을 사용 가능토 록 한다. 본 발명은 또한 눈의 감은 상태 여부를 기초로 제 1 가용영역이나 제 2 가용영역 중의 한 영역을 선택하여 눈의 정확한 위치 인식(경우에 따라서는 안경을 쓴 상태에서도 정확한 위치인식)을 가능토록 설정하여야한다.
가용영역설정(Active Region Definition )
스크린을 바닥면으로, 눈을 꼭지점으로 하는 피라미드 형태의 가용영역을 정의하며, 이는 하기와 같은 순서와 원리에 따른다.
스크린(11)의 카메라에 대한 상대적 위치와 크기를 파악한다(설명의 편리 상 파악하는 것으로 표기하였으나, 인식모듈(42)에서 인식 가능하도록 미리 스크린크기의 3차원 위치정보와, 설치할 카메라의 3차원 위치정보(위치좌표)를 입력하는 것을 의미한다).
이때 입력받는 정보는 아래와 같다.
카메라(20)와 화면 스크린 에지(예를 들어 상단에지 (11a))와의 거리(도 7 기준으로 좌표( X0 , Y6 , Z0 )( X10 , Y6 , Z0 )), 화면의 인치 수. 가로 픽셀 수 및 세로 픽셀 수를 지정한다. 카메라(20)는 스크린(11) 상단에지(11a)의 정 중앙에 위치하는 것으로 가정하고, 픽셀은 언제나 정사각형 ( square pixel )이라고 가정한다.
가용영역(30)은 스크린(11)화면을 바닥면으로 하고, 눈의 3차원 위치정보(위치 좌표)를 꼭지점으로 갖는 피라미드(사각뿔) 형태인 3차원의 형태를 이룬다.
본 발명의 가용영역(30)은 눈의 움직임에 따라 실시간으로 재정의되고, 눈이 다중인식되었을 경우, 다중의 가용영역(30)이 정의되어야 한다.
손동작인식(Hand Gesture Detection )
손의 동작은 가용영역(30)을 벗어날 경우 모두 무시한다.
가용영역(30)에 손 이외에 다른 목적물이 들어올 시, 무시한다.
본 발명에서 낮은 정확도를 요구하는 컨트롤의 경우, 두 눈을 동시에 사용할 수 있으며, 이 경우 양쪽 눈의 중앙 부분을 눈의 초점좌표로 정할 수 있다.
높은 정확도를 요구하는 컨트롤의 경우에는 한쪽 눈만 사용할 수 있다. 바람직하기는 감은 눈이 아닌 뜬눈 좌표를 인식하여 스크린 좌표를 추적한다. 낮은 정확도를 요구하는 컨트롤은 별도로 표기하고, 그 이외의 모든 컨트롤은 높은 정확도를 요구하도록 설정하면 좋다.
가용영역(30) 내에 손이 들어왔을 시, 하기의 동작들을 각각의 이벤트에 의거하여 인식한다.
1. 손가락 오형( Making O)
손가락 두 개(예를 들어 엄지와 검지)로 가상의 물체를 잡는 동작이며, 이는 아이
콘 선택( Icon Selection )), 움직임( Panning & Moving ), 확대/축소( Zooming ) 등의 동작에 사용 되도록 설정한다.
이 경우 엄지손가락의 끝과 다른 검지손가락의 끝이 만나는 점이 사용자가 선택하고자 하는 포인트가 된다. 두 손가락 끝이 서로 떨어지면 선택은 해제된다.
이렇게 아이콘 또는 목적물( Object )이 선택된 후, 이어지는 동작에 따라 시스템의 작동은 달라진다.
이어지는 동작들을 예를 들어 정리하면 아래와 같다.
상하/좌우 움직임( Panning & Moving )
좌표로 표기하자면 X/Y 축으로 움직이는 2차원적 동작이다.
전/후 움직임( Zooming In / Out )
좌표로 표기하자면 Z 축으로 움직이는 3차원적 동작이다.
끌어내기( Icon Selection )
아이콘(Icon )이나 목적물(Object)를 가용영역(30) 밖으로 끌어내는 행위로써 두 손가락으로 잡은 포인트가 가용영역을 벗어날 시, 선택된 목적물( Object )이나 가용영역(30)을 실행하는 것으로 이해설정 할 수 있다.
2. 수직이동( Vertical Interruption )
화면의 좌측에지(11c)나 우측에지(11d)로 손(가락)이 진입한 후, 손이 화면
을 상단에지(11a)나 하단에지(11b)로 이탈할 때까지의 동작을 말한다. 본 동
작은 시스템에서 볼륨 조정의 기능과 연동 된다. 화면의 최상단에
다다르면 볼륨의 최고치, 화면의 최하단에 다다르면 볼륨의 최저치
를 출력하게 된다. 즉, 볼륨 값은 손가락의 Y축 좌표에 따라 변하도록 한다.
수직 지르기( Vertical Swiping )
손가락으로 화면을 상하로 가로지르는 동작을 말한다. 이때 손가
락은 좌측에지 (11c)/ 우측에지(11d)로 진입하지 않으며, 상단에지(11a)의 코너에서
하단에지(11b)의 코너로 빠르게 가로지르도록 한다. 이러한 동작은 시스템에서
뮤트(Mute ) 기능을 수행하는 것으로 설정한다.
3. 수평이동( Horizontal Interruption )
스크린의 하단에지(11b)로 손가락이 진입한 후, 손가락이 스크린 하단에
지(11b)로 다시 이탈할 때까지의 동작을 말하며, 본 발명의 경우 이 동작은 시스템에서 동영상 써치 기능과 연동된다 . 즉, 스크린의 최 좌측에 다다르면 영화
의 첫 부분, 스크린의 최우측에 다다르면 영화의 끝 부분으로 이동하게
된다. 영화의 재생의 시점은 손가락이 멈추는 X축 좌표 위치에 따라 구동하도록 한다.
수평지르기(Horizontal Swiping )
손가락으로 스크린을 좌우로 또는 우좌로 가로지르는 동작을 말한
다. 이때 손가락은 상단에지 (11a)/ 하단에지(11b)로 진입하지 않으며, 좌측에
지(11c)의 코너에서 우측에지(11d)의 코너로, 또는 우측에지(11d)의 코너에서 좌측
에지(11c)의 코너로 빠르게 가로지른다. 본 동작은 영화 재생시 [10초
전/후로 넘기기]기능, 사진 등의 슬라이드쇼에서는 [다음/이전 사진]
에 해당한다.
위 손을 이용한 제스처( Hand Gesture )들이 상기 명시한 대로 기능이 수행될 수 있도록 인식모듈(42)에 안착시킨다. 물론 본 작업을 위해서 별도의 플래시 기반의 UI 가 제공될 수 있다.
10;모니터 11;스크린 20;카메라 30;가용영역 40;컴퓨터본체 42;인식모듈

Claims (7)

  1. 전자기기 모니터(10)의 스크린 에지 부위에 설치하고 3차원 위치정보를 인식하는 기능을 가지는 카메라(20);
    모니터(10) 스크린의 가로세로크기(x,y 좌표)와 카메라(20) 설치위치 좌표를 정보로 인식하여 스크린(11)의 크기를 바닥면으로 정의하고, 사용자의 눈 위치를 꼭지점 위치로 간주하여, 바닥면과 뿔로 이루어지는 사각뿔 영역을 가용영역(30)으로 정하고, 가용영역(30) 내의 손의 위치 및 상태를 인식하는 인식모듈(42)을 가지는 전자기기 본체(40)를 포함하고;
    인식모듈(42)은 사용자 눈의 스크린 기준점에 대한 3차원 위치정보 좌표와 가용영역(30) 내의 손의 3차원 위치정보 좌표 지점을 카메라로부터 인식한 데이타에 의하여 계산하고, 눈의 3차원 위치정보와 손의 3차원 위치정보의 연장선상의 모니터 스크린 지점의 좌표를 계산하고, 계산된 좌표의 스크린 지점을 시작점으로 손의 위치 이동을 인식하여, 모니터 스크린과의 직접 접촉 없이 모니터 스크린 상에서 물체를 지목하거나 제어할 수 있도록 하는 것을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
  2. 제 1항에 있어서, 인식모듈(42)을 통한 사용자의 눈의 좌표는 한쪽 눈을 통한 스크린과의 제 1 가용영역과, 다른 한쪽 눈을 통한 스크린과의 제 2 가용영역의 교집합 또는 합집합 영역을 제공하는 양쪽 눈의 중앙 지점을 눈의 좌표지점으로 정하는 것을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
  3. 제 1항에 있어서, 인식모듈(42)을 통한 사용자의 눈의 좌표는 한쪽 눈을 통한 스크린과의 제 1 가용영역과, 다른 한쪽 눈을 통한 스크린과의 제 2 가용영역 중의 하나의 영역을 제공하는 한쪽 눈의 지점을 눈의 좌표지점으로 정하는 것을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
  4. 제 1항에 있어서, 인식모듈(42)의 손의 위치이동 인식은 엄지와 다른 손가락 끝이 서로 만나는 지점에 대응하는 스크린 지점을 지정하는 것으로 인식하도록 수행함을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
  5. 제 1항에 있어서, 인식모듈(42)의 손의 위치이동 인식은 사각뿔의 가용영역의 좌측 에지에서 들어와 수직방향으로 이동할 때 볼륨 조절 기능을 하도록 수행함을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
  6. 제 1항에 있어서, 인식모듈(42)의 손의 위치이동 인식은 사각뿔의 가용영역의 하단에지에서 가용영역 내로 들어와 좌우측으로 이동하여 멈추는 지점의 목적물이나 영상위치를 선택하도록 하여, 손의 이동으로 영상의 시작부분에서 마지막 부분 중의 한 곳을 선택할 수 있도록 수행함을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
  7. 제 1항에 있어서, 인식모듈(42)의 손의 위치이동 인식은 사각뿔의 가용영역의 좌우측 에지 중의 한 에지에서 들어와 반대편 에지로 지날 경우 책장을 넘기거나 다른 목적물을 선택하거나 다름 그림을 선택하는 기능을 수행함을 특징으로 하는 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법.
KR1020110055828A 2011-06-09 2011-06-09 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법 KR20120136719A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110055828A KR20120136719A (ko) 2011-06-09 2011-06-09 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110055828A KR20120136719A (ko) 2011-06-09 2011-06-09 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법

Publications (1)

Publication Number Publication Date
KR20120136719A true KR20120136719A (ko) 2012-12-20

Family

ID=47904021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110055828A KR20120136719A (ko) 2011-06-09 2011-06-09 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법

Country Status (1)

Country Link
KR (1) KR20120136719A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126197A1 (ko) * 2014-02-22 2015-08-27 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
CN113934290A (zh) * 2020-07-13 2022-01-14 阿里巴巴集团控股有限公司 虚拟内容显示方法、装置及设备
US20220130121A1 (en) * 2019-09-20 2022-04-28 Facebook Technologies, Llc Projection Casting in Virtual Environments
US11947111B2 (en) 2019-09-20 2024-04-02 Meta Platforms Technologies, Llc Automatic projection type selection in an artificial reality environment
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
US12099693B2 (en) 2019-06-07 2024-09-24 Meta Platforms Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126197A1 (ko) * 2014-02-22 2015-08-27 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10234954B2 (en) 2014-02-22 2019-03-19 Vtouch Co., Ltd Apparatus and method for remote control using camera-based virtual touch
US10642372B2 (en) 2014-02-22 2020-05-05 VTouch Co., Ltd. Apparatus and method for remote control using camera-based virtual touch
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
US12099693B2 (en) 2019-06-07 2024-09-24 Meta Platforms Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US20220130121A1 (en) * 2019-09-20 2022-04-28 Facebook Technologies, Llc Projection Casting in Virtual Environments
US11947111B2 (en) 2019-09-20 2024-04-02 Meta Platforms Technologies, Llc Automatic projection type selection in an artificial reality environment
CN113934290A (zh) * 2020-07-13 2022-01-14 阿里巴巴集团控股有限公司 虚拟内容显示方法、装置及设备
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
US12056281B2 (en) 2020-07-22 2024-08-06 EWHA University—Industry Collaboration Foundation Method and system for providing roughness haptic sense of virtual object by using space-time encoding
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Similar Documents

Publication Publication Date Title
JP6791994B2 (ja) 表示装置
KR20120136719A (ko) 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
US9569010B2 (en) Gesture-based human machine interface
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
RU2541852C2 (ru) Устройство и способ для управления пользовательским интерфейсом на основе движений
US8125444B2 (en) Unit, an assembly and a method for controlling in a dynamic egocentric interactive space
JP5657293B2 (ja) ジェスチャ認識方法及び同方法を用いたタッチシステム
CN109643206B (zh) 控制装置、显示装置、程序及检测方法
JP5427385B2 (ja) 操作制御装置及び操作表示方法
KR20120095084A (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
KR20230025909A (ko) 증강 현실 안경류 3d 페인팅
US9544556B2 (en) Projection control apparatus and projection control method
JP2006209563A (ja) インターフェース装置
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
JP2012238293A (ja) 入力装置
US20200241721A1 (en) Interactive display apparatus and method
JP7369834B2 (ja) 表示装置
US10506290B2 (en) Image information projection device and projection device control method
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
CN102999158B (zh) 互动系统的手势辨识方法及互动系统
TW201439813A (zh) 顯示設備及其控制系統和方法
CN103369237A (zh) 用于切换相机观察模式的方法
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee