KR102506037B1 - 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템 - Google Patents

스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템 Download PDF

Info

Publication number
KR102506037B1
KR102506037B1 KR1020220101396A KR20220101396A KR102506037B1 KR 102506037 B1 KR102506037 B1 KR 102506037B1 KR 1020220101396 A KR1020220101396 A KR 1020220101396A KR 20220101396 A KR20220101396 A KR 20220101396A KR 102506037 B1 KR102506037 B1 KR 102506037B1
Authority
KR
South Korea
Prior art keywords
user
face
stereo camera
gaze
control device
Prior art date
Application number
KR1020220101396A
Other languages
English (en)
Inventor
우광제
Original Assignee
주식회사 아이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이트 filed Critical 주식회사 아이트
Priority to KR1020220101396A priority Critical patent/KR102506037B1/ko
Application granted granted Critical
Publication of KR102506037B1 publication Critical patent/KR102506037B1/ko
Priority to PCT/KR2023/010786 priority patent/WO2024034924A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템에 관한 것으로서, 사용자의 얼굴각도별로 복수의 영역으로 구분되는 표시장치; 상기 표시장치에 설치되어, 상기 사용자의 얼굴에 광을 조사하는 다수의 조명장치; 상기 다수의 조명장치에 의해 상기 사용자의 얼굴에 광이 조사된 상태에서 상기 사용자의 얼굴을 촬영하는 스테레오 카메라; 및 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상에 기초하여 상기 사용자의 얼굴각도를 계산하고, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시킨 후, 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 눈 영상을 추출하며, 추출된 눈 영상에 포함된 동공으로부터 반사되는 반사광의 위치변화에 따른 시선의 움직임에 따라 상기 사용자의 얼굴각도에 대응되는 영역 내에서 상기 마우스 커서를 2차 이동시키는 제어 장치를 포함한다.

Description

스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템{POINTING METHOD AND POINTING SYSTEM USING EYE TRACKING BASED ON STEREO CAMERA}
본 발명은 포인팅 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템에 관한 것이다.
현재, 대부분의 시선 인식 기술들은 두 개 이상의 외부 광원들과 두 개 이상의 카메라를 이용하여 사용자가 바라보는 시선을 추정할 수 있다.
그리고 정보 기술의 발전에 따라, 이러한 시선 인식 기술들은 다양한 분야에활용되고 있다. 예를 들어, 광고 분야에서는 소비자들에게 광고 시안들을 보여 주고 소비자들이 바라보는 위치에 대한 정보 및 바라보는 시간에 대한 정보를 수집함으로써, 사람들이 제품, 광고 모델 및 회사 브랜드 중 어느 것을 많이 바라보는지 평가할 수 있다. 또한, 마케팅 분야에서는, 사람들에게 장치를 통해 다수의 컨텐츠들을 제공하고, 사람들이 관심을 가지고 오래 바라보는 컨텐츠에 대해 사용자 선호도 점수를 높게 책정할 수 있다. 그리고 점점 더 많은 분야에서 이러한 시선 인식 기술이 활용될 것으로 예상된다.
이에 따라, 최근에는 사용자의 시선을 보다 정확하게 인식하고, 시선 인식 기술을 보다 편리하게 이용하기 위한 많은 연구가 진행되고 있다.
국내등록특허공보 제10-1249263호 국내등록특허공보 제10-2216020호 국내등록특허공보 제10-2093198호 국내공개특허공보 제10-2015-0032019호 국내공개특허공보 제10-2011-0100987호
본 명세서는 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 사용자가 화면을 직접 터치하지 않고, 화면 상의 마우스 커서를 빠르고 정확하게 이동시킬 수 있는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템을 제공하는 데 그 목적이 있다.
이와 같은 목적을 달성하기 위한, 본 명세서의 실시예에 따르면, 본 명세서에 따른 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템은, 사용자의 얼굴각도별로 복수의 영역으로 구분되는 표시장치; 상기 표시장치에 설치되어, 상기 사용자의 얼굴에 광을 조사하는 다수의 조명장치; 상기 다수의 조명장치에 의해 상기 사용자의 얼굴에 광이 조사된 상태에서 상기 사용자의 얼굴을 촬영하는 스테레오 카메라; 및 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상에 기초하여 상기 사용자의 얼굴각도를 계산하고, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시킨 후, 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 눈 영상을 추출하며, 추출된 눈 영상에 포함된 동공으로부터 반사되는 반사광의 위치변화에 따른 시선의 움직임에 따라 상기 사용자의 얼굴각도에 대응되는 영역 내에서 상기 마우스 커서를 2차 이동시키는 제어 장치를 포함한다.
바람직하게는, 상기 제어 장치는 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 얼굴 좌표정보를 산출하고, 좌우 얼굴 영상들 간의 좌표 차이에 기초하여 상기 사용자의 얼굴각도를 계산하는 것을 특징으로 한다.
바람직하게는, 상기 제어 장치는 상기 얼굴 영상으로부터 눈 영상을 추출하고, 추출된 눈 영상으로부터 동공을 검출하며, 검출된 동공에서 반사되는 반사광을 검출하여 상기 반사광의 위치와 상기 다수의 조명장치의 위치를 대응시키는 기하학적 변환(geometric transform) 방법을 통해 상기 표시장치에 대한 시선의 움직임을 추적하는 것을 특징으로 한다.
바람직하게는, 상기 제어 장치는 상기 눈 영상의 매 프레임에 칼만 필터(Kalman filter)를 적용하여 상기 반사광을 검출하는 것을 특징으로 한다.
바람직하게는, 상기 제어 장치는 상기 시선이 일정 시간 이상 특정 위치에 머무르는 경우, 해당 위치를 클릭 처리하는 것을 특징으로 한다.
바람직하게는, 상기 제어 장치는 상기 스테레오 카메라를 이용하여 상기 사용자의 손의 제스처를 인식함으로써 페이지 간 이동을 제어하는 것을 특징으로 한다.
바람직하게는, 상기 제어 장치는 사용자가 손을 좌우로 움직이는 경우 동일 페이지 내에서 화면을 전환시키고, 사용자가 손을 위로 움직이는 경우 이전 페이지로 이동시키며, 사용자가 손을 아래로 움직이는 경우 다음 페이지로 이동시키는 것을 특징으로 한다.
바람직하게는, 상기 제어 장치는 상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여, 구간별 이동속도를 계산하고, 상기 구간별 이동방향과 시선의 이동방향을 추출하여, 시선의 변화추세를 미리 예측하는 것을 특징으로 한다.
본 명세서의 다른 실시예에 따르면, 본 명세서에 따른 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법은, 표시장치가, 사용자의 얼굴각도별로 복수의 영역으로 구분되는 단계; 상기 표시장치에 설치된 다수의 조명장치가, 상기 사용자의 얼굴에 광을 조사하는 단계; 스테레오 카메라가, 상기 다수의 조명장치에 의해 상기 사용자의 얼굴에 광이 조사된 상태에서 상기 사용자의 얼굴을 촬영하는 단계; 제어 장치가, 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상에 기초하여 상기 사용자의 얼굴각도를 계산하는 단계; 상기 제어 장치가, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시키는 단계; 상기 제어 장치가, 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 눈 영상을 추출하는 단계; 및 상기 제어 장치가, 추출된 눈 영상에 포함된 동공으로부터 반사되는 반사광의 위치변화에 따른 시선의 움직임에 따라 상기 사용자의 얼굴각도에 대응되는 영역 내에서 상기 마우스 커서를 2차 이동시키는 단계를 포함한다.
이상에서 설명한 바와 같이 본 명세서에 의하면, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시키고, 사용자의 눈 영상에 포함된 동공으로부터 반사되는 반사광의 위치변화에 따른 시선의 움직임에 따라 사용자의 얼굴각도에 대응되는 영역 내에서 마우스 커서를 2차 이동시키는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템을 제공함으로써, 사용자가 화면을 직접 터치하지 않고, 화면 상의 마우스 커서를 빠르고 정확하게 이동시킬 수 있다.
도 1은 본 발명의 실시예에 따른 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템의 구성을 나타낸 도면,
도 2는 본 발명의 실시 형태에 관한 포인팅 시스템의 기능을 실현 가능한 하드웨어의 일례를 도시한 블록도,
도 3은 본 발명의 실시 형태에 관한 제어 장치가 갖는 기능의 일례를 도시한 블록도,
도 4는 Adaboost를 이용한 특징 검출의 예를 보여주는 도면,
도 5는 원형 검출 알고리즘을 사용하여 동공 영역을 검출하는 방법을 설명하기 위한 도면,
도 6은 흑색 영역의 무게중심을 보여주는 도면,
도 7은 순차적인 영상에 대하여 칼만 필터를 사용하여 반사광을 찾은 예를 보여주는 도면,
도 8은 안구의 회전에 의한 동공의 움직임 량과 반사광의 움직임 량의 차이를 분석하기 위한 모델을 나타낸 도면,
도 9는 반사광이 이루는 왜곡된 형태의 사각형과 4개의 조명이 이루는 직사각형 간의 대응관계를 보여주는 도면,
도 10은 시선의 이동경로를 시간에 따라 복수의 구간으로 세밀하게 샘플링한 샘플링 테이블을 나타낸 도면, 및
도 11 내지 도 13은 본 발명의 실시예에 따른 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법을 나타낸 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.
본 발명의 포인팅 방법은, 도 1에 도시된 바와 같이 어떤 전자 장치 또는 제어 장치의 제어에 관련하여, 사용자의 얼굴각도별로 복수의 영역으로 구분되는 표시장치(10)를 다수의 메뉴 아이템을 가지는 선택 메뉴 판으로서 사용한다. 제어 장치(30)는 다수의 조명장치(21)에 의해 조명을 받는 사용자의 얼굴 부분을 스테레오 카메라(20)로 촬영한 후, 영상신호 처리 과정을 통하여, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시키고, 표시장치(10)에 대한 시선을 추적하여 사용자의 시선의 움직임에 따라 사용자의 얼굴각도에 대응되는 영역 내에서 마우스 커서를 2차 이동시킨 후, 사용자의 시선이 일정 시간 이상 특정 위치에 머무르는 경우, 해당 위치에 대응하는 제어 신호(예를 들면, 클릭 처리)에 의해 전자 장치가 제어되도록 한다. 전자 장치의 제어 구조는 일반적인 기술 수준에 의해 이해될 수 있을 것이다.
또한, 제어 장치(30)는 스테레오 카메라(20)를 이용하여 사용자의 손의 제스처를 인식함으로써 페이지 간 이동을 제어할 수 있다. 구체적으로는, 제어 장치(30)는 사용자가 손을 좌우 측으로 움직이는 경우 동일 페이지 내에서 화면을 전환시키고, 사용자가 손을 위로 움직이는 경우 이전 페이지로 이동시키며, 사용자가 손을 아래로 움직이는 경우 다음 페이지로 이동시키고, 사용자가 손바닥을 보이는 경우 페이지 이동을 정지시킨다.
한편, 본 발명의 포인팅 방법은, 상품이나 제품을 판매하는 매장 등에 안치되어 있는 키오스크(KIOSK) 화면에 적용하거나, 웹 페이지를 통해 상품이나 제품을 판매하는 웹 쇼핑몰 화면에도 적용 가능하며, 집안에서 방송을 시청하는 일반 TV 화면이나 위성 TV 화면 등에 적용할 수 있다. 그리고 포인팅 방법은 전시장이나 행사장, 정부기관, 지방자치단체, 은행 및 백화점 등의 공공장소에 해당 기관이나 행사 및 서비스 등을 안내하는 메뉴를 디스플레이하는 로봇 장치 등 모든 디스플레이 장치에 적용할 수 있다.
이하에서는, 본 발명에 따른 포인팅 시스템의 구체적인 구성에 대해서 자세히 설명하기로 한다.
도 2를 참조하면, 포인팅 시스템의 기능을 실현 가능한 하드웨어에 대해서 설명한다. 도 2는, 본 발명의 실시 형태에 관한 포인팅 시스템의 기능을 실현 가능한 하드웨어의 일례를 도시한 블록도이다.
포인팅 시스템이 갖는 기능은, 예컨대, 도 2에 도시하는 하드웨어 자원을 이용하여 실현하는 것이 가능하다. 즉, 포인팅 시스템이 갖는 기능은, 컴퓨터 프로그램을 이용하여 도 2에 도시하는 하드웨어를 제어함으로써 실현된다.
도 2에 도시한 바와 같이, 이 하드웨어는, 주로, CPU(202), ROM(Read Only Memory)(204), RAM(206), 호스트 버스(208), 및 브리지(210)를 갖는다. 또한, 이 하드웨어는, 외부 버스(212), 인터페이스(214), 입력부(216), 출력부(218), 기억부(220), 드라이브(222), 접속 포트(224), 및 통신부(226)를 갖는다.
CPU(202)는, 예컨대, 연산 처리 장치 또는 제어 장치로서 기능하여, ROM(204), RAM(206), 기억부(220), 또는 리무버블 기록 매체(228)에 기록된 각종 프로그램에 기초하여 각 구성 요소의 동작 전반 또는 그 일부를 제어한다. ROM(204)은, CPU(202)에 판독되는 프로그램이나 연산에 이용하는 데이터 등을 저장하는 기억 장치의 일례이다. RAM(206)에는, 예컨대, CPU(202)에 판독되는 프로그램이나, 그 프로그램을 실행할 때 변화하는 각종 파라미터 등이 일시적 또는 영속적으로 저장된다.
이들 요소는, 예컨대, 고속의 데이터 전송이 가능한 호스트 버스(208)를 통해서 서로 접속된다. 한편, 호스트 버스(208)는, 예컨대, 브리지(210)를 통해서 비교적 데이터 전송 속도가 저속인 외부 버스(212)에 접속된다. 또한, 입력부(216)로서는, 예컨대, 마우스, 키보드, 터치 패널, 터치 패드, 버튼, 스위치, 및 레버 등이 이용된다. 또한, 입력부(216)로서는, 적외선이나 그 밖의 전파를 이용하여 제어 신호를 송신하는 것이 가능한 리모트 컨트롤러가 이용될 수 있다.
출력부(218)로서는, 예컨대, CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 또는 ELD(Electro-Luminescence Display) 등의 디스플레이 장치가 이용될 수 있다. 또한, 출력부(218)로서, 스피커나 헤드폰 등의 오디오 출력 장치, 또는 프린터 등이 이용될 수 있다.
기억부(220)는, 각종 데이터를 저장하기 위한 장치이다. 기억부(220)로서는, 예컨대, HDD 등의 자기 기억 디바이스가 이용된다. 또한, 기억부(220)로서, SSD(Solid State Drive)나 RAM 디스크 등의 반도체 기억 디바이스, 광기억 디바이스, 또는 광자기 기억 디바이스 등이 이용되어도 된다.
드라이브(222)는, 착탈 가능한 기록매체인 리무버블 기록 매체(228)에 기록된 정보를 판독하거나, 또는 리무버블 기록 매체(228)에 정보를 기록하는 장치이다. 리무버블 기록 매체(228)로서는, 예컨대, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등이 이용된다. 또한, 리무버블 기록 매체(228)에는, 포인팅 시스템의 동작을 규정하는 프로그램이 저장될 수 있다.
접속 포트(224)는, 예컨대, USB(Universal Serial Bus) 포트, IEEE 1394 포트, SCSI(Small Computer System Interface), RS-232C 포트, 또는 광오디오 단자 등, 외부 접속 기기(230)를 접속하기 위한 포트이다. 외부 접속 기기(230)로서는, 예컨대, 프린터 등이 이용된다.
통신부(226)는, 네트워크(232)에 접속하기 위한 통신 디바이스다. 통신부(226)로서는, 예컨대, 유선 또는 무선 LAN용 통신 회로, WUSB(Wireless USB)용 통신 회로, 휴대 전화 네트워크용 통신 회로 등이 이용될 수 있다. 네트워크(232)는, 예컨대, 유선 또는 무선에 의해 접속된 네트워크이다.
이상, 포인팅 시스템의 하드웨어에 대해서 설명하였다. 또한, 상술한 하드웨어는 일례이며, 일부의 요소를 생략하는 변형이나, 새로운 요소를 추가하는 변형 등이 가능하다.
이어서, 도 3을 참조하면서, 제어 장치(30)의 기능에 대해서 설명한다. 도 3은, 본 발명의 실시 형태에 관한 제어 장치(30)가 갖는 기능의 일례를 도시한 블록도이다.
도 3에 도시된 바와 같이, 제어 장치(30)는, 수신부(310), 검출부(320), 계산부(330) 및 제어부(340)를 포함할 수 있다. 계산부(330)는 다시 얼굴각도 계산부(332) 및 시선 위치 계산부(334)를 포함할 수 있다.
수신부(310)의 기능은, 상술한 통신부(226) 등을 이용하여 실현할 수 있다. 검출부(320), 계산부(330) 및 제어부(340)의 기능은, 상술한 CPU(202) 등을 이용하여 실현할 수 있다.
수신부(310)는 스테레오 카메라(20)를 이용하여 사용자에 대한 영상을 취득한다.
검출부(320)는 우선 수신부(310)를 통해 취득한 영상으로부터 얼굴 부분을 검출한다. 검출부(320)는 위의 과정에서 Adaboost(Adaptive Boosting) 방법을 사용할 수 있다. 부스팅(Boosting)은 많은 약한 분류기 (Weak Classifier)를 결합함으로써 정확도가 높은 강한 분류기(Strong Classifier)를 찾는 방법으로, 대표적인 boosting 알고리즘이 상기 Adaboost이다. Adaboost는 단순하여 빠른 성능으로 비교적 높은 정확도로 얼굴을 검출하여 실시간으로 작동한다. 도 4는 Adaboost를 이용한 특징 검출의 예를 보인다. 도 4에 도시된 바와 같이, 눈 영역이 코와 볼 영역보다 더 어둡다는 특성을 이용하고, 다음으로 눈이 콧등에 비해 더 어둡다는 점을 이용하여 얼굴을 검출한다.
검출부(320)는 얼굴 영역을 추출한 후, 역시 Adaboost 방법으로 눈 영역을 검출한다. 눈 영역의 추출을 위해서는 눈의 특징이 반영된 약한 분류기들을 통해 학습(training)된 정보를 활용한다.
검출부(320)는 아래의 원형 검출 알고리즘을 사용하여 동공 영역을 검출한다. 먼저, 검출부(320)는, 도 5의 (가)에 도시된 바와 같이, 원형 템플릿 매칭을 통해 초기 동공 영역을 결정한다. 원형 템플릿 매칭 방법은 아래의 수학식 1로 설명될 수 있다.
Figure 112022084729244-pat00001
여기에서, I(x, y)은 (x, y) 위치에서의 영상의 밝기를 나타내고, (x0, y0) 와 r은 원형 템플릿의 중심과 반지름을 나타낸다. 결국, 두 개의 원형 템플릿 각각의 밝기 합의 차가 최대가 되는 지점을 동공 영역(또는 홍채 영역)으로 결정하는 것이다. 하지만, 동공은 시선 위치 및 카메라 촬영 각도에 따라 원이 아닌 타원의 형태로 나타날 수 있기 때문에, 원형 템플릿 매칭 방법으로 결정된 위치가 정확하다고 할 수 없다. 따라서, 결정된 위치를 기준으로 도 5의 (나)와 같이 지역적 이진화 과정을 수행한다. 사각 지역 영역은 동공 영역(전경)과 동공이 아닌 영역(배경) 두 종류로 분류되므로, 이진화의 임계치는 Gonzalez가 제안한 방법 및 오쯔(Otzu)가 제안한 임계값 자동 결정 방법을 사용한다. 지역적 이진화 후에는 눈썹이나 그림자에 의한 노이즈 영역이 존재할 수 있으며, 반사광이 동공 영역 내부에 존재할 경우 뚫린 형태로 나타날 수 있다. 이를 해결하기 위해, 이진화된 영역에 대해서 라벨링(Component Labeling) 방법을 수행하여, 서로 인접된 영역들에 아이덴티티(identity)를 부여한 후, 가장 넓이가 넓은 영역을 남기고 다른 아이덴티티를 가지는 영역을 제거함으로써, 노이즈 영역을 제거한다. 최종적으로 구멍난 영역을 채우기 위해 모폴로지 닫힘 연산 (morphological closing operation)을 수행한다. 결과적으로 도 5의 (다) 및 도 6에 도시된 바와 같이, 흑색 영역의 무게 중심을 구하여, 최종 동공 중심으로 결정한다.
한편, 표시장치(10)에 설치된 다수의 조명장치(21)에 의해 생기는 반사광은 다수의 조명장치(21)로 간주할 수 있다. 시선 위치는 표시장치(10)와 동공 중심의 관계를 바탕으로 계산한다. 따라서 동공 중심뿐만 아니라, 반사광의 중심을 정확하게 추출하는 것도 중요하다.
이에, 본 발명의 실시예에 따른 검출부(320)는 칼만 필터를 매 프레임에서 수행하여 반사광을 검출한다. 칼만 필터는 관찰 과정만을 고려하는 것이 아니라 대상 변수가 변화하는 모델까지 고려하는 순환 함수이다. 따라서 객체를 추적하는 데 널리 사용된다. 칼만 필터를 수행하기 위해서는 반사광의 위치정보가 필요하기 때문에, 실시간으로 동작하는 시스템에서의 첫 번째 프레임에서는 전체 영역에 대해 영상처리방법(이진화, 라벨링 등)을 사용하여 네 개의 반사광의 중심을 추출한다. 추출된 반사광의 중심은 다음 프레임에서의 해당 반사광을 찾는 데 필요한 정보로 사용된다.
본 발명의 실시예에서 사용된 칼만 필터는 수학식 2에서 보는 바와 같이 등속도 운동을 하여 네 개의 반사광을 찾게 된다. 이전 프레임에서의 반사광의 위치에 대해 칼만 필터를 통해 다음 프레임에서의 반사광의 위치를 예측하게 되면, 예측된 위치를 중심으로 일정한 영역만 탐색한다. 따라서 전체 영역에서 반사광을 찾는 것보다 빠르게 찾을 수 있다. 또한, 찾은 반사광의 위치는 칼만 필터를 통해 정확한 위치로 보정된다.
Figure 112022084729244-pat00002
수학식 2에서 xk와 yk는 k 프레임에서의 반사광의 위치이고, xk'와 yk'는 각각 xk와 yk의 속도를 나타낸다. 본 발명의 실시예에서 사용되는 카메라의 영상입력의 시간 간격은 66ms로 간주될 수 있다. 도 7은 순차적인 영상에 대하여 칼만 필터를 사용하여 반사광을 찾은 예를 보여주고 있다.
하지만 표시장치(10), 즉 모니터 구석에 달려있는 조명(21)이 카메라(20)에 의해 가려질 경우 해당하는 반사광이 영상에서는 없어진다. 이러한 경우에는 모니터를 나타내는 반사광이 3개밖에 없으므로 시선 위치를 파악할 수 없다. 따라서 이런 경우를 해결하기 위하여, 본 발명에서는 이전 프레임에 대해 칼만 필터로 예측한 위치를 없어진 반사광의 위치로 대체한다.
일반적으로 칼만 필터는 등속도 혹은 등가속도 운동을 기반으로 하는 필터이기 때문에, 추적하는 객체의 속도가 갑자기 바뀌거나 방향 전환 시 잘 찾지 못하는 문제점이 있다. 이런 문제점을 해결하기 위하여 기존에 반복적으로 칼만 필터(Iterative Kalman filter)를 사용하는 방법이 있으나 이 역시 처리 시간이 오래 걸린다는 단점이 있다. 본 발명의 실시예에서 사용되는 카메라는 매 프레임당 영상 입력 시간 간격이 66ms이기 때문에 영상 한 프레임에 반복적으로 칼만 필터를 수행한다면 처리시간이 지연되어 본 발명의 실시예에 따른 포인팅 시스템에 적용하기 어렵다.
종래처럼, 본 발명에서도 등속도 운동을 하는 칼만 필터를 그대로 사용하였을 경우 사용자가 시선의 방향을 전환하여 응시하거나, 빠르게 다른 곳을 응시했을 때 예측된 반사광을 가지고 현재 프레임에서의 해당 반사광을 찾지 못하였다. 따라서 이런 문제점을 해결하기 위해서, 본 발명에서는 시선 방향은 동공이 이동하는 방향으로 간주하고, 동공의 이동방향에 따라 반사광의 검색영역을 늘려서 재탐색하는 방법을 사용한다. 사용자의 시선 움직임 방향은 동공의 위치를 사용하여 알 수 있다.
이전 영상에서의 동공의 위치와 현재 영상에서의 동공의 위치 차이로 이동 방향과 크기를 파악할 수 있다. 만약, 갑자기 사용자가 다른 곳을 응시하여 동공의 중심 이동이 클 경우, 반사광도 안구가 회전함에 따라 위치가 바뀌게 된다.
도 8의 Case 1에서 보는 바와 같이, 사용자가 모니터의 중심을 응시했을 때, L(적외선 조명)에 의해 눈에 조사되는 빛은 gc(중앙을 응시했을 때의 각막의 중심)로 들어간다. 하지만, Case 2와 같이 사용자가 안구를 회전하여 L(적외선 조명)을 응시하면, 조명에서 눈으로 조사되는 빛은 gc'로 들어가게 된다. 따라서 안구가 θ만큼 회전하면, 동공은 ▽p만큼 이동하고, 반사광은 ▽s만큼 이동한다. 동공과 반사광의 움직임 량이 차이나는 이유는 동공은 반경이 13.5mm를 갖는 안구의 회전 중심을 기준으로 회전하고, 반사광은 조명에서 나오는 빛이 7.7mm의 반경을 갖는 각막 구의 중심으로 들어오기 때문이다. 따라서 모니터에서부터 동공과 반사광 각각의 중심까지의 거리가 서로 다르기 때문에 움직임 량도 서로 차이난다.
사용자가 안구를 회전하여 생기는 동공과 반사광의 움직임 량을 정확하게 파악하기 위해서는 모니터와 사용자 간의 z 거리를 알아야 한다. 본 발명은 2차원적인 방법으로 접근하기 때문에 z 거리를 파악하기 어렵다. 따라서 본 발명의 실시예에서는 동공의 움직임 량에 대한 반사광의 대략적인 움직임 량을 사전에 학습을 통해 미리 구하고, 이를 LUT(Look Up Table)로 정의한 후 이를 Kalman filtering 하는 단계에 적용한다.
또한, 본 발명의 실시예에서는 눈의 깜빡임을 고려하기 위해, 반사광을 검출하기 전 동공영역의 픽셀의 개수를 측정할 수 있다. 이 픽셀 개수가 이전 프레임에서의 동공영역의 픽셀 개수의 1/2 이하가 됐을 경우, 사용자가 눈을 감았다고 판단하고 다음과정인 반사광 검출 및 시선 위치 계산을 수행하지 않는다.
이처럼, 본 발명에 따른 검출부(320)는 칼만 필터 알고리즘을 사용하여 반사광을 검출함으로써 후술하는 마우스 커서의 움직임을 부드럽게 할 수 있다.
또한, 검출부(320)는 스테레오 카메라(20)를 이용하여 촬영된 영상으로부터 초기 손 영역을 파악한다. 예를 들면, 손을 흔들어 입력받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악할 수 있다. 그리고 흔들림 영역을 구분하는 데 있어 차영상 방법 내지 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 손 영역과 배경으로 분리할 수 있다. 또한, 검출부(320)는 스테레오 카메라(20)로부터 입력된 영상의 왜곡 보정, 밝기 조정, 노이즈 제거 및 색상 보정 중 하나를 수행할 수 있다.
그리고, 검출부(320)는 검출된 초기 손 영역에 대해 스테레오 카메라(20)의 시차를 이용하여 손 영역을 확인한다. 예를 들면, 초기 영상의 시차 정보를 이용하여 손 및 배경의 거리를 각각 계산하여 가장 근접한 지점을 확인하고, 해당 지점을 손 영역으로 확정할 수 있다.
그리고, 검출부(320)는 확정된 손 영역에 대해 손 모양을 검출한다. 보다 자세하게는, 손 영역에서 손 모양을 검출하기 위해 손 모양 검출 기술을 적용할 수 있다. 예를 들면, 손 영역의 경계선 정보를 이용하여 손 모양을 파악하는 등 다양한 기술이 적용될 수 있다.
그리고, 검출부(320)는 검출된 손 모양의 변화에 따라 손의 동작을 인식한다. 예를 들면, 손이 이동하거나 손 형상이 변함에 따라 움직이는 궤적을 추적하는 기술이 적용될 수 있다.
얼굴각도 계산부(332)는 검출부(320)에 의해 검출된 얼굴 영상으로부터 얼굴 좌표정보를 산출하고, 좌우 얼굴 영상들 간의 좌표 차이에 기초하여 카메라(20)로부터 얼굴까지의 거리와 얼굴각도(상하좌우)를 계산한다.
또한, 얼굴각도 계산부(332)는 카메라(20)로부터 얼굴까지의 거리를 알고 있으므로, 피타고라스 정리를 이용하여 사용자의 신장 및 서 있는 위치를 계산할 수도 있다. 이에, 얼굴각도 계산부(332)는 사용자의 신장 및 서 있는 위치에 따라 얼굴각도를 조정할 수 있다.
시선 위치 계산부(334)는, 반사광의 위치 및 동공의 중심을 통해 시선 위치를 계산하기 위해서, 도 9에 도시된 바와 같이 반사광(P1, P2, P3, P4)이 이루는 왜곡된 형태의 사각형과 4개의 조명(F1, F2, F3, F4)이 이루는 직사각형 간의 대응관계를 정의하고, 이를 위해 기하학적 변환(geometric transform) 방법을 사용할 수 있다.
4개의 반사광 P1 ~ P4의 좌표를 (xp1, yp1), (xp2, yp2), (xp3, yp3), (xp4, yp4)라 하고, 4개의 조명 위치 F1 ~ F4의 좌표를 (xf1, yf1), (xf2, yf2), (xf3, yf3), (xf4, yf4)라 하면, 기하학적 변환 방법에 근거하여 아래의 수학식 3을 설계할 수 있다.
Figure 112022084729244-pat00003
위의 수학식 3을 행렬 형태로 표현하면 다음의 수학식 4와 같다.
Figure 112022084729244-pat00004
4개의 적외선 조명이 이루는 직사각형의 가로와 세로 길이를 각각 w, h라고 하면, 4개 조명의 위치 좌표 F1 ~ F4가 (0, 0), (w, 0), (w, h), (0, h)로 정해져서, P 행렬에 미지수가 없어지므로, 대응관계를 표현하는 사상행렬 T는 양변에 F의 역행렬을 곱해서 구해질 수 있다.
동공 중심좌표를 (x, y)라 하면, 4개의 적외선 조명이 이루는 직사각형 안의 시선 위치 (Gx, Gy)는 아래의 수학식 5를 통해 계산될 수 있다.
Figure 112022084729244-pat00005
또한, 시선 위치 계산부(334)는 표시장치(10)의 평면 상에서 이동한 시선의 이동경로를 시간에 따라 복수의 구간으로 세밀하게 샘플링하고, 이를 샘플링 테이블로 생성하며, 이동한 시선의 이동경로와 생기 생성한 샘플링 테이블을 참조하여, 시선의 이동에 대한 미래의 변화추세를 미리 예측할 수 있다.
한편, 상기 예측은 샘플링하는 구간이 많을수록 더욱 정확하게 예측할 수 있으며, 이는 제어 장치(30)를 관리하는 관리자에 의해 다르게 설정될 수 있다.
상기 샘플링 테이블은 도 10을 참조하여 상세히 설명하기로 한다.
상기 이동속도에 대한 예측은 다음의 수학식 6에 따라 샘플링한 구간별로 계산되는 이동속도를 기반으로 예측된다.
Figure 112022084729244-pat00006
여기서, Vb는 구간별 이동속도, D(x, y)는 상기 시선의 x 및 y 방향으로의 이동거리(변위량) 및 t는 구간별로 시선이 이동한 시간을 나타낸다. 또한, F는 구간별 이동속도를 구하기 위한 함수로서, 상기 변위량에 상기 이동한 시간을 미분하여 해당 구간에서 상기 시선의 이동속도를 계산한다.
또한, 시선 위치 계산부(334)는 구간별 이동속도를 비교하여, 전체 이동속도에 대한 증감비율을 계산하고, 이를 기반으로 연속하여 이동하는 시선의 이동속도를 예측한다. 한편, 시선의 이동속도에 대한 예측은 구간별로 계산한 이동속도를 모두 합산하여 평균함으로써 예측할 수도 있다.
또한, 시선 위치 계산부(334)는 시선 추적에 따라 구간별 시선 방향의 변화를 검출하여, 이 후 변화할 시선방향에 대한 추세를 예측할 수 있다.
또한, 시선 위치 계산부(334)는 구간별 시선의 이동에 대한 벡터를 검출하고, 이를 기반으로 시선의 이동경로에 대한 추세를 예측할 수 있다.
4개의 적외선 조명이 이루는 직사각형 영역 내부의 각 영역은 미리 측정되어 정의될 수 있으므로, 제어부(340)는 얼굴각도 계산부(332)에 의해 계산된 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시키고, 시선 위치 계산부(334)에 의해 계산된 시선의 움직임에 따라 사용자의 얼굴각도에 대응되는 영역 내에서 마우스 커서를 2차 이동시킨 후, 시선이 일정 시간 이상 특정 위치에 머무르는 경우, 해당 위치를 클릭 처리한다.
또한, 제어부(340)는 검출부(320)를 통해 사용자의 손의 제스처를 인식함으로써 표시장치(10)의 페이지 간 이동을 제어할 수 있다. 구체적으로는, 제어부(340)는 사용자가 손을 좌우로 움직이는 경우 동일 페이지 내에서 화면을 전환시키고, 사용자가 손을 위로 움직이는 경우 이전 페이지로 이동시키며, 사용자가 손을 아래로 움직이는 경우 다음 페이지로 이동시키고, 사용자가 손바닥을 보이는 경우 페이지 이동을 정지시킨다.
도 11 내지 도 13은 본 발명의 실시예에 따른 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법을 나타낸 흐름도이다.
도 11 내지 도 13을 참조하면, 포인팅 시스템은 고객(사용자)이 최초 한 번은 정면을 바라보도록 음성 안내한다(S10). 예를 들면, 포인팅 시스템은 안내방송과 함께 화면 중앙에 로고를 표시하고, "어서 오십시오. 화면의 로고를 바라보십시오."라고 음성 안내할 수 있다.
포인팅 시스템은 스테레오 카메라(20)를 이용하여 촬영된 얼굴 영상으로부터 128 포인트의 정보를 추출한다(S12). 즉, 포인팅 시스템은 좌우 얼굴 영상 각각으로부터 128 포인트의 정보를 추출한다.
포인팅 시스템은 추출된 정보에 기초하여 얼굴의 깊이(DEPTH)를 계산하여 스테레오 카메라(20)로부터 얼굴까지의 거리 및 고객의 키(신장)를 계산한다(S14).
포인팅 시스템은 얼굴 인식을 통해 고객을 식별한다(S16). 즉, 포인팅 시스템은 얼굴(DEPTH)의 3D 이미지를 구현하고, 얼굴 인식을 통해 고객의 ID를 식별할 수 있다.
포인팅 시스템은 고객 얼굴에 적외선 광을 조사한다(S18).
포인팅 시스템은 동공에 비친 4개의 적외선 광의 위치를 저장한다(S20).
이어, 포인팅 시스템은 서비스 영상 정보를 표시장치에 표시한다(S22). 여기서, 서비스 영상 정보라 함은 고객이 음식을 주문하고 결제하기 위한 메뉴를 나타낼 수 있다.
포인팅 시스템은 고객의 얼굴에 움직임이 있는지 여부를 판단하고(S24), 고객이 상하좌우로 얼굴을 움직일 경우, 좌우 얼굴 영상들 간의 좌표 차이에 기초하여 얼굴각도(상하좌우)를 계산한다(S26).
포인팅 시스템은 얼굴각도에 기초하여 고객이 바라보는 위치(영역)를 파악하여 해당 영역으로 마우스 커서를 1차 이동시킨다(S28). 즉, 포인팅 시스템은 고객의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시킬 수 있다.
포인팅 시스템은 동공에 비치는 4개의 적외선 광의 위치 변화를 계산하여 마우스 커서를 2차(미세) 이동시킨다(S30). 즉, 포인팅 시스템은 표시장치(10)에 대한 시선(동공)을 추적하여 고객의 시선의 움직임에 따라 해당 영역 내에서 마우스 커서를 2차 이동시킬 수 있다.
포인팅 시스템은 동공이 일정시간 이상 특정 위치에 머무르는지 여부를 판단하고(S32), 동공이 일정시간 이상 특정 위치에 머무르는 경우, 해당 위치에 대응하는 제어 신호(예를 들면, 클릭 처리)에 의해 전자 장치가 제어되도록 한다(S34).
한편, 포인팅 시스템은 스테레오 카메라(20)를 이용하여 고객의 손의 움직임을 인식함으로써 표시장치(10)의 페이지 간 이동을 제어할 수 있다. 즉, 포인팅 시스템은 단계 S16 이후에, 고객의 손의 움직임이 있는지 여부를 판단하고(S17), 고객이 손을 좌우로 움직이는 경우 동일 페이지 내에서 화면을 전환시키며(S19), 고객이 손을 위로 움직이는 경우 이전 페이지로 이동시키고(S21), 고객이 손을 아래로 움직이는 경우 다음 페이지로 이동시킨다(S23). 비록, 도면에는 도시되지 않았지만, 포인팅 시스템은 고객이 손바닥을 보이는 경우 페이지 이동을 정지시킬 수 있다.
전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.
여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
10: 표시장치 20: 스테레오 카메라
21: 다수의 조명장치 30: 제어 장치
310: 수신부 320: 검출부
330: 계산부 332: 얼굴각도 계산부
334: 시선 위치 계산부 340: 제어부

Claims (9)

  1. 사용자의 얼굴각도별로 복수의 영역으로 구분되는 표시장치;
    상기 표시장치에 설치되어, 상기 사용자의 얼굴에 광을 조사하는 다수의 조명장치;
    상기 다수의 조명장치에 의해 상기 사용자의 얼굴에 광이 조사된 상태에서 상기 사용자의 얼굴을 촬영하는 스테레오 카메라; 및
    상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상에 기초하여 상기 사용자의 얼굴각도를 계산하고, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시킨 후, 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 눈 영상을 추출하며, 추출된 눈 영상에 포함된 동공으로부터 반사되는 반사광의 위치변화에 따른 시선의 움직임에 따라 상기 사용자의 얼굴각도에 대응되는 영역 내에서 상기 마우스 커서를 2차 이동시키는 제어 장치;
    를 포함하되,
    상기 제어 장치는 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 얼굴 좌표정보를 산출하고, 좌우 얼굴 영상들 간의 좌표 차이에 기초하여 상기 사용자의 얼굴각도를 계산하는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 제어 장치는 상기 얼굴 영상으로부터 눈 영상을 추출하고, 추출된 눈 영상으로부터 동공을 검출하며, 검출된 동공에서 반사되는 반사광을 검출하여 상기 반사광의 위치와 상기 다수의 조명장치의 위치를 대응시키는 기하학적 변환(geometric transform) 방법을 통해 상기 표시장치에 대한 시선의 움직임을 추적하는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  4. 제3항에 있어서,
    상기 제어 장치는 상기 눈 영상의 매 프레임에 칼만 필터(Kalman filter)를 적용하여 상기 반사광을 검출하는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  5. 제1항에 있어서,
    상기 제어 장치는 상기 시선이 일정 시간 이상 특정 위치에 머무르는 경우, 해당 위치를 클릭 처리하는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  6. 제1항에 있어서,
    상기 제어 장치는 상기 스테레오 카메라를 이용하여 상기 사용자의 손의 제스처를 인식함으로써 페이지 간 이동을 제어하는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  7. 제6항에 있어서,
    상기 제어 장치는 사용자가 손을 좌우로 움직이는 경우 동일 페이지 내에서 화면을 전환시키고, 사용자가 손을 위로 움직이는 경우 이전 페이지로 이동시키며, 사용자가 손을 아래로 움직이는 경우 다음 페이지로 이동시키는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  8. 사용자의 얼굴각도별로 복수의 영역으로 구분되는 표시장치;
    상기 표시장치에 설치되어, 상기 사용자의 얼굴에 광을 조사하는 다수의 조명장치;
    상기 다수의 조명장치에 의해 상기 사용자의 얼굴에 광이 조사된 상태에서 상기 사용자의 얼굴을 촬영하는 스테레오 카메라; 및
    상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상에 기초하여 상기 사용자의 얼굴각도를 계산하고, 사용자의 얼굴각도에 대응되는 영역으로 마우스 커서를 1차 이동시킨 후, 상기 스테레오 카메라를 이용하여 촬영된 얼굴 영상으로부터 눈 영상을 추출하며, 추출된 눈 영상에 포함된 동공으로부터 반사되는 반사광의 위치변화에 따른 시선의 움직임에 따라 상기 사용자의 얼굴각도에 대응되는 영역 내에서 상기 마우스 커서를 2차 이동시키는 제어 장치;
    를 포함하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템에 있어서,
    상기 제어 장치는 상기 시선이 이동한 이동경로를 복수의 구간으로 샘플링하여, 각 구간별 이동속도를 계산하고, 상기 각 구간별 이동방향과 시선의 이동방향을 추출하여, 시선의 변화추세를 미리 예측하는 것을 특징으로 하는 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 시스템.
  9. 삭제
KR1020220101396A 2022-08-12 2022-08-12 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템 KR102506037B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220101396A KR102506037B1 (ko) 2022-08-12 2022-08-12 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템
PCT/KR2023/010786 WO2024034924A1 (ko) 2022-08-12 2023-07-26 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220101396A KR102506037B1 (ko) 2022-08-12 2022-08-12 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102506037B1 true KR102506037B1 (ko) 2023-03-06

Family

ID=85510086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220101396A KR102506037B1 (ko) 2022-08-12 2022-08-12 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102506037B1 (ko)
WO (1) WO2024034924A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034924A1 (ko) * 2022-08-12 2024-02-15 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182247A (ja) * 2003-12-17 2005-07-07 National Univ Corp Shizuoka Univ 瞳孔位置検出によるポインティング装置及び方法
KR20110100987A (ko) 2010-03-05 2011-09-15 에스케이텔레콤 주식회사 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말
KR101249263B1 (ko) 2010-12-14 2013-04-09 한국기초과학지원연구원 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법
KR20150032019A (ko) 2013-09-17 2015-03-25 한국전자통신연구원 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
KR20160090867A (ko) * 2013-11-27 2016-08-01 선전 후이딩 테크놀로지 컴퍼니 리미티드 아이 트래킹 및 사용자 반응 검출
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
KR20200043786A (ko) * 2018-10-18 2020-04-28 주식회사 토비스 화면 제어 방법 및 표시 장치
KR102216020B1 (ko) 2018-11-21 2021-02-17 네이버웹툰 유한회사 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말
KR20210073429A (ko) * 2019-12-10 2021-06-18 한국전자기술연구원 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101819164B1 (ko) * 2016-07-29 2018-01-17 상명대학교산학협력단 시선 추적 장치 및 방법
KR102506037B1 (ko) * 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182247A (ja) * 2003-12-17 2005-07-07 National Univ Corp Shizuoka Univ 瞳孔位置検出によるポインティング装置及び方法
KR20110100987A (ko) 2010-03-05 2011-09-15 에스케이텔레콤 주식회사 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말
KR101249263B1 (ko) 2010-12-14 2013-04-09 한국기초과학지원연구원 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
KR20150032019A (ko) 2013-09-17 2015-03-25 한국전자통신연구원 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
KR20160090867A (ko) * 2013-11-27 2016-08-01 선전 후이딩 테크놀로지 컴퍼니 리미티드 아이 트래킹 및 사용자 반응 검출
KR20200043786A (ko) * 2018-10-18 2020-04-28 주식회사 토비스 화면 제어 방법 및 표시 장치
KR102216020B1 (ko) 2018-11-21 2021-02-17 네이버웹툰 유한회사 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말
KR20210073429A (ko) * 2019-12-10 2021-06-18 한국전자기술연구원 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034924A1 (ko) * 2022-08-12 2024-02-15 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Also Published As

Publication number Publication date
WO2024034924A1 (ko) 2024-02-15

Similar Documents

Publication Publication Date Title
US20220103748A1 (en) Touchless photo capture in response to detected hand gestures
US9131150B1 (en) Automatic exposure control and illumination for head tracking
US20170223234A1 (en) Systems and methods for extracting foreground video
JP4965653B2 (ja) 視覚ディスプレイのためのバーチャルコントローラ
Darrell et al. Integrated person tracking using stereo, color, and pattern detection
Tian et al. Robust and efficient foreground analysis in complex surveillance videos
Licsár et al. User-adaptive hand gesture recognition system with interactive training
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
US9256324B2 (en) Interactive operation method of electronic apparatus
US9792491B1 (en) Approaches for object tracking
US20100166258A1 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US9436870B1 (en) Automatic camera selection for head tracking using exposure control
Brancati et al. Experiencing touchless interaction with augmented content on wearable head-mounted displays in cultural heritage applications
JP2012003364A (ja) 人物動作判定装置およびそのプログラム
Liu et al. Rgbd video based human hand trajectory tracking and gesture recognition system
KR102506037B1 (ko) 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템
Saboo et al. Vision based two-level hand tracking system for dynamic hand gestures in indoor environment
US9811916B1 (en) Approaches for head tracking
Thabet et al. Fast marching method and modified features fusion in enhanced dynamic hand gesture segmentation and detection method under complicated background
Iannizzotto et al. Hand tracking for human-computer interaction with graylevel visualglove: turning back to the simple way
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
Ueng et al. Vision based multi-user human computer interaction
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Brancati et al. Robust fingertip detection in egocentric vision under varying illumination conditions
CN108255298B (zh) 一种投影交互系统中的红外手势识别方法及设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant