KR20080041051A - 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치 - Google Patents

관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치 Download PDF

Info

Publication number
KR20080041051A
KR20080041051A KR1020060109141A KR20060109141A KR20080041051A KR 20080041051 A KR20080041051 A KR 20080041051A KR 1020060109141 A KR1020060109141 A KR 1020060109141A KR 20060109141 A KR20060109141 A KR 20060109141A KR 20080041051 A KR20080041051 A KR 20080041051A
Authority
KR
South Korea
Prior art keywords
viewer
face
image
display
camera
Prior art date
Application number
KR1020060109141A
Other languages
English (en)
Other versions
KR100845274B1 (ko
Inventor
이호균
유인두
Original Assignee
주식회사 시공테크
(주)어플라이드 디바이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시공테크, (주)어플라이드 디바이스 filed Critical 주식회사 시공테크
Priority to KR1020060109141A priority Critical patent/KR100845274B1/ko
Publication of KR20080041051A publication Critical patent/KR20080041051A/ko
Application granted granted Critical
Publication of KR100845274B1 publication Critical patent/KR100845274B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 관람자의 시선 방향을 인식하여 그에 대한 명령을 수행함으로써 관람자가 의도하는 디스플레이 정보를 제공하도록 하는 비접촉방식을 제안하고, 또한 이러한 비접촉식방식에 의하여 터치스크린과 같은 기존의 디스플레이 방식보다 시스템의 내구성을 향상시키도록 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법 및 장치를 제공하는데 목적이 있는 것이다.
이를 위하여 본 발명은, 디스플레이 장치의 상부에 복수개의 캘리브레이션된 카메라가 구비되어 그 카메라에 의하여 디스플레이 장치에 근접한 관람자의 얼굴 영상을 획득하고, 이 얼굴 영상의 시선 방향을 인식하여 그 시선 방향에 대응되는 명령 데이터에 의하여 디스플레이되는 데이터를 결정하여 출력하도록 하는 전시 시스템이 구비되어 관람자와 전시 시스템과의 인터페이스를 행하도록 하며,
관람자 인터페이스를 위하여,
카메라에 의하여 관람자의 스크린에 대한 시선의 투사 위치를 인식하는 제 1 과정;
관람자의 시선 방향을 트랙킹하는 제 2 과정;
시선 방향이 일정 시간 동안 고정되는 경우 그 시선 방향에 대한 명령에 따른 디스플레이 데이터를 디스플레이부를 통하여 디스플레이하는 제 3 과정;으로 수행된다.

Description

관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법 및 장치{Apparatus and method for generating user-interface based on face recognition in a exhibition system}
도 1 은 본 발명에 의한 전시 시스템의 형태를 보인 도.
도 2 는 카메라 감시 영역의 예를 보인 도.
도 3 은 본 발명에 의한 전시 시스템의 인터페이스 장치를 보인 회로 블럭도.
도 4 는 본 발명에 의한 전시 시스템의 인터페이스 방법의 수행 흐름도.
도 5 는 영상인식 및 트랙킹 방법에 대한 수행 흐름도.
도 6 은 특징점 추출 상태를 설명하기 위한 도.
도 7 은 관람자 시선의 투사 위치를 확인하는 과정을 설명하기 위한 도.
<도면의 주요부분에 대한 간단한 설명>
100 : 스크린 210,220 : 카메라
300 : 관람자 400,410 : 영상처리부
420 : 영상인식부 430 : 명령데이터 저장부
440 : 프로세서 450 : 운용프로그램 저장부
460 : 디스플레이 데이터 저장부
470 : 템플릿 저장부
본 발명은 전시 공간에서 가상의 전시물이나 전시물에 관한 정보를 스크린을 통해 디스플레이할 때 관람자의 시선 방향을 인식하여 그 시선 방향을 고려하여 명령을 수행함으로써 관람자의 의도에 따라 디스플레이를 행하도록 한 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법 및 장치에 관한 것이다.
박물관, 모델 하우스, 기타 전시물을 전시하도록 하는 전시관에서 전시물 이외에 다양한 시스템을 통하여 전시물에 대한 설명이나 그래픽으로 된 정보 등을 이용자에게 제공한다.
이러한 정보는 주어진 영상 정보를 일방적으로 관람자에게 제공하기보다는 관람자의 정보 획득 요구에 따른 명령을 수행하고, 이에 따른 다양한 문자, 음성, 사진, 동영상, 그래픽 등의 정보를 선택적으로 관람자에게 제공하도록 하는 관람자 인터페이스 시스템을 사용한다.
예를 들면, 키오스크 형태를 들 수 있는데, 전시물의 근처에 구비되어 해당 전시물의 정보와 가상현실에서 전시물을 좀 더 자세히 관찰할 수 있도록 하는 시스템이 될 수 있으며, 전시물에 대한 정보뿐만이 아니라 전시공간의 동선, 시설물의 위치 등의 정보도 제공할 수 있다.
또한, 이러한 키오스크를 통해 관람자로부터 의도하는 명령을 인가받는 경우 별도의 조작키를 이용할 수 있지만, 바람직하게는 키오스크의 화면을 터치스크린으로 하고, 관람자에 의해 터치가 발생하는 경우 그 터치되는 위치에서의 명령을 수행하도록 하는 방법이 일반적이다.
통상의 키오스크의 터치스크린은 15인치에서 17인치 정도의 소형 스크린을 구비하고 있어서, 그 스크린 크기의 한계로 인하여 전시물이나 전시 공간의 정보를 관람자에게 충분히 전달하지 못하는 경우가 많다.
즉, 자세히 표현하여야 할 정보도 스크린의 한계 때문에 축소하여 디스플레이하여야 하고, 터치스크린에 부착된 터치 필름에 의하여 밝기나 선명도가 저하되어 양질의 화면을 제공할 수 없음과 아울러 고해상도의 화면을 관람자에게 제공할 수 없는 문제점이 있다.
또한, 소형의 화면으로 인하여 다수의 관람자에게 정보를 전달하기 보다는 키오스크에 아주 가까이 위치하는 한사람 또는 극히 소수의 관람자에게만 정보를 제공할 수 있는 불합리성이 뒤따른다.
이러한 문제점을 극복하기 위해, LCD, PDP, 프로젝터와 같은 대형 플랫 판넬을 사용하는 디스플레이 장치를 이용하여 소형의 화면에서는 구현하기가 힘든 디스 플레이 정보를 제공하도록 한다.
그러므로, 대형의 화면을 통하여 대형의 시원스러운 영상 정보를 제공받을 수 있어서 정보 습득에도 도움을 줄 수 있고, 또한 대형 화면을 통하여 다양한 정보를 동시에 제공하도록 할 수 있다.
예를 들면, 대형의 화면을 통하여 일정한 영역에 사진 및 동영상 정보를 디스플레이하고, 남은 영역에는 문자 또는 다양한 그래픽 정보를 동시에 디스플레이하도록 함으로써 한사람의 관람자뿐만 아니라 주변의 다른 관람자에게도 정보를 동시에 제공할 수 있는 장점이 있다.
그런데, 이러한 디스플레이 장치는 관람자가 그 장치에 근접한 위치에서 터치스크린을 터치하거나 별도로 구비된 버튼을 이용하여 명령을 입력하게 되는데, 대형 디스플레이 장치의 경우 화면의 크기 때문에 그 디스플레이로부터 일정 거리 이격된 위치에서 관람자가 관람을 행해야 하고, 명령을 입력하기 위해서는 빈번하게 터치스크린이나 버튼이 구비된 위치로 이동하여야 하는 불편함이 뒤따른다.
또한, 관람자가 손을 이용하여 접촉식으로 명령을 입력하여야 하므로 빈번한 접촉에 의하여 터치 필름에 손상을 가져오며, 이로 인한 내구성의 저하, 교체 비용과 유지보수 비용이 증가하는 문제점이 발생한다.
본 발명은 이러한 문제점을 해소하기 위하여, 관람자의 시선 방향을 인식하 여 그에 대한 명령을 수행함으로써 관람자가 의도하는 디스플레이 정보를 제공하도록 하는 비접촉방식을 제안하고, 또한 이러한 비접촉식방식에 의하여 터치스크린과 같은 기존의 디스플레이 방식보다 시스템의 내구성을 향상시키도록 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법 및 장치를 제공하는데 목적이 있는 것이다.
이에 따라 본 발명의 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 장치는,
전시물 등의 다양한 정보를 디스플레이하도록 하는 디스플레이부;
관람자의 얼굴 전면을 촬영하는 위치에 설치되어 관람자의 시선 방향을 촬영하는 카메라;
상기 카메라에 의해 획득된 영상을 디지털 신호로 변환시키는 영상 처리부;
디지털 신호로 변환된 영상으로부터 관람자의 얼굴 형태와 그 얼굴로부터 시선 방향을 인식하여 시선 방향에 따른 명령 데이터를 출력하는 영상 인식부;
상기 영상 인식부에 의하여 인식된 시선 방향에 따른 명령 데이터를 저장하는 명령 데이터 저장부;
상기 명령 데이터를 인가받아 출력 디스플레이 데이터를 제어하는 프로세서;
상기 프로세서의 제어를 받아 해당 디스플레이 데이터를 선택하여 디스플레이부로 출력하는 디스플레이 데이터 저장부;로 구성된다.
카메라는 캘리브레이션 되어 복수개 설치되며, 영상인식부는 복수개의 카메라 중 하나의 카메라로부터 획득되는 얼굴 영상을 기준으로 하고, 또 다른 카메라로부터 획득된 관람자의 얼굴 영상과의 템플릿 매칭에 의하여 상관도가 근사하면 ID를 부여하도록 동작한다.
또한, 영상인식부는 다수의 관람자의 얼굴 영상에 각자 별도의 ID를 부여하여 협업이 가능토록 한다.
한편, 본 발명의 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법은,
디스플레이 장치의 상부에 복수개의 캘리브레이션된 카메라가 구비되어 그 카메라에 의하여 디스플레이 장치에 근접한 관람자의 얼굴 영상을 획득하고, 이 얼굴 영상의 시선 방향을 인식하여 그 시선 방향에 대응되는 명령 데이터에 의하여 디스플레이되는 데이터를 결정하여 출력하도록 하는 전시 시스템이 구비되어 관람자와 전시 시스템과의 인터페이스를 행하도록 하며,
관람자 인터페이스를 위하여,
카메라에 의하여 관람자의 스크린에 대한 시선의 투사 위치를 인식하는 제 1 과정;
관람자의 시선 방향을 트랙킹하는 제 2 과정;
시선 방향이 일정 시간 동안 고정되는 경우 그 시선 방향에 대한 명령에 따른 디스플레이 데이터를 디스플레이부를 통하여 디스플레이하는 제 3 과정;으로 수 행된다.
또한, 제 1 과정은,
복수개의 캘리브레이션된 카메라 중 하나의 카메라로부터 획득되는 얼굴 영상을 기준으로 하여 또 다른 카메라로부터 획득된 관람자의 얼굴 영상과의 템플릿 매칭에 의하여 상관도를 계산하는 제 1 단계;
상관도가 근사하는 경우 해당 얼굴 영상에 ID를 부여하는 제 2 단계;
캘리브레이션된 카메라의 좌표와 방향으로부터 ID가 부여된 얼굴까지의 삼각 측량을 통하여 절대 좌표를 계산하는 제 3 단계;
계산된 절대 좌표에 의하여 얼굴의 방향을 계산하고, 그 얼굴의 방향으로부터 스크린 상의 시선의 투사 위치를 판단하는 제 4 단계;로 이루어지며,
템플릿 매칭은 획득된 얼굴 영상으로부터 특징점을 분리하고, 이 특징점에 의하여 돌출 포인트를 도출하여 투사점 뭉치를 생성한 다음 이의 상관도를 계산하는 것을 특징으로 한다.
이와 같이 구성된 본 발명을 첨부한 도면을 참조하여 상세히 설명한다.
도 1 은 본 발명에 의한 전시 시스템의 형태를 보인 도이고, 도 2 는 카메라 감시 영역의 예를 보인 도이며, 도 3 은 본 발명에 의한 전시 시스템의 인터페이스 장치를 보인 회로 블럭도이다.
그리고, 도 4 는 본 발명에 의한 전시 시스템의 인터페이스 방법의 수행 흐 름도이고, 도 5 는 영상인식 방법에 대한 수행 흐름도이며, 도 7 은 특징점 추출 상태를 설명하기 위한 도이다. 도 8 은 관람자 시선의 투사 위치를 확인하는 과정을 설명하기 위한 도이다.
본 발명의 전시 시스템은 도 1에서와 같이 벽면에 대형의 디스플레이부(100)가 위치하고, 그 디스플레이부(100)의 상부 양측에 관람자의 얼굴을 촬영하기 위한 복수개의 카메라(210,220)가 구비된다.
관람자의 얼굴 영상을 촬영하여 그 얼굴의 전면이 향하는 방향을 트랙킹하기 위해서는 두개의 캘리브레이션된 스테레오 카메라(210,220)에 의하여 공간의 절대 좌표를 파악할 수 있어서 관람자의 시선 방향을 쉽게 추출하여 인식할 수 있다.
즉, 카메라(210)로 촬영되어 인식된 얼굴 영상을 기준으로 하여 또 다른 카메라(220)에서 얼굴 영상을 획득하여 에피폴라 지오메트리(Epipolar Geometry)에 의한 좌표 변환으로 시선 방향을 추출할 수 있는 것이다.
상기 디스플레이부(100)는 다양한 형태의 디스플레이 장치를 사용할 수 있는데, LCD, PDP, 프로젝션 텔레비전, 리어 프로젝터 스크린 등의 형태를 구애받지 않는다.
물론 곡면의 디스플레이 장치를 사용할 수 도 있다.
상기 디스플레이부(100)의 상부 좌우 양측에는 두 대의 스테레오 카메라(210,220)가 구비되는데, 이는 상기에서도 설명한 바와 같이 관람자의 시선 방향을 트랙킹하기 위함이다.
즉 도 2에 도시한 바와 같이, 관람자의 전면부 좌우 양측에서 두 대의 캘리 브레이션 된 카메라(210,220)가 관람자의 얼굴을 촬영하도록 설치되어 있어서, 이 좌우 카메라(210,220)로부터 획득된 영상을 영상인식부(420)에서 인식하여 관람자의 얼굴 방향을 산출할 수 있다.
얼굴 방향 인식 즉, 시선 방향의 인식을 예를 들어 설명하면, 좌측 카메라(210)로부터 촬영되어진 관람자의 얼굴로부터 눈, 코, 입 등의 특징을 추출한 다음 그 눈, 코, 입을 잇는 선에 의하여 투사점 뭉치(locus)를 생성하고, 그 투사점 뭉치의 면적과 방향을 고려함으로써 사용자 시선의 변이를 추적할 수 있어서 스크린(100)상의 시선이 투사되는 위치를 추적할 수 있는 것이다.
이러한 시선의 방향에 대한 추적 결과는 컴퓨터의 마우스나 조이스틱에서 사용하는 신호 체계 즉, 클릭, 드래그 등의 명령으로 변환할 수 있을 것이다.
또한, 시선 방향뿐만 아니라 시선이 투사되는 위치에서의 명령을 위하여 눈, 입 등의 제스쳐에 의하여 클릭 등을 행할 수 있는데, 예를 들면 눈을 깜빡이는 경우 클릭 명령으로 간주하며, 이는 영상인식부(420)에서 템플릿 저장부(470)에 저장된 템플릿과의 매칭에 의하여 제스쳐에 대한 명령을 인식할 수 있을 것이다.
초기에 프로세서(440)는 운용프로그램 저장부(450)에 저장된 운용 프로그램에 의하여 동작하여 디스플레이 데이터 저장부(460)에 저장된 초기 디스플레이 데이터를 디스플레이부(100)를 통해 출력하게 된다.
이러한 디스플레이 데이터는, 사진, 동영상, 그래픽 영상, 음성 등의 다양한 전시 정보가 될 수 있다.
이때, 디스플레이부(100)의 상부에 위치하는 스테레오 카메라(210,220)로부 터 획득된 영상이 영상 처리부(400,410)를 통하여 디지털 신호로 변환되어 영상 인식부(420)로 제공된다.
상기 영상 인식부(420)는 입력되는 두개의 얼굴 영상으로부터 관람자의 얼굴 영상을 추출함으로써 해당 관람자의 얼굴에 ID를 부여하게 된다.
이를 위하여, 영상 인식부(420)는 좌측 카메라(210)로부터 획득된 영상을 기준으로 하여 우측 카메라(220)로부터 획득된 얼굴 영상과의 템플릿 매칭을 통하여 동일한 얼굴의 영상인지를 확인하게 된다.
템플릿 매칭의 경우 좌측 및 우측 카메라(210,220)로부터 획득된 얼굴영상으로부터 각각 눈, 코, 입 등의 특징점을 분리한 다음, 이 분리된 특징점을 비교가 용이하게 정렬시키게 된다.
이 정렬된 특징점에 의하여 옵티컬 플로우(optical flow)를 계산함으써 도 6과 같이 돌출 포인트(salient point)(A,B,C)을 도출하게 되는데, 이는 예를 들면 눈(A,B)과 코(C)를 잇는 선에 의하여 투사점 뭉치를 생성할 수 있는 것이다.
즉, 좌측 및 우측 카메라(210,220)로부터 획득된 각각의 얼굴 영상으로부터 각각 도출된 돌출 포인트에 의하여 투사점 뭉치가 생성된다.
이 각 투사점 뭉치의 상관도를 계산함으로써 좌측 및 우측 카메라(210,220)로 획득된 얼굴 영상이 동일한 것인지를 템플릿 매칭에 의하여 확인하게 되는데, 예를 들어 좌측 카메라(210)로부터 인식된 투사점 뭉치와 우측 카메라(210)로부터 획득된 투사점 뭉치와의 상관도를 계산하여 동일한 얼굴인지를 확인하게 되며, 이때 확인되는 기준은 돌출 포인트(A,B,C) 사이의 거리, 돌출 포인트가 형성하는 투 사점 뭉치의 면적 및 방향 등을 고려하여 상관도를 계산할 수 있을 것이다.
또한, 그 투사점 뭉치에 의하여 관람자의 얼굴 방향에 따른 시선의 방향을 확인하기 위하여 캘리브레이션된 좌측 및 우측 카메라(210,220)의 좌표와 방향으로부터 투사점 뭉치와의 삼각 측량을 통하여 절대 좌표를 계산함으로써 이 절대 좌표를 통하여 얼굴의 방향 즉 시선 방향을 계산할 수 있으며, 이에 따라 도 7에서와 같이 관람자의 시선 방향에 따른 스크린(100)의 투사 위치(P1)(P2)를 확인할 수 있는 것이다.
영상인식부(420)는 이렇게 추출된 얼굴영상에 대하여 ID를 부여하게 되는데, 만일 복수의 관람자에 대한 얼굴영상과 시선방향이 추출된 경우 각각의 얼굴영상에 대하여 ID를 부여함으로써 협업(協業)이 가능한 시스템을 구현할 수 있다.
영상 인식부(420)는 이러한 투사점 뭉치의 변이를 추적함으로써 트랙킹을 행하게 되는데, 트랙킹 도중에 관람자의 얼굴 방향이 일정 시간 동안 변화하지 않는 위치가 인식되면, 이는 곧 관람자가 디스플레이되는 영상을 보면서 그 시선 방향에서 어떠한 의도를 행하고자 하는 경우이며, 예를 들면 마우스의 클릭(Click)과 같은 명령이 될 수 있을 것이다.
따라서, 그 시선 방향에서의 관람자 의도에 따른 명령을 수행하여야 하는데, 이를 위해 명령 데이터 저장부(430)에는 디스플레이되는 화면의 특정 위치에서의 명령 데이터가 테이블화되어 있어서, 영상인식부(420)는 관람자의 시선 방향에 해당하는 특정 위치에서의 명령 데이터를 읽어 들여 프로세서(440)로 제공한다.
따라서, 프로세서(440)는 그 명령 데이터를 받아들여 운용 프로그램 저장 부(450)에 저장된 운용 프로그램에 의하여 그 명령 데이터를 수행함으로써 디스플레이 데이터 저장부(460)에 저장된 적절한 영상 데이터를 디스플레이부(200)로 출력할 수 있도록 제어하게 되는 것이다.
한편, 영상인식부(420)에서 얼굴영상이 감지되지 않는 경우 프로세서(440)는 디스플레이 저장부(460)의 출력을 제한함으로써 휴면 모드를 수행하게 된다.
이상에서 설명한 바와 같이, 본 발명은 다음과 같은 효과를 가진다.
첫 번째, 관람자의 시선 방향을 인식하여 그에 대한 명령을 수행함으로써 해당 디스플레이 정보를 제공하도록 하는 비접촉방식을 제안하여 터치스크린과 같은 기존의 전시 정보를 제공하는 접촉식 시스템보다 내구성이 뛰어나서 유지보수 비용이 저렴하고, 또한 제조비용이 저렴하다.
두 번째, 사용자가 직접 손동작 등에 의하여 명령 데이터를 입력하지 않아도 사용자의 의도를 파악하여 그에 따른 전시 정보를 제공할 수 있다.

Claims (7)

  1. 전시물 등의 다양한 정보를 디스플레이하도록 하는 디스플레이부;
    관람자의 얼굴 전면을 촬영하는 위치에 설치되어 관람자의 시선 방향을 촬영하는 카메라;
    상기 카메라에 의해 획득된 영상을 디지털 신호로 변환시키는 영상 처리부;
    디지털 신호로 변환된 영상으로부터 관람자의 얼굴 형태와 그 얼굴로부터 시선 방향을 인식하여 시선 방향에 따른 명령 데이터를 출력하는 영상 인식부;
    상기 영상 인식부에 의하여 인식된 시선 방향에 따른 명령 데이터를 저장하는 명령 데이터 저장부;
    상기 명령 데이터를 인가받아 출력 디스플레이 데이터를 제어하는 프로세서;
    상기 프로세서의 제어를 받아 해당 디스플레이 데이터를 선택하여 디스플레이부로 출력하는 디스플레이 데이터 저장부;로 구성된 것을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 장치.
  2. 제 1 항에 있어서, 카메라는 캘리브레이션 되어 복수개 설치된 것을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 영상인식부는 복수개의 카메라 중 하나의 카메라로부터 획득되는 얼굴 영상을 기준으로 하고, 또 다른 카메라로부터 획득된 관람자의 얼굴 영상과의 템플릿 매칭에 의하여 상관도가 근사하면 ID를 부여하는 것을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 장치.
  4. 제 1 항에 있어서, 영상인식부는 다수의 관람자의 얼굴 영상에 각자 별도의 ID를 부여하여 협업이 가능토록 한 것을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 장치.
  5. 디스플레이 장치의 상부에 복수개의 캘리브레이션된 카메라가 구비되어 그 카메라에 의하여 디스플레이 장치에 근접한 관람자의 얼굴 영상을 획득하고, 이 얼굴 영상의 시선 방향을 인식하여 그 시선 방향에 대응되는 명령 데이터에 의하여 디스플레이되는 데이터를 결정하여 출력하도록 하는 전시 시스템이 구비되어 관람자와 전시 시스템과의 인터페이스를 행하도록 하며,
    관람자 인터페이스를 위하여,
    카메라에 의하여 관람자의 스크린에 대한 시선의 투사 위치를 인식하는 제 1 과정;
    관람자의 시선 방향을 트랙킹하는 제 2 과정;
    시선 방향이 일정 시간 동안 고정되는 경우 그 시선 방향에 대한 명령에 따른 디스플레이 데이터를 디스플레이부를 통하여 디스플레이하는 제 3 과정;으로 수행되는 것을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법.
  6. 제 5 항에 있어서, 제 1 과정은,
    복수개의 캘리브레이션된 카메라 중 하나의 카메라로부터 획득되는 얼굴 영상을 기준으로 하여 또 다른 카메라로부터 획득된 관람자의 얼굴 영상과의 템플릿 매칭에 의하여 상관도를 계산하는 제 1 단계;
    상관도가 근사하는 경우 해당 얼굴 영상에 ID를 부여하는 제 2 단계;
    캘리브레이션된 카메라의 좌표와 방향으로부터 ID가 부여된 얼굴까지의 삼각 측량을 통하여 절대 좌표를 계산하는 제 3 단계;
    계산된 절대 좌표에 의하여 얼굴의 방향을 계산하고, 그 얼굴의 방향으로부터 스크린 상의 시선의 투사 위치를 판단하는 제 4 단계;로 이루어짐을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법.
  7. 제 6 항에 있어서, 템플릿 매칭은 획득된 얼굴 영상으로부터 특징점을 분리하고, 이 특징점에 의하여 돌출 포인트를 도출하여 투사점 뭉치를 생성한 다음 이 의 상관도를 계산하는 것을 특징으로 하는 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스 방법.
KR1020060109141A 2006-11-06 2006-11-06 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치 KR100845274B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060109141A KR100845274B1 (ko) 2006-11-06 2006-11-06 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060109141A KR100845274B1 (ko) 2006-11-06 2006-11-06 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080041051A true KR20080041051A (ko) 2008-05-09
KR100845274B1 KR100845274B1 (ko) 2008-07-09

Family

ID=39648444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060109141A KR100845274B1 (ko) 2006-11-06 2006-11-06 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치

Country Status (1)

Country Link
KR (1) KR100845274B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038323B1 (ko) * 2009-09-24 2011-06-01 주식회사 팬택 영상인식기법을 이용한 화면 프레임 제어장치
KR101230265B1 (ko) * 2010-03-29 2013-02-06 에스케이플래닛 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
US8760493B2 (en) 2010-12-06 2014-06-24 Electronics And Telecommunications Research Institute Video displaying apparatus and controlling method thereof
CN114630098A (zh) * 2020-12-10 2022-06-14 财团法人工业技术研究院 可调整投影位置的资料呈现方法及其系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101190554B1 (ko) * 2012-01-03 2012-10-16 주식회사 시공테크 쇼케이스

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JPH1091325A (ja) 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
KR100325365B1 (ko) * 1999-02-23 2002-03-04 김재희 응시위치 추적시스템
AU1458900A (en) * 1999-10-29 2001-05-14 Microvision, Inc. Personal display with vision tracking
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
KR100491432B1 (ko) * 2002-11-06 2005-05-25 주식회사 유씨티코리아 멀티모달 사용자 인터페이스를 이용한 대화형 전시시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038323B1 (ko) * 2009-09-24 2011-06-01 주식회사 팬택 영상인식기법을 이용한 화면 프레임 제어장치
US8587710B2 (en) 2009-09-24 2013-11-19 Pantech Co., Ltd. Apparatus and method for controlling picture using image recognition
KR101230265B1 (ko) * 2010-03-29 2013-02-06 에스케이플래닛 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
US8760493B2 (en) 2010-12-06 2014-06-24 Electronics And Telecommunications Research Institute Video displaying apparatus and controlling method thereof
CN114630098A (zh) * 2020-12-10 2022-06-14 财团法人工业技术研究院 可调整投影位置的资料呈现方法及其系统
CN114630098B (zh) * 2020-12-10 2023-10-20 财团法人工业技术研究院 可调整投影位置的资料呈现方法及其系统

Also Published As

Publication number Publication date
KR100845274B1 (ko) 2008-07-09

Similar Documents

Publication Publication Date Title
US10001844B2 (en) Information processing apparatus information processing method and storage medium
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
US20190199997A1 (en) Image processing apparatus, image generating method, and storage medium
US7468742B2 (en) Interactive presentation system
JP4878083B2 (ja) 画像合成装置及び方法、プログラム
US20130135295A1 (en) Method and system for a augmented reality
US9848184B2 (en) Stereoscopic display system using light field type data
US9081430B2 (en) Pointing control device, integrated circuit thereof and pointing control method
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
US11367260B2 (en) Video synthesis device, video synthesis method and recording medium
US11625858B2 (en) Video synthesis device, video synthesis method and recording medium
JP2012238293A (ja) 入力装置
JP2009278456A (ja) 映像表示装置
US10600218B2 (en) Display control system, display control apparatus, display control method, and storage medium
KR100845274B1 (ko) 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
CN111527468A (zh) 一种隔空交互方法、装置和设备
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2018156368A (ja) 電子情報ボードシステム、画像処理装置、及びプログラム
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
WO2011096571A1 (ja) 入力装置
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
JP2006302029A (ja) 表示装置制御プログラム、表示装置制御方法、表示装置
JP2009244949A (ja) 操作対象の切替装置
US11483470B2 (en) Control apparatus, control method, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee