KR20150031986A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20150031986A
KR20150031986A KR20130111921A KR20130111921A KR20150031986A KR 20150031986 A KR20150031986 A KR 20150031986A KR 20130111921 A KR20130111921 A KR 20130111921A KR 20130111921 A KR20130111921 A KR 20130111921A KR 20150031986 A KR20150031986 A KR 20150031986A
Authority
KR
South Korea
Prior art keywords
user
information
touch
touch input
image
Prior art date
Application number
KR20130111921A
Other languages
English (en)
Inventor
한재룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130111921A priority Critical patent/KR20150031986A/ko
Priority to US14/337,801 priority patent/US20150077357A1/en
Publication of KR20150031986A publication Critical patent/KR20150031986A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 디스플레이장치는, 영상을 표시하는 디스플레이부와; 사용자로부터 복수의 터치입력을 수신하는 터치감지부와; 영상을 수신하는 영상입력부와; 터치감지부로부터 수신된 터치입력 정보와 영상입력부로부터 수신된 사용자의 시선정보를 이용하여, 수신된 복수의 터치입력에 대응하는 동작을 수행하는 제어부를 포함한다. 이에 의하여, 복수의 터치입력에 대하여 안구방향을 이용하여 사용자를 식별함으로써 멀티유저에 의한 멀티터치 디스플레이장치를 구현하고, 사용자별로 터치입력에 의한 인터랙션이 가능하다.

Description

디스플레이장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 사용자로부터 수신된 복수의 터치입력을 감지하는 디스플레이장치 및 그 제어방법에 관한 것이다.
디스플레이장치는 외부로부터 수신되거나 또는 자체적으로 생성하는 영상신호에 기초한 영상을 표시한다. 디스플레이장치는 영상이 표시되는 디스플레이 패널을 구비하며, 사용자 입력을 위한 다양한 종류의 장치가 조합될 수 있다. 예를 들어, 디스플레이장치는 사용자입력부로 마련된 다양한 입력장치를 통해 각종 커맨드를 전송받아 그에 대응하는 동작을 수행한다.
사용자입력부는 터치감지부가 마련된 리모트 컨트롤러, 터치스크린, 터치패드 등을 포함할 수 있으며, 사용자는 디스플레이장치의 화면을 보면서 터치감지부를 조작하여 사용자 입력을 할 수 있다.
최근에는 터치감지부가 싱글 터치뿐 아니라 멀티 터치 즉, 복수의 터치입력을 감지하도록 구현되며, 멀티 유저에 의한 멀티 터치를 지원 가능하도록 그 응용분야가 점차로 확대되고 있다.
그런데, 통상적으로 터치감지부의 동작은 사용자를 구별하지 않고, 단일 사용자를 바탕으로 구현된 기술에 기반한다. 즉, 디스플레이장치는 터치감지부에 대한 터치입력의 개수, 이동방향, 속도 등을 활용하여 산출된 정보를 바탕으로 사용자의 터치입력을 감지한다.
따라서, 단일 사용자가 아닌 복수의 사용자 즉, 멀티 유저 환경에서는 복수의 사용자 각각에 대응하는 복수의 터치입력을 구별하지 못하기 때문에, 동작에 오류가 발생할 수 있다.
이러한 문제점을 해결하기 위해, 터치감지부의 입력영역을 사용자 별로 구분하거나, 사용자를 먼저 선택하고 터치입력을 하는 등의 시도가 있어왔지만, 이는 추가적인 조작을 필요로 하므로 사용자의 불편을 초래할 수 있으며, 인접 또는 동일한 영역에서 동시에 서로 다른 사용자의 터치입력이 발생하는 경우 적용하기 어려운 문제점이 있다.
본 발명 일실시예에 따른 디스플레이장치는, 영상을 표시하는 디스플레이부와; 사용자로부터 복수의 터치입력을 수신하는 터치감지부와; 영상을 수신하는 영상입력부와; 터치감지부로부터 수신된 터치입력 정보와 영상입력부로부터 수신된 사용자의 시선정보를 이용하여, 수신된 복수의 터치입력에 대응하는 동작을 수행하는 제어부를 포함할 수 있다.
시선정보는 얼굴방향 정보와, 안구방향 정보 중 적어도 하나를 포함할 수 있다.
제어부는 복수의 터치입력 각각에 대하여 얼굴방향 또는 안구방향에 대응하는 위치의 터치입력이 존재하는지 판단하고, 판단결과에 기초하여 복수의 터치입력 각각에 대응하는 사용자를 식별할 수 있다.
얼굴방향 또는 안구방향을 결정하는 매칭 테이블이 저장된 저장부를 더 포함하고, 제어부는 영상입력부로 수신된 사용자 영상으로부터 정보를 획득하고, 획득된 정보에 매칭된 안구방향을 매칭 테이블로부터 로드하여, 사용자의 시선방향을 결정할 수 있다.
시선정보가 안구방향 정보인 경우, 제어부는 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 정보를 획득하고, 획득된 길이 정보에 매칭된 안구방향을 매칭 테이블로부터 로드하여, 사용자의 안구방향을 결정할 수 있다.
매칭 테이블에는 사용자의 시선방향이 오른쪽, 왼쪽, 위, 아래, 가운데, 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래로 구분하여 저장될 수 있다.
시선정보가 얼굴방향 정보인 경우, 제어부는 영상입력부를 통해 입력된 사용자 영상의 얼굴의 수평 위치, 수직 위치 및 회전각도 중 적어도 하나를 이용하여 사용자의 얼굴방향을 결정할 수 있다.
저장부는 사용자의 얼굴방향 또는 안구방향 매칭 히스토리를 더 저장할 수 있다.
제어부는 복수의 터치입력 중 터치입력 위치와 시선정보에 대응하는 사용자의 시선방향이 일치하는 터치입력을 유효 터치입력으로 결정할 수 있다.
제어부는 유효 터치입력의 종류를 식별하고, 식별 결과에 대응하는 동작을 수행하고, 동작 수행 결과에 대응하는 영상을 표시하도록 디스플레이부를 제어할 수 있다.
유효 터치입력은 제1오브젝트에 대한 제1터치입력과, 제2오브젝트에 대한 제2터치입력을 포함하며, 제어부는 제1오브젝트에 대해 제1터치입력에 대응하는 동작을 수행하고, 제2오브젝트에 대해 제2터치입력에 대응하는 동작을 수행할 수 있다.
한편, 본 발명 일실시예에 따른 디스플레이장치의 제어방법은, 사용자로부터 복수의 터치입력을 수신하는 단계와; 사용자의 시선정보를 수신하는 단계와; 수신된 터치입력 정보와 사용자의 시선정보를 이용하여, 수신된 복수의 터치입력에 대응하는 동작을 수행하는 단계를 포함할 수 있다.
시선정보는 얼굴방향 정보와, 안구방향 정보 중 적어도 하나를 포함할 수 있다.
복수의 터치입력 각각에 대하여 얼굴방향 또는 안구방향에 대응하는 위치의 터치입력이 존재하는지 판단하는 단계와; 판단결과에 기초하여 복수의 터치입력 각각에 대응하는 사용자를 식별하는 단계를 더 포함할 수 있다.
얼굴방향 또는 안구방향을 결정하는 매칭 테이블을 저장하는 단계를 더 포함하며, 터치입력이 존재하는지 판단하는 단계는, 사용자 영상으로부터 정보를 획득하는 단계와; 획득된 정보에 매칭된 얼굴방향 또는 안구방향을 매칭 테이블로부터 로드하여, 사용자의 안구방향을 결정하는 단계를 포함할 수 있다.
시선정보가 안구방향 정보인 경우, 정보를 획득하는 단계는 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 정보를 획득하며, 시선방향을 결정하는 단계는 획득된 길이 정보에 매칭된 안구방향을 매칭 테이블로부터 로드하여, 사용자의 안구방향을 결정할 수 있다.
매칭 테이블에는 사용자의 시선방향이 오른쪽, 왼쪽, 위, 아래, 가운데, 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래로 구분하여 저장될 수 있다.
시선정보가 얼굴방향 정보인 경우, 안구방향을 결정하는 단계는, 사용자 영상의 얼굴의 수평 위치, 수직 위치 및 회전각도 중 적어도 하나를 이용하여 사용자의 얼굴방향을 결정할 수 있다.
사용자의 얼굴방향 또는 안구방향 매칭 히스토리를 저장하는 단계를 더 포함할 수 있다.
복수의 터치입력 중 터치입력 위치와 시선정보에 대응하는 사용자의 시선방향이 일치하는 터치입력을 유효 터치입력으로 결정하는 단계를 더 포함할 수 있다.
유효 터치입력의 종류를 식별하는 단계와; 식별 결과에 대응하는 동작을 수행하는 단계와; 동작 수행 결과에 대응하는 영상을 표시하는 단계를 더 포함할 수 있다.
유효 터치입력은 제1오브젝트에 대한 제1터치입력과, 제2오브젝트에 대한 제2터치입력을 포함하며, 식별결과에 대응하는 동작을 수행하는 단계는, 제1오브젝트에 대해 제1터치입력에 대응하는 동작을 수행하고, 제2오브젝트에 대해 제2터치입력에 대응하는 동작을 수행할 수 있다.
도 1은 도 1은 본 발명의 실시예에 따른 디스플레이장치의 구성을 도시한 불록도이며,
도 2는 본 발명 실시예의 디스플레이장치에서 감지되는 사용자 터치입력의 예를 도시한 도면이며,
도 3은 본 발명 실시예의 디스플레이장치에 저장된 매칭 테이블의 예를 도시한 도면이며,
도 4는 본 발명 실시예에 의한 디스플레이장치에서 복수의 터치입력의 사용자를 식별하는 과정을 설명하기 위한 도면이며,
도 5는 도 4의 과정을 통해 복수의 터치입력에 대하여 사용자를 식별하는 일례를 도시한 도면이며,
도 6은 본 발명 실시예에 의한 디스플레이장치의 제어방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 관하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 디스플레이장치(100)의 구성을 도시한 불록도이다.
본 실시예에 따른 디스플레이장치(100)는 영상신호를 기 설정된 프로세스에 따라서 처리하여 영상으로 표시한다. 본 실시예는, 디스플레이장치(100)가 방송국의 송출장비로부터 수신되는 방송신호/방송정보/방송데이터에 기초한 방송 영상을 표시하는 TV로 구현된 경우에 관한 것이다. 그러나, 디스플레이장치(100)는 표시 가능한 영상의 종류가 방송 영상에 한정되지 않는 바, 예를 들면 디스플레이장치(100)는 다양한 형식의 영상공급원(미도시)으로부터 수신되는 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 사용자 인터페이스(UI: user interface, 이하, GUI(graphic user interface) 라고도 함) 등의 영상을 표시할 수 있다.
본 발명의 사상은 본 실시예와 상이한 디스플레이장치, 예를 들면 디스플레이장치(100)가 컴퓨터 본체에 접속된 모니터, 전자칠판(IWB: Interactive Whiteboard)이나 테이블 탑(Table Top) 디스플레이와 같은 대형 디스플레이, 태블릿 PC이나 스마트 폰과 같은 휴대장치, 복수의 디스플레이장치를 이용하는 디지털 간판(Digital Signage)이나, LFD(Large Format Display) 등인 경우에도 적용될 수 있다. 즉, 이하 설명할 실시예는 시스템의 구현 방식에 따라서 다양하게 변경 적용되는 하나의 예시에 불과할 뿐인 바, 본 발명의 사상을 한정하는 사항이 아님을 밝힌다.
이하, 디스플레이장치(100)의 구체적인 구성에 관해 설명한다.
도 1에 도시된 바와 같이, 디스플레이장치(100)는 외부로부터 수신된 영상신호를 처리하는 영상처리부(110)와, 영상처리부(110)에 의해 처리되는 영상신호를 영상으로 표시하는 디스플레이부(120)와, 사용자의 입력을 수신하는 사용자입력부(130)와, 영상을 입력받는 영상입력부(140)와, 각종 데이터가 저장되는 저장부(150)와, 외부와 유무선 통신을 수행하는 통신부(160)와, 디스플레이장치(100)를 제어하는 제어부(170)를 포함한다.
영상처리부(110)는 영상신호에 대해 기 설정된 다양한 영상처리 프로세스를 수행한다. 영상처리부(110)는 이러한 프로세스를 수행한 영상신호를 디스플레이부(120)에 출력함으로써, 디스플레이부(120)에 영상이 표시되게 한다.
이를 위해, 영상처리부(110)는 외부로부터 영상신호를 수신하는 영상수신부를 포함할 수 있다. 수신하는 영상신호의 규격 및 디스플레이장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 영상처리부(110)는 방송국(미도시)으로부터 송출되는 RF(radio frequency)신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 영상처리부(110)는 영상신호가 방송신호인 경우, 이 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 포함한다.
또한, 영상신호는 외부기기로부터 입력될 수 있으며, 예컨대, 영상신호는 PC, AV기기, 스마트폰, 스마트패드 등과 같은 외부기기로부터 입력될 수 있다. 또한, 영상신호는 인터넷 등과 같은 네트워크를 통해 수신되는 데이터로부터 기인한 것일 수 있다. 이 경우, 디스플레이장치(100)는, 통신부(160)를 통해 네트워크 통신을 수행하거나, 별도의 네트워크 통신부를 더 포함할 수 있다. 또한, 영상신호는 플래시메모리, 하드디스크 등과 같은 비휘발성의 저장부(150)에 저장된 데이터로부터 기인한 것일 수 있다. 저장부(150)는 디스플레이장치(100)의 내부 또는 외부에 마련될 수 있으며, 외부에 마련되는 경우 저장부(150)가 연결되는 연결부(미도시)를 더 포함할 수 있다.
영상처리부(110)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 다양한 영상 포맷에 대응하는 디코딩(decoding), 디인터레이싱(de-interlacing), 프레임 리프레시 레이트(frame refresh rate) 변환, 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 라인 스캐닝(line scanning) 등을 포함할 수 있다. 영상처리부(110)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 SoC(System-on-Chip)로 구현될 수 있다.
본 실시예의 영상처리부(110)는 영상입력부(140)의 이미지센서(141)를 통해 얻은 영상을 더 처리하며, 제어부(170)는 영상처리부(110)에서 처리된 영상 중 사용자의 시선정보 즉, 얼굴방향 정보와, 안구방향 정보(안구의 인지방향 정보) 중 적어도 하나를 이용하여, 후술하는 복수의 터치입력의 사용자를 식별하고, 해당 터치입력에 대응하는 동작을 수행할 수 있게 된다.
디스플레이부(120)는 영상처리부(110)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(120)의 구현 방식은 한정되지 않으며, 예컨대 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(120)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(120)가 액정 방식인 경우, 디스플레이부(120)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함한다.
본 실시예의 디스플레이부(120)는 사용자의 터치에 따른 입력이 수신되는 터치스크린(touchscreen)(121)을 포함한다. 터치스크린(121)은 사용자 인터페이스(UI)로서 디스플레이장치(100)의 메뉴항목을 포함하는 아이콘을 표시할 수 있다. 사용자는 터치스크린(121)에 표시된 아이콘을 손가락 등으로 터치하여, 사용자 입력을 할 수 있다.
사용자 입력부(130)는 사용자의 조작 및 입력에 의해, 기 설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 제어부(170)에 전달한다.
사용자 입력부(130)는 사용자의 터치입력을 수신하는 터치감지부(130)를 포함한다. 이에, 디스플레이장치(100)는 터치감지부(130)를 통해 수신되는 사용자의 터치입력 정보에 따라서 디스플레이부(120)에 표시되는 영상이 제어될 수 있다.
터치감지부(130)는 디스플레이장치(100) 본체에 마련되거나, 디스플레이장치(100)를 원격으로 제어 가능하게 기 설정된 커맨드(command)/데이터/정보/신호를 생성하여 디스플레이장치(100)에 전송하는 리모트 컨트롤러(remote controller), 키보드(keyboard) 등의 본체와 분리된 입력장치(미도시)에 마련된 터치패드(또는, 터치 인터페이스)를 포함한다. 입력장치는 디스플레이장치(100)와 무선통신이 가능한 외부장치이며, 무선통신은 적외선 통신, RF 통신, 무선랜 등을 포함한다. 입력장치는 사용자에 의해 조작됨으로써 기 설정된 커맨드를 디스플레이장치(100)에 전송한다.
또한, 터치감지부(131)는 디스플레이부(120)에 마련된 터치스크린(121)을 포함한다. 터치스크린(1 21)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치스크린(121)은 사용자의 신체(예를 들어, 손가락) 또는 별도의 포인팅 디바이스(미도시)를 통해 사용자의 터치입력을 수신할 수 있다. 포인팅 디바이스는 스타일러스, 통신부(160)로부터 수신된 제어 정보를 이용하여 내장된 펜 진동 소자(예를 들어, 진동 모터 또는 액추에이터(actuator))가 진동하는 햅틱 펜(haptic pen) 등이 있다. 사용자는 포인팅 디바이스 또는 손가락을 이용하여, 사용자의 선택이 가능하도록 터치 스크린 상에 표시되는 텍스트, 아이콘 등의 다양한 그래픽 유저 인터페이스(GUI)를 선택할 수 있다.
터치스크린(121)은 사용자에게 다양한 서비스(예를 들어, 통화, 데이터 전송, 방송, 사진촬영, 동영상, 또는 어플리케이션)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치스크린(121)은 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 제어부(170)로 전송한다.
본 발명의 실시예에서 터치는 터치스크린(121)과 사용자의 신체 또는 터치가능한 포인팅 디바이스의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(121)과 사용자의 신체 또는 터치스크린(121)과 포인팅 디바이스와의 검출가능한 간격이 30 mm 이하의 호버링(hovering))을 포함할 수 있다. 터치 스크린(121)에서 검출가능한 비접촉 간격은 디스플레이장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 2는 본 발명 실시예의 디스플레이장치(100)에서 감지되는 사용자 터치입력의 예를 도시한 도면이다.
도 2에 도시된 바와 같이, 터치감지부(131)에서 감지되는 터치입력은 이동(Move)(a), 멀티 터치를 이용한 줌 아웃(Zoom Out)(b) 및 줌 아웃(Zoom In)(c), 회전(Rotation)(d) 등을 포함한다.
여기서, 이동, 줌 인/아웃, 회전은 드래그(drag), 플릭(flick), 드래그 앤 드롭(drag & drop), 탭(tap), 롱 탭(long tap) 등에 의해 수행될 수 있다.
드래그(drag)는 사용자가 화면 내 손가락이나 포인팅 디바이스를 이용한 터치를 유지한 상태에서 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 선택된 오브젝트가 이동될 수 있다. 또한, 화면 내 오브젝트를 선택하지 않고 화면을 터치하여 드래그하는 경우, 드래그에 의해 화면이 이동하거나 다른 화면이 표시된다.
플릭(flick)은 사용자가 손가락이나 포인팅 디바이스를 이용하여 임계 속도(예를 들어, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 입력 유닛의 이동 속도 및 임계 속도(예컨대, 100 pixel/s)의 비교하여 드래그와 플릭을 구별할 수 있다.
드래그 앤 드롭(drag & drop)은 사용자가 손가락이나 포인팅 디바이스를 이용하여 선택한 오브젝트를 화면 내 다른 위치로 드래그한 후 놓는 동작을 의미한다. 드래그 앤 드롭에 의해 선택된 오브젝트는 다른 위치로 이동된다.
탭(tap)은 사용자가 손가락이나 포인팅 디바이스를 이용하여 화면을 빠르게 터치하는 동작을 나타낸다. 손가락이나 포인팅 디바이스가 화면에 닿는 시점과 터치 후 손가락이나 포인팅 디바이스가 화면에서 떨어지는 시점의 시간 차이가 매우 짧은 경우를 의미한다.
롱 탭(long tap)은 사용자가 손가락이나 포인팅 디바이스를 이용하여 소정 시간 이상 화면을 터치하는 동작을 나타낸다. 롱 탭은 손가락이나 포인팅 디바이스가 화면에 닿는 시점과 터치 후 손가락이나 포인팅 디바이스가 화면에서 떨어지는 시점의 시간 차이가 탭보다 길게 되며, 제어부(160)는 기설정된 기준시간과 터치 시간(화면에 닿는 시점과 화면에서 떨어지는 시점의 시간 차이)을 비교하여, 탭과 롱 탭을 구별할 수 있다.
본 실시예의 복수의 사용자로부터 터치감지부(131)는 상기와 같은 다양한 사용자 터치입력을 감지할 수 있으며, 제어부(170)는 감지된 복수의 터치입력 각각을 후술하는 사용자의 시선정보(이하, 시선방향 정보 라고도 한다)를 이용하여 사용자별로 구분하여 인지하게 된다.
한편, 본 발명의 사용자 입력부(130)는 터치감지부(131) 외에, 리모트 컨트롤러에 마련되어 사용자에 의한 자체 모션을 감지하는 모션감지부(미도시)와, 디스플레이장치(100) 본체 또는 본체와 분리된 입력장치에 마련된 숫자키, 메뉴키 등의 버튼을 포함하는 버튼입력부(미도시) 등을 더 포함할 수 있다. 모션감지부는 자이로센서, 각속도센서, 지자기센서를 포함할 수 있다.
영상입력부(140)는 외부로부터 영상을 입력받는 카메라(예를 들어, 웹 캠(Web Cam))로 구현된다. 영상입력부(140)는 디스플레이장치(100)의 소정 위치 예를 들어, 상부에 설치될 수 있으나, 설치 위치는 한정되지 않으며, 경우에 따라 디스플레이장치(100) 본체와 분리되어 외부에 설치될 수도 있다.
영상입력부(140)는 영상이 투과되는 렌즈(미도시) 및 렌즈를 통해 투과된 영상을 감지하는 이미지센서(141)를 포함할 수 있다. 이미지센서(141)는 CCD/CMOS 이미지 센서로 구현될 수 있다.
본 실시예의 영상입력부(140)는 복수의 사용자 영상을 입력받을 수 있으며, 입력된 사용자 영상은 영상처리부(110)에서 처리된다. 제어부(170)는 영상처리부(110)에서 처리된 영상으로부터 복수의 사용자의 시선정보(즉, 얼굴방향 정보 또는 안구방향 정보)를 추출할 수 있다. 제어부(170)는 추출된 사용자의 시선방향 정보를 이용하여 사용자의 위치를 결정하고, 이를 이용하여 복수의 사용자의 터치입력을 사용자별로 구분하여 인지하게 된다.
저장부(150)는 제어부(170)의 제어에 따라서 한정되지 않은 데이터가 저장된다. 저장부(150)는 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 저장매체로 구현된다. 저장부(150)는 제어부(170)에 의해 액세스되며, 제어부(170)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다.
저장부(150)에 저장되는 데이터는, 예를 들면 디스플레이장치(100)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
본 실시예의 저장부(150)에는 터치감지부(131)에 대한 사용자 입력을 감지하기 위한 좌표정보를 포함한 다양한 정보가 저장된다. 예를 들어, 제어부(170)는 터치감지부(131)에 대한 사용자의 터치를 감지하면, 저장부(150)에 미리 저장된 정보를 이용하여 감지된 터치 입력의 종류를 식별하고, 터치 위치에 대응하는 좌표정보(X 및 Y 좌표)를 산출하여 산출된 좌표정보를 영상처리부(110)에 전달할 수 있다. 그리고, 식별된 터치 입력의 종류 및 터치 위치에 대응하는 영상이 영상처리부(110)에 의해 디스플레이부(120)에 표시될 수 있다.
본 실시예의 저장부(150)에는 시선방향 정보를 결정하기 위한 매칭 테이블(matching table)(151)이 더 저장될 수 있다.
도 3은 본 발명 실시예의 디스플레이장치(100)에 저장된 매칭 테이블(151)의 예를 도시한 도면이다.
도 3에 도시된 바와 같이, 시선정보가 안구정보인 경우, 매칭 테이블(151)에는 사용자의 안구방향 (이하, 안구 인지방향 이라고도 한다)이 오른쪽(Right), 왼쪽(Left), 위(Up), 아래(Down), 가운데(Center), 왼쪽 위(Left Up), 오른쪽 위(Right Up), 왼쪽 아래(Left Down), 오른쪽 아래(Right Down)로 구분하여 저장될 수 있다.
본 실시예에서 안구방향 정보는 도 3과 같이 안구 외측의 상하좌우 길이(L1 내지 L8)를 이용하여 결정될 수 있다. 즉, 매칭 테이블(151)에는 L1 내지 L8 각각에 의해 정의된 안구방향이 매칭되어 저장될 수 있다. 예를 들어, L1과 L5가 기준보다 길고, L2와 L6가 기준보다 짧으며, L3, L4, L7, L8가 기준범위 내에 존재하면, 안구방향이 오른쪽(Right)으로 매칭된다. 같은 방식으로, L1과 L5가 기준보다 짧고, L2와 L6가 기준보다 길으며, L3와 L7가 기준보다 길고, L4와 L8가 기준보다 짧으면, 안구방향이 왼쪽 아래(Left Down)으로 매칭된다.
제어부(170)는 영상입력부(140)를 통해 수신된 소정 사용자 영상을 처리하도록 영상처리부(110)를 제어하고, 영상처리부(110)에서 처리된 영상으로부터 L1 내지 L8의 값을 획득한다. 제어부(170)는 획득된 L1 내지 L8에 매칭된 안구방향을 매칭 테이블(151)로부터 로드하여, 해당 사용자의 안구방향을 결정한다.
한편, 시선정보가 얼굴방향 정보인 경우, 매칭 테이블(151)에는 얼굴의 수평/수직 위치, 회전 각도에 대응하는 사용자의 얼굴방향이 오른쪽(Right), 왼쪽(Left), 위(Up), 아래(Down), 가운데(Center), 왼쪽 위(Left Up), 오른쪽 위(Right Up), 왼쪽 아래(Left Down), 오른쪽 아래(Right Down)로 구분하여 저장될 수 있다. 제어부(170)는 영상입력부(140)를 통해 수신된 사용자 영상으로부터 추출되는 얼굴의 수평 또는 수직 위치, 회전 각도 정보를 이용하여, 얼굴방향을 결정할 수 있다.
본 발명은 저장부(150)에 얼굴방향 정보에 대한 제1 매칭 테이블과 안구방향 정보에 대한 제2 매칭 테이블 중 어느 하나가 마련되는 경우와, 제1 및 제2 매칭 테이블이 마련되는 경우를 모두 포함한다. 제1 및 제2 매칭 테이블이 모두 마련된 경우에는 시선방향 결정의 정확도를 보다 높일 수 있게 된다.
상기와 같은 본 발명 실시예에서는 L1 내지 L8의 길이를 이용하여 사용자의 안구 인지방향을 결정하는 경우와, 얼굴의 수평 또는 수직 위치, 회전 각도 정보를 이용하여 사용자의 얼굴방향을 결정하는 경우를 예로 들어 설명하였으나, 본 발명은 이에 한정되지 않으며, 안구방향을 추적(eye tracking)하거나, 얼굴방향을 예측하도록 알려진 다양한 알고리즘을 이용할 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
통신부(160)는 외부 예를 들어, 터치감지부(131)가 마련된 입력장치(미도시)로부터 수신되는 커맨드/데이터/정보/신호를 영상처리부(110)에 전달한다. 또한, 통신부(160)는 제어부(170)로부터 전달받은 커맨드/데이터/정보/신호를 입력장치에 전송할 수도 있다.
통신부(160)는 디스플레이장치(100)와 입력장치 간의 통신방식으로 무선통신을 사용할 수 있다. 무선통신은 적외선 통신, RF(radio frequency), 지그비(Zigbee), 블루투스, 무선랜 등을 포함한다. 또한, 본 실시예의 통신부(160)는 유선통신 모듈을 포함할 수 있다.
통신부(160)는 본 실시예에 따르면 디스플레이장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 디스플레이장치(100)의 커넥터(미도시)에 착탈될 수도 있다.
제어부(170)는 디스플레이장치(100)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제어부(170)는 영상처리부(110)가 처리하는 영상처리 프로세스의 진행, 입력장치로부터의 커맨드에 대한 대응 제어동작을 수행함으로써, 디스플레이장치(100)의 전체 동작을 제어한다.
본 실시예의 디스플레이장치(100)는 멀티 유저에 의한 멀티 터치 입력을 식별하여 감지 가능하도록 구현된다.
도 4는 본 발명 실시예에 의한 디스플레이장치(100)에서 복수의 터치입력의 사용자를 식별하는 과정을 설명하기 위한 도면이며, 도 5는 도 4의 과정을 통해 안구방향 정보를 이용하여 복수의 터치입력에 대하여 사용자를 식별하는 일례를 도시한 도면이다.
도 4에 도시된 바와 같이, 터치감지부(131)에서 감지된 사용자의 터치입력 정보와, 영상입력부(140)의 이미지센서(141)에서 감지된 영상정보는 제어부(170)로 전달된다. 여기서, 터치감지부(313)은 멀티터치 즉, 복수의 터치입력을 수신할 수 있으며, 이미지센서(141)는 복수의 사용자 영상을 수신할 수 있다.
제어부(170)는 터치감지부(131)로부터 수신된 터치입력 정보로부터 터치입력 위치에 대응하는 좌표정보를 산출한다. 산출된 좌표정보는 터치입력 위치를 결정하는데 이용된다.
제어부(170)는 영상입력부(140)로부터 수신된 사용자의 영상을 처리하도록 영상처리부(110)를 제어하고, 처리된 영상의 사용자 시선정보를 이용하여 사용자의 시선방향을 결정한다.
구체적으로, 제어부(170)는 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 L1 내지 L8의 값을 획득하고, 획득된 L1 내지 L8와 매칭 테이블(151)을 이용하여 사용자의 안구방향을 인지하고, 이를 시선방향으로 결정할 수 있다. 같은 방식으로, 제어부(170)는 사용자 얼굴의 수평 또는 수직 위치, 회전 각도 정보를 획득하고, 획득된 정보와 매칭 테이블(151)이용하여 사용자의 얼굴방향을 인지하고, 이를 시선방향으로 결정할 수 있다.
경우에 따라, 제어부(170)는 안구방향과 얼굴방향을 모두 인지하고, 안구방향과 얼굴방향이 일치하는 경우, 일치된 방향을 시선방향으로 결정할 수 있다. 여기서, 안구방향과 얼굴방향이 일치하지 않는 경우, 소정 우선순위에 따라 사용자의 시선방향이 결정되도록 구현 가능하다.
예를 들어, 도 5의 (a)에 도시된 바와 같이, 디스플레이장치(100)는 멀티유저에 의한 멀티터치 입력으로서, 사용자 1로부터 터치스크린(121)의 왼쪽 아래(Left Down) 영역(10)에 대한 제1터치입력(11)을, 사용자 2로부터 터치스크린(121)의 오른쪽 위(Right Up) 영역(20)에 대한 제2터치입력(21)을 수신할 수 있다.
제어부(170)는 제1 및 제2 터치입력(11, 21) 각각에 대한 좌표정보를 산출하여, 사용자1의 제1터치입력 위치를 왼쪽 아래(10)로 사용자2의 제2터치입력 위치를 오른쪽 위(20)로 결정한다.
또한, 제어부(170)는 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 L1 내지 L8의 값을 획득하고, 획득된 L1 내지 L8와 매칭 테이블(151)을 이용하여, 도 5의 (b)와 같이 사용자1의 제1안구 인지방향을 왼쪽 아래(Left Down)(12)로 사용자2의 제2안구 인지방향을 오른쪽 위(Right Up)(22)로 결정한다. 그리고, 제1 및 제2 안구 인지방향은 사용자 1 및 2 각각에 대응하는 시선방향(제1 및 제2 시선방향) 정보가 된다.
제어부(170)는 제1 및 제2 터치입력(11, 21) 중에서 제1 및 제2 안구 인지방향(12, 22) 즉, 제1 및 제2 시선방향에 대응하는 위치의 터치입력이 존재하는지 여부를 판단하게 된다. 즉, 제1 및 제2 시선방향(12, 22)에 대응하는 위치의 터치입력이 존재하고, 그 터치입력 위치(10, 20)와 시선방향(12, 22)이 서로 일치하면, 제어부(170)는 제1 및 제2 터치입력(11, 21)을 모두 유효 터치 입력으로 인지하게 된다.
이에, 제어부(170)는 유효 터치입력(11, 21) 각각에 대응하는 사용자(사용자 1 및 사용자 2)를 구분하고, 감지된 터치입력들의 종류에 따라 감지된 터치입력들(11, 21)에 대응하는 동작을 수행한다.
예를 들어, 도 5와 같이 사용자1의 제1터치입력(11)이 수신된 제1오브젝트(object)에 대하여는 줌 인(Zoom In)을 수행하고, 사용자2의 제2터치입력(21)이 수신된 제2오브젝트에 대하여는 왼쪽 아래 방향으로 이동(Move)를 수행할 수 있다. 그리고, 제어부(170)는 각 터치입력(11, 21)의 수행 결과에 대응하는 영상(제1오브젝트가 줌인되고, 제2오브젝트가 왼쪽 아래방향으로 이동된 영상)을 표시하도록 디스플레이부(120)를 제어한다.
도 5에서는 시선정보로서 안구방향 정보를 이용하여 대응하는 사용자의 터치입력 위치의 존재를 판단하는 경우를 예로 들어 설명하였지만, 본 발명은 얼굴방향 정보를 이용하는 경우도 포함한다. 즉, 제어부(170)는 제1 및 제2 터치입력(11, 21) 중에서 제1 및 제2 얼굴방향에 대응하는 위치의 터치입력이 존재하는지 여부를 판단하여, 유효 터치입력을 인지하도록 구현 가능하다.
여기서, 제어부(170)는 상기와 같이 구분된 각 사용자들에 대하여 매칭 정확도를 높이기 위해, 사용자별 시선방향에 대한 히스토리를 누적하여 관리할 수 있다. 누적된 히스토리 정보는 저장부(150)에 저장된다. 여기서, 저장부(150)에는 사용자별 시선방향에 대한 히스토리 뿐 아니라, 안구방향에 대한 히스토리, 얼굴방향에 대한 히스토리가 구분하여 더 저장될 수 있다. 이는 대형 디스플레이를 사용하는 회의, 수업 등과 같이 특정 사용자의 터치입력 위치가 고정적으로 유지되는 경우, 사용자의 시선방향을 결정을 보다 용이하게 할 수 있다.
한편, 본 발명의 디스플레이장치(100)는 복수의 어플리케이션을 동시에 실행하여, 복수의 어플리케이션 각각에 대응하는 화면을 서로 다른 영역에 표시할 수 있다. 예를 들어, 제1영역(10)에는 제1어플리케이션의 실행화면을 표시하고, 제2영역(20)에는 제2어플리케이션의 실행화면을 표시한 경우, 제어부(170)는 제1터치입력(11)에 대하여는 제1어플리케이션이 대응하는 동작을 수행하고, 제2터치입력(21)에 대하여는 제2어플리케이션이 대응하는 동작을 수행하도록 제어할 수 있다.
본 발명 실시예의 디스플레이장치(100)는 이러한 방식으로 복수의 터치입력의 사용자를 구분하고, 구분된 터치입력들이 서로 다른 인터랙션(Interaction)을 할 수 있게 된다.
예를 들어, 복수의 사용자가 테이블 탑, IWB 등의 대형 디스플레이를 사용하는 회의, 수업, 토론 등에서 각 사용자 별로 터치입력 및 입력된 내용에 대한 공유가 가능하므로, 사용자 편의가 향상될 수 있게 된다.
이하, 본 발명의 실시예에 따른 디스플레이장치(100)의 제어방법에 관해 도면을 참조하여 설명한다.
도 6은 본 발명 실시예에 의한 디스플레이장치(100)의 제어방법을 도시한 흐름도이다.
도 6에 도시된 바와 같이, 디스플레이장치(100)는 터치감지부(131)에 대한 복수의 터치입력을 수신할 수 있다(S302). 여기서, 수신되는 복수의 터치입력은 복수의 사용자에 의한 터치입력일 수 있다.
디스플레이장치(100)는 카메라와 같은 영상입력부(140)를 통해 사용자의 시선정보를 더 수신할 수 있다(S304). 여기서, 제어부(170)는 영상입력부(140)로부터 수신된 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 정보 L1 내지 L8를 획득하여 L1 내지 L8에 매칭된 안구 인지방향을 매칭테이블(151)로부터 로드하거나, 얼굴의 수평 또는 수직 위치, 회전 각도 정보를 획득하여 각 정보에 매칭된 얼굴방향을 로드하여 사용자의 시선방향을 결정할 수 있다.
제어부(170)는 단계 S302에서 수신된 복수의 터치입력 중 단계 S304의 시선방향에 대응하는 위치의 터치입력이 존재하는지 여부를 판단한다(S306).
단계 S306의 판단결과에 따라, 제어부(170)는 시선방향과 터치입력 위치가 일치하는 터치입력을 유효 터치입력으로 결정하고, 해당 유효 터치입력이 따라 동작을 수행하게 된다(S308).
이와 같이, 본 발명의 실시예에 의하면, 복수의 터치입력에 대하여 사용자의 시선방향을 이용하여 사용자를 식별하고, 사용자가 식별된 터치입력들에 대응하는 동작을 수행함으로써, 멀티유저에 의한 멀티터치 디스플레이장치를 구현할 수 있다.
이에 의해, 디스플레이장치에서 복수의 사용자별로 터치입력에 의한 인터랙션이 가능하므로, 장치의 활용범위가 보다 확대될 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
100 : 디스플레이장치
110 : 영상처리부
120 : 디스플레이부
121 : 터치스크린
130 : 사용자 입력부
131 : 터치감지부
140 : 영상입력부
141 : 이미지센서
150 : 저장부
151 : 매칭테이블
160 : 통신부
170 : 제어부

Claims (22)

  1. 디스플레이장치에 있어서,
    영상을 표시하는 디스플레이부와;
    사용자로부터 복수의 터치입력을 수신하는 터치감지부와;
    영상을 수신하는 영상입력부와;
    상기 터치감지부로부터 수신된 터치입력 정보와 상기 영상입력부로부터 수신된 사용자의 시선정보를 이용하여, 상기 수신된 복수의 터치입력에 대응하는 동작을 수행하는 제어부를 포함하는 것을 특징으로 하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 시선정보는 얼굴방향 정보와, 안구방향 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 복수의 터치입력 각각에 대하여 상기 얼굴방향 또는 상기 안구방향에 대응하는 위치의 터치입력이 존재하는지 판단하고, 상기 판단결과에 기초하여 상기 복수의 터치입력 각각에 대응하는 사용자를 식별하는 것을 특징으로 하는 디스플레이장치.
  4. 제3항에 있어서,
    상기 얼굴방향 또는 상기 안구방향을 결정하는 매칭 테이블이 저장된 저장부를 더 포함하고,
    상기 제어부는 상기 영상입력부로 수신된 사용자 영상으로부터 정보를 획득하고, 상기 획득된 정보에 매칭된 얼굴방향 또는 안구방향을 상기 매칭 테이블로부터 로드하여, 사용자의 시선방향을 결정하는 것을 특징으로 하는 디스플레이장치.
  5. 제4항에 있어서,
    상기 시선정보가 안구방향 정보인 경우,
    상기 제어부는 상기 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 정보를 획득하고, 상기 획득된 길이 정보에 매칭된 안구방향을 상기 매칭 테이블로부터 로드하여, 사용자의 안구방향을 결정하는 것을 특징으로 하는 디스플레이장치.
  6. 제4항에 있어서,
    상기 매칭 테이블에는 사용자의 시선방향이 오른쪽, 왼쪽, 위, 아래, 가운데, 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래로 구분하여 저장되는 것을 특징으로 하는 디스플레이장치.
  7. 제4항에 있어서,
    상기 시선정보가 얼굴방향 정보인 경우,
    상기 제어부는 상기 영상입력부를 통해 입력된 사용자 영상의 얼굴의 수평 위치, 수직 위치 및 회전각도 중 적어도 하나를 이용하여 사용자의 얼굴방향을 결정하는 것을 특징으로 하는 디스플레이장치.
  8. 제4항에 있어서,
    상기 저장부는 상기 사용자의 안구방향 매칭 히스토리를 더 저장하는 것을 특징으로 하는 디스플레이장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제어부는 상기 복수의 터치입력 중 터치입력 위치와 상기 시선정보에 대응하는 사용자의 시선방향이 일치하는 터치입력을 유효 터치입력으로 결정하는 것을 특징으로 하는 디스플레이장치.
  10. 제9항에 있어서,
    상기 제어부는 상기 유효 터치입력의 종류를 식별하고, 상기 식별 결과에 대응하는 동작을 수행하고, 상기 동작 수행 결과에 대응하는 영상을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이장치.
  11. 제10항에 있어서,
    상기 유효 터치입력은 제1오브젝트에 대한 제1터치입력과, 제2오브젝트에 대한 제2터치입력을 포함하며,
    상기 제어부는 상기 제1오브젝트에 대해 제1터치입력에 대응하는 동작을 수행하고, 상기 제2오브젝트에 대해 제2터치입력에 대응하는 동작을 수행하는 것을 특징으로 하는 디스플레이장치.
  12. 디스플레이장치의 제어방법에 있어서,
    사용자로부터 복수의 터치입력을 수신하는 단계와;
    사용자의 시선정보를 수신하는 단계와;
    상기 수신된 터치입력 정보와 상기 사용자의 시선정보를 이용하여, 상기 수신된 복수의 터치입력에 대응하는 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 시선정보는 얼굴방향 정보와, 안구방향 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이장치.
  14. 제13항에 있어서,
    상기 복수의 터치입력 각각에 대하여 상기 얼굴방향 또는 상기 안구방향에 대응하는 위치의 터치입력이 존재하는지 판단하는 단계와;
    상기 판단결과에 기초하여 상기 복수의 터치입력 각각에 대응하는 사용자를 식별하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  15. 제14항에 있어서,
    상기 얼굴방향 또는 상기 안구방향을 결정하는 매칭 테이블을 저장하는 단계를 더 포함하며,
    상기 터치입력이 존재하는지 판단하는 단계는,
    사용자 영상으로부터 정보를 획득하는 단계와;
    상기 획득된 정보에 매칭된 얼굴방향 또는 안구방향을 상기 매칭 테이블로부터 로드하여, 사용자의 시선방향을 결정하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  16. 제15항에 있어서,
    상기 시선정보가 안구방향 정보인 경우,
    상기 정보를 획득하는 단계는, 상기 사용자 영상으로부터 사용자 안구 외측의 상하좌우 길이 정보를 획득하며,
    상기 시선방향을 결정하는 단계는, 상기 획득된 길이 정보에 매칭된 안구방향을 상기 매칭 테이블로부터 로드하여, 사용자의 안구방향을 결정하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  17. 제15항에 있어서,
    상기 매칭 테이블에는 사용자의 시선방향이 오른쪽, 왼쪽, 위, 아래, 가운데, 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래로 구분하여 저장되는 것을 특징으로 하는 디스플레이장치의 제어방법.
  18. 제17항에 있어서,
    상기 시선정보가 얼굴방향 정보인 경우,
    상기 시선방향을 결정하는 단계는, 상기 사용자 영상의 얼굴의 수평 위치, 수직 위치 및 회전각도 중 적어도 하나를 이용하여 사용자의 얼굴방향을 결정하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  19. 제17항에 있어서,
    상기 사용자의 얼굴방향 또는 안구방향 매칭 히스토리를 저장하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  20. 제12항 내지 제20항 중 어느 한 항에 있어서,
    상기 복수의 터치입력 중 터치입력 위치와 상기 서선정보에 대응하는 사용자의 시선방향이 일치하는 터치입력을 유효 터치입력으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  21. 제20항에 있어서,
    상기 유효 터치입력의 종류를 식별하는 단계와;
    상기 식별 결과에 대응하는 동작을 수행하는 단계와;
    상기 동작 수행 결과에 대응하는 영상을 표시하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  22. 제21항에 있어서,
    상기 유효 터치입력은 제1오브젝트에 대한 제1터치입력과, 제2오브젝트에 대한 제2터치입력을 포함하며,
    상기 식별결과에 대응하는 동작을 수행하는 단계는, 상기 제1오브젝트에 대해 제1터치입력에 대응하는 동작을 수행하고, 상기 제2오브젝트에 대해 제2터치입력에 대응하는 동작을 수행하는 것을 특징으로 하는 디스플레이장치의 제어방법.

KR20130111921A 2013-09-17 2013-09-17 디스플레이장치 및 그 제어방법 KR20150031986A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130111921A KR20150031986A (ko) 2013-09-17 2013-09-17 디스플레이장치 및 그 제어방법
US14/337,801 US20150077357A1 (en) 2013-09-17 2014-07-22 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130111921A KR20150031986A (ko) 2013-09-17 2013-09-17 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20150031986A true KR20150031986A (ko) 2015-03-25

Family

ID=52667508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130111921A KR20150031986A (ko) 2013-09-17 2013-09-17 디스플레이장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US20150077357A1 (ko)
KR (1) KR20150031986A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190105767A (ko) * 2018-03-06 2019-09-18 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
WO2020218859A1 (ko) * 2019-04-25 2020-10-29 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
WO2022010138A1 (ko) * 2020-07-10 2022-01-13 삼성전자 주식회사 컨텐트를 표시하기 위한 전자 장치 및 그 동작 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575559B2 (en) * 2013-11-01 2017-02-21 Intel Corporation Gaze-assisted touchscreen inputs
CN104750401B (zh) * 2013-12-30 2018-03-13 华为技术有限公司 一种触控方法、相关装置以及终端设备
WO2016031224A1 (ja) * 2014-08-25 2016-03-03 シャープ株式会社 画像表示装置
US10599326B2 (en) * 2014-08-29 2020-03-24 Hewlett-Packard Development Company, L.P. Eye motion and touchscreen gestures
US10481682B2 (en) * 2016-03-29 2019-11-19 Google Llc System and method for generating virtual marks based on gaze tracking
WO2017172911A1 (en) * 2016-03-29 2017-10-05 Google Inc. System and method for generating virtual marks based on gaze tracking
US10768808B2 (en) 2017-01-22 2020-09-08 Huawei Technologies Co., Ltd. Method for displaying graphical user interface based on gesture and electronic device
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
JP3790680B2 (ja) * 2001-05-25 2006-06-28 株式会社東芝 画像処理システム及びこれを用いた運転支援システム
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9619020B2 (en) * 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
KR20150020865A (ko) * 2013-08-19 2015-02-27 삼성전자주식회사 전자 장치의 입력 처리 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190105767A (ko) * 2018-03-06 2019-09-18 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
WO2020218859A1 (ko) * 2019-04-25 2020-10-29 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
WO2022010138A1 (ko) * 2020-07-10 2022-01-13 삼성전자 주식회사 컨텐트를 표시하기 위한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20150077357A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
US9733752B2 (en) Mobile terminal and control method thereof
US20200059500A1 (en) Simultaneous input system for web browsers and other applications
KR102169521B1 (ko) 입력장치, 디스플레이장치 및 그 제어방법
AU2014200250B2 (en) Method for providing haptic effect in portable terminal, machine-readable storage medium, and portable terminal
US9632642B2 (en) Terminal apparatus and associated methodology for automated scroll based on moving speed
US20140195953A1 (en) Information processing apparatus, information processing method, and computer program
US9880727B2 (en) Gesture manipulations for configuring system settings
US9811303B2 (en) Display apparatus, multi display system including the same, and control method thereof
US20150186037A1 (en) Information processing device, information processing device control method, control program, and computer-readable recording medium
US10810789B2 (en) Image display apparatus, mobile device, and methods of operating the same
US20150339026A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
US20140240263A1 (en) Display apparatus, input apparatus, and control method thereof
KR101943419B1 (ko) 입력장치, 디스플레이장치, 그 제어방법 및 디스플레이 시스템
KR102350382B1 (ko) 디스플레이장치 및 그 제어방법
EP3057313A1 (en) Display apparatus and display method
KR20150081643A (ko) 디스플레이 장치, 모바일 장치, 이를 포함하는 시스템 및 그 접속 제어방법
EP3319308B1 (en) Spherical image display apparatus and method of displaying spherical image on a planar display
KR101439178B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
US20150241982A1 (en) Apparatus and method for processing user input
KR20160044396A (ko) 사용자 인터페이스를 제공하는 방법 및 장치
KR20160040028A (ko) 디스플레이 장치 및 그 제어 방법
US20160227151A1 (en) Display apparatus, remote control apparatus, remote control system and control method thereof
KR20150020878A (ko) 디스플레이장치 및 그 제어방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid