KR20120080072A - 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법 - Google Patents

모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법 Download PDF

Info

Publication number
KR20120080072A
KR20120080072A KR1020110001524A KR20110001524A KR20120080072A KR 20120080072 A KR20120080072 A KR 20120080072A KR 1020110001524 A KR1020110001524 A KR 1020110001524A KR 20110001524 A KR20110001524 A KR 20110001524A KR 20120080072 A KR20120080072 A KR 20120080072A
Authority
KR
South Korea
Prior art keywords
motion
movement
unit
unit time
determined
Prior art date
Application number
KR1020110001524A
Other languages
English (en)
Inventor
류희섭
박승권
정기준
이동호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110001524A priority Critical patent/KR20120080072A/ko
Priority to US13/315,915 priority patent/US20120176305A1/en
Priority to EP20110193818 priority patent/EP2474881A3/en
Priority to BR112013012526A priority patent/BR112013012526A2/pt
Priority to MX2013007942A priority patent/MX2013007942A/es
Priority to PCT/KR2012/000023 priority patent/WO2012093822A2/en
Priority to CN201210005642.1A priority patent/CN102681659B/zh
Priority to JP2012000695A priority patent/JP2012146303A/ja
Publication of KR20120080072A publication Critical patent/KR20120080072A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Abstract

디스플레이 장치가 개시된다. 본 장치는, 디스플레이 장치의 외부에 위치한 객체의 움직임을 인식하는 모션 인식부 및 객체의 움직임이 인식되면, 객체의 움직임 시간, 반복 횟수, 및 휴지 기간에 기초하여 움직임에 대응되는 모션을 판단하고, 판단된 모션에 대응되는 동작을 수행하는 제어부를 포함한다. 이에 따라, 모션 인식율을 향상시킬 수 있게 된다.

Description

모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법{DISPLAY APPARATUS CONTROLED BY A MOTION, AND MOTION CONTROL METHOD THEREOF}
본 발명은 디스플레이 장치 및 모션 제어 방법에 대한 것으로, 보다 구체적으로는 모션 인식 정확도가 향상된 디스플레이 장치 및 그 모션 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어, 다양한 종류의 최신 전자기기들이 개발되어 보급되고 있다. 최신 제품들에는 사용자가 해당 제품을 좀 더 편리하고 효과적으로 이용할 수 있도록 하기 위한 최신 기술들이 적용되고 있다. 그러한 기술들의 예를 들면, 모션 인식 기술, 음성 인식 기술 등이 있을 수 있다.
이 중 모션 인식 기술이란 모션 센서 등을 이용하여 사용자의 움직임, 즉, 모션을 센싱한 후, 그 센싱 결과를 이용하는 기술을 의미한다.
이와 같은 인식 기술들은, 사용자가 편리하게 이용할 수는 있으나 모션이나 음성 명령어를 정확하게 입력하지 않으면, 의도하지 않은 기능을 수행하거나 입력 자체가 이루어지지 않아 수차례 반복 입력하여야 하는 번거로움이 있을 수 있다.
따라서, 사용자가 무의식으로 자주 취하는 동작보다는 평상시에 잘 취하지 않는 모션이나, 식별력이 높은 모션을 명령어로 설정하는 것이 바람직하다.
하지만, 사용자들은 모션 제어를 위하여 손을 사용하는 것이 일반적인데, 손으로 표현할 수 있는 모션은 그 수가 제한적이다. 따라서, 손을 흔드는 동작이나, 손을 일 방향으로 이동하는 동작, 페이지 넘김을 위하여 손을 스윙하는 동작 등의 경우에는 그 구별이 결코 용이하지 않다는 문제점이 있었다.
따라서, 이와 같은 다양한 종류의 모션에 대해서 정확하게 인식할 수 있는 방법에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 모션 인식의 정확도를 향상시킬 수 있는 디스플레이 장치 및 그 모션 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 상기 디스플레이 장치의 외부에 위치한 객체의 움직임을 인식하는 모션 인식부 및 상기 객체의 움직임이 있으면 기 설정된 타임인터벌을 이용하여 상기 움직임을 단위 시간별로 구분하여 인식하며, 각 단위 시간 내에서의 움직임 방향, 움직임 횟수, 움직임 거리 및 속도를 이용하여, 상기 각 단위 시간 내의 움직임에 대응되는 모션을 판단하고, 판단된 모션에 대응되는 동작을 수행하는 제어부를 포함한다.
여기서, 디스플레이 장치는, 모션 별로 대응되는 동작에 대한 정보가 저장된 저장부 및 상기 제어부의 제어에 따라 디스플레이를 수행하는 출력부를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 움직임의 속도에 기초하여 상기 움직임이 무빙 모션이라고 판단되면, 상기 무빙 모션이 수행되고 있는 단위 시간의 크기를 연장하여 상기 타임 인터벌을 적용하지 않으며, 상기 무빙 모션의 움직임 방향에 따라 화면상에서 포인터를 이동하도록 상기 출력부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 단위 시간 내에 상기 객체가 복수 횟수의 왕복 운동을 수행하면, 상기 움직임이 하나의 웨이브 모션이라고 판단할 수 있다.
한편, 상기 제어부는, 상기 움직임이 상기 웨이브 모션이라고 판단되면, 이전 화면 또는 상위 화면으로 전환하도록 상기 출력부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 단위 시간 내에 상기 객체가 일 방향으로 가속 이동하다가 정지하면, 상기 움직임을 하나의 스윙 모션이라고 판단할 수 있다.
또한, 상기 제어부는, 상기 움직임이 상기 스윙 모션이라고 판단되면, 채널 변경 동작 또는 페이지 전환 동작을 수행할 수 있다.
그리고, 상기 타임 인터벌은 두 개의 단위 시간 사이마다 배치되어 상기 움직임을 인식하지 않는 고정된 시간 구간이며, 상기 타임 인터벌의 크기는 250 msec 내지 350 msec 중 하나이고, 상기 단위 시간은 하나의 모션 인식에 소요되는 고정된 시간이며, 상기 단위 시간의 크기는 1초 내지 1.5초 중 하나가 될 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 모션 제어 방법은, 상기 디스플레이 장치의 외부에 위치한 객체의 움직임을 인식하는 단계, 기 설정된 타임인터벌을 이용하여 상기 객체의 움직임을 단위 시간별로 구분하여 인식하는 단계, 구분된 각 단위 시간 내에서의 움직임 방향, 움직임 횟수, 움직임 거리 및 속도를 이용하여, 상기 각 단위 시간 내의 움직임에 대응되는 모션을 판단하는 단계, 상기 판단된 모션에 대응되는 동작을 수행하는 단계를 포함한다.
또한, 상기 모션을 판단하는 단계는, 상기 움직임이 정속도로 이루어지면 상기 움직임을 무빙 모션이라고 판단하고, 상기 무빙 모션이 수행되고 있는 단위 시간의 크기를 연장하여 상기 타임 인터벌을 적용하지 않고,
상기 동작을 수행하는 단계는, 상기 무빙 모션의 움직임 방향에 따라 화면 상에서 포인터를 이동할 수 있다.
그리고, 상기 모션을 판단하는 단계는, 상기 단위 시간 내에 상기 객체가 복수 횟수의 왕복 운동을 수행하면, 상기 움직임이 하나의 웨이브 모션이라고 판단할 수 있다.
이 경우, 상기 동작을 수행하는 단계는, 상기 움직임이 상기 웨이브 모션이라고 판단되면, 이전 화면 또는 상위 화면으로 전환할 수 있다.
그리고, 상기 모션을 판단하는 단계는, 상기 단위 시간 내에 상기 객체가 일 방향으로 가속 이동하다가 정지하면, 상기 움직임을 하나의 스윙 모션이라고 판단할 수 있다.
한편, 상기 동작을 수행하는 단계는, 상기 움직임이 상기 스윙 모션이라고 판단되면, 채널 변경 동작 또는 페이지 전환 동작을 수행할 수 있다.
그리고, 상기 타임 인터벌은 두 개의 단위 시간 사이마다 배치되어 상기 움직임을 인식하지 않는 고정된 시간 구간이며, 상기 타임 인터벌의 크기는 250 msec 내지 350 msec 중 하나이고, 상기 단위 시간은 하나의 모션 인식에 소요되는 고정된 시간이며, 상기 단위 시간의 크기는 1초 내지 1.5초 중 하나가 될 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 잘못 인식되기 쉬운 일부 모션에 대한 인식도를 높일 수 있어 사용자의 편의성이 증대된다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 다양한 실시 예를 설명하기 위한 디스플레이 장치의 세부구성을 나타내는 블럭도,
도 3은 무빙 모션을 판단하는 과정을 설명하기 위한 도면,
도 4는 스윙 모션을 판단하는 과정을 설명하기 위한 도면,
도 5는 웨이브 모션을 판단하는 과정을 설명하기 위한 도면,
도 6은 모션 인식 모드를 개시하기 위한 푸쉬 모션을 설명하기 위한 도면,
도 7 및 도 8은 모션 인식 모드를 종료하기 위한 종료 모션의 다양한 예를 나타내는 도면,
도 9 및 도 10은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 모션 제어 방법을 설명하기 위한 흐름도,
도 11 및 도 12는 단위 시간 및 타임 인터벌의 다양한 예를 나타내는 도면이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 본 디스플레이 장치는 TV, 휴대폰, 모니터, 노트북 PC, 전자 액자, 전자 책, PDA, 네비게이션 등으로 구현될 수 있다.
도 1에 따르면, 본 디스플레이 장치(100)는 모션 인식부(110) 및 제어부(120)를 포함한다.
모션 인식부(110)는 디스플레이 장치(100)의 외부에 위치한 객체의 모션을 인식하는 구성이다. 구체적으로는, 모션 인식부(110)는 디스플레이 장치(100)를 사용하고자 하는 사용자의 움직임을 센싱한다.
이를 위해, 모션 인식부(110)는 카메라와 같은 촬영 수단을 포함할 수 있다. 모션 인식부(110)는 촬영 수단의 촬영 범위 내에 존재하는 사용자 등을 촬영하여, 그 촬영 이미지 데이터를 제어부(120)로 제공한다.
제어부(120)는 촬영 이미지 데이터를 분석하여 사용자가 어떠한 모션을 취하였는지를 인식하고, 그 결과에 대응되는 동작을 수행한다.
이 경우, 제어부(120)는 기 설정된 타임 인터벌을 이용하여 움직임을 단위 시간별로 구분하여 인식한다. 구체적으로는, 기 설정된 단위 시간 동안 움직임을 인식한 후, 단위 시간이 경과되면 기 설정된 타임 인터벌 동안은 움직임을 인식하지 않거나, 인식되는 움직임을 무시한다.
이와 같이 하나의 단위 시간 내에 움직임이 인식되면, 제어부(120)는 그 단위 시간 내에서의 움직임 방향, 움직임 횟수, 움직임 거리 및 속도를 이용하여, 그 움직임에 대응되는 모션을 판단한다. 그리고 나서, 제어부(120)는 판단된 모션에 대응되는 동작을 수행한다.
여기서, 제어부(120)가 수행하는 동작은 디스플레이 장치(100) 자체의 파워-온/오프나, 디스플레이 장치(100)가 구비한 각종 기능의 실행, 속성 조정 등이 될 수 있다.
모션의 종류는 다양하게 설정될 수 있다. 구체적으로는 다음 표와 같이 모션 및 동작이 매칭되어 디스플레이 장치(100) 내에 저장되어 있을 수 있다.
모션 동작
푸쉬 모션 모션 인식 모드 진입
종료 모션 모션 인식 모드 종료
무빙 모션 커서 또는 포커스 이동
스윙 모션 페이지, 채널 변경
웨이브 모션 상위 페이지 또는 이전 페이지 전환
홀드 선택
표 1에서 푸쉬 모션이란 디스플레이 장치(100)의 전방에 위치한 사용자가 디스플레이 장치(100) 방향으로 손을 미는 동작을 의미한다. 푸쉬 모션이 인식되면, 제어부(120)는 그 이후에 이루어지는 후속 모션을 인식하여, 그에 따른 동작을 수행한다. 푸쉬 모션은 손을 쭉 벋었다가 다시 오무리는 푸쉬-풀 모션, 손을 쭉 뻗은 상태를 그대로 유지하는 푸쉬-스톱 모션 등을 포함할 수 있다.
종료 모션이란, 모션 인식 모드를 종료시키기 위한 모션을 의미한다. 종료 모션은 다양하게 정해질 수 있다. 일 예로는, 객체가 사용자의 손바닥이라면, 종료 모션은 손바닥 부분이 더이상 인식되지 않도록 객체가 사용자의 신체나 타 사물에 접하게 되는 모션이 종료 모션이 될 수 있다. 이에 대해서는 후술하는 부분에서 도면과 함께 설명한다.
무빙 모션이란, 손바닥과 같은 객체를 일 방향으로 이동시키는 모션을 의미한다. 무빙 모션이 이루어지면, 제어부(120)는 그 방향 및 속도에 따라 커서나, 메뉴 포커스 상태 등을 이동시킨다.
스윙 모션이란, 디스플레이 장치(100) 방향으로 내민 손을 일방향으로 스윙시키는 모션을 의미한다. 스윙 모션은 다르게는 스와이프(swipe) 모션이라 명명할 수도 있다. 제어부(120)는 스윙 방향에 따라 현재 페이지 또는 현재 채널에서 다음 페이지 또는 다음 채널로 변경한다.
웨이브 모션이란 디스플레이 장치(100) 방향으로 내민 손을 흔드는 모션을 의미한다. 웨이브 모션이란 다르게는 쉐이크 모션 등으로 명명할 수도 있다. 제어부(120)는 웨이브 모션이 인식되면, 현재 디스플레이되고 있는 페이지 또는 방송 화면의 이전 페이지 또는 이전 방송 화면으로 전환하거나, 현재 페이지의 상위 페이지가 존재하면 상위 페이지로 전환하는 동작을 수행할 수 있다.
그 밖에, 홀드란 손을 일정 시간 이상 가만히 두는 모션을 의미한다. 커서나 포커스가 특정 메뉴 상에 위치한 상태에서 홀드가 이루어지면, 제어부(120)는 해당 메뉴가 선택된 것으로 인식하고 그 메뉴를 선택하여, 그 기능을 수행할 수 있다.
이상과 같은 모션 및 동작 간의 매칭 관계는 일 예에 불과하며, 이 매칭 관계는 필요에 따라 변경될 수 있다. 또한, 원이나 기타 문자, 숫자, 기호를 그리는 모션과 같이 다양한 유형의 모션과 그에 대한 동작이 더 추가될 수도 있으며, 상술한 표의 모션들 중 일부는 생략될 수도 있다.
한편, 상술한 모션들 중에서 푸쉬 모션이나 종료 모션, 홀드 모션을 제외한 나머지 모션에 대해서는 그 모션의 속도나 이동 범위 등에 따라 상이한 변경 단위양으로 동작할 수 있다. 예를 들어, 채널 변경 동작이나 페이지 전환 동작, 볼륨 조정 동작 들은 각각 1 채널, 1페이지, 볼륨 1 단위 조정 등과 같이 매 조정시마다 하나의 변경 단위로 조정되는 것이 일반적이다. 따라서, 이러한 동작을 제어하는 경우, 복수의 단위를 조정하려면 복수 번 모션을 취하여야 하는 부담이 있었다. 이러한 점을 개선하기 위하여, 모션의 속도나 거리를 다르게 하여 동작의 변경 단위 양을 다르게 할 수 있다.
가령, 무빙 모션의 경우 빠르게 이동하면 커서나 포커스 이동양 또는 속도가 더 빨라질 수 있다. 스윙 모션이 빨라지거나 큰 폭으로 이루어지게 되면, 상술한 바와 같이 페이지나 채널이 5개 채널, 10개 채널과 같이 더 큰 폭으로 한번에 조정될 수 있다. 웨이브 모션 역시 마찬가지로 웨이브의 속도나 웨이브 폭에 따라 전환 양이 더 증대될 수 있음은 물론이다.
한편, 상술한 여러 동작들 중에서 무빙 모션이나, 스윙 모션, 웨이브 모션 등과 같이 객체를 어느 정도 범위 내에서 이동시켜서 수행하는 모션은, 서로 간의 식별이 어렵다. 가령, 사용자는 페이지 전환을 위하여 스윙 모션을 취하였으나, 디스플레이 장치(100)는 이를 무빙 모션으로 오인하고 페이지 전환 대신에 포커스 이동만을 수행할 수 있다.
또한, 하나의 스윙 모션은 포워드 방향으로 이루어지지만, 다음 스윙 모션을 하기 위해서는 백워드 방향으로 다시 손을 이동시켜야만 한다. 따라서, 사용자가 스윙 모션을 복수 회 수행하는 경우, 포워드 방향으로의 스윙 모션과 백워드 방향으로의 스윙 모션이 연속적으로 이루어지는 것으로 오인될 위험이 있다.
이에 따라, 제어부(120)는 단위 시간들 사이에 타임 인터벌을 두고, 그 타임 인터벌 동안에는 움직임 인식 자체를 수행하지 않거나, 그 동안에 인식되는 움직임은 무시할 수 있다. 즉, 스윙 모션을 복수 회 하는 경우, 사용자가 포워드 방향으로 손을 움직여서 첫 번째 스윙을 하는 것은 하나의 단위 시간 동안 이루어지고, 두번째 스윙을 위하여 다시 백워드 방향으로 손을 이동시키는 것은 타임 인터벌 동안에 이루어지며, 두 번째 스윙 그 자체는 다시 다음 단위 시간에 이루어지게 된다. 이에 따라, 제어부(120)는 연속적인 움직임을 구분하여 인식할 수 있게 된다.
단위 시간의 크기 및 타임 인터벌의 크기는 사용자의 통상적인 움직임 속도 및 시간을 실험적으로 측정하여 미리 설정해둘 수 있다. 구체적으로 예를 들면, 타임 인터벌은 250 msec 내지 350 msec 중 하나로 설정될 수 있다. 또한, 하나의 모션 인식에 소요되는 고정된 시간인 단위 시간은 1초 내지 1.5초 중에서 하나로 설정될 수 있다.
단위 시간이 1.2초로 설정되고, 타임 인터벌이 300msec로 설정되었다면, 제어부(120)는 움직임이 개시된 시점부터 1.2초 동안에는 해당 움직임을 추적하여 어떤 모션이 이루어졌는지를 판단하고, 1.2초가 경과된 시점부터 300msec 동안에는 움직임 추적을 하지 않고 대기하며, 300msec가 경과된 시점부터 다시 1.2초 동안에는 다시 움직임을 추적하여 어떠한 다음 모션이 이루어졌는지를 판단한다. 이와 같이, 제어부(120)는 단위 시간 별로 움직임을 구분하여 모션을 판단할 수 있다.
구체적인 예를 들면, 사용자는 웨이브 모션을 하기 위해서는 손, 즉, 객체를 일방향 및 반대 방향으로 복수 횟수 반복 이동시키게 된다. 이러한 반복 이동은 하나의 단위 시간 내에 이루어질 정도로 빠르게 진행된다. 제어부(120)는 모션 인식부(110)에서 촬영되는 매 프레임 별로 객체의 위치를 파악하여 객체가 일방향으로 움직이다가 정지한 후, 반대 방향으로 움직이는 것을 하나의 왕복 이동으로 카운팅한다. 이에 따라, 하나의 단위 시간 내에 기 설정된 횟수 이상(예를 들어, 2회 이상) 왕복 이동이 이루어졌다고 판단되면, 제어부(120)는 웨이브 모션이 이루어졌다고 판단된다. 이 후, 타임 인터벌이 경과 된 후 다시 기 설정된 횟수 이상의 왕복 이동이 이루어졌다고 판단되면, 제어부(120)는 두 번의 웨이브 모션이 연속적으로 이루어졌다고 판단한다. 이에 따라, 제어부(120)는 웨이브 모션에 대응되는 동작을 2회 반복하여 수행한다. 구체적으로는, 상술한 표 1에 기재된 바와 같이, 상위 화면으로 전환할 수 있다. 여기서의 상위 화면이란 상위 메뉴 화면, 상위 페이지 등과 같이 현재 보여지는 컨텐츠의 상위 컨텐츠를 의미한다.
다른 예를 들면, 사용자는 스윙 모션을 하기 위하여 손, 즉, 객체를 일방향으로 움직이다가 정지시키게 된다. 통상적으로 스윙 모션에서는 가속이 이루어지게 된다. 제어부(120)는 손이 움직일 때는 기본적으로 무빙 모션이 이루어지는 것으로 판단하다가, 속도가 증가하면서 손의 움직임이 갑자기 정지하게 되면 스윙 모션이 이루어졌다고 판단할 수 있다. 제어부(120)는 한 번의 스윙 모션이 인식되면 그에 대응되는 동작을 수행하면서 다음 타임 인터벌 동안 대기하였다가, 다음 단위 시간에 다시 움직임을 판단한다. 상술한 바와 같이 스윙 모션이 이루어지면, 제어부(120)는 페이지 전환이나 채널 변경 등의 동작을 수행하게 된다.
한편, 가속이 이루어지지 않고 어느 정도 범위 내에서 일정하게 움직이는 정속도 움직임이 인식된 경우에는 제어부(120)는 무빙 모션으로 판단한다. 무빙 모션은 통상적으로 포인터의 이동을 지시하기 위하여 사용된다. 따라서, 무빙 모션이 이루어지고 있는 동안에는 제어부(120)는 단위 시간을 연장하여, 타임 인터벌을 적용하지 않는다. 따라서, 사용자는 지속적으로 무빙 모션을 취하여 포인터를 원하는 위치에 둘 수 있다.
한편, 포인터가 하나의 위치에 고정된 상태에서 움직임이 정지한 홀드 모션이 인식되면, 제어부(120)는 그 위치에 표시된 메뉴가 선택된 것으로 판단하여 그 메뉴에 대응되는 동작을 수행한다. 이 경우, 홀드 모션이 인식되고 나면 다시 타임 인터벌을 적용하여, 다음 움직임에 대한 준비 동작이 잘못 인식되는 것을 방지할 수도 있다.
상술한 여러 모션들 중에서 무빙 모션을 제외한 나머지 모션들에 대해서는 모두 타임 인터벌이 적용될 수 있다. 즉, 푸쉬 모션의 경우에도 푸쉬 모션을 취한 이후에 어떠한 동작을 위하여 손을 이동시키는 것이 잘못 인식될 것을 방지하기 위하여, 푸쉬 모션에 대한 단위 시간이 경과된 시점부터 타임 인터벌을 적용하여, 그 기간 동안 다음 움직임을 준비하도록 할 수도 있다.
도 2는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 2에 따르면, 도 2에 따르면, 디스플레이 장치는 모션 인식부(110) 및 제어부(120) 이외에 튜너부(130), 신호처리부(140), 출력부(150), 입력부(160), 음성 입력부(170), 저장부(180) 등을 포함한다.
튜너부(130)는 방송 신호 채널을 선국하여, 그에 따른 방송 신호를 수신하고, 다운 컨버팅하여 신호처리부(140)로 제공하는 구성을 의미한다.
신호 처리부(140)는 튜너부(130)에서 제공되는 신호에 대하여 복호화, 등화(equalizing), 디코딩, 스케일링 등의 신호 처리를 수행하여, 출력부(150)로 제공한다.
출력부(150)는 신호 처리부(140)에서 처리된 영상 신호 및 음성 신호 등을 디스플레이 유닛이나, 스피커 등과 같은 출력 소자들을 이용하여 출력하는 구성이다.
입력부(160)는 전자기기(100) 본체에 구비된 키 또는 외부 리모콘에 구비된 키의 조작에 따른 사용자 선택 신호를 입력받는 구성이다. 구체적으로는, 입력부(160)는 키패드 및 IR 신호 수신 램프 등을 포함할 수 있다.
음성 입력부(170)는 각종 음성 명령어를 입력받아 제어부(120)로 제공하는 구성이다. 디스플레이 장치(100)가 음성 인식 모드를 지원하는 경우에는 도 2에 도시된 바와 같이 음성 입력부(170)와 같은 구성을 추가로 더 포함할 수 있다.
제어부(120)는 음성 인식 모드로 전환된 경우, 음성 입력부(170)를 통해 입력되는 음성 명령어에 대응되는 동작을 수행한다.
저장부(180)는 디스플레이 장치에서 사용되는 각종 프로그램이나, 데이터 등을 저장하는 구성요소이다. 구체적으로, 저장부(170)는 모션 제어를 위하여 설정된 각종 모션과 그 모션에 매칭되는 동작에 대한 정보를 저장할 수 있다.
예를 들면, 저장부(170)에는, 상술한 표 1과 같은 데이터 베이스가 저장될 수 있다. 제어부(120)는 모션 인식부(110)에서 인식된 객체의 움직임에 대하여 그 속성에 기초하여 어떤 모션이 이루어졌는지 판단한 후, 판단된 모션과 매칭되는 동작을 표 1에서 확인할 수 있다. 이에 따라, 확인된 동작을 수행할 수 있다.
도 2에서, 모션 인식부(110)는 촬영부(미도시)를 포함한다.
촬영부는 디스플레이 장치(100)의 화면 전방을 촬영하는 카메라로 구현될 수 있다. 촬영부는 전방에 놓여진 각종 객체들로부터 반사되는 빛을 수광하여, 촬영 이미지 데이터를 생성한다.
상술한 표 1과 같이 푸쉬 모션도 사용되는 경우라면, 촬영부는 3차원 깊이 카메라를 이용할 수도 있다. 3차원 깊이 카메라는 적외선을 방사하고, 그 적외선이 물체에 닿았다가 되돌아오는 시간을 측정해 물체까지의 거리를 산출한다. 깊이 카메라에서 얻은 이미지는 그레이 레벨로 출력되며, 각 픽셀 별로 가로, 세로, 거리와 같은 좌표 값이 표현된다. 즉, 픽셀 별로 뎁스 정보가 마련되는 촬영 이미지 데이터를 생성한다.
제어부(120)는 모션 인식부(110)에서 생성된 촬영 이미지 데이터를 분석하여 객체의 모션을 판단한다. 이 경우, 푸쉬 모션이 수행된 것으로 판단되면, 모션 인식 모드를 개시할 수 있다. 푸쉬 모션의 수행 여부는 객체에 해당하는 픽셀 군의 뎁스 정보가 변경되었는지 여부를 확인하여 판단할 수 있다.
이 경우, 제어부(120)는 기 등록된 객체 관련 정보가 있으면, 깊이 정보가 변경된 픽셀군의 크기 및 형태를 등록된 객체 관련 정보와 비교하여 유사성이 있는지 여부를 판단한다. 이에 따라, 매칭된다고 볼 수 있을 정도로 유사성이 있으면 푸쉬 모션으로 판단한다.
제어부(120)는 일단 푸쉬 모션이 인식되어 모션 인식 모드가 개시되면, 해당 객체의 움직임을 추적하여, 이후에 어떤 모션이 이루어지는지를 지속적으로 판단한다. 이 경우, 제어부(120)는 모션 인식부(110)에서 제공되는 각 프레임을 비교하여, 푸쉬 모션을 수행한 객체의 이동 거리를 확인하여, 모션 속도나 모션 거리 등과 같은 속성을 분석하여, 변경 단위 양을 상이하게 결정할 수도 있다.
특히, 제어부(120)는 객체의 움직임 횟수나, 그 움직임 사이의 휴지 기간, 가속 여부, 움직임 시간, 전체 모션 인식 시간 등과 같은 다양한 특성을 종합적으로 고려하여, 모션의 종류를 판단한다. 구체적으로, 제어부(120)는 상술한 바와 같이 타임 인터벌을 이용하여 움직임을 단위 시간 별로 구분하여 인식할 수 있다. 단위 시간이나 타임 인터벌의 크기는 미리 최적 크기로 측정되어 고정될 수도 있으나, 사용자별 특성에 따라 조정될 수도 있다. 즉, 사용자는 타임 인터벌 및 단위 시간 조정 메뉴를 선택하여, 이러한 시간들의 크기를 임의로 수정할 수도 있다.
한편, 상술한 여러 실시 예들에서, 촬영 이미지 데이터 분석 및 그에 기초한 모션 판단은 제어부(120)가 수행하는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니다. 즉, 모션 인식부(110) 내부에 별도의 판단부(미도시)를 구비하여, 그 판단부가 모션의 종류까지 판단하여 제어부(120)로 통지하도록 구현할 수도 있다. 또는 모션 인식부(110) 및 제어부(120)의 외부에 이러한 판단을 수행하기 위한 구성 요소를 별도로 더 구비할 수도 있다.
제어부(120)는 모션 인식부(110)에서 인식되는 움직임에 기초하여 판단된 모션에 대응되는 동작을 수행하도록 튜너부(130), 신호처리부(140), 출력부(150) 등의 구성요소들을 제어한다.
가령, 튜너부(130)에서 현재 제1 방송 채널을 선국하고, 신호처리부(140) 및 출력부(150)가 이를 신호처리하여 출력하고 있는 상태에서, 제어부(120)는 스윙 모션이 이루어졌다고 판단되면, 그 모션 방향에 따라서 채널을 변경하도록 튜너부(130)를 제어할 수 있다. 이에 따라, 튜너부(130)는 다음 채널을 선국하여 방송 신호를 수신하고, 신호처리부(140) 및 출력부(150)는 새로이 수신되는 방송 신호를 처리하여 화면 및 스피커를 통해 출력할 수 있다.
또는, 제어부(120)는 컨텐츠 화면이 디스플레이되고 있는 상태에서 스윙 모션이 이루어졌다고 판단되면, 다음 화면 페이지로 전환하도록 신호처리부(140) 및 출력부(150)를 제어할 수도 있다.
또한, 이들과 같은 예들에서, 웨이브 모션이 이루어졌다고 판단되면, 제어부(120)는 현재 화면의 상위 화면으로 전환하도록 각종 구성요소들을 제어할 수 있다. 가령, 방송 채널 출력 중에 웨이브 모션이 이루어졌다면, 방송 출력 메뉴, 컨텐츠 출력 메뉴, 인터넷 메뉴, 셋업 메뉴 등과 같은 다양한 메뉴를 선택할 수 있는 초기 메뉴 화면으로 전환될 수 있다. 또는, 특정 웹 서버에 접속하여 그 웹 페이지의 하위 페이지가 디스플레이되고 있는 상태에서 웨이브 모션이 이루어졌다면, 그 메인 웹 페이지로 바로 전환될 수 있다. 이러한 상태에서 다시 한번 더 웨이브 모션이 이루어지면, 상술한 바와 같은 초기 메뉴 화면으로 전환될 수 있다.
상술한 바와 같이, 움직임이 어떤 모션을 의미하는지, 즉, 무빙 모션이나, 스윙 모션, 웨이브 모션 들 중에서 어떠한 모션에 해당하는지 여부는 제어부(120)가 판단할 수 있다. 제어부(120)는 프레임당 이미지 변화를 체크하여, 모션을 구분하여 인식할 수 있다. 제어부(120)는 프레임당 이미지 변화 양, 즉, 움직임이 임계값 이하가 되었을 때, 하나의 움직임이 종료된 것으로 판단한다. 이에 따라, 종료되기 전까지의 프레임 당 이미지 변화로 모션의 종류를 판단한다.
도 3은 객체의 이동을 나타내는 도면이다. 도 3에 따르면, 첫 번째 프레임에서 ①번 위치에 존재하던 객체가 두 번째 프레임에서는 ②번 위치에 존재하게 되고, 다시 세번째 프레임에서는 ③번 위치에 존재하게 되었다면, 제어부(120)는 무빙 모션이 이루어지고 있는 것으로 기본적으로 판단한다. 이 경우, 네 번째 및 다섯 번째 프레임에서도 ③번 위치에 객체가 표시되어 있다면, 제어부(120)는 객체(11)의 움직임이 정지하였다고 판단한다. 상술한 바와 같이 무빙 모션 중에는 제어부(120)는 타임 인터벌을 적용하지 않고, 해당 움직임을 지속적으로 추적하여 그에 따라 포인터를 이동시킨다.
한편, 제어부(120)는 움직임의 속도를 확인하여, 해당 움직임이 무빙 모션을 하다가 정지한 것인지, 스윙 모션을 수행한 것인지 여부를 판단할 수 있다. 즉, 제어부(120)는 ①번 위치에서 ②번 위치로 움직일 때의 속도, ②번 위치에서 ③번 위치로 움직일 때의 속도 등을 연산할 수 있다. 촬영이 60Hz의 속도로 이루어졌다면, ①번 위치에서 ②번 위치로 움직일 때의 속도 V1는 그 이동 거리인 X1픽셀에 시간인 1/60을 제분한 값이므로, V1 = 60X1이 된다. 또한, ②번 위치에서 ③번 위치로의 이동 속도는 V2 = 60X2이 된다. 제어부(120)는 V1과 V2를 비교하여 V2가 임계치 이상 더 크면, 스윙 모션이 수행된 것으로 판단한다. 반면, 더 작거나 임계치 미만으로 더 크면, 단순히 무빙 모션이 이루어지다가 정지한 것으로 판단한다. 스윙 모션이 수행된 것으로 판단되면, 제어부(120)는 단위 시간 경과 후에 타임 인터벌을 적용하여 그 타임 인터벌 동안에는 움직임 인식에 따른 제어 동작이 이루어지지 않도록 한다.
도 4는 스윙 모션의 일 예를 나타내는 도면이다. 도 4에 따르면, 제어부(120)는 상하 좌우 중 한 방향으로 손(11)의 움직임이 있은 후 움직임이 정지하면 페이지를 넘기는 스윙 모션으로 인식할 수 있다. 이 과정에서 상술한 바와 같이 가속도를 확인할 수도 있다.
도 4에서는 손바닥이 디스플레이 장치(100)를 향하도록 배치된 상태에서 회전이 이루어지면서 손등이 디스플레이 장치(100)를 향하게 되는 모션을 스윙 모션으로 도시하였으나, 그 반대의 경우도 스윙 모션에 해당한다. 또한, 도 3과 같이 손바닥이 디스플레이 장치(100)를 향하는 상태에서 가속 운동하다가 급정지되는 것도, 스윙 모션의 일 종으로 볼 수 있다. 또한, 손바닥이나 손등이 완전히 디스플레이 장치(100)를 향하지 않게 회전되더라도 스윙 모션으로 볼 수 있다.
도 5는 웨이브 모션의 일 예를 나타내는 도면이다. 도 5에 도시된 바와 같이, 제어부(120)는 단위 시간 내에 객체(11)가 서로 다른 방향(즉, a 방향 및 b 방향)으로 반복적으로 왕복 이동하는 움직임이 인식되면, 웨이브 모션이 이루어졌다고 판단할 수 있다. 이 경우, 각 움직임이 종료되었다고 판단하는 시점은 프레임 당 이미지 변화량이 특정한 임계값 이하인 경우로 설정될 수 있다.
한편, 상술한 도 3 내지 도 5에 대한 설명에서, 객체의 이동 거리는 프레임 별로 서로 매칭되는 블록을 탐색한 후, 그 탐색된 블록의 위치를 비교하여 판단할 수 있다. 즉, 제어부(120)는 현재 프레임과 다음 프레임을 각각 복수의 블록으로 구분한 후, 각 블록의 평균 픽셀값이나 대표 픽셀값 등을 이용하여 매칭되는 블록을 탐색하고, 그 탐색된 블록의 위치 이동 상태를 확인하여 이동 거리를 연산할 수 있다.
한편, 도 3 내지 도 5에서 객체의 이동 거리는 객체의 일 지점을 기준으로 계산할 수 있다. 즉, 현재 프레임의 전체 블록들 중에서 객체에 해당하는 픽셀 군 또는 블록들 중에서 중심 픽셀 또는 중심 블록과, 다음 프레임에서의 대응되는 중심 픽셀 또는 중심 블록과의 거리를 연산할 수 있다.
한편, 본 디스플레이 장치(100)는 그 밖의 다양한 모션을 이용하여 모션 제어를 개시 할 수 있다.
도 6은 이러한 모션 인식 모드를 개시하기 위한 모션의 일 예인 푸쉬 모션을 나타내는 도면이다.
모션 인식부(110)는 촬영부(111)의 촬영 범위 내의 사용자(10)의 일 객체(11)가 디스플레이 장치(100) 방향으로 이동하는 푸쉬 모션을 인식할 수 있다. 구체적으로는, 도 6에 도시된 바와 같이 객체가 놓여진 지점에 3차원 좌표계를 적용하면, 디스플레이 장치(100)를 기준으로 상측을 향하도록 배치되는 Y축, Y축과 직교하면서 우측을 향하도록 배치되는 X축과, X축 및 Y축이 이루는 평면으로부터 디스플레이 장치(100)를 향하도록 배치되는 Z축으로 설명할 수 있다. 푸쉬 모션이란 바로 Z축 방향으로의 모션을 의미한다.
이와 같이, 푸쉬 모션은 Z축 방향으로의 이동이므로, 일반 모드 하에서 모션 인식부(110)는 촬영 이미지 데이터의 깊이 정보 변화 여부만을 체크하여 푸쉬 모션이 이루어졌는지를 판단한다. 이에 따라, 푸쉬 모션이 이루어져서 모션 인식 모드로 전환되면, 그 이후부터는 모션 인식부(110)는 Z축 뿐만 아니라 X축 및 Y축 방향으로의 움직임도 모두 체크하여, 객체의 움직임을 분석한다.
제어부(120)는 푸쉬 모션이 인식되면, 모션 인식 모드로 동작하는 것으로 판단하고, 모션 인식 모드로 전환한다. 즉, 푸쉬 모션이 인식되기 이전까지는 일반 모드로 동작하여, 사용자의 리모콘 조작이나 디스플레이 장치(100) 본체에 구비된 키조작에 따른 사용자 선택 신호를 입력부(160)를 통해 수신하여, 그에 대응되는 제어 동작을 수행한다. 이러한 상태에서 모션 인식 모드로 전환되면, 제어부(120)는 이후부터는 사용자의 모션을 인식하여 그 모션에 부합되는 동작을 수행한다.
이 경우, 제어부(120)는 최초 푸쉬 모션을 수행한 객체의 움직임을 추적하여, 해당 객체의 모션을 인식하고, 그 인식된 모션에 대응되는 동작을 수행한다.
모션 인식 모드로 전환된 경우, 제어부(120)는 모션 이외의 입력은 수용하지 않을 수도 있으나, 이와 다른 실시 예에서는 모션 인식 모드로 전환된 상태에서도 제어부(120)는 리모콘이나 본체 키 조작이 있으면, 그 키조작에 따른 동작도 함께 수행할 수도 있다. 즉, 모션 인식 모드가 반드시 모션에 의해서만 제어되는 모드인 것은 아니다.
도 7 및 도 8은 모션 인식 모드를 종료시키기 위한 종료 모션의 다양한 예를 나타내는 도면이다. 제어부(120)는 기 설정된 특정 모션이 모션 인식부(110)에 의해 인식되면, 모션 인식 모드를 종료한다. 모션 인식 모드를 종료시키기 위한 모션을 이하에서는 종료 모션이라 명명한다. 종료 모션은 다양하게 정해질 수 있다. 일 예로는, 객체가 사용자의 손바닥이라면, 종료 모션은 손바닥 부분이 더이상 인식되지 않도록 객체가 사용자의 신체나 타 사물에 접하게 되는 모션이 될 수 있다.
도 7은 사용자가 손(11)을 내리면서 사용자의 무릎과 같은 신체 일부에 접하는 모션이 종료 모션으로 사용되는 경우를 나타낸다. 또한, 도 8은 사용자가 손(11)을 내리면서 의자 팔걸이와 같은 사물에 접하도록 하는 종료 모션을 나타낸다. 이 밖에, 종료 모션은 다양한 형태로 설정될 수 있음은 물론이다.
상술한 바와 같이 푸쉬 모션을 이용하여 모션 인식 모드를 개시하고 손을 내리면서 종료하게 되면, 좀 더 편리하고 정확하게 사용자의 의도를 이해하여 모션 인식 제어를 수행할 수 있게 된다. 이러한 푸쉬 모션은 손을 앞으로 뻗었다가 다시 오무리는 푸쉬-풀 모션이나, 손을 앞으로 뻗은 상태를 유지하는 푸쉬-스톱 모션을 포함할 수 있다.
그 밖에도, 다양한 종류의 모션들이 사용될 수 있다. 즉, 원을 그리는 모션이나, 특정한 알파벳 등과 같은 문자를 그리는 모션을 취하여, 그에 따른 동작을 수행할 수 있다.
이러한 문자는 제작자에 의해 디폴트로 정해지거나 사용자가 자신의 모션을 모션 인식부(110)를 이용하여 등록시켜, 자신만의 모션 명령어로 사용할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 모션 제어 방법을 설명하기 위한 흐름도이다.
도 9에 따르면, 움직임이 인식되면(S910), 단위 시간이 경과할 때 까지 그 움직임을 추적한다(S920). 이에 따라, 단위 시간이 경과하면 그 단위 시간 내의 움직임 방향, 움직임 횟수, 움직임 거리 및 속도 등과 같은 다양한 특성을 고려하여어떤 모션이 이루어졌는지를 판단한다(S930). 상술한 바와 같이 단위 시간은 1초 내지 1.5초 중 하나의 시간으로 결정될 수 있다. 이러한 단위 시간은 실험치에 따라서 다른 값으로 결정될 수도 있다.
모션이 판단되면, 그 모션에 대응되는 동작을 수행한다(S940). 그리고 나서, 기 설정된 타임 인터벌이 경과하여 다음 단위 시간이 개시되었는지 여부를 판단한다(S950). 판단 결과 다음 단위 시간이 개시되었다면, 다시 그 단위 시간 동안 움직임을 인식하게 된다.
도 10은, 모션 판단 방법의 일 예를 구체적으로 설명하기 위한 흐름도이다.
도 10에 따르면, 움직임이 인식되면(S1010), 그 움직임 속도에 기초하여 해당 움직임이 무빙 모션인지 여부를 판단한다(S1020). 이에 따라 무빙 모션이라고 판단되면, 타임 인터벌을 적용하지 않고 단위 시간을 연장하여 타임 인터벌 없이 무빙 모션을 지속적으로 추적하여 그에 따라 포인터를 이동할 수 있다(S1030). 또는, 움직임이 있으면 일단 기본적으로 무빙 모션이라고 보고 포인터를 이동하면서, 가속이 있는지 여부 등을 확인하여 무빙 모션이 맞는지를 판단할 수도 있다.
한편, 무빙 모션이 아니라면 단위 시간 동안 움직임을 추적하면서 단위 시간이 경과되었는지를 판단한다(S1040).
이에 따라, 단위 시간이 경과하여 타임 인터벌로 진입하였다면, 단위 시간 동안의 움직임이 기 설정된 횟수 이상의 반복 운동이었는지 여부를 판단한다(S1050).
판단 결과, 반복 운동이었다면, 웨이브 모션으로 판단하고(S1060), 그에 따라 상위 화면으로 전환하는 동작을 수행할 수 있다(S1070).
반면, 반복 운동이 아니었다면 스윙 모션으로 판단하고(S1080), 그에 따라 채널 변경이나 페이지 전환과 같은 동작을 수행할 수 있다(S1090).
한편, 모션이 판단되어 그에 대한 동작을 수행하는 중에 타임 인터벌이 경과하게 되면 다음 단위 시간 동안 다시 움직임을 인식하는 과정이 반복 수행된다. 이러한 모션 제어 방법은 모션 인식 모드가 비활성화되기 이전까지는 계속 이루어지게 된다.
상술한 바와 같이, 본 모션 제어 방법에 따르면, 타임 인터벌을 이용하여 각 움직임을 단위 시간 별로 구분하고, 그 구분된 움직임의 특성을 종합적으로 고려하여, 무빙 모션이나, 스윙 모션, 웨이브 모션과 같은 다양한 손동작들을 정확하게 검출할 수 있게 된다.
한편, 도 9 및 도 10은 모션 인식 모드로 진입한 이후에 수행되는 단계에 대한 흐름도이다. 따라서, 상술한 실시 예들에 따른 모션 제어 방법에서는, 일반 모드로 동작하는 중에 푸쉬 모션이 수행되었는지 여부를 판단하여 푸쉬 모션이 수행되면 모션 인식 모드로 진입하는 단계, 종료 모션이 인식되면 모션 인식 모드를 종료하는 단계 등이 더 포함될 수도 있다.
또한, 도 9 및 10에서의 각 단계별 순서는 반드시 도시된 바와 같이 이루어져야 하는 것은 아니며, 일부 단계는 서로 교환될 수도 있다.
또한, 도 9 및 도 10에서의 모션 제어 방법은 도 1 및 도 2와 같은 구성의 디스플레이 장치 뿐만 아니라, 일부 구성요소를 변경한 상이한 구성의 전자 장치에 의해서도 수행될 수 있다.
도 11은 이상과 같은 여러 실시 예들에서, 타임 인터벌을 적용하여 움직임을 구분 인식하는 과정을 설명하기 위한 도면이다. 도 11에 따르면, 첫번째 단위 시간(t1) 동안 손을 일 방향으로 스윙시키는 스윙 모션이 인식되면, 그 이후의 타임 인터벌(I1) 동안에는 움직임을 인식하지 않는다. 사용자는 그 타임 인터벌(I1) 동안 다시 손을 원 위치로 복귀시킬 수 있다. 이에 따라, 사용자는 다음 단위 시간(t2) 동안 다시 손을 일 방향으로 스윙시키는 스윙 모션을 수행할 수 있다. 결과적으로, 촬영 장치는 두 번의 스윙 모션이 이루어진 것으로 인식하여 스윙 모션에 해당하는 동작을 반복적으로 두 번 수행하게 된다.
한편, 도 11에서 각 단위 시간들(t1, t2,...)은 t1=t2=t3...와 같이 서로 동일한 크기로 설정될 수 있고, 각 타임 인터벌(I1, I2, ...)들도 I1=I2=... 와 같이 서로 동일한 크기로 설정될 수 있다. 구체적으로는 단위 시간은 대략 1초 정도의 크기를 가질 수 있고, 타임 인터벌은 대략 300 msec 정도의 크기를 가질 수 있다. 이러한 값들은 변경될 수 있다.
한편, 상술한 바와 같이 무빙 모션인 경우에는 단위 시간이 연장될 수 있다.
도 12는 무빙 모션이 인식되는 경우의 단위 시간 및 타임 인터벌을 나타내는 도면이다.
도 12에 따르면, 사용자가 손을 일정한 속도로 계속 이동시키는 무빙 모션이 이루어지면, 타임 인터벌 적용 없이 단위 시간을 연장시킨다. 이에 따라, t1>t2와 같은 관계가 생긴다. 무빙 모션이 종료되면 타임 인터벌 I1 이후에 다시 두번째 단위 시간(t2)이 개시된다. 사용자가 두번째 단위 시간 동안에 손을 양쪽으로 흔들게 되면, 촬영 장치는 단위 시간 t2 내의 반복 횟수를 카운팅하여 웨이브 모션인지 여부를 판단하게 된다. 이에 따라, 웨이브 모션에 대응되는 동작을 수행한다.
한편, 이상과 같은 모션 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이에 따라, 모션 인식이 가능한 각종 장치에, 상술한 프로그램 코드가 기록된 기록 매체가 연결되거나 탑재된다면, 상술한 모션 제어 방법이 지원될 수 있게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 모션 인식부 120 : 제어부
130 : 튜너부 140 : 신호처리부
150 : 출력부 160 : 입력부
170 : 음성 입력부 180 : 저장부

Claims (15)

  1. 디스플레이 장치에 있어서,
    상기 디스플레이 장치의 외부에 위치한 객체의 움직임을 인식하는 모션 인식부; 및
    상기 객체의 움직임이 있으면 기 설정된 타임인터벌을 이용하여 상기 움직임을 단위 시간별로 구분하여 인식하며, 각 단위 시간 내에서의 움직임 방향, 움직임 횟수, 움직임 거리 및 속도를 이용하여, 상기 각 단위 시간 내의 움직임에 대응되는 모션을 판단하고, 판단된 모션에 대응되는 동작을 수행하는 제어부를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    모션 별로 대응되는 동작에 대한 정보가 저장된 저장부; 및,
    상기 제어부의 제어에 따라 디스플레이를 수행하는 출력부;를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 움직임의 속도에 기초하여 상기 움직임이 무빙 모션이라고 판단되면, 상기 무빙 모션이 수행되고 있는 단위 시간의 크기를 연장하여 상기 타임 인터벌을 적용하지 않으며, 상기 무빙 모션의 움직임 방향에 따라 화면상에서 포인터를 이동하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 단위 시간 내에 상기 객체가 복수 횟수의 왕복 운동을 수행하면, 상기 움직임이 하나의 웨이브 모션이라고 판단하는 것을 특징으로 하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 움직임이 상기 웨이브 모션이라고 판단되면, 이전 화면 또는 상위 화면으로 전환하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  6. 제2항에 있어서,
    상기 제어부는,
    상기 단위 시간 내에 상기 객체가 일 방향으로 가속 이동하다가 정지하면, 상기 움직임을 하나의 스윙 모션이라고 판단하는 것을 특징으로 하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 움직임이 상기 스윙 모션이라고 판단되면, 채널 변경 동작 또는 페이지 전환 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 타임 인터벌은 두 개의 단위 시간 사이마다 배치되어 상기 움직임을 인식하지 않는 고정된 시간 구간이며, 상기 타임 인터벌의 크기는 250 msec 내지 350 msec 중 하나이고,
    상기 단위 시간은 하나의 모션 인식에 소요되는 고정된 시간이며, 상기 단위 시간의 크기는 1초 내지 1.5초 중 하나인 것을 특징으로 하는 디스플레이 장치.
  9. 디스플레이 장치의 모션 제어 방법에 있어서,
    상기 디스플레이 장치의 외부에 위치한 객체의 움직임을 인식하는 단계;
    기 설정된 타임인터벌을 이용하여 상기 객체의 움직임을 단위 시간별로 구분하여 인식하는 단계;
    구분된 각 단위 시간 내에서의 움직임 방향, 움직임 횟수, 움직임 거리 및 속도를 이용하여, 상기 각 단위 시간 내의 움직임에 대응되는 모션을 판단하는 단계;
    상기 판단된 모션에 대응되는 동작을 수행하는 단계;를 포함하는 모션 제어 방법.
  10. 제9항에 있어서,
    상기 모션을 판단하는 단계는,
    상기 움직임이 정속도로 이루어지면 상기 움직임을 무빙 모션이라고 판단하고, 상기 무빙 모션이 수행되고 있는 단위 시간의 크기를 연장하여 상기 타임 인터벌을 적용하지 않고,
    상기 동작을 수행하는 단계는,
    상기 무빙 모션의 움직임 방향에 따라 화면 상에서 포인터를 이동하는 것을 특징으로 하는 모션 제어 방법.
  11. 제9항에 있어서,
    상기 모션을 판단하는 단계는,
    상기 단위 시간 내에 상기 객체가 복수 횟수의 왕복 운동을 수행하면, 상기 움직임이 하나의 웨이브 모션이라고 판단하는 것을 특징으로 하는 모션 제어 방법.
  12. 제11항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 움직임이 상기 웨이브 모션이라고 판단되면, 이전 화면 또는 상위 화면으로 전환하는 것을 특징으로 하는 모션 제어 방법.
  13. 제9항에 있어서,
    상기 모션을 판단하는 단계는,
    상기 단위 시간 내에 상기 객체가 일 방향으로 가속 이동하다가 정지하면, 상기 움직임을 하나의 스윙 모션이라고 판단하는 것을 특징으로 하는 모션 제어 방법.
  14. 제13항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 움직임이 상기 스윙 모션이라고 판단되면, 채널 변경 동작 또는 페이지 전환 동작을 수행하는 것을 특징으로 하는 모션 제어 방법.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 타임 인터벌은 두 개의 단위 시간 사이마다 배치되어 상기 움직임을 인식하지 않는 고정된 시간 구간이며, 상기 타임 인터벌의 크기는 250 msec 내지 350 msec 중 하나이고,
    상기 단위 시간은 하나의 모션 인식에 소요되는 고정된 시간이며, 상기 단위 시간의 크기는 1초 내지 1.5초 중 하나인 것을 특징으로 하는 모션 제어 방법.
KR1020110001524A 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법 KR20120080072A (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020110001524A KR20120080072A (ko) 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US13/315,915 US20120176305A1 (en) 2011-01-06 2011-12-09 Display apparatus controlled by a motion, and motion control method thereof
EP20110193818 EP2474881A3 (en) 2011-01-06 2011-12-15 Display apparatus controlled by a motion, and motion control method thereof
BR112013012526A BR112013012526A2 (pt) 2011-01-06 2012-01-02 aparelho de exibição, e método de controle de movimento de um aparelho de exibição
MX2013007942A MX2013007942A (es) 2011-01-06 2012-01-02 Aparato de presentacion visual controlado por un desplazamiento, y metodo de control de desplazamiento del mismo.
PCT/KR2012/000023 WO2012093822A2 (en) 2011-01-06 2012-01-02 Display apparatus controlled by a motion, and motion control method thereof
CN201210005642.1A CN102681659B (zh) 2011-01-06 2012-01-04 通过动作控制的显示设备及其动作控制方法
JP2012000695A JP2012146303A (ja) 2011-01-06 2012-01-05 モーションによって制御されるディスプレイ装置及びそのモーション制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110001524A KR20120080072A (ko) 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법

Publications (1)

Publication Number Publication Date
KR20120080072A true KR20120080072A (ko) 2012-07-16

Family

ID=45495633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110001524A KR20120080072A (ko) 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법

Country Status (8)

Country Link
US (1) US20120176305A1 (ko)
EP (1) EP2474881A3 (ko)
JP (1) JP2012146303A (ko)
KR (1) KR20120080072A (ko)
CN (1) CN102681659B (ko)
BR (1) BR112013012526A2 (ko)
MX (1) MX2013007942A (ko)
WO (1) WO2012093822A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402811B2 (en) 2015-02-12 2019-09-03 Samsung Electronics Co., Ltd. Method and apparatus for performing payment function in limited state

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751191B2 (en) * 2009-12-22 2014-06-10 Panasonic Corporation Action analysis device and action analysis method
US20130194180A1 (en) * 2012-01-27 2013-08-01 Lg Electronics Inc. Device and method of controlling the same
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ウェアラブル端末及びウェアラブル端末の制御方法
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN103941875B (zh) * 2014-05-05 2017-06-13 成都理想境界科技有限公司 一种翻页方法、装置及终端
JP6245117B2 (ja) * 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6415592B2 (ja) * 2014-11-12 2018-10-31 京セラ株式会社 ウェアラブル装置
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9569859B2 (en) 2014-12-29 2017-02-14 Dell Products, Lp System and method for redefining depth-based edge snapping for three-dimensional point selection
US9792487B2 (en) * 2014-12-29 2017-10-17 Dell Products, Lp System and method for determining dimensions of an object in an image
WO2016176116A1 (en) * 2015-04-30 2016-11-03 Board Of Regents, The University Of Texas System Utilizing a mobile device as a motion-based controller
CN105278763B (zh) * 2015-05-28 2019-05-17 维沃移动通信有限公司 手势识别防误触的方法及装置
JP2017021461A (ja) * 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
JP6822445B2 (ja) * 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
CN109189218B (zh) * 2018-08-20 2019-05-10 广州市三川田文化科技股份有限公司 一种手势识别的方法、装置、设备及计算机可读存储介质
CN109960403A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对医学图像的可视化呈现和交互方法
EP3839811B1 (en) * 2019-12-18 2024-03-13 Tata Consultancy Services Limited Systems and methods for shapelet decomposition based gesture recognition using radar

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211979A (ja) * 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5767457A (en) * 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
JP5048890B2 (ja) * 1998-10-13 2012-10-17 ソニー エレクトロニクス インク 動作検知インターフェース
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
KR20050065198A (ko) * 2003-12-24 2005-06-29 한국전자통신연구원 사용자의 움직임을 이용한 3차원 동작명령 인식기
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
KR20100056838A (ko) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 사용자 동작 기반의 전자기기 제어 장치 및 방법
US8543415B2 (en) * 2008-11-26 2013-09-24 General Electric Company Mobile medical device image and series navigation
JP5175755B2 (ja) * 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR20100118317A (ko) * 2009-04-28 2010-11-05 삼성전자주식회사 휴대단말의 제스처 인식 방법 및 시스템
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402811B2 (en) 2015-02-12 2019-09-03 Samsung Electronics Co., Ltd. Method and apparatus for performing payment function in limited state
US10540647B2 (en) 2015-02-12 2020-01-21 Samsung Electronics Co., Ltd. Method and apparatus for performing payment function in limited state
US10990954B2 (en) 2015-02-12 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for performing payment function in limited state

Also Published As

Publication number Publication date
WO2012093822A3 (en) 2012-12-06
EP2474881A3 (en) 2015-04-22
US20120176305A1 (en) 2012-07-12
CN102681659A (zh) 2012-09-19
BR112013012526A2 (pt) 2016-09-06
EP2474881A2 (en) 2012-07-11
MX2013007942A (es) 2013-08-09
CN102681659B (zh) 2015-05-20
JP2012146303A (ja) 2012-08-02
WO2012093822A2 (en) 2012-07-12

Similar Documents

Publication Publication Date Title
KR20120080072A (ko) 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101858531B1 (ko) 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR102230630B1 (ko) 빠른 제스처 재접속
CN103916592B (zh) 用于在具有照相机的便携式终端中拍摄肖像的设备和方法
US7028269B1 (en) Multi-modal video target acquisition and re-direction system and method
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
CN107533366B (zh) 信息显示装置和信息显示方法
KR20210141688A (ko) 제스처 제어 방법 및 장치
CN104239879B (zh) 分割字符的方法及装置
KR20160106691A (ko) 제스처를 사용하여 미디어의 재생을 제어하기 위한 시스템 및 방법
KR101134245B1 (ko) 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
KR102070598B1 (ko) 카메라 장치 및 그의 제어 방법
CN103984499A (zh) 一种动作指令控制方法及电子设备
KR101294212B1 (ko) 로봇에서 입력 장치 기능을 위한 움직임 검출 시스템 및 그방법
KR20130125209A (ko) 전자기기 제어장치 및 그 방법
KR101348763B1 (ko) 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체
KR20140096250A (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
US20180131997A1 (en) Interaction Recognition of a Television Content Interaction Device
KR101506197B1 (ko) 양손을 이용한 동작인식 입력방법
KR101391521B1 (ko) 전자 기기 제어 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application