KR101641091B1 - 디스플레이 장치 및 디스플레이 장치의 모션 인식방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 모션 인식방법 Download PDF

Info

Publication number
KR101641091B1
KR101641091B1 KR1020130112831A KR20130112831A KR101641091B1 KR 101641091 B1 KR101641091 B1 KR 101641091B1 KR 1020130112831 A KR1020130112831 A KR 1020130112831A KR 20130112831 A KR20130112831 A KR 20130112831A KR 101641091 B1 KR101641091 B1 KR 101641091B1
Authority
KR
South Korea
Prior art keywords
motion
area
recognition mode
motion recognition
active area
Prior art date
Application number
KR1020130112831A
Other languages
English (en)
Other versions
KR20150033182A (ko
Inventor
손창호
배재현
최윤호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130112831A priority Critical patent/KR101641091B1/ko
Priority to US14/269,291 priority patent/US9557808B2/en
Priority to PCT/KR2014/007032 priority patent/WO2015041405A1/en
Priority to JP2016544281A priority patent/JP2016540322A/ja
Priority to CN201480020619.7A priority patent/CN105122824A/zh
Priority to BR112015020318A priority patent/BR112015020318A2/pt
Priority to MX2015011188A priority patent/MX347766B/es
Priority to RU2015144902A priority patent/RU2015144902A/ru
Priority to EP14846695.6A priority patent/EP2946562A4/en
Publication of KR20150033182A publication Critical patent/KR20150033182A/ko
Application granted granted Critical
Publication of KR101641091B1 publication Critical patent/KR101641091B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공된다. 보다 상세하게는 액티브 영역에서만 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션의 인식이 가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 개시된다. 개시된 실시예 중 일부는 부분 영역 모션 인식 모드인 액티브 영역에서 인식된 모션과 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션이 동일한 경우, 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경하는 디스플레이 장치 및 디스플레이 장치의 모션 인식방법을 제공한다.

Description

디스플레이 장치 및 디스플레이 장치의 모션 인식방법{DISPLAY APPARATUS AND METHOD FOR MOTION RECOGNITION}
아래 실시예들은 디스플레이 장치 및 디스플레이 장치의 모션 인식 방법에 관한 것으로, 상세하게는 부분 영역 모션 인식 모드에서 액티브 영역에서만 모션 인식이 가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법에 관한 것이다.
디스플레이 장치와 사용자간의 인터페이스 방법으로 디스플레이 장치의 패널 키를 이용하거나 원격 조정 장치인 리모컨을 많이 이용한다. 기술의 발전으로 디스플레이 장치의 기능은 복잡하고, 다양하게 되어 컨텐츠를 실행하거나 인터넷 브라우징도 가능하게 되었다. 리모컨의 크기 또는 기능의 제한에 의해, 점점 복잡하고 다양해지는 디스플레이 장치의 모든 기능을 원격으로 제어하기가 쉽지 않다.
사용자는 모션을 취하고, 모션을 수신한 디스플레이 장치는 모션 인식에 의해 제어될 수 있다. 또한, 사용자는 명령어를 말하고, 명령어를 수신한 디스플레이 장치는 음성 인식에 의해 제어될 수 있다.
모션 인식이 가능한 디스플레이 장치는 사용자의 의도와 무관하게 카메라 유닛을 통해 입력되는 모션(예를 들어, 물을 마시기 위해 손을 움직이는 경우)을 인식하여 오동작(false operation)을 발생시키는 경우도 있다. 또한, 사용자가 다수인 경우, 모션 인식에 의한 오동작이 발생할 가능성은 사용자가 한 명일 때와 비교하여 더 커질 수 있다.
본 발명의 실시예에 따른 디스플레이 장치의 모션 인식방법은 디스플레이 장치의 화면에서, 외부에서 입력되는 모션의 인식이 가능한 액티브 영역을 설정하는 단계, 상기 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계, 상기 액티브 영역에서 모션을 인식하는 단계, 및 상기 인식된 모션이 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션인 경우, 상기 부분 영역 모션 인식 모드를 해제하는 단계를 포함하고, 상기 부분 영역 모션 인식 모드는 상기 액티브 영역에서만 모션을 인식한다.
본 발명의 일측에 따르면, 상기 액티브 영역은 카메라 유닛을 통해 입력되는 해제 모션을 인식하는 상기 화면 내 상대적인 영역일 수 있다.
본 발명의 다른 실시예에 따른 디스플레이 장치의 모션 인식방법은 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계, 상기 부분 영역 모션 인식 모드에서 설정된 액티브 영역에서만 입력되는 외부의 모션을 인식하는 단계, 및 상기 인식된 모션과 저장된 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션이 동일한 경우, 상기 부분 영역 모션 인식 모드를 상기 전 영역 모션 인식 모드로 변경하는 단계를 포함하고, 상기 액티브 영역은 상기 디스플레이 장치의 외부에서부터 카메라 유닛을 통해 입력되는 상기 모션을 인식하는 상기 디스플레이 장치의 화면 내 상대적인 영역이다.
본 발명의 다른 실시예에 따른 디스플레이 장치의 모션 인식방법은 디스플레이 장치의 화면에서 외부에서 입력되는 모션의 인식이 가능한 액티브 영역을 설정하는 단계, 상기 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계, 상기 액티브 영역에서 제1 모션을 인식하는 단계, 상기 제1 모션이 해제 모션인 경우, 상기 부분 영역 모션 인식 모드를 유지하는 제2 부분 영역 모션 인식 모드로 변경하는 단계, 및 제2 부분 영역 모션 인식 모드인 액티브 영역에서 제2 모션을 인식하는 단계를 포함하고, 상기 부분 영역 모션 인식 모드는 상기 제1 모션이 해제 모션인 경우, 부분 영역 모션 인식 모드를 해제하는 제1 부분 영역 모션 인식 모드 및 부분 영역 모션 인식 모드를 유지하는 제2 부분 영역 모션 인식 모드를 포함한다.
본 발명의 다른 실시예에 따른 디스플레이 장치의 모션 인식방법은 디스플레이 장치의 모션 인식방법에 있어서, 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계, 및, 상기 부분 영역 모션 인식 모드에서 기설정된 액티브 영역에서만 외부에서부터 입력되는 모션을 인식하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 액티브 영역은 사용자에 의해 설정될 수 있다.
본 발명의 실시예에 따른 디스플레이 장치는 영상을 표시하는 화면, 외부 모션을 수신하는 카메라 유닛, 상기 화면 및 상기 카메라 유닛을 제어하는 제어부를 포함하고, 상기 제어부는, 부분 영역 모션 인식 모드의 액티브 영역에서 상기 카메라 유닛을 통해 입력된 모션이 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션과 동일한 경우, 상기 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경하도록 제어한다.
본 발명의 다른 실시예에 따른 디스플레이 장치는 영상을 표시하는 디스플레이 유닛, 외부 모션을 수신하는 카메라 유닛, 및 상기 디스플레이 유닛 및 상기 카메라 유닛을 제어하는 제어부를 포함하고, 상기 제어부는, 상기 카메라 유닛을 이용하여 부분 영역 모션 인식 모드의 액티브 영역에서만 수신되는 사용자 모션을 인식하고, 인식된 상기 사용자 모션에 대응되는 사용자 모션 인식 결과를 상기 디스플레이 유닛에 표시하도록 제어한다.
액티브 영역에서만 모션 인식이 가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
액티브 영역에서만 해제 모션의 인식이 가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
액티브 영역에서 모션 인식이 가능한 부분 영역 모션 인식 모드 및 카메라 유닛의 인식 범위에서 모션 인식이 가능한 전 영역 모션 인식 모드를 가지는 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
카메라 유닛을 통해 입력되는 사용자 신체 일 부분 또는 액티브 영역 설정 템플릿을 이용하여 액티브 영역을 설정가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
액티브 영역에서 인식되는 해제 모션을 설정가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
액티브 영역에서 인식된 모션이 해제 모션과 동일한 경우, 부분 영역 모션 인식 모드를 해제하는 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
액티브 영역에서 인식된 모션이 제1 해제 모션과 동일한 경우, 부분 영역 모션 인식 모드를 유지하는 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
액티브 영역에서 인식된 모션이 제1 해제 모션과 동일한 경우, 부분 영역 모션 인식 모드를 유지하고 액티브 영역에서 다른 모션의 인식이 가능한 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
이에 한정되지 않고 본 발명의 다양한 실시예에 따르면, 액티브 영역에서 인식된 모션을 이용한 부분 영역 모션 인식 모드의 해제 또는 부분 영역 모션 인식 모드의 유지할 수 있는 디스플레이 장치 및 디스플레이 장치의 모션 인식방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이 장치를 나타내는 개략적인 정면도이다.
도 2는 본 발명의 실시예에 따른 디스플레이 장치를 나타내는 개략적인 블럭도이다.
도 3은 본 발명의 실시예에 따른 디스플레이 장치의 모션 인식방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 7g는 본 발명의 실시예에 따른 디스플레이 장치의 모션 인식방법의 예를 나타내는 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 디스플레이 장치를 나타내는 개략적인 정면도이다.
도 1을 참조하면, 디스플레이 장치(100)는 본체(10) 및 본체(10)를 지지하는 스탠드(50)를 포함한다. 또한, 디스플레이 장치(100)는 스탠드(50)없이 본체(10)만을 포함할 수 있다.
본체(110)는 정지된 이미지인 화상(image) 또는 이미지의 연속적인 집합체인 영상(video)을 표시하는 디스플레이 패널(11)을 포함하는 디스플레이 유닛(170, 도 2 참조), 디스플레이 패널(11)을 지지하는 전면 커버(front cover, 12) 및 후면 커버(back cover, 13)를 포함한다. 디스플레이 패널(11)은 화면이라고도 칭한다.
전면 커버(12)는 외부(예를 들어, 원격 조정 장치(remote controller, 200))에서부터 광(예를 들어, 자외선, 가시광선 또는 적외선)을 수신하는 광창(light window, 12a)을 포함할 수 있다. 또한, 광창(12a)은 디스플레이 장치(100) 내부에서부터 입력되는 광(예를 들어, 발광 소자에서부터 발광)을 디스플레이 장치(100)의 외부로 출력할 수 있다. 후면 커버(13)는 스탠드(50)와 연결될 수 있다. 후면 커버(13)는 후면 커버(13)의 일측에 전원 키(14a), 음량 키(14b) 및 채널 키(14c)를 가지는 패널 키(14)를 포함할 수 있다. 패널 키(14)는 TV/외부 입력 키(도시되지 아니함) 또는 메뉴 키(도시되지 아니함)를 포함할 수 있다.
디스플레이 장치(100)는 광창(12a)을 통해 수신된 광을 분석하여 디스플레이 장치(100)의 동작을 제어할 수 있다.
디스플레이 장치(100)는 카메라 유닛(145)을 통해 수신된 영상 신호(예를 들어, 연속되는 프레임)를 분석하여 디스플레이 장치(100)의 동작을 제어할 수 있다.
디스플레이 장치(100)는 스피커(176)의 후면에 위치하는 마이크 유닛(140, 도 2를 참조)을 통해 수신된 사용자의 음성을 분석하여 디스플레이 장치(100)의 동작을 제어할 수 있다.
예를 들어, 디스플레이 장치(100)는 수신된 광, 수신된 영상 신호 또는 수신된 음성에 의해 제어되어, 전원 제어(온/오프), 볼륨 조정, 채널 조정, 묵음, 외부 입력 제어, 통신 유닛(도시되지 아니함)을 이용한 인터넷 검색, 문자 입력, 저장된 콘텐트를 어플리케이션을 이용하여 실행하는 등과 같은 다양한 동작을 수행할 수 있다.
도 1을 참조하면, 전면 커버(12)의 상 단의 가운데 영역에 하나의 카메라 유닛(145)이 선택적으로 돌출되어 있으나, 이에 한정되지 않고, 상 단의 가운데 영역에 복수의 카메라 유닛(도시되지 아니함)이 노출되어 복수의 영상 신호를 수신할 수도 있다.
카메라 유닛(145)의 위치는 영상 신호의 입력에 대응하여 전면 커버(12)의 전면을 기준으로 상단/하단/좌측/우측 중 적어도 하나에서 노출될 수 있다.
전면 커버(12)의 상 단의 가운데 영역에 하나의 마이크 유닛(140)이 노출되어 있으나, 이에 한정되지 않고, 상 단의 가운데 영역에 복수의 마이크 유닛(도시되지 아니함)이 노출되어 스테레오(stereo)로 음성을 수신할 수 있다. 마이크 유닛(140)의 위치는 음성 신호의 입력에 대응하여 전면 커버(12)의 전면을 기준으로 상단/하단/좌측/우측 중 적어도 하나에서 노출될 수 있다.
전면 커버(12)의 하단 오른쪽에 하나의 광창(12a)이 노출되어 있으나, 이에 한정되지 않고 복수의 광창(도시되지 아니함)이 노출될 수 있다. 전면 커버(12)에서 노출되는 광창(12a)의 위치는 광의 입/출력에 대응하여 전면 커버(12)의 전면을 기준으로 상단/하단/좌측/우측 중 적어도 하나에서 노출될 수 있다. 또한, 원격 제어 장치(200)와 디스플레이 장치(100)가 통신 유닛(130, 도 2 참조)을 이용하여 블루투스 등과 같은 무선 통신에 의해 연결되는 경우, 디스플레이 장치(100)에서 광창(12a)과 같은 구성이 생략될 수도 있다.
스탠드(50)는 본체(110)를 벽 면으로부터 지지하는 월 마운트(wall mount, 도시되지 아니함)를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 디스플레이 장치를 나타내는 개략적인 블럭도이다.
도 2를 참조하면, 디스플레이 장치(100)는 통신 유닛(130) 또는 외부 입력 유닛(160)을 이용하여 외부 장치(도시되지 아니함)와 유선 또는 무선으로 연결될 수 있다. 외부 장치는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC(도시되지 아니함), 및 서버(도시되지 아니함)를 포함할 수 있다.
디스플레이 장치(100)는 디스플레이 유닛(170)뿐만 아니라 튜너 유닛(120), 통신 유닛(130), 및 외부 입력 유닛(160) 중 하나를 포함할 수 있다.
디스플레이 장치(100)는 디스플레이 유닛(170)뿐만 아니라 튜너 유닛(120), 통신 유닛(130), 및 외부 입력 유닛(160)의 조합을 포함할 수 있다. 또한, 디스플레이 유닛(170)을 가지는 디스플레이 장치(100)는 튜너 유닛을 가지는 외부 장치(도시되지 아니함)와 전기적으로 연결될 수 있다. 예를 들어, 디스플레이 장치(100)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
디스플레이 장치(100)는 튜너 유닛(Tuner, 120), 통신 유닛(130), 마이크 유닛(140), 카메라 유닛(145), 광 수신 유닛(150), 외부 입력 유닛(160), 디스플레이 유닛(170), 오디오 출력 유닛(175), 저장 유닛 및 전원 유닛(190)을 포함한다. 디스플레이 장치(100)는 디스플레이 장치(100)의 내부 또는 외부 상태를 검출하는 센서(예를 들어, 조도 센서, 온도 센서 등, 도시되지 아니함)를 포함할 수 있다.
제어부는 프로세서(Processor, 111), 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 디스플레이 장치(100)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다.
제어부는 디스플레이 장치(100)의 전반적인 동작 및 디스플레이 장치(100)의 내부 구성요소들(120 내지 190)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부는 전원 유닛(190)에서부터 내부 구성요소들(120 내지 180)에게 공급되는 전원을 제어한다. 또한, 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 제어부는 저장 유닛에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
프로세서(111)는 화상 또는 영상에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)가 SoC(System On Chip)로 구현될 수 있다. 프로세서(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
프로세서(111)는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)를 포함할 수 있다. 또한, 프로세서(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
본 발명의 실시예에서 “제어부”라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함한다.
본 발명의 실시예에 따른 제어부는 디스플레이 장치의 화면에서, 모션 인식이 가능한 액티브 영역을 설정하고, 디스플레이 장치의 전 영역 모션 인식 모드(overall area motion recognition mode)를 부분 영역 모션 인식 모드(partial area motion recognition mode)로 변경하고, 액티브 영역에서 모션을 인식하고 인식된 모션이 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션인 경우, 상기 부분 영역 모션 인식 모드를 해제하도록 제어할 수 있다.
전 영역 모션 인식 모드란 카메라 유닛(145)을 이용하여 카메라 유닛(145)의 인식 범위 전체에서 인식되는 모션으로 디스플레이 장치(100)를 제어하는 모드를 의미한다. 부분 영역 모션 인식 모드란 카메라 유닛(145)의 인식 범위 내에서, 사용자 입력에 의해 설정된 액티브 영역에 대응되어 인식된 모션만으로 디스플레이 장치(100)를 제어하는 모드를 의미한다. 액티브 영역은 모션을 인식하기 위하여 설정되는 영역을 의미한다. 액티브 영역이란, 부분 영역 모션 인식 모드에서, 촬영 이미지 내에서 사용자의 모션 인식에 사용되는 국부적인 영역으로 정의할 수 있다.
제어부는 상기 부분 영역 모션 인식 모드에서 상기 액티브 영역에서만 모션을 인식하도록 제어할 수 있다.
제어부는 액티브 영역을 다양한 방식으로 설정할 수 있다. 예를 들어, 제어부는 액티브 영역을 원격 조정 장치, 음성 인식, 모션 인식 및 패널 키 중 하나를 이용하여 설정하도록 제어할 수 있다.
또한, 제어부는 액티브 영역을 액티브 영역 설정 템플릿을 이용하여 액티브 영역의 위치, 크기 및 형상 중 적어도 하나를 변경하여 설정하도록 제어할 수도 있다.
또한, 제어부는 액티브 영역 설정 템플릿뿐만 아니라 카메라 유닛을 통해 입력된 사용자 모션에 대응되는 면적을 가지는 액티브 영역을 설정할 수도 있다.
제어부는 액티브 영역의 설정을 위한 카메라 유닛을 통해 입력되는 사용자 모션을 저장 유닛에 미리 저장할 수 있다.
제어부는 설정된 액티브 영역의 면적을 화면의 면적보다 좁게 설정되도록 제어할 수 있다.
디스플레이 장치(100)에 최초 전원 공급되는 경우, 제어부는 액티브 영역 설정을 위한 액티브 영역 설정 화면을 자동으로 표시하도록 제어할 수 있다.
제어부는 카메라 유닛을 이용하여 카메라 유닛의 인식 범위 및 액티브 영역 중 하나를 통해 입력되는 해제 모션을 설정할 수 있다.
제어부는 액티브 영역의 면적을 인식된 해제 모션의 면적보다 넓게 설정되도록 제어할 수 있다.
제어부는 전 영역 모션 인식 모드에서 부분 영역 모션 인식 모드로의 변경을 원격 조정 장치, 음성 인식, 모션 인식 및 패널 키 중 하나를 이용하여 설정하도록 제어할 수 있다.
제어부는 전 영역 모션 인식 모드에서부터 부분 영역 모션 인식 모드로의 변경에 응답하여, 화면의 일 측에 부분 영역 모션 인식 모드에 대응되는 오브젝트를 표시하도록 제어할 수 있다.
제어부는 전 영역 모션 인식 모드에서부터 부분 영역 모션 인식 모드로의 변경에 응답하여, 투명도를 가지는 액티브 영역을 구별되는 화면과 함께 표시하도록 제어할 수 있다.
제어부는 전 영역 모션 인식 모드에서부터 부분 영역 모션 인식 모드로의 변경에 응답하여, 화면을 통한 시각 피드백 및 오디오 출력 유닛을 통한 청각 피드백 중 적어도 하나를 제공하도록 제어할 수 있다.
제어부는 전 영역 모션 인식 모드에서 카메라 유닛의 인식 범위 내에서 모션 인식이 가능하도록 제어할 수 있다.
제어부는 인식된 모션이 해제 모션과 다른 경우, 부분 영역 모션 인식 모드를 유지하도록 제어할 수 있다.
제어부는 인식된 모션이 해제 모션과 다른 경우, 부분 영역 모션 인식 모드의 유지에 대응되는 팝업을 표시하도록 제어할 수 있다.
제어부는 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하고, 부분 영역 모션 인식 모드에서 기설정된 액티브 영역에서만 모션을 인식하고, 인식된 모션과 저장된 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션이 동일한 경우, 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경하도록 제어할 수 있다.
제어부는 사용자 입력에 따라 전 영역 모션 인식 모드 및 부분 영역 모션 인식 모드 중 하나의 모드로 선택적으로 동작할 수 있다. 예를 들어, 제어부는 전 영역 모션 인식 모드에서 입력되는 다양한 사용자 모션을 이용하여 디스플레이 장치(100)를 제어할 수 있다. 전 영역 모션 인식 모드에서부터 부분 영역 모션 인식 모드로 변경되는 경우, 제어부는 액티브 영역을 제외한 나머지 영역에서 입력되는 사용자 모션을 인식하지 않거나, 인식하더라도 무시할 수 있다. 제어부는 부분 영역 모션 인식 모드에서 사용자가 의도치 않은 모션으로 인해 오동작이 발생하는 것을 방지할 수 있다.
부분 영역 모션 인식 모드에서 사용자는 다시 모션 제어를 하고자 하는 경우, 액티브 영역을 통해 해제 모션을 입력할 수 있다. 해제 모션에 응답하여 부분 영역 모션 인식 모드가 해제되고, 다시 전 영역 모션 인식 모드로 변경되는 경우, 제어부는 사용자 모션에 따라 다시 다양하게 디스플레이 장치(100)를 제어할 수 있다. 본 발명의 실시 예에서, 제어부는 부분 영역 모션 인식 모드는 특정 영역(예를 들어, 액티브 영역)을 제외한 나머지 영역을 마스킹하는 모드로 구현되었으나, 이에 한정되는 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 발명의 다른 실시 예에 따른 부분 영역 모션 인식 모드인 경우, 제어부는 액티브 영역 내에서 입력하는 다양한 사용자 모션에 따라 다양한 제어 동작을 수행할 수도 있다. 이런 경우, 제어부는 액티브 영역 이외의 나머지 영역에서 인식되는 사용자 모션에 대해서는 별다른 제어 동작을 수행하지 않게 되므로, 오동작을 막을 수 있다.
본 발명의 다른 실시예에 따른 부분 영역 모션 인식 모드는 상술한 두 가지 모드가 선택적으로 사용될 수 있다. 부분 영역 모션 인식 모드는 액티브 영역에서 인식되는 해제 모션에 의해 부분 영역 인식 모드를 해제 가능하며 나머지 영역에서 인식되는 모션에 대해서는 별다른 제어 동작을 수행하지 않는 제1 부분 영역 모션 인식 모드 및 액티브 영역에서 인식되는 제1 해제 모션의 인식 후 다양한 모션에 의해 다양한 동작을 수행하지만, 나머지 영역에서 인식되는 모션에 대해서는 별다른 동작을 수행하지 않는 제2 부분 영역 인식 모드를 포함할 수 있다.
제어부는 전체 영역 모션 인식 모드에서 제1 부분 영역 모션 인식 모드 또는 제2 부분 영역 모션 인식 모드로 바로 변경할 수도 있고, 제1 부분 영역 모션 인식 모드에서 제2 부분 영역 모션 인식 모드로 또는 그 반대로 변경할 수도 있다. 제1 부분 영역 모션 인식 모드에서 액티브 영역에서 해제 모션이 입력되는 경우, 제어부는 전체 영역 모션 인식 모드로 변경할 수 있다. 또한 액티브 영역에서 기 설정된 또 다른 모션(예를 들어, 제1 해제 모션)이 입력되는 경우, 제어부는 제2 부분 영역 모션 인식 모드로 변경할 수 있다.
본 발명의 다른 실시 예에 따르면, 제어부는 모션 인식이 가능한 액티브 영역을 설정하고, 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하고, 액티브 영역에서 인식된 모션이 해제 모션인 경우, 상기 부분 영역 모션 인식 모드를 유지하는 제2 부분 영역 모션 인식 모드로 변경하고, 제2 부분 영역 모션 인식 모드인 액티브 영역에서 모션을 인식하도록 제어하고, 부분 영역 모션 인식 모드는, 인식된 모션이 해제 모션인 경우, 부분 영역 모션 인식 모드를 해제하는 제1 부분 영역 모션 인식 모드 및 부분 영역 모션 인식 모드를 유지하는 제2 부분 영역 모션 인식 모드를 포함할 수 있다.
제어부의 구성 및 동작은 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
튜너 유닛(120)은 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 영상(video), 오디오(audio) 및 데이터(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너 유닛(120)은 사용자의 입력(예를 들어, 원격 조정 장치(200)의 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력, 패널 키(14)의 채널의 업다운 입력 등)에 대응되는 채널 번호(예를 들어, 케이블 방송 14번)에 대응되는 주파수 대역에서 영상, 오디오 및 데이터를 수신할 수 있다.
튜너 유닛(120)은 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너 유닛(120)은 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수 도 있다. 튜너 유닛(120)은 디스플레이 장치(100)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치(100)와 전기적으로 연결되는 튜너 유닛을 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 외부 입력 유닛(160, 도 2 참조)에 연결되는 튜너 유닛(도시되지 아니함). 등) 로 구현될 수 있다.
통신 유닛(130)은 제어부의 제어에 의해 디스플레이 장치(100)를 외부 장치(예를 들어, 서버)와 연결할 수 있다. 제어부는 통신 유닛(130)을 통해 연결된 외부 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신 유닛(130)은 디스플레이 장치(100)의 성능 및 구조에 대응하여 유선 이더넷(Ethernet, 131), 무선랜(132) 및 블루투스(bluetooth, 133) 중 하나를 포함할 수 있다. 또한, 통신 유닛(130)은 이더넷(181), 무선랜(182) 및 블루투스(183)의 조합을 포함할 수 있다.
마이크 유닛(140)은 사용자의 발화(utterance)된 음성을 수신한다. 마이크 유닛(140)은 수신된 음성을 전기 신호로 변환하여 제어부로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(100)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 마이크 유닛(140)의 인식 범위는 마이크 유닛(140)에서부터 사용자 위치까지 4 m 이내를 권장하며, 마이크 유닛(140)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.
마이크 유닛(140)은 디스플레이 장치(100)와 일체형 또는 분리될 수 있다. 분리된 마이크 유닛(140)은 통신 유닛(130) 또는 외부 입력 유닛(160)을 통해 디스플레이 장치(100)와 전기적으로 연결될 수 있다.
카메라 유닛(145)은 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신한다. 예를 들어, 카메라 유닛(145)의 인식 범위는 카메라 유닛(145)에서부터 사용자까지 0.5 ~ 5 m 이내 거리가 될 수 있다. 사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 카메라 유닛(145)은 제어부의 제어에 따라 수신된 영상을 전기 신호로 변환하여 제어부(110)로 출력할 수 있다.
제어부는 수신된 영상(예를 들어, 사용자 모션)을 모션 인식 알고리즘을 이용하여 분석하여 사용자 모션 인식 결과를 디스플레이 장치(100)의 화면에 출력할 수 있다. 제어부는 사용자 모션 인식 결과를 수신된 사용자 모션의 위치에 대응되는 화면의 상대적인 위치에 표시할 수 있다. 상대적인 위치는 카메라 유닛(145)에 수신되는 사용자 모션의 위치(예를 들어, 카메라 유닛(145)에서부터 사용자 모션까지의 거리를 포함하는 3차원 위치 또는 2차원 위치)와 화면에서 표시되는 사용자 모션 인식 결과의 위치(화면에 표시되는 2차원 위치)가 다름을 의미한다. 제어부는 TOF(Time of Flight) 센서 기술, 구조광(Structure Light) 센서 기술 또는 스테레오 매칭(Stereo matching) 센서 기술 등을 이용하여 카메라 유닛(145)에 수신되는 사용자 모션까지의 거리를 측정할 수 있다. 제어부는 사용자 모션까지의 거리를 고려하여 사용자 모션 인식 결과를 화면에 표시할 수 있다.
제어부는 출력된 모션 인식 결과를 이용하여 디스플레이 장치(100)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동을 포함할 수 있다.
카메라 유닛(145)은 렌즈(도시되지 아니함) 및 이미지센서(도시되지 아니함)로 구성될 수 있다. 카메라 유닛(145)은 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 예를 들어, 5배 광학 줌 또는 20배 디지털 줌을 지원할 수 있다. 카메라 유닛(145)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다.
카메라 유닛(145)이 복수인 경우, 전면 커버(12)의 제1 카메라(145)와 인접(예를 들어, 제1 카메라(145) 와의 간격이 2 cm 보다 크고, 8 cm 보다 작은)하는 제2 카메라(도시되지 아니함)를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다.
카메라 유닛(145)은 디스플레이 장치(100)와 일체형뿐만 아니라 분리될 수 있다. 분리된 카메라 유닛(145)을 포함하는 장치(도시되지 아니함)는 통신 유닛(130) 또는 외부 입력 유닛(160)을 통해 디스플레이 장치(100)와 전기적으로 연결될 수 있다.
광 수신 유닛(150)은 외부의 원격 조정 장치(200)에서부터 수신되는 광 신호를 광창(12a)을 통해 수신한다. 예를 들어, 광 수신 유닛(150)은 원격 조정 장치(200)에 있는 키(예를 들어, 전원 키의 눌림 또는 터치에 의해 생성되는 광 신호(예를 들어, 디스플레이 장치(100)의 전원 온(on)에 대응되는 제어 신호)를 수신할 수 있다.
외부 입력 유닛(160)은 제어부의 제어에 의해 디스플레이 장치(100)의 외부에서부터 영상(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 데이터(예를 들어, 재생 명령) 등을 수신한다. 외부 입력 유닛(160)은 HDMI 입력 포트(High-Definition Multimedia Interface port, 161), 컴포넌트 입력 잭(jack, 162), PC 입력 포트(port, 163), 및 USB 입력 잭(jack, 164) 중 하나를 포함할 수 있다. 외부 입력 유닛(160)은 HDMI 입력 포트(161), 컴포넌트 입력 잭(162), PC 입력 포트(163), 및 USB 입력 잭(jack, 164)의 조합을 포함할 수 있다.
디스플레이 유닛(170)은 제어부의 제어에 의해 튜너 유닛(120)을 통해 수신된 방송 신호에 포함된 영상을 화면에 표시한다. 디스플레이 유닛(170)은 통신 유닛(130) 또는 외부 입력 유닛(160)을 통해 입력되는 영상(예를 들어, 동영상)을 표시할 수 있다. 디스플레이 유닛(170)은 제어부의 제어에 의해 저장 유닛(190)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이 유닛(170)은 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
본 발명의 실시 예에 따른 디스플레이 유닛(170)는 제어부의 제어에 의해 부분 영역 모션 인식 모드의 해제에 대응되는 시각 피드백을 출력할 수 있다.
오디오 출력 유닛(175)은 제어부의 제어에 의해 튜너 유닛(120)을 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력 유닛(175)은 통신 유닛(130) 또는 외부 입력 유닛(160)을 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력 유닛(175)은 제어부의 제어에 의해 저장 유닛(190)에 저장된 오디오를 출력할 수 있다. 오디오 출력 유닛(175)은 스피커(176), 헤드폰 출력 단자(177) 또는 S/PDIF 출력 단자(178) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(175)는 스피커(176), 헤드폰 출력 단자(177) 및 S/PDIF 출력 단자(178)의 조합을 포함할 수 있다.
본 발명의 실시예에 따른 오디오 출력부(175)는 제어부의 제어에 의해 부분 영역 모션 인식 모드의 해제에 대응되는 청각 피드백을 출력할 수 있다.
저장 유닛(180)은 제어부의 제어에 의해 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장 유닛(180)은 튜너 유닛(Tuner, 120), 통신 유닛(130), 마이크 유닛(140), 카메라 유닛(145), 광 수신 유닛(150), 외부 입력 유닛(160), 디스플레이 유닛(170), 오디오 출력 유닛(175) 및 전원 유닛(190)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. 저장 유닛(180)은 디스플레이 장치(100) 및 제어부의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
본 발명의 실시예에서 “저장 유닛”이라는 용어는 저장 유닛(180), 제어부의 롬(112), 램(113) 또는 디스플레이 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
저장 유닛은 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)을 포함할 수 있다. 저장 유닛의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(100)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 또는 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 제어부는 저장 유닛에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
저장 유닛은 제어부의 제어에 의해 디스플레이 장치(100)의 전 영역 모션 인식 모드 및 디스플레이 장치(100)의 부분 영역 모션 인식 모드 여부를 저장할 수 있다.
저장 유닛은 제어부의 제어에 의해 산출되는 사용자 모션까지의 거리를 저장할 수 있다.
저장 유닛은 제어부의 제어에 의해 사용자 입력에 응답하여 설정되는 액티브 영역의 액티브 영역 정보를 저장할 수 있다. 액티브 영역 정보는 예를 들어, 액티브 영역의 각 꼭지점 위치, 액티브 영역 이름, 또는 액티브 영역 설정 시간 등을 포함할 수 있다.
저장 유닛은 카메라 유닛을 통해 입력되는 사용자 모션에 대응되는 면적을 가지는 액티브 영역의 액티브 영역 정보를 저장할 수 있다.
저장 유닛은 디스플레이 장치의 최초 전원 공급에 대응되는 참조 정보를 저장할 수 있다. 제어부는 참조 정보를 이용하여 액티브 영역 설정을 위한 액티브 영역 설정 화면을 자동으로 표시하도록 제어할 수 있다.
저장 유닛은 설정된 액티브 영역의 면적을 산출할 수 있다. 또한, 저장 유닛은 화면의 면적을 산출할 수 있다.
저장 유닛은 사용자 모션에 대응되어 설정된 액티브 영역의 면적을 저장 할 수 있다.
저장 유닛은 액티브 영역 설정을 위한 사용자 모션, 또는 사용자 모션의 종류를 기 저장할 수 있다.
저장 유닛은 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션에 대한 정보를 저장할 수 있다. 예를 들어, 해제 모션은 펼쳐진 손바닥, 주먹 쥔 손 및 연속적인 펼쳐진 손바닥에서 주먹 쥐기 중 하나를 포함할 수 있다. 저장 유닛은 해제 모션의 면적을 산출할 수 있다.
저장 유닛은 부분 영역 모션 인식 모드에 대응되는 부분 영역 모션 인식 모드 정보를 저장할 수 있다. 예를 들어, 부분 영역 모션 인식 모드 정보 는 부분 영역 모션 인식 모드 설정 여부, 부분 영역 모션 인식 모드 변경 시간 등을 포함할 수 있다.
저장 유닛은 제1 부분 영역 모션 인식 모드에 대응되는 제1 부분 영역 모션 인식 모드 정보 또는 제2 부분 영역 모션 인식 모드에 대응되는 제2 부분 영역 모션 인식 모드 정보를 저장할 수 있다. 저장되는 제1 및/또는 제2 부분 영역 모션 인식 모드 정보는 부분 영역 모션 인식 모드와 동일(예를 들어, 부분 영역 모션 인식 모드 설정 여부, 부분 영역 모션 인식 모드 변경 시간 등)할 수 있다.
저장 유닛은 부분 영역 모션 인식 모드에 대응되는 오브젝트를 저장할 수 있다. 예를 들어, 이미지, 텍스트, 아이콘, 또는 버튼을 포함할 수 있다.
저장 유닛은 액티브 영역 설정 화면의 투명도, 액티브 영역 설정 템플릿의 투명도 또는 액티브 영역의 투명도를 저장할 수 있다.
저장 유닛은 부분 영역 모션 인식 모드의 해제에 대응되는 시각 피드백 및 청각 피드백 중 적어도 하나를 저장할 수 있다. 예를 들어, 시각 피드백은 플래쉬 또는 동영상을 포함한다. 청각 피드백은 출력가능한 사운드를 포함한다.
저장 유닛은 부분 영역 모션 인식 모드의 유지에 대응되는 팝업을 저장할 수 있다.
전원 유닛(190)은 제어부의 제어에 의해 디스플레이 장치(100) 내부의 구성 요소들(120 내지 180)에게 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원 유닛(190)은 제어부의 제어에 의해 디스플레이 장치(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에게 전원을 공급할 수 있다. 전원이 공급되는 배터리는 디스플레이 유닛(170)과 후면 커버(13)사이에 위치할 수 있다. 또한, 배터리는 디스플레이 장치(100)의 전면 커버(12)에 위치할 수 있다.
도 1 및 도 2의 디스플레이 장치(100)에 도시된 구성 요소들(예를 들어, 110 내지 190)은 디스플레이 장치(100)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 위치(예를 들어, 110 내지 190)는 디스플레이 장치(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 3은 본 발명의 실시예에 따른 디스플레이 장치의 모션 인식방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 7g는 본 발명의 실시예에 따른 디스플레이 장치의 모션 인식방법의 예를 나타내는 도면이다.
도 3의 단계(S0301)에서, 영상을 표시한다.
도 4a를 참조하면, 제어부는 디스플레이 장치(100)의 화면을 통해 영상(410, 예를 들어, 화상을 포함하는)을 표시한다.
표시되는 영상(410)은 튜너 유닛(120)을 통해 수신된 영상, 통신 유닛(130)을 통해 수신되는 영상, 외부 입력 유닛(160)을 통해 수신되는 영상 및 저장 유닛(180)에 저장된 영상 중 적어도 하나를 포함할 수 있다. 또한 영상은 튜너 유닛(120)을 통해 수신된 화상, 통신 유닛(130)을 통해 수신되는 화상, 외부 입력 유닛(160)을 통해 수신되는 화상 및 저장 유닛(180)에 저장된 화상 중 적어도 하나를 포함할 수 있다.
도 3의 단계(S302)에서, 액티브 영역을 설정한다.
제어부는 원격 조정 장치(200), 마이크 유닛(140), 카메라 유닛(145) 및 패널 키(14) 중 하나에 의해 입력되는 액티브 영역 설정 요청(request)을 검출할 수 있다. 액티브 영역 설정 요청은 원격 조정 장치(200)의 키(예를 들어, “액티브 영역 설정 키”, 도시되지 아니함), 마이크 유닛(140)을 통해 입력되는 음성(예를 들어, “액티브 영역 설정”), 카메라 유닛(145)을 통해 입력되는 모션(예를 들어, 액티브 영역 설정에 대응되는 모션인 “주먹 쥐고 흔들기”) 또는 패널 키(14)에 포함되는 하나의 키(예를 들어, “액티브 영역 설정 키”, 도시되지 아니함)등에 의해 입력될 수 있다.
디스플레이 장치(100)는 전 영역 모션 인식 모드와 부분 영역 모션 인식 모드로 동작할 수 있다. 예를 들어, 제어부는 카메라 유닛(145)을 이용하여 카메라 유닛(145)의 인식 범위 전체에서 인식되는 모션으로 디스플레이 장치(100)를 제어하는 전 영역 모션 인식 모드로 동작할 수 있다. 또한, 제어부는 카메라 유닛(145)의 인식 범위 내에서, 사용자 입력에 의해 설정된 액티브 영역에 대응되어 인식된 모션만으로 디스플레이 장치(100)를 제어하는 부분 영역 모션 인식 모드로 동작할 수 있다.
액티브 영역은 카메라 유닛(145)을 통해 입력되는 사용자 모션에 대응하여 화면에 표시되는 상대적인 영역을 의미한다. 제어부는 카메라 유닛(145)을 이용하여 디스플레이 장치(100)에서부터 이격된 위치에 있는 사용자 모션(예를 들어, 2차원 영상 또는 3차원 영상)을 화면 내 상대적인 위치에 표시할 수 있다. 제어부는 카메라 유닛(145)을 통해 입력되는 사용자 모션 및 사용자 모션까지의 거리에 대응되는 화면 내 상대적인 위치에 표시할 수 있다.
제어부는 부분 영역 모션 인식 모드에서 액티브 영역을 제외한 나머지 영역을 마스크(mask)영역으로 설정할 수 있다. 제어부는 부분 영역 모션 인식 모드에서 카메라 유닛(145)의 인식 범위 중 마스크 영역에서 입력되는 모션은 인식하지 않을 수 있다. 또한, 제어부는 부분 영역 모션 인식 모드에서 카메라 유닛(145)의 인식 범위 중 마스크 영역에서 입력되는 모션을 인식하지만 액티브 영역이 아니므로 디스플레이 장치(100)를 제어할 수 없다.
제어부는 카메라 유닛(145)을 이용하여 카메라 유닛(145)의 인식 범위 중 일부 영역에서 입력되는 결정된 모션(예를 들어, 해제 모션)만을 인식할 수 있다. 또한, 제어부는 카메라 유닛(145)을 이용하여 카메라 유닛(145)의 인식 범위 중 일부 영역에서만 입력되는 모션을 인식할 수 있다. 또한, 제어부는 카메라 유닛(145)의 광학 줌 또는 디지털 줌을 이용하여 카메라 유닛(145)의 인식 범위 중 일부 영역에서만 입력되는 모션을 인식할 수 있다. 카메라 유닛(145)의 인식 범위 중 일부 영역을 제외한 나머지 영역은 마스크 영역으로 처리될 수도 있다.
디스플레이 장치(100)에 최초 전원 공급 후에 최초 액티브 영역을 설정하는 경우, 제어부는 전 영역 모션 인식 모드에서 액티브 영역을 설정할 수 있다.
본 발명의 실시예에 따른 “사용자 입력”은 원격 조정 장치(200)의 키(도시되지 아니함), 마이크 유닛(140)을 통해 수신되는 사용자 음성, 카메라 유닛(145)을 통해 수신되는 사용자 모션 또는 패널 키(14)의 키(도시되지 아니함)를 포함한다.
본 발명의 다른 실시예에 따른 디스플레이 장치(100)에 최초 전원이 공급되는 경우, 도 4b 및 도 4c를 참조하면, 제어부는 최초의 액티브 영역 설정을 위한 액티브 영역 설정 화면(420)을 표시할 수 있다.
제어부는 디스플레이 장치(100)에 최초 전원 공급의 여부에 대응되는 참조 정보(reference information)를 이용하여 최초 전원 공급 여부를 확인할 수 있다. 예를 들어, 참조 정보는 플래그(flag) 형태로 디스플레이 장치(100)가 생산될 때 세트(set)될 수 있다. 제어부는 플래그로부터 참조 정보를 확인하여, 디스플레이 장치(100)에 최초 전원 공급이 됨을 인식할 수 있다. 최초 전원 공급 여부는 상기의 참조 정보에 한정되는 것이 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
도 4b를 참조하면, 제어부는 액티브 영역 설정 요청에 응답하여 액티브 영역을 설정하기 위한 액티브 영역 설정 화면(420)을 영상(410)위에 오버레이(overlay)되게 표시한다. 투명도(transparency, 예를 들어 0 내지 100%)를 가지는 액티브 영역 설정 화면(420)은 영상(410)과 함께 표시된다. 투명도가 없는 액티브 영역 설정 화면(420)가 표시되는 경우, 투명도가 없는 액티브 영역 설정 화면(420)만이 표시될 수 있다. 영상(410)은 투명도가 없는 액티브 영역 설정 화면(420)에 의해 가려져, 표시되지 않는다. 또한, 결정된 시간(예를 들어, 500 msec)이 경과되는 경우, 액티브 영역 설정 화면(420)은 표시되지 않고, 영상(410)만이 표시될 수도 있다.
도 4c를 참조하면, 제어부는 표시되는 액티브 영역 설정 화면(420)의 일측에 액티브 영역 설정 템플릿(430)을 표시한다. 투명도를 가지는 액티브 영역 설정 템플릿(430)은 오버레이되어 영상(410)과 함께 표시된다. 액티브 영역 설정 템플릿(430)은 영상(410)의 네 측면 중 하나에 위치할 수 있다. 또한 투명도를 가지는 액티브 영역 설정 템플릿(430)은 오버레이되어 액티브 영역 설정 화면(420)과 함께 표시될 수 있다. 액티브 영역 설정 템플릿(430)은 액티브 영역 설정 화면(420)의 네 측면 중 하나에 위치할 수 있다.
액티브 영역 설정 템플릿(430)은 사각형 템플릿(431), 원형 템플릿(432), 또는 삼각형 템플릿(433) 또는 십자형 템플릿(434)을 포함할 수 있다. 또한, 액티브 영역 설정 템플릿(430)은 표시된 템플릿(431 내지 434)뿐만 아니라 다양한 템플릿(예를 들어, 하트 등, 도시되지 아니함)을 포함할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
사용자의 입력(예를 들어, 원격 조정 장치(200)의 방향 키(도시되지 아니함), 사용자 음성(예를 들어, 사각형 템플릿 이동), 사용자 모션(예를 들어, 주먹 쥐고 이동) 또는 패널 키(14)의 방향 키(도시되지 아니함))에 의해 선택된 사각형 템플릿(431)이 영상(410) 위로 드래그 앤 드롭(drag and drop)되는 경우, 제어부는 사각형 템플릿(431)을 영상(410)내 드래그 앤 드롭된 위치에 표시할 수 있다.
도 4d를 참조하면, 사용자의 입력에 의해 위치, 크기 및/또는 형상이 변형된 하나의 사각형 템플릿이 표시된다. 사각형 템플릿(431)은 사용자의 입력에 의해 드래그 앤 드롭에 의한 위치 이동, 크기 변형 및/또는 형상 변형될 수 있다. 제어부는 사용자의 입력에 의해 위치, 크기 및/또는 형상이 변형된 사각형 템플릿을 표시할 수 있다. 예를 들어, 변형된 사각형 템플릿은 사각형 영역(440), 세로 바 영역(441) 및 가로 바 영역(442) 중 하나 또는 사각형 영역(440), 세로 바 영역(441) 및 가로 바 영역(442)의 조합을 포함할 수 있으나, 이에 한정되는 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. 사용자의 입력에 의해 하나 또는 복수의 사각형 영역이 표시될 수 있다.
카메라 유닛(145)을 통해 수신되는 사용자 모션(예를 들어, 사각형 템플릿의 위치이동, 사각형 템플릿의 크기 변형 등)은 카메라 유닛(145)의 인식 범위에 대응되어 화면의 상대적인 위치에 표시될 수 있다. 제어부는 카메라 유닛(145)을 통해 인식된 모션을 이용하여 화면에 표시되는 사각형 템플릿(440 내지 442)을 조작할 수 있다.
제어부는 사용자의 입력에 의해 위치, 크기 및/또는 형상이 변형된 사각형 영역(예를 들어, 440)을 화면에 표시할 수 있다. 결정된 시간(예를 들어, 1 sec)동안 사용자 입력이 없는 경우, 제어부는 사각형 영역(440)을 예비(preliminary) 액티브 영역(440a)으로 결정할 수 있다.
제어부는 사용자의 입력에 의해 위치, 크기 및/또는 형상이 변형된 각각의 사각형 영역(예를 들어, 440 내지 442)을 화면에 표시할 수 있다. 결정된 시간(예를 들어, 1 sec)동안 사용자 입력이 없는 경우, 제어부는 각각의 사각형 영역(예를 들어, 440 내지 442) 모두를 예비(preliminary) 액티브 영역(440a를 제외한 나머지는 도시되지 아니함)으로 결정할 수 있다.
도 4e를 참조하면, 제어부는 액티브 영역 설정을 위한 팝업(popup, 450) 및/또는 포인터(450a)를 화면에 표시한다. 포인터(450a)는 기본값(default)으로 예(451)에 위치할 수 있다. 사용자의 입력에 의해 예(451)가 선택되는 경우, 제어부는 예비 액티브 영역(440a)를 액티브 영역(443)으로 설정할 수 있다. 제어부는 액티브 영역(443)에 대응되는 액티브 영역 정보(예를 들어, 액티브 영역의 각 꼭지점 위치, 액티브 영역 이름, 또는 액티브 영역 설정 시간 등)을 저장 유닛(180)에 저장할 수 있다.
예를 들어, 설정된 액티브 영역은 사각형 액티브 영역(443)이다. 설정된 액티브 영역(443)의 면적은 디스플레이 장치(100)의 화면 면적과 비교하여 좁을 수 있다.
제어부는 사용자의 입력에 의해 표시되는 복수의 예비 액티브 영역(도시되지 아니함)에 대하여 복수의 액티브 영역을 설정할 수 있다. 제어부는 복수의 액티브 영역에 대응되는 각각의 액티브 영역 정보를 저장 유닛에 저장할 수도 있다. 설정된 복수의 액티브 영역들의 면적 합은 디스플레이 장치(100)의 화면 면적과 비교하여 좁을 수 있다.
본 발명의 다른 실시예에 따른 액티브 영역은 사용자 입력뿐만 아니라 제어부의 제어에 의해 카메라 유닛(145)을 이용하여 자동으로 설정될 수 있다.
액티브 영역 설정 요청이 검출되는 경우, 제어부는 결정된 설정에 따라 카메라 유닛(145)을 통해 입력되는 사용자 모션을 검출할 수 있다. 디스플레이 장치(100)에 최초 전원이 공급되는 경우, 제어부는 사용자 입력 없이도 액티브 영역 설정 요청을 자동으로 결정할 수도 있다. 결정된 설정은 액티브 영역의 자동 설정을 의미할 수 있다.
사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일 부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 액티브 영역 자동 설정을 위한 사용자 신체 일부분(예를 들어, 손)에 대응되는 사용자 신체 정보는 저장 유닛에 기저장될 수 있다.
액티브 영역 자동 설정에 응답하여 제어부는 카메라 유닛(145)을 동작하고, 카메라 유닛(145)을 이용하여 사용자 모션을 인식하고, 모션 인식 결과를 출력하고, 모션 인식 결과를 저장 유닛에 저장할 수 있다. 결정된 설정은 저장 유닛에 저장되어 있다. 결정된 설정은 제어부의 제어에 의해 디스플레이 장치(100)에 최초 전원 공급 또는 사용자 입력에 의해 실행되도록 설정될 수 있다.
디스플레이 장치(100)에서 인식가능한 사용자 모션은 예를 들어, 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 일부분의 모션 등을 포함할 수 있다. 모션 인식 결과에 응답하여 디스플레이 장치(100)에 표시되는 사용자 모션은 하나 또는 복수일 수 있으며, 사용자가 한 명인 경우뿐만 아니라 복수의 사용자 모션이 인식될 수 있다.
제어부는 인식된 적어도 하나의 사용자 모션(도시되지 아니함)을 액티브 영역 설정 화면(420) 위 또는 영상(410)위에 표시할 수 있다.
디스플레이 장치(100)의 화면에 모션 인식되어 표시되는 적어도 하나의 사용자 모션(도시되지 아니함) 중 하나의 사용자 모션이 사용자 입력에 의해 액티브 영역 설정에 대응되어 선택될 수 있다. 표시되는 적어도 하나의 사용자 모션(도시되지 아니함) 중 복수의 사용자 모션이 사용자 입력에 의해 액티브 영역 설정에 대응되어 선택될 수 있다.
제어부는 결정된 사용자 모션(도시되지 아니함)의 면적을 산출할 수 있다. 산출된 사용자 모션의 면적에 따라 제어부는 사용자 모션에 대응되는 액티브 영역(도시되지 아니함)의 면적을 산출할 수 있다. 제어부는 산출되는 액티브 영역의 면적을 산출된 사용자 모션의 면적대비 110 내지 400% 로 설정할 수 있다. 산출되는 액티브 영역의 면적은 산출된 사용자 모션의 면적보다 넓으면 충분하나 모션 인식의 인식 효율을 고려하여 결정될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 발명의 다른 실시예에 따른 복수의 사용자 모션에 대응되는 복수의 액티브 영역들의 면적 합은 디스플레이 장치(100)의 화면 면적보다 좁을 수 있다.
제어부는 설정된 액티브 영역(도시되지 아니함)의 크기 및/또는 형상을 사용자 입력에 의해 변형할 수도 있다.
도 3의 단계(S302)에서, 액티브 영역 설정이 완료되는 경우, 도 3의 단계(S303)로 진행한다.
도 3의 단계(S303)에서, 해제 모션을 설정한다.
액티브 영역 설정이 완료되는 경우, 제어부는 카메라 유닛(145)를 이용하여 입력되는 사용자 모션을 디스플레이 장치(100)의 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션을 설정한다. 디스플레이 장치(100)의 전 영역 모션 인식 모드에서 카메라 유닛(145)의 인식 범위는 카메라 유닛(145)에서부터 사용자 위치까지 1.5 ~ 4 m 이내 거리를 권장하며, 카메라 유닛(145)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 대응하여 달라질 수도 있다.
디스플레이 장치(100)는 카메라 유닛(145)의 인식 범위에서 인식된 사용자 모션으로 디스플레이 장치(100)를 제어가능한 전 영역 모션 인식 모드와 카메라 유닛(145)의 인식 범위 중 설정된 액티브 영역에서만 인식된 사용자 모션으로 디스플레이 장치(100)를 제어가능한 부분 영역 모션 인식 모드를 포함할 수 있다.
도 5a 내지 도 5c를 참조하면, 제어부는 카메라 유닛(145)을 통해 입력되는 사용자 모션을 액티브 영역(443)에서 검출할 수 있다. 제어부는 입력된 사용자 모션을 분석하여 액티브 영역(443)에서만 검출되는 해제 모션으로 설정할 수 있다. 예를 들어, 설정된 해제 모션은 펼쳐진 손바닥(510), 주먹 쥔 손(511) 및 연속적인 펼쳐진 손바닥에서 주먹 쥐기(512) 중 하나를 포함할 수 있다. 또한, 설정된 해제 모션은 하나뿐만 아니라 복수일 수 있다. 예를 들어, 각각의 사용자에 대응되는 해제 모션을 각각 설정할 수도 있다.
카메라 유닛(145)에서부터 연장되는 두 개의 선(line)은 카메라 유닛(145)의 인식 범위를 2차원으로 나타낸 것 일 뿐, 카메라 유닛(145)의 인식 범위를 한정하려는 의도는 아니다.
본 발명의 다른 실시예에 따른 제어부는 해제 모션의 검출을 도 3의 단계(S302)에서 설정된 액티브 영역(443)뿐만 아니라 카메라 유닛(145)의 인식 범위에서도 가능하다. 카메라 유닛(145)이 인식 범위에서의 해제 모션 검출은 액티브 영역(433)에서의 해제 모션 검출과 실질적으로 동일하므로 중복되는 설명은 생략된다.
액티브 영역(443)에서 표시되는 해제 모션(510 내지 512)은 액티브 영역(433)에 대응되는 디스플레이 장치(100)에서 이격된 상대적인 위치에서 사용자 모션이 입력됨을 의미할 수 있다.
액티브 영역(443)에서 카메라 유닛(145)를 통해 입력되는 사용자 모션의 일부가 표시되는 경우, 사용자는 액티브 영역(443)에서 사용자 모션을 입력하기 위한 하나의 가이드로서 활용할 수 있다.
제어부는 설정된 해제 모션(510 내지 512)에 대응되는 해제 모션의 면적을 산출할 수 있다. 제어부는 해제 모션의 외곽선(outline, 도시되지 아니함)을 이용하여 해제 모션의 면적을 산출할 수 있다. 해제 모션의 외곽선은 폐곡선(close curve) 또는 개곡선(open curve)을 포함할 수 있다. 또한, 외곽선은 곡선이 아니라 직선일 수도 있다. 예를 들어, 해제 모션(510 내지 512)의 면적은 얼굴 면적, 펼쳐진 손바닥 면적, 주먹 쥔 손 면적 또는 펼쳐진 손바닥에서 연속의 주먹 쥔 손 면적을 포함할 수 있다. 외곽선을 이용하여 면적을 구하는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 5d를 참조하면, 제어부는 산출된 해제 모션의 면적을 이용하여 액티브 영역(443)의 유효성을 판단할 수 있다. 설정된 액티브 영역(443)의 면적이 해제 모션(예를 들어, 510)의 면적보다 넓은 경우, 제어부는 사용자의 해제 모션 설정을 위한 팝업(520) 및/또는 포인터(520a)를 화면에 표시한다.
팝업(520) 내에는 YES(521)나 NO와 같은 메뉴들이 표시될 수 있다. 포인터(520a)는 기본값(default)으로 YES(521)에 위치할 수 있다. 사용자의 입력에 의해 YES(521)가 선택되는 경우, 제어부는 예비 해제 모션(예를 들어, 510)을 해제 모션(513)으로 설정할 수 있다. 제어부는 해제 모션(513)에 대응되는 해제 모션 정보(예를 들어, 해제 모션의 형상, 크기, 면적, 이름, 또는 해제 모션 설정 시간 등)를 저장 유닛에 저장할 수 있다.
액티브 영역(443)의 면적이 해제 모션(예를 들어, 510)의 면적보다 좁은 경우, 제어부는 해제 모션 설정 에러에 대응되는 팝업(도시되지 아니함)을 화면에 표시할 수 있다. 사용자는 해제 모션 설정 에러에 응답하여 해제 모션을 재설정할 수도 있다.
해제 모션의 설정 단계(S303)는 액티브 영역의 설정 단계(S302)보다 우선하여 진행될 수도 있다. 예를 들어, 해제 모션을 먼저 설정하는 경우, 제어부는 카메라 유닛(145)의 인식 범위에서 입력되는 사용자 모션을 이용하여 해제 모션을 설정할 수 있다.
도 3의 단계(S303)에서, 해제 모션의 설정이 완료되는 경우, 도 3의 단계(S304)로 진행한다.
도 3의 단계(S304)에서, 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경한다.
도 6a를 참조하면, 부분 영역 모션 인식 모드의 변경을 위한 사용자의 입력이 수신되는 경우, 제어부는 모션 인식 잠금 모드 변경을 위한 팝업(610) 및/또는 포인터(610a)를 화면에 표시한다. 포인터(610a)는 기본값(default)으로 YES(611)에 위치할 수 있다. 사용자 입력에 의해 YES(611)가 선택되는 경우, 제어부는 디스플레이 장치(100)의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경할 수 있다. 제어부는 모션 인식 잠금 모드에 대응되는 부분 영역 모션 인식 모드 정보(예를 들어, 부분 영역 모션 인식 모드 설정 여부, 부분 영역 모션 인식 모드 변경 시간 등)를 저장 유닛에 저장할 수 있다.
도 6b를 참조하면, 제어부는 화면의 일측에 표시되는 채널 정보(621)에 변경된 부분 영역 모션 인식 모드에 대응되는 오브젝트(621)를 표시한다. 표시되는 오브젝트(621)는 예를 들어, 이미지, 텍스트, 아이콘, 또는 버튼을 포함할 수 있다. 채널 정보(621) 화면은 영상의 방송국명, 지상파/케이블 여부, 채널 번호, 선호 채널 등을 포함할 수 있다. 제어부는 채널 정보(621)를 결정된 시간(예를 들어, 1 sec) 동안 화면에 표시할 수 있다. 제어부는 오브젝트(621)을 채널 정보(621)가 아닌 다른 영역에 표시할 수 있으며, 결정된 시간(예를 들어, 1 sec)동안 표시할 수 있다.
도 3의 단계(S304)에서, 부분 영역 모션 인식 모드로 변경되는 경우, 도 3의 단계(S305)로 진행한다.
도 3의 단계(S305)에서, 액티브 영역에서 해제 모션을 인식한다.
도 7a를 참조하면, 디스플레이 장치(100)는 현재 부분 영역 모션 인식 모드이다. 제어부는 디스플레이 장치(100)의 부분 영역 모션 인식 모드 변경에 대응하여 화면에 투명도를 가지는 액티브 영역(433)을 함께 표시할 수 있다. 표시되는 액티브 영역(443)의 투명도는 영상과 액티브 영역(443)을 구분할 수 있으면 충분하다.
도 7b를 참조하면, 제어부는 카메라 유닛(145)을 통해 입력되는 사용자 모션(510)의 디스플레이 장치(100)의 화면 내 상대 위치를 결정할 수 있다. 제어부는 카메라 유닛(145)을 통해 입력되는 사용자 모션(510)이 액티브 영역(433)에서 인식가능 여부를 결정할 수 있다. 제어부는 액티브 영역 내에서 사용자 모션(510)의 상대적인 위치를 표시할 수 있다. 또한, 제어부는 인식된 사용자 모션(510)의 상대적인 위치를 액티브 영역과 함께 표시할 수 있다. 제어부는 모션 인식 결과에 응답하여 액티브 영역(433)에서 인식된 사용자 모션(510)의 일부 또는 전부를 표시할 수 있다.
도 3의 단계(S306)에서, 인식된 모션이 해제 모션과 동일 여부를 결정한다.
제어부는 저장 유닛에 저장된 해제 모션 정보와 액티브 영역(443)에서 인식된 모션의 비교할 수 있다. 제어부는 해제 모션 정보와 인식된 모션의 비교결과에 대응하여 인식된 모션과 해제 모션의 동일 여부를 결정할 수 있다.
도 3의 단계(S306)에서, 인식된 모션과 해제 모션이 동일한 경우, 도 3의 단계(S307)로 진행한다.
도 3의 단계(S307)에서, 부분 영역 모션 인식 모드를 해제한다.
도 7c를 참조하면, 인식된 모션과 해제 모션이 동일한 경우, 제어부는 화면에 부분 영역 모션 인식 모드의 해제를 위한 팝업(710) 및/또는 포인터(710a)를 표시한다. 포인터(710a)는 기본값(default)으로 예(711)에 위치할 수 있다. 사용자의 입력에 의해 예(711)가 선택되는 경우, 제어부는 디스플레이 장치(100)의 부분 영역 모션 인식 모드를 해제할 수 있다. 또한, 팝업(710) 및/또는 포인터(710a)를 표시가 표시되고, 결정된 시간(예를 들어, 500 msec)동안 사용자 입력이 수신되지 않는 경우, 제어부는 디스플레이 장치(100)의 부분 영역 모션 인식 모드를 해제할 수도 있다.
본 발명의 다른 실시예에 따른 부분 영역 모션 인식 모드의 해제는 팝업(710) 및/또는 포인터(710a)의 표시 없이 진행될 수 있다. 예를 들어, 인식된 모션과 해제 모션이 동일한 경우, 제어부는 부분 영역 모션 인식 모드 해제에 대응되는 알림(예를 들어, 팝업(710) 및/또는 포인터(710a))을 표시하지 않고, 부분 영역 모션 인식 모드를 해제할 수도 있다. 제어부는 자동으로 부분 영역 모션 인식 모드를 해제할 수도 있다.
도 3의 단계(S308)에서, 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경한다.
도 7d를 참조하면, 제어부는 디스플레이 장치(100)의 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경한다. 제어부는 전 영역 모션 인식 모드 변경에 대응되는 시각 피드백을 사용자에게 제공할 수 있다. 시각 피드백은 액티브 영역(433)을 화면 크기까지 등속(constant velocity)으로 점진적인 확대(433 → 433a → l433b → 443c)하는 형태로 표현될 수 있다. 또한, 제어부는 액티브 영역(433)외의 화면에서 별도의 플래쉬 또는 동영상과 같은 전 영역 모션 인식 모드 변경에 대응되는 시각 피드백을 제공할 수 있다.
제어부는 전 영역 모션 인식 모드 변경에 대응되는 청각 피드백(예를 들어, 사운드 출력)을 오디오 출력 유닛(175)을 통해 출력할 수 있다. 제어부는 전 영역 모션 인식 모드 변경에 대응되는 시각 피드백 및 청각 피드백 중 하나를 사용자에게 제공하거나 시각 피드백 및 청각 피드백의 조합을 사용자에게 제공할 수 있다.
제어부는 별도의 피드백 없이 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경할 수 있다.
도 7e를 참조하면, 전 영역 모션 인식 모드로 변경된 디스플레이 장치(100)를 나타낸다. 제어부는 화면 크기로 확대된 액티브 영역(443c)을 표시할 수 있다. 전 영역 모션 인식 모드로 변경된 디스플레이 장치(100)는 카메라 유닛(145)의 인식 범위에서 입력되는 사용자의 모션을 인식할 수 있다. 전 영역 모션 인식 모드에서, 제어부는 카메라 유닛(145)을 통해 입력되는 사용자 모션에 응답하여 디스플레이 장치(100)를 제어(예를 들어, 채널 조정 등)할 수 있다.
본 발명의 다른 실시예에 따른 제어부는 인식된 모션이 제1 해제 모션과 동일한 경우 부분 영역 모션 인식 모드(예를 들어, 제2 부분 영역 모션 인식 모드)를 유지할 수 있다. 제어부는 부분 영역 모션 인식 모드는 제1 부분 영역 모션 인식 모드 및 제2 부분 영역 모션 인식 모드를 포함할 수 있다. 인식된 모션이 해제 모션(510)과 동일한 경우, 제1 부분 영역 모션 인식 모드는 전 영역 모션 인식 모드로 해제되는 부분 영역 모션 인식 모드를 의미한다. 인식된 모션이 제1 해제 모션(도시되지 아니함, 예를 들어 손가락으로 V로 하는 제스처(V sign))과 동일한 경우, 제2 부분 영역 모션 인식 모드는 부분 영역 모션 인식 모드를 유지하는 부분 영역 모션 인식 모드를 의미한다. 해제 모션과 제1 해제 모션은 다를 수 있다.
제어부는 사용자 입력에 의해 부분 영역 모션 인식 모드를 제1 부분 영역 모션 인식 모드 및 제2 부분 영역 모션 인식 모드 중 하나로 설정(예를 들어, 기본값은 제1 부분 영역 모션 인식 모드)할 수 있다. 인식된 모션이 해제 모션 및 제1 해제 모션과 동일한 경우, 제어부는 제1 부분 영역 모션 인식 모드 및 제2 부분 영역 모션 인식 모드 중 하나의 선택에 대응되는 팝업(도시되지 아니함) 및/또는 지시자(도시되지 아니함)를 표시할 수 있다. 인식된 모션이 해제 모션과 동일한 경우, 팝업(도시되지 아니함)은 “해제 모션이 인식되었습니다. 제1 부분 영역 모션 인식으로 변경?”을 표시할 수 있다. 또는 인식된 모션이 제1 해제 모션과 동일한 경우, 팝업(도시되지 아니함)은 “제1 해제 모션이 인식되었습니다. 제2 부분 영역 모션 인식으로 변경?”을 표시할 수 있다. 제2 부분 영역 모션 인식 모드가 선택되는 경우, 제어부는 제2 부분 영역 모션 인식 모드에 대응하여 부분 영역 모션 인식 모드를 유지할 수 있다.
또한, 제1 부분 영역 모션 인식 모드가 선택되는 경우, 제어부는 제1 부분 영역 모션 인식 모드에 대응하여 부분 영역 모션 인식 모드를 해제할 수 있다.
제어부는 제2 부분 영역 모션 인식 모드에 대응되는 시각 피드백을 사용자에게 제공할 수 있다. 시각 피드백은 화면 크기에서부터 액티브 영역(433)까지 등속(constant velocity)으로 점진적인 축소(433c → 433b → l433a → 443)되는 형태로 표현될 수 있다. 또한, 제어부는 액티브 영역(433)외의 화면에서 별도의 플래쉬 또는 동영상과 같은 전 영역 모션 인식 모드 변경에 대응되는 시각 피드백을 제공할 수 있다.
제어부는 제2 부분 영역 모션 인식 모드에 대응되는 청각 피드백(예를 들어, 사운드 출력)을 오디오 출력 유닛(175)을 통해 출력할 수 있다. 제어부는 전 영역 모션 인식 모드 변경에 대응되는 시각 피드백 및 청각 피드백 중 하나를 사용자에게 제공하거나 시각 피드백 및 청각 피드백의 조합을 사용자에게 제공할 수 있다.
제어부는 별도의 피드백 없이 제2 부분 영역 모션 인식 모드에 대응하여 부분 영역 모션 인식 모드를 유지할 수도 있다.
제2 부분 영역 모션 인식 모드에서, 제어부는 액티브 영역(433)에서 사용자의 모션을 인식할 수 있다. 제2 부분 영역 모션 인식 모드에서, 제어부는 카메라 유닛(145)을 이용하여 액티브 영역(433)에서 인식되는 사용자 모션을 인식에 대응하여 디스플레이 장치(100)를 제어(예를 들어, 볼륨 조정 등)할 수 있다.
또한, 제2 부분 영역 모션 인식 모드에서, 액티브 영역에서 해제 모션(510)이 입력되는 경우, 제어부는 제2 부분 영역 모션 인식 모드를 전체 영역 모션 인식 모드로 변경할 수도 있다.
도 3의 단계(S308)에서, 부분 영역 모션 인식 모드가 전 영역 모션 인식 모드로 변경되는 경우, 디스플레이 장치의 모션 인식방법이 종료된다.
도 3의 단계(S306)으로 되돌아 가서, 인식된 모션이 해제 모션과 다른 경우, 도 3의 단계(S309)로 진행한다.
도 3의 단계(S309)에서, 부분 영역 모션 인식 모드를 유지한다.
도 7f를 참조하면, 저장 유닛에 저장된 해제 모션 정보와 액티브 영역(443)에서 인식된 모션이 다른 경우(예를 들어, 인식된 사용자 모션(511)과 해제 모션(510)에 대응되는 해제 모션 정보가 다른), 제어부는 화면에 부분 영역 모션 인식 모드 유지를 위한 팝업(720) 및/또는 포인터(720a)를 표시한다. 포인터(720a)는 기본값(default)으로 예(721)에 위치할 수 있다. 사용자의 입력에 의해 예(711)가 선택되는 경우, 제어부는 액티브 영역(433)에서 사용자 모션을 추가로 인식할 수 있다.
도 7g를 참조하면, 저장 유닛에 저장된 해제 모션 정보와 액티브 영역(443)에서 인식된 모션이 다른 경우(예를 들어, 인식된 사용자 모션(510a)의 일부와 해제 모션(510)이 다른), 제어부는 화면에 부분 영역 모션 인식 모드 유지를 위한 팝업(730) 및/또는 포인터(730a)를 표시한다. 표시되는 팝업(730)은 액티브 영역(443)에서 사용자 모션을 입력하기 위한 하나의 가이드로서 활용할 수 있다.
제어부는 인식된 사용자 모션의 일부(510a)에 대응하여 액티브 영역(433)의 위치를 이동하거나 또는 액티브 영역(433)의 면적을 확대할 수 있다. 액티브 영역(433)의 확대는 입력된 일부 모션(510a)의 면적에 대응하여 결정될 수 있다. 예를 들어, 사용자 모션의 일부(510a) 면적이 해제 모션(510)의 50% 인 경우, 제어부는 일부 모션(510a)의 나머지가 있는 방향으로 액티브 영역(433)을 이동할 수 있다. 또한, 사용자 모션의 일부(510a) 면적이 해제 모션(510)의 50% 인 경우, 제어부는 액티브 영역(433)의 면적을 300% 확대할 수도 있다. 포인터(720a)는 기본값(default)으로 예(731)에 위치할 수 있다. 사용자의 입력에 의해 예(731)가 선택되는 경우, 제어부는 액티브 영역(433)에서 사용자 모션을 추가로 인식할 수 있다.
도 3의 단계(S309)에서, 부분 영역 모션 인식 모드가 유지되는 경우, 디스플레이 장치의 모션 인식 방법이 종료된다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 디스플레이 장치 11: 디스플레이 패널
14: 패널 키 110: 제어부
140: 마이크 유닛 145: 카메라 유닛
170: 디스플레이 유닛 180: 저장 유닛
200: 원격 조정 장치 430: 액티브 영역 설정 템플릿
443: 액티브 영역 510: 해제 모션
621: 오브젝트

Claims (23)

  1. 디스플레이 장치의 모션 인식방법에 있어서,
    디스플레이 장치의 화면에서 외부에서 입력되는 모션의 인식이 가능한 액티브 영역을 설정하는 단계;
    상기 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계;
    상기 액티브 영역에서 모션을 인식하는 단계; 및
    상기 인식된 모션이 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션인 경우, 상기 부분 영역 모션 인식 모드를 해제하는 단계;를 포함하고,
    상기 부분 영역 모션 인식 모드는 상기 액티브 영역에서만 모션을 인식하는 디스플레이 장치의 모션 인식방법.
  2. 제1항에 있어서,
    상기 액티브 영역은 원격 조정 장치, 음성 인식, 모션 인식 및 패널 키 중 적어도 하나에 의해 설정되는 디스플레이 장치의 모션 인식방법.
  3. 제1항에 있어서,
    상기 액티브 영역의 위치, 크기 및 형상 중 하나는 상기 화면에 표시되는 액티브 영역 설정 템플릿에 의해 설정되는 디스플레이 장치의 모션 인식방법.
  4. 제1항에 있어서,
    상기 액티브 영역은 카메라 유닛을 통해 입력되는 사용자 신체 일부분의 면적보다 넓은 면적을 가지도록 자동으로 설정되는 디스플레이 장치의 모션 인식방법.
  5. 제4항에 있어서,
    상기 액티브 영역의 자동 설정을 위한 사용자 신체 일부분에 대응되는 사용자 신체 정보를 저장하는 단계;를 더 포함하는 디스플레이 장치의 모션 인식방법.
  6. 제1항에 있어서,
    상기 액티브 영역의 면적은 상기 화면의 면적보다 좁은 디스플레이 장치의 모션 인식방법.
  7. 제1항에 있어서,
    상기 디스플레이 장치에 최초 전원 공급되는 경우, 상기 액티브 영역 설정을 위한 액티브 영역 설정 화면을 자동으로 표시하는 단계;를 더 포함하는 디스플레이 장치의 모션 인식방법.
  8. 제1항에 있어서,
    상기 해제 모션을 설정하는 단계를 더 포함하고,
    상기 해제 모션은 카메라 유닛을 이용하여 상기 액티브 영역 내에서 설정되는 해제 모션 및 상기 카메라 유닛의 인식 범위 내에서 설정되는 해제 모션 중 하나를 포함하는 디스플레이 장치의 모션 인식방법.
  9. 제1항에 있어서,
    상기 액티브 영역의 면적은 인식된 상기 해제 모션의 인식 영역의 면적보다 넓은 디스플레이 장치의 모션 인식방법.
  10. 제1항에 있어서,
    상기 부분 영역 모션 인식 모드로 변경하는 단계에서,
    상기 전 영역 모션 인식 모드에서부터 상기 부분 영역 모션 인식 모드로의 변경에 응답하여, 상기 화면의 일 측에 상기 부분 영역 모션 인식 모드에 대응되는 오브젝트를 표시하는 디스플레이 장치의 모션 인식방법.
  11. 제1항에 있어서,
    상기 부분 영역 모션 인식 모드로 변경하는 단계에서,
    상기 전 영역 모션 인식 모드에서부터 상기 부분 영역 모션 인식 모드로의 변경에 응답하여, 투명도를 가지는 상기 액티브 영역을 상기 화면과 구별하여 함께 표시하는 디스플레이 장치의 모션 인식방법.
  12. 제1항에 있어서,
    상기 부분 영역 모션 인식 모드로 변경하는 단계에서,
    상기 전 영역 모션 인식 모드에서부터 상기 부분 영역 모션 인식 모드로의 변경에 응답하여, 시각 피드백 및 청각 피드백 중 적어도 하나를 제공하는 디스플레이 장치의 모션 인식방법.
  13. 제1항에 있어서,
    상기 액티브 영역은 카메라 유닛을 통해 수신되는 상기 해제 모션을 인식하는 상기 화면 내 상대적인 영역인 디스플레이 장치의 모션 인식방법.
  14. 제1항에 있어서,
    상기 인식된 모션이 상기 해제 모션과 다른 경우, 상기 부분 영역 모션 인식 모드를 유지하는 단계를 더 포함하는 디스플레이 장치의 모션 인식방법.
  15. 제14항에 있어서,
    상기 부분 영역 모션 인식 모드를 유지하는 단계에서,
    상기 인식된 모션이 상기 해제 모션과 다른 경우, 상기 화면에 상기 부분 영역 모션 인식 모드의 유지에 대응되는 팝업을 표시하는 디스플레이 장치의 모션 인식방법.
  16. 디스플레이 장치의 모션 인식방법에 있어서,
    디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계;
    상기 부분 영역 모션 인식 모드에서 설정된 액티브 영역에서만 입력되는 외부의 모션을 인식하는 단계; 및
    상기 인식된 모션과 저장된 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션이 동일한 경우, 상기 부분 영역 모션 인식 모드를 상기 전 영역 모션 인식 모드로 변경하는 단계를 포함하고,
    상기 액티브 영역은 상기 디스플레이 장치의 외부에서부터 카메라 유닛을 통해 입력되는 상기 모션을 인식하는 상기 디스플레이 장치의 화면 내 상대적인 영역인 디스플레이 장치의 모션 인식방법.
  17. 디스플레이 장치의 모션 인식방법에 있어서,
    디스플레이 장치의 화면에서, 외부에서 입력되는 모션의 인식이 가능한 액티브 영역을 설정하는 단계;
    상기 디스플레이 장치의 전 영역 모션 인식 모드를 부분 영역 모션 인식 모드로 변경하는 단계;
    상기 액티브 영역에서 제1 모션을 인식하는 단계;
    상기 제1 모션이 제1 해제 모션인 경우, 상기 부분 영역 모션 인식 모드를 유지하는 제2 부분 영역 모션 인식 모드로 변경하는 단계; 및
    제2 부분 영역 모션 인식 모드인 액티브 영역에서 제2 모션을 인식하는 단계를 포함하고,
    상기 부분 영역 모션 인식 모드는, 상기 제1 모션이 해제 모션인 경우, 부분 영역 모션 인식 모드를 해제하는 제1 부분 영역 모션 인식 모드 및 상기 제1 모션이 제1 해제 모션인 경우, 부분 영역 모션 인식 모드를 유지하는 제2 부분 영역 모션 인식 모드를 포함하는 디스플레이 장치의 모션 인식방법.
  18. 삭제
  19. 삭제
  20. 영상을 표시하는 디스플레이 유닛;
    외부 모션을 수신하는 카메라 유닛;
    상기 디스플레이 유닛 및 상기 카메라 유닛을 제어하는 제어부를 포함하고,
    상기 제어부는,
    부분 영역 모션 인식 모드의 액티브 영역에서 상기 카메라 유닛을 통해 입력된 모션이 상기 부분 영역 모션 인식 모드의 해제에 대응되는 해제 모션과 동일한 경우, 상기 부분 영역 모션 인식 모드를 전 영역 모션 인식 모드로 변경하는 디스플레이 장치.
  21. 제20항에 있어서,
    패널 키;
    음성을 수신하는 마이크 유닛; 및
    원격 조정 장치의 광을 수신하는 광 수신 유닛을 더 포함하고,
    상기 제어부는 상기 카메라 유닛, 상기 패널 키, 상기 마이크 유닛, 및 상기 광 수신 유닛 중 하나를 통해 입력되는 사용자 조작에 따라 상기 전 영역 모션 인식 모드를 상기 부분 영역 모션 인식 모드로 변경하는 디스플레이 장치.
  22. 제21항에 있어서,
    상기 액티브 영역은 상기 카메라 유닛을 통해 입력되는 해제 모션 인식에 대응되어 화면에 표시되는 상대적인 영역인 디스플레이 장치.
  23. 삭제
KR1020130112831A 2013-09-23 2013-09-23 디스플레이 장치 및 디스플레이 장치의 모션 인식방법 KR101641091B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020130112831A KR101641091B1 (ko) 2013-09-23 2013-09-23 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
US14/269,291 US9557808B2 (en) 2013-09-23 2014-05-05 Display apparatus and method for motion recognition thereof
JP2016544281A JP2016540322A (ja) 2013-09-23 2014-07-31 ディスプレイ装置及びディスプレイ装置のモーション認識方法
CN201480020619.7A CN105122824A (zh) 2013-09-23 2014-07-31 显示装置及其动作识别方法
PCT/KR2014/007032 WO2015041405A1 (en) 2013-09-23 2014-07-31 Display apparatus and method for motion recognition thereof
BR112015020318A BR112015020318A2 (pt) 2013-09-23 2014-07-31 método para reconhecer um movimento de um aparelho de exibição
MX2015011188A MX347766B (es) 2013-09-23 2014-07-31 Aparato de visualización y método para reconicimiento de movimiento del mismo.
RU2015144902A RU2015144902A (ru) 2013-09-23 2014-07-31 Устройство отображения и соответствующий способ распознавания движения
EP14846695.6A EP2946562A4 (en) 2013-09-23 2014-07-31 DISPLAY APPARATUS AND ASSOCIATED MOTION RECOGNITION METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130112831A KR101641091B1 (ko) 2013-09-23 2013-09-23 디스플레이 장치 및 디스플레이 장치의 모션 인식방법

Publications (2)

Publication Number Publication Date
KR20150033182A KR20150033182A (ko) 2015-04-01
KR101641091B1 true KR101641091B1 (ko) 2016-07-20

Family

ID=52689037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130112831A KR101641091B1 (ko) 2013-09-23 2013-09-23 디스플레이 장치 및 디스플레이 장치의 모션 인식방법

Country Status (9)

Country Link
US (1) US9557808B2 (ko)
EP (1) EP2946562A4 (ko)
JP (1) JP2016540322A (ko)
KR (1) KR101641091B1 (ko)
CN (1) CN105122824A (ko)
BR (1) BR112015020318A2 (ko)
MX (1) MX347766B (ko)
RU (1) RU2015144902A (ko)
WO (1) WO2015041405A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190019527A (ko) 2017-08-18 2019-02-27 조선대학교산학협력단 레이더를 이용한 모션 인식 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733905B2 (en) 2014-06-09 2020-08-04 Lingozing Holding Ltd Method and system for learning languages through a general user interface
KR102080045B1 (ko) * 2015-07-21 2020-02-25 삼성전자주식회사 롤러블 디스플레이 장치 및 그 제어 방법
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
FR3074938B1 (fr) * 2017-12-08 2019-12-27 Sagemcom Broadband Sas Procede d'interaction avec un sous-titre affiche sur un ecran de television, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en œuvre d'un tel procede
JP6817350B2 (ja) * 2019-02-07 2021-01-20 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN118444784A (zh) 2019-07-26 2024-08-06 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
EP3936980B1 (en) 2019-08-30 2024-07-10 Google LLC Input methods for mobile devices
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
US20210103337A1 (en) * 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081466A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 操作制御装置及び操作表示方法
JP2011095985A (ja) 2009-10-29 2011-05-12 Nikon Corp 画像表示装置
JP2012191568A (ja) * 2011-03-14 2012-10-04 Ricoh Co Ltd 画像投影装置、機能設定方法、および機能設定プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173666B1 (en) * 2002-08-22 2007-02-06 Smal Camera Technologies System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
JP4929109B2 (ja) 2007-09-25 2012-05-09 株式会社東芝 ジェスチャ認識装置及びその方法
US8270669B2 (en) * 2008-02-06 2012-09-18 Denso Corporation Apparatus for extracting operating object and apparatus for projecting operating hand
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
JP2009265709A (ja) 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
KR101624218B1 (ko) * 2009-09-14 2016-05-25 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법
US8766926B2 (en) * 2009-10-14 2014-07-01 Blackberry Limited Touch-sensitive display and method of controlling same
EP2421252A1 (en) 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9213890B2 (en) 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
KR101803574B1 (ko) * 2011-07-06 2017-12-28 엘지디스플레이 주식회사 비젼 기반의 제스쳐 인식 시스템
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
KR20130047890A (ko) 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법
WO2013063767A1 (en) 2011-11-01 2013-05-10 Intel Corporation Dynamic gesture based short-range human-machine interaction
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US9164779B2 (en) 2012-02-10 2015-10-20 Nokia Technologies Oy Apparatus and method for providing for remote user interaction
US9176528B2 (en) * 2012-12-28 2015-11-03 Intel Corporation Display device having multi-mode virtual bezel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081466A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 操作制御装置及び操作表示方法
JP2011095985A (ja) 2009-10-29 2011-05-12 Nikon Corp 画像表示装置
JP2012191568A (ja) * 2011-03-14 2012-10-04 Ricoh Co Ltd 画像投影装置、機能設定方法、および機能設定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190019527A (ko) 2017-08-18 2019-02-27 조선대학교산학협력단 레이더를 이용한 모션 인식 방법

Also Published As

Publication number Publication date
MX2015011188A (es) 2015-11-13
KR20150033182A (ko) 2015-04-01
CN105122824A (zh) 2015-12-02
JP2016540322A (ja) 2016-12-22
US9557808B2 (en) 2017-01-31
MX347766B (es) 2017-05-12
RU2015144902A (ru) 2017-04-25
US20150084852A1 (en) 2015-03-26
BR112015020318A2 (pt) 2018-05-15
EP2946562A4 (en) 2016-09-14
EP2946562A1 (en) 2015-11-25
WO2015041405A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
KR101641091B1 (ko) 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
US10848704B2 (en) Remote controller and method for controlling screen thereof
US10379698B2 (en) Image display device and method of operating the same
US10536742B2 (en) Display apparatus and display method
KR102414806B1 (ko) 영상 표시 장치 및 영상 표시 방법
KR102252321B1 (ko) 디스플레이 장치 및 디스플레이 방법
KR102474244B1 (ko) 영상 표시 장치 및 그 동작방법
KR20160097867A (ko) 영상 표시 장치 및 영상 표시 방법
EP3024220A2 (en) Display apparatus and display method
CN105763921B (zh) 图像显示设备和方法
KR20170124811A (ko) 영상 표시 장치 및 그 동작방법
US10877645B2 (en) Electronic device and operating method thereof
KR20180043627A (ko) 디스플레이 장치 및 디스플레이 장치를 제어하는 방법
KR20140089858A (ko) 전자 장치 및 그의 제어 방법
EP3056974A2 (en) Display apparatus and method
KR101960507B1 (ko) 디스플레이 장치 및 디스플레이 방법
US20170285767A1 (en) Display device and display method
KR20170072652A (ko) 디스플레이 장치 및 디스플레이 방법
KR20170075443A (ko) 영상 표시 장치 및 영상 표시 방법
KR20170076475A (ko) 영상 표시 장치 및 영상 표시 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190628

Year of fee payment: 4