KR102058370B1 - 영상 표시 장치 및 그것의 제어 방법 - Google Patents

영상 표시 장치 및 그것의 제어 방법 Download PDF

Info

Publication number
KR102058370B1
KR102058370B1 KR1020130056667A KR20130056667A KR102058370B1 KR 102058370 B1 KR102058370 B1 KR 102058370B1 KR 1020130056667 A KR1020130056667 A KR 1020130056667A KR 20130056667 A KR20130056667 A KR 20130056667A KR 102058370 B1 KR102058370 B1 KR 102058370B1
Authority
KR
South Korea
Prior art keywords
information
display unit
result
gesture
output
Prior art date
Application number
KR1020130056667A
Other languages
English (en)
Other versions
KR20140136310A (ko
Inventor
최민석
전혜정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130056667A priority Critical patent/KR102058370B1/ko
Publication of KR20140136310A publication Critical patent/KR20140136310A/ko
Application granted granted Critical
Publication of KR102058370B1 publication Critical patent/KR102058370B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 외부로부터 음성이나 제스처를 입력받을 수 있는 영상 표시 장치 및 그것의 제어 방법에 관한 것이다. 본 발명의 일 실시 예에 따른 영상 표시 장치는, 복수의 객체를 출력하는 디스플레이부; 상기 복수의 객체 중 적어도 하나의 객체와 관련된 제어 명령에 대응하는 음성 및 제스처 정보를 외부로부터 입력받는 사용자 입력부; 및 상기 입력받은 음성 및 제스처 정보를 해석하여 상기 제어 명령을 실행하며, 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 제어부;를 포함하며, 상기 제스처 정보는 상기 적어도 하나의 객체를 지시하는 제스처를 포함하는 것을 특징으로 한다.

Description

영상 표시 장치 및 그것의 제어 방법{IMAGE DISPLAY DEVICE AND CONTROL METHOD THEREOF}
본 발명은 영상 표시 장치에 관한 것으로, 좀 더 구체적으로 외부로부터 정보를 입력받을 수 있는 영상 표시 장치 및 그것의 제어 방법에 관한 것이다.
영상 표시 장치는 아날로그 방송 시스템 또는 디지털 방송 시스템을 통해 사용자가 원하는 영상을 표시하는 장치를 말한다. 다시 말해, 영상 표시 장치는 방송국에서 송출되는 방송 신호를 수신하여 사용자 입력에 따라 선택된 방송 프로그램에 대응하는 영상을 표시한다. 최근에는 아날로그 방송 시스템에서 디지털 방송 시스템으로 전환되는 추세이다.
디지털 방송 시스템은 디지털 영상 및 음향 신호를 송출하는 방송 시스템을 의미한다. 디지털 방송 시스템은 아날로그 방송 시스템에 비해, 외부 잡음에 강해 데이터 손실이 적고, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송 시스템은 아날로그 방송과 달리 양방향 서비스가 가능하다.
이러한 개량에 힘입어, 영상 표시 장치는 외부로부터 정보를 입력받아 특정 제어 명령을 실행할 수 있다. 예를 들면, 사용자가 콘텐츠 이름을 입력하여 콘텐츠를 검색할 수 있다.
그러나, 이 경우 사용자가 콘텐츠의 이름을 정확하게 알아야만 한다. 또 다른 실시 예로, 이미지 검색의 경우 사용자가 검색하고자 하는 이미지를 직접 업로드 하거나 URL을 입력해야만 하며, 검색하고자 하는 영역을 지정하기 어렵다는 문제점이 있다.
본 발명의 목적은 외부로부터 입력받은 정보를 기초로 사용자가 의도한 제어 명령을 인식 및 실행하여 사용자의 편의를 향상시킬 수 있는 영상 표시 장치 및 그것의 제어 방법을 제공하는 데 있다.
본 발명의 일 실시 예에 따른 영상 표시 장치는, 복수의 객체를 출력하는 디스플레이부; 상기 복수의 객체 중 적어도 하나의 객체와 관련된 제어 명령에 대응하는 음성 및 제스처 정보를 외부로부터 입력받는 사용자 입력부; 및 상기 입력받은 음성 및 제스처 정보를 해석하여 상기 제어 명령을 실행하며, 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 제어부;를 포함하며, 상기 제스처 정보는 상기 적어도 하나의 객체를 지시하는 제스처를 포함할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 복수의 객체 중 제1 객체에 대한 정보 검색을 요청하는 음성 정보 및 상기 제1 객체를 지시하는 제스처 정보를 기초로, 상기 제1 객체에 대한 정보 검색 결과를 상기 디스플레이부에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체에 대한 정보 검색 결과가 존재하면 사전에 설정한 이미지 효과를 상기 제1 객체에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체에 대한 정보 검색 결과가 존재함을 나타내는 아이콘을 상기 디스플레이부에 출력하며, 상기 아이콘이 선택되면 상기 정보 검색 결과를 상기 디스플레이부에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체가 출력되는 상기 디스플레이부 상의 화면영역과 구분되는 별도의 화면영역에서 상기 제어 명령을 실행할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 복수의 객체 중 제1 객체의 편집을 요청하는 음성 정보와 상기 제1 객체의 편집 요청에 대응하는 제스처 정보를 기초로, 상기 제1 객체를 편집한 결과를 상기 디스플레이부에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 제어 명령의 실행 결과가 존재함을 나타내는 아이콘을 상기 디스플레이부에 출력하며, 상기 아이콘이 선택되면 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 입력받은 음성 및 제스처 정보의 해석으로 예상되는 복수의 실행 결과를 상기 디스플레이부에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 복수의 실행 결과에 각각 대응하는 복수의 아이콘을 상기 디스플레이부에 출력하며, 상기 복수의 아이콘 중 선택된 적어도 하나의 아이콘에 대응하는 실행 결과를 상기 디스플레이부에 출력할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 제스처 정보가 입력된 시점의 이전 시간 동안 상기 디스플레이부에 출력된 영상들을 상기 디스플레이부에 다시 출력하며, 상기 영상들에서 상기 제스처로 지시하는 적어도 하나의 객체를 검출할 수 있다.
실시 예에 있어서, 상기 제어부는, 상기 적어도 하나의 객체를 포함하는 일부 화면영역을 확대 출력하며, 상기 일부 화면영역에서 상기 제스처로 지시하는 적어도 하나의 객체를 검출할 수 있다.
본 발명의 일 실시 예에 따른 영상 표시 장치의 제어 방법은, (a) 디스플레이부에 출력된 복수의 객체 중 적어도 하나의 객체와 관련된 제어 명령에 대응하는 음성 및 제스처 정보를 외부로부터 입력받는 단계; 및 (b) 상기 입력받은 음성 및 제스처 정보를 해석하여 상기 제어 명령을 실행하며, 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 단계;를 포함하며, 상기 제스처 정보는 상기 적어도 하나의 객체를 지시하는 제스처를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 복수의 객체 중 제1 객체에 대한 정보 검색을 요청하는 음성 정보 및 상기 제1 객체를 지시하는 제스처 정보를 기초로, 상기 제1 객체에 대한 정보 검색 결과를 상기 디스플레이부에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 제1 객체에 대한 정보 검색 결과가 존재하면 사전에 설정한 이미지 효과를 상기 제1 객체에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 제1 객체에 대한 정보 검색 결과가 존재함을 나타내는 아이콘을 상기 디스플레이부에 출력하며, 상기 아이콘이 선택되면 상기 정보 검색 결과를 상기 디스플레이부에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 제1 객체가 출력되는 상기 디스플레이부 상의 화면영역과 구분되는 별도의 화면영역에서 상기 제어 명령을 실행하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 복수의 객체 중 제1 객체의 편집을 요청하는 음성 정보와 상기 제1 객체의 편집 요청에 대응하는 제스처 정보를 기초로, 상기 제1 객체를 편집한 결과를 상기 디스플레이부에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 제어 명령의 실행 결과가 존재함을 나타내는 아이콘을 상기 디스플레이부에 출력하며, 상기 아이콘이 선택되면 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 입력받은 음성 및 제스처 정보의 해석으로 예상되는 복수의 실행 결과를 상기 디스플레이부에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 복수의 실행 결과에 각각 대응하는 복수의 아이콘을 상기 디스플레이부에 출력하며, 상기 복수의 아이콘 중 선택된 적어도 하나의 아이콘에 대응하는 실행 결과를 상기 디스플레이부에 출력하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 제스처 정보가 입력된 시점의 이전 시간 동안 상기 디스플레이부에 출력된 영상들을 상기 디스플레이부에 다시 출력하며, 상기 영상들에서 상기 제스처로 지시하는 적어도 하나의 객체를 검출하는 단계;를 포함할 수 있다.
실시 예에 있어서, 상기 (b) 단계는, 상기 적어도 하나의 객체를 포함하는 일부 화면영역을 확대 출력하며, 상기 일부 화면영역에서 상기 제스처로 지시하는 적어도 하나의 객체를 검출하는 단계;를 포함할 수 있다.
본 발명에 의하면, 음성 및 제스처 정보를 매칭하여 사용자의 의도를 정확하게 파악한 후 실행할 수 있다. 또한, 실행 결과를 별도의 창에 출력하여 실행 전의 화면과 동시에 실행 결과를 확인할 수 있다. 그리고 실행 결과가 존재함을 나타내는 아이콘을 출력하여 실행 전 화면이 가려지는 정도를 최소화할 수 있다.
또 다른 효과로, 사용자의 의도가 정확하게 해석되지 않는 경우 예상되는 후보 결과들을 제시하여 사용자 의도 파악의 정확도를 높일 수 있다. 또한, 사용자의 의도 파악으로 기존에 필요하던 프로세스를 생략할 수 있어 제어 명령을 빠르게 실행할 수 있다.
결과적으로, 사용자의 편의가 향상될 수 있다.
도 1은 본 발명의 영상 표시 장치를 포함하는 시스템을 보여주는 개념도이다.
도 2는 본 발명과 관련된 영상 표시 장치 및 외부 입력 장치를 보여주는 블록도이다.
도 3은 도 2의 외부 입력 장치를 상세하게 보여주는 블록도이다.
도 4는 본 발명과 관련된 영상표시기기 및 외부 입력 장치의 상호 동작을 보여주는 개념도이다.
도 5는 본 발명에 따른 영상 표시 장치의 일 실시 예를 설명하기 위한 순서도이다.
도 6 내지 도 7은 객체의 정보 검색과 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 8a 및 도 8b는 객체의 편집과 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 9a 및 도 9b는 텍스트 기반 객체와 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 10은 어플리케이션에 대응하는 객체와 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 11은 기타 가능한 실시 예의 사용자 인터페이스를 보여주는 개념도이다.
도 12는 복수의 실행 결과가 존재하는 경우의 사용자 인터페이스를 보여주는 개념도이다.
도 13은 이전 영상들을 다시 출력하여 객체를 검출하는 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 14는 일부 화면영역을 확대하여 객체를 검출하는 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 15는 실행 결과를 보여주는 사용자 인터페이스를 나타낸 개념도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 영상 표시 장치는 동영상을 기록 및 재생하는 장치와 오디오를 기록 및 재생하는 장치를 모두 포함한다.
이하, 영상 표시 장치의 예로서 DTV(digital television)에 대해 설명하기로 한다. 그러나 본 명세서에 개시된 영상 표시 장치가 DTV에 한정되는 것은 아니다. 예를 들어, 상기 영상 표시 장치는, 셋톱박스(settop box; STB), IPTV(Internet Protocol TV), 퍼스널 컴퓨터(personal computer) 중 적어도 하나를 포함할 수 있다.
도 1은 본 발명의 영상 표시 장치(100)를 포함하는 시스템을 보여주는 개념도이다.
도 1을 참조하면, 본 발명이 적용되는 시스템은 영상 표시 장치(100), 방송국(broadcasting station, 300) 및 인터넷(internet, 400)을 포함할 수 있다. 영상 표시 장치(100)는, 방송국(300)으로부터 방송 신호를 수신하여 출력할 수 있다. 또한 영상 표시 장치(100)는TCP/IP(Transmission Control Protocol/Internet Protocol)에 의해 인터넷(400)에 접속할 수 있는 장치를 구비할 수 있다.
도 2는 본 발명과 관련된 영상 표시 장치(100) 및 외부 입력 장치(200)를 보여주는 블록도이다. 영상 표시 장치(100)는, 튜너(110), 복조부(120), 신호 입출력부(130), 인터페이스부(140), 제어부(150), 저장부(160), 디스플레이부(170) 및 오디오 출력부(180)를 포함한다.
도 2를 참조하면, 튜너(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 대응하는 RF 방송 신호를 선택하고, RF 방송 신호를 중간 주파수 신호 또는 베이스 밴드 영상/음성 신호로 변환한다. 예를 들어, RF 방송 신호가 디지털 방송 신호이면, 튜너(110)는 RF 방송 신호를 디지털 IF 신호(DIF)로 변환한다. 반면, RF 방송 신호가 아날로그 방송 신호이면, 튜너(110)는 RF 방송 신호를 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환된다. 이와 같이, 튜너(110)는 디지털 방송 신호와 아날로그 방송 신호를 처리할 수 있는 하이브리드 튜너일 수 있다.
튜너(110)에서 출력되는 디지털 IF 신호(DIF)는 복조부(120)로 입력되고, 튜너(110)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 제어부(160)로 입력될 수 있다. 튜너(120)는 ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
비록 도면에는 하나의 튜너(110)가 도시되나, 이에 한정되지 않고, 영상 표시 장치(100)는 다수의 튜너, 예를 들어, 제 1 및 제 2 튜너를 구비할 수 있다. 이런 경우, 제 1 튜너는 사용자가 선택한 방송 채널에 대응하는 제 1 RF 방송 신호를 수신하고, 제 2 튜너는 기저장된 방송 채널에 대응하는 제 2 RF 방송 신호를 순차적으로 또는 주기적으로 수신할 수 있다. 제 2 튜너는 제 1 튜너와 마찬가지 방식으로 RF 방송 신호를 디지털 IF 신호(DIF) 또는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환할 수 있다.
복조부(120)는 튜너(110)에서 변환되는 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호(DIF)가 ATSC 방식이면, 복조부(120)는 8-VSB(8-Vestigal Side Band) 복조를 수행한다. 이때, 복조부(120)는 트렐리스 복호화, 디인터리빙(de-interleaving), 리드 솔로몬 복호화 등의 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는 트렐리스 디코더(Trellis decoder), 디인터리버(de-interleaver) 및 리드 솔로몬 디코더(Reed Solomon decoder) 등을 구비할 수 있다.
다른 예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호(DIF)가 DVB 방식이면, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 이때, 복조부(120)는 컨벌루션 복호화, 디인터리빙, 리드 솔로몬 복호화 등의 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는 컨벌루션 디코더(convolution decoder), 디인터리버 및 리드-솔로몬 디코더 등을 구비할 수 있다.
신호 입출력부(130)는 외부 기기와 연결되어 신호 입력 및 출력 동작을 수행하고, 이를 위해, A/V 입출력부 및 무선 통신부를 포함할 수 있다.
A/V 입출력부는 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(150)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(150)로 전달될 수 있다.
무선 통신부는 무선 인터넷 접속을 수행할 수 있다. 예를 들어, 무선 통신부는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 이용하여 무선 인터넷 접속을 수행할 수 있다. 또한, 무선 통신부는 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 예를 들어, 무선 통신부는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
신호 입출력부(130)는 DVD(Digital Versatile Disk) 플레이어, 블루레이(Blu-ray) 플레이어, 게임기기, 캠코더, 컴퓨터(노트북), 휴대기기, 스마트 폰 등과 같은 외부 기기로부터 제공되는 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있다. 또한, 메모리장치, 하드디스크 등과 같은 외부 저장 장치에 저장된 다양한 미디어 파일의 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있다. 또한, 제어부(150)에 의해 처리된 영상 신호, 음성 신호 및 데이터 신호를 다른 외부 기기로 출력할 수 있다.
신호 입출력부(130)는 상술한 각종 단자 중 적어도 하나를 통해 셋톱 박스, 예를 들어, IPTV(Internet Protocol TV)용 셋톱 박스와 연결되어 신호 입력 및 출력 동작을 수행할 수 있다. 예를 들어, 신호 입출력부(130)는 양방향 통신이 가능하도록 IPTV용 셋톱 박스에 의해 처리된 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있고, 제어부(150)에 의해 처리된 신호들을 IPTV용 셋톱 박스로 전달할 수도 있다. 여기서, IPTV는 전송 네트워크에 따라 구분되는 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함할 수 있다.
복조부(120) 및 신호 출력부(130)에서 출력되는 디지털 신호는 스트림 신호(TS)를 포함할 수 있다. 스트림 신호(TS)는 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 예를 들어, 스트림 신호(TS)는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transprt Stream)일 수 있다. 여기서, MPEG-2 TS는 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
인터페이스부(140)는 외부 입력 장치(200)로부터 전원 제어, 채널 선택, 화면 설정 등을 위한 입력 신호를 수신하거나, 제어부(160)에 의해 처리된 신호를 외부 입력 장치(200)로 전송할 수 있다. 인터페이스부(140)와 외부 입력 장치(200)는 유선 또는 무선으로 연결될 수 있다.
제어부(150)는 영상 표시 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 사용자가 선택한 채널 또는 기저장된 채널에 대응하는 RF 방송 신호를 튜닝(tuning)하도록 튜너(110)를 제어할 수 있다. 비록 도면에는 도시되지 않았으나, 제어부(150)는 역다중화부, 영상 처리부, 음성 처리부, 데이터 처리부, OSD(On Screen Display) 생성부 등을 포함할 수 있다.
제어부(150)는 스트림 신호(TS), 예를 들어, MPEG-2 TS를 역다중화하여 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다.
제어부(150)는 역다중화된 영상 신호에 대한 영상 처리, 예를 들어, 복호화를 수행할 수 있다. 좀더 상세하게, 제어부(150)는 MPEG-2 디코더를 이용하여 MPEG-2 규격의 부호화된 영상 신호를 복호화하고, H.264 디코더를 이용하여 DMB(Digital Multimedia Broadcasting) 방식 또는 DVB-H에 따른 H.264 규격의 부호화된 영상 신호를 복호화할 수 있다. 또한, 제어부(150)는 영상 신호의 밝기(brightness), 틴트(tint) 및 색조(color) 등이 조절되도록 영상 처리할 수 있다. 제어부(150)에 의해 영상 처리된 영상 신호는 디스플레이부(170)로 전달되거나, 외부 출력 단자를 통해 외부 출력 장치(미도시)로 전달될 수 있다.
제어부(150)는 역다중화된 음성 신호에 대한 음성 처리, 예를 들어, 복호화를 수행할 수 있다. 좀더 상세하게, 제어부(150)는 MPEG-2 디코더를 이용하여 MPEG-2 규격의 부호화된 음성 신호를 복호화하고, MPEG 4 디코더를 이용하여 DMB 방식에 따른 MPEG 4 BSAC(Bit Sliced Arithmetic Coding) 규격의 부호화된 음성 신호를 복호화하며, AAC 디코더를 이용하여 위성 DMB 방식 또는 DVB-H에 따른 MPEG 2의 AAC(Advanced Audio Codec) 규격의 부호화된 음성 신호를 복호화할 수 있다. 또한, 제어부(150)는 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다. 제어부(150)에서 처리된 음성 신호는 오디오 출력부(180), 예를 들어, 스피커로 전달되거나, 외부 출력 장치로 전달될 수 있다.
제어부(150)는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)에 대한 신호 처리를 수행할 수 있다. 여기서, 제어부(150)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(110) 또는 신호 입출력부(130)에서 출력된 아날로그 베이스 밴드 영상/음성신호일 수 있다. 신호 처리된 영상 신호는 디스플레이부(170)를 통해 표시되고, 신호 처리된 음성 신호는 오디오 출력부(180)를 통해 출력된다.
제어부(150)는 역다중화된 데이터 신호에 대한 데이터 처리, 예를 들어, 복호화를 수행할 수 있다. 여기서, 데이터 신호는 각각의 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 EPG(Electronic Program Guide) 정보를 포함할 수 있다. EPG 정보는, 예를 들어, ATSC 방식에서는 TSC-PSIP(ATSC-Program and System Information Protocol) 정보를 포함하고, DVB 방식에서는 DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는 MPEG-2 TS의 헤더(4 byte)에 포함될 수 있다.
제어부(150)는 OSD 처리를 위한 제어 동작을 수행할 수 있다. 좀더 상세하게, 제어부(150)는 영상 신호 및 데이터 신호 중 적어도 하나 또는 외부 입력 장치(200)로부터 수신되는 입력 신호에 근거하여 각종 정보를 그래픽(Graphic)이나 텍스트(Text) 형태로 표시하기 위한 OSD 신호를 생성할 수 있다. OSD 신호는 영상 표시 장치(100)의 사용자 인터페이스 화면, 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.
저장부(160)는 제어부(150)의 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다. 저장부(160)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
디스플레이부(170)는 제어부(150)에 의해 처리된 영상 신호, 데이터 신호, OSD 신호 등을 RGB 신호로 변환하여 구동 신호를 생성할 수 있다. 디스플레이부(170)는 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT- LCD), 유기 발광 다이오드(Organic Light Emitting Diode: OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 등의 다양한 형태로 구현될 수 있다. 또한, 디스플레이(180)는 터치 스크린으로 구현되어 입력 장치의 기능도 수행할 수 있다.
오디오 출력부(180)는 제어부(150)에 의해 처리된 음성 신호, 예를 들어, 스테레오 신호 또는 5.1 채널 신호를 출력한다. 오디오 출력부(180)는 다양한 형태의 스피커로 구현될 수 있다.
외부 입력 장치(200)는 유선 또는 무선으로 인터페이스부(140)와 연결되며,사용자 입력에 따라 생성되는 입력 신호를 인터페이스부(140)로 전송한다. 외부 입력 장치(200)는 원격 제어 장치, 마우스, 키보드 등을 포함할 수 있다. 원격 제어 장치는 블루투스(Bluetooth), RF 통신, 적외선 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 통해 입력 신호를 인터페이스부(140)로 전송할 수 있다. 원격 제어 장치는 공간 원격 제어 장치로서 구현될 수 있다. 공간 원격 제어 장치는 공간에서 본체의 동작을 감지하여 입력 신호를 생성할 수 있다.
영상 표시 장치(100)는 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 고정형 디지털 방송 수신기로 구현될 수 있다. 또한, 영상 표시 장치(100)는 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 이동형 디지털 방송 수신기로 구현될 수 있다. 또한, 영상 표시 장치(100)는 케이블, 위성통신, IPTV용 디지털 방송 수신기로 구현될 수 있다.
도 3은 도 2의 외부 입력 장치를 상세하게 보여주는 블록도이다. 외부 입력 장치(200)는 무선 통신부(210), 사용자 입력부(220), 감지부(230), 출력부(240), 전원 공급부(250), 저장부(260) 및 제어부(270)를 포함한다.
도 3을 참조하면, 무선 통신부(210)는 영상 표시 장치(100)로 신호를 송신하거나 영상 표시 장치(100)로부터 신호를 수신한다. 이를 위해, 무선 통신부(210)는 RF 모듈(211) 및 IR 모듈(212)을 구비할 수 있다. RF 모듈(211)은 RF 통신 규격에 따라 영상 표시 장치(100)의 인터페이스부(140)와 연결되어 신호를 송수신하고, IR 모듈(212)은 IR 통신 규격에 따라 영상 표시 장치(100)의 인터페이스부(140)와 신호를 송수신한다.
사용자 입력부(220)는 입력 수단으로 키 패드, 키 버튼, 스크롤 키, 조그 키 등을 구비할 수 있다. 사용자는 사용자 입력부(220)를 조작하여 영상 표시 장치(100)와 관련된 명령을 입력할 수 있다. 이러한 명령은, 예를 들어, 사용자가 사용자 입력부(200)의 하드 키 버튼의 푸쉬 동작을 통해 입력될 수 있다.
감지부(230)는 자이로 센서(231) 및 가속도 센서(232)를 구비할 수 있다. 자이로 센서(231)는 외부 입력 장치(200)의 공간 움직임을 x축, y축 및 z축을 기준으로 감지할 수 있다. 가속도 센서(232)는 외부 입력 장치(200)의 이동 속도 등을 감지할 수 있다.
출력부(240)는 사용자 입력부(230)의 조작에 따른 정보 및 영상 표시 장치(100)의 전송 신호에 대응하는 정보를 출력한다. 따라서, 사용자는 출력부(230)를 통해 사용자 입력부(230)의 조작 상태 또는 영상 표시 장치(100)의 제어 상태를 인지할 수 있다. 예를 들어, 출력부(240)는, 사용자 입력부(230)의 조작 또는 무선 통신부(210)을 통한 신호 송수신에 응답하여, 점등되는 LED 모듈(241), 진동을 발생하는 진동 모듈(242), 음향을 출력하는 음향 출력 모듈(243) 및 영상을 출력하는 디스플레이 모듈(244)을 구비할 수 있다.
전원 공급부(250)는 외부 입력 장치(200)의 각종 전자 소자에 전원을 공급한다. 전원 공급부(250)는 외부 입력 장치(200)가 소정 시간 동안 움직이지 않은 경우, 전원 공급을 중단함으로써, 전원 낭비를 줄일 수 있다. 전원 공급부(250)는 외부 입력 장치(200)의 소정 키가 조작되는 경우, 전원 공급을 재개할 수 있다.
저장부(260)는 외부 입력 장치(200)의 제어 또는 동작과 관련된 각종 프로그램, 애플리케이션, 주파수 대역 정보 등을 저장할 수 있다. 제어부(270)는 외부 입력 장치(200)의 전반적인 제어 동작을 수행한다.
도 4는 본 발명과 관련된 영상표시기기(100) 및 외부 입력 장치(200)의 상호 동작을 보여주는 개념도이다. 여기에서, 영상표시기기(100)의 예로서 TV 수상기가 도시되고, 외부 입력 장치(200)의 예로서 원격 조정기가 도시된다.
도 4를 참조하면, 외부 입력 장치(200)는 RF 통신 규격에 따라 영상표시기기(100)와 신호를 송신 또는 수신할 수 있다. 영상표시기기(100)의 화면에는 외부 입력 장치(200)의 제어 신호에 따라 제어 메뉴가 표시될 수 있다. 외부 입력 장치(200)는 다수의 버튼을 구비하고, 사용자의 버튼 조작에 따라 외부 입력 신호를 생성할 수 있다.
한편, 본 발명에 따른 영상 표시 장치(100)는 이동 단말기로도 구현될 수 있다. 구체적으로, 본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
이하에서, 외부로부터 입력받은 정보를 기초로 사용자가 의도한 제어 명령을 인식 및 실행하여 사용자의 편의를 향상시킬 수 있는 영상 표시 장치(100) 및 그것의 제어 방법에 대해 첨부된 도면을 참조하여 설명한다.
도 5는 본 발명에 따른 영상 표시 장치(100)의 일 실시 예를 설명하기 위한 순서도이다. 본 발명에 따른 영상 표시 장치(100)는 디스플레이부(170), 사용자 입력부 및 제어부(150)를 포함한다.
도 5를 참조하면, 우선, 디스플레이부(170)에 출력된 복수의 객체 중 적어도 하나의 객체와 관련된 제어 명령에 대응하는 음성 및 제스처 정보를 외부로부터 입력받는 단계(S510)가 진행된다. 이때, 제스처 정보는 적어도 하나의 객체를 지시하는 제스처를 포함할 수 있다.
구체적으로, 동영상 재생 시 출력되는 사람, 어플리케이션에 대응하는 아이콘, 사진 이미지에 포함된 꽃 등이 복수의 객체의 실시 예에 포함될 수 있다.
실시 예로서, 사진 이미지에 포함된 꽃에 대한 정보를 검색하고자 하는 경우, 사용자는 꽃에 대한 정보를 검색하는 제어 명령에 대응하는 음성 및 제스처 정보를 입력할 수 있다. 구체적으로, 사용자는 "꽃에 대한 정보를 검색해줘" 라는 음성 정보와 손가락으로 꽃을 지시하는 제스처 정보를 입력할 수 있다.
이때, 음성 및 제스처 정보는 사용자 입력부를 통해 입력될 수 있다. 구체적으로, 사용자 입력부는 음성 인식 센서 및 동작 인식 센서로 구현될 수 있다. 또한, 음성 및 제스처 정보는 동시에 또는 순차적으로 입력될 수 있다.
실시 예로서, 본 발명에 따른 영상 표시 장치(100)가 스마트 TV로 구현된 경우, 본체(100)의 스피커나 음성 인식 센서가 구비되어 있는 별도의 스마트 리모콘(200)을 통해 음성 정보를 입력할 수 있다.
또한, 제스처 정보는 스마트 TV에 내장된 카메라나 TV에 연결 가능한 독립형 액세서리의 카메라를 통해 입력될 수 있다. 구체적으로, 카메라는 화면(170)을 지시하는 사용자의 손가락을 촬영할 수 있다. 또한, 스마트 리모콘(200)에 배치된 별도의 터치 패널을 통해 제스처 정보를 입력할 수도 있다.
또 다른 실시 예로서, 영상 표시 장치(100)가 이동 단말기로 구현된 경우, 이동 단말기의 음성 인식 센서를 통해 음성 정보를 입력할 수 있다. 또한, 제스처 정보는 앞서 설명한 스마트 TV의 카메라처럼 이동 단말기의 카메라를 통해 입력될 수 있다.
또 다른 실시 예로서, 영상 표시 장치(100)가 스마트 폰으로 구현된 경우, 디스플레이부에 가해지는 터치 입력을 제스처 정보로 입력받을 수 있다. 이때, 터치 입력은 손가락이나 별도의 터치 펜으로 이루어질 수 있다.
또 다른 실시 예로서, 영상 표시 장치(100)가 노트북이나 태블릿, 탭 북 등으로 구현된 경우, 터치 패드나 트랙볼, 마우스 등을 이용하여 제스처 정보를 입력할 수 있다.
그 다음으로, 입력받은 음성 및 제스처 정보를 해석하여 제어 명령을 실행하며, 제어 명령의 실행 결과를 디스플레이부(170)에 출력하는 단계(S520)가 진행된다.
실시 예로서, "꽃에 대한 정보를 검색해줘" 라는 음성 정보와 손가락으로 꽃을 지시하는 제스처 정보가 입력된 경우, 제어부(150)는 "꽃" 이라는 단어와 사용자가 지시한 꽃(객체)을 매칭할 수 있다. 또한, "정보", "검색" 등의 단어를 인식하여 사용자가 지시한 꽃의 종류, 개화 시기, 꽃말 등의 정보를 검색한 결과를 화면(170)에 출력할 수 있다.
한편, 제어부(150)는 복수의 객체 중 제1 객체에 대한 정보 검색을 요청하는 음성 정보 및 제1 객체를 지시하는 제스처 정보를 기초로, 제1 객체에 대한 정보 검색 결과를 디스플레이부(170)에 출력할 수 있다.
또한, 제1 객체가 출력되는 디스플레이부(170) 상의 화면영역과 구분되는 별도의 화면영역에서 제어 명령을 실행할 수 있다.
도 6 내지 도 7은 객체의 정보 검색과 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 6의 (a)를 참조하면, 사용자는 TV 시청 중 등장하는 복수의 인물 중 제1 인물(610)을 손가락으로 지시하는 제스처와 "제1 인물에 대한 정보를 검색해줘" 라는 음성 명령을 입력할 수 있다.
예를 들면, 제스처는 TV의 카메라를 통해 음성 명령은 TV의 스피커를 통해 동시에 또는 순차적으로 입력될 수 있다.
이어서, 카메라를 통해 촬영된 사용자의 손가락 이미지로부터 화면(170)을 지시하는 사용자 손가락 끝의 방향이나 화면(170)과의 각도 등을 감지하여, 사용자가 제1 인물(610)을 지시함을 인식할 수 있다.
이러한 과정에, 음성 명령에 포함된 "제1 인물" 이라는 단어와 사용자가 지시한 제1 인물(610)을 매칭하는 과정이 포함될 수 있다. 즉, 음성 및 제스처 정보를 이용하여 사용자가 제1 인물(610)을 지시함을 검출할 수 있다.
이어서, "정보", "검색" 등의 단어를 인식하여 사용자가 지시한 제1 인물(610)의 이름, 나이, 성별 등의 프로필 정보를 검색할 수 있다.
이때, 제어부(180)는 음성 명령을 단어, 구, 절, 문장 등의 단위로 인지하여 사용자의 의도를 파악할 수 있다. 즉, 단어 매칭 뿐만 아니라 구나 절, 문장 단위로 매칭을 수행하여 사용자의 의도를 파악할 수 있다.
또 다른 실시 예로, 사용자는 제1 인물(610)을 스마트 리모컨의 포인터로 지시하고, "제1 인물에 대한 정보를 검색해줘" 라는 음성 명령을 스마트 리모컨에 내장된 마이크를 통해 입력할 수 있다.
또 다른 실시 예로, 스마트 리모컨에 배치된 별도의 터치 패널을 통해 제1 인물(610)을 터치하는 제스처를 입력할 수도 있다.
이 경우, 손가락으로 객체를 지시하는 경우보다 더 정확하게 객체를 검출할 수 있고 음성 인식률도 높아질 수 있다.
도 6의 (b)를 참조하면, 제1 인물(610)에 대한 정보 검색 결과를 별도의 창(620)에 출력할 수 있다. 구체적으로, 별도의 창(620)을 화면(170)의 가장자리에 출력하여 TV를 시청하면서 검색된 정보를 확인할 수 있다.
실시 예로서, 제어부(150)는 네트워크를 이용하여 정보를 검색할 수 있다. 또는, 별도의 저장 매체나 정보 제공 서버, 단말 내에 설치된 서비스 제공 어플리케이션 등을 이용하여 정보를 검색할 수 있다.
또 다른 실시 예로서, 사람이나 사물에 대한 정보 검색, 장소에 대한 위치 정보 검색, 연관 이미지나 동영상의 검색 등을 요청하는 제어 명령이 실행될 수 있다.
도 7의 (a)를 참조하면, 사용자가 TV나 동영상 시청 중 식당이 나오는 화면(170)을 가리키며 "저기가 어디지" 라고 말하면, 식당의 위치가 표시된 지도가 별도의 창(710)에 출력될 수 있다. 또는, "저기는 어떻게 가지", "저 식당은 어디에 있지" 등과 같은 음성 명령을 입력할 수도 있다.
도 7의 (b)를 참조하면, 사용자가 화면(170)에 나오는 신발(720)을 가리키며 "저 신발은 어디서 사지" 라고 말하면, 신발을 파는 쇼핑몰이나 홈 쇼핑 방송이 별도의 창(722)에 출력될 수 있다.
또한, 사용자는 별도의 창(722)이 전체 화면(170)에 출력되는 제어 명령을 입력할 수 있다. 이에 따라, 전체 화면(170)에 홈 쇼핑이 방송되고 사용자는 신발을 구매할 수 있다.
도 7의 (c)를 참조하면, 사용자가 화면(170)에 나오는 음식(730)을 가리키며 "저 음식은 어떻게 만들지" 라고 말하면, 음식 레시피가 게시된 블로그가 별도의 창(732)에 출력될 수 있다. 또한, 사용자는 블로그로 이동하여 레시피를 확인할 수 있다.
도 7의 (d)를 참조하면, 사용자가 화면(170)에 나오는 사람(740)을 가리키며 "같은 옷을 입은 다른 사람을 검색해줘" 라고 말하면, 같은 옷을 입은 다른 사람의 사진 이미지들이 별도의 창 각각에(742, 744) 출력될 수 있다.
또 다른 실시 예로, 사용자가 화면(170)에 나오는 운동 선수를 가리키며 "저 선수의 홈런 장면을 보여줘" 라고 말하면, 운동 선수가 홈런을 치는 동영상이 별도의 창에 출력될 수 있다. 또한, 사용자는 별도의 창 또는 전체 화면(170)에서 동영상을 재생할 수 있다.
또 다른 실시 예로, 사용자가 화면(170)에 나오는 이미지를 가리키며 "이미지를 저장해줘" 라고 말하면, 이미지가 그림 파일 형태로 저장될 수 있다. 또는, 사용자가 화면(170)에 나오는 영상을 가리키며 "이 부분을 녹화해줘" 라고 말하면, 화면(170)에 나오는 영상이 녹화될 수 있다.
또한, 앞서 설명한 바와 같이 TV나 동영상 시청 중 정보 검색을 요청한 경우, 콘텐츠 정보, 이미지 파일의 이름, 사진 정보 등이 정보 검색에 이용될 수 있다.
한편, 제어부(150)는 복수의 객체 중 제1 객체의 편집을 요청하는 음성 정보와 제1 객체의 편집 요청에 대응하는 제스처 정보를 기초로, 제1 객체를 편집한 결과를 디스플레이부(170)에 출력할 수 있다.
도 8a 및 도 8b는 객체의 편집과 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
실시 예로서, 본 발명에 따른 영상 표시 장치(100)는 이동 단말기로 구현될 수 있다.
도 8a의 (a)를 참조하면, 사용자가 사진 이미지에 포함된 제1 객체(810)를 터치하며 "이 부분을 더 밝게" 라고 말하면, 제1 객체(810)의 밝기가 점점 밝아지게 된다.
또 다른 실시 예로, "여기를 파란색으로" 라고 말하면 제1 객체(810)의 색상이 파란색으로 변하게 된다. 또는, "이것을 90도 회전" 이라고 말하면 제1 객체(810)가 90도 회전되도록 편집된다.
도 8a의 (b)를 참조하면, 사용자가 제1 객체(810)를 한 손가락으로 터치한 후 두 손가락으로 두 개의 지점(820, 830)을 터치하면서, "이것을 이만큼 확대" 라고 말할 수 있다. 이에 따라, 제1 객체(810)가 멀티 터치한 두 개의 지점(820, 830)까지 확대될 수 있다.
도 8b의 (a)를 참조하면, 사용자가 제1 객체(810)를 터치하며 "이 색상을 선택"이라고 말한 후, 다시 제2 객체(840)를 터치하며 "여기에 칠해줘" 라고 말할 수 있다. 또 다른 실시 예로, 제1 객체(810)에서 제2 객체(840)로 드래그하며 "이 색상을 여기에 칠해줘" 라고 말할 수 있다. 이에 따라, 제2 객체(840)의 색상이 제1 객체(810)로부터 선택된 색상으로 바뀌게 된다.
도 8b의 (b)를 참조하면, 사용자가 제1 객체(810)를 터치하며 "이 객체를 선택" 이라고 말한 후, 다시 다른 지점(850)을 터치하며 "여기로 옮겨줘" 라고 말할 수 있다. 또 다른 실시 예로, 제1 객체(810)로부터 다른 지점(850)으로 드래그하며 "이것을 여기로 이동시켜 줘" 라고 말할 수 있다. 이에 따라, 제1 객체(810)가 터치한 다른 지점(850)으로 이동될 수 있다.
또 다른 실시 예로서, 도 9a 및 도 9b는 텍스트 기반 객체와 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 9a의 (a)를 참조하면, 사용자가 단어(910)를 터치하며 "이 단어의 뜻이 뭐지" 라고 말하면, 단어(910) 뜻을 검색한 결과가 별도의 창(920)에 출력될 수 있다.
또는, 사용자가 단어를 터치하며 "이 단어와 유사한 단어를 알려줘" 라고 말하면, 검색된 유사한 단어의 목록들이 별도의 창에 출력될 수 있다.
도 9a의 (b)를 참조하면, 사용자가 문장(930)을 드래그하여 선택한 후 "이 문장을 영어로 번역해줘" 라고 말하면, 선택된 문장(930)이 영어 문장으로 변환되어 출력될 수 있다(940).
또 다른 실시 예로, 사용자가 단어를 터치한 후 "맞춤법 검사를 해줘" 라고 말하면, 맞춤법이 틀린 단어인 경우 올바른 단어로 변환하여 출력할 수 있다.
도 9b의 (a)를 참조하면, 사용자가 일정을 나타내는 문장(950)을 드래그하여 선택한 후 "이 일정을 캘린더에 저장해줘" 라고 말하면, 선택된 일정(950)이 별도의 프로세스 없이 캘린더에 저장될 수 있다.
또 다른 실시 예로, 사용자가 문장을 드래그하여 선택한 후 "이 문장을 메모장에 저장해줘" 라고 말하면, 선택된 문장이 별도의 프로세스 없이 메모장에 저장될 수 있다.
도 9b의 (b)를 참조하면, 사용자가 웹 페이지나 메시지에 출력된 번호나 최근 통화 기록에 포함된 번호(960)를 터치하며 "이 번호를 A로 저장해줘" 라고 말하면, 번호(960)와 이름(970)이 자동으로 입력된 연락처 등록 화면이 출력될 수 있다. 또는, "이 번호를 B의 번호로 바꿔줘" 라고 말하면, B의 번호가 새롭게 변경될 수 있다.
앞서 설명한 바와 같이 사용자가 직접 텍스트 범위를 지정하거나, 제어부(150)가 명령어의 의미나 문장 구조를 파악하여 그 범위를 파악할 수 있다.
도 10은 어플리케이션에 대응하는 객체와 관련된 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 10의 (a)를 참조하면, 사용자가 어플리케이션에 대응하는 객체(1010)를 터치하며 "이 어플리케이션을 삭제해줘" 라고 말하면, 해당 어플리케이션이 삭제될 수 있다.
또 다른 실시 예로, 사용자가 단말의 화면을 터치하기 어려운 상황에서 어플리케이션에 대응하는 객체를 손가락으로 지시하며 "이 어플리케이션을 실행해줘" 라고 말하면, 해당 어플리케이션이 실행될 수 있다.
도 10의 (b)를 참조하면, 사용자가 제1 및 제2 어플리케이션에 각각 대응하는 제1 및 제2 아이콘(1010, 1020)을 터치하며 "위치를 변경해줘" 라고 말하면, 제1 및 제2 아이콘(1010, 1020)의 위치가 변경될 수 있다.
또 다른 실시 예로, 사용자가 제1 및 제2 아이콘(1010, 1020)의 위치를 서로 변경해주는 플리킹 입력을 제스처 정보로 입력할 수도 있다.
도 11은 기타 가능한 실시 예의 사용자 인터페이스를 보여주는 개념도이다.
도 11의 (a)를 참조하면, 사용자가 인터넷 검색이나 TV 시청 중 이미지(1110)를 가리키며 "배경 화면으로 해줘" 라고 말하면, 해당 이미지(1110)가 바로 단말의 배경 화면으로 설정될 수 있다.
도 11의 (b)를 참조하면, 사용자가 지도상의 제1 지점(1120)을 터치하며 "여기서부터" 라고 말한 후, 제2 지점(1130)을 터치하며 "여기까지 가는 법을 알려줘" 라고 말할 수 있다. 또는, 제1 지점(1120)으로부터 제2 지점(1130)으로 드래그하며 "여기서부터 여기까지 가는 법을 알려줘" 라고 말할 수 있다. 이에 따라, 제1 지점(1120)으로부터 제2 지점(1130)으로 가는 교통 수단이나 경로 등이 출력될 수 있다.
한편, 제어부(150)는 입력받은 음성 및 제스처 정보의 해석으로 예상되는 복수의 실행 결과를 디스플레이부(170)에 출력할 수 있다.
또한, 복수의 실행 결과에 각각 대응하는 복수의 아이콘을 디스플레이부(170)에 출력하며, 복수의 아이콘 중 선택된 적어도 하나의 아이콘에 대응하는 실행 결과를 디스플레이부(170)에 출력할 수 있다.
도 12는 복수의 실행 결과가 존재하는 경우의 사용자 인터페이스를 보여주는 개념도이다.
도 12의 (a)를 참조하면, 사용자는 복수의 인물(1210, 1220, 1230) 중 제1 인물(1210)을 가리키며 "저 사람의 이름이 뭐지" 라고 말할 수 있다. 이때, 제어부(150)가 사용자의 손가락 지시 방향이 제1 내지 제3 인물(1210, 1220, 1230) 중 누구를 가리키는지 판단하기 모호한 경우, 제1 내지 제3 인물(1210, 1220, 1230)의 얼굴과 이름을 검색한 결과를 출력할 수 있다. 각각의 검색 결과는 별도의 창에 출력(1212, 1222, 1232) 되거나 하나의 창에 함께 출력될 수도 있다.
도 12의 (b)를 참조하면, 각각의 검색 결과를 나타내는 아이콘(1214, 1224, 1234)이 출력될 수 있다. 사용자가 검색하려 했던 제1 인물(1210)에 대응하는 제1 아이콘(1214)을 가리키며 "제1 아이콘" 이라고 말하면 제1 인물(1210)의 이름을 검색한 결과(1212)가 나타나게 된다.
즉, 사용자가 가리키는 객체가 불명확한 경우 예상되는 복수의 실행 결과를 보여줄 수 있다. 또한, 각각의 실행 결과가 이에 대응하는 아이콘으로 출력되므로, 복수의 검색 결과로 인해 화면(170)을 가리는 정도를 최소화할 수 있으며 올바른 검색 결과를 사용자가 선택하여 확인할 수 있다.
한편, 제어부(150)는 제스처 정보가 입력된 시점의 이전 시간 동안 디스플레이부(170)에 출력된 영상들을 디스플레이부(170)에 다시 출력할 수 있다. 또한, 다시 출력된 영상들에서 제스처로 지시하는 적어도 하나의 객체를 검출할 수 있다.
도 13은 이전 영상들을 다시 출력하여 객체를 검출하는 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 13의 (a)를 참조하면, 사용자는 여러 대의 자전거(1210, 1220)가 지나가는 영상을 시청하면서 제1 자전거(1210)를 가리키며 "저 자전거는 얼마지" 라고 말할 수 있다. 이때, 자전거들(1210, 1220)이 빠르게 지나가 다른 영상으로 전환될 수 있으며, 사용자가 가리키는 객체가 집(1230)으로 파악될 수 있다.
그 결과, 제어부(150)는 음성 정보에서 도출되는 "자전거" 와 현재 사용자가 가리키는 집(1230)이 불일치함을 파악할 수 있다. 더 나아가, 이전 시간 동안 제1 및 제2 자전거(1210, 1220)가 출력되었음을 확인할 수 있다.
이에 따라, 이전 시간 동안의 연속적인 영상들을 느린 속도로 재생해준다. 이에 따라, 사용자는 원하는 장면을 선택하거나 제1 자전거(1210)를 가리키는 제스처 등으로 제스처 정보를 다시 입력할 수 있다.
이와 같은 제스처 정보를 입력 한 후, Time machine 기능을 활용하여 다시 시청할 시점을 선택할 수도 있다. 즉, 자전거(1210, 1220)가 출력되는 장면부터 다시 시청하거나 집(1230)이 출력되는 장면부터 시청할 수도 있다.
또 다른 실시 예로, 이전 시간 동안의 연속적인 장면들 중 대표적인 몇 가지 장면들을 후보로 제시해줄 수 있다.
도 13의 (b)를 참조하면, 제1 및 제2 자전거(1210, 1220)가 나타난 제1 및 제2 장면(1212, 1222)을 보여줄 수 있다. 이에 따라, 사용자는 제1 자전거(1210)가 나오는 제1 장면(1212)을 선택할 수 있다. 그 결과, 제1 장면(1212)에 포함된 제1 자전거(1210)의 가격이 출력될 수 있다.
또 다른 실시 예로, 제어부(150)가 이전 시간 동안의 영상들을 기초로 예상되는 검색 결과의 목록을 출력할 수 있다.
도 13의 (c)를 참조하면, 제1 및 제2 자전거(1210, 1220)의 가격 검색 결과(1214, 1224)를 보여줄 수 있다. 이는 앞서 설명한 바와 같이, 아이콘으로 표시될 수도 있다.
도 13에서 설명한 다시 보여주는 이전 시간은 사전에 설정한 일정 시간이거나 음성 정보를 기초로 도출되는 시간일 수도 있다. 예를 들면, 음성 정보에 "자전거" 가 포함됨을 기초로 제1 및 제2 자전거(1210, 1220)가 화면(170)에 나타난 시간을 이전 시간으로 설정할 수 있다.
한편, 제어부(150)는 적어도 하나의 객체를 포함하는 일부 화면영역을 확대 출력하며, 일부 화면영역에서 제스처로 지시하는 적어도 하나의 객체를 검출할 수 있다.
도 14는 일부 화면영역을 확대하여 객체를 검출하는 사용자 인터페이스의 실시 예를 보여주는 개념도이다.
도 14의 (a)를 참조하면, 사용자가 운동 경기 시청 중 제1 선수(1410)를 가리키며 "저 선수의 기록은 어때" 라고 말할 수 있다. 이때, 선수들이 모여있어 어느 선수를 가리키는 것인지 분명하지 않을 수 있다.
도 14의 (b)를 참조하면, 사용자가 가리키는 것으로 예상되는 후보 영역을 확대 출력하여 별도의 창(1420)에 보여줄 수 있다. 이에 따라, 사용자는 확대된 일부 화면영역(1420)에서 다시 제1 선수(1410)를 가리키는 제스처를 입력할 수 있다.
도 14의 (c)를 참조하면, 예상되는 후보 영역에 존재하는 선수들의 기록을 검색하여 이를 보여줄 수 있다(1430). 각각의 검색 결과는 별도의 창에 표시될 수 있다. 또는, 아이콘으로 표시되어 선택 시 그 결과를 보여줄 수도 있다.
도 14에서 설명한 일부 화면영역은 사전에 설정한 일정한 크기의 영역이거나 입력된 음성 정보를 고려하여 설정되는 영역일 수도 있다. 예를 들면, 음성 정보에 "선수" 가 포함됨을 기초로 선수들이 포함된 일부 영역을 제시할 수 있다.
앞서 설명한 바와 같이, 제어부(150)는 제어 명령의 실행 결과가 존재함을 나타내는 아이콘을 디스플레이부(170)에 출력하며, 아이콘이 선택되면 제어 명령의 실행 결과를 디스플레이부(170)에 출력할 수 있다.
이에 따라, 제1 객체에 대한 정보 검색 결과가 존재함을 나타내는 아이콘을 출력하며, 아이콘이 선택되면 정보 검색 결과를 보여줄 수 있다.
또한, 제1 객체에 대한 정보 검색 결과가 존재하면 사전에 설정한 이미지 효과를 제1 객체에 출력할 수 있다.
도 15는 실행 결과를 보여주는 사용자 인터페이스를 나타낸 개념도이다.
도 15의 (a)를 참조하면, 사용자는 화면(170)에 나오는 핸드폰(1510)을 가리키며 "저 핸드폰은 어떤 모델이지" 라고 말할 수 있다.
도 15의 (b)를 참조하면, 검색된 핸드폰(1510)의 모델 명을 핸드폰(1510)과 연결된 팝업 창(1520)에 출력하여 그 검색 결과를 제시할 수 있다.
도 15의 (c)를 참조하면, 검색 결과를 갖는 핸드폰(1510)의 가장자리를 굵은 선으로 표시하거나 핸드폰(1510)의 색상을 변화시키는 등으로 하이라이팅하여 검색 결과가 존재함을 표시할 수 있다.
도 15의 (d)를 참조하면, 검색 결과가 존재함을 알려주는 아이콘(1530)이 화면(170)의 가장자리에 출력될 수 있으며, 이 아이콘(1530)의 선택 시 검색 결과가 표시(1540)될 수 있다.
또 다른 실시 예로서, 검색 결과를 화면(170)의 가장자리의 작은 창에 별도로 출력할 수 있다. 또한, 사용자의 입력에 따라 검색 결과가 출력된 창의 크기가 조절될 수 있다.
또 다른 실시 예로서, 검색 결과를 별도의 외부 단말로 전송할 수 있다. 즉, 사용자는 TV를 시청하며 검색한 결과를 이동 단말기로 전송받을 수 있다.
또한, 검색 결과를 사용자의 단말이 아닌 별도의 외부 단말로도 전송할 수 있다. 예를 들면, 사용자가 TV 시청 중 "이 장면을 A에게 전송해줘" 라고 말하면 등록된 A의 단말로 선택된 장면을 전송할 수 있다.
또 다른 실시 예로서, 본 발명에 따른 영상 표시 장치(100)는 음성 정보만으로도 제어 명령을 실행하여 이를 출력할 수 있다.
구체적으로, 이러한 실시 예에 따른 영상 표시 장치(100)는 사용자가 의도적으로 영상 표시 장치(100)에 음성 정보를 입력하는 것 이외에, 복수의 사용자 간에 주고받은 대화 내용으로부터 스스로 음성 정보를 추출할 수 있다.
예를 들면, TV를 시청하면서 "저기가 어디지" 하며 옆 사람과 대화한 경우에도, 영상 표시 장치(100)가 이러한 음성 정보를 감지하여 검색된 결과를 보여줄 수 있다.
이 경우, 사용자의 질문 의도가 명확하지 않으므로 결과를 화면(170) 전체에 직접 제시하는 것보다 별도의 팝업 창과 같은 화면영역에 제시하는 것이 바람직할 것이다. 또는, 검색 결과가 존재함을 나타내는 아이콘이 출력될 수 있다.
즉, 본 발명에 따른 영상 표시 장치(100)는 사용자의 일상적인 대화를 이해하고 이와 관련된 정보를 추천해줄 수 있다.
한편, 또 다른 실시 예로 본 발명에 따른 영상 표시 장치(100)는 로봇 청소기로도 구현될 수 있다. 구체적으로, 사용자가 특정 지점을 가리키며 "여기를 청소해" 라고 말하면, 로봇 청소기가 사용자가 가리키는 지점으로 이동하여 청소를 하게 된다. 또는 충전기를 가리키며 "저기서 충전을 해" 라고 말하면, 로봇 청소기가 충전기가 있는 곳으로 이동하여 충전을 실행할 수 있다.
이때, 로봇 청소기에 장착된 카메라가 사용자의 손가락을 감지할 수 있다. 또 다른 예로, 로봇 청소기에 장착된 디스플레이부에 청소가 완료되었음을 나타내주는 아이콘 등이 출력될 수도 있다.
상술한 바와 같이, 본 발명에 의하면, 음성 및 제스처 정보를 매칭하여 사용자의 의도를 정확하게 파악한 후 실행할 수 있다. 또한, 실행 결과를 별도의 창에 출력하여 실행 전의 화면과 동시에 실행 결과를 확인할 수 있다. 그리고 실행 결과가 존재함을 나타내는 아이콘을 출력하여 실행 전 화면이 가려지는 정도를 최소화할 수 있다.
또 다른 효과로, 사용자의 의도가 정확하게 해석되지 않는 경우 예상되는 후보 결과들을 제시하여 사용자 의도 파악의 정확도를 높일 수 있다. 또한, 사용자의 의도 파악으로 기존에 필요하던 프로세스를 생략할 수 있어 제어 명령을 빠르게 실행할 수 있다.
결과적으로, 사용자의 편의가 향상될 수 있다.
또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (22)

  1. 복수의 객체가 포함된 영상을 출력하는 디스플레이부;
    상기 복수의 객체 중 적어도 하나의 객체와 관련된 음성 정보와 상기 적어도 하나의 객체를 지시하는 제스처를 포함하는 제스처 정보를 외부로부터 입력받는 사용자 입력부; 및
    상기 복수의 객체 중, 상기 입력받은 음성 정보로부터 도출되는 객체와 상기 제스처 정보에 의해 지시되는 객체의 매칭 결과에 근거하여 적어도 하나의 객체를 검출하고, 검출된 객체에 대해 상기 음성 정보를 해석한 결과에 따른 제어 명령을 실행하며, 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 제어부;를 포함하며,
    상기 디스플레이부는 시간의 경과에 따라 서로 다른 객체를 포함하는 영상을 출력하며,
    상기 제어부는,
    상기 매칭 결과, 상기 음성 정보로부터 도출되는 객체와 상기 제스처 정보에 의해 지시되는 객체가 서로 매칭되지 않는 경우, 기 설정된 이전 시간 동안의 영상들을 다시 출력하여 상기 음성 정보와 상기 제스처 정보에 대응하는 적어도 하나의 객체를 다시 검출하는 것을 특징으로 하는 영상 표시 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 복수의 객체 중 제1 객체에 대한 정보 검색을 요청하는 음성 정보 및 상기 제1 객체를 지시하는 제스처 정보를 기초로, 상기 제1 객체에 대한 정보 검색 결과를 상기 디스플레이부에 출력하는 것을 특징으로 하는 영상 표시 장치.
  3. 제 2항에 있어서,
    상기 제어부는,
    상기 제1 객체에 대한 정보 검색 결과가 존재하면 사전에 설정한 이미지 효과를 상기 제1 객체에 출력하는 것을 특징으로 하는 영상 표시 장치.
  4. 제 2항에 있어서,
    상기 제어부는,
    상기 제1 객체에 대한 정보 검색 결과가 존재함을 나타내는 아이콘을 상기 디스플레이부에 출력하며, 상기 아이콘이 선택되면 상기 정보 검색 결과를 상기 디스플레이부에 출력하는 것을 특징으로 하는 영상 표시 장치.
  5. 제 2항에 있어서,
    상기 제어부는,
    상기 제1 객체가 출력되는 상기 디스플레이부 상의 화면영역과 구분되는 별도의 화면영역에서 상기 제어 명령을 실행하는 것을 특징으로 하는 영상 표시 장치.
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 복수의 객체 중 제1 객체의 편집을 요청하는 음성 정보와 상기 제1 객체의 편집 요청에 대응하는 제스처 정보를 기초로, 상기 제1 객체를 편집한 결과를 상기 디스플레이부에 출력하는 것을 특징으로 하는 영상 표시 장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 제어 명령의 실행 결과가 존재함을 나타내는 아이콘을 상기 디스플레이부에 출력하며, 상기 아이콘이 선택되면 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 것을 특징으로 하는 영상 표시 장치.
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 음성 정보와 상기 제스처 정보의 해석으로 예상되는 복수의 실행 결과를 상기 디스플레이부에 출력하는 것을 특징으로 하는 영상 표시 장치.
  9. 제 8항에 있어서,
    상기 제어부는,
    상기 복수의 실행 결과에 각각 대응하는 복수의 아이콘을 상기 디스플레이부에 출력하며, 상기 복수의 아이콘 중 선택된 적어도 하나의 아이콘에 대응하는 실행 결과를 상기 디스플레이부에 출력하는 것을 특징으로 하는 영상 표시 장치.
  10. 삭제
  11. 삭제
  12. (a) 디스플레이부에 출력된 영상에 포함된 복수의 객체 중 적어도 하나의 객체와 관련된 음성 정보와 상기 적어도 하나의 객체를 지시하는 제스처를 포함하는 제스처 정보를 외부로부터 입력받는 단계; 및
    (b) 상기 복수의 객체 중, 상기 입력받은 음성 정보로부터 도출되는 객체와 상기 제스처 정보에 의해 지시되는 객체의 매칭 결과에 근거하여 적어도 하나의 객체를 검출하는 단계;
    (c) 검출된 객체에 대해 상기 음성 정보를 해석한 결과에 따른 제어 명령을 실행하며, 상기 제어 명령의 실행 결과를 상기 디스플레이부에 출력하는 단계;를 포함하며,
    상기 디스플레이부는 시간의 경과에 따라 서로 다른 객체를 포함하는 영상을 출력하며,
    상기 매칭 결과에 근거하여 적어도 하나의 객체를 검출하는 단계는,
    상기 음성 정보로부터 도출되는 객체와 상기 제스처 정보에 의해 지시되는 객체가 서로 매칭되는지 여부를 판단하는 단계; 및,
    상기 매칭 여부 판단 결과에 따라 기 설정된 이전 시간동안의 영상들을 다시 출력하여 상기 음성 정보와 상기 제스처 정보에 대응하는 적어도 하나의 객체를 다시 검출하는 단계;를 포함하는 것을 특징으로 하는 영상 표시 장치의 제어 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020130056667A 2013-05-20 2013-05-20 영상 표시 장치 및 그것의 제어 방법 KR102058370B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130056667A KR102058370B1 (ko) 2013-05-20 2013-05-20 영상 표시 장치 및 그것의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130056667A KR102058370B1 (ko) 2013-05-20 2013-05-20 영상 표시 장치 및 그것의 제어 방법

Publications (2)

Publication Number Publication Date
KR20140136310A KR20140136310A (ko) 2014-11-28
KR102058370B1 true KR102058370B1 (ko) 2019-12-24

Family

ID=52456611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130056667A KR102058370B1 (ko) 2013-05-20 2013-05-20 영상 표시 장치 및 그것의 제어 방법

Country Status (1)

Country Link
KR (1) KR102058370B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102664318B1 (ko) * 2016-11-30 2024-05-09 주식회사 넥슨코리아 음성 기반 제어 장치 및 방법
US11709653B1 (en) * 2022-04-11 2023-07-25 Google Llc Contextual assistant using mouse pointing or touch cues

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516496A (ja) * 2003-05-08 2007-06-21 ヒルクレスト ラボラトリーズ， インコーポレイテッド メディア項目を編成、選択及び開始するためのズーム可能なグラフィカルユーザインタフェースを有する制御フレームワーク
KR101708646B1 (ko) * 2010-05-26 2017-03-08 엘지전자 주식회사 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법

Also Published As

Publication number Publication date
KR20140136310A (ko) 2014-11-28

Similar Documents

Publication Publication Date Title
US9204077B2 (en) Display device and control method thereof
US8933881B2 (en) Remote controller and image display apparatus controllable by remote controller
KR101661981B1 (ko) 영상표시장치 및 그 동작방법
KR101572843B1 (ko) 영상 표시 장치 및 그 동작 방법
CN103150010A (zh) 控制电子设备的方法和应用该方法的电子设备
JP6223744B2 (ja) 方法、電子機器およびプログラム
US20170026707A1 (en) Electronic device for providing information associated with broadcast content and method thereof
KR20140131166A (ko) 디스플레이 장치 및 검색 방법
US20160119685A1 (en) Display method and display device
KR20160084059A (ko) 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR20150005131A (ko) 영상표시장치 및 영상표시장치 동작방법
KR102077672B1 (ko) 영상표시장치 및 영상표시장치 동작방법
US8952905B2 (en) Image display apparatus and method for operating the same
US10382826B2 (en) Image display apparatus and operating method thereof
KR102058370B1 (ko) 영상 표시 장치 및 그것의 제어 방법
KR20140141026A (ko) 디스플레이 장치 및 검색 결과를 표시하는 방법.
KR20120027771A (ko) 디스플레이 장치 및 그의 제어 방법
KR20160061176A (ko) 디스플레이 장치 및 그 제어 방법
US10310709B2 (en) Image display apparatus and method of displaying image for determining a candidate item to select
KR20150006276A (ko) 콘텐츠 제어 장치 및 그 방법
KR102243213B1 (ko) 영상표시장치 및 영상표시장치 동작방법
KR20130071148A (ko) 영상표시장치의 동작 방법
KR102057559B1 (ko) 영상표시장치 및 이의 제어방법
KR102105459B1 (ko) 영상표시장치 및 영상표시장치 동작방법
KR101544553B1 (ko) 영상 표시 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant