KR102277749B1 - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102277749B1
KR102277749B1 KR1020140157820A KR20140157820A KR102277749B1 KR 102277749 B1 KR102277749 B1 KR 102277749B1 KR 1020140157820 A KR1020140157820 A KR 1020140157820A KR 20140157820 A KR20140157820 A KR 20140157820A KR 102277749 B1 KR102277749 B1 KR 102277749B1
Authority
KR
South Korea
Prior art keywords
text
database
user
displayed
display
Prior art date
Application number
KR1020140157820A
Other languages
English (en)
Other versions
KR20160057085A (ko
Inventor
이승신
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140157820A priority Critical patent/KR102277749B1/ko
Priority to US14/593,529 priority patent/US10114813B2/en
Priority to EP15171997.8A priority patent/EP3021319A1/en
Priority to CN201510416958.3A priority patent/CN106210901B/zh
Publication of KR20160057085A publication Critical patent/KR20160057085A/ko
Application granted granted Critical
Publication of KR102277749B1 publication Critical patent/KR102277749B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치가 개시된다. 본 장치는 디스플레이부, 사용자 음성을 수신하는 사운드 센싱부, 디스플레이부에 디스플레이되는 텍스트를 기 설정된 시간 동안 저장하는 데이터베이스, 및 기 설정된 시간 동안 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 데이터베이스로부터 추출하는 제어부를 포함한다.

Description

디스플레이 장치 및 그 제어 방법{DISPLAY APPARATUS AND THE CONTROL METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 사용자 음성에 대응되는 텍스트를 디스플레이하는 디스플레이 장치 및 그 제어 방법에 관한 것이다.
디스플레이 장치는 방송국 등으로부터 전송된 화상을 CRT, PDP, LCD, OLED 등의 디스플레이부를 통하여 표시하는 장치를 의미한다. 최근 들어, 디스플레이 장치는 전통적인 아날로그 TV에서 고화질의 영상 및 고음질의 사운드를 출력할 수 있는 DTV(Digital TV)로 발전되고 있으며, 이에 더하여 인터넷 접속이 가능한 IPTV(Internet Protocol TV) 등으로 비약적으로 발전하고 있다.
최근의 디스플레이 장치는 디지털 방식의 방송 수신 기능 이외에도 전자 프로그램 가이드(Electronic Program Guide; EPG)의 수신 기능, 양방향 통신 기능, 인터넷 접속 기능 등 다양한 기능들을 제공하게 되었다. 뿐만 아니라 홈 네트워크 환경 또는 유비쿼터스(Ubiquitous) 환경에서 서버의 기능까지 담당할 수 있게 되었다.
한편, IPTV는 원하는 방송을 골라서 보거나 편집이 가능하다는 점에서 기존의 TV와 구별된다. 즉, 인터넷을 통하여 기존의 TV와 마찬가지로 방송국에서 방영하는 프로그램을 시청할 수 있을 뿐만 아니라, PC를 별도로 조작할 필요 없이 인터넷 상에서 제공되는 다양한 컨텐츠를 제공받을 수 있다는 점에서 IPTV는 다양한 장점을 보유한다. 이러한 장점들 때문에 양방향 통신이 가능한 IPTV가 더욱 각광받을 것으로 전망되고 있다.
따라서 향후의 디스플레이 장치는 종래의 단순한 컨텐츠 디스플레이 기능에서 벗어나, 더욱 다양하고 편리한 기능을 제공할 필요가 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 디스플레이된 텍스트를 저장하는 데이터베이스로부터 음성인식에 따른 텍스트를 추출함으로써 사용자에 대한 음성인식의 성공율을 높이도록 하는 디스플레이 장치 및 그 제어 방법을 제공하기 위함이다.
상기의 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 디스플레이 장치는 디스플레이부, 사운드 센싱부, 디스플레이부에 디스플레이되는 텍스트를 기 설정된 시간 동안 저장하는 데이터베이스, 및 사운드 센싱부를 통해 기 설정된 시간 이내에 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 데이터베이스로부터 추출하는 제어부를 포함한다.
또한, 디스플레이부는 방송 신호에 대응하는 영상을 디스플레이하고, 제어부는 텍스트가 포함된 영상이 디스플레이되는 경우에 텍스트를 데이터베이스에 저장할 수 있다.
또한, 데이터베이스는 저장된 텍스트에 대한 가중치(weight)를 저장하고, 제어부는 디스플레이부에 디스플레이된 텍스트에 대한 가중치를 증가시켜 데이터베이스를 업데이트하고, 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 업데이트된 데이터베이스로부터 추출할 수 있다.
또한, 제어부는 선택된 텍스트에 대한 가중치를 증가시켜 데이터베이스를 업데이트할 수 있다.
또한, 제어부는 음성인식 모드에서 데이터베이스를 업데이트할 수 있다.
또한, 제어부는 디스플레이된 텍스트로부터 단어 또는 문장을 추출하고, 추출된 단어를 제1 데이터베이스에 저장하거나 추출된 문장을 제2 데이터베이스에 저장할 수 있다.
또한, 제어부는 기 설정된 시간이 경과하면 데이터베이스에 저장된 텍스트에 대한 가중치를 감소시킬 수 있다.
또한, 제어부는 기 설정된 값 이하인 가중치에 대응하는 텍스트를 데이터베이스로부터 삭제할 수 있다.
또한, 제어부는 음성인식을 수행하는 사용자를 식별하고, 식별된 사용자에 따라 별도로 형성된 데이터베이스를 업데이트할 수 있다.
또한, 제어부는 수신된 사용자 음성과 데이터베이스에 저장된 적어도 하나의 텍스트 간의 매칭 정도를 나타내는 매칭 스코어를 산출하고, 산출된 매칭 스코어 중 최대 스코어에 대응되는 텍스트를 데이터베이스로부터 추출 및 디스플레이할 수 있다.
또한, 제어부는 추출된 텍스트에 대응되는 가중치를 증가시킬 수 있다.
또한, 검색 서버와 통신하기 위한 네트워크 인터페이스부를 더 포함하고, 제어부는 디스플레이된 적어도 하나의 텍스트 중 선택된 하나의 텍스트를 검색 서버로 전송하며, 전송된 텍스트에 대응되는 검색 결과를 검색 서버로부터 수신하여 디스플레이할 수 있다.
또한, 음성인식 서버와 통신하기 위한 네트워크 인터페이스부를 더 포함하고, 제어부는 수신된 사용자 음성 및 음성인식 서버에 저장된 적어도 하나의 텍스트와의 매칭 스코어를 산출하여 최대 스코어에 해당하는 텍스트를 추출하고, 데이터베이스에서 최대 스코어로 산출된 텍스트와 음성인식 서버에서 최대 스코어로 산출된 텍스트 중 높은 스코어에 해당하는 텍스트를 선택하여 디스플레이할 수 있다.
또한, 제어부는 선택된 텍스트가 데이터베이스에서 최대 스코어로 산출된 텍스트인 경우, 선택된 텍스트에 대한 가중치를 증가시킬 수 있다.
또한, 제어부는 적어도 하나의 텍스트를 데이터베이스에 최근에 저장된 순서로 추출하여 디스플레이부에 디스플레이할 수 있다.
또한, 제어부는 디스플레이부에 디스플레이되는 프로그램과 연관된 텍스트를 데이터베이스로부터 추출하여 디스플레이할 수 있다.
또한, 제어부는 수신된 사용자 음성에 대응되는 텍스트를 선택하도록 하는 가이드 화면을 디스플레이부에 디스플레이할 수 있다.
또한, 사운드 출력부를 더 포함하고, 제어부는 디스플레이된 텍스트에 커서가 위치하면, 커서가 위치한 텍스트를 사운드로 변환하여 사운드 출력부를 통해 출력할 수 있다.
또한, 제어부는 추출된 적어도 하나의 텍스트를 디스플레이부에 디스플레이할 수 있다.
또한, 디스플레이 장치는 TV, 스마트 폰, 글라스 타입의 이동 단말기, 와치 타입의 이동 단말기 중 어느 하나일 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법은 디스플레이부에 텍스트를 디스플레이하는 단계, 디스플레이된 텍스트를 데이터베이스에 기 설정된 시간 동안 저장하는 단계, 및 사운드 센싱부를 통해 기 설정된 시간 이내에 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 데이터베이스로부터 추출하는 단계를 포함한다.
본 발명의 실시예들 중 적어도 하나에 의하면, 디스플레이된 텍스트를 저장하는 데이터베이스로부터 사용자 음성에 대응되는 텍스트를 추출하게 되므로, 음성인식의 성공율을 높일 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시예와 같은 특정 실시예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치와 외부 장치 사이의 통신을 설명하기 위한 도면의 일 예,
도 2는 본 발명의 일 실시예에 따른 방송 송신 장치에 관한 블럭도의 일 예,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에 관한 블럭도의 일 예,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 관한 순서도의 일 예,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 관한 순서도의 다른 예,
도 6 내지 도 12는 본 발명의 일 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면의 다양한 예,
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에 있어서, 데이터베이스를 업데이트하는 과정을 설명하기 위한 순서도의 일 예,
도 14 내지 도 16은 본 발명의 일 실시예에 따른 디스플레이 장치에 있어서, 제1 및 제2 데이터베이스를 설명하기 위한 도면의 일 예,
도 17은 본 발명의 일 실시예에 따른 디스플레이 장치에 있어서, 음성인식에 따른 검색 결과의 출력 과정을 설명하기 위한 순서도의 일 예,
도 18 내지 도 22는 본 발명의 일 실시예에 따른 디스플레이 장치에 있어서, 신조어에 대한 데이터베이스의 업데이트 과정을 설명하기 위한 순서도의 일 예,
도 23 내지 도 30은 본 발명의 일 실시예에 따른 디스플레이 장치에 있어서, 음성인식에 따른 검색을 하기 위한 가이드의 다양한 예,
도 31 내지 도 33은 본 발명의 다양한 실시예에 따른 디스플레이 장치를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 디스플레이 장치에는 아날로그 TV, DTV, IPTV, Smart TV, 3D TV, 프로젝션 TV, 및 그 외의 다양한 모니터 뿐만 아니라 데스크탑 컴퓨터, 디지털 사이니지 등이 포함될 수 있다.
그러나 본 명세서에 기재된 실시 예에 따른 구성은 TV에만 적용 가능한 경우를 제외하면 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등과 같은 이동 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명에 따른 디스플레이 장치(100)가 외부 장치와 통신하는 과정을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 의한 디스플레이 장치(100)는 방송국(10), 네트워크 서버(20) 또는 외부 장치(30)와 통신할 수 있다. 또한 도 1에는 도시되지 않았으나, 디스플레이 장치(100)를 제어하기 위한 리모컨(미도시)을 더 포함할 수 있다.
한편 본 문서에서 개시되는 디스플레이 장치(100)는 TV에 한정되는 것은 아님을 분명히 밝혀둔다. 즉 본 명세서에 기재된 실시예에 따른 구성이 TV에만 적용 가능한 경우를 제외하면, 디스플레이 장치(100)는 셋톱박스(settop box; STB), IPTV(Internet Protocol TV), 퍼스널 컴퓨터(personal computer) 등일 수 있다.
디스플레이 장치기(100)는 방송국(10)에서 전송하는 영상신호를 포함하는 방송신호를 수신할 수 있다. 디스플레이 장치(100)는 방송 신호에 포함되는 영상 신호 및 음성 신호 또는 데이터 신호를 디스플레이 장치(100)에서 출력하기에 적합하도록 처리(process)할 수 있다. 디스플레이 장치(100)는 처리한 영상 신호에 기초하는 영상 또는 오디오를 출력할 수 있다. 디스플레이 장치(100)는 복수의 방송국으로부터 방송신호를 수신할 수도 있다.
한편 디스플레이 장치(100)는 네트워크 서버(20)와 통신할 수 있다. 네트워크 서버(20)는 임의의 네트워크를 통하여 디스플레이 장치(100)와 신호를 송수신할 수 있는 장치이다. 예를 들어 네트워크 서버(20)는 유선 또는 무선 기지국을 통하여 디스플레이 장치(100)와 연결될 수 있는 휴대전화 단말기일 수 있다. 또한 네트워크 서버(20)는 인터넷 네트워크를 통하여 디스플레이 장치(100)로 컨텐츠를 제공할 수 있는 장치일 수 있다. 컨텐츠 제공자는 네트워크 서버를 이용하여 디스플레이 장치(100)로 컨텐츠를 제공할 수 있다. 또한 네트워크 서버(20)는 인터넷 네트워크를 통하여 디스플레이 장치(100)로 다양한 웹 서비스 기타 정보를 제공할 수 있는 장치일 수 있다. 디스플레이 장치(100)는 복수의 네트워크 서버와 통신할 수도 있다.
한편 디스플레이 장치(100)는 외부 장치(30)와 통신할 수 있다. 외부 장치(30)는 유선 또는 무선으로 디스플레이 장치(100)와 직접 신호를 송수신할 수 있는 장치이다. 일 예로 외부 장치(30)는 사용자가 사용하는 미디어 저장장치 또는 재생장치일 수 있다. 즉 외부 장치(30)는 카메라, DVD 플레이어, 블루레이 플레이어, 퍼스널 컴퓨터 등에 해당할 수 있다.
방송국(10), 네트워크 서버(20), 또는 외부 장치(30)는 디스플레이 장치(100)로 영상 신호를 포함하는 신호를 전송할 수 있다. 디스플레이 장치(100)는 입력되는 신호에 포함되는 영상 신호에 기초하는 영상을 표시할 수 있다. 또한 디스플레이 장치(100)는 방송국(10) 또는 네트워크 서버(20)에서 디스플레이 장치(100)로 전송하는 신호를 외부 장치(30)로 전송할 수 있다. 또한 외부 장치(30)에서 디스플레이 장치(100)로 전송하는 신호를 방송국(10) 또는 네트워크 서버(20)로 전송할 수 있다. 즉 디스플레이 장치(100)는 방송국(10), 네트워크 서버(20) 및 외부 장치(30)에서 전송하는 신호에 포함되는 컨텐츠를 디스플레이 장치(100)에서 직접 재생하는 기능 뿐만 아니라, 이를 전달하는 기능도 포함한다.
도 2는 본 발명의 일 실시예에 따른 방송 송신 장치(50)의 블럭도이다. 도 2는 도 1에 도시된 방송국(10)에 포함된 방송 송신 장치(50)를 예로서 도시하고 있다.
본 발명의 일 실시예에 따른 방송 송신 장치(50)는 방송 컨텐츠 저장부(51), GUI 정보 생성부(52), 방송 데이터 변환부(53), 전송부(54)를 포함하여 구성될 수 있다.
방송 컨텐츠 저장부(51)는 디스플레이 장치(100)로 전송할 적어도 하나의 방송 컨텐츠를 저장한다. 방송 컨텐츠 저장부(51)는 외부에서 생성된 방송 컨텐츠를 전송받아 저장하거나, 전송할 방송 컨텐츠를 생성하여 저장할 수 있다. 방송 컨텐츠는 비디오, 오디오, 데이터 중 적어도 하나를 포함할 수 있다. 일반적으로 방송 컨텐츠의 종류에 따라 비디오 방송, 오디오 방송, 데이터 방송으로 호칭한다. 방송 컨텐츠를 다르게 표현하면 멀티미디어 컨텐츠로 호칭할 수 있다.
GUI 정보 생성부(51)는 디스플레이 장치(100)로 전송할 적어도 하나의 GUI 정보를 생성하고 이를 저장할 수 있다. GUI 정보는 이미지 정보, 색상 정보, 메뉴 정보, 텍스트 정보, 화면구성 정보 중 적어도 하나를 포함할 수 있다.
이미지 정보는 GUI에 이용될 각종 이미지에 관한 정보이다. 이미지는 정지영상, 동영상, 플래시, 애니메이션 중 적어도 하나를 포함할 수 있다. 색상 정보는 GUI에 사용될 각종 색상, 명도, 채도 등을 포함하는 영상 특성에 관한 정보이다. 메뉴 정보는 GUI에 표시될 메뉴의 종류 또는 구성에 관한 정보이다. 텍스트 정보는 GUI에 이용될 텍스트의 색상, 폰트, 크기 등에 관한 정보이다. 화면구성 정보는 GUI에 이용될 이미지, 메뉴, 텍스트의 구성에 관한 정보이다.
GUI 정보 생성부(52)에 저장된 GUI 정보는 방송국(10)의 고유한 GUI 정보를 포함할 수 있다. 예를 들어 GUI 정보는 방송국(10)을 대표하는 또는 방송국(10)이 제공하는 특정 채널을 대표하는 로고(logo)를 포함할 수 있다. 로고는 이미지를 포함할 수 있다. 또한 GUI 정보는 방송국(10)에서 생성되는 특정 방송 컨텐츠에 대응되는 고유한 GUI 정보를 포함할 수 있다.
한편 GUI 정보는 그래픽 요소 및 상기 오디오 요소 중 적어도 하나를 포함할 수 있다. 또한 GUI 정보는 그래픽 요소 및 오디오 요소 중 적어도 하나가 저장된 장소의 경로를 지시하는 위치 정보를 포함할 수 있다. 예를 들어 방송국(10)이 운영하는 웹 서버(web server)에 그래픽 요소 및 오디오 요소 중 적어도 하나가 저장되어 있고, GUI 정보 생성부(52)에 저장된 GUI 정보는 그래픽 요소 또는 오디오 요소가 웹 서버에 저장된 경로를 지시하는 위치 정보를 포함할 수 있다. 예를 들어 위치정보는 URL(uniform resource locator) 주소 또는 URI(uniform resource identifier)를 포함할 수 있다.
디스플레이 장치(100)가 위치 정보를 포함한 GUI 정보를 수신한 경우, 위치 정보를 참조하여 그래픽 요소 또는 오디오 요소를 다운로드 받을 수 있다.
방송 데이터 변환부(53)는 방송 컨텐츠 저장부(51)에 저장된 방송 컨텐츠와 GUI 정보 생성부(52)가 출력하는 GUI 정보를 전송 가능한 방송 데이터 형식으로 변환하여 출력할 수 있다. 그리고 방송 신호를 전송하는 원칙이나 방송 규격에 따라, 생성된 방송 신호를 패킷화하여 출력할 수도 있다.
전송부(54)는 방송 데이터 변환부(53)가 생성한 방송 신호를 전송망을 통해 전송할 수 있다.
도 3은 본 발명에 따른 디스플레이 장치(100)의 구성을 설명하기 위한 도면이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 3을 참조하면, 본 발명의 일 실시예에 의한 디스플레이 장치(100)는 영상을 표시하는 디스플레이부(171)와 수신되는 방송 신호에 대응하여 디스플레이부(171)에 구동신호를 공급하는 구동부(170)를 포함할 수 있다.
디스플레이부(171)는 디스플레이 패널(Display Panel)이라고 할 수 있다.
구동부(170)는 디스플레이 장치(100)의 영상 표시 및 음성 출력을 제어할 수 있다. 이러한 구동부(170)는 수신부(110), 외부 장치 인터페이스부(130), 저장부(120), 사용자 입력 인터페이스부(140), 제어부(160) 및 명령 입력부(150)를 포함할 수 있다.
구동부(170)와 디스플레이부(171)는 일체로 형성되는 것이 가능하다. 또는 구동부(170)와 디스플레이부(171)는 별개로 모듈화되고, 유선 또는 무선으로 통신을 하는 것도 가능할 수 있다.
아울러 본 발명에 따른 디스플레이 장치(100)는 사운드를 출력하기 위한 사운드 출력부(172), 사운드를 센싱(Sensing)하기 위한 사운드 센싱부(173) 및 사용자의 움직임 등을 센싱하기 위한 모션 센싱부(174)를 포함할 수 있다.
본 발명에 따른 디스플레이 장치(100)에 대해 보다 상세히 설명하면 아래와 같다.
수신부(110)는 튜너(111), 복조부(112), 네트워크 인터페이스부(113)를 포함할 수 있다. 필요에 따라 튜너(111)와 복조부(112)를 구비하면서 네트워크 인터페이스부(113)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(113)를 구비하면서 튜너(111)와 복조부(112)는 포함하지 않도록 설계하는 것도 가능하다.
튜너(111)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 RF 방송 신호를 선택할 수 있다. 또한 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환할 수 있다. 즉 튜너(111)는 디지털 방송 신호 또는 아날로그 방송 신호를 모두 처리할 수 있다. 튜너(111)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(160)로 직접 입력될 수 있다.
복조부(112)는 튜너(111)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다.
예를 들어 튜너(111)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(112)는 예컨대, 8-VSB(8-Vestigal Side Band) 복조를 수행할 수 있다. 또한 복조부(112)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(112)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어 튜너(111)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(112)는 예컨대, COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행할 수 있다. 또한 복조부(112)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(112)는 컨벌루션 디코더(convolution decoder), 디인터리버, 리드-솔로먼 디코더 등을 구비하여 컨벌루션 복호화, 디인터리빙, 리드 솔로먼 복호화를 수행할 수 있다.
복조부(112)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이 때 스트림 신호는 영상 신호, 음성 신호, 또는 데이터 신호가 다중화된 신호일 수 있다. 일 예로 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
복조부(112)에서 출력한 스트림 신호는 제어부(160)로 입력될 수 있다.
제어부(160)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(171)에 영상을 출력하고, 사운드 출력부(172)로 음성을 출력할 수 있다.
외부 장치 인터페이스부(130)는 외부 장치와 본 발명에 따른 디스플레이 장치(100)를 접속할 수 있다. 이를 위해 외부 장치 인터페이스부(130)는 A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
외부 장치 인터페이스부(130)는 DVD(Digital Versatile Disk), 블루레이(Blu-ray), 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부 장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성, 또는 데이터 신호를 디스플레이 장치(100)의 제어부(160)로 전달할 수 있다. 또한 제어부(160)에서 처리된 영상, 음성, 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해 외부 장치 인터페이스부(130)는 A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
네트워크 인터페이스부(113)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(113)는 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(113)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
한편 네트워크 인터페이스부(113)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외에 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
저장부(120)는 제어부(160) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성, 또는 데이터신호를 저장할 수도 있다.
또한 저장부(120)는 외부 장치 인터페이스부(130) 또는 네트워크 인터페이스부(113)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한 저장부(120)는 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(120)는 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
디스플레이 장치(100)는 저장부(120) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 3은 저장부(120)가 제어부(160)와 별도로 구비된 경우를 도시하고 있으나, 저장부(120)는 제어부(160) 내에 포함될 수도 있다.
명령 입력부(150)는 사용자가 명령을 입력하기 위한 입력키를 포함할 수 있다. 이러한 명령 입력부(150)는 유선으로 명령을 입력하기 위한 유선 입력부(151) 및 무선으로 명령을 입력하기 위한 무선 입력부(200)를 포함할 수 있다.
이러한 명령 입력부(150)는 전원 온/오프, 채널 선택, 화면 설정, 음량 조절, 화면상에서 커서(Cursor)의 이동, 메뉴(Menu) 선택 등의 다양한 명령을 입력하는 것이 가능하다.
여기서 무선 입력부(200)는 원격제어를 위한 리모트 컨트롤러(Remote Controller)일 수 있다.
사용자 입력 인터페이스부(140)는 명령 입력부(150)를 통해 사용자가 입력한 신호를 제어부(160)로 전달하거나, 제어부(160)로부터의 신호를 명령 입력부(150)로 전달할 수 있다.
만약 사용자가 유선 입력부(151)를 통해 소정의 명령을 입력하는 경우에, 입력된 명령은 사용자 입력 인터페이스부(140)를 경유하지 않고 직접 제어부(160)에 전달되는 것도 가능할 수 있다.
사용자 입력 인터페이스부(140)는 RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라 무선 입력부(200)로부터 입력되는 명령을 수신하여 처리하거나, 제어부(160)로부터의 제어 신호를 무선 입력부(200)로 송신하도록 처리할 수 있다.
또한 예를 들어 사용자 입력 인터페이스부(140)는 명령 입력부(150)의 전원 키, 채널 키, 볼륨 키, 설정 키 등의 로컬 키(미도시)에서 입력되는 제어 신호를 제어부(160)에 전달할 수 있다.
제어부(160)는 튜너(111) 또는 복조부(112) 또는 외부 장치 인터페이스부(130)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(160)에서 영상 처리된 영상 신호는 디스플레이부(171)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한 제어부(160)에서 영상 처리된 영상 신호는 외부 장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(160)에서 처리된 음성 신호는 사운드 출력부(172)로 음성 출력될 수 있다. 또한 제어부(160)에서 처리된 음성 신호는 외부 장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
아울러 제어부(160)는 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어 제어부(160)는 튜너(111)를 제어하여, 사용자가 선택한 채널 또는 기 저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한 제어부(160)는 사용자 입력 인터페이스부(140)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있다. 특히 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
예를 들어 제어부(160)는 사용자 입력 인터페이스부(140)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(111)를 제어한다. 그리고 선택한 채널의 영상, 음성, 또는 데이터 신호를 처리한다. 제어부(160)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성 신호와 함께 디스플레이부(171) 또는 사운드 출력부(172)를 통하여 출력될 수 있도록 한다.
다른 예로 제어부(160)는 사용자 입력 인터페이스부(140)를 통하여 수신한 외부 장치 영상 재생 명령에 따라, 외부 장치 인터페이스부(130)를 통하여 입력되는 외부 장치, 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(171) 또는 사운드 출력부(172)를 통해 출력될 수 있도록 한다.
제어부(160)는 영상을 표시하도록 디스플레이부(171)를 제어할 수 있다. 예를 들어 튜너(111)를 통해 입력되는 방송 영상, 외부 장치 인터페이스부(130)를 통해 입력되는 외부 입력 영상, 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(120)에 저장된 영상을 디스플레이부(171)에 표시하도록 제어할 수 있다. 이 경우 디스플레이부(171)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
제어부(160)는 컨텐츠를 재생하도록 제어할 수 있다. 이 경우 컨텐츠는 디스플레이 장치(100) 내에 저장된 컨텐츠, 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠일 수 있다. 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 중 적어도 하나일 수 있다.
또한 제어부(160)는 네트워크 인터페이스부(113)를 통하여 디스플레이 장치와 네트워크 연결된 사용자 단말기를 검색하고, 상기 검색된 사용자 단말기 목록을 디스플레이부(171)를 통하여 출력하며, 사용자 입력 인터페이스부(140)를 통하여 상기 검색된 사용자 단말기 목록 중 사용자 컨트롤러로 사용한 사용자 단말기의 선택신호를 수신하도록 제어할 수 있다.
또한 제어부(160)는 디스플레이부(171)를 통하여 각각의 사용자 단말기에 해당하는 플레이어 정보를 출력하도록 제어할 수 있다.
디스플레이부(171)는 제어부(160)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 또는 외부 장치 인터페이스부(130)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
디스플레이부(171)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.
한편 디스플레이부(171)는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
사운드 출력부(172)는 제어부(160)에서 처리된 신호, 예를 들어 스테레오 신호, 3.1 채널 신호, 또는 5.1 채널 신호를 입력 받아 사운드로 출력할 수 있다. 사운드 출력부(172)는 다양한 형태의 스피커로 구현될 수 있다.
사운드 센싱부(173)는 디스플레이 장치(100)의 내부 혹은 외부에서 발생하는 사운드를 센싱할 수 있다.
예를 들면 사운드 센싱부(173)는 디스플레이 장치(100)의 외부에서 발생하는 전화벨 소리, 초인종 소리, 물 소리, 사용자의 목소리 등의 다양한 사운드를 센싱할 수 있다. 이를 위해 사운드 센싱부(173)는 음성 센서 혹은 마이크(Microphone)를 포함할 수 있다.
모션 센싱부(174)는 사용자의 움직임을 센싱할 수 있다. 이를 위해 모션 센싱부(174)는 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센서부(미도시)를 포함할 수 있다. 이러한 센서부에 의해 감지된 신호는 제어부(160)로 전달될 수 있다.
아울러 모션 센싱부(174)는 카메라(Camera) 등의 촬영부(미도시)를 포함할 수 있다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(160)에 입력될 수 있다.
또는 모션 센싱부(174)는 센서부와 촬영부를 함께 포함할 수 있다.
제어부(160)는 촬영부(미도시)로부터 촬영된 영상 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
아울러 모션 센싱부(174)는 사용자의 모션 뿐만 아니라, 사용자의 안면(Face)의 형태, 사용자의 안면이 향하는 방향 등의 정보를 센싱하는 것도 가능하다.
한편 무선 입력부(200)는 사용자 입력을 사용자 입력 인터페이스부(140)로 송신할 수 있다. 이를 위해 무선 입력부(200)는 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.
또한 무선 입력부(200)는 사용자 입력 인터페이스부(140)에서 출력한 영상, 음성, 또는 데이터 신호 등을 수신하고, 수신한 정보를 무선 입력부(200)에서 표시하거나 음성 또는 진동을 출력할 수 있다.
한편 디스플레이 장치(100)는 도 3에 도시된 바와 달리, 튜너(111)와 복조부(112)를 구비하지 않고, 네트워크 인터페이스부(113) 또는 외부 장치 인터페이스부(130)를 통해서 영상 컨텐츠를 수신하고 이를 재생할 수도 있다.
한편 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다.
채널 브라우징 처리부는 복조부(112)에서 출력한 스트림 신호(TS) 또는 외부 장치 인터페이스부(130)에서 출력한 스트림 신호 등을 입력받아, 입력된 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(160)로 입력될 수 있다. 또한 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(160)로 입력되는 것도 가능하다. 제어부(160)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(171)에 표시할 수 있다. 한편 이러한 썸네일 리스트 내의 썸네일 영상들은 차례로 또는 동시에 업데이트될 수 있다. 이에 따라 사용자는 복수의 방송 채널의 내용을 간편하게 파악할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치(100)의 제어 방법에 관한 순서도의 일 예이다.
도 4를 참조하면, 디스플레이 장치(100)는 컨텐츠를 디스플레이할 수 있다.
구체적으로 디스플레이 장치(100)는 음성인식 모드로 전환되지 않은 상태이며, 제어부(160)는 방송 신호를 수신하여 방송 프로그램을 출력할 수 있다. 또한 제어부(160)는 저장부(120)에 저장된 영상 또는 디스플레이 장치(100)와 연결된 외부 기기(30)에서 실행되는 영상을 출력할 수 있다.
이 후 디스플레이 장치(100)는 컨텐츠에 포함된 텍스트를 디스플레이할 수 있다(S410).
이 경우 텍스트는 방송 프로그램 또는 영상에 포함된 자막일 수 있으나, 이에 한정되는 것은 아니다. 즉 텍스트는 방송에 대한 방송사를 나타내기 위하여 디스플레이되는 로고(192) 또는 타이틀 등 다양한 형태 또는 용도의 텍스트를 의미할 수 있다.
뿐만 아니라, 텍스트는 광학 문자 인식(Optical Character Recognition, OCR) 기술에 의해 문자로 변환 가능한 모든 형태의 이미지를 의미할 수도 있다. 따라서 이하에서 설명되는 텍스트는 디스플레이부(171)에 디스플레이되는 이미지로서, 광학 문자 인식에 의해 텍스트로 변환될 수 있다.
또한 이하의 설명에서는 텍스트라는 용어를 사용하지만, 이에 한정되는 것은 아니다. 즉 사용자 음성에 대응될 수 있는 문자, 숫자, 기호, 단어, 문장 등 모든 형태의 캐릭터를 의미할 수 있다.
이 후 디스플레이 장치(100)는 디스플레이된 텍스트를 기 설정된 시간 동안 데이터베이스에 저장할 수 있다(S420).
이 경우 데이터베이스는 디스플레이 장치(100)에 대한 임베디드 데이터베이스일 수 있으며, 저장부(120) 내에 형성될 수 있다.
또한 제어부(160)는 디스플레이된 텍스트를 기 설정된 시간 동안만 데이터베이스에 저장할 수 있으며, 저장된 텍스트에 대응되는 사용자 음성이 기 설정된 시간 이내에 수신되지 않으면 제어부(160)는 이를 데이터베이스로부터 삭제할 수 있다. 즉 디스플레이된 텍스트가 데이터베이스에 임시로 저장된 시간 이내에 이에 대응되는 사용자 음성이 수신되면, 가중치가 부여되어 데이터베이스에 저장될 수 있다. 이에 대해서는 도 5에서 상세하도록 한다.
한편 제어부(160)가 디스플레이된 텍스트를 기 설정된 시간 동안 데이터베이스에 저장하는 동작은 디스플레이 장치(100)가 음성인식 모드인지 여부를 불문할 수 있다. 즉 디스플레이 장치(100)가 음성인식 모드인 경우 데이터베이스에 저장된 텍스트 중 수신된 사용자 음성에 대응되는 텍스트는 데이터베이스에 남아 있고, 나머지 텍스트는 기 설정된 시간 경과 후 삭제될 수 있다. 또한 디스플레이 장치(100)가 음성인식 모드가 아닌 경우 데이터베이스에 저장된 텍스트에 대응되는 사용자 음성은 수신되지 않으므로, 데이터베이스에 저장된 텍스트는 기 설정된 시간 경과 후 삭제될 수 있다.
한편 데이터베이스에는 디스플레이된 텍스트에 대한 로우(raw) 데이터가 저장될 수 있다. 따라서 제어부(160)는 디스플레이된 텍스트에 대한 로우 데이터를 데이터베이스에 저장하고, 이에 대응되는 사용자 음성이 수신되면 저장된 로우 데이터를 텍스트로 변환하여 디스플레이할 수 있다.
이 후 디스플레이 장치(100)는 음성인식 모드로 전환될 수 있으며, 음성인식 모드로 전환된 디스플레이 장치(100)는 사용자 음성을 수신할 수 있다. 따라서 디스플레이 장치(100)는 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 데이터베이스로부터 추출할 수 있다(S430).
구체적으로 음성인식 모드에서, 사용자는 디스플레이 장치(100)를 조작하기 위한 명령을 발화할 수 있다. 즉 사용자는 데이터베이스로부터 검색하고자 하는 쿼리(query)를 발화할 수 있다. 예를 들어 사용자가 “AAA”에 대하여 검색하고자 한다면, “AAA”를 발화할 수 있다.
제어부(160)는 사용자 음성을 수신한 후 수신된 사용자 음성에 대응되는 텍스트를 데이터베이스로부터 추출할 수 있다. 제어부(160)는 데이터베이스에 저장된 텍스트 중 사용자 음성과 유사한 적어도 하나의 텍스트를 추출할 수 있다.
또한 제어부(160)는 추출된 적어도 하나의 텍스트를 디스플레이부(171)에 디스플레이할 수도 있다. 즉 제어부(160)는 사용자가 의도한 쿼리에 대응되는 적어도 하나의 텍스트를 데이터베이스로부터 추출하여 디스플레이부(171)에 디스플레이할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치(100)의 제어 방법에 관한 순서도의 다른 예이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 5를 참조하면, 음성인식 모드의 디스플레이 장치(100)는 컨텐츠를 디스플레이할 수 있다. 또한 음성인식 모드의 디스플레이 장치(100)는 컨텐츠에 포함된 텍스트를 디스플레이부(171)에 디스플레이할 수 있다(S510).
여기서 사용자는 리모컨(200)상에 형성된 버튼을 선택함으로써 디스플레이 장치(100)를 음성인식 모드로 전환할 수 있으며, 해당 버튼을 한번 더 선택함으로써 음성인식 모드를 해제할 수 있다.
이 후 음성인식 모드의 디스플레이 장치(100)는 디스플레이된 텍스트에 대한 가중치(weight)를 증가시킬 수 있으며(S520), 디스플레이된 텍스트 및 이에 대하여 증가된 가중치를 데이터베이스에 저장할 수 있다. 따라서 음성인식 모드에서, 텍스트가 디스플레이부(171)에 디스플레이되면 데이터베이스는 업데이트될 수 있다.
구체적으로 음성인식 모드가 실행되면, 제어부(160)는 디스플레이부(171)에 디스플레이된 텍스트를 탐지할 수 있으며, 탐지된 텍스트에 대한 가중치를 증가시킬 수 있다. 여기서 가중치는 데이터베이스에 저장된 텍스트와 결합된 데이터로서, 변환된 텍스트에 대응되는 텍스트가 데이터베이스로부터 추출됨에 있어서 기준이 될 수 있다. 가중치에 대한 구체적인 활용예에 대해서는 후술하기로 한다.
한편 디스플레이 장치(100)는 디스플레이된 텍스트 및 증가된 가중치를 데이터베이스에 저장함으로써 데이터베이스를 업데이트할 수 있다. 이 경우 데이터베이스에는 디스플레이된 텍스트에 대한 로우 데이터일 수 있다. 따라서 제어부(160)는 디스플레이된 텍스트에 대한 로우 데이터를 데이터베이스에 저장하고, 이에 대응되는 사용자 음성이 수신되면 저장된 로우 데이터를 텍스트로 변환하여 디스플레이할 수 있음은 전술한 바와 같다.
한편 제어부(160)는 탐지된 텍스트에 대한 가중치를 증가하여, 이를 데이터베이스에 저장할 수 있다. 예를 들어 디스플레이부(171)에 디스플레이된 텍스트가 “AAA”인 것으로 탐지되었다면, 제어부(160)는 탐지된 텍스트인 “AAA”에 대응하는 가중치를 증가시킬 수 있다.
마찬가지로 디스플레이부(171)에 디스플레이된 텍스트가 “AAA of BBB”인 것으로 탐지되었다면, 제어부(160)는 탐지된 단어인 “AAA”, “BBB” 및 문장인 “AAA of BBB”에 대응하는 가중치를 각각 증가시킬 수 있다.
따라서 탐지된 텍스트 및 그에 대하여 증가된 가중치는 데이터베이스에 저장됨으로써 데이터베이스는 업데이트될 수 있다.
이 경우 데이터베이스는 디스플레이 장치(100)에 대한 임베디드 데이터베이스일 수 있으며, 저장부(120) 내에 형성될 수 있다. 또한 가중치의 구체적인 수치는 특정 값에 한정되는 것은 아니며, 임의로 설정될 수 있다.
이 후 디스플레이 장치(100)는 사용자 음성을 수신하였는지를 판단할 수 있다(S530). 이 경우 수신된 사용자 음성은 데이터베이스로부터 검색하고자 하는 쿼리에 대응되는 것임은 전술한 바와 같다.
따라서 사용자 음성을 수신한 것으로 판단되면(S530_Y), 제어부(160)는 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 업데이트된 데이터베이스로부터 추출하여 디스플레이할 수 있다(S540).
구체적으로 제어부(160)는 수신된 사용자 음성에 대응하는 텍스트를 S520 단계에서 업데이트된 데이터베이스로부터 추출할 수 있다. 이 경우 사용자 음성과 유사한 적어도 하나의 텍스트 중 기 설정된 값 이상인 가중치에 해당하는 텍스트만을 추출하도록 설정할 수 있다.
또한 데이터베이스에 저장된 텍스트 중 수신된 사용자 음성에 대응되는 텍스트가 복수인 경우, 제어부(160)는 가중치가 높은 순서대로 텍스트를 추출하여 디스플레이할 수 있다. 즉 가중치가 높다는 의미는 음성인식 모드에 많이 사용된 텍스트로서, 사용자가 관심 있는 텍스트임을 의미할 수 있다. 다시 말해 가중치가 높은 텍스트는 가중치가 상대적으로 낮은 다른 텍스트에 비해 사용자의 선택 확률이 높다는 것을 의미할 수 있다.
따라서 제어부(160)는 사용자 음성에 대응되는 적어도 하나의 텍스트를 가중치가 높은 순서대로 추출 및 디스플레이함으로써, 사용자가 용이하게 선택할 수 있도록 할 수 있다.
예를 들어 사용자는 “AAA”라고 발음했음에도 불구하고 제어부(160)는 이를 “ABC”라고 인식하여 텍스트로 변환하는 경우가 있을 수 있다. 이는 디스플레이 장치(100)가 해당 텍스트 또는 사용자의 음성에 대해 충분한 학습이 수행되지 않았기 때문일 수 있다. 다시 말해 사용자가 발화한 단어가 데이터베이스에 저장되지 않은 신조어, 전문 용어, 비속어 등인 경우 또는 사용자의 발음이 다소 부정확하여 디스플레이 장치(100)가 이를 인식하지 못하거나 다른 발음으로 인식할 수 있다.
따라서 본 발명에 따르면, 디스플레이 장치(100)는 가중치가 반영된 데이터베이스에 따라 음성인식을 수행하게 되므로, 사용자에 대한 음성인식의 성공율을 높일 수 있는 효과가 있다.
한편 제어부(160)는 수신된 사용자 음성에 대응되는 텍스트가 데이터베이스에 없는 것으로 판단된다면, 이를 추출하여 디스플레이할 수 없다. 이는 해당 텍스트에 대한 사용자 발음이 정확하지 않아서 데이터베이스로부터 추출할 대상을 특정할 수 없는 경우 또는 해당 텍스트가 신조어, 전문 용어, 비속어 등인 경우일 수 있다. 따라서 이러한 경우에는 사용자 음성에 대응되는 텍스트를 음성인식 서버(20)로부터 수신하여 디스플레이할 수 있으며, 이에 대해서는 도 17에서 설명하기로 한다.
이 후 디스플레이 장치(100)는 디스플레이된 적어도 하나의 텍스트에 대한 선택 여부를 판단할 수 있다(S550).
사용자가 디스플레이된 적어도 하나의 텍스트 중 어느 것도 선택하지 않은 것으로 판단되면(S550_N), 제어부(160)는 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 데이터베이스로부터 다시 추출하여 디스플레이할 수 있다(S540). 이 경우 제어부(160)는 사용자 음성에 대응되는 텍스트가 없음을 알리는 메시지를 디스플레이할 수도 있다.
반면 사용자가 디스플레이된 적어도 하나의 텍스트 중 하나를 선택한 것으로 판단되면(S550_Y), 제어부(160)는 선택된 텍스트에 대한 가중치를 증가시키며, 선택된 텍스트에 대한 검색을 검색 서버(20)를 통해 수행할 수 있다(S560).
구체적으로 디스플레이된 적어도 하나의 텍스트는 사용자가 검색 서버(20)로부터 검색하고자 하는 쿼리 리스트에 대응되고, 쿼리 리스트 중 선택된 하나는 사용자가 검색 서버(20)를 통해 검색하고자 하는 대상인 쿼리이다. 따라서 제어부(160)는 선택된 하나의 텍스트인 쿼리를 검색 서버(20)로 전송할 수 있다. 수신된 쿼리에 따른 검색을 수행한 검색 서버(20)는 검색 결과를 디스플레이 장치(100)로 전송할 수 있다. 따라서 디스플레이 장치(100)는 검색 서버(20)로부터 수신한 검색 결과를 디스플레이부에 디스플레이할 수 있다(S570).
도 6 내지 도 12는 본 발명의 일 실시예에 따른 디스플레이 장치(100)의 동작을 설명하기 위한 도면의 다양한 예이다.
이하에서는 가중치의 구체적인 의미와 더불어 데이터베이스가 업데이트되는 구체적인 예시에 대해 설명하기로 한다. 구체적으로 디스플레이부(171)에 디스플레이된 텍스트에 대한 가중치가 증가되고, 사용자 음성에 대응되는 텍스트가 선택되며, 선택된 텍스트에 따른 검색이 수행되는 과정에 대해 설명하기로 한다.
도 6은 저장부(120)에 저장된 초기의 데이터베이스에 대한 예시이다. 도 6에 도시된 바와 같이, 데이터베이스는 텍스트와 그에 대한 가중치가 저장될 수 있다.
이 후 도 7에 도시된 바와 같이, 컨텐츠가 실행되어 디스플레이부(171)에 디스플레이될 수 있다. 이 경우 제어부(160)는 컨텐츠에 포함된 텍스트를 디스플레이부(171)에 디스플레이할 수 있다. 도 7에서는 자막(191)이 디스플레이된 경우를 도시하였다.
한편 음성인식 모드에서, 제어부(160)는 디스플레이된 텍스트를 탐지할 수 있다. 예를 들어 디스플레이 장치(100)가 음성인식 모드인 상태에서, 제어부(160)는 디스플레이부(171)에 “GLASS” 및 “GLAM”가 디스플레이되었음을 탐지할 수 있다.
여기서 “GLASS” 및 “GLAM”이 디스플레이된 상태에서 사용자가 디스플레이 장치(100)를 음성인식 모드로 전환하였다는 것은 사용자가 “GLASS” 및 “GLAM”에 대한 텍스트에 대해 관심을 가지고 있다는 의미일 수 있다. 즉 사용자가 관심을 가진 텍스트에 대해서는 가중치를 증가시킴으로써, 다른 텍스트에 비해 우선 순위를 부여할 필요가 있으므로, 제어부(160)는 탐지된 텍스트에 대한 가중치를 증가시킬 수 있다.
따라서 도 7에 도시된 바와 같이, “GLASS” 및 “GLAM”에 대한 가중치는 각각 2씩 증가하였으며, 데이터베이스는 증가된 가중치를 반영하여 업데이트될 수 있다. 다만 가중치가 증가되는 구체적인 값은 이에 한정되지 않으며, 임의로 설정될 수 있다.
이 후 사용자는 검색하고자 하는 텍스트를 발화할 수 있으며, 도 8에서는 사용자가 “GLAM”이라고 발화한 경우를 도시하였다. 이 경우 제어부(160)는 사용자 음성에 대응되는 텍스트를 데이터베이스로부터 추출하여 디스플레이할 수 있다.
구체적으로 도 8을 참조하면, 사용자는 “GLAM”이라고 발화하였으며, 제어부(160)는 “GLAM”, “GLAD”, “GLASS”, “GRADE” 등을 사용자 음성인 “GLAM”에 대응되는 텍스트로 판단할 수 있다. 따라서 제어부(160)는 사용자 음성에 대응되는 텍스트인 “GLAM”, “GLAD”, “GLASS”, “GRADE” 등을 모두 디스플레이부(171)에 디스플레이할 수 있다.
다만 제어부(160)는 기 설정된 가중치 이상에 해당하는 텍스트만을 추출하여 디스플레이하는 것이 바람직하다. 즉 기 설정된 가중치 이상에 해당하는 텍스트에 대해서는 사용자가 관심을 가지고 있다는 것을 의미할 수 있다. 도 8에서는 도 7에 도시된 데이터베이스 중 가중치가 4이상에 해당하는 텍스트만을 디스플레이한 경우를 도시하였다.
따라서 제어부(160)는 디스플레이부(171)의 일 측에 형성된 검색 영역(180)에 기 설정된 가중치 이상에 해당하는 텍스트를 디스플레이할 수 있다. 이 경우 제어부(160)는 가중치가 높은 순서대로 텍스트를 디스플레이할 수 있다.
이 후 사용자는 디스플레이된 복수의 텍스트 중 하나를 선택할 수 있으며, 선택된 텍스트는 검색의 대상인 쿼리일 수 있다.
한편 도 8에서는 사용자 음성에 대응하는 텍스트가 복수로 추출되어 디스플레이된 경우를 도시하였으나, 이에 한정되는 것은 아니다. 즉 사용자 음성에 대응하는 텍스트가 하나로 추출되어 디스플레이될 수도 있다.
구체적으로 도 9를 참조하면, 사용자는 “GLAM”이라고 발화하였으며, 제어부(160)는 텍스트인 “GLAM”을 사용자 음성인 “GLAM”에 대응되는 텍스트로 판단할 수 있다. 따라서 제어부(160)는 사용자 음성에 대응되는 텍스트인 “GLAM”을 디스플레이부(171)에 디스플레이할 수 있다. 이 경우 제어부(160)는 추출된 텍스트에 대하여 사용자로 하여금 확인하도록 하는 메시지를 검색 영역(180)에 디스플레이할 수 있다.
이 후 사용자는 디스플레이된 하나의 텍스트를 선택할 수 있으며, 선택된 텍스트는 검색의 대상인 쿼리일 수 있다.
도 10에서는 도 8 또는 도 9에서 디스플레이된 텍스트인 “GLAM”이 선택됨으로써 업데이트된 데이터베이스를 도시하였다. 즉 사용자는 디스플레이된 텍스트 중 “GLAM”을 쿼리로 선택하였으므로, 제어부(160)는 선택된 텍스트인 “GLAM”에 대한 가중치를 증가시킬 수 있다.
또한 도 11에서는 도 8 또는 도 9에서 디스플레이된 텍스트인 “GLAM”이 선택됨으로써 검색이 수행된 결과를 도시하였다. 즉 사용자는 디스플레이된 텍스트 중 “GLAM”을 쿼리로 선택하였으므로, 제어부(160)는 선택된 텍스트인 “GLAM”을 쿼리로 선택할 수 있다. 따라서 검색 창(181)에는 쿼리인 “GLAM”이 디스플레이되며, 제어부(160)는 쿼리를 검색 서버(20)로 전송할 수 있다. 검색 서버(20)는 수신된 쿼리에 따른 검색 결과(183)를 디스플레이 장치(100)로 전송하며, 제어부(160)는 수신된 검색 결과(183)를 검색 영역(180)에 디스플레이할 수 있다.
한편 도 8 내지 도 9에서는 자막(191)으로 디스플레이된 텍스트에 대해 발화한 경우를 도시하였으나, 이에 한정되는 것은 아니다. 즉 자막(191)으로 디스플레이된 텍스트와 다른 텍스트를 발화하더라도 무방하다.
한편 자막(191)에 의한 데이터베이스의 업데이트가 이루어지고 나서 곧바로 사용자가 발화할 필요는 없다. 즉 음성인식 모드에서 자막(191)에 의한 데이터베이스의 업데이트 후 음성인식 모드가 해제될 수 있으며, 이 후 다시 음성인식 모드가 설정되어 사용자 발화가 이루어지더라고 무방하다.
한편 제어부(160)는 기 설정된 시간이 경과하면, 데이터베이스에 저장된 텍스트에 대한 가중치를 감소시킬 수 있다.
구체적으로 도 12에서는 도 6에 도시된 데이터베이스에서 각 텍스트에 대한 가중치가 1씩 감소한 경우를 도시하였다. 이는 데이터베이스가 도 6과 같은 상태에서, 기 설정된 시간 동안 증가된 가중치가 없다는 의미일 수 있다. 여기서 특정 텍스트에 대한 가중치가 더 이상 증가하지 않는다는 것은 해당 텍스트에 대한 사용자의 활용도가 낮다는 것을 의미할 수 있다. 따라서 사용자의 활용도가 낮은 텍스트에 대해서는 가중치를 감소시키고, 사용자의 활용도가 높은 텍스트에 대해서는 가중치를 증가시킴으로써, 데이터베이스를 개인화할 수 있게 된다.
이 경우 제어부(160)는 기 설정된 값 이하인 가중치에 대응하는 텍스트를 데이터베이스로부터 삭제할 수 있다. 예를 들어 가중치가 0인 텍스트는 더 이상 사용자가 활용하지 않는 텍스트로 간주될 수 있으며, 도 12에 도시된 바와 같이 가중치가 0인 텍스트인 “GRADE”는 데이터베이스로부터 삭제될 수 있다.
다만 데이터베이스로부터 삭제된 텍스트는 추후에 다시 데이터베이스에 저장될 수 있으며, 이에 대해서는 후술하기로 한다.
한편 디스플레이부(171)에 디스플레이되는 텍스트의 형태는 다양할 수 있으므로, 텍스트의 유형에 따른 데이터베이스가 필요하다. 도 13 내지 도 16에서는 다양한 텍스트가 데이터베이스에 저장되는 구체적인 방식에 대해 설명하기로 한다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치(100)에 있어서, 데이터베이스를 업데이트하는 과정을 설명하기 위한 순서도의 일 예이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 13을 참조하면, 디스플레이 장치(100)는 컨텐츠를 실행할 수 있다. 이 경우 음성인식 모드인 상태에서, 제어부(160)는 컨텐츠에 포함된 텍스트를 디스플레이부(171)에 디스플레이할 수 있다(S1310).
이 후 디스플레이 장치(100)는 디스플레이된 텍스트에 대하여 형태소 분석을 수행할 수 있다(S1320). 따라서 제어부(160)는 디스플레이된 텍스트 중 형태소 분석이 완료된 적어도 하나의 단어를 제1 데이터베이스에 저장할 수 있다(S1330).
또한 제어부(160)는 형태소 분석에 의하여 제1 데이터베이스에 저장된 단어에 대한 가중치를 증가시킬 수 있으며, 가중치를 증가시키는 구체적인 설명에 대해서는 전술한 바와 같다.
한편 디스플레이된 텍스트가 하나의 단어만으로 된 경우에는 이를 제1 데이터베이스에 저장할 수 있으나, 디스플레이된 텍스트가 복수의 단어가 조합된 경우에는 이하와 같은 과정을 더 수행할 수 있다.
즉 제어부(160)는 형태소 분석에 의하여 제1 데이터베이스에 저장된 단어를 기초로 하여, 구문 분석을 수행할 수 있다(S1340). 따라서 제어부(160)는 구문 분석에 의하여 추출된 적어도 하나의 문장을 제2 데이터베이스에 저장할 수 있다(S1350).
또한 제어부(160)는 구문 분석에 의하여 제2 데이터베이스에 저장된 문장에 대한 가중치를 증가시킬 수 있으며, 가중치를 증가시키는 구체적인 방식은 전술한 바와 동일하다.
즉 “SEARCH AAA”인 문장이 가중치 1로서 제2 데이터베이스에 저장된 상태라고 가정한다. 이 경우 음성인식 모드에서 디스플레이된 텍스트가 구문 분석에 의해 “SEARCH AAA”인 것으로 판단되면, 제어부(160)는 제2 데이터베이스에 저장된 텍스트인 “SEARCH AAA”에 대한 가중치를 3으로 증가시킬 수 있다.
한편 제어부(160)는 구문 분석 후 화행 분석을 수행할 수도 있다. 즉 제어부(160)는 구문 분석이 완료된 텍스트에 대하여 화행 분석을 함으로써, 텍스트의 의미에 대해 더욱 정확하게 분석할 수 있게 된다. 제어부(160)는 화행 분석이 완료된 문장을 제2 데이터베이스에 저장할 수 있다. 또한 구문 분석에 따른 가중치 증가 방식은 화행 분석에 대해서도 적용될 수 있다.
즉 디스플레이 장치(100)는 디스플레이된 텍스트에 대한 형태소 분석, 구문 분석, 화행 분석 등을 수행하게 되고, 각 분석에 따른 가중치가 부여될 수 있다. 따라서 사용자 음성에 대하여 보다 정확한 학습이 이루어지게 되어 높은 음성인식 성공율을 나타낼 수 있다.
한편 전술한 바와 같은 형태소 분석, 구문 분석, 화행 분석의 구체적인 방식은 널리 알려진 기술이므로, 상세한 설명은 생략하기로 한다.
도 14 내지 도 16은 본 발명의 일 실시예에 따른 디스플레이 장치(100)에 있어서, 제1 및 제2 데이터베이스를 설명하기 위한 도면의 일 예이다. 이하에서는 도 13에 대한 구체적인 예시를 설명하기로 한다.
도 14를 참조하면, 제1 데이터베이스에는 “GLAD”라는 단어가 저장되어 있고, 제2 데이터베이스에는 “GLAD TO SEE YOU”라는 문장이 저장되어 있다. 또한 “GLAD”에 대한 가중치는 4이며, “GLAD TO SEE YOU”에 대한 가중치는 1이라고 가정한다.
이 후 음성인식 모드에서, 사용자는 “GLAD”라고 발화할 수 있다. 이 경우 제어부(160)는 사용자가 발화한 “GLAD”에 대응되는 텍스트를 제1 데이터베이스 및 제2 데이터베이스로부터 추출할 수 있다. 여기서 사용자가 발화한 “GLAD”는 문장이 아닌 단어이므로, 제어부(160)는 제2 데이터베이스가 아닌 제1 데이터베이스로부터 텍스트를 추출할 수 있다.
따라서 제어부(160)는 제1 데이터베이스에 저장된 텍스트인 “GLAD”에 대해서는 가중치를 증가시킬 수 있으나, 제2 데이터베이스에 저장된 텍스트인 “GLAD TO SEE YOU”에 대해서는 가중치를 증가시키지 않을 수 있다.
한편 도 15의 경우와는 달리, 음성인식 모드에서 사용자는 “GLAD TO SEE YOU”라고 발화할 수 있다. 이 경우 제어부(160)는 사용자가 발화한 “GLAD TO SEE YOU”에 대응되는 텍스트를 제1 데이터베이스 및 제2 데이터베이스로부터 추출할 수 있다.
여기서 제어부(160)는 “GLAD TO SEE YOU”에 대한 형태소 분석을 수행할 수 있으며, 형태소 분석에 의하여 추출된 단어인 “GLAD”가 제1 데이터베이스에 저장될 수 있다. 따라서 제1 데이터베이스에 저장된 “GLAD”에 대한 가중치는 증가될 수 있다.
이 후 제어부(160)는 “GLAD TO SEE YOU”에 대한 구문 분석을 수행할 수 있으며, 구문 분석에 의하여 추출된 문장인 “GLAD TO SEE YOU”가 제2 데이터베이스에 저장될 수 있다. 따라서 제2 데이터베이스에 저장된 “GLAD TO SEE YOU”에 대한 가중치는 증가될 수 있다.
한편 도 13 내지 도 16에서는 텍스트별로 데이터베이스가 구분되는 경우를 설명하였으나, 이에 한정되는 것은 아니다. 즉 사용자별로 데이터베이스가 구분될 수도 있다. 다시 말해 제어부(160)는 음성인식을 수행하는 사용자를 식별하고, 식별된 사용자에 따라 별도의 데이터베이스를 형성 및 별도의 가중치를 증가시킬 수 있다.
구체적으로 디스플레이 장치(100)는 카메라를 포함하며, 카메라는 디스플레이부(171)를 통해 컨텐츠를 시청하는 사용자를 촬영할 수 있다. 이 경우 제어부(160)는 촬영된 사용자의 얼굴 등에 대한 특징을 데이터화하여 데이터베이스에 저장할 수 있다. 또한 디스플레이 장치(100)는 사용자별로 음성인식을 수행하기 위한 데이터베이스를 복수로 형성하므로, 제어부(160)는 사용자별 발화에 따른 쿼리를 서로 다른 데이터베이스로부터 추출할 수 있다.
마찬가지로 디스플레이 장치(100)는 마이크를 포함하며, 마이크는 음성인식 모드에서 발화된 사용자 음성을 수신할 수 있다. 이 경우 제어부(160)는 수신된 사용자 음성 등에 대한 특징을 데이터화하여 데이터베이스에 저장할 수 있다. 또한 디스플레이 장치(100)는 사용자별로 음성인식을 수행하기 위한 데이터베이스를 복수로 형성하므로, 제어부(160)는 사용자별 발화에 따른 쿼리를 서로 다른 데이터베이스로부터 추출할 수 있다.
이러한 방식에 의하면, 사용자별로 데이터베이스에 저장되는 텍스트가 다르게 될 뿐만 아니라, 사용자별로 텍스트에 대한 가중치가 다를 수 있다. 따라서 디스플레이 장치(100)는 사용자별로 가중치가 적용된 텍스트를 저장하고, 가중치가 적용된 텍스트를 추출할 수 있으므로, 보다 높은 음성인식 성공율을 나타낼 수 있다.
도 17은 본 발명의 일 실시예에 따른 디스플레이 장치(100)에 있어서, 음성인식에 따른 검색 결과(183)의 출력 과정을 설명하기 위한 순서도의 일 예이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 17을 참조하면, 음성인식 모드에서 사용자가 발화를 하면(S1710), 제어부(160)는 발화된 사용자 음성을 수신할 수 있다. 여기서 사용자 발화는 음성인식의 대상으로서, 검색을 위한 쿼리에 대응되는 사용자 음성을 의미할 수 있다. 예를 들어 사용자는 특정 단어 또는 특정 문장에 대한 검색을 수행하기 위해서 해당 단어 또는 해당 문장을 발화할 수도 있다. 따라서 사운드 센싱부(173)는 사용자 음성을 수신하여 제어부(160)로 전송할 수 있다.
이 후 제어부(160)는 네트워크 인터페이스부와 음성인식 서버(20)가 연결되어 있는지 여부를 판단할 수 있다(S1720).
네트워크 인터페이스부와 음성인식 서버(20)가 연결되어 있지 않은 것으로 판단되면(S1720_N), 제어부(160)는 데이터베이스에 대한 인식 결과를 출력할 수 있다(S1730). 여기서 음성인식 서버(20)는 네트워크 인터페이스부와 연결되어, 사용자 음성에 대응되는 텍스트를 디스플레이 장치(100)로 전송하는 기기일 수 있다. 즉 음성인식 서버(20)와 디스플레이 장치(100)와 연결되지 않은 상태이므로, 제어부(160)는 수신된 사용자 음성에 대응되는 텍스트를 데이터베이스로부터 추출하여 디스플레이할 수 있다.
이 후 데이터베이스에 대한 인식 결과인 적어도 하나의 텍스트가 디스플레이된 상태에서, 제어부(160)는 하나의 텍스트를 선택할 수 있다(S1740). 선택된 하나의 텍스트는 검색을 수행하기 위한 쿼리일 수 있다.
따라서 제어부(160)는 선택된 텍스트를 네트워크 인터페이스부를 통하여 검색 서버(20)로 전송하고, 전송된 텍스트에 대응되는 검색 결과(183)를 검색 서버(20)로부터 수신하여 이를 디스플레이할 수 있다(S1750).
한편 네트워크 인터페이스부와 음성인식 서버(20)가 연결되어 있는 것으로 판단되면(S1720_Y), 제어부(160)는 데이터베이스에 대한 텍스트 매칭 스코어와 음성인식 서버(20)에 대한 텍스트 매칭 스코어를 비교할 수 있다(S1760).
여기서 매칭 스코어는 수신된 사용자 음성과 데이터베이스 또는 음성인식 서버(20)에 저장된 텍스트가 매칭되는 정도를 나타내는 수치를 의미할 수 있다. 매칭 스코어의 의미 및 그에 따른 텍스트 추출에 관한 구체적인 설명은 도 18 내지 도 22에서 설명하기로 한다.
또한 제어부(160)는 수신된 사용자 음성과 데이터베이스에 저장된 적어도 하나의 텍스트에 대한 매칭 스코어 중 최대 스코어를 가지는 텍스트를 데이터베이스로부터 추출 및 디스플레이할 수 있다. 마찬가지로 제어부(160)는 수신된 사용자 음성과 음성인식 서버(20)에 저장된 적어도 하나의 텍스트에 대한 매칭 스코어 중 최대 스코어를 가지는 텍스트를 음성인식 서버(20)로부터 추출 및 디스플레이할 수 있다. 따라서 제어부(160)는 데이터베이스로부터 추출된 텍스트의 최대 매칭 스코어와 음성인식 서버(20)로부터 추출된 텍스트의 최대 매칭 스코어를 비교할 수 있다.
따라서 데이터베이스로부터 추출된 텍스트의 최대 매칭 스코어가 음성인식 서버(20)로부터 추출된 텍스트의 최대 매칭 스코어보다 높은 것으로 판단되면(S1770_Y), 제어부(160)는 데이터베이스에 대한 인식 결과를 출력할 수 있다(S1730). 다시 말해 수신된 사용자 음성이 음성인식 서버(20)로부터 추출된 텍스트보다 데이터베이스로부터 추출된 텍스트와 더 유사하다면, 제어부(160)는 데이터베이스로부터 추출된 텍스트를 선택하여 이를 디스플레이할 수 있다. 이 경우 제어부(160)는 선택된 텍스트에 대하여 가중치를 증가시킬 수 있다.
반대로 데이터베이스로부터 추출된 텍스트의 최대 매칭 스코어가 음성인식 서버(20)로부터 추출된 텍스트의 최대 매칭 스코어보다 낮은 것으로 판단되면(S1770_N), 제어부(160)는 음성인식 서버(20)에 대한 인식 결과를 출력할 수 있다(S1780). 다시 말해 수신된 사용자 음성이 데이터베이스로부터 추출된 텍스트보다 음성인식 서버(20)로부터 추출된 텍스트와 더 유사하다면, 제어부(160)는 음성인식 서버(20)로부터 추출된 텍스트를 선택하여 이를 디스플레이할 수 있다.
한편 데이터베이스로부터 추출된 텍스트의 최애 매칭 스코어와 음성인식 서버(20)로부터 추출된 텍스트의 최대 매칭 스코어가 동일한 것으로 판단되면, 제어부(160)는 데이터베이스 또는 음성인식 서버(20)에 대한 인식 결과 중 어느 하나를 출력할 수 있다.
도 18 내지 도 22는 본 발명의 일 실시예에 따른 디스플레이 장치(100)에 있어서, 신조어에 대한 데이터베이스의 업데이트 과정을 설명하기 위한 순서도의 일 예이다.
도 18에서는 매칭 스코어의 의미에 대해 설명하기로 한다. 이하에서는 음성인식 모드에서, 사용자가 “GLAD”라고 발화하였다고 가정한다.
즉 수신된 사용자 음성은 “GLAD”이며, 제어부(160)는 데이터베이스 또는 음성인식 서버(20)에 저장된 텍스트 중 사용자 음성인 “GLAD”와 매칭되는 텍스트를 추출하기 위해 매칭 스코어를 산출할 수 있다.
이 경우 도 18에 도시된 바와 같이, 데이터베이스 또는 음성인식 서버(20)에 저장된 텍스트인 “GLAD”는 수신된 사용자 음성인 “GLAD”와 모두 매칭된다. 따라서 이 경우 매칭 스코어는 100일 수 있다.
또한 수신된 사용자 음성인 “GLAD”에 대하여, “GLAM”은 “GLAD”에 비하여 매칭 정도가 낮다. 따라서 “GLAD”와 “GLAM”의 매칭 스코어는 100보다 작을 수 있다. 도 18에 예시된 “GLASS” 및 “GRADE”에 대해서도 동일한 방식으로 매칭 스코어가 산출될 수 있다.
한편 도 18에 도시된 코드의 종류는 예시에 불과하며, 이에 한정되는 것은 아니다. 또한 매칭 스코어를 산출하는 구체적인 방식에 대해서는 공지된 사실이므로, 상세한 설명은 생략하기로 한다.
도 18에서는 매칭 스코어의 의미에 대해 설명하였으며, 이하에서는 매칭 스코어에 따른 텍스트 추출에 관한 구체적인 예시를 설명하기로 한다.
전술한 바와 같이 데이터베이스는 특정 사용자에 따른 학습이 이루어질 수 있다. 데이터베이스에 저장된 텍스트에 대한 가중치는 다양한 값을 가질 수 있다. 반면 음성인식 서버(20)는 특정 사용자에 따른 학습이 이루어지지 않는다. 따라서 제어부(160)는 음성인식 서버(20)에 저장된 텍스트에 대한 가중치를 1로 설정할 수 있다.
도 19에서는 수신된 사용자 음성에 대응하는 텍스트가 데이터베이스에는 저장되어 있지 않고, 음성인식 서버(20)에만 저장된 경우에 대해 설명하기로 한다. 즉 수신된 사용자 음성인 “GLAD”의 최대 매칭 스코어에 해당하는 텍스트는 데이터베이스에는 저장되어 있지 않고, 음성인식 서버(20)에만 저장되어 있는 경우이다. 따라서 제어부(160)는 데이터베이스로부터 추출된 텍스트의 최대 매칭 스코어와 음성인식 서버(20)로부터 추출된 텍스트의 최대 매칭 스코어를 비교할 수 있다.
이 경우 제어부(160)는 최대 매칭 스코어와 가중치를 곱한 값을 최종 매칭 스코어로 산출할 수 있다. 도 19를 참조하면, 음성인식 서버(20)의 최종 매칭 스코어는 100이고, 데이터베이스의 최종 매칭 스코어는 0이다. 따라서 제어부(160)는 최종 매칭 스코어가 더 높은 음성인식 서버(20)로부터 “GLAD”를 추출하여 디스플레이할 수 있다.
이 경우 제어부(160)는 음성인식 서버(20)로부터 추출된 텍스트를 데이터베이스에 저장할 수 있다. 즉 도 20에 도시된 바와 같이, 음성인식 서버(20)로부터 추출된 “GLAD”는 기 설정된 가중치로서 데이터베이스에 신규로 추가될 수 있다.
이 후 도 21에 도시된 바와 같이, 음성인식 모드에서 텍스트가 디스플레이될 수 있다. 이 경우 도 7에서 설명한 바와 같이, 디스플레이된 텍스트에 대한 가중치는 증가될 수 있다.
이 후 수신된 사용자 음성에 대하여, 제어부(160)는 데이터베이스로부터 추출된 텍스트의 최종 매칭 스코어와 음성인식 서버(20)로부터 추출된 텍스트의 최종 매칭 스코어를 비교할 수 있다. 이 경우 도 22에 도시된 바와 같이, 가중치로 인해 데이터베이스에 저장된 텍스트에 대한 최종 매칭 스코어가 높게 된다.
다시 말하면 음성인식 서버(20)에 저장된 텍스트에 대해서는 가중치는 최저값으로 설정되므로, 일단 데이터베이스에 텍스트가 저장되기만 하면 이 후에 수신되는 사용자 음성에 대해서는 데이터베이스로부터 추출됨을 의미할 수 있다. 따라서 제어부(160)는 데이터베이스로부터 추출된 텍스트에 대한 가중치가 증가시키며, 이로써 사용자 음성에 대한 학습이 이루어질 수 있게 된다.
도 23 내지 도 30은 본 발명의 일 실시예에 따른 디스플레이 장치(100)에 있어서, 음성인식에 따른 검색을 하기 위한 가이드의 다양한 예이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 23에서는 음성인식 모드에서 수신된 사용자 명령에 대응되는 텍스트를 데이터베이스에 저장된 시간에 따라 디스플레이하는 경우를 도시하였다. 도 23에 따르면, 제어부(160)는 데이터베이스로부터 추출된 텍스트를 데이터베이스에 최근에 저장된 순서대로 추출하여 디스플레이할 수 있다. 이 경우 제어부(160)는 디스플레이된 텍스트 및 텍스트가 디스플레이되었던 시간 정보를 데이터베이스에 저장할 수 있다.
구체적으로 도 23(a)를 참조하면, 디스플레이 장치(100)가 음성인식 모드인 상태에서, 사용자는 “1시간 이내에 방송된 자막 중 ‘G’로 시작하는 단어를 표시해 줘”라고 발화할 수 있다. 이 경우 제어부(160)는 사용자 발화가 이루어진 시간으로부터 1시간 이내에 데이터베이스에 저장된 텍스트 중 ‘G’로 시작하는 텍스트를 데이터베이스로부터 검색하여 이를 쿼리 리스트(182)에 디스플레이할 수 있다.
이 경우 제어부(160)는 데이터베이스에 최근에 저장된 순서대로 텍스트를 쿼리 리스트(182)에 디스플레이할 수 있다. 또한 제어부(160)는 가중치가 높은 순서대로 텍스트를 쿼리 리스트(182)에 디스플레이할 수도 있다. 이 후 제어부(160)는 선택된 하나의 텍스트에 대한 가중치를 증가시킬 수 있음은 전술한 바와 같다.
또한 도 23(b)를 참조하면, 디스플레이 장치(100)가 음성인식 모드인 상태에서, 사용자는 “G”라고 발화할 수 있다. 이 경우 제어부(160)는 이러한 사용자 음성을 사용자 발화가 이루어진 시간으로부터 기 설정된 시간 이내에 데이터베이스에 저장된 텍스트 중 ‘G’로 시작하는 텍스트를 데이터베이스로부터 검색하여 이를 쿼리 리스트(182)에 디스플레이하는 명령으로 인식할 수 있다. 따라서 “’G’로 시작하는 단어를 검색할까요?”라는 메시지가 가이드 화면(185)상에 디스플레이될 수 있다. 이 경우 사용자가 “네”라고 발화하면, 도 23(a)에 도시된 쿼리 리스트(182)가 디스플레이될 수 있다.
따라서 제어부(160)는 쿼리 리스트(182)에 디스플레이된 텍스트 중 선택된 텍스트에 대해 검색 서버(20)를 통하여 검색을 수행할 수 있다. 이 경우 사용자는 디스플레이된 텍스트 중 어느 하나에 대응되는 음성을 발화하거나, 커서(201)로써 선택할 수 있다.
도 24에서는 음성인식 모드에서 수신된 사용자 명령에 대응되는 텍스트를 프로그램에 따라 디스플레이하는 경우를 도시하였다. 도 24에 따르면. 제어부(160)는 디스플레이부(171)에 디스플레이되는 프로그램과 연관된 텍스트를 데이터베이스로부터 검색하여 디스플레이할 수 있다. 이 경우 제어부(160)는 디스플레이된 텍스트 및 해당 텍스트가 디스플레이되었던 방송 채널, 프로그램 제목 등에 관한 정보를 데이터베이스에 저장할 수 있다.
구체적으로 도 24를 참조하면, 디스플레이 장치(100)가 음성인식 모드인 상태에서, 사용자는 “현재 시청 중인 방송국에서 방송된 자막 중 ‘G’로 시작하는 단어를 찾아줘”라고 발화할 수 있다. 이 경우 제어부(160)는 데이터베이스에 저장된 방송 정보 중 현재 디스플레이되는 방송에 관한 정보를 데이터베이스로부터 검색 및 추출하고, 추출된 정보 중 ‘G’로 시작하는 단어를 디스플레이할 수 있다.
이 경우 제어부(160)는 가중치가 높은 순서로 텍스트를 쿼리 리스트(182)에 디스플레이할 수 있다. 이 후 제어부(160)는 선택된 하나의 텍스트에 대한 가중치를 증가시킬 수 있음은 전술한 바와 같다.
따라서 제어부(160)는 쿼리 리스트(182)에 디스플레이된 텍스트 중 선택된 텍스트에 대해 검색 서버(20)를 통하여 검색을 수행할 수 있다.
한편 도 25 내지 도 30에서는 음성인식 모드에서 제공될 수 있는 다양한 가이드에 대해 도시하였다.
도 25를 참조하면, 음성인식 모드에서 가이드 버튼(184)이 디스플레이될 수 있다. 이 경우 가이드 버튼(184)은 음성인식 모드에서 사용자 음성을 이용하여 검색을 수행하도록 하는 가이드 화면(185)을 디스플레이하기 위한 버튼일 수 있다.
한편 사용자가 디스플레이된 가이드 버튼(184)상에 커서(201)를 위치시키거나, 커서(201)를 이용하여 가이드 버튼(184)을 선택하면, 도 26에 도시된 바와 같은 가이드 리스트(184-1)가 디스플레이될 수 있다.
도 26에 도시된 가이드 리스트(184-1) 중 “TIME” 버튼은 현재로부터 기 설정된 시간 이내에 디스플레이되었던 텍스트를 추출하여 디스플레이하고자 하는 경우에 선택될 수 있다.
“TIME” 버튼이 선택되면 도 27과 같은 가이드 화면(185)이 디스플레이될 수 있다. 따라서 사용자는 가이드 화면(185)을 참조하여 디스플레이 장치(100)에 대해 명령을 할 수 있다. 예를 들어 사용자는 “1시간 이내에 방송된 자막 중에서 "G"로 시작하는 단어를 찾아줘”라고 발화할 수 있다. 이 후의 동작에 대해서는 도 23에서 설명한 바와 동일하다.
뿐만 아니라 도 27과 같은 가이드 화면(185)이 디스플레이된 상태에서, 사용자는 검색하고자 하는 텍스트만을 발화할 수도 있다. 즉 가이드 화면(185)에는 "1시간 이내에 방송된 자막 중에서 ___ 으로 시작하는 단어를 찾아줘"라는 안내 메시지가 디스플레이되어 있다. 따라서 "G"로 시작하는 단어를 찾고자 하는 경우 사용자는 "G"라고만 발화할 수 있다.
한편 도 26에 도시된 가이드 리스트(184-1) 중 “CHANNEL” 버튼은 특정 채널에서 디스플레이되었던 텍스트를 추출하여 디스플레이하고자 하는 경우에 선택될 수 있다. 이 경우 제어부(160)는 화면에 디스플레이된 텍스트와 함께 방송국(10)으로부터 수신된 채널 정보를 데이터베이스에 저장할 수 있다.
“CHANNEL” 버튼이 선택되면 가이드 화면(185)에 “___ 채널에서 방송된 자막 중 ___로 시작하는 단어를 찾아줘”라는 가이드 메시지가 디스플레이될 수 있다. 따라서 사용자는 이러한 가이드 화면(185)을 참조하여 디스플레이 장치(100)에 대해 명령을 할 수 있다. 예를 들어 사용자는 “123번에서 방송된 자막 중 ’G’로 시작하는 단어를 찾아줘”라고 발화할 수 있다. 뿐만 아니라 사용자는 "123", "G"라고만 발화할 수도 있다.
따라서 제어부(160)는 수신된 사용자 음성인 “123” 및 “G”에 대응되는 텍스트를 데이터베이스로부터 검색하여 디스플레이할 수 있다. 이 후 쿼리 리스트(182)에 “G”로 시작하는 텍스트가 디스플레이되면, 제어부(160)는 디스플레이된 텍스트 중 선택된 하나에 대해 검색 서버(20)를 통한 검색을 수행할 수 있다.
한편 도 26에 도시된 가이드 리스트(184-1) 중 “TTS” 버튼은 디스플레이된 텍스트를 음성 또는 사운드로 변환(Text To Speech)하는 경우에 선택될 수 있다.
“TTS” 버튼이 선택된 경우 도 28에 도시된 바와 같은 자막(191)이 디스플레이될 수 있으며, 사용자는 디스플레이된 자막(191) 중 검색하고자 하는 텍스트를 커서(201)로 선택할 수 있다. 예를 들어 “ABC”를 검색하고자 하는 경우 사용자는 디스플레이된 자막(191) 중 “ABC”에 커서(201)를 위치시키거나 선택할 수 있다. 이 경우 제어부(160)는 텍스트인 “ABC”가 변환된 사운드인 “ABC”를 사운드 출력부(172)를 통해 출력할 수 있다.
따라서 제어부(160)는 출력된 사운드인 “ABC”를 쿼리로 하여 검색을 수행할 수도 있다.
한편 도 26에 도시된 가이드 리스트(184-1) 중 “PROGRAM” 버튼은 특정 프로그램에서 디스플레이되었던 텍스트를 추출하여 디스플레이하고자 하는 경우에 선택될 수 있다. 이 경우 제어부(160)는 화면에 디스플레이된 텍스트와 함께 방송국(10)으로부터 수신된 프로그램 정보를 데이터베이스에 저장할 수 있다.
“PROGRAM” 버튼이 선택되면 가이드 화면(185)에 “___ 프로그램에서 방송된 자막 중 ___로 시작하는 단어를 찾아줘”라는 메시지가 디스플레이될 수 있다. 따라서 사용자는 이러한 가이드 화면(185)을 참조하여 디스플레이 장치(100)에 대해 명령을 할 수 있다. 예를 들어 사용자는 “123 프로그램에서 방송된 자막 중 ’G’로 시작하는 단어를 찾아줘”라고 발화할 수 있다. 뿐만 아니라 사용자는 "123", "G"라고만 발화할 수도 있다.
따라서 제어부(160)는 수신된 사용자 음성인 “123” 및 “G”에 대응되는 텍스트를 데이터베이스로부터 검색하여 디스플레이할 수 있다. 이 후 쿼리 리스트(182)에 “G”로 시작하는 텍스트가 디스플레이되면, 제어부(160)는 디스플레이된 텍스트 중 선택된 하나에 대해 검색 서버(20)를 통한 검색을 수행할 수 있다.
뿐만 아니라 제어부(160)는 화면에 디스플레이된 텍스트와 함께 화면의 일 측에 디스플레이된 방송 프로그램 제목을 탐지하여 데이터베이스에 저장할 수 있다. 구체적으로 도 29에 도시된 바와 같이 방송 프로그램 로고(192), 채널 명칭, 프로그램 명칭 등이 디스플레이된 상태이므로, 제어부(160)는 화면에 디스플레이된 프로그램 로고(192), 채널 명칭, 프로그램 명칭 등과 함께 디스플레이된 텍스트를 데이터베이스에 저장할 수 있다.
이 후 가이드 리스트(184-1) 중 “PROGRAM” 버튼 또는 “CHANNEL” 버튼이 선택되면, 제어부(160)는 현재 디스플레이된 방송사 로고(192), 채널 명칭, 프로그램 명칭 등을 탐지할 수 있으며, 그에 대응되는 정보를 데이터베이스로부터 추출할 수 있다. 따라서 제어부(160)는 데이터베이스에 저장된 텍스트 중 현재 디스플레이된 방송사 로고(192), 채널 명칭, 프로그램 명칭 등에 대응되는 텍스트를 추출하여 쿼리 리스트(182)에 디스플레이할 수 있다.
이 경우 제어부(160)는 추출된 텍스트 중 가중치가 높은 순서대로 쿼리 리스트(182)에 디스플레이할 수 있다. 뿐만 아니라 제어부(160)는 추출된 텍스트 중 최근에 데이터베이스에 저장된 순서대로 쿼리 리스트(182)에 디스플레이할 수도 있다.
한편 도 26에 도시된 가이드 리스트(184-1) 중 “VOICE” 버튼은 사용자 음성으로써 검색하고자 하는 텍스트 또는 쿼리를 디스플레이하고자 하는 경우에 선택될 수 있다.
“VOICE” 버튼이 선택된 후 사용자는 현재 방송되고 있는 프로그램에 대한 정보를 문의하는 발화를 할 수 있다. 제어부(160)는 이러한 사용자 음성에 대응되는 텍스트를 데이터베이스에서 추출할 수 있다.
예를 들어 도 30(a)에 도시된 바와 같이, 디스플레이 장치(100)가 음성인식 모드인 상태에서, 사용자는 “G”라고 발화할 수 있다. 이에 대해 제어부(160)는 발화된 사용자 음성에 대응되는 텍스트를 데이터베이스로부터 검색하는 명령으로 인식할 수 있다. 바람직하게는 제어부(160)는 발화된 사용자 음성으로 시작하는 텍스트를 데이터베이스로부터 검색하고, 그 결과를 쿼리 리스트(182)에 디스플레이하는 명령으로 인식할 수 있다.
따라서 “’GLAD’를 찾으시나요?”라는 메시지가 가이드 화면(185)상에 디스플레이될 수 있다. 이 경우 사용자가 “네”라고 발화하면, 제어부(160)는 ‘GLAD’를 쿼리로 한 검색 결과를 검색 서버(20)로부터 수신하여 디스플레이할 수 있다.
그러나 사용자가 “아니요”라고 발화하면, 제어부(160)는 데이터베이스에 저장된 텍스트 중 ‘GLAD’를 제외한 나머지 텍스트를 쿼리 리스트(182)에 디스플레이될 수 있다. 따라서 제어부(160)는 쿼리 리스트(182)에 디스플레이된 텍스트 중 선택된 텍스트에 대해 검색 서버(20)를 통하여 검색을 수행할 수 있다. 이 경우 사용자는 디스플레이된 텍스트 중 어느 하나에 대응되는 음성을 발화하거나, 커서(201)로써 쿼리를 선택할 수 있다.
또한 도 30(b)에 도시된 바와 같이, 디스플레이 장치(100)가 음성인식 모드인 상태에서, 사용자는 “출연자는 누구야?”라고 발화할 수 있다. 이에 대해 제어부(160)는 현재 디스플레이되고 있는 프로그램에 대한 정보 중 출연자 정보를 데이터베이스에서 탐색할 수 있다.
이 경우 데이터베이스에는 디스플레이된 텍스트와 함께 프로그램 정보가 저장될 수 있다. 프로그램 정보는 방송국(10)으로부터 수신된 EPG 정보에 포함된 정보로서 출연자 정보, 방송 시간 정보, 제작 정보 등 다양한 정보를 포함할 수 있다. 따라서 제어부(160)는 EPG 정보에 포함된 정보 중 출연자 정보를 검색하여 이를 디스플레이할 수 있다. 또한 데이터베이스에는 디스플레이된 텍스트가 저장될 수 있음은 전술한 바와 같다. 이 경우 자막 등을 통해 출연자 정보를 텍스트로 디스플레이할 수 있으므로, 데이터베이스에는 디스플레이된 출연자 정보가 텍스트로 저장될 수 있다. 따라서 제어부(160)는 데이터베이스에 저장된 출연자 정보에 대응하는 텍스트를 검색하여 이를 디스플레이할 수도 있다.
도 31 내지 도 33은 본 발명의 다양한 실시예에 따른 디스플레이 장치(100)를 나타낸 도면이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 31에서는 TV로 구현된 디스플레이 장치(100)가 방송 프로그램을 디스플레이하고 있는 경우를 도시하였다.
도 31에 도시된 바와 같이, 디스플레이부(171)는 텍스트를 디스플레이할 수 있다. 여기서 텍스트는 정보를 나타내기 위한 문자, 숫자, 기호 등으로서, 방송 신호에 포함된 데이터 중 자막(191), 방송 로고(192) 등을 의미할 수 있다.
또한 디스플레이부(171)는 텍스트 이미지(193)를 디스플레이할 수도 있다. 여기서 텍스트 이미지(193)는 텍스트를 나타내는 이미지로서, 텍스트 파일이 아닌 이미지 파일의 실행에 의해 디스플레이되는 것을 의미할 수 있다. 예를 들어 도 31에 도시된 방송 화면 중 텍스트를 촬영한 이미지에 해당하는 부분이 텍스트 이미지(193)일 수 있다.
한편 제어부(160)는 디스플레이된 텍스트 이미지(193)를 텍스트로 변환한 후 이를 데이터베이스에 저장할 수 있다. 여기서 이미지 파일인 텍스트 이미지(193)를 텍스트 파일인 텍스트로 변환하는 방식은 널리 알려진 내용이므로, 구체적인 설명은 생략하기로 한다.
한편 도 31에서는 방송 프로그램이 디스플레이된 경우만을 예시하고 있으나, 이에 한정되는 것은 아니다. 즉 전술한 설명은 웹 브라우저가 실행되는 경우 또는 저장부(120)에 저장된 영화, 동영상 등의 컨텐츠가 실행되는 경우에도 동일하게 적용될 수 있다.
한편 도 31에서는 TV로 구현된 디스플레이 장치(100)를 예시하고 있으나, 이에 한정되는 것은 아니다. 즉 스마트 폰 타입의 이동 단말기(미도시)로 구현될 수 있으며, 도 32에 도시된 바와 같은 와치(watch) 타입의 이동 단말기(100A)로도 구현될 수 있다.
뿐만 아니라 글라스(glass) 타입의 이동 단말기(100B)로도 구현될 수 있다. 도 33에서는 제1 디스플레이부(171-1)에 텍스트 이미지(193)가 디스플레이된 경우를 도시하였다. 즉 글라스 타입 이동 단말기(100B)의 외부 프레임의 일 측에 형성된 카메라(미도시)는 주변을 촬영할 수 있으며, 촬영된 이미지는 제1 디스플레이부(171-1)에 디스플레이될 수 있다. 이 경우 촬영된 이미지에는 텍스트 이미지(193)가 포함될 수 있으며, 이러한 텍스트 이미지(193)는 텍스트로 변환되어 데이터베이스에 저장될 수 있다.
한편 도 33에서는 제1 디스플레이부(171-1)에 디스플레이된 이미지와 다른 이미지가 제2 디스플레이부(171-2)에 디스플레이된 경우를 도시하였다. 예를 들어 제2 디스플레이부(171-2)에는 증강현실(augmented reality) 이미지(194-1 ~ 194-2)가 디스플레이될 수 있으며, 이러한 증강현실 이미지(194-1 ~ 194-2)에는 텍스트 이미지가 포함될 수 있다.
이상과 같이, 제어부(160)는 도 31 내지 도 33에 도시된 바와 같은 다양한 텍스트 또는 텍스트 이미지가 변환된 텍스트에 대한 가중치를 증가시켜 데이터베이스를 업데이트할 수 있다. 이에 따라 제어부(160)는 가중치가 반영된 데이터베이스에 따라 음성인식을 수행하게 되므로, 사용자에 대한 음성인식의 성공율을 높일 수 있는 효과가 있다. 뿐만 아니라 스마트 폰 타입, 와치 타입, 글래스 타입의 이동 단말기와 같이 기능이 제한적인 기기로도 용이한 검색을 할 수 있다.
전술한 본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 상기 컴퓨터는 디스플레이 장치의 제어부(180)를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 디스플레이 장치 110: 수신부
120: 저장부 130: 외부 장치 인터페이스부
140: 사용자 입력 인터페이스부 150: 명령 입력부
160: 제어부 170: 구동부

Claims (21)

  1. 디스플레이부;
    사운드 센싱부;
    상기 디스플레이부에 디스플레이되는 텍스트를 기 설정된 시간 동안 임시로 저장하는 데이터베이스; 및
    상기 사운드 센싱부를 통해 상기 기 설정된 시간 이내에 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 상기 데이터베이스로부터 추출하는 제어부;를 포함하고,
    상기 디스플레이부는,
    방송 신호에 대응하는 영상을 디스플레이하고,
    상기 제어부는,
    상기 텍스트가 포함된 영상이 디스플레이되는 경우에 상기 텍스트를 상기 데이터베이스에 임시로 저장하되, 임시로 저장된 텍스트에 대응되는 사용자 음성이 상기 기 설정된 시간 이내에 수신되지 않으면 상기 임시로 저장된 텍스트를 상기 데이터베이스로부터 삭제하고, 상기 임시로 저장된 텍스트가 상기 기 설정된 시간 이내에 이에 대응되는 사용자 음성이 수신되면, 상기 임시적으로 저장된 텍스트에 가중치를 부여해 상기 데이터베이스를 업데이트하고,
    상기 제어부는,
    상기 수신된 사용자 음성에 대응되는 적어도 하나의 텍스트를 상기 업데이트된 데이터베이스로부터 추출하는 것을 특징으로 하는 디스플레이 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 디스플레이된 텍스트로부터 단어 또는 문장을 추출하고, 상기 추출된 단어를 제1 데이터베이스에 저장하거나 상기 추출된 문장을 제2 데이터베이스에 저장하는 것을 특징으로 하는 디스플레이 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제1항에 있어서,
    검색 서버와 통신하기 위한 네트워크 인터페이스부;를 더 포함하고,
    상기 제어부는,
    상기 디스플레이된 적어도 하나의 텍스트 중 선택된 하나의 텍스트를 상기 검색 서버로 전송하며, 상기 전송된 텍스트에 대응되는 검색 결과를 상기 검색 서버로부터 수신하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  13. 삭제
  14. 삭제
  15. 제1항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 텍스트를 상기 데이터베이스에 최근에 저장된 순서로 추출하여 상기 디스플레이부에 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  16. 제1항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 디스플레이되는 프로그램과 연관된 텍스트를 상기 데이터베이스로부터 추출하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 수신된 사용자 음성에 대응되는 텍스트를 선택하도록 하는 가이드 화면을 상기 디스플레이부에 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  18. 제1항에 있어서,
    사운드 출력부;를 더 포함하고,
    상기 제어부는,
    상기 디스플레이된 텍스트에 커서가 위치하면, 상기 커서가 위치한 텍스트를 사운드로 변환하여 상기 사운드 출력부를 통해 출력하는 것을 특징으로 하는 디스플레이 장치.
  19. 제1항에 있어서,
    상기 제어부는,
    상기 추출된 적어도 하나의 텍스트를 상기 디스플레이부에 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  20. 제1항에 있어서,
    상기 디스플레이 장치는,
    TV, 스마트 폰, 글라스 타입의 이동 단말기, 와치 타입의 이동 단말기 중 어느 하나인 것을 특징으로 하는 디스플레이 장치.
  21. 삭제
KR1020140157820A 2014-11-13 2014-11-13 디스플레이 장치 및 그 제어 방법 KR102277749B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140157820A KR102277749B1 (ko) 2014-11-13 2014-11-13 디스플레이 장치 및 그 제어 방법
US14/593,529 US10114813B2 (en) 2014-11-13 2015-01-09 Mobile terminal and control method thereof
EP15171997.8A EP3021319A1 (en) 2014-11-13 2015-06-12 Mobile terminal and control method thereof
CN201510416958.3A CN106210901B (zh) 2014-11-13 2015-07-15 显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140157820A KR102277749B1 (ko) 2014-11-13 2014-11-13 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160057085A KR20160057085A (ko) 2016-05-23
KR102277749B1 true KR102277749B1 (ko) 2021-07-16

Family

ID=53510596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140157820A KR102277749B1 (ko) 2014-11-13 2014-11-13 디스플레이 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10114813B2 (ko)
EP (1) EP3021319A1 (ko)
KR (1) KR102277749B1 (ko)
CN (1) CN106210901B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312567A (zh) * 2010-02-18 2023-06-23 株式会社尼康 便携式装置以及信息处理系统
CN104681023A (zh) * 2015-02-15 2015-06-03 联想(北京)有限公司 一种信息处理方法及电子设备
KR102342117B1 (ko) * 2015-03-13 2021-12-21 엘지전자 주식회사 단말기, 및 이를 구비하는 홈 어플라이언스 시스템
KR102392087B1 (ko) * 2017-07-10 2022-04-29 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치의 사용자 음성 수신방법
CN108063936B (zh) * 2017-12-29 2020-11-03 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
US10417328B2 (en) * 2018-01-05 2019-09-17 Searchmetrics Gmbh Text quality evaluation methods and processes
JP7056185B2 (ja) * 2018-01-31 2022-04-19 トヨタ自動車株式会社 情報処理装置および情報処理方法
EP3975008A4 (en) * 2019-05-23 2023-03-08 LG Electronics Inc. INDICATOR
KR20220027081A (ko) * 2019-06-10 2022-03-07 넥스트브이피유 (상하이) 코포레이트 리미티드 텍스트 검출 방법, 판독 지원 디바이스 및 매체

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027987B1 (en) * 2001-02-07 2006-04-11 Google Inc. Voice interface for a search engine
KR101215369B1 (ko) * 2006-08-25 2012-12-26 엘지전자 주식회사 메뉴 선택 방법 및 이를 위한 단말기
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US8296676B2 (en) * 2007-10-15 2012-10-23 Harman International Industries, Incorporated System for a text speller
US8504373B2 (en) 2009-07-02 2013-08-06 Nuance Communications, Inc. Processing verbal feedback and updating digital video recorder (DVR) recording patterns
US8682667B2 (en) * 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5705312B2 (ja) 2011-05-20 2015-04-22 三菱電機株式会社 情報機器
US9183832B2 (en) * 2011-06-07 2015-11-10 Samsung Electronics Co., Ltd. Display apparatus and method for executing link and method for recognizing voice thereof
KR101897492B1 (ko) * 2011-06-07 2018-09-13 삼성전자주식회사 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법
KR20140089861A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9256795B1 (en) * 2013-03-15 2016-02-09 A9.Com, Inc. Text entity recognition

Also Published As

Publication number Publication date
US20160140108A1 (en) 2016-05-19
EP3021319A1 (en) 2016-05-18
KR20160057085A (ko) 2016-05-23
CN106210901B (zh) 2019-07-12
CN106210901A (zh) 2016-12-07
US10114813B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
KR102277749B1 (ko) 디스플레이 장치 및 그 제어 방법
KR102091602B1 (ko) 플렉시블 디스플레이를 포함하는 멀티미디어 디바이스 및 그 제어 방법
US20190007643A1 (en) Method of acquiring information about contents, image display apparatus using the method, and server system for providing information about contents
KR101571396B1 (ko) 영상표시장치 및 그 동작방법
KR101914708B1 (ko) 서버 및 서버의 제어 방법
KR101572843B1 (ko) 영상 표시 장치 및 그 동작 방법
KR20160039830A (ko) 멀티미디어 장치 및 그의 음성 가이드 제공방법
KR20150084520A (ko) 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
KR102099594B1 (ko) Tv 및 그 동작 방법
US20230401030A1 (en) Selecting options by uttered speech
JP2014021495A (ja) コンテンツ情報提供方法及びそれを適用した放送受信装置
US20220293106A1 (en) Artificial intelligence server and operation method thereof
KR102334860B1 (ko) 디스플레이 장치 및 그 제어 방법
JP5081207B2 (ja) テレビジョン装置及びその操作方法
KR20120083104A (ko) 멀티미디어 장치의 음성인식을 통한 텍스트 입력 방법 및 그에 따른 멀티미디어 장치
WO2015004840A1 (ja) 映像受信装置、情報表示方法および映像受信システム
KR102399705B1 (ko) 디스플레이 디바이스 및 그 제어 방법
KR102241289B1 (ko) 디스플레이 장치 및 그 제어 방법
KR101664500B1 (ko) 영상 표시 기기의 외국어 사전 기능 자동 제공 방법
JP7229906B2 (ja) コマンド制御装置、制御方法および制御プログラム
US11178466B2 (en) Display device and control method therefor
US20230054251A1 (en) Natural language processing device
US20140143807A1 (en) Message outputting apparatus and message outputting method
KR101804913B1 (ko) 멀티미디어 장치의 채팅 서비스 제공 방법 및 그에 따른 멀티미디어 장치
KR101683116B1 (ko) 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal