KR20140039757A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20140039757A
KR20140039757A KR1020120106410A KR20120106410A KR20140039757A KR 20140039757 A KR20140039757 A KR 20140039757A KR 1020120106410 A KR1020120106410 A KR 1020120106410A KR 20120106410 A KR20120106410 A KR 20120106410A KR 20140039757 A KR20140039757 A KR 20140039757A
Authority
KR
South Korea
Prior art keywords
scene
user
voice
content
dialogue
Prior art date
Application number
KR1020120106410A
Other languages
English (en)
Inventor
이화수
정고운
김민지
한해리
노영리
박영춘
지유선
임혜민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120106410A priority Critical patent/KR20140039757A/ko
Priority to EP13181204.2A priority patent/EP2711851A3/en
Priority to JP2013187035A priority patent/JP2014068343A/ja
Priority to US14/024,283 priority patent/US20140085187A1/en
Priority to CN201310454076.7A priority patent/CN103686394A/zh
Publication of KR20140039757A publication Critical patent/KR20140039757A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 디스플레이장치는, 일련의 복수의 장면을 포함하는 컨텐츠의 영상을 표시 가능하도록 처리하는 영상처리부와; 상기 컨텐츠의 영상을 표시하는 디스플레이부와; 사용자의 음성을 입력하는 음성입력부와; 상기 컨텐츠의 복수의 장면 중 제1장면을 표시하고, 상기 제1장면의 표시 중 입력된 상기 사용자의 음성이 상기 제1장면에 대응하는 것으로 판단되면, 상기 컨텐츠의 복수의 장면 중 상기 제1장면의 다음 장면에 해당하는 제2장면을 표시하도록 제어를 수행하는 제어부를 포함한다.
이에 의하여, 보다 직관적으로 컨텐츠를 이용하도록 하고, 사용자로 하여금 보다 흥미를 유발시켜 컨텐츠에 몰입할 수 있도록 한다.

Description

디스플레이장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은, 디스플레이장치 및 그 제어방법에 관한 것으로서, 구체적으로는, 일련의 장면을 포함하는 컨텐츠를 제공하는 디스플레이장치 및 그 제어방법에 관한 것이다.
TV, 스마트패드, PC 등과 같은 디스플레이장치는 영상을 포함하는 컨텐츠를 재생하여 제공할 수 있다. 이러한 컨텐츠는 다양할 수 있는데, 예컨대, 일련의 장면으로 구성된 동화와 같은 컨텐츠도 포함된다.
이러한 동화와 같은 컨텐츠를 재생하는 경우, 어느 장면에서 다음 장면으로 넘어가고자 할 때, 종래 기술에 의하면, 단순히 사용자가 리모컨이나, 디스플레이장치의 조작 패널의 버튼을 누르거나 혹은 화면을 터치하는 형태로 이루어졌다.
따라서, 이와 같은 단순한 형태의 인터페이스를 넘어서서, 보다 직관적이면서, 사용자로 하여금 보다 흥미를 유발시켜 컨텐츠에 몰입할 수 있도록 하는 인터페이스가 필요하다.
따라서 본 발명의 목적은, 일련의 장면을 포함하는 컨텐츠를 재생함에 있어서, 보다 직관적이면서, 사용자로 하여금 보다 흥미를 유발시켜 컨텐츠에 몰입할 수 있도록 하는 디스플레이장치 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 디스플레이장치에 있어서, 일련의 복수의 장면을 포함하는 컨텐츠의 영상을 표시 가능하도록 처리하는 영상처리부와; 상기 컨텐츠의 영상을 표시하는 디스플레이부와; 사용자의 음성을 입력하는 음성입력부와; 상기 컨텐츠의 복수의 장면 중 제1장면을 표시하고, 상기 제1장면의 표시 중 입력된 상기 사용자의 음성이 상기 제1장면에 대응하는 것으로 판단되면, 상기 컨텐츠의 복수의 장면 중 상기 제1장면의 다음 장면에 해당하는 제2장면을 표시하도록 제어를 수행하는 제어부를 포함하는 디스플레이장치에 의해서 달성될 수 있다.
디스플레이장치는 상기 복수의 장면 각각에 대응하는 대사에 관한 정보를 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 이상이면, 상기 사용자의 음성이 상기 제1장면에 대응하는 것으로 판단할 수 있다.
상기 제어부는, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 미만이면, 상기 사용자에게 상기 제2장면의 대사를 안내해 주도록 제어할 수 있다.
디스플레이장치는, 사용자의 입력을 수신하는 사용자입력부를 더 포함하고, 상기 제어부는, 상기 사용자의 입력에 따라 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도의 기준을 결정할 수 있다.
상기 제어부는, 상기 제1장면의 표시 중 상기 사용자에게 상기 제2장면의 대사를 말할 차례임을 안내해 주도록 제어할 수 있다.
디스플레이장치는, 상기 사용자의 모습을 촬영하는 카메라부를 더 포함하고, 상기 제어부는, 상기 컨텐츠의 복수의 장면 중 적어도 하나에 상기 촬영된 사용자의 모습이 반영되도록 제어할 수 있다.
본 발명의 상기 목적은, 디스플레이장치의 제어방법에 있어서, 컨텐츠의 일련의 복수의 장면 중 제1장면을 표시하는 단계와; 상기 제1장면의 표시 중 사용자의 음성을 입력하는 단계와; 상기 입력된 사용자의 음성이 상기 제1장면에 대응하는지 여부를 판단하는 단계와; 상기 입력된 사용자의 음성이 상기 제1장면에 대응하면, 상기 컨텐츠의 복수의 장면 중 상기 제1장면의 다음 장면에 해당하는 제2장면을 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
상기 제1장면에 대응하는지 여부를 판단하는 단계는, 상기 디스플레이장치에 저장된 상기 복수의 장면 각각에 대응하는 대사에 관한 정보를 참조하여, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 이상인지 여부를 판단하는 단계를 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 미만이면, 상기 사용자에게 상기 제2장면의 대사를 안내해 주는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 사용자의 입력에 따라 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도의 기준을 결정하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 제1장면의 표시 중 상기 사용자에게 상기 제2장면의 대사를 말할 차례임을 안내해 주는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 사용자의 모습을 촬영하는 단계와; 상기 컨텐츠의 복수의 장면 중 상기 촬영된 사용자의 모습이 반영된 적어도 하나의 장면을 표시하는 단계를 더 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 사용자는 별도의 조작장치 없이 사용자의 음성을 통해 컨텐츠의 장면을 진행할 수 있으므로, 보다 직관적이고 편리하게 컨텐츠를 즐길 수 있다.
또한, 본 발명에 의하면, 사용자가 직접 대사를 읽음으로써, 보다 더 컨텐츠에 몰입되어 흥미를 느끼게 된다.
나아가, 본 발명에 의하면, 어린 아이들의 동화 구연 능력, 발성 등의 향상에 도움을 줄 수 있다.
도 1은 본 발명의 일실시예에 의한 디스플레이장치의 구성을 도시한 블록도이며,
도 2는 본 발명의 일실시예에 의한 디스플레이장치의 제어방법을 도시한 흐름도이며,
도 3은 본 발명의 일실시예에 의한 컨텐츠의 각 장면과, 대사 간의 대응관계를 도시하며,
도 4는 본 발명의 일실시예에 의한 디스플레이장치의 제어방법의 다른 예를 도시한 흐름도이며,
도 5는 본 발명의 일실시예에 의한 캐릭터 선택 화면을 도시하며,
도 6은 본 발명의 일실시예에 의한 캐릭터 꾸미기 화면을 도시하며,
도 7은 본 발명의 일실시예에 의한 컨텐츠 재생 화면을 도시한다.
이하, 본 발명의 일실시예에 관하여 상세히 설명한다. 도 1은 본 발명의 일실시예에 의한 디스플레이장치의 구성을 도시한 블록도이다. 디스플레이장치(1)는 수신부(11), 영상처리부(12), 디스플레이부(13), 사용자입력부(14), 제어부(15), 저장부(16), 음성입력부(17) 및 카메라부(18)를 포함할 수 있다. 디스플레이장치(1)는 TV, 스마트패드, PC 등으로 구현될 수 있으며, 컨텐츠를 재생하는 기기라면 그 명칭에 불구하고 모두 본 발명이 적용될 수 있다. 도 1에 도시된 디스플레이장치(1)의 구성은 하나의 실시예에 불과하며, 본 발명의 디스플레이장치는 다양하게 구성될 수 있다. 예컨대, 도 1에 도시된 디스플레이장치(1)의 구성에서, 카메라부(18) 등은 제외되어 구현될 수도 있다.
수신부(11)는 컨텐츠를 포함하는 영상신호를 수신한다. 수신부(11)는 TV방송신호 등의 방송신호 송신장치(도시안됨)로부터 방송신호를 영상신호로서 수신하거나, DVD플레이어, BD플레이어 등의 영상기기로부터 영상신호를 수신하거나, PC로부터 영상신호를 수신하거나, 스마트폰, 스마트패드 등의 모바일기기로부터 영상신호를 수신하거나, 인터넷 등의 네트워크를 통해 영상신호를 수신하거나, USB저장매체와 같은 저장매체에 저장된 영상컨텐츠를 영상신호로서 입력할 수 있다. 다른 실시예로서, 컨텐츠는 수신부(11)를 통해 수신되지 아니하고, 저장부(16)에 저장되어 제공될 수도 있다.
본 발명의 일실시예에 의한 컨텐츠는 일련의 장면으로 구성된 컨텐츠이다. 예컨대, 컨텐츠는 동화책을 영상의 형태로 제공하는 것일 수 있다. 컨텐츠는 장면 단위로 재생되며, 어느 하나의 장면이 표시되고, 해당 장면의 표시 중에 사용자의 명령이 있으면, 그 명령에 따라 다음 장면으로 넘어간다.
영상처리부(12)는 수신부(11)에 의해 수신되는 영상신호를 처리하여 영상이 표시될 수 있도록 한다. 디스플레이부(13)는 영상처리부(12)에 의해 처리된 영상신호에 기초하여 영상을 표시한다. 디스플레이부(13)가 영상을 표시하는 방식에는 제한이 없으나, LCD, PDP, OLED 등의 방식을 포함한다. 이 경우, 디스플레이부(13)는 LCD패널, PDP패널, OLED패널 등을 포함할 수 있다.
사용자입력부(14)는 사용자의 입력을 수신하며, 리모컨으로부터 사용자의 입력을 포함하는 리모컨신호를 수신하는 리모컨수신부, 사용자의 직접 입력을 위한 조작 버튼 혹은 터치패널 등을 포함할 수 있다.
저장부(16)는 플래시메모리, 하드디스크 등의 비휘발성의 메모리로서 디스플레이장치(1)의 동작에 필요한 프로그램 및 데이터를 저장한다. 이러한 프로그램은, OS, 어플리케이션 프로그램 등을 포함한다. 또한, 저장부(16)는 컨텐츠의 각 장면에 대응하는 대사에 관한 정보를 더 저장할 수 있다. 본 실시예의 대사는, 예컨대, 동화에서 어느 등장인물이 말하는 대사일 수 있다.
제어부(15)는 컨텐츠의 재생에 관한 제어를 수행한다. 즉, 제어부(15)는 컨텐츠를 재생하면서, 어느 하나의 장면(이하, '제1장면'이라 함)의 표시 중에, 사용자의 음성이 입력되는 경우, 입력된 사용자의 음성이 현재의 제1장면에 대응하는지 여부를 판단하여, 대응하는 경우, 제1장면의 다음 장면(이하, '제2장면'이라 함)이 표시되도록 제어를 수행한다. 제어부(15)의 구체적인 동작에 대하여는 후술한다.
음성입력부(17)는 사용자의 음성을 입력 받는다. 예컨대, 음성입력부(17)는 마이크로 구현될 수 있다. 카메라부(18)는 사용자의 모습을 촬영한다.
제어부(15)는 도시되지는 않으나, 이러한 제어 동작을 가능하게 하는 제어프로그램이 저장된 비휘발성의 메모리와, 저장된 제어프로그램의 적어도 일부를 로딩하는 휘발성의 메모리와, 로딩된 제어프로그램을 실행하는 마이크로프로세서를 포함할 수 있다. 저장부(16)는 제어프로그램이 저장되는 비휘발성의 메모리를 포함할 수 있다.
도 2는 도 1에 도시된 디스플레이장치(1)의 제어방법을 도시한 흐름도이다. 동작 S21에서, 디스플레이장치(1)의 제어부(15)는 컨텐츠의 일련의 장면 중에서 제1장면을 표시한다. 본 실시예에서의 컨텐츠는 동화책인 것으로 한다. 다음으로, 동작 S22에서, 제어부(15)는 제1장면의 표시 중에, 음성입력부(17)를 통해 사용자의 음성이 입력되었는지를 확인한다. 다음으로, 동작 S23에서, 제어부(15)는 입력된 사용자의 음성이 현재 표시되고 있는 컨텐츠의 제1장면에 대응하는지 여부를 판단한다. 다음으로, 동작 S24에서, 제어부(15)는 입력된 사용자의 음성이 현재 표시되고 있는 컨텐츠의 제1장면에 대응하는 것으로 판단되면, 제1장면의 다음 장면인 제2장면이 표시되도록 제어한다. 이와 같은 방법으로, 디스플레이장치(1)는 사용자와 함께 인터랙티브하게 대사를 주고 받으며 컨텐츠의 시나리오를 진행해 나간다.
도 3을 참조하면, 제어부(15)는 현재 제1장면(31)이 표시되는 상황에서, 사용자의 음성이 입력되면, 저장부(16)에 저장된 대사에 관한 정보를 참조한다. 저장부(16)에는 해당 컨텐츠의 각 장면에 대응하는 대사의 정보가 마련되어 있다. 제어부(15)는 저장부(16)의 대사의 정보 중에서, 현재 표시되고 있는 제1장면(31)의 다음 장면인 제2장면(32)에 대응하는 대사a(33)를 참조한다. 이어, 제어부(15)는 입력된 사용자의 음성이 대사a(33)에 대응하는지를 판단하고, 그 판단 결과에 따라 제2장면이 표시되도록 제어한다.
추가적인 실시예로서, 제어부(15)는 제1장면을 표시하는 때, 사용자가 대사를 말할 차례에 해당되는지 여부를 확인하고, 해당된다고 판단되면(도 3의 예에서는 해당됨), 사용자에게 자신이 대사를 말할 차례임을 알리는 안내를 해 주도록 제어할 수 있다. 예컨대, 제어부(15)는 제1장면과 함께 안내 메시지 혹은 안내 아이콘을 표시하거나, 안내 음성을 출력함으로써 안내를 수행할 수 있다. 디스플레이장치(1)는 이와 같은 안내 음성을 출력하는 스피커를 포함하는 음성출력부(도시 안됨)를 더 포함할 수 있다.
도 4는 디스플레이장치(1)의 제어방법의 다른 예를 도시한 흐름도이다. 본 실시예는 도 2의 동작 S23의 보다 구체적인 과정에 해당할 수 있다. 먼저, 동작 S41에서, 제어부(15)는 입력된 사용자의 음성을 인식한다. 제어부(15)는 사용자의 음성을 인식함에 있어서, 문장구조 분석, 어휘 분석, 의미 분석 등을 수행할 수 있다. 제어부(15)는 입력된 사용자의 음성을 소정 소프트웨어 알고리즘을 통하여, 문장구조와 어휘를 인식하고,　컨텍스트 단위로 의미를 분석할 수 있다.
다음으로, 동작 S42에서, 제어부(15)는 인식된 사용자의 음성의 내용과, 제2장면의 대사와의 일치 정도를 판단한다. 제어부(15)는 사용자의 음성의 내용과, 제2장면의 대사와의 일치 정도를 판단함에 있어서, 대사의 패턴 일치, 대사의 순서 일치, 대사의 주체 일치 등을 확인할 수 있다. 다음으로, 동작 S43에서, 제어부(15)는 사용자의 음성의 내용과, 제2장면의 대사와의 일치 정도가 소정치 이상인지 여부를 확인한다. 동작 S43에서의 확인 결과, 일치 정도가 소정치 이상인 경우, 동작 S44에서 제어부(15)는 제2장면을 표시한다.
추가적인 실시예로서, 제어부(15)는 사용자의 입력에 따라 사용자의 음성의 내용과, 제2장면의 대사와의 일치 정도의 기준을 결정할 수 있다. 예컨대, 대사의 일치 난이도는 초급(일치 정도의 기준 낮음), 중급(일치 정도의 기준 중간), 고급(일치 정도의 기준 높음) 등 여러 모드로 마련될 수 있으며, 각 모드는 사용자의 입력에 따라 선택될 수 있다. 대사의 일치 난이도에 관한 모드 선택은 UI(도시 안됨)를 이용하여 수행될 수 있다.
한편, 동작 S43에서의 확인 결과, 일치 정도가 소정치 이상이 아닌 경우, 동작 S45에서 제어부(15)는 대사가 일치하지 아니한 회수가 소정치 이상인지 여부를 확인하고, 일치하지 아니한 회수가 소정치 미만이면, 사용자가 다시 대사를 말할 수 있도록 기회를 주고, 동작 S41를 다시 수행할 수 있다. 이 경우, 제어부(15)는 사용자에게 다시 대사를 말하도록 하는 안내 메시지 등을 표시할 수 있다.
동작 S45에서 대사가 일치하지 아니한 회수가 소정치(예컨대, 3회) 이상인 것으로 판단되면, 제어부(15)는 사용자가 쉽게 대사를 말할 수 있도록 해당 대사를 안내해 주도록 제어한다. 예컨대, 제어부(15)는 제2장면의 대사의 내용을 디스플레이부(13)에 표시하거나, 혹은 사용자가 따라 할 수 있도록 제2장면의 대사를 먼저 한번 읽어 줄 수 있다. 디스플레이장치(1)는 이와 같은 대사를 읽는 음성을 출력하는 스피커를 포함하는 음성출력부(도시 안됨)를 더 포함할 수 있다.
다른 실시예로서, 제어부(15)는 대사가 일치하지 않으면(혹은 소정 회수 이상 일치하지 않으면), 바로 다음 제2장면으로 진행할 수도 있다.
도 5는 본 발명의 일실시예에 의한 캐릭터 선택 화면을 도시한다. 제어부(15)는 컨텐츠 재생 동작 시작 시, 디스플레이부(51)에 캐릭터 선택 화면(52)을 표시할 수 있다. 사용자는 사용자 입력부(14) 등을 이용하여 해당 컨텐츠에서 자신이 대사를 말할 캐릭터(53)를 선택할 수 있다. 제어부(15)는 컨텐츠의 장면 중에서, 사용자에 의해 선택된 캐릭터(53)의 대사 차례가 된 장면에서 상기한 동작을 수행한다.
도 6은 본 발명의 일실시예에 의한 캐릭터 꾸미기 화면을 도시한다. 추가적인 실시예로, 제어부(15)는 캐릭터 선택 시, 캐릭터 꾸미기 화면(62)을 더 표시할 수 있다. 이 경우, 제어부(15)는 카메라부(18)를 이용하여 사용자의 모습을 촬영하도록 제어한다. 본 실시예에서 사용자는 왕관과 같은 소품을 머리에 착용하고 있는 것으로 한다. 제어부(15)는 촬영된 사용자의 모습의 이미지에서 왕관의 형태를 식별하고, 이를 캐릭터에 반영하는 영상처리(예컨대, 이미지 합성)가 수행되도록 제어한다(부호 63 참조). 이 후, 제어부(15)는 컨텐츠의 재생 시 사용자의 캐릭터가 등장하는 장면에도 캐릭터에 왕관의 형태가 반영될 수 있도록 한다. 이에 의해, 사용자는 보다 더 흥미를 느낄 수 있다.
도 7은 본 발명의 일실시예에 의한 컨텐츠 재생 화면의 일례를 도시한다. 도시된 바와 같이, 제어부(15)는 컨텐츠의 제1장면(72)을 표시하고, 사용자의 캐릭터의 상대방의 대사(73)가 출력되도록 한다. 이어, 사용자는 자신의 캐릭터의 차례에서, 자신의 대사를 말한다. 제어부(15)는 사용자의 음성을 확인하여, 대사의 일치 여부에 따라 다음 장면으로 진행한다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1: 디스플레이장치
11: 수신부
12: 영상처리부
13: 디스플레이부
14: 사용자입력부
15: 제어부
16: 저장부
17: 음성입력부
18: 카메라부

Claims (12)

  1. 디스플레이장치에 있어서,
    일련의 복수의 장면을 포함하는 컨텐츠의 영상을 표시 가능하도록 처리하는 영상처리부와;
    상기 컨텐츠의 영상을 표시하는 디스플레이부와;
    사용자의 음성을 입력하는 음성입력부와;
    상기 컨텐츠의 복수의 장면 중 제1장면을 표시하고, 상기 제1장면의 표시 중 입력된 상기 사용자의 음성이 상기 제1장면에 대응하는 것으로 판단되면, 상기 컨텐츠의 복수의 장면 중 상기 제1장면의 다음 장면에 해당하는 제2장면을 표시하도록 제어를 수행하는 제어부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 복수의 장면 각각에 대응하는 대사에 관한 정보를 저장하는 저장부를 더 포함하고,
    상기 제어부는, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 이상이면, 상기 사용자의 음성이 상기 제1장면에 대응하는 것으로 판단하는 디스플레이장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 미만이면, 상기 사용자에게 상기 제2장면의 대사를 안내해 주도록 제어하는 디스플레이장치.
  4. 제2항에 있어서,
    사용자의 입력을 수신하는 사용자입력부를 더 포함하고,
    상기 제어부는, 상기 사용자의 입력에 따라 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도의 기준을 결정하는 디스플레이장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 제1장면의 표시 중 상기 사용자에게 상기 제2장면의 대사를 말할 차례임을 안내해 주도록 제어하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 사용자의 모습을 촬영하는 카메라부를 더 포함하고,
    상기 제어부는, 상기 컨텐츠의 복수의 장면 중 적어도 하나에 상기 촬영된 사용자의 모습이 반영되도록 제어하는 디스플레이장치.
  7. 디스플레이장치의 제어방법에 있어서,
    컨텐츠의 일련의 복수의 장면 중 제1장면을 표시하는 단계와;
    상기 제1장면의 표시 중 사용자의 음성을 입력하는 단계와;
    상기 입력된 사용자의 음성이 상기 제1장면에 대응하는지 여부를 판단하는 단계와;
    상기 입력된 사용자의 음성이 상기 제1장면에 대응하면, 상기 컨텐츠의 복수의 장면 중 상기 제1장면의 다음 장면에 해당하는 제2장면을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  8. 제7항에 있어서,
    상기 제1장면에 대응하는지 여부를 판단하는 단계는, 상기 디스플레이장치에 저장된 상기 복수의 장면 각각에 대응하는 대사에 관한 정보를 참조하여, 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 이상인지 여부를 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  9. 제8항에 있어서,
    상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도가 소정치 미만이면, 상기 사용자에게 상기 제2장면의 대사를 안내해 주는 단계를 더 포함하는 디스플레이장치의 제어방법.
  10. 제8항에 있어서,
    상기 사용자의 입력에 따라 상기 사용자의 음성과, 상기 제2장면의 대사와의 일치 정도의 기준을 결정하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  11. 제7항에 있어서,
    상기 제1장면의 표시 중 상기 사용자에게 상기 제2장면의 대사를 말할 차례임을 안내해 주는 단계를 더 포함하는 디스플레이장치의 제어방법.
  12. 제7항에 있어서,
    상기 사용자의 모습을 촬영하는 단계와;
    상기 컨텐츠의 복수의 장면 중 상기 촬영된 사용자의 모습이 반영된 적어도 하나의 장면을 표시하는 단계를 더 포함하는 디스플레이장치의 제어방법.
KR1020120106410A 2012-09-25 2012-09-25 디스플레이장치 및 그 제어방법 KR20140039757A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120106410A KR20140039757A (ko) 2012-09-25 2012-09-25 디스플레이장치 및 그 제어방법
EP13181204.2A EP2711851A3 (en) 2012-09-25 2013-08-21 Display apparatus and control method thereof
JP2013187035A JP2014068343A (ja) 2012-09-25 2013-09-10 ディスプレイ装置およびその制御方法
US14/024,283 US20140085187A1 (en) 2012-09-25 2013-09-11 Display apparatus and control method thereof
CN201310454076.7A CN103686394A (zh) 2012-09-25 2013-09-25 显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120106410A KR20140039757A (ko) 2012-09-25 2012-09-25 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20140039757A true KR20140039757A (ko) 2014-04-02

Family

ID=49054382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120106410A KR20140039757A (ko) 2012-09-25 2012-09-25 디스플레이장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US20140085187A1 (ko)
EP (1) EP2711851A3 (ko)
JP (1) JP2014068343A (ko)
KR (1) KR20140039757A (ko)
CN (1) CN103686394A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163315A1 (en) * 2002-02-25 2003-08-28 Koninklijke Philips Electronics N.V. Method and system for generating caricaturized talking heads
US20100085363A1 (en) * 2002-08-14 2010-04-08 PRTH-Brand-CIP Photo Realistic Talking Head Creation, Content Creation, and Distribution System and Method
US7797146B2 (en) * 2003-05-13 2010-09-14 Interactive Drama, Inc. Method and system for simulated interactive conversation
WO2010002921A1 (en) * 2008-07-01 2010-01-07 Yoostar Entertainment Group, Inc. Interactive systems and methods for video compositing
TWI420433B (zh) * 2009-02-27 2013-12-21 Ind Tech Res Inst 語音互動系統與方法
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
KR20120100453A (ko) * 2011-03-04 2012-09-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR101164379B1 (ko) * 2011-08-01 2012-08-07 민병철 사용자 맞춤형 컨텐츠 제작이 가능한 학습 장치 및 이를 이용한 학습 방법

Also Published As

Publication number Publication date
EP2711851A2 (en) 2014-03-26
JP2014068343A (ja) 2014-04-17
US20140085187A1 (en) 2014-03-27
CN103686394A (zh) 2014-03-26
EP2711851A3 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
JP5955299B2 (ja) 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
US8847884B2 (en) Electronic device and method for offering services according to user facial expressions
KR101679239B1 (ko) 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
JP6259530B2 (ja) 制御装置、制御方法、プログラム及び情報記憶媒体
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
JP6405316B2 (ja) エンタテインメント装置、表示制御方法、プログラム及び情報記憶媒体
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
CN103430217A (zh) 输入支持装置、输入支持方法及记录介质
JP6383409B2 (ja) 案内装置、案内方法、プログラム及び情報記憶媒体
US11232790B2 (en) Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system
CN111179923B (zh) 一种基于可穿戴设备的音频播放方法及可穿戴设备
CN111273775A (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
US11886484B2 (en) Music playing method and apparatus based on user interaction, and device and storage medium
KR20140089829A (ko) 전자 장치에서 움직이는 사진 제어 장치 및 방법
JP2017032693A (ja) 映像記録再生装置
KR20090124240A (ko) 자막 편집 장치 및 그 방법
KR20140039757A (ko) 디스플레이장치 및 그 제어방법
KR20110065276A (ko) 비교 영상을 이용한 발음 학습 방법 및 장치
CN111091807B (zh) 语音合成方法、装置、计算机设备及存储介质
JP2011248733A (ja) 電子機器
CN117041645A (zh) 基于数字人的视频播放方法、装置、电子设备及存储介质
KR101054690B1 (ko) 휴대 단말기 및 영상 데이터를 이용한 장치 조작 방법
KR20150063189A (ko) 이미지에 감성 효과를 부가할 수 있는 기능을 갖는 이동통신 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid