KR20190056119A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20190056119A
KR20190056119A KR1020170153229A KR20170153229A KR20190056119A KR 20190056119 A KR20190056119 A KR 20190056119A KR 1020170153229 A KR1020170153229 A KR 1020170153229A KR 20170153229 A KR20170153229 A KR 20170153229A KR 20190056119 A KR20190056119 A KR 20190056119A
Authority
KR
South Korea
Prior art keywords
caption
display unit
displayed
display
data
Prior art date
Application number
KR1020170153229A
Other languages
English (en)
Inventor
이의윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170153229A priority Critical patent/KR20190056119A/ko
Priority to EP18877974.8A priority patent/EP3691288A4/en
Priority to PCT/KR2018/014145 priority patent/WO2019098775A1/ko
Priority to CN201880073898.1A priority patent/CN111345045A/zh
Priority to US16/765,091 priority patent/US20200358967A1/en
Publication of KR20190056119A publication Critical patent/KR20190056119A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 디스플레이 화면에 표시되는 자막을 추출 후 음성으로 변환하여 출력하는 기술에 관한 것이다.
일 실시예에 따른 디스플레이장치는, 디스플레이부, 소리를 출력하는 음향 출력부 및 디스플레이부에 표시되는 자막의 종류에 기초하여 자막 데이터 획득 방법을 결정하고, 결정된 자막 데이터 획득방법에 따라 획득된 자막 데이터를 음성 데이터로 변환하고, 변환된 음성 데이터에 기초하여 자막의 표시 내용이 음성으로 출력되도록 음향 출력부를 제어하는 제어부를 포함한다.

Description

디스플레이장치 및 그 제어방법{DISPLAY APPARATUS AND METHOD FOR CONTROLLING THEREOF}
디스플레이장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 디스플레이 화면에 표시되는 자막을 추출 후 음성으로 변환하여 출력하는 기술에 관한 것이다.
디스플레이장치는 외부로부터 입력되거나 내부에 저장되어 있는 영상신호/영상데이터를 다양한 프로세스에 의해 처리하여 디스플레이 패널(panel) 또는 스크린(screen) 상에 영상으로 표시하는 장치로서, 그 방식에 따라서 TV, 모니터, 휴대용 미디어 플레이어 등으로 다양하게 구현된다.
디스플레이장치는 미리 저장된 컨텐츠에 기초하여 드라마나 영화 등의 영상을 출력할 수 있다. 또한, 인터넷 등과 같은 네트워크를 통해 다양한 방송 프로그램 등의 컨텐츠를 수신하여 영상으로 출력할 수 있다. 특히, 네트워크를 통해 방송국 또는 IP-TV 서버로부터 긴급 속보 또는 재난 방송 등의 컨텐츠를 수신하여 출력할 수도 있다.
시각장애인이 디스플레이장치를 통해 영상을 시청하는 경우에 외국어로 음성이 출력되는 영상의 경우에는 자막을 시청할 수 없으므로 영상 컨텐츠 또는 방송에 대한 원활한 시청이 불가하다. 최근에는, 시각장애인의 영상 컨텐츠에 대한 접근성을 높이고, 컨텐츠에 포함된 언어 등에 상관없이 모든 영상을 시청할 수 있도록 자막에 대한 음성을 출력하는 기술에 대한 연구가 진행되고 있다.
디스플레이장치에 표시되는 자막을 추출하여 음성으로 변환하여 출력함으로써, 영상 컨텐츠에 포함된 자막의 종류에 관계없이 시청자에게 컨텐츠의 내용을 음성으로 전달하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 일 실시예에 따른 디스플레이장치는,
디스플레이부, 소리를 출력하는 음향 출력부 및 상기 디스플레이부에 표시되는 자막의 종류에 기초하여 자막 데이터 획득 방법을 결정하고, 상기 결정된 자막 데이터 획득방법에 따라 획득된 자막 데이터를 음성 데이터로 변환하고, 상기 변환된 음성 데이터에 기초하여 상기 자막의 표시 내용이 음성으로 출력되도록 상기 음향 출력부를 제어하는 제어부를 포함한다.
또한, 상기 제어부는, 상기 디스플레이부에 표시되는 자막이 닫힌 자막(closed caption)인지, 열린 자막(open caption)인지에 기초하여 상기 자막 데이터 획득 방법을 결정할 수 있다.
또한, 상기 제어부는, 상기 디스플레이부에 표시되는 자막이 닫힌 자막이면, 상기 디스플레이장치가 수신하는 방송 신호에 포함된 자막 데이터 또는 상기 디스플레이장치에 저장된 영상 컨텐츠에 포함된 자막 데이터를 상기 디스플레이부에 출력되는 영상 데이터와 분리하여 획득할 수 있다.
또한, 상기 제어부는, 상기 디스플레이부에 표시되는 자막이 열린 자막이면, 상기 디스플레이부에 출력되는 자막에 대해 문자 인식(Optical Character Reader; OCR)을 수행하여 상기 자막 데이터를 획득할 수 있다.
또한, 상기 제어부는, 상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 있으면, 상기 디스플레이부에 표시되는 자막을 상기 닫힌 자막으로 결정할 수 있다.
또한, 상기 제어부는, 상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 없으면, 상기 디스플레이부에 표시되는 자막을 상기 열린 자막으로 결정할 수 있다.
또한, 상기 제어부는, 상기 획득된 자막 데이터를, 상기 디스플레이부에 표시되는 자막에 대응하는 음성 데이터로 변환할 수 있다.
또한, 상기 제어부는, 상기 자막이 디스플레이부에 표시되는 시간과 상기 자막의 표시 내용이 음성으로 출력되는 시간을 동일하게 동기화할 수 있다.
또한, 상기 제어부는, 상기 자막의 표시 내용이 음성으로 출력되는 시간과 상기 자막이 디스플레이부에 표시되는 시간이 일치하지 않으면, 상기 음성 출력 시간과 상기 자막 표시 시간의 차이만큼 상기 음성 출력 시간을 보정할 수 있다.
또한, 상기 음향 출력부는, 상기 변환된 음성 데이터를 상기 자막이 표시되는 시간에 대응하여 음성으로 출력할 수 있다.
또한, 상술한 목적을 달성하기 위한 일 실시예에 따른 디스플레이장치 제어방법은,
디스플레이부에 표시되는 자막의 종류에 기초하여 자막 데이터 획득 방법을 결정하고, 상기 결정된 자막 데이터 획득방법에 따라 획득된 자막 데이터를 음성 데이터로 변환하고, 상기 변환된 음성 데이터에 기초하여 상기 자막의 표시 내용이 음성으로 출력되도록 음향 출력부를 제어하는 것을 포함한다.
또한, 상기 자막 데이터 획득 방법을 결정하는 것은, 상기 디스플레이부에 표시되는 자막이 닫힌 자막인지, 열린 자막인지에 기초하여 상기 자막 데이터 획득 방법을 결정할 수 있다.
또한, 상기 자막 데이터를 획득하는 것은, 상기 디스플레이부에 표시되는 자막이 닫힌 자막이면, 상기 디스플레이장치가 수신하는 방송 신호에 포함된 자막 데이터 또는 상기 디스플레이장치에 저장된 영상 컨텐츠에 포함된 자막 데이터를 상기 디스플레이부에 출력되는 영상 데이터와 분리하여 획득할 수 있다.
또한, 상기 자막 데이터를 획득하는 것은, 상기 디스플레이부에 표시되는 자막이 열린 자막이면, 상기 디스플레이부에 출력되는 자막에 대해 문자 인식(OCR)을 수행하여 상기 자막 데이터를 획득할 수 있다.
또한, 상기 디스플레이부에 표시되는 자막의 종류를 결정하는 것은, 상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 있으면, 상기 디스플레이부에 표시되는 자막을 상기 닫힌 자막으로 결정할 수 있다.
또한, 상기 디스플레이부에 표시되는 자막의 종류를 결정하는 것은, 상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 없으면, 상기 디스플레이부에 표시되는 자막을 상기 열린 자막으로 결정할 수 있다.
또한, 상기 자막 데이터를 음성 데이터로 변환하는 것은, 상기 획득된 자막 데이터를, 상기 디스플레이부에 표시되는 자막에 대응하는 음성 데이터로 변환할 수 있다.
또한, 상기 자막이 디스플레이부에 표시되는 시간과 상기 자막의 표시 내용이 음성으로 출력되는 시간을 동일하게 동기화하는 것을 더 포함할 수 있다.
또한, 상기 자막의 표시 내용이 음성으로 출력되는 시간과 상기 자막이 디스플레이부에 표시되는 시간이 일치하지 않으면, 상기 음성 출력 시간과 상기 자막 표시 시간의 차이만큼 상기 음성 출력 시간을 보정하는 것을 더 포함할 수 있다.
또한, 상기 자막의 표시 내용을 음성으로 출력하는 것은, 상기 변환된 음성 데이터를 상기 자막이 표시되는 시간에 대응하여 음성으로 출력하는 것을 포함할 수 있다.
디스플레이장치에 표시되는 자막을 추출하여 음성으로 변환하여 출력함으로써, 영상 컨텐츠에 포함된 자막의 종류에 관계없이 시청자가 영상을 시청하면서 컨텐츠의 내용을 음성으로 청취할 수 있다.
도 1 및 도 2는 일 실시예에 따른 디스플레이장치에 자막이 포함된 영상이 표시되는 것을 도시한 것이다.
도 3은 다른 실시예에 따른 디스플레이장치에 자막이 포함된 영상이 표시되는 것을 도시한 것이다.
도 4는 일 실시예에 따른 디스플레이장치의 제어 블록도이다.
도 5는 일 실시예에 따른 디스플레이장치 제어방법을 도시한 순서도이다.
도 6은 일 실시예에 따라 디스플레이부에 출력되는 자막에 대해 문자 인식을 수행하는 것을 도시한 것이다.
도 7은 일 실시예에 따라 닫힌 자막에 대해 변환된 음성이 출력되는 것을 도시한 것이다.
도 8은 일 실시예에 따라 열린 자막에 대해 변환된 음성이 출력되는 것을 도시한 것이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1 및 도 2는 일 실시예에 따른 디스플레이장치에 자막이 포함된 영상이 표시되는 것을 도시한 것이다. 도 3은 다른 실시예에 따른 디스플레이장치에 자막이 포함된 영상이 표시되는 것을 도시한 것이다. 도 4는 일 실시예에 따른 디스플레이장치의 제어 블록도이다.
도 1에 도시된 디스플레이장치(1)는 영상을 표시하는 디스플레이 패널(20)을 구비하여 다양한 포맷의 영상 데이터를 표시할 수 있는 장치를 의미한다. 디스플레이장치(1)는 외관상 각종 부품을 수용하는 본체(10), 및 사용자에게 영상을 표시하는 디스플레이부(140)를 포함할 수 있으며, 디스플레이부(140)에는 디스플레이 패널(20)이 포함될 수 있다.
디스플레이부(140)는 다양한 컨텐츠의 영상을 표시할 수 있다. 즉, 컨텐츠 수신부(130, 도 4참조) 및 방송신호 수신기(160, 도 4참조)를 통해 수신한 영상 컨텐츠 또는 방송 컨텐츠를 디스플레이 패널(20)을 통해 영상으로 출력할 수 있다.
도 1 및 도 2를 참조하면, 디스플레이부(140)는 영상과 함께 출력되는 자막을 표시할 수 있다. 즉, 디스플레이부(140)에 표시되는 영상 컨텐츠가 외국 드라마나 영화인 경우에 디스플레이부(140)는 영상과 영상 내용에 대한 자막을 동시에 표시할 수 있다.
이 경우, 디스플레이부(140)에 표시되는 자막의 종류에 따라서 사용자는 입력부(120, 도 4참조)를 통해 디스플레이부(140)에 자막이 표시되거나 표시되지 않도록 설정할 수 있다.
디스플레이부(140)에 표시되는 영상의 이해를 돕기 위해 영상과 함께 표시되는 자막(caption)은, 디스플레이장치(1)에 미리 저장되어 있거나 외부 장치 등으로부터 수신되는 자막 데이터(caption data)에 따라서 종류가 나뉠 수 있다.
자막 데이터가 닫힌 자막(closed caption)에 해당하는 경우에는 디스플레이부(140)에 표시되는 영상 데이터와 자막 데이터가 분리되어 관리될 수 있으므로, 사용자는 디스플레이부(140)에 자막의 표시 여부를 설정할 수 있다.
도 1 및 도 2를 참조하면, 사용자가 디스플레이부(140)에 자막이 표시되도록 설정하면 도 1에서처럼 디스플레이부(140)에 출력되는 영상과 함께 자막(30)도 표시된다. 반면, 사용자가 디스플레이부(140)에 자막이 표시되지 않도록 설정하면 도 2에서처럼 디스플레이부(140)에 영상은 출력되지만 자막(30)은 표시되지 않는다.
즉, 디스플레이부(140)에 표시되는 자막이 닫힌 자막인 경우에는 사용자의 설정에 따라 디스플레이부(140)에 자막의 표시 유무를 선택할 수 있다.
디스플레이부(140)에 표시되는 자막 데이터가 열린 자막(open caption)에 해당하는 경우에는 디스플레이부(140)에 표시되는 영상 데이터와 자막 데이터가 분리되어 관리될 수 없다. 즉, 열린 자막은 영상 데이터 자체에 자막 데이터가 결합된 형태이므로 사용자가 디스플레이부(140)에 자막의 표시 여부를 설정할 수 없고, 영상이 표시되면 자막도 함께 표시된다.
도 3을 참조하면, 방송국에서 실시간으로 제공하는 긴급 속보(breaking news) 또는 재난(disaster) 방송 등을 전달하기 위한 자막 데이터는 열린 자막에 해당하며, 디스플레이장치(1)는 방송신호 수신기(160)에서 수신한 채널 별 방송 신호에 기초하여 열린 자막에 대한 텍스트(text) 데이터를 디코딩한다.
즉, 열린 자막에 해당하는 자막 데이터는 디스플레이부(140)로 출력되는 영상 데이터에 영상의 내용을 알리기 위한 텍스트 데이터가 기록되어 있으므로, 사용자가 디스플레이장치(1)를 조작하여 자막의 표시 여부를 설정할 수 없다.
도 3에 도시된 바와 같이, 열린 자막에 기초한 방송 신호에 따라 디스플레이부(140)는 영상과 함께 자막(40)이 동시에 출력된다.
도 1내지 도 3에 도시된 바와 같이, 디스플레이장치(1)의 디스플레이부(140)에는 영상과 함께 자막이 표시될 수 있다. 이 경우, 영상을 시청하는 시청자가 시각 장애인인 경우에는 출력되는 영상에 기초한 소리는 청취할 수 있으나, 디스플레이부(140)에 표시되는 자막은 시청할 수 없다.
특히, 출력되는 영상 컨텐츠가 외국 컨텐츠에 해당하여 영상에 대응한 자막이 국어로 번역되어 디스플레이부(140)에 출력되는 경우에는, 시각 장애인은 자막을 시청할 수 없으므로 영상이 전달하는 정보를 획득할 수 없다.
영상 컨텐츠가 외국 컨텐츠에 해당하는 경우, 외국 컨텐츠에 대한 더빙을 통해 국어로 음성이 출력되도록 할 수 있으나 모든 영상 컨텐츠 또는 방송에 대해 더빙을 할 수 없다. 따라서, 디스플레이부(140)에 출력되는 자막에 대해 자막 데이터를 추출하여, 추출된 자막 데이터를 음성으로 변환하여 출력하면 시각 장애인도 디스플레이장치(1)에서 출력되는 음성을 통해 디스플레이부(140)에 표시되는 영상 컨텐츠에 관한 정보를 획득할 수 있다.
이 경우, 전술한 바와 같이 디스플레이부(140)에 표시되는 자막에 대한 자막 데이터는 닫힌 자막과 열린 자막으로 나뉠 수 있으므로, 자막 데이터의 추출 방식도 달라질 수 있다. 이하, 개시된 발명의 일 실시예에 따른 디스플레이장치 및 그 제어방법을 도 4 내지 도 8을 통해 자세히 설명한다.
도 4를 참조하면, 디스플레이장치(1)는 사용자로부터 제어 명령을 입력 받는 입력부(120), 외부 장치로부터 영상 및 음향을 포함하는 컨텐츠를 수신하는 컨텐츠 수신부(130), 외부 장치로부터 영상 및 음향을 포함하는 방송 신호를 수신하는 방송신호 수신기(160), 방송신호 또는 컨텐츠에 포함된 영상 데이터를 처리하는 영상 처리부(200), 영상 데이터에 대응하는 영상을 표시하는 디스플레이부(140), 방송신호 또는 컨텐츠에 포함된 음향 데이터에 대응하는 음향을 출력하는 음향 출력부(150), 및 디스플레이장치(1)의 전반적인 동작을 제어하는 제어부(110)를 포함한다.
여기서, 입력부(120)는 사용자로부터 각종 제어 명령을 입력 받는 버튼 그룹(121)을 포함할 수 있다. 예를 들어, 버튼 그룹(121)은 음향 출력부(150)로부터 출력되는 음향의 크기를 조절하는 볼륨 버튼, 컨텐츠 수신부(130) 또는 방송신호 수신기(160)에 의하여 수신하는 통신 채널을 변경하는 채널 버튼, 디스플레이장치(1)의 전원을 온/오프하는 전원 버튼 등을 포함할 수 있다.
한편, 버튼 그룹(121)에 포함된 각종 버튼은 사용자의 가압을 감지하는 푸시 스위치(push switch)와 멤브레인 스위치(membrane) 또는 사용자의 신체 일부의 접촉을 감지하는 터치 스위치(touch switch) 등을 채용할 수 있다. 다만, 이에 한정되는 것은 아니며, 버튼 그룹(121)은 사용자의 특정한 동작에 대응하여 전기적 신호를 출력할 수 있는 다양한 입력 수단을 채용할 수 있다.
또한, 입력부(120)는 원격에서 사용자로부터 제어 명령을 입력 받고, 입력 받는 사용자 제어 명령을 디스플레이장치(1)에 전송하는 원격 제어기(remote controller)를 포함할 수도 있는 등, 기 공지된 다양한 구성 요소를 포함한다.
입력부(120)는 전술한 버튼 그룹(121)을 통해 디스플레이장치(1)의 동작과 관련된 각종 제어 명령을 사용자로부터 입력 받을 수 있으며, 제한은 없다. 예를 들어, 도 1 및 도 2에서 전술한 바와 같이, 사용자는 입력부(120)를 통해 디스플레이부(140)에 자막이 표시되거나 표시되지 않도록 설정할 수 있다.
한편, 도 4에 도시된 바와 같이, 디스플레이장치(1)에는 컨텐츠 수신부(130)가 마련될 수 있다. 예를 들어, 컨텐츠 수신부(130)는 멀티미디어 저장 매체에 저장된 컨텐츠를 재생하는 멀티미디어 재생 장치(예를 들어, DVD 플레이어, CD 플레이어, 블루레이 플레이어 등) 등으로부터 컨텐츠를 수신할 수 있다. 구체적으로, 컨텐츠 수신부(130)는 외부 장치와 연결되는 복수의 커넥터(131), 및 복수의 커넥터(131) 가운데 컨텐츠를 수신할 경로를 선택하는 수신 경로 선택부(132)를 포함할 수 있다.
한편, 도 2에 도시된 바와 같이, 디스플레이장치(1)에는 방송신호 수신기(160)가 마련될 수 있다. 방송신호 수신기(160)는 안테나(161)를 통해 수신되는 각종 신호 가운데 특정 주파수(채널) 별 방송 신호를 추출하고, 추출된 방송신호를 적절히 변환할 수 있다
구체적으로, 방송신호 수신기(160)는 안테나(161)를 통해 무선으로 방송 신호를 수신하고, 수신된 방송 신호를 적절히 변환하여 디스플레이부(140)를 통해 방송 영상을 표시하고, 음향 출력부(150)를 통해 방송 음향이 출력되도록 한다. 방송신호 수신기(160)는 튜너(tunner)라고도 하나, 설명의 편의상 이하에서는 방송신호 수신기라 하기로 한다.
방송신호 수신기(160)는 도 4에 도시된 바와 같이, 안테나(161), RF 부(163), 및 방송신호 제어부(167)를 포함할 수 있다. 여기서, RF부(163), 및 방송신호 제어부(167)는 각각 단일의 칩으로 구현될 수 있다. 예를 들어, RF부(163)는 RF 모듈 집적회로(RF module integrated circuit)를 통해 구현될 수 있다. 또한, 방송신호 제어부(167)는 복조 모듈 집적회로(demodulation module integrated circuit)를 통해 구현될 수 있다.
이외에도, RF 부(163), 및 방송신호 제어부(167)는 단일의 칩으로 구현될 수 있다. 예를 들어, RF 부(163), 및 방송신호 제어부(167)는 방송신호 수신기(160)에 내장된 시스템 온 칩(System On Chip, SOC)에 집적될 수 있는 등 제한은 없다.
여기서, 안테나(161)는 전술한 바와 같이 다양한 주파수 대역의 신호를 수신한다. 안테나(161)는 디스플레이장치(1)의 내부에 마련되거나 또는 외부에 마련될 수 있는 등, 제한은 없다.
한편, 안테나(161)가 다양한 주파수 대역의 신호를 수신하는 동작은 방송신호 제어부(167) 또는 제어부(110)에 의해 제어될 수 있다.
여기서, 방송신호는 방송 프로그램과 관련된 방송 데이터가 포함된 신호를 의미한다. 이하에서는 방송 프로그램과 관련된 방송 데이터를 설명의 편의상 방송정보라 하기로 한다. 한편, 방송정보는 채널 별로 다르므로, 사용자는 채널을 변경하여 원하는 방송정보를 시청할 수 있다.
여기서, 방송신호는 다양한 방송방식에 의해 변조 및 압축되어 송신될 수 있으며, 하나의 채널정보만을 포함하거나, 또는 복수의 채널정보를 포함할 수도 있다. 일 실시예로, 방송신호는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 신호일 수 있다.
여기서, DVB 방식은 DVB-T(Digital Video Broadcasting- Terrestrial version), DVB-T2(Digital Video Broadcasting- Terrestrial version T2) 방식 등 기 공지된 다양한 방식을 포함한다. 그러나, 방송신호가 전술한 일 실시예로 한정되는 것은 아니고, 다양한 방송방식에 따라 방송 프로그램과 관련된 컨텐츠가 포함된 신호를 전부 포함한다.
방송신호 제어부(165)는 채널을 탐색하기 위해 오토 스캔(auto scan)을 수행할 수 있다. 오토 스캔은 전체 주파수 대역 또는 특정 주파수 대역에 존재하는 채널을 탐색하는 동작을 의미한다.
영상 처리부(200)는 컨텐츠 수신부(130) 또는 방송신호 수신기(160)로부터 전달 받은 영상정보를 처리하여 디스플레이부(140)에 제공할 수 있다. 이때, 영상 처리부(200)는 도 4에 도시된 바와 같이, 그래픽 프로세서(201)와 그래픽 메모리(203)를 포함할 수 있다.
그래픽 프로세서(201)는 그래픽 메모리(203)에 기억된 영상 처리 프로그램에 따라 그래픽 메모리(203)에 기억된 영상 데이터를 처리할 수 있다.
또한, 그래픽 메모리(203)는 영상 처리를 위한 영상 처리 프로그램 및 영상처리 정보를 기억하거나, 그래픽 프로세서(201)가 출력하는 영상정보 또는 컨텐츠 수신부(130) 또는 방송신호 수신기(160)로부터 수신된 영상정보를 임시로 기억할 수 있다.
이상에서는 그래픽 프로세서(201)와 그래픽 메모리(203)를 별도로 설명하였으나, 그래픽 프로세서(201)와 그래픽 메모리(203)가 별도의 칩으로 마련되는 것으로 한정되는 것은 아니며, 그래픽 프로세서(201)와 그래픽 메모리(203)가 단일의 칩으로 마련될 수 있다.
디스플레이부(140)는 영상을 시각적으로 표시하는 디스플레이 패널(20), 디스플레이 패널(20)을 구동하는 디스플레이 드라이버(141)를 포함할 수 있다.
디스플레이 패널(20)은 영상을 표시하는 단위가 되는 화소(pixel)을 포함할 수 있다. 각각의 화소는 영상 데이터를 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 이처럼, 디스플레이 패널(20)에 포함된 복수의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(20)에 표시된다.
또한, 디스플레이 패널(20)은 각각의 화소가 광학 신호를 출력하는 방식에 따라 여러 종류로 구분될 수 있다. 예를 들어, 디스플레이 패널(20)은 화소 스스로 광을 방출하는 발광 디스플레이, 백 라이트 등으로부터 방출된 광을 차단하거나 투과시키는 투과형 디스플레이, 외부 광원으로부터 입사된 광을 반사시키거나 흡수하는 반사형 디스플레이로 구분될 수 있다.
여기서, 디스플레이 패널(20)은 음극선관(CRT, Cathode Ray Tube) 디스플레이, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등으로 구현될 수 있으며, 제한은 없다.
다만, 디스플레이 패널(20)은 이에 한정되지 않으며, 디스플레이 패널(20)은 영상 데이터에 대응하는 영상을 시각적으로 표시할 수 있는 다양한 표시 수단을 채용할 수 있다.
디스플레이 드라이버(141)는 제어부(110)의 제어 신호에 따라 영상 처리부(200)로부터 영상 데이터를 수신하고, 수신된 영상에 대응하는 영상을 표시하도록 디스플레이 패널(20)을 구동한다.
도 1에 도시된 바와 같이, 디스플레이부(140)에는 영상 및 자막이 동시에 표시될 수 있고, 자막 없이 영상만 표시될 수도 있다.
음향 출력부(150)는 제어부(110)의 제어 신호에 따라 컨텐츠 수신부(130) 또는 방송신호 수신기(160)로부터 음향정보를 전달 받아, 음향을 출력할 수 있다. 이때, 음향 출력부(150)는 전기적 신호를 음향 신호로 변환하는 하나 또는 2이상의 스피커(151)를 포함할 수 있다.
한편, 도 4에 도시된 바와 같이 디스플레이장치(1)에는 자막 데이터 추출부(111), 문자 인식부(112), 음성 데이터 변환부(113), 자막-음성 동기화부(114), 프로세서(115) 및 메모리(116)를 포함하는 제어부(110)가 마련될 수 있다.
일 실시예에 따른 디스플레이장치(1)의 제어부(110)에 포함된 자막 데이터 추출부(111), 문자 인식부(112), 음성 데이터 변환부(113) 및 자막-음성 동기화부(114)의 구성 및 역할은 후술하여 상세히 설명한다.
메모리(116)는 디스플레이장치(1)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 기억할 수 있으며, 입력부(120)를 통하여 수신된 사용자 제어 명령 또는 프로세서(115)가 출력하는 제어 신호를 임시로 기억할 수 있다.
프로세서(115)는 디스플레이장치(1)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(115)는 디스플레이장치(1)의 구성 요소들을 제어하기 위한 제어 신호를 생성하여 각 구성 요소의 동작을 제어할 수 있다.
일 실시예에 따르면, 입력부(120)를 통해 입력된 채널 탐색 명령에 따라 프로세서(115)는 제어 신호를 방송신호 수신기(160)에 전달하여, 채널 탐색이 수행되도록 할 수 있다. 또 다른 일 실시예로, 프로세서(115)는 입력부(120)를 통해 입력된 음향 조절 명령에 따라 음향 출력부(150)에 제어 신호를 전달하여, 스피커(151)를 통해 출력되는 음향의 크기가 조절되도록 할 수 있다. 또 다른 일 실시예로, 메인 제어부(111)는 방송신호 수신기(160)로부터 수신한 영상정보를 영상 처리하도록 영상 처리부(200)를 제어하고, 영상 처리된 영상 데이터를 표시하도록 디스플레이부(140)를 제어할 수 있다.
한편, 프로세서(115)는 방송신호 제어부(165)의 동작을 제어할 뿐만 아니라, 방송신호 제어부(165)가 수행하는 동작을 직접 수행할 수도 있다. 예를 들어, 프로세서(115)와 방송신호 제어부(165)가 집적되어 단일의 칩으로 구현될 수 있다. 이에 따라, 프로세서(115)는 디스플레이장치(1)의 전반적인 동작을 제어할 뿐만 아니라, 전술한 방송신호 제어부(165)의 동작을 직접 수행할 수도 있는 등 제한은 없다.
또한, 프로세서(115)는 메모리(116)에 기억된 제어 프로그램에 따라 메모리(116)에 기억된 각종 데이터를 처리할 수 있다. 이상에서는 프로세서(115)와 메모리(116)를 별도로 설명하였으나, 프로세서(115)와 메모리(116)가 별도의 칩으로 마련되는 것에 한정되는 것은 아니며, 프로세서(115)와 메모리(116)가 단일의 칩으로 마련될 수 있다.
도 5는 일 실시예에 따른 디스플레이장치 제어방법을 도시한 순서도이다. 도 6은 일 실시예에 따라 디스플레이부에 출력되는 자막에 대해 문자 인식을 수행하는 것을 도시한 것이다. 도 7은 일 실시예에 따라 닫힌 자막에 대해 변환된 음성이 출력되는 것을 도시한 것이다. 도 8은 일 실시예에 따라 열린 자막에 대해 변환된 음성이 출력되는 것을 도시한 것이다.
도 5를 참조하면, 제어부(110)는 디스플레이부(140)에 영상이 출력되도록 제어할 수 있다(1000). 즉, 제어부(110)는 디스플레이장치(1)에 미리 저장되어 있는 영상 컨텐츠가 디스플레이부(140)로 출력되도록 제어할 수 있고, 컨텐츠 수신부(130) 및 방송신호 수신기(160)를 통해 수신한 영상 컨텐츠 또는 방송 컨텐츠가 디스플레이부(140)를 통해 영상으로 출력되도록 제어할 수 있다.
제어부(110)는 디스플레이부(140)에 표시되는 자막의 종류에 기초하여 디스플레이장치(1)가 자막 데이터를 획득하는 방법을 결정할 수 있다. 전술한 바와 같이 디스플레이부(140)에 표시되는 자막은 닫힌 자막(closed caption) 및 열린 자막(open caption)으로 나뉠 수 있고, 자막의 종류에 따라 자막 데이터가 획득되는 방식이 달라질 수 있다.
즉, 제어부(110)는 디스플레이부(140)에 표시되는 자막이 닫힌 자막인지 열린 자막인지 판단하여(1100), 자막 데이터를 획득하는 방법을 결정할 수 있다.
제어부(110)는 디스플레이부(140)에 출력되는 영상과 별개로 자막의 표시 여부가 선택될 수 있으면, 디스플레이부(140)에 표시되는 자막을 닫힌 자막으로 결정할 수 있다. 반면, 디스플레이부(140)에 출력되는 영상과 별개로 자막의 표시 여부가 선택될 수 없으면, 디스플레이부(140)에 표시되는 자막을 닫힌 자막으로 결정할 수 있다.
즉, 제어부(110)는 디스플레이부(140)에 출력되는 자막이 사용자의 설정에 따라 표시 유무가 선택될 수 있는지 여부에 기초하여 자막 데이터가 닫힌 자막인지 또는 열린 자막인지 결정할 수 있다.
도 1 및 도 2에 도시된 바와 같이 디스플레이부(140)에 표시되는 자막이 닫힌 자막인 경우, 자막 데이터 획득부(111)는 디스플레이장치(1)가 수신하는 방송 신호에 포함된 자막 데이터 또는 디스플레이장치(1)에 저장된 영상 컨텐츠에 포함된 자막 데이터를 디스플레이부(140)에 출력되는 영상 데이터와 분리하여 획득할 수 있다(1200).
즉, 도 1에 도시된 바와 같이, 디스플레이부(140)에 표시되는 자막이 닫힌 자막이면, 디스플레이부(140)에 표시되는 영상 데이터와 자막 데이터가 분리되어 관리될 수 있으므로, 자막 데이터 획득부(111)는 영상 데이터와 분리된 자막 데이터를 획득하여 음성 데이터 변환부(113)로 전송할 수 있다.
한편, 도 3에 도시된 바와 같이 디스플레이부(140)에 표시되는 자막이 열린 자막인 경우, 문자 인식부(112)는 디스플레이부(140)에 출력되는 자막에 대해 광학적 문자 인식(Optical Character Reader; OCR)을 수행하여 자막 데이터를 획득할 수 있다(1300).
즉, 디스플레이부(140)에 표시되는 자막 데이터가 열린 자막이면, 디스플레이부(140)에 표시되는 영상 데이터와 자막 데이터가 분리되어 관리될 수 없고, 영상 데이터 자체에 자막 데이터가 결합된 형태이므로, 문자 인식부(112)는 영상 데이터에 결합된 자막 데이터에 대해 문자 인식(OCR) 방법에 따라 문자 자체를 인식하여 획득된 자막 데이터를 음성 데이터 변환부(113)로 전송할 수 있다.
도 6에 도시된 바와 같이, 문자 인식부(112)는 디스플레이부(140)에 표시되는 자막(40)에 대해 문자 인식을 수행하여 영상과 함께 표시되는 텍스트 데이터를 획득할 수 있다. 즉, 문자 인식부(112)는 이미지 형태로 되어 있는 자막(40)에 대해 문자 인식을 수행하여 텍스트 형태의 자막으로 변환하여 자막 데이터를 획득할 수 있다.
이 때, 문자 인식부(112)는 디스플레이부(140)에 출력되는 영상과 함께 표시되는 자막(40)이 위치하는 영역을 감지하여, 감지된 영역에 대해 문자 인식을 수행할 수 있다. 즉, 자막 데이터가 열린 자막인 경우에는 디스플레이부(140)에 표시되는 영상 데이터와 자막 데이터가 분리될 수 없으므로, 문자 인식부(112)는 디스플레이부(140)에 자막이 표시되는 영역 자체를 인식하여 해당 영역에 포함된 텍스트 데이터에 대해 문자 인식을 수행할 수 있다.
음성 데이터 변환부(113)는 자막 데이터 획득부(111) 또는 문자 인식부(112)가 획득한 자막 데이터를 음성 데이터로 변환할 수 있다(1400). 즉, 음성 데이터 변환부(113)는 획득된 자막 데이터를, 디스플레이부(140)에 표시되는 자막의 내용에 대응하여 음성 데이터로 변환할 수 있다.
이러한 음성 데이터 변환부(113)는 문자 음성 변환 기술(Text ??To ??Speech ;TTS)을 기반으로, 자막 데이터를 음성 데이터로 변환할 수 있다. 음성 데이터 변환부(113)는 메모리(116)에 저장된 음성 매칭 테이블(Voice Matching Table)에 기초하여, 디스플레이부(140)에 출력되는 자막의 종류 또는 자막의 내용에 따라 변환되는 음성 유형(Voice Type)을 결정할 수 있다.
음성 데이터 변환부(113)는 자막 데이터 획득부(111) 또는 문자 인식부(112)로부터 획득된 자막 데이터를 수신하면, 수신된 자막 데이터를 미리 저장된 음성 매칭 테이블과 매칭시켜 출력하고자 하는 음성 유형을 결정하고, 자막 데이터를 음성 데이터로 변환한다.
예를 들어, 도 1 및 도 2에 도시된 바와 같이 외국 영화 화면에 표시되는 자막의 내용이 여자의 음성으로 출력되어야 하는 경우에는, 음성 데이터 변환부(113)는 수신된 자막 데이터를 미리 저장된 음성 매칭 테이블 정보 내에서 여자 음성 유형 데이터와 매칭시킨 후, 자막의 내용을 여자의 음성 데이터로 변환할 수 있다.
또한, 도 3에 도시된 바와 같이 재난 방송 또는 긴급 속보의 화면에 표시되는 자막의 내용을 음성으로 출력하는 경우에는, 음성 데이터 변환부(113)는 수신된 자막 데이터를 미리 저장된 음성 매칭 테이블 정보 내에서 남자 아나운서(man announcer) 또는 여자 아나운서(woman announcer)의 음성 유형과 매칭시킨 후, 자막의 내용을 남자 또는 여자의 음성 데이터로 변환할 수 있다.
자막-음성 동기화부(114)는 변환된 음성 데이터에 기초하여, 디스플레이부(140)에 자막이 표시되는 시간과, 표시되는 자막의 내용이 음성으로 출력되는 시간을 동일한지 판단하고(1500), 자막 표시 시간과 음성 출력 시간을 동일하게 동기화할 수 있다.
즉, 자막-음성 동기화부(114)는 디스플레이부(140)에 자막이 표시되는 시점에, 변환된 음성 데이터가 음향 출력부(150)를 통해 출력되도록 자막 표시 시점과 음성 출력 시점을 일치시킬 수 있다.
또한, 자막-음성 동기화부(114)는 디스플레이부(140)에 자막 표시가 종료되는 시점에 음향 출력부(150)를 통해 출력되는 음성이 종료되도록 자막 표시 종료 시점과 음성 출력 종료 시점을 일치시킬 수 있다.
또한, 자막-음성 동기화부(114)는 디스플레이부(140)에 자막이 표시되는 동안에, 변환된 음성 데이터가 음향 출력부(150)를 통해 출력되도록 자막 표시 시간과 음성 출력 시간을 일치시킬 수 있다.
자막-음성 동기화부(114)는 자막의 표시 내용이 음성으로 출력되는 시간과 자막이 디스플레이부(140)에 표시되는 시간이 일치하지 않으면, 음성 출력 시간을 음성 출력 시간과 자막 표시 시간의 차이만큼 보정할 수 있다(1600). 즉, 음성 출력 시점, 음성 출력 시간 및 음성 출력 종료 시점을 조정하여 디스플레이부(140)에 표시되는 자막의 출력 시간과 일치시킬 수 있다.
도 7 및 도 8을 참고하면, 제어부(110)는 변환된 음성 데이터에 기초하여 디스플레이부(140)에 표시되는 자막의 표시 내용이 음성으로 출력되도록 음향 출력부(150)를 제어할 수 있다(1700).
즉, 도 7에서와 같이, 디스플레이부(140)에 표시되는 닫힌 자막에 해당하는 자막 데이터는 자막 데이터 획득부(111)에 의해 획득되어 음성 데이터 변환부(113)에 의해 음성 데이터로 변환되고, 자막-음성 동기화부(114)를 거쳐 음성 출력 시간이 동기화 된 후 음향 출력부(150)를 통해 출력된다.
또한, 도 8에서와 같이, 디스플레이부(140)에 표시되는 열린 자막에 해당하는 자막 데이터는 문자 인식부(112)에 의해 획득되어 음성 데이터 변환부(113)에 의해 음성 데이터로 변환되고, 자막-음성 동기화부(114)를 거쳐 음성 출력 시간이 동기화 된 후 음향 출력부(150)를 통해 출력된다.
이와 같이, 제어부(110)는 디스플레이부(140)에 출력되는 자막 데이터를 음성 데이터로 변환하여 디스플레이부(140)에 출력되는 영상 및 자막 표시시간에 대응하여 음성으로 출력되도록 제어할 수 있다.
개시된 발명의 일 실시예에 따른 디스플레이장치 및 그 제어방법에 의하면, 시각 장애인이 영상을 시청하는 경우에 시각 장애인이 시청하지 못하는 자막을 음성으로 출력하여, 영상에 대해 따로 더빙을 하지 않고서도 시각 장애인이 영상 컨텐츠의 내용을 인지하도록 할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 디스플레이장치
110 : 제어부
111 : 자막 데이터 획득부
112 : 문자 인식부
113 : 음성 데이터 변환부
114 : 자막-음성 동기화부
140 : 디스플레이부

Claims (20)

  1. 디스플레이부;
    소리를 출력하는 음향 출력부; 및
    상기 디스플레이부에 표시되는 자막의 종류에 기초하여 자막 데이터 획득 방법을 결정하고, 상기 결정된 자막 데이터 획득방법에 따라 획득된 자막 데이터를 음성 데이터로 변환하고, 상기 변환된 음성 데이터에 기초하여 상기 자막의 표시 내용이 음성으로 출력되도록 상기 음향 출력부를 제어하는 제어부;를 포함하는 디스플레이장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시되는 자막이 닫힌 자막(closed caption)인지, 열린 자막(open caption)인지에 기초하여 상기 자막 데이터 획득 방법을 결정하는 디스플레이장치.
  3. 제 2항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시되는 자막이 닫힌 자막이면, 상기 디스플레이장치가 수신하는 방송 신호에 포함된 자막 데이터 또는 상기 디스플레이장치에 저장된 영상 컨텐츠에 포함된 자막 데이터를 상기 디스플레이부에 출력되는 영상 데이터와 분리하여 획득하는 디스플레이장치.
  4. 제 2항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시되는 자막이 열린 자막이면, 상기 디스플레이부에 출력되는 자막에 대해 문자 인식(Optical Character Reader; OCR)을 수행하여 상기 자막 데이터를 획득하는 디스플레이장치.
  5. 제 2항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 있으면, 상기 디스플레이부에 표시되는 자막을 상기 닫힌 자막으로 결정하는 디스플레이장치.
  6. 제 2항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 없으면, 상기 디스플레이부에 표시되는 자막을 상기 열린 자막으로 결정하는 디스플레이장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 획득된 자막 데이터를, 상기 디스플레이부에 표시되는 자막에 대응하는 음성 데이터로 변환하는 디스플레이장치.
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 자막이 디스플레이부에 표시되는 시간과 상기 자막의 표시 내용이 음성으로 출력되는 시간을 동일하게 동기화하는 디스플레이장치.
  9. 제 1항에 있어서,
    상기 제어부는,
    상기 자막의 표시 내용이 음성으로 출력되는 시간과 상기 자막이 디스플레이부에 표시되는 시간이 일치하지 않으면, 상기 음성 출력 시간과 상기 자막 표시 시간의 차이만큼 상기 음성 출력 시간을 보정하는 디스플레이장치.
  10. 제 1항에 있어서,
    상기 음향 출력부는,
    상기 변환된 음성 데이터를 상기 자막이 표시되는 시간에 대응하여 음성으로 출력하는 디스플레이장치.
  11. 디스플레이부에 표시되는 자막의 종류에 기초하여 자막 데이터 획득 방법을 결정하고;
    상기 결정된 자막 데이터 획득방법에 따라 획득된 자막 데이터를 음성 데이터로 변환하고;
    상기 변환된 음성 데이터에 기초하여 상기 자막의 표시 내용이 음성으로 출력되도록 음향 출력부를 제어하는 디스플레이장치 제어방법.
  12. 제 11항에 있어서,
    상기 자막 데이터 획득 방법을 결정하는 것은,
    상기 디스플레이부에 표시되는 자막이 닫힌 자막인지, 열린 자막인지에 기초하여 상기 자막 데이터 획득 방법을 결정하는 디스플레이장치 제어방법.
  13. 제 12항에 있어서,
    상기 자막 데이터를 획득하는 것은,
    상기 디스플레이부에 표시되는 자막이 닫힌 자막이면, 상기 디스플레이장치가 수신하는 방송 신호에 포함된 자막 데이터 또는 상기 디스플레이장치에 저장된 영상 컨텐츠에 포함된 자막 데이터를 상기 디스플레이부에 출력되는 영상 데이터와 분리하여 획득하는 디스플레이장치 제어방법.
  14. 제 12항에 있어서,
    상기 자막 데이터를 획득하는 것은,
    상기 디스플레이부에 표시되는 자막이 열린 자막이면, 상기 디스플레이부에 출력되는 자막에 대해 문자 인식(OCR)을 수행하여 상기 자막 데이터를 획득하는 디스플레이장치 제어방법.
  15. 제 12항에 있어서,
    상기 디스플레이부에 표시되는 자막의 종류를 결정하는 것은,
    상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 있으면, 상기 디스플레이부에 표시되는 자막을 상기 닫힌 자막으로 결정하는 디스플레이장치 제어방법.
  16. 제 12항에 있어서,
    상기 디스플레이부에 표시되는 자막의 종류를 결정하는 것은,
    상기 디스플레이부에 출력되는 영상과 별개로 상기 자막의 표시 여부가 선택될 수 없으면, 상기 디스플레이부에 표시되는 자막을 상기 열린 자막으로 결정하는 디스플레이장치 제어방법.
  17. 제 11항에 있어서,
    상기 자막 데이터를 음성 데이터로 변환하는 것은,
    상기 획득된 자막 데이터를, 상기 디스플레이부에 표시되는 자막에 대응하는 음성 데이터로 변환하는 디스플레이장치 제어방법.
  18. 제 11항에 있어서,
    상기 자막이 디스플레이부에 표시되는 시간과 상기 자막의 표시 내용이 음성으로 출력되는 시간을 동일하게 동기화하는 것;을 더 포함하는 디스플레이장치 제어방법.
  19. 제 11항에 있어서,
    상기 자막의 표시 내용이 음성으로 출력되는 시간과 상기 자막이 디스플레이부에 표시되는 시간이 일치하지 않으면, 상기 음성 출력 시간과 상기 자막 표시 시간의 차이만큼 상기 음성 출력 시간을 보정하는 것;을 더 포함하는 디스플레이장치 제어방법.
  20. 제 11항에 있어서,
    상기 자막의 표시 내용을 음성으로 출력하는 것은,
    상기 변환된 음성 데이터를 상기 자막이 표시되는 시간에 대응하여 음성으로 출력하는 디스플레이장치 제어방법.
KR1020170153229A 2017-11-16 2017-11-16 디스플레이장치 및 그 제어방법 KR20190056119A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170153229A KR20190056119A (ko) 2017-11-16 2017-11-16 디스플레이장치 및 그 제어방법
EP18877974.8A EP3691288A4 (en) 2017-11-16 2018-11-16 DISPLAY DEVICE AND CONTROL PROCEDURE FOR IT
PCT/KR2018/014145 WO2019098775A1 (ko) 2017-11-16 2018-11-16 디스플레이장치 및 그 제어방법
CN201880073898.1A CN111345045A (zh) 2017-11-16 2018-11-16 显示装置及其控制方法
US16/765,091 US20200358967A1 (en) 2017-11-16 2018-11-16 Display device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170153229A KR20190056119A (ko) 2017-11-16 2017-11-16 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20190056119A true KR20190056119A (ko) 2019-05-24

Family

ID=66539824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170153229A KR20190056119A (ko) 2017-11-16 2017-11-16 디스플레이장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US20200358967A1 (ko)
EP (1) EP3691288A4 (ko)
KR (1) KR20190056119A (ko)
CN (1) CN111345045A (ko)
WO (1) WO2019098775A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261805A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN110708568B (zh) * 2019-10-30 2021-12-10 北京奇艺世纪科技有限公司 一种视频内容突变检测方法及装置
CN113450774B (zh) * 2021-06-23 2024-05-31 网易（杭州）网络有限公司 一种训练数据的获取方法及装置
CN114245224A (zh) * 2021-11-19 2022-03-25 广州坚和网络科技有限公司 一种基于用户输入文本的配音视频生成方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8528019B1 (en) * 1999-11-18 2013-09-03 Koninklijke Philips N.V. Method and apparatus for audio/data/visual information
KR100341030B1 (ko) * 2000-03-16 2002-06-20 유태욱 캡션 데이터와 음성 데이터의 재생방법 및 이를 이용한 디스플레이장치
US7054804B2 (en) * 2002-05-20 2006-05-30 International Buisness Machines Corporation Method and apparatus for performing real-time subtitles translation
RU2007146365A (ru) * 2005-05-31 2009-07-20 Конинклейке Филипс Электроникс Н.В. (De) Способ и устройство для выполнения автоматического дублирования мультимедийного сигнала
KR100636386B1 (ko) * 2005-11-03 2006-10-19 한국전자통신연구원 실시간 비디오 음성 더빙 장치 및 그 방법
DE102007063086B4 (de) * 2007-12-28 2010-08-12 Loewe Opta Gmbh Fernsehempfangsvorrichtung mit Untertiteldecoder und Sprachsynthesizer
KR20090074659A (ko) * 2008-01-02 2009-07-07 주식회사 대우일렉트로닉스 자막 정보 제공 방법
JP2012512424A (ja) * 2008-12-15 2012-05-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声合成のための方法および装置
JP5922255B2 (ja) * 2011-12-28 2016-05-24 インテル コーポレイション データストリームのリアルタイム自然言語処理

Also Published As

Publication number Publication date
CN111345045A (zh) 2020-06-26
US20200358967A1 (en) 2020-11-12
WO2019098775A1 (ko) 2019-05-23
EP3691288A4 (en) 2020-08-19
EP3691288A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
US8704948B2 (en) Apparatus, systems and methods for presenting text identified in a video image
EP3691288A1 (en) Display device and control method therefor
US9319566B2 (en) Display apparatus for synchronizing caption data and control method thereof
KR102277749B1 (ko) 디스플레이 장치 및 그 제어 방법
KR102454761B1 (ko) 영상표시장치의 동작 방법
US20150341694A1 (en) Method And Apparatus For Using Contextual Content Augmentation To Provide Information On Recent Events In A Media Program
KR100561400B1 (ko) 외부 기기 연결시 사용자 안내 온 스크린 표시 방법 및그를 적용한 디스플레이 장치
US8988605B2 (en) Display apparatus and control method thereof
US20100225807A1 (en) Closed-Captioning System and Method
KR20150029974A (ko) 디스플레이 디바이스 및 그 제어 방법
US8315384B2 (en) Information processing apparatus, information processing method, and program
US20050168640A1 (en) Caption presentation method and apparatus using same
KR20150037372A (ko) 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
JP2008098793A (ja) 受信装置
JP2009005268A (ja) 送信装置、受信装置及び再生装置
KR102399705B1 (ko) 디스플레이 디바이스 및 그 제어 방법
KR20160016341A (ko) 멀티미디어 디바이스 및 이의 제어 방법
KR102208077B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20170106740A (ko) 시선 기반 자막 재생 장치 및 방법
JP4321243B2 (ja) 字幕表示装置
KR20100030756A (ko) 영상표시장치 및 그 제어방법
US20120042249A1 (en) Audio signal output apparatus and method
KR100539521B1 (ko) 디지털 티브이의 오디오 정보 처리 장치
JP2015038652A (ja) デジタル放送受信機
KR100327723B1 (ko) 텔레비전의 영상/음성 재생 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal