KR100796278B1 - 멀티형 수화 자막 수신장치 및 방법 - Google Patents

멀티형 수화 자막 수신장치 및 방법 Download PDF

Info

Publication number
KR100796278B1
KR100796278B1 KR1020060063442A KR20060063442A KR100796278B1 KR 100796278 B1 KR100796278 B1 KR 100796278B1 KR 1020060063442 A KR1020060063442 A KR 1020060063442A KR 20060063442 A KR20060063442 A KR 20060063442A KR 100796278 B1 KR100796278 B1 KR 100796278B1
Authority
KR
South Korea
Prior art keywords
sign language
video
unit
data
subtitle
Prior art date
Application number
KR1020060063442A
Other languages
English (en)
Other versions
KR20080004755A (ko
Inventor
최광석
Original Assignee
주식회사 한국스테노
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한국스테노 filed Critical 주식회사 한국스테노
Priority to KR1020060063442A priority Critical patent/KR100796278B1/ko
Publication of KR20080004755A publication Critical patent/KR20080004755A/ko
Application granted granted Critical
Publication of KR100796278B1 publication Critical patent/KR100796278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/0255—Display systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 멀티형 수화 자막 수신장치 및 방법에 관한 것으로, 보다 상세하게는 방송국에서 사용하는 21번째 주사선 라인의 오드(Odd)에 동영상 데이터를, 이븐(Even)에 자막 데이터를 구성하여 전송시키는 아날로그 방식 또는 그 아날로그 신호를 0과 1로 구성된 디지털 신호로 변환하고, 그 변화된 신호를 다른 정보와 함께 압축 후 전송시키는 디지털 방식으로 변환하여 동시에 선별하여 신호처리하고, 방송국으로부터 송출되는 아날로그 방식 및 디지털 방식의 자막방송시 자막 신호를 수신받아 TV 모니터 상에 그대로 구현하거나 또는, 자막방송시 자막신호를 텍스트로 변환하여 변환된 텍스트와 대응되는 수화 동영상이나 수화애니메이션을 구동하여 TV 모니터에 구현하여 TV 영상과 동시에 수화를 시청할 수 있도록 자막 수신기 내부에, 아날로그 수신부, 디지털 수신부, 낸드 플래시 메모리부, 수화 변환 제어부, 수화 영상 표시부가 포함되어 구성됨으로서, 자막에서 수화로 출력될 때까지의 지체시간인 딜레이 타임 (Delay time)을 빠르게 구현할 수 있어 양질의 수화방송을 제공하는데 그 목적이 있다.
수화 동영상, 수화애니메이션, 수화 변환부, 재생속도 제어부

Description

멀티형 수화 자막 수신장치 및 방법{THE APPARATUS AND METHOD OF RECEIVING OF TALKING WITH THE HANDS WITH CAPTION}
도 1은 본 발명에 따른 멀티형 수화 자막 수신장치의 구성을 도시한 블록도,
도 2는 본 발명에 따른 멀티형 수화 자막 수신장치 중 아날로그 방송 수신부에서 자막 데이터를 추출하는 과정을 도시한 일실시예도,
도 3은 본 발명에 따른 멀티형 수화 자막 수신장치 중 아날로그 방송 수신부의 구성을 도시한 블록도,
도 4는 본 발명에 따른 멀티형 수화 자막 수신장치 중 디지털 방송 수신부의 구성을 도시한 블록도,
도 5는 본 발명에 따른 TV 영상 스트림으로부터 인접한 프레임간의 영상장면 변화를 검출하기 위해, 인접프레임 차이의 피크점(peaks)들을 찾아 샷 정보를 구성하는 과정을 도시한 일실시예도,
도 6은 본 발명에 따른 인접 프레임간 영상차이를 샷(S1,S2,S3,...,Sm) 단위로 누적(C1,C2,C3,.....,Cm)시켜 누적차이(Cumulative difference)를 구하고 이러한 샷 단위의 누적차이들을 이용하여 각 샷의 상대속도를 산출하는 과정을 도시한 일실시예도,
도 7은 본 발명에 따른 수화 위치데이터의 전송 및 수화 위치데이터의 영역을 표시하는 수화 영상 표시부 프로그램을 도시한 일실시예도,
도 8은 본 발명에 따른 아날로그 방송 수신부를 통한 수화 자막 수신방법을 도시한 흐름도,
도 9는 본 발명에 따른 디지털 방송 수신부를 통한 수화 자막 수신방법을 도시한 흐름도.
※ 도면부호의 간단한 설명 ※
10 : 아날로그 방송 수신부 20 : 디지털 방송 수신부
30 : 낸드 플래시메모리부 40 : 수화 변환 제어부
50 : 수화 영상 표시부
본 발명은 방송국에서 사용하는 21번째 주사선 라인의 오드(Odd)에 수화 데이터를, 이븐(Even)에 자막 데이터를 아날로그 방식 및 디지털방식으로 변환하여 동시에 신호처리하고, 방송국으로부터 송출되는 수화자막방송시 수화·자막 신호를 동시에 수신받아 TV 모니터 상에 그대로 구현하거나 또는, 자막방송시 자막신호를 텍스트로 변환하여 변환된 텍스트와 대응되는 수화 동영상이나 수화애니메이션을 TV 모니터에 구현하여 TV영상과 동시에 수화를 시청할 수 있도록 한 멀티형 수화 자막 수신장치에 관한 것이다.
일반적으로, 자막 방송이란 주로 청각장애자를 위하여 TV 화면에 방송화면과 함께 문자형태로 정보를 표시하는 것으로, 방송국에서 TV 신호를 송출할 때, TV 신호의 일정 구간을 할당하여 수신기와 사전에 약속된 코드 형태로 전송하도록 하고, 이를 수신기에서 받아 약속된 구간의 코드를 검출하고, 이를 분석하여 화면에 자막을 표시하여 줄 수 있도록 하는 것이다.
이러한 자막방송은 화면에 문자를 띄우는 방식에 따라 크게 두 가지 형태로 분류할 수 있다.
하나는 뉴스, 비디오, 영화 등의 화면 위에 글자를 입혀 누구나 볼 수 있게 하는 "오픈자막(Open Caption)" 형식의 방송이며 또 하나는 폐쇄 자막으로 송출하고 시청자로 하여금 수신 장치인 디코더(Decoder)를 통해 자막을 보이게 혹은 보이지 않게 선택할 수 있게 하는 "폐쇄 자막(Closed Caption)" 형태의 방송이 있다.
이 두 방식은 또 디지털 방식의 방송서비스와 아날로그 방식의 방송서비스로 구분되는데 일반적으로 자막방송이란 방송 되는 내용을 실시간(Real-Time)으로 속기하여 송출하는 방송 형태를 의미한다.
그리고, 자막방송은 폐쇄자막 형태로 실시간으로 제공되는데 세부적으로 보면 "방송수신→속기→전송-엔코더→방송송출→디코더→TV화면"으로 이어지는 과정을 거쳐 실시된다.
한편, 오픈 자막방송은 자막방송 시스템을 이용하여 속기사가 TV를 시청하며 속기하고 속기된 데이타가 전용선을 통해 방송국의 방송장비로 전송되고 이를 방송 송출하는 형식은 폐쇄자막형 자막방송과 같은 방식이 있고, 방송사에서 자막입력기로 약간의 시차를 두고 자막입력을 내보거나, 사전에 자막을 만들어 두었던 것을 순차적으로 내보내는 방식이 있으나, 일반적인 자막방송이 자막방송 수신기(디코더)를 설치해야 시청할 수 있는 것에 비해 오픈 자막방송의 경우는 일반 TV수상기로도 누구나 볼 수 있는 자막(Open Caption)으로 송출된다.
일예로, 케이블 채널 OCN에서 매년 실황중계하고 있는 아카데미 시상식 자막방송이나 지하철 3호선 등에서 방송되는 자막제공서비스, 그리고 뉴스의 각종 자막등이 오픈자막이며, 오후 5시뉴스에 방송되는 수화 방송등도 자막은 아니지만 장애인을 위한 방송의 일환인 오픈 수화 방송으로 서비스되고 있다.
하지만, 이러한 오픈 수화 방송은 방송국 내에서 특정시간 때에만 방송하고, 그 이후에는 수화 방송이 송출되지 않기 때문에 문자를 쉽게 이해하지 못하고, 나이 많은 청각 장애인 및 난청인의 경우 TV 프로그램을 단지 시각적으로만 시청할 뿐 그 내용파악이 어려워 점점 TV 시청을 꺼리는 문제점이 있었다.
이러한 문제점을 해결하기 위해 종래 등록특허공보 제10-0443365호에서 방송국에서 송출하고 있는 티브이 자막 신호를 자막 신호 추출 장치를 이용하여 추출하고 컴퓨터의 시리얼 장치를 이용하여 전송한 후, 이를 각종 형태소 분석 알고리즘에 의해 수화식 표현을 변형하고, 3차원 수화 애니메이션 데이터베이스를 참조하여 컴퓨터 화면상에 3차원 수화 애니메이션을 표현하는 시스템이 제시된 바 있으나,
이는 컴퓨터로 TV 자막 신호를 전송하고, 분석하여 3차원 수화 애니메이션으로 표현하기 때문에 딜레이 타임(Delay Time)이 길어져 TV 영상과 동시에 수화가 표현되기 어려운 문제점이 있었다.
즉, A와 B가 대화하는 내용이 방송되는데 A의 대사가 끝나고 B의 이야기가 나오는 중에 지나간 A의 대사 내용이 수화 처리되는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 방송국으로부터 송출되는 폐쇄형 수화·자막 데이터, 수화 데이터, 자막 데이터를 아날로그 신호 및 디지털 신호로 동시에 선별하여 변환하여 동시에 신호처리할 수 있고,
아날로그 방식의 21번째 주사선이나, 또는 디지털 방식에서 미리 설정된 폐쇄자막신호의 텍스트 데이터를 추출하여 텍스트 데이터와 동기되도록 만들어 디코더에 입력되어 있는 수화 동영상 및 수화 애니메이션이 구동되어 TV 모니터상에 표시될 수화 위치를 설정할 수 있으며,
그 설정된 위치에 딜레이타임을 줄여서 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어할 수 있는 멀티형 수화 자막 수신장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 멀티형 수화 자막 수신장치는,
튜너부로부터 입력되는 21번째 주사선 라인의 오드(Odd)에 구성된 동영상 데이터와, 이븐(Even)에 구성된 자막 데이터로 이루어진 텔레비전 방송신호를 수신받아 TV 모니터상에 사용자가 감지할 수 있는 영상 및 음성의 형태로 출력되도록 하고, 자막 데이터를 디코딩하여 낸드 플래시메모리부로 전달시키는 아날로그 방송 수신부(10)와,
비디오, 오디오 및 자막데이터 등의 아날로그 신호를 0과 1로 구성된 디지털 신호로 변화한 후, MPEC-2 전송 시스템에 의해 전송된 신호를 수신받고, 그 수신된 신호 중 자막 데이터 패킷을 낸드 플래시메모리에 전달시키는 디지털 방송 수신부(20)와,
상기 아날로그 방송 수신부(10)와, 디지털 방송 수신부(20)의 일측에 설치되어 아날로그 방송 및 디지털 방송에서 전송된 자막 데이터 패킷 및, 자음, 모음, 단어, 구, 문장별로 대응되는 100MB~16GB의 수화 동영상 데이터베이스 및 수화 애니메이션 데이터베이스와, 그 자막데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램을 저장하고 출력시키는 낸드 플래시메모리부(30)와,
그 낸드 플래시 메모리부(30)로부터 자막 데이터를 어절 단위별로 추출하고, 그 추출된 자막 데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램 저장 및 이 프로그램을 실행하는 수화 변환 제어부(40)와,
그 수화 변환 제어부(40)를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 수화 영상 표시부(50)가 포함되어 구성됨으로서 달성된다.
또한, 본 발명에 따른 아날로그 방송 수신부를 통한 수화 자막 수신방법은,
아날로그 방송이 송출되는지 아니면 디지털 방송이 송출되는지 체크하는 단계(S100)와,
아날로그 방송이 송출되면, 아날로그 방송 수신부의 튜너부에서 아날로그 방송 신호를 수신하고 복조화하고, 그 튜너부를 통해 입력된 아날로그 영상 신호를 CVBS 포맷한 후 아날로그 영상 신호 디코더(AnalogVideo Signal Decoder)에 입력되어, itu-trbt656 형식으로 출력시키는 단계(S110)와,
그 튜너부를 통해 입력된 아날로그 음성 신호를 SIF 포맷한 후，MTS 디코더(Multi-Channel Television Sound Decoder)에 입력하고 복호화한 후에 아날로그 음성으로 출력시키고, 그 아날로그 출력 음성을 다시 A/D 컨버터(Analog to Digital Converter)에 입력시켜 디지털 신호로 변환시키며, 방송국으로부터 송출된 21번째 주사선 라인의 이븐(Even)에 구성된 자막데이터를 방송 신호 처리부를 통해 디지털로 변환시키고, 그 디지털로 변환된 데이터를 디코딩한 후 낸드 플래시메모리에 저장시키는 단계(S120)와,
그 낸드 플래시 메모리부에 저장된 자막 데이터 패킷을 수화 변환 제어부로 전송되어 어절 단위별로 추출되고, 그 추출된 자막 데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램 저장 및 그 프로그램을 실행시키는 단계(S130)와,
상기 아날로그 영상 신호 디코더에서 출력된 각각의 itu-trbt656 출력을 듀얼 채널 MPEG 엔코더(Dual Channel MPEG Encoder)에 입력하여 MPEG2 TS로 엔코딩(encoding)한 후에，디먹서에 입력시켜 튜너부에서 출력된 TS와 마찬가지로 역다중화한 후, PCI 버스를 통하여 MPEG 디코더에 입력시키는 단계(S140)와,
그 MPEG 디코더에서 여러 개의 MPEG2 TS를 동시에 처리하고, 입력된 영상정보 및 음성 정보, 그리고, 수화 동영상 정보 및 수화 애니메이션 정보들을 각각 복호화하여 MPEG 디코더로부터 사용자가 감지할 수 있는 영상과 음성, 또는 영상과 수화 동영상 및 수화 애니메이션의 형태로 출력시키고, 수화 영상 표시부로 전달하는 단계(S150)와,
그 수화 영상 표시부에서 수화 변환부를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 단계(S160)로 이루어짐으로서 달성된다.
또한, 본 발명에 따른 디지털 방송 수신부를 통한 수화 자막 수신방법은,
아날로그 방송이 송출되는지 아니면 디지털 방송이 송출되는지 체크하는 단계(S200)와,
디지털 방송이 송출되면, 사용자로부터 디지털 채널 선국 요청이 들어오는지 여부를 체크하는 단계(S210)와,
디지털 튜너부로부터 RF 채널로 튜닝을 하고, RF 채널내 DTV 신호 유무를 체크하여 메인 CPU로 보내주고, DTV 신호가 있는 경우에 디멀티플렉서(Demux)로 스트림을 전달하는 단계(S220)와,
디멀티플렉서(Demux)에서 PAT(Program Association Table), PMT(Program Map Table)와 같은 PSI 스트림과 VCT(Virtual Channel Table)등과 같은 PSIP 스트림을 메인 CPU로 보내 해당 디지털 채널에 대한 정보를 해석하는 단계(S230)와,
메인 CPU에서 해당 채널의 비디오와 오디오의 PID를 찾아 디멀티플렉서(Demux)에 전달하여, 비디오 디코더와 오디오 디코더로 해당 PID의 비디오/오디오 스트림을 전달하여 최종적으로 비디오와 오디오를 출력시키는 단계(S240)와,
메인 CPU에서 아날로그 캡션 슬라이셔(Slicer)에서 전달되는 캡션 정보(제어코드, 문자정보)를 해석하여 수화 변환 제어부를 통해서 변환된 해당 수화정보(수화 동영상 및 수화 애니메이션)를 구성하고, 비디오 디스플레이 프로세서를 제어하여 DMA방식으로 수화 영상표시부에 전달하는 단계(S250)와,
그 수화 영상 표시부에서 수화 변환부를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 단계(S260)로 이루어짐으로서 달성된다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명에 따른 멀티형 수화 자막 수신장치의 구성을 보이는 블록도에 관한 것으로, 이는 아날로그 방송 수신부(10), 디지털 방송 수신부(20), 낸드 플래시 메모리부(30), 수화 변환 제어부(40), 수화 영상 표시부(50)로 구성된다.
먼저, 아날로그 방송 수신부(10)에 관해 설명한다.
상기 아날로그 방송 수신부(10)는 아날로그 튜너부(11)로부터 입력되는 21번째 주사선 라인의 오드(Odd)에 구성된 동영상 데이터와, 이븐(Even)에 구성된 자막 데이터로 이루어진 텔레비전 방송신호를 수신받아 TV 모니터상에 사용자가 감지할 수 있는 영상 및 음성의 형태로 출력되도록 하고, 자막 데이터를 디코딩하여 낸드 플래시메모리부로 전달시키는 곳으로, 이는 폐쇄 자막 형태로 수신받기 위해 아날로그 튜너부(11), 방송신호처리부(12), 아날로그 영상신호 디코더(13), MTS 디코더(14), A/D컨버터(15), 듀얼 채널 MPEG 엔코더(16), MPEG 디코더(19)로 구성된다.
이러한 구성으로 이루어진 아날로그 방송 수신부의 동작과정에 관해 설명한다.
아날로그 튜너부(11)는 아날로그 방송 신호를 수신하고 복조화하고, 그 아날로그 튜너부(11)를 통해 입력된 아날로그 영상 신호는 CVBS 포맷한 후 아날로그 영상 신호 디코더(AnalogVideo Signal Decoder)(13)에 입력되어, itu-trbt656 형식으로 출력되며, 아날로그 튜너부(11)를 통해 입력된 아날로그 음성 신호는 SIF 포맷한 후，MTS 디코더(Multi-Channel Television Sound Decoder)(14)에 입력되고 복호 화된 후에 아날로그 음성으로 출력되고, 그 아날로그 출력 음성은 다시 A/D 컨버터(Analog to Digital Converter)(15)에 입력되어，디지털 신호로 변환된다.
그리고, 상기 아날로그 튜너부(11)로부터 입력되는 21번째 주사선 라인의 이븐(Even)에 구성된 자막데이터는 방송 신호 처리부(12)를 통해 디지털로 변환되고, 그 디지털로 변환된 데이터는 디코딩된 후 낸드 플래시메모리부(30)에 저장된다.
그 낸드 플래시 메모리부(30)에 저장된 자막 데이터 패킷은 수화 변환 제어부(40)로 전송되어 어절 단위별로 추출되고, 그 추출된 자막 데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램 저장 및 그 프로그램을 실행하게 된다.
상기 방송 신호 처리부(12)는 선택된 방송신호를 디지털로 변환하는 디지털 변환기와, 디지털로 변환된 데이터를 디코딩하는 VBI(Vertical Blinking Interval) 디코더를 원칩으로 구성된다.
그리고, 상기 아날로그 영상 신호 디코더(13)에서 출력된 각각의 itu-trbt656 출력은，듀얼 채널 MPEG 엔코더(Dual Channel MPEG Encoder)(16)에 입력되어 MPEG2 TS로 엔코딩(encoding)된 후에，디먹서(17)에 입력되어 PCI 버스(18)를 통하여 MPEG 디코더(19)에 입력된다.
그 MPEG 디코더(19)는 여러 개의 MPEG2 TS를 동시에 처리하는 역할을 하고, 그 MPEG 디코더(19)에 입력된 영상정보 및 음성 정보, 그리고, 수화 동영상 정보 및 수화 애니메이션 정보들은，각각 복호화되어 MPEG 디코더(19)로부터 사용자가 감지할 수 있는 영상과 음성, 또는 영상과 수화 동영상 및 수화 애니메이션의 형태 로 출력되고 수화 영상 표시부(50)로 전달되도록 구성된다.
다음으로 디지털 방송 수신부(20)에 관해 설명한다.
상기 디지털방송 수신부(20)는 비디오, 오디오 및 자막데이터 등의 아날로그 신호를 0과 1로 구성된 디지털 신호로 변화한 후, MPEC-2 전송 시스템에 의해 전송된 신호를 수신받고, 그 수신된 신호 중 자막 데이터 패킷을 낸드 플래시메모리에 전달시키는 곳으로, 이는 폐쇄 자막 형태로 수신받기 위해 디지털 튜너부(21), 디지털 디모듈레이터(22), 채널 디코더(23), 디멀티플렉서(24), 오디오 디코더(25a) 및 비디오 디코더(25b)로 이루어진 AV디코더(25), 비디오 디스플레이 프로세서(26), 메인 CPU(27)로 구성된다.
디지털 튜너부(21)는 디지털 방송 신호를 수신하고 복조화하는 곳으로, 이는 더블 컨버젼(Double Conversion)방식을 사용하며, 수신된 RF 신호를 중간 주파수가 44MHz인 IF 신호로 변환하여 출력한다. 그 디지털 튜너부(21)로부터 출력된 IF 신호는 선택된 채널이외의 대역의 노이즈 성분을 제거하기 위해 중간주파수가 44MHz이고, 밴드가 6MHz인 셔(SAW)필터를 통과하게 된다.
디지털 디모듈레이터(22)는 셔(SAW)필터링된 중간주파수(IF) 신호를 디지털 베이스 밴드 신호로 변환시킨다. 이때 베이스 밴드의 신호는 10.76MHz 클럭(Clock)에 의해 구동되는 10비트 AD 변환기에 의해 이산화된다.
그 이산화된 신호는 채널 디코더(Channel Decoder)인 VSB(23)로 입력된다. VSB(23)는 입력되는 신호로부터 디지털 신호처리에 필요한 데이터 시그먼트 동시 성(Data Segment Sync), 필드 동시성(Field Sync) 등의 상호관계 테크닉(Correlation Technique)을 이용해서 검출한 후 디멀티플렉서(DEMUX)(24)로 출력시킨다.
디멀티플렉서(DEMUX)(24)는 지상파 디지털 튜너로부터 수취한 트랜스포트 스트림을 MPEG2(Moving Picture Experts Group2)의 비디오 트랜스포트 패킷, 오디오 트랜스포트 패킷, 자막 데이터 패킷, 및 PSI(Program Specific Information)로 분리한다. 디멀티플렉서(24)는 비디오 트랜스포트 패킷과 오디오 트랜스포트 패킷을 비디오 디코더(25a) 및 오디오 디코더(25b)(이하 'AV 디코더'라 칭함)에 공급하고, 자막 데이터 패킷을 낸드 플래시메모리(30)에 전달시키며, PSI에 포함되는 서비스 정보를 메인 CPU(27)에 공급한다.
AV 디코더(25)는 비디오 트랜스포트 패킷에 대하여 디코드를 행하는 비디오 디코더(25a) 및 오디오 트랜스포트 패킷에 대하여 디코드를 행하는 오디오 디코더(25b)를 구비한다. 비디오 디코더(25a)는 입력된 가변 길이 부호를 복호하여 양자화 계수나 움직임 벡터를 구하고, 역 DCT 변환이나 움직임 벡터에 기초하는 움직임 보상 제어 등을 행한다. 오디오 디코더(25b)는 입력된 부호화 신호를 복호하여 음성 데이터를 생성한다.
비디오 디스플레이 프로세서(26)는 매크로블럭(Macroblock)단위로 데이터를 입력받아 비디오 데이터 순서를 래스터 스캔(Raster Scan : 주사선 가로줄 스캔)으로 변환하며 프레임/필드 비율을 30/60Hz로 변경하고, ATSC 디지털 TV 표준에 의해 구체화되는 다양한 포맷을 지원하는 역할을 한다.
메인 CPU(Host Microprocessor)(27)는 지상파 디지털 튜너에 대한 선국이나 유국 채널 검색 등의 제어, 제1 메모리(EEPROM)로의 유국 채널 정보의 기입/판독의 제어, 디멀티플렉서에 대한 제어, AV 디코더에 대한 제어, 자막 정보를 처리하는 엔진, 수화 영상 표시부로의 전달을 구현하도록 구성된다.
이하, 메인 CPU(27)의 동작에 관해 설명한다.
먼저, 사용자로부터 디지털 채널 선국 요청이 들어오면, 디지털 튜너부(21)로부터 요구된 RF 채널을 튜닝하고, RF 채널내 DTV 신호 유무를 체크하여 메인 CPU로 보내어, DTV 신호가 있는 경우에 디멀티플렉서(Demux)(24)로 스트림을 전달한다.
이때, 디멀티플렉서(Demux)(24)는 PAT(Program Association Table), PMT(Program Map Table)와 같은 PSI 스트림과 VCT(Virtual Channel Table)등과 같은 PSIP 스트림을 CPU로 보내 해당 디지털 채널에 대한 정보를 해석하도록 한다.
이어서, 메인 CPU(27)는 해당 채널의 비디오와 오디오의 PID를 찾아 디멀티플렉서(Demux)(24)에 전달하여, 비디오 디코더(25a)와 오디오 디코더(25b)로 해당 PID의 비디오/오디오 스트림을 전달하여 최종적으로 비디오와 오디오를 출력하게 된다.
그리고, 상기 메인 CPU(27)는 자막데이터에서 수화 동영상 및 수화 애니메이션으로 변환된 수화서비스를 지원하기 위해, 아날로그 방송으로부터 자막 데이터에서 전달되는 자막(Caption) 정보(제어코드, 문자정보)를 해석하여 수화 변환 제어부(40)를 통해서 변환된 해당 수화정보를 구성하고, 비디오 디스플레이 프로세서(26)를 제어하여 DMA방식으로 수화 영상 표시부(50)로 전달하여 화면에 사용자가 수화 서비스를 시청할 수 있도록 한다.
이처럼 본 발명에 따른 멀티형 수화자막수신기 내부에 아날로그 방송 수신부와 디지털 방송 수신부가 함께 설치되어 구성됨으로서, 방송국으로부터 송출되는 폐쇄형 수화·자막 데이터, 수화 데이터, 자막 데이터를 아날로그 신호 및 디지털 신호를 동시에 선별하여 변환하여 동시에 신호처리할 수 있는 좋은 효과가 있다.
다음으로 낸드 플래시 메모리부(30)에 관해 설명한다.
낸드 플래시메모리부(30)는 상기 아날로그 방송 수신부와, 디지털 방송 수신부의 일측에 설치되어 아날로그 방송 및 디지털 방송에서 전송된 자막 데이터 패킷 및, 자음, 모음, 단어, 구, 문장별로 대응되는 100MB~16GB의 수화 동영상 데이터베이스 및 수화 애니메이션 데이터베이스와, 그 자막데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램을 저장하는 곳으로, 이는 데이터 저장용으로 뿐만 아니라 시스템구동용으로 사용되며, 그 내부의 데이터영역은 시스템구동 코드들(bootstrap codes)을 저장하는 영역 BC와, 운용체제(operating system)에 관한 정보를 저장하는 영역 OS과, 사용자 데이터를 저장하는 영역 UD로 나뉜다. 상기 저장 영역들 BC, OS 및 UD는 저장되는 데이터의 종류에 따라 구분된 것으로서, 각 저장영역은 복수개의 페이지들로 구성된다.
본 발명에 따른 낸드 플래시 메모리부(30)에는 도 1에서 도시한 바와 같이 자막데이터 패킷이 저장되는 자막데이터 버퍼와, 수화 동영상 데이터 베이스 및 수화 애니메이션 데이터 베이스, 그리고 변환 프로그램으로 구성된다.
여기서, 수화 동영상 데이터베이스는 수화 전문가가 직접 자음, 모음, 단어, 구, 그리고, 자주 쓰이는 문장에 대응하는 지화 및 수화를 동영상으로 녹화하여 표현한 것이고, 수화 애니메이션은 소프트 이미지, 3D맥스, 마야(Maya) 등의 제작 프로그램을 통해 청각 장애인 및 난청인 고객들에게 친근감을 주는 스타 얼굴이나, 만화 주인공으로 설정하되, 수화를 표현하기 위해서 중요한 손(손가락, 손바닥), 몸통, 얼굴표정 등이 세밀하게 구성된다.
다음으로, 수화 변환 제어부(40)에 관해 설명한다.
상기 낸드 플래시 메모리부(30)에 저장된 자막 데이터 패킷은 수화 변환 제어부(40)로 전송되어 어절 단위별로 추출되고, 그 추출된 자막 데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램 저장 및 그 프로그램을 실행하게 된다.
이러한 수화 변환 제어부(40)는 자막 데이터 추출 프로그램부(41)와, 수화 변환 프로그램부(42)와, 수화 표시 프로그램부(43)로 구성된다.
자막 데이터 추출 프로그램부(41)는 낸드 플래시메모리의 버퍼에 저장된 자막 데이터를 어절 단위별로 추출한다.
여기서 어절 단위별로 추출한다는 것은 한 문장 내에서 '~은', '~는', '~이', '~가'로 끝나는 앞 부분의 단어를 모두 포함하여 주어부로 하고, 그 주어부에 서 '~을', '~를'로 끝나는 앞 부분의 단어를 모두 포함하여 목적어부로 하며, 그 목적어부에서 '~다' 또는 마침표로 끝나는 앞 부분의 단어를 모두 포함하여 서술어부로 하여, 주어부, 목적어부, 서술어부 순으로 어절 끊기를 해서 1차로 어순을 나열한 후, 국어의 9 품사인 명사, 대명사, 수사, 조사, 동사, 형용사, 관형사, 부사, 감탄사로 나누어 2차로 품사별로 추출토록 한다.
먼저, 아날로그 방송 수신부(10)에서 자막 데이터를 추출하는 과정은 도 2에 도시된 바와 같이, 먼저 자막을 포함하는 방송이 튜너로 선택되어 방송 신호 처리부(11)에서 디코딩되어 디지털 자막 데이터 및 아날로그 자막 데이터로 변환된다.
이는 수직 귀선 기간마다 발생되는 하드웨어 인터럽트 처리루틴(자막 데이터 추출 프로그램에 포함)에서 처리된다. 인터럽트가 발생할 때 각 수직 귀선 기간 라인마다 할당된 자막 데이터 버퍼의 영역에 자막이 포함된다.
이때 21번째 라인의 오드(Odd)에는 동영상 데이터가, 이븐(Even)에는 자막 데이터가 저장되는데, 이 중 21번째 이븐 라인의 자막 데이터를 낸드 플래시메모리의 버퍼에 저장시키고, 그 버퍼에 저장된 자막 데이터를 어절 단위별로 추출하고, 다음의 자막 데이터 추출 프로그램 수행과정을 진행하게 된다.
수화 변환 프로그램부(42)는 추출된 자막 데이터를 실제의 수화 동영상 및 수화 애니메이션으로 변환시킨다. 수화 변환 알고리즘은 1차로 나열된 주어부, 목적어부, 서술어부의 어순에 해당되는 주어부, 목적어부, 서술어부로 나뉜 각각의 수화 동영상 및 수화 애니메이션 데이터베이스에서 비교 분석하여 있으면 해당 수화 동영상 및 수화 애니메이션을 저장하고, 없으면 품사별로 나뉜 수화 동영상 및 수화 애니메이션 데이터베이스로 넘어가게 된다.
즉, 주어부, 목적어부, 서술어부를 구성하는 명사, 대명사, 수사, 조사, 동사, 형용사, 관형사, 부사, 감탄사로 나뉜 각각의 수화 동영상 및 수화 애니메이션 데이터베이스에서 비교 분석하여 있으면 해당 수화 동영상 및 수화 애니메이션을 저장하게 된다.
수화 표시 프로그램부(43)는 수화 변환 프로그램에 의해 변화된 10K~100M바이트의 수화 코드를 TV 모니터에 표시시키기 위한 위치 데이터로 변환시킨다. 이는 수화 위치 검출부(51)와 연동되어 동작하게 된다.
끝으로, 수화 영상 표시부(50) 관해 설명한다.
수화 영상 표시부(50)는 수화 변환 제어부(40)를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 곳으로, 이는 수화 위치 검출부(52)와 재생 속도 제어부(51)로 구성된다.
수화 위치 검출부(52)는 수화 표시 프로그램부로부터 수화 위치 데이터를 입력받아 이를 디코딩하여 그에 따른 수화 위치데이터를 검출하는데, 상기 수화 위치데이터는 도 8과 같이 디지탈 TV신호의 영상헤더에 연속하는 데이터 필드(User_data)상에서 삽입하여 전송된다.
만약, 데이터를 전송하기 위한 다른 적정 영역이 존재하면 그 영역에 삽입하 여 전송한다.
여기서, 상기 수화 위치데이터는 수화의 수평라인 스타트 포인트 (horizontal_data_start_point)와 엔드 포인트(horizontal_data_end_point) 및 수화의 수직라인 스타트 포인트(vertical_data_start_point)와 엔드 포인트 (vertical_data_end_point)에 대한 위치정보로 이루어진다.
이때, 실시예인 도 7에서는 수화 위치데이터의 크기를 12비트로 전송하도록 하므로 한개의 수화 위치데이터의 영역을 나타내기 위해서는 48비트가 필요하게 된다.
따라서, 데이터 필드(user_data)의 크기에서 데이터 필드(user_data)의 형태를 표시하기 위한 8비트를 뺀 값을 48로 나누어 보면 현재 방송중에 있는 수화 정보 위치 데이터의 영역 갯수를 알게 되는데, 즉 상기 데이터 필드(user_data)의 크기는 48의 배수에 데이터 필드(user_data)의 형태 표시 크기인 8비트를 가산하여 나타나고 그 최대 크기는 248(48×5+8)이 되므로 5개의 수화 위치데이터의 영역을 나타낼 수 있게 된다.
그 다음, 정보 표시 위치 비교연산부는 상기 수화 위치검출부의 위치 데이터를 입력받아 이를 TV 모니터의 현재 표시 영역에 대한 위치데이터와 비교 연산하여 중복되지 않는 영역에 대한 위치데이터를 구한 후, 그 위치데이터를 상기 TV 모니터에 전송한다.
재생속도 제어부(51)는 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 곳으로, 이는 TV영상과 동시에 수화 동영상 및 수화 애니메이션이 표현되도록 하기 위해, 자막을 텍스트로 변환하고, 낸드 플래시메모리부에 저장된 수화 동영상 및 수화 애니메이션 데이터 베이스와 비교 분석한 후, 변환시키기 때문에 TV 영상과 표현되는 수화 동영상 및 수화 애니메이션의 표현시 일반 자막방송에 비해서, 딜레이 타임(Delay Time)이 2~5초 정도 더 걸리게 된다.
이때, 본 발명에서는 자막→텍스트 변환→수화 동영상 및 수화 애니메이션 데이터 베이스 비교·분석→수화 동영상 및 수화 애니메이션 변환 등으로 인해 발생되는 딜레이 타임을 줄이기 위해, 재생속도 제어부를 통해 TV 영상 스트림에 대한 키 프레임 분포, 영상장면 경계 분포 또는 인접 프레임간의 영상차이 분포 중 어느 하나에 의한 영상장면 변화 분포를 검출하고, 그 검출된 영상장면 변화 분포에 따라서 자동으로 수화 동영상 및 수화 애니메이션의 재생속도를 가변속시켜 주도록 하며, TV 영상 스트림에 수화 동영상 및 수화 애니메이션 재생시, 영상장면 경계, 키 프레임, 프레임간 영상장면의 차이가 많은 부분에서는 상대적으로 정상속도보다 빠르게, 적은 곳에서는 상대적으로 정상속도보다 느리게 재생시켜 줄 수 있도록 구성된다.
이를 위해 본 발명에 따른 재생속도 제어부(51)는,
TV 스트림으로부터 영상장면 변화 분포를 검출하고 그 검출된 영상장면 변화 분포에 따른 상대속도 데이터를 출력하는 속도 검출부(51a)와, 그 속도 검출부(51a)로부터 출력된 상대속도 데이터를 이용하여 상기 TV 영상과 동시에 수화 동영상 및 수화 애니메이션을 재생시켜 주기 위한 재생속도 연산부(51b)와, 그 재 생속도 연산부(51b)에 의해 연산된 재생속도를 사용자의 키입력을 통해서 직접 제어하기 위한 키 입력부(51c)로 구성된다.
상기 속도 검출부(51a)는 TV 영상 스트림에 대한 키프레임 분포와, 영상장면 변화에 대한 영상장면 경계지점 분포와, 인접프레임간의 영상 차이 분포에 따라 그 상대속도를 산출하게 된다.
여기서, 인접 프레임간의 영상차이분포는 프레임과 프레임간의 영상차이 분포를 이용하여 TV 영상 스트림으로부터 인접한 프레임간의 영상장면 변화를 검출하여 도 5와 같이 인접 프레임 차이(inter-frame difference)를 구하고, 이러한 인접프레임 차이의 피크점(peaks)들을 찾아 샷(S1,S2,S3,....,Sm) 정보를 구성하게 된다.
상기와 같은 인접 프레임간 영상차이를 도 6에 도시된 바와같이, 샷(S1,S2,S3,...,Sm) 단위로 누적(C1,C2,C3,.....,Cm)시켜 누적차이(Cumulative difference)를 구하고 이러한 샷 단위의 누적차이들을 이용하여 각 샷의 상대속도를 산출한다.
상기와 같이 속도 검출부(51a)에서 검출된 영상장면변화는 누적차이의 분포에 따라서 상대적인 속도 데이터로 출력하게 된다.
이러한 영상장면 변화 분포에 대한 상대적인 속도는 TV 영상 스트림을 정규화(normalize)시킨 다음, 지정된 값보다 영상장면 변화 분포가 밀집된 부분은 수화 동영상 및 수화 애니메이션의 재생속도를 상대적으로 큰 속도값을 갖도록 하고, 영상장면 변화 분포가 밀집되지 않는 부분은 수화 동영상 및 수화 애니메이션의 재생 속도를 상대적으로 작은 속도값을 가지도록 한다.
그러면, 재생속도 연산부(51b)는 속도검출부로부터 출력된 TV 영상 스트림의 장면 변화분포에 따른 상대적인 속도 데이터를 입력받아 그 재생속도를 연산하게 된다. 즉, 상기 재생속도 연산부(51a)는 영상장면 변화 분포에 의한 상대적인 속도 데이터에 따라 영상장면 변화 분포가 밀집된 부분에서는 수화 동영상 및 수화 애니메이션의 재생속도를 빠르게 하고 영상장면 변화 분포가 밀집되지 않는 부분에서는 수화 동영상 및 수화 애니메이션의 재생속도를 늦게 가져가게 된다.
즉, 영상장면 변화의 피크점이나 영상장면 변화의 폭이 큰 부분들의 분포를 이용하여 영상장면 변화 지점이 밀집된 부분에 대해서는 수화 동영상 및 수화 애니메이션의 재생속도를 늦추고 밀집되지 않는 부분에 대하여 재생 속도를 빠르게 가져가게 된다.
또한 재생속도 연산부(51b)는 사용자가 직접 재생 속도를 제어할 수 있도록 하기 위해 키 입력부를 통해 입력된 가중치(weight)를 이용하여 TV 영상 스트림으로부터 산출된 상대적인 속도와 가중치(weight)의 함수로 수화 동영상 및 수화 애니메이션의 재생속도를 결정하게 된다.
본 발명에 따른 재생속도는 상대속도와 가중치에 의해 결정된다. 즉, 상기 상대속도에 부가되는 서로 상이한 가중치에 의해 서로 상이한 재생속도가 결정될 수 있다. 따라서, 상기 가중치에 의해 상기 재생속도가 제어됨으로써, 자막→텍스트 변환→수화 동영상 및 수화 애니메이션 데이터 베이스 비교·분석→수화 동영상 및 수화 애니메이션 변환 등으로 인해 발생되는 딜레이 타임을 효율적으로 줄일 수 있게 된다.
이하, 본 발명에 따른 멀티형 수화 자막 수신방법에 관해 설명한다.
먼저, 아날로그 방송이 송출되는지 아니면 디지털 방송이 송출되는지 체크한다(S100).
아날로그 방송이 송출되면, 아날로그 방송 수신부의 튜너부에서는 아날로그 방송 신호를 수신하고 복조화하고, 그 튜너부를 통해 입력된 아날로그 영상 신호는 CVBS 포맷한 후 아날로그 영상 신호 디코더(AnalogVideo Signal Decoder)에 입력되어, itu-trbt656 형식으로 출력된다(S110).
이어서, 튜너부를 통해 입력된 아날로그 음성 신호는 SIF 포맷한 후，MTS 디코더(Multi-Channel Television Sound Decoder)에 입력되고 복호화된 후에 아날로그 음성으로 출력되고, 그 아날로그 출력 음성은 다시 A/D 컨버터(Analog to Digital Converter)에 입력되어，디지털 신호로 변환시킨다. 그리고, 방송국으로부터 송출된 21번째 주사선 라인의 이븐(Even)에 구성된 자막데이터는 방송 신호 처리부를 통해 디지털로 변환시키고, 그 디지털로 변환된 데이터를 디코딩한 후 낸드 플래시메모리부에 저장시킨다(S120).
그 낸드 플래시 메모리부에 저장된 자막 데이터 패킷은 수화 변환 제어부로 전송되어 어절 단위별로 추출되고, 그 추출된 자막 데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위한 프로그램 저장 및 그 프로 그램을 실행하게 된다(S130).
이어서, 상기 아날로그 영상 신호 디코더에서 출력된 각각의 itu-trbt656 출력은，듀얼 채널 MPEG 엔코더(Dual Channel MPEG Encoder)에 입력되어 MPEG2 TS로 엔코딩(encoding)된 후에，디먹서에 입력되어 상기 튜너부에서 출력된 TS와 마찬가지로 역다중화된 후, PCI 버스를 통하여 MPEG 디코더에 입력된다(S140).
그 MPEG 디코더는 여러 개의 MPEG2 TS를 동시에 처리하는 역할을 하고, 그 MPEG 디코더에 입력된 영상정보 및 음성 정보, 그리고, 수화 동영상 정보 및 수화 애니메이션 정보들은，각각 복호화되어 MPEG 디코더로부터 사용자가 감지할 수 있는 영상과 음성, 또는 영상과 수화 동영상 및 수화 애니메이션의 형태로 출력되고, 수화 영상 표시부로 전달된다(S150).
그 수화 영상 표시부는 수화 변환부를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어한다(S160).
다음으로, 아날로그 방송이 송출되는지 아니면 디지털 방송이 송출되는지 체크한다(S200).
디지털 방송이 송출되면, 사용자로부터 디지털 채널 선국 요청이 들어오는지 여부를 체크한다(S210).
이어서, 디지털 튜너부로부터 RF 채널로 튜닝을 하고, RF 채널내 DTV 신호 유무를 체크하여 메인 CPU로 보내주고, DTV 신호가 있는 경우에는 디멀티플렉서(Demux)로 스트림을 전달한다(S220).
이어서, 디멀티플렉서(Demux)에서 PAT(Program Association Table), PMT(Program Map Table)와 같은 PSI 스트림과 VCT(Virtual Channel Table)등과 같은 PSIP 스트림을 메인 CPU로 보내 해당 디지털 채널에 대한 정보를 해석한다(S230).
이어서, 메인 CPU에서 해당 채널의 비디오와 오디오의 PID를 찾아 디멀티플렉서(Demux)에 전달하여, 비디오 디코더와 오디오 디코더로 해당 PID의 비디오/오디오 스트림을 전달하여 최종적으로 비디오와 오디오를 출력시킨다(S240).
이어서, 메인 CPU에서 자막데이터에서 수화 동영상 및 수화 애니메이션으로 변환된 수화서비스를 지원하기 위해, 아날로그 캡션 슬라이셔(Slicer)에서 전달되는 캡션 정보(제어코드, 문자정보)를 해석하여 수화 변환 제어부를 통해서 변환된 해당 수화정보를 구성하고, 비디오 디스플레이 프로세서를 제어하여 DMA방식으로 수화 영상표시부에 전달한다(S250).
그 수화 영상 표시부에서는 수화 변환부를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어한다(S260).
상기에서 상세히 설명한 바와 같이, 본 발명은 방송국에서 송출하는 폐쇄형 아날로그 방송 및 디지털 방송을 아날로그 방식 및 디지털방식으로 변환하여 동시에 신호처리할 수 있고, 이를 청각 장애인 및 난청인이 선별하여 TV 모니터상에 영상과 함께 수화 자막이 표시되도록 하며, 기존의 텍스트형 자막데이터와 자막의 위치가 중복되지 않도록 수화 자막 수신장치를 통해 수화 자막데이터를 TV 모니터상에 안전하게 표시할 수 있는 좋은 효과가 있다.

Claims (6)

  1. 튜너부로 부터 입력되는 21번째 주사선 라인의 오드(Odd)에 구성된 동영상 데이터와, 21번째 주사선 라인의 이븐(Even)에 구성된 자막 데이터로 이루어진 텔레비전 방송신호를 수신받아 TV 모니터상에 사용자가 감지할 수 있는 영상 및 음성의 형태로 출력되도록 하고, 자막 데이터를 디코딩하여 낸드 플래시메모리부(30)로 전달시키는 아날로그 방송 수신부(10)와,
    비디오, 오디오 및 자막데이터의 아날로그 방송 수신 신호를 0과 1로 구성된 디지털 신호로 변환한 후, 그 변환된 디지털 신호를 MPEG2(Moving Picture Experts Group2) 전송 시스템에 의해 비디오 트랜스포트 패킷, 오디오 트랜스포트 패킷, 자막 데이터 패킷, 및 PSI(Program Specific Information)로 분리된 신호로 수신받고, 그 수신된 신호 중 자막 데이터 패킷을 낸드 플래시 메모리부(30)로 전달시키는 디지털 방송 수신부(20)와,
    상기 아날로그 방송 수신부(10)와, 디지털 방송 수신부(20)에 연결되어 아날로그 방송 수신부(10) 및 디지털 방송 수신부(20)에서 전송된 자막 데이터와 자막 데이터 패킷 및, 자음, 모음, 단어, 구, 문장별로 대응되는 100MB이상~16GB이하의 수화 동영상 데이터베이스 및 수화 애니메이션 데이터베이스와, 그 자막데이터와 자막 데이터 패킷 및, 자음, 모음, 단어, 구, 문장별로 일대일 대응이 되는 수화 동영상 형태로 변환하거나 또는 수화 애니메이션 형태로 변환하기 위한 프로그램을 저장하고 출력시키는 낸드 플래시메모리부(30)와,
    그 낸드 플래시 메모리부(30)로부터 자막 데이터를 어절 단위별로 추출하고, 그 추출된 자막 데이터와 일대일 대응이 되는 수화 동영상 및 수화 애니메이션 형태로 변환하기 위해 저장된 프로그램을 낸드 플래시메모리부(30)로부터 불러내고, 그 불러낸 프로그램을 실행하는 수화 변환 제어부(40)와,
    그 수화 변환 제어부(40)를 통해 변환된 실제의 수화 동영상 및 수화 애니메이션이 TV 모니터상에 표시되도록 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 수화 영상 표시부(50)가 포함되어 구성되는 것을 특징으로 하는 멀티형 수화 자막 수신장치.
  2. 제 1항에 있어서, 수화 변환 제어부(40)는
    낸드 플래시메모리부의 버퍼에 저장된 자막 데이터를 어절 단위별로 추출하는 자막 데이터 추출 프로그램부(41)와,
    추출된 자막 데이터를 실제의 수화 동영상 및 수화 애니메이션으로 변환시키는 수화 변환 프로그램부(42)와,
    수화 변환 프로그램에 의해 변환된 10KB이상~100MB이하의 실제 수화 동영상 및 수화 애니메이션을 TV 모니터에 표시시키기 위한 위치 데이터로 변환시키는 수화 표시 프로그램부(43)로 구성되는 것을 특징으로 하는 멀티형 수화 자막 수신장치.
  3. 제1항에 있어서, 수화 영상 표시부(50)는 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 재생속도 제어부(51)와,
    수화 표시 프로그램부로부터 수화 위치 데이터를 입력받아 이를 디코딩하여 그에 따른 수화의 수평라인 스타트 포인트 (horizontal_data_start_point)와 엔드 포인트(horizontal_data_end_point) 및 수화의 수직라인 스타트 포인트(vertical_data_start_point)와 엔드 포인트 (vertical_data_end_point)에 대한 위치정보를 검출하는 수화 위치 검출부(52)로 구성되는 것을 특징으로 하는 멀티형 수화 자막 수신장치.
  4. 제3항에 있어서, 재생속도 제어부(51)는 TV 영상 스트림으로부터 영상장면 변화 분포를 검출하고 그 검출된 영상장면 변화 분포 중 인접 프레임간 영상차이분포를 샷 단위의 누적차이분포에 따라 상대속도 데이터로 출력하는 속도 검출부(51a)와,
    그 속도 검출부(51a)로부터 출력된 상대속도 데이터를 이용하여 상기 TV 영상과 동시에 수화 동영상 및 수화 애니메이션을 재생시켜 주기 위한 재생속도 연산부(51b)와,
    그 재생속도 연산부에 의해 연산된 재생속도를 사용자의 키입력을 통해서 직접 제어하기 위한 키 입력부(51c)로 구성되는 것을 특징으로 하는 멀티형 수화 자막 수신장치.
  5. 삭제
  6. 아날로그 방송이 송출되는지 아니면 디지털 방송이 송출되는지 체크하는 단계(S200)와,
    디지털 방송이 송출되면, 사용자로부터 디지털 채널 선국 요청이 들어오는지 여부를 체크하는 단계(S210)와,
    디지털 튜너부로부터 RF 채널로 튜닝을 하고, RF 채널내 디지털방송 신호 유무를 체크하여 메인 CPU로 보내주고, 디지털방송 신호가 있는 경우에 디멀티플렉서(Demux)로 트랜스포트 스트림을 전달하는 단계(S220)와,
    디멀티플렉서(Demux)에서 PAT(Program Association Table), PMT(Program Map Table)와 같은 PSI 스트림과 VCT(Virtual Channel Table)와 같은 PSIP 스트림을 메인 CPU로 보내 해당 디지털 채널에 대한 정보를 해석하는 단계(S230)와,
    메인 CPU에서 해당 채널의 비디오와 오디오의 PID를 찾아 디멀티플렉서(Demux)에 전달하여, 비디오 디코더와 오디오 디코더로 해당 PID의 비디오/오디오 스트림을 전달하여 최종적으로 비디오와 오디오를 출력시키는 단계(S240)와,
    메인 CPU에서 아날로그 방송으로부터 전송된 자막데이터에서 전달되는 자막 정보(제어코드, 문자정보)를 해석하여 수화 변환 제어부(40)를 통해서 변환된 해당 수화정보(수화 동영상 및 수화 애니메이션)를 구성하고, 비디오 디스플레이 프로세서를 제어하여 DMA방식으로 수화 영상표시부(50)에 전달하는 단계(S250)와,
    그 수화 영상 표시부(50)에서 수화 변환 제어부(40)를 통해 변환된 수화 동영상 및 수화 애니메이션을 TV 모니터상에 표시될 수화 위치를 설정하고, 그 설정된 위치에 수화 동영상 및 수화 애니메이션이 TV 영상과 함께 동시시청이 가능한 형태로 재생되도록 재생속도를 제어하는 단계(S260)로 이루어져 구성되는 것을 특징으로 하는 멀티형 수화 자막 수신방법.
KR1020060063442A 2006-07-06 2006-07-06 멀티형 수화 자막 수신장치 및 방법 KR100796278B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060063442A KR100796278B1 (ko) 2006-07-06 2006-07-06 멀티형 수화 자막 수신장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060063442A KR100796278B1 (ko) 2006-07-06 2006-07-06 멀티형 수화 자막 수신장치 및 방법

Publications (2)

Publication Number Publication Date
KR20080004755A KR20080004755A (ko) 2008-01-10
KR100796278B1 true KR100796278B1 (ko) 2008-01-21

Family

ID=39215352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060063442A KR100796278B1 (ko) 2006-07-06 2006-07-06 멀티형 수화 자막 수신장치 및 방법

Country Status (1)

Country Link
KR (1) KR100796278B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5960679B2 (ja) * 2010-04-14 2016-08-02 サムスン エレクトロニクス カンパニー リミテッド ビットストリームの生成方法、生成装置、受信方法及び受信装置
CN103186780B (zh) * 2011-12-30 2018-01-26 乐金电子(中国)研究开发中心有限公司 视频字幕识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078587A (ko) * 1996-05-10 1997-12-12 배순훈 수화처리기능을 갖춘 텔레비전
JP2001186430A (ja) 1999-12-22 2001-07-06 Mitsubishi Electric Corp デジタル放送受信機
KR20030047472A (ko) * 2001-12-10 2003-06-18 삼성전자주식회사 수화 표시 기능을 갖는 텔레비젼 및 그 제어방법
KR20030077348A (ko) * 2002-03-26 2003-10-01 한국과학기술원 티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생시스템
KR20060066268A (ko) * 2004-12-13 2006-06-16 엘지전자 주식회사 영상표시기기 및 영상표시방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078587A (ko) * 1996-05-10 1997-12-12 배순훈 수화처리기능을 갖춘 텔레비전
JP2001186430A (ja) 1999-12-22 2001-07-06 Mitsubishi Electric Corp デジタル放送受信機
KR20030047472A (ko) * 2001-12-10 2003-06-18 삼성전자주식회사 수화 표시 기능을 갖는 텔레비젼 및 그 제어방법
KR20030077348A (ko) * 2002-03-26 2003-10-01 한국과학기술원 티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생시스템
KR20060066268A (ko) * 2004-12-13 2006-06-16 엘지전자 주식회사 영상표시기기 및 영상표시방법

Also Published As

Publication number Publication date
KR20080004755A (ko) 2008-01-10

Similar Documents

Publication Publication Date Title
US6985188B1 (en) Video decoding and channel acquisition system
KR101289267B1 (ko) 방송통신시스템에서 ｄｔｖ 자막 처리 장치 및 방법
KR100542639B1 (ko) Ｅｐｇ송신장치 및 방법, ｅｐｇ수신장치 및 방법, ｅｐｇ송수신시스템 및 방법과 제공매체
US20160066055A1 (en) Method and system for automatically adding subtitles to streaming media content
EP1643772B1 (en) System, method and apparatus for clean channel change
EP1850587A2 (en) Digital broadcast receiving apparatus and control method thereof
US9319566B2 (en) Display apparatus for synchronizing caption data and control method thereof
US8760579B2 (en) Video display apparatus, video display system and video display method
US10341631B2 (en) Controlling modes of sub-title presentation
CN101483782B (zh) 数字广播接收装置以及数字广播接收方法
KR100703529B1 (ko) 디지털 멀티미디어 방송을 위한 다채널 영상 수신 장치 및방법
WO2014105074A1 (en) Method and apparatus for using contextual content augmentation to provide information on recent events in a media program
US8988605B2 (en) Display apparatus and control method thereof
JP5354664B2 (ja) デジタルデータ受信機、及び、プログラム
KR100796278B1 (ko) 멀티형 수화 자막 수신장치 및 방법
EP2228985A1 (en) Combined television data stream, method for displaying television channel and method for generating combined television data stream
JP5213572B2 (ja) 手話映像生成システム、サーバ、端末装置、情報処理方法、及びプログラム
CN114189737B (zh) 一种数字电视快速切台方法及数字电视
JP2008147985A (ja) ディジタル放送受信装置、ディジタル放送システム、制御プログラムおよび可読記録媒体
KR100661651B1 (ko) 디지털 방송 처리장치 및 그 제어방법
US20070116041A1 (en) Digital broadcast receiver
KR100802133B1 (ko) 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법
KR100282061B1 (ko) 텔레비젼에서의 자막 표시 제어 방법
KR101227494B1 (ko) 영상을 디스플레이하는 방법 및 장치
KR100912557B1 (ko) 방송 영상의 다중 표시 장치, 이를 가지는 휴대용 단말기및 방송 영상의 다중 표시 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121211

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140106

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150108

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 13