KR101899588B1 - 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법 - Google Patents

수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법 Download PDF

Info

Publication number
KR101899588B1
KR101899588B1 KR1020180025706A KR20180025706A KR101899588B1 KR 101899588 B1 KR101899588 B1 KR 101899588B1 KR 1020180025706 A KR1020180025706 A KR 1020180025706A KR 20180025706 A KR20180025706 A KR 20180025706A KR 101899588 B1 KR101899588 B1 KR 101899588B1
Authority
KR
South Korea
Prior art keywords
data
animation
basic
module
generating
Prior art date
Application number
KR1020180025706A
Other languages
English (en)
Inventor
고승용
이인구
Original Assignee
주식회사 이큐포올
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이큐포올 filed Critical 주식회사 이큐포올
Priority to KR1020180025706A priority Critical patent/KR101899588B1/ko
Application granted granted Critical
Publication of KR101899588B1 publication Critical patent/KR101899588B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G06F17/2735—
    • G06F17/289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Abstract

동영상 콘텐츠에서 양질의 수어 애니메이션을 자동으로 생성할 수 있는 수어 애니메이션을 자동으로 생성하는 시스템이 개시된다. 상기 시스템은 자막데이터를 분석하여 유의미 단어 배열 데이터를 생성하는 변환처리모듈, 상기 자막데이터에 포함된 단어의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 비수지신호 분석모듈, 수어사전 데이터베이스, 상기 변환처리모듈에서 인가되는 유의미 단어 배열 데이터에 포함된 단어들에 대한 상기 수어사전 데이터베이스 검색을 실행하여 상기 단어들에 대응하는 수어 데이터를 얻는 수어사전 검색모듈, 상기 비수지신호 데이터와 상기 수어 데이터를 조합하여 기초 애니메이션 데이터를 생성하는 기초 애니메이션 데이터 생성모듈 및 상기 기초 애니메이션 데이터를 이용하여 상기 수어 애니메이션 데이터를 생성하는 애니메이션 생성모듈을 포함하는 구성을 한다.

Description

수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법{System for automatically generating a sign language animation data, broadcasting system using the same and broadcasting method}
본 발명은 수어 애니메이션 생성 및 방송과 관련된 것으로, 특히, 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법에 관한 것이다.
최근 들어, 의미와 문맥을 반영하는 신경망을 이용하여 일반 언어 간의 기계 번역(Neural Machine Translation)은 이미 다수의 인터넷 서비스 사업자를 통해 서비스 되고 있으며, 딥러닝을 통해 비약적인 발전을 하고 있다.
한편, 현재의 수어 또는 수화(이하에서는 "수어"라고 칭함) 방송은 방송 콘텐츠 사업자가 제작 단계 또는 후 제작 단계에서 방송 대본내용을 수어 통역사로 하여금 통역하게 하고 이를 촬영하여 방송 콘텐츠의 우측 하단 등의 일부 영역에 표시되도록 하고 있다.
일반적으로, 청각 장애인은 소리를 들을 수 없을 뿐만 아니라 방송화면에 표시되는 자막을 읽는 속도도 일반인에 비해 늦어서 각종 미디어를 통한 정보 획득에 불리하다. 특히, 최소한의 뉴스 방송에만 수어 통역화면이 함께 표시되고 있어서, 청각 장애인이 뉴스 외의 여타 방송을 시청하는데 불편함이 따른다.
이러한 불편함을 해소하기 위한 것으로, 여러 방송국에서 송출하고 있는 티브이 자막 신호를 자막 신호 추출 장치를 이용하여 추출하고 컴퓨터의 시리얼 장치를 이용하여 전송한 후, 이를 각종 형태소 분석 알고리즘에 의해 수화식 표현으로 변형하고, 3차원 수화 애니메이션 데이터베이스를 참조하여 컴퓨터 화면 상에 3차원 수화 애니메이션을 표현하는 시스템에 관한 것이 공개번호 특2003-0077348호(발명의 명칭: 티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생시스템, 발명자: 김대진 외 3)의 공개특허공보에 개시되어 있다. 이 김대진 등의 발명은 방송내용을 컴퓨터 화면을 통해 시청해야 할 뿐만 아니라 티브이를 통해 방송을 시청하는 시청자가 수어 통역 화면을 티브이의 방송화면에 표시할 것인지 여부를 선택할 수 없다.
또한, 위와 같은 김대진 등의 발명을 비롯한 기존의 연구(이하, "종래기술"이라 함)는 애니메이션 데이터의 생성에 있어서, 수어의 세 가지 표현인 수지신호, 비수지신호(각종 얼굴 표정, 몸의 기울기 등), 공간분석(손의 방향, 얼굴 및 상체의 방향 등) 중, 수지신호와 비수지신호에 한정되어 있어, 정확한 의미 전달에 있어 부족함이 많다.
또한, 종래기술은 티브이 방송에 있어 중요 요소 중 하나인 방송 화면과 수어 애니메이션의 시간적 동기화에 대해 효과적인 방법을 제시하지 못하고 있다. 시간적 동기화는 수어가 음성 언어보다 동일 표현에 있어 느릴 수밖에 없는 점을 고려할 때, 단순히 애니메이션의 재생 속도를 늘리는 것만으로는 해결이 어려운 점이 있다.
그뿐만 아니라, 종래기술은 갈수록 시청빈도가 늘어나고 있는 주문형 비디오(VOD) 콘텐츠의 전송에 있어서 효과적인 번역과 의미 전달을 위한 전처리와 후처리 방법에 대해 제시하고 있지 못하고 있다. 이는 주문형 비디오 시청의 대부분을 차지하는 오락성 콘텐츠에 대해 뉴스 식의 정보 전달의 한계를 극복하지 못하고 있다.
또한, 종래기술은 각 유료방송사의 방송 신호에 포함된 자막 방송데이터에 의존하는데, 지상파를 제외하고 대부분의 방송 콘텐츠에는 자막 방송데이터가 존재하지 않으므로, 청각장애인에게 제공하고자 하는 일반인과 동등한 시청권 보장에 어려움이 있다.
또한, 종래기술은 고유명사나 사전에 등재되지 않은 신조어 등의 표현에 대해 지화(자음과 모음의 연속 동작으로 표현하는)를 통해 변역 하도록 되어 있으나, 이러한 지화 표현은 단어 표현에 필요한 시간을 급격히 증가시켜, 실시간 번역에 있어 시간적 동기화에 어려움을 초래하며, 동일한 고유명사나 신조어의 반복 사용 시 이러한 어려움이 폭증한다.
또한, 종래기술은 언어의 감정 표현을 비수지신호를 통하여 표현하고자 하나, 비수지신호의 애니메이션(얼굴이나 몸동작)을 통한 감정표현에 있어, 실제 등장인물이 아닌 애니메이션상의 캐릭터의 표정으로는 감정의 전달이 단순하고 제한적이다.
본 발명의 목적은 동영상 콘텐츠에서 양질의 수어 애니메이션을 자동으로 생성할 수 있는 수어 애니메이션 데이터를 자동으로 생성하는 시스템을 제공하는 데 있다.
본 발명의 목적은 다른 목적은 방송내용을 보다 정확하게 통역할 수 있는 수어 애니메이션을 자동으로 생성하여 부가할 수 있는 시스템과 이를 이용한 방송시스템 및 방송방법을 제공하는데 있다.
본 발명의 또 다른 목적은 청각 장애인이 보다 많은 방송에서 쉽게 방송내용을 알 수 있도록 함으로써 방송을 통한 청각 장애인의 정보획득기회를 높이는데 있다.
본 발명의 또 다른 목적은 고유명사나 사전에 등재되지 않은 신조어 등의 표현을 신속하게 처리할 수 있는 수어 애니메이션을 자동으로 생성하여 부가할 수 있는 시스템과 이를 이용한 방송시스템 및 방송방법을 제공하는데 있다.
본 발명의 또 다른 목적은 언어의 감정 표현을 보다 정확하게 전달할 수 있는 수어 애니메이션을 자동으로 생성하여 부가할 수 있는 시스템과 이를 이용한 방송시스템 및 방송방법을 제공하는데 있다.
본 발명의 또 다른 목적은 방송을 시청하는 시청자가 수어 통역 화면을 방송화면에 표시할 것인지 여부를 선택하여 시청할 수 있게 하는 것을 쉽게 구현할 수 있도록 해주는 시스템과 이를 이용한 방송시스템 및 방송방법을 제공하는데 있다.
본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템은 자막데이터를 분석하여 유의미 단어 배열 데이터를 생성하는 변환처리모듈; 상기 자막데이터에 포함된 단어의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 비수지신호 분석모듈; 수어사전 데이터베이스; 상기 변환처리모듈에서 인가되는 상기 유의미 단어 배열 데이터에 포함된 단어들에 대한 상기 수어사전 데이터베이스 검색을 실행하여 상기 단어들에 관련된 정보를 제공하는 수어사전 검색모듈; 상기 단어들에 관련된 정보를 이용하여 상기 유의미 단어에 대한 수어 데이터를 생성하고, 상기 비수지신호 데이터를 이용하여 기초 비수지신호 애니메이션 데이터를 생성하여 상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 조합하여 기초 애니메이션 데이터를 생성하는 기초 애니메이션 데이터 생성모듈; 및 상기 기초 애니메이션 데이터를 이용하여 수어 애니메이션 데이터를 생성하는 애니메이션 생성모듈을 포함하는 구성을 한다.
상기 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 상기 기초 애니메이션 데이터 생성모듈로 제공하기 위한 공간분석모듈을 더 포함하고, 상기 기초 애니메이션 데이터 생성모듈은 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어시작 공간과 수어 방향정보를 생성하여 상기 기초 비수지신호 애니메이션 데이터 및 상기 수어 데이터에 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 포함하는 것이 바람직하다.
감정을 표현하는 이모티콘을 포함하는 비수지신호 데이터베이스를 포함하고, 상기 기초 애니메이션 데이터 생성모듈은 상기 비수지신호 데이터에 대한 비수지신호 데이터베이스 검색을 하여 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터를 추출하고 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터에 상기 수어시작 공간과 수어 방향정보를 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것이 좋다.
방송데이터에 포함된 자막방송 데이터를 추출하여 상기 자막데이터로 제공하기 위한 자막방송 데이터 추출모듈과 상기 방송데이터에 포함된 음성데이터를 문자데이터로 변환하여 상기 자막데이터로 제공하기 위한 음성/문자 변환모듈 중 적어도 하나를 포함하는 것이 바람직하다.
상기 문자데이터에 대한 시간정보를 전달받아서 상기 애니메이션 생성모듈로 상기 문자데이터에 대한 시간정보를 제공하여 상기 애니메이션 생성모듈이 생성하는 상기 수어 애니메이션 데이터의 애니메이션 플레이 속도를 조정하기 위한 동기화모듈을 구비하는 것이 좋다.
상기 기초 애니메이션 데이터 생성모듈은, 상기 수어사전 데이터베이스에 포함된 단어의 단어별 기초 애니메이션 데이터를 생성하기 위한 단어 애니메이션 처리모듈; 고유명사, 신조어와 같은 상기 수어사전 데이터베이스 비포함 단어에 대한 기초 애니메이션 데이터 생성을 위한 지화 처리모듈; 상기 공간분석모듈의 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어 시작공간이나 수어 방향에 대한 정보를 생성하기 위한 공간정보 처리모듈; 상기 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있는 비수지신호 데이터베이스; 상기 비수지신호 분석모듈로부터 인가되는 비수지신호 데이터에 대한 비수지신호 데이터베이스 검색을 실행하여 비수지신호에 대한 기초 애니메이션 데이터를 생성하는 비수지신호 처리모듈; 및 상기 단어 애니메이션 처리모듈, 상기 지화 처리모듈, 상기 공간정보 처리모듈, 상기 비수지신호 처리모듈에서 인가되는 상기 기초 애니메이션 데이터와 상기 공간정보를 시간대별로 취합하기 위한 애니메이션 데이터 취합모듈을 구비하여 구성된 것이 바람직하다.
상기 비수지신호 데이터베이스에는 감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있고, 상기 비수지신호 처리모듈은 상기 비수지신호 데이터베이스 검색을 실행하여 감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터를 추출하고, 상기 기초 애니메이션 데이터 생성모듈은 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터 및 상기 수어시작 공간과 수어 방향정보를 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것이 좋다.
본 발명에 따른 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템은 방송망으로부터 수신되는 방송데이터에 포함된 자막방송 데이터를 추출하거나 상기 방송데이터에 포함된 음성을 문자데이터로 변환하여 자막데이터를 생성하기 위한 자막데이터 생성기; 수신되는 상기 방송데이터를 지연시킴과 아울러 지연시킨 상기 방송데이터를 인터넷을 통해 수신되는 상기 자막데이터에 기반하여 만들어지고 지연시킨 상기 방송데이터에 의한 화면의 일부 영역에 표시되도록 처리된 수어 애니메이션 데이터와 함께 티브이로 인가하는 수어 동영상 재생모듈; 상기 자막데이터를 수신하고 분석하여 유의미 단어 배열 데이터를 생성하는 변환처리모듈; 상기 자막데이터에 포함된 단어의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 비수지신호 분석모듈; 수어사전 데이터베이스; 상기 변환처리모듈에서 인가되는 유의미 단어 배열 데이터에 포함된 단어들에 대한 상기 수어사전 데이터베이스 검색을 실행하여 상기 단어들에 관련된 정보를 제공하는 수어사전 검색모듈; 상기 단어들에 관련된 정보를 이용하여 상기 유의미 단어에 대한 수어 데이터를 생성하고, 상기 비수지신호 데이터를 이용하여 기초 비수지신호 애니메이션 데이터를 생성하여 상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 조합하여 기초 애니메이션 데이터를 생성하는 기초 애니메이션 데이터 생성모듈; 및 상기 기초 애니메이션 데이터를 이용하여 상기 수어 애니메이션 데이터를 생성하여 상기 수어 동영상 재생모듈로 인가하는 애니메이션 생성모듈을 포함하는 구성을 한다.
상기 자막데이터 생성기와 상기 수어 동영상 재생모듈은 상기 티브이에 연결된 셋톱박스에 설치되고, 상기 변환처리모듈, 상기 비수지신호 분석모듈, 상기 수어사전 데이터베이스, 상기 수어사전 검색모듈, 상기 기초 애니메이션 데이터 생성모듈, 상기 애니메이션 생성모듈은 인터넷을 통해 상기 셋톱박스에 연결되어 상기 수어 애니메이션 데이터를 상기 셋톱박스로 인가하는 클라우드 가상화 서버에 설치된 것이 바람직하다.
상기 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 상기 기초 애니메이션 데이터 생성모듈로 제공하기 위한 공간분석모듈을 더 포함하고, 상기 기초 애니메이션 데이터 생성모듈은 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어시작 공간과 수어 방향정보를 생성하여 상기 기초 비수지신호 애니메이션 데이터 및 상기 수어 데이터에 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 포함하는 것이 좋다.
감정을 표현하는 이모티콘을 포함하는 비수지신호 데이터베이스를 포함하고, 상기 기초 애니메이션 데이터 생성모듈은 상기 비수지신호 데이터에 대한 비수지신호 데이터베이스 검색을 하여 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터를 추출하고 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터에 상기 수어시작 공간과 수어 방향정보를 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것이 바람직하다.
상기 기초 애니메이션 데이터 생성모듈은, 상기 수어사전 데이터베이스에 포함된 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하기 위한 단어 애니메이션 처리모듈; 고유명사, 신조어와 같은 상기 수어사전 데이터베이스에 포함되지 않은 사전비포함 단어에 대한 기초 애니메이션 데이터 생성을 위한 지화 처리모듈; 상기 공간분석모듈의 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어 시작공간이나 수어 방향에 대한 정보를 생성하기 위한 공간정보 처리모듈; 감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있는 비수지신호 데이터베이스; 비수지신호 분석모듈로부터 인가되는 비수지신호 데이터에 대한 비수지신호 데이터베이스 검색을 실행하여 비수지신호에 대한 기초 애니메이션 데이터를 생성하는 비수지신호 처리모듈; 및 상기 단어 애니메이션 처리모듈, 상기 지화 처리모듈, 상기 공간정보 처리모듈, 상기 비수지신호 처리모듈에서 인가되는 상기 기초 애니메이션 데이터와 상기 공간정보를 시간대별로 취합하기 위한 애니메이션 데이터 취합모듈을 구비하여 구성된 것이 바람직하다.
상기 수어 동영상 재생모듈은, 수신되는 상기 방송데이터의 스트림을 지연시켜 상기 수어 애니메이션 데이터의 스트림과 재생시간을 동기화하여 동기화된 2개의 동영상스트림을 출력하는 재생시간 동기화모듈, 상기 수어 애니메이션 데이터에 의한 동영상 화면이 상기 방송데이터의 동영상 화면의 미리 정해진 일부 영역에 중첩될 수 있게 상기 동기화된 2개의 동영상스트림을 오버레이 처리하는 화면 오버레이 처리모듈 및 오버레이 처리한 상기 동기화된 2개의 동영상스트림을 상기 티브이로 출력하는 동영상 재생모듈을 포함하는 것이 바람직하다.
본 발명에 따른 수어 애니메이션을 자동으로 생성하여 부가하는 방송방법은 방송망으로부터 수신되는 방송데이터를 지연시키는 과정; 방송망으로부터 수신되는 상기 방송데이터에 포함된 자막방송 데이터를 추출하거나 상기 방송데이터에 포함된 음성 데이터를 문자데이터로 변환하여 자막데이터를 얻는 과정; 상기 자막데이터에 대해 형태소 분석을 하여 유의미 단어 배열 데이터를 생성하는 과정; 상기 유의미 단어 배열 데이터에 포함된 단어들에 대응하는 수어 데이터를 얻는 과정; 상기 자막데이터에 포함된 단어들과 문장의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 과정; 상기 비수지신호 데이터에 대응하는 기초 비수지신호 애니메이션 데이터를 얻는 과정; 상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 취합하고 시간 조정하여 수어 애니메이션 데이터를 생성하는 과정; 및 지연시킨 상기 방송데이터와 상기 수어 애니메이션 데이터를, 지연시킨 상기 방송데이터의 화면의 일부 영역에 상기 수어 애니메이션 데이터의 화면이 중첩되어 표시될 수 있게 오버레이 처리하여, 티브이로 인가하는 과정을 포함하는 구성을 한다.
상기 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 얻어서 상기 화자나 상기 화제 대상의 공간 위치와 수향에 대한 데이터를 생성하는 공간분석 과정을 포함하고, 상기 수어 애니메이션 데이터를 생성하는 과정은 상기 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터에 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 데이터에 수어시작 공간과 수어 방향정보를 부여한 공간정보 데이터를 함께 조합하여 상기 수어 애니메이션 데이터를 생성하는 것이 바람직하다.
상기 수어 데이터를 얻는 과정은 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하는 과정 및 고유명사, 신조어와 같은 상기 사전비포함 단어에 대한 텍스트 또는 그래픽을 가지는 기초 애니메이션 데이터를 생성하는 과정을 포함하는 것이 좋다.
상기 수어 애니메이션 데이터를 생성하는 과정은, 상기 자막데이터에 포함된 단어들 중 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하는 과정; 상기 자막데이터에 포함된 단어들 중 고유명사, 신조어와 같은 사전비포함 단어에 대한 텍스트 또는 그래픽을 포함하는 기초 애니메이션 데이터를 생성하는 과정; 상기 자막데이터에 포함된 단어들과 관련된 화자나 화제 대상의 공간 위치 또는 수향에 대한 데이터를 토대로 수어시작 공간과 수어 방향정보를 부여한 공간정보 데이터를 생성하는 과정; 상기 자막데이터에 포함된 단어들 중 비수지신호에 대한 이모티콘을 포함하는 기초 애니메이션 데이터를 생성하는 과정; 상기 사전포함 단어의 단어별 기초 애니메이션 데이터, 상기 사전 비포함 단어에 대한 기초 애니메이션 데이터, 상기 공간정보 데이터 및 상기 비수지신호에 대한 기초 애니메이션 데이터를 시간대별로 취합하여 기초 애니메이션 데이터를 생성하는 과정; 및 상기 기초 애니메이션 데이터의 플레이 속도를 조정하여 상기 애니메이션 데이터를 생성하는 과정을 포함하는 것이 좋다.
본 발명에 따르면 동영상 콘텐츠에서 양질의 수어 애니메이션을 자동으로 생성할 수 있다.
본 발명에 따르면, 방송 콘텐츠 등에 포함된 자막방송 데이터를 추출하거나 음성을 문자 데이터로 변환한 음성대응 자막데이터를 생성하고 이를 기반으로 정확하고 신속하게 수어 애니메이션 데이터를 생성하고, 이를 방송화면의 일부 영역에 실시간으로 중첩시켜 표시할 수 있어서 청각 장애인이 보다 많은 방송 콘텐츠에서 쉽게 방송내용을 알 수 있도록 함으로써 방송을 통한 청각 장애인의 정보획득 기회를 높일 수 있다.
본 발명에 따르면, 방송 콘텐츠 사업자의 콘텐츠를 각 가정에 송출하고 있는 유료방송 사업자의 셋톱박스(Set top box)에서 (또는 클라우드 가상화 환경에서) 각 방송 프로그램의 내용을 가상화된 캐릭터의 수어 애니메이션으로 실시간으로 또는 사전에 번역을 하고 번역된 애니메이션을 방송 콘텐츠에 선택적으로 오버레이 할 수 있게 함으로써, 청각 장애인들이 더 많은 방송 프로그램을 수어로 시청할 수 있게 한다.
본 발명에 따르면, 수어의 3대 표현 요소인 수지, 비수지신호와 더불어 공간정보를 함께 표현함으로써 보다 자연스럽게 정확한 통역이 가능하다.
방송에 있어서는 동시통역 개념에서 시간에 대한 동기화가 중요하나 수어는 일반적으로 구어에 비해 속도가 느리며 특히 고유명사나 신조어에 있어 그 차이가 커진다. 본 발명에서는, 이를 고유명사와 신조어에 대해 텍스트나 이미지 등으로 표현하여 시간적 차이를 줄일 수 있다.
본 발명에 따르면, 지상파를 제외한 대부분의 자막방송데이터가 없는 방송 채널에 대해서도 셋톱박스에서 음성신호를 텍스트로 변경하여 클라우드에 전달하여 전 채널에 대한 수어 통역서비스가 가능하다.
또한, 본 발명에 따르면 통역 수어 애니메이션에 감정을 표현하는 이모티콘을 추가하여 수어 감정 표현을 풍부하게 나타낼 수 있다.
도 1은 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템과 이를 이용한 방송시스템을 나타낸 블록도,
도 2는 도 1의 기초 애니메이션 데이터 생성모듈의 구성을 나타낸 블록도,
도 3은 도 1의 수어 동영상 재생모듈의 구성을 나타낸 블록도,
도 4는 본 발명에 따른 수어 애니메이션을 자동으로 생성하여 부가하는 방송 시스템을 이용한 방송 과정을 설명하기 위한 순서도,
도 5는 주문형 디비오나 다시보기의 수어 애니메이션을 자동으로 생성해두기 위한 도 1의 변형 예를 나타낸 블록도이다.
이하, 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세하게 설명한다.
도 1은 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템과 이를 이용한 방송시스템을 나타낸 블록도이고, 도 2는 도 1의 기초 애니메이션 데이터 생성모듈의 구성을 나타낸 블록도이고, 도 3은 도 1의 수어 동영상 재생모듈의 구성을 나타낸 블록도이다.
도 1 내지 3을 참고하면, 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)은, 바람직하게, 인터넷(IN)을 통해 방송 콘텐츠 사업자의 콘텐츠를 각 가정에 송출하는 유료방송 사업자의 셋톱박스(200, set top box)에 연결되는 클라우드 가상화 서버 또는 클라우드 가상화 시스템(이하 "클라우드 가상화 서버"라고 칭함)에 본 발명에서 설명하는 기능을 가지는 프로그램이 설치되어 구성된다. 하지만, 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)은 독립된 컴퓨터 시스템에 프로그램이 설치되어 구성될 수 있다.
이러한 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)을 이용한 본 발명에 따른 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템(300)은 바람직하게, 인터넷(IN)을 통해 셋톱박스(200)에 연결된 클라우드 가상화 서버에서 각 방송 프로그램의 내용을 가상화된 캐릭터의 수어 애니메이션으로 실시간 또는 사전 번역을 하고 이러한 수어 애니메이션을 방송 콘텐츠에 선택적으로 오버레이 하여 티브이(10)로 출력할 수 있게 함으로써, 청각 장애인들이 더 많은 방송 프로그램을 수어로 시청할 수 있게 한다.
도 1에 나타낸 바와 같이, 셋톱박스(200)에는 바람직하게 자막방송 데이터 추출모듈(210)과 음성/문자 변환모듈(220)이 설치된다. 자막방송 데이터 추출모듈(210)은 방송망(20)으로부터 수신되는 방송데이터로부터 자막방송 데이터를 추출하여 자막데이터를 얻기 위한 것이고, 음성/문자 변환모듈(220)은 자막방송 데이터가 없는 경우 수신되는 방송데이터로부터 음성신호를 추출하여 음성대응 문자데이터로 변환하여 자막데이터를 얻기 위한 것이다. 때에 따라, 자막방송 데이터 추출모듈(210)과 음성/문자 변환모듈(220) 중 어느 하나만 있을 수 있다. 이러한 자막방송 데이터 추출모듈(210)과 음성/문자 변환모듈(220)은 일종의 자막데이터 생성기로서 반드시 셋톱박스(200)에 설치되어야 하는 것은 아니고, 필요에 따라 클라우드 가상화 서버에 설치될 수도 있다. 특히, 음성/문자 변환모듈(220)은 유료방송 콘텐츠 공급자 등의 요구에 따라 클라우드 가상화 서버에 설치될 수 있다.
또한, 셋톱박스(200)에는 수어 동영상 재생모듈(230)이 설치된다. 수어 동영상 재생모듈(230)은 시청자가 리모콘 등을 조작하여 수어 방송 기능을 선택하지 않았을 때에는 자막방송 데이터 추출모듈(210)과 음성/문자 변환모듈(220)을 비활성화 하여 수신된 방송데이터의 내용만 티브이(10)로 출력되게 하고, 수어 방송 기능을 선택한 경우에는 자막방송 데이터 추출모듈(210) 또는 음성/문자 변환모듈(220)을 활성화하여 본 발명에 따라 수어 애니메이션을 자동으로 생성하고 부가하여 방송데이터와 함께 출력되도록 할 수 있다.
이러한 수어 동영상 재생모듈(230)은 방송망(20)으로부터 수신되는 방송데이터를 지연시킴과 아울러 지연시킨 방송데이터를 인터넷(IN)을 통해 수신되는 지연시킨 방송데이터에 기반하여 만들어진 수어 애니메이션 데이터와 함께 티브이(10)로 인가하여 지연시킨 방송데이터에 의한 화면의 일부 영역에 수어 애니메이션이 표시되도록 처리한다.
수어 동영상 재생모듈(230)은 부호화 또는 암호화된 방송신호의 부호화 또는 암호화 상태를 해제하기 위한 스크램블 해제기(231), 방송신호를 부호화하기 전의 상태로 복원하기 위한 방송데이터 디코더(232), 부호화된 수어 애니메이션 데이터를 부호화하기 전의 상태로 복원하기 위한 수어 애니메이션 데이터 디코더(233)를 구비한다.
또한, 수어 동영상 재생모듈(230)은 복원된 방송데이터의 스트림을 지연시켜 복원된 수어 애니메이션 데이터 스트림과 재생시간을 동기화하여 동기화된 2개의 동영상스트림을 출력하는 재생시간 동기화모듈(234)과 수어 애니메이션 데이터에 의한 동영상 화면이 방송데이터의 동영상 화면의 미리 정해진 일부 영역에 중첩될 수 있게 동기화된 2개의 동영상스트림을 오버레이 처리하는 화면 오버레이 처리모듈(235) 및 오버레이 처리한 상기 동기화된 2개의 동영상스트림을 티브이(10)로 출력하는 동영상 재생모듈(236)을 구비한다.
본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)은 바람직하게 인터넷(IN)을 통해 셋톱박스(200)에 연결된 클라우드 가상화 서버에 프로그램이 설치되어 구성된다. 클라우드 가상화 서버에는 변환처리모듈(110), 수어사전 검색모듈(120), 수어사전 데이터베이스(130) 및 비수지신호 분석모듈(140)이 설치된다.
변환처리모듈(110)은 수신된 자막데이터를 분석하여 유의미 단어 배열 데이터를 생성하기 위한 것이고, 수어사전 검색모듈(120)은 변환처리모듈(110)에서 인가되는 유의미 단어 배열 데이터에 포함된 단어들에 대하여 수어사전 데이터베이스(130)를 검색하여 사전포함 단어와 사전비포함 단어를 파악하고 관련정보를 제공하여 이들에 대응하는 애니메이션 데이터인 수어 데이터를 얻을 수 있도록 하기 위한 것이다. 수어사전 검색모듈(120)은 수어사전 데이터베이스(130)를 검색할 때 검색하는 단어의 동의어에 대해서도 함께 검색하도록 하는 것이 바람직하다.
수어사전 데이터베이스(130)에는 사전포함 단어들에 대응하는 수어 데이터가 저장되어 있다. 사전 비포함 단어는 지화 처리모듈(162)을 통해 해당하는 지화(Finger Spelling)나 텍스트 또는 그래픽 정보 또는 이들의 조합에 대한 애니메이션 데이터인 수어 데이터로 변환되어 애니메이션 데이터 취합모듈(166)에 전달된다.
그리고 비수지신호 분석모듈(140)은 자막데이터에 포함된 단어의 의미와 의향을 분석하여 비수지신호 데이터를 생성한다.
바람직하게, 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)은 공간분석모듈(150)을 더 구비한다. 이 공간분석모듈(150)은 바람직하게, 클라우드 가상화 서버에 설치되어 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 얻어서 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 데이터를 상기 기초 애니메이션 데이터 생성모듈(160)로, 더 구체적으로는 비수지신호 처리모듈(165)로 제공한다.
클라우드 가상화 서버에는 기초 애니메이션 데이터 생성모듈(160) 및 애니메이션 생성모듈(170)이 설치된다. 이 기초 애니메이션 데이터 생성모듈(160)은 수어사전 데이터베이스(130) 검색을 통해 들어오는 사전포함 단어와 사전비포함 단어를 분리하여 사전 포함 단어의 경우 수어사전 데이터베이스(130)에 있는 애니메이션 정보를 전달받고, 사전 비포함 단어는 지화 처리모듈(152)을 통해 해당하는 지화(Finger Spelling)나 텍스트 또는 그래픽 또는 이들의 조합에 대한 애니메이션 정보를 전달받는다. 이 기초 애니메이션 데이터 생성모듈(160)은 기본적으로 위와 같이 획득한 사전포함 단어와 사전 비포함단어에 대한 수어 데이터를 비수지신호에 대한 기초 애니메이션 데이터와 조합하여 기초 애니메이션 데이터를 생성하기 위한 것이라 할 수 있다.
바람직하게, 기초 애니메이션 데이터 생성모듈(160)은 수어사전 검색모듈(120)에서 인가되는 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하기 위한 단어 애니메이션 처리모듈(151), 수어사전 검색모듈(120)에서 인가되는 고유명사, 신조어와 같은 사전비포함 단어에 대한 기초 애니메이션 데이터 생성을 위한 지화처리모듈(162), 공간분석모듈(150)에서의 공간분석을 통한 정보를 이용하여 수어 시작위치와 수어 방향정보를 생성하기 위한 공간정보를 생성하는 공간정보 처리모듈(163), 감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있는 비수지신호 데이터베이스(165), 비수지신호 분석모듈(140)로부터 인가되는 비수지신호 데이터에 대한 비수지신호 데이터베이스(165) 검색을 실행하여 비수지신호에 대한 기초 애니메이션 데이터를 생성하는 비수지신호 처리모듈(164) 및 단어 애니메이션 처리모듈(161), 지화 처리모듈(162), 공간정보 처리모듈(163), 비수지신호 처리모듈(140)에서 인가되는 각종 기초 애니메이션 데이터와 공간정보 데이터를 시간대별로 취합하기 위한 애니메이션 데이터 취합모듈(166)을 포함하여 구성된다.
바람직하게, 기초 애니메이션 데이터 생성모듈(160)은 감정을 표현하는 이모티콘을 포함하는 비수지신호 데이터와 수어 데이터에 화자나 화제 대상의 공간 위치 또는 수향에 대한 데이터를 함께 조합하여 기초 애니메이션 데이터를 생성한다.
달리 설명하면, 기초 애니메이션 데이터 생성모듈(160)은 번역된 수어의 말뭉치를 이용하여 캐릭터의 애니메이션 시퀀스 데이터 셋(animation sequence data set)을 생성한다.
또한, 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)을 구성하는 클라우드 가상화 서버에는 셋톱박스(200)로부터 문자데이터에 대한 시간정보를 전달받아서 애니메이션 생성모듈(170)로 문자데이터에 대한 시간정보를 제공하여 애니메이션 생성모듈(170)이 생성하는 수어 애니메이션 데이터의 애니메이션 플레이 속도를 조정하기 위한 동기화모듈(180)이 설치된다.
애니메이션 생성모듈(170)은 동기화모듈(180)의 시간정보와 애니메이션 데이터 취합모듈(166)에서 생성된 기초 애니메이션 데이터를 이용하여 프레임 단위로 수어 애니메이션 데이터를 생성한다.
이렇게 완성된 수어 애니메이션 데이터는 수어 애니메이션 인코더(190)에서 인코딩되어 인터넷(IN)을 통해 데이터 스트리밍으로 셋톱박스(200)의 수어동영상 재생모듈(230)로 송신되어, 방송데이터와 함께 티브이(10)로 인가되어 방송화면의 일부 영역에 중첩되어 출력된다.
이상의 설명에서는 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)과 이를 이용한 방송시스템(300)의 가장 바람직한 실시 예를 설명하였지만, 다양한 형태로 변형될 수 있다.
그리고 도 1 내지 3에 나타낸 실시 예에서는, 본 발명에 따른 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템(300)의 주요 구성요소들이 셋톱박스(200)와 클라우드 가상화 서버에 분산되어 설치된 것을 예로 들어 설명하였지만, 장래에 셋톱박스의 데이터 처리 성능이 향상되는 경우, 클라우드 가상화 서버에 설치된 구성요소들의 일부 또는 전부가 셋톱박스(200)에 설치될 수 있고, 반대로 셋톱박스(200)에 설치된 구성요소들이 클라우드 가상화 서버에 설치될 수 있다.
위와 같은 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템(300)에서, 추출 또는 변환된 자막데이터가 "홍길동은 밥을 맛있게 먹었다" 인 경우를 예를 들어 설명한다.
"홍길동은 밥을 맛있게 먹었다"라는 자막데이터가 클라우드 가상화 서버에 설치된 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)으로 인가되면, 변환처리모듈(110)에서는 ["홍길동", "밥", "맛있게", "먹다"-"과거"]로 분리하여 수어사전 검색모듈(120)로 전달한다.
수어사전 검색모듈(120)은 수어사전 데이터베이스(130) 검색을 통해 "밥"과 "먹다"는 사전 포함 단어임을 확인하고, 이 정보를 기초 애니메이션 데이터 생성모듈(160)의 단어 애니메이션 처리모듈(161)로 전달한다. 단어 애니메이션 처리모듈(161)은 "밥"과 "먹다"에 대응하는 수어 데이터를 수어사전 데이터베이스(130)로부터 전달받아서 애니메이션 데이터 취합모듈(166)에 전달한다.
또한, 수어사전 검색모듈(120)은 수어사전 데이터베이스(130) 검색을 통해 고유명사인 "홍길동"은 사전비포함 단어로 분류하여 그 정보를 기초 애니메이션 데이터 생성모듈(160)의 지화처리모듈(162)로 인가하고, 지화처리모듈(162)은 "홍길동"에 대응하는 지화 데이터를 생성하여 애니메이션 데이터 취합모듈(166)에 전달한다. 이때, "홍길동"에 대응하는 문자나 그래픽이 함께 생성될 수 있다. 때에 따라, "홍길동"에 대응하는 문자나 그래픽만 생성될 수 있고, 지화, 문자 및 그래픽 중 2가지 이상의 조합에 의한 지화 데이터가 생성될 수 있다.
비수지신호 분석모듈(140)에서는 자막데이터의 의미와 의향을 분석하여 "맛있게"가 비수지신호에 해당하는 것으로 판단하고, 이 정보를 기초 애니메이션 데이터 생성모듈(160)의 비수지신호 처리모듈(164)로 전달한다. 이에 따라 비수지신호 처리모듈(164)은 비수지신호 데이터베이스(165)를 검색하여 "맛있게"에 해당하는 이모티콘 등의 표정 신호를 전달받아서 애니메이션 데이터 취합모듈(166)에 전달한다.
한편, 공간정보 처리모듈(163)은 공간분석모듈(150)에서의 분석 정보를 토대로 "홍길동"이라는 주어에 대해 왼쪽에 위치하고 왼쪽으로 몸을 5도 틀어 수어를 진행하는 공간정보를 생성하여 애니메이션 데이터 취합모듈(166)에 전달할 수 있다. 화자가 2인인 경우, 1인은 왼쪽으로 몸을 5도 틀어서 수어를 진행하고 나머지 1인은 오른쪽으로 몸을 5도 틀어서 수어를 진행하는 공간정보를 생성하여 애니메이션 데이터 취합모듈(166)에 전달하도록 할 수 있다.
애니메이션 데이터 취합모듈(166)은 시간대별 각 수어사전 데이터베이스(130)에서 검색된 단어에 대응하는 기초 애니메이션 데이터와 공간정보, 표정정보 그리고 고유명사의 지화나 텍스트 또는 이미지를 취합하여 조합된 기초 애니메이션 데이터를 생성한다. 이렇게 생성된 조합된 기초 애니메이션 데이터는 동기화모듈(180)을 통해 문자데이터의 시간 정보, 예를 들면 해당 문장이 동영상 내에서 몇 초간 보여주는지 또는 몇 초간 음성이 출력되는지의 정보를 받아 이에 맞게 재생할 속도가 조정된다. 문자데이터의 시간 정보는 문자데이터 스트림의 특정 위치에 문자데이터에 대한 정보와 함께 제공될 수 있다.
이렇게 재생 속도에 대한 정보가 포함된 수어 애니메이션 데이터는 애니메이션 생성모듈(170)을 통해 동영상화 되며, 이를 수어 애니메이션 인코더(190)에서 압축 인코딩 후 인터넷을 통해 동영상 스트림으로 셋톱박스(200)에 전달된다. 셋톱박스(200)에 전달된 수어 애니메이션 동영상은 시간 정보에 맞게 방송데이터와 동기화하여 방송 동영상의 일부 영역에 중첩하여 티브이(10)에 전달한다.
전체 처리시간에 대한 실시간 방송의 버퍼링은 셋톱박스(200)에서 하게 되어 전달된 수화 동영상과 방송 동영상의 시간적 동기화를 맞출 수 있다.
도 4는 본 발명에 따른 수어 애니메이션을 자동으로 생성하여 부가하는 방송 시스템을 이용한 방송 과정을 설명하기 위한 순서도이다. 앞의 도 1 내지 3을 함께 참고하면서 설명한다.
방송망(20)으로부터 부호화된 방송데이터가 수신되면(S1) 스크램블 해제기(231)에서 방송데이터의 스크램블 상태를 해제하고 부호화된 방송데이터를 방송데이터 디코더(232)에서 복호화 하여, 음성/문자 변환모듈(220)과 자막방송 데이터 추출모듈(210) 중 어느 하나가 활성화되어 있으면(S2), 복호된 방송데이터를 활성화되어 있는 것으로 복호된 방송데이터를 인가하고, 재생시간 동기화기(234)로도 인가한다.
자막방송 데이터가 없는 경우, 사용자가 수어 방송을 선택하면 음성/문자 변환모듈(220)이 활성화되어 복호된 방송데이터에서 실시간 음성에 대응하는 데이터를 문자 데이터로 변환한다. 자막방송 데이터가 있는 경우, 사용자가 수어 방송을 선택하면 자막방송 데이터 추출모듈(210)이 활성화되어 복호된 방송데이터에서 방송 콘텐츠 사업자의 자막방송 데이터를 추출한다(S3).
재생시간 동기화기(234)에서는 수어 애니메이션 데이터 디코더(233)로부터 대응하는 수어 애니메이션 데이터가 인가될 때까지 복호된 방송데이터를 지연시킨다(S4).
추출 또는 생성된 자막데이터는 인터넷(IN)을 통해 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)의 변환처리모듈(110), 비수지신호 분석모듈(140) 및 공간분석모듈(150)로 각각 인가된다.
변환처리모듈(110)은 인가되는 자막데이터에 대한 형태소 분석을 하여 유의미 단어의 데이터가 나열된 유의미 단어 배열 데이터를 생성한다(S5). 클라우드 가상화 서버상에 구현된 본 발명에 따른 수어 애니메이션을 자동으로 생성하는 시스템(100)에서는 바람직하게, 순환신경망(Recurrent Neural Network)을 활용한 자연어 처리(Natural Language Processing)를 통하여 수어사전 데이터베이스(130)를 검색하여 수어 단어의 나열을 생성하여 기초 애니메이션 데이터 생성모듈(160)에 전달한다.
비수지신호 분석모듈(140)은 자막데이터에 포함된 단어들과 문장의 의미와 의향을 분석하여 비수지신호 데이터를 생성하여 기초 애니메이션 데이터 생성모듈(160)로 인가한다(S6).
또한, 공간분석모듈(150)은 인가되는 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 얻어서 화자나 화제 대상의 공간 위치와 수향에 대한 데이터를 생성하여 기초 애니메이션 데이터 생성모듈(160)로 인가한다(S7).
한편, 수어사전 검색모듈(120)은 유의미 단어 배열 데이터에 포함된 단어에 대한 수어사전 데이터베이스(130) 검색을 실시하여(S8) 사전포함 단어와 사전비포함 단어에 대한 정보를 생성하여 기초 애니메이션 데이터 생성모듈(160)로 인가한다. 이에 따라 단어 애니메이션 처리모듈(161)은 수어사전 검색모듈(120)에서 인가되는 정보를 토대로 수어사전 데이터베이스(130)에서 단어별 애니메이션 데이터를 불러와서 애니메이션 데이터 취합모듈(166)로 인가한다. 수어사전 데이터베이스(130)를 검색할 때 검색하는 단어의 동의어에 대한 검색도 실시하여 활용한다. 사전 비포함 단어가 있는 경우(S9)에는 지화처리모듈(162)에서 사전 비포함 단어에 대하여 바람직하게 텍스트 또는 그래픽을 포함하는 기초 애니메이션 데이터를 생성한다(S10). 이와 같이 본 발명에서 유의미 단어 배열 데이터에 포함된 단어에 대해 생성된 기초 애니메이션 데이터를 수어 데이터라 칭한다. 즉, 사전포함 단어에 대한 기초 애니메이션 데이터와 사전 비포함 단어에 대한 텍스트 또는 그래픽을 포함하는 기초 애니메이션 데이터는 수어 데이터를 구성한다.
또한, 비수지신호 처리모듈(164)은 비수지신호 분석모듈(140)에서 인가되는 비수지신호 데이터에 대하여 비수지신호 데이터베이스(165)를 검색하여 비수지신호 데이터에 대응하는 기초 비수지신호 애니메이션 데이터를 얻는다. 비수지신호 데이터베이스(165)에는 감정과 관련한 비수지신호 데이터에 대한 감정을 나타내는 다양한 이모티콘에 대한 데이터가 저장되어 있다. 이에 따라 기초 비수지신호 애니메이션 데이터에는 다양한 감정을 나타내는 이모티콘들의 데이터가 포함될 수 있다.
또한, 공간정보 처리모듈(163)은 공간분석모듈(150)에서 인가되는 정보를 이용하여 화자나 화제 대상의 공간 위치와 수향에 대한 데이터에 수어시작 공간과 수어 방향정보를 부여한 공간정보 데이터를 생성하여 애니메이션 데이터 취합모듈(166)로 인가한다.
이에 따라, 애니메이션 데이터 취합모듈(166)은 수어 데이터와 기초 비수지신호 애니메이션 데이터를 취합하고 이를 시간대별로 분배하여, 바람직하게, 공간정보 데이터를 함께 취합하고 이를 시간대별로 분배하여 기초 애니메이션 데이터를 생성한다(S11).
이러한 기초 애니메이션 데이터에 셋톱박스(200)에서 동기화 모듈(180)로 인가되는 시간정보를 참고하여 각 단어나 문장별 애니메이션 플레이 속도를 조정하고, 애니메이션 생성모듈(170)에서 플레이 속도가 조정된 기초 애니메이션 데이터를 이용하여 수어 애니메이션 데이터를 완성한다(S12).
이렇게 완성된 수어 애니메이션 데이터는 프레임 단위로 수어 애니메이션 인코더(190)로 인가되어 부호화된 후 인터넷을 통해 수어 동영상 재생모듈(230)로 스트리밍 된다(S13).
이에 따라 수어 동영상 재생모듈(230)은 지연시키고 있던 방송 데이터와 수어 애니메이션 데이터를 동기화 하고(S14) 동기화된 2개의 동영상 스트림을 화면 오버레이 처리모듈(235)로 인가하여 지연시킨 방송데이터 화면의 일부 영역에 수어 애니메이션 데이터의 화면이 중첩되어 표시될 수 있게 오버레이 처리한 다음(S15), 티브이(10)로 인가하여(S16) 수어 애니메이션이 중첩되어 부가된 방송데이터가 티브이(10) 화면에 출력될 수 있게 한다(S17).
한편, 단계 S2에서 수어 방송으로 선택되어 있지 않으면, 즉, 사용자가 수어 방송을 선택하지 않아서 음성/문자 변환모듈(220)과 자막방송 데이터 추출모듈(210)이 활성화되어 있지 않으면, 수어방송이 필요치 않은 것으로 판단하고, 복호된 방송데이터를 바로 동영상 재생모듈(236)을 통해 티브이(10)로 인가하거나 재생시간 동기화기(234)와 오버레이 처리모듈(235)을 거치되 동기화과정과 오버레이 처리과정 없이 영상 재생모듈(236)을 통해 티브이(10)로 인가하여(S18) 수어 애니메이션에 대한 출력 없이 방송데이터에 따른 내용만 티브이 화면에 출력되도록 한다(S19).
이상에서는, 실시간 방송데이터의 자막데이터를 처리하여 수어 애니메이션 데이터를 생성하여 실시간 방송데이터의 출력화면에 수어 애니메이션을 중첩하여 표시하는 것에 대하여 설명하였다.
도 5는 주문형 디비오나 다시보기의 수어 애니메이션을 자동으로 생성해두기 위한 도 1의 변형 예를 나타낸 블록도이다.
도 5는 수어 방송 동영상 제작에 충분한 시간이 주어지므로, 앞에서 설명한 실시간 방송에서와는 달리 자막전처리부(195)를 둘 수 있다. 이 경우, 해당콘텐츠의 자막방송 데이터나 음성데이터를 입수하고 분석하여 자막데이터에 포함된 복합문의 단문화, 필요한 지시대명사의 명사화 또는 고유명사화, 다수의 등장인물의 공간정보 관리에 대한 정보를 추가하여 그 정보를 변환처리모듈(110), 비수지신호 분석모듈(140), 공간분석모듈(150)로 함께 전달함으로써 번역의 오류를 줄일 수 있다.
또한, 애니메이션 생성모듈(170)에서 생성된 애니메이션 데이터에 대한 속도의 비균등 분배, 표현의 강도 조정, 이모티콘의 수정, 추가, 대체 등을 할 수 있도록 수어 애니메이션 후처리부(197)를 둘 수 있다. 이렇게 하면 본 발명에 따라 생성된 수어 애니메이션의 의미 전달에 있어 효율성을 높일 수 있다.
나머지는 앞에서 설명한 것과 같다.
본 발명은 실시간으로 또는 사전에 방송 프로그램에 대한 수어 애니메이션을 생성하여 청각장애인이 시청하는 유료방송의 셋톱박스를 통해 선택적으로 수신할 수 있도록 하는데 이용될 가능성이 있다.
10: 티브이 20: 방송망
100: 수어 애니메이션을 자동으로 생성하는 시스템
110: 변환처리모듈 120: 수어사전 검색모듈
130: 수어사전 데이터베이스 140: 비수지신호 분석모듈
150: 공간분석모듈 160: 기초 애니메이션 데이터 생성모듈
161: 단어 애니메이션 처리모듈 162: 지화처리모듈
163: 공간정보 처리모듈 164: 비수지신호 처리모듈
165: 비수지신호 데이터베이스 166: 애니메이션 데이터 취합모듈
170: 애니메이션 생성모듈 180: 동기화 모듈
190: 수어 애니메이션 인코더 200: 셋톱박스
210: 자막방송 데이터 추출모듈 220: 음성/문자 변환모듈
230: 수어 동영상 재생모듈

Claims (17)

  1. 자막데이터를 분석하여 유의미 단어 배열 데이터를 생성하는 변환처리모듈;
    상기 자막데이터에 포함된 단어들의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 비수지신호 분석모듈;
    수어사전 데이터베이스;
    상기 변환처리모듈에서 인가되는 상기 유의미 단어 배열 데이터에 포함된 단어들에 대한 상기 수어사전 데이터베이스 검색을 실행하여 상기 유의미 단어 배열 데이터에 포함된 단어들에 관련된 정보를 제공하는 수어사전 검색모듈;
    상기 관련된 정보를 이용하여 상기 유의미 단어에 대한 수어 데이터를 생성하고, 상기 비수지신호 데이터를 이용하여 기초 비수지신호 애니메이션 데이터를 생성하여 상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 조합하여 기초 애니메이션 데이터를 생성하는 기초 애니메이션 데이터 생성모듈; 및
    상기 기초 애니메이션 데이터를 이용하여 수어 애니메이션 데이터를 생성하는 애니메이션 생성모듈을 포함하고,
    상기 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 상기 기초 애니메이션 데이터 생성모듈로 제공하기 위한 공간분석모듈을 더 포함하고,
    상기 기초 애니메이션 데이터 생성모듈은 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어시작 공간과 수어 방향정보를 생성하여 상기 기초 비수지신호 애니메이션 데이터 및 상기 수어 데이터에 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 포함하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하는 시스템.
  2. 삭제
  3. 제1항에서, 감정을 표현하는 이모티콘을 포함하는 비수지신호 데이터베이스를 포함하고,
    상기 기초 애니메이션 데이터 생성모듈은 상기 비수지신호 데이터에 대한 상기 비수지신호 데이터베이스 검색을 하여 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터를 추출하고 상기 감정을 표현하는 이모티콘을 포함하는 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터에 상기 수어시작 공간과 수어 방향정보를 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하는 시스템.
  4. 제1항에서, 방송데이터에 포함된 자막방송 데이터를 추출하여 상기 자막데이터로 제공하기 위한 자막방송 데이터 추출모듈과 상기 방송데이터에 포함된 음성데이터를 문자데이터로 변환하여 상기 자막데이터로 제공하기 위한 음성/문자 변환모듈 중 적어도 하나를 포함하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하는 시스템.
  5. 제1항에서, 상기 자막데이터를 구성하는 문자데이터에 대한 시간정보를 전달받아서 상기 애니메이션 생성모듈로 상기 문자데이터에 대한 시간정보를 제공하여 상기 애니메이션 생성모듈이 생성하는 상기 수어 애니메이션 데이터의 애니메이션 플레이 속도를 조정하기 위한 동기화모듈을 구비하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하는 시스템.
  6. 제1항에서, 상기 기초 애니메이션 데이터 생성모듈은,
    상기 수어사전 데이터베이스에 포함된 단어의 단어별 기초 애니메이션 데이터를 생성하기 위한 단어 애니메이션 처리모듈;
    고유명사, 신조어와 같은 상기 수어사전 데이터베이스에 포함되지 않은 사전비포함 단어에 대한 기초 애니메이션 데이터 생성을 위한 지화 처리모듈;
    상기 공간분석모듈의 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어 시작공간이나 수어 방향에 대한 정보를 생성하기 위한 공간정보 처리모듈;
    상기 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있는 비수지신호 데이터베이스;
    상기 비수지신호 분석모듈로부터 인가되는 상기 비수지신호 데이터에 대한 상기 비수지신호 데이터베이스 검색을 실행하여 상기 비수지신호에 대한 기초 애니메이션 데이터를 생성하는 비수지신호 처리모듈; 및
    상기 단어 애니메이션 처리모듈, 상기 지화 처리모듈, 상기 공간정보 처리모듈, 상기 비수지신호 처리모듈에서 인가되는 상기 기초 애니메이션 데이터와 상기 공간정보를 시간대별로 취합하기 위한 애니메이션 데이터 취합모듈을 구비하여 구성된 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하는 시스템.
  7. 제6항에서, 상기 비수지신호 데이터베이스에는 감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있고,
    상기 비수지신호 처리모듈은 상기 비수지신호 데이터베이스 검색을 실행하여 상기 감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터를 추출하고,
    상기 기초 애니메이션 데이터 생성모듈은 상기 감정을 표현하는 이모티콘을 포함하는 상기 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터 및 상기 수어시작 공간과 수어 방향정보를 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하는 시스템.
  8. 방송망으로부터 수신되는 방송데이터에 포함된 자막방송 데이터를 추출하거나 상기 방송데이터에 포함된 음성을 문자데이터로 변환하여 자막데이터를 생성하기 위한 자막데이터 생성기;
    수신되는 상기 방송데이터를 지연시킴과 아울러 지연시킨 상기 방송데이터를 인터넷을 통해 수신되는 상기 자막데이터에 기반하여 만들어지고 지연시킨 상기 방송데이터에 의한 화면의 일부 영역에 표시되도록 처리된 수어 애니메이션 데이터와 함께 티브이로 인가하는 수어 동영상 재생모듈;
    상기 자막데이터를 수신하고 분석하여 유의미 단어 배열 데이터를 생성하는 변환처리모듈;
    상기 자막데이터에 포함된 단어의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 비수지신호 분석모듈;
    수어사전 데이터베이스;
    상기 변환처리모듈에서 인가되는 상기 유의미 단어 배열 데이터에 포함된 단어들에 대한 상기 수어사전 데이터베이스 검색을 실행하여 상기 유의미 단어 배열 데이터에 포함된 단어들에 관련된 정보를 제공하는 수어사전 검색모듈;
    상기 관련된 정보를 이용하여 상기 유의미 단어에 대한 수어 데이터를 생성하고, 상기 비수지신호 데이터를 이용하여 기초 비수지신호 애니메이션 데이터를 생성하여 상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 조합하여 기초 애니메이션 데이터를 생성하는 기초 애니메이션 데이터 생성모듈; 및
    상기 기초 애니메이션 데이터를 이용하여 상기 수어 애니메이션 데이터를 생성하여 상기 수어 동영상 재생모듈로 인가하는 애니메이션 생성모듈을 포함하고,
    상기 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 상기 기초 애니메이션 데이터 생성모듈로 제공하기 위한 공간분석모듈을 더 포함하고,
    상기 기초 애니메이션 데이터 생성모듈은 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어시작 공간과 수어 방향정보를 생성하여 상기 기초 비수지신호 애니메이션 데이터 및 상기 수어 데이터에 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 포함하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템.
  9. 제8항에서, 상기 자막데이터 생성기와 상기 수어 동영상 재생모듈은 상기 티브이에 연결된 셋톱박스에 설치되고,
    상기 변환처리모듈, 상기 비수지신호 분석모듈, 상기 수어사전 데이터베이스, 상기 수어사전 검색모듈, 상기 기초 애니메이션 데이터 생성모듈, 상기 애니메이션 생성모듈은 인터넷을 통해 상기 셋톱박스에 연결되어 상기 수어 애니메이션 데이터를 상기 셋톱박스로 인가하는 클라우드 가상화 서버에 설치된 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템.
  10. 삭제
  11. 제8항에서, 감정을 표현하는 이모티콘을 포함하는 비수지신호 데이터베이스를 포함하고,
    상기 기초 애니메이션 데이터 생성모듈은 상기 비수지신호 데이터에 대한 상기 비수지신호 데이터베이스 검색을 하여 상기 감정을 표현하는 이모티콘을 포함하는 상기 기초 비수지신호 애니메이션 데이터를 추출하고 상기 감정을 표현하는 이모티콘을 포함하는 상기 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터에 상기 수어시작 공간과 수어 방향정보를 함께 조합하여 상기 기초 애니메이션 데이터를 생성하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템.
  12. 제8항에서, 상기 기초 애니메이션 데이터 생성모듈은,
    상기 수어사전 데이터베이스에 포함된 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하기 위한 단어 애니메이션 처리모듈;
    고유명사, 신조어와 같은 상기 수어사전 데이터베이스에 포함되지 않은 사전비포함 단어에 대한 기초 애니메이션 데이터 생성을 위한 지화 처리모듈;
    상기 공간분석모듈의 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 이용하여 수어 시작공간이나 수어 방향에 대한 정보를 생성하기 위한 공간정보 처리모듈;
    감정을 표현하는 이모티콘을 포함하는 비수지신호에 대한 기초 애니메이션 데이터가 저장되어 있는 비수지신호 데이터베이스;
    상기 비수지신호 분석모듈로부터 인가되는 비수지신호 데이터에 대한 상기 비수지신호 데이터베이스 검색을 실행하여 비수지신호에 대한 기초 애니메이션 데이터를 생성하는 비수지신호 처리모듈; 및
    상기 단어 애니메이션 처리모듈, 상기 지화 처리모듈, 상기 공간정보 처리모듈, 상기 비수지신호 처리모듈에서 인가되는 상기 기초 애니메이션 데이터와 상기 공간정보를 시간대별로 취합하기 위한 애니메이션 데이터 취합모듈을 구비하여 구성된 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템.
  13. 제8항에서, 상기 수어 동영상 재생모듈은,
    수신되는 상기 방송데이터의 스트림을 지연시켜 상기 수어 애니메이션 데이터의 스트림과 재생시간을 동기화하여 동기화된 2개의 동영상스트림을 출력하는 재생시간 동기화모듈, 상기 수어 애니메이션 데이터에 의한 동영상 화면이 상기 방송데이터의 동영상 화면의 미리 정해진 일부 영역에 중첩될 수 있게 상기 동기화된 2개의 동영상스트림을 오버레이 처리하는 화면 오버레이 처리모듈 및 오버레이 처리한 상기 동기화된 2개의 동영상스트림을 상기 티브이로 출력하는 동영상 재생모듈을 포함하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송시스템.
  14. 방송망으로부터 수신되는 방송데이터를 지연시키는 과정;
    상기 방송데이터에 포함된 자막방송 데이터를 추출하거나 상기 방송데이터에 포함된 음성 데이터를 문자데이터로 변환하여 자막데이터를 얻는 과정;
    상기 자막데이터에 대해 형태소 분석을 하여 유의미 단어 배열 데이터를 생성하는 과정;
    상기 유의미 단어 배열 데이터에 포함된 단어들에 대응하는 수어 데이터를 얻는 과정;
    상기 자막데이터에 포함된 단어들과 문장의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 과정;
    상기 비수지신호 데이터에 대응하는 기초 비수지신호 애니메이션 데이터를 얻는 과정;
    상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 취합하고 시간 조정하여 수어 애니메이션 데이터를 생성하는 과정; 및
    지연시킨 상기 방송데이터와 상기 수어 애니메이션 데이터를, 지연시킨 상기 방송데이터의 화면의 일부 영역에 상기 수어 애니메이션 데이터의 화면이 중첩되어 표시될 수 있게 오버레이 처리하여, 티브이로 인가하는 과정을 포함하고,
    상기 자막데이터에 포함된 단어들과 문장의 의미를 분석하여 화자나 화제 대상의 공간 위치 또는 수향에 대한 정보를 얻어서 상기 화자나 상기 화제 대상의 공간 위치와 수향에 대한 데이터를 생성하는 공간분석 과정을 포함하고,
    상기 수어 애니메이션 데이터를 생성하는 과정은 상기 기초 비수지신호 애니메이션 데이터와 상기 수어 데이터에 상기 화자나 화제 대상의 공간 위치 또는 수향에 대한 데이터에 수어시작 공간과 수어 방향정보를 부여한 공간정보 데이터를 함께 조합하여 상기 수어 애니메이션 데이터를 생성하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송방법.
  15. 삭제
  16. 제14항에서, 상기 수어 데이터를 얻는 과정은 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하는 과정 및 고유명사, 신조어와 같은 사전비포함 단어에 대한 텍스트 또는 그래픽을 가지는 기초 애니메이션 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송방법.
  17. 방송망으로부터 수신되는 방송데이터를 지연시키는 과정;
    상기 방송데이터에 포함된 자막방송 데이터를 추출하거나 상기 방송데이터에 포함된 음성 데이터를 문자데이터로 변환하여 자막데이터를 얻는 과정;
    상기 자막데이터에 대해 형태소 분석을 하여 유의미 단어 배열 데이터를 생성하는 과정;
    상기 유의미 단어 배열 데이터에 포함된 단어들에 대응하는 수어 데이터를 얻는 과정;
    상기 자막데이터에 포함된 단어들과 문장의 의미와 의향을 분석하여 비수지신호 데이터를 생성하는 과정;
    상기 비수지신호 데이터에 대응하는 기초 비수지신호 애니메이션 데이터를 얻는 과정;
    상기 수어 데이터와 상기 기초 비수지신호 애니메이션 데이터를 취합하고 시간 조정하여 수어 애니메이션 데이터를 생성하는 과정; 및
    지연시킨 상기 방송데이터와 상기 수어 애니메이션 데이터를, 지연시킨 상기 방송데이터의 화면의 일부 영역에 상기 수어 애니메이션 데이터의 화면이 중첩되어 표시될 수 있게 오버레이 처리하여, 티브이로 인가하는 과정을 포함하고,
    상기 수어 애니메이션 데이터를 생성하는 과정은,
    상기 자막데이터에 포함된 단어들 중 사전포함 단어의 단어별 기초 애니메이션 데이터를 생성하는 과정;
    상기 자막데이터에 포함된 단어들 중 고유명사, 신조어와 같은 사전비포함 단어에 대한 텍스트 또는 그래픽을 포함하는 기초 애니메이션 데이터를 생성하는 과정;
    상기 자막데이터에 포함된 단어들과 관련된 화자나 화제 대상의 공간 위치 또는 수향에 대한 데이터를 토대로 수어시작 공간과 수어 방향정보를 부여한 공간정보 데이터를 생성하는 과정;
    상기 자막데이터에 포함된 단어들 중 비수지신호에 대한 이모티콘을 포함하는 기초 애니메이션 데이터를 생성하는 과정;
    상기 사전포함 단어의 단어별 기초 애니메이션 데이터, 상기 사전비포함 단어에 대한 기초 애니메이션 데이터, 상기 공간정보 데이터 및 상기 비수지신호에 대한 기초 애니메이션 데이터를 시간대별로 취합하여 기초 애니메이션 데이터를 생성하는 과정; 및
    상기 기초 애니메이션 데이터의 플레이 속도를 조정하여 상기 애니메이션 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 수어 애니메이션을 자동으로 생성하여 부가하는 방송방법.
KR1020180025706A 2018-03-05 2018-03-05 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법 KR101899588B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180025706A KR101899588B1 (ko) 2018-03-05 2018-03-05 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180025706A KR101899588B1 (ko) 2018-03-05 2018-03-05 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법

Publications (1)

Publication Number Publication Date
KR101899588B1 true KR101899588B1 (ko) 2018-09-17

Family

ID=63721946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025706A KR101899588B1 (ko) 2018-03-05 2018-03-05 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법

Country Status (1)

Country Link
KR (1) KR101899588B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200032614A (ko) * 2018-09-18 2020-03-26 이승일 인공지능을 이용한 텍스트 및 그림 데이터를 동영상 데이터로 생성하는 시스템
KR102104294B1 (ko) 2019-10-31 2020-04-24 주식회사 멀틱스 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
KR102110445B1 (ko) * 2018-11-09 2020-05-13 주식회사 이큐포올 표준문안 기반 수어번역시스템과 이를 이용한 재난/응급방송시스템, 수어번역 전송방법과 시스템 및 재난문자 발송시스템
KR102214598B1 (ko) * 2019-10-04 2021-02-09 에스케이브로드밴드주식회사 컨텐츠재생장치 및 그 동작 방법
KR20210055235A (ko) 2019-11-07 2021-05-17 서울대학교산학협력단 생성적 적대 신경망 기반 수어 영상 생성 시스템
KR20210068790A (ko) * 2019-12-02 2021-06-10 (주)이투엘네트웍 수화통역 시스템
KR102374599B1 (ko) * 2021-04-26 2022-03-16 (주)멀틱스 청각장애인을 위한 수어 영상 애니메이션 생성 방법
KR20220135874A (ko) * 2021-03-31 2022-10-07 한국전자통신연구원 수어 자막을 포함하는 방송 신호를 제공하는 방법 및 방송 신호 송수신 장치
KR20230025566A (ko) 2021-08-12 2023-02-22 (주)미르정보기술 수어를 이용한 대중교통의 운행정보 제공 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230640A (ja) * 2014-06-06 2015-12-21 日本放送協会 手話ｃｇ生成装置及びそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230640A (ja) * 2014-06-06 2015-12-21 日本放送協会 手話ｃｇ生成装置及びそのプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200032614A (ko) * 2018-09-18 2020-03-26 이승일 인공지능을 이용한 텍스트 및 그림 데이터를 동영상 데이터로 생성하는 시스템
KR102103518B1 (ko) 2018-09-18 2020-04-22 이승일 인공지능을 이용한 텍스트 및 그림 데이터를 동영상 데이터로 생성하는 시스템
KR102110445B1 (ko) * 2018-11-09 2020-05-13 주식회사 이큐포올 표준문안 기반 수어번역시스템과 이를 이용한 재난/응급방송시스템, 수어번역 전송방법과 시스템 및 재난문자 발송시스템
KR102214598B1 (ko) * 2019-10-04 2021-02-09 에스케이브로드밴드주식회사 컨텐츠재생장치 및 그 동작 방법
KR102104294B1 (ko) 2019-10-31 2020-04-24 주식회사 멀틱스 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
KR20210055235A (ko) 2019-11-07 2021-05-17 서울대학교산학협력단 생성적 적대 신경망 기반 수어 영상 생성 시스템
KR20210068790A (ko) * 2019-12-02 2021-06-10 (주)이투엘네트웍 수화통역 시스템
KR102300589B1 (ko) * 2019-12-02 2021-09-10 주식회사 에이아이톡 수화통역 시스템
KR20220135874A (ko) * 2021-03-31 2022-10-07 한국전자통신연구원 수어 자막을 포함하는 방송 신호를 제공하는 방법 및 방송 신호 송수신 장치
KR102580592B1 (ko) * 2021-03-31 2023-09-21 한국전자통신연구원 수어 자막을 포함하는 방송 신호를 제공하는 방법 및 방송 신호 송수신 장치
KR102374599B1 (ko) * 2021-04-26 2022-03-16 (주)멀틱스 청각장애인을 위한 수어 영상 애니메이션 생성 방법
KR20230025566A (ko) 2021-08-12 2023-02-22 (주)미르정보기술 수어를 이용한 대중교통의 운행정보 제공 시스템

Similar Documents

Publication Publication Date Title
KR101899588B1 (ko) 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
US11463779B2 (en) Video stream processing method and apparatus, computer device, and storage medium
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN106340294A (zh) 基于同步翻译的新闻直播字幕在线制作系统
EP2315201B1 (en) Transmitting and receiving apparatus and method, computer program, and broadcasting system with speech to sign language conversion
CN112601101B (zh) 一种字幕显示方法、装置、电子设备及存储介质
KR20010072936A (ko) 정보 스트림의 포스트-동기화
KR20040039432A (ko) 다중 언어 필사 시스템
KR20130029055A (ko) 청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템
KR20110062982A (ko) 실시간 방송 컨텐츠의 방송 요약 정보 생성 방법 및 장치와, 그 제공방법 및 방송 수신 장치
CN112616062A (zh) 一种字幕显示方法、装置、电子设备及存储介质
KR101582574B1 (ko) 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법
KR100436088B1 (ko) 디지털 방송용 컨텐츠 데이터의 재활용 방법 및 시스템
Duarte et al. Multimedia accessibility
JP5213572B2 (ja) 手話映像生成システム、サーバ、端末装置、情報処理方法、及びプログラム
TW201102836A (en) Content adaptive multimedia processing system and method for the same
He et al. Design and implementation of a sign language translation system for deaf people
CN115359796A (zh) 数字人手语播报方法、装置、设备及存储介质
KR101869053B1 (ko) 증강 방송 콘텐츠 수신 방법 및 장치, 증강 콘텐츠 제공 방법 및 장치, 증강 콘텐츠 제공 시스템
KR20140077730A (ko) 사용자 선호도 기반의 선택적 자막 표시 방법 및 장치
KR102160117B1 (ko) 장애인을 위한 실시간 방송 컨텐츠 제작 시스템
Oh et al. Avatar-based sign language interpretations for weather forecast and other TV programs
Ferreira et al. Providing support for sign languages in middlewares compliant with ITU J. 202
KR20130032655A (ko) 검색을 이용한 수화 방송 장치 및 방법
KR20170127652A (ko) 수화 방송을 보기 위한 방송수신 장치, 이를 포함하는 수화 방송시스템 및 수화 방송방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant