KR100443365B1 - 3D Sign Language Animation Generator System using TV Caption Signal - Google Patents

3D Sign Language Animation Generator System using TV Caption Signal Download PDF

Info

Publication number
KR100443365B1
KR100443365B1 KR10-2002-0016422A KR20020016422A KR100443365B1 KR 100443365 B1 KR100443365 B1 KR 100443365B1 KR 20020016422 A KR20020016422 A KR 20020016422A KR 100443365 B1 KR100443365 B1 KR 100443365B1
Authority
KR
South Korea
Prior art keywords
sign language
language animation
animation
generation system
signal
Prior art date
Application number
KR10-2002-0016422A
Other languages
Korean (ko)
Other versions
KR20030077348A (en
Inventor
김대진
김정배
장원
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2002-0016422A priority Critical patent/KR100443365B1/en
Publication of KR20030077348A publication Critical patent/KR20030077348A/en
Application granted granted Critical
Publication of KR100443365B1 publication Critical patent/KR100443365B1/en

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Abstract

본 발명은 티브이 자막 신호를 이용한 컴퓨터 기반 3차원 수화 애니메이션 발생 시스템에 관한 것이다.The present invention relates to a computer-based 3D sign language animation generation system using a TV subtitle signal.

본 발명은 현재 여러 방송국에서 송출하고 있는 티브이 자막 신호를 자막 신호 추출 장치를 이용하여 추출하고 컴퓨터의 시리얼 장치를 이용하여 전송한 후, 이를 각종 형태소 분석 알고리즘에 의해 수화식 표현으로 변형하고, 3차원 수화 애니메이션 데이터베이스를 참조하여 컴퓨터 화면 상에 3차원 수화 애니메이션을 표현하는 시스템에 관한 것이다. 수화식 표현으로 변형하기 위한 형태소 분석 알고리즘은 일반적인 형태소 분석 기능 이외에도 실시간 시스템 구현을 위한 불필요한 조사 및 어미의 생략 기능, 과거형 표현에 대한 전처리 기능, 고유명사에 대한 전처리 기능, 불규칙활용에 대한 전처리 기능, 복수형에 대한 전처리 기능 등을 구현하고 있다. 또한, 3차원 수화 애니메이션을 위한 3차원 수화자의 계층적 모델링, 3차원 수화 애니메이션 정보 표시창의 구성 및 전체적인 컴퓨터 화면 배치 방법을 제안하였다.The present invention extracts a TV caption signal currently transmitted from various broadcasting stations using a caption signal extracting apparatus and transmits it using a serial device of a computer, and then transforms it into a sign language expression by various morphological analysis algorithms, and then three-dimensionally. A system for representing a three-dimensional sign language animation on a computer screen with reference to a sign language animation database. In addition to the general morphological analysis, the morphological algorithm for transforming to a sign language expression includes unnecessary investigation and omitting functions for real-time system implementation, preprocessing for past expressions, preprocessing for proper nouns, preprocessing for irregular use, Preprocessing functions for plural forms are implemented. Also, hierarchical modeling of 3D sign language for 3D sign language animation, configuration of 3D sign language animation information display window and overall computer screen layout method are proposed.

Description

티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생 시스템{3D Sign Language Animation Generator System using TV Caption Signal}3D Sign Language Animation Generator System using TV Caption Signal based on TV subtitle signal

본 발명은 티브이 자막 방송의 자막 신호를 추출하여, 각종 전처리 알고리즘을 통하여 수화식 표현으로 변환하고 이를 기존의 3차원 수화 애니메이션 데이터베이스를 참조하여 3차원 수화 애니메이션으로 표현함으로써 농아인들의 티브이 자막 방송에 대한 이해를 증진시키는 시스템에 관한 것이다.The present invention extracts a subtitle signal of a TV subtitle broadcast, converts it into a sign language expression through various preprocessing algorithms, and expresses it as a 3D sign language animation with reference to an existing 3D sign language animation database. The present invention relates to a system that promotes this.

기존에 발표된 관련 기술로는 공개특허공보 제97-57097호, 제97-57098호, 제97-78586호, 제97-78587호, 제98-075333호, 제99-0081035호, 제99-0084001호 및 공개실용신안공보 제98-5878호를 통하여 수화기능표시 티브이, 음성신호의 수화 표시 티브이, 수화영상의 위치제어 티브이 등이 발표된바 있다. 그러나 이들은 수화 본래의 특성에 의존한 자막신호 처리 기술에 대하여는 전혀 고려하지 않고 있다.또한, 이들 문헌에는 수화기능의 표시를 위한 3차원 수화 애니메이션 기법에 대하여 제시하지 못하고 있고, 따라서 관련 제품 생산을 위한 구체적인 방안을 고려하지 못하고 있다.Previously published related technologies include Korean Patent Publication Nos. 97-57097, 97-57098, 97-78586, 97-78587, 98-075333, 99-0081035, and 99- Sign language function TV, sign language TV of voice signal, and position control TV of sign language video have been announced through 0084001 and Published Utility Model Publication No. 98-5878. However, they do not consider subtitle signal processing techniques that rely on the original characteristics of sign language. In addition, these documents do not present a three-dimensional sign language animation technique for displaying sign language functions. The specific plan is not considered.

본 발명은 상기한 종래 기술의 문제점을 해소하기 위해, 티브이 자막 신호를 추출하고 이에 대한 수화식 전처리 알고리즘을 제공하고, 전처리를 거친 수화식 표현에 대한 3차원 수화 애니메이션을 위한 데이터베이스 및 3차원 수화 애니메이션을 위한 화면 및 3차원 수화 애니메이션 발생 시스템을 제공하는 것을 목적으로 한다.The present invention provides a sign language preprocessing algorithm for extracting a TV subtitle signal and solving the problems of the related art, and a database and a 3D sign animation animation for 3D sign language animation for a pre-processed sign language expression. An object of the present invention is to provide a screen and a three-dimensional sign language animation generation system.

도 1은 티브이 자막 신호를 이용한 3차원 수화 애니메이션 발생 시스템의 전반적인 구성도;1 is an overall configuration diagram of a three-dimensional sign language animation generation system using a TV subtitle signal;

도 2는 입력된 티브이 자막 신호에 대한 전처리 과정 및 형태소 분석 알고리즘을 보여주는 흐름도;2 is a flowchart showing a preprocessing process and a morphological analysis algorithm for an input TV subtitle signal;

도 3은 티브이 자막 신호의 어절 정보에 대한 과거형 전처리 알고리즘을 보여주는 흐름도;3 is a flowchart showing a past type preprocessing algorithm for word information of a TV subtitle signal;

도 4는 티브이 자막 신호의 어절 정보에 대한 고유명사 전처리 알고리즘을 보여주는 흐름도;4 is a flowchart showing a proper noun preprocessing algorithm for word information of a TV subtitle signal;

도 5는 티브이 자막 신호의 어절 정보에 대한 불규칙활용 전처리 알고리즘을 보여주는 흐름도;5 is a flowchart showing an irregular utilization preprocessing algorithm for word information of a TV subtitle signal;

도 6은 티브이 자막 신호의 어절 정보에 대한 복수형 전처리 알고리즘을 보여주는 흐름도;6 is a flowchart showing a plurality of preprocessing algorithms for word information of a TV subtitle signal;

도 7은 티브이 자막 신호에 따라 순차적으로 표현되는 3차원 수화 애니메이션 정보 표시창을 보여주는 도면;FIG. 7 is a view showing a 3D sign language animation information display window sequentially displayed according to a TV subtitle signal; FIG.

도 8은 티브이 자막 신호의 얼굴표정 정보에 따른 3차원 수화자 모델의 다양한 얼굴표정을 보여주는 도면;FIG. 8 is a diagram illustrating various facial expressions of a 3D speaker model according to facial expression information of a TV subtitle signal; FIG.

도 9는 티브이 자막 신호의 화자 정보에 따른 다양한 3차원 수화자 모델을 보여주는 도면;9 is a view showing various three-dimensional speaker models according to speaker information of a TV subtitle signal;

도 10은 3차원 수화 애니메이션에 사용되는 3차원 수화자 모델의 구성에 사용된 계층적 구성을 보여주는 도면; 및FIG. 10 is a diagram showing a hierarchical configuration used for constructing a 3D talker model used for 3D sign language animation; FIG. And

도 11은 티브이 자막 방송과 3차원 수화 애니메이션 정보 표시창이 동시에 표현된 컴퓨터 화면 배치를 보여주는 도면이다.FIG. 11 is a diagram illustrating a computer screen arrangement in which a TV subtitle broadcast and a 3D sign language animation information display window are simultaneously displayed.

상기한 기술적 과제를 달성하기 위해 본 발명에 따른 티브이 자막 신호에 기반한 3차원 수화 애니메이션 발생 시스템(100)의 전체적 구성이 도 1에 도시되어 있다. 도 1에서와 같이, 티브이 자막 방송의 NTSC 신호가 자막신호 디코더(101)에 입력된다. 자막신호 디코더(101)는 NTSC 신호에 포함된 자막 신호를 추출하고, 이를 컴퓨터에 연결된 시리얼 장치를 통하여 2바이트 완성형 한글 코드로 변환한다. 완성형 한글 코드로 변환된 자막 신호는 자막 신호 전처리기(102)에 입력되어 수화식 표현 전처리 알고리즘을 사용하여 수화식 표현으로 변환된다. 자막 신호 전처리기(102)에 의하여 수화식 표현으로 변환된 한글 단어는 형태소 분석기(103)를 통하여 한글 형태소로 분해된다. 분해된 각 한글 형태소를 3차원 수화 애니메이션 데이터베이스(104)에서 검색하여 분해된 한글 형태소에 대응하는 수화단어가 데이터베이스(104)에 존재할 경우에는 해당하는 3차원 수화 애니메이션 데이터를 3차원 수화 그래픽으로 표현한다. 본 발명의 실시예에서 3차원 수화 애니메이션 데이터베이스(104)는 수화단어, 해당 수화단어를 표현하기 위해 필요한 3차원 수화 애니메이션의 프레임수, 해당 수화단어에 대한 품사정보의 수, 해당 수화단어에 대한 품사 정보, 각 프레임을 표현하기 위해 필요한 지연시간, 각 프레임에서 표현되는 3차원 수화자의 얼굴표정코드, 3차원 수화 애니메이션을 위한 3차원 수화자의 움직임을 위한 56개의 3차원 데이터 X,Y,Z 좌표 및 각도 정보 등을 포함한다. 만약, 현재 검색 중인 한글 형태소가 3차원 수화 애니메이션 데이터베이스(104)에 존재하지 않을 경우에는 3차원 지화 애니메이션 데이터베이스(105)를 검색하여 초/중/종성에 해당하는 3차원 지화 애니메이션을 표현하게 된다. 데이터베이스(104)에서 한글 형태소에 대응하는 수화단어가 검색되면 검색된 수화 단어에 대응하는 얼굴 표정을 표정 데이터베이스(106)로부터 검색하여 3차원 수화 애니메이션으로 표현할 수 있다. 또한 본 발명의 3차원 수화 애니메이션 발생 시스템은 수화를 표현하는 인체 모델을 선택할 수 있는 인체 모델 데이터베이스(107)를 포함한다. 이하에서는 본 발명의 수화 애니메이션 발생 시스템의 각 부분의 구성 및 동작을 첨부된 도면을 참조하여 상세히 설명한다.In order to achieve the above technical problem, the overall configuration of the 3D sign language animation generation system 100 based on the TV subtitle signal according to the present invention is shown in FIG. 1. As shown in FIG. 1, the NTSC signal of the TV closed caption broadcasting is input to the caption signal decoder 101. The caption signal decoder 101 extracts the caption signal included in the NTSC signal and converts the caption signal into a 2-byte complete Korean code through a serial device connected to a computer. The subtitle signal converted into the complete Hangul code is input to the subtitle signal preprocessor 102 and converted into a sign language expression using a sign language expression preprocessing algorithm. The Hangul word converted into a sign language representation by the caption signal preprocessor 102 is decomposed into Hangul morphemes through the morpheme analyzer 103. Each decomposed Hangul morpheme is retrieved from the 3D sign language animation database 104, and when a sign language word corresponding to the decomposed Hangul morpheme exists in the database 104, the corresponding 3D sign language animation data is represented as a 3D sign language graphic. . In the embodiment of the present invention, the three-dimensional sign language animation database 104 is a sign language word, the number of frames of the three-dimensional sign language animation required to express the sign language word, the number of parts of speech information for the sign language word, the part-of-speech for the sign language word Information, the delay time required to represent each frame, the facial expression code of the three-dimensional receiver represented in each frame, 56 three-dimensional data X, Y, Z coordinates for the movement of the three-dimensional receiver for the three-dimensional sign language animation, and Angle information and the like. If the Korean morpheme currently being searched does not exist in the 3D sign language animation database 104, the 3D sign language animation database 105 is searched to express a 3D paper animation corresponding to the elementary, middle, and final characters. When the sign language word corresponding to the Korean morpheme is searched in the database 104, the facial expression corresponding to the searched sign language word may be searched from the facial expression database 106 and expressed as a 3D sign language animation. In addition, the three-dimensional sign language animation generation system of the present invention includes a human body model database 107 from which a human body model representing a sign language can be selected. Hereinafter, the configuration and operation of each part of the sign language animation generating system of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 도 1의 자막 신호 전처리기(102) 및 형태소 분석기(103)의 동작, 수화 사전(104)의 검색 과정 및 미등록어 처리 과정을 체계적으로 보여준다.2 systematically illustrates operations of the caption signal preprocessor 102 and the morpheme analyzer 103 of FIG. 1, a search process of the sign language dictionary 104, and a non-registered word process.

자막 신호 디코더(101)에서는 컴퓨터로 입력된 시리얼 데이터를 PC에서 사용 가능한 완성형 한글 코드로 변환한다. 완성형 한글 코드로 표현된 자막 신호는 자막 신호 전처리기(102)에서 어절 구분 과정(S201) 및 지문 생략 과정(S210)을 통하여 ( )로 묶어서 표현되는 지문 등이 생략된 상태로 어절로 구분되고, 구분된 어절 자체에 대하여 우선 3차원 수화 애니메이션 데이터베이스 검색 과정(S202)을 거치게 된다. 이것은 일차로 구분된 어절 자체가 하나의 수화단어로 표현될 수 있는 경우가 있기 때문이다. 다음으로는 현재 구분된 어절에 대한 고유명사 전처리 알고리즘을 적용하여 고유명사인 경우 그에 해당하는 상징적 그림으로 표현한다(S203). 그 이후에는 과거형 전처리(S204), 고유명사 전처리(S205), 불규칙활용 전처리(S206), 복수형 전처리(S207) 알고리즘을 적용하고, 이렇게 전처리 과정을 거쳐 수화식 표현으로 변형된 한글 어절에 대하여 형태소 분석기(103)에서 형태소 분석 과정(S208)을 실행한다. 이러한 방식으로 하나의 어절에 대하여 다수의 형태소가 얻어질 수 있으며, 각 형태소에 대하여 3차원 수화 애니메이션 데이터베이스(104) 및 지화 애니메이션 데이터베이스(105)를 검색하고(S209) 그 결과가 3차원 수화/지화 애니메이션으로 표현된다. 여기서, 조사나 어미의 경우에는 불필요한 조사 및 어미 생략 기능(S211)을 통하여 생략 처리된다. 상기 전처리부의 불필요한 조사 및 어미의 생략 기능은 상기 형태소 분석기(102)의 결과로 얻어지는 좌우접속정보를 이용하여 해당 형태소의 품사에 기반하여 불필요한 조사 및 어미를 생략하는 방법을 사용한다. 하나의 어절에 속하는 모든 형태소에 대한 애니메이션 표현이 완료되면(S212) 단계 S201로 이동하여 다음 어절에 대하여 동일한 과정을 반복한다.The caption signal decoder 101 converts serial data input to a computer into a complete Hangul code that can be used on a PC. The subtitle signal represented by the complete Hangul code is divided into words in the subtitle signal preprocessor 102 in a state in which a fingerprint or the like expressed in () is omitted through a word classification process S201 and a fingerprint omission process S210. The separated word itself is first subjected to a 3D sign language animation search process (S202). This is because the first word itself can be expressed in one sign language. Next, if a proper noun is applied by applying a proper noun preprocessing algorithm for the currently classified word (S203). After that, the algorithms for past preprocessing (S204), proper noun preprocessing (S205), irregular utilization preprocessing (S206), and plural preprocessing (S207) algorithms are applied. In step 103, the morphological analysis process S208 is performed. In this way, a plurality of morphemes can be obtained for a word, and for each morpheme, the 3D sign language animation database 104 and the ground language animation database 105 are searched (S209), and the result is a 3D sign language / localization. It is represented by animation. Here, in the case of irradiation or the mother, it abbreviate | omits through unnecessary irradiation and the mother omission function (S211). The unnecessary irradiation and omitting function of the preprocessing unit uses a method of omitting unnecessary irradiation and ending based on the parts of speech of the morpheme by using left and right connection information obtained as a result of the morpheme analyzer 102. When the animation expression for all the morphemes belonging to one word is completed (S212), the process moves to step S201 and the same process is repeated for the next word.

도 3은 도 2의 전체 알고리즘에서 과거형 전처리 과정(도 2의 S204)을 상술하고 있다. 과거형 전처리를 위해서는 현재 어절을 우선 한 음절씩 분리한 후, 각 음절을 초/중/종성 변환을 통하여 변환된 종성을 사용하여 과거형 판별을 시작한다. 기본적으로 과거형의 경우, 종성이 'ㅆ'으로 표현되므로 이 경우에 대하여 중성 혹은 초성과 중성의 조합을 도 3에서와 같이 검토하여 과거형을 현재형으로 변환한다. 다만, 중성이 'ㅣ'인 경우에는 과거형이 아니므로 원래의 형태가 그대로 보존된다. 기본형으로의 변환을 위해서 종성의 'ㅆ'을 제거하고 이후 음절을 모두 삭제한 다음, 최종 음절에 '다'를 추가하는 방식으로 기본형을 생성한다. 다양한 모음 형태에 대하여 기본형으로 변환하는 규칙이 도 3에 상세히 기재되어 있으므로 각 모음 형태에 대한 개별적 설명은 생략한다.3 details the past preprocessing process (S204 of FIG. 2) in the overall algorithm of FIG. 2. For past preprocessing, current syllables are first separated by one syllable, and past syllables are discriminated using the finality transformed through the sec / mid / final conversion. Basically, in the case of the past tense, the finality is expressed as 'ㅆ'. In this case, the combination of the neutral or the initial and the neutral is examined as shown in FIG. 3 to convert the past tense to the present tense. However, if the neutral is 'ㅣ', the original form is preserved as it is not past tense. To convert to the basic form, the basic form is created by removing the final 'ㅆ', deleting all the syllables and then adding 'da' to the final syllable. The rules for converting the basic vowel form to the basic vowel form are described in detail in FIG.

도 4는 도 2의 고유명사의 전처리 과정(도 2의 S205)을 도시하고 있다. 현재 어절에 대하여 고유명사 데이터베이스를 검색하여, 고유명사가 현재 어절 내부에 포함되어 있을 경우에는 고유명사 자체만을 의미있는 부분으로 추출하여 도 2의 단계 203과 같이 고유명사에 대한 상징적인 그림을 추출하여 표현한다.FIG. 4 illustrates a preprocessing process (S205 of FIG. 2) of the proper noun of FIG. 2. Search the proper noun database for the current word, and if the proper noun is included in the current word, extract only the proper noun itself into a meaningful part, and extract a symbolic picture of the proper noun as shown in step 203 of FIG. Express.

도 5의 경우에도 고유명사의 전처리를 보인 도 4와 상당히 유사하지만, 여기서는 도 2에서 불규칙활용 데이터베이스에 포함된 기본형 혹은 규칙활용으로 변환하는 과정(도 2의 S206)을 보여주는 점에서 차이가 있다. 즉, 불규칙활용 데이터베이스에는 특정한 기본형 혹은 규칙활용에 대한 여러 가지 불규칙활용 형태가 저장되어 있어 임의의 어절이 알고리즘의 시작부분에 적용되면, 모든 불규칙활용 가능성을 조사하게 된다. 데이터베이스 검색 결과 해당 어절에 불규칙활용 형태가 포함되어다고 판단되면 불규칙활용 형태가 규칙활용 형태로 변환된다.In the case of Figure 5 is also quite similar to Figure 4 showing the preprocessing of proper nouns, but here is a difference in that the conversion to the basic form or regular use included in the irregular utilization database in Figure 2 (S206 of Figure 2). In other words, the irregular utilization database stores various irregular usage forms for a specific basic form or rule utilization. When an arbitrary word is applied at the beginning of the algorithm, all irregular utilization possibilities are examined. If the database finds that the word includes the irregular form, the irregular form is converted into a regular form.

도 6은 도 2의 복수형 전처리 과정(도 2의 S207)을 보여준다. 복수형 접미사 '들'이 포함된 어절은 대부분 복수형으로 분류되지만, 몇가지 예외가 있다. 예를 들어 '아들', '들' 등이 그것인데, 이러한 것들을 처리하기 위해서 본 발명에서는 복수형 예외 데이터베이스를 구성하여 이용하고 있다. 즉, 현재 입력된 어절 내부에 접미사 '들'이 존재하는 경우 복수형 예외 데이터베이스를 검색하여 예외 단어를 발견할 경우에는 그대로 알고리즘이 종료되고 그렇지 않은 경우에는 '들' 이후의 모든 음절을 생략하고 단수형 어절로 변환한다.FIG. 6 shows the plural pretreatment process of FIG. 2 (S207 of FIG. 2). Most words containing the suffix 's' are classified as plural, with a few exceptions. For example, such as 'son', 's', etc., in order to deal with these things, the present invention constructs and uses a plural exception database. In other words, if there is a suffix 's' inside the currently entered word, the algorithm terminates as soon as it finds an exception word by searching the plural exception database. Otherwise, all syllables after 's' are omitted and the singular word is omitted. Convert to

상기 기술한 각종 전처리 알고리즘은 수화식 표현을 위한 것으로 실제 농아인들을 위한 교육용 교재 및 농아인들을 위한 특수교사들의 도움을 받아서 구성한 것이다.The various preprocessing algorithms described above are for sign language expressions and are constructed with the help of education textbooks for deaf people and special teachers for deaf people.

다음으로는 도 1에서 얼굴 표정 추가, 3차원 수화 그래픽 발생, 렌더링 및 디스플레이 부분에 대해서 기술하기로 한다. 이 부분은 전체 시스템에서 3차원 수화 애니메이션 발생 및 사용자를 위한 화면 구성을 담당하고 있다.Next, in FIG. 1, facial expression addition, 3D sign language generation, rendering, and display parts will be described. This part is in charge of generating 3D sign language animation and configuring the screen for the user in the whole system.

우선, 도 7은 본 발명에서 개발된 3차원 수화 애니메이션 정보 표시창을 나타내고 있다. 티브이 자막 신호가 입력됨에 따라 3차원 수화자 모델의 움직임과 3차원 수화자 우상단에 위치한 사각형 패널 상에 고유명사에 해당하는 캐릭터가 표현되고 있다.First, Fig. 7 shows a three-dimensional sign language animation information display window developed in the present invention. As the TV subtitle signal is input, the characters corresponding to proper nouns are expressed on the movement of the 3D receiver model and on the rectangular panel located at the upper right of the 3D receiver.

3차원 수화자 모델은 도 10과 같이 수화자의 전체적인 형상을 구성하기 위하여 계층적인 구조를 취하고 있다. 즉, 수화 표현을 위해서 중요한 손과 관련된 부분과 몸통 및 얼굴 부위로 크게 분류하고, 세부적으로는 얼굴, 몸통을 따로 구성하고, 손 부분에서는 팔, 손바닥, 손가락 부분으로 세밀하게 구성하였다. 모든 모델은 원기둥 모델을 이용하였으며, 56개의 3차원 데이터 X,Y,Z 및 각도 정보가 모델의 3차원 애니메이션 정보로 사용된다.The three-dimensional talker model has a hierarchical structure to form the overall shape of the talker as shown in FIG. 10. In other words, the sign language is largely classified into the parts related to the hand, the body and the face, and the face and the body are separated in detail, and the hand part is composed of the arms, the palm, and the finger in detail. All models use a cylindrical model, and 56 three-dimensional data X, Y, Z and angle information are used as the three-dimensional animation information of the model.

특별히, 사용자 친화적인 화면 구성을 위하여 본 발명에서는 3차원 수화자의 얼굴모델을 여러 가지 형태로 이용하였다. 우선, 현재 표현할 수화단어의 얼굴표정코드에 따라 도 8에서와 같이 다양한 얼굴표정을 적용하였다. 이것은 실제 농아인들이 대화를 할 때 많은 얼굴표정이 사용되고, 비언어적 의사소통에 관한 국내외 다수의 연구에서 지적된 얼굴표정의 중요성에 기인한 것이다. 또한, 현재 티브이 자막 방송의 화자 변경에 따라 다양한 형태의 얼굴모델을 사용함으로써 시청자로 하여금 좀 더 자막 방송에 몰입할 수 있도록 하는 기능을 부여한다.In particular, in order to construct a user-friendly screen, the present invention uses a three-dimensional face model of a 3D talker in various forms. First, various facial expressions are applied as shown in FIG. 8 according to facial expression codes of sign language words to be expressed. This is due to the fact that many face expressions are actually used when deaf people talk, and the importance of face expressions pointed out in many studies at home and abroad on nonverbal communication. In addition, according to the change of the speaker of the current TV subtitle broadcasting by using various types of face model to give viewers a more immersive subtitle broadcasting.

도 11은 상기 기술한 3차원 수화 애니메이션 정보 표시창이 화면 우하단에 배치되고, 현재 방영중인 티브이 자막 방송이 화면 전체에 표시되는 전체 컴퓨터 화면 배치도를 보여주고 있다. 이것은 기존의 수화자 통역사를 동반한 티브이 방송의 형태와 최대한 유사하게 구성함으로써 시청자로 하여금 친숙감을 느끼도록 하는데 그 목적이 있다. 각 화면의 배치 및 크기 등은 간단한 프로그래밍을 통하여 손쉽게 변경할 수 있다.FIG. 11 is a layout view of the entire computer screen in which the 3D sign language animation information display window described above is disposed at the lower right of the screen, and the TV subtitle broadcast currently being aired is displayed on the entire screen. The purpose of this is to make viewers feel familiar by constructing as much as possible the form of TV broadcasting with a sign language interpreter. The layout and size of each screen can be easily changed through simple programming.

이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.The technical spirit of the present invention has been described above with reference to the accompanying drawings, but this is by way of example only and not intended to limit the present invention. In addition, it is obvious that any person skilled in the art can make various modifications and imitations without departing from the scope of the technical idea of the present invention.

본 발명은 기존의 티브이 자막 신호를 이용한 3차원 수화 애니메이션을 통하여, 농아인들의 자막 방송에 대한 이해를 돕고 티브이 프로그램을 통해 여가 생활을 영위하거나 사회 활동 및 교육에 필요한 정보를 제공하는데 유용하게 사용될 수 있다.The present invention can be usefully used to help the deaf people understand the subtitle broadcasting through the 3D sign language animation using the existing TV subtitle signal and to provide information necessary for leisure activities or social activities and education through the TV program. .

Claims (14)

티브이 신호에 포함된 자막 신호를 추출하는 자막신호 디코더;A caption signal decoder for extracting a caption signal included in the TV signal; 상기 자믹신호 디코더에서 추출된 자막 신호에 대해 지문 생략 기능과, 불필요한 조사 및 어미의 생략 기능과, 과거형 표현을 현재형으로 변환하는 기능과, 고유명사에 대한 상징적인 그림 표현 기능과, 불규칙활용을 규칙활용으로 변환하는 기능 및 복수형을 단수형으로 변환하는 기능을 실행하여 수화식 표현에 적합한 자막 신호로 가공하는 전처리부;For the subtitle signal extracted from the magnetic signal decoder, fingerprint omission function, unnecessary search and omitting function, conversion of past expression to present type, symbolic pictorial expression function for proper nouns, and irregular use rule A pre-processing unit for executing a function for converting into utilization and a function for converting into a plural form into a subtitle signal suitable for a sign language expression; 상기 전처리부에 의해 얻어진 수화식 표현에 적합한 자막 신호를 형태소로 분석하는 형태소 분석부;A morpheme analysis unit for analyzing a caption signal suitable for a sign language expression obtained by the preprocessor, as a morpheme; 상기 형태소 분석 결과에 따라 적합한 3차원 수화 애니메이션 데이터를 제공하는 3차원 수화 애니메이션 데이터베이스부;A 3D sign language animation database unit which provides suitable 3D sign language animation data according to the morphological analysis result; 상기 3차원 수화 데이터베이스부에 의해 얻어진 3차원 수화 애니메이션 데이터를 이용하여 3차원 수화 애니메이션을 구현하기 위한 3차원 수화자 모델부; 및A 3D sign language model unit for implementing 3D sign language animation using 3D sign language animation data obtained by the 3D sign language database unit; And 상기 3차원 수화자 모델부 및 관련 3차원 정보를 표현하기 위한 3차원 수화 애니메이션 정보 표시창을 포함하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.And a 3D sign language animation information display window for expressing the 3D sign language model unit and the related 3D information. 제1항에 있어서,The method of claim 1, 상기 전처리부의 지문 생략 기능은 입력된 자막 신호에 포함된 ( ) 등으로 묶여 표현되는 각종 지문을 생략하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The fingerprint skipping function of the preprocessor is a TV subtitle signal-based 3D sign language animation generation system, characterized in that to omit various fingerprints represented by () included in the input subtitle signal. 제1항에 있어서,The method of claim 1, 상기 전처리부의 불필요한 조사 및 어미의 생략 기능은 상기 형태소 분석기의 결과로 얻어지는 좌우접속정보를 이용하여 해당 형태소의 품사에 기반하여 불필요한 조사 및 어미를 생략하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The unnecessary investigation and omitting function of the preprocessing unit omits unnecessary investigation and ending based on the parts of speech of the morpheme by using left and right connection information obtained as a result of the morpheme analyzer. Generation system. 제1항에 있어서,The method of claim 1, 상기 전처리부의 상기 과거형 표현을 현재형으로 변환하는 기능은 한글의 과거형 종성으로 많이 사용되는 'ㅆ'을 중심으로 하여 과거형 표현에 사용되는 한글 모음 변환 규칙을 이용하여 과거형 표현을 현재형으로 변환하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The function of converting the past form of the preprocessor into the present form is characterized by converting the past form into the present form using the Hangul vowel conversion rule used in the past form centering on 'ㅆ' which is frequently used as the past form of the Hangul. TV subtitle signal based 3D sign language animation generation system. 제1항에 있어서,The method of claim 1, 상기 전처리부의 상기 고유명사에 대한 상징적인 그림 표현 기능은 대표적으로 많이 사용되는 인물 혹은 자막 방송 프로그램의 주요 인물들에 대한 고유명사 데이터베이스를 사용하여 고유명사를 구별하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The symbolic picture expression function for the proper nouns of the preprocessing unit is based on the TV subtitle signal, characterized in that distinguishes proper nouns using a proper noun database for the most commonly used person or the main person of the closed captioning program. 3D sign language animation generation system. 제1항에 있어서,The method of claim 1, 상기 전처리부의 상기 불규칙활용을 규칙활용으로 변환하는 기능은 국어사전 등을 통한 사전조사를 통하여 여러 가지 불규칙활용에 대한 기본형 및 그 불규칙활용 형태를 수록한 불규칙활용 데이터베이스를 사용하여 불규칙활용 형태에 대응하는 기본형 혹은 규칙활용 형태로 변환하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The function of converting the irregular utilization of the preprocessing unit into regular utilization corresponds to an irregular utilization form using an irregular utilization database containing basic forms and various forms of irregular utilization through preliminary investigation through a Korean dictionary. TV subtitle signal based 3D sign language animation generation system, characterized in that the conversion to the basic form or regular use form. 제1항에 있어서,The method of claim 1, 상기 전처리부의 상기 복수형을 단수형으로 변환하는 기능은 복수형 접미사 '들'이 복수형 이외의 의미로 사용된 경우를 수록한 복수형 예외 데이터베이스를 사용하여 복수형 어절을 단수형 어절로 변환하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The function of converting the plural form into the singular form of the preprocessing unit converts the plural word into the singular word using a plural exception database containing the case where the plural suffix 's' is used in a meaning other than the plural form. Based 3D sign language animation generation system. 제1항에 있어서,The method of claim 1, 상기 3차원 수화 애니메이션 데이터베이스부는,The 3D sign language animation database unit, 수화단어, 해당 수화단어를 표현하기 위해 필요한 3차원 수화 애니메이션의 프레임수, 해당 수화단어에 대한 품사정보의 수, 해당 수화단어에 대한 품사 정보, 각 프레임을 표현하기 위해 필요한 지연시간, 각 프레임에서 표현되는 3차원 수화자의 얼굴표정코드, 3차원 수화 애니메이션을 위한 3차원 수화자의 움직임을 위한56개의 3차원 데이터 X,Y,Z 좌표 및 각도 정보 등을 포함하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.Sign language, the number of frames of 3D sign language animation needed to express the sign language word, the number of parts of speech information about the sign language word, part of speech information about the sign language word, the delay time required to express each frame, in each frame TV subtitle signal-based 3 comprising facial expression codes of three-dimensional receivers expressed, 56 three-dimensional data X, Y, Z coordinates and angle information for movement of three-dimensional receivers for three-dimensional sign animation 3D sign language animation generation system. 제1항에 있어서,The method of claim 1, 상기 3차원 수화자 모델부는,The 3D speaker model unit, 실제 수화자의 전체적인 형상을 나타내기 위하여 머리, 몸통, 다리, 팔 및 손, 손가락 등으로 계층적인 구조로 구성되어 있으며, 특별히 수화 표현에서 중요한 손 및 손가락의 모델을 원기둥에 근거하여 표현하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.It is composed of hierarchical structure of head, torso, legs, arms, hands, and fingers to represent the overall shape of the actual speaker. TV subtitle signal based 3D sign language animation generation system. 제9항에 있어서,The method of claim 9, 상기 3차원 수화자 모델의 머리부는,The head of the 3D speaker model, 현재 표현하는 수화단어와 연관되어 표정 데이터베이스에 수록된 얼굴표정코드에 따라서 다른 얼굴표정을 나타내는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.A TV subtitle signal-based 3D sign language animation generation system, characterized in that the facial expression code is associated with a currently expressed sign language and recorded in a facial expression database. 제9항에 있어서,The method of claim 9, 상기 3차원 수화자 모델의 머리부는,The head of the 3D speaker model, 현재 티브이 자막 신호의 화자에 따라 서로 다른 얼굴을 표현하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.TV subtitle signal-based 3D sign language animation generation system, characterized in that to express different faces according to the speaker of the current TV subtitle signal. 제1항에 있어서,The method of claim 1, 상기 3차원 수화 애니메이션 정보 표시창부는,The 3D sign language animation information display window unit, 3차원 수화자 모델 및 배경, 고유명사에 대한 캐릭터를 표현하기 위한 패널을 포함하는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.A 3D sign language-based 3D sign language animation system comprising a panel for expressing a character for a 3D speaker model, a background, and a proper noun. 제1항에 있어서,The method of claim 1, 상기 3차원 수화 애니메이션 발생 시스템이 하나의 컴퓨터에 내장되고 상기 컴퓨터의 화면에 상기 3차원 수화 애니메이션 정보 표시창이 방영 중인 티브이 자막 화면의 일부에 포함되어 표시되는 것을 특징으로 하는 티브이 자막 신호 기반 3차원 수화 애니메이션 발생 시스템.The 3D sign language-based 3D sign language is characterized in that the 3D sign language animation generation system is embedded in one computer, and the 3D sign language animation information display window is included in a part of the TV subtitle screen on the screen of the computer. Animation generation system. 삭제delete
KR10-2002-0016422A 2002-03-26 2002-03-26 3D Sign Language Animation Generator System using TV Caption Signal KR100443365B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0016422A KR100443365B1 (en) 2002-03-26 2002-03-26 3D Sign Language Animation Generator System using TV Caption Signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0016422A KR100443365B1 (en) 2002-03-26 2002-03-26 3D Sign Language Animation Generator System using TV Caption Signal

Publications (2)

Publication Number Publication Date
KR20030077348A KR20030077348A (en) 2003-10-01
KR100443365B1 true KR100443365B1 (en) 2004-08-09

Family

ID=32376669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0016422A KR100443365B1 (en) 2002-03-26 2002-03-26 3D Sign Language Animation Generator System using TV Caption Signal

Country Status (1)

Country Link
KR (1) KR100443365B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101000924B1 (en) 2004-02-03 2010-12-13 삼성전자주식회사 Caption presentation method and apparatus thereof
KR100819251B1 (en) * 2005-01-31 2008-04-03 삼성전자주식회사 System and method for providing sign language video data in a broadcasting and telecommunication system
KR100796278B1 (en) * 2006-07-06 2008-01-21 주식회사 한국스테노 The apparatus and method of receiving of talking with the hands with caption
KR102129536B1 (en) 2013-08-06 2020-07-03 삼성전자주식회사 Mobile terminal and method for controlling the mobile terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259638A (en) * 1993-03-02 1994-09-16 Hokkaido Oki Denki Syst:Kk Device and system for automatic transaction serving a handicapped person
KR970078580A (en) * 1996-05-10 1997-12-12 배순훈 Television with character / hydration function
KR19990070056A (en) * 1998-02-17 1999-09-06 남일수 Method and apparatus for translating Korean sentences containing English spellings and numbers into sign language
KR20000017756A (en) * 1999-11-12 2000-04-06 황병익 Apparatus for Translating of Finger Language

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259638A (en) * 1993-03-02 1994-09-16 Hokkaido Oki Denki Syst:Kk Device and system for automatic transaction serving a handicapped person
KR970078580A (en) * 1996-05-10 1997-12-12 배순훈 Television with character / hydration function
KR19990070056A (en) * 1998-02-17 1999-09-06 남일수 Method and apparatus for translating Korean sentences containing English spellings and numbers into sign language
KR20000017756A (en) * 1999-11-12 2000-04-06 황병익 Apparatus for Translating of Finger Language

Also Published As

Publication number Publication date
KR20030077348A (en) 2003-10-01

Similar Documents

Publication Publication Date Title
JP3435175B2 (en) Sign language learning device
CN110446063B (en) Video cover generation method and device and electronic equipment
KR100953979B1 (en) Sign language learning system
KR20050086478A (en) Multimodal speech-to-speech language translation and display
CN112508750A (en) Artificial intelligence teaching device, method, equipment and storage medium
CN109166409B (en) Sign language conversion method and device
KR101358999B1 (en) method and system for multi language speech in charactor
Zhang et al. Teaching chinese sign language with a smartphone
Podder et al. Design of a sign language transformer to enable the participation of persons with disabilities in remote healthcare systems for ensuring universal healthcare coverage
Dreuw et al. The signspeak project-bridging the gap between signers and speakers
KR100348823B1 (en) Apparatus for Translating of Finger Language
KR100443365B1 (en) 3D Sign Language Animation Generator System using TV Caption Signal
KR100730573B1 (en) Sign Language Phone System using Sign Recconition and Sign Generation
Dixit et al. Audio to indian and american sign language converter using machine translation and nlp technique
Kumar et al. Indian sign language generation system
Trujillo-Romero et al. Mexican Sign Language corpus: Towards an automatic translator
Schmalz Real-time Italian Sign Language Recognition with Deep Learning
Baehaqi et al. Morphological analysis of speech translation into Indonesian sign language system (SIBI) on android platform
Alqahtani et al. Improving the Virtual Educational Platforms for the Deaf and Dumb under the Covid-19 Pandemic Circumstances
Ghorpade et al. ITTS model: speech generation for image captioning using feature extraction for end-to-end synthesis
CN114666307B (en) Conference interaction method, conference interaction device, equipment and storage medium
Sevilla et al. Tools for the Use of SignWriting as a Language Resource
Шовковий et al. Data structures for deductive simulation of HDL conditional operators
Shovkovyi et al. Automatic sign language translation system using neural network technologies and 3d animation
Jeong et al. Syllable-level Korean Fingerspelling Recognition from a Video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110714

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee