KR20200010927A - 배리어프리 오페라 제작시스템 및 방법 - Google Patents

배리어프리 오페라 제작시스템 및 방법 Download PDF

Info

Publication number
KR20200010927A
KR20200010927A KR1020180085576A KR20180085576A KR20200010927A KR 20200010927 A KR20200010927 A KR 20200010927A KR 1020180085576 A KR1020180085576 A KR 1020180085576A KR 20180085576 A KR20180085576 A KR 20180085576A KR 20200010927 A KR20200010927 A KR 20200010927A
Authority
KR
South Korea
Prior art keywords
lyrics
opera
barrier
free
string
Prior art date
Application number
KR1020180085576A
Other languages
English (en)
Other versions
KR102096529B1 (ko
Inventor
정희정
Original Assignee
정희정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정희정 filed Critical 정희정
Priority to KR1020180085576A priority Critical patent/KR102096529B1/ko
Publication of KR20200010927A publication Critical patent/KR20200010927A/ko
Application granted granted Critical
Publication of KR102096529B1 publication Critical patent/KR102096529B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G06K2209/01—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명의 일 실시예는 제1 언어로 기록된 기준 오페라 악보로부터 음표 및 쉼표를 포함하는 기호열과, 가사 및 지문을 포함하는 텍스트 형태의 기준문자열을 추출하는 단계, 상기 기준문자열 중 적어도 지문, 나아가 가사를 제2 언어로 번역하여 번역지문을 포함하는 번역문자열을 생성하는 단계, 상기 기호열에 관한 정보 및 상기 기준문자열에 관한 정보를 이용하여, 상기 대사들 사이의 간격들에 대한 간격정보를 생성하는 단계 및 상기 간격정보를 이용하여 상기 기준 오페라 악보 중 상기 가사들 사이공간에 상기 번역문자열을 기록하는 단계를 포함하는, 배리어프리 오페라 제작방법을 제공한다.

Description

배리어프리 오페라 제작시스템 및 방법{MANUFACTRUING SYSTEM OF BARRIERFREE OPERA AND MANUFACTURING METHOD THEREOF}
본 발명의 실시예들은 배리어프리 오페라 제작시스템 및 방법에 대한 것이다.
배리어프리(barrier free)라는 용어는 1974년 국제연합 장애인생활환경전문가회의에서 '장벽 없는 건축 설계(barrier free design)에 관한 보고서가 나오면서 건축학 분야에서 사용되기 시작하였다. 이후, 일본, 스웨덴, 미국 등 선진국을 중심으로 휠체어를 탄 고령자나 장애인들도 비장애인과 다름없이 편하게 살 수 있게 하자는 뜻에서 주택이나 공공시설을 지을 때 문턱을 없애자는 운동을 전개하면서 세계 곳곳으로 확산되었다.
최근에는 건축이나 도로, 공공시설 등과 같은 물리적인 장벽뿐만 아니라 자격과 시험 등을 제한하는 제도적, 법률적 장벽을 비롯해, TV, 신문, 인터넷 등 정보 전달 수단에 존재하는 장벽과 장애인이나 노인에 대해 사회가 가지는 각종 차별 및 편견, 의식상 장벽까지 제거하자는 움직임으로 '배리어 프리' 운동이 확대되고 있다.
이러한 배리어프리 운동은 다양한 분야에서 이루어지고 있으며, 오직 소리만으로 오페라를 구성해 시각장애인이 오페라를 즐길 수 있도록 한 배리어프리 오페라 등 일반적으로 장애인이나 노인이 누리기 어렵다 여겨지는 문화 콘텐츠에도 전개되고 있다.
상기한 배리어프리 오페라는 소리로만 오페라를 구성해야 하기 때문에, 배역들의 행동이나 무대 배경들에 대한 설명을 대사와 대사 사이의 쉬는 시간에 성우를 통해 전달해야 한다. 그러나, 기존 오페라 악보에는 이러한 지문이나 배경설명 등이 대사와 다른 위치에 기록되어 있어, 성우가 이를 언제 전달해야 하는지 알 수가 없었다. 이를 위하여 대사와 대사 사이에 지문이나 배경설명이 기록된 배리어프리 오페라 악보가 필요하나, 종래에는 사람의 손으로 일일이 기록하는 방법밖에 없었다.
상기한 문제 및/또는 한계를 해결하기 위하여, 기존 오페라 악보를 배리어프리 오페라 악보로 자동으로 변환할 수 있는 배리어프리 오페라 제작시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 제1 언어로 기록된 기준 오페라 악보로부터 음표 및 쉼표를 포함하는 기호열과, 가사 및 지문을 포함하는 텍스트 형태의 기준문자열을 추출하는 단계, 상기 기준문자열 중 적어도 지문을 제2 언어로 번역하여 번역지문을 포함하는 번역문자열을 생성하는 단계, 상기 기호열에 관한 정보 및 상기 기준문자열에 관한 정보를 이용하여, 상기 대사들 사이의 간격들에 대한 간격정보를 생성하는 단계 및 상기 간격정보를 이용하여 상기 기준 오페라 악보 중 상기 대사들 사이공간에 상기 번역문자열을 기록하는 단계를 포함하는, 배리어프리 오페라 제작방법을 제공한다.
본 발명의 일 실시예에 있어서, 상기 간격정보는 상기 기준 오페라 악보 상에서 상기 가사와 가사 사이의 물리적 길이를 포함하는 길이 정보와, 상기 가사와 가사 사이의 음악적 시간을 포함하는 쉼표 박자 정보를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 번역문자열을 기록하는 단계는, 상기 간격정보와 상기 번역문자열을 비교하고, 상기 간격들 각각에 대응될 상기 번역문자열의 길이가 상기 물리적 길이보다 크거나, 상기 번역문자열을 사전에 설정된 템포로 읽을 때의 시간이 상기 음악적 시간보다 큰 경우, 상기 번역문자열을 요약한 후 상기 가사들 사이공간에 기록하는 단계일 수 있다.
본 발명의 일 실시예에 있어서, 상기 기준 오페라 악보로 공연한 동영상 정보를 제공받는 단계 및 상기 동영상 정보를 이용하여 상기 가사와 가사 사이의 음악적 시간을 조정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예는, 가사와 가사 사이에 배리어프리 문장이 기록된 배리어프리 오페라 악보를 이용하는 오페라 공연 시스템에 있어서, 오페라 공연의 실제 템포값을 감지하고 상기 실제 템포값을 포함하는 음향 정보를 생성하는 음향센서부, 상기 배리어프리 오페라 악보로부터 텍스트 형태의 제1 가사, 상기 제1 가사 다음 가사인 제2 가사 및 상기 제1 가사와 상기 제2 가사 사이에 배치된 상기 배리어프리 지문을 추출하는 텍스트 추출부, 상기 제1 가사의 길이 및 상기 실제 템포값을 이용하여 상기 제1 가사가 끝나는 제1 마침시각을 추정하고, 상기 추정된 제1 마침시각을 이용하여 상기 배리어프리 문장이 시작되어야 하는 시작시각을 결정하는 시간추정부 및 상기 시작시각을 외부로 표시하는 알림부를 포함하는, 배리어프리 오페라 공연 시스템을 제공한다.
본 발명의 일 실시예에 있어서, 상기 텍스트 추출부는 오페라 악보로부터 음표 및 쉼표를 포함하는 기호열을 더 추출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 시간추정부는 상기 기호열에 관한 정보를 이용하여 상기 제1 가사와 상기 제2 가사 사이의 음악적 시간을 계산하고, 상기 배리어프리 문장의 길이와 상기 음악적 시간을 이용하여 상기 배리어프리 문장의 목표 템포값을 계산할 수 있다.
본 발명의 일 실시예에 있어서, 상기 알림부는 상기 목표 템포값을 외부로 더 표시할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 따른 배리어프리 오페라 악보 제작방법은 일반적인 오페라 악보로부터 시각장애인을 위한 배리어프리 오페라 악보를 자동적으로 생성할 수 있게 된다. 또한, 본 발명의 실시예들에 따른 배리어프리 오페라 악보 제작방법은 가사와 가사 사이 간격에 대응되는 시간 내에 읽혀질 수 있는 요약된 번역지문 혹은 가사를 기록함으로써, 실제 공연에 적합한 배리어프리 오페라 악보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 배리어프리 오페라 제작시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1의 배리어프리 오페라 제작시스템을 이용하여 배리어프리 오페라 악보를 제조하는 방법을 순차적으로 도시한 순서도이다.
도 3은 기존 오페라 악보에 대한 도면이다.
도 4는 도 1의 배리어프리 오페라 제작 시스템을 이용하여 제조된 배리어프리 오페라 악보에 대한 도면이다.
도 5는 본 발명의 일 실시예에 따라 제작된 배리어프리 오페라 악보를 이용하여 공연하는 배리어프리 오페라 공연 시스템을 개략적으로 도시한 블록도이다.
도 6은 도 5의 배리어프리 오페라 공연 시스템을 이용하는 공연 방법에 대한 순서도이다.
도 7은 도 6의 배리어프리 오페라 공연 시스템을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 이하의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 실시예들은 다양한 변환을 가할 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 실시예들의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 내용들을 참조하면 명확해질 것이다. 그러나 본 실시예들은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하의 실시예에서 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시예에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
이하의 실시예에서 유닛, 영역, 구성 요소 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 유닛, 영역, 구성 요소 등이 개재되어 있는 경우도 포함한다.
이하의 실시예에서 연결하다 또는 결합하다 등의 용어는 문맥상 명백하게 다르게 뜻하지 않는 한, 반드시 두 부재의 직접적 및/또는 고정적 연결 또는 결합을 의미하는 것은 아니며, 두 부재 사이에 다른 부재가 개재된 것을 배제하는 것이 아니다.
명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 이하의 실시예는 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 배리어프리 오페라 제작시스템(10)을 개략적으로 도시한 블록도이고, 도 2는 도 1의 배리어프리 오페라 제작시스템(10)을 이용하여 배리어프리 오페라 악보를 제조하는 방법을 순차적으로 도시한 순서도이다. 도 3은 기존 오페라 악보에 대한 도면이고, 도 4는 도 1의 배리어프리 오페라 제작 시스템(10)을 이용하여 제조된 배리어프리 오페라 악보에 대한 도면이다.
도 1, 도 3 및 도 4를 참조하면, 본 발명의 일 실시예에 따른 배리어프리 오페라 제작시스템(10)은 번역부(110), 요약부(120), 배리어프리 오페라 악보 생성부(130), 기준 오페라 악보 수신부(140), 추출부(150) 및 기록부(170)를 포함할 수 있으며, 동영상 수신부(160)를 더 포함할 수 있다.
기준 오페라 악보 수신부(140)는 기준 오페라 악보(1)를 제공받을 수 있다. 여기서, 기준 오페라 악보(1)는 악보를 포함하며, 종이, 이미지 또는 컴퓨터 파일 형태로 제공될 수 있다. 기준 오페라 악보(1)는 제1 언어로 기록될 수 있으며, 예를 들면, 이태리어로 가사 또는 지문 등의 문자가 기록될 수 있다. 다만, 제1 언어는 이태리어로 한정될 필요는 없으며, 독일어로 기록되어 있을 수도 있고, 기존에 오페라 공연에 쓰여지는 언어로 기록될 수도 있다. 여기서, 가사는 가곡, 가요, 오페라 등에 음악과 함께 들려줄 것을 전제로 하여 쓰인 글일 수도 있으나, 음악과 별개로 쓰여진 대사와 같은 글일 수도 있다. 본 명세서에서는 설명의 편의를 위하여, 가사가 음악과 함께 들려줄 것을 전제로 하는 경우뿐만 아니라, 음악과 별개로 쓰여진 대사인 경우도 포함하는 것으로 정의한다. 기준 오페라 악보 수신부(140)는 종이 형태로 제공되는 기준 오페라 악보(1)의 이미지를 획득하기 위한 스캐너 또는 촬상 장치를 포함할 수 있다.
추출부(150)는 제1 언어로 기록된 기준 오페라 악보(1)로부터 음표(S11) 및 쉼표(S12)를 포함하는 기호열(S1)과, 가사(W12) 및 지문(W11)을 포함하는 텍스트 형태의 기준문자열(W1)을 추출할 수 있다. 추출부(150)는 텍스트를 추출할 수 있는 공지의 기술을 이용하여 기준 오페라 악보(1)로부터 기호열(S1) 및 기준문자열(W1)을 추출할 수 있으며, 예를 들면, OCR(Optical character recognition) 기술을 이용해 기호열(S1) 및 기준문자열(W)을 추출할 수 있다.
번역부(110)는 기준문자열(W1) 중 적어도 지문(W11)을 제2 언어로 번역하여 번역지문을 포함하는 번역문자열(O1)을 생성할 수 있다. 번역부(110)는 가사(W12) 및 지문(W11)을 제2 언어로 번역할 수도 있고, 가사(W12)만을 번역하여 번역문자열(O1)을 생성할 수도 있다. 번역부(110)는 기계어 번역 과정을 통해 제1 언어로 기록된 기준문자열(W1)을 제2 언어의 번역문자열(O1)로 변환할 수 있다. 이때, 앞서 설명한 바와 같이, 기준 오페라 악보(1)는 이태리어나 독일어로 작성되어 있는 경우가 대부분이므로, 제1 언어는 이태리어, 혹은 독일어일 수 있고, 제2 언어는 한국어, 혹은 대상 관객이 사용하는 언어일 수 있다.
번역부(110)는 추출된 기준문자열(W1)로부터 문장 단위의 문장에 대하여, 미리 설정된 언어 모델을 이용하여 문장의 정확성을 검사할 수 있다. 또한, 번역부(110)는 미리 설정된 언어 모델을 이용하여, 웹 상의 출현 빈도, 각 언어 모델에서 미리 학습된 문자 결합 관계 등을 기초로 번역 대상 문장을 최종적으로 결정할 수 있다. 이후, 번역부(110)는 번역 대상 문장에 대하여 기계 번역을 수행할 수 있다.
배리어프리 오페라 악보 생성부(130)는 기호열(S1)에 관한 정보 및 기준문자열(W1)에 관한 정보를 이용하여, 대사(W12)들 사이의 간격들에 대한 간격정보를 생성할 수 있다. 예를 들면, 배리어프리 오페라 악보 생성부(130)는 제1 가사(W121)와 제2 가사(W122) 사이의 간격(B)에 대한 정보를 생성함에 있어, 추출부(150)에 의해 추출된 제1 가사(W121)와 제2 가사(W122)의 사이의 거리뿐만 아니라, 음표(S11)들 사이의 쉼표(S12) 박자 정보를 함께 이용할 수 있다.
상기한 간격정보(B)는 번역지문이 기록될 위치를 파악하기 위한 정보로서, 기준 오페라 악보(1)의 가사들 사이의 물리적인 공백이면서 가사의 소절과 소절 사이의 시간적 간격일 수 있다. 다시 말해, 간격정보(B)는 기준 오페라 악보(1) 상에서 가사와 가사 사이의 물리적 길이를 포함하는 길이 정보와, 가사와 가사 사이의 음악적 시간을 포함하는 쉼표 박자 정보를 포함할 수 있다.
여기서, 만약 가사와 가사 사이의 물리적 길이가 길다고 하더라도, 가사와 가사 사이의 음악적 시간이 성우가 번역지문을 읽는 시간보다 짧은 경우에는 문제가 될 수 있다. 이러한 경우, 배리어프리 오페라 악보 생성부(130)는 요약부(120)를 통해 번역된 문장을 요약할 수 있다.
배리어프리 오페라 악보 생성부(130)는 상기한 간격정보(B)와 번역문자열(O1)을 비교하고, 간격들 각각에 대응될 번역지문의 길이가 물리적 길이보다 크거나, 번역지문을 사전에 설정된 템포로 읽을 때의 시간이 쉼표 박자 정보를 통해 도출되는 음악적 시간보다 큰 경우에는, 요약부(120)를 이용하여 번역지문을 요약할 수 있다.
요약부(120)는 형태소 분석을 통해 주어진 번역지문을 품사 정보가 포함된 단어의 집합으로 생성할 수 있다. 요약부(120)는 단어의 집합을 사전에 학습된 텍스트 기술자 학습 모델을 이용하여 텍스트 기술자(descriptor or feature)로 생성할 수 있다. 예를 들면, 텍스트 기술자는 수치형(numerical) 다차원 벡터 형태로 표현될 수 있다. 텍스트 기술자 생성을 위하여 단어 출현 빈도 히스토그램, TF(team frequency)/IDF(inverse document frequency), 언어 학습 모델(예컨대, word2vec, phrase2vec, document2vec 등) 등이 사용될 수 있다.
요약부(120)는 기준 오페라 악보(1)로부터 추출되어 번역된 번역문자열(O1) 전체 내용과 해당 번역지문을 비교하여 단어의 유사성 및 다양성을 기반으로 한 점수를 산출할 수 있다. 요약부(120)는 산출된 점수를 이용하여 번역지문 중 핵심 단어를 확률적으로 선택할 수 있다. 이때, 배리어프리 오페라라는 분야 특성 상, 어떤 인물이 어떠한 행동을 하는지 또는 어떠한 상황인지를 설명하는 것이 중요하므로, 요약부(120)는 요약이 필요한 해당 번역지문의 단어가 주변 문장들과 얼마나 유사한지를 판단하여 단어들 중 중요단어를 선택할 수 있다.
예를 들면, 요약부(120)는 번역지문의 단어 중 주변 문장들과 유사성이 낮은 단어에 높은 점수를 부여할 수 있다. 요약부(120)는 새롭게 등장하는 단어에 높은 점수를 부여하여 이를 중심으로 요약함으로써, 변화되는 무대 상황을 정확하게 전달하는 요약된 번역지문을 생성할 수 있다. 그러나, 본 발명은 반드시 이에 제한되는 것은 아니며, 요약부(120)는 단어의 품사에 따라 유사성 또는 다양성에 대한 점수를 다른 기준으로 산출할 수도 있다.
한편, 배리어프리 오페라 악보 생성부(130)는 간격정보(B) 중 쉼표 박자 정보와 관련된 음악적 시간을 산출하는 과정에서 기준 오페라 악보(1)로 공연된 동영상 정보를 이용할 수 있다. 동영상 정보는 동영상 수신부(160)를 통해 획득될 수 있으며, 동영상 수신부(160)는 기준 오페라 악보(1)로 공연되어 녹화된 동영상으로부터 적어도 템포를 포함하는 동영상 정보를 획득할 수 있다. 배리어프리 오페라 악보 생성부(130)는 음악적 시간을 계산함에 있어, 상기한 템포를 포함하는 동영상 정보를 이용하여 쉼표 박자 정보를 통해 계산된 음악적 시간을 조정할 수 있다. 이를 통해, 본 발명의 일 실시예에 따른 배리어프리 오페라 제작시스템(10)은 좀 더 실제 공연에 가까운 간격정보를 생성하여, 배리어프리 오페라 악보를 제작할 수 있다.
한편, 기록부(170)는 상기한 간격정보(B)를 이용하여 앞선 가사에 대응되는 번역문자열을 기준 오페라 악보 중 가사들(W12) 사이공간에 기록하여, 배리어프리 오페라 악보(2)를 생성할 수 있다.
이하, 본 발명의 일 실시예에 따른 배리어프리 오페라 악보 제작방법에 대하여 설명한다.
도 2, 도 3 및 도 4를 참조하면, 먼저, 본 발명의 일 실시예에 따른 배리어프리 오페라 악보 제작방법은 제1 언어로 기록된 기준 오페라 악보(1)로부터 음표(S11) 및 쉼표(S12)를 포함하는 기호열(S1)과, 가사(W12) 및 지문(W11)을 포함하는 텍스트 형태의 기준문자열(W1)을 추출한다(S100). 기준문자열(W1)을 추출하는 과정은, 인물마다 이루어질 수 있다. 다시 말해, 도 3에 도시된 바와 같이, 기준 오페라 악보(1)에는 복수의 인물(P1, P2)이 등장할 수 있고, 각각에 대응되는 가사와 지문을 하나의 그룹으로 하여 기준문자열(W1, W2)을 추출할 수 있다. 다만, 이하에서는 설명의 편의를 위하여, 인물 하나(예를 들어, MiMi, P1)를 중심으로 배리어프리 오페라 악보 제작방법에 대하여 설명하기로 한다.
다음, 번역부(110)를 이용하여, 기준문자열(W1) 중 적어도 지문(W11)을 제2 언어로 번역하여 번역지문을 포함하는 번역문자열(O1)을 생성한다(S200). 기준 오페라 악보(1)에 기록된 지문(W11)의 경우, 배우들의 행동 또는 상황을 나타내는 문장이므로, 배리어프리 오페라에서는 이를 정확히 전달하는 것이 중요하다. 또한, 이와 함께, 기준 오페라 악보(1)에 기록된 가사(W12)는 제1 언어로 공연 시 무대에 설치되는 별도의 디스플레이 장치를 통해 제2 언어로 번역되어 제공되는데, 시각장애인은 이를 확인하기가 어렵다. 따라서, 가사(W12) 또한, 제2 언어로 번역하고 성우를 통해 설명해주는 것이 필요하므로, 번역문자열(O1)은 번역가사를 포함할 수도 있다.
다음, 배리어프리 오페라 악보 생성부(130)를 이용하여, 기호열(S1)에 관한 정보 및 기준문자열(W1)에 관한 정보를 이용하여, 가사들 사이의 간격(B)들에 대한 간격정보를 생성한다. 이때, 간격정보는 제1 가사(W121)에 대한 소절(A)과 다음 대사인 제2 가사(W122)에 대한 소절(C) 사이의 간격(B)에 대한 정보일 수 있다. 간격정보는 앞서 설명한 바와 같이, 기준 오페라 악보(1)에서 가사와 가사 사이의 물리적 길이를 포함하는 길이 정보와, 가사와 가사 사이의 음악적 시간을 포함하는 쉼표 박자 정보를 포함할 수 있다.
여기서, 기준 오페라 악보(1) 중 가사와 가사 사이의 공간은 한 인물(P1)에 대한 가사와 가사 사이의 공간일 수도 있지만, 오페라 상에서는 인물들의 대화를 통해 극이 전개되므로, 제1 인물(P1)의 가사와 제2 인물(P2)의 가사 사이의 공간일 수도 있다.
배리어프리 오페라 악보 생성부(130)는 생성된 간격정보와 번역문자열을 비교하되(S310), 간격(B)들 각각에 대응될 번역지문의 길이가 물리적 길이보다 크거나, 번역지문을 사전에 설정된 템포로 읽을 때의 시간이 쉼표 박자 정보를 이용해 도출된 음악적 시간보다 큰 지를 판단할 수 있다(S320). 이때, 번역지문의 길이가 물리적 길이보다 짧거나, 사전에 설정된 템포로 읽을 때의 시간이 음악적 시간보다 짧은 경우에는 번역 지문을 그대로 기준 오페라 악보(1) 중 가사와 가사 사이의 사이공간에 기록한다(S400).
만약, 간격(B)들 각각에 대응될 번역지문의 길이가 물리적 길이보다 크거나, 번역지문을 사전에 설정된 템포로 읽을 때의 시간이 쉼표 박자 정보를 이용해 도출된 음악적 시간보다 큰 경우에는, 요약부(120)를 이용하여 번역지문을 요약한 다음(S340) 기록할 수 있다.
이러한 과정을 통해, 본 발명의 실시예들에 따른 배리어프리 오페라 악보 제작방법은 일반적인 오페라 악보로부터 시각장애인을 위한 배리어프리 오페라 악보를 자동적으로 생성할 수 있게 된다. 또한, 본 발명의 실시예들에 따른 배리어프리 오페라 악보 제작방법은 가사와 가사 사이 간격에 대응되는 시간 내에 읽혀질 수 있는 요약된 번역지문을 기록함으로써, 실제 공연에 적합한 배리어프리 오페라 악보를 제공할 수 있다.
한편, 도 5는 본 발명의 일 실시예에 따라 제작된 배리어프리 오페라 악보를 이용하여 공연하는 배리어프리 오페라 공연 시스템(20)을 개략적으로 도시한 블록도이고, 도 6은 도 5의 배리어프리 오페라 공연 시스템(20)을 이용하는 공연 방법에 대한 순서도이다. 도 7은 도 6의 배리어프리 오페라 공연 시스템(20)을 설명하기 위한 도면이다.
도 5 내지 도 7을 참조하면, 본 발명의 일 실시예에 따른 배리어프리 오페라 공연 시스템(20)은 음향센서부(210), 텍스트 추출부(220), 시간 추정부(230) 및 알림부(240)를 포함할 수 있다.
여기서, 배리어프리 오페라 공연은 배리어프리 오페라 악보를 이용하여 배경,인물의 복장, 행동, 대사(가사)에 대한 배리어프리 문장을 성우들의 음성으로 제공하는 공연을 의미한다. 성우들은 오페라 인물에 대응되는 복수 명으로 이루어질 수 있으며, 오페라 배우들의 가사 중간 중간에 각각 인물들의 가사를 번역하거나 행동들을 설명한 배리어프리 문장을 읽어 음성으로 제공할 수 있다. 이때, 성우들은 실제 공연하는 오페라 공연을 보면서 타이밍을 맞추어 배리어프리 문장을 읽어야 하는데, 오페라 공연은 지휘자의 지휘 스타일에 따라 그 템포가 달라질 수도 있고, 성우들이 오페라 악보의 음악적 기호들에 대한 비전문가일 수도 있어, 그 적합한 타이밍을 맞추는 것이 어려웠다.
본 발명의 일 실시예에 따른 배리어프리 오페라 공연 시스템(20)은 성우들이 해당 배리어프리 문장을 적합한 타이밍에 읽을 수 있도록 안내하는 것을 특징으로 한다.
한편, 배리어프리 오페라 공연 시스템(20)은 가사와 가사 사이에 배리어프리 문장이 기록된 배리어프리 오페라 악보를 이용할 수 있다. 이때, 배리어프리 오페라 악보는 전술한 바와 같이, 배리어프리 오페라 악보 제작방법에 의해 제작된 배리어프리 오페라 악보일 수도 있고, 사람이 수동으로 제작한 배리어프리 오페라 악보일 수도 있다. 배리어프리 오페라 공연 시스템(20)은 상기한 배리어프리 오페라 악보를 이미지 또는 파일 형태로 수신받을 수 있으며, 수신하기 위한 구성요소, 예를 들면, 스캐너 또는 촬상장치를 포함할 수 있다.
음향센서부(210)는 오페라 공연의 실제 템포값을 포함하는 음향 정보를 감지할 수 있다. 음향센서부(210)는 예를 들면, 마이크를 통해 공연의 음정을 감지할 수 있으며, 음정의 빠르기를 이용하여 실제 템포값을 분석하고, 이를 포함하는 음향 정보를 생성할 수 있다.
텍스트 추출부(220)는 배리어프리 오페라 악보(2, 도 4 참조)로부터 텍스트 형태의 제1 가사(W121), 제1 가사(W121) 다음 대사인 제2 가사(W122) 및 제1 가사(W121)와 제2 가사(W122) 사이에 배치된 배리어프리 문장(O121)을 추출할 수 있다. 배리어프리 문장(O121)은 도시된 바와 같이, 이태리어로 기록된 "Grazie"라는 제1 가사(W121)를 한국어로 번역한 "감사합니다."라는 번역가사(O121)거나, 기호열(S2) 상단에 기재된 지문(W21)을 한국어로 번역한 번역지문(O211)일 수 있다. 한편, 텍스트 추출부(220)는 배리어프리 오페라 악보(2)로부터 음표(S11) 및 쉼표(S12)를 포함하는 기호열(S1)을 더 추출할 수 있다.
시간 추정부(230)는 제1 대사(W121)의 길이 및 실제 템포값을 이용하여 제1 대사(W121)가 끝나는 제1 마침시각을 추정하고, 추정된 제1 마침시각을 이용하여 배리어프리 문장이 시작되어야 하는 시작 시각을 결정할 수 있다. 다시 말해, 시간 추정부(230)는 제1 대사(W121)의 물리적인 길이 및 음악적 빠르기를 이용하여 제1 대사(W121)가 언제 끝날 것인지를 추정하고, 추정된 제1 마침시각에 대응하여 시작 시각(T1)을 결정할 수 있다. 이때, 시작 시각(T1)은 상기한 제1 마침시각과 동일할 수 있으나, 소정의 지연시간을 고려하여 계산될 수도 있다.
또한, 시간 추정부(230)는 기호열(S1)에 관한 정보를 이용하여 제1 가사(W121)와 제2 가사(W122) 사이의 음악적 시간을 계산하고, 배리어프리 문장의 물리적인 길이와 음악적 시간을 이용하여 배리어프리 문장의 목표 템포값을 계산할 수 있다. 다시 말해, 시간 추정부(230)는 읽어야 하는 대상 배리어프리 문장이 실제 공연에서 어떠한 빠르기로 읽어야 하는지를 계산할 수 있다.
알림부(240)는 계산된 상기 시작시각(T1)을 외부로 표시할 수 있다. 알림부(240)는 음향신호를 외부로 제공하는 스피커 또는 영상신호를 외부로 제공하는 디스플레이 장치를 구비할 수 있다. 알림부(240)는 해당 배리어프리 문장을 읽어야 하는 시작시각(T1)을 외부에 표시할 수 있고, 이를 통해, 성우들은 정확한 타이밍에 배리어프리 문장을 읽어 음성으로 제공할 수 있다. 한편, 알림부(240)는 목표템포값을 외부로 더 표시할 수도 있다.
다른 실시예로서, 배리어프리 오페라 공연 시스템(20)은 음향효과부(250)를 더 포함할 수 있다. 음향효과부(250)는 추출된 배리어프리 지문의 방향성을 판단하고, 방향에 대응되는 사운드효과를 시각장애인에 제공할 수 있다. 음향효과부(250)는 시각장애인에 소리를 제공하는 좌스피커와 우스피커를 포함할 수 있다. 예를 들면, 배리어프리 문장의 내용이 "미미가 무대 왼쪽에서 오른쪽으로 걸어가며"라는 내용일 경우, 음향효과부(250)는 추출된 텍스트로부터 방향성을 판단하고, 사람의 발자국 소리가 좌스피커에서는 점점 작아지되, 우스피커에서는 점점 커지도록 좌스피커와 우스피커의 음량을 제어할 수 있다. 이를 통해, 배리어프리 오페라 공연 시스템(20)은 시각장애인에 무대 상황을 더욱 효과적으로 전달할 수 있다.
이하, 전술한 배리어프리 오페라 공연 시스템(20)을 이용하여 배리어프리 오페라 공연을 제공하는 방법에 대하여 설명한다.
먼저, 배리어프리 오페라 공연을 제공하는 방법은 음향센서부(210)를 이용하여 오페라 공연의 실제 템포값을 감지하고, 이를 포함하는 음향 정보를 생성한다(S210). 이때, 배리어프리 오페라 공연 시스템(20)은 미리 배리어프리 오페라 악보로부터, 텍스트 형태의 제1 가사(W121), 제1 가사(W121) 다음 가사인 제2 가사(W122) 및 제1 가사(W121)와 제2 가사(W122) 사이에 배치된 배리어프리 문장(O121)을 추출할 수 있다(S220). 도 6에서는 배리어프리 문장(O121)을 추출하는 단계(S220)가 오페라 공연의 실제 템포값을 감지하는 단계(S210) 다음으로 도시하였으나, 반드시 그러할 필요는 없으며, 배리어프리 문장(O121)을 추출하는 단계(S220)가 실제 오페라 공연이 시작되기 전에 우선될 수 있음은 물론이다.
다음, 시간 추정부(230)는 제1 가사(W121)의 길이 및 실제 템포값을 이용하여 제1 가사가 끝나는 제1 마침시각을 추정하고(S230), 추정된 제1 마침시각을 이용하여 배리어프리 문장의 시작 시각(T1)을 결정한다(S240). 시간 추정부(230)는 전술한 바와 같이, 기호열(S1)에 관한 정보를 이용하여 제1 가사(W121)와 제2 가사(W122) 사이의 음악적 시간을 계산하고, 배리어프리 문장의 길이와 음악적 시간을 이용하여 배리어프리 문장의 목표 템포값을 더 계산할 수 있다.
다음, 알림부(240)를 이용하여, 상기 결정된 시작시각(T1)을 외부로 표시할 수 있다(S250). 예를 들면, 알림부(240)는 소리를 통해 시작시각(T1)을 성우에게 알려줄 수도 있고, 영상을 통해 시작시각(T1)을 알려줄 수도 있다. 예를 들면, 도 7에서와 같이, 알림부(240)는 시작시각(T1)을 영상으로 알릴 수 있으며, 이때, 배리어프리 문장의 자막 영상(D1)을 이와 동시에 외부로 제공할 수 있다.
한편, 알림부(240)는 시간 추정부(230)에서 계산한 목표템포값을 외부로 더 표시할 수 있다. 알림부(240)는 자막 영상(D1)의 인접한 영역에 안내 영상(D2)을 배치시키고, 움직이는 목표점(A)을 이용하여 성우로 자막의 어느 부분을 읽어야 하는지를 안내할 수 있다. 다른 실시예로서, 알림부(240)는 자막 영상(D1)에 중첩되며, 색상을 달리하는 표시를 통해서도 어느 부분을 읽어야 하는지를 안내할 수도 있다.
전술한 바와 같이, 본 발명의 실시예들에 따른 배리어프리 오페라 공연 시스템(20)은 실제 배리어프리 오페라 공연과 배리어프리 오페라 악보와의 싱크를 맞춤으로써, 성우들에게 해당 배리어프리 문장을 읽어야 하는 시작시각을 정확히 알려줄 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
10: 배리어프리 오페라 제작시스템
110 : 번역부
120 : 요약부
130 : 배리어프리 오페라 악보 생성부
140 : 기준 오페라 악보 수신부
150 : 추출부
160 : 동영상 수신부
170 : 기록부

Claims (8)

  1. 제1 언어로 기록된 기준 오페라 악보로부터 음표 및 쉼표를 포함하는 기호열과, 가사 및 지문을 포함하는 텍스트 형태의 기준문자열을 추출하는 단계;
    상기 기준문자열 중 적어도 지문을 제2 언어로 번역하여 번역지문을 포함하는 번역문자열을 생성하는 단계;
    상기 기호열에 관한 정보 및 상기 기준문자열에 관한 정보를 이용하여, 상기 대사들 사이의 간격들에 대한 간격정보를 생성하는 단계; 및
    상기 간격정보를 이용하여 상기 기준 오페라 악보 중 상기 대사들 사이공간에 상기 번역문자열을 기록하는 단계;를 포함하는, 배리어프리 오페라 제작방법.
  2. 제1 항에 있어서,
    상기 간격정보는 상기 기준 오페라 악보 상에서 상기 가사와 가사 사이의 물리적 길이를 포함하는 길이 정보와, 상기 가사와 가사 사이의 음악적 시간을 포함하는 쉼표 박자 정보를 포함하는, 배리어프리 오페라 제작방법.
  3. 제2 항에 있어서,
    상기 번역문자열을 기록하는 단계는,
    상기 간격정보와 상기 번역문자열을 비교하고, 상기 간격들 각각에 대응될 상기 번역문자열의 길이가 상기 물리적 길이보다 크거나, 상기 번역문자열을 사전에 설정된 템포로 읽을 때의 시간이 상기 음악적 시간보다 큰 경우, 상기 번역문자열을 요약한 후 상기 가사들 사이공간에 기록하는 단계인, 배리어프리 오페라 제작방법.
  4. 제2 항에 있어서,
    상기 기준 오페라 악보로 공연한 동영상 정보를 제공받는 단계; 및
    상기 동영상 정보를 이용하여 상기 가사와 가사 사이의 음악적 시간을 조정하는 단계;를 더 포함하는, 배리어프리 오페라 제작방법.
  5. 가사와 가사 사이에 배리어프리 문장이 기록된 배리어프리 오페라 악보를 이용하는 오페라 공연 시스템에 있어서,
    오페라 공연의 실제 템포값을 감지하고 상기 실제 템포값을 포함하는 음향 정보를 생성하는 음향센서부;
    상기 배리어프리 오페라 악보로부터 텍스트 형태의 제1 가사, 상기 제1 가사 다음 가사인 제2 가사 및 상기 제1 가사와 상기 제2 가사 사이에 배치된 상기 배리어프리 지문을 추출하는 텍스트 추출부;
    상기 제1 가사의 길이 및 상기 실제 템포값을 이용하여 상기 제1 가사가 끝나는 제1 마침시각을 추정하고, 상기 추정된 제1 마침시각을 이용하여 상기 배리어프리 문장이 시작되어야 하는 시작시각을 결정하는 시간추정부; 및 상기 시작시각을 외부로 표시하는 알림부;를 포함하는, 배리어프리 오페라 공연 시스템.
  6. 제5 항에 있어서,
    상기 텍스트 추출부는 오페라 악보로부터 음표 및 쉼표를 포함하는 기호열을 더 추출하는, 배리어프리 오페라 공연 시스템.
  7. 제6 항에 있어서,
    상기 시간추정부는 상기 기호열에 관한 정보를 이용하여 상기 제1 가사와 상기 제2 가사 사이의 음악적 시간을 계산하고, 상기 배리어프리 문장의 길이와 상기 음악적 시간을 이용하여 상기 배리어프리 문장의 목표 템포값을 계산하는, 배리어프리 오페라 공연 시스템.
  8. 제7 항에 있어서,
    상기 알림부는 상기 목표 템포값을 외부로 더 표시하는, 배리어프리 오페라 공연 시스템.



KR1020180085576A 2018-07-23 2018-07-23 배리어프리 오페라 제작시스템 및 방법 KR102096529B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180085576A KR102096529B1 (ko) 2018-07-23 2018-07-23 배리어프리 오페라 제작시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180085576A KR102096529B1 (ko) 2018-07-23 2018-07-23 배리어프리 오페라 제작시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200010927A true KR20200010927A (ko) 2020-01-31
KR102096529B1 KR102096529B1 (ko) 2020-05-27

Family

ID=69369194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085576A KR102096529B1 (ko) 2018-07-23 2018-07-23 배리어프리 오페라 제작시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102096529B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230079574A (ko) * 2021-11-29 2023-06-07 한국과학기술연구원 라이브 공연의 자막 동기화를 위한 인공지능 학습 방법
CN117240983A (zh) * 2023-11-16 2023-12-15 湖南快乐阳光互动娱乐传媒有限公司 一种自动生成有声剧的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086570A (ja) * 2005-09-26 2007-04-05 Yamaha Corp 自動伴奏装置及びプログラム
JP2007122277A (ja) * 2005-10-26 2007-05-17 Kawai Musical Instr Mfg Co Ltd 楽譜認識装置および楽譜認識プログラム
JP2009519534A (ja) * 2005-12-16 2009-05-14 エミル リミテッド テキスト編集装置及び方法
KR101793184B1 (ko) * 2016-06-29 2017-11-03 전남대학교산학협력단 촬영된 음악 악보 영상의 자동연주를 위한 가사 영역 추출장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086570A (ja) * 2005-09-26 2007-04-05 Yamaha Corp 自動伴奏装置及びプログラム
JP2007122277A (ja) * 2005-10-26 2007-05-17 Kawai Musical Instr Mfg Co Ltd 楽譜認識装置および楽譜認識プログラム
JP2009519534A (ja) * 2005-12-16 2009-05-14 エミル リミテッド テキスト編集装置及び方法
KR101793184B1 (ko) * 2016-06-29 2017-11-03 전남대학교산학협력단 촬영된 음악 악보 영상의 자동연주를 위한 가사 영역 추출장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230079574A (ko) * 2021-11-29 2023-06-07 한국과학기술연구원 라이브 공연의 자막 동기화를 위한 인공지능 학습 방법
CN117240983A (zh) * 2023-11-16 2023-12-15 湖南快乐阳光互动娱乐传媒有限公司 一种自动生成有声剧的方法及装置
CN117240983B (zh) * 2023-11-16 2024-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种自动生成有声剧的方法及装置

Also Published As

Publication number Publication date
KR102096529B1 (ko) 2020-05-27

Similar Documents

Publication Publication Date Title
JP5104762B2 (ja) コンテンツ要約システムと方法とプログラム
JP5313466B2 (ja) 音声の再生に同期して音声の内容を表示させる技術
WO2005069171A1 (ja) 文書対応付け装置、および文書対応付け方法
US20110135152A1 (en) Information processing apparatus, information processing method, and program
JP6737398B2 (ja) 重要単語抽出装置、関連会議抽出システム、及び重要単語抽出方法
TWI536366B (zh) 新增口說語彙的語音辨識系統與方法及電腦可讀取媒體
Ivanko et al. Multimodal speech recognition: increasing accuracy using high speed video data
KR102096529B1 (ko) 배리어프리 오페라 제작시스템 및 방법
JP5045486B2 (ja) 対話装置及びプログラム
JP2004343488A (ja) 字幕挿入方法、字幕挿入システム、および字幕挿入プログラム
CN116312552A (zh) 一种视频说话人日志方法及系统
JP2019023690A (ja) 言語識別装置、言語識別方法、及び言語識別プログラム
CN114996506A (zh) 语料生成方法、装置、电子设备和计算机可读存储介质
US11176943B2 (en) Voice recognition device, voice recognition method, and computer program product
JP4934090B2 (ja) 番組登場人物抽出装置及び番組登場人物抽出プログラム
JP5243886B2 (ja) 字幕出力装置、字幕出力方法及びプログラム
CN114495946A (zh) 声纹聚类方法、电子设备和存储介质
JP2009175803A (ja) 障がい者向けパーソナルコンピュータ要約者支援方法及び装置及びプログラム
KR20170051759A (ko) 비교음 생성을 통한 어학학습방법 및 어학학습프로그램
Yamamoto et al. Privacy protection for speech signals
Bredin et al. Measuring audio and visual speech synchrony: methods and applications
WO2021161856A1 (ja) 情報処理装置及び情報処理方法
Kumar et al. Robust audio-visual speech synchrony detection by generalized bimodal linear prediction.
WO2021161908A1 (ja) 情報処理装置及び情報処理方法
Bigi An analysis of produced versus predicted French Cued Speech keys

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right