JP7267568B2 - 映像・音声合成方法 - Google Patents
映像・音声合成方法 Download PDFInfo
- Publication number
- JP7267568B2 JP7267568B2 JP2018206333A JP2018206333A JP7267568B2 JP 7267568 B2 JP7267568 B2 JP 7267568B2 JP 2018206333 A JP2018206333 A JP 2018206333A JP 2018206333 A JP2018206333 A JP 2018206333A JP 7267568 B2 JP7267568 B2 JP 7267568B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- synthesizing
- person
- sound
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
このような映像字幕若しくは台詞吹替の二つの手段が存在することで、外国の人物が出演する外国ドラマの映像コンテンツは世界的に輸出販売することが容易となっている。
また、同じ内容の日本映画を外国映画或いは外国映画を日本映画とする場合、舞台となる全てのセットをそれぞれ製作放映される国にて準備する必要があった。
カメラで実写された実写人物映像とコンピュータグラフィックで製作された人物の背景となる舞台映像とを対応付けて合成する映像合成のステップと、
前記実写人物の実録音声と当該実録音声の背景となるサウンド音とを対応付けて合成するサウンド合成のステップと、
さらに、前記映像合成のステップの出力と前記サウンド合成のステップの出力とを合成して映像コンテンツを製作するステップと、
前記映像コンテンツの前記実写人物映像とは異なる人物の実写人物映像に差し替えるステップと、
前記実写人物映像とは異なる人物の実写人物映像と前記舞台映像とを対応付けて合成する映像合成のステップと、
前記映像コンテンツの前記実録音声とは異なる人物の実録音声に差し替え、前記サウンドとを対応付けて合成するサウンド合成のステップと、
さらに、前記異なる人物の映像合成のステップの出力と前記サウンド合成のステップの出力とを合成して映像翻訳コンテンツを製作するステップからなることを特徴とする。
第二の発明は、第一の発明において、前記実写人物映像と前記実録音声の合成及び異なる人物の前記実写人物映像と前記実録音声の合成は同期して行なわれることを特徴とする。
図2のフローを用いて、映像コンテンツの製作に係る映像と音声を合成するプロセスをステップ順に追って説明する。ただ、ステップS6までは、映像コンテンツの製作準備といえるものであるため簡略に説明する。
ステップS1は、脚本(ストーリー)の作成で、脚本によって実現されるべき映像やシーン、台詞や効果音などのサウンド、また、登場する人物や舞台を想定して完成させていく。
ステップS2は、脚本をベースに映像演出計画(絵コンテの作成)で、脚本を基に登場人物の動きやカメラの位置などを、カットごとに絵で示していく。
ステップS3は、絵コンテをベースに映像で撮影計画映像(映像コンテ)を作成する。
ステップS4は、映像コンテ内容をベースに撮影計画を練る。
ステップS5は、合成撮影用のセットの設計を行う。
ステップS7は、ステップS6で作成された一色の合成用舞台セットの中で、人物の演技を撮影と音声の録音とが同時になされる。つまり、音声の録音とは同期している(この状態を符号Tで示す点線で表している)。すなわち、後述する実写人物映像と実録音声の合成及び異なる人物の実写人物映像と実録音声の合成が同期して行なわれることになる。
人物の演技の撮影は、一つのカメラないし2つ以上の複数のカメラが用いられる。本実施形態での説明において、CGなどの映像に対し、実際に撮影された映像を指す用語として区別するため実写という用語を適宜用いる。
ステップS8は、被写体となる人物と関係無い色調を背景に人物が演技した映像から、撮影済み映像の背景が抜き取る。つまり、人物だけが切り出され、その色調を光学的にあるいは電子的に抜き出し、排除する。
ステップ10において、撮影済み映像の背景が抜き取られた舞台セットにCG映像を代替して合成する公知技術のクロマキー合成を用いる。つまり、人物の背景には一色となった舞台セットに人物の映像が対応付けて挿入する。
ステップ12は、撮影した人物映像とCG映像を対応付けて合成処理する。
ステップS9は、ステップS1~S2での脚本や絵コンテに基づき、効果音のSEや音楽等のBGMを作成する。
ステップ11は、音声とSE・BGMと対応付けて合成するサウンド処理である。SEとはSound Effect(効果音)の略で、BGMとは、BackGround Music(背景音楽)の略である。
図2の映像の実録に係るプロセスのステップS7、S8、S10、サウンドの実録に係るステップS9、S11、映像・音声合成出力ステップS13が、図4の映像の実写に係るプロセスのステップS20、S21、S22、サウンドの実録に係るステップS24、S25,映像・音声合成出力ステップS26と、がそれぞれ対応し同様の処理を行う。すなわち、ステップS20の点線での枠内に示すとおり、日本人が演じた合成用セット(舞台)で、外国人が同じ脚本に沿って演じ、当該人物の実写ならびに音声の実録が同期して行なわれる。
このように、登場する人物を各国放映国の人物に現地を舞台とした映像コンテンツを製作する場合、日本人が演じた合成用セットを再利用することができ、製作コスト削減しつつ容易に製作することができる。
また、中国人についての合成情報であれば、実写CHN001、音声CHN001、米国についての合成情報であれば、実写USA001、音声USA001となる。
なお、本実施形態での説明において、映像データとCGデータとを対応付けて合成するための情報、実録された音声とSE・BGMとを対応付けて合成するための情報、これら全体のデータを対応付けて合成する情報を、単に合成情報として用いている。
次に、本発明の一実施形態に係る映像・音声合成装置の動作機能について説明する。
図1に示すように、映像・音声合成装置1は、映像部2とサウンド3を制御する映像・サウンド合成制御部10から構成される。
映像サウンド合成制御部10は、映像コンテンツの製作を行なう際に事前に作られたスケジュール表、例えば、各シーン毎の登場人物や必要な衣装・小道具・消え物(壊したり消耗したりして1回しか使えないもの、例えば、破る新聞や火のついた煙草等)などが事細かく書かれ、映像製作を円滑に行なうための香盤表や台詞の台本というべきものが備えている。これにより、映像部2とサウンド3の各部に対し逐次操作制御することができる。
映像部2は、コンピュータグラフィック(CG)による背景映像を蓄積したCGDB(舞台)11と、CG映像を実写された人物に合せて再生するCG舞台映像再生部12と、日本人による演技映像を蓄積した実写DB(JPN)14と、この実写DB(JPN)14から人物映像を読み出し再生する実写人物映像再生部17と、CGDB(舞台)11と実写DB(JPN)とのデータ情報を共有される撮影データリファレンスDB13と、CG舞台映像再生部12にて再生されたCG映像と実写人物映像再生部17で読み出し再生された人物映像とを合成する実写・CG合成部18と、実写・CG合成部18で合成された映像を出力し表示する映像出力部19の各部から構成されている。
なお、CGデータは、3DCGではなく、2次元の2DCGを用いることができる。また、movの他、H.264、MJEG、MPEG4等の映像形式も使用できる。これらのCG作成は、例えば、3ds Max(登録商標)等のソフトウエアツールを用いて行われる。
サウンド部3は、日本人による音声を蓄積した実録音声DB(JPN)20と、台詞を実録された人物に合せて再生する実録音声再生部23と、サウンド合成されるSE・BGMを蓄積されたSE・BGMDB24と、SE・BGMDB24から読み出し再生されるSE・BGM再生部25と、SE・BGM再生部26にて再生されたSE・BGMと実録音声部23で読み出し再生された人物音声とを合成する音声・BGM合成部26と、音声・BGM合成部26で合成されたサウンドを出力しモニターできるサウンド出力部27の各部から構成されている。
なお、サウンドとなるデータは、無圧縮形式のwavだけではなく、圧縮形式のMP3やWMAで蓄積しておき、再生するときに解凍することでも構わない。
ここで、SE・BGM001は、SE/BGMJP001と付していないのは、日本語版であろうと、中国語版や米国語版であろうと、共通した効果音であるためである。
そして、サウンド出力部27で、音声と効果音が合成されたサウンドがステレオ、5.1ch等に分けて出力され、その合成出力サウンドをモニターし確認することができる。
これにより、複雑な制御や操作を要さず映像とサウンドの簡便な合成プロセスで製作することができる。
最終的に、図3(d)に示すように、映像・サウンド合成出力部28において、映像出力部19からの合成されたmov形式の映像とサウンド出力部27からのwav形式のサウンドが合体され、日本版の映像コンテンツ30が製作される。映像・サウンド合成出力部28では、異なる画像データと音声データの形式を合成することができる。
そして、この映像コンテンツを表示、モニターして最終確認することができる。
日本版の映像コンテンツ(JPN版30)から中国版の映像翻訳コンテンツ(CHN版31)や米国版の映像翻訳コンテンツ(USA版32)を製作する映像・音声合成装置1の機能について説明する。
本実施形態では、映像部2では、中国版の映像翻訳コンテンツ(CHN版31)ならば実写DB(CHN)15を選択し、米国版の映像翻訳コンテンツ(USA版32)ならば実写DB(USA)16を選択して、撮影データリファレンスDB13と実写人物映像再生部17とに接続される。
同様にサウンド部3では、中国版の映像翻訳コンテンツ(CHN版31)ならば実録音声DB(CHN)21を選択し、米国版の映像翻訳コンテンツ(USA版32)ならば実録音声DB(USA)22を選択して、実録音声再生部23と接続される。
なお、図1では、中国版の映像翻訳コンテンツ(CHN版31)及び米国版の映像翻訳コンテンツ(USA版32)を記載しているが、他の外国の人物が揃えばこれらに限定されることなく、例えば、韓国版の映像翻訳コンテンツや、フランス版の映像翻訳コンテンツ等も製作が可能である。
同様にサウンド部3では、中国版の映像翻訳コンテンツ(CHN版31)ならば実録音声DB(CHN)21を選択し、米国版の映像翻訳コンテンツ(USA版32)ならば実録音声DB(USA)22を選択して、実録音声再生部23と接続される。
これにより、既に製作された映像コンテンツの日本人を外国人の人物に差し替え、映像翻訳コンテンツを製作する機能が整ったことになる。
2 映像部
3 サウンド部
10 映像・サウンド合成制御部
11 CG DB(舞台)
12 CG舞台映像生成部
13 撮影データリファレンスDB
14 実写DB(JPN)
15 実写DB(CHN)
16 実写DB(USA)
17 実写人物映像再生部
18 実写・CG合成部
19 映像出力部
20 実録音声DB(JPN)
21 実録音声DB(CHN)
22 実録音声DB(USA)
23 実録音声再生部
24 SE/BGM DB
25 SE/BGM再生部
26 音声・BGM合成部
27 サウンド出力部
28 映像・サウンド合成出力部
30 JPN版(映像コンテンツ)
31 CHN版(映像翻訳コンテンツ)
32 USA版(映像翻訳コンテンツ)
Claims (2)
- 映像と音声を合成する映像・音声合成方法であって、
カメラで実写された実写人物映像とコンピュータグラフィックで製作された人物の背景となる舞台映像とを対応付けて合成する映像合成のステップと、
前記実写人物の実録音声と当該実録音声の背景となるサウンド音とを対応付けて合成するサウンド合成のステップと、
さらに、前記映像合成のステップの出力と前記サウンド合成のステップの出力とを合成して映像コンテンツを製作するステップと、
前記映像コンテンツの前記実写人物映像とは異なる人物の実写人物映像に差し替えるステップと、
前記異なる人物の実写人物と前記舞台映像とを対応付けて合成する映像合成のステップと、
前記映像コンテンツの前記実録音声とは異なる人物の実録音声に差し替え、前記サウンドとを対応付けて合成するサウンド合成のステップと、
さらに、前記異なる人物の映像合成のステップの出力と前記サウンド合成のステップの出力とを合成して映像翻訳コンテンツを製作するステップからなることを特徴とする映像・音声合成方法。 - 前記実写人物映像と前記実録音声の合成及び異なる人物の前記実写人物映像と前記実録音声の合成は同期して行なわれることを特徴とする請求項1に記載の映像・音声合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018206333A JP7267568B2 (ja) | 2018-11-01 | 2018-11-01 | 映像・音声合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018206333A JP7267568B2 (ja) | 2018-11-01 | 2018-11-01 | 映像・音声合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020072415A JP2020072415A (ja) | 2020-05-07 |
JP7267568B2 true JP7267568B2 (ja) | 2023-05-02 |
Family
ID=70548198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018206333A Active JP7267568B2 (ja) | 2018-11-01 | 2018-11-01 | 映像・音声合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7267568B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009177A (ja) | 2001-06-21 | 2003-01-10 | For-A Co Ltd | 画像合成システム |
JP2004172862A (ja) | 2002-11-19 | 2004-06-17 | Megachips System Solutions Inc | 画像合成方法および合成画像配信システム |
JP2010057050A (ja) | 2008-08-29 | 2010-03-11 | Sharp Corp | 情報端末装置、情報配信装置、情報配信システム及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10233963A (ja) * | 1997-02-18 | 1998-09-02 | Hoei:Kk | 映像信号の合成装置 |
-
2018
- 2018-11-01 JP JP2018206333A patent/JP7267568B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009177A (ja) | 2001-06-21 | 2003-01-10 | For-A Co Ltd | 画像合成システム |
JP2004172862A (ja) | 2002-11-19 | 2004-06-17 | Megachips System Solutions Inc | 画像合成方法および合成画像配信システム |
JP2010057050A (ja) | 2008-08-29 | 2010-03-11 | Sharp Corp | 情報端末装置、情報配信装置、情報配信システム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020072415A (ja) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8824861B2 (en) | Interactive systems and methods for video compositing | |
US6335765B1 (en) | Virtual presentation system and method | |
US9160938B2 (en) | System and method for generating three dimensional presentations | |
JPH11219446A (ja) | 映像音響再生システム | |
US6351265B1 (en) | Method and apparatus for producing an electronic image | |
US7324166B1 (en) | Live actor integration in pre-recorded well known video | |
US20080260184A1 (en) | Virtual Recording Studio | |
US20060285654A1 (en) | System and method for performing automatic dubbing on an audio-visual stream | |
CN115209172B (zh) | 一种基于xr的异地互动演出的方法 | |
KR101398032B1 (ko) | 파노라마식 사운드 이미지를 생성하고 재생하는 방법과, 그러한 이미지를 재생하기 위한 장치 | |
CN106303288A (zh) | 合成演唱视频的方法、装置及系统 | |
WO2009157152A1 (ja) | 合成装置および合成方法 | |
JP7267568B2 (ja) | 映像・音声合成方法 | |
CN102457656B (zh) | 一种实现多通道非线性采编的方法、装置及系统 | |
KR20070064082A (ko) | 크로마키 기법을 적용한 개인 홍보 영상 제작 시스템 및방법 | |
KR102523814B1 (ko) | 음성 인식을 기반으로 영상이 재생되는 화면에 자막을 출력하는 전자 장치 및 그 동작 방법 | |
Malsky | The Grandeur (s) of CinemaScope: Early Experiments in Cinematic Stereophony | |
JP2008236708A (ja) | バーチャル撮影スタジオの媒体制作装置 | |
KR102374665B1 (ko) | 개인방송을 위한 방송영상 생성방법 및 이를 위한 방송영상 생성시스템 | |
JP2005191826A (ja) | 映像編集装置、映像再生装置、アングル映像表示用データ及びそのアングル映像表示用データを記録した記録媒体、映像編集方法、映像再生方法 | |
JP2006109211A (ja) | 動画合成装置 | |
TWI246324B (en) | Method and system for media production in virtual studio | |
Ramamurthy | Post-Production | |
JP2000295566A (ja) | マルチメディアデータの編集再生方法、マルチメディアデータ編集再生システム及びマルチメディアデータ記録媒体 | |
JP2022074626A (ja) | 映像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20181109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7267568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |