JPH07334701A - アニメーション画像合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像の合成シーケンスが容易に設定でき、合
成結果を直ちに見ることのでき、合成シーケンスの手直
しが容易な合成装置を提供する。 【構成】 それぞれ各層の画像データを記憶し、相互間
の優先順位が予め決められている複数のフレームメモリ
（１４ａ〜１４ｅ）と、各層の画像の合成のシーケンス
を定めたタイミングシートデータを記憶し、このタイミ
ングシートデータに従って、上記フレームメモリに記憶
された画像の各フレームの画像データを読み出すタイミ
ングを制御する制御手段（２０）と、上記フレームメモ
リから読み出された画像データを、その優先順位に従っ
て合成する合成回路（１２）と、上記合成回路からの合
成画像を表示する表示装置（２６）と、上記合成回路か
らの合成画像を連続した画像として記録する映像記録器
（２８）とを備えたアニメーション画像合成装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、アニメーションの制
作に用いられる画像合成装置に関する。

【０００２】

【従来の技術】アニメーションの制作の一部にコンピュ
ータを用いることが種々試みられている。その一つの方
法においては、紙に描いた一連の動画をテレビカメラで
撮像し、電子的画像データとする。このようにして得ら
れた画像データは記憶装置に取込まれ、他の画像データ
と組合せられ、目的とするアニメーションが形成され
る。

【０００３】アニメーション制作においては、完成作品
の画像の各構成要素をそれぞれ各フレームないしコマに
ついて、別個の層（レイヤー）として描き、それらを重
ねて合成し、各フレームの完成画を形成し、これを連続
させることにより、完成したアニメーションを形成す
る。従って、動画もそれぞれ、各構成要素を表わすもの
である。各構成要素とは例えば図１に示す完成画におけ
る一人の人物Ｐ、小道具（トランク）Ｔ、大道具（自動
車）Ｍ、背景Ｇであり、これらを別個に描いた層は例え
ば、それぞれ図２、図３、図４、図５に示す如きもので
ある。なお、図５に示す例では、背景Ｇを示す画像はよ
り大きな画像Ｈの一部である。これについては後述す
る。

【０００４】仮に１つのカット（一連のコマであり、完
成したアニメーションの中で、例えば数秒間続く）にお
いてこれらがそれぞれ動くとすれば、各瞬時（フレーム
期間）におけるこれらの状態を各フレームの画像データ
とする必要がある。そして、先にも述べたように、これ
らのうちの各構成要素について、図２〜図４に示すよう
な各フレームの動画および図５に示すような背景画を作
成し（これには、線画の作成、彩色が含まれる）、その
後、各フレームに関し、各構成要素の画像を合成する。

【０００５】

【発明が解決しようとする課題】しかるに従来の合成装
置では、合成を実行させるための手順が複雑であった。
また、合成結果を見るには、合成した結果を１コマずつ
ＶＴＲ等に記録し、その後それを再生して見るしかな
く、時間を要した。さらに、一旦合成結果を見た後に合
成シーケンスを手直しするのが困難であった。

【０００６】本発明の目的は、画像の合成シーケンスが
容易に設定できる合成装置を提供するにある。

【０００７】本発明の他の目的は合成結果を直ちに見る
ことのできる合成装置を提供するこにある。

【０００８】本発明の他の目的は、合成シーケンスの手
直しが容易な合成装置を提供することにある。

【０００９】

【課題を解決するための手段】請求項１の画像合成装置
は、それぞれ各層の画像データを記憶し、相互間の優先
順位が予め決められている複数のフレームメモリ（１４
ａ〜１４ｅ）と、各層の画像の合成のシーケンスを定め
たタイミングシートデータを記憶し、このタイミングシ
ートデータに従って、上記フレームメモリに記憶された
画像の各フレームの画像データを読み出すタイミングを
制御する制御手段（２０）と、上記フレームメモリから
読み出された画像データを、その優先順位に従って合成
する合成回路（１２）と、上記合成回路からの合成画像
を表示する表示装置（２６）と、上記合成回路からの合
成画像を連続した画像として記録する映像記録器（２
８）とを備えている。

【００１０】請求項２の装置は、請求項１の装置におい
て、上記制御手段（２０）は、それに接続された表示装
置（２２）および入力手段（２４）を備え、上記表示装
置（２２）の表示画面にタイミングシートを表示させな
がら上記入力手段（２４）を操作することにより上記タ
イミングシートの作成、修正ができるようにしたことを
特徴とする。

【００１１】請求項３の装置は、請求項１に装置におい
て、さらに、一つのアニメーション作品に用いられるす
べての画像データを記憶する画像記憶装置（７ａ）と、
合成に用いられる背景画像を記憶するフレームバッファ
（１８）とを備え、上記制御手段（２０）は、一つのカ
ットについての画像の合成の指令を受けると、上記一つ
のカットに対応するタイミングシートデータを参照しな
がら、上記画像記憶装置（７ａ）から、該当するフレー
ムの画像を、それぞれ該当するフレームメモリ（１４ａ
〜１４ｅ）に転送し、また該当する背景画像を上記画像
記憶装置（７ａ）から上記フレームバッファ（１８）に
転送し、次に、上記フレームメモリ（１４ａ〜１４ｅ）
および上記フレームバッファ（１８）に記憶された画像
を上記タイミングシートデータを参照しながら所定のシ
ーケンスで読み出すことにより、上記合成を行なわせる
ことを特徴とする。

【００１２】

【作用】請求項１の合成装置を用いれば、リアルタイム
でアニメーション画像の合成を行なうことができる。ま
た、合成結果を表示装置で確認した上で、映像記録器に
記録することができる。

【００１３】請求項２の装置によれば、表示装置にタイ
ミングシートを表示させながら、入力手段を操作してタ
イミングシートを作成することとしているので、合成の
シーケンスの決定および修正を容易かつ迅速に行ない得
る。

【００１４】請求項３の装置によれば、タイミングシー
トデータに従って、必要な画像を予めフレームメモリお
よびフレームバッファに自動的に記憶（ロード）させて
から、合成を行なわせるので、合成のための操作が少な
くて済み、合成が迅速に行なえる。

【００１５】

【実施例】図６は、本発明に係るアニメーション合成装
置の一実施例を備えたアニメーション画像処理装置の一
例を示す図である。

【００１６】図示のようにこの画像処理装置は、テレビ
カメラ１と、Ａ／Ｄ変換器２と、画像入力ユニット３
と、線画処理ユニット４と、彩色ユニット５と、合成ユ
ニット６と、サーバ７とを備えている。

【００１７】テレビカメラ１は紙等のシート状媒体１０
に描かれた絵例えば線画を撮像するために用いられる。
この線画は、例えば、各フレームまたはコマの各層を構
成する動画である。

【００１８】Ａ／Ｄ変換器２はテレビカメラ１からの映
像信号を受け、各画素の輝度を表わすディジタル信号に
変換する。このディジタル信号は各画素の輝度を例えば
８ビット（２５６値）に階調化したものである。画像入
力ユニット３は、Ａ／Ｄ変換器２からのディジタル信号
を受け、他の画像と合成表示しながらテレビカメラ１の
フレーミングを調整し、フレーミングを適切にした上で
取込む、即ちサーバ７の記憶装置、例えばハードディス
ク装置７ａに記憶させるために用いられている。

【００１９】線画処理ユニット４は記憶装置７ａに記憶
された階調化された画像データを元に、細線画像を形成
する。彩色ユニット５は、細線画像を彩色する、即ち細
線画像の各色領域に色を指定するために使用されてい
る。合成ユニット６は、各層の彩色画像を互いに合成し
て、完成された各フレームの画像を形成する。画像入力
ユニット３、線画処理ユニット４、彩色ユニット５、合
成ユニット６およびサーバ７はハブ８を介して互いに接
続されてＬＡＮ（ローカルエリアネットワーク）を構成
している。

【００２０】画像入力ユニット３、線画処理ユニット
４、彩色ユニット５、合成ユニット６およびサーバ７は
それぞれ表示装置およびキーボードを備えたコンピュー
タを中心として構成されたものである。

【００２１】上記のうち、彩色ユニット５は実際のシス
テムでは複数台設けられているが、図示の簡単のため一
つのみを示す。また、画像入力ユニット３と彩色ユニッ
ト５とは兼ねることもできる（即ち同一のハードウエア
に異なるプログラムを走らせることにより、画像入力ユ
ニットとして用いたり、彩色ユニットとして用いたりす
ることもできる）が、役割の違いを明示するため別のユ
ニットとして図示した。

【００２２】先にも述べたように、テレビカメラ１は、
動画を撮像して得られる画像データを入力するために用
いられるが、この動画は、完成した画像における各構成
要素を表わすものである。各構成要素は、後に合成する
に当たり、各層（レイヤー）を構成するものとして扱わ
れる。本システムでは、５層までの処理が可能である。
従って、動画も５層以内のものとして制作される。な
お、動画とは別に背景画も併せて合成し得る。

【００２３】背景画については、その取込み方法は種々
のものがある。例えばシート状媒体に描いた絵をテレビ
カメラで撮像することにより形成することもでき、また
ＣＧ（コンピュータグラフィクス）により作成すること
もできる。背景画が他の動画と異なる点は、人物等の動
きを表わすために上下、左右にスライドしたりすること
があり、このため連続した大きな映像（例えば図５にＨ
で示すもの）が用意され、各瞬時にはその一部（図５に
破線の枠Ｇｆで示す部分）のみを抽出して合成画面の背
景として利用し、フレームの進展とともに利用する部分
をずらしていく等の手法が用いられることである。背景
画データも、記憶装置７ａに記憶される。

【００２４】サーバの記憶装置７ａは、一つのアニメー
ション作品で必要とされるすべての画像を記憶するもの
であり、上記のようにテレビカメラ１により入力され階
調化された画像、例えば線画画像のみならず、線画処理
ユニット４における線画処理の結果（細線画像）および
彩色ユニット５において彩色した後の画像（マット画）
のデータをも記憶する。さらに上述のように背景画をも
記憶する。なお、画像はデータ圧縮（例えばランレング
ス符号化によるデータ圧縮）された形で記憶される場合
もある。符号化のための回路は図示を省略する。

【００２５】記憶装置７ａに記憶された複数の層のマッ
ト画および線画（階調化された線画）は合成ユニット６
で合成される。合成ユニット６は、図示のように、合成
回路１２と、各層に対応して設けられ、各層のマット画
データおよび線画のデータを記憶するフレームメモリ１
４ａ〜１４ｅと、背景画データを記憶するフレームバッ
ファ１８と、コンピュータ（例えばパーソナルコンピュ
ータ）２０と、コンピュータ２０の表示装置２２と、コ
ンピュータ２０の入力手段としてのキーボード２４とを
備え、この合成ユニット６に、合成回路１２の出力をモ
ニターするためのＮＴＳＣ方式のテレビモニター２６お
よび合成回路１２の出力を記録するためのＶＴＲ２８と
が接続されている。なお、合成回路１２とモニタ２６お
よびＶＴＲ２８の間には必要に応じてＤ／Ａ変換器等が
設けられているがこれらの図示は省略する。また、フレ
ームメモリ１４ａ〜１４ｅに記憶される画像データが圧
縮されたものである場合には、フレームメモリ１４ａ〜
１４ｅの出力側に復号器を設け、これによりフレームメ
モリの出力を復号してから、合成回路１２に供給する。

【００２６】フレームメモリ１４ａ〜１４ｅは各々Ｖ
（ビデオ）ＲＡＭで構成され、マット画データおよび線
画データを複数フレーム分（例えば数百フレーム分）記
憶する容量を持つ。以下、フレームメモリ１４ａ〜１４
ｅが記憶するデータはそれぞれ層Ａ〜層Ｅのものである
とする。フレームメモリ１４ａ〜１４ｅへの書込は、サ
ーバの記憶装置７ａに記憶されたマット画および線画の
うちの所望のものを転送することにより行なわれる。こ
の転送は、各カットの画像の合成に先立って行なわれ
る。フレームメモリ１４ａ〜１４ｅは相互間の優先順位
が定められている。図示の例では、優先順位の高いもの
から順にフレームメモリメモリ１４ｅ、１４ｄ、１４
ｃ、１４ｂ、１４ａとなっている。

【００２７】フレームバッファ１８は背景画像を記憶す
る。フレームバッファへ１８の書込みは、サーバの記憶
装置７ａに記憶された画像のうちの所望のものを転送す
ることにより行なわれる。この転送も、各カットの画像
の合成に先立って行なわれる。

【００２８】コンピュータ２０は、フレームメモリ１４
ａ〜１４ｅおよびフレームバッファ１８への書込みを制
御する。コンピュータ２０はまたフレームメモリ１４ａ
〜１４ｅおよびフレームバッファ１８からの画像の読み
出しおよびその合成を制御する。この制御には、タイミ
ングシートデータが用いられる。タイミングシートデー
タは、各カット（一連のフレーム）における各フレーム
における各層の画像の内容を示したものであり、その一
例を図７に示す。図示の例では、左端に分、秒、フレー
ム番号が示されている。また、層Ａ〜層Ｅの欄には、各
分、秒、フレーム番号においてどのマット画を出力して
合成に供すべきかを示してある。即ち、当該カットの開
始時を基準として、００分００秒００フレームから（図
示の例では）００分０１秒０３フレームまで、各フレー
ムごとにそれぞれの層についてどのマット画を出力すべ
きかが指定してある。図にはその一部のみを示すが、例
えば００分００秒０３フレームにおいては、層Ａのマッ
ト画Ｎｏ．１が、層ＢのマットがＮｏ．５が、層Ｄのマ
ット画Ｎｏ．１が出力され、層Ｃおよび層Ｅのマット画
は出力されない。層Ａ、層Ｄの如く、同じマット画の画
像を繰返し数フレームにわたって利用することを指示し
ている場合には、同じマット画の画像が繰返し出力され
る。このように、タイミングシートデータは、いつ、ど
のようなシーケンスで各フレームの画像を出力すべきか
を示す。

【００２９】タイミングシートデータはまた、背景画に
ついても出力を制御する。図示の例では、背景画はカッ
トの開始時から終了時まで略一定の速度でスライドして
おり、「背景」の欄に記載された数値は基準位置に対す
るスライド量を表わす。

【００３０】タイミングシートに従ってフレームメモリ
１４ａ〜１４ｅから出力された画像データは、ＮＴＳＣ
アナログ信号に対応したディジタル信号である。

【００３１】合成回路１２は、フレームメモリ１４ａ〜
１４ｅからの画像信号およびフレームバッファ１８から
の背景画像信号を合成する。この合成に当たっては、異
なる層の画像が互に重なったら、優先順位の高い方はそ
のままとし、低い方を抑圧する。優先順位は、先に述べ
たように画像がどのフレームメモリから出力されたかに
よって決まる。また、フレームバッファ１８からの背景
画像は優先順位が最も低い。

【００３２】合成回路１２から出力される合成画像を示
す信号は、モニター２６に送られ表示される。また映像
記録器２８に送られ記録される。

【００３３】タイミングシートデータはコンピュータ２
０により作成および修正が可能である。タイミングシー
トデータには管理データとして図８に示す内容のものが
付加されている。図示のようにこの管理データは、ある
特定の番号のカットにおいて、各層の使用するマット画
の番号のリストを含む。コンピュータ２０で作成された
タイミングシートデータはサーバの記憶装置７ａに記憶
される。

【００３４】合成の際サーバの記憶装置からタイミング
シートデータをコンピュータ２０に読み込み、これに従
って、サーバの記憶装置７ａからフレームメモリ１４ａ
〜１４ｅおよびフレームバッファ１８に画像を転送す
る。次にプレビュー（事前観察）のため合成を行なう。
この合成はリアルタイムで実行される。合成されたアニ
メーションをモニター２６で観察し、満足できるもので
あれば、再度合成を実行し、ＶＴＲ２８に記録する。不
満であれば、タイミングシートデータを修正し、再度リ
アルタイムで合成を行なってプレビューし、満足であれ
ば再び合成して記録を行なう。

【００３５】図９は合成回路の一例の詳細を示す。図示
のようにこの合成回路１２は、マット画合成回路３２
と、領域信号抽出回路３４と、線画合成回路３６と、色
符号変換回路３８と、混合回路４０と、減衰回路４２と
を有する。

【００３６】マット画合成回路３２は、フレームメモリ
１４ａ〜１４ｅから出力されるマット画データを受け、
これらをその優先順位に従って合成する。即ち、優先順
位の低い層の画像は、優先順位の高い画像と重なったと
きには、抑圧される。マット画データには、画像の内側
を示す領域信号が付随しており、上記のような画像が重
なっているかどうかの判断をするに当たってはこの領域
信号が参照される。各層のマット画データに付随した領
域信号は領域信号抽出回路３４にも供給され、ここでも
異なる層間で画像が重なりあうかどうかの判定が行なわ
れる。また、５つの層のいずれかが存在する領域と、い
ずれもが存在しない領域とを区別信号が発生され、これ
も出力される。後者は後に述べる背景画との合成に利用
される。

【００３７】線画合成回路３６は、フレームメモリ１４
ａ〜１４ｅから各層の（階調化）線画データを受け、こ
れを合成する。この場合も画像が重なる場合には、優先
順位の低いものが抑圧される。但し、線画自体には画像
の内側かどうかを示す情報が含まれていないので、画像
が重なるかどうかについては、領域信号抽出回路３４に
おける判断に依存する。即ち、領域信号抽出回路３４に
おける、対応するマット画が重なると判断されたとき
は、優先順位の低い方の線画を抑圧する。

【００３８】マット画合成回路３２の出力は、色符号変
換回路３８に送られ、色を指定する信号に変換される。
即ち、彩色ユニット５におけるマット画の作成において
は、色を表わす符号は８ビット程度であり、これは２５
６色程度しか表現できないので、特定のカット、または
特定のアニメーション作品毎にそこで使われる色の各々
に各符号を割り合てて、そのような割当てにより表現さ
れる色を記憶装置７ａなどに記憶させている。一方モニ
タで表示し得る色はＲ、Ｇ、Ｂの各々につき８ビットと
して、これの組合せは２の２４乗即ち約１６００万通り
ある。そこで、個々のカット又は作品に対し、約１６０
０万色のうちの必要なものに８ビットの符号を割当てて
彩色を行ない、即ち各領域に対しその８ビットの符号で
表わされる色のいずれかを指定し、一方この符号の割当
てに対応した色変換テーブルを用意し、個々のカットま
たは作品の画像合成の間そのテーブルにより、８ビット
の符号を２４ビットの符号に変換する。処理するカット
または作品が変れば変換テーブルを切換えまたは書換え
る。

【００３９】混合回路４０の出力は図示しないＤ／Ａ変
換器によりアナログ信号に変換された後混合回路４０に
供給される。一方、フレームバッファ１８の出力も図示
しないＤ／Ａ変換器によりアナログ信号に変換された
後、混合回路４０に供給される。混合回路４０は領域信
号抽出回路３４の出力に応じて、フレームバッファ１８
の出力または色変換回路３８の出力を選択する。即ち、
層Ａ〜層Ｅのいずれかの画像の内側であれば、色変換回
路３８の出力を選択し、そうでなければフレームバッフ
ァ１８の出力、即ち背景画を選択する。

【００４０】減衰回路４２は混合回路４０の出力と線画
合成回路３６の出力を受け、混合回路４０の出力を、線
画合成回路３６の出力で表わされる線画の輝度に応じて
混合回路の出力を減衰させる。即ち、階調化された線画
の輝度の低いところほど混合回路４０の出力に対して大
きな減衰が与えられる。このようにして、混合回路の出
力に対しグラデーションが付けられる。

【００４１】減衰回路４２の出力は、この混合回路１２
の出力として、外部に、例えば図６のモニター２６およ
びＶＴＲ２８に、出力される。

【００４２】なお、上記の説明で、サーバの記憶装置７
ａとしては、ハードディスク装置を用いたが、代りに光
磁気ディスク装置を用いても良い。また、背景画をＶＴ
Ｒ等で連続的に供給するようにしても良い。さらに、上
記の説明では、完成したアニメーションの記録にＶＴＲ
を用いたが、光磁気ディスク装置を用いても良い。

【００４３】

【発明の効果】請求項１の合成装置を用いれば、リアル
タイムでアニメーション画像の合成を行なうことができ
る。また、合成結果を表示装置で確認した上で、映像記
録器に記録することができる。

【００４４】請求項２の装置によれば、表示装置にタイ
ミングシートを表示させながら、入力手段を操作してタ
イミングシートを作成することとしているので、合成の
シーケンスの決定および修正を容易かつ迅速に行ない得
る。

【００４５】請求項３の装置によれば、タイミングシー
トデータに従って、必要な画像を予めフレームメモリお
よびフレームバッファに自動的に記憶（ロード）させて
から、合成を行なわせるので、合成のための操作が少な
くて済み、合成が迅速に行なえる。

【図面の簡単な説明】

【図１】 アニメーション作品の１コマ分の合成画像の
一例を示す図である。

【図２】 図１の合成画像の一つの構成要素のみを描い
た動画を示す図である。

【図３】 図１の合成画像の他の一つの構成要素のみを
描いた動画を示す図である。

【図４】 図１の合成画像の更に他の一つの構成要素の
みを描いた動画を示す図である。

【図５】 図１の合成画像の更に他の一つの構成要素の
みを描いた動画を示す図である。

【図６】 本発明に係るアニメーション合成装置の一実
施例を備えたアニメーション画像処理装置の一例を示す
図である。

【図７】 タイミングシートデータの一例を示す図であ
る。

【図８】 タイミングシートデータに付加された管理デ
ータを示す図である。

【図９】 図６の合成回路の一例の詳細を示すブロック
図である。

【符号の説明】

６ 合成ユニット、７ａ 記憶装置、１２ 合成回路、
１４ａ〜１４ｅ フレームメモリ、１８ フレームバッ
ファ、２０ コンピュータ、２２ 表示装置、２４ キ
ーボード、２６ テレビモニタ、２８ ＶＴＲ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 それぞれ各層の画像データを記憶し、相
   互間の優先順位が予め決められている複数のフレームメ
   モリ（１４ａ〜１４ｅ）と、 各層の画像の合成のシーケンスを定めたタイミングシー
   トデータを記憶し、このタイミングシートデータに従っ
   て、上記フレームメモリに記憶された画像の各フレーム
   の画像データを読み出すタイミングを制御する制御手段
   （２０）と、 上記フレームメモリから読み出された画像データを、そ
   の優先順位に従って合成する合成回路（１２）と、 上記合成回路からの合成画像を表示する表示装置（２
   ６）と、 上記合成回路からの合成画像を連続した画像として記録
   する映像記録器（２８）とを備えたアニメーション画像
   合成装置。
2. 【請求項２】 上記制御手段（２０）は、それに接続さ
   れた表示装置（２２）および入力手段（２４）を備え、
   上記表示装置（２２）の表示画面にタイミングシートを
   表示させながら上記入力手段（２４）を操作することに
   より上記タイミングシートの作成、修正ができるように
   したことを特徴とする請求項１に記載の装置。
3. 【請求項３】 さらに、一つのアニメーション作品に用
   いられるすべての画像データを記憶する画像記憶装置
   （７ａ）と、合成に用いられる背景画像を記憶するフレ
   ームバッファ（１８）とを備え、 上記制御手段（２０）は、一つのカットについての画像
   の合成の指令を受けると、上記一つのカットに対応する
   タイミングシートデータを参照しながら、上記画像記憶
   装置（７ａ）から、該当するフレームの画像を、それぞ
   れ該当するフレームメモリ（１４ａ〜１４ｅ）に転送
   し、また該当する背景画像を上記画像記憶装置（７ａ）
   から上記フレームバッファ（１８）に転送し、 次に、上記フレームメモリ（１４ａ〜１４ｅ）および上
   記フレームバッファ（１８）に記憶された画像を上記タ
   イミングシートデータを参照しながら所定のシーケンス
   で読み出すことにより、上記合成を行なわせることを特
   徴とする請求項１に記載の装置。