JP3331285B2 - 映像情報変換装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，映像情報変換装置
に関し，コンピュータグラフィックスを用いたシミュレ
ーションやゲームなどを実行した結果として生成される
動画像を，コミック形式の映像に変換・要約する技術分
野に属する。

【０００２】

【従来の技術】学習や訓練のシミュレーション，または
ゲームなどの分野では，被写体の３次元モデルを有する
コンピュータグラフィックスを用いて動画像を生成する
ものが近年特に増大してきている。このような動画像
は，シミュレーションやゲームの実行中にプレイヤーと
のインタラクションの結果として生成されるものであ
り，実行後にこの動画像を適当に要約したものを参照す
ることは，訓練などの学習効率を高める上で非常に有効
と考えられる。

【０００３】一方，動画像を要約する従来手法として
は，動画像を構成する各静止画像間の画素単位での輝度
値の変化量や，各静止画像間の輝度ヒストグラムの変化
量を基準として動画像のカット点を検出し，該カット点
に対応する静止画像を順番に羅列する手法が提案されて
いた。

【０００４】しかし，カット点の検出基準が輝度値やヒ
ストグラムの変化量であるため，カット点が誤検出され
てしまう。また検出されたカット点に対応する静止画像
を単純に羅列するだけなので，その時のカメラワークや
被写体の動きが表現できないといった問題点を有してい
た。

【０００５】

【発明が解決しようとする課題】本発明は，コンピュー
タグラフィックスを用いたシミュレーションやゲームな
どを実行した結果として生成された動画像を，カメラワ
ークや被写体の動きが表現可能なコミック形式の映像に
変換・要約することを目的としている。

【０００６】

【課題を解決するための手段】コンピュータグラフィッ
クスを用いたシミュレーションやゲームなどを実行した
結果として生成される動画像は，Ｍ枚の静止画像Ｉ
_t （ｔ＝０，…，Ｍ−１）から構成されるものとする。
この動画像を生成するためには，時刻ｔにおけるカメラ
Ｃ_t のカメラ状態情報（Ｔ_c ，Ｒ_c ，Ｆ）_t ，シーン中
の各被写体（以後，オブジェクトと呼ぶ）Ｏ_itのオブジ
ェクトのモデル情報と状態情報（Ｍ_i ，Ｔ_i，Ｒ_i ，Ｓ
_i ）_t から構成されるシーン情報が必要である。ただ
し，Ｔ_c ，Ｒ_c，Ｆはカメラの並進運動ベクトル，回転
運動マトリクス，焦点距離であり，Ｍ_i，Ｔ_i ，Ｒ_i ，
Ｓ_i はｉ番目のオブジェクトのモデル情報，並進運動ベ
クトル，回転運動マトリクス，およびスケールである。

【０００７】これらのシーン情報は，基本的にコンピュ
ータグラフィックス生成時に取得可能な情報である。本
発明では，このシーン情報を用いて動画像の要約を実現
することを特徴としている。

【０００８】図１は本発明の構成例を示す図である。シ
ーン情報入力部１は，３次元モデルを有するコンピュー
タグラフィックスを用いて生成された動画像中の各被写
体であるオブジェクトのモデル情報，動画像を構成する
各静止画像に対応する各オブジェクトのオブジェクト並
進運動ベクトル，オブジェクト回転運動マトリクス，お
よびオブジェクトスケール，並びに動画像を構成する各
静止画像に対応するカメラ並進運動ベクトル，カメラ回
転運動マトリクス，および焦点距離を読み込む手段であ
る。

【０００９】静止画像入力部２は，３次元モデルを有す
るコンピュータグラフィックスを用いて生成された動画
像を構成する各静止画像を順次読み込む手段である。オ
ブジェクト情報蓄積部３は，シーン情報入力部１から読
み込んだオブジェクト並進運動ベクトル，オブジェクト
回転運動マトリクス，およびオブジェクトスケールを各
オブジェクト毎に各静止画像に対応づけて蓄積する。カ
メラ情報蓄積部４は，シーン情報入力部１から読み込ん
だカメラ並進運動ベクトル，カメラ回転運動マトリク
ス，および焦点距離を各静止画像に対応づけて蓄積す
る。静止画像蓄積部５は，静止画像入力部２から読み込
んだ静止画像を蓄積する。

【００１０】カット抽出部６は，オブジェクト情報蓄積
部３に蓄積されたオブジェクト並進運動ベクトル，オブ
ジェクト回転運動マトリクス，およびオブジェクトスケ
ール，並びにカメラ情報蓄積部４に蓄積されたカメラ並
進運動ベクトル，カメラ回転運動マトリクス，および焦
点距離を読み出し，各オブジェクト状態変化およびカメ
ラ状態変化から動画像のカット点を抽出する手段であ
る。

【００１１】カメラワーク抽出部７は，カット抽出部６
で抽出されたカット点とカメラ情報蓄積部４に蓄積され
たカメラ並進運動ベクトル，カメラ回転運動マトリク
ス，および焦点距離を読み出し，各カットにおけるカメ
ラワークを抽出する手段である。

【００１２】画像割り当て部８は，カメラワーク抽出部
７が抽出した各カットにおけるカメラワーク，静止画像
蓄積部５に蓄積された各静止画像，カメラ情報蓄積部４
に蓄積されたカメラ並進運動ベクトル，カメラ回転運動
マトリクス，および焦点距離，並びに各オブジェクト情
報蓄積部３に蓄積された各オブジェクトのモデル情報，
オブジェクト並進運動ベクトル，オブジェクト回転運動
マトリクス，およびオブジェクトスケールを読み出し，
各カットの形状，ページへの割り当て，各カット形状に
適合した静止画像の再レンダリングを行い，ページ単位
にコミック形式の画像を生成する手段である。

【００１３】ページ画像蓄積部９は，画像割り当て部８
が生成したコミック形式の画像を蓄積する手段であり，
このページ画像蓄積部９の内容を読み出して表示するこ
とにより，動画像をコミック形式の画像に変換したもの
を表示することができる。

【００１４】

【発明の実施の形態】図２は，本発明の実施の形態によ
る処理の流れを示す図である。図２に示すように，まず
シーン情報からカメラおよび各オブジェクトの状態変化
点を検出する（図２：Ｓ１）。カメラの状態変化とは，
パン，チルト，ドリー，トラッキングなどのカメラの一
定の運動状態，またはズームイン，ズームアウトなどの
カメラの一定の撮影状態の変化である。また，オブジェ
クトの状態変化とは，オブジェクトの直進運動，回転運
動，拡大，縮小などの一定の運動状態，あるいは上下方
向の振動などの一定の周期運動の変化である。

【００１５】状態変化の検出手法としては，一例として
以下のような手法があげられる。まず時刻ｔにおけるカ
メラの加速度α_ct，角加速度ω_ct，焦点距離加速度
γ_ct，各オブジェクトの加速度α_itおよび角加速度ω_it
を求める。

【００１６】そして，カメラの場合には， ‖α_ct‖＞Ｔα_c （式１） ‖ω_ct‖＞Ｔω_c （式２） ‖γ_ct‖＞Ｔγ_c （式３） のいずれかが成立するときに，オブジェクトの場合に
は， ‖α_it‖＞Ｔα （式４） ‖ω_it‖＞Ｔω （式５） のいずれかが成立するときに状態変化が生じたものとす
る。ただし，Ｔα_c ，Ｔω_c ，Ｔγ_c ，Ｔα，Ｔωは各
々適当な閾値である。

【００１７】基本的には，これらの状態変化点によっ
て，カット点を検出するが，シーン中に複数オブジェク
トが含まれている場合には，図３に示すように，状態変
化点が多くなりすぎてしまう。

【００１８】そこで，カメラの画像面に投影されるオブ
ジェクトに状態変化点検出のための優先順位を付与する
（図２：Ｓ２）。優先順位の付与方法としては，一例と
して図４に示すような以下の手法があげられる。図４に
おいて，時刻ｔにおける各オブジェクトＯ_itとカメラの
レンズ中心との距離をｒ_it，Ｏ_itのカメラの画像面への
投影面積をＰ_it，Ｏ_itの画像面への投影像の重心点と画
像中心との距離をｌ_itとし，次式で表されるＱ_it Ｑ_it＝ｗ₀ ・ｒ_it＋ｗ₁ ・Ｐ_it＋ｗ₂ ・ｌ_it （式６） を時刻ｔにおけるオブジェクトＯ_itの優先度とする。た
だしｗ₀ ，ｗ₁ ，ｗ₂ は適当な重みを表すパラメータで
ある。

【００１９】そして，優先度が高いものから順にＫ個の
オブジェクトの状態変化点だけをカット点検出に有効な
ものとする（図２：Ｓ３）。このようにカット点を検出
することで，Ｍ枚の静止画像Ｉ_t はＮ個のカットＵ
_j （ｊ＝０，…，Ｎ−１）に分割される。

【００２０】次に，各カットＵ_j におけるカメラワーク
を考慮して，コミックのコマ割りを決定する。まず，各
カットＵ_j におけるカメラワークを抽出する（図２：Ｓ
４）。カメラワークの抽出は，たとえば，図５に示す条
件によって，トラッキング（縦，横），ドリー（前，
後），チルト，パン，ズームイン，ズームアウトに分類
することで実現できる。

【００２１】ただし，図５においてＶ_cjは，Ｕ_j におけ
るカメラの平均速度ベクトル，Ｖ_{cj x} ，Ｖ_cjy ，Ｖ_cjz
は，各々Ｖ_cjのカメラ座標系のｘ，ｙ，ｚ各軸への成分
である。これらのカメラ速度ベクトルの関係を図６に示
す。また，Ｗ_cjはＵ_j におけるカメラの平均角速度ベク
トル，Ｗ_cx，Ｗ_cyはＷ_cjのｘ成分，ｙ成分，ｆ_cjはＵ _j
における平均焦点距離速度であり，Ｔ_vc，Ｔ_wc，Ｔ_fc，
Ｔ_cx，Ｔ_cy，Ｔ_cz，Ｔ _cwx ，Ｔ_cwy は各々適当な閾値で
ある。図５に示すカメラワークの抽出条件のどの条件も
満たさない場合には，カメラワークは標準状態とする。

【００２２】次に，抽出されたカメラワークに基づい
て，カットＵ_j から代表静止画像Ｉ_riを選択し，Ｉ_riの
形状（すなわちコマ形状）の決定とコマのレイアウトを
行う（図２：Ｓ５）。コマ形状は，基本的にはトラッキ
ング（縦）とチルトの場合には縦長のコマを，トラッキ
ング（横）とパンの場合には横長のコマを割り当てる。
縦長および横長のコマは，Ｕ_j から適当な静止画像を選
択し，これをトリミングするか，あるいはカメラモデル
を図７（Ａ）（Ｂ）に示すように縦長あるいは横長のパ
ノラマ撮影が行えるように視野角を変更し，Ｕ_j におけ
る各オブジェクトのモデル情報Ｍ_itを用いて，再レンダ
リングすることで生成する。

【００２３】また，図８（Ａ）に示すコマの大きさを基
本コマの大きさとすると，ズームインとドリー（前方
向）の場合には，図８（Ｂ）のように大きいコマから小
さいコマへと変移するコマ割りを割り当て，ズームアウ
トとドリー（後方向）の場合には，図８（Ｃ）のように
小さいコマから大きいコマへと変移するコマ割りを割り
当てる。これは，ズームインおよびドリー（前方向）の
場合には，カットＵ_j の最初の静止画像を大きなコマに
最後の静止画像を小さなコマに割り当て，ズームアウト
およびドリー（後方向）の場合には，Ｕ_j の最初の静止
画像を小さなコマに最後の静止画像を大きなコマに割り
当てることで実現する。

【００２４】コマのレイアウト処理は，決定されたコマ
形状を持つ代表静止画像を各ぺージに自動的に配置する
（レイアウトする）処理である。これは，一例として次
のようなルールに基づく手法で実現することができる。
まず，各ページ当りの最高段組み数を４とする。ページ
の大きさをＸ×Ｙとし，Ｙ方向の分割数を一段当り２と
する。すなわち，大きさがＸ／２×Ｙ／４を基本コマの
大きさとする（図８（Ａ））。そして，各コマを最初か
ら順番に並べる。並べる順番は，右上方から左下方に向
かって並べていく。この時，次のようなルールに従う。

【００２５】（ａ）標準状態の場合には，基本コマに代
表静止画像を割り当てる。 （ｂ）ズームイン，ドリー（前方向）の場合は，図８
（Ｂ）のように２段抜きで割り当てる。このとき斜線コ
マは空きコマとする。

【００２６】（ｃ）ズームアウト，ドリー（後方向）の
場合は，図８（Ｃ）のように２段抜きで割り当てる。こ
のとき斜線コマは空きコマとする。 （ｄ）縦長コマの場合には，２，３，または４段抜きで
割り当てる。

【００２７】（ｅ）横長コマの場合には，２列抜きで割
り当てる。 （ｆ）コマの割り当てを試行して，コマが段からはみ出
る場合は改段し，途中のコマは空きコマとする。

【００２８】（ｇ）コマの割り当てを試行して，コマが
最下段からはみ出る場合は改ページし，途中のコマは空
きコマとする。すべての代表静止画像を割り当てたら，
途中の空きコマに適当な静止画像Ｉ_tを割り当てる。た
とえば，代表静止画像Ｉ_a とＩ_b がコマに割り当てら
れ，途中にｃ個の基本コマが空きコマとして存在する場
合，Ｉ_{(b-a)i/(c+1)+a}（ｉ＝１，…，ｃ）を代表静止画
像として空きコマに割り当てる（図２：Ｓ６）。このよ
うな手法以外にも，前述したカット点検出の手法を閾値
をさらに低く設定して再適用するなどの手法があること
は言うまでもない。

【００２９】このような構造になっているから，コンピ
ュータグラフィックスを用いたシミュレーションやゲー
ムなどを実行した結果として生成される動画像を，カメ
ラワークや被写体の動きが表現可能なコミック形式の映
像に変換・要約することができる。

【００３０】

【実施例】図９および図１０は，本発明の一実施例を示
す図である。動画像はＭ枚の静止画像から構成され，オ
ブジェクトの総数はＫ個，そしてカット点個数はＮと仮
定している。

【００３１】本実施例の映像情報変換装置は，シーン情
報入力部１，静止画像入力部２，オブジェクト情報蓄積
部３−１〜Ｋ，カメラ情報蓄積部４，静止画像蓄積部
５，カット抽出部６，カメラワーク抽出部７，画像割り
当て部８，ページ画像蓄積部９，表示部１０から構成さ
れる。図９には，本装置のうちシーン情報入力部１，静
止画像入力部２，オブジェクト情報蓄積部３−１〜Ｋ，
カメラ情報蓄積部４，静止画像蓄積部５，カット抽出部
６を図示し，図１０には，カメラワーク抽出部７，画像
割り当て部８，ページ画像蓄積部９，表示部１０を図示
する。図９の〜は，図１０の対応する番号への接続
関係を示す。

【００３２】シーン情報入力部１は，オブジェクト情報
入力部１−１，カメラ情報入力部１−２から構成され
る。オブジェクト情報蓄積部３−１〜Ｋは，各オブジェ
クト毎にＫ個用意され，その各オブジェクト情報蓄積部
３−１〜Ｋは，それぞれモデル情報蓄積部３−１−１，
オブジェクト並進運動ベクトル蓄積部３−１−２，オブ
ジェクト回転運動マトリクス蓄積部３−１−３，オブジ
ェクトスケール蓄積部３−１−４から構成される。

【００３３】さらに，オブジェクト並進運動ベクトル蓄
積部３−１−２，オブジェクト回転運動マトリクス蓄積
部３−１−３，およびオブジェクトスケール蓄積部３−
１−４は，それぞれ各静止画像に対応するＭ個の瞬時オ
ブジェクト並進運動ベクトル蓄積部３−１−２−１〜
Ｍ，瞬時オブジェクト回転運動マトリクス蓄積部３−１
−３−１〜Ｍ，瞬時オブジェクトスケール蓄積部３−１
−４−１〜Ｍから構成される。

【００３４】カメラ情報蓄積部４は，カメラ並進運動ベ
クトル蓄積部４−１，カメラ回転運動マトリクス蓄積部
４−２，および焦点距離蓄積部４−３から構成される。
カメラ並進運動ベクトル蓄積部４−１，カメラ回転運動
マトリクス蓄積部４−２，および焦点距離蓄積部４−３
は，それぞれ該静止画像に対応するＭ個の瞬時カメラ並
進運動ベクトル蓄積部４−１−１〜Ｍ，瞬時カメラ回転
運動マトリクス蓄積部４−２−１〜Ｍ，および瞬時焦点
距離蓄積部４−３−１〜Ｍから構成される。

【００３５】静止画像蓄積部５は，該動画像を構成する
各静止画像に対応付けられたＭ個の単位静止画像蓄積部
５−１〜Ｍから構成される。カット抽出部６は，優先順
位抽出部６−３，優先順位蓄積部６−４，カメラ状態変
化点抽出部６−１，オブジェクト状態変化点抽出部６−
２，オブジェクト状態変化点蓄積部６−５，オブジェク
ト状態変化判定処理部６−６，カット情報抽出部６−７
から構成される。

【００３６】優先順位抽出部６−３は，投影像抽出部６
−３−１，投影面積抽出部６−３−２，画像中心距離抽
出部６−３−３，視軸距離抽出部６−３−４，優先度抽
出処理部６−３−５，およびＫ個の各オブジェクトに対
応したオブジェクト優先度蓄積部６−３−６−１〜Ｋか
ら構成される。各オブジェクト優先度蓄積部６−３−６
−１〜Ｋは，各静止画像に対応したＭ個の瞬時オブジェ
クト優先度蓄積部６−３−６−１−１〜Ｍから構成され
る。

【００３７】優先順位蓄積部６−４は，Ｋ個の各オブジ
ェクトに対応するＫ個のオブジェクト優先順位蓄積部６
−４−１〜Ｋから構成され，各オブジェクト優先順位蓄
積部６−４−１〜Ｋは，各静止画像に対応するＭ個の瞬
時オブジェクト優先順位蓄積部６−４−１−１〜Ｍから
構成される。

【００３８】カメラ状態変化点抽出部６−１は，カメラ
状態抽出部６−１−１，カメラ状態変化抽出部６−１−
２から構成される。カメラ状態抽出部６−１−１は，カ
メラ加速度抽出部６−１−１−１，カメラ角加速度抽出
部６−１−１−２，および焦点距離加速度抽出部６−１
−１−３から構成され，カメラ状態変化抽出部６−１−
２はカメラ加速度変化抽出部６−１−２−１，カメラ角
加速度変化抽出部６−１−２−２，焦点距離加速度変化
抽出部６−１−２−３から構成される。

【００３９】同様に，オブジェクト状態変化点抽出部６
−２は，オブジェクト状態抽出部６−２−１，オブジェ
クト状態変化抽出部６−２−２から構成される。オブジ
ェクト状態抽出部６−２−１は，オブジェクト加速度抽
出部６−２−１−１，およびオブジェクト角加速度抽出
部６−２−１−２から構成され，オブジェクト状態変化
抽出部６−２−２は，オブジェクト加速度変化抽出部６
−２−２−１，およびオブジェクト角加速度変化抽出部
６−２−２−２から構成される。

【００４０】カット情報抽出部６−７は，カット点蓄積
部６−７−１，カット情報抽出処理部６−７−２，およ
びカット情報蓄積部６−７−３から構成される。カット
点蓄積部６−７−１は，静止画像に対応するＭ個の瞬時
カット点蓄積部６−７−１−１〜Ｍから構成され，カッ
ト情報蓄積部６−７−３は，Ｎ個の単位カット情報蓄積
部６−７−３−１〜Ｎから構成される。各単位カット情
報蓄積部６−７−３−１〜Ｎは，ＩＮ点蓄積部６−７−
３−１−１，およびＯＵＴ点蓄積部６−７−３−１−２
から構成される。

【００４１】カメラワーク抽出部７は，カメラワーク抽
出処理部７−１とカメラワーク蓄積部７−２から構成さ
れる。カメラワーク抽出処理部７−１は，平均速度ベク
トル抽出部７−１−１，速度条件判定部７−１−２，ベ
クトル変換部７−１−３，速度ベクトル蓄積部７−１−
４，トラッキング（横）条件判定部７−１−５，トラッ
キング（縦）条件判定部７−１−６，ドリー（前方向）
条件判定部７−１−７，ドリー（後方向）条件判定部７
−１−８，平均焦点速度抽出部７−１−９，焦点速度条
件判定部７−１−１０，焦点速度蓄積部７−１−１１，
ズームイン条件判定部７−１−１２，ズームアウト条件
判定部７−１−１３，平均角速度ベクトル抽出部７−１
−１４，角速度条件判定部７−１−１５，角速度ベクト
ル蓄積部７−１−１６，チルト条件判定部７−１−１
７，パン条件判定部７−１−１８から構成される。

【００４２】カメラワーク蓄積部７−２は，カット点に
対応するＮ個の単位カメラワーク蓄積部７−２−１〜Ｎ
から構成され，トラッキング（横）情報，トラッキング
（縦）情報，ドリー（前方向）情報，ドリー（後方向）
情報，ズームイン情報，ズームアウト情報，パン情報，
チルト情報といったカメラワーク情報が蓄積されるが，
初期状態では標準状態情報が蓄積されている。

【００４３】画像割り当て部８は，画像割り当て制御部
８−１，コマ形状情報蓄積部８−２，画像再生成部８−
３，レイアウト制御部８−４から構成される。コマ形状
情報蓄積部８−２には，あらかじめ，各カメラワークに
対応したコマの形状情報が蓄積されている。

【００４４】ページ画像蓄積部９は，Ｈ個の単位ページ
画像蓄積部９−１〜Ｈから構成される。本装置を動作す
るには，まずシーン情報入力部１のカメラ情報入力部１
−２から，カメラ並進運動ベクトル，カメラ回転運動マ
トリクス，焦点距離情報を，時刻ｔ＝０，１，…，Ｍ−
１毎に順次読み込み，各々を各時刻に対応するカメラ情
報蓄積部４のカメラ並進運動ベクトル蓄積部４−１の瞬
時カメラ並進運動ベクトル蓄積部４−１−１〜Ｍ，カメ
ラ回転運動マトリクス蓄積部４−２の瞬時カメラ回転運
動マトリクス蓄積部４−２−１〜Ｍ，および焦点距離蓄
積部４−３の瞬時焦点距離蓄積部４−３−１〜Ｍに蓄積
する。

【００４５】次いで，シーン情報入力部１のオブジェク
ト情報入力部１−１から，各オブジェクトのモデル情報
を順番に読み込み，対応するオブジェクト情報蓄積部３
−１〜Ｋのモデル情報蓄積部３−１−１に蓄積するとと
もに，オブジェクト情報入力部１−１から，各オブジェ
クトのオブジェクト並進運動ベクトル，オブジェクト回
転運動マトリクス，スケールを，時刻ｔ＝０，１，…，
Ｍ−１毎に順次読み込み，各々を対応するオブジェクト
情報蓄積部３−１〜Ｋのオブジェクト並進運動ベクトル
蓄積部３−１−２の各時刻に対応する瞬時オブジェクト
並進運動ベクトル蓄積部３−１−２−１〜Ｍ，オブジェ
クト回転運動マトリクス蓄積部３−１−３の各時刻に対
応する瞬時オブジェクト回転運動マトリクス蓄積部３−
１−３−１〜Ｍ，オブジェクトスケール蓄積部３−１−
４の各時刻に対応する瞬時オブジェクトスケール蓄積部
３−１−４−１〜Ｍに蓄積する。

【００４６】次に，静止画像入力部２から，該動画像を
構成する各静止画像を順次読み込み，静止画像蓄積部５
の対応する単位静止画像蓄積部５−１〜Ｍに蓄積する。
カメラ状態抽出部６−１−１のカメラ加速度抽出部６−
１−１−１は，カメラ情報蓄積部４の時刻ｔ＝０，ｔ＝
１，ｔ＝２に対応する瞬時カメラ並進運動ベクトル蓄積
部４−１−１〜Ｍから各々のカメラ並進運動ベクトルを
読み出し，ｔ＝１に対応するカメラ加速度を求めてカメ
ラ加速度変化抽出部６−１−２−１に出力する。

【００４７】カメラ加速度変化抽出部６−１−２−１で
は入力されたカメラ加速度を閾値Ｔα_c と比較し，上記
（式１）の‖α_ct‖＞Ｔα_c が成立するなら，カット点
蓄積部６−７−１のｔ＝１に対応する瞬時カット点蓄積
部６−７−１−１〜Ｍにカット有り情報を蓄積する。同
様の手順をカメラ情報蓄積部４のカメラ並進運動ベクト
ル蓄積部４−１のすべての時刻ｔ＝ｉ−１，ｔ＝ｉ，ｔ
＝ｉ＋１の組に対応する瞬時カメラ並進運動ベクトル蓄
積部４−１−１〜Ｍのカメラ並進運動ベクトルについて
反復する。

【００４８】カメラ状態抽出部６−１−１のカメラ角加
速度抽出部６−１−１−２は，カメラ情報蓄積部４の時
刻ｔ＝０，ｔ＝１，ｔ＝２に対応する瞬時カメラ回転運
動マトリクス蓄積部４−２−１〜Ｍから各々のカメラ回
転運動ベクトルを読み出し，ｔ＝１に対応するカメラ角
加速度を求めてカメラ角加速度変化抽出部６−１−２−
２に出力する。

【００４９】カメラ角加速度変化抽出部６−１−２−２
では，入力されたカメラ角加速度を閾値Ｔω_c と比較
し，上記（式２）の‖ω_ct‖＞Ｔω_c が成立するなら，
カット点蓄積部６−７−１のｔ＝１に対応する瞬時カッ
ト点蓄積部６−７−１−１〜Ｍにカット有り情報を蓄積
する。同様の手順をカメラ情報蓄積部４のカメラ回転運
動マトリクス蓄積部４−２のすべての時刻ｔ＝ｉ−１，
ｔ＝ｉ，ｔ＝ｉ＋１の組に対応する瞬時カメラ回転運動
マトリクス蓄積部４−２−１〜Ｍのカメラ回転運動マト
リクスについて反復する。

【００５０】カメラ状態抽出部６−１−１の焦点距離加
速度抽出部６−１−１−３は，カメラ情報蓄積部４の時
刻ｔ＝０，ｔ＝１，ｔ＝２に対応する瞬時焦点距離蓄積
部４−３−１〜Ｍから各々の焦点距離を読み出し，ｔ＝
１に対応する焦点距離加速度を求めて焦点距離加速度変
化抽出部６−１−２−３に出力する。

【００５１】焦点距離加速度変化抽出部６−１−２−３
では，入力された焦点距離加速度を閾値Ｔγ_c と比較
し，上記（式３）の‖γ_ct‖＞Ｔγ_c が成立するなら，
カット点蓄積部６−７−１のｔ＝１に対応する瞬時カッ
ト点蓄積部６−７−１−１〜Ｍにカット有り情報を蓄積
する。同様の手順をカメラ情報蓄積部４の焦点距離蓄積
部４−３のすべての時刻ｔ＝ｉ−１，ｔ＝ｉ，ｔ＝ｉ＋
１の組に対応する瞬時焦点距離蓄積部４−３−１〜Ｍの
焦点距離について反復する。

【００５２】次に，優先順位抽出部６−３の投影像抽出
部６−３−１は，カメラ情報蓄積部４の時刻ｔ＝０に対
応するカメラ並進運動ベクトル蓄積部４−１のカメラ並
進運動ベクトル，カメラ回転運動マトリクス蓄積部４−
２のカメラ回転運動マトリクス，および焦点距離蓄積部
４−３の瞬時焦点距離蓄積部４−３−１〜Ｍの焦点距
離，並びに各オブジェクト情報蓄積部３−１〜Ｋのモデ
ル情報蓄積部３−１−１のモデル情報，時刻ｔ＝０に対
応するオブジェクト並進運動ベクトル蓄積部３−１−２
の瞬時オブジェクト並進運動ベクトル蓄積部３−１−２
−１〜Ｍのオブジェクト並進運動ベクトル，オブジェク
ト回転運動マトリクス蓄積部３−１−３の瞬時オブジェ
クト回転運動マトリクス蓄積部３−１−３−１〜Ｍのオ
ブジェクト回転運動マトリクス，およびオブジェクトス
ケール蓄積部３−１−４の瞬時オブジェクトスケール蓄
積部３−１−４−１〜Ｍのスケールを読み出し，カメラ
の画像面への各オブジェクトの投影処理を行って，画像
面上での各オブジェクト投影像を抽出し，投影面積抽出
部６−３−２と画像中心距離抽出部６−３−３へ出力す
る。

【００５３】投影面積抽出部６−３−２は，入力された
各オブジェクトの投影像から各オブジェクトの画像面上
での投影面積を抽出し，優先度抽出処理部６−３−５へ
出力する。

【００５４】画像中心距離抽出部６−３−３は，入力さ
れた各オブジェクト投影像の重心点を求め，該重心点と
画像中心との距離（オブジェクト・画像中心距離）を抽
出して優先度抽出処理部６−３−５へ出力する。

【００５５】同時に視軸距離抽出部６−３−４は，カメ
ラ情報蓄積部４の時刻ｔ＝０に対応するカメラ並進運動
ベクトル蓄積部４−１のカメラ並進運動ベクトル，カメ
ラ回転運動マトリクス蓄積部４−２のカメラ回転運動マ
トリクス，および焦点距離蓄積部４−３の瞬時焦点距離
蓄積部４−３−１〜Ｍの焦点距離，並びに各オブジェク
ト情報蓄積部３−１〜Ｋのモデル情報蓄積部３−１−１
のモデル情報，時刻ｔ＝０に対応するオブジェクト並進
運動ベクトル蓄積部３−１−２の瞬時オブジェクト並進
運動ベクトル蓄積部３−１−２−１〜Ｍのオブジェクト
並進運動ベクトル，オブジェクト回転運動マトリクス蓄
積部３−１−３の瞬時オブジェクト回転運動マトリクス
蓄積部３−１−３−１〜Ｍのオブジェクト回転運動マト
リクス，およびオブジェクトスケール蓄積部３−１−４
の瞬時オブジェクトスケール蓄積部３−１−４−１〜Ｍ
のスケールを読み出し，各オブジェクトとカメラのレン
ズ中心点との距離（視軸距離）を抽出して，優先度抽出
処理部６−３−５へ出力する。

【００５６】優先度抽出処理部６−３−５では，入力さ
れた各オブジェクトの投影面積，オブジェクト・画像中
心距離，および視軸距離から，上記（式６）に基づいて
各オブジェクト毎に優先度を抽出し，該優先度を対応す
るオブジェクト優先度蓄積部６−３−６−１〜Ｋの時刻
ｔ＝０に対応する瞬時オブジェクト優先度蓄積部６−３
−６−１−１〜Ｍに蓄積する。優先度抽出処理部６−３
−５は，同様の処理を各時刻について実行する。

【００５７】優先順位判定部６−３−７は，時刻ｔ＝０
における各オブジェクト優先度蓄積部６−３−６−１〜
Ｋの瞬時オブジェクト優先度蓄積部６−３−６−１−１
〜Ｍに蓄積されている優先度を読み出し，各オブジェク
トの優先度を比較処理して各オブジェクトの優先順位を
抽出し，該優先順位を対応する各オブジェクト優先順位
蓄積部６−４−１〜Ｋの時刻ｔ＝０に対応する瞬時オブ
ジェクト優先順位蓄積部６−４−１−１〜Ｍに蓄積す
る。優先順位判定部６−３−７は，同様の処理をすべて
の時刻について反復する。

【００５８】オブジェクト状態抽出部６−２−１のオブ
ジェクト加速度抽出部６−２−１−１は，第一番目のオ
ブジェクト情報蓄積部３−１〜Ｋのオブジェクト並進運
動ベクトル蓄積部３−１−２の時刻ｔ＝０，ｔ＝１，ｔ
＝２に対応する瞬時オブジェクト並進運動ベクトル蓄積
部３−１−２−１〜Ｍから各々のオブジェクト並進運動
ベクトルを読み出し，ｔ＝１に対応するオブジェクト加
速度を求めてオブジェクト加速度変化抽出部６−２−２
−１に出力する。

【００５９】オブジェクト加速度変化抽出部６−２−２
−１では，入力されたオブジェクト加速度を閾値Ｔαと
比較し，上記（式４）の‖α_it‖＞Ｔαが成立するな
ら，オブジェクト状態変化点蓄積部６−５の該オブジェ
クトに対応する個別オブジェクト状態変化点蓄積部６−
５−１〜Ｋの時刻ｔ＝１に対応する瞬時オブジェクト状
態変化点蓄積部６−５−１−１〜Ｍに状態変化有り情報
を蓄積する。

【００６０】同様の手順を第一番目のオブジェクト情報
蓄積部３−１〜Ｋのオブジェクト並進運動ベクトル蓄積
部３−１−２のすべての時刻ｔ＝ｉ−１，ｔ＝ｉ，ｔ＝
ｉ＋１の組に対応する瞬時オブジェクト並進運動ベクト
ル蓄積部３−１−２−１〜Ｍのオブジェクト並進運動ベ
クトルについて反復し，さらに第二番目以降のオブジェ
クト情報蓄積部３−１〜Ｋについて反復する。

【００６１】次いでオブジェクト状態抽出部６−２−１
のオブジェクト角加速度抽出部６−２−１−２は，第一
番目のオブジェクト情報蓄積部３−１〜Ｋのオブジェク
ト回転運動マトリクス蓄積部３−１−３の時刻ｔ＝０，
ｔ＝１，ｔ＝２に対応する瞬時オブジェクト回転運動マ
トリクス蓄積部３−１−３−１〜Ｍから各々のオブジェ
クト回転運動ベクトルを読み出し，ｔ＝１に対応するオ
ブジェクト角加速度を求めてオブジェクト角加速度変化
抽出部６−２−２−２に出力する。

【００６２】オブジェクト角加速度変化抽出部６−２−
２−２では，入力されたオブジェクト角加速度を閾値Ｔ
ωと比較し，上記（式５）の‖ω_it‖＞Ｔωが成立する
なら，オブジェクト状態変化点蓄積部６−５の該オブジ
ェクトに対応する個別オブジェクト状態変化点蓄積部６
−５−１〜Ｋの時刻ｔ＝１に対応する瞬時オブジェクト
状態変化点蓄積部６−５−１−１〜Ｍに状態変化有り情
報を蓄積する。

【００６３】同様の手順を第一番目のオブジェクト情報
蓄積部３−１〜Ｋのオブジェクト回転運動マトリクス蓄
積部３−１−３のすべての時刻ｔ＝ｉ−１，ｔ＝ｉ，ｔ
＝ｉ＋１の組に対応する瞬時オブジェクト回転運動マト
リクス蓄積部３−１−３−１〜Ｍのオブジェクト回転運
動マトリクスについて反復し，さらに第二番目以降のオ
ブジェクト情報蓄積部３−１〜Ｋについて反復する。

【００６４】オブジェクト状態変化判定処理部６−６
は，オブジェクト状態変化点蓄積部６−５の各個別オブ
ジェクト状態変化点蓄積部６−５−１〜Ｋの時刻ｔ＝０
に対応する瞬時オブジェクト状態変化点蓄積部６−５−
１−１〜Ｍの内容を，各オブジェクト毎に読み出す。も
し，状態変化有り情報が蓄積されていたら，該オブジェ
クトに対応するオブジェクト優先順位蓄積部６−４−１
〜Ｋの時刻ｔ＝０に対応する瞬時オブジェクト優先順位
蓄積部６−４−１−１〜Ｍに蓄積されている該オブジェ
クトの優先順位を読み出し，優先順位があらかじめ設定
されていた優先順位以内であれば，カット点蓄積部６−
７−１の時刻ｔ＝０に対応する瞬時カット点蓄積部６−
７−１−１〜Ｍにカット有り情報を蓄積する。オブジェ
クト状態変化判定処理部６−６は同様の処理をすべての
時刻について反復する。

【００６５】カット情報抽出処理部６−７−２は，カッ
ト点蓄積部６−７−１の瞬時カット点蓄積部６−７−１
−１〜Ｍの内容を時刻ｔ＝０から順番に読み出し，もし
カット点有り情報を読み出したら，最初の時刻ｔ＝０を
カット情報蓄積部６−７−３の第一の単位カット情報蓄
積部６−７−３−１〜ＮのＩＮ点蓄積部６−７−３−１
−１に開始時刻として蓄積し，該カット点有り情報を読
み出した瞬時カット点蓄積部６−７−１−１〜Ｍに対応
する時刻を単位カット情報蓄積部６−７−３−１〜Ｎの
ＯＵＴ点蓄積部６−７−３−１−２に終了時刻としてそ
れぞれ蓄積する。カット情報抽出処理部６−７−２は，
同様の処理をカット点蓄積部６−７−１のすべての瞬時
カット点蓄積部６−７−１−１〜Ｍの内容を読み出すま
で反復する。

【００６６】カメラワーク抽出部７の平均速度ベクトル
抽出部７−１−１は，カット情報蓄積部６−７−３の第
一の単位カット情報蓄積部６−７−３−１〜ＮのＩＮ点
蓄積部６−７−３−１−１とＯＵＴ点蓄積部６−７−３
−１−２に蓄積されている開始時刻と終了時刻を読み出
し，さらにカメラ情報蓄積部４のカメラ並進運動ベクト
ル蓄積部４−１の開始時刻と終了時刻の間に該当する各
瞬時カメラ並進運動ベクトル蓄積部４−１−１〜Ｍから
カメラ並進運動ベクトルを読み出し，この開始時刻と終
了時刻間での平均速度ベクトルを速度条件判定部７−１
−２に出力する。

【００６７】速度条件判定部７−１−２は，入力された
平均速度ベクトル速度の大きさを図５に示すあらかじめ
設定された閾値Ｔ_vcと比較し，もしＴ_vc以上なら，この
平均速度ベクトルをベクトル変換部７−１−３に出力す
る。

【００６８】ベクトル変換部７−１−３は，入力された
平均速度ベクトルをカメラ座標系に変換して変換平均速
度ベクトルを抽出し，速度ベクトル蓄積部７−１−４に
蓄積する。

【００６９】トラッキング（横）条件判定部７−１−５
は，速度ベクトル蓄積部７−１−４の変換平均速度ベク
トルを読み出し，図５に示す条件２の（ａ）が成立する
かどうかを判定し，もし成立するならトラッキング
（横）情報をカメラワーク蓄積部７−２の単位カット情
報蓄積部６−７−３−１〜Ｎに対応する単位カメラワー
ク蓄積部７−２−１〜Ｎに蓄積する。もし成立しないな
ら，判定開始情報をトラッキング（縦）条件判定部７−
１−６に出力する。

【００７０】トラッキング（縦）条件判定部７−１−６
は，判定開始情報を入力すると，速度ベクトル蓄積部７
−１−４の変換平均速度ベクトルを読み出し，図５に示
す条件２の（ｂ）が成立するかどうかを判定し，もし成
立するならトラッキング（縦）情報をカメラワーク蓄積
部７−２の該単位カット情報蓄積部６−７−３−１〜Ｎ
に対応する単位カメラワーク蓄積部７−２−１〜Ｎに蓄
積する。もし成立しないなら，判定開始情報をドリー
（前方向）条件判定部７−１−７に出力する。

【００７１】ドリー（前方向）条件判定部７−１−７
は，判定開始情報を入力すると，速度ベクトル蓄積部７
−１−４の変換平均速度ベクトルを読み出し，図５に示
す条件２の（ｃ）が成立するかどうかを判定し，もし成
立するならドリー（前方向）情報をカメラワーク蓄積部
７−２の単位カット情報蓄積部６−７−３−１〜Ｎに対
応する単位カメラワーク蓄積部７−２−１〜Ｎに蓄積す
る。もし成立しないなら，判定開始情報をドリー（後方
向）条件判定部７−１−８に出力する。

【００７２】ドリー（後方向）条件判定部７−１−８
は，判定開始情報を入力すると，速度ベクトル蓄積部７
−１−４の該変換平均速度ベクトルを読み出し，図５に
示す条件２の（ｄ）が成立するかどうかを判定し，もし
成立するならドリー（後方向）情報をカメラワーク蓄積
部７−２の該単位カット情報蓄積部６−７−３−１〜Ｎ
に対応する単位カメラワーク蓄積部７−２−１〜Ｎに蓄
積する。

【００７３】次に，平均角速度ベクトル抽出部７−１−
１４は，カット情報蓄積部６−７−３の第一の単位カッ
ト情報蓄積部６−７−３−１〜ＮのＩＮ点蓄積部６−７
−３−１−１とＯＵＴ点蓄積部６−７−３−１−２に蓄
積されている開始時刻と終了時刻を読み出し，カメラ情
報蓄積部４のカメラ回転運動マトリクス蓄積部４−２の
開始時刻と終了時刻の間に該当する各瞬時カメラ回転運
動マトリクス蓄積部４−２−１〜Ｍからカメラ回転運動
マトリクスを読み出し，開始時刻と終了時刻間での平均
角速度ベクトルを抽出して，角速度条件判定部７−１−
１５に出力する。

【００７４】角速度条件判定部７−１−１５は，入力さ
れた平均角速度ベクトルの大きさを図５に示すあらかじ
め設定された閾値Ｔ_wcと比較し，もしＴ_wc以上なら，該
平均角速度ベクトルを角速度ベクトル蓄積部７−１−１
６に蓄積する。

【００７５】チルト条件判定部７−１−１７は，角速度
ベクトル蓄積部７−１−１６の平均角速度ベクトルを読
み出し，図５に示す条件２の（ｅ）が成立するかどうか
を判定し，もし成立するなら，チルト情報をカメラワー
ク蓄積部７−２の該単位カット情報蓄積部６−７−３−
１〜Ｎに対応する単位カメラワーク蓄積部７−２−１〜
Ｎに蓄積する。もし成立しないなら，判定開始情報をパ
ン条件判定部７−１−１８に出力する。パン条件判定部
７−１−１８は，判定開始情報を入力すると，角速度ベ
クトル蓄積部７−１−１６の平均角速度ベクトルを読み
出し，図５に示す条件２の（ｆ）が成立するかどうかを
判定し，もし成立するなら，パン情報をカメラワーク蓄
積部７−２の該単位カット情報蓄積部６−７−３−１〜
Ｎに対応する単位カメラワーク蓄積部７−２−１〜Ｎに
蓄積する。

【００７６】次に平均焦点速度抽出部７−１−９は，カ
ット情報蓄積部６−７−３の第一の単位カット情報蓄積
部６−７−３−１〜ＮのＩＮ点蓄積部６−７−３−１−
１とＯＵＴ点蓄積部６−７−３−１−２に蓄積されてい
る開始時刻と終了時刻を読み出し，カメラ情報蓄積部４
の焦点距離蓄積部４−３の開始時刻と終了時刻の間に該
当する各瞬時焦点距離蓄積部４−３−１〜Ｍから焦点距
離を読み出し，開始時刻と終了時刻間での平均焦点速度
を抽出して，焦点速度条件判定部７−１−１０に出力す
る。

【００７７】焦点速度条件判定部７−１−１０は，平均
焦点速度を入力すると，平均焦点速度の大きさを図５に
示すあらかじめ設定された閾値Ｔ_fcと比較し，もしＴ_fc
以上なら該平均焦点速度を焦点速度蓄積部７−１−１１
に蓄積する。

【００７８】ズームイン条件判定部７−１−１２は，焦
点速度蓄積部７−１−１１の平均焦点速度を読み出し，
図５に示す条件２の（ｇ）が成立するかどうかを判定
し，もし成立するなら，ズームイン情報をカメラワーク
蓄積部７−２の単位カット情報蓄積部６−７−３−１〜
Ｎに対応する単位カメラワーク蓄積部７−２−１〜Ｎに
蓄積する。もし成立しないなら，判定開始情報をズーム
アウト条件判定部７−１−１３に出力する。

【００７９】ズームアウト条件判定部７−１−１３は，
焦点速度蓄積部７−１−１１の平均焦点速度を読み出
し，図５に示す条件２の（ｈ）が成立するかどうかを判
定し，もし成立するなら，ズームアウト情報をカメラワ
ーク蓄積部７−２の単位カット情報蓄積部６−７−３−
１〜Ｎに対応する単位カメラワーク蓄積部７−２−１〜
Ｎに蓄積する。

【００８０】カメラワーク抽出部７は，上記と同様の手
順をカット情報蓄積部６−７−３のすべての単位カット
情報蓄積部６−７−３−１〜Ｎについて反復する。画像
割り当て部８の画像割り当て制御部８−１は，カメラワ
ーク蓄積部７−２の第一の単位カメラワーク蓄積部７−
２−１〜Ｎのカメラワーク情報，カット情報蓄積部６−
７−３の第一の単位カット情報蓄積部６−７−３−１〜
ＮのＩＮ点蓄積部６−７−３−１−１の開始時刻，およ
びＯＵＴ点蓄積部６−７−３−１−２の終了時刻を読み
出し，もし該カメラワーク情報が標準状態であるなら，
開始時刻と終了時刻の中間時刻に対応する静止画像蓄積
部５の単位静止画像蓄積部５−１〜Ｍから静止画像を読
み出すとともに，コマ形状情報蓄積部８−２から標準状
態に該当するコマ形状情報を読み出し，静止画像をコマ
形状に合致するように拡大縮小した後，レイアウト制御
部８−４に出力する。もしカメラワーク情報が標準状態
以外であるならば，コマ形状情報蓄積部８−２から該カ
メラワーク情報に対応するコマ形状情報を読み出し，該
コマ形状情報，該カメラワーク情報，該開始時刻，およ
び該終了時刻を画像再生成部８−３に出力する。

【００８１】画像再生成部８−３は，該コマ形状情報，
該カメラワーク情報，該開始時刻，および該終了時刻を
入力すると，カメラ情報蓄積部４の開始時刻および終了
時刻に対応する瞬時カメラ並進運動ベクトル蓄積部４−
１−１〜Ｍ，瞬時カメラ回転運動マトリクス蓄積部４−
２−１〜Ｍ，および瞬時焦点距離蓄積部４−３−１〜Ｍ
の内容，ならびに各オブジェクト情報蓄積部３−１〜Ｋ
のモデル情報蓄積部３−１−１の内容，該開始時刻およ
び終了時刻に対応する瞬時オブジェクト並進運動ベクト
ル蓄積部３−１−２−１〜Ｍ，瞬時オブジェクト回転運
動マトリクス蓄積部３−１−３−１〜Ｍ，および瞬時オ
ブジェクトスケール蓄積部３−１−４−１〜Ｍの内容を
読み出し，該カメラワーク情報に応じた静止画像を生成
して，レイアウト制御部８−４に出力する。

【００８２】レイアウト制御部８−４は，静止画像を入
力すると，ページ画像蓄積部９の第一の単位ページ画像
蓄積部９−１〜Ｈに，該静止画像を表示部１０に表示し
たときに該静止画像が右上隅から左下隅に向かって順番
に表示されるよう書き込む。単位ページ画像蓄積部９−
１〜Ｈに書き込みきれなくなった場合には，次の単位ペ
ージ画像蓄積部９−１〜Ｈの右上隅から書き込む。画像
割り当て部８は，上記手順をカメラワーク蓄積部７−２
のすべての単位カメラワーク蓄積部７−２−１〜Ｎにつ
いて反復する。

【００８３】表示部１０は，ページ画像蓄積部９の各単
位ページ画像蓄積部９−１〜Ｈの内容を順番に読み出し
て表示する。このような構成になっているから，動画像
を，カメラワークや被写体の動きが表現可能なコミック
形式の映像に変換し表示することができる。

【００８４】

【発明の効果】本発明によって，３次元モデルのコンピ
ュータグラフィックスを用いた会話的操作による学習や
訓練のシミュレーションまたはゲームによって生成され
た動画像を，カメラワークや被写体の動きに応じた分か
り易いコミック形式の映像に変換することが可能とな
る。このように，動画像をコミック形式に要約した画像
を再度見ることで，コンピュータグラフィックスを用い
た会話的操作による訓練や学習の結果を再参照し復習す
ることが可能となり，学習効率を高める上で極めて効果
的であると考えられる。

【図面の簡単な説明】

【図１】本発明の構成例を示す図である。

【図２】本発明の実施の形態による処理の流れを示す図
である。

【図３】状態変化点検出処理を説明する図である。

【図４】状態変化点検出のための優先順位を付与する理
由を説明する図である。

【図５】カメラワークの抽出条件を説明する図である。

【図６】カメラ速度ベクトルを示す図である。

【図７】カメラモデルの例を説明する図である。

【図８】コマ割りの例を示す図である。

【図９】本発明の一実施例を示す図である。

【図１０】本発明の一実施例を示す図である。

【符号の説明】

１ シーン情報入力部 １−１ オブジェクト情報入力部 １−２ カメラ情報入力部 ２ 静止画像入力部 ３−１〜Ｋ オブジェクト情報蓄積部 ３−１−１ モデル情報蓄積部 ３−１−２ オブジェクト並進運動ベクト
ル蓄積部 ３−１−２−１〜Ｍ 瞬時オブジェクト並進運動ベ
クトル蓄積部 ３−１−３ オブジェクト回転運動マトリ
クス蓄積部 ３−１−３−１〜Ｍ 瞬時オブジェクト回転運動マ
トリクス蓄積部 ３−１−４ オブジェクトスケール蓄積部 ３−１−４−１〜Ｍ 瞬時オブジェクトスケール蓄
積部 ４ カメラ情報蓄積部 ４−１ カメラ並進運動ベクトル蓄積
部 ４−１−１〜Ｍ 瞬時カメラ並進運動ベクトル
蓄積部 ４−２ カメラ回転運動マトリクス蓄
積部 ４−２−１〜Ｍ 瞬時カメラ回転運動マトリク
ス蓄積部 ４−３ 焦点距離蓄積部 ４−３−１〜Ｍ 瞬時焦点距離蓄積部 ５ 静止画像蓄積部 ５−１〜Ｍ 単位静止画像蓄積部 ６ カット抽出部 ６−１ カメラ状態変化点抽出部 ６−１−１ カメラ状態抽出部 ６−１−１−１ カメラ加速度抽出部 ６−１−１−２ カメラ角加速度抽出部 ６−１−１−３ 焦点距離加速度抽出部 ６−１−２ カメラ状態変化抽出部 ６−１−２−１ カメラ加速度変化抽出部 ６−１−２−２ カメラ角加速度変化抽出部 ６−１−２−３ 焦点距離加速度変化抽出部 ６−２ オブジェクト状態変化点抽出
部 ６−２−１ オブジェクト状態抽出部 ６−２−１−１ オブジェクト加速度抽出部 ６−２−１−２ オブジェクト角加速度抽出部 ６−２−２ オブジェクト状態変化抽出部 ６−２−２−１ オブジェクト加速度変化抽出
部 ６−２−２−２ オブジェクト角加速度変化抽
出部 ６−３ 優先順位抽出部 ６−３−１ 投影像抽出部 ６−３−２ 投影面積抽出部 ６−３−３ 画像中心距離抽出部 ６−３−４ 視軸距離抽出部 ６−３−５ 優先度抽出処理部 ６−３−６−１〜Ｋ オブジェクト優先度蓄積部 ６−３−６−１−１〜Ｍ 瞬時オブジェクト優先度蓄積
部 ６−３−７ 優先順位判定部 ６−４ 優先順位蓄積部 ６−４−１〜Ｋ オブジェクト優先順位蓄積部 ６−４−１−１〜Ｍ 瞬時オブジェクト優先順位蓄
積部 ６−５ オブジェクト状態変化点蓄積
部 ６−５−１〜Ｋ 個別オブジェクト状態変化点
蓄積部 ６−５−１−１〜Ｍ 瞬時オブジェクト状態変化点
蓄積部 ６−６ オブジェクト状態変化判定処
理部 ６−７ カット情報抽出部 ６−７−１ カット点蓄積部 ６−７−１−１〜Ｍ 瞬時カット点蓄積部 ６−７−２ カット情報抽出処理部 ６−７−３ カット情報蓄積部 ６−７−３−１〜Ｎ 単位カット情報蓄積部 ６−７−３−１−１ ＩＮ点蓄積部 ６−７−３−１−２ ＯＵＴ点蓄積部 ７ カメラワーク抽出部 ７−１ カメラワーク抽出処理部 ７−１−１ 平均速度ベクトル抽出部 ７−１−２ 速度条件判定部 ７−１−３ ベクトル変換部 ７−１−４ 速度ベクトル蓄積部 ７−１−５ トラッキング（横）条件判定
部 ７−１−６ トラッキング（縦）条件判定
部 ７−１−７ ドリー（前方向）条件判定部 ７−１−８ ドリー（後方向）条件判定部 ７−１−９ 平均焦点速度抽出部 ７−１−１０ 焦点速度条件判定部 ７−１−１１ 焦点速度蓄積部 ７−１−１２ ズームイン条件判定部 ７−１−１３ ズームアウト条件判定部 ７−１−１４ 平均角速度ベクトル抽出部 ７−１−１５ 角速度条件判定部 ７−１−１６ 角速度ベクトル蓄積部 ７−１−１７ チルト条件判定部 ７−１−１８ パン条件判定部 ７−２ カメラワーク蓄積部 ７−２−１〜Ｎ 単位カメラワーク蓄積部 ８ 画像割り当て部 ８−１ 画像割り当て制御部 ８−２ コマ形状情報蓄積部 ８−３ 画像再生成部 ８−４ レイアウト制御部 ９ ページ画像蓄積部 ９−１〜Ｈ 単位ページ画像蓄積部 １０ 表示部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 13/00,15/70 G06F 3/00 G09G 5/36 - 5/38

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 ３次元モデルを有するコンピュータグラ
   フィックスを用いて生成された動画像を構成する各静止
   画像を順次読み込む静止画像入力部と，該静止画像入力
   部から読み込んだ静止画像を蓄積する静止画像蓄積部
   と，該動画像中の各被写体であるオブジェクトのモデル
   情報，該動画像を構成する各静止画像に対応する各オブ
   ジェクトの動きに関する情報を含むオブジェクト状態情
   報，および該動画像を構成する各静止画像に対応するカ
   メラの状態に関するカメラ状態情報を読み込むシーン情
   報入力部と，該シーン情報入力部から読み込んだオブジ
   ェクト状態情報を各オブジェクト毎に各静止画像に対応
   づけて蓄積するオブジェクト情報蓄積部と，該シーン情
   報入力部から読み込んだカメラ状態情報を各静止画像に
   対応づけて蓄積するカメラ情報蓄積部と，前記オブジェ
   クト情報蓄積部に蓄積されたオブジェクト状態情報を読
   み出し，各オブジェクトの状態変化およびカメラの状態
   変化から該動画像のカット点を抽出するカット抽出部
   と，該カット抽出部で抽出されたカット点と前記カメラ
   情報蓄積部に蓄積されたカメラ状態情報を読み出し，各
   カットにおけるカメラワークを抽出するカメラーワーク
   抽出部と，該カメラワーク抽出部が抽出した各カットに
   おけるカメラワーク，前記静止画像蓄積部に蓄積された
   各静止画像，前記カメラ情報蓄積部に蓄積されたカメラ
   状態情報，および前記各オブジェクト情報蓄積部に蓄積
   された各オブジェクトのモデル情報，オブジェクト状態
   情報を読み出し，各カットの形状，ページへの割り当
   て，各カット形状に適合した静止画像の再レンダリング
   を行い，ページ単位にコミック形式の画像を生成する画
   像割り当て部と，該画像割り当て部が生成したコミック
   形式の画像を蓄積するページ画像蓄積部とを備え，動画
   像をコミック形式の画像に変換するようにしたことを特
   徴とする映像情報変換装置。