JP3364682B2 - 画像列生成方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はコンピュータグラフ
ィックスと実写映像との合成を行う方法及びその装置に
関する。

【０００２】

【従来の技術】最近、映画やコマーシャルフィルムの製
作でコンピュータグラフィックス（以下CGという) と実
写映像の合成が盛んに用いられるようになってきた。例
えば、CGで作った架空の建築物などに、予め撮影した人
間の実写映像を合成することで、あたかも人間がその建
築物の中を歩いている効果を創り出せる。このCGと実写
映像の合成によって作られた映像は、見る者にとってリ
アルでインパクトの強いものであり、特に景観シミュレ
ーションには欠かせないものとなっている。

【０００３】一般的に、CGでは描画する物体の形状は、
平面、２次曲面などの簡単な幾何形状 (形状プリミティ
ブ) を使って定義し、その表面には任意の色付けをした
り、画像データを貼り付ける処理を行う。しかしこの方
法では、木や川などの自然物を描画すると常にその姿が
固定された状態に見えてしまう。そこで、予め風に揺れ
ている木あるいは水が流れている川を撮影しておき、CG
で作成したシーンにその実写映像を合成することで、よ
り自然なアニメーションを作ることができる。従来の方
法では、撮影した実写映像から画像を選択し、平板など
の簡単な形状プリミティブに貼り付けることでCGとの合
成処理を行っている。この合成処理を各フレームごとに
繰り返して行い、連続した合成画像のアニメーションを
製作するのである。

【０００４】なお、静止画の合成画像に関する公知文献
として「景観シミュレーションのための 2.5次元簡易情
景モデル構築の一手法」 (1992年７月：「画像の認識・
理解シンボジウム (MIRU '92) 」がある。また本発明の
一部である３次元図形抽出に関するものとして特開昭62
-162173号公報及び特開平3-244005号公報がある。

【０００５】

【発明が解決しようとする課題】この種技術においては
以下の如き解決すべき課題があった。 (1) 実写映像を３次元形状を持ったCGモデルに変換する
のを簡便に行わしめること (2) この変換の際にオペレータの介入を許容すること (3) 動画の実写映像とCGとの合成を可能にすること (4) 実写映像から所要の部分を抽出する場合の操作性、
能率を高めること (5) CGモデルの回転、拡大縮小及び移動の操作性を高め
ること (6) CGと実写映像との合成の同期を容易にとれるように
すること

【０００６】〔発明の概要〕この発明で提案する方法，
装置（システム）では、画像処理の技法を用いて、計算
機がユーザとの対話処理を行って、 1) 映像情報の物体単位の切り分け、 2) ３次元幾何情報を付加した動画オブジェクトの生
成、 3) CGモデルと動画オブジェクトの同時表示、の３つの
処理を行う。1)によりスタジオでのブルーバック撮影
が、2)により映像撮影時のカメラの位置情報の測定や記
録が不要になり、また3)により表示の際に視点を変更す
ることが可能となる。

【０００７】システム構成の概略 図１に本発明のシステムの構成の概略を示す。本システ
ムでは、特定物体領域の抽出部、３次元幾何情報の抽出
部、動画オブジェクトとCGの同時描画部の３つの処理部
から構成されている。特定物体領域の抽出部と３次元幾
何情報の抽出部により、CGと合成するための動画オブジ
ェクトと呼ぶデータが作られて、ハードディスクに格納
される。このデータを利用して、動画オブジェクト及び
CGの同時描画部では、非リアルタイムに合成画像を生成
する。

【０００８】特定物体領域の抽出部 特定物体領域の抽出部は、キャプチャリングツールによ
って入力された映像情報から、特定物体の領域を切り出
す処理を行う。この処理の流れを図２に示す。ここでは
入力データとして連続画像シーケンスを受け取り、出力
として特定物体を包含する矩形領域の画像シーケンス
と、それと同じサイズのアルファ値を格納したアルファ
マップシーケンスを作る。物体の領域を２値のマスクで
切り分けると境界部分に不自然なエリアシングが生じ
る。これを防ぐためにアルファ値を使って領域を定義す
る。あるｎ枚目の画像について、ユーザとの対話処理で
特定物体の領域を決定後、ｎ＋１〜ｎ＋ｍ枚目の処理は
前フレームの処理結果を利用して計算機で半自動的に行
う。

【０００９】３次元幾何情報の抽出部 ３次元幾何情報の抽出部は、前述の特定物体領域の抽出
部が作った特定物体を包含する矩形領域の画像シーケン
スとアルファマップシーケンスを利用して２次元の映像
情報から３次元幾何情報を抽出する。この３次元幾何情
報の抽出は、ユーザが２次元の画像上の物体に、複数の
簡単な形状プリミティブ（直方体など）を変形、回転、
移動なとの操作をして、フィッティングを行うことで実
現する。本システムでは視点情報だけでなく、物体の形
状情報及び各面に張り付いているテクスチャ画像を抽出
する。この抽出部では、動画オブジェクトと呼ぶデータ
構造を作るために、映像中の物体に３次元幾何情報を与
え、そのCGモデル化された物体の各面に張り付く映像情
報を抽出し、正面から見たものに正規化して格納する。

【００１０】動画オブジェクトの構造 特定物体領域の抽出部と３次元幾何情報の抽出部の処理
を経て生成されたデータは動画オブジェクトと呼ぶ構造
になる。図３に動画オブジェクトの構造の概略を示す。
動画オブジェクトはCGと映像を融合するために新たに作
ったデータ構造で、形状データの他に表面情報として、
各面に張り付く映像情報（静止画，或いは動画）へのポ
インタを格納している。

【００１１】合成画像生成部 合成画像生成部では、生成された動画オブジェクトデー
タとCGデータとを同時に描画する。このとき、メタ情報
として描画するCGシーンの時刻Ｔ_i と時間間隔Δｔを指
定する。CGデータには各物体の形状データの他に、各時
刻に於ける位置情報が含まれる。また、時刻Ｔ_i によ
り、動画オブジェクトの中の映像データから各面に貼り
付けられる映像が選択される。時刻Ｔ_i に於ける物体の
表面属性が決定された後、時刻Ｔ_i における合成シーン
を生成する。

【００１２】以下本発明を具体的に説明する。本願の発
明は大きく３つに分けられる。 (1) 全体構成に関するもの (2) 特定物体の領域の抽出部及び３次元形状情報の付加
部に関するもの (3) 合成画像生成部に関するもの

【００１３】(2) は 2-1 特定物体領域の抽出部及び３次元形状情報の付加部
の構成に関するもの 2-2 前記抽出部の構成に関するもの 2-3 ３次元形状モデルの表示に関するものの３つに分け
られる。 以下(1) を第１群の発明、2-1 、2-2 、2-3 を夫々第
２、３、４群の発明、(3)を第５群の発明と言う。

【００１４】本願の主題は第５群の発明であるが、それ
に関連する第１〜第４群の発明も説明する。第１群の発
明から詳細に説明する。 ［第１群の発明］ (概要)第１群の発明はCGと実写映像との合成の全体構成
に関するものである。

【００１５】

【従来の技術及び発明が解決しようとする課題】CGと実
写映像の合成は、合成後の映像を想定した上で撮影し、
実写画像から合成すべき部分のみを切り出し、CGに重ね
合わせる手法をとっていた。このような手法における撮
影の場合、ブルーバックによるスタジオ撮影が必要であ
ったり、撮影時にカメラの位置を測定する必要があるな
ど、大掛かりな環境が必要である。

【００１６】計算機によって支援する方式も前述のMIRU
'92の文献に提案されている。これは視点情報を実写映
像から抽出し、その映像中の対象物を平面に近似して、
CGと合成する手法である。しかし、完全な３次元情報を
有するモデルではないため、合成時に視点を変更できな
いなど、合成処理に制限を受ける。特開平3-138784号公
報には静止画中の物体を３次元として扱うために、静止
画中の物体を３次元モデルに基づいて再構成し、その３
次元物体に相当する部分画像を、３次元物体モデルの表
面テクスチャとしてマッピングし表示する方式が提案さ
れている。この方式では、１つの３次元部に対し、複数
枚の入力画像から表面テクスチャを合成することも提案
している。しかし、映像 (動画像) の場合、表面テクス
チャが刻々と変化する場合も考えられ、複数テクスチャ
を合成した場合、時系列方向で平滑化したテクスチャが
得られてしまうこともあり不適当である。

【００１７】

【発明が解決しようとする課題】本発明はこのような技
術的背景の下になされたものであり、実写映像を３次元
形状を有するCGモデルに簡便に変換することができる画
像合成方法を提案することを第１の目的とする。また前
記CGモデルをフレームごとに生成して、その結果動画に
もできる映像合成方法を提供することを第２の目的とす
る。

【００１８】

【課題を解決するための手段】本発明に係る画像合成方
法は、コンピュータグラフィックスと実写映像とを合成
する画像合成方法において、実写映像中の特定の領域を
抽出する過程と、抽出した領域に３次元形状の情報を付
加する過程と、抽出領域の情報及び３次元形状の情報に
基づき、抽出領域に係る情報をコンピュータグラフィッ
クスモデル化する過程とを備えることを主な特徴とす
る。

【００１９】更に、コンピュータグラフィックスモデル
化した前記抽出領域に係る情報と他のコンピュータグラ
フィックスモデルとを混在表示させるべくこれらを合成
する過程を備える。そして動画作成のために複数フレー
ムに亘って同様の処理を実行する。

【００２０】本発明に係る画像合成装置は、コンピュー
タグラフィックスと実写映像とを合成する画像合成装置
において、実写映像中の特定の領域を抽出する手段と、
抽出した領域に３次元形状の情報を付加する手段と、抽
出領域の情報及び３次元形状の情報に基づき、抽出領域
に係る情報をコンピュータグラフィックスモデル化する
手段とを備えることを主な特徴とする。

【００２１】更に、コンピュータグラフィックスモデル
化した前記抽出領域に係る情報と他のコンピュータグラ
フィックスモデルとを混在表示させるべくこれらを合成
する手段を備える。

【００２２】実写映像から特定の物体に対応する領域を
切り出し、これに３次元形状情報を付加する。これによ
り実写映像の前記特定物体の表面属性を有するCGモデル
が生成される。これを単独で用いるか、又は他のCGモデ
ルと混合する。更に複数フレームに亘って同様の処理を
行うことで動画での画像合成が行える。

【００２３】

【発明の実施の形態】以下本発明をその実施の形態を示
す図面に基づき具体的に説明する。図４は本発明方法を
実施するための装置のブロック図であり、図５はその処
理の流れ図である。図４において９はTVカメラ、ビデオ
テープ、ビデオディスク等の映像供給装置であり、これ
らから得られた実写映像情報はビデオメモリ等からなる
画像記憶部５へフレーム毎に記憶される。この画像記憶
部５に記憶されている実写映像情報は特定物体領域抽出
部１へ与えられ、ここで実写映像中の特定の物体の領域
が抽出される。抽出領域の指示はオペレータがマウス等
のポインティング装置12を用いて行う。またその具体的
な内容は第２〜４群の発明の説明に詳しい。図６は実写
映像として４角柱及び３角錐が表示されている場合に４
角柱を抽出領域として指定した（太線で示す）場合の状
態を示している。このようにして指定された領域の映像
情報は３次元形状情報付加部２へ送られ、ここで３次元
形状情報が付加される一方、形状・表面属性情報記憶部
６に記憶される。

【００２４】３次元形状情報付加部２は特定物体領域抽
出部１から与えられた情報に３次元形状情報を付加し
て、これを形状・表面属性情報記憶部６に蓄える。３次
元形状情報付加部２の具体的構成は第２群の発明に詳し
いが、ここでも１例を挙げて説明する。

【００２５】図７はそのフローチャートである。まず図
８に示すように指定して抽出した領域、又は物体を画像
表示装置10の画面に表示させて、オペレータに画像の焦
点距離ｆを入力させる(S1)。この入力にはキーボード等
の文字・数値入力装置11が使用される。次にポインティ
ング装置12を用いて画面上に稜線を描画させ、その奥行
の値を入力させる(S2)。図８には描画した稜線を太線で
示し、指定した奥行の値をＺで表示している。この描
画、奥行指定は取消、訂正が可能である。面の特定は基
本的に３角形（３本の稜線）によって行えるから、この
発明でも図９に示すように３角形に分割するように稜線
を描画し、また３角形への分割のための補助線（矩形の
対角線）の描画を行い、相異る２本の稜線（補助線を含
む）が交わることなく、抽出領域内の総ての点が３本の
稜線に囲まれた状態になっている状態にする(S3)。

【００２６】次に端点の３次元座標の算出をする(S4)。
これはS1、S2で入力した焦点距離ｆ、奥行Ｚ、及び端点
の画像上の座標（ｘ，ｙ）に基づき、 Ｘ＝（ｘ／ｆ）×Ｚ Ｙ＝（ｙ／ｆ）×Ｚ により得る。なお、稜線上の点及び稜線で囲まれた領域
内の点の３次元座標は、次の式によって算出できる。

【００２７】稜線上の点稜線の端点の画像上の座標及び
３次元座標を夫々、（ｘ_i ，ｙ_i ），（Ｘ_i ，Ｙ_i ，Ｚ
_i ）（ｉ＝１，２）とすると、稜線上の点（ｘ，ｙ）の
３次元座標（Ｘ，Ｙ，Ｚ）は、 Ｘ＝（１−ｔ）Ｘ₁ ＋ｔＸ₂ Ｙ＝（１−ｔ）Ｙ₁ ＋ｔＹ₂ Ｚ＝（１−ｔ）Ｚ₁ ＋ｔＺ₂ により得る。ただし、ｔは、ｘ₁ ≠ｘ₂ の場合は（ｘ−
ｘ₁ ）／（ｘ₂ −ｘ₁ ）、ｘ₁ ＝ｘ₂ の場合は（ｙ−ｙ
₁ ）／（ｙ₂ −ｙ₁ ）である。

【００２８】稜線で囲まれた領域内の点この領域内の点
はいずれも３本の稜線に囲まれており、それらの交点は
３本の稜線の端点であることが保証されている。従って
３つの交点の座標がなす平面は、３つの交点の座標（Ｘ
_i ，Ｙ_i ，Ｚ_i ）（ｉ＝１，２，３）により求めること
ができる（自明）。この平面の方程式をａＸ＋ｂＹ＋ｃ
Ｚ−１＝０とおくと、領域内の点の画像上の座標（ｘ，
ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、 Ｘ＝ｘ／（ａｘ＋ｂｙ＋ｃｆ） Ｙ＝ｙ／（ａｘ＋ｂｙ＋ｃｆ） Ｚ＝ｆ／（ａｘ＋ｂｙ＋ｃｆ） により得られる。

【００２９】このようにして得られた稜線から、端点の
３次元座標及び接続関係は形状情報として、端点の特定
物体領域上の座標対応及び特定物体領域画像の画像デー
タは表面属性情報として、形状・表面属性情報記憶部６
へ格納する(S5)。表１は形状・表面属性情報記憶部６の
記憶内容を示している。以上のS1〜S5の処理を全フレー
ムにつき反復する(S6)。

【００３０】

【表１】

【００３１】次に形状・表面属性情報記憶部６の内容を
映像CGモデル生成部３でCGモデル化する。形状情報のCG
モデル化については稜線の接続関係及び３次元座標よ
り、端点を頂点、稜線を辺、囲まれる部分を面とみなす
ことによりそのままCGモデルを生成できる。

【００３２】一方、表面属性情報については面とみなし
た部分の表面属性情報として、その位置に対応する画像
情報を、生成するCGモデルのテクスチャとする。その
際、その画像情報を、３次元空間で法線方向から見た画
像として正規化する。正規化の際の回転行列Ｒは、次式
で与える。

【００３３】

【数１】

【００３４】ただし、回転角ψ及び回転角κは、この領
域の平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０と表した
際のａ，ｂ，ｃに基づき

【００３５】

【数２】

【００３６】である。ａ，ｂ，ｃは、３つの頂点の３次
元座標（Ｘ_i ，Ｙ_i ，Ｚ_i ）（ｉ＝１，２，３）により
求めることができる。このようなCGモデル化処理をすべ
てのフレームに対して適用し、実写映像に対するCGモデ
ルを、各フレームに対するCGモデル列として獲得し、こ
れを映像CGモデル記憶部7bに記憶させる。CGモデル作成
部13は上述のような実写映像から作成するのではない通
常のCGモデルを作成するものであり、作成されたCGモデ
ルはCGモデル記憶部7aに記憶される。

【００３７】合成情報記憶部８はこのCGモデルと実写映
像から作成した映像CGモデルとを合成画像生成部４で合
成するための情報 (CGモデル配置情報) を記憶するもの
であり、合成画像生成部４は、これに基づいて両CGモデ
ルの合成をし、これを画像表示装置10に表示させたり、
或いは図示しない記録媒体に記録させる。合成画像生成
部４及び合成情報記憶部８については第５群の発明に詳
しい。

【００３８】

【発明の効果】以上の如き本発明による場合は実写映像
を３次元形状を持つCGモデルへ変換するので、通常のCG
モデルと同様の取扱いができ、これらの合成等の処理が
容易に行える。そして実写映像のCGモデル化は領域の抽
出及びこれに対する３次元形状情報の付加という簡便な
操作で行える。またこの際オペレータの手動介入が可能
であるので、微妙な調整、或いはこの作為的変更が行
え、自由度が高まる。また複数フレームを同様に処理す
ることで動画への適用も可能である。

【００３９】［第２群の発明］ (概要)この発明は図４の特定物体領域抽出部１及び３次
元形状情報付加部２の構成に係るものである。

【００４０】

【従来の技術及び発明が解決しようとする課題】画像中
の３次元物体に対し、その物体の形状を完全に抽出する
方式は、未だ確立されていない。従来技術として提案さ
れているのは、物体表面の反射特性を仮定し、観察され
る色値から物体表面の傾きを求める方式や、画像に観察
される物体のモデルを予め記憶しておき、そのモデルと
画像に観察される物体の見えかたを照合する方式、等々
である。これらは、画像理解研究の発展とともに、開発
されてきた。

【００４１】しかし、何れの方式も、適用条件に合致し
ていないと適用できない。例えば、前者の方式に対して
は、反射特性を仮定できない物体の場合、後者の方式に
対しては、記憶していないモデルの物体の場合、適用す
ることができない。そこでこの発明では映像に含まれる
物体の３次元形状を得る際、その物体のおよその形状を
人間が指定し、その形状のモデルを画像に表示しなが
ら、その重ね合わせ方を、人間による指定と、画像処理
の手法を用いた計算機による自動調整を、交互に対話的
に行う３次元形状抽出方法及び装置を提供することを目
的とする。

【００４２】

【課題を解決するための手段】第２群の発明の方法は、
実写映像に含まれる物体の３次元形状を抽出する方法に
おいて、複数の幾何学的形状のデータを予め用意してお
く過程と、実写映像から前記物体に相当する領域を抽出
する過程と、抽出した領域を表示している画面に前記デ
ータによっていずれかの形状を選択表示させる過程と、
前記領域および形状を一致させるべく前記形状の位置、
向き、大きさを調整する過程とを備えることを特徴とす
る。

【００４３】また第２群の発明の装置は、実写映像に含
まれる物体の３次元形状を抽出する装置において、複数
の幾何学的形状のデータを予め用意しておく手段と、実
写映像から前記物体に相当する領域を抽出する手段と、
抽出した領域を表示している画面に前記データによって
いずれかの形状を選択表示させる手段と、前記領域およ
び形状を一致させるべく前記形状の位置、向き、大きさ
を調整する調整手段とを備えることを特徴とする。

【００４４】そして調整手段では物体の形状及び色相値
に基づく位置，向き，大きさの自動調整手段を備える。
更に調整済形状に実写映像から抽出した領域の画像情報
をマッピングする手段を備える。

【００４５】抽出した物体の領域に近い形状を予め用意
されている形状の中から選択して表示させる。そうする
とこの領域と形状とが一致するように調整されて目的と
する物体の３次元形状が抽出できたことになる。この結
果は前述の３次元形状情報付加部２で得られた結果と同
様のものである。

【００４６】

【発明の実施の形態】以下第２群の発明をその実施の形
態を示す図面に基づいて詳述する。図10は３次元形状抽
出装置のブロック図である。図において21は物体領域抽
出部であり、実写映像から所要の物体の領域を抽出して
画像表示装置27に表示させるものである。これについて
は第３群の発明に詳しい。実写映像及び抽出映像は画像
記憶部25に記憶される。基本形状選択部22は図12に示す
ような基本形状のパターンを多数記憶しており、これを
オペレータが選択して画像表示装置27に表示させるもの
である。基本形状重ね合わせ部23はオペレータが選択し
た基本形状のパターンと、抽出した物体の画像とを図13
に示すように重ね合わせて表示させ、後述するようなオ
ペレータの操作とコンピュータによる自動調整とにより
両者を合致させるものである。合致するように重ね合わ
された結果は重ね合わせ情報記憶部26に記憶される。ま
た重ね合わせ結果表示部24は調整の済んだ基本形状に抽
出物体の表面の画像情報をマッピングするものである。

【００４７】次に図11に基づき３次元形状抽出方法を説
明する。画像記憶部25に記憶させてある実写映像を取出
し、これを画像表示装置27に表示させて物体領域抽出部
21で所要物体の抽出を行う(S21) 。図14はこの操作の説
明図である。オペレータは描画装置を用いて画面上に物
体領域及び背景領域を各例示する閉曲線を描く。物体領
域抽出部21は物体領域の閉曲線を拡張し、背景領域の閉
曲線は収縮させる。この拡張、収縮は色相が類似する部
分についてのみ認める。そうすると両閉曲線は境界で接
することになり、これにより境界を特定して所要の物体
の領域が抽出する。なお図14(b) のように拡張、収縮の
結果、影が存在する等のために境界が太く認定されるこ
とが生じ得るが、この場合は太い境界の内側線を物体の
境界とする。

【００４８】次に所定操作を行わせて基本形状 (形状プ
リミティブ) のパターンを表示させ、抽出物体の形状に
類似するものを選択する(S22) 。これにより図13に示す
ように重ね合わせ表示させる(S23) 。一般的に抽出した
物体形状と選択した基本形状とは一致しない。そこで両
者が一致するまで(S24) 、物体形状と基本形状とにつ
き、位置調整(S27) 、向きの調整(S28) 、大きさの調整
(S29) 及び形状の部分的変形(S30) を行う。一致, 不一
致はオペレータの判断による。

【００４９】図15は位置移動に関する処理のフローチャ
ート、図16はその説明図である。この移動の原理は物体
領域と形状プリミティブのワイヤフレームの重心を一致
させる点にある。即ち物体領域の重心Ｇ_ROの算出(S31)
、及び形状プリミティブのワイヤフレームの重心Ｇ_RP
の算出(S33) を行う。そしてこれらを一致させるべく形
状プリミティブのワイヤフレームの表示位置を移動する
(S32) 。

【００５０】物体領域の重心Ｒ_ROと、形状プリミティブ
のワイヤフレーム表示で囲まれる領域の重心Ｒ_RPが一致
するように、形状プリミティブのワイヤフレーム表示位
置を移動する (図16) 。なお、領域Ｒの重心Ｇ_R は、 Ｇ_R ＝( ｍ₁₀／ｍ₀₀，ｍ₀₁／ｍ₀₀ )^T により求めることができる。但し、 ｍ₀₀ ｍ₀₀＝∫ｆdR 領域Ｒを構成する点の個数を示す。この値は面積を表
す。 ｍ₁₀ ｍ₁₀＝∫ｘdR 領域Ｒを構成する各点のｘ座標の総和値を示す。 ｍ₀₁ ｍ₀₁＝∫ｙdR 領域Ｒを構成する各点のｙ座標の総和値を示す。これに
従い、形状プリミティブのワイヤフレーム表示位置を
（Ｇ_RO−Ｇ_RP）移動する。

【００５１】図17は向きの調整のために行う形状プリミ
ティブの回転の処理を示すフローチャート、図18はその
説明図である。回転による向きの調整の原理は、物体領
域及び形状プリミティブのワイヤフレームの長軸の平行
化にある。領域Ｒの長軸方向θ_R は、領域の重心回りの
慣性主軸として求めることができる。すなわち、 tan² θ_R ＋［｛ｍ₂₀−ｍ₁₀／ｍ₀₀）−（ｍ₀₂−ｍ₀₁／
ｍ₀₀）｝／（ｍ₁₁−ｍ₁₀ｍ₀₁／ｍ₀₀）］ tanθ_R −１＝
０ の解として求めればよい。但し、 ｍ₁₁ ｍ₁₁＝∫ｘｙdR 領域Ｒを構成する各点のｘ座標とｙ座標の積の総和値を
示す。 ｍ₂₀ ｍ₂₀＝∫ｘ² dR 領域Ｒを構成する各点のｘ座標の２乗の総和値を示す。 ｍ₀₂ ｍ₀₂＝∫ｙ² dR 領域Ｒを構成する各点のｙ座標の２乗の総和値を示す。
これに従い、形状プリミティブのワイヤフレーム表示位
置を（θ_RO−θ_RP）回転する。

【００５２】図17のフローチャートに示すように抽出し
た物体領域及び形状プリミティブのワイヤフレームのモ
ーメント量を算出する(S41,S44) 。このモーメント量の
算出は ｍ_ij＝∫ｘⁱ ｙ^j dR （ｉｊ）＝｛(0,0),(1,0),(0,1),(1,1),(2,0),(0,2) ｝ で求められる。

【００５３】一方、前述のようにして物体領域の長軸、
並びに形状プリミティブのワイヤフレームの長軸及び重
心Ｇ_RPを前述のようにして求める(S42,S45,S46) 。そし
てＧ _RPを中心としてθ_RO−Ｒ_RPだけ形状プリミティブの
ワイヤフレーム表示位置を回転する(S43) 。

【００５４】大きさの調整は図20に示すように両者の表
示面積が一致するように領域Ｒ_P の重心Ｇ_RPを中心とし
て形状プリミティブのワイヤフレームを拡大又は縮小す
ることで行う。即ち領域Ｒの面積Ｓ_R は Ｓ_R ＝ｍ₀₀ として求めることができる。これに従い、形状プリミテ
ィブのワイヤフレームをＳ_RO／Ｓ_RP倍すればよい。ここ
にＳ_ROは物体領域の面積Ｓ_RPは形状プリミティブのワイ
ヤフレームの面積である。

【００５５】図19のフローチャートにおいて、抽出した
物体の領域のモーメント量、形状プリミティブのワイヤ
フレーム表示領域のモーメント量を算出する(S51,S54)
。そしてこれを用いて両者の面積Ｓ_RO, Ｓ_RPを算出す
る(S52,S55) 。また形状プリミティブのワイヤフレーム
の重心Ｇ_RPを算出する(S56) 。そして形状プリミティブ
のワイヤフレームをＳ_RO／Ｓ_RP倍する(S53) 。面積はモ
ーメント量ｍ₀₀として求めることができる。

【００５６】図11に返って、形状の変形について説明す
る。物体領域の形状が基本形状と部分的に異なる場合は
オペレータが入力する命令で基本形状を部分的に変形す
る。以上のようにして物体領域と基本形状が一致した場
合は、これを重ね合わせ情報記憶部26へ格納する(S25)
。そして図21に示すように形状プリミティブのワイヤ
フレームに抽出した物体領域の画像情報をマッピングす
る(S26) 。つまり実写映像の所要部が切り出されて形状
プリミティブのワイヤフレームに貼り付けられた如き状
態になる。

【００５７】

【発明の効果】以上のような第２群の発明による場合は
オペレータが対話方式で３次元形状の抽出ができるので
適用条件に制約されず、また物体に対する既知情報（反
射情報など）を必要とすることなく抽出が可能である。
また基本形状を物体領域に一致させる作業はコンピュー
タが自動的に行うのでオペレータの負担は軽微である。
またマッピングを行うので抽出した３次元形状情報の適
否が直感的に判断できる。

【００５８】［第３群の発明］ (概要)第３群の発明は図４の特定物体領域抽出部又は図
10の物体領域抽出部に係るものである。

【００５９】

【従来の技術】電気的に画像を合成する場合は図22に示
すようにして行われていた。例えば人物像の画像をブル
ー背景として画像入力部Ａで撮影し、また風景画像を画
像入力部Ｂで撮影する。そして画像入力部Ａの画像から
ブルー成分を検出し、これを反転増幅して、適宜の混合
比制御をして、この反転増幅信号と、画像入力部Ａ, Ｂ
からの信号とを混合増幅器で合成し、画像出力部へ出力
することとしていた。これにより画像入力部Ａからの背
景が消えて画像入力部Ｂを背景とする人物像が合成され
ることになる。

【００６０】

【発明が解決しようとする課題】このような従来の方式
ではブルー背景を必要とし設備面での負担がある。また
当初から画像合成を意図したものしか利用できず、汎用
性に欠ける。更に混合増幅器における合成のためのパラ
メータ設定が難しく、また操作も煩雑である。本発明は
このような問題を解決するためになされたものであり、
特別な撮影設備を必要とせず、また汎用性が高く、更に
操作が簡便な画像合成装置、特に合成対象となるキー画
像の生成装置を提供することを目的とする。

【００６１】

【課題を解決するための手段】第３群の発明の第１の方
法は、映像から特定の領域を抽出する方法において、抽
出対象とすべき領域内の複数の画素を指定する過程と、
指定した画素における所定の特徴量を求める過程と、求
めた特徴量の最大値及び最小値を求める過程と、抽出対
象とすべき領域の内外の画素につき特徴量を求めて、そ
の特徴量が前記最大値と最小値との間にある画素を選択
する過程とを備え、前記画素によって構成される領域を
抽出領域とすることを特徴とする。

【００６２】第２の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する過程と、計算した差分
の最大値を求める過程と、指定した画素を開始点とし
て、隣接画素間の特徴量の差分が前記最大値より小さい
４近傍又は８近傍の画素を連結する過程とを備え、連結
した画素によって構成される領域を抽出領域とすること
を特徴とする。

【００６３】第３の方法は、前記抽出領域の画素及び非
抽出領域の画素に各別の値を付与する過程と、前記抽出
領域の境界の外縁に位置する画素に、前記値の中間の値
を付与する過程とを備え、これらの付与した値による画
像を生成することを特徴とする。

【００６４】第４の方法は、前記抽出領域から遠ざかる
方向に隣接する複数の画素の各々に異なる中間の値を付
与する。

【００６５】第５の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、求めた特徴量の最大値及び最小値を
求める過程と、抽出対象とすべき領域の内外の画素につ
き特徴量を求めて、特徴量が前記最大値と最小値との間
の範囲にあるか否かを判定する過程と、前記範囲内の画
素に定数Ｋを付与する過程と、前記範囲外の画素の特徴
量と前記最大値又は最小値との差分を算出する過程と、
前記範囲外の画素に、定数Ｋから前記差分に関連して定
まる値を減じた値を付与する過程とを備え、これらの付
与した値による画像を生成することを特徴とする。

【００６６】第６の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の複数
の特徴量を求める過程と、求めた特徴量の最大値及び最
小値を特徴量の各々について求める過程と、抽出対象と
すべき領域の内外の画素につき特徴量を求めて、特徴量
が前記最大値と最小値との間の範囲にあるか否かを判定
する過程と、前記範囲内の画素に定数Ｋを付与する過程
と、前記範囲外の画素の特徴量と前記最大値又は最小値
との差分を算出する過程と、前記範囲外の画素に、定数
Ｋから各々の特徴量の前記差分に関連して定まる値を減
じた値を付与する過程とを備え、これらの付与した値に
よる画像を生成することを特徴とする。

【００６７】第７の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の特徴
量を求める過程と、求めた特徴量の平均値及び分散を求
める過程と、抽出対象とすべき領域の内外の画素につき
特徴量を求めて、特徴量が前記平均値及び分散で定まる
範囲にあるか否かを判定する過程と、前記範囲内の画素
に定数Ｋを付与する過程と、前記範囲外の画素の特徴量
と前記平均値との偏差を算出する過程と、前記範囲外の
画素に、定数Ｋから前記偏差に関連して定まる値を減じ
た値を付与する過程とを備え、これらの付与した値によ
る画像を生成することを特徴とする。

【００６８】第８の方法は、映像から特定の領域を抽出
する方法において、抽出対象とすべき領域内の複数の画
素を指定する過程と、指定した画素における所定の複数
の特徴量を求める過程と、求めた特徴量の平均値及び分
散を特徴量の各々について求める過程と、抽出対象とす
べき領域の内外の画素につき特徴量を求めて、特徴量が
前記平均値及び分散で定まる範囲にあるか否かを判定す
る過程と、前記範囲内の画素に定数Ｋを付与する過程
と、前記範囲外の画素の特徴量と前記平均値との偏差を
算出する過程と、前記範囲外の画素に、定数Ｋから各々
の特徴量の前記偏差に関連して定まる値を減じた値を付
与する過程とを備え、これらの付与した値による画像を
生成することを特徴とする。

【００６９】第９の方法は、映像から抽出した複数の領
域のうちのいずれかの領域に含まれる画素を指定する過
程と、指定した画素を開始点として４連結又は８連結の
ラベリングをする過程と、ラベリングされていない領域
を非抽出領域に変更する過程とを備えることを特徴とす
る。

【００７０】第10の方法は、複数フレームの映像から特
定の領域を抽出する方法において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する過程と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする過程と、ラベリングされていない領域を非抽出
領域に変更する過程と、抽出領域の幾何学的特徴量を算
出する過程とを備え、また次フレームでラベリングする
過程と、異なるラベルを付与された領域ごとに幾何学的
特徴量を算出する過程と、前フレームの抽出領域の幾何
学的特徴量に近い幾何学的特徴量を有する領域を抽出領
域として残存させ、他の領域を非抽出領域に変更する過
程とを備えることを特徴とする。

【００７１】第11の方法は、複数フレームの映像から特
定の領域を抽出する方法において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する過程と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする過程と、ラベリングされていない領域を非抽出
領域に変更する過程と、抽出領域の光学的特徴量を算出
する過程とを備え、また次フレームでラベリングする過
程と、異なるラベルを付与された領域ごとに光学的特徴
量を算出する過程と、前フレームの抽出領域の光学的特
徴量に近い光学的特徴量を有する領域を抽出領域として
残存させ、他の領域を非抽出領域に変更する過程とを備
えることを特徴とする。

【００７２】第１の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の最大値及び最小値を
求める手段と、これらの最大値及び最小値を記憶する手
段と、抽出対象とすべき領域の内外の画素につき特徴量
を求めて、その特徴量が前記最大値と最小値との間にあ
る画素を選択する手段とを備え、前記画素によって構成
される領域を抽出領域とすべくなしてあることを特徴と
する。

【００７３】第２の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、指定した画素の、求めた特徴量につ
き、隣接画素間の差分を計算する手段と、計算した差分
の最大値を求める手段と、該最大値を記憶する手段と、
指定した画素を開始点として、隣接画素間の特徴量の差
分が前記最大値より小さい４近傍又は８近傍の画素を連
結する手段とを備え、連結した画素によって構成される
領域を抽出領域とすべくなしてあることを特徴とする。

【００７４】第３の装置は、前記抽出領域の画素及び非
抽出領域の画素に各別の値を付与する手段と、前記抽出
領域の境界の外縁に位置する画素に、前記値の中間の値
を付与する手段とを備え、これらの付与した値による画
像を生成すべくなしてあることを特徴とする。

【００７５】第４の装置は、前記抽出領域から遠ざかる
方向に隣接する複数の画素の各々に異なる中間の値を付
与すべくなしてある。

【００７６】第５の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の最大値及び最小値を
求める手段と、これら最大値及び最小値を記憶する手段
と、抽出対象とすべき領域の内外の画素につき特徴量を
求めて、特徴量が前記最大値と最小値との間の範囲にあ
るか否かを判定する手段と、前記範囲内の画素に定数Ｋ
を付与する手段と、前記範囲外の画素の特徴量と前記最
大値又は最小値との差分を算出する手段と、前記範囲外
の画素に、定数Ｋから前記差分に関連して定まる値を減
じた値を付与する手段とを備え、これらの付与した値に
よる画像を生成すべくなしてあることを特徴とする。

【００７７】第６の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の複数
の特徴量を求める手段と、求めた特徴量の最大値及び最
小値を特徴量の各々について求める手段と、これら最大
値及び最小値を記憶する手段と、抽出対象とすべき領域
の内外の画素につき特徴量を求めて、特徴量が前記最大
値と最小値との間の範囲にあるか否かを判定する手段
と、前記範囲内の画素に定数Ｋを付与する手段と、前記
範囲外の画素の特徴量と前記最大値又は最小値との差分
を算出する手段と、前記範囲外の画素に、定数Ｋから各
々の特徴量の前記差分に関連して定まる値を減じた値を
付与する手段とを備え、これらの付与した値による画像
を生成すべくなしてあることを特徴とする。

【００７８】第７の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の特徴
量を求める手段と、求めた特徴量の平均値及び分散を求
める手段と、該平均値及び分散を記憶する手段と、抽出
対象とすべき領域の内外の画素につき特徴量を求めて、
特徴量が前記平均値及び分散で定まる範囲にあるか否か
を判定する手段と、前記範囲内の画素に定数Ｋを付与す
る手段と、前記範囲外の画素の特徴量と前記平均値との
偏差を算出する手段と、前記範囲外の画素に、定数Ｋか
ら前記偏差に関連して定まる値を減じた値を付与する手
段とを備え、これらの付与した値による画像を生成すべ
くなしてあることを特徴とする。

【００７９】第８の装置は、映像から特定の領域を抽出
する装置において、抽出対象とすべき領域内の複数の画
素を指定する手段と、指定した画素における所定の複数
の特徴量を求める手段と、求めた特徴量の平均値及び分
散を特徴量の各々について求める手段と、該平均値及び
分散を記憶する手段と、抽出対象とすべき領域の内外の
画素につき特徴量を求めて、特徴量が前記平均値及び分
散で定まる範囲にあるか否かを判定する手段と、前記範
囲内の画素に定数Ｋを付与する手段と、前記範囲外の画
素の特徴量と前記平均値との偏差を算出する手段と、前
記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差
に関連して定まる値を減じた値を付与する手段とを備
え、これらの付与した値による画像を生成すべくなして
あることを特徴とする。

【００８０】第９の装置は、映像から抽出した複数の領
域のうちのいずれかの領域に含まれる画素を指定する手
段と、指定した画素を開始点として４連結又は８連結の
ラベリングをする手段と、ラベリングされていない領域
を非抽出領域に変更する手段とを備えることを特徴とす
る。

【００８１】第10の装置は、複数フレームの映像から特
定の領域を抽出する装置において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する手段と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする手段と、ラベリングされていない領域を非抽出
領域に変更する手段と、抽出領域の幾何学的特徴量を算
出する手段とを備え、また次フレームでラベリングする
手段と、異なるラベルを付与された領域ごとに幾何学的
特徴量を算出する手段と、前フレームの抽出領域の幾何
学的特徴量に近い幾何学的特徴量を有する領域を抽出領
域として残存させ、他の領域を非抽出領域に変更する手
段とを備えることを特徴とする。

【００８２】第11の装置は、複数フレームの映像から特
定の領域を抽出する装置において、一のフレームで抽出
対象とすべき領域内の複数の画素を指定する手段と、指
定した画素を開始点として４連結又は８連結のラベリン
グをする手段と、ラベリングされていない領域を非抽出
領域に変更する手段と、抽出領域の光学的特徴量を算出
する手段とを備え、また次フレームでラベリングする手
段と、異なるラベルを付与された領域ごとに光学的特徴
量を算出する手段と、前フレームの抽出領域の光学的特
徴量に近い光学的特徴量を有する領域を抽出領域として
残存させ、他の領域を非抽出領域に変更する手段とを備
えることを特徴とする。

【００８３】第１の方法、装置では抽出したい画像部分
の中の複数画素を指定する (ライトペン、又はマウス操
作のカーソルでなぞる) 。このなぞった画素群中の特徴
量 (Ｒ, Ｇ, Ｂ，色相, 彩度, 明度, 輝度などの一又は
複数) を求め、更にその最大値, 最小値を選んで記憶す
る。

【００８４】次いで画像全体の画素につき各特徴量が前
記最大値〜最小値の範囲内にあるか否かを調べる。範囲
内にある画素は抽出を望む画像部分と同様の特徴量を有
しているので、該画像部分は属すると判断し、０より大
きい値を付与し、範囲外のものは非抽出部分であるとし
て０を付与する。これにより非０の部分を抽出すること
で所望の画像部分が抽出できる。

【００８５】第２の方法、装置ではなぞった画素の特徴
量と隣接画素の特徴量との差分を求め、その最大値を記
憶しておく。そしてこの最大値以下の差分を有する４近
傍又は８近傍の画素はなぞって抽出を望む領域と同程度
の隣接閾値を有しているとして抽出領域として０より大
きい値を付与し、それ以外の部分は０を付与する。これ
により非０の部分を抽出することができる。

【００８６】第３の方法、装置は抽出領域に１、非抽出
領域に０を付与した場合に両者の境界の画素に１と０と
の中間の値を与える。これにより境界がマイルド化し、
抽出画像を合成した場合に背景への溶け込みがよくな
る。

【００８７】第４の方法、装置はこの中間の値を複数に
することで境界の一層のマイルド化が行われる。

【００８８】第５の方法、装置は境界のマイルド化を適
応制御するものであり、１〜０の中間値の決定を、非抽
出領域の特徴量と、特徴量の最大値 (又は最小値) との
差分に応じて定める。これにより抽出画像の境界は背景
に良く溶け込む。

【００８９】第６の方法、装置は特徴量を一種ではな
く、二種以上とし、上述の差分を複数の特徴量について
求め、例えばその加重平均等に依って中間値を決定す
る。複数の特徴量を用いるのでより自然な境界が得られ
る。

【００９０】第７, 第８の方法、装置は第５, 第６では
最大値, 最小値を用いているのに対し、分散を用いてい
る点が異なる。

【００９１】第９の方法、装置は過剰抽出した部分を非
抽出領域とする。即ちラベリングにより、同様に抽出さ
れた複数の領域に各別の符号を付与される。このうち、
なぞられた画素を含む領域のみを残して他を消すのであ
る。

【００９２】第10の方法、装置は動画に対応するもので
ある。第９の方法、装置と同様にラベリングし、非抽出
領域を消去する。次のフレームで同様のラベリングをす
るが、フレーム間の領域の同定を幾何学的特徴量の類似
度に基づいて行う。このため抽出領域のみが残り、他は
消える。これを複数のフレームに亘って行うことで動画
での抽出処理が自動的に行えることになる。

【００９３】第11の方法、装置は上記の幾何学的特徴量
に替えて光学的特徴量を用いるものであり、同効を奏す
る。

【００９４】

【発明の実施の形態】図23は第３群の発明の第１の領域
抽出装置のブロック図である。３系統の画像入力部31,3
2,33はいずれも同様の構成を有し、NTSC信号をアナログ
のRGB 信号に変換するNTSC-RGB変換器31a,32a,33a 及び
アナログのRGB 信号をディジタルのRGB 信号に変換する
A/D 変換器31b,32b,33b を備える。これら画像入力部3
1,32,33からの入力はデュアルポートRAM からなる画像
メモリ37,38,39,40 へ与えられ、またこれらから読出さ
れた画像データは画像出力部34へ与えられ、ここから出
力される。画像出力部34は画像メモリ37等からのディジ
タルのRGB 信号をアナログのRGB 信号に変換するD/A 変
換器34b 及び、この変換されたアナログのRGB 信号をNT
SC信号に変換するRGB-NTSC変換器34a の出力がモニタ
(図示せず）に表示されることになる。

【００９５】35は座標入力部であり、ライトペンとその
座標認識手段、等によって構成されており、モニタに表
示された映像の一部をなぞるのに使用される。この座標
入力部35で入力された座標情報は処理部41へ入力され
る。400 は半導体メモリであり、演算に使用するメモリ
42、後述する特徴量上限レジスタ43、下限レジスタ44を
備える。36はハードディスク、光磁気ディスク等の大容
量記録部であり、複数フレームの画像を記録する。

【００９６】而してマイクロプロセッサ等からなる処理
部41は以下の如き領域抽出のための処理を行う。図24
は、この処理の手順を示すフローチャート、図25はその
説明図である。図25(a) に示すように抽出したい領域
(白抜きで示されている) を座標入力部35のペンでなぞ
る。この間ペン軌跡の複数画素につき、特徴量 (一又は
複数種)を計算する。そして特徴量の最大値又は最小値
を夫々特徴量上限レジスタ43、下限レジスタ44に格納す
る。これにはペンが移動していく都度、既格納のレジス
タ内容を更新していくことで行う。なぞりが終わると全
軌跡中での特徴量の最大値, 最小値が得られることにな
る。特徴量としてはＲ，Ｇ，Ｂ、色相、彩度、明度、輝
度等が挙げられる。

【００９７】而して次には画面全体の画素ドット特徴量
(一又は複数種) を求め、最大値〜最小値の範囲内にあ
る画素には０より大きい値 (例えば255)を、また範囲外
にある画素には０を付与する。これによりキー画像、つ
まり抽出領域を含む画像が得られることになる。図25
(b) はこれを示す。なお、所望どおりの抽出ができなか
った場合は特徴量の選択又は組合わせを種々変更するこ
とで再試行すればよい。なお以上の処理を複数フレーム
について反復することで動画の処理が可能となる。

【００９８】図26は第２の領域抽出装置のブロック図で
ある。第１の領域抽出装置と相違するのは半導体メモリ
400 に特徴量上限レジスタ43、下限レジスタ44に替えて
特徴量閾値レジスタ45を備える点である。他の構成は同
様であるので、同符号を付して説明を省略する。

【００９９】図27は処理部41による処理のフローチャー
ト、図28はその説明図である。図28(a) のようにペンで
なぞった軌跡の画素の特徴量を求めるのは第１の装置と
同様であるが、第２の装置ではなぞられた画素のうちで
の隣接画素間の特徴量の差分を演算し、その最大値を閾
値レジスタ45に格納する。そしてなぞられた画素の夫々
について隣接画素 (４近傍又は８近傍) が閾値以下であ
るか否かを調べていき、以下である隣接画素を次々と連
結していく (図28(b))。このようにして連結された領域
に０より大きい値を付与する。

【０１００】図29は第３〜６の領域抽出装置のブロック
図である。第１の装置と相違するのは処理部41の演算内
容であり、以下に説明する混合比計算41a,総合混合比計
算41b を行う。図30は処理部41の処理手順を示すフロー
チャートである。図31(a) に示すようにペンでなぞった
軌跡の画素につき、第１の装置と同様に特徴量を計算
し、その最大値, 最小値を夫々特徴量上限レジスタ43,
下限レジスタ44に入れる。

【０１０１】次に画像の全画素について特徴量を計算
し、これが特徴量上, 下限値レジスタ43,44 に各記憶さ
れている最大値, 最小値の範囲内にあるか否かを調べ、
範囲内にある場合は０でない値のＫを付与する。範囲外
にある場合は、算出した特徴量と最大値（特徴量が大き
いとき）との差、又は算出した特徴量と最小値（特徴量
が小さいとき）との差の差分を演算し、差分に応じてＫ
〜０の範囲の値（混合比）を特徴量ごとに求める。そし
て各特徴量ごとの混合比を加重平均した総合混合比を求
める。そして総合混合比に応じた値を対応画素に付与す
る。そうすると図31(b) に示すように境界にグラデーシ
ョンが付与された抽出画像が得られることになる。そし
てこれを複数フレームにつき反復することによって動画
に対応できる。

【０１０２】図32は第３, ４, ７, ８の領域抽出装置の
ブロック図である。図29と異なるのは、特徴量上限レジ
スタ43, 下限レジスタ44に替えて特徴量平均値レジスタ
46、特徴量分散値レジスタ47を備える点である。図33は
この場合の処理手順を示すフローチャートであり、図34
(a) に示すようにペンでなぞった軌跡の画素の特徴量を
計算し、その平均値及び分散値を算出し、これらを特徴
量平均値レジスタ46, 特徴量分散値レジスタ47に格納し
ておく。

【０１０３】そしてこの装置では画像中の全画素につい
ての特徴量が所定偏差（例えば平均値±分散値）内にあ
るか否かを調べ、範囲内にある場合にＫを付与する。範
囲外の場合は平均値からの偏差に従い、混合比を特徴量
ごとに計算し、この計算値の加重平均を総合混合比とし
て求め、これに従ってＫを付与する。

【０１０４】図34(b) はその結果を示し、境界部にグラ
デーションを有する抽出画像が得られる。図35は第３,
４の領域抽出装置の他の実施の形態のブロック図であ
る。この装置は処理部41の処理が他の装置と異なってい
る。この処理内容を図37, 38につき説明する。この実施
の形態は第１の領域抽出装置等で得た抽出領域と非抽出
領域(値０を付与) との輪郭 (画素と画素との間になる)
の内側の内周輪郭点 (画素) の値Ｘから定数Ｋを減じ
た値を、前記輪郭の外側の外周輪郭点（画素）に付与す
る。この処理は遠心方向の１画素についてだけ行っても
よいが図38に示すように複数画素について行うことでよ
りなめらかなエッジが得られる。

【０１０５】図36はこの処理の手順を示すフローチャー
トであり、画面上の左上側から輪郭を追跡するようにし
て処理を反復する。そしてこの処理を複数フレームにつ
いて行うことで動画への対応が可能である。

【０１０６】図39は第９の領域抽出装置のブロック図で
ある。この装置は処理部41で後述するラベリング処理
（48）を行うことにより雑音、つまり本来抽出を望まな
いのに抽出領域として現れる部分を削除するためのもの
である。この処理は例えば第１の領域抽出装置等によっ
て得られたキー画像 (図41(a))に対して行うものであ
る。この画像は中央の抽出を望む部分以外に同様の特徴
量を有する雑音の領域 (非０領域) を含んでいる。

【０１０７】図40はこの処理のフローチャートであり、
該処理はペンでなぞった軌跡の画素を開始点として４連
結又は８連結のラベリングを行う。雑音の非０領域が離
散しているのでラベリングはその領域には到らない。次
いでラベリングされていない領域を消去する。そうする
と図41(b) に示すように所望の抽出領域が得られるので
ある。

【０１０８】図42は第10の領域抽出装置のブロック図で
ある。この装置は第９の領域抽出装置と同様の処理を１
回行うだけで爾後のフレームは簡単な処理で雑音消去で
きる動画対応のものである。これを可能とするためにな
ぞった領域及びこれと対応づけられる他フレームの領域
の幾何学的特徴量 (例えば面積、中心位置) を計算する
処理(49)及び幾何学的特徴量が近い領域をフレーム内で
対応づける対応付け(50)を処理部41が行う。図43はこの
処理のフローチャート、図44はその説明図である。第９
の領域抽出装置と同処理を先頭フレームに施して図44の
(a) に示すように雑音を消去する。そして残った非０領
域、つまり抽出領域につき、その幾何学的特徴量を計算
する。

【０１０９】次に第２フレームでは非０領域（雑音領域
も含む）につき幾何学的特徴量を計算する。そして先頭
フレームの非０領域の特徴量に最も近い幾何学的特徴量
を有するものを選択し、他を消去（非抽出領域と）す
る。以下、前後する２フレームにつき同様の処理を反復
することで雑音領域は自動的に消えていく。

【０１１０】図45は第11の領域抽出装置のブロック図で
ある。この装置は第10の装置が幾何学的特徴量を利用し
てフレーム内の領域の同定を行っていたのに対し、光学
的 (テクスチャ) 特徴量を利用する。このため処理部41
内、光学的特徴量を計算するための画素値構成計算（5
1）を行う。図46は雑音消去のフローチャート、図47は
その説明図である。いずれも幾何学的特徴量が光学的特
徴量に替わっただけであるので説明を省略する。

【０１１１】

【発明の効果】以上の如き第３群の発明によればブルー
の背景の撮影設備が不要である。また特に画像合成を意
識していない映像からでも抽出ができる。そして操作は
必要部分をなぞるだけでよく、簡便である。

【０１１２】［第４群の発明］ (概要)第４群の発明はCGモデル (映像から抽出した３次
元形状モデルを含む) に対する加工又は表示態様の変更
を容易に行わせる表示方法及び装置を提供するものであ
る。

【０１１３】

【従来の技術】本発明はディスプレイに２次元表示され
た３次元形状モデルに対して対話的手法により回転、拡
大縮小、平行移動し、その結果を逐次再表示するという
３次元形状文字表示方法に関する。計算機の高速化に伴
い、３次元形状モデルをリアルタイムに回転、拡大縮
小、平行移動して表示することが可能となり、３次元形
状モデルを人間が対話的に操作し、その結果を再表示す
るような機能が要求されている。このため、人間の思考
を妨げずに３次元形状モデルを回転、拡大縮小、平行移
動するための操作方法が必要である。

【０１１４】３次元空間で３次元形状モデルを変換する
には、回転３自由度、平行移動３自由度の計６自由度の
変換が必要である。３次元形状モデルをディスプレイ上
に２次元表示する場合は上記の自由度のうちディスプレ
イに対して奥行方向の移動を拡大縮小で表現できる。し
たがって、この場合は回転３自由度、拡大縮小１自由
度、平行移動２自由度の計６自由度の変換になる。従来
の３次元モデル操作ではこの操作を６自由度×正負を夫
々キーボードの12個のキーに割り当てていた。また、マ
ウスなどのポインティングデバイスを利用した３次元モ
デル操作では、２自由度しかないポインティングデバイ
スを６自由度の変換に対応させるためにモードの切替え
を行っていた。両者の融合型として、２自由度をポイン
ティングデバイスで操作し残りの４自由度をキーボード
で操作するという方法もあった。

【０１１５】

【発明が解決しようとする課題】キーボードによる操作
方法では夫々の軸に対して正負方向の２つのキーが割り
当てられているので、軸方向の変換しかできない。例え
ば平面上の平行移動のときに縦横の軸が用意されている
場合、斜めに平行移動するには縦移動をしてから横移動
（或いは横移動してから縦移動）という２ステップの操
作を必要とする。さらに回転の場合は、想定した変換を
軸方向のベクトルに分解することが大変困難であるとい
う問題もある。

【０１１６】ポインティングデバイスによる操作方法で
は軸に対して斜めの変換を行うことができるが、モード
の切替えが面倒であることと、回転の３自由度をうまく
操作できないという問題点がある。キーボードとポイン
ティングデバイスの併用による操作方法においても、２
つの異なるデバイスでの入力によって操作がし難くなる
という問題点を増すだけで、夫々の欠点を補っていると
は言えない。また表示に関して、実際に回転させてみな
いとどこを中心として回転するのかがよくわからないと
いう問題点がある。本発明は、あるゆる方向への変換を
直接行うことができ、モード切替えといった面倒な操作
を排し、わかりやすい操作画面を実現することにより、
高速で自由自在の操作を行うことができる表示方法及び
装置を提供することを目的とする。

【０１１７】

【課題を解決するための手段】本発明に係る３次元形状
モデルの表示方法は、２次元平面に３次元形状モデルを
表示する方法において、前記３次元形状モデルの一部又
は全部を内部に含むポリゴンを併せて表示することを特
徴とする。ここにポリゴンは球体を含む。そしてこのポ
リゴンは半透明とし、その色は３次元形状モデルの色及
び背景色との対比で見えやすい色とする。更にポインテ
ィングデバイスによる指定点とポリゴンとの相対位置関
係で移動、拡大縮小、回転等の表示態様の変更を行わせ
る。

【０１１８】また本発明の３次元形状文字の表示装置
は、２次元平面に３次元形状モデルを表示する装置にお
いて、前記３次元形状モデルの一部又は全部を内部に含
むポリゴンを算出する手段と、ポインティングデバイス
と、ポインティングデバイスで指定された点と前記ポリ
ゴンとの相対的位置関係を判定する手段と、この判定結
果に従い前記３次元形状モデルの表示態様を変更する手
段とを備えることを特徴とする。

【０１１９】図48はポリゴンの表示例を示している。３
次元形状モデルは踏台状のものであり、これを包絡する
球体 (緯線、経線を合わせて示している) が認識又は操
作を案内するガイドポリゴンとして表示されている。こ
のような表示により拡大、縮小又は回転の中心が一目で
認識できることになる。マウス等のポインティングデバ
イスで指定した点が図49に示すようにポリゴンの中であ
ると回転、外であると平行移動、周縁であると拡大・縮
小が指示されることになる。そして次の操作でその量が
指定されることになる。

【０１２０】

【発明の実施の形態】以下第４群の発明をその実施の形
態を示す図面に基づいて詳述する。図50は本発明の３次
元形状モデル表示装置のブロック図である。図において
60はディスプレイ装置であり、マウス等のポインティン
グデバイス61を備えている。３次元形状モデルの形状は
形状記憶部63に、位置は位置記憶部70に夫々記憶されて
おり、背景画像は背景画像記憶部62に記憶されている。

【０１２１】ガイドポリゴン生成部64は色解析部64a,色
選択部64b,形状決定部64c からなり、その後の操作に必
要となるガイドポリゴンの大きさ・色を決定する。色解
析部64a は背景画像記憶部62から背景画像の色情報を、
また形状記憶部63から３次元形状モデルの色情報を夫々
取込んで解析し、色選択部64b は背景及び３次元形状モ
デルの表示を妨げず、しかも視認し易い色を選択する。
形状決定部64c は表示すべきガイドポリゴンの形状, 寸
法を決定する。

【０１２２】図51は色選択のフローチャート、図52は形
状寸法決定のフローチャートである。まず背景画像記憶
部62及び形状記憶部63から夫々背景画像及び３次元形状
モデルの情報を取込み、背景画像に対してどの色相が何
％使用されているか(S75) 、また３次元形状モデルに対
してどの色相が何％使用されているかを調べる(S71)。
そして３次元形状の使用色相については適宜の重みづけ
をする(S72) 。ここまでが前述した色解析部64a の機能
であり、以下は色選択部64b の機能である。即ち以上の
解析の結果により、予め用意してある候補表示色中から
近郊の色相の量を調べる(S73) 。そして最も近郊の色相
が少ない候補表示色を選択してガイドポリゴンの色とす
る(S74) 。

【０１２３】次に形状・位置の決定について説明する。
まず形状記憶部63及び位置記憶部70からデータを取込ん
で３次元形状モデルの重心を算出する(S61) 。そしてこ
の重心をガイドポリゴンの中心とする(S62) 。次にこの
中心から３次元形状モデルの各頂点までの距離を求める
(S63) 。そして最長距離をガイドポリゴンの半径とし(S
64) 、このガイドポリゴンの情報をガイドポリゴン記憶
部65に記憶させる。球体でない正多面体をガイドポリゴ
ンとして用いる場合も同様の手法によればよい。

【０１２４】上述のようにして作成されたガイドポリゴ
ンは表示部66により、ディスプレイ装置60に表示され
る。表示部66はガイドポリゴン記憶部65、背景画像記憶
部62、形状記憶部63及び位置記憶部70から読み出した内
容を重ね合わせる重ね合わせ部66a 及びこれをディスプ
レイ表示装置60に表示するための変換を行うディスプレ
イ表示部66b からなる。

【０１２５】一方、ポインティングデバイス61からの入
力はインターフェース部67へ取込まれる。入力制御部67
a はポインティングデバイス61の制御を行うものであ
り、マウスのドラッグのように入力が直前の操作と連動
している場合は直前に行った変換の続きと判断する。操
作位置判別部67b は入力された操作開始点がガイドポリ
ゴンの外側か内側か境界上かを判別し、外側で操作した
場合は平行移動を、内側で操作した場合は回転を、境界
線上で操作した場合は拡大縮小を行う。また、直前に行
った変換の続きであれば、前変換と同じ変換処理を選択
する。

【０１２６】図53はこの操作位置判別部67b の処理手順
を示すフローチャートである。ガイドポリゴン生成部64
で決定した半径をｒとし(S81) 、ポインティングデバイ
ス61による指定点、即ち操作開始点とガイドポリゴンの
中心点との距離ｌを求める(S82) 。そしてｒ＝ｌの場合
は(S83) 拡大縮小処理(S86) 、ｒ＞ｌの場合は回転処理
(S87) 、ｒ＜ｌの場合は平行移動処理(S85) をする。

【０１２７】而して操作位置情報又は操作位置判別情報
は変換量決定部68へ入力され、その平行移動量決定部68
a 、拡大縮小量決定部68b 及び回転量決定部68c で夫々
平行移動量、拡大縮小量及び回転量が決定され、これら
の変換量は変換部69へ与えられ、ここで変換量に応じた
変換が行われる。平行移動部69a,拡大縮小部69b 及び回
転部69c は夫々平行移動, 拡大縮小及び回転を行わせ
る。

【０１２８】次にこれらの変換について説明する。まず
平行移動はポリゴン外の領域 (図49参照) にカーソルを
位置させてクリックする等の方法により平行移動を指定
し、カーソルを所望方向へ移動 (ドラッグ) する。これ
により３次元形状モデル及びポリゴンが連動移動する。
なお移動の単位はピクセルである。この平行移動はそれ
自体公知の各種の技法を用い得る。

【０１２９】次に拡大縮小について説明する。図54はそ
の原理説明図であり、まずガイドポリゴンの周縁の点Ｐ
₁ でクリックし、ドラッグしていって次いで拡大又は縮
小したい倍率に応じた位置Ｐ₂ でクリックする。ガイド
ポリゴンの中心を０とするとバーOP₂ ／バーOP₁ に拡大
又は縮小されることになる。拡大縮小自体の処理につい
てはそれ自体公知の技法を適宜用いればよい。

【０１３０】次に回転について説明する。図55はその原
理説明図、図56は回転のための処理手順を示すフローチ
ャートである。図55においてＤはディスプレイ装置60の
２次元平面、Ｈは光体的に表したガイドポリゴンの中心
を通るＤに平行な平面である。いま点Ｐ₁ でクリックし
て回転を指示し、ドラッグしていき、α_P だけ回転した
Ｐ₂ 点でクリックしたとする(S91) 。このＰ₁ , Ｐ₂ で
ガイドポリゴンに投影した点Ｒ₁ , Ｒ₂ を算出する(S9
2) 。∠Ｐ₂ Ｏ′Ｐ₁ （Ｏ′は平面Ｄにおけるガイドポ
リゴンの中心）＝α_P とおく(S93) 。次に∠Ｒ₁ ＯＲ₂
を求めてこれをα _r とする。次にＲ₁ Ｏ，Ｒ₂ Ｏ（Ｏは
平面Ｈ上のポリゴン中心）がなす角度を求め、この∠Ｒ
₁ ＯＲ₂ をα_r とする(S94) 。次に基準点Ｏ上の基準線
ＬをバーＲ ₁ Ｏ及びバーＲ₂ Ｏに垂直な直線として規定
する(S95) 。そしてこの軸L を中心としてα_r だけ回転
する(S96) 。回転量決定以後の処理については公知の図
形回転手法によればよい。このような回転操作の際には
球体をガイドポリゴンとして使用する場合もその経線,
緯線上をなぞるか又はこれを参照することで簡単に回転
操作が行える。以上のようにして変換されたモデルはそ
の位置記憶部70へ入力され、記憶される。

【０１３１】図57はこの３次元形状モデル表示装置の全
体的フローチャートである。前述のようにまず、ガイド
ポリゴンの決定をし(S101)、次いで背景, ３次元形状モ
デル及びガイドポリゴンの混合表示をし(S102)、次いで
オペレータによる変換指定があると(S103)、操作領域又
は移動、拡大縮小、回転の判別を行い(S104)、変換量を
決定して(S106)、その変換を実行する(S107)。

【０１３２】

【発明の効果】以上の如き本発明による場合は拡大縮小
又は回転の原点（中心）を直感的に認識することができ
る。また３次元形状モデルの姿勢がガイドポリゴンとの
対比により認識し易い。またガイドポリゴンの色が自動
的に定まるので３次元形状モデルが見難くなる虞れはな
い。また移動、拡大縮小、回転に関してモード切替の煩
雑な操作、特別なデバイスを必要としない。更に回転に
ついてはディスプレイ装置の２次元表示平面での２自由
度の入力だけで３自由度の回転量、方向の入力ができ、
しかもその操作はガイドポリゴンの形状に倣えばよく容
易である。

【０１３３】［第５群の発明］ (概要)第５群の発明は合成画像生成部４に関し、実写映
像とCGとを容易に自動合成できる画像列生成方法及びそ
の装置に関する。

【０１３４】

【従来の技術】VTR 上記録した実写映像とCGとを合成す
る場合、前者のフレーム数が固定されているのでCGの描
画処理をそれに合わせる必要があり、従って映像の再生
とCGの描画処理との同期を１フレームずつ手作業的にと
っていく必要があった。

【０１３５】

【発明が解決しようとする課題】このために多数のフレ
ームの画像列を作成するのに膨大な工数を必要としてい
た。本発明はこのような問題点を解決するためになされ
たものであり、合成処理の自動化を可能とした画像列生
成方法及び装置を提供することを目的とする。

【０１３６】第１発明は、フレーム単位で管理されてい
る映像とコンピュータグラフィックスとを合成して複数
フレームの画像列を生成する方法において、識別番号に
よって特定される複数の映像を含む映像データ、識別番
号によって特定される複数の物体、各物体に貼り付ける
べき映像を特定する映像の識別番号及び該映像中の貼り
付けに係るフレーム番号を含む物体データ、並びに、合
成に係る物体の識別番号及び映像の再生開始時刻を含む
合成データを用い、合成データ中の映像の再生開始時刻
に従い、物体の識別番号で特定される物体の表面に、物
体データ中の映像の識別番号及びフレーム番号で特定さ
れる映像を貼り付けることを特徴とする。

【０１３７】第２発明は、前記合成データ中の映像の再
生開始時刻及び物体データ中に定められた再生開始フレ
ーム番号に基づき各時刻における貼り付け映像のフレー
ムを決定することを特徴とする。第３発明は、前記映像
データはフレーム間間隔時間を含み、該フレーム間間隔
時間に基づき合成処理の時刻とフレーム番号との関係を
定めることを特徴とする。

【０１３８】これらの発明によれば、フレーム管理され
ている映像をCGの物体に貼り付けるに際し、物体表示の
時間軸上に所要の映像のフレームを取込んで貼り付ける
ことができる。この場合において、フレームごとの処理
を必要とせず、自動的な時間調整ができる。

【０１３９】

【発明の実施の形態】以下第５群の発明をその実施の形
態を示す図面に基づき詳述する。図58は本発明の画像列
生成装置のブロック図であり、合成対象の映像のデータ
及びCGの物体データ並びにこれらの合成に関連する合成
データ並びに合成済の画像列を記憶してあるディスク装
置71と、合成データに従って映像データ及びCGの物体デ
ータを用いて画像合成する合成部72、合成部72中の共有
メモリ72f 及びディスク装置71中にある映像データを管
理する映像データ管理部73、並びにリアルタイム表示の
ために、実時間と、合成画像列の各時刻の情報を記述す
るスケジュール表中の時刻との対応をとり、合成結果を
ディスプレイ装置75に表示させる実時間制御部74を備え
る。

【０１４０】以下まず各情報について説明する。表２は
映像データのフォーマットの１例を示している。このデ
ータは一連の映像を特定し、その仕様等を表す情報を含
むヘッダー部と連続する複数フレームの画像データとか
らなる。画像データは例えばVTR に収録した映像信号を
ディジタルのRGB のデータに変換してなるものである。
ヘッダー部はこの一連の画像を特定する映像ID、横, 縦
の解像度、フレーム数及びフレーム間間隔時間 (msec単
位) からなっている。

【０１４１】一方、CGの物体データは図59に示すように
なっている。図において左上のＮは表のサイズ、即ちID
で特定される物体の数を示している。この物体ごとに形
状情報 (頂点座標表、面表) 表面情報及び映像再生開始
時刻を記憶している。形状情報、表面情報は表のポイン
タとなっている右上に示すような直方体の物体の場合に
つき形状情報を例示している。頂点座標表は８つの頂点
を特定する頂点ID (０〜７) と夫々のｘ, ｙ, ｚ座標値
とからなる。面表は６つの面を特定する面ID（０〜５）
と夫々の面を特定する頂点IDとからなる。

【０１４２】

【表２】

【０１４３】表面情報は直方体のプリミティブに貼り付
ける映像の情報であり、６つの面IDに対応してこれに貼
り付けるべき映像のID、該映像の使用開始フレームの番
号、色値（RGB ）／画像ポインタ、各面の拡散係数、反
射係数及び透過係数を含んでいる。映像を貼り付けない
場合、即ち映像IDがMOVIE …でない場合は映像IDをNIL
として、色値／画像ポインタを夫々表示すべき色のRGB
に応じた値にする。この場合は開始フレーム番号は使用
せず０とする。これに対してIDがMOVIE −＊の場合は画
像データへのポインタが設定される。映像再生開始時刻
は映像の再生を開始する時刻を設定しており、映像貼付
と無関係な物体については使用しない。

【０１４４】表３及び図60は合成データを示している。
表３は合成データのうちの映像再生時刻表であり、物体
IDと、映像の再生開始時刻 (msec) と開始フレームの番
号からなっている。例えば0000002 の物体にはこれに貼
り付ける映像を100msec の時刻 (後述のＴi と同スケー
ル) から再生し、その開始フレームは当該映像データの
第15フレームからである情報となっている。

【０１４５】

【表３】

【０１４６】図60は合成データ中のタイムスケジュール
であり、合成シーンが変化する時刻ごとに物体の視点情
報（ｘ，ｙ，ｚ座標などの視点の位置及び視点の方向）
及び物体情報（物体の個数及び個々の物体の情報) を有
している。物体の情報は表へのポインタとなっており、
この表は物体のID及びｘ，ｙ，ｚ座標系におけるその中
心位置及びその姿勢に係る回転情報を含む。回転情報は
座標軸中心の回転角度を示す。合成シーンの時刻Ｔi は
合成映像の最初のフレームの時刻を０とした相対時刻
(msec) である。なお物体のIDの前の0X8,0X4 及び0X0
は夫々光源物体、映像物体及び通常物体を表す。つまり
光源物体はCGの描画処理で光源として取扱う物体、映像
物体は表面に映像を貼り付ける物体であり、通常物体は
その他の物体である。物体IDは光源物体マスク0X800000
00、映像物体マスク0X40000000又は通常物体マスク0X00
000000と物体番号との和となっている。従って0X400000
02は映像を貼り付けるNo2 の物体であること示してい
る。

【０１４７】合成部72の合成データ入力部72a は図61に
示す処理を行う。まずディスク装置71から物体データを
読込み共有メモリ72f に図59に示した如き物体表を作成
する(S111)。次に合成データの映像再生開始時刻表を読
込む(S112)。次に物体表中の映像物体のフレーム番号、
映像再生開始時刻に映像再生開始時刻表中の値を設定す
る(S113)。次いでｉ＝０、ｔ＝１（ｔは時間の遅れを調
節する変数）に設定し(S114)、合成データのうちの時刻
Ｔi （ｉ＝０）のデータを共有メモリ72f へ読込みスケ
ジュール表を作成する(S115)。これに基づき合成部72は
合成画像を作成する(S116)。そしてスケジュール表を共
有メモリから解放し(S117)、全てのＴiについて読込を
終了するまでｉをｉ＋ｔにインクリメントしてS115〜S1
17を反復する(S118)。

【０１４８】合成部72の表面属性決定部72b は各時刻に
おける各物体の表面属性を決定するものであり、映像物
体の場合には時刻、物体表のポインタを映像データ管理
部73へ渡す。映像データ管理部73によって物体表の画像
ポインタフィールドに各面の画像ポインタデータを設定
する。光源物体、通常物体の場合は物体表に設定された
値を使用する。

【０１４９】図62はその処理手順を示すフローチャート
であり、物体表での番号を示すＩを“０”（先頭アドレ
ス）とし(S121)、物体表のＮ (表の大きさ又は物体数)
と比較し(S122)、Ｎ＞Ｉである場合(NO)はその物体の物
体マスクを調べ(S123)、0X4である場合は映像物体であ
るとして番号Ｉの映像再生開始時刻＝ｓｔとし(S124)、
これを実時刻Ｔi ( 但し合成画像の第１フレームがＴi
＝０msec) と比較し(S125)、ｓｔがＴi より小さい間は
時刻Ｔi のポインタの情報を映像データ管理部73へ渡す
(S126)。

【０１５０】映像データ管理部73では物体Ｉの各面の色
値／画像データのフィールドに画像データへのポインタ
を設定する(S127)。そしてＩをＩ＋１にインクリメント
して(S128)、S122へ戻る。なおS125でｓｔ＞Ｔi となっ
た場合はＩをインクリメントする。以上の処理をＩ＝Ｎ
まで反復する。

【０１５１】映像データ管理部73は共有メモリ72f 、及
びディスク上にある映像データを表４に示す如き映像管
理表で管理する。この映像管理表は予め作成しディスク
に格納しておき、システムの起動時に共有メモリ72f 上
に置く。まず、共有メモリ中の画像データを全て解放
し、映像管理表の画像データへのポインタ、及び物体表
の色値／画像ポインタフィールドをNIL にする。

【０１５２】次に、表面属性決定部72b から受け取った
時刻、物体表のポインタの情報を用いて、連続画像列か
らその時刻におけるフレーム番号を決定する。そのフレ
ーム番号に対応する画像データが、共有メモリ72f にあ
る場合は、その画像データへのポインタを、なければデ
ィスク装置71からデータを読出してその画像データへの
ポインタを物体表の色値／画像ポインタフィールドに格
納する。映像管理表は映像データから得た映像ID、解像
度、フレーム数、フレーム間間隔時間と、これを記録し
てあるディスクの場所と前述のフレーム番号及びポイン
タとからなる。

【０１５３】

【表４】

【０１５４】図63は映像データ管理部73の処理手順を示
すフローチャートである。まず共有メモリ72f の全画像
データを解放し、その画像データへのポインタをNIL と
する(S131)。次いで面の番号を表す変数ｊを“０”とす
る(S132)。そして面の数Ｎとｊとを比較し(S133)、ｊが
Ｎより小さい場合は初期値の設定をする(S134)。映像ID
の番号をｉとするとＦi はｉの開始フレーム番号、ｓｔ
は映像再生開始時刻、Ｌは全フレーム数、Δｆ_t はフレ
ーム間間隔時間であり、これらの設定を行う。

【０１５５】次にＬ＝１であるか否かを調べ(S135)、Ｌ
＝１である場合は静止画であるとして時刻Ｔi のフレー
ム番号Ｆi ＝０とする(S140B) 。Ｌ＝１でない場合は後
述する式(1) によりＦi を決定する(S136)。このように
して決定したＦi の画像が共有メモリ72f の領域にある
か否かを調べ(S137)、この領域にある場合はｊ＝ｊ＋１
とインクリメントして(S140A)、次の面の処理に入るべ
くS133へ戻る。無い場合はｉの映像のデータを共有メモ
リ72f の領域へ読込む(S138)。そして映像管理表のｉの
該当する部分にフレーム番号Ｆi とポインタとを設定す
る(S139)。そして物体表のｉに該当する物体のｊの面の
色値／ポインタフィールドにその画像のポインタを設定
する(S140)。そしてｊをインクリメントし、S133へ戻
る。この処理をＮ＝ｊになるまで反復する。

【０１５６】図64はフレーム番号計算の説明図である。
上側の軸は合成画像の第１フレームを０とする合成シー
ンの時刻Ｔi であり、下側の軸は映像フレームの番号を
示している。図59の物体データの物体ID＝0X40000002の
例ではｓｔ＝100msec 、ｓｆ＝15である。今、ｉ＝５の
場合 (Ｔ＝５) についてそのフレーム番号を求める式を
示す。

【０１５７】

【数３】

【０１５８】となる。一般式は下の(1) 式のようにな
る。

【０１５９】

【数４】

【０１６０】なおΔｆ_t はフレーム間間隔時間であり、
mod Ｌは全フレーム数Ｌで割った余りを示す。映像が最
終フレームになった場合は第１フレームに戻る。

【０１６１】合成部72の座標変換部72c はスケジュール
表中のその時刻に記述されている全ての物体について、
その視点情報, 物体の配置情報を用いて座標変換するも
のである。この座標変換には、通常のCGの座標変換技法
(回転, 移動, 透視変換) を用いる。また、隠面消去処
理部72d は座標変換部72c が座標変換を行った全ての物
体の各面について、視点の位置から順番に奥行方向に並
べる。そして、光源情報と、物体の各面の表面属性 (色
値, 反射係数, 透過係数, 拡散係数) 、及び映像物体の
各面に貼り付けるフレーム画像を用いて、通常のCGの描
画技法 (Ｚバッファ等）を用いて各面の色・影付け処理
を行い、各時刻の合成画像を生成する。

【０１６２】次に合成画像出力部72e について説明す
る。図65は合成処理出力部の処理手順を示すフローチャ
ート、図66はその生成データのフォーマット図である。
隠面消去処理部72d が生成した合成画像に図65に示すよ
うにヘッダー情報を付加する(S141)。ヘッダー情報は一
連の画像列データの最初のみに付される横縦の解像度情
報と各フレーム毎に与えられる再生時刻及びフレーム番
号である。そしてリアルタイム表示の要否を調べ(S14
2)、不要な場合はディスク装置71に記録する。リアルタ
イム表示が必要な場合は実時間制御部74へデータを渡す
(S144)。そして表示フラグＦを調べ(S145)、Ｆ＝１ (セ
ット) の場合はディスプレイ装置75に合成画像を表示さ
せ(S146)、処理の流れの調節のために設けた変数ｔを１
とする(S147)。Ｆ＝０の場合はｔ＝ｔ＋Ｐとする(S14
8)。ここにＰも処理の流れを調節する定数である。

【０１６３】図67は実時間制御部の処理手順を示すフロ
ーチャートである。この図においてＴは前述のように第
０フレームを０とする時刻である。またＴr は計算機が
有している現在の実時刻、Ｔrsは第０フレームの画像を
ディスプレイ装置75に出力した実時刻である。そしてＥ
は処理にかかる見込み時間（定数値）である。まずＴr
を読込み(S151)、 Δｔ＝Ｔr −Ｔrs−Ｅ を計算する(S152)。このΔｔは実時間をＴi と同じフレ
ーム上での時間軸に変更してある値である。次にΔｔと
Ｔi とを比較し(S153)、Δｔ≦Ｔi である場合はすでに
ディスプレイ装置75に表示すべきタイミングを逸してし
まったものとしてフラグＦを０とする(S156)。そうでな
い場合はΔｔとＴi との差Δｓを計算する(S154)。そし
てソフトウェア割込をΔｓmsec後に発生するように設定
し(S155)、この割込を待つ(S156)。そしてフラグＦ＝１
とする。

【０１６４】表示フラグＦ＝０／１により合成画像出力
部72e のフローチャートではｔ＝（ｔ＋Ｐ）／１とな
る。ｔ＋Ｐは１より大きいから表示の時間遅れが出てい
る場合は合成画像出力部72e での時間の流れを遅くして
Ｔi をΔｔに対して相対的に小とすることとした。これ
によって表示遅れが解消されることになる。

【０１６５】

【発明の効果】以上の如き本デバイス発明による場合は
各フレームごとにコマ（フレーム）合わせの作業が不要
となり、合成作業が簡略化できる。

【図面の簡単な説明】

【図１】本発明のシステムの説明図である。

【図２】特定物体領域の抽出部の処理の流れ図である。

【図３】動画オブジェクトの構造の説明図である。

【図４】第１群の発明の実施に使用する装置のブロック
図である。

【図５】処理の流れ図である。

【図６】特定物体の領域指定の説明図である。

【図７】３次元形状情報付加処理のフローチャートであ
る。

【図８】稜線及び端点の奥行の指定の説明図である。

【図９】稜線指定の説明図である。

【図１０】３次元形状抽出装置のブロック図である。

【図１１】３次元形状抽出方法のフローチャートであ
る。

【図１２】基本形状の立体図である。

【図１３】基本形状と画像との重畳表示例を示す説明図
である。

【図１４】物体領域抽出の説明図である。

【図１５】基本形状の位置移動の処理のフローチャート
である。

【図１６】基本形状の位置移動の処理の説明図である。

【図１７】基本形状の回転の処理のフローチャートであ
る。

【図１８】基本形状の回転の処理の説明図である。

【図１９】大きさ変更処理のフローチャートである。

【図２０】大きさ変更処理の説明図である。

【図２１】マッピングの説明図である。

【図２２】従来の画像合成方式の説明図である。

【図２３】第１領域抽出装置のブロック図である。

【図２４】領域抽出のフローチャートである。

【図２５】領域抽出の説明図である。

【図２６】第２領域抽出装置のブロック図である。

【図２７】領域抽出のフローチャートである。

【図２８】領域抽出の説明図である。

【図２９】第３〜６領域抽出装置のブロック図である。

【図３０】領域抽出のフローチャートである。

【図３１】領域抽出の説明図である。

【図３２】第３，４，７，８の領域抽出装置のブロック
図である。

【図３３】領域抽出のフローチャートである。

【図３４】領域抽出の説明図である。

【図３５】第３，４の領域抽出装置のブロック図であ
る。

【図３６】エッジ処理のフローチャートである。

【図３７】エッジ処理の説明図である。

【図３８】エッジ処理の説明図である。

【図３９】第10の領域抽出装置のブロック図である。

【図４０】雑音消去のフローチャートである。

【図４１】雑音消去の説明図である。

【図４２】第10の領域抽出装置のブロック図である。

【図４３】雑音消去のフローチャートである。

【図４４】雑音消去の説明図である。

【図４５】第11の領域抽出装置のブロック図である。

【図４６】雑音消去のフローチャートである。

【図４７】雑音消去の説明図である。

【図４８】ポリゴンの表示例を示す画面図である。

【図４９】操作の説明図である。

【図５０】３次元形状モデル表示装置のブロック図であ
る。

【図５１】ガイドポリゴンの色選択のフローチャートで
ある。

【図５２】ガイドポリゴンの形状決定のフローチャート
である。

【図５３】操作位置判別の寸法フローチャートである。

【図５４】拡大縮小の原理説明図である。

【図５５】回転の原理説明図である。

【図５６】回転のフローチャートである。

【図５７】３次元形状モデルの表示装置の全体的ブロッ
ク図である。

【図５８】画像列生成装置のブロック図である。

【図５９】物体データの例を示す説明図である。

【図６０】合成データの例を示す説明図である。

【図６１】合成データ入力部の処理手順を示すフローチ
ャートである。

【図６２】表面属性決定部の処理手順を示すフローチャ
ートである。

【図６３】映像データ管理部の処理手順を示すフローチ
ャートである。

【図６４】フレーム番号計算の説明図である。

【図６５】合成処理出力部の処理手順を示すフローチャ
ートである。

【図６６】合成処理出力部の生成データのフォーマット
図である。

【図６７】実時間制御部の処理手順を示すフローチャー
トである。

【符号の説明】

１ 特定物体領域抽出部 ２ ３次元形状情報付加部 ３ 映像CGモデル生成部 ４ 合成画像生成部 ５ 画像記憶部 ６ 形状・表面属性情報記憶部 7a,7b CGモデル記憶部 ８ 合成情報記憶部 10 画像表示装置 12 ポインティング装置 13 CGモデル作成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 椎谷 秀一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平１−131976（ＪＰ，Ａ) 特開 平６−162165（ＪＰ，Ａ) 特開 平３−138784（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/262 G06T 15/70 G06T 17/40

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 フレーム単位で管理されている映像とコ
   ンピュータグラフィックスとを合成して複数フレームの
   画像列を生成する方法において、識別番号によって特定
   される複数の映像を含む映像データ、識別番号によって
   特定される複数の物体、各物体に貼り付けるべき映像を
   特定する映像の識別番号及び該映像中の貼り付けに係る
   フレーム番号を含む物体データ、並びに、合成に係る物
   体の識別番号及び映像の再生開始時刻を含む合成データ
   を用い、合成データ中の映像の再生開始時刻に従い、物
   体の識別番号で特定される物体の表面に、物体データ中
   の映像の識別番号及びフレーム番号で特定される映像を
   貼り付けることを特徴とする画像列生成方法。
2. 【請求項２】 前記合成データ中の映像の再生開始時刻
   及び物体データ中に定められた再生開始フレーム番号に
   基づき各時刻における貼り付け映像のフレームを決定す
   る請求項１記載の画像列生成方法。
3. 【請求項３】 前記映像データはフレーム間間隔時間を
   含み、該フレーム間間隔時間に基づき合成処理の時刻と
   フレーム番号との関係を定める請求項１記載の画像列生
   成方法。