JP3732158B2 - ３次元形状モデルの表示方法及び装置 - Google Patents
３次元形状モデルの表示方法及び装置 Download PDFInfo
- Publication number
- JP3732158B2 JP3732158B2 JP2002183475A JP2002183475A JP3732158B2 JP 3732158 B2 JP3732158 B2 JP 3732158B2 JP 2002183475 A JP2002183475 A JP 2002183475A JP 2002183475 A JP2002183475 A JP 2002183475A JP 3732158 B2 JP3732158 B2 JP 3732158B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- shape
- value
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はコンピュータグラフィックスと実写映像との合成を行う方法及びその装置に関する。
【０００２】
【従来の技術】
最近、映画やコマーシャルフィルムの製作でコンピュータグラフィックス（以下CGという) と実写映像の合成が盛んに用いられるようになってきた。例えば、CGで作った架空の建築物などに、予め撮影した人間の実写映像を合成することで、あたかも人間がその建築物の中を歩いている効果を創り出せる。このCGと実写映像の合成によって作られた映像は、見る者にとってリアルでインパクトの強いものであり、特に景観シミュレーションには欠かせないものとなっている。
【０００３】
一般的に、CGでは描画する物体の形状は、平面、２次曲面などの簡単な幾何形状 (形状プリミティブ) を使って定義し、その表面には任意の色付けをしたり、画像データを貼り付ける処理を行う。しかしこの方法では、木や川などの自然物を描画すると常にその姿が固定された状態に見えてしまう。そこで、予め風に揺れている木あるいは水が流れている川を撮影しておき、CGで作成したシーンにその実写映像を合成することで、より自然なアニメーションを作ることができる。従来の方法では、撮影した実写映像から画像を選択し、平板などの簡単な形状プリミティブに貼り付けることでCGとの合成処理を行っている。この合成処理を各フレームごとに繰り返して行い、連続した合成画像のアニメーションを製作するのである。
【０００４】
なお、静止画の合成画像に関する公知文献として「景観シミュレーションのための 2.5次元簡易情景モデル構築の一手法」 (1992年７月：「画像の認識・理解シンボジウム (MIRU '92) 」がある。
また本発明の一部である３次元図形抽出に関するものとして特開昭62-162173 号公報及び特開平3-244005号公報がある。
【０００５】
【発明が解決しようとする課題】
この種技術においては以下の如き解決すべき課題があった。
(1) 実写映像を３次元形状を持ったCGモデルに変換するのを簡便に行わしめること
(2) この変換の際にオペレータの介入を許容すること
(3) 動画の実写映像とCGとの合成を可能にすること
(4) 実写映像から所要の部分を抽出する場合の操作性、能率を高めること
(5) CGモデルの回転、拡大縮小及び移動の操作性を高めること
(6) CGと実写映像との合成の同期を容易にとれるようにすること
【０００６】
〔発明の概要〕
この発明で提案する方法，装置（システム）では、画像処理の技法を用いて、計算機がユーザとの対話処理を行って、
1) 映像情報の物体単位の切り分け、
2) ３次元幾何情報を付加した動画オブジェクトの生成、
3) CGモデルと動画オブジェクトの同時表示、の３つの処理を行う。1)によりスタジオでのブルーバック撮影が、2)により映像撮影時のカメラの位置情報の測定や記録が不要になり、また3)により表示の際に視点を変更することが可能となる。
【０００７】
システム構成の概略
図１に本発明のシステムの構成の概略を示す。本システムでは、特定物体領域の抽出部、３次元幾何情報の抽出部、動画オブジェクトとCGの同時描画部の３つの処理部から構成されている。特定物体領域の抽出部と３次元幾何情報の抽出部により、CGと合成するための動画オブジェクトと呼ぶデータが作られて、ハードディスクに格納される。このデータを利用して、動画オブジェクト及びCGの同時描画部では、非リアルタイムに合成画像を生成する。
【０００８】
特定物体領域の抽出部
特定物体領域の抽出部は、キャプチャリングツールによって入力された映像情報から、特定物体の領域を切り出す処理を行う。この処理の流れを図２に示す。ここでは入力データとして連続画像シーケンスを受け取り、出力として特定物体を包含する矩形領域の画像シーケンスと、それと同じサイズのアルファ値を格納したアルファマップシーケンスを作る。物体の領域を２値のマスクで切り分けると境界部分に不自然なエリアシングが生じる。これを防ぐためにアルファ値を使って領域を定義する。あるｎ枚目の画像について、ユーザとの対話処理で特定物体の領域を決定後、ｎ＋１〜ｎ＋ｍ枚目の処理は前フレームの処理結果を利用して計算機で半自動的に行う。
【０００９】
３次元幾何情報の抽出部
３次元幾何情報の抽出部は、前述の特定物体領域の抽出部が作った特定物体を包含する矩形領域の画像シーケンスとアルファマップシーケンスを利用して２次元の映像情報から３次元幾何情報を抽出する。この３次元幾何情報の抽出は、ユーザが２次元の画像上の物体に、複数の簡単な形状プリミティブ（直方体など）を変形、回転、移動なとの操作をして、フィッティングを行うことで実現する。本システムでは視点情報だけでなく、物体の形状情報及び各面に張り付いているテクスチャ画像を抽出する。この抽出部では、動画オブジェクトと呼ぶデータ構造を作るために、映像中の物体に３次元幾何情報を与え、そのCGモデル化された物体の各面に張り付く映像情報を抽出し、正面から見たものに正規化して格納する。
【００１０】
動画オブジェクトの構造
特定物体領域の抽出部と３次元幾何情報の抽出部の処理を経て生成されたデータは動画オブジェクトと呼ぶ構造になる。図３に動画オブジェクトの構造の概略を示す。動画オブジェクトはCGと映像を融合するために新たに作ったデータ構造で、形状データの他に表面情報として、各面に張り付く映像情報（静止画，或いは動画）へのポインタを格納している。
【００１１】
合成画像生成部
合成画像生成部では、生成された動画オブジェクトデータとCGデータとを同時に描画する。このとき、メタ情報として描画するCGシーンの時刻Ｔi と時間間隔Δｔを指定する。CGデータには各物体の形状データの他に、各時刻に於ける位置情報が含まれる。また、時刻Ｔi により、動画オブジェクトの中の映像データから各面に貼り付けられる映像が選択される。時刻Ｔi に於ける物体の表面属性が決定された後、時刻Ｔi における合成シーンを生成する。
【００１２】
以下本発明を具体的に説明する。
本願の発明は大きく２つに分けられる。
(1) 全体構成に関するもの
(2) 特定物体の領域の抽出部及び３次元形状情報の付加部に関するもの
【００１３】
(2) は
2-1 特定物体領域の抽出部及び３次元形状情報の付加部の構成に関するもの
2-2 前記抽出部の構成に関するもの
2-3 ３次元形状モデルの表示に関するもの
の３つに分けられる。
以下(1) を第１群の発明、2-1 、2-2 、2-3 を夫々第２、３、４群の発明と言う。
【００１４】
本願の主題は第４群の発明であるが、それに関連する第１〜第３群の発明も説明する。
第１群の発明から詳細に説明する。
［第１群の発明］
(概要)
第１群の発明はCGと実写映像との合成の全体構成に関するものである。
【００１５】
【従来の技術及び発明が解決しようとする課題】
CGと実写映像の合成は、合成後の映像を想定した上で撮影し、実写画像から合成すべき部分のみを切り出し、CGに重ね合わせる手法をとっていた。このような手法における撮影の場合、ブルーバックによるスタジオ撮影が必要であったり、撮影時にカメラの位置を測定する必要があるなど、大掛かりな環境が必要である。
【００１６】
計算機によって支援する方式も前述のMIRU '92の文献に提案されている。これは視点情報を実写映像から抽出し、その映像中の対象物を平面に近似して、CGと合成する手法である。しかし、完全な３次元情報を有するモデルではないため、合成時に視点を変更できないなど、合成処理に制限を受ける。
特開平3-138784号公報には静止画中の物体を３次元として扱うために、静止画中の物体を３次元モデルに基づいて再構成し、その３次元物体に相当する部分画像を、３次元物体モデルの表面テクスチャとしてマッピングし表示する方式が提案されている。この方式では、１つの３次元部に対し、複数枚の入力画像から表面テクスチャを合成することも提案している。しかし、映像 (動画像) の場合、表面テクスチャが刻々と変化する場合も考えられ、複数テクスチャを合成した場合、時系列方向で平滑化したテクスチャが得られてしまうこともあり不適当である。
【００１７】
【発明が解決しようとする課題】
本発明はこのような技術的背景の下になされたものであり、実写映像を３次元形状を有するCGモデルに簡便に変換することができる画像合成方法を提案することを第１の目的とする。また前記CGモデルをフレームごとに生成して、その結果動画にもできる映像合成方法を提供することを第２の目的とする。
【００１８】
【課題を解決するための手段】
本発明に係る画像合成方法は、コンピュータグラフィックスと実写映像とを合成する画像合成方法において、実写映像中の特定の領域を抽出する過程と、抽出した領域に３次元形状の情報を付加する過程と、抽出領域の情報及び３次元形状の情報に基づき、抽出領域に係る情報をコンピュータグラフィックスモデル化する過程とを備えることを主な特徴とする。
【００１９】
更に、コンピュータグラフィックスモデル化した前記抽出領域に係る情報と他のコンピュータグラフィックスモデルとを混在表示させるべくこれらを合成する過程を備える。そして動画作成のために複数フレームに亘って同様の処理を実行する。
【００２０】
本発明に係る画像合成装置は、コンピュータグラフィックスと実写映像とを合成する画像合成装置において、実写映像中の特定の領域を抽出する手段と、抽出した領域に３次元形状の情報を付加する手段と、抽出領域の情報及び３次元形状の情報に基づき、抽出領域に係る情報をコンピュータグラフィックスモデル化する手段とを備えることを主な特徴とする。
【００２１】
更に、コンピュータグラフィックスモデル化した前記抽出領域に係る情報と他のコンピュータグラフィックスモデルとを混在表示させるべくこれらを合成する手段を備える。
【００２２】
実写映像から特定の物体に対応する領域を切り出し、これに３次元形状情報を付加する。これにより実写映像の前記特定物体の表面属性を有するCGモデルが生成される。これを単独で用いるか、又は他のCGモデルと混合する。
更に複数フレームに亘って同様の処理を行うことで動画での画像合成が行える。
【００２３】
【発明の実施の形態】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
図４は本発明方法を実施するための装置のブロック図であり、図５はその処理の流れ図である。図４において９はTVカメラ、ビデオテープ、ビデオディスク等の映像供給装置であり、これらから得られた実写映像情報はビデオメモリ等からなる画像記憶部５へフレーム毎に記憶される。この画像記憶部５に記憶されている実写映像情報は特定物体領域抽出部１へ与えられ、ここで実写映像中の特定の物体の領域が抽出される。抽出領域の指示はオペレータがマウス等のポインティング装置12を用いて行う。またその具体的な内容は第２〜４群の発明の説明に詳しい。図６は実写映像として４角柱及び３角錐が表示されている場合に４角柱を抽出領域として指定した（太線で示す）場合の状態を示している。このようにして指定された領域の映像情報は３次元形状情報付加部２へ送られ、ここで３次元形状情報が付加される一方、形状・表面属性情報記憶部６に記憶される。
【００２４】
３次元形状情報付加部２は特定物体領域抽出部１から与えられた情報に３次元形状情報を付加して、これを形状・表面属性情報記憶部６に蓄える。３次元形状情報付加部２の具体的構成は第２群の発明に詳しいが、ここでも１例を挙げて説明する。
【００２５】
図７はそのフローチャートである。まず図８に示すように指定して抽出した領域、又は物体を画像表示装置10の画面に表示させて、オペレータに画像の焦点距離ｆを入力させる(S1)。この入力にはキーボード等の文字・数値入力装置11が使用される。次にポインティング装置12を用いて画面上に稜線を描画させ、その奥行の値を入力させる(S2)。図８には描画した稜線を太線で示し、指定した奥行の値をＺで表示している。この描画、奥行指定は取消、訂正が可能である。面の特定は基本的に３角形（３本の稜線）によって行えるから、この発明でも図９に示すように３角形に分割するように稜線を描画し、また３角形への分割のための補助線（矩形の対角線）の描画を行い、相異る２本の稜線（補助線を含む）が交わることなく、抽出領域内の総ての点が３本の稜線に囲まれた状態になっている状態にする(S3)。
【００２６】
次に端点の３次元座標の算出をする(S4)。これはS1、S2で入力した焦点距離ｆ、奥行Ｚ、及び端点の画像上の座標（ｘ，ｙ）に基づき、
Ｘ＝（ｘ／ｆ）×Ｚ
Ｙ＝（ｙ／ｆ）×Ｚ
により得る。
なお、稜線上の点及び稜線で囲まれた領域内の点の３次元座標は、次の式によって算出できる。
【００２７】
稜線上の点
稜線の端点の３次元座標、及び画像上の座標を夫々、（ｘi ，ｙi ），（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２）とすると、稜線上の点（ｘ，ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、
Ｘ＝（１−ｔ）Ｘ1 ＋ｔＸ2
Ｙ＝（１−ｔ）Ｙ1 ＋ｔＹ2
Ｚ＝（１−ｔ）Ｚ1 ＋ｔＺ2
により得る。ただし、ｔは、ｘ1 ≠ｘ2 の場合は（ｘ−ｘ1 ）／（ｘ2 −ｘ1 ）、ｘ1 ＝ｘ2 の場合は（ｙ−ｙ1 ）／（ｙ2 −ｙ1 ）である。
【００２８】
稜線で囲まれた領域内の点
この領域内の点はいずれも３本の稜線に囲まれており、それらの交点は３本の稜線の端点であることが保証されている。従って３つの交点の座標がなす平面は、３つの交点の座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）により求めることができる（自明）。この平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０とおくと、領域内の点の画像上の座標（ｘ，ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、
Ｘ＝ｘ／（ａｘ＋ｂｙ＋ｃｆ）
Ｙ＝ｙ／（ａｘ＋ｂｙ＋ｃｆ）
Ｚ＝ｆ／（ａｘ＋ｂｙ＋ｃｆ）
により得られる。
【００２９】
このようにして得られた稜線から、端点の３次元座標及び接続関係は形状情報として、端点の特定物体領域上の座標対応及び特定物体領域画像の画像データは表面属性情報として、形状・表面属性情報記憶部６へ格納する(S5)。表１は形状・表面属性情報記憶部６の記憶内容を示している。以上のS1〜S5の処理を全フレームにつき反復する(S6)。
【００３０】
【表１】
【００３１】
次に形状・表面属性情報記憶部６の内容を映像CGモデル生成部３でCGモデル化する。
形状情報のCGモデル化については稜線の接続関係及び３次元座標より、端点を頂点、稜線を辺、囲まれる部分を面とみなすことによりそのままCGモデルを生成できる。
【００３２】
一方、表面属性情報については面とみなした部分の表面属性情報として、その位置に対応する画像情報を、生成するCGモデルのテクスチャとする。その際、その画像情報を、３次元空間で法線方向から見た画像として正規化する。正規化の際の回転行列Ｒは、次式で与える。
【００３３】
【数１】
【００３４】
ただし、回転角ψ及び回転角κは、この領域の平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０と表した際のａ，ｂ，ｃに基づき
【００３５】
【数２】
【００３６】
である。ａ，ｂ，ｃは、３つの頂点の３次元座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）により求めることができる。
このようなCGモデル化処理をすべてのフレームに対して適用し、実写映像に対するCGモデルを、各フレームに対するCGモデル列として獲得し、これを映像CGモデル記憶部7bに記憶させる。
CGモデル作成部13は上述のような実写映像から作成するのではない通常のCGモデルを作成するものであり、作成されたCGモデルはCGモデル記憶部7aに記憶される。
【００３７】
合成情報記憶部８はこのCGモデルと実写映像から作成した映像CGモデルとを合成画像生成部４で合成するための情報 (CGモデル配置情報) を記憶するものであり、合成画像生成部４は、これに基づいて両CGモデルの合成をし、これを画像表示装置10に表示させたり、或いは図示しない記録媒体に記録させる。合成画像生成部４及び合成情報記憶部８については第５群の発明に詳しい。
【００３８】
【発明の効果】
以上の如き本発明による場合は実写映像を３次元形状を持つCGモデルへ変換するので、通常のCGモデルと同様の取扱いができ、これらの合成等の処理が容易に行える。そして実写映像のCGモデル化は領域の抽出及びこれに対する３次元形状情報の付加という簡便な操作で行える。またこの際オペレータの手動介入が可能であるので、微妙な調整、或いはこの作為的変更が行え、自由度が高まる。また複数フレームを同様に処理することで動画への適用も可能である。
【００３９】
［第２群の発明］
(概要)
この発明は図４の特定物体領域抽出部１及び３次元形状情報付加部２の構成に係るものである。
【００４０】
【従来の技術及び発明が解決しようとする課題】
画像中の３次元物体に対し、その物体の形状を完全に抽出する方式は、未だ確立されていない。従来技術として提案されているのは、物体表面の反射特性を仮定し、観察される色値から物体表面の傾きを求める方式や、画像に観察される物体のモデルを予め記憶しておき、そのモデルと画像に観察される物体の見えかたを照合する方式、等々である。これらは、画像理解研究の発展とともに、開発されてきた。
【００４１】
しかし、何れの方式も、適用条件に合致していないと適用できない。例えば、前者の方式に対しては、反射特性を仮定できない物体の場合、後者の方式に対しては、記憶していないモデルの物体の場合、適用することができない。
そこでこの発明では映像に含まれる物体の３次元形状を得る際、その物体のおよその形状を人間が指定し、その形状のモデルを画像に表示しながら、その重ね合わせ方を、人間による指定と、画像処理の手法を用いた計算機による自動調整を、交互に対話的に行う３次元形状抽出方法及び装置を提供することを目的とする。
【００４２】
【課題を解決するための手段】
第２群の発明の方法は、実写映像に含まれる物体の３次元形状を抽出する方法において、複数の幾何学的形状のデータを予め用意しておく過程と、実写映像から前記物体に相当する領域を抽出する過程と、抽出した領域を表示している画面に前記データによっていずれかの形状を選択表示させる過程と、前記領域および形状を一致させるべく前記形状の位置、向き、大きさを調整する過程とを備えることを特徴とする。
【００４３】
また第２群の発明の装置は、実写映像に含まれる物体の３次元形状を抽出する装置において、複数の幾何学的形状のデータを予め用意しておく手段と、実写映像から前記物体に相当する領域を抽出する手段と、抽出した領域を表示している画面に前記データによっていずれかの形状を選択表示させる手段と、前記領域および形状を一致させるべく前記形状の位置、向き、大きさを調整する調整手段とを備えることを特徴とする。
【００４４】
そして調整手段では物体の形状及び色相値に基づく位置，向き，大きさの自動調整手段を備える。更に調整済形状に実写映像から抽出した領域の画像情報をマッピングする手段を備える。
【００４５】
抽出した物体の領域に近い形状を予め用意されている形状の中から選択して表示させる。そうするとこの領域と形状とが一致するように調整されて目的とする物体の３次元形状が抽出できたことになる。この結果は前述の３次元形状情報付加部２で得られた結果と同様のものである。
【００４６】
【発明の実施の形態】
以下第２群の発明をその実施の形態を示す図面に基づいて詳述する。
図10は３次元形状抽出装置のブロック図である。図において21は物体領域抽出部であり、実写映像から所要の物体の領域を抽出して画像表示装置27に表示させるものである。これについては第３群の発明に詳しい。実写映像及び抽出映像は画像記憶部25に記憶される。基本形状選択部22は図12に示すような基本形状のパターンを多数記憶しており、これをオペレータが選択して画像表示装置27に表示させるものである。基本形状重ね合わせ部23はオペレータが選択した基本形状のパターンと、抽出した物体の画像とを図13に示すように重ね合わせて表示させ、後述するようなオペレータの操作とコンピュータによる自動調整とにより両者を合致させるものである。合致するように重ね合わされた結果は重ね合わせ情報記憶部26に記憶される。また重ね合わせ結果表示部24は調整の済んだ基本形状に抽出物体の表面の画像情報をマッピングするものである。
【００４７】
次に図11に基づき３次元形状抽出方法を説明する。画像記憶部25に記憶させてある実写映像を取出し、これを画像表示装置27に表示させて物体領域抽出部21で所要物体の抽出を行う(S21) 。図14はこの操作の説明図である。オペレータは描画装置を用いて画面上に物体領域及び背景領域を各例示する閉曲線を描く。物体領域抽出部21は物体領域の閉曲線を拡張し、背景領域の閉曲線は収縮させる。この拡張、収縮は色相が類似する部分についてのみ認める。そうすると両閉曲線は境界で接することになり、これにより境界を特定して所要の物体の領域が抽出する。なお図14(b) のように拡張、収縮の結果、影が存在する等のために境界が太く認定されることが生じ得るが、この場合は太い境界の内側線を物体の境界とする。
【００４８】
次に所定操作を行わせて基本形状 (形状プリミティブ) のパターンを表示させ、抽出物体の形状に類似するものを選択する(S22) 。これにより図13に示すように重ね合わせ表示させる(S23) 。一般的に抽出した物体形状と選択した基本形状とは一致しない。そこで両者が一致するまで(S24) 、物体形状と基本形状とにつき、位置調整(S27) 、向きの調整(S28) 、大きさの調整(S29) 及び形状の部分的変形(S30) を行う。一致, 不一致はオペレータの判断による。
【００４９】
図15は位置移動に関する処理のフローチャート、図16はその説明図である。この移動の原理は物体領域と形状プリミティブのワイヤフレームの重心を一致させる点にある。即ち物体領域の重心ＧROの算出(S31) 、及び形状プリミティブのワイヤフレームの重心ＧRPの算出(S33) を行う。そしてこれらを一致させるべく形状プリミティブのワイヤフレームの表示位置を移動する(S32) 。
【００５０】
物体領域の重心ＲROと、形状プリミティブのワイヤフレーム表示で囲まれる領域の重心ＲRPが一致するように、形状プリミティブのワイヤフレーム表示位置を移動する (図16) 。なお、領域Ｒの重心ＧR は、
ＧR ＝( ｍ10／ｍ00，ｍ01／ｍ00 )T
により求めることができる。
但し、
これに従い、形状プリミティブのワイヤフレーム表示位置を（ＧRO−ＧRP）移動する。
【００５１】
図17は向きの調整のために行う形状プリミティブの回転の処理を示すフローチャート、図18はその説明図である。回転による向きの調整の原理は、物体領域及び形状プリミティブのワイヤフレームの長軸の平行化にある。
領域Ｒの長軸方向θR は、領域の重心回りの慣性主軸として求めることができる。すなわち、
tan2 θR ＋［｛ｍ20−ｍ10／ｍ00）−（ｍ02−ｍ01／ｍ00）｝／（ｍ11−ｍ10ｍ01／ｍ00）］ tanθR −１＝０
の解として求めればよい。
但し、
これに従い、形状プリミティブのワイヤフレーム表示位置を（θRO−θRP）回転する。
【００５２】
図17のフローチャートに示すように抽出した物体領域及び形状プリミティブのワイヤフレームのモーメント量を算出する(S41,S44) 。このモーメント量の算出
で求められる。
【００５３】
一方、前述のようにして物体領域の長軸、並びに形状プリミティブのワイヤフレームの長軸及び重心ＧRPを前述のようにして求める(S42,S45,S46) 。そしてＧRPを中心としてθRO−ＲRPだけ形状プリミティブのワイヤフレーム表示位置を回転する(S43) 。
【００５４】
大きさの調整は図20に示すように両者の表示面積が一致するように領域ＲP の重心ＧRPを中心として形状プリミティブのワイヤフレームを拡大又は縮小することで行う。即ち領域Ｒの面積ＳR は
ＳR ＝ｍ00
として求めることができる。これに従い、形状プリミティブのワイヤフレームをＳRO／ＳRP倍すればよい。
ここにＳROは物体領域の面積
ＳRPは形状プリミティブのワイヤフレームの面積
である。
【００５５】
図19のフローチャートにおいて、抽出した物体の領域のモーメント量、形状プリミティブのワイヤフレーム表示領域のモーメント量を算出する(S51,S54) 。そしてこれを用いて両者の面積ＳRO, ＳRPを算出する(S52,S55) 。また形状プリミティブのワイヤフレームの重心ＧRPを算出する(S56) 。そして形状プリミティブのワイヤフレームをＳRO／ＳRP倍する(S53) 。面積はモーメント量ｍ00として求めることができる。
【００５６】
図11に返って、形状の変形について説明する。物体領域の形状が基本形状と部分的に異なる場合はオペレータが入力する命令で基本形状を部分的に変形する。以上のようにして物体領域と基本形状が一致した場合は、これを重ね合わせ情報記憶部26へ格納する(S25) 。そして図21に示すように形状プリミティブのワイヤフレームに抽出した物体領域の画像情報をマッピングする(S26) 。つまり実写映像の所要部が切り出されて形状プリミティブのワイヤフレームに貼り付けられた如き状態になる。
【００５７】
【発明の効果】
以上のような第２群の発明による場合はオペレータが対話方式で３次元形状の抽出ができるので適用条件に制約されず、また物体に対する既知情報（反射情報など）を必要とすることなく抽出が可能である。
また基本形状を物体領域に一致させる作業はコンピュータが自動的に行うのでオペレータの負担は軽微である。
またマッピングを行うので抽出した３次元形状情報の適否が直感的に判断できる。
【００５８】
［第３群の発明］
(概要)
第３群の発明は図４の特定物体領域抽出部又は図10の物体領域抽出部に係るものである。
【００５９】
【従来の技術】
電気的に画像を合成する場合は図22に示すようにして行われていた。例えば人物像の画像をブルー背景として画像入力部Ａで撮影し、また風景画像を画像入力部Ｂで撮影する。そして画像入力部Ａの画像からブルー成分を検出し、これを反転増幅して、適宜の混合比制御をして、この反転増幅信号と、画像入力部Ａ, Ｂからの信号とを混合増幅器で合成し、画像出力部へ出力することとしていた。これにより画像入力部Ａからの背景が消えて画像入力部Ｂを背景とする人物像が合成されることになる。
【００６０】
【発明が解決しようとする課題】
このような従来の方式ではブルー背景を必要とし設備面での負担がある。また当初から画像合成を意図したものしか利用できず、汎用性に欠ける。更に混合増幅器における合成のためのパラメータ設定が難しく、また操作も煩雑である。
本発明はこのような問題を解決するためになされたものであり、特別な撮影設備を必要とせず、また汎用性が高く、更に操作が簡便な画像合成装置、特に合成対象となるキー画像の生成装置を提供することを目的とする。
【００６１】
【課題を解決するための手段】
第３群の発明の第１の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、求めた特徴量の最大値及び最小値を求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、その特徴量が前記最大値と最小値との間にある画素を選択する過程とを備え、前記画素によって構成される領域を抽出領域とすることを特徴とする。
【００６２】
第２の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、指定した画素の、求めた特徴量につき、隣接画素間の差分を計算する過程と、計算した差分の最大値を求める過程と、指定した画素を開始点として、隣接画素間の特徴量の差分が前記最大値より小さい４近傍又は８近傍の画素を連結する過程とを備え、連結した画素によって構成される領域を抽出領域とすることを特徴とする。
【００６３】
第３の方法は、前記抽出領域の画素及び非抽出領域の画素に各別の値を付与する過程と、前記抽出領域の境界の外縁に位置する画素に、前記値の中間の値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６４】
第４の方法は、前記抽出領域から遠ざかる方向に隣接する複数の画素の各々に異なる中間の値を付与する。
【００６５】
第５の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、求めた特徴量の最大値及び最小値を求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する過程と、前記範囲外の画素に、定数Ｋから前記差分に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６６】
第６の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の複数の特徴量を求める過程と、求めた特徴量の最大値及び最小値を特徴量の各々について求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する過程と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記差分に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６７】
第７の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、求めた特徴量の平均値及び分散を求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する過程と、前記範囲外の画素に、定数Ｋから前記偏差に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６８】
第８の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の複数の特徴量を求める過程と、求めた特徴量の平均値及び分散を特徴量の各々について求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する過程と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６９】
第９の方法は、映像から抽出した複数の領域のうちのいずれかの領域に含まれる画素を指定する過程と、指定した画素を開始点として４連結又は８連結のラベリングをする過程と、ラベリングされていない領域を非抽出領域に変更する過程とを備えることを特徴とする。
【００７０】
第10の方法は、複数フレームの映像から特定の領域を抽出する方法において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素を開始点として４連結又は８連結のラベリングをする過程と、ラベリングされていない領域を非抽出領域に変更する過程と、抽出領域の幾何学的特徴量を算出する過程とを備え、また次フレームでラベリングする過程と、異なるラベルを付与された領域ごとに幾何学的特徴量を算出する過程と、前フレームの抽出領域の幾何学的特徴量に近い幾何学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する過程とを備えることを特徴とする。
【００７１】
第11の方法は、複数フレームの映像から特定の領域を抽出する方法において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素を開始点として４連結又は８連結のラベリングをする過程と、ラベリングされていない領域を非抽出領域に変更する過程と、抽出領域の光学的特徴量を算出する過程とを備え、また次フレームでラベリングする過程と、異なるラベルを付与された領域ごとに光学的特徴量を算出する過程と、前フレームの抽出領域の光学的特徴量に近い光学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する過程とを備えることを特徴とする。
【００７２】
第１の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、求めた特徴量の最大値及び最小値を求める手段と、これらの最大値及び最小値を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、その特徴量が前記最大値と最小値との間にある画素を選択する手段とを備え、前記画素によって構成される領域を抽出領域とすべくなしてあることを特徴とする。
【００７３】
第２の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、指定した画素の、求めた特徴量につき、隣接画素間の差分を計算する手段と、計算した差分の最大値を求める手段と、該最大値を記憶する手段と、指定した画素を開始点として、隣接画素間の特徴量の差分が前記最大値より小さい４近傍又は８近傍の画素を連結する手段とを備え、連結した画素によって構成される領域を抽出領域とすべくなしてあることを特徴とする。
【００７４】
第３の装置は、前記抽出領域の画素及び非抽出領域の画素に各別の値を付与する手段と、前記抽出領域の境界の外縁に位置する画素に、前記値の中間の値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７５】
第４の装置は、前記抽出領域から遠ざかる方向に隣接する複数の画素の各々に異なる中間の値を付与すべくなしてある。
【００７６】
第５の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、求めた特徴量の最大値及び最小値を求める手段と、これら最大値及び最小値を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する手段と、前記範囲外の画素に、定数Ｋから前記差分に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７７】
第６の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の複数の特徴量を求める手段と、求めた特徴量の最大値及び最小値を特徴量の各々について求める手段と、これら最大値及び最小値を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する手段と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記差分に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７８】
第７の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、求めた特徴量の平均値及び分散を求める手段と、該平均値及び分散を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する手段と、前記範囲外の画素に、定数Ｋから前記偏差に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７９】
第８の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の複数の特徴量を求める手段と、求めた特徴量の平均値及び分散を特徴量の各々について求める手段と、該平均値及び分散を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する手段と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００８０】
第９の装置は、映像から抽出した複数の領域のうちのいずれかの領域に含まれる画素を指定する手段と、指定した画素を開始点として４連結又は８連結のラベリングをする手段と、ラベリングされていない領域を非抽出領域に変更する手段とを備えることを特徴とする。
【００８１】
第10の装置は、複数フレームの映像から特定の領域を抽出する装置において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素を開始点として４連結又は８連結のラベリングをする手段と、ラベリングされていない領域を非抽出領域に変更する手段と、抽出領域の幾何学的特徴量を算出する手段とを備え、また次フレームでラベリングする手段と、異なるラベルを付与された領域ごとに幾何学的特徴量を算出する手段と、前フレームの抽出領域の幾何学的特徴量に近い幾何学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する手段とを備えることを特徴とする。
【００８２】
第11の装置は、複数フレームの映像から特定の領域を抽出する装置において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素を開始点として４連結又は８連結のラベリングをする手段と、ラベリングされていない領域を非抽出領域に変更する手段と、抽出領域の光学的特徴量を算出する手段とを備え、また次フレームでラベリングする手段と、異なるラベルを付与された領域ごとに光学的特徴量を算出する手段と、前フレームの抽出領域の光学的特徴量に近い光学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する手段とを備えることを特徴とする。
【００８３】
第１の方法、装置では抽出したい画像部分の中の複数画素を指定する (ライトペン、又はマウス操作のカーソルでなぞる) 。このなぞった画素群中の特徴量 (Ｒ, Ｇ, Ｂ，色相, 彩度, 明度, 輝度などの一又は複数) を求め、更にその最大値, 最小値を選んで記憶する。
【００８４】
次いで画像全体の画素につき各特徴量が前記最大値〜最小値の範囲内にあるか否かを調べる。範囲内にある画素は抽出を望む画像部分と同様の特徴量を有しているので、該画像部分は属すると判断し、０より大きい値を付与し、範囲外のものは非抽出部分であるとして０を付与する。これにより非０の部分を抽出することで所望の画像部分が抽出できる。
【００８５】
第２の方法、装置ではなぞった画素の特徴量と隣接画素の特徴量との差分を求め、その最大値を記憶しておく。そしてこの最大値以下の差分を有する４近傍又は８近傍の画素はなぞって抽出を望む領域と同程度の隣接閾値を有しているとして抽出領域として０より大きい値を付与し、それ以外の部分は０を付与する。これにより非０の部分を抽出することができる。
【００８６】
第３の方法、装置は抽出領域に１、非抽出領域に０を付与した場合に両者の境界の画素に１と０との中間の値を与える。これにより境界がマイルド化し、抽出画像を合成した場合に背景への溶け込みがよくなる。
【００８７】
第４の方法、装置はこの中間の値を複数にすることで境界の一層のマイルド化が行われる。
【００８８】
第５の方法、装置は境界のマイルド化を適応制御するものであり、１〜０の中間値の決定を、非抽出領域の特徴量と、特徴量の最大値 (又は最小値) との差分に応じて定める。これにより抽出画像の境界は背景に良く溶け込む。
【００８９】
第６の方法、装置は特徴量を一種ではなく、二種以上とし、上述の差分を複数の特徴量について求め、例えばその加重平均等に依って中間値を決定する。複数の特徴量を用いるのでより自然な境界が得られる。
【００９０】
第７, 第８の方法、装置は第５, 第６では最大値, 最小値を用いているのに対し、分散を用いている点が異なる。
【００９１】
第９の方法、装置は過剰抽出した部分を非抽出領域とする。即ちラベリングにより、同様に抽出された複数の領域に各別の符号を付与される。このうち、なぞられた画素を含む領域のみを残して他を消すのである。
【００９２】
第10の方法、装置は動画に対応するものである。第９の方法、装置と同様にラベリングし、非抽出領域を消去する。次のフレームで同様のラベリングをするが、フレーム間の領域の同定を幾何学的特徴量の類似度に基づいて行う。このため抽出領域のみが残り、他は消える。これを複数のフレームに亘って行うことで動画での抽出処理が自動的に行えることになる。
【００９３】
第11の方法、装置は上記の幾何学的特徴量に替えて光学的特徴量を用いるものであり、同効を奏する。
【００９４】
【発明の実施の形態】
図23は第３群の発明の第１の領域抽出装置のブロック図である。３系統の画像入力部31,32,33はいずれも同様の構成を有し、NTSC信号をアナログのRGB 信号に変換するNTSC-RGB変換器31a,32a,33a 及びアナログのRGB 信号をディジタルのRGB 信号に変換するA/D 変換器31b,32b,33b を備える。これら画像入力部31,32,33からの入力はデュアルポートRAM からなる画像メモリ37,38,39,40 へ与えられ、またこれらから読出された画像データは画像出力部34へ与えられ、ここから出力される。画像出力部34は画像メモリ37等からのディジタルのRGB 信号をアナログのRGB 信号に変換するD/A 変換器34b 及び、この変換されたアナログのRGB 信号をNTSC信号に変換するRGB-NTSC変換器34a の出力がモニタ (図示せず）に表示されることになる。
【００９５】
35は座標入力部であり、ライトペンとその座標認識手段、等によって構成されており、モニタに表示された映像の一部をなぞるのに使用される。この座標入力部35で入力された座標情報は処理部41へ入力される。400 は半導体メモリであり、演算に使用するメモリ42、後述する特徴量上限レジスタ43、下限レジスタ44を備える。36はハードディスク、光磁気ディスク等の大容量記録部であり、複数フレームの画像を記録する。
【００９６】
而してマイクロプロセッサ等からなる処理部41は以下の如き領域抽出のための処理を行う。
図24は、この処理の手順を示すフローチャート、図25はその説明図である。
図25(a) に示すように抽出したい領域 (白抜きで示されている) を座標入力部35のペンでなぞる。この間ペン軌跡の複数画素につき、特徴量 (一又は複数種) を計算する。そして特徴量の最大値又は最小値を夫々特徴量上限レジスタ43、下限レジスタ44に格納する。これにはペンが移動していく都度、既格納のレジスタ内容を更新していくことで行う。なぞりが終わると全軌跡中での特徴量の最大値, 最小値が得られることになる。
特徴量としてはＲ，Ｇ，Ｂ、色相、彩度、明度、輝度等が挙げられる。
【００９７】
而して次には画面全体の画素ドット特徴量 (一又は複数種) を求め、最大値〜最小値の範囲内にある画素には０より大きい値 (例えば255)を、また範囲外にある画素には０を付与する。これによりキー画像、つまり抽出領域を含む画像が得られることになる。図25(b) はこれを示す。
なお、所望どおりの抽出ができなかった場合は特徴量の選択又は組合わせを種々変更することで再試行すればよい。
なお以上の処理を複数フレームについて反復することで動画の処理が可能となる。
【００９８】
図26は第２の領域抽出装置のブロック図である。第１の領域抽出装置と相違するのは半導体メモリ400 に特徴量上限レジスタ43、下限レジスタ44に替えて特徴量閾値レジスタ45を備える点である。他の構成は同様であるので、同符号を付して説明を省略する。
【００９９】
図27は処理部41による処理のフローチャート、図28はその説明図である。図28(a) のようにペンでなぞった軌跡の画素の特徴量を求めるのは第１の装置と同様であるが、第２の装置ではなぞられた画素のうちでの隣接画素間の特徴量の差分を演算し、その最大値を閾値レジスタ45に格納する。そしてなぞられた画素の夫々について隣接画素 (４近傍又は８近傍) が閾値以下であるか否かを調べていき、以下である隣接画素を次々と連結していく (図28(b))。このようにして連結された領域に０より大きい値を付与する。
【０１００】
図29は第３〜６の領域抽出装置のブロック図である。第１の装置と相違するのは処理部41の演算内容であり、以下に説明する混合比計算41a,総合混合比計算41b を行う。
図30は処理部41の処理手順を示すフローチャートである。図31(a) に示すようにペンでなぞった軌跡の画素につき、第１の装置と同様に特徴量を計算し、その最大値, 最小値を夫々特徴量上限レジスタ43, 下限レジスタ44に入れる。
【０１０１】
次に画像の全画素について特徴量を計算し、これが特徴量上, 下限値レジスタ43,44 に各記憶されている最大値, 最小値の範囲内にあるか否かを調べ、範囲内にある場合は０でない値のＫを付与する。範囲外にある場合は、算出した特徴量と最大値（特徴量が大きいとき）との差、又は算出した特徴量と最小値（特徴量が小さいとき）との差の差分を演算し、差分に応じてＫ〜０の範囲の値（混合比）を特徴量ごとに求める。そして各特徴量ごとの混合比を加重平均した総合混合比を求める。そして総合混合比に応じた値を対応画素に付与する。そうすると図31(b) に示すように境界にグラデーションが付与された抽出画像が得られることになる。そしてこれを複数フレームにつき反復することによって動画に対応できる。
【０１０２】
図32は第３, ４, ７, ８の領域抽出装置のブロック図である。図29と異なるのは、特徴量上限レジスタ43, 下限レジスタ44に替えて特徴量平均値レジスタ46、特徴量分散値レジスタ47を備える点である。
図33はこの場合の処理手順を示すフローチャートであり、図34(a) に示すようにペンでなぞった軌跡の画素の特徴量を計算し、その平均値及び分散値を算出し、これらを特徴量平均値レジスタ46, 特徴量分散値レジスタ47に格納しておく。
【０１０３】
そしてこの装置では画像中の全画素についての特徴量が所定偏差（例えば平均値±分散値）内にあるか否かを調べ、範囲内にある場合にＫを付与する。範囲外の場合は平均値からの偏差に従い、混合比を特徴量ごとに計算し、この計算値の加重平均を総合混合比として求め、これに従ってＫを付与する。
【０１０４】
図34(b) はその結果を示し、境界部にグラデーションを有する抽出画像が得られる。
図35は第３, ４の領域抽出装置の他の実施の形態のブロック図である。この装置は処理部41の処理が他の装置と異なっている。この処理内容を図37, 38につき説明する。この実施の形態は第１の領域抽出装置等で得た抽出領域と非抽出領域 (値０を付与) との輪郭 (画素と画素との間になる) の内側の内周輪郭点 (画素) の値Ｘから定数Ｋを減じた値を、前記輪郭の外側の外周輪郭点（画素）に付与する。この処理は遠心方向の１画素についてだけ行ってもよいが図38に示すように複数画素について行うことでよりなめらかなエッジが得られる。
【０１０５】
図36はこの処理の手順を示すフローチャートであり、画面上の左上側から輪郭を追跡するようにして処理を反復する。そしてこの処理を複数フレームについて行うことで動画への対応が可能である。
【０１０６】
図39は第９の領域抽出装置のブロック図である。この装置は処理部41で後述するラベリング処理（48）を行うことにより雑音、つまり本来抽出を望まないのに抽出領域として現れる部分を削除するためのものである。この処理は例えば第１の領域抽出装置等によって得られたキー画像 (図41(a))に対して行うものである。この画像は中央の抽出を望む部分以外に同様の特徴量を有する雑音の領域 (非０領域) を含んでいる。
【０１０７】
図40はこの処理のフローチャートであり、該処理はペンでなぞった軌跡の画素を開始点として４連結又は８連結のラベリングを行う。雑音の非０領域が離散しているのでラベリングはその領域には到らない。次いでラベリングされていない領域を消去する。そうすると図41(b) に示すように所望の抽出領域が得られるのである。
【０１０８】
図42は第10の領域抽出装置のブロック図である。この装置は第９の領域抽出装置と同様の処理を１回行うだけで爾後のフレームは簡単な処理で雑音消去できる動画対応のものである。これを可能とするためになぞった領域及びこれと対応づけられる他フレームの領域の幾何学的特徴量 (例えば面積、中心位置) を計算する処理(49)及び幾何学的特徴量が近い領域をフレーム内で対応づける対応付け(50)を処理部41が行う。図43はこの処理のフローチャート、図44はその説明図である。第９の領域抽出装置と同処理を先頭フレームに施して図44の(a) に示すように雑音を消去する。そして残った非０領域、つまり抽出領域につき、その幾何学的特徴量を計算する。
【０１０９】
次に第２フレームでは非０領域（雑音領域も含む）につき幾何学的特徴量を計算する。そして先頭フレームの非０領域の特徴量に最も近い幾何学的特徴量を有するものを選択し、他を消去（非抽出領域と）する。以下、前後する２フレームにつき同様の処理を反復することで雑音領域は自動的に消えていく。
【０１１０】
図45は第11の領域抽出装置のブロック図である。この装置は第10の装置が幾何学的特徴量を利用してフレーム内の領域の同定を行っていたのに対し、光学的 (テクスチャ) 特徴量を利用する。このため処理部41内、光学的特徴量を計算するための画素値構成計算（51）を行う。
図46は雑音消去のフローチャート、図47はその説明図である。いずれも幾何学的特徴量が光学的特徴量に替わっただけであるので説明を省略する。
【０１１１】
【発明の効果】
以上の如き第３群の発明によればブルーの背景の撮影設備が不要である。また特に画像合成を意識していない映像からでも抽出ができる。そして操作は必要部分をなぞるだけでよく、簡便である。
【０１１２】
［第４群の発明］
(概要)
第４群の発明はCGモデル (映像から抽出した３次元形状モデルを含む) に対する加工又は表示態様の変更を容易に行わせる表示方法及び装置を提供するものである。
【０１１３】
【従来の技術】
本発明はディスプレイに２次元表示された３次元形状モデルに対して対話的手法により回転、拡大縮小、平行移動し、その結果を逐次再表示するという３次元形状文字表示方法に関する。
計算機の高速化に伴い、３次元形状モデルをリアルタイムに回転、拡大縮小、平行移動して表示することが可能となり、３次元形状モデルを人間が対話的に操作し、その結果を再表示するような機能が要求されている。このため、人間の思考を妨げずに３次元形状モデルを回転、拡大縮小、平行移動するための操作方法が必要である。
【０１１４】
３次元空間で３次元形状モデルを変換するには、回転３自由度、平行移動３自由度の計６自由度の変換が必要である。３次元形状モデルをディスプレイ上に２次元表示する場合は上記の自由度のうちディスプレイに対して奥行方向の移動を拡大縮小で表現できる。したがって、この場合は回転３自由度、拡大縮小１自由度、平行移動２自由度の計６自由度の変換になる。従来の３次元モデル操作ではこの操作を６自由度×正負を夫々キーボードの12個のキーに割り当てていた。また、マウスなどのポインティングデバイスを利用した３次元モデル操作では、２自由度しかないポインティングデバイスを６自由度の変換に対応させるためにモードの切替えを行っていた。両者の融合型として、２自由度をポインティングデバイスで操作し残りの４自由度をキーボードで操作するという方法もあった。
【０１１５】
【発明が解決しようとする課題】
キーボードによる操作方法では夫々の軸に対して正負方向の２つのキーが割り当てられているので、軸方向の変換しかできない。例えば平面上の平行移動のときに縦横の軸が用意されている場合、斜めに平行移動するには縦移動をしてから横移動（或いは横移動してから縦移動）という２ステップの操作を必要とする。さらに回転の場合は、想定した変換を軸方向のベクトルに分解することが大変困難であるという問題もある。
【０１１６】
ポインティングデバイスによる操作方法では軸に対して斜めの変換を行うことができるが、モードの切替えが面倒であることと、回転の３自由度をうまく操作できないという問題点がある。
キーボードとポインティングデバイスの併用による操作方法においても、２つの異なるデバイスでの入力によって操作がし難くなるという問題点を増すだけで、夫々の欠点を補っているとは言えない。
また表示に関して、実際に回転させてみないとどこを中心として回転するのかがよくわからないという問題点がある。
本発明は、あるゆる方向への変換を直接行うことができ、モード切替えといった面倒な操作を排し、わかりやすい操作画面を実現することにより、高速で自由自在の操作を行うことができる表示方法及び装置を提供することを目的とする。
【０１１７】
【課題を解決するための手段】
本発明に係る３次元形状モデルの表示方法は、２次元平面に３次元形状モデルを表示する方法において、前記３次元形状モデルの一部又は全部を内部に含む球体のガイドポリゴンを併せて表示し、また前記ガイドポリゴンの中心を求め、ポインティングデバイスによる指定点がガイドポリゴンの周縁にある場合には求めた前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの拡大又は縮小を行わせ、前記指定点がガイドポリゴン内にある場合は求めたガイドポリゴンの中心を基準点とする前記３次元形状モデルの回転を行わせ、前記指定点がガイドポリゴン外にある場合は前記３次元形状モデルを前記２次元平面に対して平行移動させることを特徴とする。
そしてこのガイドポリゴンは半透明とし、その色は３次元形状モデルの色及び背景色との対比で見えやすい色とする。更にポインティングデバイスによる指定点とガイドポリゴンとの相対位置関係で移動、拡大、縮小、回転等の表示態様の変更を行わせる。
【０１１８】
また本発明の３次元形状モデルの表示装置は、２次元平面に３次元形状モデルを表示する装置において、前記３次元形状モデルの一部又は全部を内部に含む球体のガイドポリゴンを算出する手段と、前記ガイドポリゴンの中心を算出する手段と、ポインティングデバイスと、ポインティングデバイスで指定された点とガイドポリゴンの中心との距離ｌをガイドポリゴンの半径ｒと比較する手段と、ｌ＝ｒの場合に前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの拡大又は縮小を行う手段と、ｌ＜ｒの場合に前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの回転を行う手段と、ｌ＞ｒの場合に前記３次元形状モデルを前記２次元平面に対して平行移動させる手段とを備えることを特徴とする。
【０１１９】
図48はガイドポリゴンの表示例を示している。３次元形状モデルは踏台状のものであり、これを包絡する球体 (緯線、経線を合わせて示している) が認識又は操作を案内するガイドポリゴンとして表示されている。このような表示により拡大、縮小又は回転の中心が一目で認識できることになる。マウス等のポインティングデバイスで指定した点が図49に示すようにガイドポリゴンの中であると回転、外であると平行移動、周縁であると拡大・縮小が指示されることになる。そして次の操作でその量が指定されることになる。
【０１２０】
【発明の実施の形態】
以下第４群の発明をその実施の形態を示す図面に基づいて詳述する。図50は本発明の３次元形状モデル表示装置のブロック図である。図において60はディスプレイ装置であり、マウス等のポインティングデバイス61を備えている。３次元形状モデルの形状は形状記憶部63に、位置は位置記憶部70に夫々記憶されており、背景画像は背景画像記憶部62に記憶されている。
【０１２１】
ガイドポリゴン生成部64は色解析部64a,色選択部64b,形状決定部64c からなり、その後の操作に必要となるガイドポリゴンの大きさ・色を決定する。色解析部64a は背景画像記憶部62から背景画像の色情報を、また形状記憶部63から３次元形状モデルの色情報を夫々取込んで解析し、色選択部64b は背景及び３次元形状モデルの表示を妨げず、しかも視認し易い色を選択する。形状決定部64c は表示すべきガイドポリゴンの形状, 寸法を決定する。
【０１２２】
図51は色選択のフローチャート、図52は形状寸法決定のフローチャートである。まず背景画像記憶部62及び形状記憶部63から夫々背景画像及び３次元形状モデルの情報を取込み、背景画像に対してどの色相が何％使用されているか(S75) 、また３次元形状モデルに対してどの色相が何％使用されているかを調べる(S71) 。そして３次元形状の使用色相については適宜の重みづけをする(S72) 。ここまでが前述した色解析部64a の機能であり、以下は色選択部64b の機能である。即ち以上の解析の結果により、予め用意してある候補表示色中から近郊の色相の量を調べる(S73) 。そして最も近郊の色相が少ない候補表示色を選択してガイドポリゴンの色とする(S74) 。
【０１２３】
次に形状・位置の決定について説明する。
まず形状記憶部63及び位置記憶部70からデータを取込んで３次元形状モデルの重心を算出する(S61) 。そしてこの重心をガイドポリゴンの中心とする(S62) 。次にこの中心から３次元形状モデルの各頂点までの距離を求める(S63) 。そして最長距離をガイドポリゴンの半径とし(S64) 、このガイドポリゴンの情報をガイドポリゴン記憶部65に記憶させる。
【０１２４】
上述のようにして作成されたガイドポリゴンは表示部66により、ディスプレイ装置60に表示される。表示部66はガイドポリゴン記憶部65、背景画像記憶部62、形状記憶部63及び位置記憶部70から読み出した内容を重ね合わせる重ね合わせ部66a 及びこれをディスプレイ表示装置60に表示するための変換を行うディスプレイ表示部66b からなる。
【０１２５】
一方、ポインティングデバイス61からの入力はインターフェース部67へ取込まれる。入力制御部67a はポインティングデバイス61の制御を行うものであり、マウスのドラッグのように入力が直前の操作と連動している場合は直前に行った変換の続きと判断する。操作位置判別部67b は入力された操作開始点がガイドポリゴンの外側か内側か境界上かを判別し、外側で操作した場合は平行移動を、内側で操作した場合は回転を、境界線上で操作した場合は拡大縮小を行う。また、直前に行った変換の続きであれば、前変換と同じ変換処理を選択する。
【０１２６】
図53はこの操作位置判別部67b の処理手順を示すフローチャートである。ガイドポリゴン生成部64で決定した半径をｒとし(S81) 、ポインティングデバイス61による指定点、即ち操作開始点とガイドポリゴンの中心点との距離ｌを求める(S82) 。そしてｒ＝ｌの場合は(S83) 拡大縮小処理(S86) 、ｒ＞ｌの場合は回転処理(S87) 、ｒ＜ｌの場合は平行移動処理(S85) をする。
【０１２７】
而して操作位置情報又は操作位置判別情報は変換量決定部68へ入力され、その平行移動量決定部68a 、拡大縮小量決定部68b 及び回転量決定部68c で夫々平行移動量、拡大縮小量及び回転量が決定され、これらの変換量は変換部69へ与えられ、ここで変換量に応じた変換が行われる。平行移動部69a,拡大縮小部69b 及び回転部69c は夫々平行移動, 拡大縮小及び回転を行わせる。
【０１２８】
次にこれらの変換について説明する。まず平行移動はガイドポリゴン外の領域 (図49参照) にカーソルを位置させてクリックする等の方法により平行移動を指定し、カーソルを所望方向へ移動 (ドラッグ) する。これにより３次元形状モデル及びガイドポリゴンが連動移動する。なお移動の単位はピクセルである。この平行移動はそれ自体公知の各種の技法を用い得る。
【０１２９】
次に拡大縮小について説明する。図54はその原理説明図であり、まずガイドポリゴンの周縁の点Ｐ1 でクリックし、ドラッグしていって次いで拡大又は縮小したい倍率に応じた位置Ｐ2 でクリックする。ガイドポリゴンの中心を０とするとバーOP2 ／バーOP1 に拡大又は縮小されることになる。拡大縮小自体の処理についてはそれ自体公知の技法を適宜用いればよい。
【０１３０】
次に回転について説明する。図55はその原理説明図、図56は回転のための処理手順を示すフローチャートである。図55においてＤはディスプレイ装置60の２次元平面、Ｈは光体的に表したガイドポリゴンの中心を通るＤに平行な平面である。いま点Ｐ1 でクリックして回転を指示し、ドラッグしていき、αP だけ回転したＰ2 点でクリックしたとする(S91) 。このＰ1 , Ｐ2 でガイドポリゴンに投影した点Ｒ1 , Ｒ2 を算出する(S92) 。∠Ｐ2 Ｏ′Ｐ1 （Ｏ′は平面Ｄにおけるガイドポリゴンの中心）＝αP とおく(S93) 。次に∠Ｒ1 ＯＲ2 を求めてこれをαr とする。次にＲ1 Ｏ，Ｒ2 Ｏ（Ｏは平面Ｈ上のガイドポリゴン中心）がなす角度を求め、この∠Ｒ1 ＯＲ2 をαr とする(S94) 。次に基準点Ｏ上の基準線ＬをバーＲ1 Ｏ及びバーＲ2 Ｏに垂直な直線として規定する(S95) 。そしてこの軸L を中心としてαr だけ回転する(S96) 。回転量決定以後の処理については公知の図形回転手法によればよい。このような回転操作の際には球体をガイドポリゴンとして使用する場合もその経線, 緯線上をなぞるか又はこれを参照することで簡単に回転操作が行える。
以上のようにして変換されたモデルはその位置記憶部70へ入力され、記憶される。
【０１３１】
図57はこの３次元形状モデル表示装置の全体的フローチャートである。前述のようにまず、ガイドポリゴンの決定をし(S101)、次いで背景, ３次元形状モデル及びガイドポリゴンの混合表示をし(S102)、次いでオペレータによる変換指定があると(S103)、操作領域又は移動、拡大縮小、回転の判別を行い(S104)、変換量を決定して(S106)、その変換を実行する(S107)。
【０１３２】
【発明の効果】
以上の如き本発明による場合は拡大縮小又は回転の原点（中心）を直感的に認識することができる。また３次元形状モデルの姿勢がガイドポリゴンとの対比により認識し易い。またガイドポリゴンの色が自動的に定まるので３次元形状モデルが見難くなる虞れはない。また移動、拡大縮小、回転に関してモード切替の煩雑な操作、特別なデバイスを必要としない。更に回転についてはディスプレイ装置の２次元表示平面での２自由度の入力だけで３自由度の回転量、方向の入力ができ、しかもその操作はガイドポリゴンの形状に倣えばよく容易である。
【図面の簡単な説明】
【図１】本発明のシステムの説明図である。
【図２】特定物体領域の抽出部の処理の流れ図である。
【図３】動画オブジェクトの構造の説明図である。
【図４】第１群の発明の実施に使用する装置のブロック図である。
【図５】処理の流れ図である。
【図６】特定物体の領域指定の説明図である。
【図７】３次元形状情報付加処理のフローチャートである。
【図８】稜線及び端点の奥行の指定の説明図である。
【図９】稜線指定の説明図である。
【図１０】３次元形状抽出装置のブロック図である。
【図１１】３次元形状抽出方法のフローチャートである。
【図１２】基本形状の立体図である。
【図１３】基本形状と画像との重畳表示例を示す説明図である。
【図１４】物体領域抽出の説明図である。
【図１５】基本形状の位置移動の処理のフローチャートである。
【図１６】基本形状の位置移動の処理の説明図である。
【図１７】基本形状の回転の処理のフローチャートである。
【図１８】基本形状の回転の処理の説明図である。
【図１９】大きさ変更処理のフローチャートである。
【図２０】大きさ変更処理の説明図である。
【図２１】マッピングの説明図である。
【図２２】従来の画像合成方式の説明図である。
【図２３】第１領域抽出装置のブロック図である。
【図２４】領域抽出のフローチャートである。
【図２５】領域抽出の説明図である。
【図２６】第２領域抽出装置のブロック図である。
【図２７】領域抽出のフローチャートである。
【図２８】領域抽出の説明図である。
【図２９】第３〜６領域抽出装置のブロック図である。
【図３０】領域抽出のフローチャートである。
【図３１】領域抽出の説明図である。
【図３２】第３，４，７，８の領域抽出装置のブロック図である。
【図３３】領域抽出のフローチャートである。
【図３４】領域抽出の説明図である。
【図３５】第３，４の領域抽出装置のブロック図である。
【図３６】エッジ処理のフローチャートである。
【図３７】エッジ処理の説明図である。
【図３８】エッジ処理の説明図である。
【図３９】第10の領域抽出装置のブロック図である。
【図４０】雑音消去のフローチャートである。
【図４１】雑音消去の説明図である。
【図４２】第10の領域抽出装置のブロック図である。
【図４３】雑音消去のフローチャートである。
【図４４】雑音消去の説明図である。
【図４５】第11の領域抽出装置のブロック図である。
【図４６】雑音消去のフローチャートである。
【図４７】雑音消去の説明図である。
【図４８】ガイドポリゴンの表示例を示す画面図である。
【図４９】操作の説明図である。
【図５０】３次元形状モデル表示装置のブロック図である。
【図５１】ガイドポリゴンの色選択のフローチャートである。
【図５２】ガイドポリゴンの形状決定のフローチャートである。
【図５３】操作位置判別の寸法フローチャートである。
【図５４】拡大縮小の原理説明図である。
【図５５】回転の原理説明図である。
【図５６】回転のフローチャートである。
【図５７】３次元形状モデルの表示装置の全体的ブロック図である。
【符号の説明】
１ 特定物体領域抽出部
２ ３次元形状情報付加部
３ 映像CGモデル生成部
４ 合成画像生成部
５ 画像記憶部
６ 形状・表面属性情報記憶部
7a,7b CGモデル記憶部
８ 合成情報記憶部
10 画像表示装置
12 ポインティング装置
13 CGモデル作成部
【発明の属する技術分野】
本発明はコンピュータグラフィックスと実写映像との合成を行う方法及びその装置に関する。
【０００２】
【従来の技術】
最近、映画やコマーシャルフィルムの製作でコンピュータグラフィックス（以下CGという) と実写映像の合成が盛んに用いられるようになってきた。例えば、CGで作った架空の建築物などに、予め撮影した人間の実写映像を合成することで、あたかも人間がその建築物の中を歩いている効果を創り出せる。このCGと実写映像の合成によって作られた映像は、見る者にとってリアルでインパクトの強いものであり、特に景観シミュレーションには欠かせないものとなっている。
【０００３】
一般的に、CGでは描画する物体の形状は、平面、２次曲面などの簡単な幾何形状 (形状プリミティブ) を使って定義し、その表面には任意の色付けをしたり、画像データを貼り付ける処理を行う。しかしこの方法では、木や川などの自然物を描画すると常にその姿が固定された状態に見えてしまう。そこで、予め風に揺れている木あるいは水が流れている川を撮影しておき、CGで作成したシーンにその実写映像を合成することで、より自然なアニメーションを作ることができる。従来の方法では、撮影した実写映像から画像を選択し、平板などの簡単な形状プリミティブに貼り付けることでCGとの合成処理を行っている。この合成処理を各フレームごとに繰り返して行い、連続した合成画像のアニメーションを製作するのである。
【０００４】
なお、静止画の合成画像に関する公知文献として「景観シミュレーションのための 2.5次元簡易情景モデル構築の一手法」 (1992年７月：「画像の認識・理解シンボジウム (MIRU '92) 」がある。
また本発明の一部である３次元図形抽出に関するものとして特開昭62-162173 号公報及び特開平3-244005号公報がある。
【０００５】
【発明が解決しようとする課題】
この種技術においては以下の如き解決すべき課題があった。
(1) 実写映像を３次元形状を持ったCGモデルに変換するのを簡便に行わしめること
(2) この変換の際にオペレータの介入を許容すること
(3) 動画の実写映像とCGとの合成を可能にすること
(4) 実写映像から所要の部分を抽出する場合の操作性、能率を高めること
(5) CGモデルの回転、拡大縮小及び移動の操作性を高めること
(6) CGと実写映像との合成の同期を容易にとれるようにすること
【０００６】
〔発明の概要〕
この発明で提案する方法，装置（システム）では、画像処理の技法を用いて、計算機がユーザとの対話処理を行って、
1) 映像情報の物体単位の切り分け、
2) ３次元幾何情報を付加した動画オブジェクトの生成、
3) CGモデルと動画オブジェクトの同時表示、の３つの処理を行う。1)によりスタジオでのブルーバック撮影が、2)により映像撮影時のカメラの位置情報の測定や記録が不要になり、また3)により表示の際に視点を変更することが可能となる。
【０００７】
システム構成の概略
図１に本発明のシステムの構成の概略を示す。本システムでは、特定物体領域の抽出部、３次元幾何情報の抽出部、動画オブジェクトとCGの同時描画部の３つの処理部から構成されている。特定物体領域の抽出部と３次元幾何情報の抽出部により、CGと合成するための動画オブジェクトと呼ぶデータが作られて、ハードディスクに格納される。このデータを利用して、動画オブジェクト及びCGの同時描画部では、非リアルタイムに合成画像を生成する。
【０００８】
特定物体領域の抽出部
特定物体領域の抽出部は、キャプチャリングツールによって入力された映像情報から、特定物体の領域を切り出す処理を行う。この処理の流れを図２に示す。ここでは入力データとして連続画像シーケンスを受け取り、出力として特定物体を包含する矩形領域の画像シーケンスと、それと同じサイズのアルファ値を格納したアルファマップシーケンスを作る。物体の領域を２値のマスクで切り分けると境界部分に不自然なエリアシングが生じる。これを防ぐためにアルファ値を使って領域を定義する。あるｎ枚目の画像について、ユーザとの対話処理で特定物体の領域を決定後、ｎ＋１〜ｎ＋ｍ枚目の処理は前フレームの処理結果を利用して計算機で半自動的に行う。
【０００９】
３次元幾何情報の抽出部
３次元幾何情報の抽出部は、前述の特定物体領域の抽出部が作った特定物体を包含する矩形領域の画像シーケンスとアルファマップシーケンスを利用して２次元の映像情報から３次元幾何情報を抽出する。この３次元幾何情報の抽出は、ユーザが２次元の画像上の物体に、複数の簡単な形状プリミティブ（直方体など）を変形、回転、移動なとの操作をして、フィッティングを行うことで実現する。本システムでは視点情報だけでなく、物体の形状情報及び各面に張り付いているテクスチャ画像を抽出する。この抽出部では、動画オブジェクトと呼ぶデータ構造を作るために、映像中の物体に３次元幾何情報を与え、そのCGモデル化された物体の各面に張り付く映像情報を抽出し、正面から見たものに正規化して格納する。
【００１０】
動画オブジェクトの構造
特定物体領域の抽出部と３次元幾何情報の抽出部の処理を経て生成されたデータは動画オブジェクトと呼ぶ構造になる。図３に動画オブジェクトの構造の概略を示す。動画オブジェクトはCGと映像を融合するために新たに作ったデータ構造で、形状データの他に表面情報として、各面に張り付く映像情報（静止画，或いは動画）へのポインタを格納している。
【００１１】
合成画像生成部
合成画像生成部では、生成された動画オブジェクトデータとCGデータとを同時に描画する。このとき、メタ情報として描画するCGシーンの時刻Ｔi と時間間隔Δｔを指定する。CGデータには各物体の形状データの他に、各時刻に於ける位置情報が含まれる。また、時刻Ｔi により、動画オブジェクトの中の映像データから各面に貼り付けられる映像が選択される。時刻Ｔi に於ける物体の表面属性が決定された後、時刻Ｔi における合成シーンを生成する。
【００１２】
以下本発明を具体的に説明する。
本願の発明は大きく２つに分けられる。
(1) 全体構成に関するもの
(2) 特定物体の領域の抽出部及び３次元形状情報の付加部に関するもの
【００１３】
(2) は
2-1 特定物体領域の抽出部及び３次元形状情報の付加部の構成に関するもの
2-2 前記抽出部の構成に関するもの
2-3 ３次元形状モデルの表示に関するもの
の３つに分けられる。
以下(1) を第１群の発明、2-1 、2-2 、2-3 を夫々第２、３、４群の発明と言う。
【００１４】
本願の主題は第４群の発明であるが、それに関連する第１〜第３群の発明も説明する。
第１群の発明から詳細に説明する。
［第１群の発明］
(概要)
第１群の発明はCGと実写映像との合成の全体構成に関するものである。
【００１５】
【従来の技術及び発明が解決しようとする課題】
CGと実写映像の合成は、合成後の映像を想定した上で撮影し、実写画像から合成すべき部分のみを切り出し、CGに重ね合わせる手法をとっていた。このような手法における撮影の場合、ブルーバックによるスタジオ撮影が必要であったり、撮影時にカメラの位置を測定する必要があるなど、大掛かりな環境が必要である。
【００１６】
計算機によって支援する方式も前述のMIRU '92の文献に提案されている。これは視点情報を実写映像から抽出し、その映像中の対象物を平面に近似して、CGと合成する手法である。しかし、完全な３次元情報を有するモデルではないため、合成時に視点を変更できないなど、合成処理に制限を受ける。
特開平3-138784号公報には静止画中の物体を３次元として扱うために、静止画中の物体を３次元モデルに基づいて再構成し、その３次元物体に相当する部分画像を、３次元物体モデルの表面テクスチャとしてマッピングし表示する方式が提案されている。この方式では、１つの３次元部に対し、複数枚の入力画像から表面テクスチャを合成することも提案している。しかし、映像 (動画像) の場合、表面テクスチャが刻々と変化する場合も考えられ、複数テクスチャを合成した場合、時系列方向で平滑化したテクスチャが得られてしまうこともあり不適当である。
【００１７】
【発明が解決しようとする課題】
本発明はこのような技術的背景の下になされたものであり、実写映像を３次元形状を有するCGモデルに簡便に変換することができる画像合成方法を提案することを第１の目的とする。また前記CGモデルをフレームごとに生成して、その結果動画にもできる映像合成方法を提供することを第２の目的とする。
【００１８】
【課題を解決するための手段】
本発明に係る画像合成方法は、コンピュータグラフィックスと実写映像とを合成する画像合成方法において、実写映像中の特定の領域を抽出する過程と、抽出した領域に３次元形状の情報を付加する過程と、抽出領域の情報及び３次元形状の情報に基づき、抽出領域に係る情報をコンピュータグラフィックスモデル化する過程とを備えることを主な特徴とする。
【００１９】
更に、コンピュータグラフィックスモデル化した前記抽出領域に係る情報と他のコンピュータグラフィックスモデルとを混在表示させるべくこれらを合成する過程を備える。そして動画作成のために複数フレームに亘って同様の処理を実行する。
【００２０】
本発明に係る画像合成装置は、コンピュータグラフィックスと実写映像とを合成する画像合成装置において、実写映像中の特定の領域を抽出する手段と、抽出した領域に３次元形状の情報を付加する手段と、抽出領域の情報及び３次元形状の情報に基づき、抽出領域に係る情報をコンピュータグラフィックスモデル化する手段とを備えることを主な特徴とする。
【００２１】
更に、コンピュータグラフィックスモデル化した前記抽出領域に係る情報と他のコンピュータグラフィックスモデルとを混在表示させるべくこれらを合成する手段を備える。
【００２２】
実写映像から特定の物体に対応する領域を切り出し、これに３次元形状情報を付加する。これにより実写映像の前記特定物体の表面属性を有するCGモデルが生成される。これを単独で用いるか、又は他のCGモデルと混合する。
更に複数フレームに亘って同様の処理を行うことで動画での画像合成が行える。
【００２３】
【発明の実施の形態】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
図４は本発明方法を実施するための装置のブロック図であり、図５はその処理の流れ図である。図４において９はTVカメラ、ビデオテープ、ビデオディスク等の映像供給装置であり、これらから得られた実写映像情報はビデオメモリ等からなる画像記憶部５へフレーム毎に記憶される。この画像記憶部５に記憶されている実写映像情報は特定物体領域抽出部１へ与えられ、ここで実写映像中の特定の物体の領域が抽出される。抽出領域の指示はオペレータがマウス等のポインティング装置12を用いて行う。またその具体的な内容は第２〜４群の発明の説明に詳しい。図６は実写映像として４角柱及び３角錐が表示されている場合に４角柱を抽出領域として指定した（太線で示す）場合の状態を示している。このようにして指定された領域の映像情報は３次元形状情報付加部２へ送られ、ここで３次元形状情報が付加される一方、形状・表面属性情報記憶部６に記憶される。
【００２４】
３次元形状情報付加部２は特定物体領域抽出部１から与えられた情報に３次元形状情報を付加して、これを形状・表面属性情報記憶部６に蓄える。３次元形状情報付加部２の具体的構成は第２群の発明に詳しいが、ここでも１例を挙げて説明する。
【００２５】
図７はそのフローチャートである。まず図８に示すように指定して抽出した領域、又は物体を画像表示装置10の画面に表示させて、オペレータに画像の焦点距離ｆを入力させる(S1)。この入力にはキーボード等の文字・数値入力装置11が使用される。次にポインティング装置12を用いて画面上に稜線を描画させ、その奥行の値を入力させる(S2)。図８には描画した稜線を太線で示し、指定した奥行の値をＺで表示している。この描画、奥行指定は取消、訂正が可能である。面の特定は基本的に３角形（３本の稜線）によって行えるから、この発明でも図９に示すように３角形に分割するように稜線を描画し、また３角形への分割のための補助線（矩形の対角線）の描画を行い、相異る２本の稜線（補助線を含む）が交わることなく、抽出領域内の総ての点が３本の稜線に囲まれた状態になっている状態にする(S3)。
【００２６】
次に端点の３次元座標の算出をする(S4)。これはS1、S2で入力した焦点距離ｆ、奥行Ｚ、及び端点の画像上の座標（ｘ，ｙ）に基づき、
Ｘ＝（ｘ／ｆ）×Ｚ
Ｙ＝（ｙ／ｆ）×Ｚ
により得る。
なお、稜線上の点及び稜線で囲まれた領域内の点の３次元座標は、次の式によって算出できる。
【００２７】
稜線上の点
稜線の端点の３次元座標、及び画像上の座標を夫々、（ｘi ，ｙi ），（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２）とすると、稜線上の点（ｘ，ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、
Ｘ＝（１−ｔ）Ｘ1 ＋ｔＸ2
Ｙ＝（１−ｔ）Ｙ1 ＋ｔＹ2
Ｚ＝（１−ｔ）Ｚ1 ＋ｔＺ2
により得る。ただし、ｔは、ｘ1 ≠ｘ2 の場合は（ｘ−ｘ1 ）／（ｘ2 −ｘ1 ）、ｘ1 ＝ｘ2 の場合は（ｙ−ｙ1 ）／（ｙ2 −ｙ1 ）である。
【００２８】
稜線で囲まれた領域内の点
この領域内の点はいずれも３本の稜線に囲まれており、それらの交点は３本の稜線の端点であることが保証されている。従って３つの交点の座標がなす平面は、３つの交点の座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）により求めることができる（自明）。この平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０とおくと、領域内の点の画像上の座標（ｘ，ｙ）の３次元座標（Ｘ，Ｙ，Ｚ）は、
Ｘ＝ｘ／（ａｘ＋ｂｙ＋ｃｆ）
Ｙ＝ｙ／（ａｘ＋ｂｙ＋ｃｆ）
Ｚ＝ｆ／（ａｘ＋ｂｙ＋ｃｆ）
により得られる。
【００２９】
このようにして得られた稜線から、端点の３次元座標及び接続関係は形状情報として、端点の特定物体領域上の座標対応及び特定物体領域画像の画像データは表面属性情報として、形状・表面属性情報記憶部６へ格納する(S5)。表１は形状・表面属性情報記憶部６の記憶内容を示している。以上のS1〜S5の処理を全フレームにつき反復する(S6)。
【００３０】
【表１】
次に形状・表面属性情報記憶部６の内容を映像CGモデル生成部３でCGモデル化する。
形状情報のCGモデル化については稜線の接続関係及び３次元座標より、端点を頂点、稜線を辺、囲まれる部分を面とみなすことによりそのままCGモデルを生成できる。
【００３２】
一方、表面属性情報については面とみなした部分の表面属性情報として、その位置に対応する画像情報を、生成するCGモデルのテクスチャとする。その際、その画像情報を、３次元空間で法線方向から見た画像として正規化する。正規化の際の回転行列Ｒは、次式で与える。
【００３３】
【数１】
ただし、回転角ψ及び回転角κは、この領域の平面の方程式をａＸ＋ｂＹ＋ｃＺ−１＝０と表した際のａ，ｂ，ｃに基づき
【００３５】
【数２】
である。ａ，ｂ，ｃは、３つの頂点の３次元座標（Ｘi ，Ｙi ，Ｚi ）（ｉ＝１，２，３）により求めることができる。
このようなCGモデル化処理をすべてのフレームに対して適用し、実写映像に対するCGモデルを、各フレームに対するCGモデル列として獲得し、これを映像CGモデル記憶部7bに記憶させる。
CGモデル作成部13は上述のような実写映像から作成するのではない通常のCGモデルを作成するものであり、作成されたCGモデルはCGモデル記憶部7aに記憶される。
【００３７】
合成情報記憶部８はこのCGモデルと実写映像から作成した映像CGモデルとを合成画像生成部４で合成するための情報 (CGモデル配置情報) を記憶するものであり、合成画像生成部４は、これに基づいて両CGモデルの合成をし、これを画像表示装置10に表示させたり、或いは図示しない記録媒体に記録させる。合成画像生成部４及び合成情報記憶部８については第５群の発明に詳しい。
【００３８】
【発明の効果】
以上の如き本発明による場合は実写映像を３次元形状を持つCGモデルへ変換するので、通常のCGモデルと同様の取扱いができ、これらの合成等の処理が容易に行える。そして実写映像のCGモデル化は領域の抽出及びこれに対する３次元形状情報の付加という簡便な操作で行える。またこの際オペレータの手動介入が可能であるので、微妙な調整、或いはこの作為的変更が行え、自由度が高まる。また複数フレームを同様に処理することで動画への適用も可能である。
【００３９】
［第２群の発明］
(概要)
この発明は図４の特定物体領域抽出部１及び３次元形状情報付加部２の構成に係るものである。
【００４０】
【従来の技術及び発明が解決しようとする課題】
画像中の３次元物体に対し、その物体の形状を完全に抽出する方式は、未だ確立されていない。従来技術として提案されているのは、物体表面の反射特性を仮定し、観察される色値から物体表面の傾きを求める方式や、画像に観察される物体のモデルを予め記憶しておき、そのモデルと画像に観察される物体の見えかたを照合する方式、等々である。これらは、画像理解研究の発展とともに、開発されてきた。
【００４１】
しかし、何れの方式も、適用条件に合致していないと適用できない。例えば、前者の方式に対しては、反射特性を仮定できない物体の場合、後者の方式に対しては、記憶していないモデルの物体の場合、適用することができない。
そこでこの発明では映像に含まれる物体の３次元形状を得る際、その物体のおよその形状を人間が指定し、その形状のモデルを画像に表示しながら、その重ね合わせ方を、人間による指定と、画像処理の手法を用いた計算機による自動調整を、交互に対話的に行う３次元形状抽出方法及び装置を提供することを目的とする。
【００４２】
【課題を解決するための手段】
第２群の発明の方法は、実写映像に含まれる物体の３次元形状を抽出する方法において、複数の幾何学的形状のデータを予め用意しておく過程と、実写映像から前記物体に相当する領域を抽出する過程と、抽出した領域を表示している画面に前記データによっていずれかの形状を選択表示させる過程と、前記領域および形状を一致させるべく前記形状の位置、向き、大きさを調整する過程とを備えることを特徴とする。
【００４３】
また第２群の発明の装置は、実写映像に含まれる物体の３次元形状を抽出する装置において、複数の幾何学的形状のデータを予め用意しておく手段と、実写映像から前記物体に相当する領域を抽出する手段と、抽出した領域を表示している画面に前記データによっていずれかの形状を選択表示させる手段と、前記領域および形状を一致させるべく前記形状の位置、向き、大きさを調整する調整手段とを備えることを特徴とする。
【００４４】
そして調整手段では物体の形状及び色相値に基づく位置，向き，大きさの自動調整手段を備える。更に調整済形状に実写映像から抽出した領域の画像情報をマッピングする手段を備える。
【００４５】
抽出した物体の領域に近い形状を予め用意されている形状の中から選択して表示させる。そうするとこの領域と形状とが一致するように調整されて目的とする物体の３次元形状が抽出できたことになる。この結果は前述の３次元形状情報付加部２で得られた結果と同様のものである。
【００４６】
【発明の実施の形態】
以下第２群の発明をその実施の形態を示す図面に基づいて詳述する。
図10は３次元形状抽出装置のブロック図である。図において21は物体領域抽出部であり、実写映像から所要の物体の領域を抽出して画像表示装置27に表示させるものである。これについては第３群の発明に詳しい。実写映像及び抽出映像は画像記憶部25に記憶される。基本形状選択部22は図12に示すような基本形状のパターンを多数記憶しており、これをオペレータが選択して画像表示装置27に表示させるものである。基本形状重ね合わせ部23はオペレータが選択した基本形状のパターンと、抽出した物体の画像とを図13に示すように重ね合わせて表示させ、後述するようなオペレータの操作とコンピュータによる自動調整とにより両者を合致させるものである。合致するように重ね合わされた結果は重ね合わせ情報記憶部26に記憶される。また重ね合わせ結果表示部24は調整の済んだ基本形状に抽出物体の表面の画像情報をマッピングするものである。
【００４７】
次に図11に基づき３次元形状抽出方法を説明する。画像記憶部25に記憶させてある実写映像を取出し、これを画像表示装置27に表示させて物体領域抽出部21で所要物体の抽出を行う(S21) 。図14はこの操作の説明図である。オペレータは描画装置を用いて画面上に物体領域及び背景領域を各例示する閉曲線を描く。物体領域抽出部21は物体領域の閉曲線を拡張し、背景領域の閉曲線は収縮させる。この拡張、収縮は色相が類似する部分についてのみ認める。そうすると両閉曲線は境界で接することになり、これにより境界を特定して所要の物体の領域が抽出する。なお図14(b) のように拡張、収縮の結果、影が存在する等のために境界が太く認定されることが生じ得るが、この場合は太い境界の内側線を物体の境界とする。
【００４８】
次に所定操作を行わせて基本形状 (形状プリミティブ) のパターンを表示させ、抽出物体の形状に類似するものを選択する(S22) 。これにより図13に示すように重ね合わせ表示させる(S23) 。一般的に抽出した物体形状と選択した基本形状とは一致しない。そこで両者が一致するまで(S24) 、物体形状と基本形状とにつき、位置調整(S27) 、向きの調整(S28) 、大きさの調整(S29) 及び形状の部分的変形(S30) を行う。一致, 不一致はオペレータの判断による。
【００４９】
図15は位置移動に関する処理のフローチャート、図16はその説明図である。この移動の原理は物体領域と形状プリミティブのワイヤフレームの重心を一致させる点にある。即ち物体領域の重心ＧROの算出(S31) 、及び形状プリミティブのワイヤフレームの重心ＧRPの算出(S33) を行う。そしてこれらを一致させるべく形状プリミティブのワイヤフレームの表示位置を移動する(S32) 。
【００５０】
物体領域の重心ＲROと、形状プリミティブのワイヤフレーム表示で囲まれる領域の重心ＲRPが一致するように、形状プリミティブのワイヤフレーム表示位置を移動する (図16) 。なお、領域Ｒの重心ＧR は、
ＧR ＝( ｍ10／ｍ00，ｍ01／ｍ00 )T
により求めることができる。
但し、
【００５１】
図17は向きの調整のために行う形状プリミティブの回転の処理を示すフローチャート、図18はその説明図である。回転による向きの調整の原理は、物体領域及び形状プリミティブのワイヤフレームの長軸の平行化にある。
領域Ｒの長軸方向θR は、領域の重心回りの慣性主軸として求めることができる。すなわち、
tan2 θR ＋［｛ｍ20−ｍ10／ｍ00）−（ｍ02−ｍ01／ｍ00）｝／（ｍ11−ｍ10ｍ01／ｍ00）］ tanθR −１＝０
の解として求めればよい。
但し、
【００５２】
図17のフローチャートに示すように抽出した物体領域及び形状プリミティブのワイヤフレームのモーメント量を算出する(S41,S44) 。このモーメント量の算出
【００５３】
一方、前述のようにして物体領域の長軸、並びに形状プリミティブのワイヤフレームの長軸及び重心ＧRPを前述のようにして求める(S42,S45,S46) 。そしてＧRPを中心としてθRO−ＲRPだけ形状プリミティブのワイヤフレーム表示位置を回転する(S43) 。
【００５４】
大きさの調整は図20に示すように両者の表示面積が一致するように領域ＲP の重心ＧRPを中心として形状プリミティブのワイヤフレームを拡大又は縮小することで行う。即ち領域Ｒの面積ＳR は
ＳR ＝ｍ00
として求めることができる。これに従い、形状プリミティブのワイヤフレームをＳRO／ＳRP倍すればよい。
ここにＳROは物体領域の面積
ＳRPは形状プリミティブのワイヤフレームの面積
である。
【００５５】
図19のフローチャートにおいて、抽出した物体の領域のモーメント量、形状プリミティブのワイヤフレーム表示領域のモーメント量を算出する(S51,S54) 。そしてこれを用いて両者の面積ＳRO, ＳRPを算出する(S52,S55) 。また形状プリミティブのワイヤフレームの重心ＧRPを算出する(S56) 。そして形状プリミティブのワイヤフレームをＳRO／ＳRP倍する(S53) 。面積はモーメント量ｍ00として求めることができる。
【００５６】
図11に返って、形状の変形について説明する。物体領域の形状が基本形状と部分的に異なる場合はオペレータが入力する命令で基本形状を部分的に変形する。以上のようにして物体領域と基本形状が一致した場合は、これを重ね合わせ情報記憶部26へ格納する(S25) 。そして図21に示すように形状プリミティブのワイヤフレームに抽出した物体領域の画像情報をマッピングする(S26) 。つまり実写映像の所要部が切り出されて形状プリミティブのワイヤフレームに貼り付けられた如き状態になる。
【００５７】
【発明の効果】
以上のような第２群の発明による場合はオペレータが対話方式で３次元形状の抽出ができるので適用条件に制約されず、また物体に対する既知情報（反射情報など）を必要とすることなく抽出が可能である。
また基本形状を物体領域に一致させる作業はコンピュータが自動的に行うのでオペレータの負担は軽微である。
またマッピングを行うので抽出した３次元形状情報の適否が直感的に判断できる。
【００５８】
［第３群の発明］
(概要)
第３群の発明は図４の特定物体領域抽出部又は図10の物体領域抽出部に係るものである。
【００５９】
【従来の技術】
電気的に画像を合成する場合は図22に示すようにして行われていた。例えば人物像の画像をブルー背景として画像入力部Ａで撮影し、また風景画像を画像入力部Ｂで撮影する。そして画像入力部Ａの画像からブルー成分を検出し、これを反転増幅して、適宜の混合比制御をして、この反転増幅信号と、画像入力部Ａ, Ｂからの信号とを混合増幅器で合成し、画像出力部へ出力することとしていた。これにより画像入力部Ａからの背景が消えて画像入力部Ｂを背景とする人物像が合成されることになる。
【００６０】
【発明が解決しようとする課題】
このような従来の方式ではブルー背景を必要とし設備面での負担がある。また当初から画像合成を意図したものしか利用できず、汎用性に欠ける。更に混合増幅器における合成のためのパラメータ設定が難しく、また操作も煩雑である。
本発明はこのような問題を解決するためになされたものであり、特別な撮影設備を必要とせず、また汎用性が高く、更に操作が簡便な画像合成装置、特に合成対象となるキー画像の生成装置を提供することを目的とする。
【００６１】
【課題を解決するための手段】
第３群の発明の第１の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、求めた特徴量の最大値及び最小値を求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、その特徴量が前記最大値と最小値との間にある画素を選択する過程とを備え、前記画素によって構成される領域を抽出領域とすることを特徴とする。
【００６２】
第２の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、指定した画素の、求めた特徴量につき、隣接画素間の差分を計算する過程と、計算した差分の最大値を求める過程と、指定した画素を開始点として、隣接画素間の特徴量の差分が前記最大値より小さい４近傍又は８近傍の画素を連結する過程とを備え、連結した画素によって構成される領域を抽出領域とすることを特徴とする。
【００６３】
第３の方法は、前記抽出領域の画素及び非抽出領域の画素に各別の値を付与する過程と、前記抽出領域の境界の外縁に位置する画素に、前記値の中間の値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６４】
第４の方法は、前記抽出領域から遠ざかる方向に隣接する複数の画素の各々に異なる中間の値を付与する。
【００６５】
第５の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、求めた特徴量の最大値及び最小値を求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する過程と、前記範囲外の画素に、定数Ｋから前記差分に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６６】
第６の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の複数の特徴量を求める過程と、求めた特徴量の最大値及び最小値を特徴量の各々について求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する過程と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記差分に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６７】
第７の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の特徴量を求める過程と、求めた特徴量の平均値及び分散を求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する過程と、前記範囲外の画素に、定数Ｋから前記偏差に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６８】
第８の方法は、映像から特定の領域を抽出する方法において、抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素における所定の複数の特徴量を求める過程と、求めた特徴量の平均値及び分散を特徴量の各々について求める過程と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する過程と、前記範囲内の画素に定数Ｋを付与する過程と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する過程と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差に関連して定まる値を減じた値を付与する過程とを備え、これらの付与した値による画像を生成することを特徴とする。
【００６９】
第９の方法は、映像から抽出した複数の領域のうちのいずれかの領域に含まれる画素を指定する過程と、指定した画素を開始点として４連結又は８連結のラベリングをする過程と、ラベリングされていない領域を非抽出領域に変更する過程とを備えることを特徴とする。
【００７０】
第10の方法は、複数フレームの映像から特定の領域を抽出する方法において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素を開始点として４連結又は８連結のラベリングをする過程と、ラベリングされていない領域を非抽出領域に変更する過程と、抽出領域の幾何学的特徴量を算出する過程とを備え、また次フレームでラベリングする過程と、異なるラベルを付与された領域ごとに幾何学的特徴量を算出する過程と、前フレームの抽出領域の幾何学的特徴量に近い幾何学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する過程とを備えることを特徴とする。
【００７１】
第11の方法は、複数フレームの映像から特定の領域を抽出する方法において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する過程と、指定した画素を開始点として４連結又は８連結のラベリングをする過程と、ラベリングされていない領域を非抽出領域に変更する過程と、抽出領域の光学的特徴量を算出する過程とを備え、また次フレームでラベリングする過程と、異なるラベルを付与された領域ごとに光学的特徴量を算出する過程と、前フレームの抽出領域の光学的特徴量に近い光学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する過程とを備えることを特徴とする。
【００７２】
第１の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、求めた特徴量の最大値及び最小値を求める手段と、これらの最大値及び最小値を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、その特徴量が前記最大値と最小値との間にある画素を選択する手段とを備え、前記画素によって構成される領域を抽出領域とすべくなしてあることを特徴とする。
【００７３】
第２の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、指定した画素の、求めた特徴量につき、隣接画素間の差分を計算する手段と、計算した差分の最大値を求める手段と、該最大値を記憶する手段と、指定した画素を開始点として、隣接画素間の特徴量の差分が前記最大値より小さい４近傍又は８近傍の画素を連結する手段とを備え、連結した画素によって構成される領域を抽出領域とすべくなしてあることを特徴とする。
【００７４】
第３の装置は、前記抽出領域の画素及び非抽出領域の画素に各別の値を付与する手段と、前記抽出領域の境界の外縁に位置する画素に、前記値の中間の値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７５】
第４の装置は、前記抽出領域から遠ざかる方向に隣接する複数の画素の各々に異なる中間の値を付与すべくなしてある。
【００７６】
第５の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、求めた特徴量の最大値及び最小値を求める手段と、これら最大値及び最小値を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する手段と、前記範囲外の画素に、定数Ｋから前記差分に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７７】
第６の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の複数の特徴量を求める手段と、求めた特徴量の最大値及び最小値を特徴量の各々について求める手段と、これら最大値及び最小値を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記最大値と最小値との間の範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記最大値又は最小値との差分を算出する手段と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記差分に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７８】
第７の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の特徴量を求める手段と、求めた特徴量の平均値及び分散を求める手段と、該平均値及び分散を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する手段と、前記範囲外の画素に、定数Ｋから前記偏差に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００７９】
第８の装置は、映像から特定の領域を抽出する装置において、抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素における所定の複数の特徴量を求める手段と、求めた特徴量の平均値及び分散を特徴量の各々について求める手段と、該平均値及び分散を記憶する手段と、抽出対象とすべき領域の内外の画素につき特徴量を求めて、特徴量が前記平均値及び分散で定まる範囲にあるか否かを判定する手段と、前記範囲内の画素に定数Ｋを付与する手段と、前記範囲外の画素の特徴量と前記平均値との偏差を算出する手段と、前記範囲外の画素に、定数Ｋから各々の特徴量の前記偏差に関連して定まる値を減じた値を付与する手段とを備え、これらの付与した値による画像を生成すべくなしてあることを特徴とする。
【００８０】
第９の装置は、映像から抽出した複数の領域のうちのいずれかの領域に含まれる画素を指定する手段と、指定した画素を開始点として４連結又は８連結のラベリングをする手段と、ラベリングされていない領域を非抽出領域に変更する手段とを備えることを特徴とする。
【００８１】
第10の装置は、複数フレームの映像から特定の領域を抽出する装置において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素を開始点として４連結又は８連結のラベリングをする手段と、ラベリングされていない領域を非抽出領域に変更する手段と、抽出領域の幾何学的特徴量を算出する手段とを備え、また次フレームでラベリングする手段と、異なるラベルを付与された領域ごとに幾何学的特徴量を算出する手段と、前フレームの抽出領域の幾何学的特徴量に近い幾何学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する手段とを備えることを特徴とする。
【００８２】
第11の装置は、複数フレームの映像から特定の領域を抽出する装置において、一のフレームで抽出対象とすべき領域内の複数の画素を指定する手段と、指定した画素を開始点として４連結又は８連結のラベリングをする手段と、ラベリングされていない領域を非抽出領域に変更する手段と、抽出領域の光学的特徴量を算出する手段とを備え、また次フレームでラベリングする手段と、異なるラベルを付与された領域ごとに光学的特徴量を算出する手段と、前フレームの抽出領域の光学的特徴量に近い光学的特徴量を有する領域を抽出領域として残存させ、他の領域を非抽出領域に変更する手段とを備えることを特徴とする。
【００８３】
第１の方法、装置では抽出したい画像部分の中の複数画素を指定する (ライトペン、又はマウス操作のカーソルでなぞる) 。このなぞった画素群中の特徴量 (Ｒ, Ｇ, Ｂ，色相, 彩度, 明度, 輝度などの一又は複数) を求め、更にその最大値, 最小値を選んで記憶する。
【００８４】
次いで画像全体の画素につき各特徴量が前記最大値〜最小値の範囲内にあるか否かを調べる。範囲内にある画素は抽出を望む画像部分と同様の特徴量を有しているので、該画像部分は属すると判断し、０より大きい値を付与し、範囲外のものは非抽出部分であるとして０を付与する。これにより非０の部分を抽出することで所望の画像部分が抽出できる。
【００８５】
第２の方法、装置ではなぞった画素の特徴量と隣接画素の特徴量との差分を求め、その最大値を記憶しておく。そしてこの最大値以下の差分を有する４近傍又は８近傍の画素はなぞって抽出を望む領域と同程度の隣接閾値を有しているとして抽出領域として０より大きい値を付与し、それ以外の部分は０を付与する。これにより非０の部分を抽出することができる。
【００８６】
第３の方法、装置は抽出領域に１、非抽出領域に０を付与した場合に両者の境界の画素に１と０との中間の値を与える。これにより境界がマイルド化し、抽出画像を合成した場合に背景への溶け込みがよくなる。
【００８７】
第４の方法、装置はこの中間の値を複数にすることで境界の一層のマイルド化が行われる。
【００８８】
第５の方法、装置は境界のマイルド化を適応制御するものであり、１〜０の中間値の決定を、非抽出領域の特徴量と、特徴量の最大値 (又は最小値) との差分に応じて定める。これにより抽出画像の境界は背景に良く溶け込む。
【００８９】
第６の方法、装置は特徴量を一種ではなく、二種以上とし、上述の差分を複数の特徴量について求め、例えばその加重平均等に依って中間値を決定する。複数の特徴量を用いるのでより自然な境界が得られる。
【００９０】
第７, 第８の方法、装置は第５, 第６では最大値, 最小値を用いているのに対し、分散を用いている点が異なる。
【００９１】
第９の方法、装置は過剰抽出した部分を非抽出領域とする。即ちラベリングにより、同様に抽出された複数の領域に各別の符号を付与される。このうち、なぞられた画素を含む領域のみを残して他を消すのである。
【００９２】
第10の方法、装置は動画に対応するものである。第９の方法、装置と同様にラベリングし、非抽出領域を消去する。次のフレームで同様のラベリングをするが、フレーム間の領域の同定を幾何学的特徴量の類似度に基づいて行う。このため抽出領域のみが残り、他は消える。これを複数のフレームに亘って行うことで動画での抽出処理が自動的に行えることになる。
【００９３】
第11の方法、装置は上記の幾何学的特徴量に替えて光学的特徴量を用いるものであり、同効を奏する。
【００９４】
【発明の実施の形態】
図23は第３群の発明の第１の領域抽出装置のブロック図である。３系統の画像入力部31,32,33はいずれも同様の構成を有し、NTSC信号をアナログのRGB 信号に変換するNTSC-RGB変換器31a,32a,33a 及びアナログのRGB 信号をディジタルのRGB 信号に変換するA/D 変換器31b,32b,33b を備える。これら画像入力部31,32,33からの入力はデュアルポートRAM からなる画像メモリ37,38,39,40 へ与えられ、またこれらから読出された画像データは画像出力部34へ与えられ、ここから出力される。画像出力部34は画像メモリ37等からのディジタルのRGB 信号をアナログのRGB 信号に変換するD/A 変換器34b 及び、この変換されたアナログのRGB 信号をNTSC信号に変換するRGB-NTSC変換器34a の出力がモニタ (図示せず）に表示されることになる。
【００９５】
35は座標入力部であり、ライトペンとその座標認識手段、等によって構成されており、モニタに表示された映像の一部をなぞるのに使用される。この座標入力部35で入力された座標情報は処理部41へ入力される。400 は半導体メモリであり、演算に使用するメモリ42、後述する特徴量上限レジスタ43、下限レジスタ44を備える。36はハードディスク、光磁気ディスク等の大容量記録部であり、複数フレームの画像を記録する。
【００９６】
而してマイクロプロセッサ等からなる処理部41は以下の如き領域抽出のための処理を行う。
図24は、この処理の手順を示すフローチャート、図25はその説明図である。
図25(a) に示すように抽出したい領域 (白抜きで示されている) を座標入力部35のペンでなぞる。この間ペン軌跡の複数画素につき、特徴量 (一又は複数種) を計算する。そして特徴量の最大値又は最小値を夫々特徴量上限レジスタ43、下限レジスタ44に格納する。これにはペンが移動していく都度、既格納のレジスタ内容を更新していくことで行う。なぞりが終わると全軌跡中での特徴量の最大値, 最小値が得られることになる。
特徴量としてはＲ，Ｇ，Ｂ、色相、彩度、明度、輝度等が挙げられる。
【００９７】
而して次には画面全体の画素ドット特徴量 (一又は複数種) を求め、最大値〜最小値の範囲内にある画素には０より大きい値 (例えば255)を、また範囲外にある画素には０を付与する。これによりキー画像、つまり抽出領域を含む画像が得られることになる。図25(b) はこれを示す。
なお、所望どおりの抽出ができなかった場合は特徴量の選択又は組合わせを種々変更することで再試行すればよい。
なお以上の処理を複数フレームについて反復することで動画の処理が可能となる。
【００９８】
図26は第２の領域抽出装置のブロック図である。第１の領域抽出装置と相違するのは半導体メモリ400 に特徴量上限レジスタ43、下限レジスタ44に替えて特徴量閾値レジスタ45を備える点である。他の構成は同様であるので、同符号を付して説明を省略する。
【００９９】
図27は処理部41による処理のフローチャート、図28はその説明図である。図28(a) のようにペンでなぞった軌跡の画素の特徴量を求めるのは第１の装置と同様であるが、第２の装置ではなぞられた画素のうちでの隣接画素間の特徴量の差分を演算し、その最大値を閾値レジスタ45に格納する。そしてなぞられた画素の夫々について隣接画素 (４近傍又は８近傍) が閾値以下であるか否かを調べていき、以下である隣接画素を次々と連結していく (図28(b))。このようにして連結された領域に０より大きい値を付与する。
【０１００】
図29は第３〜６の領域抽出装置のブロック図である。第１の装置と相違するのは処理部41の演算内容であり、以下に説明する混合比計算41a,総合混合比計算41b を行う。
図30は処理部41の処理手順を示すフローチャートである。図31(a) に示すようにペンでなぞった軌跡の画素につき、第１の装置と同様に特徴量を計算し、その最大値, 最小値を夫々特徴量上限レジスタ43, 下限レジスタ44に入れる。
【０１０１】
次に画像の全画素について特徴量を計算し、これが特徴量上, 下限値レジスタ43,44 に各記憶されている最大値, 最小値の範囲内にあるか否かを調べ、範囲内にある場合は０でない値のＫを付与する。範囲外にある場合は、算出した特徴量と最大値（特徴量が大きいとき）との差、又は算出した特徴量と最小値（特徴量が小さいとき）との差の差分を演算し、差分に応じてＫ〜０の範囲の値（混合比）を特徴量ごとに求める。そして各特徴量ごとの混合比を加重平均した総合混合比を求める。そして総合混合比に応じた値を対応画素に付与する。そうすると図31(b) に示すように境界にグラデーションが付与された抽出画像が得られることになる。そしてこれを複数フレームにつき反復することによって動画に対応できる。
【０１０２】
図32は第３, ４, ７, ８の領域抽出装置のブロック図である。図29と異なるのは、特徴量上限レジスタ43, 下限レジスタ44に替えて特徴量平均値レジスタ46、特徴量分散値レジスタ47を備える点である。
図33はこの場合の処理手順を示すフローチャートであり、図34(a) に示すようにペンでなぞった軌跡の画素の特徴量を計算し、その平均値及び分散値を算出し、これらを特徴量平均値レジスタ46, 特徴量分散値レジスタ47に格納しておく。
【０１０３】
そしてこの装置では画像中の全画素についての特徴量が所定偏差（例えば平均値±分散値）内にあるか否かを調べ、範囲内にある場合にＫを付与する。範囲外の場合は平均値からの偏差に従い、混合比を特徴量ごとに計算し、この計算値の加重平均を総合混合比として求め、これに従ってＫを付与する。
【０１０４】
図34(b) はその結果を示し、境界部にグラデーションを有する抽出画像が得られる。
図35は第３, ４の領域抽出装置の他の実施の形態のブロック図である。この装置は処理部41の処理が他の装置と異なっている。この処理内容を図37, 38につき説明する。この実施の形態は第１の領域抽出装置等で得た抽出領域と非抽出領域 (値０を付与) との輪郭 (画素と画素との間になる) の内側の内周輪郭点 (画素) の値Ｘから定数Ｋを減じた値を、前記輪郭の外側の外周輪郭点（画素）に付与する。この処理は遠心方向の１画素についてだけ行ってもよいが図38に示すように複数画素について行うことでよりなめらかなエッジが得られる。
【０１０５】
図36はこの処理の手順を示すフローチャートであり、画面上の左上側から輪郭を追跡するようにして処理を反復する。そしてこの処理を複数フレームについて行うことで動画への対応が可能である。
【０１０６】
図39は第９の領域抽出装置のブロック図である。この装置は処理部41で後述するラベリング処理（48）を行うことにより雑音、つまり本来抽出を望まないのに抽出領域として現れる部分を削除するためのものである。この処理は例えば第１の領域抽出装置等によって得られたキー画像 (図41(a))に対して行うものである。この画像は中央の抽出を望む部分以外に同様の特徴量を有する雑音の領域 (非０領域) を含んでいる。
【０１０７】
図40はこの処理のフローチャートであり、該処理はペンでなぞった軌跡の画素を開始点として４連結又は８連結のラベリングを行う。雑音の非０領域が離散しているのでラベリングはその領域には到らない。次いでラベリングされていない領域を消去する。そうすると図41(b) に示すように所望の抽出領域が得られるのである。
【０１０８】
図42は第10の領域抽出装置のブロック図である。この装置は第９の領域抽出装置と同様の処理を１回行うだけで爾後のフレームは簡単な処理で雑音消去できる動画対応のものである。これを可能とするためになぞった領域及びこれと対応づけられる他フレームの領域の幾何学的特徴量 (例えば面積、中心位置) を計算する処理(49)及び幾何学的特徴量が近い領域をフレーム内で対応づける対応付け(50)を処理部41が行う。図43はこの処理のフローチャート、図44はその説明図である。第９の領域抽出装置と同処理を先頭フレームに施して図44の(a) に示すように雑音を消去する。そして残った非０領域、つまり抽出領域につき、その幾何学的特徴量を計算する。
【０１０９】
次に第２フレームでは非０領域（雑音領域も含む）につき幾何学的特徴量を計算する。そして先頭フレームの非０領域の特徴量に最も近い幾何学的特徴量を有するものを選択し、他を消去（非抽出領域と）する。以下、前後する２フレームにつき同様の処理を反復することで雑音領域は自動的に消えていく。
【０１１０】
図45は第11の領域抽出装置のブロック図である。この装置は第10の装置が幾何学的特徴量を利用してフレーム内の領域の同定を行っていたのに対し、光学的 (テクスチャ) 特徴量を利用する。このため処理部41内、光学的特徴量を計算するための画素値構成計算（51）を行う。
図46は雑音消去のフローチャート、図47はその説明図である。いずれも幾何学的特徴量が光学的特徴量に替わっただけであるので説明を省略する。
【０１１１】
【発明の効果】
以上の如き第３群の発明によればブルーの背景の撮影設備が不要である。また特に画像合成を意識していない映像からでも抽出ができる。そして操作は必要部分をなぞるだけでよく、簡便である。
【０１１２】
［第４群の発明］
(概要)
第４群の発明はCGモデル (映像から抽出した３次元形状モデルを含む) に対する加工又は表示態様の変更を容易に行わせる表示方法及び装置を提供するものである。
【０１１３】
【従来の技術】
本発明はディスプレイに２次元表示された３次元形状モデルに対して対話的手法により回転、拡大縮小、平行移動し、その結果を逐次再表示するという３次元形状文字表示方法に関する。
計算機の高速化に伴い、３次元形状モデルをリアルタイムに回転、拡大縮小、平行移動して表示することが可能となり、３次元形状モデルを人間が対話的に操作し、その結果を再表示するような機能が要求されている。このため、人間の思考を妨げずに３次元形状モデルを回転、拡大縮小、平行移動するための操作方法が必要である。
【０１１４】
３次元空間で３次元形状モデルを変換するには、回転３自由度、平行移動３自由度の計６自由度の変換が必要である。３次元形状モデルをディスプレイ上に２次元表示する場合は上記の自由度のうちディスプレイに対して奥行方向の移動を拡大縮小で表現できる。したがって、この場合は回転３自由度、拡大縮小１自由度、平行移動２自由度の計６自由度の変換になる。従来の３次元モデル操作ではこの操作を６自由度×正負を夫々キーボードの12個のキーに割り当てていた。また、マウスなどのポインティングデバイスを利用した３次元モデル操作では、２自由度しかないポインティングデバイスを６自由度の変換に対応させるためにモードの切替えを行っていた。両者の融合型として、２自由度をポインティングデバイスで操作し残りの４自由度をキーボードで操作するという方法もあった。
【０１１５】
【発明が解決しようとする課題】
キーボードによる操作方法では夫々の軸に対して正負方向の２つのキーが割り当てられているので、軸方向の変換しかできない。例えば平面上の平行移動のときに縦横の軸が用意されている場合、斜めに平行移動するには縦移動をしてから横移動（或いは横移動してから縦移動）という２ステップの操作を必要とする。さらに回転の場合は、想定した変換を軸方向のベクトルに分解することが大変困難であるという問題もある。
【０１１６】
ポインティングデバイスによる操作方法では軸に対して斜めの変換を行うことができるが、モードの切替えが面倒であることと、回転の３自由度をうまく操作できないという問題点がある。
キーボードとポインティングデバイスの併用による操作方法においても、２つの異なるデバイスでの入力によって操作がし難くなるという問題点を増すだけで、夫々の欠点を補っているとは言えない。
また表示に関して、実際に回転させてみないとどこを中心として回転するのかがよくわからないという問題点がある。
本発明は、あるゆる方向への変換を直接行うことができ、モード切替えといった面倒な操作を排し、わかりやすい操作画面を実現することにより、高速で自由自在の操作を行うことができる表示方法及び装置を提供することを目的とする。
【０１１７】
【課題を解決するための手段】
本発明に係る３次元形状モデルの表示方法は、２次元平面に３次元形状モデルを表示する方法において、前記３次元形状モデルの一部又は全部を内部に含む球体のガイドポリゴンを併せて表示し、また前記ガイドポリゴンの中心を求め、ポインティングデバイスによる指定点がガイドポリゴンの周縁にある場合には求めた前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの拡大又は縮小を行わせ、前記指定点がガイドポリゴン内にある場合は求めたガイドポリゴンの中心を基準点とする前記３次元形状モデルの回転を行わせ、前記指定点がガイドポリゴン外にある場合は前記３次元形状モデルを前記２次元平面に対して平行移動させることを特徴とする。
そしてこのガイドポリゴンは半透明とし、その色は３次元形状モデルの色及び背景色との対比で見えやすい色とする。更にポインティングデバイスによる指定点とガイドポリゴンとの相対位置関係で移動、拡大、縮小、回転等の表示態様の変更を行わせる。
【０１１８】
また本発明の３次元形状モデルの表示装置は、２次元平面に３次元形状モデルを表示する装置において、前記３次元形状モデルの一部又は全部を内部に含む球体のガイドポリゴンを算出する手段と、前記ガイドポリゴンの中心を算出する手段と、ポインティングデバイスと、ポインティングデバイスで指定された点とガイドポリゴンの中心との距離ｌをガイドポリゴンの半径ｒと比較する手段と、ｌ＝ｒの場合に前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの拡大又は縮小を行う手段と、ｌ＜ｒの場合に前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの回転を行う手段と、ｌ＞ｒの場合に前記３次元形状モデルを前記２次元平面に対して平行移動させる手段とを備えることを特徴とする。
【０１１９】
図48はガイドポリゴンの表示例を示している。３次元形状モデルは踏台状のものであり、これを包絡する球体 (緯線、経線を合わせて示している) が認識又は操作を案内するガイドポリゴンとして表示されている。このような表示により拡大、縮小又は回転の中心が一目で認識できることになる。マウス等のポインティングデバイスで指定した点が図49に示すようにガイドポリゴンの中であると回転、外であると平行移動、周縁であると拡大・縮小が指示されることになる。そして次の操作でその量が指定されることになる。
【０１２０】
【発明の実施の形態】
以下第４群の発明をその実施の形態を示す図面に基づいて詳述する。図50は本発明の３次元形状モデル表示装置のブロック図である。図において60はディスプレイ装置であり、マウス等のポインティングデバイス61を備えている。３次元形状モデルの形状は形状記憶部63に、位置は位置記憶部70に夫々記憶されており、背景画像は背景画像記憶部62に記憶されている。
【０１２１】
ガイドポリゴン生成部64は色解析部64a,色選択部64b,形状決定部64c からなり、その後の操作に必要となるガイドポリゴンの大きさ・色を決定する。色解析部64a は背景画像記憶部62から背景画像の色情報を、また形状記憶部63から３次元形状モデルの色情報を夫々取込んで解析し、色選択部64b は背景及び３次元形状モデルの表示を妨げず、しかも視認し易い色を選択する。形状決定部64c は表示すべきガイドポリゴンの形状, 寸法を決定する。
【０１２２】
図51は色選択のフローチャート、図52は形状寸法決定のフローチャートである。まず背景画像記憶部62及び形状記憶部63から夫々背景画像及び３次元形状モデルの情報を取込み、背景画像に対してどの色相が何％使用されているか(S75) 、また３次元形状モデルに対してどの色相が何％使用されているかを調べる(S71) 。そして３次元形状の使用色相については適宜の重みづけをする(S72) 。ここまでが前述した色解析部64a の機能であり、以下は色選択部64b の機能である。即ち以上の解析の結果により、予め用意してある候補表示色中から近郊の色相の量を調べる(S73) 。そして最も近郊の色相が少ない候補表示色を選択してガイドポリゴンの色とする(S74) 。
【０１２３】
次に形状・位置の決定について説明する。
まず形状記憶部63及び位置記憶部70からデータを取込んで３次元形状モデルの重心を算出する(S61) 。そしてこの重心をガイドポリゴンの中心とする(S62) 。次にこの中心から３次元形状モデルの各頂点までの距離を求める(S63) 。そして最長距離をガイドポリゴンの半径とし(S64) 、このガイドポリゴンの情報をガイドポリゴン記憶部65に記憶させる。
【０１２４】
上述のようにして作成されたガイドポリゴンは表示部66により、ディスプレイ装置60に表示される。表示部66はガイドポリゴン記憶部65、背景画像記憶部62、形状記憶部63及び位置記憶部70から読み出した内容を重ね合わせる重ね合わせ部66a 及びこれをディスプレイ表示装置60に表示するための変換を行うディスプレイ表示部66b からなる。
【０１２５】
一方、ポインティングデバイス61からの入力はインターフェース部67へ取込まれる。入力制御部67a はポインティングデバイス61の制御を行うものであり、マウスのドラッグのように入力が直前の操作と連動している場合は直前に行った変換の続きと判断する。操作位置判別部67b は入力された操作開始点がガイドポリゴンの外側か内側か境界上かを判別し、外側で操作した場合は平行移動を、内側で操作した場合は回転を、境界線上で操作した場合は拡大縮小を行う。また、直前に行った変換の続きであれば、前変換と同じ変換処理を選択する。
【０１２６】
図53はこの操作位置判別部67b の処理手順を示すフローチャートである。ガイドポリゴン生成部64で決定した半径をｒとし(S81) 、ポインティングデバイス61による指定点、即ち操作開始点とガイドポリゴンの中心点との距離ｌを求める(S82) 。そしてｒ＝ｌの場合は(S83) 拡大縮小処理(S86) 、ｒ＞ｌの場合は回転処理(S87) 、ｒ＜ｌの場合は平行移動処理(S85) をする。
【０１２７】
而して操作位置情報又は操作位置判別情報は変換量決定部68へ入力され、その平行移動量決定部68a 、拡大縮小量決定部68b 及び回転量決定部68c で夫々平行移動量、拡大縮小量及び回転量が決定され、これらの変換量は変換部69へ与えられ、ここで変換量に応じた変換が行われる。平行移動部69a,拡大縮小部69b 及び回転部69c は夫々平行移動, 拡大縮小及び回転を行わせる。
【０１２８】
次にこれらの変換について説明する。まず平行移動はガイドポリゴン外の領域 (図49参照) にカーソルを位置させてクリックする等の方法により平行移動を指定し、カーソルを所望方向へ移動 (ドラッグ) する。これにより３次元形状モデル及びガイドポリゴンが連動移動する。なお移動の単位はピクセルである。この平行移動はそれ自体公知の各種の技法を用い得る。
【０１２９】
次に拡大縮小について説明する。図54はその原理説明図であり、まずガイドポリゴンの周縁の点Ｐ1 でクリックし、ドラッグしていって次いで拡大又は縮小したい倍率に応じた位置Ｐ2 でクリックする。ガイドポリゴンの中心を０とするとバーOP2 ／バーOP1 に拡大又は縮小されることになる。拡大縮小自体の処理についてはそれ自体公知の技法を適宜用いればよい。
【０１３０】
次に回転について説明する。図55はその原理説明図、図56は回転のための処理手順を示すフローチャートである。図55においてＤはディスプレイ装置60の２次元平面、Ｈは光体的に表したガイドポリゴンの中心を通るＤに平行な平面である。いま点Ｐ1 でクリックして回転を指示し、ドラッグしていき、αP だけ回転したＰ2 点でクリックしたとする(S91) 。このＰ1 , Ｐ2 でガイドポリゴンに投影した点Ｒ1 , Ｒ2 を算出する(S92) 。∠Ｐ2 Ｏ′Ｐ1 （Ｏ′は平面Ｄにおけるガイドポリゴンの中心）＝αP とおく(S93) 。次に∠Ｒ1 ＯＲ2 を求めてこれをαr とする。次にＲ1 Ｏ，Ｒ2 Ｏ（Ｏは平面Ｈ上のガイドポリゴン中心）がなす角度を求め、この∠Ｒ1 ＯＲ2 をαr とする(S94) 。次に基準点Ｏ上の基準線ＬをバーＲ1 Ｏ及びバーＲ2 Ｏに垂直な直線として規定する(S95) 。そしてこの軸L を中心としてαr だけ回転する(S96) 。回転量決定以後の処理については公知の図形回転手法によればよい。このような回転操作の際には球体をガイドポリゴンとして使用する場合もその経線, 緯線上をなぞるか又はこれを参照することで簡単に回転操作が行える。
以上のようにして変換されたモデルはその位置記憶部70へ入力され、記憶される。
【０１３１】
図57はこの３次元形状モデル表示装置の全体的フローチャートである。前述のようにまず、ガイドポリゴンの決定をし(S101)、次いで背景, ３次元形状モデル及びガイドポリゴンの混合表示をし(S102)、次いでオペレータによる変換指定があると(S103)、操作領域又は移動、拡大縮小、回転の判別を行い(S104)、変換量を決定して(S106)、その変換を実行する(S107)。
【０１３２】
【発明の効果】
以上の如き本発明による場合は拡大縮小又は回転の原点（中心）を直感的に認識することができる。また３次元形状モデルの姿勢がガイドポリゴンとの対比により認識し易い。またガイドポリゴンの色が自動的に定まるので３次元形状モデルが見難くなる虞れはない。また移動、拡大縮小、回転に関してモード切替の煩雑な操作、特別なデバイスを必要としない。更に回転についてはディスプレイ装置の２次元表示平面での２自由度の入力だけで３自由度の回転量、方向の入力ができ、しかもその操作はガイドポリゴンの形状に倣えばよく容易である。
【図面の簡単な説明】
【図１】本発明のシステムの説明図である。
【図２】特定物体領域の抽出部の処理の流れ図である。
【図３】動画オブジェクトの構造の説明図である。
【図４】第１群の発明の実施に使用する装置のブロック図である。
【図５】処理の流れ図である。
【図６】特定物体の領域指定の説明図である。
【図７】３次元形状情報付加処理のフローチャートである。
【図８】稜線及び端点の奥行の指定の説明図である。
【図９】稜線指定の説明図である。
【図１０】３次元形状抽出装置のブロック図である。
【図１１】３次元形状抽出方法のフローチャートである。
【図１２】基本形状の立体図である。
【図１３】基本形状と画像との重畳表示例を示す説明図である。
【図１４】物体領域抽出の説明図である。
【図１５】基本形状の位置移動の処理のフローチャートである。
【図１６】基本形状の位置移動の処理の説明図である。
【図１７】基本形状の回転の処理のフローチャートである。
【図１８】基本形状の回転の処理の説明図である。
【図１９】大きさ変更処理のフローチャートである。
【図２０】大きさ変更処理の説明図である。
【図２１】マッピングの説明図である。
【図２２】従来の画像合成方式の説明図である。
【図２３】第１領域抽出装置のブロック図である。
【図２４】領域抽出のフローチャートである。
【図２５】領域抽出の説明図である。
【図２６】第２領域抽出装置のブロック図である。
【図２７】領域抽出のフローチャートである。
【図２８】領域抽出の説明図である。
【図２９】第３〜６領域抽出装置のブロック図である。
【図３０】領域抽出のフローチャートである。
【図３１】領域抽出の説明図である。
【図３２】第３，４，７，８の領域抽出装置のブロック図である。
【図３３】領域抽出のフローチャートである。
【図３４】領域抽出の説明図である。
【図３５】第３，４の領域抽出装置のブロック図である。
【図３６】エッジ処理のフローチャートである。
【図３７】エッジ処理の説明図である。
【図３８】エッジ処理の説明図である。
【図３９】第10の領域抽出装置のブロック図である。
【図４０】雑音消去のフローチャートである。
【図４１】雑音消去の説明図である。
【図４２】第10の領域抽出装置のブロック図である。
【図４３】雑音消去のフローチャートである。
【図４４】雑音消去の説明図である。
【図４５】第11の領域抽出装置のブロック図である。
【図４６】雑音消去のフローチャートである。
【図４７】雑音消去の説明図である。
【図４８】ガイドポリゴンの表示例を示す画面図である。
【図４９】操作の説明図である。
【図５０】３次元形状モデル表示装置のブロック図である。
【図５１】ガイドポリゴンの色選択のフローチャートである。
【図５２】ガイドポリゴンの形状決定のフローチャートである。
【図５３】操作位置判別の寸法フローチャートである。
【図５４】拡大縮小の原理説明図である。
【図５５】回転の原理説明図である。
【図５６】回転のフローチャートである。
【図５７】３次元形状モデルの表示装置の全体的ブロック図である。
【符号の説明】
１ 特定物体領域抽出部
２ ３次元形状情報付加部
３ 映像CGモデル生成部
４ 合成画像生成部
５ 画像記憶部
６ 形状・表面属性情報記憶部
7a,7b CGモデル記憶部
８ 合成情報記憶部
10 画像表示装置
12 ポインティング装置
13 CGモデル作成部
Claims (2)
- ２次元平面に３次元形状モデルを表示する方法において、前記３次元形状モデルの一部又は全部を内部に含む球体のガイドポリゴンを併せて表示し、また前記ガイドポリゴンの中心を求め、ポインティングデバイスによる指定点がガイドポリゴンの周縁にある場合には求めた前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの拡大又は縮小を行わせ、前記指定点がガイドポリゴン内にある場合は求めたガイドポリゴンの中心を基準点とする前記３次元形状モデルの回転を行わせ、前記指定点がガイドポリゴン外にある場合は前記３次元形状モデルを前記２次元平面に対して平行移動させることを特徴とする３次元形状モデルの表示方法。
- ２次元平面に３次元形状モデルを表示する装置において、前記３次元形状モデルの一部又は全部を内部に含む球体のガイドポリゴンを算出する手段と、前記ガイドポリゴンの中心を算出する手段と、ポインティングデバイスと、ポインティングデバイスで指定された点とガイドポリゴンの中心との距離ｌをガイドポリゴンの半径ｒと比較する手段と、ｌ＝ｒの場合に前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの拡大又は縮小を行う手段と、ｌ＜ｒの場合に前記ガイドポリゴンの中心を基準点とする前記３次元形状モデルの回転を行う手段と、ｌ＞ｒの場合に前記３次元形状モデルを前記２次元平面に対して平行移動させる手段とを備えることを特徴とする３次元形状モデルの表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002183475A JP3732158B2 (ja) | 2002-06-24 | 2002-06-24 | ３次元形状モデルの表示方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002183475A JP3732158B2 (ja) | 2002-06-24 | 2002-06-24 | ３次元形状モデルの表示方法及び装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31023699A Division JP3345808B2 (ja) | 1999-10-29 | 1999-10-29 | ３次元形状モデルの表示方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003077011A JP2003077011A (ja) | 2003-03-14 |
| JP3732158B2 true JP3732158B2 (ja) | 2006-01-05 |
Family
ID=19195378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002183475A Expired - Lifetime JP3732158B2 (ja) | 2002-06-24 | 2002-06-24 | ３次元形状モデルの表示方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3732158B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007080029A (ja) * | 2005-09-15 | 2007-03-29 | Kgt Inc | 複数の３次元コンピュータグラフィックスを合成して１つに統合する方法 |
| JP2007166383A (ja) * | 2005-12-15 | 2007-06-28 | Nec Saitama Ltd | デジタルカメラ及び画像合成方法並びにプログラム |
| DE102006005044B4 (de) * | 2006-02-03 | 2011-01-27 | Metaio Gmbh | Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung |
| EP3936815A4 (en) * | 2019-03-04 | 2022-05-04 | Panasonic Intellectual Property Management Co., Ltd. | DEVICE FOR CALCULATING QUANTITY OF OBJECTS AND METHOD FOR CALCULATING QUANTITY OF OBJECTS |
-
2002
- 2002-06-24 JP JP2002183475A patent/JP3732158B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003077011A (ja) | 2003-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3030485B2 (ja) | ３次元形状抽出方法及び装置 | |
| US6867787B1 (en) | Character generator and character generating method | |
| CN103493105B (zh) | 全方位图像编辑程序及全方位图像编辑装置 | |
| US6208360B1 (en) | Method and apparatus for graffiti animation | |
| JP5299173B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| US5692117A (en) | Method and apparatus for producing animated drawings and in-between drawings | |
| EP0950988B1 (en) | Three-Dimensional image generating apparatus | |
| US5598182A (en) | Image synthesis and processing | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| JP3626144B2 (ja) | 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JP3732158B2 (ja) | ３次元形状モデルの表示方法及び装置 | |
| Jeong et al. | Automatic generation of subdivision surface head models from point cloud data | |
| Mattos et al. | 3D linear facial animation based on real data | |
| JP6930091B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| JP3345808B2 (ja) | ３次元形状モデルの表示方法及び装置 | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| JP3364682B2 (ja) | 画像列生成方法 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP3002972B2 (ja) | ３次元画像処理装置 | |
| US20230196702A1 (en) | Object Deformation with Bindings and Deformers Interpolated from Key Poses | |
| JP2005208867A (ja) | ３次元コンピュータ・グラフィックス・モデリング・システム | |
| JP3683927B2 (ja) | コンピュータ・グラフィック制作システム及びその制御方法 | |
| US20210074076A1 (en) | Method and system of rendering a 3d image for automated facial morphing | |
| JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051011 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |