JP3611239B2 - 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体 - Google Patents
三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3611239B2 JP3611239B2 JP05995099A JP5995099A JP3611239B2 JP 3611239 B2 JP3611239 B2 JP 3611239B2 JP 05995099 A JP05995099 A JP 05995099A JP 5995099 A JP5995099 A JP 5995099A JP 3611239 B2 JP3611239 B2 JP 3611239B2
- Authority
- JP
- Japan
- Prior art keywords
- pose
- matching
- dimensional
- model
- pose information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、実写画像に写っている現実世界の物体を、三次元コンピュータグラフィックス（以下、ＣＧと略記する）モデル化して仮想世界に取り込む技術に関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により、高度な３次元コンピュータグラフィックスが処理できる環境が整いつつあり、３次元グラフィックスを処理するための専用のアクセラレータボードなども提供されつつある。グラフィックス処理能力の向上に伴い、計算機内で三次元ＣＧモデルを扱ったウォークスルーなどの仮想現実感システムの需要が増加している。この仮想現実感システムにおいて３次元オブジェクトを表示する場合、アニメータなどがＣＧにより人工的に作成した三次元モデルであると現実世界の実体としてのリアリティさを再現することが難しい。そこで現実世界の物体を仮想空間に取り込み、より自然に近い３次元オブジェクトを作成する手法が考えられている。つまり、実写画像を取り込んで画像処理技術により３次元ＣＧモデルを作成する方法である。
【０００３】
【発明が解決しようとする課題】
実写画像に写っている物体を三次元ＣＧモデル化するには、現状の画像処理技術では完全に自動処理することは不可能であり、ユーザの手によって入力支援する必要がある。従来技術においてこのユーザによる入力支援方法がいろいろと考えられている。
【０００４】
第１の方法は、最も一般的なものは異なる視点から物体を撮影した画像を複数枚用意し、それぞれの画像において物体の同じ部分を対応付ける手法である。一般にステレオ法と呼ばれている。
【０００５】
しかし、この第１の方法では、対応点を完全に自動指定することは困難であり、またユーザにより手動で指定するのも対応点数が多い場合には面倒である。
【０００６】
第２の方法は、あらかじめ用意された基本モデルを実写画像の上に重ねて表示し、モデルを操作して変形・調整し、実写画像に写っている物体と同じ姿勢にすることでモデルを作成する手法がある。
【０００７】
しかし、この第２の方法では、モデルを実写画像と同じ姿勢にするため移動、回転など操作が必要であり、これら操作には熟練技術を必要とする。
【０００８】
自動的にモデルを実写画像に写っている物体に合わせる手法も研究されているが、初期状態として、実写画像と基本形状モデルをある程度同じ姿勢で与える必要がある。そのため、上記第１の方法または第２の方法による入力の最終的な微調整に使われているものの、やはり、上記第１の方法および第２の方法に示した問題が生じる。
【０００９】
本発明は上記問題点を解決するもので、取り込んだ実写画像と基本モデルとのマッチングに際してのユーザによる入力支援を簡単にし、特別な熟練を必要とせずに３次元ＣＧモデルを作成することができる３次元ＣＧモデル生成装置を提供することを目的とする。
【００１０】
また、本発明は、基本モデルから、取り込んだ実写画像をより正確に表現した３次元ＣＧモデルを作成することができる３次元ＣＧモデル生成装置を提供することを目的とする。
【００１１】
また、本発明は、本発明の３次元ＣＧモデル生成装置をコンピュータを用いて構成するための処理ステップをコンピュータ読み取り可能な記録媒体により提供することを目的とする。
【００１２】
【課題を解決するための手段】
この目的を達成するために本発明の３次元ＣＧモデル生成装置は、取り込んだ三次元物体を写した二次元画像の情報を基にして写っている物体の三次元ＣＧモデルを作成する装置であって、物体をある視点から捉えた場合の画像データを入力する画像入力部と、画像の頂点と辺の関係をもって表わす情報をポーズ情報とし、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として格納しておく基本ポーズ情報格納部と、前記取り込んだ画像上で写っている物体の頂点と辺を指定してポーズ情報を取得するポーズ情報指定部と、前記ポーズ情報指定部により取得したポーズ情報と、前記基本ポーズ情報格納部に格納されている基本ポーズ情報とを比較し、一致するポーズ情報を持つ基本形状モデル及び一致するポーズを特定するポーズマッチングを行なうポーズマッチング部と、前記ポーズマッチング部により特定された基本形状モデルのポーズを前記取り込んだ画像のポーズに近似させるように変形・調整する自動フィッティング部とを備え、取り込んだ画像のポーズ情報を基に前記物体の三次元ＣＧモデルを作成することを特徴とする。
【００１３】
上記構成により、取り込んだ実写画像中の物体を、頂点および辺という基本的な要素とそれら要素間の情報をポーズ情報としてその特徴を抽出し、基本形状モデルとのポーズマッチングにより相当する基本形状モデルを選定することができる。
【００１４】
次に、本発明の３次元ＣＧモデル作成装置は、前記ポーズマッチングの結果、複数の基本形状モデルが、そのポーズ情報が一致するものとして得られた場合に、それら複数の基本形状モデルを候補として利用者に提示して利用者が選択できる基本形状モデル候補表示・選択部を備えることが好ましい。
【００１５】
上記構成により、ある方向から物体を捉えた画像の頂点と辺のポーズ情報のみでは、基本形状モデルから一の基本形状モデルを特定できない場合には、該当するそれら複数の候補を表示することができ、利用者の選択を簡単にするとともに最終的な認識を利用者の目認で行なうことができ、マッチング性能を向上させることができる。
【００１６】
次に、本発明の３次元ＣＧモデル作成装置は、過去のポーズマッチング結果の履歴情報を記憶しておくポーズマッチング履歴情報格納部を備え、前期基本形状モデル候補表示・選択部は複数の候補を表示する際に前記ポーズマッチング履歴情報に基づいて優先順位をつけて表示することが好ましい。
【００１７】
上記構成により、３次元ＣＧモデル作成装置は、学習機能を備えることができ、ポーズマッチングの結果、複数の候補がある場合でも、過去の履歴を基に優先順位をつけて利用者に提示することができ、利用者の選択処理をより簡単にすることができる。
【００１８】
ここで、優先順位とは、例えば、過去にマッチングした基本形状モデルとして選定された回数に従って優先順位をつけるもの、また、基本形状モデルとして選定されてからの経過時間の短さに従って優先順位をつけるもの（Ｌｅａｓｔ Ｒｅｃｅｎｔ Ｕｓｅｄ）などがある。
【００１９】
さらに優先順位付けした表示とは、例えば、優先順位順にソートして左から並べる、優先順位の高いもの程大きく表示する、優先順位を表わす数字を添え字として表示する、その他、色を工夫する、濃度を工夫するなど様々なバリエーションが考えられる。
【００２０】
次に、前記３次元ＣＧモデル作成装置は、前記取り込んだ画像に写っている物体の属性を指定する属性指定部を備え、前記ポーズマッチング部は、前記ポーズマッチングに先立ち、前記指定された属性に従って前記基本ポーズ情報格納部に格納されている基本ポーズ情報を絞り込んでおくことが好ましい。
【００２１】
上記構成により、基本ポーズ情報格納部に格納した基本形状モデルが多数登録されている場合でも、ポーズマッチングの対象として比較する基本形状モデルをその属性によりあらかじめ絞り込んでおくことができ、ポーズマッチング精度を向上させ、かつ、マッチング処理速度を向上することができる。特に、ポーズ情報のみによるポーズマッチングの結果のみによれば、複数の候補が表示され、利用者によるさらなる選択処理を必要となる場合でも、本構成を備えておけば指定属性によっても絞り込まれるため、絞り込み性能をさらに向上させることができる。
【００２２】
次に、前記取り込んだ画像が三次元ＣＧモデルを作成する物体について複数あり、前記ポーズマッチング部が、それぞれの画像についてポーズマッチングを行い、複数のポーズマッチングの結果から前記物体の基本形状モデルを判断することが好ましい。
【００２３】
上記構成により、物体の複数の方向からの画像を基に複数のポーズマッチングを行ない、複数のポーズマッチングの結果を併せて利用することにより、基本形状モデルの絞り込み精度をさらに向上させることができる。
【００２４】
次に、前記ポーズマッチング部は、前記ポーズ情報指定部から入力される前記取り込んだ画像の頂点と辺を順次指定してゆく途中過程において、指定入力済みの頂点と辺からなる部分ポーズ情報を基に前記基本ポーズ情報格納部に格納された基本形状モデルの部分ポーズ情報とマッチングをとるポーズ部分マッチング部と、前記ポーズ部分マッチング部によるポーズ部分マッチングの結果、該当する基本形状モデルを提示する基本形状モデル候補表示・選択部とを備え、前記ポーズ情報指定部から前記取り込んだ画像の頂点と辺の情報が入力されるに従って前記ポーズ部分マッチングの結果を更新して提示することが好ましい。
【００２５】
上記構成により、ポーズ情報指定部から利用者が取り込んだ画像上の頂点、辺を順次指定して行く過程において、頂点、辺の情報が入力されるごとに、ポーズ全体のうちのそれまでに入力済みの部分のポーズ情報であるポーズ部分情報に基づいて、部分的なポーズマッチングを実行し、その時点で絞り込める基本形状モデルの候補を動的に提示することができる。
【００２６】
次に、前記ポーズマッチング部が、さらに、前記基本形状モデル候補表示・選択部に提示された候補から、一の基本形状モデルを選択する基本形状モデル選択部を備え、利用者によるポーズ指定を補佐することが好ましい。
【００２７】
上記構成により、ポーズ部分マッチングにより提示された複数の基本形状モデルの候補から、利用者が当該物体に相当する基本形状モデルを視認でき、特定できる場合は基本形状モデル選択部により直接選定することができ、それ以上の頂点、辺の情報入力は不要となる。
【００２８】
次に、前記三次元ＣＧモデル作成装置は、さらに、基本形状モデルとして３次元ＣＧモデルを入力とし、前記基本形状モデルを一の視点から投影した２次元画像を生成し、前記２次元画像からポーズ情報を抽出し、前記視点を変え、前記ポーズ情報の抽出を繰り返し、前記当該基本形状モデルが持ちうるポーズのパターンすべてを抽出する基本ポーズ抽出部を備えることが好ましい。
【００２９】
上記構成により、基本ポーズ情報格納部に登録する基本ポーズ情報を自動生成することができる。
【００３０】
次に、前記取り込んだ画像に対して前記ポーズ情報指定部から入力されたポーズ情報が、前記ポーズ情報格納部にない場合、前記入力されたポーズ情報を基本形状モデルのポーズ情報として前記ポーズ情報格納部に登録・格納することが好ましい。
【００３１】
上記構成により、本発明の３次元ＣＧモデル作成装置は、利用するにつれ、基本形状モデルの登録データを追加更新、チューニングすることができ、ポーズマッチングの精度をさらに向上させることができる。
【００３２】
次に、本発明の目的を達成するため、取り込んだ三次元物体を写した二次元画像の情報を基にして写っている物体の三次元ＣＧモデルを作成する装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、物体をある視点から捉えた場合の画像を頂点と辺の関係をもって表わす情報をポーズ情報とし、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として格納しておく基本ポーズ情報格納処理ステップと、前記取り込んだ画像上で写っている物体の頂点と辺を指定してポーズ情報を取得するポーズ情報指定処理ステップと、前記ポーズ情報指定処理ステップにより取得したポーズ情報と前記基本ポーズ情報格納処理ステップにより格納されている基本ポーズ情報とを比較し、一致するポーズ情報を持つ基本形状モデル及び一致するポーズを特定するポーズマッチングを行なうポーズマッチング処理ステップと、前記ポーズマッチング処理ステップにより特定された基本形状モデルのポーズを前記取り込んだ画像のポーズに近似させるように変形・調整する自動フィッティング処理ステップとを備えた処理プログラムを記録したことを特徴とする。
【００３３】
上記構成により、コンピュータを用いて、取り込んだ実写画像中の物体を、頂点および辺という基本的な要素とそれら要素間の情報をポーズ情報としてその特徴を抽出し、基本形状モデルとのポーズマッチングにより相当する基本形状モデルを選定することができる３次元ＣＧモデル作成装置を実現することができる。
【００３４】
【発明の実施の形態】
以下、本発明の３次元ＣＧモデル作成装置の実施形態について、図面を参照しつつ説明する。まず、本発明の基本原理を説明し、次に、装置構成例を示す。
【００３５】
まず、本発明の基本原理を説明する。
【００３６】
本発明の３次元ＣＧモデル作成装置は、三次元ＣＧモデルにしたい物体をカメラ・ビデオで撮影し、撮影画像を取り込んで三次元ＣＧモデルとしてデジタル化する。図１（ａ）は物体を撮影した実写画像の例である。例として６面体（直方体）の撮影画像を上げる。撮影した画像は１枚で良いが斜めからなど、物体の立体としての特徴が良く表現されている撮影画像が望ましい。また、複数の方向から撮影した画像をそれぞれ用意して利用すれば、より正確な三次元ＣＧモデルを簡単に作成することができる。
【００３７】
取り込んだ実写画像から、物体の特徴を抽出するわけであるが、本発明はポーズ情報を利用する。ここで言うポーズとは物体の見え方のことであり、ポーズ情報として、物体の各頂点と辺の位置関係を表わす情報を抽出する。図１（ｂ）は、図１（ａ）に示した実写画像からその物体の頂点、辺を指定した状態の図である。一つの頂点から複数の辺が引けるよう、始点・終点が画像上でごく近距離にある場合は一つの頂点とみなすといった手法が必要である。図１（ｂ）に示すように、図１（ａ）の画像は７つの頂点と９つの辺を持ち、それぞれの頂点と辺の関係が図示したように抽出される。
【００３８】
上記ポーズ情報の抽出は、エッジ強調などの画像処理技術を適用し、ソフトウェア処理により自動化しても良いが、ここでは利用者により指定してゆく方法を説明する。装置利用者のインタフェースとなるディスプレイに図１（ａ）に示したような実写画像を表示する。利用者はマウスなどのポインティングデバイス、デジタイザなどを使用して、画像上で物体の頂点、辺をポイントし、ポーズを指定していく。例えば実写画像を下絵として背景に表示しておき、二次元ドローイングツールで線図を描いていくように実写画像中の物体の頂点を指定し、辺をなぞっていく。これで実写画像上での頂点の位置、各辺がどの頂点と頂点を結んでいるかといった情報が得られる。
【００３９】
次に、上記得たポーズ情報を手がかりとして、本３次元ＣＧモデル作成装置にあらかじめ登録・保持している基本形状モデルから合致するものを選定する。そのため、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として基本ポーズ情報格納部に格納しておく。ここで、ポーズ情報のすべてのパターンとは、当該物体を視点を変えて見た場合に採りうるポーズ情報のバリエーションすべてということであり、例えば、直方体、四角錘の基本形状モデルを例に上げると、基本ポーズ情報は図２のようになる。上段は直方体、下段は四角錐の例である。一番左はインデックスであり、“直方体”“四角錘”など基本形状モデルの名称を表示しても良く、また、シンボルとして特徴を良く表わす図形を表示しておいても良い。インデックスの右に並んでいるのが当該物体のポーズ情報のバリエーションである。直方体に対しては４つの基本ポーズ情報のバリエーションがあり、四角錘に対しては７つの基本ポーズ情報のバリエーションがある。ポーズ情報として同じであればどの視点から捉えたものでも同じバリエーションに分類される。なお、利用者が視覚的に把握しやすいように、ディスプレイ上には図２に示したような各ポーズ情報についての代表的な視点による代表的な画像を表示することが好ましい。
【００４０】
次に、ポーズのマッチングを行なう。ポーズマッチングは、頂点の数、位置関係、辺の数などを利用して行う。図１の例の場合、頂点の数は７、辺の数９、頂点、辺の接続関係から、ポーズマッチングの結果、実写画像の物体が、基本形状モデル直方体の一番右のポーズであることがわかる。
【００４１】
次に、実写画像上の物体と基本形状モデルをポーズとともに対応付ける。そのため、実写画像の頂点が、基本モデルのどの頂点に対応しているかを決定する。この判定には頂点と辺の関係を利用する。図１（ｂ）の画像の中で最も上部に位置する頂点は画像上、二つの辺が接続されている。ポーズには二つの辺が接続している頂点が３つあり、そのうちの一つと対応づける。そして辺の対極の頂点を次々と対応づけしていく。失敗したら最初からやり直す。このように試行錯誤的に実行し、すべての頂点と辺の関係が満足されるパターンを探す。
【００４２】
図３にポーズマッチング部７０を中心としたポーズのマッチング処理と頂点の対応付けの処理のフローチャートを整理して示す。
【００４３】
まず、実写画像から抽出した頂点数を判定する（ステップＳ３０１）。次に、実写画像から抽出した辺の数を判定する（ステップＳ３０２）。基本ポーズ情報格納部６０から該当する頂点数、辺の数を持つ基本形状モデルの一つをモデルとして仮決定する（ステップＳ３０３）。
【００４４】
仮決定したモデルの頂点と実写画像の頂点との対応付けを実行してすべての頂点と辺の接続関係が合致するものを特定するわけであるが、まず、仮決定したモデルの頂点のうち実写画像の頂点との対応付けがなされていないものが残っているかを確認する（ステップＳ３０４）。対応付けがなされていないものが残っていない場合（ステップＳ３０４：Ｎ）は、頂点と辺の関係が合致するパターンが存在しなかったことを意味するので仮決定したモデルが誤りであったとしてモデルの仮決定からやり直す。
【００４５】
対応付けがなされていないものが残っている場合（ステップＳ３０４：Ｙ）は、仮決定したモデルの一つの頂点と実写画像から抽出したポーズの一つの頂点とを仮に対応付ける（ステップＳ３０５）。
【００４６】
次に、辺でつながっている頂点を対応付け（ステップＳ３０６）、それら頂点から延びている辺の数を判定する（ステップＳ３０７）。
【００４７】
ステップＳ３０７の判定において不一致が検出された場合（ステップＳ３０７：Ｎ）は、ステップＳ３０５の頂点の仮対応付けが誤りであったことを意味するので、他の頂点を選んで仮対応付けを行う必要がある。まず、ステップＳ３０４に戻り、仮対応付けが行なわれていない頂点が残っているか否かをチェックし、残っている場合（ステップＳ３０４：Ｙ）、ステップＳ３０５以下のステップに進み、当該残っている頂点を使って仮対応付けをやり直す。仮対応付けが未だ行なわれていない頂点が残っていない場合（ステップＳ３０４：Ｎ）、当該基本形状モデルのすべての頂点において対応付けが失敗したこととなり、ステップＳ３０３の基本形状モデルの仮決定が誤りであったとしてステップＳ３０３に戻り、基本形状モデルの仮決定からやり直す。
【００４８】
ステップＳ３０７の判定において一致すると判定された場合（ステップＳ３０７：Ｙ）、すべての頂点の対応付けが終了しているか否か確認し（ステップＳ３０８）、まだ対応付けが終了していない頂点があれば（ステップＳ３０８：Ｎ）ステップＳ３０６〜ステップＳ３０７を繰り返す。すべての頂点の対応付けが終了すれば（ステップＳ３０８：Ｙ）、処理を終了する。
【００４９】
次に、ポーズと頂点の対応が決定したら自動フィッティングを行う。自動フィッティングに利用するモデルのポーズは基本ポーズ情報格納部に格納されているものを利用する。ここで、自動フィッティング処理とは、辺の長さ、頂点と辺の角度、ねじれの関係など実写画像の物体と立体的形状が一致するように微調整する。この自動フィッティングを行うと、その結果を実写画像上に基本形状モデルをスーパーインポーズして表示する。自動フィッティングが成功していれば実写画像に写っている物体と同じポーズで表示される。
【００５０】
その後、テクスチャを貼り付けることにより三次元ＣＧモデルが完成する。
【００５１】
以上が本発明の三次元ＣＧモデル作成装置の基本原理である。
【００５２】
次に、具体的な実施形態として各装置構成例を示す。
【００５３】
（実施形態１）
実施形態１として、本発明の請求項１、２に対する装置構成例を示す。
【００５４】
図４は、本実施形態１の装置構成概略を示すブロック図である。
【００５５】
図４において、１０はディスプレイ装置であり、実写画像やユーザが入力したポーズを表示する。２０はポインティングデバイスであり、画像上の位置指定などを行う。３０は画像入力部であり、カメラやビデオで撮影したデジタル画像を入力する部分である。４０は、利用者とのインタフェースを提供する画像表示部であり、基本形状モデル候補表示・選択部を兼ねている。画像入力部３０から取り出した実写画像をディスプレイ装置１０に表示する。
【００５６】
５０はポーズ情報指定部であり、ディスプレイ装置１０に表示された実写画像に写っている物体の頂点、辺をポインティングデバイス２０を利用してユーザに指定させ、実写画像の物体のポーズを入力する。指定する情報は物体の見えている頂点、そして見えている辺がどの頂点と頂点を結んでいるかである。
【００５７】
６０は基本ポーズ情報格納部であり、各基本形状モデルの様々なポーズの情報が基本ポーズ情報として格納されている。
【００５８】
７０はポーズマッチング部であり、取り込んだ実写画像の物体からポーズ情報指定部５０で指定して得たポーズと、基本ポーズ情報格納部に格納された基本ポーズ情報とのマッチングを実行する。
【００５９】
８０は自動フィッティング部であり、ポーズマッチング部７０によって決定された基本形状モデルとポーズを初期値として自動フィッティングを行う。
【００６０】
８５はテクスチャ処理部であり、入力された実写画像からテクスチャを抽出し、自動フィッティングが終了した三次元ＣＧモデル表面にテクスチャを貼り付けて三次元ＣＧモデルを完成する。
【００６１】
９０は、三次元ＣＧモデル格納部であり、実写画像から作成した三次元ＣＧモデルを格納する。
【００６２】
なお、全体の制御に必要な制御部、メモリ、デバイスドライバなどは説明の便宜上省略している。
【００６３】
図５は本発明の三次元ＣＧモデル作成装置の処理の概略を表わしたフローチャートである。
【００６４】
まずはユーザが作成しようとする物体が写っている実写画像を用意し、画像入力部３０により入力し、画像表示部４０は入力画像をディスプレイ１０に表示する（ステップＳ５０１）。
【００６５】
次に、ポーズ情報指定部５０において、ユーザはポインティングデバイス２０を使って実写画像に写っている物体の頂点の位置、および頂点同士を結ぶ辺の位置を指定することによりポーズ情報を指定する（ステップＳ５０２）。
【００６６】
次に、ポーズマッチング７０は、指定されたポーズと基本ポーズ情報格納部６０に登録された基本ポーズによりポーズマッチングを実行する（ステップＳ５０３）。
【００６７】
次に、ポーズマッチングにより検索された基本モデルを実写画像の物体と近似させるように調整する。自動フィッティング部８０により形状とポーズを基に辺の長さ、頂点の角度、ねじれの関係などの微調整を行なって自動フィッティングを行う（ステップＳ５０４）。これにより検索された基本モデルがユーザが指定した頂点に合うように変形・移動される。
【００６８】
最後に、実写画像から抽出したテクスチャ画像を貼り付け、三次元ＣＧモデルを作成する。作成した三次元ＣＧモデルを三次元ＣＧモデル格納部９０に格納する（ステップＳ５０５）。
【００６９】
以上、本実施形態１の三次元ＣＧモデル作成装置によれば、取り込んだ実写画像と基本モデルとのマッチングに際してのユーザによる入力支援を簡単にし、特別な熟練を必要とせずに３次元ＣＧモデルを作成することができる
（実施形態２）
本実施形態２は、請求項４に対する装置構成例を示す。実施形態２は、実写画像の物体の属性入力によりポーズマッチングを支援するものである。上記本発明の基本原理で示したものでは、例えば、ポーズのマッチングにおいて直方体と四角錐のポーズの中から該当するものを検索していた。上記例では２種類の基本モデルで説明したが、これが相当数あるとマッチング処理に時間がかかり、また複数のポーズが候補に挙げられてバックトラックが増えてしまう。そこで、属性指定部を用意し、実写画像の物体の属性を入力し、どの基本モデルかをあらかじめ指定させ、ポーズマッチング処理およびバックトラック処理の時間を軽減させるものである。属性の指定方法としては、例えば、“直方体”“四角錘”などの名称を指定しても良く、シンボルとして基本モデルを一覧表示してその中から該当するものを選ぶなどが考えられる。
【００７０】
図６は、実施形態２の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図６において、１００は属性指定部である。属性指定部１００は実写画像の物体の属性を指定する部分であり、例えば、“直方体”“四角錘”などの名称を指定しても良く、シンボルとして基本モデルを一覧表示してその中から該当するものを選ぶなどが考えられる。図２で示した基本ポーズ情報の表示例に見られるようにインデックス部分をポインティングデバイス２０でポイントすることにより指定しても良い。
【００７１】
なお、図６の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００７２】
（実施形態３）
本実施形態３は、請求項５に対する装置構成例を示す。実施形態３は、対象物体を異なる角度から撮影した複数の実写画像を用意してポーズマッチング処理を実行するものである。
【００７３】
図７は、実施形態３の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図７において、１１０は基本モデル・ポーズ判断部である。基本モデル・ポーズ判断部１１０は、複数の実写画像に対してポーズマッチング部７０が決定した形状モデルとポーズの候補からそれらの実写画像に写っている物体の形状とポーズを判断する。具体的には、同じ対象物体を異なる角度から撮影した複数の実写画像それぞれに対してポーズマッチング処理を行う。複数のポーズのマッチング結果の候補を照らし合わせ、すべての画像においてマッチングした結果だけを残す。これによりポーズマッチング精度が向上し、バックトラックの時間が軽減される。また、それぞれの画像で頂点と基本モデルを対応付けし、すべての画像で同時に自動フィッティングを行う。複数の画像を利用して自動フィッティングすることにより、自動フィッティングの精度が向上し、より正確な３次元ＣＧモデルを作成することができる。
【００７４】
なお、図７の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００７５】
本実施形態３によれば、複数の実写画像を利用することにより形状モデルを選択することなく正しい結果がすぐに得られる確率が高くなる。
【００７６】
（実施形態４）
本実施形態４は、請求項６、７に対する装置構成例を示す。実施形態４は、ポーズ全体のマッチングの前に、ポーズの一部分によるマッチング、つまりポーズ部分マッチング処理を実行するものである。上記基本原理の説明では、ポーズ情報指定部にてすべての頂点・辺を指定してからポーズマッチング部でポーズとのマッチングを行った。これを辺を一つ入力するごとにポーズ部分マッチングを行うようにする。
【００７７】
図８は実施形態４の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図８において、７１は、ポーズマッチング部７０のサブ構成であるポーズ部分マッチング部である。７２はボーズ補完部である。なお、図８の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００７８】
図９にポーズを指定している途中の図を示す。図９（ａ）を部分マッチングすると、図２の基本形状モデルによれば、直方体の右二つのポーズが候補として挙げられ、まだどのポーズか一に特定できない。次に、もう１本辺を指定して図９（ｂ）の状態になると、検索結果は直方体の一番右のポーズに絞られる。この場合、ボーズ補完部７２により頂点の対応付けを行い、残りのまだ指定されていない辺を推測し、ユーザが入力する前に表示し、マッチングが終了した旨を伝える。
【００７９】
また、図９（ａ）のように候補が少なくなった場合には、ポーズを一覧表示し、ユーザに選択させることで入力作業を補佐することもできる。このようにしてユーザのポーズ指定作業を手助けすることにより作業効率をアップさせる。
【００８０】
図１０は、本実施形態４のポーズ部分マッチング処理についての処理概略を示すフローチャートである。
【００８１】
利用者は、ポインティングデバイスなどにより頂点、辺を順に指定していく。頂点、辺を入力毎に（ステップＳ１００１）、ポーズ部分マッチング部７１は入力済みのポーズ部分を基に基本ポーズ情報格納部６０から該当する頂点数、辺の数を持つ基本形状モデルの一つをモデルとして仮決定する（ステップＳ１００２）。
【００８２】
ステップＳ１００３からステップＳ１００７の処理は、図３のステップＳ１００４からステップＳ３０８までの処理と同様である。
【００８３】
ステップＳ１００７において、すべての頂点の対応付けが終了した場合に（ステップＳ１００７：Ｙ）、候補モデルが複数存在しているかを確認する（ステップＳ１００８）。つまり、入力済みのポーズ部分情報から一の基本形状モデルが特定できたか否かを確認する。候補モデルが複数ある場合（ステップＳ１００８：Ｙ）、入力済みのポーズ部分情報だけでは情報が不足しているので、次の頂点、辺の入力を受け付けるためステップＳ１００１に戻る。候補モデルが複数ではなく一に特定された場合（ステップＳ１００８：Ｎ）、未入力の頂点、辺を補完し（ステップＳ１００９）、三次元ＣＧモデルを作成して終了する。
【００８４】
（実施形態５）
本実施形態５は、請求項８に対する装置構成例を示す。実施形態５は、基本形状モデルのポーズのパターンをすべて自動抽出する基本ポーズ情報を抽出するものである。基本ポーズ情報格納部６０に格納されているポーズ情報は、基本形状モデルの数に応じて大きくなり、また手作業で用意するとポーズを見落としてしまうことが考えられる。そこで基本形状モデルを三次元ＣＧモデルとして入力し、そのポーズを自動的に生成できるようにする。
【００８５】
図１１は実施形態５の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図１１において、１２０は基本ポーズ抽出部である。基本ポーズ抽出部１２０は、ある方向から基本形状モデルを見た画像を生成し、それを一つのポーズとする。その後、そのモデルを微少値だけ回転させる。ここでモデルのある面が隠れる、あるいは見えるようになると、その基本形状モデルのポーズが変化したとみなすことができる。そうでなければポーズは変化しなかったのでそのポーズを新たに基本ポーズ情報格納部６０に格納する必要はない。このようにしてすべての角度から見たモデルのポーズから、必要なだけのポーズを抽出することができる。
【００８６】
なお、図１１の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００８７】
（実施形態６）
本実施形態６は、請求項９に対する装置構成例を示す。実施形態６は、ポーズマッチング部７０、基本ポーズ情報格納部６０が学習機能を備えたものである。ポーズマッチング部７０は、ポーズマッチングの際に、基本ポーズ情報格納部６０にない新しいポーズがあれば、その新規ポーズの情報を基本ポーズ情報格納部６０に登録・保持させる。
【００８８】
（実施形態７）
本実施形態７は、請求項３に対する装置構成例を示す。実施形態７はポーズマッチングの履歴情報を活用するものである。
【００８９】
図１２は実施形態７の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図１２において、１３０はポーズマッチング履歴情報格納部である。ポーズマッチング履歴情報格納部１３０を用意し、ポーズマッチングの結果を履歴情報として記憶しておき、ポーズマッチングにおいてヒットした基本形状モデル、ポーズが複数ある場合に、ディスプレイ１０に複数の候補を表示する場合、ポーズマッチング履歴情報格納部１３０に記録されている過去のポーズマッチングの履歴情報を利用して候補間に優先順位を付けて利用者に提示することができる。
【００９０】
（実施形態８）
本発明にかかる３次元ポリゴン表示装置は、上記に説明した構成を実現する処理を記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる３次元ポリゴン表示装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１３に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【００９１】
本実施形態８の処理ステップを記録した記録媒体を用いれば、コンピュータを用いて、画面に表現される見た目の詳しさ、利用者の見た目の画質であるビジュアルクオリティを一定とする最適なポリゴン数を割り当てることができる３次元ポリゴン表示装置を実現することができる。
【００９２】
【発明の効果】
以上に説明したように、本発明の三次元ＣＧモデル作成装置によれば、基本形状モデルのポーズを利用することにより、簡単な作業でモデルを実写画像の物体に当てはめることができる。また、物体の形状を指定することで、計算効率を上げることができる。
【００９３】
また、複数の実写画像を利用することで、計算効率を上げ、正確なモデルを作成することができる。
【００９４】
さらに、物体の属性を利用することにより属性情報をもって検索対象を絞り込むことができ、ポーズマッチングをより効率的に実行できる。
【００９５】
ポーズ入力途中で部分マッチングを行うことにより、ユーザの入力作業効率を上げることができる。
【００９６】
三次元ＣＧモデルから、自動的に必要なすべてのポーズ情報を抽出、生成することにより、正確で大きなデータベースを作成することができる。
【００９７】
ポーズマッチング結果の履歴情報を利用することにより、ポーズマッチングの結果、複数の候補が表示される場合などに候補間に優劣を付けて利用者に提示することができ、さらに検索性能を向上することができる。
【００９８】
ポーズマッチング結果を学習することにより、検索性能をさらに向上させることができる。
【図面の簡単な説明】
【図１】本発明の三次元ＣＧモデル作成装置で用いる物体を撮影した実写画像の例を示す図および実写画像から頂点、辺を指定する例を示す図
【図２】本発明の三次元ＣＧモデル作成装置で用いる基本形状モデルのポーズ情報の例を示す図
【図３】本発明のポーズマッチング部７０を中心としたポーズのマッチング処理と頂点の対応付けの処理のフローチャート
【図４】本発明の実施形態１の装置構成概略を示すブロック図
【図５】本発明の三次元ＣＧモデル作成装置の処理の概略を表わしたフローチャート
【図６】本発明の実施形態２の装置構成概略を示すブロック図
【図７】本発明の実施形態３の装置構成概略を示すブロック図
【図８】本発明の実施形態４の装置構成概略を示すブロック図
【図９】実施形態４においてポーズを指定している途中の例を示す図
【図１０】本実施形態４のポーズ部分マッチング処理についての処理概略を示すフローチャート
【図１１】本発明の実施形態５の装置構成概略を示すブロック図
【図１２】本発明の実施形態７の装置構成概略を示すブロック図
【図１３】本発明の実施形態３の記録媒体の例を示す図
【符号の説明】
１０ ディスプレイ装置
２０ ポインティングデバイス
３０ 画像入力部
４０ 画像表示部
５０ ポーズ情報指定部
６０ 基本ポーズ情報格納部
７０ ポーズマッチング部
７１ ポーズ部分マッチング部
７２ ポーズ補完部
８０ 自動フィッティング部
９０ 三次元ＣＧモデル格納部
１００ 属性指定部
１１０ 基本モデル・ポーズ判断部
１２０ 基本ポーズ抽出部
１３０ ポーズマッチング履歴情報格納部
２００ 回線先のハードディスク等の記録媒体
２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２ ＣＤ−ＲＯＭ
２０３ フレキシブルディスク
２０４ コンピュータ
２０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、実写画像に写っている現実世界の物体を、三次元コンピュータグラフィックス（以下、ＣＧと略記する）モデル化して仮想世界に取り込む技術に関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により、高度な３次元コンピュータグラフィックスが処理できる環境が整いつつあり、３次元グラフィックスを処理するための専用のアクセラレータボードなども提供されつつある。グラフィックス処理能力の向上に伴い、計算機内で三次元ＣＧモデルを扱ったウォークスルーなどの仮想現実感システムの需要が増加している。この仮想現実感システムにおいて３次元オブジェクトを表示する場合、アニメータなどがＣＧにより人工的に作成した三次元モデルであると現実世界の実体としてのリアリティさを再現することが難しい。そこで現実世界の物体を仮想空間に取り込み、より自然に近い３次元オブジェクトを作成する手法が考えられている。つまり、実写画像を取り込んで画像処理技術により３次元ＣＧモデルを作成する方法である。
【０００３】
【発明が解決しようとする課題】
実写画像に写っている物体を三次元ＣＧモデル化するには、現状の画像処理技術では完全に自動処理することは不可能であり、ユーザの手によって入力支援する必要がある。従来技術においてこのユーザによる入力支援方法がいろいろと考えられている。
【０００４】
第１の方法は、最も一般的なものは異なる視点から物体を撮影した画像を複数枚用意し、それぞれの画像において物体の同じ部分を対応付ける手法である。一般にステレオ法と呼ばれている。
【０００５】
しかし、この第１の方法では、対応点を完全に自動指定することは困難であり、またユーザにより手動で指定するのも対応点数が多い場合には面倒である。
【０００６】
第２の方法は、あらかじめ用意された基本モデルを実写画像の上に重ねて表示し、モデルを操作して変形・調整し、実写画像に写っている物体と同じ姿勢にすることでモデルを作成する手法がある。
【０００７】
しかし、この第２の方法では、モデルを実写画像と同じ姿勢にするため移動、回転など操作が必要であり、これら操作には熟練技術を必要とする。
【０００８】
自動的にモデルを実写画像に写っている物体に合わせる手法も研究されているが、初期状態として、実写画像と基本形状モデルをある程度同じ姿勢で与える必要がある。そのため、上記第１の方法または第２の方法による入力の最終的な微調整に使われているものの、やはり、上記第１の方法および第２の方法に示した問題が生じる。
【０００９】
本発明は上記問題点を解決するもので、取り込んだ実写画像と基本モデルとのマッチングに際してのユーザによる入力支援を簡単にし、特別な熟練を必要とせずに３次元ＣＧモデルを作成することができる３次元ＣＧモデル生成装置を提供することを目的とする。
【００１０】
また、本発明は、基本モデルから、取り込んだ実写画像をより正確に表現した３次元ＣＧモデルを作成することができる３次元ＣＧモデル生成装置を提供することを目的とする。
【００１１】
また、本発明は、本発明の３次元ＣＧモデル生成装置をコンピュータを用いて構成するための処理ステップをコンピュータ読み取り可能な記録媒体により提供することを目的とする。
【００１２】
【課題を解決するための手段】
この目的を達成するために本発明の３次元ＣＧモデル生成装置は、取り込んだ三次元物体を写した二次元画像の情報を基にして写っている物体の三次元ＣＧモデルを作成する装置であって、物体をある視点から捉えた場合の画像データを入力する画像入力部と、画像の頂点と辺の関係をもって表わす情報をポーズ情報とし、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として格納しておく基本ポーズ情報格納部と、前記取り込んだ画像上で写っている物体の頂点と辺を指定してポーズ情報を取得するポーズ情報指定部と、前記ポーズ情報指定部により取得したポーズ情報と、前記基本ポーズ情報格納部に格納されている基本ポーズ情報とを比較し、一致するポーズ情報を持つ基本形状モデル及び一致するポーズを特定するポーズマッチングを行なうポーズマッチング部と、前記ポーズマッチング部により特定された基本形状モデルのポーズを前記取り込んだ画像のポーズに近似させるように変形・調整する自動フィッティング部とを備え、取り込んだ画像のポーズ情報を基に前記物体の三次元ＣＧモデルを作成することを特徴とする。
【００１３】
上記構成により、取り込んだ実写画像中の物体を、頂点および辺という基本的な要素とそれら要素間の情報をポーズ情報としてその特徴を抽出し、基本形状モデルとのポーズマッチングにより相当する基本形状モデルを選定することができる。
【００１４】
次に、本発明の３次元ＣＧモデル作成装置は、前記ポーズマッチングの結果、複数の基本形状モデルが、そのポーズ情報が一致するものとして得られた場合に、それら複数の基本形状モデルを候補として利用者に提示して利用者が選択できる基本形状モデル候補表示・選択部を備えることが好ましい。
【００１５】
上記構成により、ある方向から物体を捉えた画像の頂点と辺のポーズ情報のみでは、基本形状モデルから一の基本形状モデルを特定できない場合には、該当するそれら複数の候補を表示することができ、利用者の選択を簡単にするとともに最終的な認識を利用者の目認で行なうことができ、マッチング性能を向上させることができる。
【００１６】
次に、本発明の３次元ＣＧモデル作成装置は、過去のポーズマッチング結果の履歴情報を記憶しておくポーズマッチング履歴情報格納部を備え、前期基本形状モデル候補表示・選択部は複数の候補を表示する際に前記ポーズマッチング履歴情報に基づいて優先順位をつけて表示することが好ましい。
【００１７】
上記構成により、３次元ＣＧモデル作成装置は、学習機能を備えることができ、ポーズマッチングの結果、複数の候補がある場合でも、過去の履歴を基に優先順位をつけて利用者に提示することができ、利用者の選択処理をより簡単にすることができる。
【００１８】
ここで、優先順位とは、例えば、過去にマッチングした基本形状モデルとして選定された回数に従って優先順位をつけるもの、また、基本形状モデルとして選定されてからの経過時間の短さに従って優先順位をつけるもの（Ｌｅａｓｔ Ｒｅｃｅｎｔ Ｕｓｅｄ）などがある。
【００１９】
さらに優先順位付けした表示とは、例えば、優先順位順にソートして左から並べる、優先順位の高いもの程大きく表示する、優先順位を表わす数字を添え字として表示する、その他、色を工夫する、濃度を工夫するなど様々なバリエーションが考えられる。
【００２０】
次に、前記３次元ＣＧモデル作成装置は、前記取り込んだ画像に写っている物体の属性を指定する属性指定部を備え、前記ポーズマッチング部は、前記ポーズマッチングに先立ち、前記指定された属性に従って前記基本ポーズ情報格納部に格納されている基本ポーズ情報を絞り込んでおくことが好ましい。
【００２１】
上記構成により、基本ポーズ情報格納部に格納した基本形状モデルが多数登録されている場合でも、ポーズマッチングの対象として比較する基本形状モデルをその属性によりあらかじめ絞り込んでおくことができ、ポーズマッチング精度を向上させ、かつ、マッチング処理速度を向上することができる。特に、ポーズ情報のみによるポーズマッチングの結果のみによれば、複数の候補が表示され、利用者によるさらなる選択処理を必要となる場合でも、本構成を備えておけば指定属性によっても絞り込まれるため、絞り込み性能をさらに向上させることができる。
【００２２】
次に、前記取り込んだ画像が三次元ＣＧモデルを作成する物体について複数あり、前記ポーズマッチング部が、それぞれの画像についてポーズマッチングを行い、複数のポーズマッチングの結果から前記物体の基本形状モデルを判断することが好ましい。
【００２３】
上記構成により、物体の複数の方向からの画像を基に複数のポーズマッチングを行ない、複数のポーズマッチングの結果を併せて利用することにより、基本形状モデルの絞り込み精度をさらに向上させることができる。
【００２４】
次に、前記ポーズマッチング部は、前記ポーズ情報指定部から入力される前記取り込んだ画像の頂点と辺を順次指定してゆく途中過程において、指定入力済みの頂点と辺からなる部分ポーズ情報を基に前記基本ポーズ情報格納部に格納された基本形状モデルの部分ポーズ情報とマッチングをとるポーズ部分マッチング部と、前記ポーズ部分マッチング部によるポーズ部分マッチングの結果、該当する基本形状モデルを提示する基本形状モデル候補表示・選択部とを備え、前記ポーズ情報指定部から前記取り込んだ画像の頂点と辺の情報が入力されるに従って前記ポーズ部分マッチングの結果を更新して提示することが好ましい。
【００２５】
上記構成により、ポーズ情報指定部から利用者が取り込んだ画像上の頂点、辺を順次指定して行く過程において、頂点、辺の情報が入力されるごとに、ポーズ全体のうちのそれまでに入力済みの部分のポーズ情報であるポーズ部分情報に基づいて、部分的なポーズマッチングを実行し、その時点で絞り込める基本形状モデルの候補を動的に提示することができる。
【００２６】
次に、前記ポーズマッチング部が、さらに、前記基本形状モデル候補表示・選択部に提示された候補から、一の基本形状モデルを選択する基本形状モデル選択部を備え、利用者によるポーズ指定を補佐することが好ましい。
【００２７】
上記構成により、ポーズ部分マッチングにより提示された複数の基本形状モデルの候補から、利用者が当該物体に相当する基本形状モデルを視認でき、特定できる場合は基本形状モデル選択部により直接選定することができ、それ以上の頂点、辺の情報入力は不要となる。
【００２８】
次に、前記三次元ＣＧモデル作成装置は、さらに、基本形状モデルとして３次元ＣＧモデルを入力とし、前記基本形状モデルを一の視点から投影した２次元画像を生成し、前記２次元画像からポーズ情報を抽出し、前記視点を変え、前記ポーズ情報の抽出を繰り返し、前記当該基本形状モデルが持ちうるポーズのパターンすべてを抽出する基本ポーズ抽出部を備えることが好ましい。
【００２９】
上記構成により、基本ポーズ情報格納部に登録する基本ポーズ情報を自動生成することができる。
【００３０】
次に、前記取り込んだ画像に対して前記ポーズ情報指定部から入力されたポーズ情報が、前記ポーズ情報格納部にない場合、前記入力されたポーズ情報を基本形状モデルのポーズ情報として前記ポーズ情報格納部に登録・格納することが好ましい。
【００３１】
上記構成により、本発明の３次元ＣＧモデル作成装置は、利用するにつれ、基本形状モデルの登録データを追加更新、チューニングすることができ、ポーズマッチングの精度をさらに向上させることができる。
【００３２】
次に、本発明の目的を達成するため、取り込んだ三次元物体を写した二次元画像の情報を基にして写っている物体の三次元ＣＧモデルを作成する装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、物体をある視点から捉えた場合の画像を頂点と辺の関係をもって表わす情報をポーズ情報とし、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として格納しておく基本ポーズ情報格納処理ステップと、前記取り込んだ画像上で写っている物体の頂点と辺を指定してポーズ情報を取得するポーズ情報指定処理ステップと、前記ポーズ情報指定処理ステップにより取得したポーズ情報と前記基本ポーズ情報格納処理ステップにより格納されている基本ポーズ情報とを比較し、一致するポーズ情報を持つ基本形状モデル及び一致するポーズを特定するポーズマッチングを行なうポーズマッチング処理ステップと、前記ポーズマッチング処理ステップにより特定された基本形状モデルのポーズを前記取り込んだ画像のポーズに近似させるように変形・調整する自動フィッティング処理ステップとを備えた処理プログラムを記録したことを特徴とする。
【００３３】
上記構成により、コンピュータを用いて、取り込んだ実写画像中の物体を、頂点および辺という基本的な要素とそれら要素間の情報をポーズ情報としてその特徴を抽出し、基本形状モデルとのポーズマッチングにより相当する基本形状モデルを選定することができる３次元ＣＧモデル作成装置を実現することができる。
【００３４】
【発明の実施の形態】
以下、本発明の３次元ＣＧモデル作成装置の実施形態について、図面を参照しつつ説明する。まず、本発明の基本原理を説明し、次に、装置構成例を示す。
【００３５】
まず、本発明の基本原理を説明する。
【００３６】
本発明の３次元ＣＧモデル作成装置は、三次元ＣＧモデルにしたい物体をカメラ・ビデオで撮影し、撮影画像を取り込んで三次元ＣＧモデルとしてデジタル化する。図１（ａ）は物体を撮影した実写画像の例である。例として６面体（直方体）の撮影画像を上げる。撮影した画像は１枚で良いが斜めからなど、物体の立体としての特徴が良く表現されている撮影画像が望ましい。また、複数の方向から撮影した画像をそれぞれ用意して利用すれば、より正確な三次元ＣＧモデルを簡単に作成することができる。
【００３７】
取り込んだ実写画像から、物体の特徴を抽出するわけであるが、本発明はポーズ情報を利用する。ここで言うポーズとは物体の見え方のことであり、ポーズ情報として、物体の各頂点と辺の位置関係を表わす情報を抽出する。図１（ｂ）は、図１（ａ）に示した実写画像からその物体の頂点、辺を指定した状態の図である。一つの頂点から複数の辺が引けるよう、始点・終点が画像上でごく近距離にある場合は一つの頂点とみなすといった手法が必要である。図１（ｂ）に示すように、図１（ａ）の画像は７つの頂点と９つの辺を持ち、それぞれの頂点と辺の関係が図示したように抽出される。
【００３８】
上記ポーズ情報の抽出は、エッジ強調などの画像処理技術を適用し、ソフトウェア処理により自動化しても良いが、ここでは利用者により指定してゆく方法を説明する。装置利用者のインタフェースとなるディスプレイに図１（ａ）に示したような実写画像を表示する。利用者はマウスなどのポインティングデバイス、デジタイザなどを使用して、画像上で物体の頂点、辺をポイントし、ポーズを指定していく。例えば実写画像を下絵として背景に表示しておき、二次元ドローイングツールで線図を描いていくように実写画像中の物体の頂点を指定し、辺をなぞっていく。これで実写画像上での頂点の位置、各辺がどの頂点と頂点を結んでいるかといった情報が得られる。
【００３９】
次に、上記得たポーズ情報を手がかりとして、本３次元ＣＧモデル作成装置にあらかじめ登録・保持している基本形状モデルから合致するものを選定する。そのため、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として基本ポーズ情報格納部に格納しておく。ここで、ポーズ情報のすべてのパターンとは、当該物体を視点を変えて見た場合に採りうるポーズ情報のバリエーションすべてということであり、例えば、直方体、四角錘の基本形状モデルを例に上げると、基本ポーズ情報は図２のようになる。上段は直方体、下段は四角錐の例である。一番左はインデックスであり、“直方体”“四角錘”など基本形状モデルの名称を表示しても良く、また、シンボルとして特徴を良く表わす図形を表示しておいても良い。インデックスの右に並んでいるのが当該物体のポーズ情報のバリエーションである。直方体に対しては４つの基本ポーズ情報のバリエーションがあり、四角錘に対しては７つの基本ポーズ情報のバリエーションがある。ポーズ情報として同じであればどの視点から捉えたものでも同じバリエーションに分類される。なお、利用者が視覚的に把握しやすいように、ディスプレイ上には図２に示したような各ポーズ情報についての代表的な視点による代表的な画像を表示することが好ましい。
【００４０】
次に、ポーズのマッチングを行なう。ポーズマッチングは、頂点の数、位置関係、辺の数などを利用して行う。図１の例の場合、頂点の数は７、辺の数９、頂点、辺の接続関係から、ポーズマッチングの結果、実写画像の物体が、基本形状モデル直方体の一番右のポーズであることがわかる。
【００４１】
次に、実写画像上の物体と基本形状モデルをポーズとともに対応付ける。そのため、実写画像の頂点が、基本モデルのどの頂点に対応しているかを決定する。この判定には頂点と辺の関係を利用する。図１（ｂ）の画像の中で最も上部に位置する頂点は画像上、二つの辺が接続されている。ポーズには二つの辺が接続している頂点が３つあり、そのうちの一つと対応づける。そして辺の対極の頂点を次々と対応づけしていく。失敗したら最初からやり直す。このように試行錯誤的に実行し、すべての頂点と辺の関係が満足されるパターンを探す。
【００４２】
図３にポーズマッチング部７０を中心としたポーズのマッチング処理と頂点の対応付けの処理のフローチャートを整理して示す。
【００４３】
まず、実写画像から抽出した頂点数を判定する（ステップＳ３０１）。次に、実写画像から抽出した辺の数を判定する（ステップＳ３０２）。基本ポーズ情報格納部６０から該当する頂点数、辺の数を持つ基本形状モデルの一つをモデルとして仮決定する（ステップＳ３０３）。
【００４４】
仮決定したモデルの頂点と実写画像の頂点との対応付けを実行してすべての頂点と辺の接続関係が合致するものを特定するわけであるが、まず、仮決定したモデルの頂点のうち実写画像の頂点との対応付けがなされていないものが残っているかを確認する（ステップＳ３０４）。対応付けがなされていないものが残っていない場合（ステップＳ３０４：Ｎ）は、頂点と辺の関係が合致するパターンが存在しなかったことを意味するので仮決定したモデルが誤りであったとしてモデルの仮決定からやり直す。
【００４５】
対応付けがなされていないものが残っている場合（ステップＳ３０４：Ｙ）は、仮決定したモデルの一つの頂点と実写画像から抽出したポーズの一つの頂点とを仮に対応付ける（ステップＳ３０５）。
【００４６】
次に、辺でつながっている頂点を対応付け（ステップＳ３０６）、それら頂点から延びている辺の数を判定する（ステップＳ３０７）。
【００４７】
ステップＳ３０７の判定において不一致が検出された場合（ステップＳ３０７：Ｎ）は、ステップＳ３０５の頂点の仮対応付けが誤りであったことを意味するので、他の頂点を選んで仮対応付けを行う必要がある。まず、ステップＳ３０４に戻り、仮対応付けが行なわれていない頂点が残っているか否かをチェックし、残っている場合（ステップＳ３０４：Ｙ）、ステップＳ３０５以下のステップに進み、当該残っている頂点を使って仮対応付けをやり直す。仮対応付けが未だ行なわれていない頂点が残っていない場合（ステップＳ３０４：Ｎ）、当該基本形状モデルのすべての頂点において対応付けが失敗したこととなり、ステップＳ３０３の基本形状モデルの仮決定が誤りであったとしてステップＳ３０３に戻り、基本形状モデルの仮決定からやり直す。
【００４８】
ステップＳ３０７の判定において一致すると判定された場合（ステップＳ３０７：Ｙ）、すべての頂点の対応付けが終了しているか否か確認し（ステップＳ３０８）、まだ対応付けが終了していない頂点があれば（ステップＳ３０８：Ｎ）ステップＳ３０６〜ステップＳ３０７を繰り返す。すべての頂点の対応付けが終了すれば（ステップＳ３０８：Ｙ）、処理を終了する。
【００４９】
次に、ポーズと頂点の対応が決定したら自動フィッティングを行う。自動フィッティングに利用するモデルのポーズは基本ポーズ情報格納部に格納されているものを利用する。ここで、自動フィッティング処理とは、辺の長さ、頂点と辺の角度、ねじれの関係など実写画像の物体と立体的形状が一致するように微調整する。この自動フィッティングを行うと、その結果を実写画像上に基本形状モデルをスーパーインポーズして表示する。自動フィッティングが成功していれば実写画像に写っている物体と同じポーズで表示される。
【００５０】
その後、テクスチャを貼り付けることにより三次元ＣＧモデルが完成する。
【００５１】
以上が本発明の三次元ＣＧモデル作成装置の基本原理である。
【００５２】
次に、具体的な実施形態として各装置構成例を示す。
【００５３】
（実施形態１）
実施形態１として、本発明の請求項１、２に対する装置構成例を示す。
【００５４】
図４は、本実施形態１の装置構成概略を示すブロック図である。
【００５５】
図４において、１０はディスプレイ装置であり、実写画像やユーザが入力したポーズを表示する。２０はポインティングデバイスであり、画像上の位置指定などを行う。３０は画像入力部であり、カメラやビデオで撮影したデジタル画像を入力する部分である。４０は、利用者とのインタフェースを提供する画像表示部であり、基本形状モデル候補表示・選択部を兼ねている。画像入力部３０から取り出した実写画像をディスプレイ装置１０に表示する。
【００５６】
５０はポーズ情報指定部であり、ディスプレイ装置１０に表示された実写画像に写っている物体の頂点、辺をポインティングデバイス２０を利用してユーザに指定させ、実写画像の物体のポーズを入力する。指定する情報は物体の見えている頂点、そして見えている辺がどの頂点と頂点を結んでいるかである。
【００５７】
６０は基本ポーズ情報格納部であり、各基本形状モデルの様々なポーズの情報が基本ポーズ情報として格納されている。
【００５８】
７０はポーズマッチング部であり、取り込んだ実写画像の物体からポーズ情報指定部５０で指定して得たポーズと、基本ポーズ情報格納部に格納された基本ポーズ情報とのマッチングを実行する。
【００５９】
８０は自動フィッティング部であり、ポーズマッチング部７０によって決定された基本形状モデルとポーズを初期値として自動フィッティングを行う。
【００６０】
８５はテクスチャ処理部であり、入力された実写画像からテクスチャを抽出し、自動フィッティングが終了した三次元ＣＧモデル表面にテクスチャを貼り付けて三次元ＣＧモデルを完成する。
【００６１】
９０は、三次元ＣＧモデル格納部であり、実写画像から作成した三次元ＣＧモデルを格納する。
【００６２】
なお、全体の制御に必要な制御部、メモリ、デバイスドライバなどは説明の便宜上省略している。
【００６３】
図５は本発明の三次元ＣＧモデル作成装置の処理の概略を表わしたフローチャートである。
【００６４】
まずはユーザが作成しようとする物体が写っている実写画像を用意し、画像入力部３０により入力し、画像表示部４０は入力画像をディスプレイ１０に表示する（ステップＳ５０１）。
【００６５】
次に、ポーズ情報指定部５０において、ユーザはポインティングデバイス２０を使って実写画像に写っている物体の頂点の位置、および頂点同士を結ぶ辺の位置を指定することによりポーズ情報を指定する（ステップＳ５０２）。
【００６６】
次に、ポーズマッチング７０は、指定されたポーズと基本ポーズ情報格納部６０に登録された基本ポーズによりポーズマッチングを実行する（ステップＳ５０３）。
【００６７】
次に、ポーズマッチングにより検索された基本モデルを実写画像の物体と近似させるように調整する。自動フィッティング部８０により形状とポーズを基に辺の長さ、頂点の角度、ねじれの関係などの微調整を行なって自動フィッティングを行う（ステップＳ５０４）。これにより検索された基本モデルがユーザが指定した頂点に合うように変形・移動される。
【００６８】
最後に、実写画像から抽出したテクスチャ画像を貼り付け、三次元ＣＧモデルを作成する。作成した三次元ＣＧモデルを三次元ＣＧモデル格納部９０に格納する（ステップＳ５０５）。
【００６９】
以上、本実施形態１の三次元ＣＧモデル作成装置によれば、取り込んだ実写画像と基本モデルとのマッチングに際してのユーザによる入力支援を簡単にし、特別な熟練を必要とせずに３次元ＣＧモデルを作成することができる
（実施形態２）
本実施形態２は、請求項４に対する装置構成例を示す。実施形態２は、実写画像の物体の属性入力によりポーズマッチングを支援するものである。上記本発明の基本原理で示したものでは、例えば、ポーズのマッチングにおいて直方体と四角錐のポーズの中から該当するものを検索していた。上記例では２種類の基本モデルで説明したが、これが相当数あるとマッチング処理に時間がかかり、また複数のポーズが候補に挙げられてバックトラックが増えてしまう。そこで、属性指定部を用意し、実写画像の物体の属性を入力し、どの基本モデルかをあらかじめ指定させ、ポーズマッチング処理およびバックトラック処理の時間を軽減させるものである。属性の指定方法としては、例えば、“直方体”“四角錘”などの名称を指定しても良く、シンボルとして基本モデルを一覧表示してその中から該当するものを選ぶなどが考えられる。
【００７０】
図６は、実施形態２の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図６において、１００は属性指定部である。属性指定部１００は実写画像の物体の属性を指定する部分であり、例えば、“直方体”“四角錘”などの名称を指定しても良く、シンボルとして基本モデルを一覧表示してその中から該当するものを選ぶなどが考えられる。図２で示した基本ポーズ情報の表示例に見られるようにインデックス部分をポインティングデバイス２０でポイントすることにより指定しても良い。
【００７１】
なお、図６の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００７２】
（実施形態３）
本実施形態３は、請求項５に対する装置構成例を示す。実施形態３は、対象物体を異なる角度から撮影した複数の実写画像を用意してポーズマッチング処理を実行するものである。
【００７３】
図７は、実施形態３の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図７において、１１０は基本モデル・ポーズ判断部である。基本モデル・ポーズ判断部１１０は、複数の実写画像に対してポーズマッチング部７０が決定した形状モデルとポーズの候補からそれらの実写画像に写っている物体の形状とポーズを判断する。具体的には、同じ対象物体を異なる角度から撮影した複数の実写画像それぞれに対してポーズマッチング処理を行う。複数のポーズのマッチング結果の候補を照らし合わせ、すべての画像においてマッチングした結果だけを残す。これによりポーズマッチング精度が向上し、バックトラックの時間が軽減される。また、それぞれの画像で頂点と基本モデルを対応付けし、すべての画像で同時に自動フィッティングを行う。複数の画像を利用して自動フィッティングすることにより、自動フィッティングの精度が向上し、より正確な３次元ＣＧモデルを作成することができる。
【００７４】
なお、図７の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００７５】
本実施形態３によれば、複数の実写画像を利用することにより形状モデルを選択することなく正しい結果がすぐに得られる確率が高くなる。
【００７６】
（実施形態４）
本実施形態４は、請求項６、７に対する装置構成例を示す。実施形態４は、ポーズ全体のマッチングの前に、ポーズの一部分によるマッチング、つまりポーズ部分マッチング処理を実行するものである。上記基本原理の説明では、ポーズ情報指定部にてすべての頂点・辺を指定してからポーズマッチング部でポーズとのマッチングを行った。これを辺を一つ入力するごとにポーズ部分マッチングを行うようにする。
【００７７】
図８は実施形態４の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図８において、７１は、ポーズマッチング部７０のサブ構成であるポーズ部分マッチング部である。７２はボーズ補完部である。なお、図８の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００７８】
図９にポーズを指定している途中の図を示す。図９（ａ）を部分マッチングすると、図２の基本形状モデルによれば、直方体の右二つのポーズが候補として挙げられ、まだどのポーズか一に特定できない。次に、もう１本辺を指定して図９（ｂ）の状態になると、検索結果は直方体の一番右のポーズに絞られる。この場合、ボーズ補完部７２により頂点の対応付けを行い、残りのまだ指定されていない辺を推測し、ユーザが入力する前に表示し、マッチングが終了した旨を伝える。
【００７９】
また、図９（ａ）のように候補が少なくなった場合には、ポーズを一覧表示し、ユーザに選択させることで入力作業を補佐することもできる。このようにしてユーザのポーズ指定作業を手助けすることにより作業効率をアップさせる。
【００８０】
図１０は、本実施形態４のポーズ部分マッチング処理についての処理概略を示すフローチャートである。
【００８１】
利用者は、ポインティングデバイスなどにより頂点、辺を順に指定していく。頂点、辺を入力毎に（ステップＳ１００１）、ポーズ部分マッチング部７１は入力済みのポーズ部分を基に基本ポーズ情報格納部６０から該当する頂点数、辺の数を持つ基本形状モデルの一つをモデルとして仮決定する（ステップＳ１００２）。
【００８２】
ステップＳ１００３からステップＳ１００７の処理は、図３のステップＳ１００４からステップＳ３０８までの処理と同様である。
【００８３】
ステップＳ１００７において、すべての頂点の対応付けが終了した場合に（ステップＳ１００７：Ｙ）、候補モデルが複数存在しているかを確認する（ステップＳ１００８）。つまり、入力済みのポーズ部分情報から一の基本形状モデルが特定できたか否かを確認する。候補モデルが複数ある場合（ステップＳ１００８：Ｙ）、入力済みのポーズ部分情報だけでは情報が不足しているので、次の頂点、辺の入力を受け付けるためステップＳ１００１に戻る。候補モデルが複数ではなく一に特定された場合（ステップＳ１００８：Ｎ）、未入力の頂点、辺を補完し（ステップＳ１００９）、三次元ＣＧモデルを作成して終了する。
【００８４】
（実施形態５）
本実施形態５は、請求項８に対する装置構成例を示す。実施形態５は、基本形状モデルのポーズのパターンをすべて自動抽出する基本ポーズ情報を抽出するものである。基本ポーズ情報格納部６０に格納されているポーズ情報は、基本形状モデルの数に応じて大きくなり、また手作業で用意するとポーズを見落としてしまうことが考えられる。そこで基本形状モデルを三次元ＣＧモデルとして入力し、そのポーズを自動的に生成できるようにする。
【００８５】
図１１は実施形態５の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図１１において、１２０は基本ポーズ抽出部である。基本ポーズ抽出部１２０は、ある方向から基本形状モデルを見た画像を生成し、それを一つのポーズとする。その後、そのモデルを微少値だけ回転させる。ここでモデルのある面が隠れる、あるいは見えるようになると、その基本形状モデルのポーズが変化したとみなすことができる。そうでなければポーズは変化しなかったのでそのポーズを新たに基本ポーズ情報格納部６０に格納する必要はない。このようにしてすべての角度から見たモデルのポーズから、必要なだけのポーズを抽出することができる。
【００８６】
なお、図１１の構成要素のうち、図４の構成要素と同じものには同じ番号を付しており、ここでの説明は適宜省略する。
【００８７】
（実施形態６）
本実施形態６は、請求項９に対する装置構成例を示す。実施形態６は、ポーズマッチング部７０、基本ポーズ情報格納部６０が学習機能を備えたものである。ポーズマッチング部７０は、ポーズマッチングの際に、基本ポーズ情報格納部６０にない新しいポーズがあれば、その新規ポーズの情報を基本ポーズ情報格納部６０に登録・保持させる。
【００８８】
（実施形態７）
本実施形態７は、請求項３に対する装置構成例を示す。実施形態７はポーズマッチングの履歴情報を活用するものである。
【００８９】
図１２は実施形態７の３次元ＣＧモデル作成装置の概略構成を示すブロック図である。図１２において、１３０はポーズマッチング履歴情報格納部である。ポーズマッチング履歴情報格納部１３０を用意し、ポーズマッチングの結果を履歴情報として記憶しておき、ポーズマッチングにおいてヒットした基本形状モデル、ポーズが複数ある場合に、ディスプレイ１０に複数の候補を表示する場合、ポーズマッチング履歴情報格納部１３０に記録されている過去のポーズマッチングの履歴情報を利用して候補間に優先順位を付けて利用者に提示することができる。
【００９０】
（実施形態８）
本発明にかかる３次元ポリゴン表示装置は、上記に説明した構成を実現する処理を記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる３次元ポリゴン表示装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１３に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【００９１】
本実施形態８の処理ステップを記録した記録媒体を用いれば、コンピュータを用いて、画面に表現される見た目の詳しさ、利用者の見た目の画質であるビジュアルクオリティを一定とする最適なポリゴン数を割り当てることができる３次元ポリゴン表示装置を実現することができる。
【００９２】
【発明の効果】
以上に説明したように、本発明の三次元ＣＧモデル作成装置によれば、基本形状モデルのポーズを利用することにより、簡単な作業でモデルを実写画像の物体に当てはめることができる。また、物体の形状を指定することで、計算効率を上げることができる。
【００９３】
また、複数の実写画像を利用することで、計算効率を上げ、正確なモデルを作成することができる。
【００９４】
さらに、物体の属性を利用することにより属性情報をもって検索対象を絞り込むことができ、ポーズマッチングをより効率的に実行できる。
【００９５】
ポーズ入力途中で部分マッチングを行うことにより、ユーザの入力作業効率を上げることができる。
【００９６】
三次元ＣＧモデルから、自動的に必要なすべてのポーズ情報を抽出、生成することにより、正確で大きなデータベースを作成することができる。
【００９７】
ポーズマッチング結果の履歴情報を利用することにより、ポーズマッチングの結果、複数の候補が表示される場合などに候補間に優劣を付けて利用者に提示することができ、さらに検索性能を向上することができる。
【００９８】
ポーズマッチング結果を学習することにより、検索性能をさらに向上させることができる。
【図面の簡単な説明】
【図１】本発明の三次元ＣＧモデル作成装置で用いる物体を撮影した実写画像の例を示す図および実写画像から頂点、辺を指定する例を示す図
【図２】本発明の三次元ＣＧモデル作成装置で用いる基本形状モデルのポーズ情報の例を示す図
【図３】本発明のポーズマッチング部７０を中心としたポーズのマッチング処理と頂点の対応付けの処理のフローチャート
【図４】本発明の実施形態１の装置構成概略を示すブロック図
【図５】本発明の三次元ＣＧモデル作成装置の処理の概略を表わしたフローチャート
【図６】本発明の実施形態２の装置構成概略を示すブロック図
【図７】本発明の実施形態３の装置構成概略を示すブロック図
【図８】本発明の実施形態４の装置構成概略を示すブロック図
【図９】実施形態４においてポーズを指定している途中の例を示す図
【図１０】本実施形態４のポーズ部分マッチング処理についての処理概略を示すフローチャート
【図１１】本発明の実施形態５の装置構成概略を示すブロック図
【図１２】本発明の実施形態７の装置構成概略を示すブロック図
【図１３】本発明の実施形態３の記録媒体の例を示す図
【符号の説明】
１０ ディスプレイ装置
２０ ポインティングデバイス
３０ 画像入力部
４０ 画像表示部
５０ ポーズ情報指定部
６０ 基本ポーズ情報格納部
７０ ポーズマッチング部
７１ ポーズ部分マッチング部
７２ ポーズ補完部
８０ 自動フィッティング部
９０ 三次元ＣＧモデル格納部
１００ 属性指定部
１１０ 基本モデル・ポーズ判断部
１２０ 基本ポーズ抽出部
１３０ ポーズマッチング履歴情報格納部
２００ 回線先のハードディスク等の記録媒体
２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２ ＣＤ−ＲＯＭ
２０３ フレキシブルディスク
２０４ コンピュータ
２０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (10)
- 取り込んだ三次元物体を写した二次元画像の情報を基にして写っている物体の三次元ＣＧモデルを作成する装置であって、
物体をある視点から捉えた場合の画像データを入力する画像入力部と、
画像の頂点と辺の関係をもって表わす情報をポーズ情報とし、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として格納しておく基本ポーズ情報格納部と、
前記取り込んだ画像上で写っている物体の頂点と辺を指定してポーズ情報を取得するポーズ情報指定部と、
前記ポーズ情報指定部により取得したポーズ情報と、前記基本ポーズ情報格納部に格納されている基本ポーズ情報とを比較し、一致するポーズ情報を持つ基本形状モデル及び一致するポーズを特定するポーズマッチングを行なうポーズマッチング部と、
前記ポーズマッチング部により特定された基本形状モデルのポーズを前記取り込んだ画像のポーズに近似させるように変形・調整する自動フィッティング部とを備え、
取り込んだ画像のポーズ情報を基に前記物体の三次元ＣＧモデルを作成することを特徴とする三次元ＣＧモデル作成装置。 - 前記ポーズマッチングの結果、複数の基本形状モデルが、そのポーズ情報が一致するものとして得られた場合に、それら複数の基本形状モデルを候補として利用者に提示して利用者が選択できる基本形状モデル候補表示・選択部を備えた請求項１に記載の３次元ＣＧモデル作成装置。
- 過去のポーズマッチング結果の履歴情報を記憶しておくポーズマッチング履歴情報格納部を備え、前記基本形状モデル候補表示・選択部は複数の候補を表示する際に前記ポーズマッチング履歴情報に基づいて優先順位をつけて表示する請求項２に記載の３次元ＣＧモデル作成装置。
- 前記取り込んだ画像に写っている物体の属性を指定する属性指定部を備え、前記ポーズマッチング部は、前記ポーズマッチングに先立ち、前記指定された属性に従って前記基本ポーズ情報格納部に格納されている基本ポーズ情報を絞り込んでおく請求項１に記載の三次元ＣＧモデル作成装置。
- 前記取り込んだ画像が三次元ＣＧモデルを作成する物体について複数あり、前記ポーズマッチング部が、それぞれの画像についてポーズマッチングを行い、複数のポーズマッチングの結果から前記物体の基本形状モデルを判断する請求項１に記載の三次元ＣＧモデル作成装置。
- 前記ポーズマッチング部は、前記ポーズ情報指定部から入力される前記取り込んだ画像の頂点と辺を順次指定してゆく途中過程において、指定入力済みの頂点と辺からなる部分ポーズ情報を基に前記基本ポーズ情報格納部に格納された基本形状モデルの部分ポーズ情報とマッチングをとるポーズ部分マッチング部と、前記ポーズ部分マッチング部によるポーズ部分マッチングの結果、該当する基本形状モデルを提示する基本形状モデル候補表示・選択部とを備え、前記ポーズ情報指定部から前記取り込んだ画像の頂点と辺の情報が入力されるに従って前記ポーズ部分マッチングの結果を更新して提示する請求項１に記載の三次元ＣＧモデル作成装置。
- 前記ポーズマッチング部が、さらに、前記基本形状モデル候補表示・選択部に提示された候補から、一の基本形状モデルを選択する基本形状モデル選択部を備え、利用者によるポーズ指定を補佐する請求項６に記載の三次元ＣＧモデル作成装置。
- 基本形状モデルとして３次元ＣＧモデルを入力とし、前記基本形状モデルを一の視点から投影した２次元画像を生成し、前記２次元画像からポーズ情報を抽出し、前記視点を変え、前記ポーズ情報の抽出を繰り返し、前記当該基本形状モデルが持ちうるポーズのパターンすべてを抽出する基本ポーズ抽出部を備えた請求項１に記載の三次元ＣＧモデル作成装置。
- 前記取り込んだ画像に対して前記ポーズ情報指定部から入力されたポーズ情報が、前記ポーズ情報格納部にない場合、前記入力されたポーズ情報を基本形状モデルのポーズ情報として前記ポーズ情報格納部に登録・格納する請求項１に記載の三次元ＣＧモデル作成装置。
- 取り込んだ三次元物体を写した二次元画像の情報を基にして写っている物体の三次元ＣＧモデルを作成する３次元モデル作成装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
物体をある視点から捉えた場合の画像を頂点と辺の関係をもって表わす情報をポーズ情報とし、基本形状モデルのすべてのパターンのポーズ情報を基本ポーズ情報として格納しておく基本ポーズ情報格納処理ステップと、前記取り込んだ画像上で写っている物体の頂点と辺を指定してポーズ情報を取得するポーズ情報指定処理ステップと、前記ポーズ情報指定処理ステップにより取得したポーズ情報と前記基本ポーズ情報格納処理ステップにより格納されている基本ポーズ情報とを比較し、一致するポーズ情報を持つ基本形状モデル及び一致するポーズを特定するポーズマッチングを行なうポーズマッチング処理ステップと、前記ポーズマッチング処理ステップにより特定された基本形状モデルのポーズを前記取り込んだ画像のポーズに近似させるように変形・調整する自動フィッティング処理ステップとを備えた処理プログラムを記録したことを特徴とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05995099A JP3611239B2 (ja) | 1999-03-08 | 1999-03-08 | 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体 |
| US09/447,053 US6545673B1 (en) | 1999-03-08 | 1999-11-23 | Three-dimensional CG model generator and recording medium storing processing program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05995099A JP3611239B2 (ja) | 1999-03-08 | 1999-03-08 | 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000259855A JP2000259855A (ja) | 2000-09-22 |
| JP3611239B2 true JP3611239B2 (ja) | 2005-01-19 |
Family
ID=13127947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05995099A Expired - Fee Related JP3611239B2 (ja) | 1999-03-08 | 1999-03-08 | 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6545673B1 (ja) |
| JP (1) | JP3611239B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6744914B1 (en) * | 2000-04-28 | 2004-06-01 | Orametrix, Inc. | Method and system for generating a three-dimensional object |
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| US7193633B1 (en) * | 2000-04-27 | 2007-03-20 | Adobe Systems Incorporated | Method and apparatus for image assisted modeling of three-dimensional scenes |
| JP2002133438A (ja) * | 2000-10-19 | 2002-05-10 | Mitsubishi Electric Corp | ３次元グラフィックス描画装置、３次元グラフィックス描画方法および３次元ポリゴンデータを記録したコンピュータで読取可能な記録媒体 |
| JP2003271993A (ja) * | 2002-03-18 | 2003-09-26 | Hitachi Ltd | モニタ画像処理方法及び画像モニタシステム並びに保全作業システム |
| CN1313979C (zh) * | 2002-05-03 | 2007-05-02 | 三星电子株式会社 | 产生三维漫画的装置和方法 |
| CN1669052B (zh) * | 2002-07-10 | 2010-05-26 | 日本电气株式会社 | 使用三维物体模型的图像匹配系统以及图像匹配方法 |
| JP2004288170A (ja) * | 2003-03-05 | 2004-10-14 | Olympus Corp | 三次元モデル検索方法及びシステム |
| US7146594B1 (en) * | 2003-12-15 | 2006-12-05 | Ugs Corp. | System, method, and computer program product for schematic generation |
| EP2082372A1 (en) * | 2006-11-17 | 2009-07-29 | THOMSON Licensing | System and method for model fitting and registration of objects for 2d-to-3d conversion |
| US20080117215A1 (en) * | 2006-11-20 | 2008-05-22 | Lucasfilm Entertainment Company Ltd | Providing A Model With Surface Features |
| US20110043540A1 (en) * | 2007-03-23 | 2011-02-24 | James Arthur Fancher | System and method for region classification of 2d images for 2d-to-3d conversion |
| US8675951B2 (en) * | 2007-05-11 | 2014-03-18 | Three Pixels Wide Pty Ltd. | Method and system for generating a 3D model |
| US8754886B2 (en) * | 2008-12-29 | 2014-06-17 | Intel Corporation | Systems and methods for transporting physical objects from real physical life into virtual worlds |
| US10552550B2 (en) | 2015-09-26 | 2020-02-04 | Intel Corporation | Technologies for physical programming |
| JP6636894B2 (ja) * | 2016-10-20 | 2020-01-29 | 日本電信電話株式会社 | カメラ情報修正装置、カメラ情報修正方法、及びカメラ情報修正プログラム |
| JP2020187626A (ja) | 2019-05-16 | 2020-11-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP7504614B2 (ja) * | 2020-02-17 | 2024-06-24 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7444646B2 (ja) * | 2020-03-11 | 2024-03-06 | 株式会社メガチップス | ポーズデータ生成装置、ｃｇデータ生成システム、ポーズデータ生成方法、および、プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3472659B2 (ja) * | 1995-02-20 | 2003-12-02 | 株式会社日立製作所 | 映像供給方法および映像供給システム |
| US5854634A (en) * | 1995-12-26 | 1998-12-29 | Imax Corporation | Computer-assisted animation construction system using source poses within a pose transformation space |
| JP3361437B2 (ja) | 1996-12-13 | 2003-01-07 | 株式会社日立製作所 | ３次元ｃｇアニメーション作成装置及び作成方法 |
| US6373977B1 (en) * | 1998-03-22 | 2002-04-16 | Hewlett-Packard Company | Methods and apparatus for constructing a 3D model of a scene and rendering new views of the scene |
| US6342887B1 (en) * | 1998-11-18 | 2002-01-29 | Earl Robert Munroe | Method and apparatus for reproducing lighting effects in computer animated objects |
-
1999
- 1999-03-08 JP JP05995099A patent/JP3611239B2/ja not_active Expired - Fee Related
- 1999-11-23 US US09/447,053 patent/US6545673B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6545673B1 (en) | 2003-04-08 |
| JP2000259855A (ja) | 2000-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3611239B2 (ja) | 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体 | |
| EP3992918A1 (en) | Method for generating 3d expression base, voice interactive method, apparatus and medium | |
| US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
| JP6144364B2 (ja) | 作業支援用データ作成プログラム | |
| JP2559910B2 (ja) | ２次元グラフィック・ディスプレイにおける３次元点の指定方法及び装置 | |
| Cooper et al. | Active learning for real-time motion controllers | |
| JP3245336B2 (ja) | モデリング方法およびモデリングシステム | |
| CN113034581A (zh) | 基于深度学习的空间目标相对位姿估计方法 | |
| CN115713547A (zh) | 运动轨迹的生成方法、装置及处理设备 | |
| JP6425405B2 (ja) | 情報処理装置、方法、プログラム | |
| JP7178803B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| CN110415322A (zh) | 虚拟对象模型的动作指令的生成方法和装置 | |
| CN112732075B (zh) | 一种面向教学实验的虚实融合机器教师教学方法及系统 | |
| JP2014102685A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| EP4207094A2 (en) | Method of learning a target object by detecting an edge from a digital model of the target object and setting sample points, and method of augmenting a virtual model on a real object implementing the target object using the learning method | |
| CN106408654A (zh) | 一种三维地图的创建方法及系统 | |
| EP4020400A2 (en) | Image processing method and image processing device for generating 3d content by means of 2d images | |
| WO2020067204A1 (ja) | 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム | |
| CN111897432A (zh) | 位姿确定方法、装置和电子设备 | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| EP3779878A1 (en) | Method and device for combining a texture with an artificial object | |
| US10379620B2 (en) | Finger model verification method and information processing apparatus | |
| WO2021176877A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Brooks et al. | Comparative Analysis of Object Recognition Techniques Using 3D Shape Descriptors | |
| TW202422385A (zh) | 擴增實境影像識別的組合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041015 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071029 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |