JP3647407B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3647407B2 JP3647407B2 JP2001311441A JP2001311441A JP3647407B2 JP 3647407 B2 JP3647407 B2 JP 3647407B2 JP 2001311441 A JP2001311441 A JP 2001311441A JP 2001311441 A JP2001311441 A JP 2001311441A JP 3647407 B2 JP3647407 B2 JP 3647407B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- result
- defining
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる位置および方向に記録されたオブジェクトの画像が記録された位置および方向を計算するとともに、該オブジェクトの三次元（３Ｄ）コンピュータモデルを生成するための、当該画像を定める画像データのコンピュータ処理に関する。
【０００２】
【従来の技術】
オブジェクトの三次元コンピュータモデルは多くの用途に有用である。特に、三次元コンピュータモデルは、コンピュータゲームや計算機支援設計（ＣＡＤ）用途にしばしば使用される。加えて、インターネットサイトの装飾などの用途にオブジェクトの三次元コンピュータモデルを取り入れる需要が現在増加しつつある。
【０００３】
オブジェクトの三次元コンピュータモデルを生成するための多くの方法が知られている。特に、モデル化するオブジェクトの画像を異なる位置および方向に記録する方法が知られている。次いで、記録された各々の画像を処理して、それが記録された位置および方向を計算し、入力された画像、ならびに計算された位置および方向を用いてオブジェクトの三次元コンピュータモデルを生成する。
【０００４】
これらの既知の方法においては、モデル化するオブジェクトのみを画像化することができ、異なる入力画像間のオブジェクト上の特徴をマッチさせることによって各画像の位置および方向を計算することができる。そのような技術の例は、例えば、欧州特許第０８９８２４５号に記載されている。
【０００５】
あるいは、モデル化しようとする対象オブジェクトを、既知の特徴パターンを備えた較正オブジェクト上に配置することができ、該較正オブジェクトとともに対象オブジェクトの画像を異なる複数の位置および方向で記録することができる。次いで、記録された各々の画像を処理して、画像内の較正オブジェクト（＝ｓ）のパターンにおける特徴の位置に基づいて、画像が記録された位置および方向を計算する。このような技術の例は、例えば、Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １７（１９９９年）の１２５〜１３４ページに掲載された「Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ａ Ｍｏｂｉｌｅ Ｃａｍｅｒａ」（Ｎｉｅｍ）、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「Ｔｈｅ Ｌｕｍｉｇｒａｐｈ」、ＪＰ−Ａ−９−１７０９１４、および該出願人により現在出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）（その全内容が相互参照により本明細書に盛り込まれる）に記載されている。
【０００６】
入力画像の位置および方向が計算されると、対象オブジェクトの三次元コンピュータモデルを生成する一般的な方法では、各入力画像を処理して、対象オブジェクトに関連する画像データを他の画像データから分離し（切り離し）、次いで、例えば「Ｒａｐｉｄ Ｏｃｔｒｅｅ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ」（Ｒ．Ｓｚｅｌｉｓｋｉ、ＣＶＧＩＰ）：（Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、第５８巻、Ｎｏ．１、１９９３年６月、２３〜３２ページ）に記載されているようなボクセルカービング処理、または例えば「Ｗｈａｔ Ｄｏ Ｎ Ｐｈｏｔｏｇｒａｐｈｓ Ｔｅｌｌ Ｕｓ Ａｂｏｕｔ ３Ｄ Ｓｈａｐｅ？」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．６８０（１９９８年１月）、および「Ａ Ｔｈｅｏｒｙ ｏｆ Ｓｈａｐｅ ｂｙ Ｓｐａｃｅ Ｃａｒｖｉｎｇ」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．６９２（１９９８年５月）（いずれも著者はＫｉｒｉａｋｏｓ Ｎ．ＫｕｔｕｌａｋｏｓとＳｔｅｐｈｅｎ Ｍ．Ｓｅｉｔｚである）に記載されているようなボクセル着色法、または例えば「Ｌｏｏｋｉｎｇ ｔｏ Ｂｕｉｌｄ ａ Ｍｏｄｅｌ Ｗｏｒｌｄ： Ａｕｔｏｍａｔｉｃ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｓｔａｔｉｃ Ｏｂｊｅｃｔ Ｍｏｄｅｌｓ Ｕｓｉｎｇ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」（ＩｌｌｉｎｇｗｏｒｔｈおよびＨｉｌｔｏｎ）（ＩＥＥ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｊｏｕｒｎａｌ、１９９８年６月、１０３〜１１３ページ）に記載されているようなシルエット交差法として知られる処理を実行する。
【０００７】
しかしながら、これらの知られた方法にはいくつかの問題がある。
【０００８】
例えば、これらの技術を用いた三次元コンピュータモデルの生成は、不正確で柔軟性に乏しい。
【０００９】
【発明が解決しようとする課題】
したがって、本発明の一目的は、これらの問題の少なくとも１つに対処することを目的とする。
【００１０】
三次元コンピュータモデルにおける不正確さの問題はいくつかの要因に起因する。
【００１１】
より具体的には、対象オブジェクトをその上に配置させて画像化する表面（例えば、地面、テーブルまたは較正オブジェクト）上には影が落ちることが多く、それが対象オブジェクトの底部に繋がっているように見える。したがって、記録された画像を処理するときに、処理装置は対象オブジェクトと影を区別できないため、影が対象オブジェクトの一部であると判断され、対象オブジェクトの三次元コンピュータモデルが不正確になる。
【００１２】
さらに、画像化するために対象オブジェクトを配置する表面にある特徴（床またはテーブル上の表示、または較正オブジェクト上のパターンにおける特徴）は、記録された画像内の対象オブジェクトにしばしば接触するため、処理装置によって対象オブジェクトの一部であると判断され、やはり対象オブジェクトの三次元コンピュータモデルが不正確になる。
【００１３】
これに関しては、対象オブジェクトについて対称的な拡散照射を利用することによって影の問題に対処できる。しかし、これを実際に達成するのは極めて困難である。
【００１４】
さらに、物理的に切り離されていない複数の対象オブジェクトの部分集合の三次元コンピュータモデルを生成したり、または対象オブジェクトの一部の三次元コンピュータモデルを生成することがあり、三次元コンピュータモデルを生成するための上述の技術は、かかる場合に適用するには柔軟性に欠ける。これは、上述の技術では、モデル化した部分のうち、不要なオブジェクトおよび／または一部について除去するための修正を行うにあたり、最初に三次元コンピュータモデル全体を生成しなければならず、修正が困難になり、かつ／または修正に時間がかかるためである。
【００１５】
本発明の一目的は、１つまたは複数の上記問題に対処することである。
【００１６】
【課題を解決するための手段】
本発明によれば、対象オブジェクトの画像を処理して、どの画素が該対象オブジェクトに関連し、どの画素が関連していないかを判断することによって、ユーザに対して表示され、かつユーザが入力した信号に従って修正可能な画像区分を生成する画像処理装置および方法が提供される。修正すべき部分を含む画像区分は、画像が記録された位置および方向を定めるデータを使用して、対象オブジェクトの三次元コンピュータモデルを生成する。
【００１７】
ユーザが画像データ区分を編集するための機能を提供することにより、影や表面特徴などに関連する画素を対象オブジェクトの輪郭から取り除くことができるため、照明条件の選択におけるより高度な柔軟性、およびその上に対象オブジェクトを配置して画像化する表面の選択におけるより高度な柔軟性がユーザに提供される。
【００１８】
加えて、ユーザは画像データ区分を編集して、不必要なオブジェクトに関連する部分、または単一のオブジェクトの不必要な部分に関連する部分を除去することが可能である。まさにこのようにして、三次元コンピュータモデルが生成されるときに、それが不必要なオブジェクトまたは部分を含まないようにする。
【００１９】
本発明は、プログラマブル装置を上述のように動作するよう設定するためのコンピュータプログラムをも提供する。
【００２０】
【発明の実施の形態】
次に、添付の図面を参照しながら、例のみによって本発明の実施形態を説明する。以下に説明する実施形態は、較正オブジェクトとともに対象オブジェクトの画像を処理して、入力画像の位置および方向を計算するとともに、対象オブジェクトの三次元コンピュータモデルを生成することに関するものであるが、本発明はこれに限定されるものではない。むしろ、本発明は、上述したように、入力画像が記録された位置および方向を計算するのに較正オブジェクトを必要としないため、３次元モデル化に向けた対象オブジェクトのみの画像の処理に適用することも可能である。
【００２１】
図１に示すとおり、本発明の実施形態は、従来のパーソナル・コンピュータ・モニタのような表示装置４、キーボードやマウス等のユーザ入力装置６、プリンタ８、ならびにＷＡＣＯＭ社製ＰＬ４００のような画素ごとの表示制御が可能なフラット・パネルを含む表示パネル１０とともに、１つまたは複数のプロセッサ、メモリ、グラフィックス・カード等を従来通りに含むパーソナル・コンピュータのような処理装置２を備えている。
【００２２】
処理装置２は、プログラミング指示入力に従って作動するようプログラミングされており、プログラミング指示入力は、例えばディスク１２のようなデータ記憶装置に記憶されたものでも、信号１４のように処理装置２に入力されたものでも、あるいはその両方であってもよく、信号１４は、例えばリモート・データベースからインターネットのような通信ネットワーク（不図示）を介した伝送や無線による伝送によって入力されたものでも、キーボードのようなユーザ入力装置６を介してユーザが入力したものでも、あるいはその両方であってもよい。
【００２３】
以下により詳細に説明するが、該プログラミング指示は、異なる位置および方向に記録された１つまたは複数の対象オブジェクト（subject object）の複数の画像を定める入力データを処理して、それらの入力画像が記録された位置および方向を計算し、計算された位置および方向を用いて、該対象オブジェクトの三次元コンピュータ・モデルを定めるデータを生成するように処理装置２を設定させるための指示を含む。本実施形態では、その上に既知の特徴パターンを有する較正（calibration）オブジェクト（本実施形態では二次元の写真マット（photographic mat））上に対象オブジェクトの画像を形成し、画像内の較正オブジェクトパターンの特徴の位置を検出することによって、入力画像が記録された位置および方向を計算する。対象オブジェクトの三次元コンピュータモデルは従来のボクセルカービング技術を用いて生成する。三次元コンピュータモデルの生成に対する予備的な工程として、対象オブジェクトの各画像を処理して、対象オブジェクトに関連する画像データを他の画像データ（背景画像データ）から分離する。処理する入力画像毎に表示装置４上に、ユーザに対してアイコンを表示する。本実施形態では、各アイコンは入力画像の「サムネイル」画像（すなわち、入力画像の縮小画素バージョン）を含む。分割処理が進行と、入力画像に対する表示アイコンは、該入力画像の処理の進行に伴って変化する。本実施形態では、分割処理の結果を示すためにアイコンが変化する。さらに、処理装置２は、分割処理の結果を編集することが可能であり、ユーザは必要に応じて処理結果を編集する。このように、表示されたサムネイル画像は、（既に実行された処理、およびまだ実行されていない処理の観点から）２つの異なるレベルでの処理の状態、すなわち個々の入力画像に対する処理の状態、および全入力画像に対する包括的な処理の状態を示す。加えて、サムネイル画像を使用して進捗状況を表示すると、（上述の画像選択および編集上の利点を提供する）表示入力画像に対する個別的な進捗状況インディケータが不必要になるため、表示画面が小さい場合は特に有利である。
【００２４】
処理装置２は、プログラミング指示によってプログラミングされた場合には、処理操作を実行するための複数の機能的ユニットとして構成されているものとみなすことができる。当該機能的ユニット、およびそれらの相互接続の例を図１に示す。しかし、図１に示されているユニットおよび相互接続は概念的なものであり、理解の助けとなるように例示のために示されているにすぎない。すなわち、それらは、必ずしも処理装置２のプロセッサやメモリ等が構成するユニットおよび接続を表すものではない。
【００２５】
図１に示す機能的ユニットを参照すると、中央制御装置２０は、ユーザ入力装置６からの入力を処理するとともに、他の機能的ユニットに対しても制御および処理を行う。中央制御装置２０および他の機能的ユニットに使用されるメモリ２４が設けられている。
【００２６】
マット・ジェネレータ（mat generator）３０は、制御プリンタ８または表示パネル１０に対して制御信号を発生して、用紙のような記録媒体上に写真マット３４を印刷し、または表示パネル１０上に写真マットを表示する。以下により詳細に説明するが、該写真マットは所定の特徴パターンを含み、三次元コンピュータ・モデルを生成しようとするオブジェクトが、印刷された写真マット３４、または写真マットを表示する表示パネル１０上に配置される。次いで、オブジェクトおよび写真マットの画像が記録され、処理装置２に入力される。マット・ジェネレータ３０は、入力画像が記録された位置および方向を計算するのに処理装置２に使用される、写真マット上に印刷または表示された特徴パターンを定めるデータを記憶する。より具体的には、マット・ジェネレータ３０は、特徴パターンに対して相対的な座標系（実質的に写真マットの基準位置および方向を定める）とともに、特徴パターンを定めるデータを記憶し、処理装置２は、定められた座標系において入力画像が記録された位置および方向（したがって、基準位置および方向に対して相対的な位置および方向）を計算する。
【００２７】
本実施形態において、写真マット上のパターンは、例えば出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）に記載されている特徴の立体クラスタ（その全内容が相互参照により本明細書に盛り込まれる）、または、例えば特開平９−１７０９１４に記載されているように、各ドットがそれぞれ異なる色相／明度の組み合わせを持つことで各々のドットが特異性を有する有色ドットのパターンのような任意の既知の特徴パターン、例えばイメージ・アンド・ビジョン・コンピューティング１７（１９９９年）の１２５から１３４ページに掲載された「モバイル・カメラを用いた三次元オブジェクトの自動復元」（Ｎｉｅｍ）に記載されているように、既知の寸法を有し、各象限に位置マーカが付された放射線状の線分によって繋げられた同心円のパターン、あるいは、例えばコンピュータ・グラフィックス・プロシーディングス、年次会議シリーズ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「ザ・ルミグラフ」に記載されているように、寸法が異なる同心円を有するパターンを含む。
【００２８】
以降の説明では、プリンタ８によって記録媒体（本実施形態ではシートまたは紙）上にパターンを印刷して印刷写真マット３４を生成するものとするが、上述のように、その代わりにパターンを表示パネル１０上に表示させることも可能である。
【００２９】
入力データ記憶装置４０は、例えばディスク４２のような記憶装置に記憶されたデータや、処理装置２に伝送された信号４４、またはユーザ入力装置６を使用して処理装置２に入力される入力データを記憶する。入力データは、異なる位置および方向で記録された写真マット上の１つまたは複数の対象オブジェクトの複数の画像と、その背景色、またはマットの背景色と同じ色を有する異なるオブジェクトを示すために写真マットの一部とともにオブジェクトを画像化した際の背景を示す入力画像とを有する。さらに、本実施形態において、入力データは、画像を記録したカメラの固有パラメータ、すなわちアスペクト比、焦点距離、主点（光軸が画像形成面を横切る点）、一次半径後方歪係数およびスキュー角（画素格子の軸間の角度（軸が完全に直交しているとは限らないため））を定めるデータを含む。
【００３０】
例えば画像を記録したデジタル・カメラから画素データをダウンロードすることによって、またはスキャナ（不図示）を使用して写真をスキャンすることによって、入力画像を定める入力データを生成することができる。ユーザがユーザ入力装置６を使用することによって、カメラの固有パラメータを定める入力データを入力することができる。
【００３１】
カメラ計算器（camera calculator）５０は、各入力画像を処理して、写真マット上の特徴パターンの画像内の位置を検出するとともに、入力画像が記録されたときのカメラの位置および方向を計算する。
【００３２】
画像データ・セグメンタ（image data segmenter）６０は、各入力画像を処理して、対象オブジェクトに対応する画像データを画像内の他の画像データから分離させる。
【００３３】
画像分割エディタ（image segmentation editor）７０は、ユーザ管理下で動作可能となり、画像データ・セグメンタ６０によって生成された分割画像データを編集する。以下により詳細に説明するが、これによりユーザは、画像データ・セグメンタ６０によって生成した画像区分を補正し、特に、例えば画像データ・セグメンタ６０によって対象画像２１０に関連するものと誤って判断された画素を補正することが可能となる（例えば、写真マット３４および対象オブジェクトをその上に配置した場合の画像において表面上の目に見えるマークまたは他の特徴に関連する画素、写真マット３４、および／またはそれが配置される表面上の陰に関連する画素、ならびに入力画像内の対象オブジェクトの輪郭に接触する写真マット３４上の特徴パターンに関連する画素は、すべて画像データ分割時に誤って分類され、補正されなければ、得られる三次元コンピュータ・モデルが不正確になる）。
【００３４】
サーフェイス・モデラ（surface modeler）８０は、画像データ・セグメンタ６０および画像分割エディタ７０によって生成された分割画像データ、ならびにカメラ計算器５０によって生成された、画像が記録された位置および方向を定めるデータを処理して、入力画像内のオブジェクトの実際の表面を表す三次元コンピュータ・モデルを定めるデータを生成する。
【００３５】
サーフェイス・テクスチャラ（surface texturer）９０は、入力画像データからテクスチャ・データを生成して、サーフェイス・モデラ８０によって生成されたサーフェイス・モデル上に描写する。
【００３６】
アイコン・コントローラ１００は、ユーザが処理される入力画像、および処理装置２によって実行される処理の進捗状況を確認できるとともに、ユーザが処理の結果を確認し、必要に応じていずれかの結果を選択して編集できるように、入力画像を表すアイコンの表示装置４上の表示、ならびにそれに対して行われる処理を制御する。
【００３７】
ディスプレイ・プロセッサ１１０は、中央制御装置２０の制御下において、表示装置４を介してユーザに対する指示を表示する。さらに、中央制御装置２０の制御下において、ディスプレイ・プロセッサ１１０は、また、サーフェイス・モデラ８０によって生成されたサーフェイス・モデル・データを処理し、サーフェイス・テクスチャ９０によって生成されたテクスチャ・データをサーフェイス・モデル上に描写することによって、ユーザ選択の観点からオブジェクトの三次元コンピュータ・モデルの画像を表示する。
【００３８】
出力データ記憶装置１２０は、入力画像毎にカメラ計算器５０によって計算されたカメラの位置および方向、画像データ・セグメンタ６０および画像分割エディタ７０によって生成された各入力画像からの対象オブジェクトに関連する画像データ、ならびにサーフェイス・モデラ８０およびサーフェイス・テクスチャラ９０によって生成されたサーフェイス・モデルおよびそのテクスチャ・データを記憶する。中央制御装置２０は、例えばディスク１２２のような記憶装置上のデータ、および／または信号１２４のような出力データ記憶装置１２０からのデータの出力を制御する。
【００３９】
図２に示すとおり、印刷された写真マット３４が表面２００に配置され、三次元コンピュータ・モデルを生成しようとする対象オブジェクト２１０は、マット上に形成された特徴パターンがオブジェクト２１０を囲むように写真マット３４上に配置されている。
【００４０】
好ましくは、表面２００は、可能であれば、入力画像において、対象オブジェクト２１０に関連する画像データが画像データ・セグメンタ６０による分割処理時に他の画像データから正確に区別できるように、対象オブジェクト２１０のどの色とも異なる単一色を実質的に有する。しかし、以下により詳細に説明するが、これが当てはまらない場合、例えば対象オブジェクト２１０における色と同じ色を有するマーク２２０が表面２００上に（従って入力画像内に）現れる場合でも、本実施形態では、画像データ・セグメンタ６０によって生成された分割データをユーザが編集できるようにすることによって、これに対処するための処理を行うことが可能である。
【００４１】
デジタル・カメラ２３０を使用して、オブジェクト２１０の異なる部分を示すために、オブジェクト２１０および写真マット３４の画像を異なる位置および方向で記録する。本実施形態では、カメラ２３０によって記録された画像を定めるデータを、配線２３２を介して信号４４として処理装置２に入力する。
【００４２】
より具体的にいうと、本実施形態では、カメラ２３０は固定位置を維持し、オブジェクト２１０を載置した写真マット３４が表面２００上を（例えば矢印２０４の方向に）移動（トランスレート）および回転し、カメラ２３０に対して異なる位置および方向でオブジェクト２１０の写真が記録される。写真マット３４が表面２００上を回転およびトランスレートする間は、オブジェクト２１０がマット３４に対して移動することはない。
【００４３】
図３は、カメラ２３０に対して異なる位置および方向にあるオブジェクト２１０および写真マット３４の、処理装置２に入力された画像３００、３０２、３０４および３０６の例を示す図である。
【００４４】
図３は、カメラ２３０に対して異なる位置および方向にあるオブジェクト２１０および写真マット３４の、処理装置２に入力された画像３００、３０２、３０４および３０６の例を示す図である。
【００４５】
図４Ａ、図４Ｂは、本実施形態における入力データを処理する、処理装置２によって実行される処理操作を示す図である。
【００４６】
図４Ａを参照すると、ステップＳ４−２において、中央制御装置２０は表示プロセッサ１１０に、処理するデータを入力するようユーザに要求するメッセージを表示装置４上に表示させる。
【００４７】
ステップＳ４−４において、ステップＳ４−２における要求に応じてユーザが入力したデータを入力データ記憶装置４０に記憶させる。より具体的には、本実施形態において、入力データは、カメラ２３０に対して異なる位置および方向で記録されたオブジェクト２１０およびマット３４の画像を定める画像データと、写真マット３４のパターンが印刷されている記録物質と同じ色を有するオブジェクトとともに入力画像を記録したもので、写真マット３４を配置した表面２００を示す「背景画像」と、該入力画像を記録したカメラ２３０の固有パラメータ、すなわちアスペクト比、焦点距離、主点（光軸が画像形成面を横切る点）、一次半径後方歪係数およびスキュー角（画素格子の軸間の角度）を定めるデータとを含む。
【００４８】
ステップＳ４−６において、アイコン・コントローラ１００はディスプレイ・プロセッサ１１０に、ステップ４−４において記憶された対象オブジェクト２１０の各入力画像に対するそれぞれのアイコンを表示装置４上に表示させる。図５を参照してより具体的に説明すると、本実施形態では、各アイコン３１０〜３２４は、対応する入力画像の解像度縮小バージョン（サム・ネイル画像）を含むことによって、処理する入力画像が正しい画像であるかどうか（例えば、すべての画像が同じ対象オブジェクトの画像であること、および異なる対象オブジェクトの画像が存在しないこと）、ならびに入力画像が処理に適したものであること（例えば、対象画像が少なくとも１つの画像内において目に見える状態であること、および各入力画像においてオブジェクトの輪郭全体が目に見える状態であること、すなわちオブジェクトの一部が入力画像の側方から突出していないこと）をユーザが確認できるようにしている。各サム・ネイル画像は、従来の方法で生成される。すなわち、サム・ネイル画像を生成するためには、対応する入力画像を（所定数の近隣画素を含む各集合体から１つの画素を抜き出し、その集合体の中の他の画素がサム・ネイル画像内に表示されないようにそれらを拒絶するように）部分抽出するか、または対応する入力画像を処理し、入力画像内の所定数の近隣画素の値を平均することによってサム・ネイル画像内の各画素に対する値を計算する。
【００４９】
ステップＳ４−６において、アイコンコントローラ１００はディスプレイプロセッサ１１０に、ステップ４−４において記憶された対象オブジェクト２１０の各入力画像に対するそれぞれのアイコンを表示装置４上に表示させる。図５を参照してより具体的に説明すると、本実施形態では、各アイコン３１０〜３２４は、対応する入力画像の解像度縮小バージョン（「サムネイル」画像）を含むことによって、処理する入力画像が正しい画像であるかどうか（例えば、すべての画像が同じ対象オブジェクトの画像であること、および異なる対象オブジェクトの画像が存在しないこと）、ならびに入力画像が処理に適したものであること（例えば、対象オブジェクトの各部分が少なくとも１つの画像内において目に見える状態であるような異なる位置および方向の十分な入力画像があること、および各入力画像においてオブジェクトの輪郭全体が目に見える状態であること、すなわちオブジェクトの一部が入力画像の側方から突出していないこと）をユーザが確認できるようにしている。各サムネイル画像は、従来の方法で生成される。すなわち、サムネイル画像を生成するためには、対応する入力画像を（所定数の近隣画素を含む各集合体から１つの画素を抜き出し、その集合体の中の他の画素がサムネイル画像内に表示されないようにそれらを拒絶するように）部分抽出するか、または対応する入力画像を処理し、入力画像内の所定数の近隣画素の値を平均することによってサムネイル画像内の各画素に対する値を計算する。
【００５０】
再び図４Ａを参照すると、ステップＳ４−８において、中央コントローラ２０は、ユーザが、カーソル３４２およびマウスのような入力装置６を使用して、表示装置４上に表示された「画像変更」ボタン３４０（図５）をポイントおよびクリックすることにより１つまたは複数の入力画像を変化させることを指示する入力信号を処理装置２に入力したかどうかを判断する。
【００５１】
ステップＳ４−８において、ユーザが１つまたは複数の画像を変化させることを希望していると判断された場合は、ステップＳ４−１０において、中央制御装置２０は、ユーザ入力装置６を用いたユーザ指示入力の制御下で動作し、ユーザ指示に従って画像の削除および／または追加を行う。画像を追加するには、ユーザは、入力画像を定める画像データを入力するよう要求され、ユーザが入力したデータが入力データ記憶装置４０に記憶される。画像を削除するには、ユーザは、削除すべき入力画像に対応する表示アイコン３１０〜３２４をポイントおよびクリックし、キーボード・ユーザ入力装置６上の「削除」キーを押す。画像が追加または削除された後に、アイコン・コントローラ１００は、処理する入力画像をユーザが確認できるように、表示装置４上の表示されたサム・ネイル画像３１０〜３２４をディスプレイ・プロセッサ１１０に更新させる。
【００５２】
ステップＳ４−１２において、中央制御装置２０は、処理する画像に対してさらなる変更を加えるかどうかを判断する。入力画像に対してさらなる変更が加えられなくなるまでステップＳ４−１０およびステップＳ４−１２を繰り返す。
【００５３】
ステップＳ４−８またはステップＳ４−１２において、入力画像に変更を加えないものと判断される場合は（これは、ユーザが表示装置４に表示された「処理開始」ボタン３４４をポイントおよびクリックすることによって示される）、ステップＳ４−１４の処理に進む。以下に説明するように、サム・ネイル画像３１０〜３２４は、その処理を通じて表示されたままであるが、処理の進行に伴い、かつ特定のユーザ入力に応じて変化する。
【００５４】
ステップＳ４−１４において、カメラ計算器５０は、ステップＳ４−４において記憶され、ステップＳ４−１０において修正された入力データを処理して、入力画像毎に、写真マット３４に対する（かつオブジェクト２１０に対する）カメラ２３０の位置および方向を判断する。この処理は、各入力画像について、写真マット３４上にパターンを形成する画像内の特徴を検出し、その特徴パターンと写真マットについての記憶パターンとを比較して、マットに対するカメラ２３０の位置および方向を判断する。ステップＳ４−１４においてカメラ計算器５０が実行した処理は、写真マット３４に対して使用された特徴のパターンに依存する。したがって、出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）、特開平９−１７０９１４、イメージ・アンド・ビジョン・コンピューティング１７（１９９９年）の１２５から１３４ページに掲載された「モバイル・カメラを用いた三次元オブジェクトの自動復元」（Ｎｉｅｍ）、およびコンピュータ・グラフィックス・プロシーディングス、年次会議シリーズ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「ザ・ルミグラフ」に好適な処理が記載されている。
【００５５】
ステップＳ４−１６において、画像データ・セグメンタ６０は各入力画像を処理して、写真マット３４、および写真マット３４が配置される表面２００を表す画像データから、オブジェクト２１０を表す画像データを分離する（以下により詳細に説明するが、ステップＳ４−１６は、続くオブジェクト２１０の表面の三次元コンピュータ・モデルの生成に使用するデータを生成する、本実施形態における予備的なステップである）。
【００５６】
図６Ａ、図６Ｂ、図６Ｃは、ステップＳ４−１６において画像データ・セグメンタ６０により実行された処理操作を示す図である。
【００５７】
図６Ａに示すとおり、ステップＳ６−２からＳ６−１０において、画像データ・セグメンタ６０は、オブジェクト２１０そのものではなく、写真マット３４および背景２００を表す入力画像における色を示す定量値のハッシュ・テーブルを構築する。
【００５８】
より具体的には、ステップＳ６−２において、画像データ・セグメンタ６０は、図４ＡのステップＳ４−４において記憶された「背景画像」（すなわち、処理装置２に最後に入力される画像であって、表面２００およびオブジェクトを示し、写真マット３４が印刷される材料と同じ色を有する画像）における次の画素のＲＢＧデータ値を読み取る。
【００５９】
ステップＳ６−４において、画像データ・セグメンタ６０は、以下の式に従って、画素に対する定量赤色（Ｒ）値、定量緑色（Ｇ）値および定量青色（Ｂ）値を計算する。
【００６０】
ｑ＝（ｐ＋ｔ／２）／ｔ・・・（１）
ただし、「ｑ」は定量値、
「ｐ」は、ステップＳ６−２において読み取られたＲ、ＧまたはＢ値、
「ｔ」はしきい値であり、オブジェクト２１０を示す入力画像からのＲＧＢ値が、背景として分類される背景色にどの程度近いものでなければならないかを決定する。本実施形態では、「ｔ」を４に設定する。
【００６１】
ステップＳ６−６において、画像データ・セグメンタ６０は、ステップＳ６−４において計算された定量Ｒ、ＧおよびＢ値を従来の方法によって「三重値（triple value）」に統合する。
【００６２】
ステップＳ６−８において、画像データ・セグメンタ６０は、ステップＳ６−４において計算された定量Ｒ、ＧおよびＢ値にハッシング関数（hashing function）を適用してハッシュ・テーブル内のビン（ｂｉｎ）を定め、この定められたビンにステップＳ６−６において定めた「三重」値を加える。より具体的には、本実施形態において、画像データ・セグメンタ６０は、ハッシュ・テーブル内のビンを定めるのに、定量Ｒ、ＧおよびＢ値に以下のハッシング関数を適用する。
【００６３】
ｈ（ｑ）＝（ｑｒｅｄ＆７）＊２＾６＋（ｑｇｒｅｅｎ＆７）＊２＾３＋（ｑｂｌｕｅ＆７）・・・（２）
すなわち、ハッシュ・テーブル内のビンは、各色の３つの最小桁ビットによって定められる。この関数は各ビンが少数の「三重」値のみを有するように、試行しながらデータをハッシュ・テーブル内の利用可能なビンに分配するように選択される。本実施形態では、ステップＳ６−８において、各「三重」値がハッシュ・テーブルに一度だけ加えられるように、「三重」値がビン内に存在しない場合にのみ、「三重」値をビンに加える。
【００６４】
ステップＳ６−１０において、画像データ・セグメンタ６０は、背景画像内に他の画素が存在するかどうかを判断する。「背景」画像内の各画素が上述の方法で処理されるまで、ステップＳ６−２からステップＳ６−１０を繰り返す。この処理の結果として、「背景」画像における色を表す値を含むハッシュ・テーブルが生成される。
【００６５】
ステップＳ６−１２からＳ６−４８において、画像データ・セグメンタ６０は、次に各入力画像を考慮し、ハッシュ・テーブルを使用して、写真マット３４および背景に関連する入力画像内のデータを、オブジェクト２１０に関連する入力画像内のデータから分離する。入力画像に対してこの分割処理が行われている間に、ユーザが（対応するアイコンを見ることによって）個々の入力画像に対する処理の進捗状況を監視し、また（既に分割が行われた画像の数と、まだ分割が行われていない画像の数を確認することによって）包括的な処理の進捗状況を監視できるように、表示装置４上に表示された対応するアイコン３１０〜３２４が変化する。
【００６６】
本実施形態では、ハッシュ・テーブルを生成するためにステップＳ６−２からＳ６−１０において処理された「背景」画像は、写真マット３４上の特徴パターンを示さない。したがって、ステップＳ６−１２からＳ６−４８において行われた分割は、オブジェクト２１０に関連する画素データとマット３４上の特徴パターンに関連する画素データとを区別するものではない。その代わり、本実施形態では、以下により詳細に説明するが、オブジェクト２１０の表面の三次元コンピュータ・モデルを生成するためにサーフェイス・モデラ８０によって実行された処理を、写真マット３４上の特徴パターンに関連する画素がサーフェイス・モデルに寄与しないように行う。
【００６７】
ステップＳ６−１２において、画像データ・セグメンタ６０は次の入力画像の処理に移り、ステップＳ６−１４において、入力画像内の次の画素に対するＲ、ＧおよびＢ値を読み取る（この画素を第１の画素として、第１のタイム・ステップＳ−１４を実行する）。
【００６８】
ステップＳ６−１６において、画像データ・セグメンタ６０は、上記の式（１）を用いて、画素に対する定量Ｒ値、定量Ｇ値および定量Ｂ値を計算する。
【００６９】
ステップＳ６−１８において、画像データ・セグメンタ６０は、ステップＳ６−１６において計算された定量Ｒ、ＧおよびＢ値を「三重値」に統合する。
【００７０】
ステップＳ６−２０において、画像データ・セグメンタ６０は、上記の式（２）によるハッシング関数を、ステップＳ６−１６において計算された定量値に適用して、ステップ６−２からステップ６−１０において生成されたハッシュ・テーブル内のビンを定める。
【００７１】
ステップＳ６−２２において、画像データ・セグメンタ６０は、ステップＳ６−２０において定められたハッシュ・テーブルビン内の「三重」値を読み取り、これらの「三重」値は、写真マット３４の材料および背景表面２００の色を表す。
【００７２】
ステップＳ６−２４において、画像データ・セグメンタ６０は、ステップＳ６−１８において生成された「三重」値であって、現在考慮されている入力画像内の画素の三重値が、ハッシュ・テーブル・ビン内の背景「三重」値のいずれかと同じであるかどうかを判断する。
【００７３】
ステップＳ６−２４において、画素の該「三重」値が１つの背景「三重」値と同じであると判断された場合は、ステップＳ６−２６において、該画素は背景画素であると判断され、該画素の値を「黒色」に設定する。
【００７４】
一方、ステップＳ６−２４において、該画素の「三重」値が背景のいずれの「三重」値とも同じでないと判断された場合は、ステップＳ６−２８において、該画素はオブジェクト２１０の一部であり、画像データ・セグメンタ６０は該画素の値を「白色」に設定する。
【００７５】
ステップＳ６−３０において、画像データ・セグメンタ６０は、入力画像内に他の画素が存在するかどうかを判断する。入力画像内の各画素が上述の方法で処理されるまで、ステップＳ６−１４からステップＳ６−３０を繰り返す。
【００７６】
ステップＳ６−３２からＳ６−４６において、画像データ・セグメンタ６０は、背景画素またはオブジェクト画素としての画像画素の分類におけるエラーを補正するとともに、対応するサム・ネイル画像を更新して、分割処理の現在の状態を示すための処理を実行する。
【００７７】
より具体的には、ステップＳ６−３２において、画像データ・セグメンタ６０は、メディアン・フィルタとして使用する円形マークを定める。本実施形態において、外円形マークは４画素分の半径を有する。
【００７８】
ステップＳ６−３４において、画像データ・セグメンタ６０は、ステップＳ６−２６およびＳ６−２８において生成された２値画像内の次の画素（この画素を第１の画素として、一巡目のステップＳ６−３４が実行される）の中央に、Ｓ６−３２において定められたマスクの中心を配置するための処理を行う。
【００７９】
ステップＳ６−３６において、画像データ・セグメンタ６０は、マスク内の黒色画素の数と白色画素の数をカウントする。
【００８０】
ステップＳ６−３８において、画像データ・セグメンタ６０は、マスク内の白色画素の数が、マスク内の黒色画素の数より多いか、またはそれと同じであるかどうかを判断する。
【００８１】
ステップＳ６−３８において、白色画素の数が黒色画素の数より多いか、またはそれと同じであると判断された場合は、ステップＳ６−４０において、画像データ・セグメンタ６０は、マスクの中央の画素の値を白色に設定する。一方、ステップＳ６−３８において、黒色画素の数が白色画素の数より多いと判断された場合は、ステップＳ６−４２において、画像データ・セグメンタ６０は、マスクの中央の画素の値を黒色に設定する。
【００８２】
ステップＳ６−４４において、アイコン・コントローラ１００は、現在分割処理が行われている入力画像に対する表示装置４上に表示されたアイコンをディスプレイ・プロセッサ１１０に更新させる。図７を参照してより具体的に説明すると、本実施形態では、ステップＳ６−３４からステップＳ６−４２で画素に対して既に行われた分割処理の結果を考慮して、分割が行われている画像に対応するアイコン（図７の例ではアイコン３１０）をアイコン・コントローラ１００によって変化させる。したがって、アイコン３１０は、入力画像内の各画素が処理されるのに伴って徐々に更新される。本実施形態では、アイコン・コントローラ１００は、背景を表すものと判断される入力画像における画像データが、サム・ネイル画像における所定の色、例えば青（図７の例ではシェーディングによって表されている）として示されるように、ディスプレイ・プロセッサ１１０によりサム・ネイル画像を変化させる。図７では、第１の入力画像の約５分の４が既に処理され、入力画像の最下部（図７ではアイコン３１０の非陰影部によって表される）がまだ処理されていない状態についてのアイコンが示されている。
【００８３】
このようにしてアイコンが変更された結果として、ユーザは、入力画像の既に処理された部分を確認するとともに、まだ処理されていない包括的な入力画像をも確認することが可能になるばかりでなく、分割処理の結果を確認することができ、したがって何らかの修正が必要であるかどうかを判断することができるようになる。
【００８４】
再び図６Ｃを参照すると、ステップＳ６−４６において、画像データ・セグメンタ６０は、２値画像内に他の画素が存在するかどうかを判断し、各画素が上述の方法で処理されるまで、ステップＳ６−３４からステップＳ６−４６が繰り返される。
【００８５】
ステップＳ６−４８において、画像データ・セグメンタ６０は、処理すべき他の画像が存在するかどうかを判断する。各入力画素が上述の方法で処理されるまで、ステップＳ６−１２からステップＳ６−４８が繰り返す。
【００８６】
再び図４Ｂを参照すると、ステップＳ４−１８において、中央制御装置２０は、ステップＳ４−１６において生成された画像区分の修正をユーザが希望していることを示す信号（この信号は、本実施形態において、修正することが望まれる区分に対応するアイコン３１０〜３２４をポイントおよびクリックすることによって、ユーザにより生成されている）を、ユーザ入力装置６を介してユーザから受信したかどうかを判断する。
【００８７】
ステップＳ４−１８において、画像区分を変化させるものと判断した場合は、ステップＳ４−２０において、画像分割エディタ７０は、ユーザ入力指示に従って、ステップＳ４−１８においてユーザが選択した区分を修正する。
【００８８】
図８は、ステップＳ４−２０における画像区分についての対話型式で修正する際に画像分割エディタ７０によって実行される処理操作を示す図である。
【００８９】
図８を参照すると、ステップＳ８−２において、画像分割エディタ７０は、ステップＳ４−１８においてユーザが（対応するアイコンをポイントおよびクリックすることによって）選択した画像区分を表示装置４上にディスプレイ・プロセッサ１１０によって表示させて編集を行う。図９を参照してより具体的に説明すると、本実施形態では、ステップＳ４−１８においてユーザが選択した画像区分をアイコン画像内よりも大きい形でウィンドウ４００内に表示させる。本実施形態では、ウィンドウ４００内に表示された画像区分は、当該区分を生成するために処理された入力画像と同じ数の画素を有する。さらに、ユーザが選択したアイコン（図９の例ではアイコン３１８）の境界を強調表示するか、あるいは他のアイコンと区別して、これは編集用に拡大された形で表示された区分であることを示す。
【００９０】
ステップＳ８−２において、画像分割エディタ７０は、ウィンドウ４００内の表示画像区分上に、ユーザにより移動可能なウィンドウ４０２をディスプレイ・プロセッサ１１０に表示させる。さらに、画像分割エディタ７０は、ステップＳ４−１６においてオブジェクト２１０または写真マット３４上の特徴パターンに属するものと画像データ・セグメンタ６０によって判断された画素、ならびに背景画素に属するものと判断された画素をユーザが確認できるように、ウィンドウ４０２に含まれる画像区分の部分が拡大された形で表示されるさらなるウィンドウ４１０をディスプレイ・プロセッサ１１０に表示させる。
【００９１】
ステップＳ８−４において、画像分割エディタ７０は、ユーザ指示に従って、ウィンドウ４１０内に表示された画素を、背景画素からオブジェクト画素（すなわち、オブジェクト２１０または写真マット３４上の特徴パターンを表す画素）に変化させ、かつ／またはオブジェクト画素を背景画素に変化させる。より具体的には、編集のために、画像分割エディタ７０は、ユーザがウィンドウ４１０において変更すべき画素を指定するためにマウスのようなユーザ入力装置６を使用して動かすことのできる、本実施形態ではブラシの形をしたポインタ４１２をディスプレイ・プロセッサ１１０に表示させる。本実施形態では、ユーザがポインタ４１２でタッチする各画素は、それが以前は背景画素であればオブジェクト画素に変化し、あるいは以前はオブジェクト画素であれば背景画素に変化する。本実施形態では、分割エディタ７０は、選択することによって（より多くの画素を同時に指定できることによってウィンドウ４１０内の広いエリアを迅速に変化させることができるように）ポインタ４１２が広くなるユーザ選択可能ボタン４１４、および選択することによってポインタ４１２が狭くなる、ユーザ選択可能ボタン４１６をディスプレイ・プロセッサ１１０に表示させる。
【００９２】
このように処理を実行することにより、ユーザは、例えば画像データ・セグメンタ６０により生成された区分を編集し、画像データ・セグメンタ６０によってオブジェクト２１０に関連するものと誤って判断されたあらゆる画素（例えば、対象オブジェクト２１０における色と同じ色を有する場合は、画像データ・セグメンタ６０によって対象オブジェクト２１０に関連する画像データと区別されることのない、表面２００上のマーク２２０に関連する画素データ）を背景画素として指定し、かつ／または補正されなければ、サーフェイス・モデラ８０によって続いて生成される対象オブジェクトの三次元コンピュータ・モデル内にエラーを生じてしまう、（図９の例に示すような）画像区分内の対象オブジェクト２１０の輪郭に触れる写真マット３４上の各特徴パターンに関連する画素を背景画素として指定することができる。同様に、ユーザは、画像データ・セグメンタ６０によって対象オブジェクト２１０に関連するものと誤って判断された写真マット３４および／または表面２００上の陰に関連する画素を背景画素として指定することができる。
【００９３】
ステップＳ８−６において、ユーザが、（異なるアイコン３１０〜３２４をポイントおよびクリックするか、または「処理の開始」ボタン３４４をポイントおよびクリックすることによって）現在表示されている区分の編集を終えた後に、アイコン・コントローラ１００は、ステップＳ８−４においてユーザが行った画像区分に対する変更を示すために、ステップＳ８−４においてユーザにより編集された区分に対応する表示アイコン（図９の例ではアイコン３１８）をディスプレイ・プロセッサ１１０により変化させる。
【００９４】
再び図４Ｂを参照すると、ステップＳ４−２２において、画像分割エディタ７０は、ユーザが画像区分に対してさらなる変更を加えることを希望しているかどうか、すなわちユーザがさらなるアイコン３１０〜３２４をポイントおよびクリックしたかどうかを判断する。
【００９５】
ステップＳ４−１８またはＳ４−２２において、画像区分に対してさらなる変更が加えられない（すなわち、ユーザが「処理の開始」ボタン３４４をポイントおよびクリックした）ものと判断されたときは、処理はステップＳ４−２４に進む。
【００９６】
ステップＳ４−２４において、サーフェイス・モデラ８０は、対象オブジェクト２１０の表面の三次元コンピュータ・モデルを定めるデータを生成するための処理を行う。
【００９７】
本実施形態では、ステップＳ４−２４における処理は、従来の方法で実行され、以下の３つの段階を含む。
【００９８】
（１）ステップＳ４−１４において生成されたカメラの位置および方向、ならびにステップＳ４−１６およびＳ４−２０における分割画像データを処理して、オブジェクトを包含するボクセルの三次元グリッドを定めるデータを含む、ボクセル・カービング（voxel carving）を生成する。サーフェイス・モデラ８０は、従来の方法、例えば「画像シーケンスからの高速八部木構成」（Ｒ．Ｓｚｅｌｉｓｋｉ、ＣＶＧＩＰ）：（イメージ・アンダースタンディング、第５８巻、Ｎｏ．１、１９９３年７月、２３〜３２ページ）に記載されているような方法で、この段階についての処理を行う。しかし、本実施形態では、ボクセル・カーブ処理が行われる、サーフェイス・モデラ８０によって定められる開始ボリュームは、垂直方向の側面と、水平方向の上面および底面を有する直平行六面体を含む。垂直方向の側面は、写真マット３４上の特徴パターンのエッジに触れるように（したがって、全面的に対象オブジェクト２１０を包含するように）配置される。上面の位置は、カメラ２３０の焦点から、ステップＳ４−４において記憶されたいずれか１つの入力画像の上端を通る線と、写真マット３４の中心を通る鉛直線とを交差させることによって定められる。より具体的には、ステップＳ４−１４において行われた位置および方向の計算の結果として、カメラ２３０の焦点および画像の上端が把握され、その線が写真マット３４の中心を通る鉛直線と交差する点に対応するように上面の高さを設定することによって、（対象オブジェクト２１０の最上部が各入力画像内で目に見える状態にあると仮定すれば）その上面が常に対象オブジェクト２１０の最上部の上に位置することになる。水平方向の底面の位置は、写真マット３４の平面より若干上にくるように設定される。このように底面の位置を設定することによって、（ステップＳ４−１６またはステップＳ４−２０において実行された画像分割において、対象オブジェクトから分離されなかった）写真マット３４上のパターンにおける特徴はボクセル・カービング処理を通じて無視されることになり、対象オブジェクト２１０の三次元表面モデルのみが生成されることになる。
【００９９】
（２）ボクセル・カービングを定めるデータを処理して、オブジェクト２１０の表面を定める三角形の三次元サーフェイス・メッシュを定めるデータを生成する。本実施形態では、この段階の処理は、例えばＷ．Ｅ．ＬｏｒｅｎｓｅｎおよびＨ．Ｅ．Ｃｌｉｎｅによる「マーチング・キューブ：高解像度三次元面構成アルゴリズム」（コンピュータ・グラフィックス、ＳＩＧＧＲＡＰＨ８７会報、２１：１６３−１６９、１９８７年７月）、またはＪ．Ｂｌｏｏｍｅｎｔｈａｌによる「暗示的表面ポリゴナイザ」（グラフィックス ＧｅｍｓＩＶ、ＡＰプロフェッショナル、１９９４年、ＩＳＢＮ ０１２３３６１５５９、ｐｐ ３２４−３５０）に記載されているような従来のマーチング・キューブ・アルゴリズムに従ってサーフェイス・モデラ８０が実行する。
【０１００】
（３）段階２で生成されるサーフェイス・メッシュにおける三角形の数は、デシメーション処理を実施することによって著しく削減される。
【０１０１】
段階３において、サーフェイス・モデラ８０は、本実施形態における処理を実施し、段階２で生成された三角形のメッシュから無作為に頂点を取り除くことによってデシメーション処理を行って、各々の頂点がオブジェクト２１０の表面の形状に寄与しているか否かを確認する。その形状に寄与していない頂点は三角網から除去されるため、最終モデル内の頂点が減少する（したがって、三角形が減少する）。除去および検査する頂点の選択は、隣接する頂点を連続的に除去することによって表面のより大きな部分を浸食する効果を防ぐために、任意の順序で行われる。本実施形態においてサーフェイス・モデラ８０によって実行されるデシメーション・アルゴリズムを、疑似コードで以下に記載する。
入力
頂点を読み込む。
三角形を形成する三組の頂点ＩＤを読み込む。
処理
ＮＶＥＲＴＥＸを数回繰り返す。
これまでに選択されていない任意の頂点Ｖを選択する。
頂点としてＶを有するすべての三角形の集合Ｓを配置する。
近接する三角形が互いに隣り合うようにＳを配列する。
Ｖを無視して三角形の集合を再構成する（すなわち、選択された三角形＆Ｖ を取り除き、次いで穴を埋める）。
Ｖと各三角形の平面の間の最大距離を求める。
（距離＜しきい値）の場合は、
Ｖを破棄して、新たな三角網を維持する。
そうでない場合は、
Ｖを維持して、旧い三角網に戻る。
出力
維持された頂点のリストを出力する。
更新された三角形のリストを出力する。
【０１０２】
写真マット３４上の特徴パターンの絶対位置が把握されているため（あらかじめ記憶された位置を定めるデータに従って特徴パターンが印刷されているため）、ステップＳ４−２４において、オブジェクト２１０の表面の三次元モデルが正しいスケールで生成される。
【０１０３】
ステップＳ４−２６において、サーフェイス・テクスチャラ９０は、ステップＳ４−２４においてサーフェイス・モデラ８０により生成されたサーフェイス・モデル内の表面三角形毎にテクスチャ・データを生成する。
【０１０４】
より具体的には、本実施形態において、サーフェイス・テクスチャラ９０は、従来の方法で処理を行い、ステップＳ４−２４において生成されたサーフェイス・メッシュ内の各三角形を選択するとともに、選択された三角形と最前で直面する入力画像「ｉ」を見いだす。すなわち、値ｎt＾．ｖi＾が最も大きい入力画像を見いだす（ただし、ｎt＾は三角形の法線で、ｖi＾は「ｉ」番目の画像に対する表示方向である）。これによって、選択された表面三角形が最大の投射領域を有する入力画像が識別される。
（上記ｎt＾．ｖi＾は
上記ｎt＾は、
上記ｖi＾は、
をそれぞれ表す）
次いで、選択された表面三角形を、識別された入力画像内に投射し、投射した三角形の頂点をテクスチャ座標として利用して、画像テクスチャ・マップを定める。
【０１０５】
上述の処理を実行した結果が、モデル上に描写される画像データを定めるテクスチャ座標を備えた、オブジェクト２１０の表面のＶＲＭＬモデル（または類似形式のモデル）である。
【０１０６】
ステップＳ４−２８において、中央制御装置２０は、オブジェクト２１０の三次元コンピュータ・モデルを定めるデータを、例えばディスク１２２のような記憶装置に記憶されたデータ、または信号１２４として、出力データ記憶装置１２０から出力する（図１）。さらに、あるいはその代わりに、中央制御装置２０は、テクスチャ・データが描かれたオブジェクト２１０の三次元コンピュータ・モデルの画像を、例えばユーザ入力装置６を使用してユーザが入力した観点に従って、表示プロセッサ１１０に表示させる。あるいは、ステップＳ４−１４において生成された入力画像毎にカメラ２３０の位置および方向を定めるデータ、ならびにステップＳ４−１６およびステップＳ４−２０において生成された各入力画像の区分を定めるデータを、例えばディスク１２２のような記憶装置に記録されたデータ、または信号１２４として出力することができる。次いで、ステップＳ４−２４およびステップＳ４−２６を実行するようプログラミングされた個別的な処理装置にこのデータを入力することができる。
【０１０７】
請求の範囲内で、上述の実施形態に多くの修正を加えることができる。
【０１０８】
例えば、上述の実施形態において、入力画像を表す各アイコン３１０〜３２５は、入力画像の画素縮小バージョン（サムネイル画像）である。しかし、入力画像内の画素の数、およびディスプレイ装置４のディスプレイ上に表示可能な画素の数に応じて、各アイコンは入力画像のすべての画素を含むこととしてもよい。
【０１０９】
上述の実施形態では、ステップＳ４−４において、カメラ２３０の固有パラメータを示す、ユーザにより入力されたデータが記憶される。しかし、その代わりに、固有のカメラパラメータの一部またはすべてに対してデフォルト値を想定することができ、あるいは、例えばＨａｒｔｌｅｙによる「Ｅｕｃｌｉｄｅａｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｒｏｍ Ｕｎｃａｌｉｂｒａｔｅｄ Ｖｉｅｗｓ」（Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｉｎｖａｒｉａｎｃｅ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｍｕｎｄｙ、ＺｉｓｓｅｒｍａｎおよびＦｏｒｓｙｔｈ、ｐｐ ２３７−２５６、Ａｚｏｒｅｓ １９９３年）に記載されているような従来の方法で固有パラメータ値を計算する処理を行うことができる。
【０１１０】
上述の実施形態では、対象オブジェクト２１０に関連する入力画像からの画像データは、図６Ａ乃至Ｃを参照しながら上述したような方法により背景に関連する画像データから分離することとした。しかし、その代わりに、従来の他の分割方法を用いてもよい。例えば、写真マット３４および背景（または第二の実施形態では単に背景）を表す単一のＲＧＢ値を記憶し、入力画像内の各画素を処理して、ＲＧＢ背景値とＲＧＢ画素値の間のＲＧＢ空間におけるユークリッド距離が特定のしきい値より小さいかどうかを判断する分割方法を用いることができる。
【０１１１】
上述の実施形態では、ステップＳ６−４４において、アイコンコントローラ１００は、対応する入力画像内の各画素が画像データセグメンタ６０によって処理されるのに伴って、サムネイル画像を更新する。すなわち、ステップＳ６−４４は、ステップＳ６−３４からＳ６−４６を含むループの一部として実行される。しかし、その代わりに、アイコンコントローラ１００は、入力画像内のすべての画素が処理された後に、サムネイル画像を更新するようにしてもよい。すなわち、ステップＳ６−４６の後で、ステップＳ６−４４を実行することができる。このように、入力画像内のすべての画素についてステップＳ６−３４からステップＳ６−４２が実行されたときに、各サムネイル画像を更新するだけで、分割処理の結果を示すことになる。
【０１１２】
上述の実施形態では、ステップＳ８−４においてユーザが入力画像に対する区分を編集し終えた後に、ステップＳ８−６を実行してサムネイル画像を更新する。しかし、その代わりに、各サムネイル画像が区分編集の結果をリアルタイムで表示するように、入力画像区分を編集しながらステップＳ８−６を実行することもできる。
【０１１３】
上述の実施形態では、各入力画像を示すアイコンは入力画像自体の画素縮小バージョンであり、分割処理の進行に伴って各アイコンが変化し、アイコンに対応する特定の入力画像に対する画像データ分割処理操作の結果を示した。しかし、各アイコンは純粋に概略化され、外見上は入力画像と無関係なものであってもよい。例えば、各アイコンは単一色の単純な幾何学形状のものであってもよく、入力画像に対する分割処理操作が終了したことを示すために色を変化させることもできる（または、目に見える他の様式でアイコンを変化させることもできる）。
【０１１４】
上述の実施形態では、ステップ４−１８において、ユーザが対応するアイコン３１０〜３２８をポイントおよびクリックすることによって編集する区分を選択した。しかし、対応するアイコンを選択する以外の方法で、編集する区分を選択することも可能である。例えば、ユーザがその区分を編集することを希望する入力画像に対応する数字を打ち込むことによって区分を選択することができる。
【０１１５】
上述の実施形態では、ステップＳ４−２４において、サーフェイスモデラ８０は、ボクセルカービング技術を用いて、対象オブジェクト２１０の表面の三次元コンピュータモデルを定めるデータを生成した。しかし、例えば「Ｗｈａｔ Ｄｏ Ｎ Ｐｈｏｔｏｇｒａｐｈｓ Ｔｅｌｌ Ｕｓ Ａｂｏｕｔ ３Ｄ Ｓｈａｐｅ？」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ第６８０号（１９９８年１月）、および「Ａ Ｔｈｅｏｒｙ ｏｆ Ｓｈａｐｅ ｂｙ Ｓｐａｃｅ Ｃａｒｖｉｎｇ」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ第６９２号（１９９８年５月）（いずれも著者はＫｉｒｉａｋｏｓ Ｎ．ＫｕｔｕｌａｋｏｓとＳｔｅｐｈｅｎ Ｍ．Ｓｅｉｔｓである）に記載されているようなボクセル着色法のような他の技術を用いてもよい。
【０１１６】
上述の実施形態では、画像分割エディタ７０は、編集ステップＳ８−４において、ユーザがポインタ４１２でタッチした各画素が、それまで背景画素であればオブジェクト画素に変化し、それまでオブジェクト画素であれば背景画素に変化するように処理を行うよう構成されていた。しかし、その代わりに、画像分割エディタ７０は、ユーザがユーザ入力装置６を使用して、背景からオブジェクトへの画素編集モード（a background-to-object pixel editing mode）を選択し、このモードが選択されている間、ユーザがポインタ４１２でタッチした各画素が、それまで背景画素であればオブジェクト画素に変化するが、オブジェクト画素は背景画素に変化することのないように処理を行うよう構成されていてもよい。同様に、ユーザは、ユーザがポインタ４１２でタッチした各画素が、それまでオブジェクト画素であれば背景画素に変化するが、背景画素はオブジェクト画素に変化することのない、オブジェクトから背景への変更モード（object-to-background change mode）を選択することもできる。
【０１１７】
上述の実施形態では、ステップＳ４−２０において画像区分を修正して、画像データセグメンタ６０により対象オブジェクト２１０に関連するものと誤って判断されたあらゆる画素（例えば、画像内の対象オブジェクト２１０の輪郭に接する影や表面特徴などに関連する画素）を背景画素に指定する。しかし、それに加えて、またはその代わりに、ステップＳ４−２０での処理を行って、実際に対象オブジェクト２１０に接する１つまたは複数の付加的なオブジェクト（例えば、対象オブジェクト２１０を支持するスタンド）、および／または対象オブジェクト２１０自体の１つまたは複数の不必要な部分に関連するあらゆる画素を背景画素に指定することもできる。このようにして、ステップＳ４−２４において生成した三次元コンピュータモデルには、ユーザが必要としない付加的なオブジェクトまたは部分が含まれなくなる。
【０１１８】
上述の実施形態では、プログラミング指示によって定められた処理ルーチンを使用し、コンピュータによって処理が行われる。しかし、ハードウェアを使用して、一部またはすべての処理を行うことも可能である。
【図面の簡単な説明】
【図１】処理装置のコンポーネントが、プログラミング指示によりプログラミングされたときに、そのように構成されるものと考えられる概念的・機能的処理ユニットであり、本発明の実施形態の構成要素を概略的に示す図である。
【図２】三次元コンピュータモデルが生成されるオブジェクトの画像の記録を示す図である。
【図３】図１の処理装置に入力されるオブジェクトの画像を示す図である。
【図４Ａ】入力データを処理するために図１の処理装置によって実行される処理操作を示す図である。
【図４Ｂ】入力データを処理するために図１の処理装置によって実行される処理操作を示す図である。
【図５】図４ＡのステップＳ４−６における「サムネイル」（縮小画素）形式の各入力画像の表示を示す図である。
【図６Ａ】図４ＢのステップＳ４−１６において実行される処理操作を示す図である。
【図６Ｂ】図４ＢのステップＳ４−１６において実行される処理操作を示す図である。
【図６Ｃ】図４ＢのステップＳ４−１６において実行される処理操作を示す図である。
【図７】図６ＣのステップＳ６−４４において、サムネイル画像がどのように変化するかを示す図である。
【図８】図４ＢのステップＳ４−２０において実行される処理操作を示す図である。
【図９】図８のステップＳ８−２からＳ８−３での処理時における図１の表示装置上の表示の例を示す図である。
【符号の説明】
２ 処理装置
４ 表示装置
６ ユーザ入力装置
８ プリンタ
１０ 表示パネル
１２、４２ ディスク
１４ 信号
２０ 中央制御装置
２４ メモリ
３０ マットジェネレータ
３４ 写真マット
４０ 入力データ記憶装置
５０ カメラ計算器
６０ 画像データセグメンタ
７０ 画像分割エディタ
８０ サーフェイスモデラ
９０ サーフェイステクスチャラ
１００ アイコンコントローラ
１１０ ディスプレイプロセッサ
１２０ 出力データ記憶装置
２３０ カメラ
【発明の属する技術分野】
本発明は、異なる位置および方向に記録されたオブジェクトの画像が記録された位置および方向を計算するとともに、該オブジェクトの三次元（３Ｄ）コンピュータモデルを生成するための、当該画像を定める画像データのコンピュータ処理に関する。
【０００２】
【従来の技術】
オブジェクトの三次元コンピュータモデルは多くの用途に有用である。特に、三次元コンピュータモデルは、コンピュータゲームや計算機支援設計（ＣＡＤ）用途にしばしば使用される。加えて、インターネットサイトの装飾などの用途にオブジェクトの三次元コンピュータモデルを取り入れる需要が現在増加しつつある。
【０００３】
オブジェクトの三次元コンピュータモデルを生成するための多くの方法が知られている。特に、モデル化するオブジェクトの画像を異なる位置および方向に記録する方法が知られている。次いで、記録された各々の画像を処理して、それが記録された位置および方向を計算し、入力された画像、ならびに計算された位置および方向を用いてオブジェクトの三次元コンピュータモデルを生成する。
【０００４】
これらの既知の方法においては、モデル化するオブジェクトのみを画像化することができ、異なる入力画像間のオブジェクト上の特徴をマッチさせることによって各画像の位置および方向を計算することができる。そのような技術の例は、例えば、欧州特許第０８９８２４５号に記載されている。
【０００５】
あるいは、モデル化しようとする対象オブジェクトを、既知の特徴パターンを備えた較正オブジェクト上に配置することができ、該較正オブジェクトとともに対象オブジェクトの画像を異なる複数の位置および方向で記録することができる。次いで、記録された各々の画像を処理して、画像内の較正オブジェクト（＝ｓ）のパターンにおける特徴の位置に基づいて、画像が記録された位置および方向を計算する。このような技術の例は、例えば、Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １７（１９９９年）の１２５〜１３４ページに掲載された「Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ａ Ｍｏｂｉｌｅ Ｃａｍｅｒａ」（Ｎｉｅｍ）、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ、Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「Ｔｈｅ Ｌｕｍｉｇｒａｐｈ」、ＪＰ−Ａ−９−１７０９１４、および該出願人により現在出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）（その全内容が相互参照により本明細書に盛り込まれる）に記載されている。
【０００６】
入力画像の位置および方向が計算されると、対象オブジェクトの三次元コンピュータモデルを生成する一般的な方法では、各入力画像を処理して、対象オブジェクトに関連する画像データを他の画像データから分離し（切り離し）、次いで、例えば「Ｒａｐｉｄ Ｏｃｔｒｅｅ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ」（Ｒ．Ｓｚｅｌｉｓｋｉ、ＣＶＧＩＰ）：（Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、第５８巻、Ｎｏ．１、１９９３年６月、２３〜３２ページ）に記載されているようなボクセルカービング処理、または例えば「Ｗｈａｔ Ｄｏ Ｎ Ｐｈｏｔｏｇｒａｐｈｓ Ｔｅｌｌ Ｕｓ Ａｂｏｕｔ ３Ｄ Ｓｈａｐｅ？」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．６８０（１９９８年１月）、および「Ａ Ｔｈｅｏｒｙ ｏｆ Ｓｈａｐｅ ｂｙ Ｓｐａｃｅ Ｃａｒｖｉｎｇ」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．６９２（１９９８年５月）（いずれも著者はＫｉｒｉａｋｏｓ Ｎ．ＫｕｔｕｌａｋｏｓとＳｔｅｐｈｅｎ Ｍ．Ｓｅｉｔｚである）に記載されているようなボクセル着色法、または例えば「Ｌｏｏｋｉｎｇ ｔｏ Ｂｕｉｌｄ ａ Ｍｏｄｅｌ Ｗｏｒｌｄ： Ａｕｔｏｍａｔｉｃ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｓｔａｔｉｃ Ｏｂｊｅｃｔ Ｍｏｄｅｌｓ Ｕｓｉｎｇ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」（ＩｌｌｉｎｇｗｏｒｔｈおよびＨｉｌｔｏｎ）（ＩＥＥ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｊｏｕｒｎａｌ、１９９８年６月、１０３〜１１３ページ）に記載されているようなシルエット交差法として知られる処理を実行する。
【０００７】
しかしながら、これらの知られた方法にはいくつかの問題がある。
【０００８】
例えば、これらの技術を用いた三次元コンピュータモデルの生成は、不正確で柔軟性に乏しい。
【０００９】
【発明が解決しようとする課題】
したがって、本発明の一目的は、これらの問題の少なくとも１つに対処することを目的とする。
【００１０】
三次元コンピュータモデルにおける不正確さの問題はいくつかの要因に起因する。
【００１１】
より具体的には、対象オブジェクトをその上に配置させて画像化する表面（例えば、地面、テーブルまたは較正オブジェクト）上には影が落ちることが多く、それが対象オブジェクトの底部に繋がっているように見える。したがって、記録された画像を処理するときに、処理装置は対象オブジェクトと影を区別できないため、影が対象オブジェクトの一部であると判断され、対象オブジェクトの三次元コンピュータモデルが不正確になる。
【００１２】
さらに、画像化するために対象オブジェクトを配置する表面にある特徴（床またはテーブル上の表示、または較正オブジェクト上のパターンにおける特徴）は、記録された画像内の対象オブジェクトにしばしば接触するため、処理装置によって対象オブジェクトの一部であると判断され、やはり対象オブジェクトの三次元コンピュータモデルが不正確になる。
【００１３】
これに関しては、対象オブジェクトについて対称的な拡散照射を利用することによって影の問題に対処できる。しかし、これを実際に達成するのは極めて困難である。
【００１４】
さらに、物理的に切り離されていない複数の対象オブジェクトの部分集合の三次元コンピュータモデルを生成したり、または対象オブジェクトの一部の三次元コンピュータモデルを生成することがあり、三次元コンピュータモデルを生成するための上述の技術は、かかる場合に適用するには柔軟性に欠ける。これは、上述の技術では、モデル化した部分のうち、不要なオブジェクトおよび／または一部について除去するための修正を行うにあたり、最初に三次元コンピュータモデル全体を生成しなければならず、修正が困難になり、かつ／または修正に時間がかかるためである。
【００１５】
本発明の一目的は、１つまたは複数の上記問題に対処することである。
【００１６】
【課題を解決するための手段】
本発明によれば、対象オブジェクトの画像を処理して、どの画素が該対象オブジェクトに関連し、どの画素が関連していないかを判断することによって、ユーザに対して表示され、かつユーザが入力した信号に従って修正可能な画像区分を生成する画像処理装置および方法が提供される。修正すべき部分を含む画像区分は、画像が記録された位置および方向を定めるデータを使用して、対象オブジェクトの三次元コンピュータモデルを生成する。
【００１７】
ユーザが画像データ区分を編集するための機能を提供することにより、影や表面特徴などに関連する画素を対象オブジェクトの輪郭から取り除くことができるため、照明条件の選択におけるより高度な柔軟性、およびその上に対象オブジェクトを配置して画像化する表面の選択におけるより高度な柔軟性がユーザに提供される。
【００１８】
加えて、ユーザは画像データ区分を編集して、不必要なオブジェクトに関連する部分、または単一のオブジェクトの不必要な部分に関連する部分を除去することが可能である。まさにこのようにして、三次元コンピュータモデルが生成されるときに、それが不必要なオブジェクトまたは部分を含まないようにする。
【００１９】
本発明は、プログラマブル装置を上述のように動作するよう設定するためのコンピュータプログラムをも提供する。
【００２０】
【発明の実施の形態】
次に、添付の図面を参照しながら、例のみによって本発明の実施形態を説明する。以下に説明する実施形態は、較正オブジェクトとともに対象オブジェクトの画像を処理して、入力画像の位置および方向を計算するとともに、対象オブジェクトの三次元コンピュータモデルを生成することに関するものであるが、本発明はこれに限定されるものではない。むしろ、本発明は、上述したように、入力画像が記録された位置および方向を計算するのに較正オブジェクトを必要としないため、３次元モデル化に向けた対象オブジェクトのみの画像の処理に適用することも可能である。
【００２１】
図１に示すとおり、本発明の実施形態は、従来のパーソナル・コンピュータ・モニタのような表示装置４、キーボードやマウス等のユーザ入力装置６、プリンタ８、ならびにＷＡＣＯＭ社製ＰＬ４００のような画素ごとの表示制御が可能なフラット・パネルを含む表示パネル１０とともに、１つまたは複数のプロセッサ、メモリ、グラフィックス・カード等を従来通りに含むパーソナル・コンピュータのような処理装置２を備えている。
【００２２】
処理装置２は、プログラミング指示入力に従って作動するようプログラミングされており、プログラミング指示入力は、例えばディスク１２のようなデータ記憶装置に記憶されたものでも、信号１４のように処理装置２に入力されたものでも、あるいはその両方であってもよく、信号１４は、例えばリモート・データベースからインターネットのような通信ネットワーク（不図示）を介した伝送や無線による伝送によって入力されたものでも、キーボードのようなユーザ入力装置６を介してユーザが入力したものでも、あるいはその両方であってもよい。
【００２３】
以下により詳細に説明するが、該プログラミング指示は、異なる位置および方向に記録された１つまたは複数の対象オブジェクト（subject object）の複数の画像を定める入力データを処理して、それらの入力画像が記録された位置および方向を計算し、計算された位置および方向を用いて、該対象オブジェクトの三次元コンピュータ・モデルを定めるデータを生成するように処理装置２を設定させるための指示を含む。本実施形態では、その上に既知の特徴パターンを有する較正（calibration）オブジェクト（本実施形態では二次元の写真マット（photographic mat））上に対象オブジェクトの画像を形成し、画像内の較正オブジェクトパターンの特徴の位置を検出することによって、入力画像が記録された位置および方向を計算する。対象オブジェクトの三次元コンピュータモデルは従来のボクセルカービング技術を用いて生成する。三次元コンピュータモデルの生成に対する予備的な工程として、対象オブジェクトの各画像を処理して、対象オブジェクトに関連する画像データを他の画像データ（背景画像データ）から分離する。処理する入力画像毎に表示装置４上に、ユーザに対してアイコンを表示する。本実施形態では、各アイコンは入力画像の「サムネイル」画像（すなわち、入力画像の縮小画素バージョン）を含む。分割処理が進行と、入力画像に対する表示アイコンは、該入力画像の処理の進行に伴って変化する。本実施形態では、分割処理の結果を示すためにアイコンが変化する。さらに、処理装置２は、分割処理の結果を編集することが可能であり、ユーザは必要に応じて処理結果を編集する。このように、表示されたサムネイル画像は、（既に実行された処理、およびまだ実行されていない処理の観点から）２つの異なるレベルでの処理の状態、すなわち個々の入力画像に対する処理の状態、および全入力画像に対する包括的な処理の状態を示す。加えて、サムネイル画像を使用して進捗状況を表示すると、（上述の画像選択および編集上の利点を提供する）表示入力画像に対する個別的な進捗状況インディケータが不必要になるため、表示画面が小さい場合は特に有利である。
【００２４】
処理装置２は、プログラミング指示によってプログラミングされた場合には、処理操作を実行するための複数の機能的ユニットとして構成されているものとみなすことができる。当該機能的ユニット、およびそれらの相互接続の例を図１に示す。しかし、図１に示されているユニットおよび相互接続は概念的なものであり、理解の助けとなるように例示のために示されているにすぎない。すなわち、それらは、必ずしも処理装置２のプロセッサやメモリ等が構成するユニットおよび接続を表すものではない。
【００２５】
図１に示す機能的ユニットを参照すると、中央制御装置２０は、ユーザ入力装置６からの入力を処理するとともに、他の機能的ユニットに対しても制御および処理を行う。中央制御装置２０および他の機能的ユニットに使用されるメモリ２４が設けられている。
【００２６】
マット・ジェネレータ（mat generator）３０は、制御プリンタ８または表示パネル１０に対して制御信号を発生して、用紙のような記録媒体上に写真マット３４を印刷し、または表示パネル１０上に写真マットを表示する。以下により詳細に説明するが、該写真マットは所定の特徴パターンを含み、三次元コンピュータ・モデルを生成しようとするオブジェクトが、印刷された写真マット３４、または写真マットを表示する表示パネル１０上に配置される。次いで、オブジェクトおよび写真マットの画像が記録され、処理装置２に入力される。マット・ジェネレータ３０は、入力画像が記録された位置および方向を計算するのに処理装置２に使用される、写真マット上に印刷または表示された特徴パターンを定めるデータを記憶する。より具体的には、マット・ジェネレータ３０は、特徴パターンに対して相対的な座標系（実質的に写真マットの基準位置および方向を定める）とともに、特徴パターンを定めるデータを記憶し、処理装置２は、定められた座標系において入力画像が記録された位置および方向（したがって、基準位置および方向に対して相対的な位置および方向）を計算する。
【００２７】
本実施形態において、写真マット上のパターンは、例えば出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）に記載されている特徴の立体クラスタ（その全内容が相互参照により本明細書に盛り込まれる）、または、例えば特開平９−１７０９１４に記載されているように、各ドットがそれぞれ異なる色相／明度の組み合わせを持つことで各々のドットが特異性を有する有色ドットのパターンのような任意の既知の特徴パターン、例えばイメージ・アンド・ビジョン・コンピューティング１７（１９９９年）の１２５から１３４ページに掲載された「モバイル・カメラを用いた三次元オブジェクトの自動復元」（Ｎｉｅｍ）に記載されているように、既知の寸法を有し、各象限に位置マーカが付された放射線状の線分によって繋げられた同心円のパターン、あるいは、例えばコンピュータ・グラフィックス・プロシーディングス、年次会議シリーズ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「ザ・ルミグラフ」に記載されているように、寸法が異なる同心円を有するパターンを含む。
【００２８】
以降の説明では、プリンタ８によって記録媒体（本実施形態ではシートまたは紙）上にパターンを印刷して印刷写真マット３４を生成するものとするが、上述のように、その代わりにパターンを表示パネル１０上に表示させることも可能である。
【００２９】
入力データ記憶装置４０は、例えばディスク４２のような記憶装置に記憶されたデータや、処理装置２に伝送された信号４４、またはユーザ入力装置６を使用して処理装置２に入力される入力データを記憶する。入力データは、異なる位置および方向で記録された写真マット上の１つまたは複数の対象オブジェクトの複数の画像と、その背景色、またはマットの背景色と同じ色を有する異なるオブジェクトを示すために写真マットの一部とともにオブジェクトを画像化した際の背景を示す入力画像とを有する。さらに、本実施形態において、入力データは、画像を記録したカメラの固有パラメータ、すなわちアスペクト比、焦点距離、主点（光軸が画像形成面を横切る点）、一次半径後方歪係数およびスキュー角（画素格子の軸間の角度（軸が完全に直交しているとは限らないため））を定めるデータを含む。
【００３０】
例えば画像を記録したデジタル・カメラから画素データをダウンロードすることによって、またはスキャナ（不図示）を使用して写真をスキャンすることによって、入力画像を定める入力データを生成することができる。ユーザがユーザ入力装置６を使用することによって、カメラの固有パラメータを定める入力データを入力することができる。
【００３１】
カメラ計算器（camera calculator）５０は、各入力画像を処理して、写真マット上の特徴パターンの画像内の位置を検出するとともに、入力画像が記録されたときのカメラの位置および方向を計算する。
【００３２】
画像データ・セグメンタ（image data segmenter）６０は、各入力画像を処理して、対象オブジェクトに対応する画像データを画像内の他の画像データから分離させる。
【００３３】
画像分割エディタ（image segmentation editor）７０は、ユーザ管理下で動作可能となり、画像データ・セグメンタ６０によって生成された分割画像データを編集する。以下により詳細に説明するが、これによりユーザは、画像データ・セグメンタ６０によって生成した画像区分を補正し、特に、例えば画像データ・セグメンタ６０によって対象画像２１０に関連するものと誤って判断された画素を補正することが可能となる（例えば、写真マット３４および対象オブジェクトをその上に配置した場合の画像において表面上の目に見えるマークまたは他の特徴に関連する画素、写真マット３４、および／またはそれが配置される表面上の陰に関連する画素、ならびに入力画像内の対象オブジェクトの輪郭に接触する写真マット３４上の特徴パターンに関連する画素は、すべて画像データ分割時に誤って分類され、補正されなければ、得られる三次元コンピュータ・モデルが不正確になる）。
【００３４】
サーフェイス・モデラ（surface modeler）８０は、画像データ・セグメンタ６０および画像分割エディタ７０によって生成された分割画像データ、ならびにカメラ計算器５０によって生成された、画像が記録された位置および方向を定めるデータを処理して、入力画像内のオブジェクトの実際の表面を表す三次元コンピュータ・モデルを定めるデータを生成する。
【００３５】
サーフェイス・テクスチャラ（surface texturer）９０は、入力画像データからテクスチャ・データを生成して、サーフェイス・モデラ８０によって生成されたサーフェイス・モデル上に描写する。
【００３６】
アイコン・コントローラ１００は、ユーザが処理される入力画像、および処理装置２によって実行される処理の進捗状況を確認できるとともに、ユーザが処理の結果を確認し、必要に応じていずれかの結果を選択して編集できるように、入力画像を表すアイコンの表示装置４上の表示、ならびにそれに対して行われる処理を制御する。
【００３７】
ディスプレイ・プロセッサ１１０は、中央制御装置２０の制御下において、表示装置４を介してユーザに対する指示を表示する。さらに、中央制御装置２０の制御下において、ディスプレイ・プロセッサ１１０は、また、サーフェイス・モデラ８０によって生成されたサーフェイス・モデル・データを処理し、サーフェイス・テクスチャ９０によって生成されたテクスチャ・データをサーフェイス・モデル上に描写することによって、ユーザ選択の観点からオブジェクトの三次元コンピュータ・モデルの画像を表示する。
【００３８】
出力データ記憶装置１２０は、入力画像毎にカメラ計算器５０によって計算されたカメラの位置および方向、画像データ・セグメンタ６０および画像分割エディタ７０によって生成された各入力画像からの対象オブジェクトに関連する画像データ、ならびにサーフェイス・モデラ８０およびサーフェイス・テクスチャラ９０によって生成されたサーフェイス・モデルおよびそのテクスチャ・データを記憶する。中央制御装置２０は、例えばディスク１２２のような記憶装置上のデータ、および／または信号１２４のような出力データ記憶装置１２０からのデータの出力を制御する。
【００３９】
図２に示すとおり、印刷された写真マット３４が表面２００に配置され、三次元コンピュータ・モデルを生成しようとする対象オブジェクト２１０は、マット上に形成された特徴パターンがオブジェクト２１０を囲むように写真マット３４上に配置されている。
【００４０】
好ましくは、表面２００は、可能であれば、入力画像において、対象オブジェクト２１０に関連する画像データが画像データ・セグメンタ６０による分割処理時に他の画像データから正確に区別できるように、対象オブジェクト２１０のどの色とも異なる単一色を実質的に有する。しかし、以下により詳細に説明するが、これが当てはまらない場合、例えば対象オブジェクト２１０における色と同じ色を有するマーク２２０が表面２００上に（従って入力画像内に）現れる場合でも、本実施形態では、画像データ・セグメンタ６０によって生成された分割データをユーザが編集できるようにすることによって、これに対処するための処理を行うことが可能である。
【００４１】
デジタル・カメラ２３０を使用して、オブジェクト２１０の異なる部分を示すために、オブジェクト２１０および写真マット３４の画像を異なる位置および方向で記録する。本実施形態では、カメラ２３０によって記録された画像を定めるデータを、配線２３２を介して信号４４として処理装置２に入力する。
【００４２】
より具体的にいうと、本実施形態では、カメラ２３０は固定位置を維持し、オブジェクト２１０を載置した写真マット３４が表面２００上を（例えば矢印２０４の方向に）移動（トランスレート）および回転し、カメラ２３０に対して異なる位置および方向でオブジェクト２１０の写真が記録される。写真マット３４が表面２００上を回転およびトランスレートする間は、オブジェクト２１０がマット３４に対して移動することはない。
【００４３】
図３は、カメラ２３０に対して異なる位置および方向にあるオブジェクト２１０および写真マット３４の、処理装置２に入力された画像３００、３０２、３０４および３０６の例を示す図である。
【００４４】
図３は、カメラ２３０に対して異なる位置および方向にあるオブジェクト２１０および写真マット３４の、処理装置２に入力された画像３００、３０２、３０４および３０６の例を示す図である。
【００４５】
図４Ａ、図４Ｂは、本実施形態における入力データを処理する、処理装置２によって実行される処理操作を示す図である。
【００４６】
図４Ａを参照すると、ステップＳ４−２において、中央制御装置２０は表示プロセッサ１１０に、処理するデータを入力するようユーザに要求するメッセージを表示装置４上に表示させる。
【００４７】
ステップＳ４−４において、ステップＳ４−２における要求に応じてユーザが入力したデータを入力データ記憶装置４０に記憶させる。より具体的には、本実施形態において、入力データは、カメラ２３０に対して異なる位置および方向で記録されたオブジェクト２１０およびマット３４の画像を定める画像データと、写真マット３４のパターンが印刷されている記録物質と同じ色を有するオブジェクトとともに入力画像を記録したもので、写真マット３４を配置した表面２００を示す「背景画像」と、該入力画像を記録したカメラ２３０の固有パラメータ、すなわちアスペクト比、焦点距離、主点（光軸が画像形成面を横切る点）、一次半径後方歪係数およびスキュー角（画素格子の軸間の角度）を定めるデータとを含む。
【００４８】
ステップＳ４−６において、アイコン・コントローラ１００はディスプレイ・プロセッサ１１０に、ステップ４−４において記憶された対象オブジェクト２１０の各入力画像に対するそれぞれのアイコンを表示装置４上に表示させる。図５を参照してより具体的に説明すると、本実施形態では、各アイコン３１０〜３２４は、対応する入力画像の解像度縮小バージョン（サム・ネイル画像）を含むことによって、処理する入力画像が正しい画像であるかどうか（例えば、すべての画像が同じ対象オブジェクトの画像であること、および異なる対象オブジェクトの画像が存在しないこと）、ならびに入力画像が処理に適したものであること（例えば、対象画像が少なくとも１つの画像内において目に見える状態であること、および各入力画像においてオブジェクトの輪郭全体が目に見える状態であること、すなわちオブジェクトの一部が入力画像の側方から突出していないこと）をユーザが確認できるようにしている。各サム・ネイル画像は、従来の方法で生成される。すなわち、サム・ネイル画像を生成するためには、対応する入力画像を（所定数の近隣画素を含む各集合体から１つの画素を抜き出し、その集合体の中の他の画素がサム・ネイル画像内に表示されないようにそれらを拒絶するように）部分抽出するか、または対応する入力画像を処理し、入力画像内の所定数の近隣画素の値を平均することによってサム・ネイル画像内の各画素に対する値を計算する。
【００４９】
ステップＳ４−６において、アイコンコントローラ１００はディスプレイプロセッサ１１０に、ステップ４−４において記憶された対象オブジェクト２１０の各入力画像に対するそれぞれのアイコンを表示装置４上に表示させる。図５を参照してより具体的に説明すると、本実施形態では、各アイコン３１０〜３２４は、対応する入力画像の解像度縮小バージョン（「サムネイル」画像）を含むことによって、処理する入力画像が正しい画像であるかどうか（例えば、すべての画像が同じ対象オブジェクトの画像であること、および異なる対象オブジェクトの画像が存在しないこと）、ならびに入力画像が処理に適したものであること（例えば、対象オブジェクトの各部分が少なくとも１つの画像内において目に見える状態であるような異なる位置および方向の十分な入力画像があること、および各入力画像においてオブジェクトの輪郭全体が目に見える状態であること、すなわちオブジェクトの一部が入力画像の側方から突出していないこと）をユーザが確認できるようにしている。各サムネイル画像は、従来の方法で生成される。すなわち、サムネイル画像を生成するためには、対応する入力画像を（所定数の近隣画素を含む各集合体から１つの画素を抜き出し、その集合体の中の他の画素がサムネイル画像内に表示されないようにそれらを拒絶するように）部分抽出するか、または対応する入力画像を処理し、入力画像内の所定数の近隣画素の値を平均することによってサムネイル画像内の各画素に対する値を計算する。
【００５０】
再び図４Ａを参照すると、ステップＳ４−８において、中央コントローラ２０は、ユーザが、カーソル３４２およびマウスのような入力装置６を使用して、表示装置４上に表示された「画像変更」ボタン３４０（図５）をポイントおよびクリックすることにより１つまたは複数の入力画像を変化させることを指示する入力信号を処理装置２に入力したかどうかを判断する。
【００５１】
ステップＳ４−８において、ユーザが１つまたは複数の画像を変化させることを希望していると判断された場合は、ステップＳ４−１０において、中央制御装置２０は、ユーザ入力装置６を用いたユーザ指示入力の制御下で動作し、ユーザ指示に従って画像の削除および／または追加を行う。画像を追加するには、ユーザは、入力画像を定める画像データを入力するよう要求され、ユーザが入力したデータが入力データ記憶装置４０に記憶される。画像を削除するには、ユーザは、削除すべき入力画像に対応する表示アイコン３１０〜３２４をポイントおよびクリックし、キーボード・ユーザ入力装置６上の「削除」キーを押す。画像が追加または削除された後に、アイコン・コントローラ１００は、処理する入力画像をユーザが確認できるように、表示装置４上の表示されたサム・ネイル画像３１０〜３２４をディスプレイ・プロセッサ１１０に更新させる。
【００５２】
ステップＳ４−１２において、中央制御装置２０は、処理する画像に対してさらなる変更を加えるかどうかを判断する。入力画像に対してさらなる変更が加えられなくなるまでステップＳ４−１０およびステップＳ４−１２を繰り返す。
【００５３】
ステップＳ４−８またはステップＳ４−１２において、入力画像に変更を加えないものと判断される場合は（これは、ユーザが表示装置４に表示された「処理開始」ボタン３４４をポイントおよびクリックすることによって示される）、ステップＳ４−１４の処理に進む。以下に説明するように、サム・ネイル画像３１０〜３２４は、その処理を通じて表示されたままであるが、処理の進行に伴い、かつ特定のユーザ入力に応じて変化する。
【００５４】
ステップＳ４−１４において、カメラ計算器５０は、ステップＳ４−４において記憶され、ステップＳ４−１０において修正された入力データを処理して、入力画像毎に、写真マット３４に対する（かつオブジェクト２１０に対する）カメラ２３０の位置および方向を判断する。この処理は、各入力画像について、写真マット３４上にパターンを形成する画像内の特徴を検出し、その特徴パターンと写真マットについての記憶パターンとを比較して、マットに対するカメラ２３０の位置および方向を判断する。ステップＳ４−１４においてカメラ計算器５０が実行した処理は、写真マット３４に対して使用された特徴のパターンに依存する。したがって、出願係属中のＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）、特開平９−１７０９１４、イメージ・アンド・ビジョン・コンピューティング１７（１９９９年）の１２５から１３４ページに掲載された「モバイル・カメラを用いた三次元オブジェクトの自動復元」（Ｎｉｅｍ）、およびコンピュータ・グラフィックス・プロシーディングス、年次会議シリーズ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８（Ｇｏｒｔｌｅｒ他）に掲載された「ザ・ルミグラフ」に好適な処理が記載されている。
【００５５】
ステップＳ４−１６において、画像データ・セグメンタ６０は各入力画像を処理して、写真マット３４、および写真マット３４が配置される表面２００を表す画像データから、オブジェクト２１０を表す画像データを分離する（以下により詳細に説明するが、ステップＳ４−１６は、続くオブジェクト２１０の表面の三次元コンピュータ・モデルの生成に使用するデータを生成する、本実施形態における予備的なステップである）。
【００５６】
図６Ａ、図６Ｂ、図６Ｃは、ステップＳ４−１６において画像データ・セグメンタ６０により実行された処理操作を示す図である。
【００５７】
図６Ａに示すとおり、ステップＳ６−２からＳ６−１０において、画像データ・セグメンタ６０は、オブジェクト２１０そのものではなく、写真マット３４および背景２００を表す入力画像における色を示す定量値のハッシュ・テーブルを構築する。
【００５８】
より具体的には、ステップＳ６−２において、画像データ・セグメンタ６０は、図４ＡのステップＳ４−４において記憶された「背景画像」（すなわち、処理装置２に最後に入力される画像であって、表面２００およびオブジェクトを示し、写真マット３４が印刷される材料と同じ色を有する画像）における次の画素のＲＢＧデータ値を読み取る。
【００５９】
ステップＳ６−４において、画像データ・セグメンタ６０は、以下の式に従って、画素に対する定量赤色（Ｒ）値、定量緑色（Ｇ）値および定量青色（Ｂ）値を計算する。
【００６０】
ｑ＝（ｐ＋ｔ／２）／ｔ・・・（１）
ただし、「ｑ」は定量値、
「ｐ」は、ステップＳ６−２において読み取られたＲ、ＧまたはＢ値、
「ｔ」はしきい値であり、オブジェクト２１０を示す入力画像からのＲＧＢ値が、背景として分類される背景色にどの程度近いものでなければならないかを決定する。本実施形態では、「ｔ」を４に設定する。
【００６１】
ステップＳ６−６において、画像データ・セグメンタ６０は、ステップＳ６−４において計算された定量Ｒ、ＧおよびＢ値を従来の方法によって「三重値（triple value）」に統合する。
【００６２】
ステップＳ６−８において、画像データ・セグメンタ６０は、ステップＳ６−４において計算された定量Ｒ、ＧおよびＢ値にハッシング関数（hashing function）を適用してハッシュ・テーブル内のビン（ｂｉｎ）を定め、この定められたビンにステップＳ６−６において定めた「三重」値を加える。より具体的には、本実施形態において、画像データ・セグメンタ６０は、ハッシュ・テーブル内のビンを定めるのに、定量Ｒ、ＧおよびＢ値に以下のハッシング関数を適用する。
【００６３】
ｈ（ｑ）＝（ｑｒｅｄ＆７）＊２＾６＋（ｑｇｒｅｅｎ＆７）＊２＾３＋（ｑｂｌｕｅ＆７）・・・（２）
すなわち、ハッシュ・テーブル内のビンは、各色の３つの最小桁ビットによって定められる。この関数は各ビンが少数の「三重」値のみを有するように、試行しながらデータをハッシュ・テーブル内の利用可能なビンに分配するように選択される。本実施形態では、ステップＳ６−８において、各「三重」値がハッシュ・テーブルに一度だけ加えられるように、「三重」値がビン内に存在しない場合にのみ、「三重」値をビンに加える。
【００６４】
ステップＳ６−１０において、画像データ・セグメンタ６０は、背景画像内に他の画素が存在するかどうかを判断する。「背景」画像内の各画素が上述の方法で処理されるまで、ステップＳ６−２からステップＳ６−１０を繰り返す。この処理の結果として、「背景」画像における色を表す値を含むハッシュ・テーブルが生成される。
【００６５】
ステップＳ６−１２からＳ６−４８において、画像データ・セグメンタ６０は、次に各入力画像を考慮し、ハッシュ・テーブルを使用して、写真マット３４および背景に関連する入力画像内のデータを、オブジェクト２１０に関連する入力画像内のデータから分離する。入力画像に対してこの分割処理が行われている間に、ユーザが（対応するアイコンを見ることによって）個々の入力画像に対する処理の進捗状況を監視し、また（既に分割が行われた画像の数と、まだ分割が行われていない画像の数を確認することによって）包括的な処理の進捗状況を監視できるように、表示装置４上に表示された対応するアイコン３１０〜３２４が変化する。
【００６６】
本実施形態では、ハッシュ・テーブルを生成するためにステップＳ６−２からＳ６−１０において処理された「背景」画像は、写真マット３４上の特徴パターンを示さない。したがって、ステップＳ６−１２からＳ６−４８において行われた分割は、オブジェクト２１０に関連する画素データとマット３４上の特徴パターンに関連する画素データとを区別するものではない。その代わり、本実施形態では、以下により詳細に説明するが、オブジェクト２１０の表面の三次元コンピュータ・モデルを生成するためにサーフェイス・モデラ８０によって実行された処理を、写真マット３４上の特徴パターンに関連する画素がサーフェイス・モデルに寄与しないように行う。
【００６７】
ステップＳ６−１２において、画像データ・セグメンタ６０は次の入力画像の処理に移り、ステップＳ６−１４において、入力画像内の次の画素に対するＲ、ＧおよびＢ値を読み取る（この画素を第１の画素として、第１のタイム・ステップＳ−１４を実行する）。
【００６８】
ステップＳ６−１６において、画像データ・セグメンタ６０は、上記の式（１）を用いて、画素に対する定量Ｒ値、定量Ｇ値および定量Ｂ値を計算する。
【００６９】
ステップＳ６−１８において、画像データ・セグメンタ６０は、ステップＳ６−１６において計算された定量Ｒ、ＧおよびＢ値を「三重値」に統合する。
【００７０】
ステップＳ６−２０において、画像データ・セグメンタ６０は、上記の式（２）によるハッシング関数を、ステップＳ６−１６において計算された定量値に適用して、ステップ６−２からステップ６−１０において生成されたハッシュ・テーブル内のビンを定める。
【００７１】
ステップＳ６−２２において、画像データ・セグメンタ６０は、ステップＳ６−２０において定められたハッシュ・テーブルビン内の「三重」値を読み取り、これらの「三重」値は、写真マット３４の材料および背景表面２００の色を表す。
【００７２】
ステップＳ６−２４において、画像データ・セグメンタ６０は、ステップＳ６−１８において生成された「三重」値であって、現在考慮されている入力画像内の画素の三重値が、ハッシュ・テーブル・ビン内の背景「三重」値のいずれかと同じであるかどうかを判断する。
【００７３】
ステップＳ６−２４において、画素の該「三重」値が１つの背景「三重」値と同じであると判断された場合は、ステップＳ６−２６において、該画素は背景画素であると判断され、該画素の値を「黒色」に設定する。
【００７４】
一方、ステップＳ６−２４において、該画素の「三重」値が背景のいずれの「三重」値とも同じでないと判断された場合は、ステップＳ６−２８において、該画素はオブジェクト２１０の一部であり、画像データ・セグメンタ６０は該画素の値を「白色」に設定する。
【００７５】
ステップＳ６−３０において、画像データ・セグメンタ６０は、入力画像内に他の画素が存在するかどうかを判断する。入力画像内の各画素が上述の方法で処理されるまで、ステップＳ６−１４からステップＳ６−３０を繰り返す。
【００７６】
ステップＳ６−３２からＳ６−４６において、画像データ・セグメンタ６０は、背景画素またはオブジェクト画素としての画像画素の分類におけるエラーを補正するとともに、対応するサム・ネイル画像を更新して、分割処理の現在の状態を示すための処理を実行する。
【００７７】
より具体的には、ステップＳ６−３２において、画像データ・セグメンタ６０は、メディアン・フィルタとして使用する円形マークを定める。本実施形態において、外円形マークは４画素分の半径を有する。
【００７８】
ステップＳ６−３４において、画像データ・セグメンタ６０は、ステップＳ６−２６およびＳ６−２８において生成された２値画像内の次の画素（この画素を第１の画素として、一巡目のステップＳ６−３４が実行される）の中央に、Ｓ６−３２において定められたマスクの中心を配置するための処理を行う。
【００７９】
ステップＳ６−３６において、画像データ・セグメンタ６０は、マスク内の黒色画素の数と白色画素の数をカウントする。
【００８０】
ステップＳ６−３８において、画像データ・セグメンタ６０は、マスク内の白色画素の数が、マスク内の黒色画素の数より多いか、またはそれと同じであるかどうかを判断する。
【００８１】
ステップＳ６−３８において、白色画素の数が黒色画素の数より多いか、またはそれと同じであると判断された場合は、ステップＳ６−４０において、画像データ・セグメンタ６０は、マスクの中央の画素の値を白色に設定する。一方、ステップＳ６−３８において、黒色画素の数が白色画素の数より多いと判断された場合は、ステップＳ６−４２において、画像データ・セグメンタ６０は、マスクの中央の画素の値を黒色に設定する。
【００８２】
ステップＳ６−４４において、アイコン・コントローラ１００は、現在分割処理が行われている入力画像に対する表示装置４上に表示されたアイコンをディスプレイ・プロセッサ１１０に更新させる。図７を参照してより具体的に説明すると、本実施形態では、ステップＳ６−３４からステップＳ６−４２で画素に対して既に行われた分割処理の結果を考慮して、分割が行われている画像に対応するアイコン（図７の例ではアイコン３１０）をアイコン・コントローラ１００によって変化させる。したがって、アイコン３１０は、入力画像内の各画素が処理されるのに伴って徐々に更新される。本実施形態では、アイコン・コントローラ１００は、背景を表すものと判断される入力画像における画像データが、サム・ネイル画像における所定の色、例えば青（図７の例ではシェーディングによって表されている）として示されるように、ディスプレイ・プロセッサ１１０によりサム・ネイル画像を変化させる。図７では、第１の入力画像の約５分の４が既に処理され、入力画像の最下部（図７ではアイコン３１０の非陰影部によって表される）がまだ処理されていない状態についてのアイコンが示されている。
【００８３】
このようにしてアイコンが変更された結果として、ユーザは、入力画像の既に処理された部分を確認するとともに、まだ処理されていない包括的な入力画像をも確認することが可能になるばかりでなく、分割処理の結果を確認することができ、したがって何らかの修正が必要であるかどうかを判断することができるようになる。
【００８４】
再び図６Ｃを参照すると、ステップＳ６−４６において、画像データ・セグメンタ６０は、２値画像内に他の画素が存在するかどうかを判断し、各画素が上述の方法で処理されるまで、ステップＳ６−３４からステップＳ６−４６が繰り返される。
【００８５】
ステップＳ６−４８において、画像データ・セグメンタ６０は、処理すべき他の画像が存在するかどうかを判断する。各入力画素が上述の方法で処理されるまで、ステップＳ６−１２からステップＳ６−４８が繰り返す。
【００８６】
再び図４Ｂを参照すると、ステップＳ４−１８において、中央制御装置２０は、ステップＳ４−１６において生成された画像区分の修正をユーザが希望していることを示す信号（この信号は、本実施形態において、修正することが望まれる区分に対応するアイコン３１０〜３２４をポイントおよびクリックすることによって、ユーザにより生成されている）を、ユーザ入力装置６を介してユーザから受信したかどうかを判断する。
【００８７】
ステップＳ４−１８において、画像区分を変化させるものと判断した場合は、ステップＳ４−２０において、画像分割エディタ７０は、ユーザ入力指示に従って、ステップＳ４−１８においてユーザが選択した区分を修正する。
【００８８】
図８は、ステップＳ４−２０における画像区分についての対話型式で修正する際に画像分割エディタ７０によって実行される処理操作を示す図である。
【００８９】
図８を参照すると、ステップＳ８−２において、画像分割エディタ７０は、ステップＳ４−１８においてユーザが（対応するアイコンをポイントおよびクリックすることによって）選択した画像区分を表示装置４上にディスプレイ・プロセッサ１１０によって表示させて編集を行う。図９を参照してより具体的に説明すると、本実施形態では、ステップＳ４−１８においてユーザが選択した画像区分をアイコン画像内よりも大きい形でウィンドウ４００内に表示させる。本実施形態では、ウィンドウ４００内に表示された画像区分は、当該区分を生成するために処理された入力画像と同じ数の画素を有する。さらに、ユーザが選択したアイコン（図９の例ではアイコン３１８）の境界を強調表示するか、あるいは他のアイコンと区別して、これは編集用に拡大された形で表示された区分であることを示す。
【００９０】
ステップＳ８−２において、画像分割エディタ７０は、ウィンドウ４００内の表示画像区分上に、ユーザにより移動可能なウィンドウ４０２をディスプレイ・プロセッサ１１０に表示させる。さらに、画像分割エディタ７０は、ステップＳ４−１６においてオブジェクト２１０または写真マット３４上の特徴パターンに属するものと画像データ・セグメンタ６０によって判断された画素、ならびに背景画素に属するものと判断された画素をユーザが確認できるように、ウィンドウ４０２に含まれる画像区分の部分が拡大された形で表示されるさらなるウィンドウ４１０をディスプレイ・プロセッサ１１０に表示させる。
【００９１】
ステップＳ８−４において、画像分割エディタ７０は、ユーザ指示に従って、ウィンドウ４１０内に表示された画素を、背景画素からオブジェクト画素（すなわち、オブジェクト２１０または写真マット３４上の特徴パターンを表す画素）に変化させ、かつ／またはオブジェクト画素を背景画素に変化させる。より具体的には、編集のために、画像分割エディタ７０は、ユーザがウィンドウ４１０において変更すべき画素を指定するためにマウスのようなユーザ入力装置６を使用して動かすことのできる、本実施形態ではブラシの形をしたポインタ４１２をディスプレイ・プロセッサ１１０に表示させる。本実施形態では、ユーザがポインタ４１２でタッチする各画素は、それが以前は背景画素であればオブジェクト画素に変化し、あるいは以前はオブジェクト画素であれば背景画素に変化する。本実施形態では、分割エディタ７０は、選択することによって（より多くの画素を同時に指定できることによってウィンドウ４１０内の広いエリアを迅速に変化させることができるように）ポインタ４１２が広くなるユーザ選択可能ボタン４１４、および選択することによってポインタ４１２が狭くなる、ユーザ選択可能ボタン４１６をディスプレイ・プロセッサ１１０に表示させる。
【００９２】
このように処理を実行することにより、ユーザは、例えば画像データ・セグメンタ６０により生成された区分を編集し、画像データ・セグメンタ６０によってオブジェクト２１０に関連するものと誤って判断されたあらゆる画素（例えば、対象オブジェクト２１０における色と同じ色を有する場合は、画像データ・セグメンタ６０によって対象オブジェクト２１０に関連する画像データと区別されることのない、表面２００上のマーク２２０に関連する画素データ）を背景画素として指定し、かつ／または補正されなければ、サーフェイス・モデラ８０によって続いて生成される対象オブジェクトの三次元コンピュータ・モデル内にエラーを生じてしまう、（図９の例に示すような）画像区分内の対象オブジェクト２１０の輪郭に触れる写真マット３４上の各特徴パターンに関連する画素を背景画素として指定することができる。同様に、ユーザは、画像データ・セグメンタ６０によって対象オブジェクト２１０に関連するものと誤って判断された写真マット３４および／または表面２００上の陰に関連する画素を背景画素として指定することができる。
【００９３】
ステップＳ８−６において、ユーザが、（異なるアイコン３１０〜３２４をポイントおよびクリックするか、または「処理の開始」ボタン３４４をポイントおよびクリックすることによって）現在表示されている区分の編集を終えた後に、アイコン・コントローラ１００は、ステップＳ８−４においてユーザが行った画像区分に対する変更を示すために、ステップＳ８−４においてユーザにより編集された区分に対応する表示アイコン（図９の例ではアイコン３１８）をディスプレイ・プロセッサ１１０により変化させる。
【００９４】
再び図４Ｂを参照すると、ステップＳ４−２２において、画像分割エディタ７０は、ユーザが画像区分に対してさらなる変更を加えることを希望しているかどうか、すなわちユーザがさらなるアイコン３１０〜３２４をポイントおよびクリックしたかどうかを判断する。
【００９５】
ステップＳ４−１８またはＳ４−２２において、画像区分に対してさらなる変更が加えられない（すなわち、ユーザが「処理の開始」ボタン３４４をポイントおよびクリックした）ものと判断されたときは、処理はステップＳ４−２４に進む。
【００９６】
ステップＳ４−２４において、サーフェイス・モデラ８０は、対象オブジェクト２１０の表面の三次元コンピュータ・モデルを定めるデータを生成するための処理を行う。
【００９７】
本実施形態では、ステップＳ４−２４における処理は、従来の方法で実行され、以下の３つの段階を含む。
【００９８】
（１）ステップＳ４−１４において生成されたカメラの位置および方向、ならびにステップＳ４−１６およびＳ４−２０における分割画像データを処理して、オブジェクトを包含するボクセルの三次元グリッドを定めるデータを含む、ボクセル・カービング（voxel carving）を生成する。サーフェイス・モデラ８０は、従来の方法、例えば「画像シーケンスからの高速八部木構成」（Ｒ．Ｓｚｅｌｉｓｋｉ、ＣＶＧＩＰ）：（イメージ・アンダースタンディング、第５８巻、Ｎｏ．１、１９９３年７月、２３〜３２ページ）に記載されているような方法で、この段階についての処理を行う。しかし、本実施形態では、ボクセル・カーブ処理が行われる、サーフェイス・モデラ８０によって定められる開始ボリュームは、垂直方向の側面と、水平方向の上面および底面を有する直平行六面体を含む。垂直方向の側面は、写真マット３４上の特徴パターンのエッジに触れるように（したがって、全面的に対象オブジェクト２１０を包含するように）配置される。上面の位置は、カメラ２３０の焦点から、ステップＳ４−４において記憶されたいずれか１つの入力画像の上端を通る線と、写真マット３４の中心を通る鉛直線とを交差させることによって定められる。より具体的には、ステップＳ４−１４において行われた位置および方向の計算の結果として、カメラ２３０の焦点および画像の上端が把握され、その線が写真マット３４の中心を通る鉛直線と交差する点に対応するように上面の高さを設定することによって、（対象オブジェクト２１０の最上部が各入力画像内で目に見える状態にあると仮定すれば）その上面が常に対象オブジェクト２１０の最上部の上に位置することになる。水平方向の底面の位置は、写真マット３４の平面より若干上にくるように設定される。このように底面の位置を設定することによって、（ステップＳ４−１６またはステップＳ４−２０において実行された画像分割において、対象オブジェクトから分離されなかった）写真マット３４上のパターンにおける特徴はボクセル・カービング処理を通じて無視されることになり、対象オブジェクト２１０の三次元表面モデルのみが生成されることになる。
【００９９】
（２）ボクセル・カービングを定めるデータを処理して、オブジェクト２１０の表面を定める三角形の三次元サーフェイス・メッシュを定めるデータを生成する。本実施形態では、この段階の処理は、例えばＷ．Ｅ．ＬｏｒｅｎｓｅｎおよびＨ．Ｅ．Ｃｌｉｎｅによる「マーチング・キューブ：高解像度三次元面構成アルゴリズム」（コンピュータ・グラフィックス、ＳＩＧＧＲＡＰＨ８７会報、２１：１６３−１６９、１９８７年７月）、またはＪ．Ｂｌｏｏｍｅｎｔｈａｌによる「暗示的表面ポリゴナイザ」（グラフィックス ＧｅｍｓＩＶ、ＡＰプロフェッショナル、１９９４年、ＩＳＢＮ ０１２３３６１５５９、ｐｐ ３２４−３５０）に記載されているような従来のマーチング・キューブ・アルゴリズムに従ってサーフェイス・モデラ８０が実行する。
【０１００】
（３）段階２で生成されるサーフェイス・メッシュにおける三角形の数は、デシメーション処理を実施することによって著しく削減される。
【０１０１】
段階３において、サーフェイス・モデラ８０は、本実施形態における処理を実施し、段階２で生成された三角形のメッシュから無作為に頂点を取り除くことによってデシメーション処理を行って、各々の頂点がオブジェクト２１０の表面の形状に寄与しているか否かを確認する。その形状に寄与していない頂点は三角網から除去されるため、最終モデル内の頂点が減少する（したがって、三角形が減少する）。除去および検査する頂点の選択は、隣接する頂点を連続的に除去することによって表面のより大きな部分を浸食する効果を防ぐために、任意の順序で行われる。本実施形態においてサーフェイス・モデラ８０によって実行されるデシメーション・アルゴリズムを、疑似コードで以下に記載する。
入力
頂点を読み込む。
三角形を形成する三組の頂点ＩＤを読み込む。
処理
ＮＶＥＲＴＥＸを数回繰り返す。
これまでに選択されていない任意の頂点Ｖを選択する。
頂点としてＶを有するすべての三角形の集合Ｓを配置する。
近接する三角形が互いに隣り合うようにＳを配列する。
Ｖを無視して三角形の集合を再構成する（すなわち、選択された三角形＆Ｖ を取り除き、次いで穴を埋める）。
Ｖと各三角形の平面の間の最大距離を求める。
（距離＜しきい値）の場合は、
Ｖを破棄して、新たな三角網を維持する。
そうでない場合は、
Ｖを維持して、旧い三角網に戻る。
出力
維持された頂点のリストを出力する。
更新された三角形のリストを出力する。
【０１０２】
写真マット３４上の特徴パターンの絶対位置が把握されているため（あらかじめ記憶された位置を定めるデータに従って特徴パターンが印刷されているため）、ステップＳ４−２４において、オブジェクト２１０の表面の三次元モデルが正しいスケールで生成される。
【０１０３】
ステップＳ４−２６において、サーフェイス・テクスチャラ９０は、ステップＳ４−２４においてサーフェイス・モデラ８０により生成されたサーフェイス・モデル内の表面三角形毎にテクスチャ・データを生成する。
【０１０４】
より具体的には、本実施形態において、サーフェイス・テクスチャラ９０は、従来の方法で処理を行い、ステップＳ４−２４において生成されたサーフェイス・メッシュ内の各三角形を選択するとともに、選択された三角形と最前で直面する入力画像「ｉ」を見いだす。すなわち、値ｎt＾．ｖi＾が最も大きい入力画像を見いだす（ただし、ｎt＾は三角形の法線で、ｖi＾は「ｉ」番目の画像に対する表示方向である）。これによって、選択された表面三角形が最大の投射領域を有する入力画像が識別される。
（上記ｎt＾．ｖi＾は
次いで、選択された表面三角形を、識別された入力画像内に投射し、投射した三角形の頂点をテクスチャ座標として利用して、画像テクスチャ・マップを定める。
【０１０５】
上述の処理を実行した結果が、モデル上に描写される画像データを定めるテクスチャ座標を備えた、オブジェクト２１０の表面のＶＲＭＬモデル（または類似形式のモデル）である。
【０１０６】
ステップＳ４−２８において、中央制御装置２０は、オブジェクト２１０の三次元コンピュータ・モデルを定めるデータを、例えばディスク１２２のような記憶装置に記憶されたデータ、または信号１２４として、出力データ記憶装置１２０から出力する（図１）。さらに、あるいはその代わりに、中央制御装置２０は、テクスチャ・データが描かれたオブジェクト２１０の三次元コンピュータ・モデルの画像を、例えばユーザ入力装置６を使用してユーザが入力した観点に従って、表示プロセッサ１１０に表示させる。あるいは、ステップＳ４−１４において生成された入力画像毎にカメラ２３０の位置および方向を定めるデータ、ならびにステップＳ４−１６およびステップＳ４−２０において生成された各入力画像の区分を定めるデータを、例えばディスク１２２のような記憶装置に記録されたデータ、または信号１２４として出力することができる。次いで、ステップＳ４−２４およびステップＳ４−２６を実行するようプログラミングされた個別的な処理装置にこのデータを入力することができる。
【０１０７】
請求の範囲内で、上述の実施形態に多くの修正を加えることができる。
【０１０８】
例えば、上述の実施形態において、入力画像を表す各アイコン３１０〜３２５は、入力画像の画素縮小バージョン（サムネイル画像）である。しかし、入力画像内の画素の数、およびディスプレイ装置４のディスプレイ上に表示可能な画素の数に応じて、各アイコンは入力画像のすべての画素を含むこととしてもよい。
【０１０９】
上述の実施形態では、ステップＳ４−４において、カメラ２３０の固有パラメータを示す、ユーザにより入力されたデータが記憶される。しかし、その代わりに、固有のカメラパラメータの一部またはすべてに対してデフォルト値を想定することができ、あるいは、例えばＨａｒｔｌｅｙによる「Ｅｕｃｌｉｄｅａｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｒｏｍ Ｕｎｃａｌｉｂｒａｔｅｄ Ｖｉｅｗｓ」（Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｉｎｖａｒｉａｎｃｅ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｍｕｎｄｙ、ＺｉｓｓｅｒｍａｎおよびＦｏｒｓｙｔｈ、ｐｐ ２３７−２５６、Ａｚｏｒｅｓ １９９３年）に記載されているような従来の方法で固有パラメータ値を計算する処理を行うことができる。
【０１１０】
上述の実施形態では、対象オブジェクト２１０に関連する入力画像からの画像データは、図６Ａ乃至Ｃを参照しながら上述したような方法により背景に関連する画像データから分離することとした。しかし、その代わりに、従来の他の分割方法を用いてもよい。例えば、写真マット３４および背景（または第二の実施形態では単に背景）を表す単一のＲＧＢ値を記憶し、入力画像内の各画素を処理して、ＲＧＢ背景値とＲＧＢ画素値の間のＲＧＢ空間におけるユークリッド距離が特定のしきい値より小さいかどうかを判断する分割方法を用いることができる。
【０１１１】
上述の実施形態では、ステップＳ６−４４において、アイコンコントローラ１００は、対応する入力画像内の各画素が画像データセグメンタ６０によって処理されるのに伴って、サムネイル画像を更新する。すなわち、ステップＳ６−４４は、ステップＳ６−３４からＳ６−４６を含むループの一部として実行される。しかし、その代わりに、アイコンコントローラ１００は、入力画像内のすべての画素が処理された後に、サムネイル画像を更新するようにしてもよい。すなわち、ステップＳ６−４６の後で、ステップＳ６−４４を実行することができる。このように、入力画像内のすべての画素についてステップＳ６−３４からステップＳ６−４２が実行されたときに、各サムネイル画像を更新するだけで、分割処理の結果を示すことになる。
【０１１２】
上述の実施形態では、ステップＳ８−４においてユーザが入力画像に対する区分を編集し終えた後に、ステップＳ８−６を実行してサムネイル画像を更新する。しかし、その代わりに、各サムネイル画像が区分編集の結果をリアルタイムで表示するように、入力画像区分を編集しながらステップＳ８−６を実行することもできる。
【０１１３】
上述の実施形態では、各入力画像を示すアイコンは入力画像自体の画素縮小バージョンであり、分割処理の進行に伴って各アイコンが変化し、アイコンに対応する特定の入力画像に対する画像データ分割処理操作の結果を示した。しかし、各アイコンは純粋に概略化され、外見上は入力画像と無関係なものであってもよい。例えば、各アイコンは単一色の単純な幾何学形状のものであってもよく、入力画像に対する分割処理操作が終了したことを示すために色を変化させることもできる（または、目に見える他の様式でアイコンを変化させることもできる）。
【０１１４】
上述の実施形態では、ステップ４−１８において、ユーザが対応するアイコン３１０〜３２８をポイントおよびクリックすることによって編集する区分を選択した。しかし、対応するアイコンを選択する以外の方法で、編集する区分を選択することも可能である。例えば、ユーザがその区分を編集することを希望する入力画像に対応する数字を打ち込むことによって区分を選択することができる。
【０１１５】
上述の実施形態では、ステップＳ４−２４において、サーフェイスモデラ８０は、ボクセルカービング技術を用いて、対象オブジェクト２１０の表面の三次元コンピュータモデルを定めるデータを生成した。しかし、例えば「Ｗｈａｔ Ｄｏ Ｎ Ｐｈｏｔｏｇｒａｐｈｓ Ｔｅｌｌ Ｕｓ Ａｂｏｕｔ ３Ｄ Ｓｈａｐｅ？」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ第６８０号（１９９８年１月）、および「Ａ Ｔｈｅｏｒｙ ｏｆ Ｓｈａｐｅ ｂｙ Ｓｐａｃｅ Ｃａｒｖｉｎｇ」と題するＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ第６９２号（１９９８年５月）（いずれも著者はＫｉｒｉａｋｏｓ Ｎ．ＫｕｔｕｌａｋｏｓとＳｔｅｐｈｅｎ Ｍ．Ｓｅｉｔｓである）に記載されているようなボクセル着色法のような他の技術を用いてもよい。
【０１１６】
上述の実施形態では、画像分割エディタ７０は、編集ステップＳ８−４において、ユーザがポインタ４１２でタッチした各画素が、それまで背景画素であればオブジェクト画素に変化し、それまでオブジェクト画素であれば背景画素に変化するように処理を行うよう構成されていた。しかし、その代わりに、画像分割エディタ７０は、ユーザがユーザ入力装置６を使用して、背景からオブジェクトへの画素編集モード（a background-to-object pixel editing mode）を選択し、このモードが選択されている間、ユーザがポインタ４１２でタッチした各画素が、それまで背景画素であればオブジェクト画素に変化するが、オブジェクト画素は背景画素に変化することのないように処理を行うよう構成されていてもよい。同様に、ユーザは、ユーザがポインタ４１２でタッチした各画素が、それまでオブジェクト画素であれば背景画素に変化するが、背景画素はオブジェクト画素に変化することのない、オブジェクトから背景への変更モード（object-to-background change mode）を選択することもできる。
【０１１７】
上述の実施形態では、ステップＳ４−２０において画像区分を修正して、画像データセグメンタ６０により対象オブジェクト２１０に関連するものと誤って判断されたあらゆる画素（例えば、画像内の対象オブジェクト２１０の輪郭に接する影や表面特徴などに関連する画素）を背景画素に指定する。しかし、それに加えて、またはその代わりに、ステップＳ４−２０での処理を行って、実際に対象オブジェクト２１０に接する１つまたは複数の付加的なオブジェクト（例えば、対象オブジェクト２１０を支持するスタンド）、および／または対象オブジェクト２１０自体の１つまたは複数の不必要な部分に関連するあらゆる画素を背景画素に指定することもできる。このようにして、ステップＳ４−２４において生成した三次元コンピュータモデルには、ユーザが必要としない付加的なオブジェクトまたは部分が含まれなくなる。
【０１１８】
上述の実施形態では、プログラミング指示によって定められた処理ルーチンを使用し、コンピュータによって処理が行われる。しかし、ハードウェアを使用して、一部またはすべての処理を行うことも可能である。
【図面の簡単な説明】
【図１】処理装置のコンポーネントが、プログラミング指示によりプログラミングされたときに、そのように構成されるものと考えられる概念的・機能的処理ユニットであり、本発明の実施形態の構成要素を概略的に示す図である。
【図２】三次元コンピュータモデルが生成されるオブジェクトの画像の記録を示す図である。
【図３】図１の処理装置に入力されるオブジェクトの画像を示す図である。
【図４Ａ】入力データを処理するために図１の処理装置によって実行される処理操作を示す図である。
【図４Ｂ】入力データを処理するために図１の処理装置によって実行される処理操作を示す図である。
【図５】図４ＡのステップＳ４−６における「サムネイル」（縮小画素）形式の各入力画像の表示を示す図である。
【図６Ａ】図４ＢのステップＳ４−１６において実行される処理操作を示す図である。
【図６Ｂ】図４ＢのステップＳ４−１６において実行される処理操作を示す図である。
【図６Ｃ】図４ＢのステップＳ４−１６において実行される処理操作を示す図である。
【図７】図６ＣのステップＳ６−４４において、サムネイル画像がどのように変化するかを示す図である。
【図８】図４ＢのステップＳ４−２０において実行される処理操作を示す図である。
【図９】図８のステップＳ８−２からＳ８−３での処理時における図１の表示装置上の表示の例を示す図である。
【符号の説明】
２ 処理装置
４ 表示装置
６ ユーザ入力装置
８ プリンタ
１０ 表示パネル
１２、４２ ディスク
１４ 信号
２０ 中央制御装置
２４ メモリ
３０ マットジェネレータ
３４ 写真マット
４０ 入力データ記憶装置
５０ カメラ計算器
６０ 画像データセグメンタ
７０ 画像分割エディタ
８０ サーフェイスモデラ
９０ サーフェイステクスチャラ
１００ アイコンコントローラ
１１０ ディスプレイプロセッサ
１２０ 出力データ記憶装置
２３０ カメラ
Claims (19)
- 異なる位置および方向において記録されたオブジェクトの複数の画像を定めるデータを処理して、該オブジェクトの三次元コンピュータモデルを定めるデータを生成する方法であって、
異なる位置および方向において記録されたオブジェクトの複数の画像を定める画像データと、該位置および方向を定めるデータとを受信する工程と、
前記画像データを処理して、前記画像のうちの少なくともいくつかにおいて、前記オブジェクトに関連するデータを他の画像データから分割処理する工程と、
前記分割処理の結果を示す表示用データを生成する工程と、
入力された信号であって、少なくとも１つの画像における前記分割処理の結果に対する変更を定める信号を受信する工程と、
前記受信した信号に従って前記分割処理の結果を修正する工程と、
修正されたあらゆる結果を含めた前記分割処理の結果を用いて前記オブジェクトの三次元コンピュータモデルを定めるデータと、前記画像が記録された位置および方向を定めるデータとを生成する工程と、を備え、
前記分割処理の結果を示す表示用データを生成する前記工程は、更に、
前記分割処理の結果を示し、選択可能な各処理画像のサムネイル画像を定めるデータを生成する工程と、
前記サムネイル画像の選択に応じて、前記分割処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する工程と
を備えることを特徴とする方法。 - 前記分割処理の表示結果の上を移動可能なポインタを定める表示用データを生成する工程と、
前記ポインタにより指定されたデータに従って、前記オブジェクトに関連するデータを非オブジェクトデータに変更し、非オブジェクトデータを前記オブジェクトに関連するデータに変更する工程と
を更に備えることを特徴とする請求項１に記載の方法。 - 入力された指示に従って、サイズが変化した前記ポインタを定める表示用データを生成する工程をさらに備えることを特徴とする請求項２に記載の方法。
- 三次元コンピュータモデルを定めるデータを生成する前記工程は、
一定量のボクセルを定める工程と、
あらゆる修正結果を含めた前記分割処理の結果に応じてボクセルを除去し、前記画像が記録された位置および方向を定めるデータを除去する工程と
を備えることを特徴とする請求項１乃至３のいずれかに記載の方法。 - 前記三次元コンピュータモデルを定める前記データを伝達する信号を生成する工程を更に備えることを特徴とする請求項１乃至４のいずれかに記載の方法。
- 前記信号を直接または間接的に記録する工程を更に備えることを特徴とする請求項５に記載の方法。
- 異なる位置および方向において記録されたオブジェクトの複数の画像を定める画像データを受信する工程と、
前記画像データを処理して、前記画像のうちの少なくともいくつかの画像におけるデータを、前記オブジェクトに関連するデータ、または他の画像データに分類処理する工程と、
前記分類処理の結果を示す表示用データを生成する工程と、
少なくとも１つの画像に対する前記処理の結果についての変更を定める入力信号を受信する工程と、
前記受信した信号に従って、前記分類処理の結果を修正する工程と、を備え、
前記分類処理の結果を示す表示用データを生成する前記工程は、更に、
前記分類処理の結果を示すための各処理画像のサムネイル画像を定めるデータを生成する工程と、
各サムネイル画像を選択可能にする処理を行う工程と、
前記サムネイル画像の選択に応じて、前記分類処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する工程と
を備えることを特徴とする画像処理方法。 - 修正された結果を含めた前記分類処理の結果を伝達する信号を生成する工程を更に備えることを特徴とする請求項７に記載の方法。
- 前記信号を直接または間接的に記録する工程を更に備えることを特徴とする請求項８に記載の方法。
- 異なる位置および方向において記録されたオブジェクトの複数の画像を定めるデータを処理して、該オブジェクトの三次元コンピュータモデルを定めるデータを生成する方法であって、
異なる位置および方向において記録されたオブジェクトの複数の画像を定める画像データを処理して、前記画像のうち少なくともいくつかにおいて、前記オブジェクトに関連する画像データを他の画像データから分割処理する工程と、
前記分割処理の結果を表示する工程と、
陰影部または前記オブジェクトに接触する表面特徴に関連する画像データを、前記オブジェクトに関連する画像データから取り除くために前記分割処理の結果を修正する工程と、
修正された結果を含めた前記分割処理の結果を用いて前記オブジェクトの三次元コンピュータモデルを定めるデータと、前記画像が記録された位置および方向を定めるデータとを生成する工程と、を備え、
前記分割処理の結果を表示する前記工程は、更に、
前記分割処理の結果を示し、選択可能な各処理画像のサムネイル画像を定めるデータを生成する工程と、
前記サムネイル画像の選択に応じて、前記分割処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する工程と
を備えることを特徴とする方法。 - 異なる位置および方向において記録された対象オブジェクトおよび付加的な隣接オブジェクトの複数の画像を定めるデータを処理して、前記対象オブジェクトの三次元コンピュータモデルを定めるデータを生成する方法であって、
異なる位置および方向において記録された前記対象オブジェクトおよび前記付加的なオブジェクトの複数の画像を定めるデータを処理して、前記画像のうちの少なくともいくつかにおいて、前記対象オブジェクトおよび前記付加的なオブジェクトに関連するデータを他の画像データから分割処理する工程と、
前記分割処理の結果を表示する工程と、
前記付加的なオブジェクトに関連する画像データを、前記対象オブジェクトに関連する画像データから取り除くために前記分割処理の結果を修正する工程と、
修正された結果を含めた前記分割処理の結果を用いて前記対象オブジェクトの三次元コンピュータモデルを定めるデータと、前記画像が記録された位置および方向を定めるデータとを生成する工程と、を備え、
前記分割処理の結果を表示する前記工程は、更に、
前記分割処理の結果を示し、選択可能な各処理画像のサムネイル画像を定めるデータを生成する工程と、
前記サムネイル画像の選択に応じて、前記分割処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する工程と
を備えることを特徴とする方法。 - 異なる位置および方向において記録されたオブジェクトの複数の画像を定めるデータを処理して、該オブジェクトの三次元コンピュータモデルを定めるデータを生成する方法であって、
異なる位置および方向において記録されたオブジェクトの複数の画像を定める画像データを処理して、前記画像のうちの少なくともいくつかにおいて、前記オブジェクトに関連するデータを他の画像データから分割処理する工程と、
前記分割処理の結果を表示する工程と、
前記オブジェクトの少なくとも第１の部分に関連する画像データを、前記オブジェクトの他の部分から取り除くために、前記分割処理の結果を修正する工程と、
修正された結果を含めた前記分割処理の結果を用いて、前記第１の部分が存在しない前記オブジェクトの三次元コンピュータモデルを定めるデータと、前記画像が記録された位置および方向を定めるデータとを生成する工程と、を備え、
前記分割処理の結果を表示する前記工程は、更に、
前記分割処理の結果を示し、選択可能な各処理画像のサムネイル画像を定めるデータを生成する工程と、
前記サムネイル画像の選択に応じて、前記分割処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する工程と
を備えることを特徴とする方法。 - 異なる位置および方向において記録されたオブジェクトの複数の画像を定めるデータを処理して、該オブジェクトの三次元コンピュータモデルを定めるデータを生成する装置であって、
異なる位置および方向において記録されたオブジェクトの複数の画像を定める画像データと、位置および方向を定めるデータとを受信する手段と
前記画像データを処理して、前記画像のうち少なくともいくつかにおいて、前記オブジェクトに関連するデータを他の画像データから分割処理する手段と、
前記分割処理の結果を示す表示用データを生成する手段と、
少なくとも１つの画像に対する前記分割処理の結果についての変更を定める入力信号を受信する手段と、
前記受信した信号に従って、前記分割処理の結果を修正する手段と、
修正されたあらゆる結果を含めた前記分割処理の結果を用いて前記オブジェクトの三次元コンピュータモデルを定めるデータと、前記画像が記録された位置および方向を定めるデータとを生成するための手段と、を備え、
前記分割処理の結果を示す表示用データを生成する前記手段は、更に、
前記分割処理の結果を示すための各処理画像のサムネイル画像を定めるデータを生成する手段と、
各サムネイル画像を選択可能にする処理を行う手段と、
前記サムネイル画像の選択に応じて、前記分割処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する手段と
を備えることを特徴とする装置。 - 前記分割処理の表示結果の上を移動可能なポインタを定める表示用データを生成する手段と、
前記ポインタにより指定されたデータに従って、前記オブジェクトに関連するデータを非オブジェクトデータに変更し、非オブジェクトデータを前記オブジェクトに関連するデータに変更する手段と
を更に備えることを特徴とする請求項１３に記載の装置。 - 入力された指示に従って、サイズが変化した前記ポインタを定める表示用データを生成する手段を更に備えることを特徴とする請求項１４に記載の装置。
- 三次元コンピュータモデルを定めるデータを生成する前記手段は、
一定量のボクセルを定める手段と、
あらゆる修正結果を含めた前記分割処理の結果に応じてボクセルを除去し、前記画像が記録された位置および方向を定めるデータを除去する手段と
を備えることを特徴とする請求項１３乃至１５のいずれかに記載の装置。 - 異なる位置および方向において記録されたオブジェクトの複数の画像を定める画像データを受信する手段と、
前記画像データを処理して、前記画像のうちの少なくともいくつかの画像におけるデータを、前記オブジェクトに関連するデータ、または他の画像データに分類処理する手段と、
前記分類処理の結果を示す表示用データを生成する手段と、
少なくとも１つの画像に対する前記分類処理の結果についての変更を定める入力信号を受信する手段と、
前記受信した信号に従って、前記分類処理の結果を修正するための手段と、を備え、
前記分類処理の結果を示す表示用データを生成する前記手段は、更に、
前記分類処理の結果を示すための各処理画像のサムネイル画像を定めるデータを生成する手段と、
各サムネイル画像を選択可能にする処理を行う手段と、
前記サムネイル画像の選択に応じて、前記分類処理の結果を示す該選択された画像について、編集のためにより大きな形で表示するためのデータを生成する手段と
を備えることを特徴とする画像処理装置。 - 請求項１乃至１２の少なくともいずれか１項に記載の方法をプログラマブル処理装置により実行させるためのプログラムコードを記憶する記憶媒体。
- 請求項１乃至１２の少なくともいずれか１項に記載の方法をプログラマブル処理装置により実行させるためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB0024593A GB2370737B (en) | 2000-10-06 | 2000-10-06 | Image processing apparatus |
| GB0024593.6 | 2000-10-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002163681A JP2002163681A (ja) | 2002-06-07 |
| JP3647407B2 true JP3647407B2 (ja) | 2005-05-11 |
Family
ID=9900847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001311441A Expired - Fee Related JP3647407B2 (ja) | 2000-10-06 | 2001-10-09 | 画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7620234B2 (ja) |
| JP (1) | JP3647407B2 (ja) |
| GB (1) | GB2370737B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007311856A (ja) * | 2006-05-16 | 2007-11-29 | Fuji Xerox Co Ltd | 画像処理装置および画像データ転送方法とプログラム |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6985145B2 (en) * | 2001-11-09 | 2006-01-10 | Nextengine, Inc. | Graphical interface for manipulation of 3D models |
| US20080225044A1 (en) * | 2005-02-17 | 2008-09-18 | Agency For Science, Technology And Research | Method and Apparatus for Editing Three-Dimensional Images |
| US8218903B2 (en) * | 2007-04-24 | 2012-07-10 | Sony Computer Entertainment Inc. | 3D object scanning using video camera and TV monitor |
| CN101872279B (zh) * | 2009-04-23 | 2012-11-21 | 深圳富泰宏精密工业有限公司 | 电子装置及调整该电子装置显示画面位置的方法 |
| TW201118791A (en) * | 2009-11-27 | 2011-06-01 | Inst Information Industry | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof |
| US20110182493A1 (en) * | 2010-01-25 | 2011-07-28 | Martin Huber | Method and a system for image annotation |
| US10506996B2 (en) | 2011-04-28 | 2019-12-17 | Koninklijke Philips N.V. | Medical imaging device with separate button for selecting candidate segmentation |
| EP2528042B1 (de) * | 2011-05-23 | 2019-12-18 | Deutsche Telekom AG | Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen |
| BR112014002063A2 (pt) | 2011-07-29 | 2017-02-21 | Hexagon Metrology Inc | redução de dados de sistema de medição por coordenadas |
| US9998655B2 (en) | 2014-12-23 | 2018-06-12 | Quallcomm Incorporated | Visualization for viewing-guidance during dataset-generation |
| US10169665B1 (en) * | 2016-02-28 | 2019-01-01 | Alarm.Com Incorporated | Virtual inductance loop |
| EP3545497B1 (en) * | 2016-11-22 | 2021-04-21 | Lego A/S | System for acquiring a 3d digital representation of a physical object |
| US10433771B2 (en) * | 2017-10-06 | 2019-10-08 | James Christopher Pamplin | Device for assessing and recording posture |
| CN109727308A (zh) * | 2017-10-30 | 2019-05-07 | 三纬国际立体列印科技股份有限公司 | 实体物件的三维点云模型生成设备及生成方法 |
| US11830131B2 (en) * | 2018-02-06 | 2023-11-28 | Veo Robotics, Inc. | Workpiece sensing for process management and orchestration |
| CN112419467B (zh) * | 2020-11-05 | 2023-10-03 | 杭州群核信息技术有限公司 | 基于深度学习的提升渲染效率方法、装置和系统 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL100256A (en) * | 1991-12-06 | 1997-01-10 | Scitex Corp Ltd | Apparatus and method for preparing picture masks |
| JP3869876B2 (ja) | 1995-12-19 | 2007-01-17 | キヤノン株式会社 | 画像計測方法及び画像計測装置 |
| US5966310A (en) | 1996-02-13 | 1999-10-12 | Sanyo Electric Co., Ltd. | Personal design system and personal equipment production system for actually producing equipment having designed appearance |
| JPH09244522A (ja) | 1996-03-05 | 1997-09-19 | Canon Inc | 仮想建築物体験方法及び装置 |
| US6268862B1 (en) | 1996-03-08 | 2001-07-31 | Canon Kabushiki Kaisha | Three dimensional virtual space generation by fusing images |
| JP3679512B2 (ja) * | 1996-07-05 | 2005-08-03 | キヤノン株式会社 | 画像抽出装置および方法 |
| CN1480903A (zh) * | 1996-08-29 | 2004-03-10 | ������������ʽ���� | 特征信息赋予、物体抽取和立体模型生成方法及其装置 |
| US6137893A (en) | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
| US5815683A (en) * | 1996-11-05 | 1998-09-29 | Mentor Graphics Corporation | Accessing a remote cad tool server |
| US5960125A (en) * | 1996-11-21 | 1999-09-28 | Cognex Corporation | Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object |
| US5832134A (en) * | 1996-11-27 | 1998-11-03 | General Electric Company | Data visualization enhancement through removal of dominating structures |
| GB2325996B (en) | 1997-06-04 | 2002-06-05 | Lsi Logic Corp | Distributed computer aided design system and method |
| EP0898245B1 (en) | 1997-08-05 | 2004-04-14 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US6342917B1 (en) | 1998-01-16 | 2002-01-29 | Xerox Corporation | Image recording apparatus and method using light fields to track position and orientation |
| US6434260B1 (en) * | 1999-07-12 | 2002-08-13 | Biomedicom, Creative Biomedical Computing Ltd. | Facial imaging in utero |
| US6681043B1 (en) * | 1999-08-16 | 2004-01-20 | University Of Washington | Interactive video object processing environment which visually distinguishes segmented video object |
| CN1421020B (zh) * | 1999-11-23 | 2010-04-28 | 佳能株式会社 | 图像处理设备 |
| US7065242B2 (en) * | 2000-03-28 | 2006-06-20 | Viewpoint Corporation | System and method of three-dimensional image capture and modeling |
| US7728848B2 (en) * | 2000-03-28 | 2010-06-01 | DG FastChannel, Inc. | Tools for 3D mesh and texture manipulation |
| US6337925B1 (en) * | 2000-05-08 | 2002-01-08 | Adobe Systems Incorporated | Method for determining a border in a complex scene with applications to image masking |
| AU2001264723A1 (en) * | 2000-05-18 | 2001-11-26 | Imove Inc. | Multiple camera video system which displays selected images |
-
2000
- 2000-10-06 GB GB0024593A patent/GB2370737B/en not_active Expired - Fee Related
-
2001
- 2001-10-04 US US09/969,843 patent/US7620234B2/en not_active Expired - Fee Related
- 2001-10-09 JP JP2001311441A patent/JP3647407B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007311856A (ja) * | 2006-05-16 | 2007-11-29 | Fuji Xerox Co Ltd | 画像処理装置および画像データ転送方法とプログラム |
| JP4645988B2 (ja) * | 2006-05-16 | 2011-03-09 | 富士ゼロックス株式会社 | 画像処理装置および画像データ転送方法とプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2370737B (en) | 2005-03-16 |
| GB2370737A (en) | 2002-07-03 |
| US7620234B2 (en) | 2009-11-17 |
| GB0024593D0 (en) | 2000-11-22 |
| JP2002163681A (ja) | 2002-06-07 |
| US20020064305A1 (en) | 2002-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002202838A (ja) | 画像処理装置 | |
| JP3647407B2 (ja) | 画像処理装置 | |
| JP3793115B2 (ja) | ３ｄコンピュータモデリング装置 | |
| US5751852A (en) | Image structure map data structure for spatially indexing an imgage | |
| US20040155877A1 (en) | Image processing apparatus | |
| US7079679B2 (en) | Image processing apparatus | |
| US7199793B2 (en) | Image-based modeling and photo editing | |
| JP2004157968A (ja) | ３次元コンピュータモデリング | |
| EP0782102B1 (en) | User interaction with images in a image structured format | |
| US9311756B2 (en) | Image group processing and visualization | |
| US20010056308A1 (en) | Tools for 3D mesh and texture manipulation | |
| US20110050691A1 (en) | Real-time user guided optimization of general 3d data | |
| US10332291B2 (en) | Content aware image editing | |
| JP2019091436A (ja) | ３ｄ配置のタイプに応じた２ｄ画像の分類 | |
| GB2540791A (en) | Apparatus, methods, computer programs and non-transitory computer-readable storage media for generating a three-dimensional model of an object | |
| JP2003216973A (ja) | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム | |
| US6806878B2 (en) | Graphic editing apparatus for adding or deleting curve to/from graphics by interactive processing | |
| JP3651943B2 (ja) | アイコン作成方法及び動画用のコマ作成方法 | |
| US20220206676A1 (en) | Modifying drawing characteristics of digital raster images utilizing stroke properties | |
| JP2003263464A (ja) | フィレット作成方法、及び３次元ｃａｄプログラム | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| US20040164982A1 (en) | Method and apparatus for editing three-dimensional model, and computer readable medium | |
| JP2024098403A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2003331318A (ja) | 物体データ生成装置 | |
| GB2387093A (en) | Image processing apparatus with segmentation testing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |