JP3743171B2 - ３次元形状データ処理装置 - Google Patents
３次元形状データ処理装置 Download PDFInfo
- Publication number
- JP3743171B2 JP3743171B2 JP24564998A JP24564998A JP3743171B2 JP 3743171 B2 JP3743171 B2 JP 3743171B2 JP 24564998 A JP24564998 A JP 24564998A JP 24564998 A JP24564998 A JP 24564998A JP 3743171 B2 JP3743171 B2 JP 3743171B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- smoothing
- dimensional
- projection
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Coin-Freed Apparatuses For Hiring Articles (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、実存する物体の模型を作成するための３次元形状データ処理装置に関する。
【０００２】
【従来の技術】
例えば、特開平９−１４５３１９号公報に開示されるような可搬型の非接触式３次元計測装置（３次元カメラ）が商品化され、ＣＧ（コンピュータグラフィック）システムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。非接触の計測方法としては、スリット光投影法（光切断法）が一般的であるが、他にもパターン光投影法、ステレオ視法、干渉縞法などが知られている。
【０００３】
また、パーソナルコンピュータで利用可能な３次元ＣＧソフトウェア、およびホビー用の小型の３次元切削マシンが市販されている。これらを用いれば、一般家庭でも模型や創作物を手軽に製作することができる。
【０００４】
一方、利用客の顔写真シールをその場で作成する一種の自動販売機が人気を集めている。利用客は料金分の硬貨を投入し、モニタ画面を見ながらカメラの前で好みのポーズをとる。そして、所定の操作を行うと、一定数のシールが並んだシートが作成されて取出口に排出される。大半の機種では、顔写真の形状や写し込み模様などについて複数の選択肢が設けられている。
【０００５】
【発明が解決しようとする課題】
上述の３次元計測装置によれば、写真をとるのと同程度の手軽さで人体を含む各種物体の形状をデータ化することができる。非接触式であるので、人体を計測する場合であっても、計測対象者が煩わしさを感じることはない。そこで、この３次元計測装置を顔写真ならぬ顔面模型の作成に利用することが考えられる。つまり、３次元加工機と組み合わせれば、人物の顔を計測してその場で適当な倍率の模型を作成することが可能である。
【０００６】
上述した非接触の３次元計測では、顔面中、傾斜のある輪郭部分では距離画像データの変化が大きいため、輪郭部分を顔面模型に顕出させる際にギザギザ状になるという問題があった。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、顔面模型の輪郭部分において切削加工のバラツキを抑えることを可能とした３次元形状データ処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る請求項１記載の３次元形状データ処理装置は、対象物を非接触で３次元計測して得られる距離画像データに基づいて、前記対象物の３次元形状をモデル化するための３次元形状データを生成し、出力する３次元形状データ処理装置であって、前記距離画像データを平滑化する際に所定の投影方向に対する拘束処理を行うことを特徴とする。
本発明に係る請求項２記載の３次元形状データ処理装置は、前記距離画像データのうち、前記対象物の輪郭部に対応する境界データに重み付け平均化処理を施して平滑化する外周平滑化部を備えている。
【０００９】
本発明に係る請求項３記載の３次元形状データ処理装置は、前記距離画像データが、前記対象物を前記所定の投影方向から標本化格子に投影し、前記対象物の形状を３次元座標値として投影面上で格子状に配列したデータであって、前記標本化格子は、前記対象物に対応した投影データを有する有効格子点と、前記対象物に対応した投影データを有さない無効格子点とを含み、前記境界データは、前記無効格子点と隣合っている有効格子点のデータで規定され、前記重み付け平均化処理は、前記境界データを構成する有効格子点の１つを平滑化対象格子点とし、該平滑化対象格子点と前記平滑化対象格子点に隣接する複数の有効格子点との間の距離に応じてそれぞれ設定される重み係数を、前記平滑化対象格子点のデータに積算し、その総和を取る処理を含んでいる。
【００１０】
本発明に係る請求項４記載の３次元形状データ処理装置は、前記対象物の前記標本化格子に対する投影が、前記所定の投影方向が１方向である正投影法によってなされる。
【００１１】
本発明に係る請求項５記載の３次元形状データ処理装置は、前記対象物の前記標本化格子に対する投影が、前記所定の投影方向が前記標本化格子の格子点ごとに異なる透視投影法によってなされる。
【００１２】
本発明に係る請求項６記載の３次元形状データ処理装置は、前記外周平滑化部が、前記重み付け平均化処理の後に、前記重み付け平均化処理前の前記平滑化対象格子点の３次元座標値と、前記重み付け平均化処理後の前記平滑化対象格子点の３次元座標値との差分ベクトルを算出し、該差分ベクトルの前記所定の投影方向成分のみを抽出して、前記重み付け平均化処理前の前記平滑化対象格子点の３次元座標値に加算することで、前記平滑化対象格子点の移動方向を、前記所定の投影方向のみに拘束する拘束処理を行う機能を有している。
【００１３】
【発明の実施の形態】
＜Ａ．立体模型作成装置＞
図１はこの発明に係る立体模型作成装置１の外観図である。立体模型作成装置１は、物体形状を計測し、その計測データに基づいて素材をその場で加工する機能を有しており、利用客の顔をかたどった小物品の自動販売機として使用される。作成される物品は、所定形状（例えば四角形）の板面から顔面の模型が突き出た立体である。板面（背景部分）に特定の起伏模様を付加することも可能である。このような物品に適当な金具を取り付ければ、ペンダント、ブローチ、キーホルダなどのアクセサリーとなる。予め素材に金具を取り付けておいてもよい。
【００１４】
ほぼ等身大の筐体１０の上半部の前面に、利用客がポーズを確認するためのディスプレイ１６とともに、光学式３次元計測のための投光窓１２および受光窓１４が設けられている。受光窓１４は２次元のカラー撮影にも用いられる。筐体１０の下半部は上半部よりも前方側に張り出しており、その上面が操作パネル１８となっている。商品の取出口２０は下半部の前面に設けられている。
【００１５】
利用客は立体模型作成装置１に向かって立ち、料金分の硬貨を投入する。その後に利用客がスタート操作を行うと、立体模型作成装置１は正面の一定範囲内に存在する物体の形状を計測するとともに、計測結果を示す３次元形状モデル（例えばサーフェスモデル）を表示する。そして、利用客が構図の決定を指示する確認操作を行うと、立体模型作成装置１は計測結果に応じた３次元加工を開始する。数分程度の時間で商品が完成する。利用客は取出口２０から商品を取り出す。
【００１６】
図２は操作パネル１８の平面図である。操作パネル１８には、スタートボタン１８１、確認ボタン１８２、キャンセルボタン１８３、ジョイスティック１８４、および硬貨の投入口１８５が設けられている。スタートボタン１８１はスタート操作手段であり、確認ボタン１８２は確認操作手段である。ジョイスティック１８４は模型の構図の変更指示に用いられる。左右に傾けるパーン操作、上下に傾けるチルト操作、およびノブを回転させるロール操作に呼応して３次元形状モデルの回転処理が行われ、処理結果が逐次に表示される。また、キャンセルボタン１８３は、利用客が表示された３次元形状モデルが気に入らないときなどに再計測を指示するための操作手段である。ただし、キャンセルボタン１８３には有効回数が設定されており、無制限に再計測を指示することはできない。
【００１７】
図３は立体模型作成装置１の機能ブロック図である。立体模型作成装置１は、模型サイズの３次元形状モデルを生成するモデリングシステム１Ａと、３次元形状モデルを顕在化する加工システム１Ｂとから構成されている。
【００１８】
モデリングシステム１Ａは、オリジナル物体である利用客の外観情報をディジタルデータに変換（データ化）する撮影システム３０を含んでいる。撮影システム３０は、スリット光投影法で形状情報をデータ化して、３次元の距離画像データ（３次元画像データ）ＤＳを出力する３次元計測装置３４、色情報をデータ化して２次元のカラー画像データＤＣを出力するする２次元撮影装置３６、およびコントローラ３８より構成されている。
【００１９】
ここで、距離画像データＤＳはＸＹＺの直交座標系における座標値として与えられるデータであり、３次元計測装置３４内の計測基準点から対象物の当該計測点までの距離情報を与えるものである。距離画像データＤＳには、対象物からの反射光の計測データが得られたか否かを示す有効フラグの情報も含まれる。
【００２０】
他方、カラー画像データＤＣは、各画素の３原色データ、即ち、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）より成るデータである。例えば、撮影システム３０を特開平９−１４５３１９号公報に開示されている３次元カメラを用いて構成するときには、３次元計測と２次元撮影とを同一視点から行うことができるため、距離画像データＤＳとカラー画像データＤＣとの対応付けを極めて容易に行うことができる。なお、カラー画像データＤＣは４００×４００画素データから構成され、距離画像データＤＳは２００×２００の画素データから構成される。
【００２１】
勿論、３次元計測と２次元撮影とをそれぞれ異なる視点で行った場合でも、距離画像データＤＳ，カラー画像データＤＣにはそれぞれ視点情報が付加されており、且つ３次元計測結果と２次元撮影結果との座標の相対関係は既知であるため、距離画像データＤＳ，カラー画像データＤＣとの対応付けを支障なく行うことができる。このような距離画像データＤＳおよびカラー画像データＤＣは、後述するデータ処理装置４０に入力される。
【００２２】
なお、３次元計測法として、スリット光投影法に代えて他の手法を用いてもよい。
【００２３】
データ処理装置４０は図示しない画像処理回路を備えており、本発明に特有のデータ修正を含む各種のデータ処理を行い、本発明の中核部分である。データ処理装置４０のコントローラ４２は、立体模型作成装置１の全体的な制御をも担い、撮影システム３０のコントローラ３８および加工システム１Ｂのコントローラ１７６に適切な指示を与える。このコントローラ４２には、ディスプレイ１６および操作入力システム４４が接続されている。操作入力システム４４は、上述の操作パネル１８と料金受領機構とからなる。
【００２４】
一方、加工システム１Ｂは、樹脂ブロックなどの材料を切削する加工装置１７２、材料の加工位置への供給と加工品の取出口２０への搬送を行う材料供給装置１７４、コントローラ１７６、および取出口センサ１７８を備えている。取出口センサ１７８の検出信号はコントローラ４２に入力される。
【００２５】
なお、撮影システム３０および加工システム１Ｂの制御をコントローラ４２に受け持たせ、コントローラ３８およびコントローラ１７６を省略した回路構成を採用してもよい。
【００２６】
＜Ｂ．立体模型作成装置の概略動作＞
図４は立体模型作成装置１の概略の動作を示すフローチャートである。以下、同図を参照してその概略動作の処理手順を説明する。
【００２７】
電源が投入された後、利用客による操作を待つ待機期間において、２次元撮影と撮影結果の表示とを繰り返す（ＳＴ１０、ＳＴ１２、ＳＴ１４）。また、定期的に案内メッセージを表示する。料金が投入されてスタートボタン１８１が押されると、改めて２次元撮影を行うとともに３次元計測を行う（ＳＴ１６、ＳＴ１８）。所定のデータ処理を行い（ＳＴ２０）、得られた３次元形状モデルを表示する（ＳＴ２２）。このとき、影を付すといった公知のグラフィック手法を適用して見栄えを高める。そして、指示操作を待つ。ただし、待ち時間は有限であり、時限を過ぎれば確認操作が行われたものとみなす。
【００２８】
ジョイスティック１８４が操作されると、上述のように３次元形状モデルを操作に応じて回転させて表示する（ＳＴ２４、ＳＴ３８）。キャンセルボタン１８３が押されると、待機期間の動作に戻る（ＳＴ４０、ＳＴ１０）。ただし、この場合、利用客が料金を改めて投入する必要はなく、スタートボタン１８１を押せば、再計測が行われる。
【００２９】
確認ボタン１８２が押されると（ＳＴ２６）、３次元形状モデルに基づいて加工条件データベースを参照して加工制御用のデータを生成し（ＳＴ２８）、材料の加工を行う（ＳＴ３０）。加工が終わると、商品を排出し（ＳＴ３２）、取出口センサ１７８によって商品が取り出されたのを確認して待機動作に戻る（ＳＴ３４、ＳＴ１０）。
【００３０】
＜Ｃ．データ処理＞
＜Ｃ−１．顔面形状処理機能ＳＦ１，ＳＦ２＞
図５は、図４のステップＳＴ２０のデータ処理をデータの流れを示すデータフロー図である。図５において、ハッチング付の太矢印線はカラー画像データＤＣの流れを示しており、各機能Ｆ１〜Ｆ９、ＳＦ１およびＳＦ２は３次元形状データを生成するために、図３で示したデータ処理装置４０で行われるデータ処理機能を示している。特に、機能ＳＦ１およびＳＦ２は、３次元形状データ中、顔面の両眼形状モデルのデータを生成するための機能に該当している。以下、各機能Ｆ１〜Ｆ３、ＳＦ１、ＳＦ２、Ｆ４〜Ｆ９をこの順で説明することにするが、本発明の中核をなす機能は機能Ｆ８である。
【００３１】
＜Ｃ−２．距離平滑化機能Ｆ１＞
データ処理装置４０は、図３の３次元計測装置３４が出力する未加工の３次元形状データである距離画像データＤＳに対してノイズ除去してノイズ除去済みの距離画像データＤＳ１を得る。
【００３２】
＜Ｃ−３．背景除去機能Ｆ２＞
次に、データ処理装置４０は、ノイズ除去後の距離画像データＤＳ１に対して、顔面領域を与えるデータの抽出処理を行う。すなわち、データ処理装置４０は後述するカラー平滑化後のカラー画像データＤＣ１が与えるカラー画像中の顔面領域を３次元の距離画像データＤＳ１に対応付けることにより、背景データが除去された顔面領域のみを与える距離画像データＤＳ２を生成する。ここで「顔面領域」とは、髪の毛、首（顎の下）、耳を除いた顔の領域を指す。
【００３３】
＜Ｃ−４．欠陥データ補間機能Ｆ３＞
背景除去機能Ｆ２によって背景除去された距離画像データＤＳ２に対して、データ処理装置４０は、データ欠落画素部分を周囲の画素を用いて補間する。補間の方法としては線形補間等がある。データ欠落画素部分が生じる理由は主として次の２つが考えられる。
【００３４】
３次元計測装置３４からの計測用のレーザ光を対象物に照射してその反射光を計測する際、▲１▼対象物の黒色部分ではレーザ光の反射率が著しく低下するため、模型用顔領域中の黒色部分（黒目部分、眉等）のデータが欠落する、▲２▼上記計測方式では、対象物中、投光側および受光側の両方から見える部分だけのデータが得られるにすぎないため、そうでない部分のデータが欠落してしまう。
【００３５】
＜Ｃ−５．カラー平滑化機能ＳＦ１＞
図３の３次元計測装置３４が出力する未加工のカラー画像データＤＣに対してデータ処理装置４０は、ノイズ除去してノイズ除去済みのカラー画像データＤＣ１を得る。
【００３６】
＜Ｃ−６．両眼領域推定機能ＳＦ２＞
データ処理装置４０は、カラー平滑化機能ＳＦ１によってノイズ除去されたカラー画像データＤＣ１より、両眼部分の領域を与える２次元のデータＤＣ２を抽出する。ここで両眼領域の抽出処理を行うのは、既述したように、距離画像データから両眼の形状モデルを作成するためである。そして、両眼の形状モデルを３次元形状データの１つとして作成するのは、人の顔を認識する際の本質的な部分である両眼（黒目部分）には凹凸形状がない反面、両眼には色の変化があるため、この輝度情報を奥行きないしは深さ（凹凸）の情報として顔面模型に反映させるためである。
【００３７】
＜Ｃ−７．ＣＦ（Ｃamera Ｆace）ＣＦ座標変換機能Ｆ４＞
データ処理装置４０は、３次元の距離画像データＤＳ３および２次元の両眼領域データＤＣ２に対してＣＦ座標変換を施すことにより、３次元の両データＤＳ４およびＤＣ４を生成する。すなわちデータ処理装置４０は、距離画像データＤＳ３および両眼領域データＤＣ２がそれぞれ与える人の顔形状および両眼形状が、カメラに対して真正面に向いた状態となるように座標変換（正対処理）を行う。これにより、カメラ中心の座標系で表現されていた両データＤＳ３およびＤＣ２は、顔中心の座標系で表現されることになる。
【００３８】
＜Ｃ−８．再標本化機能Ｆ５＞
データ処理装置４０は、ＣＦ座標変換機能Ｆ４でＣＦ座標変換された距離画像データＤＳ４に対して再標本化あるいは均等化というデータの座標変換処理を行う。３次元計測装置３４が透視投影変換により得た距離画像データＤＳを元データとする距離画像データＤＳ４は不規則に画素が並んだデータとなっている。そこで、距離画像データＤＳ４を新たな視点から見たときに均等に画素が並んでいる距離画像データに座標変換するのが再標本化処理である。
【００３９】
再標本化機能Ｆ５の再標本化処理によって距離画像データＤＳ４は、人の顔形状モデルを与えるための第１の形状データＤＳ５１、疑似両眼形状モデルを第２の形状データＤＳ５２、および顔輪郭近傍形状モデルを生成するための第３の形状データＤＳ５３に変換される。
【００４０】
＜Ｃ−９．疑似両眼形状設定機能Ｆ６＞
データ処理装置４０は、ＣＦ座標変換機能Ｆ４でＣＦ座標変換されたカラー画像データＤＣ４および再標本化機能Ｆ５で再標本化された第２の形状データＤＳ５２とに基づき、第２の形状データＤＳ５２における両眼対応領域の奥行き（切削深さ）を与える疑似両眼形状データＤＳ６を生成する。
【００４１】
＜Ｃ−１０．顔輪郭形状設定機能Ｆ７＞
再標本化機能Ｆ５で再標本化された人の顔形状モデルを与えるための第１の形状データＤＳ５１および顔輪郭近傍形状モデルを生成するための第３の形状データＤＳ５３に基づき、第３の形状データＤＳ５３が与える形状モデルから、第１の形状データＤＳ５１が与える形状モデルと重複した部分のデータ削除を行い（差分処理）、顔輪郭形状データＤＳ７（境界データ）を生成する。
【００４２】
＜Ｃ−１１．外周平滑化機能機能Ｆ８＞
顔輪郭形状設定機能Ｆ７で生成された顔輪郭形状データＤＳ７および再標本化機能Ｆ５で再標本化された第１の形状データＤＳ５１に対して外周平滑化を行う。すなわち、顔面中、傾斜のある輪郭部分では距離画像データの変化が大きいため、かかる傾斜面を顔面模型に顕出させる際にギザギザ状になるという問題が生じる。そこで、横方向から顔面模型を眺めても傾斜面の切削位置が平滑化するように、両データＤＳ５１およびＤＳ７をそれぞれ修正して第１の形状データＤＳ８１および顔輪郭形状データＤＳ８３を生成する。なお、本機能については後に詳述する。
【００４３】
＜Ｃ−１２．ＦＷ（Ｆace Ｗork）座標変換機能Ｆ９＞
外周平滑化機能機能Ｆ８で外周平滑化処理された第１の形状データＤＳ８１および顔輪郭形状データＤＳ８３並びに疑似両眼形状設定機能Ｆ６で生成された疑似両眼形状データＤＳ６に対して、これらのデータが顔面を加工するワークの大きさに応じた形状データとなるように座標変換を施す。
【００４４】
これにより、▲１▼顔形状モデルを与える顔形状データＤＳ９１、▲２▼疑似両眼形状モデルを与える疑似両眼形状データＤＳ９２、および▲３▼顔輪郭近傍形状モデルを与える顔輪郭近傍形状データＤＳ９３が最終的に得られる。これらの形状データＤＳ９１，ＤＳ９２およびＤＳ９３を「３次元形状データ」とも総称する。なお、本機能については後に詳述する。
【００４５】
＜Ｄ．外周平滑化機能機能Ｆ８についての詳細＞
＜Ｄ−１．距離画像データの平滑化＞
まず、再標本化された距離画像データについて図６を用いて簡単に説明する。図６に示すように３次元オブジェクトＯＪに、ある方向（図中においてはｐ方向）から正方格子（標本化格子）ＭＲＸを正投影することにより再標本化されたデータは、投影面上で格子状に規則正しく配列されており、各格子点には定められた３次元直交座標系における座標値が格納されている。このような３次元点列データを再標本化された距離画像データと称する。このデータは、先述した再標本化機能Ｆ５によって得られた、第１の形状データＤＳ５１および、第１の形状データＤＳ５１に基づいて顔輪郭形状設定機能Ｆ７によって得られた、顔輪郭形状データＤＳ７（境界データ）として与えられる。
【００４６】
なお、標本化格子ＭＲＸにおいて対応する３次元データを有さない格子点（無効格子点ｋ）には「無効」を示す無効フラグが付加され、対応する３次元データを有する格子点（有効格子点ｉ）には「有効」を示す有効フラグが付加されている。
【００４７】
標本化格子ＭＲＸ上の有効フラグを有する格子点において、自分自身の３次元座標値、および格子上で隣接する格子点（４近傍または８近傍）のうち、有効フラグを持つものの３次元座標値の重み付け平均化処理を行うことが距離画像データの平滑化である。
【００４８】
＜Ｄ−２．輪郭部の距離画像データの平滑化＞
図７および図８に、それぞれ４近傍および８近傍の格子点による平滑化のモデルを示す。図７においては、４近傍の格子点による平滑化の一例として、平滑化対象となる有効格子点ｉと、それに隣接する３つの有効格子点ｊ1、ｊ2、ｊ3と、隣接する無効格子点ｋ1の５つが示されている。なお、４近傍とは、平滑化対象となる有効格子点ｉの他に、その周囲の４つの格子点を含んでいることを意味している。
【００４９】
また、図８においては、８近傍の格子点による平滑化の一例として、平滑化対象となる有効格子点ｉと、それに隣接する６つの有効格子点ｊ1〜ｊ6と、隣接する２の無効格子点ｋ1、ｋ2の９つが示されている。なお、８近傍とは、平滑化対象となる有効格子点ｉの他に、その周囲の８つの格子点を含んでいることを意味している。
【００５０】
図７および図８において、無効格子点ｋを示した理由は、本発明においては、顔面の外周、すなわち輪郭部分に平滑化処理を施すことを特徴としているからである。すなわち、有効フラグを有する格子点において顔面の輪郭を構成する格子点は、無効フラグを有する格子点と隣合っている有効フラグを有する格子点であり、図７および図８においては有効格子点ｉがそれに該当する。
【００５１】
＜Ｄ−３．特徴的作用効果＞
このような、顔面の輪郭を構成する格子点に対応する３次元座標値（境界データ）の重み付け平均化処理を行うことで、顔面の輪郭形状を平滑化し、傾斜のある輪郭部分を顔面模型に顕出させる際に切削位置を平滑化することができ、横方向から顔面模型を眺めた場合に滑らかな加工面を得ることができる。
【００５２】
なお、３次元座標値の重み付け平均化処理は以下に示す数式（１）によって行うことができる。
【００５３】
【数１】
【００５４】
数式（１）において、有効格子点のうち輪郭を構成する格子点のインデックスの集合をＢ、有効格子点のインデックスの集合をＥ、平滑化対象となる格子点ｉ自身と、それに隣接する４点（４近傍）、または平滑化対象となる格子点ｉ自身と、それに隣接する８点（８近傍）の格子点のインデックスの集合をＮi、格子点ｉの平滑化前の３次元座標ベクトルをＶi、格子点ｉおよび、その近傍の有効格子点の３次元座標ベクトルをＶj、格子点ｉの平滑化後の３次元座標ベクトルをＶi’とする。
【００５５】
なお、ｗi,Jは２つの格子間距離（または３次元空間における距離）に応じて設定される重み係数であり、距離が大きくなるにつれて値が単調に減少するような関数によって設定される。
【００５６】
＜Ｄ−４．３次元座標値の拘束処理＞
上述したような重み付け平均化処理（平滑化）を行った場合、輪郭を構成する格子点（有効な格子点）が、輪郭の周囲の無効な格子点の側から離れる方向に移動することになり、平滑化後の輪郭を見ると平滑化前よりも内側に小さくなっている。
【００５７】
図９に４近傍の格子点による平滑化後のモデルを示す。図９に示すように、平滑化対象となる有効格子点ｉを平滑化すると、無効格子点ｋから離れるように移動し、有効格子点ｉ’となる。
【００５８】
この現象を標本化格子ＭＲＸに投影された画像として見た場合の一例を図１０に示す。図１０において平滑化前の輪郭Ｃ１は、平滑化後には輪郭Ｃ２となる。
【００５９】
このような現象を防止するには、平滑化を行う際に、各格子点の３次元座標値が投影方向以外には移動せず、あたかも視線に対して拘束されているようにすれば良い。すなわち、数式（１）で示される平滑処理を輪郭を構成する格子点に対して施した後、移動後の格子点の座標値と元（平滑化前）の格子点の座標値との差分ベクトルを計算し、その差分ベクトルの投影方向成分のみを取り出して元の格子点の座標値に加えれば良い。この処理（拘束処理）を行うための数式（２）を以下に示す。
【００６０】
【数２】
【００６１】
数式（２）において、投影の方向を示す３次元単位ベクトルをｐ、その転置ベクトルをｐTとし、格子点ｉの平滑化前の３次元座標ベクトルをＶi、格子点ｉの平滑化後の３次元座標ベクトルをＶi’、拘束処理後の３次元座標ベクトルをＶi”とする。
【００６２】
従って、数式（１）で得られた平滑化後の３次元座標ベクトルＶi’を上記数式（２）で処理することで視線拘束を行うことができる。なお、数式（２）の右辺第２項は差分ベクトルの投影方向成分を表す。
【００６３】
以上説明した拘束処理の概念を図１１を用いて示す。図１１において、標本化格子ＭＲＸに投影された距離画像データのうち、輪郭を示す格子点ｉの平滑化前の３次元座標ベクトルをＶi、格子点ｉの平滑化後の３次元座標ベクトルをＶi’、拘束処理後の３次元座標ベクトルをＶi”として示している。図１１に示すように、拘束処理により格子点ｉは投影方向に沿ってＶiからＶi”に移動することになり、投影方向以外に移動することは防止される。従って、標本化格子ＭＲＸに投影された画像の輪郭が内側に小さくなることが防止されることになる。
【００６４】
＜Ｄ−５．外周平滑化処理の全体フロー＞
以上説明した、輪郭部の距離画像データの平滑化（外周平滑化処理）および拘束処理の一連の動作を図１２に示すフローチャートにまとめる。
【００６５】
図１２において、外周平滑化処理がスタートすると、ステップＳＴ６０において平滑化処理の対象が有効格子点であるか否かを確認する。これは、図５に示すデータフロー図に示す顔輪郭形状設定機能Ｆ７で生成された顔輪郭形状データＤＳ７を対象とする動作である。
【００６６】
そして、平滑化処理の対象となる輪郭部の格子点が定まると、近傍格子点との座標値の重み付け平均化処理が施され、輪郭部の格子点が平滑化される（ＳＴ６１）。
【００６７】
なお、再標本化機能Ｆ５で再標本化された第１の形状データＤＳ５１は、近傍格子点（有効格子点）のデータとして利用される。
【００６８】
このステップにより、先に説明したように輪郭が内側に小さくなるので、数式（２）により拘束処理を行う。そのために、まずステップＳＴ６２において数式（２）の右辺第２項に示す差分ベクトルの投影方向成分を抽出する。
【００６９】
そして、ステップＳＴ６３において、差分ベクトルの投影方向成分と平滑化前の格子点の３次元座標ベクトルとを加算することで、拘束処理後の格子点位置を求める。この格子点位置のデータが顔輪郭形状データＤＳ８３となる。
【００７０】
次に、ステップＳＴ６０〜ＳＴ６３の処理を輪郭を構成する全ての格子点に対して施したか否かを確認し（ＳＴ６４）、未処理の格子点が存在すればステップＳＴ６０〜ＳＴ６３の処理を繰り返し、全ての格子点が処理されていれば外周平滑化処理を終了する。
【００７１】
＜Ｄ−６．変形例１＞
以上説明した外周平滑化処理および拘束処理は、距離画像データの全ての方向について処理を行う例を示したが、拘束処理によって距離画像データは投射方向である１方向のみに移動するので、投影方向を座標軸のうちの１つと平行とし、その座標成分のみに外周平滑化処理を行うようにしても良い。
【００７２】
すなわち、図６に示す投影状態を例に採るならば、オブジェクトＯＪの投影方向ｐと、３次元座標軸のＺ軸方向とは一致していない。そこで、３次元座標軸を回転させてＺ軸と投影方向ｐとを一致させた後、輪郭部を構成する格子点のＺ座標のみについて重み付け平均化処理を行い上述した３次元座標軸の回転変換を打ち消すような逆の回転変換を加えることで、数式（１）と同様の外周平滑化処理を行うことができる。
【００７３】
以下、当該処理を数式（３）、（４）、（５）を用いて表す。
【００７４】
【数３】
【００７５】
【数４】
【００７６】
【数５】
【００７７】
数式（４）は、３次元空間における長さ１のベクトルを、原点を同じくするもう１つの長さ１のベクトルに回転角度最小で重ね合わせ可能な回転行列Ｒを求める式である。そして、数式（３）におけるＲ-1は行列Ｒの逆行列である。また、数式（４）におけるＩは単位行列、ｐzは単位投影方向ベクトルｐのＺ座標である。
【００７８】
そして、数式（５）は単位投影方向ベクトルｐと３次元回転行列の外積により得られる３次元ベクトルｕを求める式である。なお、数式（４）におけるｕTは、３次元ベクトルｕの転置ベクトルである。
【００７９】
＜Ｄ−７．変形例２＞
以上の説明は、図５のデータフロー図に示すように、外周平滑化処理を再標本化処理の後に行う場合を前提とした説明であったが、外周平滑化処理を再標本化処理の前、図５に示すデータフロー図に即して言えば距離平滑化処理Ｆ１において行うようにしても良い。この場合、距離画像データは入力時のデータであり、透視投影により計測されることになる。
【００８０】
距離画像データを３次元入力時に透視投影により計測する場合のモデルを図１３に示す。図１３に示すように３次元オブジェクトＯＪに、投影中心ｅから正方格子（標本化格子）ＭＲＸ上に透視投影することにより、データを投影面上で格子状に規則正しく配列することができる。この場合、投影の方向を示す単位方向ベクトルは図中ｐi、ｐjで示すように格子点ごとに異なる。
【００８１】
従って、数式（２）は、以下に示す数式（６）のように変更しなくてはならない。
【００８２】
【数６】
【００８３】
なお、数式（６）に示す単位方向ベクトルはｐiは以下に示す数式（７）で表される。また、数式（６）に示すｐi Tはベクトルはｐiの転置ベクトルである。
【００８４】
【数７】
【００８５】
なお、数式（７）に示すｅは、投影中心（視点）の３次元座標位置ベクトルである。
【００８６】
このように、正投影の場合の外周平滑化処理と、透視投影の場合の外周平滑化処理とではアルゴリズム的に異なるが、透視投影の場合の外周平滑化処理のアルゴリズムを準備しておけば、各格子点における単位方向ベクトルを共通化することで、正投影の場合の外周平滑化処理への適用も可能である。
【００８７】
＜Ｅ．ＦＷ（Ｆace Ｗork）座標変換機能Ｆ９についての詳細＞
図５に示す機能Ｆ１〜Ｆ８、ＳＦ１および、ＳＦ２によって得られた第１の形状データＤＳ８１、顔輪郭形状データＤＳ８３および疑似両眼形状データＤＳ６によって構成される「顔」を収容する立方体をバウンディングボックスと称し、ＦＷ座標変換機能Ｆ９には、このバウンディングボックスが顔面模型の加工材料となる加工物直方体の大きさとほぼ合致するようにバウンディングボックスの座標変換を行うことが含まれる。以下、ＦＷ座標変換について図１４〜図２３を用いて説明する。
【００８８】
図１４にバウンディングボックスＢＢを、図１５に加工物直方体ＣＣを示す。図１４においては「顔」がバウンディングボックスＢＢに収容された状態を模式的に表している。図１４において、バウンディングボックスＢＢのＸＷＺ方向の各辺は、それぞれＦＷ、ＦＬ、ＦＤで表され、図１５において、加工物直方体ＣＣのＸＷＺ方向の各辺は、それぞれＷＷ、ＷＬ、ＷＤで表されている。
【００８９】
＜Ｅ−１．ＦＷ座標変換の処理フローの全体構成＞
以下、ＦＷ座標変換を行うための処理フローについて図１６〜図１８を用いて説明する。まず、ＦＷ座標変換の処理フローの全体構成について図１６を用いて説明する。
【００９０】
図１６に示すステップＳＴ７０において、第１の形状データＤＳ８１、顔輪郭形状データＤＳ８３および疑似両眼形状データＤＳ６によって構成される「顔」を最小限の大きさで収容するようにバウンディングボックスＢＢを求める。
【００９１】
次に、ステップＳＴ７１において、バウンディングボックスＢＢの辺ＦＬの長さが加工物直方体ＣＣの辺ＷＬの長さに一致するようにスケール変更を行う。
【００９２】
次に、ステップＳＴ７２において、バウンディングボックスＢＢの辺ＦＤおよび辺ＦＷの長さが、加工物直方体ＣＣの辺ＷＤおよび辺ＷＷの長さより大きいか否かの比較を行う。
【００９３】
そして、上記比較結果がイエスの場合はバウンディングボックスＢＢの辺ＦＤおよび辺ＦＷの長さの補正処理（ＳＴ７３）を行った後、「顔」に関するデータを加工物直方体ＣＣの座標に平行移動する（ＳＴ７４）。なお、上記比較結果がノーの場合は、ステップＳＴ７４の平行移動処理を行う。
【００９４】
次に、ステップＳＴ７５において、「顔」の距離画像データのうち、加工物直方体ＣＣの外部に位置するピクセルのフラグを無効とすることで、一連の処理が終了する。
【００９５】
なお、ステップＳＴ７３、ＳＴ７４およびＳＴ７５の詳細については後に説明する。
【００９６】
＜Ｅ−２．補正処理のフロー＞
図１６に示すステップＳＴ７３の補正処理の詳細について、以下、図１７を用いて説明する。
【００９７】
図１７に示すステップＳＴ８０において、バウンディングボックスＢＢと加工物直方体ＣＣの辺ＦＤおよび辺ＷＤの長さの差（ＦＤ−ＷＤ）と、加工物直方体ＣＣの辺ＷＤの長さとの比率であるＤＲａｔｅを算出する。
【００９８】
そして、ステップＳＴ８１においてＤＲａｔｅと、予め定めた閾値ＤＴｈｒｅｓｈとの比較を行い、ＤＲａｔｅが大きい場合にはステップＳＴ８２においてＤＲａｔｅ＝ＤＴｈｒｅｓｈとなるようにバウンディングボックスＢＢの各辺を変更するスケール値ＤＳｃａｌｅを算出する。
【００９９】
なお、ステップＳＴ８１においてＤＴｈｒｅｓｈよりもＤＲａｔｅが小さいと判断された場合は、バウンディングボックスＢＢのスケール値ＤＳｃａｌｅは１に設定する（ＳＴ８３）。
【０１００】
次に、ステップＳＴ８４において、バウンディングボックスＢＢと加工物直方体ＣＣの辺ＦＷおよび辺ＷＷの長さの差（ＦＷ−ＷＷ）と、加工物直方体ＣＣの辺ＷＷの長さとの比率であるＷＲａｔｅを算出する。
【０１０１】
そして、ステップＳＴ８５においてＷＲａｔｅと、予め定めた閾値ＷＴｈｒｅｓｈとの比較を行い、ＷＲａｔｅが大きい場合にはステップＳＴ８６においてＷＲａｔｅ＝ＷＴｈｒｅｓｈとなるようにバウンディングボックスＢＢの各辺を変更するスケール値ＷＳｃａｌｅを算出する。
【０１０２】
なお、ステップＳＴ８５においてＷＴｈｒｅｓｈよりもＷＲａｔｅが小さいと判断された場合は、バウンディングボックスＢＢのスケール値ＷＳｃａｌｅは１に設定する（ＳＴ８７）。
【０１０３】
そして、ステップＳＴ８８においてＤＳｃａｌｅとＷＳｃａｌｅとの比較を行い、ＤＳｃａｌｅの方が大きい場合にはＷＳｃａｌｅでバウンディングボックスＢＢの各辺のスケール変更を行い（ＳＴ８９）、一連の処理を終了する。
【０１０４】
なお、ＤＳｃａｌｅの方が小さい場合にはＤＳｃａｌｅでバウンディングボックスＢＢの各辺のスケール変更を行い（ＳＴ９０）、一連の処理を終了する。
【０１０５】
＜Ｅ−３．平行移動処理のフロー＞
図１６に示すステップＳＴ７４の平行移動処理の詳細について、以下、図１８〜図２１を用いて説明する。
【０１０６】
図１８は平行移動処理を説明するフローチャートであり、まず、図１８に示すステップＳＴ１００において、バウンディングボックスＢＢおよび加工物直方体ＣＣの中心座標を算出する。
【０１０７】
次に、ステップＳＴ１０１において、バウンディングボックスＢＢの中心座標（Ｘ，Ｙ座標のみ）を、加工物直方体ＣＣの中心座標（Ｘ，Ｙ座標のみ）に一致させるように平行移動させる。
【０１０８】
最後に、ステップＳＴ１０２において、バウンディングボックスＢＢのＺ座標の最大値を、加工物直方体ＣＣのＺ座標の最大値に合わせるようにＺ方向の平行移動を行う。
【０１０９】
ここで、図１９にＸＹＺ方向の平行移動処理を終了した状態を模式的に示す。図１９においては、加工物直方体ＣＣのＸＺ面と「顔」、すなわちバウンディングボックスＢＢの位置関係を示している。
【０１１０】
図１９に示されるように、バウンディングボックスＢＢ（図においては「顔」として表現）のＺ座標の最大値ＢＭＡＸ（図においては鼻の先端）が加工物直方体ＣＣのＺ座標の最大値ＣＭＡＸに一致している。
【０１１１】
このように、バウンディングボックスＢＢと加工物直方体ＣＣのＺ座標の最大値を一致させることで、加工物直方体ＣＣに顔面を彫り込んだ場合、後頭部に相当する部分を板面ＢＰとして残すことができ、板面ＢＰに装飾を施すなどして見栄えを高めることができる。
【０１１２】
＜Ｅ−４．変形例１＞
図１８に示したステップＳＴ１０２において、バウンディングボックスＢＢのＺ座標の最小値を、加工物直方体ＣＣのＺ座標の最小値に合わせるようにＺ方向の平行移動を行うようにしても良い。
【０１１３】
図２０にＸＹＺ方向の平行移動処理を終了した状態を模式的に示す。図２０においては、加工物直方体ＣＣのＸＺ面と「顔」、すなわちバウンディングボックスＢＢの位置関係を示す。
【０１１４】
図２０において、バウンディングボックスＢＢ（図においては「顔」として表現）のＺ座標の最小値ＢＭＩＮ（図においては後頭部）が加工物直方体ＣＣのＺ座標の原点に一致している。
【０１１５】
＜Ｅ−５．変形例２＞
図１８に示したステップＳＴ１０２において、バウンディングボックスＢＢのＺ座標の中心値を、加工物直方体ＣＣのＺ座標の中心値に合わせるようにＺ方向の平行移動を行うようにしても良い。
【０１１６】
図２１にＸＹＺ方向の平行移動処理を終了した状態を模式的に示す。図２１においては、加工物直方体ＣＣのＸＺ面と「顔」、すなわちバウンディングボックスＢＢの位置関係を示す。
【０１１７】
図２１において、バウンディングボックスＢＢ（図においては「顔」として表現）のＺ座標の中心値ＢＭＩＤが加工物直方体ＣＣのＺ座標の中心値ＣＭＩＤに一致している。
【０１１８】
＜Ｅ−６．ステップＳＴ７５の補足説明＞
以上説明した平行移動処理においては、バウンディングボックスＢＢを加工物直方体ＣＣに重ね合わせる操作を示したが、バウンディングボックスＢＢの大きさ、すなわち顔の大きさの個人差に起因して、バウンディングボックスＢＢの方が加工物直方体ＣＣより大きくなってしまう場合がある。図２２にこのような状態を模式的に示す。図２２においては加工物直方体ＣＣからはみ出すバウンディングボックスＢＢを鎖線で示している。
【０１１９】
図１６に示したステップＳＴ７５は、このような場合に加工物直方体ＣＣからはみ出す「顔」の距離画像データを無効にする操作を示している。図２３にＸＹ方向のバウンディングボックスＢＢおよび加工物直方体ＣＣを示す。加工物直方体ＣＣの外部に位置するピクセルのフラグを無効とすることで、加工物直方体ＣＣには図２３に示すように、「顔」の左右の端部の距離画像データが反映されないことになる。
【０１２０】
＜Ｆ．加工データ生成の補足説明＞
以上、図６〜図２３を用いた説明は、立体模型作成装置１の概略の動作を示す図４のステップＳＴ２０のデータ処理に関連するものであり、ＳＴ２０で処理したデータに基づいてステップＳＴ２８において加工条件データベースを参照して加工制御用のデータを生成することで加工作業が実行される。
【０１２１】
以下、図２４および図２５を用いて、ステップＳＴ２８における加工データ生成に関連して補足的に説明する。
【０１２２】
図２４は、加工物直方体ＣＣに切削加工を施す状態を示す図であり、エンドミルなどの切削刃物ＥＭが加工物直方体ＣＣの上部、すなわち「顔」の上部を切削している状態が示されている。なお、図２４においては、図１６に示すステップＳＴ７４の平行移動処理で、バウンディングボックスＢＢのＺ座標の最大値を、加工物直方体ＣＣのＺ座標の最大値に合わせるようにした場合に相当しており、「顔」は板面ＢＰ上に形成されることになる。
【０１２３】
図２４に示されるように、「顔」がワークいっぱい、すなわち加工物直方体ＣＣの全体に渡って形成される場合、「顔」とワークに挟まれた狭小部分には切削刃物ＥＭが入らないが発生することがある。
【０１２４】
このような狭小部分の削り残しを防止するためには、図２５に示すように加工基準面ＷＲＰを加工物直方体ＣＣの外部にまで延長し、加工物直方体ＣＣの外部においても切削刃物ＥＭが加工動作を行うように外挿的に加工しろデータを生成すれば良い。
【０１２５】
図２５においては、加工物直方体ＣＣの上部および下部平面（ＸＹ平面）上を切削刃物ＥＭが移動できるように加工しろデータが設定された例を示している。また、加工しろデータのＹ方向の大きさＳは、切削刃物ＥＭの直径の半分に設定されている。
【０１２６】
なお、加工しろデータはＸＹ平面上だけに限定されず、加工物直方体ＣＣの左右に相当するＹＺ平面上に設定しても良い。
【０１２７】
このように、加工物直方体ＣＣの外部に加工しろデータを設定することで削り残しを防止することが可能となる。
【０１２８】
【発明の効果】
本発明に係る請求項１記載の３次元形状データ処理装置によれば、外周平滑化部において、距離画像データのうち、対象物の輪郭部に対応する境界データに重み付け平均化処理を施して平滑化するので、例えば、対象物が人の顔であって、３次元形状データを用いて顔面模型を製作する場合に、傾斜のある輪郭部分を顔面模型に顕出させる際に切削位置を平滑化することができ、横方向から顔面模型を眺めた場合に滑らかな加工面を得ることができる。
【０１２９】
本発明に係る請求項２記載の３次元形状データ処理装置によれば、平滑化対象格子点に隣接する複数の有効格子点の重み係数を調整することで平均化の精度を調整することができる。
【０１３０】
本発明に係る請求項３記載の３次元形状データ処理装置によれば、対象物の３次元計測が透視投影法によりなされた場合、正投影法によって距離画像データを均等に配列するための座標変換を行うが、外周平滑化部においては対象物の標本化格子に対する投影に正投影法を採用しているので、上記座標変換の後に外周平滑化を行うことができる。
【０１３１】
本発明に係る請求項４記載の３次元形状データ処理装置によれば、外周平滑化部においては対象物の標本化格子に対する投影に透視投影法を採用しているので、透視投影法により得られた距離画像データに対して外周平滑化を行うことができ、透視投影法により得られた距離画像データを正投影変換する前の比較的初期の段階で外周平滑化を行うことが可能となる。
【０１３２】
本発明に係る請求項５記載の３次元形状データ処理装置によれば、平滑化対象格子点の移動方向を、前記所定の投影方向のみに拘束する拘束処理を行うことができるので、対象物の輪郭が内側に縮まることを防止でき、３次元形状データを用いて対象物の模型を製作する場合に、当該模型の輪郭が縮んで、形状がいびつになることを防止できる。
【図面の簡単な説明】
【図１】 この発明に係る実施の形態である立体模型作成装置の外観図である。
【図２】 操作パネルの平面図である。
【図３】 立体模型作成装置の機能ブロック図である。
【図４】 立体模型作成装の概略の動作を示すフローチャートである。
【図５】 ３次元顔面形状処理機能のデータフローを示す図である。
【図６】 ３次元形状の正投影を説明する図である。
【図７】 ４近傍の格子点による平滑化のモデルを説明する図である。
【図８】 ８近傍の格子点による平滑化のモデルを説明する図である。
【図９】 ４近傍の格子点による平滑化後のモデルを示す図である。
【図１０】 平滑化前の輪郭と、平滑化後の輪郭を説明する図である。
【図１１】 拘束処理の概念を説明する図である。
【図１２】 外周平滑化処理および拘束処理の一連の動作を示すフローチャートである。
【図１３】 ３次元形状の透視投影を説明する図である。
【図１４】 バウンディングボックスを説明する図である。
【図１５】 加工物直方体を説明する図である。
【図１６】 ＦＷ座標変換の全体構成を説明するフローチャートである。
【図１７】 補正処理を説明するフローチャートである。
【図１８】 平行移動処理を説明するフローチャートである。
【図１９】 バウンディングボックスの平行移動処理を終了した状態を模式的に示す図である。
【図２０】 バウンディングボックスの平行移動処理を終了した状態を模式的に示す図である。
【図２１】 バウンディングボックスの平行移動処理を終了した状態を模式的に示す図である。
【図２２】 バウンディングボックスが加工物直方体より大きい状態を説明する図である。
【図２３】 バウンディングボックスが加工物直方体より大きい場合の顔データを模式的に示す図である。
【図２４】 加工物直方体に切削加工を施す状態を示す図である。
【図２５】 加工しろデータを付加した場合の加工物直方体に切削加工を施す状態を示す図である。
【発明の属する技術分野】
この発明は、実存する物体の模型を作成するための３次元形状データ処理装置に関する。
【０００２】
【従来の技術】
例えば、特開平９−１４５３１９号公報に開示されるような可搬型の非接触式３次元計測装置（３次元カメラ）が商品化され、ＣＧ（コンピュータグラフィック）システムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。非接触の計測方法としては、スリット光投影法（光切断法）が一般的であるが、他にもパターン光投影法、ステレオ視法、干渉縞法などが知られている。
【０００３】
また、パーソナルコンピュータで利用可能な３次元ＣＧソフトウェア、およびホビー用の小型の３次元切削マシンが市販されている。これらを用いれば、一般家庭でも模型や創作物を手軽に製作することができる。
【０００４】
一方、利用客の顔写真シールをその場で作成する一種の自動販売機が人気を集めている。利用客は料金分の硬貨を投入し、モニタ画面を見ながらカメラの前で好みのポーズをとる。そして、所定の操作を行うと、一定数のシールが並んだシートが作成されて取出口に排出される。大半の機種では、顔写真の形状や写し込み模様などについて複数の選択肢が設けられている。
【０００５】
【発明が解決しようとする課題】
上述の３次元計測装置によれば、写真をとるのと同程度の手軽さで人体を含む各種物体の形状をデータ化することができる。非接触式であるので、人体を計測する場合であっても、計測対象者が煩わしさを感じることはない。そこで、この３次元計測装置を顔写真ならぬ顔面模型の作成に利用することが考えられる。つまり、３次元加工機と組み合わせれば、人物の顔を計測してその場で適当な倍率の模型を作成することが可能である。
【０００６】
上述した非接触の３次元計測では、顔面中、傾斜のある輪郭部分では距離画像データの変化が大きいため、輪郭部分を顔面模型に顕出させる際にギザギザ状になるという問題があった。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、顔面模型の輪郭部分において切削加工のバラツキを抑えることを可能とした３次元形状データ処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る請求項１記載の３次元形状データ処理装置は、対象物を非接触で３次元計測して得られる距離画像データに基づいて、前記対象物の３次元形状をモデル化するための３次元形状データを生成し、出力する３次元形状データ処理装置であって、前記距離画像データを平滑化する際に所定の投影方向に対する拘束処理を行うことを特徴とする。
本発明に係る請求項２記載の３次元形状データ処理装置は、前記距離画像データのうち、前記対象物の輪郭部に対応する境界データに重み付け平均化処理を施して平滑化する外周平滑化部を備えている。
【０００９】
本発明に係る請求項３記載の３次元形状データ処理装置は、前記距離画像データが、前記対象物を前記所定の投影方向から標本化格子に投影し、前記対象物の形状を３次元座標値として投影面上で格子状に配列したデータであって、前記標本化格子は、前記対象物に対応した投影データを有する有効格子点と、前記対象物に対応した投影データを有さない無効格子点とを含み、前記境界データは、前記無効格子点と隣合っている有効格子点のデータで規定され、前記重み付け平均化処理は、前記境界データを構成する有効格子点の１つを平滑化対象格子点とし、該平滑化対象格子点と前記平滑化対象格子点に隣接する複数の有効格子点との間の距離に応じてそれぞれ設定される重み係数を、前記平滑化対象格子点のデータに積算し、その総和を取る処理を含んでいる。
【００１０】
本発明に係る請求項４記載の３次元形状データ処理装置は、前記対象物の前記標本化格子に対する投影が、前記所定の投影方向が１方向である正投影法によってなされる。
【００１１】
本発明に係る請求項５記載の３次元形状データ処理装置は、前記対象物の前記標本化格子に対する投影が、前記所定の投影方向が前記標本化格子の格子点ごとに異なる透視投影法によってなされる。
【００１２】
本発明に係る請求項６記載の３次元形状データ処理装置は、前記外周平滑化部が、前記重み付け平均化処理の後に、前記重み付け平均化処理前の前記平滑化対象格子点の３次元座標値と、前記重み付け平均化処理後の前記平滑化対象格子点の３次元座標値との差分ベクトルを算出し、該差分ベクトルの前記所定の投影方向成分のみを抽出して、前記重み付け平均化処理前の前記平滑化対象格子点の３次元座標値に加算することで、前記平滑化対象格子点の移動方向を、前記所定の投影方向のみに拘束する拘束処理を行う機能を有している。
【００１３】
【発明の実施の形態】
＜Ａ．立体模型作成装置＞
図１はこの発明に係る立体模型作成装置１の外観図である。立体模型作成装置１は、物体形状を計測し、その計測データに基づいて素材をその場で加工する機能を有しており、利用客の顔をかたどった小物品の自動販売機として使用される。作成される物品は、所定形状（例えば四角形）の板面から顔面の模型が突き出た立体である。板面（背景部分）に特定の起伏模様を付加することも可能である。このような物品に適当な金具を取り付ければ、ペンダント、ブローチ、キーホルダなどのアクセサリーとなる。予め素材に金具を取り付けておいてもよい。
【００１４】
ほぼ等身大の筐体１０の上半部の前面に、利用客がポーズを確認するためのディスプレイ１６とともに、光学式３次元計測のための投光窓１２および受光窓１４が設けられている。受光窓１４は２次元のカラー撮影にも用いられる。筐体１０の下半部は上半部よりも前方側に張り出しており、その上面が操作パネル１８となっている。商品の取出口２０は下半部の前面に設けられている。
【００１５】
利用客は立体模型作成装置１に向かって立ち、料金分の硬貨を投入する。その後に利用客がスタート操作を行うと、立体模型作成装置１は正面の一定範囲内に存在する物体の形状を計測するとともに、計測結果を示す３次元形状モデル（例えばサーフェスモデル）を表示する。そして、利用客が構図の決定を指示する確認操作を行うと、立体模型作成装置１は計測結果に応じた３次元加工を開始する。数分程度の時間で商品が完成する。利用客は取出口２０から商品を取り出す。
【００１６】
図２は操作パネル１８の平面図である。操作パネル１８には、スタートボタン１８１、確認ボタン１８２、キャンセルボタン１８３、ジョイスティック１８４、および硬貨の投入口１８５が設けられている。スタートボタン１８１はスタート操作手段であり、確認ボタン１８２は確認操作手段である。ジョイスティック１８４は模型の構図の変更指示に用いられる。左右に傾けるパーン操作、上下に傾けるチルト操作、およびノブを回転させるロール操作に呼応して３次元形状モデルの回転処理が行われ、処理結果が逐次に表示される。また、キャンセルボタン１８３は、利用客が表示された３次元形状モデルが気に入らないときなどに再計測を指示するための操作手段である。ただし、キャンセルボタン１８３には有効回数が設定されており、無制限に再計測を指示することはできない。
【００１７】
図３は立体模型作成装置１の機能ブロック図である。立体模型作成装置１は、模型サイズの３次元形状モデルを生成するモデリングシステム１Ａと、３次元形状モデルを顕在化する加工システム１Ｂとから構成されている。
【００１８】
モデリングシステム１Ａは、オリジナル物体である利用客の外観情報をディジタルデータに変換（データ化）する撮影システム３０を含んでいる。撮影システム３０は、スリット光投影法で形状情報をデータ化して、３次元の距離画像データ（３次元画像データ）ＤＳを出力する３次元計測装置３４、色情報をデータ化して２次元のカラー画像データＤＣを出力するする２次元撮影装置３６、およびコントローラ３８より構成されている。
【００１９】
ここで、距離画像データＤＳはＸＹＺの直交座標系における座標値として与えられるデータであり、３次元計測装置３４内の計測基準点から対象物の当該計測点までの距離情報を与えるものである。距離画像データＤＳには、対象物からの反射光の計測データが得られたか否かを示す有効フラグの情報も含まれる。
【００２０】
他方、カラー画像データＤＣは、各画素の３原色データ、即ち、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）より成るデータである。例えば、撮影システム３０を特開平９−１４５３１９号公報に開示されている３次元カメラを用いて構成するときには、３次元計測と２次元撮影とを同一視点から行うことができるため、距離画像データＤＳとカラー画像データＤＣとの対応付けを極めて容易に行うことができる。なお、カラー画像データＤＣは４００×４００画素データから構成され、距離画像データＤＳは２００×２００の画素データから構成される。
【００２１】
勿論、３次元計測と２次元撮影とをそれぞれ異なる視点で行った場合でも、距離画像データＤＳ，カラー画像データＤＣにはそれぞれ視点情報が付加されており、且つ３次元計測結果と２次元撮影結果との座標の相対関係は既知であるため、距離画像データＤＳ，カラー画像データＤＣとの対応付けを支障なく行うことができる。このような距離画像データＤＳおよびカラー画像データＤＣは、後述するデータ処理装置４０に入力される。
【００２２】
なお、３次元計測法として、スリット光投影法に代えて他の手法を用いてもよい。
【００２３】
データ処理装置４０は図示しない画像処理回路を備えており、本発明に特有のデータ修正を含む各種のデータ処理を行い、本発明の中核部分である。データ処理装置４０のコントローラ４２は、立体模型作成装置１の全体的な制御をも担い、撮影システム３０のコントローラ３８および加工システム１Ｂのコントローラ１７６に適切な指示を与える。このコントローラ４２には、ディスプレイ１６および操作入力システム４４が接続されている。操作入力システム４４は、上述の操作パネル１８と料金受領機構とからなる。
【００２４】
一方、加工システム１Ｂは、樹脂ブロックなどの材料を切削する加工装置１７２、材料の加工位置への供給と加工品の取出口２０への搬送を行う材料供給装置１７４、コントローラ１７６、および取出口センサ１７８を備えている。取出口センサ１７８の検出信号はコントローラ４２に入力される。
【００２５】
なお、撮影システム３０および加工システム１Ｂの制御をコントローラ４２に受け持たせ、コントローラ３８およびコントローラ１７６を省略した回路構成を採用してもよい。
【００２６】
＜Ｂ．立体模型作成装置の概略動作＞
図４は立体模型作成装置１の概略の動作を示すフローチャートである。以下、同図を参照してその概略動作の処理手順を説明する。
【００２７】
電源が投入された後、利用客による操作を待つ待機期間において、２次元撮影と撮影結果の表示とを繰り返す（ＳＴ１０、ＳＴ１２、ＳＴ１４）。また、定期的に案内メッセージを表示する。料金が投入されてスタートボタン１８１が押されると、改めて２次元撮影を行うとともに３次元計測を行う（ＳＴ１６、ＳＴ１８）。所定のデータ処理を行い（ＳＴ２０）、得られた３次元形状モデルを表示する（ＳＴ２２）。このとき、影を付すといった公知のグラフィック手法を適用して見栄えを高める。そして、指示操作を待つ。ただし、待ち時間は有限であり、時限を過ぎれば確認操作が行われたものとみなす。
【００２８】
ジョイスティック１８４が操作されると、上述のように３次元形状モデルを操作に応じて回転させて表示する（ＳＴ２４、ＳＴ３８）。キャンセルボタン１８３が押されると、待機期間の動作に戻る（ＳＴ４０、ＳＴ１０）。ただし、この場合、利用客が料金を改めて投入する必要はなく、スタートボタン１８１を押せば、再計測が行われる。
【００２９】
確認ボタン１８２が押されると（ＳＴ２６）、３次元形状モデルに基づいて加工条件データベースを参照して加工制御用のデータを生成し（ＳＴ２８）、材料の加工を行う（ＳＴ３０）。加工が終わると、商品を排出し（ＳＴ３２）、取出口センサ１７８によって商品が取り出されたのを確認して待機動作に戻る（ＳＴ３４、ＳＴ１０）。
【００３０】
＜Ｃ．データ処理＞
＜Ｃ−１．顔面形状処理機能ＳＦ１，ＳＦ２＞
図５は、図４のステップＳＴ２０のデータ処理をデータの流れを示すデータフロー図である。図５において、ハッチング付の太矢印線はカラー画像データＤＣの流れを示しており、各機能Ｆ１〜Ｆ９、ＳＦ１およびＳＦ２は３次元形状データを生成するために、図３で示したデータ処理装置４０で行われるデータ処理機能を示している。特に、機能ＳＦ１およびＳＦ２は、３次元形状データ中、顔面の両眼形状モデルのデータを生成するための機能に該当している。以下、各機能Ｆ１〜Ｆ３、ＳＦ１、ＳＦ２、Ｆ４〜Ｆ９をこの順で説明することにするが、本発明の中核をなす機能は機能Ｆ８である。
【００３１】
＜Ｃ−２．距離平滑化機能Ｆ１＞
データ処理装置４０は、図３の３次元計測装置３４が出力する未加工の３次元形状データである距離画像データＤＳに対してノイズ除去してノイズ除去済みの距離画像データＤＳ１を得る。
【００３２】
＜Ｃ−３．背景除去機能Ｆ２＞
次に、データ処理装置４０は、ノイズ除去後の距離画像データＤＳ１に対して、顔面領域を与えるデータの抽出処理を行う。すなわち、データ処理装置４０は後述するカラー平滑化後のカラー画像データＤＣ１が与えるカラー画像中の顔面領域を３次元の距離画像データＤＳ１に対応付けることにより、背景データが除去された顔面領域のみを与える距離画像データＤＳ２を生成する。ここで「顔面領域」とは、髪の毛、首（顎の下）、耳を除いた顔の領域を指す。
【００３３】
＜Ｃ−４．欠陥データ補間機能Ｆ３＞
背景除去機能Ｆ２によって背景除去された距離画像データＤＳ２に対して、データ処理装置４０は、データ欠落画素部分を周囲の画素を用いて補間する。補間の方法としては線形補間等がある。データ欠落画素部分が生じる理由は主として次の２つが考えられる。
【００３４】
３次元計測装置３４からの計測用のレーザ光を対象物に照射してその反射光を計測する際、▲１▼対象物の黒色部分ではレーザ光の反射率が著しく低下するため、模型用顔領域中の黒色部分（黒目部分、眉等）のデータが欠落する、▲２▼上記計測方式では、対象物中、投光側および受光側の両方から見える部分だけのデータが得られるにすぎないため、そうでない部分のデータが欠落してしまう。
【００３５】
＜Ｃ−５．カラー平滑化機能ＳＦ１＞
図３の３次元計測装置３４が出力する未加工のカラー画像データＤＣに対してデータ処理装置４０は、ノイズ除去してノイズ除去済みのカラー画像データＤＣ１を得る。
【００３６】
＜Ｃ−６．両眼領域推定機能ＳＦ２＞
データ処理装置４０は、カラー平滑化機能ＳＦ１によってノイズ除去されたカラー画像データＤＣ１より、両眼部分の領域を与える２次元のデータＤＣ２を抽出する。ここで両眼領域の抽出処理を行うのは、既述したように、距離画像データから両眼の形状モデルを作成するためである。そして、両眼の形状モデルを３次元形状データの１つとして作成するのは、人の顔を認識する際の本質的な部分である両眼（黒目部分）には凹凸形状がない反面、両眼には色の変化があるため、この輝度情報を奥行きないしは深さ（凹凸）の情報として顔面模型に反映させるためである。
【００３７】
＜Ｃ−７．ＣＦ（Ｃamera Ｆace）ＣＦ座標変換機能Ｆ４＞
データ処理装置４０は、３次元の距離画像データＤＳ３および２次元の両眼領域データＤＣ２に対してＣＦ座標変換を施すことにより、３次元の両データＤＳ４およびＤＣ４を生成する。すなわちデータ処理装置４０は、距離画像データＤＳ３および両眼領域データＤＣ２がそれぞれ与える人の顔形状および両眼形状が、カメラに対して真正面に向いた状態となるように座標変換（正対処理）を行う。これにより、カメラ中心の座標系で表現されていた両データＤＳ３およびＤＣ２は、顔中心の座標系で表現されることになる。
【００３８】
＜Ｃ−８．再標本化機能Ｆ５＞
データ処理装置４０は、ＣＦ座標変換機能Ｆ４でＣＦ座標変換された距離画像データＤＳ４に対して再標本化あるいは均等化というデータの座標変換処理を行う。３次元計測装置３４が透視投影変換により得た距離画像データＤＳを元データとする距離画像データＤＳ４は不規則に画素が並んだデータとなっている。そこで、距離画像データＤＳ４を新たな視点から見たときに均等に画素が並んでいる距離画像データに座標変換するのが再標本化処理である。
【００３９】
再標本化機能Ｆ５の再標本化処理によって距離画像データＤＳ４は、人の顔形状モデルを与えるための第１の形状データＤＳ５１、疑似両眼形状モデルを第２の形状データＤＳ５２、および顔輪郭近傍形状モデルを生成するための第３の形状データＤＳ５３に変換される。
【００４０】
＜Ｃ−９．疑似両眼形状設定機能Ｆ６＞
データ処理装置４０は、ＣＦ座標変換機能Ｆ４でＣＦ座標変換されたカラー画像データＤＣ４および再標本化機能Ｆ５で再標本化された第２の形状データＤＳ５２とに基づき、第２の形状データＤＳ５２における両眼対応領域の奥行き（切削深さ）を与える疑似両眼形状データＤＳ６を生成する。
【００４１】
＜Ｃ−１０．顔輪郭形状設定機能Ｆ７＞
再標本化機能Ｆ５で再標本化された人の顔形状モデルを与えるための第１の形状データＤＳ５１および顔輪郭近傍形状モデルを生成するための第３の形状データＤＳ５３に基づき、第３の形状データＤＳ５３が与える形状モデルから、第１の形状データＤＳ５１が与える形状モデルと重複した部分のデータ削除を行い（差分処理）、顔輪郭形状データＤＳ７（境界データ）を生成する。
【００４２】
＜Ｃ−１１．外周平滑化機能機能Ｆ８＞
顔輪郭形状設定機能Ｆ７で生成された顔輪郭形状データＤＳ７および再標本化機能Ｆ５で再標本化された第１の形状データＤＳ５１に対して外周平滑化を行う。すなわち、顔面中、傾斜のある輪郭部分では距離画像データの変化が大きいため、かかる傾斜面を顔面模型に顕出させる際にギザギザ状になるという問題が生じる。そこで、横方向から顔面模型を眺めても傾斜面の切削位置が平滑化するように、両データＤＳ５１およびＤＳ７をそれぞれ修正して第１の形状データＤＳ８１および顔輪郭形状データＤＳ８３を生成する。なお、本機能については後に詳述する。
【００４３】
＜Ｃ−１２．ＦＷ（Ｆace Ｗork）座標変換機能Ｆ９＞
外周平滑化機能機能Ｆ８で外周平滑化処理された第１の形状データＤＳ８１および顔輪郭形状データＤＳ８３並びに疑似両眼形状設定機能Ｆ６で生成された疑似両眼形状データＤＳ６に対して、これらのデータが顔面を加工するワークの大きさに応じた形状データとなるように座標変換を施す。
【００４４】
これにより、▲１▼顔形状モデルを与える顔形状データＤＳ９１、▲２▼疑似両眼形状モデルを与える疑似両眼形状データＤＳ９２、および▲３▼顔輪郭近傍形状モデルを与える顔輪郭近傍形状データＤＳ９３が最終的に得られる。これらの形状データＤＳ９１，ＤＳ９２およびＤＳ９３を「３次元形状データ」とも総称する。なお、本機能については後に詳述する。
【００４５】
＜Ｄ．外周平滑化機能機能Ｆ８についての詳細＞
＜Ｄ−１．距離画像データの平滑化＞
まず、再標本化された距離画像データについて図６を用いて簡単に説明する。図６に示すように３次元オブジェクトＯＪに、ある方向（図中においてはｐ方向）から正方格子（標本化格子）ＭＲＸを正投影することにより再標本化されたデータは、投影面上で格子状に規則正しく配列されており、各格子点には定められた３次元直交座標系における座標値が格納されている。このような３次元点列データを再標本化された距離画像データと称する。このデータは、先述した再標本化機能Ｆ５によって得られた、第１の形状データＤＳ５１および、第１の形状データＤＳ５１に基づいて顔輪郭形状設定機能Ｆ７によって得られた、顔輪郭形状データＤＳ７（境界データ）として与えられる。
【００４６】
なお、標本化格子ＭＲＸにおいて対応する３次元データを有さない格子点（無効格子点ｋ）には「無効」を示す無効フラグが付加され、対応する３次元データを有する格子点（有効格子点ｉ）には「有効」を示す有効フラグが付加されている。
【００４７】
標本化格子ＭＲＸ上の有効フラグを有する格子点において、自分自身の３次元座標値、および格子上で隣接する格子点（４近傍または８近傍）のうち、有効フラグを持つものの３次元座標値の重み付け平均化処理を行うことが距離画像データの平滑化である。
【００４８】
＜Ｄ−２．輪郭部の距離画像データの平滑化＞
図７および図８に、それぞれ４近傍および８近傍の格子点による平滑化のモデルを示す。図７においては、４近傍の格子点による平滑化の一例として、平滑化対象となる有効格子点ｉと、それに隣接する３つの有効格子点ｊ1、ｊ2、ｊ3と、隣接する無効格子点ｋ1の５つが示されている。なお、４近傍とは、平滑化対象となる有効格子点ｉの他に、その周囲の４つの格子点を含んでいることを意味している。
【００４９】
また、図８においては、８近傍の格子点による平滑化の一例として、平滑化対象となる有効格子点ｉと、それに隣接する６つの有効格子点ｊ1〜ｊ6と、隣接する２の無効格子点ｋ1、ｋ2の９つが示されている。なお、８近傍とは、平滑化対象となる有効格子点ｉの他に、その周囲の８つの格子点を含んでいることを意味している。
【００５０】
図７および図８において、無効格子点ｋを示した理由は、本発明においては、顔面の外周、すなわち輪郭部分に平滑化処理を施すことを特徴としているからである。すなわち、有効フラグを有する格子点において顔面の輪郭を構成する格子点は、無効フラグを有する格子点と隣合っている有効フラグを有する格子点であり、図７および図８においては有効格子点ｉがそれに該当する。
【００５１】
＜Ｄ−３．特徴的作用効果＞
このような、顔面の輪郭を構成する格子点に対応する３次元座標値（境界データ）の重み付け平均化処理を行うことで、顔面の輪郭形状を平滑化し、傾斜のある輪郭部分を顔面模型に顕出させる際に切削位置を平滑化することができ、横方向から顔面模型を眺めた場合に滑らかな加工面を得ることができる。
【００５２】
なお、３次元座標値の重み付け平均化処理は以下に示す数式（１）によって行うことができる。
【００５３】
【数１】
数式（１）において、有効格子点のうち輪郭を構成する格子点のインデックスの集合をＢ、有効格子点のインデックスの集合をＥ、平滑化対象となる格子点ｉ自身と、それに隣接する４点（４近傍）、または平滑化対象となる格子点ｉ自身と、それに隣接する８点（８近傍）の格子点のインデックスの集合をＮi、格子点ｉの平滑化前の３次元座標ベクトルをＶi、格子点ｉおよび、その近傍の有効格子点の３次元座標ベクトルをＶj、格子点ｉの平滑化後の３次元座標ベクトルをＶi’とする。
【００５５】
なお、ｗi,Jは２つの格子間距離（または３次元空間における距離）に応じて設定される重み係数であり、距離が大きくなるにつれて値が単調に減少するような関数によって設定される。
【００５６】
＜Ｄ−４．３次元座標値の拘束処理＞
上述したような重み付け平均化処理（平滑化）を行った場合、輪郭を構成する格子点（有効な格子点）が、輪郭の周囲の無効な格子点の側から離れる方向に移動することになり、平滑化後の輪郭を見ると平滑化前よりも内側に小さくなっている。
【００５７】
図９に４近傍の格子点による平滑化後のモデルを示す。図９に示すように、平滑化対象となる有効格子点ｉを平滑化すると、無効格子点ｋから離れるように移動し、有効格子点ｉ’となる。
【００５８】
この現象を標本化格子ＭＲＸに投影された画像として見た場合の一例を図１０に示す。図１０において平滑化前の輪郭Ｃ１は、平滑化後には輪郭Ｃ２となる。
【００５９】
このような現象を防止するには、平滑化を行う際に、各格子点の３次元座標値が投影方向以外には移動せず、あたかも視線に対して拘束されているようにすれば良い。すなわち、数式（１）で示される平滑処理を輪郭を構成する格子点に対して施した後、移動後の格子点の座標値と元（平滑化前）の格子点の座標値との差分ベクトルを計算し、その差分ベクトルの投影方向成分のみを取り出して元の格子点の座標値に加えれば良い。この処理（拘束処理）を行うための数式（２）を以下に示す。
【００６０】
【数２】
数式（２）において、投影の方向を示す３次元単位ベクトルをｐ、その転置ベクトルをｐTとし、格子点ｉの平滑化前の３次元座標ベクトルをＶi、格子点ｉの平滑化後の３次元座標ベクトルをＶi’、拘束処理後の３次元座標ベクトルをＶi”とする。
【００６２】
従って、数式（１）で得られた平滑化後の３次元座標ベクトルＶi’を上記数式（２）で処理することで視線拘束を行うことができる。なお、数式（２）の右辺第２項は差分ベクトルの投影方向成分を表す。
【００６３】
以上説明した拘束処理の概念を図１１を用いて示す。図１１において、標本化格子ＭＲＸに投影された距離画像データのうち、輪郭を示す格子点ｉの平滑化前の３次元座標ベクトルをＶi、格子点ｉの平滑化後の３次元座標ベクトルをＶi’、拘束処理後の３次元座標ベクトルをＶi”として示している。図１１に示すように、拘束処理により格子点ｉは投影方向に沿ってＶiからＶi”に移動することになり、投影方向以外に移動することは防止される。従って、標本化格子ＭＲＸに投影された画像の輪郭が内側に小さくなることが防止されることになる。
【００６４】
＜Ｄ−５．外周平滑化処理の全体フロー＞
以上説明した、輪郭部の距離画像データの平滑化（外周平滑化処理）および拘束処理の一連の動作を図１２に示すフローチャートにまとめる。
【００６５】
図１２において、外周平滑化処理がスタートすると、ステップＳＴ６０において平滑化処理の対象が有効格子点であるか否かを確認する。これは、図５に示すデータフロー図に示す顔輪郭形状設定機能Ｆ７で生成された顔輪郭形状データＤＳ７を対象とする動作である。
【００６６】
そして、平滑化処理の対象となる輪郭部の格子点が定まると、近傍格子点との座標値の重み付け平均化処理が施され、輪郭部の格子点が平滑化される（ＳＴ６１）。
【００６７】
なお、再標本化機能Ｆ５で再標本化された第１の形状データＤＳ５１は、近傍格子点（有効格子点）のデータとして利用される。
【００６８】
このステップにより、先に説明したように輪郭が内側に小さくなるので、数式（２）により拘束処理を行う。そのために、まずステップＳＴ６２において数式（２）の右辺第２項に示す差分ベクトルの投影方向成分を抽出する。
【００６９】
そして、ステップＳＴ６３において、差分ベクトルの投影方向成分と平滑化前の格子点の３次元座標ベクトルとを加算することで、拘束処理後の格子点位置を求める。この格子点位置のデータが顔輪郭形状データＤＳ８３となる。
【００７０】
次に、ステップＳＴ６０〜ＳＴ６３の処理を輪郭を構成する全ての格子点に対して施したか否かを確認し（ＳＴ６４）、未処理の格子点が存在すればステップＳＴ６０〜ＳＴ６３の処理を繰り返し、全ての格子点が処理されていれば外周平滑化処理を終了する。
【００７１】
＜Ｄ−６．変形例１＞
以上説明した外周平滑化処理および拘束処理は、距離画像データの全ての方向について処理を行う例を示したが、拘束処理によって距離画像データは投射方向である１方向のみに移動するので、投影方向を座標軸のうちの１つと平行とし、その座標成分のみに外周平滑化処理を行うようにしても良い。
【００７２】
すなわち、図６に示す投影状態を例に採るならば、オブジェクトＯＪの投影方向ｐと、３次元座標軸のＺ軸方向とは一致していない。そこで、３次元座標軸を回転させてＺ軸と投影方向ｐとを一致させた後、輪郭部を構成する格子点のＺ座標のみについて重み付け平均化処理を行い上述した３次元座標軸の回転変換を打ち消すような逆の回転変換を加えることで、数式（１）と同様の外周平滑化処理を行うことができる。
【００７３】
以下、当該処理を数式（３）、（４）、（５）を用いて表す。
【００７４】
【数３】
【数４】
【数５】
数式（４）は、３次元空間における長さ１のベクトルを、原点を同じくするもう１つの長さ１のベクトルに回転角度最小で重ね合わせ可能な回転行列Ｒを求める式である。そして、数式（３）におけるＲ-1は行列Ｒの逆行列である。また、数式（４）におけるＩは単位行列、ｐzは単位投影方向ベクトルｐのＺ座標である。
【００７８】
そして、数式（５）は単位投影方向ベクトルｐと３次元回転行列の外積により得られる３次元ベクトルｕを求める式である。なお、数式（４）におけるｕTは、３次元ベクトルｕの転置ベクトルである。
【００７９】
＜Ｄ−７．変形例２＞
以上の説明は、図５のデータフロー図に示すように、外周平滑化処理を再標本化処理の後に行う場合を前提とした説明であったが、外周平滑化処理を再標本化処理の前、図５に示すデータフロー図に即して言えば距離平滑化処理Ｆ１において行うようにしても良い。この場合、距離画像データは入力時のデータであり、透視投影により計測されることになる。
【００８０】
距離画像データを３次元入力時に透視投影により計測する場合のモデルを図１３に示す。図１３に示すように３次元オブジェクトＯＪに、投影中心ｅから正方格子（標本化格子）ＭＲＸ上に透視投影することにより、データを投影面上で格子状に規則正しく配列することができる。この場合、投影の方向を示す単位方向ベクトルは図中ｐi、ｐjで示すように格子点ごとに異なる。
【００８１】
従って、数式（２）は、以下に示す数式（６）のように変更しなくてはならない。
【００８２】
【数６】
なお、数式（６）に示す単位方向ベクトルはｐiは以下に示す数式（７）で表される。また、数式（６）に示すｐi Tはベクトルはｐiの転置ベクトルである。
【００８４】
【数７】
なお、数式（７）に示すｅは、投影中心（視点）の３次元座標位置ベクトルである。
【００８６】
このように、正投影の場合の外周平滑化処理と、透視投影の場合の外周平滑化処理とではアルゴリズム的に異なるが、透視投影の場合の外周平滑化処理のアルゴリズムを準備しておけば、各格子点における単位方向ベクトルを共通化することで、正投影の場合の外周平滑化処理への適用も可能である。
【００８７】
＜Ｅ．ＦＷ（Ｆace Ｗork）座標変換機能Ｆ９についての詳細＞
図５に示す機能Ｆ１〜Ｆ８、ＳＦ１および、ＳＦ２によって得られた第１の形状データＤＳ８１、顔輪郭形状データＤＳ８３および疑似両眼形状データＤＳ６によって構成される「顔」を収容する立方体をバウンディングボックスと称し、ＦＷ座標変換機能Ｆ９には、このバウンディングボックスが顔面模型の加工材料となる加工物直方体の大きさとほぼ合致するようにバウンディングボックスの座標変換を行うことが含まれる。以下、ＦＷ座標変換について図１４〜図２３を用いて説明する。
【００８８】
図１４にバウンディングボックスＢＢを、図１５に加工物直方体ＣＣを示す。図１４においては「顔」がバウンディングボックスＢＢに収容された状態を模式的に表している。図１４において、バウンディングボックスＢＢのＸＷＺ方向の各辺は、それぞれＦＷ、ＦＬ、ＦＤで表され、図１５において、加工物直方体ＣＣのＸＷＺ方向の各辺は、それぞれＷＷ、ＷＬ、ＷＤで表されている。
【００８９】
＜Ｅ−１．ＦＷ座標変換の処理フローの全体構成＞
以下、ＦＷ座標変換を行うための処理フローについて図１６〜図１８を用いて説明する。まず、ＦＷ座標変換の処理フローの全体構成について図１６を用いて説明する。
【００９０】
図１６に示すステップＳＴ７０において、第１の形状データＤＳ８１、顔輪郭形状データＤＳ８３および疑似両眼形状データＤＳ６によって構成される「顔」を最小限の大きさで収容するようにバウンディングボックスＢＢを求める。
【００９１】
次に、ステップＳＴ７１において、バウンディングボックスＢＢの辺ＦＬの長さが加工物直方体ＣＣの辺ＷＬの長さに一致するようにスケール変更を行う。
【００９２】
次に、ステップＳＴ７２において、バウンディングボックスＢＢの辺ＦＤおよび辺ＦＷの長さが、加工物直方体ＣＣの辺ＷＤおよび辺ＷＷの長さより大きいか否かの比較を行う。
【００９３】
そして、上記比較結果がイエスの場合はバウンディングボックスＢＢの辺ＦＤおよび辺ＦＷの長さの補正処理（ＳＴ７３）を行った後、「顔」に関するデータを加工物直方体ＣＣの座標に平行移動する（ＳＴ７４）。なお、上記比較結果がノーの場合は、ステップＳＴ７４の平行移動処理を行う。
【００９４】
次に、ステップＳＴ７５において、「顔」の距離画像データのうち、加工物直方体ＣＣの外部に位置するピクセルのフラグを無効とすることで、一連の処理が終了する。
【００９５】
なお、ステップＳＴ７３、ＳＴ７４およびＳＴ７５の詳細については後に説明する。
【００９６】
＜Ｅ−２．補正処理のフロー＞
図１６に示すステップＳＴ７３の補正処理の詳細について、以下、図１７を用いて説明する。
【００９７】
図１７に示すステップＳＴ８０において、バウンディングボックスＢＢと加工物直方体ＣＣの辺ＦＤおよび辺ＷＤの長さの差（ＦＤ−ＷＤ）と、加工物直方体ＣＣの辺ＷＤの長さとの比率であるＤＲａｔｅを算出する。
【００９８】
そして、ステップＳＴ８１においてＤＲａｔｅと、予め定めた閾値ＤＴｈｒｅｓｈとの比較を行い、ＤＲａｔｅが大きい場合にはステップＳＴ８２においてＤＲａｔｅ＝ＤＴｈｒｅｓｈとなるようにバウンディングボックスＢＢの各辺を変更するスケール値ＤＳｃａｌｅを算出する。
【００９９】
なお、ステップＳＴ８１においてＤＴｈｒｅｓｈよりもＤＲａｔｅが小さいと判断された場合は、バウンディングボックスＢＢのスケール値ＤＳｃａｌｅは１に設定する（ＳＴ８３）。
【０１００】
次に、ステップＳＴ８４において、バウンディングボックスＢＢと加工物直方体ＣＣの辺ＦＷおよび辺ＷＷの長さの差（ＦＷ−ＷＷ）と、加工物直方体ＣＣの辺ＷＷの長さとの比率であるＷＲａｔｅを算出する。
【０１０１】
そして、ステップＳＴ８５においてＷＲａｔｅと、予め定めた閾値ＷＴｈｒｅｓｈとの比較を行い、ＷＲａｔｅが大きい場合にはステップＳＴ８６においてＷＲａｔｅ＝ＷＴｈｒｅｓｈとなるようにバウンディングボックスＢＢの各辺を変更するスケール値ＷＳｃａｌｅを算出する。
【０１０２】
なお、ステップＳＴ８５においてＷＴｈｒｅｓｈよりもＷＲａｔｅが小さいと判断された場合は、バウンディングボックスＢＢのスケール値ＷＳｃａｌｅは１に設定する（ＳＴ８７）。
【０１０３】
そして、ステップＳＴ８８においてＤＳｃａｌｅとＷＳｃａｌｅとの比較を行い、ＤＳｃａｌｅの方が大きい場合にはＷＳｃａｌｅでバウンディングボックスＢＢの各辺のスケール変更を行い（ＳＴ８９）、一連の処理を終了する。
【０１０４】
なお、ＤＳｃａｌｅの方が小さい場合にはＤＳｃａｌｅでバウンディングボックスＢＢの各辺のスケール変更を行い（ＳＴ９０）、一連の処理を終了する。
【０１０５】
＜Ｅ−３．平行移動処理のフロー＞
図１６に示すステップＳＴ７４の平行移動処理の詳細について、以下、図１８〜図２１を用いて説明する。
【０１０６】
図１８は平行移動処理を説明するフローチャートであり、まず、図１８に示すステップＳＴ１００において、バウンディングボックスＢＢおよび加工物直方体ＣＣの中心座標を算出する。
【０１０７】
次に、ステップＳＴ１０１において、バウンディングボックスＢＢの中心座標（Ｘ，Ｙ座標のみ）を、加工物直方体ＣＣの中心座標（Ｘ，Ｙ座標のみ）に一致させるように平行移動させる。
【０１０８】
最後に、ステップＳＴ１０２において、バウンディングボックスＢＢのＺ座標の最大値を、加工物直方体ＣＣのＺ座標の最大値に合わせるようにＺ方向の平行移動を行う。
【０１０９】
ここで、図１９にＸＹＺ方向の平行移動処理を終了した状態を模式的に示す。図１９においては、加工物直方体ＣＣのＸＺ面と「顔」、すなわちバウンディングボックスＢＢの位置関係を示している。
【０１１０】
図１９に示されるように、バウンディングボックスＢＢ（図においては「顔」として表現）のＺ座標の最大値ＢＭＡＸ（図においては鼻の先端）が加工物直方体ＣＣのＺ座標の最大値ＣＭＡＸに一致している。
【０１１１】
このように、バウンディングボックスＢＢと加工物直方体ＣＣのＺ座標の最大値を一致させることで、加工物直方体ＣＣに顔面を彫り込んだ場合、後頭部に相当する部分を板面ＢＰとして残すことができ、板面ＢＰに装飾を施すなどして見栄えを高めることができる。
【０１１２】
＜Ｅ−４．変形例１＞
図１８に示したステップＳＴ１０２において、バウンディングボックスＢＢのＺ座標の最小値を、加工物直方体ＣＣのＺ座標の最小値に合わせるようにＺ方向の平行移動を行うようにしても良い。
【０１１３】
図２０にＸＹＺ方向の平行移動処理を終了した状態を模式的に示す。図２０においては、加工物直方体ＣＣのＸＺ面と「顔」、すなわちバウンディングボックスＢＢの位置関係を示す。
【０１１４】
図２０において、バウンディングボックスＢＢ（図においては「顔」として表現）のＺ座標の最小値ＢＭＩＮ（図においては後頭部）が加工物直方体ＣＣのＺ座標の原点に一致している。
【０１１５】
＜Ｅ−５．変形例２＞
図１８に示したステップＳＴ１０２において、バウンディングボックスＢＢのＺ座標の中心値を、加工物直方体ＣＣのＺ座標の中心値に合わせるようにＺ方向の平行移動を行うようにしても良い。
【０１１６】
図２１にＸＹＺ方向の平行移動処理を終了した状態を模式的に示す。図２１においては、加工物直方体ＣＣのＸＺ面と「顔」、すなわちバウンディングボックスＢＢの位置関係を示す。
【０１１７】
図２１において、バウンディングボックスＢＢ（図においては「顔」として表現）のＺ座標の中心値ＢＭＩＤが加工物直方体ＣＣのＺ座標の中心値ＣＭＩＤに一致している。
【０１１８】
＜Ｅ−６．ステップＳＴ７５の補足説明＞
以上説明した平行移動処理においては、バウンディングボックスＢＢを加工物直方体ＣＣに重ね合わせる操作を示したが、バウンディングボックスＢＢの大きさ、すなわち顔の大きさの個人差に起因して、バウンディングボックスＢＢの方が加工物直方体ＣＣより大きくなってしまう場合がある。図２２にこのような状態を模式的に示す。図２２においては加工物直方体ＣＣからはみ出すバウンディングボックスＢＢを鎖線で示している。
【０１１９】
図１６に示したステップＳＴ７５は、このような場合に加工物直方体ＣＣからはみ出す「顔」の距離画像データを無効にする操作を示している。図２３にＸＹ方向のバウンディングボックスＢＢおよび加工物直方体ＣＣを示す。加工物直方体ＣＣの外部に位置するピクセルのフラグを無効とすることで、加工物直方体ＣＣには図２３に示すように、「顔」の左右の端部の距離画像データが反映されないことになる。
【０１２０】
＜Ｆ．加工データ生成の補足説明＞
以上、図６〜図２３を用いた説明は、立体模型作成装置１の概略の動作を示す図４のステップＳＴ２０のデータ処理に関連するものであり、ＳＴ２０で処理したデータに基づいてステップＳＴ２８において加工条件データベースを参照して加工制御用のデータを生成することで加工作業が実行される。
【０１２１】
以下、図２４および図２５を用いて、ステップＳＴ２８における加工データ生成に関連して補足的に説明する。
【０１２２】
図２４は、加工物直方体ＣＣに切削加工を施す状態を示す図であり、エンドミルなどの切削刃物ＥＭが加工物直方体ＣＣの上部、すなわち「顔」の上部を切削している状態が示されている。なお、図２４においては、図１６に示すステップＳＴ７４の平行移動処理で、バウンディングボックスＢＢのＺ座標の最大値を、加工物直方体ＣＣのＺ座標の最大値に合わせるようにした場合に相当しており、「顔」は板面ＢＰ上に形成されることになる。
【０１２３】
図２４に示されるように、「顔」がワークいっぱい、すなわち加工物直方体ＣＣの全体に渡って形成される場合、「顔」とワークに挟まれた狭小部分には切削刃物ＥＭが入らないが発生することがある。
【０１２４】
このような狭小部分の削り残しを防止するためには、図２５に示すように加工基準面ＷＲＰを加工物直方体ＣＣの外部にまで延長し、加工物直方体ＣＣの外部においても切削刃物ＥＭが加工動作を行うように外挿的に加工しろデータを生成すれば良い。
【０１２５】
図２５においては、加工物直方体ＣＣの上部および下部平面（ＸＹ平面）上を切削刃物ＥＭが移動できるように加工しろデータが設定された例を示している。また、加工しろデータのＹ方向の大きさＳは、切削刃物ＥＭの直径の半分に設定されている。
【０１２６】
なお、加工しろデータはＸＹ平面上だけに限定されず、加工物直方体ＣＣの左右に相当するＹＺ平面上に設定しても良い。
【０１２７】
このように、加工物直方体ＣＣの外部に加工しろデータを設定することで削り残しを防止することが可能となる。
【０１２８】
【発明の効果】
本発明に係る請求項１記載の３次元形状データ処理装置によれば、外周平滑化部において、距離画像データのうち、対象物の輪郭部に対応する境界データに重み付け平均化処理を施して平滑化するので、例えば、対象物が人の顔であって、３次元形状データを用いて顔面模型を製作する場合に、傾斜のある輪郭部分を顔面模型に顕出させる際に切削位置を平滑化することができ、横方向から顔面模型を眺めた場合に滑らかな加工面を得ることができる。
【０１２９】
本発明に係る請求項２記載の３次元形状データ処理装置によれば、平滑化対象格子点に隣接する複数の有効格子点の重み係数を調整することで平均化の精度を調整することができる。
【０１３０】
本発明に係る請求項３記載の３次元形状データ処理装置によれば、対象物の３次元計測が透視投影法によりなされた場合、正投影法によって距離画像データを均等に配列するための座標変換を行うが、外周平滑化部においては対象物の標本化格子に対する投影に正投影法を採用しているので、上記座標変換の後に外周平滑化を行うことができる。
【０１３１】
本発明に係る請求項４記載の３次元形状データ処理装置によれば、外周平滑化部においては対象物の標本化格子に対する投影に透視投影法を採用しているので、透視投影法により得られた距離画像データに対して外周平滑化を行うことができ、透視投影法により得られた距離画像データを正投影変換する前の比較的初期の段階で外周平滑化を行うことが可能となる。
【０１３２】
本発明に係る請求項５記載の３次元形状データ処理装置によれば、平滑化対象格子点の移動方向を、前記所定の投影方向のみに拘束する拘束処理を行うことができるので、対象物の輪郭が内側に縮まることを防止でき、３次元形状データを用いて対象物の模型を製作する場合に、当該模型の輪郭が縮んで、形状がいびつになることを防止できる。
【図面の簡単な説明】
【図１】 この発明に係る実施の形態である立体模型作成装置の外観図である。
【図２】 操作パネルの平面図である。
【図３】 立体模型作成装置の機能ブロック図である。
【図４】 立体模型作成装の概略の動作を示すフローチャートである。
【図５】 ３次元顔面形状処理機能のデータフローを示す図である。
【図６】 ３次元形状の正投影を説明する図である。
【図７】 ４近傍の格子点による平滑化のモデルを説明する図である。
【図８】 ８近傍の格子点による平滑化のモデルを説明する図である。
【図９】 ４近傍の格子点による平滑化後のモデルを示す図である。
【図１０】 平滑化前の輪郭と、平滑化後の輪郭を説明する図である。
【図１１】 拘束処理の概念を説明する図である。
【図１２】 外周平滑化処理および拘束処理の一連の動作を示すフローチャートである。
【図１３】 ３次元形状の透視投影を説明する図である。
【図１４】 バウンディングボックスを説明する図である。
【図１５】 加工物直方体を説明する図である。
【図１６】 ＦＷ座標変換の全体構成を説明するフローチャートである。
【図１７】 補正処理を説明するフローチャートである。
【図１８】 平行移動処理を説明するフローチャートである。
【図１９】 バウンディングボックスの平行移動処理を終了した状態を模式的に示す図である。
【図２０】 バウンディングボックスの平行移動処理を終了した状態を模式的に示す図である。
【図２１】 バウンディングボックスの平行移動処理を終了した状態を模式的に示す図である。
【図２２】 バウンディングボックスが加工物直方体より大きい状態を説明する図である。
【図２３】 バウンディングボックスが加工物直方体より大きい場合の顔データを模式的に示す図である。
【図２４】 加工物直方体に切削加工を施す状態を示す図である。
【図２５】 加工しろデータを付加した場合の加工物直方体に切削加工を施す状態を示す図である。
Claims (6)
- 対象物を非接触で３次元計測して得られる距離画像データに基づいて、前記対象物の３次元形状をモデル化するための３次元形状データを生成し、出力する３次元形状データ処理装置であって、
前記距離画像データを平滑化する際に所定の投影方向に対する拘束処理を行うことを特徴とする、３次元形状データ処理装置。 - 前記距離画像データのうち、前記対象物の輪郭部に対応する境界データに重み付け平均化処理を施して平滑化する外周平滑化部を備える、請求項１に記載の３次元形状データ処理装置。
- 前記距離画像データは、前記対象物を前記所定の投影方向から標本化格子に投影し、前記対象物の形状を３次元座標値として投影面上で格子状に配列したデータであって、
前記標本化格子は、前記対象物に対応した投影データを有する有効格子点と、前記対象物に対応した投影データを有さない無効格子点とを含み、
前記境界データは、前記無効格子点と隣合っている有効格子点のデータで規定され、
前記重み付け平均化処理は、前記境界データを構成する有効格子点の１つを平滑化対象格子点とし、該平滑化対象格子点と前記平滑化対象格子点に隣接する複数の有効格子点との間の距離に応じてそれぞれ設定される重み係数を、前記平滑化対象格子点のデータに積算し、その総和を取る処理を含む、請求項２記載の３次元形状データ処理装置。 - 前記対象物の前記標本化格子に対する投影は、前記所定の投影方向が１方向である正投影法によってなされる、請求項３記載の３次元形状データ処理装置。
- 前記対象物の前記標本化格子に対する投影は、前記所定の投影方向が前記標本化格子の格子点ごとに異なる透視投影法によってなされる、請求項３記載の３次元形状データ処理装置。
- 前記外周平滑化部は、前記重み付け平均化処理の後に、
前記重み付け平均化処理前の前記平滑化対象格子点の３次元座標値と、前記重み付け平均化処理後の前記平滑化対象格子点の３次元座標値との差分ベクトルを算出し、該差分ベクトルの前記所定の投影方向成分のみを抽出して、前記重み付け平均化処理前の前記平滑化対象格子点の３次元座標値に加算することで、前記平滑化対象格子点の移動方向を、前記所定の投影方向のみに拘束する拘束処理を行う機能を有する、請求項３記載の３次元形状データ処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24564998A JP3743171B2 (ja) | 1998-08-31 | 1998-08-31 | ３次元形状データ処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24564998A JP3743171B2 (ja) | 1998-08-31 | 1998-08-31 | ３次元形状データ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000076456A JP2000076456A (ja) | 2000-03-14 |
| JP3743171B2 true JP3743171B2 (ja) | 2006-02-08 |
Family
ID=17136790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24564998A Expired - Lifetime JP3743171B2 (ja) | 1998-08-31 | 1998-08-31 | ３次元形状データ処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3743171B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110980276A (zh) * | 2019-12-30 | 2020-04-10 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011033497A (ja) * | 2009-08-03 | 2011-02-17 | Honda Motor Co Ltd | 環境認識システム、環境認識方法およびロボット |
| DE102010020925B4 (de) * | 2010-05-10 | 2014-02-27 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung |
| JP6560745B2 (ja) * | 2014-09-24 | 2019-08-14 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 生体構造のボリュメトリック画像を視覚化すること |
| JP2017083956A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | 情報処理装置および情報処理方法、撮像装置およびプログラム |
| JP6818471B2 (ja) * | 2016-08-31 | 2021-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
1998
- 1998-08-31 JP JP24564998A patent/JP3743171B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110980276A (zh) * | 2019-12-30 | 2020-04-10 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
| CN110980276B (zh) * | 2019-12-30 | 2021-08-17 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000076456A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6775403B1 (en) | Device for and method of processing 3-D shape data | |
| US10229483B2 (en) | Image processing apparatus and image processing method for setting an illumination environment | |
| JP6040838B2 (ja) | デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP3639475B2 (ja) | ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 | |
| Daanen et al. | Whole body scanners | |
| KR101613721B1 (ko) | ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법 | |
| JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| KR20150107063A (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
| JP3743171B2 (ja) | ３次元形状データ処理装置 | |
| TW200828182A (en) | Method of utilizing multi-view images to solve occlusion problem for photorealistic model reconstruction | |
| US7068835B1 (en) | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor | |
| JP2000076454A (ja) | ３次元形状データ処理装置 | |
| JP2000339498A (ja) | ３次元形状データ処理装置 | |
| JP2001012922A (ja) | ３次元データ処理装置 | |
| JP2000321050A (ja) | ３次元データ取得装置および３次元データ取得方法 | |
| JPH11312228A (ja) | ３次元形状データ処理装置 | |
| JP4316114B2 (ja) | モデルの変形方法およびモデリング装置 | |
| JP2001045519A (ja) | ３次元データ生成装置、３次元データ生成方法および記録媒体 | |
| JP3429400B2 (ja) | モデリングシステム | |
| JPH11188183A (ja) | ３次元形状データ処理装置及びモデリングシステム | |
| JPH11328444A (ja) | モデリングシステム | |
| JP2000076455A (ja) | ３次元形状データ処理装置 | |
| JPH0981737A (ja) | 三次元物体モデル生成方法 | |
| JP2000357007A (ja) | ３次元データ処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |