JP3832065B2

JP3832065B2 - ３次元形状データ処理装置

Info

Publication number: JP3832065B2
Application number: JP35886197A
Authority: JP
Inventors: 慎一伴; 敏彦唐崎
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 1997-12-26
Filing date: 1997-12-26
Publication date: 2006-10-11
Anticipated expiration: 2017-12-26
Also published as: JPH11188183A

Description

【０００１】
【発明の属する技術分野】
本発明は、実存する物体の模型を作成するための３次元形状データ処理に関する。
【０００２】
【従来の技術】
可搬型の非接触式３次元計測装置（３次元カメラ）が商品化され、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。非接触の計測方法としては、スリット光投影法（光切断法）が一般的であるが、他にもパターン光投影法、ステレオ視法、干渉縞法などが知られている。
【０００３】
また、パーソナルコンピュータで利用可能な３次元ＣＧソフトウェア、及びホビー用の小型の３次元切削マシンが市販されている。これらを用いれば、一般家庭でも模型や創作物を手軽に製作することができる。
【０００４】
一方、利用客の顔写真シールをその場で作成する一種の自動販売機が人気を集めている。利用客は料金分の硬貨を投入し、モニタ画像を見ながらカメラの前で好みのポーズをとる。そして、所定の操作を行うと、一定数のシールが並んだシートが作成されて取出口に排出される。大半の機種では、顔写真の形状や写し込み模様などについて複数の選択肢が設けられている。
【０００５】
【発明が解決しようとする課題】
上述の３次元計測装置によれば、写真をとるのと同程度の手軽さで人体を含む各種物体の形状をデータ化することができる。非接触式であるので、人体を計測する場合であっても、計測対象者が煩わしさを感じることはない。そこで、この３次元計測装置を顔写真ならぬ顔面模型の作成に利用することが考えられる。つまり、３次元加工機と組み合わせれば、人物の顔を計測してその場で適当な倍率の模型を作成することが可能である。
【０００６】
しかし、非接触式と接触式とに係わらず頭髪部分の形状を毛髪１本１本まで正確に計測するのは困難である。また、正確な計測が行えたとしても、加工の分解能が高くなければ平坦に加工されてしまう。さらに分解能の高い加工装置を用いて正確な加工が行えたとしても、起伏が微小であり、一見すると平坦に見えてしまう。いずれにしても、顔面模型の頭髪部分が平坦すぎて毛髪の質感が得られないという問題があった。
【０００７】
本発明は、見た目の自然な人体頭部の模型の作成を可能にすることを目的としている。
【０００８】
【課題を解決するための手段】
本発明においては、物体の２次元撮影情報を参照し、又は形状データの分析によって人体の形状モデルのうちの頭髪部分を特定し、その頭髪部分に毛髪の質感を表す起伏模様を付加する。
【０００９】
請求項１の発明に係る装置は、人物像の模型作成のための３次元形状データ処理装置であって、対象物体を撮像するための光電変換装置と、前記対象人体の形状を計測するための３次元計測装置と、前記光電変換装置により得られた前記対象人体の２次元画像から当該対象人体の頭髪に対応する部分を抽出し、抽出部分である頭髪画像を予め登録されている所定方向の線からなる縞模様である毛髪模様に置き換え、前記３次元計測装置により得られた前記対象人体の形状データのうちの頭髪部分に、前記毛髪模様に対応した起伏を付加するデータ処理手段とを備えており、前記データ処理手段が、前記頭髪画像を細線化して連結数が１又は２の画素のみからなり且つ全ての画素の連結数が２であるループ状のものを除いた線セグメントを抽出し、抽出した線セグメントと予め登録されている８つの方向のそれぞれを示す８つのマスクパターンとのマッチングによって前記頭髪画像における線の方向の分布を特定し、前記分布に応じて前記頭髪画像を複数の領域に区画し、各領域を前記８つのマスクパターンのうちの該当するいずれかで塗りつぶすことによって前記毛髪模様を得るものである。
【００１１】
請求項２の発明に係る装置においては、前記データ処理手段は、前記頭髪部分に対応した部分の修正が行われた形状データを奥行き方向に圧縮する。
【００１３】
【発明の実施の形態】
図１は本発明に係る立体模型作成装置１の外観図である。
立体模型作成装置１は、物体形状を計測し、その計測データに基づいて素材をその場で加工する機能を有しており、利用客の顔をかたどった小物品の自動販売機として使用される。作成される物品は、所定形状（例えば四角形）の板面から顔面（頭髪を含む）の模型が突き出た立体である。板面（背景部分）に特定の起伏模様を付加することも可能である。このような物品に適当な金具を取り付ければ、ペンダント、ブローチ、キーホルダなどのアクセサリーとなる。予め素材に金具を取り付けておいてもよい。
【００１４】
ほぼ等身大の筐体１０の上半部の前面に、利用客がポーズを確認するためのディスプレイ１６とともに、光学式３次元計測のための投光窓１２及び受光窓１４が設けられている。受光窓１４は２次元のカラー撮影にも用いられる。筐体１０の下半部は上半部よりも前方側に張り出しており、その上面が操作パネル１８となっている。商品の取出口２０は下半部の前面に設けられている。
【００１５】
利用客は立体模型作成装置１に向かって立ち、料金分の硬貨を投入する。その後に利用客がスタート操作を行うと、立体模型作成装置１は正面の一定範囲内に存在する物体の形状を計測するとともに、計測結果を示す３次元形状モデル（例えばサーフェスモデル）を表示する。そして、利用客が確認操作を行うと、立体模型作成装置１は計測結果に応じた３次元加工を開始する。数分程度の時間で商品が完成する。利用客は取出口２０から商品を取り出す。
【００１６】
図２は操作パネル１８の平面図である。
操作パネル１８には、スタートボタン１８１、確認ボタン１８２、キャンセルボタン１８３、ジョイスティック１８４、及び硬貨の投入口１８５が設けられている。スタートボタン１８１はスタート操作手段であり、確認ボタン１８２は確認操作手段である。ジョイスティック１８４は模型の構図の変更指示に用いられる。左右に傾けるパーン操作、上下に傾けるチルト操作、及びノブを回転させるロール操作に呼応して３次元形状モデルの回転処理が行われ、処理結果が逐次に表示される。また、キャンセルボタン１８３は、利用客が表示された３次元形状モデルが気に入らないときなどに再計測を指示するための操作手段である。ただし、キャンセルボタン１８３には有効回数が設定されており、無制限に再計測を指示することはできない。
【００１７】
図３は立体模型作成装置１の機能ブロック図である。
立体模型作成装置１は、模型サイズの３次元形状モデルを生成するモデリングシステム１Ａと、３次元形状モデルを顕在化する加工システム１Ｂとから構成されている。
【００１８】
モデリングシステム１Ａは、オリジナル物体である利用客の外観情報をディジタルデータに変換（データ化）する撮影システム３０を含んでいる。撮影システム３０は、スリット光投影法で形状情報をデータ化する３次元計測装置３４、色情報をデータ化する２次元撮影装置３６、及びコントローラ３８からなる。なお、３次元計測にスリット光投影法に代えて他の手法を用いてもよい。３次元計測装置３４による計測情報である形状データＤＳ、及び２次元撮影装置３６による撮影情報であるカラー画像データＤＣはデータ処理装置４０に入力される。３次元計測と２次元撮影とのカメラ座標の相対関係は既知であるので、形状データＤＳに基づく３次元形状モデルと２次元撮影像とを位置合わせすることは容易である。データ処理装置４０は図示しない画像処理回路を備えており、本発明に特有のデータ修正を含む各種のデータ処理を行う。データ処理装置４０のコントローラ４２は、立体模型作成装置１の全体的な制御をも担い、撮影システム３０のコントローラ３８及び加工システム１Ｂのコントローラ７６に適切な指示を与える。このコントローラ４２には、ディスプレイ１６及び操作入力システム８０が接続されている。操作入力システム８０は、上述の操作パネル１８と料金受領機構とからなる。
【００１９】
一方、加工システム１Ｂは、樹脂ブロックなどの材料を切削する加工装置７２、材料の加工位置への供給と加工品の取出口２０への搬送を行う材料供給装置７４、コントローラ７６、及び取出口センサ７８を備えている。取出口センサ７８の検出信号はコントローラ４２に入力される。
【００２０】
なお、撮影システム３０及び加工システム１Ｂの制御をコントローラ４２に受け持たせ、コントローラ３８及びコントローラ７６を省略した回路構成を採用してもよい。
【００２１】
図４は加工システム１Ｂの機構構成の一例を示す斜視図である。
材料供給装置７４は、計８種の形状の材料を収納するストック部２１０を有している。収納空間は直線状の移送路２１２の両側に設けられ、各側の収納空間に移送路２１２に沿って４個ずつエレベータ２２０が配置されている。各エレベータ２２０に同一種類の複数個の材料が積み重ねられ、最上の材料が所定高さに位置するようにエレベータ２２０の上下移動制御が行われる。作成しようとする模型に適した一種類の材料が指定されると、指定された材料がワーク２１６として押出しロッド２１８によって収納空間から移送路２１２へ送り出される。そして、移送路２１２上のワーク２１６は、チャック付き移送ロッド２１４によって加工装置７２のテーブル２００に送り込まれる。
【００２２】
テーブル２００において、ワーク２１６は２個のストッパ２０２とクランプ治具２０４とによって固定される。そして、上下・左右・前後に移動可能な回転軸２０６に取り付けられたドリル２０８によって切削される。
【００２３】
３次元加工が終了すると、ワーク２１６は移送ロッド２１４の先端のチャックで挟持されて移送路２１２の排出側の端部へ運ばれ、排出口２２２に送り込まれる。移送ロッド２１４によらず、滑り台形式でワーク２１６をテーブル２００から排出口２２２へ移動させてもよい。
【００２４】
加工システム１Ｂの機構構成は例示に限らない。例えば多段の各棚に同一種類の材料を水平方向に並べ、その配列方向の一端にエレベータを配置し、棚からエレベータに材料を押し出すようにすれば、エレベータ数を低減することができる。アームロボットによってワークを収納位置→加工位置→排出位置へと運んでもよい。切削に代えて、積層造形法（光造形法を含む）、レーザー加工（熱加工）、成型加工（加圧など）などの手法で模型を作成することも可能である。また、材料形状については、利用客が好みの外形を選択できるようにしてもよいし、予め標準的な顔の模型を作り込んだ複数種の材料から加工時間が最も短くなるものを自動選択するようにしてもよい。
【００２５】
以上の構成の立体模型作成装置１においては、頭髪の質感が再現された見た目の自然な顔面模型を作成するため、３次元計測で得られた３次元形状モデルを頭部（顔面を含む）のカラー撮影情報を利用して自動的に変形するデータ修正がデータ処理装置４０によって行われる。変形は、具体的には３次元形状モデルの頭髪部分に、あらかじめ登録されている縞状の起伏模様を付加する処理、すなわち多数の溝又は筋状の隆起を設ける処理である。カラー撮影情報は、頭髪部分の特定に利用される。また、本実施形態では、模型をより実物に似せるため、カラー撮影情報から各部位の毛髪方向（ウエーブライン）を判別し、その結果に応じて頭髪部分を区画して各区画領域毎に最適の起伏模様を付加する。なお、頭髪部分の形状からヘアスタイルを判別し、実物のウエーブラインに係わらずヘアスタイルに応じてあらかじめ設定しておいた起伏模様を一律に付加するようにしてもよい。
【００２６】
図５は毛髪方向情報の抽出の模式図である。
データ処理装置４０は、まず、カラー画像データＤＣが表す２次元画像から頭髪部分を抽出する。〔１〕特定の色空間（例えばＬ* ａ* ｂ* 色空間）においてクラスタリングを行うことにより、２次元画像を同色相の領域に分割する。〔２〕その結果に対してラベリングを行って同色相で且つ連続した領域を抽出する。〔３〕あらかじめ顔面要素の位置及び色に関する統計に基づいて作成されたテンプレートを用いてマッチングを行い、頭髪に相当する領域を選び出す。
【００２７】
次に、以下の要領で毛髪方向情報を抽出する。〔１〕２次元画像の頭髪部分について１階微分処理を行い、エッジを検出する。〔２〕所定の閾値でエッジ検出画像Ｇ２１を２値化する。〔３〕２値化画像Ｇ２２に対して収縮・膨張処理を繰り返し、画像の雑音を取り除いた画像Ｇ２３を得る。〔４〕心線の連結画素数４以下を保存して細線化を行い画像Ｇ２４を得る。〔５〕各画素を連結画素数で分類し、連結数３の分岐点画素及び連結数４の交差点画素を除き、連結数１又は２の画素のみからなる線セグメント（線画像）のみを残す。〔６〕画像Ｇ２５の線セグメントについて追跡処理を行い、全ての画素の連結数が２であるループ状の線セグメント、つまり頭髪部分の輪郭を除去し、毛髪方向を示す画像Ｇ２６を得る。
【００２８】
図６は毛髪方向の分類の模式図、図７は縞模様の設定の一例を示す図、図８は形状モデルの部分修正の模式図である。
データ処理装置４０は、上述の要領で毛髪方向情報を抽出した段階の２次元画像Ｇ２６を、毛髪方向を示す線セグメントＬｇと予め登録されているマスクパターンｍ１〜８とのマッチングを行いながら走査する。その結果、合致する画素の最も多いマスクパターンを、その部位のマスクパターンと決める。つまり、毛髪方向をマスクパターンｍ１〜８のいずれかの方向に分類する。続いて、図７のように、マスクパターンの分布に応じて頭髪部分の２次元画像Ｇ２６を区画し、各区画領域ａ１〜ａ５を該当するマスクパターンで塗りつぶす。すなわち毛髪模様を設定する。そして、図８のように、形状モデルＵに対して毛髪模様で塗りつぶした画像Ｇ２７を投影し、毛髪模様ｈｐに対応した所定深さの溝ｇを設けるように形状モデルＵを部分的に変形させる。これにより、形状モデルＵのうちの頭髪部分に毛髪に似せた縞状の起伏が付加され、頭髪の質感が表現される。なお、溝ｇの断面形状は、Ｕ字状、Ｖ字状、矩形など任意に設定可能である。断面を放物曲線状としていわゆる丸平の彫刻刀で削ったように見せかけることもできる。また、溝ｇを設ける代わりに筋状に隆起させてもよい。隆起の断面形状も溝と同様に任意に設定可能である。
【００２９】
以下、フローチャートを用いて立体模型作成装置１の動作を説明する。
図９は概略の動作を示すメインフローチャートである。
電源が投入された後、利用客による操作を待つ待機期間において、２次元撮影と撮影結果の表示とを繰り返す（＃１０、＃１２、＃１４）。また、定期的に案内メッセージを表示する。料金が投入されてスタートボタン１８１が押されると、改めて２次元撮影を行うとともに３次元計測を行う（＃１６、＃１８）。所定のデータ処理を行い（＃２０）、得られた３次元形状モデルを表示する（＃２２）。このとき、影を付すといった公知のグラフィック手法を適用して見栄えを高める。そして、指示操作を待つ。ただし、待ち時間は有限であり、時限を過ぎれば確認操作が行われたものとみなす。
【００３０】
ジョイスティック１８４が操作されると、上述のように３次元形状モデルを操作に応じて回転させて表示する（＃２４、＃３８）。キャンセルボタン１８３が押されると、待機期間の動作に戻る（＃４０、＃１０）。ただし、この場合、利用客が料金を改めて投入する必要はなく、スタートボタン１８１を押せば、再計測が行われる。
【００３１】
確認ボタン１８２が押されると（＃２６）、３次元形状モデルに基づいて加工条件データベースを参照して加工制御用のデータを生成し（＃２８）。材料の加工を行う（＃３０）。加工が終わると、商品を排出し（＃３２）、取出口センサ７８によって商品が取り出されたのを確認して待機動作に戻る（＃３４、＃１０）。
【００３２】
図１０は図９のデータ処理の内容を示すフローチャートである。
ここでは、上述したように頭髪の質感を表現するデータ修正、及び加工時間の短縮やデザイン上の意図的な平面化のための奥行き方向の圧縮を含む次の処理が行われる。
【００３３】
平滑化処理を行って、ノイズによる異常データを除くとともに、細かな凹凸まで過度に再現されるのを避ける（＃２００）。再標本化処理を行う（＃２１０）。これは、顔が斜めを向いていた場合などにおいて、入力データを加工方向に正対させるため、ある方向から平行投影した等間隔の格子点により整列されたデータに変換する処理である。例えば、人の顔の耳の下が陰になって測定できない場合、顔を上向きにして３次元測定をした後で、通常の正面を向いた顔を表すようにデータを変換できる。格子点が射影された位置に計測点がない場合には、その周囲の計測値により線形補完を行う。このとき、射影された方向が加工する際の鉛直上方となり、それぞれの格子点は、高さのデータを持つ。また、入力データが透視投影による場合でも、この処理により入力データを平行投影データに変換できる。
【００３４】
データのない欠損部分を補完する（＃２２０）。補完手法としては、線形補完、重み付け捕完などの種々の手法が適用可能である。例えば、データの欠損している部分をすべて固定値で置き換える（単純補完）。その固定値としては、設定値、最小の高さ、顔の外周位置の平均値が考えられる。欠損部が有効データ部分で完全に囲まれている場合は、周りのデータから線形補完をする。また、人の顔における黒い眉や髪などのように対象の性質から光学式の３次元計測で正確なデータが得られないことが予想できる部分についいては、既存の３次元形状データと置き換えてもよい。この場合、顔面（頭部の前半面）の標準モデルを用意しておき、データ欠損部分については位置及びサイズを調整した標準モデルのデータを使用する。標準モデルの調整は、次の手順で行う。上述したデータ修正の場合と同様の要領で２次元画像から両目及び口を抽出し、３つの基準点の位置を算定する。そして、標準モデルの各基準点が実測の形状モデルと一致するように標準モデルの線型変換をする。なお、このような合成は、顔の欠損部分に限らず、任意の部分に適用可能である。
【００３５】
以上の各処理で実物形状に忠実な３次元形状モデルを得た後、上述したように頭髪部分に縞状の起伏を付加する本発明に特有のデータ修正を行う（＃２３０）。なお、このとき、目、黒目部分、眉、唇、頬などの特定部分を若干盛り上げる強調を行ってもよい。
【００３６】
高さ圧縮処理を行って、３次元形状モデルの寸法を奥行き方向に縮める（＃２４０）。すなわち、奥行き方向の高低差を小さくして加工時間を短縮する。また、ペンダントやメダルの用途では平面的な模型が好適である。圧縮には、一様圧縮及び非一様圧縮のどちらの手法も適用可能であり、部分毎に使い分けることもできる。
【００３７】
３次元形状モデルのうちの背景部分を検出する（＃２５０）。これは背景部分を修正するための前処理である。利用客の背面をブルーバックとしておき、２次元画像の色判別の結果を利用すれば、背景部分の検出が容易且つ確実になる。
【００３８】
背景部分について他のデータに置き換える背景変換を行う（＃２６０）。例えば、背景部分は極端に奥行きが深いので、加工時間を短縮するために奥行きの浅いデータに変換する。置き換えるデータは、平面データでも花木などの絵柄や幾何模様を表す立体面データでもよい。
【００３９】
実物大の３次元形状モデルを商品サイズに適合させるサイズ調整を行う（＃２７０）。また、加工装置７２の精度にデータ量を適合させる解像度変換を行う（＃２８０）。この処理は、所定格子幅のメッシュを投影して格子点で再標本化するものであるが、投影する方向は加工時の鉛直方向に固定されている。解像度変換（データ数変換）の要領としては、まず、加工用の形状モデルの構成点群を点間ピッチとべクトル変化量とで定義し、べクトル変化量に対応する点間ピッチ範囲をあらかじめ記憶されている特性データテーブルから読み出して設定する。すなわち、データを間引いてピッチを大きくしたり、データを補間してピッチを小さくしたりする。計測の分解能が十分に大きい場合には、間引きのみを行えばよい。解像度変換機能を設けておけば、３次元計測装置３４の分解能が限定されないので、用途に応じて計測手段を取り換えるといった使用形態が許容されることになる。
【００４０】
最後に、３次元形状モデルの基準位置が加工の基準位置に合うように座標の原点を平行移動させる位置合わせを行う（＃２９０）。なお、加工に際して上述のように予め所定の凹凸が作り込まれた材料を用いる場合には、確認操作に呼応した加工データ生成処理（図９の＃２８）において、以上の処理によって得られた３次元形状モデルと作り込まれている凹凸とを比較して切削量が算出される。
【００４１】
図１１は図１０の部分データ修正処理の内容を示すフローチャートである。
図５で説明したように、まず、２次元画像から頭髪部分を抽出する（＃２３０１）。エッジ検出、ノイズ除去、細線化、線セグメント化、及びループの除去の一連の処理を行って毛髪方向情報を抽出する（＃２３０２〜２３０６）。マスクパターンとのマッチングにより毛髪方向を分類し（＃２３０７）、２次元画像の頭髪部分を区画し（＃２３０８）、各区画を適切な毛髪模様で塗りつぶす（＃２３０９）。その後、毛髪模様を形状モデルに投影し（＃２３１０）、形状モデルを部分的に変形させて毛髪に似せた起伏面を形成する（＃２３１１）。
【００４２】
上述の実施形態においては、２次元画像から毛髪方向情報を抽出する例を挙げたが、３次元形状から直接に毛髪方向を判別することもできる。すなわち、モデル表面において適当なサンプリング密度で法線ベクトルを求め、法線ベクトルの方向が変化する領域を毛髪方向を示す起伏部分とする。
【００４３】
上述の実施形態では、自動販売機としての使用を想定した立体模型作成装置１を例示したが、本発明に係るデータ処理は模型作成が有償であるか無償であるかを問わない。模型のサイズは縮小サイズに限らず、実物大でも拡大サイズでもよい。
【００４４】
頭髪領域の検出については、２次元画像に基づく検出に限らず、３次元形状データに基づいて検出してもよい。例えば、形状データの空間周波数を分析し、高周波成分を頭髪として検出すればよい。
【００４５】
毛髪模様として縞模様を付加するものとして説明したが、髪型によっては円模様であってもよい。
【００４６】
【発明の効果】
請求項１乃至請求項２の発明によれば、見た目の自然な人体頭部の模型の作成を可能にすることができる。
【図面の簡単な説明】
【図１】本発明に係る立体模型作成装置の外観図である。
【図２】操作パネルの平面図である。
【図３】立体模型作成装置の機能ブロック図である。
【図４】加工システムの機構構成の一例を示す斜視図である。
【図５】毛髪方向情報の抽出の模式図である。
【図６】毛髪方向の分類の模式図である。
【図７】縞模様の設定の一例を示す図である。
【図８】形状モデルの部分修正の模式図である。
【図９】概略の動作を示すメインフローチャートである。
【図１０】図９のデータ処理の内容を示すフローチャートである。
【図１１】図１０の部分データ修正処理の内容を示すフローチャートである。
【符号の説明】
４０データ処理装置（データ処理手段）
１Ａモデリングシステム（３次元形状データ処理装置）
３６２次元撮影装置（光電変換装置）
３４３次元計測装置
ＤＣカラー画像データ（２次元画像）
ＤＳ形状データ
ｍ１〜８マスクパターン

Claims

人物像の模型作成のための３次元形状データ処理装置であって、
対象物体を撮像するための光電変換装置と、
前記対象人体の形状を計測するための３次元計測装置と、
前記光電変換装置により得られた前記対象人体の２次元画像から当該対象人体の頭髪に対応する部分を抽出し、抽出部分である頭髪画像を予め登録されている所定方向の線からなる縞模様である毛髪模様に置き換え、前記３次元計測装置により得られた前記対象人体の形状データのうちの頭髪部分に、前記毛髪模様に対応した起伏を付加するデータ処理手段とを備えており、
前記データ処理手段は、前記頭髪画像を細線化して連結数が１又は２の画素のみからなり且つ全ての画素の連結数が２であるループ状のものを除いた線セグメントを抽出し、抽出した線セグメントと予め登録されている８つの方向のそれぞれを示す８つのマスクパターンとのマッチングによって前記頭髪画像における線の方向の分布を特定し、前記分布に応じて前記頭髪画像を複数の領域に区画し、各領域を前記８つのマスクパターンのうちの該当するいずれかで塗りつぶすことによって前記毛髪模様を得る
ことを特徴とする３次元形状データ処理装置。
前記データ処理手段は、前記頭髪部分に対応した部分の修正が行われた形状データを奥行き方向に圧縮する
ことを特徴とする請求項１に記載の３次元形状データ処理装置。