JPH0766436B2 - 連続シルエット画像による３次元モデル構成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は連続シルエット画像に
よる３次元モデル構成装置に関し、特に、画像通信・グ
ラフィックスによる仮想空間の生成やテレビ会議の立体
表示などの分野に用いられ、画像処理の方法を用いて顔
の３次元情報を得るような連続シルエット画像による３
次元モデル構成装置に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】従来
の３次元モデルを構成する方法として、レーザやスリッ
ト光など構造化した光を物体に照らし、その変形を測定
することによって物体の形状を得るようにした光切断法
が知られている。しかしながら、レーザ光を顔の上にス
キャンすることは、髪などの反射の弱いものに対して正
しい形状を得ることができず、人間にとっても不自然な
ことである。それ以外の方法として、ステレオの視差あ
るいは画面モーションによる奥行きの計算法とシェーデ
ィングによる形状の検出方法もあるが、前者は顔の均一
な濃淡分布に無力であり、後者は同一の反射率を仮定し
ており、いずれも満足できる精度まで出すことはできな
い。

【０００３】一方、カメラから撮像した画像を参考にし
て顔の標準モデルを変形する方法もあるが、少数のモデ
ルで実際に変化の多い人間像に変形するのは極めて困難
であった。

【０００４】それゆえに、この発明の主たる目的は、普
通の照明条件の下で、回転した物体の画像から３次元モ
デルを構成することができるような連続シルエット画像
による３次元モデル構成装置を提供することである。

【０００５】

【課題を解決するための手段】この発明は連続シルエッ
ト画像による３次元モデル構成装置であって、垂直回転
軸を中心として水平面での回転を行なう対象物体を連続
的に撮像する撮像手段と、撮像された出力画像の両側か
ら中心に向かって走査を行なうことによりエッジを検出
し、検出した各点をシルエット画像として抽出するシル
エット画像抽出手段と、抽出されたシルエット画像から
垂直回転軸までの水平距離を計測する計測手段と、計測
された水平距離と対象物体の回転角度とに基づいて３次
元モデルを生成する３次元モデル生成手段と、連続的に
撮像した画像の回転軸に位置する垂直線上の画像データ
のみを抽出する画像データ抽出手段と、抽出された画像
を生成した３次元モデルにマッピングするマッピング手
段を備えて構成される。

【０００６】

【作用】この発明に係る連続シルエット画像による３次
元モデル構成装置は、水平面で回転する対象物体を連続
的に撮像し、撮像した出力画像に両側から中心に向かっ
て走査することによりエッジを検出し、検出した各点を
シルエット画像として抽出し、シルエット画像から垂直
回転軸までの水平距離を計測し、その水平距離と回転角
度とに基づいて３次元モデルを生成し、連続的に撮像し
た画像の回転軸に位置する垂直線上の画像データのみを
抽出し、抽出した画像を３次元モデルにマッピングす
る。

【０００７】

【実施例】図１はこの発明の原理を説明するための図で
ある。図１を参照して、対象物体１はその対象物体１と
色の異なる背景２の手前に配置され、水平面で回転軸３
を中心として回転する。回転軸３の画面位置は予めキャ
リブレーションされており、その回転角度は既知とす
る。対象物体１から遠く離れた位置にカメラを配置し、
対象物体１のカメラへの射影を直交射影と仮定する。対
象物体１を回転軸を中心として一定角度毎の射影をイメ
ージとして撮像し、それぞれの角度における対象物体１
のイメージから３次元モデルを構成する。

【０００８】図２はこの発明の一実施例の概略ブロック
図である。図２を参照して、回転台４の上に人間５が載
る。回転台４は回転台制御装置６によって制御され、回
転台制御装置６は画像処理コンピュータ９から指令され
た角度で連続的に回転台４を回転させる。カメラ７は回
転する人間５の顔画像を各角度毎に撮像し、回転台４が
１回転すると３６０枚の画像が得られる。カメラ７の画
像出力は画像入力装置８に与えられ、各方向から見える
顔の形状のシルエットが画像処理コンピュータ９によっ
て抽出される。その連続なシルエットはグラフィックス
コンピュータ１０に与えられ、３次元形状が再構成さ
れ、３次元モデル表示装置１１によって表示される。

【０００９】図３は画像からシルエットを取出す方法を
説明するための図であり、図４は連続画像からシルエッ
トの分布を求める方法を説明するための図である。

【００１０】シルエットの抽出は、１枚の画像に対し
て、エッジの検出を行なう。すなわち、明るさの変化の
大きい部分を検出するためにソーベルオペレータをかけ
て微分画像を得る。そして、水平と垂直両方向で微分の
ピークを判別し、その値がある指定されたしきい値を超
えればそれをエッジ点とする。シルエットを発見すると
き、図３に示すように、画面の両側から中心に向かって
エッジ点を探し、初めて合った点をシルエットの点とす
る。それぞれの高さｙで抽出したシルエットから回転軸
の画面位置までの距離ｄ（ｙ）を記録する。連続回転で
撮った画像列のシルエットをつなげれば、図４に示すよ
うに、角度に従うシルエット分布ｄ（θ，ｙ）になる。

【００１１】図５はシルエットを通る視線が空間中顔の
部分と非顔の部分を分ける方法を説明するための図であ
り、図６は顔の占める部分を視線族の包絡線で囲まれる
ことを説明するための図であり、図７はシルエットを通
る視線の計算方法を説明するための図であり、図８は参
考点から放射線を描き包絡線を点列で表現した例を示す
図である。

【００１２】この発明の一実施例では、３次元空間から
カメラ７への射影を直交射影と仮定する。このため、３
次元モデルの構成は各水平面で行なえる。空間のある高
さｙの水平面を考えてみる。図５に示すように、角度θ
での画像から得られたシルエットの１点を通してカメラ
７の視線が顔の占める反平面の領域を割出すことができ
る。連続のシルエットに対して、角度θ１，θ２…につ
いてこの割出しをすると、図６に示すように、顔の３次
元の形状はあらゆる角度からの視線の包絡線になる。そ
の原理に基づいて、各高さｙの水平面に対する２次元メ
モリを用意しておき、その中心を回転軸の位置とする。
それぞれの角度θに対して軸からの距離ｄ（θ，ｙ）を
求めたため、シルエットを通る視線族は図７に示すよう
に、次の式で計算できる。

【００１３】視線が通る１点（ｘ１，ｚ１） ｘ１＝ｄ（θ，ｙ）ｃｏｓθ ｚ１＝ｄ（θ，ｙ）ｓｉｎθ を計算し、視線の連立方程式は ｘ＝−ｓｉｎθｄ＋ｘ１ ｚ＝ｃｏｓθｔ＋ｚ１ となる（ただし、ｔ＝０→∞） したがって、この包絡線を抽出すればその水平面での顔
の形状が求められる。図８に示すように、その包絡線の
中の任意の点から等間隔の角度を用いて放射線を２次元
のメモリ上で描くと、視線族との最初の接点は包絡線に
あるということがわかる。このように得られた形状のリ
ング上の点列をＰｉ（ｘ，ｙ，ｚ）と記述する。放射線
の原点を水平面の参考点と呼ぶ。

【００１４】以上述べた方法を各高さの水平面で実施す
ると、顔全体のモデルが構成される。ただし、各高さで
参考点を決めることが必要である。その条件としては、
まず参考点が顔の占める範囲に入らなければならない。
そして、その範囲がより中央にあれば形状の境界の点Ｐ
ｉ（ｘ，ｙ，ｚ）がより均等に分布する。顔の曲面を考
えると、高さによる形状の変化は連続的であり、原水平
面の参考点を１つ上の水平面の重心にすればよい。した
がって、参考点は続々と更新されて、各水平面でのモデ
ルの境界を結ぶ。各水平面での形状が定まると、それら
を連結して顔全体のモデルを完成する。方法としては、
角度θに従って各水平面の形状リングの点を三角パッチ
で結ぶ。

【００１５】次に、テキスチャーの張り付け方法につい
て説明する。連続画像を入力した際、顔のテキスチャー
も同時に記憶されている。それは各画面毎に、回転軸に
位置する垂直線上のＲＧＢ値を順番にテキスチャー画像
ファイルにコピーするだけでよい。そのテキスチャーフ
ァイルの縦軸は入力画像の縦軸と同じであり、水平軸は
画像の番号、すなわち対象物の回転角度を表わしてい
る。テキスチャーを張り付けるとき、まずモデルのカメ
ラから見る角度を計算する。そして、その角度で記憶し
たテキスチャーを境界点の色とする。

【００１６】図９および図１０はこの発明の実験結果を
示し、特に、図９はシルエット分布の一例を示し、図１
０は顔の領域を視線族で切り出した状態を示す。図１０
においては、構造を獲得してから、その上にテキスチャ
ーをマッピングした最後のモデルを表示している。

【００１７】

【発明の効果】以上のように、この発明によれば、水平
面で回転する対象物体を連続的に撮像し、撮像した出力
画像の両側から中心に向かってエッジを検出し、検出し
た各点をシルエット画像として抽出し、シルエット画像
から垂直回転軸までの水平距離を計測し、その水平距離
と回転角度とに基づいて３次元モデルを生成し、連続的
に撮像した画像の回転軸に位置する垂直線上の画像デー
タのみを抽出し、抽出した画像を３次元モデルにマッピ
ングするようにしたので、３次元モデルを安定かつ正確
に得ることができる。モデルの精度は画像の分解能およ
び回転中画像の密度に依存し、原理的には光切断法と同
様である。しかも、この発明によれば、光切断法やステ
レオなどの三角測量を使わないため、カメラのキャリブ
レーションを非常に簡単にすることができる。

【図面の簡単な説明】

【図１】この発明の原理を説明するための図である。

【図２】この発明の一実施例の概略ブロック図である。

【図３】画像からシルエットを取出す方法を説明するた
めの図である。

【図４】連続画像からシルエットの分布を求める方法を
説明するための図である。

【図５】シルエットを通る視線が空間中顔の部分と非顔
の部分を分ける方法を説明するための図である。

【図６】顔の占める部分が視線族の包絡線で囲まれるこ
とを説明するための図である。

【図７】シルエットを通る視線の計算方法を説明するた
めの図である。

【図８】参考点から放射線を描き包絡線を点列で表現し
た例を示す図である。

【図９】シルエット分布の一例を示す図である。

【図１０】顔の領域を視線族で切出した状態を示す図で
ある。

【符号の説明】

１ 対象物体 ２ 背景 ３ 回転軸 ４ 回転台 ６ 回転台制御装置 ７ カメラ ８ 画像入力装置 ９ 画像処理コンピュータ １０ グラフィックコンピュータ １１ ３次元モデル表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岸野 文郎 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール通信シ ステム研究所内 (56)参考文献 特開 昭61−138377（ＪＰ，Ａ)

Claims (1)

【特許請求の範囲】
1. 【請求項１】 垂直回転軸を中心として水平面での回転
   を行なう対象物体を連続的に撮像する撮像手段と、 前記撮像手段によって撮像された出力画像の両側から中
   心に向かって走査を行なうことによりエッジを検出し、
   検出した各点をシルエット画像として抽出するシルエッ
   ト画像抽出手段と、 前記シルエット画像抽出手段によって抽出されたシルエ
   ット画像から前記垂直回転軸までの水平距離を計測する
   計測手段と、 前記計測手段によって計測された水平距離と前記対象物
   体の回転角度に基づいて３次元モデルを生成する３次元
   モデル生成手段と、 前記撮像手段によって連続的に撮像した画像の回転軸に
   位置する垂直線上の画像データのみを抽出する画像デー
   タ抽出手段と、 前記画像データ抽出手段によって抽出された画像を前記
   生成した３次元モデルにマッピングするマッピング手段
   を備えた、連続シルエット画像による３次元モデル構成
   装置。