JP3409873B2 - 物体入力装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＣＧやＣＡＭにおいて用
いられるに係り、特に３次元視覚技術を利用して実在す
る物体を観測することによって自動的にこれを行なう物
体入力装置に関するものである。

【０００２】

【従来の技術】従来、情景の３次元情報を計算機により
自動的に獲得する技術としてｓｈａｐｅ−ｆｒｏｍ−
Ｘ、ｄｅｐｔｈ−ｆｒｏｍ−ｆｏｃｕｓ、ステレオ法な
ど様々な方法が提案されている。これらは３次元視覚技
術と呼ばれる。

【０００３】ｓｈａｐｅ−ｆｒｏｍ−Ｘは、例えば物体
を撮影して得られる画像中の輝度勾配から該物体表面の
法線ベクトル分布を求めて、該物体の３次元形状を復元
するものなどが提案されている。しかしながら、この種
の方法は対象物体や観測条件に関して、厳しい制約を仮
定しなければならず、一般的に利用できるには程遠かっ
た。

【０００４】ｄｅｐｔｈ−ｆｒｏｍ−ｆｏｃｕｓは、同
一情景に対してレンズの焦点調整を変更しつつ複数の画
像を撮影し、最もピントの鮮明となる焦点位置を求め
て、情景の奥行き距離を算出する方法である。

【０００５】ステレオ法は３角測量の原理を応用した距
離計測技術である。ステレオ法は受動的ステレオ法と能
動的ステレオ法に大別される。

【０００６】受動的ステレオ法とは、同一情景に対して
撮影された視点の異なる２枚の画像中の同一箇所を検出
し、該箇所の各々の画像中での位置に基づいて該箇所の
情景における空間位置を算出する方法である。同一箇所
の検出に成功すれば、空間位置の算出は非常に容易に行
える点が特徴であるが、情景が未知であるが故に、同一
箇所を自動的に検出することが困難である。特に、情景
が複雑になればなる程、同一箇所として検出される誤っ
た組み合わせが増大して、計測の精度を著しく損なうこ
とが知られている。また、検出される箇所は画像的に特
徴のある箇所に限定されるために、一色に塗られた面の
内部のような特徴の乏しい箇所の距離を計測することが
できないことも、この方法の問題点として挙げられてい
る。

【０００７】これらの問題を解決するために考案された
のが能動的ステレオ法である。この方法は一方の画像入
力手段を光パタン投影手段に置き換え、物体表面に強制
的にパタンを発生させ、残る画像入力手段によって該パ
タンを撮影するものである。パタンは既知であるため
に、画像中から容易に検出可能であり、投影されるパタ
ンと撮影されるパタンとの関係から該パタンの空間位置
を容易に算出することができる。また、この方法は平坦
な面にも強制的に特徴を発生させるので、情景に依存す
ることなく安定に機能することが期待できる。このた
め、能動的ステレオ法は早くから実用化されており、こ
れまでに多くの提案がなされている（特開昭６１−３１
９０５号等）。

【０００８】図９に従って、レーザースポットを光パタ
ンとして利用する最も簡単な能動的ステレオ法の原理を
説明する。光源６１を発したレーザービーム６２は物体
に到達するまで直進する。いま、物体６３がビームの光
路上に存在するなら、ビーム６２は点６４にスポットを
発生させ、撮像面６７上の点６８に結像する。また、物
体６３ではなく物体６５が存在する場合には、ビーム６
２は点６６にスポットを発生させ、撮像面６７上の点６
９に結像される。このとき、ビーム６２と直線６４−６
８の交点座標値を求めると点６４の空間位置が得られ、
ビーム６２と直線６６−６９の交点座標値を求めると点
６６の空間位置が得られる。これが、能動的ステレオ法
の座標計算の原理である。

【０００９】ところで、受動的であるか能動的であるか
を問わず、ステレオ法では２つの画像入力手段もしくは
パタン投影手段と画像入力手段とが別々の位置に配置さ
れる必要があるため、両者を同時に見ることのできる物
体上の箇所しか入力できず、各手段の配置と物体表面の
形状によって偶然にも両者を同時に見ることのできない
箇所が入力不可能な箇所として残る。ステレオ法ではこ
のような箇所を死角と呼ぶ。この例を図１０に示す。光
源７１を発したレーザービーム７２は物体７３の点７４
にスポットを発生させる。しかし、該スポットは物体７
３の点７５によって進路を阻まれて撮像面７６上の点７
７に到達しない。この結果、点７４の像が検出されない
ので、該点の空間位置を算出することができない。

【００１０】また、能動的ステレオ法では、画像入力手
段は物体表面に反射されるパタン像を検出しなければな
らないが、反射輝度の著しく低い物体表面の箇所では検
出可能な輝度を持つパタン像が得られず、前記の死角に
該当しなくとも入力不可能な箇所が発生することがあ
る。この例を図１１に示す。光源８１を発したレーザー
ビーム８２は物体８３の点８５や物体８４の点８６に到
達する。ところが、物体８３の点８５における面の傾き
が大き過ぎたり、物体８４の点８６における反射率が低
過ぎる場合には、撮像面８７の点８８や８９における結
像の輝度が十分大きくならないことがある。この結果、
撮像面上でスポット像を発見することができなくなり、
能動的ステレオ法が失敗する。

【００１１】さらに、物体に貫通孔が存在する場合に
も、ビームの進路に物体がないために該箇所でのパタン
像が得られず、入力不可能な箇所として検出される。こ
の例を図１２に示す。光源９１を発したレーザービーム
９２は物体９３と９４のいずれにも到達せず、従って、
撮像面９５の上にはいかなるスポット像も検出されな
い。

【００１２】このように、入力不可能箇所（以後、欠測
点と呼ぶ）は死角・低反射輝度部位・貫通孔の３種類に
分類され、特に死角・低反射輝度部位は物体表面であ
り、貫通孔は非物体表面であることがわかる。このと
き、欠測点が物体表面であれば、近傍の計測結果から補
間して該欠測点の入力値を推定することが可能である。
しかしながら、欠測点が物体表面でない場合には、該欠
測点に関して物体表面としての値を推定することは無意
味である。従来提案されているステレオ法による物体入
力装置は、欠測点が現れた場合に、該欠測点を物体表面
として入力値を推定するか、非物体表面として入力値を
推定しないかのいずれかのみを行っていた。このような
一律の処理しか行われなかったのは、従来の装置が欠測
点を物体表面であるか非物体表面であるか判別できない
ことに由来している。すなわち、従来の装置は欠測点を
正しく分類するための手段をなんら持たなかったのであ
る。この結果、観測結果にはしばしば誤りが発生してい
た。

【００１３】一方、地球上などの重力の存在する場所で
実在する物体を観測する場合、物体は必ずなんらかの支
持手段によって保持されなければならない、このため、
観測結果には物体表面形状の他に、少なくとも該支持手
段のような本来計測対象でない物体の形状が混入するこ
ととなった。従来提案されている３次元視覚技術による
物体入力装置では、物体の存在範囲を予め設定可能と
し、該範囲内に存在する形状情報のみを抽出して出力す
るなどの対策が行われていた。しかしながら、例えば支
持手段の高さを調整するなど、入力環境の設定が変更さ
れるたびにこの範囲は調整されなければならず、少なか
らず使用者の負担となった。このように、従来の装置は
計測対象物体の情報に混入する不要情報を使用者の手を
煩わせることなく自動的かつ適応的に排除する手段を一
切持たなかった。

【００１４】さらに、物体を１方向から観測するだけで
は該物体全体の形状を入力することは不可能である。物
体全体を入力するためには少なくとも複数方向からの観
測と、該複数の観測結果の統合とが必要である。複数方
向から物体を観測するために、物体を回転させて観測手
段に対して物体を様々に向けさせる方法や、物体の周囲
を自由に移動できる観測手段を用いて任意方向から物体
を観測する方法が従来より提案されている。しかしなが
ら、前述した通り物体は支持手段によって常に保持され
なければならず、少なくとも該支持手段と物体との接触
部位を観測することは従来提案されている３次元視覚技
術による物体入力装置では不可能であった。即ち、従来
の装置による観測にはこのような不可視部位が必ず存在
した。

【００１５】

【発明が解決しようとする課題】以上述べたように、従
来の物体入力装置では欠測点への対応不十分、不要情報
の排除における繁雑さ、不可視部位の存在などの問題が
存在した。本発明はこのような問題点に鑑みて成された
ものであり、その目的とするところは上記の問題点を解
決してより利便性の向上した物体入力装置を提供するこ
とである。

【００１６】

【課題を解決するための手段】請求項１の発明は、観測
空間内に被観測物体を配し、該被観測物体の３次元形状
情報を取り込む物体入力装置であって、前記観測空間内
の空間情報である背景分布を複数方向から観測可能な観
測手段と、前記複数方向から観測された背景分布から抽
出された複数の物体領域の輪郭に基づいて、前記被観測
物体が占有する空間を物体ボリュームとして算出する物
体ボリューム抽出手段と、前記物体ボリュームに基づい
て、前記被観測物体の３次元形状情報を構築する演算手
段とよりなることを特徴とする物体入力装置である。

【００１７】請求項２の発明は、観測空間内に被観測物
体を配し、該被観測物体の３次元形状情報を取り込む物
体入力装置であって、前記観測空間内の背景分布が観測
可能な観測手段と、前記観測空間内に光パタンを投影す
る光パタン投影手段と、前記光パタン投影手段によって
投影された光パタンの反射光を撮影して距離分布を算出
する距離分布獲得手段と、前記背景分布から抽出された
物体領域の外に存在する前記距離分布を非物体領域とし
て削除する非物体距離分布削除手段と、前記非物体領域
が削除された距離分布における欠測点の座標を、近傍の
非欠測点で補間する欠測点補間手段と、を有することを
特徴とする物体入力装置である。

【００１８】請求項３の発明は、前記観測空間内に光パ
タンを投影する光パタン投影手段と、前記光パタン投影
手段によって投影された光パタンの反射光を撮影して距
離分布を算出する距離分布獲得手段を有し、前記演算手
段は、前記物体ボリュームの外に存在する距離分布中の
画素をスパイクノイズとして除去して、この除去した距
離分布に基づいて前記被観測物体の３次元形状情報を構
築することを特徴とする請求項１記載の物体入力装置で
ある。請求項４の発明は、前記観測手段が、前記被観測
物体を支持するための支持手段を具備し、かつ、前記支
持手段が、前記観測手段に対して不可視となるような材
質または構造で構成され、前記演算手段が、前記背景情
報を二値化して、画像中央部に存在する黒画素領域を物
体領域として抽出することを特徴とする請求項１または
２記載の物体入力装置である。

【００１９】請求項５の発明は、前記演算手段が、該複
数方向からの観測結果を１つに統合した被観測物体の３
次元形状情報を構築することを特徴とする請求項１記載
の物体入力装置である。

【００２０】請求項６の発明は、前記観測手段が、前記
被観測物体を複数の方向から観測するために、前記被観
測物体に対する相対的な位置と姿勢を変更可能な駆動手
段を具備したことを特徴とする請求項３記載の物体入力
装置である。

【００２１】請求項７の発明は、前記観測手段が、前記
空間情報として質感分布と背景分布を計測可能であり、
前記演算手段が、該背景分布から算出される物体領域内
に含まれる質感分布から前記色彩情報を構築することを
特徴とした請求項１または２記載の物体入力装置であ
る。

【００２２】請求項８の発明は、前記演算手段が、前記
観測手段によって計測された背景分布毎に算出される物
体領域が表す錘状空間を重ね合わせて、前記被観測物体
の占有する空間を算出し、該空間を物体ボリュームとす
ることを特徴とする請求項１記載の物体入力装置であ
る。

【００２３】請求項９の発明は、前記被観測物体を挟ん
で前記観測手段に対峙する位置に背景手段を配し、該背
景手段が前記被観測物体を後方から照らすことによって
発生する該被観測物体の影画像を前記背景分布となし、
前記演算手段が該影画像の中央に位置する影領域を物体
領域とすることを特徴とする請求項１または２記載の物
体入力装置である。

【００２４】請求項１０の発明は、前記観測手段に対峙
する位置に特定色の背景手段を配し、該背景手段による
前記特定色の背景を持つ前記被観測物体の画像を前記背
景分布となし、前記演算手段が該画像の中央に位置する
前記特定色以外の色を持つ画像領域を前記物体領域とす
ることを特徴とする請求項１または２記載の物体入力装
置である。

【００２５】請求項１１の発明は、前記観測手段に対峙
する位置に特定模様の動く背景手段を配し、該背景手段
による前記動く模様の背景を持つ前記被観測物体の時系
列画像を前記背景分布となし、前記演算手段が該時系列
画像の中央に位置する変化しない画像領域を前記物体領
域とすることを特徴とする請求項１または２記載の物体
入力装置である。

【００２６】請求項１２の発明は、前記距離分布が、３
次元座標値を要素に持つ２次元配列状に計測されること
を特徴とする請求項１または２記載の物体入力装置であ
る。

【００２７】

【作 用】請求項１の発明の物体入力装置によれば、観
測手段が観測空間に関する空間情報として少なくとも背
景分布を獲得し、演算手段が前記空間情報に基づいて被
観測物体に関する情報として該物体の３次元形状情報を
算出し、出力手段が該物体情報を出力する。

【００２８】請求項３の発明の物体入力装置によれば、
前記観測手段が備える支持手段が不可視であるために、
前記背景分布から容易に被観測物体の存在する領域を推
定可能である。そして、該推定された物体領域に基づい
て欠測点が物体表面であるか否かの判別と、不要情報の
自動的適応的排除とを可能とし、かつ観測手段が前記不
可視の支持手段を透過して前記被観測物体を該支持手段
との接触部位をも入力可能である。

【００２９】

【実施例】本発明に係る物体入力装置の一実施例を図面
に従って説明する。

【００３０】図１は、本実施例の物体入力装置の全体構
成図である。

【００３１】図中の１は被観測物体を覆う観測空間内部
の諸情報を空間情報として獲得するための観測部であ
り、図中の２は該空間情報を処理して前記被観測物体に
関する記述を物体情報として構築するための演算部であ
り、図中の３は前記空間情報と物体情報とその他の暫定
的な情報とを記憶格納するための記憶部であり、図中の
４は構築されて記憶部３に格納された物体情報を、ＣＧ
やＣＡＭに出力するための出力部である。また、この出
力部において、物体情報を直接再生してもよい。なお、
本実施例では前記空間情報とは、距離分布と質感分布と
背景分布であり、前記物体情報は該被観測物体の３次元
形状情報と質感情報と両者の対応関係を示すマッピング
情報である。

【００３２】図２に本実施例の処理の流れを示す。図中
の１１は空間情報獲得処理であり、前記観測部１によっ
て前記観測空間内部の該情報を前記空間情報として獲得
する処理である。図中の１２は物体情報構築処理であ
り、前記演算部２によって前記空間情報より被観測物体
に関する３次元形状情報と質感情報と両者の対応関係情
報とを前記物体情報として構築する処理である。図中の
１３は出力処理であり、前記物体情報を前記出力部３に
よって出力する処理である。

【００３３】図３は本実施例における観測部１の詳細構
成図である。図中の２１は被観測物体である。図中の２
２は観測空間内に光パタンを投影するためのパタン投影
部であり、本実施例ではレーザー発生手段と回転する複
数のミラーなどの偏向手段とから成る機構により、レー
ザービームを観測空間内で上下左右に走査する方式を採
用している。図中の２３は観測空間内の輝度分布を画像
として獲得するための画像入力部であり、カラーＣＣＤ
カメラなどで実現される。

【００３４】図中の２５は被観測物体を画像入力部２３
に面した方向から照明するための前方照明部であり、図
中の２６は被観測物体を画像入力部２３に対して反対の
方向から均一に照明するためのスクリーンを持つ後方照
明部である。

【００３５】図中の２４は、距離分布獲得部であり、前
記パタン投影部２２が発するレーザービームのスポット
像を前記画像入力部２３で撮影して得られる画像を能動
的ステレオ法に基づいて解析し、該スポットの空間位置
を算出できるようになっている。

【００３６】図６に距離分布獲得部２４の動作状態を示
す。前方照明２５と後方照明２６はレーザーの反射光が
観測され易いように消灯される。レーザービームは主走
査１０１と副走査１０２を施され、４角錐１０３の内部
でメッシュ状のサンプリングが行われる。この結果、得
られる距離分布がｍ×ｎ要素を持つ２次元データ配列と
なる。該配列の各要素には該要素に対応した特定既知の
方向に照射されたレーザービームがサンプリングした被
観測物体表面の３次元座標が格納される。本明細書で
は、この配列を距離分布または距離画像と呼び、該配列
の要素を画素と呼ぶ。

【００３７】図中の２７は質感分布獲得部であり、前記
前方照明部２５に照らされた被観測物体を前記画像入力
部２３で撮影して得られるカラー画像を質感分布として
獲得する。図中の２８は背景分布獲得部であり、後方照
明部２６に照らされた被観測物体の影法師を前記画像入
力部２３で撮影して得られる影画像を背景分布として獲
得する。質感分布獲得部２７と背景分布獲得部２８の動
作状態を図７と図８に各々例示する。

【００３８】図中の２９は被観測物体を乗せて回転可能
な透明の支持部である。図中の３０は上記各部を有機的
に結び付けて制御するための制御部である。なお、前記
獲得された距離分布、質感分布、背景分布、支持部２９
の回転角度、距離分布の各画素が獲得された時点のレー
ザービームの軌道などの諸情報は記憶部３に格納され
る。

【００３９】以上の構成から成る観測部１によれば、被
観測物体２１は支持部２９の回転によってパタン投影部
２２と画像入力部２３に対して様々な方向に向けられて
都度観測される。この結果、被観測物体の複数方向から
の距離分布と質感分布と背景分布の組が該観測方向の数
だけ獲得される。

【００４０】図１４（ａ）は、前記獲得された距離分布
の一部を示す概念図、（ｂ）は、質感分布の一部を示す
概念図、（ｃ）は背景分布の一部を示す概念図であり、
（ｄ）は、これらより得られた物体情報の一部を示して
いる。

【００４１】図４は本実施例における演算部２の詳細構
成図である。図中の４１は前記背景分布から被観測物体
の写っている領域を物体領域として抽出する物体領域抽
出部である。前述した通り、被観測物体２１を支持する
支持部２９は透明なので、後方照明時に撮影される背景
分布にはその中央部に物体の影法師が中空に浮かぶよう
に写る。物体領域抽出部４１は該背景分布を２値化した
後、画像中央部に存在する連続した黒画素領域を抽出す
ることで、前記物体領域を容易に抽出することが可能で
ある。抽出された物体領域は前述した記憶部３に格納さ
れる。

【００４２】図中の４２は前記物体領域をマスクとし
て、前記質感分布から該マスクに重なる部分の情報を抜
き出す質感情報抽出部である。前述した通り、背景分布
と質感分布は同一の画像入力部２３によって撮影される
ので、両画像は１画素単位でピッタリ重ねることが可能
である。質感情報抽出部４２は前記マスクの内部に存在
する背景分布中の画素に対応した質感分布中の画素のみ
を抽出して質感情報とする。この結果、質感分布中に存
在する被観測物体２１に関係のない不要情報が削除され
る。質感情報は質感分布として撮影されたカラー画像で
ある。一般に、カラーＣＣＤカメラは赤・青・緑の３波
長における光の輝度値を出力するので、質感分布はある
照明下での被観測物体表面からの反射光の赤・青・緑に
関する波長別輝度分布となる。なお、前記抽出された質
感情報は記憶部３に格納される。

【００４３】図中の４３は距離分布中の各画素を背景分
布中の画素に対応付けるマッピング情報を抽出するマッ
ピング情報抽出部である。画像入力部２２で撮影された
背景分布はレンズの結像過程において光学的に該レンズ
中心を起点とした透視変換を施されている。このため、
距離分布と背景分布はそのまま重ね合わせることができ
ない。そこで、距離分布の各画素が表現する３次元座標
点に画像入力部２２が行うのと同一の透視変換を施して
変換後に距離分布を求める。変換後の距離分布中の各画
素が格納する３次元座標値のうち、奥行き座標値を除く
２つの座標値で示される２次元座標点は２次元的画像で
ある背景分布と重ね合わせることができ、該変換後距離
分布の各画素に対応する背景分布中の画素を容易に求め
ることができる。変換後距離分布と背景分布の対応関係
は距離分布と背景分布、距離分布と質感分布の対応関係
と等価である。この対応関係がマッピング情報として前
述した記憶部３に格納される。

【００４４】図中の４４は前記マッピング情報に基づい
て、前記物体領域の外に存在する背景分布中の画素に対
応付けられた距離分布中の全ての画素を非物体領域とし
て削除する非物体距離分布削除部である。この結果、距
離分布中に存在する被観測物体２１に関係のない不要情
報が削除される。

【００４５】図中の４５は複数方向から観測して得られ
た空間情報から、被観測物体の全域にわたる３次元形状
情報を構築する形状構築部である。構築された３次元形
状情報は記憶部３に格納され、質感情報やマッピング情
報とともに出力部４によって出力される。

【００４６】図５は前記形状構築部４５の詳細構成図で
ある。図中の５１は複数方向から観測された背景分布か
ら抽出された複数の物体領域の輪郭、即ち物体輪郭に基
づいて、被観測物体が占有する空間を算出する物体ボリ
ューム抽出部である。ある視点から獲得された物体輪郭
の各画素に対して、該視点から延ばされた半直線の集合
で囲まれる錐状の空間の内部における任意の場所には被
観測物体が存在する可能性がある。複数方向から獲得さ
れたこのような錐状空間の共通部分を求めると、該共通
部分は被観測物体の存在可能な１つの閉じた空間を与え
てくれる。本明細書では、この空間を物体ボリュームと
呼ぶことにする。被観測物体の表面は必ずこの物体ボリ
ュームの境界面上か内部に存在する。物体ボリュームは
例えばコーヒーカップの取っ手のような物体に開いた貫
通孔を示すことができる。しかしながら、該カップ自体
の容器としての穴、即ち貫通していない陥没部を抽出す
ることはできない。もし、被観測物体が非貫通陥没部を
持たない形状の物体であるならば、該物体ボリュームは
正しく被観測物体の３次元形状を再現したものとなる。
ところが、実際には物体には非貫通陥没部が多数現れる
ので、物体の３次元形状として物体ボリュームを採用す
るのは十分ではない。非貫通陥没部の形状をも再現する
ためには、距離分布を利用して物体ボリュームの不備を
補う必要がある。

【００４７】図中の５２は前記物体ボリュームの外に存
在する距離分布中の画素をスパイクノイズとして除去す
るスパイクノイズ除去部である。一般にレーザービーム
が物体表面に直接作る１次反射スポットが観測されれ
ば、能動的ステレオ法により算出された空間座標値は正
しく物体表面のサンプル点の座標値を与えてくれる。と
ころが、該レーザービームがさらに反射して物体表面の
別の場所に当たって作る２次以降のスポットが最も強い
反射を示すとき、該スポットが観測されて誤った空間座
標点が算出されることがある。

【００４８】この原理を図１３に示す。図１３−１３１
を発したレーザービーム１３２は物体１３３の点１３４
に１次スポットを作り、撮像面１３９上の点１３５に像
を結ぶ。一方、ビーム１３２は点１３４で反射して１３
６に２次スポットを作り、撮像面１３９上の点１３７に
像を結ぶ。物体１３３の形状や表面色によって、たまた
ま点１３７の輝度が点１３５よりも明るくなることがあ
る。このとき、距離分布獲得部２４は点１３７を採用
し、この結果、実際の点１３４ではなく、空中に浮いた
点１３８に物体表面があるものと錯覚する。これがスパ
イクノイズである。

【００４９】多くの場合スパイクノイズは物体表面から
浮いた空中に現れる。しかも、スパイクノイズは背景分
布から抽出される物体領域の内部に存在することが多い
ので、前述した非物体距離分布削除部４４によって完全
には削除されない。しかしながら、物体表面から突出し
たスパイクノイズは物体ボリュームの外部に飛び出すの
で、該物体ボリューム外部に存在する距離分布を検出す
れば、ほとんど全てのスパイクノイズが検出される。ス
パイクノイズは物体表面であるから、周囲の距離分布を
用いて再計算されなければならない。そこで、本実施例
では、スパイクノイズを欠測点として再登録し、他の理
由により自然発生した欠測点と一緒に補間する。

【００５０】図中の５３の各距離分布中の欠測点の座標
値を、該欠測点の近傍に位置する非欠測点の座標値から
補間する欠測点補間部である。この補間は欠測点の距離
分布における隣接８近傍に存在する非欠測点の平均奥行
き座標値を求め、ついで該奥行き座標値と欠測点をサン
プリングした時のレーザービームの軌道とから残る２つ
の座標値を算出することにより行われる。

【００５１】図中の５４は各距離分布から被観測物体の
表面を表す３角形パッチを生成するパッチ生成部であ
る。ある方向から獲得される距離分布はｍ×ｎの２次元
配列である。配列の構造は等間隔のメッシュ状であり、
各要素が示す３次元空間中の点も間隔はまちまちではあ
るものの、奥行き方向を除く２方向に関して該配列と同
じ順序で空間中に並ぶ。このとき、配列のある要素と該
要素の上下に隣接する任意の１要素と左右に隣接する任
意の１要素の都合３要素を頂点とする３角形が示す３次
元空間中の３角形は、被観測物体の表面の一部を表す３
角形パッチである。このようにして、１つの距離分布か
ら多数の３角形パッチが生成される。各３角形パッチに
はマッピング情報に基づいて該パッチが覆う質感情報中
の領域が与えられる。

【００５２】図中の５５は全方向の距離分布から得られ
た３角形パッチから被観測物体の全域にわたる３次元形
状情報を構築する全周形状構築部である。複数の距離分
布から生成された３角形パッチの集合を３次元形状情報
として出力することも可能であるが、該３角形パッチの
集合には被観測物体の表面の同一部分に対して重複する
パッチが含まれる。重複するパッチは一方の頂点から他
方に下ろした垂線の脚が該他方のパッチの内部にあり、
かつ該垂線の長さがある閾値以内に近接している。この
場合には、一方の頂点を他方の最も近くに存在する頂点
に移動させる。もし、一方のパッチの全ての頂点が他方
のいずれかのパッチの頂点に移動されるならば、該一方
のパッチを消去して重複を削減する。この結果、全ての
距離分布から生成された３角形パッチが被観測物体全域
にわたる表面形状を重複なく表すことになる。該３角形
パッチの重複を除かれた集合が３次元形状情報として記
憶部３に格納される。本方法は、重複する冗長な３角形
の消去を必要とするが、例えば、柄付きカップの柄のう
らがわのように一方から見えない物体の一部が他の方向
から観測されるという利点を持つ。これは、距離分布が
２次元の配列として得られることに起因するものであ
る。

【００５３】以上の処理によって構築された物体情報、
即ち３次元形状情報と質感情報とマッピング情報は出力
部４によって出力される。該出力された３次元形状情報
と質感情報とマッピング情報とは、ＣＧにおいてテクス
チャマッピングの手法によって利用可能である。

【００５４】以下、本発明の他の実施例を説明する。

【００５５】（１） 被観測物体の支持手段として不可
視の台を使用したが、これに代えて被観測物体を糸等で
吊下げてもよい。

【００５６】（２） パタン投影部によって投射される
パタンはレーザースポットに限定されず、例えばスリッ
トやグリッドのような１次元もしくは２次元の光パタン
であっても良い。また、距離分布を獲得するための手法
も例示した能動的ステレオ法に限定されず、適用可能な
３次元視覚技術のどの方法を用いても良い。さらに、可
視光レーザーに限らず赤外線レーザー等を使用してもよ
い。

【００５７】（３） 被観測物体を複数方向から観測可
能とするための手段は、回転可能な支持部に限定され
ず、例えば、パタン投影部と画像入力部の組から成るセ
ンサー部を任意の位置に移動可能な機械機構を用いても
良い。あるいは、センサー部を１組に限定せず、必要数
を必要箇所に配置して複数方向からの同時観測を実現し
ても良い。

【００５８】移動可能なセンサー部や複数組のセンサー
部を用いる場合、センサー部が透明な支持部の下から該
支持部を透過して被観測物体を観測可能であるならば、
不可視部位のない観測を実現することが可能となる。な
お、この場合には支持部は透明な材質で光学的歪みを極
力廃した形状、例えば薄いガラス平板のようなものであ
りさえすれば回転可能である必要はない。また、観測値
が既知である物体を該支持部を透過して観測するなどし
て、パタン投影部が発するビームの屈折量と支持部への
ビーム入射角度との関係および画像入力部により撮影さ
れる画像に生じる画素毎の位置ずれ量と支持部への画像
入力部の光軸入射角度との関係などの補正値を予め算出
しておけば、画像入力部と距離分布獲得部において、光
学的歪みを計算的に排除することが可能である。このと
き、現在のビーム入射角度、現在の光軸入射角度、補正
値などの光学的歪み除去処理に必要な情報は記憶部に保
存格納される。

【００５９】（４） 被観測物体の全域にわたる３次元
形状情報を構築する手法は例示した３角形パッチの頂点
移動による方法に限定されない。頂点移動による方法は
計算コストの極めて少ない優れた方法であるが、反面、
パッチの３つの頂点の一部が移動されて、残りの頂点が
空中に浮いた状態の３角形パッチを残すことがあった。
これは、距離計測精度の問題から発生するものであり、
このような３角形は物体表面からひげのように飛び出し
たノイズとなる。

【００６０】これを解決するために、ある距離分布から
生成された３角形パッチがある観測空間を横切って等間
隔に生成されたスライス面と交差する線分を求め、スラ
イス面毎に多数の線分で囲まれて生成される被観測物体
の断面形状をひげノイズを除去しながら求めるようにす
ることができる。全スライス面における断面形状をまと
めると被観測物体の全周形状情報を生成することができ
る。

【００６１】１つのスライス面における断面形状を生成
する過程は次のようにして行われる。即ち、該スライス
面を２次元配列を持つピクセル空間とし、各線分が通過
するピクセルの値を黒、その他を白とする。こうしてピ
クセル空間にはある断面輪郭画像が構築されることにな
る。この断面輪郭画像には物体断面を表す閉曲線と距離
計測誤差による多数のひげノイズが存在する。次に該画
像中の黒画素を探索・追跡して、端点を持たずに閉じる
画素列を全て閉曲線として残し、その他を白とする。こ
の結果、ひげノイズは除去される。次に、包含関係にあ
る閉曲線を検出し、他の閉曲線に包含される全ての閉曲
線を除去する。この結果、物体の外形断面を表す閉曲線
のみが抽出される。

【００６２】スライス面間の物体断面をまとめて３次元
形状情報と成す過程は次のようにして行われる。即ち、
隣接するスライス面間の黒画素中、最も距離の近いもの
をリンクさせる。隣接する２つのスライス面を結ぶ隣接
する２つのリンクの間の黒画素に関して、両スライス面
に同時に連続する黒画素が無くなるまでこの処理は続け
られる。この結果、スライス面を結んで物体表面形状を
表す３角形パッチが生成される。

【００６３】なお、閉曲線を画素列のままとせず、折れ
線近似した表現とし、該折れ線近似の屈曲点間をリンク
するようにすれば計算コストを削減することができる。

【００６４】また、観測空間を立体的なメッシュに切っ
て発生される３次元配列を持つボクセル空間を利用して
も良い。距離分布から生成された３角形パッチと交差す
るボクセルを黒、その他を白とする。ボクセル空間はピ
クセル空間が積み重なったものであり、該積み重ねる方
法は例えば、ｘ方向、ｙ方向、ｚ方向の３通り考えられ
る。ボクセル空間をある方向に多重化したピクセル空間
とみなし、上記のスライス方式と同様にしてひげノイズ
を消去する。スライス方式はひげノイズの可能性を１方
向についてのみ評価できる方法であったが、ボクセル方
式では、ｘ、ｙ、ｚの３方向についてこの操作を繰り返
すことによって、確実にひげノイズを除去することがで
きる。ひげノイズが除去されたボクセル空間について連
続する黒ボクセルを追跡することによって閉曲面が抽出
できる。物体１つであるとするならば、最も多くの黒ボ
クセルから構成される閉曲面が物体表面である。該閉曲
面から被観測物体の３次元形状情報を構築する過程は次
のようにして行われる。即ち、該閉曲面を成す相互に隣
接する３つのボクセルを結んで生成される３角形パッチ
を全て抽出するのである。この結果、物体の全周形状情
報が構築される。

【００６５】なお、距離分布のサンプリング密度がボク
セル密度よりも大きい場合には、距離分布から生成され
る３角形パッチを用いずに、直接に距離分布中の座標点
をボクセル空間に書き込むことも可能である。この場
合、あるボクセルが代表する座標をボクセルの中心とせ
ず、該ボクセルに含まれる全ての座標点の座標値の平均
とすれば、サンプリング誤差の小さい形状情報を構築す
ることができる。

【００６６】距離分布から３角形を生成せず、直接に距
離分布中の座標点から全周形状を構築する方法として、
次に示すエネルギー最少化と弛緩法による方法を利用す
ることもできる。この方法はスネークと呼ばれる。これ
は、多数の制御点をネット状に繋げて表現される閉曲面
の内部エネルギーと外部エネルギーの和を極少とする制
御点の位置と分布を、繰り返し計算によって求める方法
である。全距離分布中の全空間座標点を覆って、これに
フィットする制御点の分布を計算させることによって、
被観測物体の全周形状を構築するものである。しかも、
ネットはもともと閉じた曲面なので、観測データに欠け
が存在しても、結果は閉曲面として得られるところが利
点である。スネークの収束時間と結果の良否には初期値
が重要であるが、制御点の初期分布として物体領域から
求めた物体ボリュームの形状を利用すると、良い結果が
期待できる。

【００６７】なお、物体の３次元形状情報構築に際し
て、使用者、もしくは装置によって種々の構築手法を手
動または自動により選択して利用できるようにしても良
い。

【００６８】あるいは、形状情報を３角形パッチの集合
として記述するのではなく、数学的な記述による自由曲
面表現としても良い。

【００６９】このように、本発明に係る物体入力装置で
は、被観測物体の全域にわたる３次元形状情報を構築可
能でありさえすれば、その構築手法や記述形式の差異は
問題とはならない。

【００７０】（５） 前述した通り、背景分布は被観測
物体の後方に配置された後方照明部によって照らされた
該物体の影画像を撮影することで獲得される。該影画像
中では物体と背景の各々がお互いに極めて輝度の異なる
領域を発生させるため、物体の占める領域と背景の占め
る領域を簡単な画像処理によって容易に分離できる点が
重要である。

【００７１】物体領域を抽出するためには、影画像を利
用する方法の他に幾つかの方法が考えられる。例えば、
後方照明部を廃止して、物体にない色を持つ背景板を用
意し、前方照明下で撮影された画像から該背景板と同一
色を持つ領域を除去すれば、残る領域が物体領域であ
る。この方法は物体に現れる色が予めある程度予測でき
る場合に有効である。しかも、後方照明部を廃止できる
分、装置構成が縮小でき、照明の切り替えも必要としな
い。

【００７２】物体に現れる色が予測できない場合にも、
例えば、時間変化するパタンを有する背景板を用意し、
時系列的に複数の画像を撮影して、輝度が時間変化する
領域を背景領域、残る領域を物体領域として抽出するこ
とが可能である。該背景板はパタンを印刷された板を振
動させることで、容易に実現可能である。

【００７３】このように、本発明に係る物体入力装置で
は、背景分布から物体領域を抽出可能でありさえすれ
ば、背景分布を撮影するための手段や背景分布そのもの
の差異は問題とはならない。

【００７４】（６） ＣＧやＣＡＤ・ＣＡＭなどへの応
用を考えた場合、物体情報として３次元形状情報と質感
情報とマッピング情報が得られれば実用上十分である
が、次のようにすると物体情報の利便性が一層向上す
る。

【００７５】前述した通り、３次元形状情報と質感情報
は相互に別々のサンプリング密度で得られた情報であ
り、３角形パッチ、ピクセル密度とスライス密度、ボク
セル密度、スネーク曲面の制御点密度などの３次元形状
情報を分割する単位と、画素という質感情報を分割する
単位とは一致しない。従って、これらを関連付けるため
にマッピング情報が必要である。このとき、ＣＡＤなど
で利用されている形状処理的手法を用いて３次元形状情
報を同一式で記述される滑らかに連続している部分曲面
に分割し、画像処理的手法を用いて質感情報を同一色と
なる単色領域に分割し、該２情報を用いて被観測物体の
表面を同一式・同一色となる部分曲面に分割すると、各
部分表面は曲面式と該部分表面の境界を示すトリミング
曲線式と該部分表面の色とから成る情報の組を持ち、物
体情報は３次元形状情報、質感情報、マッピング情報の
ような個別情報の寄せ集めではなく、形状と色とを有す
る物体全域を覆う部分表面の集合として与えられる。各
部分表面は物体表面の一部分を担っており、しかも必要
な情報が全てそこに与えられているので、入力後の物体
情報への変更修正が行い易いという点において利便性が
向上する。

【００７６】（７） 前述した通り、質感情報は前方照
明部によって照明された被観測物体表面のカラー画像と
して得られる物体表面からの反射光の赤・青・緑に関す
る波長別輝度分布である。物体全域の質感情報を得るた
めに、被観測物体は回転する支持部によって様々な方向
に向けられ、複数の質感分布が撮影される。このとき、
前方照明部の配置のされ方によっては、統合後の全周形
状表面に貼り付けられる複数の質感分布の継ぎ目に反射
輝度の段差が確認されることがある。これは回転につれ
て被観測物体への照明光の当たり具合が変化する場合に
発生する。このような段差は出力されるべき物体情報の
質を著しく低下させるものである。このとき、複数の照
明用光源を回転する支持部に固定・等分配置すること
で、回転による照度変化がなく、十分明るい照明環境を
実現でき、良好な質感分布を得ることが可能となる。ま
た、照明用光源を支持部に固定せず、被観測物体表面で
ムラのない照明状態が実現されるように環境中に固定・
等分配置することも可能である。あるいは、質感情報を
照明状態に直接影響される反射光の波長別輝度分布では
なく、物体がどの波長の光をどの程度反射するのかを示
す波長別反射率分布とすることも可能である。反射率は
物体色とも呼ばれ、照明条件に依存しない色の表現形式
である。反射率は照明光の空間的波長別強度分布と光源
の位置がわかっておれば反射光の輝度分布から計算する
ことが可能であり、これらの情報は予め求めておくこと
ができる。

【００７７】このように、本発明に係る物体入力装置で
は、被観測物体の全域にわたる質感情報が無用な段差を
持たないようにできさえすれば、照明方法や質感情報の
差異は問題とはならない。

【００７８】（８） ＣＧへの応用を考慮した物体情報
は被観測物体の３次元形状と色に関する記述を必要とす
るが、ＣＡＭ、ＣＡＤなどへの入力を考える場合には、
該物体の３次元形状情報のみが得られれば良い。即ち、
上記の実施例および変形例における質感情報に関する機
能を排除して、装置規模を小さくできるという点におい
て利便性が向上する。

【００７９】このように、本発明に係る物体入力装置で
は、被観測物体の３次元形状情報を出力可能でありさせ
すれば、付帯する情報の有無や種類の差異は問題とはな
らない。

【００８０】以上で述べた通り、本発明は背景分布と不
可視の支持手段の利用によって、少なくとも被観測物体
とは無関係な不要情報の自動的・適応的排除・被観測物
体表面の欠測点の判別と補間、被観測物体全域にわたる
不可視部分のない観測のいずれかを可能としつつ、少な
くとも被観測物体の３次元形状情報を構築可能ならば、
実現のための構成や手段や処理手順などの差異に関係な
く様々に変形組み合わせて実施可能である。

【００８１】

【発明の効果】本発明の物体入力装置によれば、不可視
部位がないため、容易に被観測物体の全域にわたる３次
元形状情報を算出できる。

【００８２】また、従来解決されていなかった欠測点へ
の対応不十分、不要情報の排除における繁雑さを排除し
た。

【図面の簡単な説明】

【図１】本発明に係る物体入力装置の一実施例の全体構
成図である。

【図２】本発明に係る物体入力装置の一実施例の処理構
成図である。

【図３】本発明に係る物体入力装置の一実施例における
観測部の構成図である。

【図４】本発明に係る物体入力装置の一実施例における
演算部の構成図である。

【図５】本発明に係る物体入力装置の一実施例における
演算部中の形状構築部の構成図である。

【図６】本発明に係る物体入力装置の一実施例における
距離分布獲得時の動作を示した図である。

【図７】本発明に係る物体入力装置の一実施例における
質感分布獲得時の動作を示した図である。

【図８】本発明に係る物体入力装置の一実施例における
背景分布獲得時の動作を示した図である。

【図９】能動的ステレオ法の原理図である。

【図１０】能動的ステレオ法における死角を例示した図
である。

【図１１】能動的ステレオ法における低反射率面の影響
を例示した図である。

【図１２】能動的ステレオ法における貫通孔の影響を例
示した図である。

【図１３】能動的ステレオ法におけるスパイクノイズ発
生の原理を示した図である。

【図１４】（ａ）は、獲得された距離分布の一部を示す
概念図、 （ｂ）は、質感分布の一部を示す概念図、 （ｃ）は、背景分布の一部を示す概念図、 （ｄ）は、これらより得られた物体情報の一部を示して
いる。

【符号の説明】

１……観測手段 ２……演算手段 ３……記憶手段 ４……出力部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−217969（ＪＰ，Ａ) 特開 平４−180385（ＪＰ，Ａ) 特開 平２−223809（ＪＰ，Ａ) 特開 平５−45134（ＪＰ，Ａ) 特開 平４−151988（ＪＰ，Ａ) 特開 昭60−221872（ＪＰ，Ａ) 実開 昭58−141804（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/24 G06T 1/00 315 G06T 1/00 400

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】観測空間内に被観測物体を配し、該被観測
   物体の３次元形状情報を取り込む物体入力装置であっ
   て、 前記観測空間内の空間情報である背景分布を複数方向か
   ら観測可能な観測手段と、 前記複数方向から観測された背景分布から抽出された複
   数の物体領域の輪郭に基づいて、前記被観測物体が占有
   する空間を物体ボリュームとして算出する物体ボリュー
   ム抽出手段と、 前記物体ボリュームに基づいて、前記被観測物体の３次
   元形状情報を構築する演算手段とよりなることを特徴と
   する物体入力装置。
2. 【請求項２】観測空間内に被観測物体を配し、該被観測
   物体の３次元形状情報を取り込む物体入力装置であっ
   て、 前記観測空間内の背景分布が観測可能な観測手段と、 前記観測空間内に光パタンを投影する光パタン投影手段
   と、 前記光パタン投影手段によって投影された光パタンの反
   射光を撮影して距離分布を算出する距離分布獲得手段
   と、 前記背景分布から抽出された物体領域の外に存在する前
   記距離分布を非物体領域として削除する非物体距離分布
   削除手段と、 前記非物体領域が削除された距離分布における欠測点の
   座標を、近傍の非欠測点で補間する欠測点補間手段と、 を有することを特徴とする物体入力装置。
3. 【請求項３】前記観測空間内に光パタンを投影する光パ
   タン投影手段と、 前記光パタン投影手段によって投影された光パタンの反
   射光を撮影して距離分布を算出する距離分布獲得手段を
   有し、 前記演算手段は、 前記物体ボリュームの外に存在する距離分布中の画素を
   スパイクノイズとして除去して、この除去した距離分布
   に基づいて前記被観測物体の３次元形状情報を構築する
   ことを特徴とする請求項１記載の物体入力装置。
4. 【請求項４】前記観測手段が、前記被観測物体を支持す
   るための支持手段を具備し、かつ、前記支持手段が、前
   記観測手段に対して不可視となるような材質または構造
   で構成され、 前記演算手段が、前記背景情報を二値化して、画像中央
   部に存在する黒画素領域を物体領域として抽出すること
   を特徴とする請求項１または２記載の物体入力装置。
5. 【請求項５】前記演算手段が、該複数方向からの観測結
   果を１つに統合した被観測物体の３次元形状情報を構築
   することを特徴とする請求項１記載の物体入力装置。
6. 【請求項６】前記観測手段が、前記被観測物体を複数の
   方向から観測するために、前記被観測物体に対する相対
   的な位置と姿勢を変更可能な駆動手段を具備したことを
   特徴とする請求項３記載の物体入力装置。
7. 【請求項７】前記観測手段が、前記空間情報として質感
   分布と背景分布を計測可能であり、 前記演算手段が、該背景分布から算出される物体領域内
   に含まれる質感分布から前記色彩情報を構築することを
   特徴とした請求項１または２記載の物体入力装置。
8. 【請求項８】前記演算手段が、前記観測手段によって計
   測された背景分布毎に算出される物体領域が表す錘状空
   間を重ね合わせて、前記被観測物体の占有する空間を算
   出し、該空間を物体ボリュームとすることを特徴とする
   請求項１記載の物体入力装置。
9. 【請求項９】前記被観測物体を挟んで前記観測手段に対
   峙する位置に背景手段を配し、 該背景手段が前記被観測物体を後方から照らすことによ
   って発生する該被観測物体の影画像を前記背景分布とな
   し、 前記演算手段が該影画像の中央に位置する影領域を物体
   領域とすることを特徴とする請求項１または２記載の物
   体入力装置。
10. 【請求項１０】前記観測手段に対峙する位置に特定色の
    背景手段を配し、該背景手段による前記特定色の背景を
    持つ前記被観測物体の画像を前記背景分布となし、 前記演算手段が該画像の中央に位置する前記特定色以外
    の色を持つ画像領域を前記物体領域とすることを特徴と
    する請求項１または２記載の物体入力装置。
11. 【請求項１１】前記観測手段に対峙する位置に特定模様
    の動く背景手段を配し、該背景手段による前記動く模様
    の背景を持つ前記被観測物体の時系列画像を前記背景分
    布となし、 前記演算手段が該時系列画像の中央に位置する変化しな
    い画像領域を前記物体領域とすることを特徴とする請求
    項１または２記載の物体入力装置。
12. 【請求項１２】前記距離分布が、３次元座標値を要素に
    持つ２次元配列状に計測されることを特徴とする請求項
    １または２記載の物体入力装置。