JP5461064B2

JP5461064B2 - 形状推定システム、形状推定方法、プログラム及び記録媒体

Info

Publication number: JP5461064B2
Application number: JP2009122619A
Authority: JP
Inventors: 烈山川; 智一平塚
Original assignee: Nikkiso Co Ltd
Current assignee: Nikkiso Co Ltd
Priority date: 2009-05-21
Filing date: 2009-05-21
Publication date: 2014-04-02
Anticipated expiration: 2029-05-21
Also published as: JP2010271152A

Description

本願発明は、形状推定システム、撮影装置、形状推定方法、プログラム及び記録媒体に関し、特に対象物の形状を推定する形状推定システム等に関する。

対象物体の三次元計測は、これまで、計測装置の煩雑さや処理全体の計算量の増大，あるいは前提条件の厳しさなど、ユーザーが簡便に利用するにあたって解決すべき問題点が存在する。

人間（生物）が三次元物体を立体として認知するメカニズムに関して、生理学的および心理学的な観点から、立体視における判断要素として物体の影情報を利用することが三次元情報取得の有効な手法である。このような手法として、例えば、特許文献１に記載されている、回転光源による凹みの検出が知られている。特許文献１には、光源をモーターなどの機械的な機構によって回転させ、光源からの光をミラーに反射させて試料を照明するものが記載されている。

特開２００７−２２５５３９号公報

しかしながら、特許文献１記載の技術は、機械的な機構を用いるため、機械的な故障が発生しやすい。また、装置の小型化には不向きである。さらに、回転させることにより光源は円周上のみであり、カメラシャッターと回転光源の同期がとりづらく、さらに、慣性力により光源の高速回転が困難である。実際、特許文献１では、６ｒｐｍで、１回転で８回撮影するものである。

よって、本願発明は、光源からの光により生じる対象物の影から対象物の形状をより適切に推定可能な形状推定システム等を提供することを目的とする。

請求項１に係る発明は、対象物の形状を推定する形状推定システムであって、対象物に対して光を放射する複数の光源と、前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影する撮影手段と、複数の既知の形状を撮影して生成された特徴情報について、相似する形状と相似しない形状とを区別可能な分類用データを記憶する分類用データ記憶手段と、前記複数の光源のうち一部の光源を点灯させずに既知の形状を撮影して生成された特徴情報を用いて、前記分類用データを相似する形状と相似しない形状とを区別可能に学習させる学習手段を備える。

請求項２に係る発明は、請求項１記載の形状推定システムであって、前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、前記撮影データを画像処理することにより、前記撮影データにおける対象物の影の特徴を示す分類対象特徴情報を生成する特徴情報生成手段と、前記分類用データにおいて、前記分類対象特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定する推定手段を備える。

請求項３に係る発明は、請求項１又は２記載の形状推定システムであって、前記学習手段は、点灯し又は点灯しなかった光源の組み合わせを示す情報を前記光源制御手段に送信する光源配置手段を有する。

請求項４に係る発明は、請求項１から３のいずれかに記載の形状推定システムであって、前記各光源は、前記対象物の各撮影において、照明時も非照明時も同じ位置に存在する。

請求項５に係る発明は、請求項１から４のいずれかに記載の形状推定システムであって、前記対象物から前記光源への向きである軸について、前記複数の光源のうち、少なくとも３つの光源の軸が異なる。

請求項６に係る発明は、請求項１から５のいずれかに記載の形状推定システムであって、前記形状推定装置は、前記対象物の各撮影に対応する複数の撮影データにおける影を示すデータに共通する部分を除去して修正画像データを生成する画像データ修正手段を備え、前記特徴情報生成手段は、前記修正画像データから特徴情報を生成する。

請求項７に係る発明は、対象物の形状を推定する形状推定システムにおける形状推定方法であって、前記形状推定システムは、前記対象物の影を撮影する影撮影装置と前記影撮影装置により得られた撮影データから特徴情報を生成して前記対象物の形状を推定する形状推定装置を備え、前記影撮影装置は、前記対象物に対して光を放射する複数の光源と、前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影して撮影データを得る撮影手段を有する撮影装置を備えるものであり、前記形状推定装置は、前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、既知の形状の複数の対象物を撮影して生成された撮影データにおける対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報について、相似する形状と相似しない形状とを区別可能に学習された自己組織化マップを記憶する分類用データ記憶手段を備え、前記形状推定装置の特徴情報生成手段が、前記撮影データにおける未知の形状の対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、前記形状推定装置の推定手段が、前記自己組織化マップに提示して、当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップを含む。

請求項８に係る発明は、コンピュータにおいて、学習手段が既知の形状の複数の対象物に対して光を放射する複数の光源のうち少なくとも一部を照明させずに撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報により相似する形状と相似しない形状とを区別可能に自己組織化マップを学習させるステップと、学習手段の光源配置手段が少なくとも前記照明させない光源を特定可能な情報を前記複数の光源の点灯を制御する光源制御手段に送信するステップと、特徴情報生成手段が未知の形状の対象物に対して前記光源制御手段による光源制御に同期して撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、推定手段が前記自己組織化マップに提示して当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップを実現させるためのプログラムである。

請求項９に係る発明は、請求項８記載のプログラムを記録するコンピュータ読み取り可能な記録媒体である。

なお、各光源は、撮影手段の周囲に設けられるものであってもよい。また、各光源は、２種類以上の波長のものが含まれてもよい。このような光源を利用することにより、色選択的撮影が可能となる。さらに、撮影手段が、フィルタ等により色選択的撮影をするものであってもよい。

本願発明では、対象物の影画像を取得するために、例えば回転照射軸アレイデバイス（図２及び図３参照）のような新たな影撮影装置を提案している。これにより複数方向からの影画像を取得可能とあり、また、このような装置は安価な市販品による構成が可能である。

さらに、本願発明において、例えば特徴情報生成手段２９がウェーブレット解析により特徴情報を生成することにより、局所的なエッジ特徴、大域的なテクスチャ特徴を抽出可能となり、さらに、学習手段が自己組織化マップを学習させて、推定手段は学習後の自己組織化マップを用いて形状推定を行うことができる。

本願発明によれば、特許文献１記載の従来技術と比べても、撮影画像にぼやけがなく、鮮明な画像で高精度画像処理が可能となる。また、ミラーや回転部分などの機械的な機構がなく壊れにくいため、信頼性が大きい。さらに、仮に対象物体が動作するものであっても、光源の高速な回転スイッチングにより、対象物体の動きに対応することができる。さらに、装置の小型化が可能であり、顕微鏡を付加することにより、例えば口腔癌などの検出のように、より微小な組織の観察が可能である。さらに、ウェーブレット解析によりエッジ情報及びテクスチャ情報を抽出できるので、単体の立体構造物の形状推定だけでなく、表面に細かな凹凸が連続する表面粗さの判別を、他の手法を用いることなく行うことができる。さらに、表面に凹凸がある立体構造物の形状推定をも可能となることが予想される。

本願発明の実施の形態に係る形状推定システム１の概略ブロック図である。回転照射軸アレイデバイスの基本構造、撮影状況及び撮影部１９と対象物３との関係を示す図である。回転照射軸アレイデバイスの動作及び回転軸の回転による対象物３（ナット）の撮影例を示す図である。図１の画像データ修正部２７の動作の一例を説明するための図である。図１の特徴情報生成部２９の動作の一例を説明するための図である。図１の学習部３１及び推定部３５の動作の一例を説明するための図である。図１の影撮影装置５の一例である回転照射軸アレイデバイスの光源配置が推定結果に及ぼす影響の実験を示す第１図である。回転照射軸アレイデバイスの光源配置が推定結果に及ぼす影響の実験を示す第２図である。回転照射軸アレイデバイスの照射軸数が形状推定に及ぼす影響の実験を示す第１図である。回転照射軸アレイデバイスの照射軸数が形状推定に及ぼす影響の実験を示す第２図である。回転照射軸アレイデバイスによる撮影の際、対象物体の水平方向のずれが及ぼす影響の実験を示す図である。回転照射軸アレイデバイスを用いた三次元形状推定の応用例として、物体表面の粗さ判別を行う実験を示す第１図である。回転照射軸アレイデバイスを用いた三次元形状推定の応用例として、物体表面の粗さ判別を行う実験を示す第２図である。図１の光源配置部３７の動作を中心として、遺伝的アルゴリズム（ＧＡ）により光源配置を最適化する実験を示す第１図である。図１の光源配置部３７の動作を中心として、遺伝的アルゴリズム（ＧＡ）により光源配置を最適化する実験を示す第２図である。

以下、本願発明の実施例について説明する。ただし、本願発明は、記載した実施例に限定されるものではない。

図１は、本願発明の実施の形態に係る形状推定システム１の概略ブロック図である。形状推定システム１は、対象物３の形状を推定するものである。形状推定システム１は、対象物３の影を撮影する影撮影装置５と、影撮影装置５により得られた撮影データから特徴情報を生成して対象物３の形状を推定する形状推定装置７を備える。

影撮影装置５は、対象物３が設置されるステージ１１（例えば、対象物体設置ステージ）と、ステージ１１上に生じる対象物３の影を撮影する撮影装置１３を備える。撮影装置１３は、複数の光源１５₁，・・・，１５_Nと、各光源の点灯を制御する光源制御部１７と、ステージ１１の正面にあり、光源の点灯制御と同期して、光源の点灯により対象物３及びステージ上に生じた対象物３の影を撮影する撮影部１９を備える。撮影部１９は、撮影して得られた撮影データを形状推定装置７に送信する。

形状推定装置７は、影撮影装置５から受信した撮影データを受信し、撮影データ記憶部２１に格納する撮影データ収集部２３と、撮影データ記憶部２１に記憶された撮影データを画像処理して対象物３の影を示す情報を抽出し、抽出後の画像データである修正画像データを修正画像データ記憶部２５に格納する画像データ修正部２７と、修正画像データ記憶部２５に記憶された修正画像データから特徴情報を生成する特徴情報生成部２９と、形状を学習する段階において、生成された特徴情報から自己組織化マップ（Self Organizing Map：SOM）を生成して分類用データ記憶部３３と、形状を推定する段階において、ＳＯＭにおける生成された特徴情報の配置位置から形状を推定する推定部３５を備える。また、学習部３１は、例えば各光源１５₁，・・・１５_Nの点灯・非点灯、点灯のタイミングなどの光源を制御するための情報を生成して影撮影装置５の光源制御部１７に送信する光源配置部３７を備える。

続いて、図２及び図３を参照して、影撮影装置５の一例である回転照射軸アレイデバイスを説明する。本デバイスの特長は、例えば、特殊な光源を必要とせず安価な市販品だけで構成でき、機械的な部分を持たないので耐故障性に優れ、電気的なスイッチングによって照射軸の高速切り替えが可能であり、さらに、対象に応じてサイズを自由に変更できる点などが挙げられる。

図２は、回転照射軸アレイデバイスの基本構造、撮影状況及び撮影部１９と対象物３との関係を示す図である。図２（Ａ）を参照して、回転照射軸アレイデバイスには、撮影部１９（例えば、カメラモジュール）と、撮影部１９の周囲に配置された複数個の光源１５（例えば、白色ＬＥＤ）が含まれる。

撮影の時には、光源１５の一つを点灯し、その照明によって作り出される影を撮影する。装置全体は、光源１５以外の光源の影響を受けないように、外光遮断用ケース内に設置する。図２（Ｂ）は、外光遮断用ケースを閉じた状態（撮影時）を示す。図２（Ｃ）は、外光遮断用ケースを開けた状態（メンテナンス時など）を示す。図２（Ｄ）は、回転照射軸アレイデバイス内に対象物３としてナットを設置し、光源１５のうち１つ（右端）のものを点灯した時に生じる影とその撮影状況を示す。

続いて、図２（Ｅ）を参照して、さまざまな対象物３に対して汎用性を持たせるために、回転照射軸アレイデバイスにおける撮影部１９と対象物３との関係及び装置サイズの決定方法について説明する。図２（Ｅ）において、Ｌは光源(LED)、Ｃはカメラ(レンズ)、ｆは焦点距離、ｄはレンズと光源間の距離、ａはレンズ中心からステージ１１までの距離、ｂはレンズ中心からセンサまでの距離、ｈ_objは対象物体の高さ、ｗ_objは対象物体の幅、ｌ_shadowは影の長さ、Ｗ_workは撮影範囲の横の長さである。

まず、対象物３と撮影範囲との関係は、撮影範囲内に対象物３と影が収まるようにするため、(1)式を満たす必要がある。ｌ_shadowは、三角形の相似関係から、(2)式のように表される。Ｗ_workはカメラ（レンズ）の特性によって決まる値である。光学の基本公式より(3)式が成り立つ。ここで、撮影倍率をαとすると、αは(4)式で求めることができる。撮影範囲を求める際に必要とするパラメータは、aとαである。そのため、(3)及び(4)式よりｂを削除して整理すると(5)式が求まる。ここで、焦点距離ｆが既知であることを前提とすると、(5)式よりａが決まればαを求めることができることがわかる。ただし、このときピントが合っているものとする。さらに、αが分かれば、(6)及び(7)式のように、センサのサイズ（横の長さｗ_sensor及び縦の長さｌ_sensor）から撮影範囲を求めることができる。ここで，Ｌ_workは撮影範囲の縦の長さを示す。以上のように、対象物３とデバイスとのサイズの関係を表わすことができる。

実際に本デバイスを使用するにあたって、デバイスサイズは以下に示す手順によって設定することができる。
１．対象物体のサイズから、必要な撮影範囲を概算する。
２．使用するカメラの特性（センサーサイズ，焦点距離）から撮影倍率を求める。
３．(5)式を用いて、レンズ中心からステージ１１までの距離ａが決定する。
４．(1)式を満たすように、レンズと光源間の距離ｄを調整する。

図３は、回転照射軸アレイデバイスの動作及び回転軸の回転による対象物３（ナット）の撮影例を示す図である。回転照射軸アレイデバイスでは、複数の光源を一つずつ切り替えることによって、光源の照射軸が変化する。これによって、各照射軸に対応した方向に物体の影が作り出される。図２（Ａ）の場合は照射軸が８本あるので、８種類の影画像を撮影することができる。したがって、本デバイスによって、一つの対象物体に対して照射軸数分の影画像を取得することができ、対象物体の形状推定をより正確に推定することができる。

図３（Ａ）を参照して、回転照射軸アレイデバイスによる影の撮影方法は以下の通りである。なお、本実施例は、全ての照射軸について、光源を一つのみ点灯して撮影するものである。
１．対象物３をステージ１１上に設置する（ステップＳＴＣ１）。
２．外光遮断用ケースを閉じる。
３．複数個ある光源のうち一つの照射軸のみを点灯し（ステップＳＴＣ２）、これと同期して対象物３及びステージ１１上に作り出される影を撮影する（ステップＳＴＣ３）。
４．一つの照射軸による照明が終了したらその照射軸は消灯する。点灯していない照射軸があるか否かを判断し（ステップＳＴＣ４）、点灯していないものがあればステップＳＴＣ２に戻り、次の照射軸を点灯する。

例えば図３（Ｂ）のように、照射軸は回転させる。光源は電気的に切り替え可能である。そのため、高速に処理することができる。図３（Ｃ）は、回転照射軸アレイデバイスによってナットを撮影した例を示す。照明Ｌ１〜Ｌ８による撮影結果は、それぞれ（ａ）〜（ｈ）に対応している。図３（Ｃ）より、８方向の影画像を取得できていることがわかる。

続いて、図４から図６を参照して、図１の形状推定装置７の動作について具体的に説明する。図４は、図１の画像データ修正部２７の動作の一例を説明するための図である。図５は、図１の特徴情報生成部２９の動作の一例を説明するための図である。図６は、図１の学習部３１及び推定部３５の動作の一例を説明するための図である。

まず、撮影データ収集部２３は、撮影部１９が送信した撮影データ（図３（Ａ）ステップＳＴＣ５及び図３（Ｃ）参照）を受信し、撮影データ記憶部２１に格納する。

続いて、画像データ修正部２７は、撮影データ記憶部２１に記憶された撮影データを画像処理して対象物３の影を示す情報を抽出し、修正画像データを修正画像データ記憶部２５に格納する。画像データ修正部２７による修正は、例えば、照明ムラの除去やノイズ除去がある。まず、図４（Ａ）〜（Ｆ）を参照して照明ムラの除去について説明する。続いて図４（Ｇ）〜（Ｋ）を参照してノイズ除去について説明する。

まず、図４（Ａ）〜（Ｆ）を参照して照明ムラの除去について説明する。回転照射軸アレイデバイスは、点光源の照明（LED）を用いている。点光源による照明では、被照面の明るさは点光源と被照面間の距離の２乗に逆比例する、いわゆる距離の逆２乗法則が成り立つ。つまり、光源に近い面は明るく、遠い面は暗く観測される（図４（Ａ）参照）。照明による明るさのムラは物体の影情報と混同してしまう可能性があるので、これを除去する必要がある。

照明ムラの除去は、例えば、以下の手順により除去することができる。まず、回転照射軸アレイデバイスを用いて物体を撮影して得られた撮影データ（図４（Ａ）参照）と、あらかじめ撮影しておいた物体なし画像（図４（Ｂ）参照）との差分を求める。次に、差分画像の輝度を調整し、照明ムラ除去画像とする（図５（Ｃ）参照）。これにより、照明ムラが除去されていることがわかる（図４（Ｄ）〜（Ｆ）参照）。なお、逆２乗法則から数値計算で輝度調整することもできる。しかし、光源と物体までの距離を正確に測定する必要があり処理が煩雑になる。

続いて、図４（Ｇ）〜（Ｋ）を参照してノイズ除去について説明する。図４（Ｇ）は、ノイズ除去を示すフロー図である。対象物３の表面の模様は影情報と混同してしまい、推定結果に影響を及ぼすと考えられる。そのため、対象物３の表面は、理想的には模様などは存在しない方が良い。しかしながら、実際には、物体表面に好ましくない情報（＝ノイズ）が存在することは多い。そこで、回転照射軸アレイデバイスによって取得した影画像を用いてノイズの除去を行う。

画像データ修正部２７は、ノイズ除去を、例えば以下の手順により実現する。
１．回転照射軸アレイデバイスの撮影データは、照射軸数をN本とすると、同一の対象物体に対してＮ枚となる。
２．回転照射軸アレイデバイスによって取得したＮ枚の影画像を二値化する（図４（Ｇ）のステップＳＴＭ１）。黒く残った影およびノイズ部分を１、白い背景部分を０とする（図４（Ｈ）のBinarize処理参照）。
３．二値化画像上のピクセルＰⁿ _x,yについて、(8)式のようにN枚分のピクセルの値を合計する。ここで、ｎは画像番号、ｘ，ｙはピクセル座標、Ｓ_x,yは座標（ｘ，ｙ）におけるピクセル値の合計を表す。
４．全ピクセルについてＳ_x,yを求めた後、(9)式によってＦ_x,yを求める。Ｆ_x,yは抽出されたノイズ画像となる。すなわち、ノイズ部分は照射軸の方向によって変化しないので、二値化後の画像ではＮ枚すべてに情報が残っているはずである。一方、影の部分は、照射軸の方向によって影の出来る方向も変化するので、(9)式によって除外される。結果として、Ｆ_x,yにはノイズ情報（ノイズ領域）のみが抽出される（ステップＳＴＭ２）（図４（Ｈ）のノイズの抽出参照）。
５．各画像データにおいて、抽出したノイズ領域の明度を上げることにより、ノイズ領域を除去する（ステップＳＴＭ３）。除去して得られた修正画像データは、修正画像データ記憶部２５に格納される。

図４（Ｉ）はノイズが存在する撮影データを示す。図４（Ｊ）は抽出されたノイズ領域を示す。そして、図４（Ｋ）は、ノイズが除去された修正画像データの一例を示す。なお、画像補完に関する研究は数多く行われている（例えばM．Bertalmio、外１名著，“Vincent Caselles and Coloma Ballester，Image inpainting，”ACM Transactions on Graphics（SIGGRAPH 2000），pp．417−424，2000など参照）。そのような画像補完手法を用いてもよい。

続いて、図５を参照して、図１の特徴情報生成部２９の動作の一例について説明する。特徴情報生成部２９は、例えば、修正画像データ記憶部２５に記憶された修正画像データから、影のエッジ特徴をウェーブレット多重解像度解析（ＷＭＲＡ）によって抽出し、ＳＯＭの入力データ（特徴情報）を生成するものである。

ウェーブレット変換（例えばC．K．Chui著，An Introduction to Wavelets，Academic Press，1992参照）は、1982年頃にJ．Morletが人工地震の反射波解析の際に導入した技術である。周波数解析として、フーリエ変換が長年利用されていた。しかし、フーリエ変換は周波数の局在性に弱点があった。局所的に周波数が変化する信号に対して周波数の変化点を検出することは重要であり、また比較的日常にこのような問題が潜んでいる。そのため、局所的な解析に有効なウェーブレット変換は、多くの理論的基礎付けや応用が試みられ、その実用性が注目されるようになったものである。

ウェーブレットは、三角関数や対数関数のような特定の決まった関数ではなく、局在する波を表す様々な関数の総称である。解析者は、観測された信号やパターンに対して、ウェーブレットを用いてその信号の局所的様子を調べるために、局所的な基本参照波（マザーウェーブレット）を決定する。基本参照波は、ウェーブレットであるための基本条件であり、基本参照波が振動的であることを示すウェーブレット条件と呼ばれる所定の条件を満たす関数である。また、解析者は、基本参照波をスケール（伸縮）、トランスレート（平行移動、シフト）することで得られる参照波（ドウターウェーブレット）をいくつか用意して、これらと信号との関係を調べる。基本参照波は、一種の高周波フィルタである。

連続ウェーブレット変換は、入力信号と参照波（ドウターウェーブレット）との内積で与えられる。スケールパラメータとトランスレートパラメーラを適切に決定することによって、解析する波形中のこれと相似な様々なスケールの波形を、時間（場所）軸情報を失うことなく抽出することができる。また、時間シフトとスケールが離散的な値をとる場合は、離散ウェーブレット変換と呼ばれる。離散ウェーブレットでは、マザーウェーブレットとする関数は基底関数となるものでなければならない。

また、一般に、原信号の空間は、スケーリング関数と呼ばれる関数を用いて、低周波成分のウェーブレット空間と高周波成分のウェーブレット空間に直交分解することが知られている。ここで、スケーリング関数はツースケール数列と呼ばれる所定の数列により決定されるものである。この直交分解を次々と行う一連の操作は、多重解像度解析と呼ばれる。多重解像度解析を行うことにより、解像度スケーラビリティを得ることができる。

多重解像度解析の原理を用いて，実際に原信号を低周波数と高周波数の成分に分ける変換をMallat変換という。スケーリング関数を決定するツースケール数列と同様にして、基本参照波を決定するウェーブレット数列を定義することができる。Mallat変換についてはツースケール数列とウェーブレット数列のみを含んだ高速の分解公式及び復元公式が知られている。原画にMallat変換を適用すると、第１低周波成分と第１高周波成分が得られる。さらに、第１低周波成分を原画像とみなして分解公式を適用すると、第２低周波成分と第２高周波成分が得られる。このように次々に分解公式を適用すると、たった一つの低周波成分と、解像度の異なった高周波成分の集まりが得られる。復元公式を用いると原画像を復元できるので、分解によって得られたこのような低周波成分と高周波成分の集まりは原画像と同等である。

画像に対して周波数分解を行う場合、画像は二次元であるので二次元の離散ウェーブレット変換が必要となる。これは一次元の離散ウェーブレット変換を垂直方向・水平方向に行うことで実現できる。この結果、原画像は４つの周波数成分（サブバンド）に分解される。このように離散ウェーブレット変換により、さまざまな解像度の画像を容易に得ることができる。

図１の特徴情報生成部２９は、修正画像データ記憶部２５に記憶された修正画像データから、影のエッジ特徴をウェーブレット多重解像度解析によって抽出し、ＳＯＭの入力データとする。以下では、ウェーブレット多重解像度解析によってＳＯＭの入力データを生成するまでの流れを示す。
１．Ｎ枚の修正画像データのうち一枚について（図５（Ａ）のステップＳＴＴ１）、ウェーブレット多重解像度解析を３レベルまで行い、水平成分、垂直成分、対角成分、各３枚ずつ計９枚の分解画像（ウェーブレット係数）を得る（ステップＳＴＴ２）。これらは、各方向成分に対する元画像のエッジ特徴を抽出している。
２．ウェーブレット係数は、画像のピクセル数と同じだけ算出される。これらをすべてＳＯＭの入力データとして用いると、ＳＯＭの計算量が増大し、時間がかかってしまう。そこで、各成分の画像について(10)式に示す二乗平均平方根（RMS：Root Mean Square）を計算する（ステップＳＴＴ３）。ここで、ｑ_iはあるピクセルに対するウェーブレット係数、ｑ_rmsは一枚の分解画像におけるＲＭＳ値である。
３．残りの修正画像データに対しても同様にウェーブレット変換し、各分解画像についてＲＭＳ値を計算する（ステップＳＴＴ４）。
４．全ての修正画像データを処理した時点で、Ｎ×９個のＲＭＳ値が求まっていることになる。これらのＲＭＳ値をＮ×９次元のベクトルとし（ステップＳＴＴ５）、自己組織化マップの入力データとして用いる。

図５（Ｂ）〜（Ｅ）は、図２（Ａ）にあるように照射軸数８本の場合の特徴情報の生成処理の具体例を示す図である。図５（Ｂ）は、８枚の撮影データimage1〜image8を示す。図５（Ｃ）は、画像データ修正部がimage1に対して影を抽出して生成した修正画像データを示す。図５（Ｄ）は、３レベルのウェーブレット多重解像度解析により得られた分解画像を示す。そして、図５（Ｅ）に示されるように、９枚の分解画像のそれぞれについてＲＭＳを計算し、さらに、他のimage2〜image8についても同様に計算することにより、９×８=７２次元のベクトルｘが算出される。

続いて、図６を参照して、図１の学習部３１による自己組織化マップ（ＳＯＭ）（例えばT．Kohonen著，“Self-organized formation of topologically correct feature maps，”Biological Cybernetics，Vol．43，pp．59−69，1982参照）の作成処理及び推定部３５による形状の推定処理について説明する。

図６（Ａ）は、ユニットが一次元に配置された競合層をもつＳＯＭの一般的な構成を示す図である。ＳＯＭは、それぞれｎ個、Ｍ個のユニットをもつ入力層（Input Layer）と競合層（Competitive Layer）から構成される。競合層上のｊ番目のユニット（競合層ユニットｊ）は、(11)式で表される参照ベクトル（reference vector）をもち、入力層から提示される入力ベクトルxとの比較を行う。ＳＯＭでは、ベクトル集合を入力層に提示し、選択された競合層ユニットの参照ベクトルを更新する。この操作を繰り返し行うことで、競合層ユニットの参照ベクトルは入力ベクトル集合のもつ特徴を抽出する。この過程を学習と呼ぶ。参照ベクトルを更新するユニットを競合により決定するので、特別に競合学習と呼ぶこともある。これは、教師なし学習の１つである。学習に用いる入力ベクトル集合Ｘとして、(12)式のＬ個のベクトルを考える。

ＳＯＭの学習は、以下の手順に従って行われる。
０．競合層ユニットの参照ベクトルの初期化を行う。通常、乱数を用いてすべての参照ベクトルｗ_jの値を決定する。
１．ベクトル集合Ｘの中から１つのベクトルｘ_lを選択し入力層へ提示する。以後、このベクトルを入力ベクトルと呼び、特別な場合を除いてその番号１を省略する。
２．入力ベクトルとのユークリッド距離が最小となる参照ベクトルをもつ競合層ユニットｃを(13)式で決定し、勝者ユニットとする。競合層上で、勝者ユニットの近傍に位置するユニットを近傍ユニットとする。
３．勝者ユニット及び近傍ユニットの参照ベクトルを(14)式で更新する。ここで，ｔは学習のステップを表す。ｗ_j(t+1)とｗ_j(t)はそれぞれ更新後と更新前の参照ベクトルを表す。α_SOM(t)は学習ステップtにおける学習係数である。近傍ユニットを定義する範囲（近傍範囲）はＮ_c,SOM(t)で表す。
４．ベクトル集合Ｘの中に一度も選択していないベクトルがある場合は、ステップ１に戻り、これまで選択していないベクトルを新たな入力ベクトルとする。ベクトル集合Ｘ内の全てのベクトルを選択した場合は、ステップ５に進む。
５．ステップ１〜ステップ４の操作を規定回数繰り返す。繰り返す過程で、学習係数α_SOM(t)と近傍範囲Ｎ_c,SOM(t)を小さくしていく。

ＳＯＭにおいて、参照ベクトルの位置関係は、競合層ユニットの位置関係を保持している。これは、勝者ユニットとその近傍ユニットの参照ベクトルが同時に更新されることに起因する。学習後の自己組織化マップに入力ベクトルを提示すると、距離の近い入力ベクトルは競合層上で近くに位置するユニットを勝者ユニットとする。これは、相対的な位置関係を保持したまま入力ベクトルを競合層へ写像することを意味し、トポロジカルマッピングと呼ばれている。この特徴を利用して、自己組織化マップをパターン分類へ応用した研究が数多く報告されている。

また、入力ベクトルの出現頻度が高い領域に多くの参照ベクトルが分布する。これは、勝者ユニットおよび近傍ユニットの参照ベクトルが入力ベクトルに近付く方向に更新されることに起因する。学習に用いた入力ベクトル集合を学習後の自己組織化マップに提示すると、すべての競合層ユニットは等確率で勝者ユニットに選択される。この特徴を利用して、自己組織化マップは、データ解析などへ広く応用されている．

以上をまとめると，自己組織化マップ（ＳＯＭ）は以下の特徴をもつ。すなわち、（１）学習後の参照ベクトルの配置は、競合層ユニットの位置関係を保持している（トポロジカルマッピング）。（２）学習後の参照ベクトルの分布は、入力ベクトル集合の分布を近似する（ベクトル量子化）。（３）学習後のマップは多次元データの関係を視覚的にわかりやすい形式で表現している（多次元データの可視化）。

図６（Ｂ）は、図１の学習部３１の動作の一例を示すフロー図である。学習部３１は、対象物３の三次元形状が既知である場合、特徴情報生成部２９がウェーブレット多重解像度解析によって抽出したエッジ特徴を自己組織化マップへの学習データとし、ＳＯＭの学習を行う（図６（Ｂ）のステップＳＴＬ１）。同様にして、さまざまな三次元形状をもつ物体について学習データを生成し、自己組織化マップの学習を行う。そして、適切な学習が行われると、物体の形状ごとにクラス分けされたマップが得られる。学習後のＳＯＭは、分類用データ記憶部３３に格納される。なお、形状推定には直接関係のないものの、分離度を算出することにより、ＳＯＭの評価を可能にしている（ステップＳＴＬ２）。分離度算出の具体例は、他の実施例において具体的に説明する。また、例えば各光源１５₁，・・・１５_Nの点灯・非点灯、点灯のタイミングなどの光源を制御するための情報を生成して影撮影装置５の光源制御部１７に送信する光源配置部３７の動作についても、他の実施例において具体的に説明する。

また、図６（Ｃ）は、図１の推定部３５の動作の一例を示すフロー図である。分類用データ記憶部３３に記憶されたＳＯＭは、さまざまな形状を持つ物体の影の特徴を学習したものである。影撮影装置５において、対象物３の三次元形状が未知である場合、推定部３５は、分類用データ記憶部３３に記憶された学習後のＳＯＭに、未知の形状から得られる影の特徴を提示し（図６（Ｃ）のステップＳＴＥ１）、その特徴情報と既知の形状の特徴情報の配置によって、既知の形状の少なくとも一つを推定する（ステップＳＴＥ２）。そして、推定された形状を通知する（ステップＳＴＥ３）。これにより、形状推定システム１において、対象物３の三次元形状の推定が可能となる。

本実施例では、本願発明の一実施例である回転照射軸アレイデバイスを用いた三次元形状推定において、デバイスの設定条件や対象物体の状況が変化した場合に、三次元形状の推定結果にどの程度影響があるのかを検証し、システムの要件を調査する。

まず、図７及び図８を参照して、本デバイスの光源の配置について、さまざまな形状に配置した場合、三次元形状の推定にどの程度影響があるかを検証する。次に、図９及び図１０を参照して、本デバイスの照射軸数について、軸数が形状推定に影響を及ぼすかどうかを検証する。さらに、図１１を参照して、本デバイスによる撮影の際、対象物体が水平方向へずれた場合に関して、どの程度の頑健性があるのかについて検証する。

まず、図７及び図８を参照して、回転照射軸アレイデバイスの光源配置が三次元形状の推定結果に及ぼす影響の実験について説明する。

図７（Ａ）〜（Ｃ）は、実験を行った光源の配置を示す図である。（Ａ）円形配置、（Ｂ）正方形配置及び（Ｃ）任意配置について、各３種類ずつの配置形状を用いた。また、照射軸数は、すべての光源配置について８軸で固定とした。図７（Ｄ）は、学習用として撮影対象となる円柱、四角柱、三角柱、半球を示す図である。これらは、それぞれ大きさの違うものを３種類ずつ（10mm，7mm，5mm）用意し、各々に対して３つずつデータを作成した。また、形状を推定する対象として、図７（Ｄ）に示す４種類の形状それぞれについて5mmから10mmまで1mm刻みで異なるサイズのもの、及び、図７（Ｅ）に示す学習に用いていない未知の形状のもの６種類を用意した。

さらに，学習後の自己組織化マップを評価する方法（図６のステップＳＴＬ２参照）として、クラス内分散σ² _Wとクラス間分散σ² _Bの比Ｊ_σを用いて評価を行った（(15)〜(17)式参照）。ここで、ｎは全データ数、ｃはクラス数、χ_iはクラスｉに属するデータ、ｍは全データの平均、ｍ_iはクラスｉの平均、ｎ_iはχ_iに属するデータ数を表わす。クラス内分散σ² _Wは各クラスの平均的な広がりを表わし、値が小さいほどデータがまとまっていることを示す。一方、クラス間分散σ² _Bはクラス間の広がりを表わし、値が大きいほどクラスの中心が離れていることを示す。したがって、(17)式より、Ｊ_σは、値が大きい方が良いクラス分布であることを示す。

また、ＳＯＭの学習パラメータは、ユニット形状は六角格子、ユニット数は15×15（二次元配置）、学習回数は10000、学習係数の初期値は0.05、近傍範囲の初期値は15である。

学習後の自己組織化マップのうち代表的な例として、図８（Ａ）に円形配置パターンＡの結果、（Ｂ）に正方形配置パターンＡの結果、（Ｃ）に任意配置パターンＡの結果を示す。これらの分類結果より、（Ａ）円形配置Ａと（Ｂ）正方形配置Ａの場合は、４種類の形状について、いずれも同じクラスタ内に分類されていることがわかる。円形配置Ｂ及びＣ並びに正方形配置Ｂ及びＣについても、分類結果としては円形配置Ａとほぼ同様な結果となった。他方、任意配置Ａの場合は、円柱と半球のデータに関しては分類の精度が低い結果となった。定量的な評価としてＪ_σを求めた結果を表１に示す。表１は、光源配置実験における学習後マップのＪ_σ値の比較を示す表である。表１より、円形配置及び正方形配置に関しては、各パターンについてほぼ同等の高いＪ_σ値を得ている。他方、任意配置については、円形配置及び正方形配置に比べ、Ｊ_σ値は低い。

円形・正方形配置と任意配置との相違点を考えると、カメラに対して、光源配置が対称であるか非対称であるかが最も顕著な相違点であり、この点の影響が大きいと考えられる。以上の実験結果より、光源配置の推定結果への影響に関して、光源の配置はカメラに対して対称に配置することが必要であることが分かった。これは、対称性の欠けた配置を行うと影のでき方に影響を与え、結果として、物体の形状を影情報として適切に反映できないものと考えられる。

図８（Ｄ）は、円形配置パターンＡの分類結果に、学習用データと同型のテストデータを提示した結果を示す図である。図８（Ｄ）より、テストデータは、同形状かつ同等サイズのクラスにマッピングされていることがわかる。よって、学習後のマップを用いて形状の推定が可能である。

表２は、円形配置パターンＡの結果に未知のテストデータ（図７（Ｅ）参照）を提示し、マッピングされたクラスを示す。表２より、６種類の未知データは、それぞれ大まかに類似した形状のグループにマッピングされていることがわかる。よって、本提案手法は、未知な形状に関しても形状を的確に推定することが可能である。

続いて、図９及び図１０を参照して、回転照射軸アレイデバイスの照射軸数が、三次元形状の推定結果に及ぼす影響の実験について説明する。

図９は、実験を行った照射軸数とその配置を示す図である。軸数は、1，2，3，4，8軸の計５種類について実験を行った。光源配置は、図７（Ａ）に示す円形配置のパターンＡを用いた。撮影対象は、図７（Ｄ）に示す対象を用いた。さらに、定量的な評価としてJ_σを算出し、比較を行った。自己組織化マップのパラメータは、同様である。

図１０は、（Ａ）照射軸数１軸の結果、（Ｂ）照射軸数２軸の結果、（Ｃ）照射軸数３軸の結果、（Ｄ）照射軸数４軸の結果、（Ｅ）照射軸数８軸の結果を示す図である。Ｊ_σは、軸数１が2.02、軸数２が3.28、軸数３が4.18、軸数４が4.23、軸数８が4.39である。定量的な評価として、軸数３以上については、ほぼ同等の高いＪ_σ値を得ている。一方、軸数１、２については、軸数３以上に比べJ_σ値は低い。

図１０を具体的に検討しても、軸数３、軸数４及び軸数８では適切な分類結果となっている。それに対して、軸数１の場合は、４種類の形状ごとのクラスタとしては適切な分類結果ではないことがわかる。軸数２の場合は、円柱及び半球の形状について、適切な分類結果とはならなかった。これは、軸数が１軸又は２軸と少ないので、各物体の三次元形状を十分に影に反映できていないことが原因と考えられる。しかし、軸数１の結果を見ると、マップの上下において円柱・半球と四角柱・三角柱に大まかに分類できている。これは、一つの光源であっても、少なくとも円柱・半球におけるカーブの輪郭部分と四角柱・三角柱における直線の輪郭部分のエッジ特徴を抽出できていることを示している。

以上の実験結果より、照射軸数の推定結果への影響に関して適切な分類結果を得るためには、少なくとも３軸以上の照射軸が必要であることが分かった。軸数が少ない場合は、物体の形状を影情報として適切に反映できないことが影響していると考えられる。

続いて、図１１を参照して、対象物体のずれが三次元形状の推定結果に及ぼす影響の実験について説明する。本実験では、水平方向のずれの影響を検証した。ずれは図１１（Ａ）に示すように、画像フレーム内の中央を基準とし、基準から左右に距離ｌ=5mmずつ移動させたものとした。回転照射軸アレイデバイスの光源配置は、図７（Ａ）の円形配置Ａとした。照射軸数は８軸とした。撮影対象は、円柱，四角柱，三角柱，半球の４パターンの中サイズを使用し、前述のずれを加えた状態で撮影したものを用いた。また、自己組織化マップのパラメータは前述のとおりである。

図１１（Ｂ）は、水平方向ずれの分類結果を示す図である。図１１（Ｂ）より、水平方向のずれは、４種類の形状についていずれも同じクラスタに分類されているので、今回用いたデバイスサイズにおいては、ずれの影響は少ないと考えられる。ただし、撮影範囲が広い場合、ずれが大きくなると影の形状も大きく変化し、学習後の自己組織化マップにも影響が出る可能性はある。

また、図１１（Ｃ）は、図８（Ａ）におけるずれを含まないデータで学習したマップ（円形配置、軸数８）に、ずれを含むデータを提示した結果を示す図である。図１１（Ｃ）より、ずれを含むデータは、ずれに関係なく同形状のクラスにマッピングされた。この結果からも、ずれの影響は少ないことがわかる。

以上の検証により、光源配置はカメラに対して対称性を保った配置にし、照射軸数はできる限り多く用意することが、よい推定結果につながることがわかる。また、対象物体のずれがデータの分類結果および推定結果に与える影響は少ないこともわかる。

本実施例では、図１２及び図１３を参照して、回転照射軸アレイデバイスを用いた三次元形状推定の応用例として、物体表面の粗さ判別を行うものについて説明する。一般に、表面粗さ計測はマイクロメートルオーダーの凹凸やゆがみの検出をさす場合が多く、専用の装置や手法が提案されている。しかし、本実施例では、対象とする粗さのサイズをミリメートルオーダーと定義する。さまざまな表面粗さを持つ物体に対して、本願発明を用いることにより、その表面粗さがどの程度の粗さであるかを判別する。

本実施例では、表面粗さを持つ物体として、粒度の比較的高いサンドペーパーを利用する。図１２（Ａ）〜（Ｅ）は、学習に用いるサンドペーパーを示す図であり、JIS規格で定められた５種類（粗い方から（Ａ）P16，（Ｂ）P24，（Ｃ）P36，（Ｄ）P40，（Ｅ）P50）である。図１２（Ｆ）は、回転照射軸アレイデバイスで図１２（Ａ）のサンドペーパーP16を撮影した結果の一例を示す図である。また、自己組織化マップの各種パラメータは、競合層ユニット数は100（10×10）、入力ベクトル数は25、学習係数の初期値は0.4、近傍範囲の初期値は10、学習回数は5000である。また、回転照射軸アレイデバイスにおいて、光源配置は円形配置Ａ（図７（Ａ））とする。照射軸数は８軸とする。

図１３（Ａ）は、学習用画像とテスト用画像を示す図である。サンドペーパー１種類につき５セットの自己組織化マップ学習用データを回転照射軸アレイデバイスによって撮影する。また、テスト用として、サンドペーパー1種類につき、ノイズ無し画像、ノイズ有り画像、ノイズ除去済み画像を１セットずつ用意する。ノイズ除去済み画像は、図４（Ｇ）〜（Ｋ）を参照して説明したものである。

図１３（Ｂ）は、学習後の自己組織化マップにノイズ無し画像のテストデータを提示した結果である。まず学習用データに注目すると、同じ粗さのサンドペーパーは同じクラスタとして分類されていることがわかる。また、テストデータとして提示したノイズ無し画像のデータについても、同じ粗さのクラスタに分類されていることがわかる。したがって、ノイズ無し画像データについては所望の識別結果を得ることができた。

図１３（Ｃ）は、図１３（Ｂ）と同じマップに、ノイズ有り画像データと、その画像からノイズを除去した画像データの２種類を、テストデータとして提示した結果である。図１３（Ｃ）より、ノイズ有り画像のデータは、間違ったクラスタへ分類されていることがわかる。これは、ノイズ情報が影情報と混同された結果であると考えられる。他方、そのノイズ情報を除去したデータの結果を見ると、同じ粗さのクラスタに分類されていることがわかる。この結果より、回転照射軸アレイデバイスを使ったノイズ除去手法の有効性を示すことができた。

以上より、本提案手法は，前章で示した立体構造物単体の三次元形状推定だけでなく，表面に細かな凹凸が連続する表面粗さの判別にも有効である。これは、ウェーブレット解析が影のエッジ特徴とテクスチャ特徴を同時に抽出できることに由来する。

本実施例では、図１４及び図１５を参照して、図１の光源配置部３７の動作の一例につき、具体的に説明する。本実施例では、学習に光源配置を含め、これを遺伝的アルゴリズム（ＧＡ）により最適化する。また、本実施例では、最適化のパラメータは照明の位置（照明の座標、同心円（方形の大きさ））である。また、撮影する対象物３の既知の形状は、まず、区別が困難な円柱と半球とし（図１０（Ａ）及び（Ｂ）参照）、さらに、これらに加えて三角柱を対象とする。

まず、撮影条件は、図１４（Ａ）に示すように、カメラと対象物との距離は50mmとする。また、対象物は、円柱、半球、三角柱について、半径又は一辺が大15mm、中10mm、小5mmの３種類ずつとする。

点光源の照明位置候補は、図１４（Ｂ）に示すように、カメラを中心とし、周囲６４ヶ所に正方形に配置される。これは、比較的均等な配置が可能であり、かつ、ＧＡにおいて遺伝子として扱いやすい６ビットで表現が可能な個数である。各位置には、位置番号が、正方形の一つの頂点から対角線上の頂点に向けて順に付せられている。なお、各撮影位置からの影画像は予め撮影しておく。図１４（Ｃ）は、３種類の円柱について、位置番号０、３、２７及び６４からの影画像を示す図である。ウェーブレット変換を用いた特徴抽出も、予め計算済みとする。

ＧＡの各種パラメータは、個体長が48bit（6bit×8照明）、個体数が50、交叉確率が0.4、突然変異確率が0.05、世代数が100とする。また、ルーレット選択で一点交叉、エリート保存戦略である。また、ＳＯＭの各種パラメータは、競合層が10×10、入力ベクトル数が6、要素数が72（9×8照明）、学習回数が5000、学習係数の初期値は0.4、近傍範囲の初期値が10である。

以下では、照明位置候補を各形状の分離の度合い（分離度、ＧＡにおける適合度）により評価する。そして、ＧＡの遺伝操作による最適化により分解能が高い照明位置を見つけ、６４ヶ所から８ヶ所を照明位置として選択する。

図１４（Ｄ）は、本実施例における、図１の特徴情報生成部２９並びに学習部３１及び光源配置部３７の動作の一例を示すフロー図である。まず、８箇所の遺伝子が選ばれているものとする。図１の特徴情報生成部２９は、これらに対応するＳＯＭの入力データを生成する（ステップＳＴＬＬ１）。そして、学習部３１は、分類用データ記憶部３３に記憶されたＳＯＭを学習する（ステップＳＴＬＬ２）。そして、学習部３１は、分離度を計算する（ステップＳＴＬＬ３）。本実施例における分離度については、後に具体的に説明する。そして、分離度が分離を示す値であるか否かを判断し（ステップＳＴＬＬ４）、十分な分離を示す場合に、終了条件を満たすものとして処理を終了する。このとき、光源配置部３７は、照明させるべき照明配置候補の情報を光源制御部１７に送信する。分離度が十分な分離を示していない場合、通常のＧＡのとおり、遺伝子を選択し（ステップＳＴＬＬ５）、交叉し（ステップＳＴＬＬ６）、突然変異させ（ステップＳＴＬＬ７）、ステップＳＴＬＬ１の処理に戻る。そして、これらの遺伝子に対して、終了条件が満たされるまで繰り返す。

図１５（Ａ）を参照して、本実施例における分離度について説明する。学習後のＳＯＭについて、直線ｙ＝ａｘ＋ｂで領域Ｐと領域Ｑに分割する。そして、本実施例分離度Ｅを、(18)及び(19)式で定義されるＥ₁及びＥ₂の最大値とする。ただし、Ｅの最小値は0.5であるので、Ｅ＝0.5の場合はＥ＝０とする。例えば図１５（Ａ）の場合、領域Ｐに含まれるクラスＡのデータ数は１であり、領域Ｑに含まれるクラスＢのデータ数は１である。そのため、Ｅ₁は0.33、Ｅ₂は0.66であり、Ｅは0.66となる。この分離度ＥをＧＡの適合度として用いる。

図１５（Ｂ）及び（Ｃ）は、円柱と半球の場合の最適化結果を示す図である。分離度１（完全な分離）の配置を得ることができている。この場合、ほぼ円形となり、より影の違いがでやすい中心からの距離が遠い場所が多く選ばれている。

また、図１５（Ｄ）及び（Ｅ）は、円柱と半球と三角柱の場合の最適化結果を示す図である。この場合も分離度１の配置を得ることができている。この場合、ほぼ円形となり、より影の違いがでやすい中心からの距離が遠い場所が多く選ばれている。
分離度１の配置を得ることができた

なお、図１において、撮影部１９は複数存在し、光源制御と同期して異なる撮影部が撮影するものであってもよい。また、光源１５と撮影部１９との位置関係は、対象物を挟んで反対側にあるものであってもよい。また、光源制御部１７は、複数の光源１５のうちの一つのみを点灯させるだけでなく、複数の光源１５の一部を同時に点灯させ、他の一部を点灯させないものであってもよい。また、光源制御部１７は、各光源１５の点灯させる色や強さを制御するものであってもよい。また、推定部３５は、時を異にして同一の対象物３の影を撮影して得られた複数の特徴情報をＳＯＭ等の分類用データに提示したときに、時間に沿った分類用データにおける配置位置の変化から、例えば対象物３の大きさ・形状・ズレ（動き）の変化をも推定するようにしてもよい。

また、図３（Ａ）において、撮影部１９は、撮影毎に形状推定装置７に撮影データを送信するものであってもよい。

また、実施例４において、最適化のパラメータとしては、例えば、同心円の大きさや、カメラと対象物との距離、各光源の輝度、各光源の色、などがある。

本願発明は、その特長から、例えば、宇宙や海底といった極限環境での使用に耐えうる装置の実現や、病変診断などの微細領域の判定等、幅広い分野へ応用が期待できる重要な技術である。

また、本願発明は、図１２のサンドペーパーについて、複数の粗さの異なる対象は粗さごとに分類され、対象物体の表面粗さを判別することができた。これは、個々の隆起物が作り出す影の形状から三次元形状を推定したというよりは、各々の影のつながり，すなわち影のテクスチャ情報から全体としての粗さ具合を推定できたことを意味する。そのため、本願発明によって単体の立体構造物の三次元形状推定が可能であるだけでなく、表面に細かな凹凸が連続する表面粗さの判別が可能であることがわかる。このサンドペーパーは、対象物体として口腔癌の顆粒状表面を模擬したものであり、このような場合に三次元形状を推定することができた。そのため、例えば、口腔癌の判別における患部の隆起や顆粒状表面の判断等、立体認識かつ粗さ判別が必要な場面にも威力を発揮することができる。

１形状推定システム、３対象物、５影撮影装置、７形状推定装置、１５₁，・・・，１５_N 光源、１７光源制御部、１９撮影部、２１撮影データ記憶部、２５修正画像データ記憶部、２７画像データ修正部、２９特徴情報生成部、３３分類用データ記憶部、３５推定部

Claims

対象物の形状を推定する形状推定システムであって、
対象物に対して光を放射する複数の光源と、
前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、
前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影する撮影手段と、
複数の既知の形状を撮影して生成された特徴情報について、相似する形状と相似しない形状とを区別可能な分類用データを記憶する分類用データ記憶手段と、
前記複数の光源のうち一部の光源を点灯させずに既知の形状を撮影して生成された特徴情報を用いて、前記分類用データを相似する形状と相似しない形状とを区別可能に学習させる学習手段を備える、形状推定システム。
前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、
前記撮影データを画像処理することにより、前記撮影データにおける対象物の影の特徴を示す分類対象特徴情報を生成する特徴情報生成手段と、
前記分類用データにおいて、前記分類対象特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定する推定手段を備える、請求項１記載の形状推定システム。
前記学習手段は、点灯し又は点灯しなかった光源の組み合わせを示す情報を前記光源制御手段に送信する光源配置手段を有する、請求項１又は２に記載の形状推定システム。
前記各光源は、前記対象物の各撮影において、照明時も非照明時も同じ位置に存在する、請求項１から３のいずれかに記載の形状推定システム。
前記対象物から前記光源への向きである軸について、前記複数の光源のうち、少なくとも３つの光源の軸が異なる、請求項１から４のいずれかに記載の形状推定システム。
前記形状推定装置は、前記対象物の各撮影に対応する複数の撮影データにおける影を示すデータに共通する部分を除去して修正画像データを生成する画像データ修正手段を備え、
前記特徴情報生成手段は、前記修正画像データから特徴情報を生成する、
請求項１から５のいずれかに記載の形状推定システム。
対象物の形状を推定する形状推定システムにおける形状推定方法であって、
前記形状推定システムは、前記対象物の影を撮影する影撮影装置と前記影撮影装置により得られた撮影データから特徴情報を生成して前記対象物の形状を推定する形状推定装置を備え、
前記影撮影装置は、
前記対象物に対して光を放射する複数の光源と、
前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、
前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影して撮影データを得る撮影手段を有する撮影装置を備えるものであり、
前記形状推定装置は、
前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、
既知の形状の複数の対象物を撮影して生成された撮影データにおける対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報について、相似する形状と相似しない形状とを区別可能に学習された自己組織化マップを記憶する分類用データ記憶手段を備え、
前記形状推定装置の特徴情報生成手段が、前記撮影データにおける未知の形状の対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、
前記形状推定装置の推定手段が、前記自己組織化マップに提示して、当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップを含む形状推定方法。
コンピュータにおいて、
学習手段が、既知の形状の複数の対象物に対して光を放射する複数の光源のうち、少なくとも一部を照明させずに撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報により、相似する形状と相似しない形状とを区別可能に自己組織化マップを学習させるステップと、
学習手段の光源配置手段が、少なくとも前記照明させない光源を特定可能な情報を前記複数の光源の点灯を制御する光源制御手段に送信するステップと、
特徴情報生成手段が、未知の形状の対象物に対して前記光源制御手段による光源制御に同期して撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、
推定手段が、前記自己組織化マップに提示して、当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップ
を実現させるためのプログラム。
請求項８記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。