JP5034927B2 - 情報取得装置、情報取得方法および情報取得プログラム - Google Patents

Description

本発明は、撮像機器を用いて撮像した対象物の画像から、対象物の分光情報と距離情報を同時に取得する情報取得装置、情報取得方法および情報取得プログラムに関する。

近年、文化財等の持つ様々な情報をデジタル化して保存を行なうデジタルアーカイブが重要視されている。デジタル化する情報として主要なものに、対象物の立体形状情報や色彩情報がある。対象物の色彩情報をデジタル化する方法として一般的なものは、デジタルカメラ等の撮像機器を用いて対象物の画像を取得する方法である。その際、市販のデジタルカメラで取得されるようなＲＧＢの３バンドの画像ではなく、よりバンド数の多い画像、いわゆる分光画像を取得することが、対象物のより忠実な色再現を行なうためには望ましい。

分光画像を取得する方法としては、１台のモノクロカメラの前方に、それぞれ異なる透過波長域特性を持った分光フィルタを複数セットするか、あるいは透過波長帯域を電気的に制御できる液晶チューナブルフィルタを用いるなどして、各々透過波長域を切り替えつつ撮像を繰り返して取得する方式（例えば特許文献１参照）や、１台のＲＧＢの３バンドのカメラの前方に櫛形の分光透過特性を持ったフィルタをセットし、撮像時のフィルタの有無により合計６バンドの画像を得る方法（例えば特許文献２参照）などがある。

他方、対象物の立体形状情報を取得する方法としては、カメラ等の撮像機器を用い、撮像した画像を用いて、カメラと対象物の幾何関係から三角測量の原理により形状を推定するものが主流である。この画像処理により得た対象物表面のカメラからの各点の距離を格子状に並べて画像として表現したものを距離画像と呼ぶ。距離画像は対象物表面上の各点に関する位置情報が、距離画像撮像機器によって定義される３次元座標系で表現される座標値として保持されている。

三角測量の原理により距離画像を得る方式は、大別するとパターン光やスリット光を対象物に照射したものを撮像機器で撮像することで物体を認識するアクティブ方式と、そのような特別な投光手段によらないで形状測定を行なうパッシブ方式がある。パッシブ方式は特別な投光機材が必要なく、またレーザ等の強い光源を照射する必要がないため、文化財を対象物とする場合にはパッシブ方式による距離画像取得方法の方が望ましい。パッシブ方式による距離画像取得方法としては、少なくとも２台のカメラによって対象物を撮影し、対象物のカメラ毎の見え方の違い、すなわち両眼視差から形状を推定するステレオカメラ方式が主要である（例えば特許文献３参照）。
特開２００１−００５０４６号公報 特開２００５−２６０４８０号公報 特開２００１−１５３６３３号公報

しかしながら、従来の分光画像取得方法および距離画像取得方法は、対象物の形状と分光情報とを同時に取得することができないという問題がある。そのためこれらの情報を統合して扱うためには、それぞれ取得した分光画像の各点と距離画像の各点との間の対応を取る処理が必要となり、多大な作業時間を必要とする。また、分光画像と距離画像取得に用いた各カメラ間の幾何関係が既知でない限り、対応をとることも困難であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、撮像装置を用いて対象物の分光画像と距離画像を同時に取得することにより、対応関係が明確な分光情報と距離情報を容易に取得することができる情報取得装置、情報取得方法および情報取得プログラムを提供することを目的とする。

本発明は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像データを取得する第１の撮像手段と、少なくとも３チャンネルの分光感度を有し、該３チャンネルの分光感度のうちの１チャンネルが前記第１の撮像手段が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が前記第１の撮像手段が有する分光感度と異なる分光感度を有し、前記撮像対象物の画像データを取得する第２の撮像手段と、分光感度が同一のチャンネルである前記第１の撮像手段による画像データと、前記第２の撮像手段による画像データとを用いて、距離画像情報を生成する距離画像生成手段と、前記第１の撮像手段と前記第２の撮像手段のそれぞれが有する各チャンネルの画像データから分光画像情報を生成する分光画像情報生成手段とを備えたことを特徴とする。

本発明は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像データを取得する第１の撮像手段と、少なくとも３チャンネルの分光感度を有し、該３チャンネルの分光感度のうちの１チャンネルが前記第１の撮像手段が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が前記第１の撮像手段が有する分光感度と異なる分光感度を有し、前記撮像対象物の画像データを取得する第２の撮像手段とを備える情報取得装置における情報取得方法であって、分光感度が同一のチャンネルである前記第１の撮像手段による画像データと、前記第２の撮像手段による画像データとを用いて、距離画像情報を生成する距離画像生成ステップと、前記第１の撮像手段と前記第２の撮像手段のそれぞれが有する各チャンネルの画像データから分光画像情報を生成する分光画像情報生成ステップとを有することを特徴とする。

本発明は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像データを取得する第１の撮像手段と、少なくとも３チャンネルの分光感度を有し、該３チャンネルの分光感度のうちの１チャンネルが前記第１の撮像手段が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が前記第１の撮像手段が有する分光感度と異なる分光感度を有し、前記撮像対象物の画像データを取得する第２の撮像手段とを備える情報取得装置上で動作する情報取得プログラムであって、分光感度が同一のチャンネルである前記第１の撮像手段による画像データと、前記第２の撮像手段による画像データとを用いて、距離画像情報を生成する距離画像生成ステップと、前記第１の撮像手段と前記第２の撮像手段のそれぞれが有する各チャンネルの画像データから分光画像情報を生成する分光画像情報生成ステップとをコンピュータに行わせることを特徴とする。

本発明によれば、対象物の分光画像情報および距離画像情報を同時に取得し、さらに取得した分光画像および距離画像問の対応付けを容易に行うことが可能になるという効果が得られる。

以下、本発明の一実施形態による情報取得装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１０は、分光画像情報および距離画像情報を取得する画像取得装置である。符号２０は、分光情報と距離情報を取得するべき対象物である。符号３０は、対象物２０を照明する光源である。光源３０は、可視波長域内全域にわたってある程度の分光強度を持っていればよい。また、分光強度が既知であることが望ましい。符号１１、１２は、対象物２０の画像を撮像してデジタルの画像データを出力するカメラであり、２つのカメラの設置位置関係は既知である。ここでは、左側に配置したカメラを左側カメラ１１と称し、右側に配置したカメラを右側カメラ１２と称する。符号１３は、左側カメラ１１と右側カメラ１２の動作を制御する制御部である。符号１４は、制御部１３を介して入力した左側カメラ１１と右側カメラ１２の２枚の画像データに対して、画像処理を実行して分光画像情報および距離画像情報を生成する画像処理部である。符号１５は、作業者が画像取得装置１０を動作するための操作を行う操作部であり、キースイッチ等から構成する。

ここで、図３、図４を参照して、左側カメラ１１と右側カメラ１２それぞれの分光感度特性について説明する。図３は、左側カメラ１１と右側カメラ１２それぞれの分光感度特性を示す図である。この図に示すように、右側カメラ１１および左側カメラ１２は、それぞれ１つのチャンネルのみ（図３に示す例では、チャンネル２）同一の分光感度特性を持ち、残りの２つのチャンネルがそれぞれ異なる分光感度を持った３バンド式のカメラである。これは、例えば右側カメラ１１および左側カメラ１２とに同一の機種のカメラを用い、片方のカメラ（例えば、左側カメラ１２）の結像光学系内に、図４に示すようなバンドパス特性を持った光学フィルタを設置することで実現することが可能である。このような構成とすることで、同一の分光感度特性を持つチャンネルの画像データを用いて、後述する左右画像間のマッチング処理を行い、分光分布の変化が大きい対象物２０に対しても精度よくマッチングを行なうことができる。

また、右側カメラ１１および左側カメラ１２は、それぞれ対象物２０の向かって右側、左側に対置させるようにして撮像を行う。さらに、後述するマッチング処理で必要となるために、右側カメラ１１および左側カメラ１２は校正済みであり、相互の幾何関係、カメラの内部パラメータおよび外部パラメータが既知であることが必要である。また、後述するマッチング処理を簡単にするため、右側カメラ１１および左側カメラ１２は、それぞれの光軸が平行となるように配置することが望ましい。

次に、図２を参照して、図１に示す画像取得装置１０の動作を説明する。図２は、画像取得装置１０により、対象物２０の分光画像および距離画像を取得する動作を示すフローチャートである。

まず、作業者は、画像取得装置１０が備える右側カメラ１１および左側カメラ１２の撮像視野内に対象物２０を設置するとともに、光源３０により対象物２０を照明する（ステップＳ１）。続いて、作業者は、操作部１５を操作して、右側カメラ１１および左側カメラ１２によって対象物２０を撮像する指示を出す。これを受けて、制御部１３は、右側カメラ１１および左側カメラ１２に対して、撮像の指示を出力する。この撮像指示を受けると、右側カメラ１１および左側カメラ１２は、対象物２０の撮像を行い、撮像画像データを制御部１３へ出力する（ステップＳ２）。これを受けて、制御部１３は、２枚の画像データを画像処理部１４へ転送する（ステップＳ３）。

次に、画像処理部１４は、２枚の画像データの補正処理を行なう（ステップＳ４）。これは、右側カメラ１１および左側カメラ１２で取得した２枚の画像データについて、後述するマッチング処理を行なうために必要な処理であり、２つのカメラの光軸が平行で、かつ撮像面が同一平面上となるような関係にしたときに得られる画像となるように、カメラ間の既知である幾何関係に基づいて画像上の補正を行なうものである。この補正処理は、公知の方法で行うため、ここでは詳細な説明を省略する。なお、右側カメラ１１および左側カメラ１２が、それぞれの光軸が平行で、かつ撮像面が同一平面上となるように配置されていれば、この補正処理を行う必要はない。

次に、画像処理部１４は、補正した２枚の画像間のマッチング処理を実施し、マッチングする点の探索を行なう（ステップＳ５）。これは、補正した２枚の画像それぞれに対して、対象物２０の同一の地点を差している画像座標の対応をとる処理である。このマッチング処理は、２枚の画像データのうち、同一の分光感度をもつチャンネル（図３に示すチャンネル２）の画像データのみを用いて行なう。このマッチングの処理は勾配法などの公知の方法を用いるため、ここでは詳細な処理動作の説明を省略する。マッチング処理は、同一の分光感度をもつチャンネル（図３に示すチャンネル２）の画像データのみを用いて行うようにしたため、２枚の画像データからマッチングする点の探索を精度良く行うことができる。

次に、画像処理部１４は、ステップＳ５の処理によって得られた２枚の画像中の対象物２０の対応点の組から、距離画像の生成を行なう（ステップＳ６）。これは右側カメラ１１あるいは左側カメラ１２いずれかの補正画像の撮像面を基準として画像中の対象物２０までの距離のデータに基づいて距離画像を生成する処理で、距離の大きさを画像の輝度で表現した画像が得られるものである。この距離画像の生成処理は、既知であるカメラのパラメータを使用して公知の距離画像生成方法（例えば、三角測量の原理を使用）によって生成するため、ここでは、詳細な処理動作の説明を省略する。

次に、画像処理部１４は、分光画像の生成を行なう（ステップＳ７）。分光画像はステップＳ５において得られた２枚の画像中の対象物２０の対応点の組から、各チャンネルの輝度データを割り当てることで生成する。図３に示す分光感度を持つカメラを用いた場合、２枚の画像データのうち、同一の分光感度をもつチャンネルの画像値は２枚の画像データ（輝度値）の平均値とし、その他のチャンネルの輝度値はそのまま格納することで、合計５バンドの分光画像情報が得られることになる。図３に示す例では、右側カメラ１１のチャンネル１の分光画像情報、右側カメラ１１のチャンネル３の分光画像情報、左側カメラ１２のチャンネル１の分光画像情報、左側カメラ１２のチャンネル３の分光画像情報及び２つのカメラのチャンネル２の分光画像情報が得られることになる。

次に、画像処理部１４は、ステップＳ６の処理で生成した距離画像情報と、ステップＳ７で生成した分光画像情報とを出力する（ステップＳ８）。ここで出力される距離画像情報および分光画像情報は、画像中の各座標において１対１の対応がとれたものになっている。

このように、３チャンネルの分光感度を有し、対象物２０の画像データを取得する右側カメラ１１と、３チャンネルの分光感度を有し、この３チャンネルの分光感度のうちの１チャンネルが右側カメラが有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が右側カメラ１１が有する分光感度と異なる分光感度を有し、対象物２０の画像データを取得する左側カメラ１２と、分光感度が同一のチャンネルである右側カメラ１１による画像データと、左側カメラ１２による画像データとを用いて、三角測量の原理により距離画像情報を生成し、右側カメラ１１と左側カメラ１２のそれぞれが有する各チャンネルの画像データから分光画像情報を生成するようにしたため、対象物の分光画像情報および距離画像情報を同時に取得することができ、さらに取得した分光画像および距離画像問の対応付けがされた画像情報を得ることができる。

なお、前述した説明においては、画像取得装置１０に画像処理装置１４を組み入れた構成となっているが、別々の構成とし、画像取得装置１０からの画像は未処理のまま、コンピュータ等に転送してからステップＳ４以降の処理を行なうようにしてもよい。

また、前述した右側カメラ１１と左側カメラ１２は、それぞれ３チャンネルの分光感度を有しているものとして説明したが、３チャンネルに限らず４チャンネル以上の分光感度を有しているカメラであってもよい。すなわち、２台のカメラが有する分光感度のうち、少なくとも１つのチャンネルの分光感度が２台のカメラ間で一致しており、他のチャンネルの分光感度が異なったカメラであればよい。

以上説明したように、分光感度がそれぞれ異なる２つの３チャンネル以上のカメラを用いて、対象物を撮影し、各画像の視差から距離画像を取得し、距離画像のピクセル毎に２つのカメラの色情報を割り当てることで、分光画像（マルチバンド画像）と距離画像を取得するようにしたため、分光画像および距離画像を同時に、かつ分光画像と距離画像の各画素の対応がとれた状態で取得することができるとともに、特別な機器を用いず、安価かつ容易に構成可能な装置で実現することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより分光画像および距離画像の取得処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像取得装置１０の動作を示すフローチャートである。 図１に示す右側カメラ１１および左側カメラ１２の各チャンネルの分光透過率分布を示す説明図である。 図１に示す左側カメラ１２が備える光学フィルタの分光透過率分布を示す説明図である。

符号の説明

１０・・・画像取得装置、１１・・・右側カメラ、１２・・・左側カメラ、１３・・・制御部、１４・・・画像処理部、２０・・・対象物、３０・・・光源

Claims (3)

1. 少なくとも３チャンネルの分光感度を有し、撮像対象物の画像データを取得する第１の撮像手段と、
   少なくとも３チャンネルの分光感度を有し、該３チャンネルの分光感度のうちの１チャンネルが前記第１の撮像手段が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が前記第１の撮像手段が有する分光感度と異なる分光感度を有し、前記撮像対象物の画像データを取得する第２の撮像手段と、
   分光感度が同一のチャンネルである前記第１の撮像手段による画像データと、前記第２の撮像手段による画像データとを用いて、距離画像情報を生成する距離画像生成手段と、
   前記第１の撮像手段と前記第２の撮像手段のそれぞれが有する各チャンネルの画像データから分光画像情報を生成する分光画像情報生成手段と
   を備えたことを特徴とする情報取得装置。
2. 少なくとも３チャンネルの分光感度を有し、撮像対象物の画像データを取得する第１の撮像手段と、
   少なくとも３チャンネルの分光感度を有し、該３チャンネルの分光感度のうちの１チャンネルが前記第１の撮像手段が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が前記第１の撮像手段が有する分光感度と異なる分光感度を有し、前記撮像対象物の画像データを取得する第２の撮像手段とを備える情報取得装置における情報取得方法であって、
   分光感度が同一のチャンネルである前記第１の撮像手段による画像データと、前記第２の撮像手段による画像データとを用いて、距離画像情報を生成する距離画像生成ステップと、
   前記第１の撮像手段と前記第２の撮像手段のそれぞれが有する各チャンネルの画像データから分光画像情報を生成する分光画像情報生成ステップと
   を有することを特徴とする情報取得方法。
3. 少なくとも３チャンネルの分光感度を有し、撮像対象物の画像データを取得する第１の撮像手段と、
   少なくとも３チャンネルの分光感度を有し、該３チャンネルの分光感度のうちの１チャンネルが前記第１の撮像手段が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度が前記第１の撮像手段が有する分光感度と異なる分光感度を有し、前記撮像対象物の画像データを取得する第２の撮像手段とを備える情報取得装置上で動作する情報取得プログラムであって、
   分光感度が同一のチャンネルである前記第１の撮像手段による画像データと、前記第２の撮像手段による画像データとを用いて、距離画像情報を生成する距離画像生成ステップと、
   前記第１の撮像手段と前記第２の撮像手段のそれぞれが有する各チャンネルの画像データから分光画像情報を生成する分光画像情報生成ステップと
   をコンピュータに行わせることを特徴とする情報取得プログラム。

Images