JP6197315B2 - 画像取得装置及び画像取得方法及び画像取得プログラム - Google Patents

Description

本発明は、撮像機器を用いて撮像した対象物の画像から、対象物の分光情報を取得する画像取得装置、画像取得方法及び画像取得プログラムに関する。

近年、文化財等の持つ様々な情報をデジタル化して保存を行うデジタルアーカイブが重要視されている。デジタル化する情報として主要なものに、対象物の立体形状情報や色彩情報がある。対象物の色彩情報をデジタル化する方法として一般的なものは、デジタルカメラ等の撮像機器を用いて対象物の画像を取得する方法である。その際、市販のデジタルカメラで取得されるようなＲＧＢの３バンドの画像ではなく、よりバンド数の多い画像、いわゆる分光画像を取得することが、対象物のより忠実な色再現を行うためには望ましい。

分光画像を取得する方法としては、１台のＲＧＢの３バンドのカメラの前方に櫛形の分光透過特性を持った光学フィルタを配置し、撮像時の光学フィルタの有無により合計６バンドの画像を得る方法（例えば非特許文献１参照）などがある。

しかしながら、非特許文献１のカメラ構成では、カメラに接続したフィルタの有無でカメラの重心が異なることで、それぞれの撮像時におけるカメラの光軸が異なる。そのため、同一のカメラで撮影してもそれぞれの画像の各画素が対応しない問題がある。

上述の問題を解決するために、２台のＲＧＢの３バンドのカメラのうち、一方のカメラの前方に光学フィルタを配置し、他方には配置せずに撮影することで分光画像を取得する方法（例えば特許文献１参照）がある。この方法では、それぞれのカメラの１チャンネルの分光感度を同一とする光学フィルタを用いることで、対象物の分光反射率が異なっていてもそれぞれの画像の各画素を対応させた合計５バンドの画像を得ることができる。

特許第５０３４９２７号公報

「Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ Ｍｕｌｔｉｂａｎｄ Ｉｍａｇｉｎｇ ｆｏｒ Ａｃｃｕｒａｔｅ Ｃｏｌｏｒ Ｒｅｐｒｏｄｕｃｔｉｏｎ、」 Ｍａｓａｒｕ Ｔｓｕｃｈｉｄａ、 Ｔａｋａｈｉｔｏ Ｋａｗａｎｉｓｈｉ、 ａｎｄ Ｊｕｎｊｉ Ｙａｍａｔｏ、ＮＴＴ Ｔｅｃｈｎｉｃａｌ Ｒｅｖｉｅｗ ２０１０、 Ｖｏｌ．８ Ｎｏ．１１

しかしながら、特許文献１の構成は位置の異なる２台のカメラを用いるため、それぞれのカメラで得られる画像において遮蔽や光沢の位置の違いによって画素の対応精度（レジストレーションの精度）が低下する問題がある。

本発明は、上述の問題に鑑みてなされたもので、１つの撮像機器を用いて１チャンネルが同一の分光感度で得られた複数の画像を取得することにより、複数の画像の各画素を対応づけてレジストレーションの精度が高い分光画像を取得することができる画像取得装置
、画像取得方法及び画像取得プログラムを提供することを目的とする。

そこで本発明の請求項１に記載の発明は、
分光画像を取得する装置であって、
撮像手段と、分光感度変更手段と、分光画像生成手段と、を備え、
撮像手段は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像を取得する手段であって、
分光感度変更手段は、前記撮像手段が有する分光感度のうちの少なくとも１チャンネルが同一の分光感度となり、他のチャンネルが異なる分光感度となるような手段であって、
分光画像生成手段は、前記撮像手段が前記分光感度変更手段を配置しない場合に取得した画像と、配置した場合に取得した画像と、から、前記同一の分光感度のチャンネルを用いてレジストレーションを行い、前記レジストレーションされた画像中の対象物の対応画素の組から、各チャンネルの輝度データを割り当てることで分光画像を生成する手段であることを特徴とする画像取得装置である。

そこで本発明の請求項２に記載の発明は、
画像取得装置を用いて、分光画像を取得する方法であって
画像取得装置は、撮像手段と、分光感度変更手段と、分光画像生成手段と、を備え、
撮像手段は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像を取得する手段であって、
分光感度変更手段は、前記撮像手段が有する分光感度のうちの少なくとも１チャンネルが同一の分光感度となり、他のチャンネルが異なる分光感度となるような手段であって、
分光画像生成手段は、前記撮像手段が前記分光感度変更手段を配置しない場合に取得した画像と配置した場合に取得した画像とから、前記同一の分光感度のチャンネルを用いてレジストレーションを行い、前記レジストレーションされた画像中の対象物の対応画素の組から、各チャンネルの輝度データを割り当てることで分光画像を取得する手段であり、
前記撮像手段によって前記分光感度変更手段を配置しない場合に画像を取得する工程と、
前記撮像手段によって前記分光感度変更手段を配置した場合に画像を取得する工程と、
前記取得された２つ以上の画像を用いて分光画像生成手段によって分光画像を生成することを特徴とする画像取得方法である。

そこで本発明の請求項３に記載の発明は、
画像取得装置を用いて分光画像を取得するプログラムであって
画像取得装置は、撮像手段と、分光感度変更手段と、分光画像生成手段と、を備え、
撮像手段は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像を取得する手段であって、
分光感度変更手段は、前記撮像手段が有する分光感度のうちの少なくとも１チャンネルが同一の分光感度となり、他のチャンネルが異なる分光感度となるような手段であって、
分光画像生成手段は、前記撮像手段が前記分光感度変更手段を配置しない場合に取得した画像と配置した場合に取得した画像とから、前記同一の分光感度のチャンネルを用いてレジストレーションを行い、前記レジストレーションされた画像中の対象物の対応画素の組から、各チャンネルの輝度データを割り当てることで分光画像を取得する手段であり、
前記撮像手段によって前記分光感度変更手段を配置しない場合に取得された画像と、前記撮像手段によって前記分光感度変更手段を配置した場合に取得された画像の２つ以上の画像を用いて分光画像生成手段によって分光画像を生成することを特徴とする画像取得プログラムである。

前記画像取得プログラムは、例えば、前記分光画像生成を行うために図１における画像処理部で処理を行うプログラムである。

本発明によれば、複数の画像の各画素を対応づけて分光画像を取得することが可能になる効果が得られる。

本発明の画像取得装置の一例の構成を示すブロック図。 本発明に係るカメラ１１の分光感度と光学フィルタ１２の分光透過率分布を示す説明図。 本発明に係るカメラ１１の前方に（ａ）光学フィルタ１２の未配置時と、（ｂ）配置時におけるカメラ１１の各チャンネルの見かけの分光感度を示す説明図。 本発明の画像取得装置の動作を示すフローチャート。 本発明に係るカメラ１１の前方に（ａ）光学フィルタ１２の未配置時と、（ｃ）配置時におけるカメラ１１の各チャンネルの見かけの分光感度、及び（ｂ）光学フィルタ１２の分光透過率を示す説明図。 本発明に係るカメラ１１の前方に（ａ）光学フィルタ１２の未配置時と、（ｃ）配置時におけるカメラ１１の各チャンネルの見かけの分光感度、及び（ｂ）光学フィルタ１２の分光透過率を示す説明図。

以下、本発明の一実施形態による画像取得装置を図面を参照して説明する。図１は画像取得装置の一例の構成を示すブロック図である。図１において、符号１０は分光画像を取得する画像取得装置である。符号２０は分光画像を取得するべき対象物である。符号３０は対象物２０を照明する光源である。光源３０は可視波長域内全域にわたってある程度の分光強度を持っていればよい。符号１１は撮像手段であって、対象物２０の画像を撮像してデジタルの画像を出力するカメラである。符号１２は分光感度変更手段であって、カメラ１１の前方に配置することで異なる分光感度におけるデジタルの画像を取得する場合に用いられる光学フィルタである。符号１３は光学フィルタ１２を移動することで、カメラ１１の前方に光学フィルタ１２を配置する光学フィルタ配置装置である。カメラ１１は光学フィルタ１２を用いない場合と、光学フィルタ配置装置１３によって光学フィルタ１２をカメラ１１の前方に配置した場合と、で対象物２０を撮像する。符号１４はカメラ１１と光学フィルタ配置装置１３の動作を制御する制御部である。符号１５は分光画像生成手段であって、制御部１４を介して入力したカメラ１１の画像に対して、画像処理を実行して分光画像を生成する画像処理部である。符号１６は作業者が画像取得装置１０を動作するための操作を行う操作部であり、キースイッチ等から構成する。

ここで、図２、図３を参照して、カメラ１１の前方に光学フィルタ１２の配置時と未配置時におけるカメラ１１の各チャンネルの分光感度について説明する。

図２は分光透過率が符号１０１で示される光学フィルタ１２の分光透過率と、カメラ１１の分光感度相対値を示す図である。図３は、光学フィルタ１２の未配置時（図３（ａ））と、配置時（図３（ｂ））におけるカメラ１１の各チャンネルの見かけの分光感度を示す図である。

図３に示すように、光学フィルタ１２の配置時のカメラ１１の各チャンネルの見かけの分光感度と、未配置時におけるカメラ１１の各チャンネルの分光感度は、それぞれ１つのチャンネルのみ（図３に示す例では、チャンネル２ａと２ｂ）同一の分光感度であり、残りの２つのチャンネル（１ａと１ｂ、及び３ａと３ｂ）がそれぞれ異なる。これは、図２に示すような櫛形の分光透過率の光学フィルタ１２をカメラ１１の前方に配置することで実現可能であり、光学フィルタ１２の分光透過率とカメラ１１の分光感度を各波長で乗算した見かけの分光感度で画像を得ることになる。このような構成とすることで、２台のカメラを用いた構成に比べ，遮蔽や光沢の位置の違いが小さい２枚の画像が得られ，同一の分光感度を持つチャンネルの画像を用いて、後述する光学フィルタ１２の配置時と未配置時の画像のレジストレーション処理を行い、分光反射率が大きく異なる対象物２０に対しても光学フィルタ配置時と未配置時の画像の各画素を精度よく対応づけることができる。

次に、図４を参照して、図１に示す画像取得装置１０の動作を説明する。図４は、画像取得装置１０により、対象物２０の分光画像を取得する動作を示すフローチャートである。

まず、作業者は、画像取得装置１０が備えるカメラ１１の撮像視野内に対象物２０を配置するとともに、光源３０により対象物２０を照明する（ステップＳ１）。続いて、作業者は、操作部１６で操作して、カメラ１１によって対象物２０を撮像する指示を出す。これを受けて、制御部１４は、カメラ１１に対して、撮像の指示を出力する。この撮像指示を受けると、カメラ１１は、対象物２０の撮像を行い、撮像画像を制御部１４へ出力する（ステップＳ２）。これを受けて、制御部１４は、画像を画像処理部１５へ転送する（ステップＳ３）。

次に、光学フィルタ１２が未配置であれば（ステップＳ４のＮｏ）、光学フィルタ１２の配置処理（ステップＳ５）を行い、光学フィルタ１２が配置されていれば（ステップＳ４のＹｅｓ）、画像のレジストレーション処理（ステップＳ６）を行う。

光学フィルタ１２の配置処理（ステップＳ５）においては、作業者は、操作部１６で操作して、光学フィルタ配置装置１３によって光学フィルタ１２を配置する指示を出す。これを受けて、制御部１４は、光学フィルタ配置装置１３に対して、光学フィルタ１２配置の指示を出力する。

画像のレジストレーション処理（ステップＳ６）においては、画像処理部１５が、２枚の画像のうち、同一の分光感度をもつチャンネル（図３に示すチャンネル２ａ）の画像のみを用いてレジストレーションを行う。このレジストレーションの処理は位相限定相関法などの公知の方法を用いるため、ここでは詳細な処理動作の説明を省略する。レジストレーション処理は、同一の分光感度をもつチャンネル（図３に示すチャンネル２ａ）の画像のみを用いて行うようにしたため、２枚の画像のレジストレーションを高精度に行うことができる。

次に、画像処理部１５は、分光画像の生成処理を行う（ステップＳ７）。分光画像はステップＳ６においてレジストレーションされた２枚の画像中の対象物２０の対応画素の組から、各チャンネルの輝度データを割り当てることで生成する。図３に示す分光感度を持つカメラを用いた場合、２枚の画像のうち、同一の分光感度であるチャンネル（２ａ、２ｂ）の輝度値は２枚の画像（輝度値）の平均値とし、その他のチャンネル（１ａ、１ｂと３ａ、３ｂ）の輝度値をそのまま格納することで、合計５バンドの分光画像情報が得られることになる。図３に示す例では、光学フィルタ１２が未配置時のカメラ１１のチャンネル１ａと３ａの分光画像情報、光学フィルタ１２が配置時のカメラ１１のチャンネル１ｂと３ｂの分光画像情報、及び光学フィルタ１２配置時と未配置時のチャンネル（２ａ＋２ｂ）／２の分光画像情報が得られることになる。

次に、画像処理部１５は、分光画像を出力する（ステップＳ８）。

このように、３チャンネルの分光感度を有し、対象物２０の画像を取得するカメラ１１と、分光感度のうちの１チャンネルがカメラ１１が有する分光感度のうちの１チャンネルと同一の分光感度であり、他のチャンネルの分光感度がカメラ１１が有する分光感度と異なる分光感度を有するようにカメラ１１の分光感度を異ならせて、対象物２０の画像を取得するための光学フィルタ１２と光学フィルタ配置装置１３と、分光感度が同一のチャンネルを有する複数の画像を用いて、複数の画像のレジストレーションを行い、複数の画像の各チャンネルから分光画像情報を生成するようにしたため、画像の各画素を対応づけて
分光画像を取得することができる。

なお、前述した説明においては、画像取得装置１０に画像処理装置１５を組み入れた構成となっているが、別々の構成とし、画像取得装置１０からの画像は未処理のまま、コンピュータ等に転送してからステップＳ６以降の処理を行うようにしてもよい。

また、前述したカメラ１１は、３チャンネルの分光感度を有しているものとして説明したが、３チャンネルに限らず４チャンネル以上の分光感度を有しているカメラであってもよい。すなわち、光学フィルタ１２の配置時と未配置時において少なくとも１つのチャンネルの分光感度が２枚の画像間で一致しており、他のチャンネルの分光感度が異なっていればよい。

また、光学フィルタ１２を１枚として説明したが、１枚に限らず、異なる分光透過特性の２枚以上の光学フィルタを用いてもよい。すなわち、光学フィルタ未配置時と各光学フィルタ配置時のそれぞれの画像の組み合わせにおいて少なくとも１つのチャンネルの分光感度が少なくとも２枚の画像間で一致しており、他のチャンネルの分光感度が異なっていればよい。

例えば光学フィルタ１２を２枚用いて分光画像を得る場合を図５、６に示す。図５は分光透過率が符号１０２で示される光学フィルタ１２を用いた場合、図６は分光透過率が符号１０３で示される光学フィルタ１２を用いた場合を示す。図５、図６のそれぞれ（ａ）図は光学フィルタ１２未配置時の各チャンネルの分光感度を示し、(ｂ)図は用いた光学フィルタ１２の分光透過率を示し、（ｃ）図は光学フィルタ１２を配置した場合のカメラ１１の各チャンネルの見かけの分光感度を示す図である。

図５、６に示す２枚の光学フィルタ１２を用いた場合には合計５バンドの分光画像情報が得られることになる。すなわち図５に示す例では、チャンネル２ｃの分光画像情報とチャンネル（３ａ＋３ｃ）／２の分光画像情報が得られ、図６に示す例では、チャンネル２ｄの分光画像情報とチャンネル（１ａ＋１ｄ）／２の分光画像情報が得られ、更に光学フィルタ１２が未配置時のカメラ１１のチャンネル２ａの分光画像情報の計５バンドの分光画像情報が得られることになる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより分光画像の取得処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差
分プログラム）であってもよい。

１ａ、２ａ、３ａ・・・光学フィルタを配置しない場合のカメラの分光感度相対値
１ｂ、２ｂ、３ｂ、２ｃ、３ｃ、１ｄ、２ｄ・・・光学フィルタを配置した場合の各チャンネルの見かけの分光感度相対値
１０・・・画像取得装置
１１・・・カメラ
１２・・・光学フィルタ
１３・・・光学フィルタ配置装置
１４・・・制御部
１５・・・画像処理部
１６・・・操作部
２０・・・対象物
３０・・・光源
１０１、１０２、１０３・・・光学フィルタの分光透過率

Claims (3)

1. 分光画像を取得する装置であって、
   撮像手段と、分光感度変更手段と、分光画像生成手段と、を備え、
   撮像手段は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像を取得する手段であって、
   分光感度変更手段は、前記撮像手段が有する分光感度のうちの少なくとも１チャンネルが同一の分光感度となり、他のチャンネルが異なる分光感度となるような手段であって、
   分光画像生成手段は、前記撮像手段が前記分光感度変更手段を配置しない場合に取得した画像と、配置した場合に取得した画像と、から、前記同一の分光感度のチャンネルを用いてレジストレーションを行い、前記レジストレーションされた画像中の対象物の対応画素の組から、各チャンネルの輝度データを割り当てることで分光画像を生成する手段であることを特徴とする画像取得装置。
2. 画像取得装置を用いて、分光画像を取得する方法であって
   画像取得装置は、撮像手段と、分光感度変更手段と、分光画像生成手段と、を備え、
   撮像手段は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像を取得する手段であって、
   分光感度変更手段は、前記撮像手段が有する分光感度のうちの少なくとも１チャンネルが同一の分光感度となり、他のチャンネルが異なる分光感度となるような手段であって、
   分光画像生成手段は、前記撮像手段が前記分光感度変更手段を配置しない場合に取得した画像と配置した場合に取得した画像とから、前記同一の分光感度のチャンネルを用いてレジストレーションを行い、前記レジストレーションされた画像中の対象物の対応画素の組から、各チャンネルの輝度データを割り当てることで分光画像を取得する手段であり、
   前記撮像手段によって前記分光感度変更手段を配置しない場合に画像を取得する工程と、
   前記撮像手段によって前記分光感度変更手段を配置した場合に画像を取得する工程と、
   前記取得された２つ以上の画像を用いて分光画像生成手段によって分光画像を生成することを特徴とする画像取得方法。
3. 画像取得装置を用いて分光画像を取得するプログラムであって
   画像取得装置は、撮像手段と、分光感度変更手段と、分光画像生成手段と、を備え、
   撮像手段は、少なくとも３チャンネルの分光感度を有し、撮像対象物の画像を取得する手段であって、
   分光感度変更手段は、前記撮像手段が有する分光感度のうちの少なくとも１チャンネルが同一の分光感度となり、他のチャンネルが異なる分光感度となるような手段であって、
   分光画像生成手段は、前記撮像手段が前記分光感度変更手段を配置しない場合に取得した画像と配置した場合に取得した画像とから、前記同一の分光感度のチャンネルを用いてレジストレーションを行い、前記レジストレーションされた画像中の対象物の対応画素の組から、各チャンネルの輝度データを割り当てることで分光画像を取得する手段であり、
   前記撮像手段によって前記分光感度変更手段を配置しない場合に取得された画像と、前記撮像手段によって前記分光感度変更手段を配置した場合に取得された画像の２つ以上の画像を用いて分光画像生成手段によって分光画像を生成することを特徴とする画像取得プログラム。
   

Images