JP5882455B2 - 高解像度マルチスペクトル画像キャプチャ - Google Patents

Description

本発明は、高解像度マルチスペクトル画像のキャプチャに関する。

周囲環境からの光は、人間の目において色として感知される。人間の目は、光スペクトルの異なる部分に感応する３種類の錐体細胞、つまり赤、緑、青（RGB）波長光に感応する錐体細胞を用いて色を知覚する。従来のビデオカメラは、人間が鑑賞するために色を適切に再現するRGBデータを記録できる。しかしながら、キャプチャされているオブジェクトから反射する可視光のスペクトルは、RGBデータの粗い３チャネル感知では失われる大量の詳細情報を含み得る。これらの失われるスペクトルの詳細情報は、失われなければ、オブジェクトが記録される照明条件と共に、画像に記録されるオブジェクトに関する多くの追加情報を明らかにできる。

本発明は、スペクトル精度の代わりに解像度を犠牲にすることなく、高解像度マルチスペクトル画像をキャプチャする装置及び方法を提供する。

＜まとめ＞
本願明細書は、ＲＧＢカメラから取得された赤、緑、青（ＲＧＢ）画像情報とグレイスケールカメラから取得されたマルチスペクトル画像データとを結合して高スペクトル且つ高解像度の両方を備えた画像を生成するハイブリッドカメラツールを実施する技術を開示する。ハイブリッドカメラツールは、高空間解像度であるが低スペクトル解像度でキャプチャする単独型ＲＧＢカメラよりも優れた画像を提供できる。ハイブリッドカメラツールは、高スペクトル解像度であるが低空間解像度でキャプチャする単独型グレイスケールカメラよりも優れた画像を提供できる。したがって、追加スペクトル情報のために時間的又は空間的解像度のいずれかをトレードオフするシステムとは異なり、ハイブリッドカメラツールは、スペクトル精度の代わりに解像度を犠牲にしない。

少なくとも１つの実施形態では、高解像度マルチスペクトル画像のキャプチャは、入射光の一部に基づき高空間解像度画像を形成するステップを有しても良い。マルチスペクトルサンプルを有する高スペクトル解像度画像は、入射光の別の一部に基づき生成されても良い。次に、高空間及び高スペクトル解像度画像は、高空間解像度画像を高スペクトル解像度画像と統合することにより合成される。

この要約は、詳細な説明で後述する概念の選択を簡単な形式で紹介する。この要約は、請求の範囲の主要な特徴又は基本的特徴を特定するものではなく、請求の範囲の範囲を限定するものでもない。

以下の詳細な説明は、添付の図面を参照する。図中、参照符号の最も左の桁は、該参照符号が最初に現れる図を示す。異なる図において用いられる同じ参照符号は、類似の又は同一のアイテムを示す。
ハイブリッドカメラツールを実施する例示的なスキームを示すブロック図である。 ハイブリッドカメラシステムの例示的なコンポーネントを示す説明図である。 ハイブリッドカメラツールを実施する電子装置の選択した説明のためのコンポーネントを示すブロック図である。 高空間解像度且つ高スペクトル解像度の統合画像を生成する例示的な処理を示すフロー図である。 高スペクトル解像度画像から高空間解像度画像へピクセルのマルチスペクトル情報を伝達する例示的な処理を示すフロー図である。

記載の実施形態は、高解像度マルチスペクトル画像をキャプチャするハイブリッドカメラツールを実施する技術に関する。ハイブリッドカメラツールは、ＲＧＢ画像情報とマルチスペクトル画像データとを結合して、高スペクトル解像度と高空間解像度の両方を備えた画像を生成できる。ＲＧＢ画像情報は、ＲＧＢカメラを用いて取得され、マルチスペクトル画像データはグレイスケールカメラを用いて取得されても良い。ハイブリッドカメラツールは、より高いスペクトル解像度を有する画像を提供することにより、単独型ＲＧＢカメラよりも優れた画像を提供できる。ハイブリッドカメラツールは、より高い空間解像度を有する画像を提供することにより、単独型グレイスケールカメラよりも優れた画像を提供できる。したがって、追加スペクトル情報のために時間的又は空間的解像度のいずれかをトレードオフするシステムとは異なり、ハイブリッドカメラツールは、スペクトル精度の代わりに解像度を犠牲にしない。実施形態に従ってハイブリッドカメラツールを用いて高空間解像度且つ高スペクトル解像度画像を提供する技術の種々の例を、図１〜５を参照して以下に説明する。

＜例示的なスキーム＞
図１は、ハイブリッドカメラツールを実施する例示的なスキーム１００を示すブロック図である。ハイブリッドカメラツール１０２は、ハイブリッドカメラシステム１０４と、電子装置１０８により実施される画像統合エンジン１０６とを有しても良い。ハイブリッドカメラシステム１０４は、１又は複数のＲＧＢ画像１１２をキャプチャする赤、緑、青（ＲＧＢ）カメラ１１０と、１又は複数のグレイスケール画像１１６をキャプチャするグレイスケールカメラ１１４と、を有しても良い。各ＲＧＢ画像１１２は、高空間解像度及び低スペクトル解像度画像を有しても良い。例えば、各ＲＧＢ画像１１２は、対応するグレイスケール画像１１６よりも低いスペクトル解像度を有しても良い。対照的に、各グレイスケール画像１１６は、低空間解像度及び高スペクトル解像度を有しても良い。例えば、各グレイスケール画像１１６は、対応するＲＧＢ画像１１２よりも低い空間解像度を有しても良い。

ＲＧＢカメラ１１０は、ＣＣＤ（charge-coupled device）に基づくセンサを用いて、シーン又はオブジェクトから反射された光を表す３個の独立した赤、緑、青色データチャネルを取得するカメラであっても良い。グレイスケールカメラ１１４は、シーン又はオブジェクトから反射された光の強度を純粋な白から純粋な黒までの範囲のグレイの種々の陰影としてキャプチャする単一のマルチスペクトルＣＣＤセンサを用いて、画像を取得するカメラであっても良い。ＲＧＢカメラ１１０及びグレイスケールカメラ１１４の各々は、個別の画像、又はビデオを形成する連続画像ストリームをキャプチャできても良い。幾つかの実施形態では、ＲＧＢカメラは、２５フレーム毎秒（ｆｐｓ）又はそれ以上で１０２４ｘ７６８ピクセルの解像度（又は他の解像度）をキャプチャ可能であっても良い。他の実施形態では、グレイスケールカメラは、２５ｆｐｓ以上で、解像度２４４８ｘ２０８８ピクセル（又は他の解像度）で、画像をキャプチャ可能であっても良い。

ハイブリッドカメラシステム１０４のＲＧＢカメラ１１０及びグレイスケールカメラ１１４からの信号は、画像統合エンジン１０６へ渡されても良い。また、画像統合エンジン１０６は、伝達アルゴリズムを用いて、色の類似性及び空間的近接性に基づき、グレイスケール画像１１６からのマルチスペクトルサンプルをＲＧＢ画像１１２内のＲＧＢ情報と結合しても良い。したがって、画像統合エンジン１０６は、高空間解像度及び高スペクトル解像度の両方を備えた１又は複数の統合画像１１８を生成しても良い。種々の実施形態では、統合画像１１８は、ＲＧＢ画像１１２のシーケンス及び対応するグレイスケール画像のシーケンスからリアルタイムに（例えば、２５ｆｐｓ以上のレートで）合成されるビデオストリームの一部であっても良い。

＜例示的なハイブリッドカメラシステム＞
図２は、ハイブリッドカメラシステム１０４の例示的なコンポーネントを示す説明図である。ハイブリッドカメラシステム１０４は、ＲＧＢカメラ１１０と、グレイスケールカメラ１１４と、を有しても良い。ハイブリッドカメラシステム１０４は、ハイブリッドカメラシステム１０４のコンポーネントを背景光から隔離する不透明筐体２０２を有しても良い。シーン又はオブジェクト２０４からの入射光は、最初に、開口２０６を通ってハイブリッドカメラシステム１０４に入り、ビームスプリッタ２０８に達しても良い。ビームスプリッタ２０８は、一部の光を経路２１０に沿って反射し、同時に光の残りの部分の少なくとも一部を経路２１２に沿って送っても良い。種々の実施形態では、ビームスプリッタ２０８は、ＲＧＢカメラ１１０及びグレイスケールカメラ１１４に等しい又はほぼ等しい光エネルギを供給する半反射及び半通過ビームスプリッタであっても良い。

経路２１０に沿って伝達するビームスプリッタ２０８からの反射光は、経路２１６に沿ってミラー２１４により更に反射され、ＲＧＢカメラ１１０に到達しても良い。次に、ＲＧＢカメラ１１０は、経路２１６に沿った光から、ＲＧＢ画像１１２の形式で高空間解像度画像データを取得しても良い。代替の実施形態では、ＲＧＢカメラ１１０はミラー２１４の位置に置かれ、経路２１０に沿った光がＲＧＢカメラ１１０に直接入るようにしても良い。しかしながら、経路２１６に沿った光を反射するためにミラー２１４を使用すると、ＲＧＢカメラ１１０とグレイスケールカメラ１１４が互いにより近く配置される、つまり２つのカメラの間の距離が縮小されるので、ハイブリッドカメラシステム１０４をより小型にする。

経路２１２に沿ってビームスプリッタ２０８を通る光は、プリズム２１８（又は特定の他のスペクトル分散光学コンポーネント）により、グレイスケールカメラ１１４に分散されても良い。グレイスケールカメラ１１４は、シーン又はオブジェクト２０４からの光の多数のスペクトルチャネルをキャプチャする高スペクトル解像度グレイスケール画像１１６を取得しても良い。閉鎖マスク２２０が経路２１２に沿って用いられ、シーン又はオブジェクト２０４からの光放射をサブサンプリングしても良い。これにより、シーン又はオブジェクト２０４の異なるシーン点からのスペクトルの重なり合いがグレイスケールカメラ１１４に送信されるのを防ぐことができる。しかしながら、このサブサンプリングのために、グレイスケールカメラ１１４に達する光は、結果として低空間解像度を有する画像データを生じてしまう。

種々の実施形態では、閉鎖マスク２２０は、行２２２のような規則的に間隔の空けられた開口の行で構成され、プリズム２１８へ光を伝達するよう設計されても良い。各開口は、グレイスケールカメラ１１４に１つのマルチスペクトルサンプルを提供しても良い。例えば、閉塞マスク２２０の開口２２６は、マルチスペクトルサンプル２２８を生じても良い。少なくとも１つの実施形態では、各開口は、長方形の形状であっても良い。プリズム２１８は、波長４００〜１０００ナノメータ（ｎｍ）に対して既知の屈折率を有するガラスであっても良い。プリズム２１８は特定の方向に沿って光を分散しても良く、垂直方向のマルチスペクトルサンプルは、任意的にノイズを最小化するために平均化されても良い。

したがって、閉塞マスク２２０及びプリズム２１８の配置は、グレイスケールカメラ１１４にマルチスペクトルサンプルを提供できる。一例では、配置は、グレイスケールカメラ１１４に関連して構成され、各スペクトルサンプルが波長４００ｎｍ〜７００ｎｍに渡りグレイスケールカメラ１１４のグレイスケールセンサ上で約６０ピクセルに渡るようにしても良い。これは、約５ｎｍのスペクトル解像度と等価である。

更なる実施形態では、フィルタ２２４は、経路２１２に沿って、ビームスプリッタ２０８とプリズム２１８との間に置かれて、特定のスペクトル帯を除去しても良い。フィルタ２２４は、スペクトル帯の選択範囲のみがグレイスケールカメラ１１４に到達することが望ましいときに実装されても良い。

ＲＧＢカメラ１１０及びグレイスケールカメラ１１４の動作は、高空間解像度ＲＧＢ画像１１２が対応する高スペクトル解像度グレイスケール画像１１６と同時にキャプチャされるように、統合されても良い。さらに、ＲＧＢカメラ１１０及びグレイスケールカメラ１１４は、シーン又はオブジェクト２０４の同じビューをキャプチャするよう整列されても良い。さらに、ＲＧＢカメラ１１０及びグレイスケールカメラ１１４によりキャプチャされる画像情報の対応は、水平走査線及び垂直走査線の較正ビデオを用いて達成されても良い。

少なくとも１つの実施形態では、較正ビデオは、同じビューをキャプチャするために整列されたＲＧＢカメラ１１０及びグレイスケールカメラ１１４の前に置かれたディスプレイスクリーンを用いて提示されても良い。走査線は、黒色背景に対して白色でディスプレイスクリーンに提示されても良い。さらに、表示される走査線の各々は、蛍光灯ににたスペクトルピークを有するスペクトルを有しても良い。したがって、水平線が例示的なグレイスケールカメラ１１４内のグレイスケールセンサ２３２の水平センサ部２３０（例えば、センサ要素の水平行）を走査するとき、水平走査線からの光は、水平センサ部２３０からの応答を生成しても良い。同じ水平走査線は、例示的なグレイスケールセンサ２３２で応答をトリガする時点で、ＲＧＢカメラ１１０内の例示的なＲＧＢセンサ２３６の水平センサ部２３４（例えば、センサ要素の水平行）でも同様の応答をトリガしても良い。このように、グレイスケールカメラ１１４及びＲＧＢカメラ１１０の対応する水平センサ部は識別されても良い。

同様に、垂直線が例示的なグレイスケールセンサ２３２の垂直センサ部２３８（例えば、センサ要素の水平行）を走査するとき、垂直走査線からの光は、垂直センサ部２３８からの応答を生成しても良い。同じ垂直走査線は、例示的なグレイスケールセンサで応答をトリガする時点で、ＲＧＢカメラ１１０内の例示的なＲＧＢセンサ２３６の垂直センサ部２４０（例えば、センサ要素の垂直行）でも同様の応答をトリガしても良い。このように、グレイスケールカメラ１１４及びＲＧＢカメラ１１０の対応する垂直センサ部は識別されても良い。水平センサ部（例えば、水平センサ部２３０及び２３４）間の対応、及び垂直センサ部（例えば、垂直センサ部２３８及び２４０）間の対応に基づき、個々のマルチスペクトルサンプルのＲＧＢカメラ１１０の例示的なＲＧＢセンサ２３６により検出されたピクセルと対応が決定されても良い。したがって、ＲＧＢカメラ１１０とグレイスケールカメラ１１４が較正されると、グレイスケール画像１１６内の各マルチスペクトルサンプル点は、同じ入射光を共有する対応するＲＧＢ画像１１２内に対応ピクセルを有しても良い。

種々の実施形態では、ハイブリッドカメラシステム１０４の設定は、異なるスペクトル解像度について調整されても良い。スペクトル解像度（SpectralResolution）は、式（１）に示す幾つかのパラメータに依存しても良い。

ここで、ｆはグレイスケールカメラ１１４のカメラレンズ２４２の焦点距離であり、ｎはプリズム２１８の屈折率であり、ωはプリズム角であり、αは入射角である。スペクトル解像度は、センサ上のスペクトルの重なり合いを防ぐ適切な閉鎖マスク２２０を有するグレイスケールカメラ１１４に対してより長い焦点距離のカメラレンズ２４２を用いることにより増大されても良い。しかしながら、スペクトル解像度の増大は、画像当たりのマルチスペクトルサンプルを少なくし、伝搬精度を低下させてしまう。焦点距離が長いほど、グレイスケールカメラ１１４のセンサ（例えば、グレイスケールセンサ２３２）に到達する光エネルギが少ない。しかしながら、減少した光エネルギは、画像毎の露光時間を増大することにより及び／又は低フレームレートにより補償され得る。

幾つかの実施形態では、ＲＧＢカメラ１１０及びグレイスケールカメラ１１４は、不透明筐体２０２に対して位置決めされ、開口２０６からの入射光がグレイスケールカメラのカメラレンズ２４２及びＲＧＢカメラ１１０のカメラレンズ２４４に到達するようにしても良い。しかしながら、カメラボディは、それぞれセンサ２３２及び２３６を有しても良く、画像処理及び送信コンポーネントに関連付けられ、不透明筐体２０２の外側に実装されても良い。さらに、両コンポーネントの画像処理及び送信コンポーネントは、別個のパッケージではなく単一の電子機器パッケージに統合されても良い。

＜電子装置コンポーネント＞
図３は、ハイブリッドカメラツールを実施する電子装置１０８の選択した説明のためのコンポーネントを示すブロック図である。種々の実施形態では、電子装置１０８は、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、サーバ、等のような汎用目的コンピュータであっても良い。しかしながら、他の実施形態では、電子装置１０８は、カメラ、スマートフォン、ゲーム端末、ＰＤＡ（personal digital assistant）等のうちの１つであっても良い。

電子装置１０８は、１又は複数のプロセッサ３０２、メモリ３０４、及び／又はユーザに電子装置と相互作用させるユーザ制御を有しても良い。メモリ３０４は、コンピュータ記憶媒体のようなコンピュータ可読媒体を用いて実装されても良い。コンピュータ可読媒体は、少なくとも２種類のコンピュータ可読媒体、つまりコンピュータ記憶媒体及び通信媒体を有する。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータのような情報を記憶する方法又は技術で実装される揮発性及び不揮発性、取り外し可能及び非取り外し可能媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disk）又は他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又はコンピュータ装置によるアクセスのために情報を格納するために用いることができる任意の他の非伝送媒体を含むがこれらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は搬送波又は他の伝送機構のような変調データ信号内の他のデータを具現化しても良い。ここで定められるように、コンピュータ記憶媒体は、通信媒体を含まない。

電子装置１０８は、ネットワーク機能を有しても良い。例えば、電子装置１０８は、インターネットのような１又は複数のネットワークを介して他の電子装置（例えばラップトップコンピュータ、サーバ、等）とデータを交換しても良い。幾つかの実施形態では、電子装置１０８は、クラウドコンピューティングネットワーク内のサーバのような複数のネットワーク接続されたサーバで代替されても良い。

電子装置１０８の１又は複数のプロセッサ３０２及びメモリ３０４は、画像統合エンジン１０６、色調整モジュール３０６、トラッキングモジュール３０８、ユーザインタフェースモジュール３１０、データ記憶３１２を含むコンポーネントを実装しても良い。画像統合エンジン１０６は、色類似性及び空間的近接性に従って各グレイスケール画像１１６内のマルチスペクトルデータを対応するＲＧＢ画像１１２に伝搬しても良い。種々の実施形態では、画像統合エンジン１０６は、リアルタイムの伝搬を実行できる双方向フィルタリング技術を実装しても良い。したがって、画像統合エンジン１０６は、ストリーミングビデオの形式で、統合画像１１８を生成しても良い。種々の実施形態では、画像統合エンジン１０６は、マルチスペクトル伝搬モジュール３１４と、時間拡張モジュール３１６と、を有しても良い。これらのモジュールは、特定のタスクを実行し又は特定の抽象データ型を実装する、ルーチン、プログラム、命令、オブジェクト、及び／又はデータ構造、等を含む。

双方向フィルタ技術は、グレイスケール画像１１６の光強度と対応するＲＧＢ画像１１２の光強度との差の主な原因となり得る。閉鎖マスク２２０を使用する結果として、ＲＧＢ画像１１２は、対応するグレイスケール画像１１６からのマルチスペクトルデータに対応する１又は複数のＲＧＢピクセルと共に、対応するグレイスケール画像１１６からのマルチスペクトルサンプルに対応しない１又は複数のＲＧＢピクセルを有しても良い。例えば、ｐｘｑピクセルの解像度を有するＲＧＢ画像と、ｍｘｎ（ｍ＜ｐ，ｎ＜ｑ）の対応するマルチスペクトルグレイスケール画像との重なり合いは、例示的な結合フレーム３１８を生成しても良い。フレーム３１８内には、対応するマルチスペクトルサンプルを有する（ここでは「関連ピクセル」と表す）ＲＧＢピクセル（影付きピクセルとして示す）、及び対応するマルチスペクトルサンプルを有しない（ここでは「非関連ピクセル」と表す）ＲＧＢピクセル（影付きでないピクセルとして示す）がある。図示のように、ピクセル３２０は、対応するマルチスペクトルサンプルを有する例示的な関連ピクセルであり、一方、ピクセル３２２は、対応するマルチスペクトルサンプルを有しない例示的な非関連ピクセルである。

しかしながら、マルチスペクトル伝搬モジュール３１４は、各非関連ピクセルと周囲の関連ピクセルとの間の色類似性及び空間距離に基づき、非関連ピクセル毎にマルチスペクトルデータを求めても良い。

例示的なフレーム３１８に関して、マルチスペクトル伝搬モジュール３１４は、各非関連ピクセル（ｉ，ｊ）について、以下の式（２）に従って該ピクセルの近隣の関連ピクセルからマルチスペクトル情報を計算しても良い。

ここで、ｍｓ_ｉｊは各非関連ピクセル（ｉ，ｊ）のマルチスペクトルベクトルを示し、ｋ∈Ωは（ｉ，ｊ）を中心とする近隣にある関連ピクセルをインデックス付けし、ｇ_σ（）は平均ゼロ及び分散σを有するガウス演算子を表し、

及び

は、非関連ピクセル（ｉ，ｊ）とそれぞれＲＧＢ空間及び（ｘ，ｙ）空間のｋとの間のユークリッド距離を示す。

の計算では、マルチスペクトル伝搬モジュール３１４は、フレーム３１８を形成したＲＧＢ画像内のｋのＲＧＢ値を用いても良い。係数ρ_ｋは、ｋにおける所与の色チャネルの、（ｉ，ｊ）における対応する値に対する比を表し（例えば、赤色チャネルではρ_ｋ＝Ｒ_ｉ，ｊ／Ｒ_ｋ）、強度マッチングのために含まれる。少なくとも一実施形態では、σ_ｓ＝１６及びσ_γ＝１６のパラメータ設定が用いられ、一方、近隣半径Ωは水平近隣マルチスペクトルサンプル間のユークリッド距離の２倍に設定されても良い。しかしながら、他のパラメータ設定が追加の実施形態で用いられても良い。

したがって、式（２）に示すように、マルチスペクトル伝搬モジュール３１４は、類似するＲＧＢ値を有するピクセル間のマルチスペクトルデータを伝搬しても良い。このような類似性は、シーン放射スペクトルの類似性の強力な指標だからである。幾つかの実施形態では、マルチスペクトル伝搬モジュール３１４は、マルチスペクトルデータを１又は複数の近隣の関連ピクセルから、チャネル毎に、各非関連ピクセルのＲＧＢチャネルの各々に伝搬しても良い。このように、元の関連ピクセルと目標の非関連ピクセルとの間の異なるスペクトル部分における僅かな強度差は、係数ρの主な原因であり、係数ρを用いて調整されても良い。また、係数ρの使用により、マルチスペクトル伝搬モジュール３１４は、マルチスペクトルサンプルが希薄な伝搬シナリオ中に陰影の微妙な変動を扱うことが可能になる。

チャネル毎の伝搬では、マルチスペクトル伝搬モジュール３１４は、ＲＧＢカメラ１１０のＲＧＢフィルタの相対感度に従って、各波長（例えば、４００ｎｍ〜７００ｎｍの間の各波長）において、式（３）、（４）に示すように、マルチスペクトルデータをマルチスペクトルグレイスケール画像（例えば、グレイスケール画像１１６）からＲＧＢチャネルに分離しても良い。

ここで、

は波長λにおけるフィルタｃの応答を示す。したがって、チャネル毎のマルチスペクトルデータを伝搬した後に、マルチスペクトル伝搬モジュール３１４は、各非関連ピクセルについて、対応するＲＧＢチャネルのスペクトル値を加算し、各非関連ピクセルについてフルスペクトルを得ても良い。

ハイブリッドカメラツール１０２がビデオストリームをキャプチャするよう較正される例では、時間拡張モジュール３１６は、異なるフレーム間で時間的にマルチスペクトルデータを伝搬しても良い。マルチスペクトルデータの時間的伝搬は、あるフレーム内のあるシーン点について記録されたマルチスペクトルデータが別のフレーム内の同じシーン点に対してほぼ有効であるという過程に基づく。

種々の実施形態では、時間拡張モジュール３１６は、マルチスペクトルデータが得られるシーン点を追跡するために光フローアルゴリズムを用いても良い。例えば、光フローアルゴリズムは、一連の画像の中のオブジェクトの明らかな動きのパターンを見分け、そのようなパターンを用いて後続の画像内のシーン点の位置を予測できる。次に、このような予測に基づき、時間拡張モジュール３１６は、これらのシーン点におけるマルチスペクトルデータを１又は複数の先行する画像から１又は複数の後続の画像へと伝搬しても良い。シナリオ３２４で説明した少なくとも一実施形態では、時間拡張モジュール３１６は、時点ｔにおける画像３２６について、それぞれｔ−１及びｔ−２における２つの先行画像３２８及び３３からの時間対応を用いて、画像３２６に対してより関連するピクセルを生成しても良い。例えば、シナリオ３２４で示したように、時間拡張モジュール３１６は、関連ピクセル３３２のマルチスペクトルサンプルを、画像３３０から画像３２６へ伝搬しても良い。したがって、画像３２６内の非関連ピクセル３３４は関連ピクセルになる。他の実施形態では、より多くの又はより少ない先行画像から動きのパターンを見分ける他の光フローアルゴリズムが用いられても良い。

色調整モジュール３０６は、画像に対して、白色バランスのような色調整を自動的に行っても良い。種々の実施形態では、統合画像１１８の高空間及び高スペクトル解像度特性は、白色バランス調整を実行する際に色調整モジュール３０６を助けても良い。色調整モジュール３０６は、画像統合エンジン１０６から統合画像１１８を直接受信しても良い。

例えば、従来のＲＧＢカメラは、蛍光灯により照らされた暖色オブジェクトのＲＧＢ画像をキャプチャしても良い。しかしながら、ＲＧＢ画像内のオブジェクトの暖色は、色調整モジュール３０６に、オブジェクトが蛍光灯ではなくタングステン光により照らされていたと推測するよう誘導し得る。この不正確な推測は、色調整モジュール３０６に画像の白色バランスを不正確に調整させてしまう。

これに対し、色調整モジュール３０６は、同じ暖色オブジェクトの統合画像１１８を受信すると、色調整モジュール３０６は、統合画像１１８内の追加スペクトルピーク情報（例えば、５４６ｎｍ及び６１１ｎｍにあるスペクトルピーク）を用いて、オブジェクトが蛍光灯により照らされていたことを正確に推定させることができる。次に、色調整モジュール３０６は、この推定に基づき、統合画像１１８内の白色バランスを正確に調整しても良い。

追跡モジュール３０８は、統合画像１１８内に記録されている１又は複数のオブジェクトを追跡しても良い。追跡モジュール３０８は、画像統合エンジン１０６から統合画像１１８を直接受信しても良い。前景オブジェクトの追跡は、前景オブジェクトを背景から区別することに基づいても良い。このような区別は、前景オブジェクトが背景と類似する色を有するとき、特に難しい。しかしながら、高空間解像度且つ高スペクトル解像度の統合画像１１８を用いることにより、追跡モジュール３０８は、このようなシナリオでキャプチャされた前景オブジェクトを背景から容易に区別できる。これは、類似する有色前景オブジェクトと背景との間のスペクトルの相違（例えば、異なるスペクトルピーク）が、低スペクトル解像度画像と比べてより明らかだからである。結果として、追跡モジュール３０８は、上述のシナリオで統合画像１１８内のキャプチャされたオブジェクトを効率的に追跡できる。

ユーザインタフェースモジュール３１０は、ユーザが電子装置１０８の種々のモジュールとユーザインタフェース（図示しない）を用いて相互作用できるようにする。ユーザインタフェースは、データ出力装置（例えば、視覚ディスプレイ、音響スピーカ）、１又は複数のデータ入力装置を有しても良い。データ入力装置は、キーパッド、キーボード、マウス装置、タッチスクリーン、マイクロフォン、音声認識パッケージ、及び任意の他の適切な装置若しくは他の電子／ソフトウェア選択方法のうちの１又は複数の組み合わせを有しても良いが、これらに限定されない。

種々の実施形態では、ユーザインタフェースモジュール３１０は、ユーザが画像統合エンジン１０６のモジュール、色調整モジュール３０６、及び／又は追跡モジュール３０８により使用される種々の閾値及び設定を調整できるようにしても良い。例えば、ユーザは、ユーザインタフェースモジュール３１０を用いて、マルチスペクトル伝搬モジュール３１４により使用される係数ρを調整しても良い。別の例では、ユーザは、ユーザインタフェースモジュール３１０を用いて、時間拡張モジュール３１６の光フローアルゴリズムにより分析される先行画像の数を入力しても良い。追加の例では、ユーザは、ユーザインタフェースモジュール３１０を用いて、色調整モジュール３０６の白色バランス設定を調整し、又は追跡モジュール３０８により追跡されるべき１又は複数のオブジェクトを選択しても良い。

データ記憶３１２は、ＲＧＢ画像１１２、グレイスケール画像１１６、及び統合画像１１８を格納しても良い。種々の実施形態では、画像の各収集は、対応するビデオのフレームであっても良い。ＲＧＢ画像１１２、グレイスケール画像１１６及び統合画像１１８は、非圧縮（つまり、生）、可逆圧縮、又は不可逆圧縮フォーマットで格納されても良い。さらに、データ記憶３１２は、ハイブリッドカメラツール１０２の種々のコンポーネントにより生成され又は使用される値若しくは他の中間物を格納しても良い。

＜例示的な処理＞
図４、５は、ハイブリッドカメラツールを実施する種々の例示的な処理を示す。各例示的な処理で動作が記載される順序は、限定として見なされるべきではなく、記載される動作のうちの任意の数が各処理を実施するために任意の順序で及び／又は並列に結合できる。さらに、図４、５の各々の動作は、ハードウェア、ソフトウェア、及びそれらの組み合わせで実施されても良い。ソフトウェアの文脈では、動作は、１又は複数のプロセッサにより実行されると１又は複数のプロセッサに記載した動作を実行させるコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行させ、又は特定の抽象型データを実装させるルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。

図４は、高空間解像度且つ高スペクトル解像度の統合画像を生成する例示的な処理４００を示すフロー図である。ブロック４０２で、ビームスプリッタ２０８は、シーン又はオブジェクト２０４からの入射光を第１の光部分と第２の光部分とに分離しても良い。ブロック４０４で、ＲＧＢカメラ１１０は、第１の光部分に基づき、高空間解像度ＲＧＢ画像１１２を形成しても良い。ＲＧＢ画像１１２は、高空間解像度グレイスケール画像１１６より低いスペクトル解像度を有しても良い。ＲＧＢ画像１１２は、赤、緑、青色チャネルデータに基づき、画像をエンコードしても良い。幾つかの実施形態では、第１の光部分は、ＲＧＢカメラ１１０に到達する前に、ミラー２１４により反射されても良い。

ブロック４０６で、閉鎖マスク２２０、プリズム２１８、及びグレイスケールカメラ１１４の組み合わせは、マルチスペクトルサンプルを含む高スペクトル解像度グレイスケール画像１１６を生成しても良い。グレイスケール画像１１６は、高空間解像度ＲＧＢ画像１１２より低い空間解像度を有しても良い。一例では、各スペクトルサンプル（例えば、スペクトルサンプル２２８）は、約５ｎｍのスペクトル解像度と等価な、４００ｎｍ乃至７００ｎｍの波長に渡る約６０ピクセルに広がっても良い。幾つかの実施形態では、フィルタ２２４は、閉鎖マスク２２０とプリズム２１８との間の光路の中に更に位置づけられ、高スペクトル解像度画像の生成に先立ち、第２の光部分の中の特定のスペクトル帯を除去しても良い。

ブロック４０８で、画像統合エンジン１０６は、高空間解像度ＲＧＢ画像１１２と高スペクトル解像度グレイスケール画像１１６とを統合して、統合画像１１８を生成しても良い。幾つかの実施形態では、統合画像１１８は、ＲＧＢ画像１１２の高空間解像度とグレイスケール画像１１６の高スペクトル解像度の両方を有しても良い。ＲＧＢ画像１１２とグレイスケール画像１１６との間の統合は、対応するＲＧＢカメラ１１０とグレイスケールカメラ１１５とが整列されるという事実により達成できる。幾つかの例では、カメラは、較正によりカメラ内のセンサ要素を関連付けることにより整列され得る。幾つかの実施形態では、統合画像１１８は、色調整モジュール３０６により更に処理されても良い（つまり、白色バランス）。他の実施形態では、画像統合エンジン１０６は、高空間解像度ＲＧＢ画像のシーケンスと高スペクトル解像度グレイスケール画像のシ対応するーケンスに対して処理４００を繰り返すことにより、ビデオストリームを形成する統合画像のシーケンスを生成しても良い。

図５は、高スペクトル解像度画像から高空間解像度画像へピクセルのマルチスペクトル情報を伝達する例示的な処理５００を示すフロー図である。例示的な処理５００は、処理４００のブロック４０８を更に説明する。

ブロック５０２で、マルチスペクトル伝搬モジュール３１４は、対応するマルチスペクトルサンプルを有するＲＧＢ画像１１２内のＲＧＢピクセルを識別しても良い。上述のように、このようなピクセルは、本願明細書では「関連ピクセル」と称される。幾つかの実施形態では、マルチスペクトル伝搬モジュール３１４は、ＲＧＢ画像１１２に対応するグレイスケール画像１１６から対応するマルチスペクトルサンプルを取得しても良い。他の実施形態では、時間拡張モジュール３１６は、ＲＧＢ画像１１２より時間的に先行する１又は複数のＲＧＢ画像から取得される追加マルチスペクトルサンプルを供給し、追加関連ピクセルが識別されるようにしても良い。

ブロック５０４で、マルチスペクトル伝搬モジュール３１４は、一致するグレイスケール画像１１６から対応するマルチスペクトルサンプルを有しない及び／又は先行ＲＧＢ画像から取得されたＲＧＢ画像１１２内のＲＧＢピクセルを識別しても良い。上述のように、このようなピクセルは、本願明細書では「非関連ピクセル」と称される。

ブロック５０６で、マルチスペクトル伝搬モジュール３１４は、マルチスペクトル情報を１又は複数の近隣関連ピクセルから各非関連ピクセルに伝搬しても良い。マルチスペクトル伝搬モジュール３１４は、類似するＲＧＢ値を有するピクセル間のマルチスペクトルデータを伝搬しても良い。このような類似性は、シーン放射スペクトルの類似性の強力な指標だからである。幾つかの実施形態では、マルチスペクトル伝搬モジュール３１４は、マルチスペクトルデータを、１又は複数の近隣関連ピクセルからチャネル毎に、各非関連ピクセルの個々のＲＧＢチャネルへ伝搬し、次にＲＧＢチャネルのスペクトル値を合計して各非関連ピクセルのフルスペクトルを得ても良い。このように、マルチスペクトル伝搬モジュール３１４は、マルチスペクトル情報を各非関連ピクセルに伝搬しても良い。

ハイブリッドカメラツールは、より高いスペクトル解像度を有する画像を提供することにより、単独型ＲＧＢカメラよりも優れた画像を提供できる。同様に、ハイブリッドカメラツールは、より高い空間解像度を有する画像を提供することにより、単独型グレイスケールカメラよりも優れた画像を提供できる。したがって、追加スペクトル情報のために時間的又は空間的解像度のいずれかをトレードオフするシステムとは異なり、ハイブリッドカメラツールは、スペクトル精度の代わりに解像度を犠牲にしない。

＜まとめ＞
最後に、種々の実施形態は構造的特徴及び／又は方法論的動作に特有の言葉で記載されたが、添付の表現に定められた本発明の主題は、上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、請求される主題を実施する例示的形式として開示されたものである。

Claims (17)

1. 入射光を第１の光部分と第２の光部分とに分けるビームスプリッタと、
   前記第１の光部分に基づき赤、緑、青（ＲＧＢ）画像を記録する第１のカメラと、
   前記第２の光部分からの光放射をサブサンプリングしてマルチスペクトルサンプルを提供する閉鎖マスクと、
   前記マルチスペクトルサンプルを有するグレイスケール画像を記録する第２のカメラと、
   前記ＲＧＢ画像から得られる空間解像度と前記グレイスケール画像から得られるスペクトル解像度とを有する統合画像を合成する画像統合エンジンと、
   を有し、
   前記画像統合エンジンは、前記グレイスケール画像からの対応するマルチスペクトルサンプルを有する前記ＲＧＢ画像内の関連ピクセルを識別し、前記グレイスケール画像からの対応するマルチスペクトルサンプルを有しない前記ＲＧＢ画像内の非関連ピクセルを識別し、１又は複数の近隣の関連ピクセルから各非関連ピクセルへ、マルチスペクトル情報を伝搬する、装置。
2. 前記入射光を前記ビームスプリッタに渡す開口を含む不透明筐体を更に有し、前記不透明筐体は少なくとも前記ビームスプリッタと前記閉鎖マスクとプリズムとを囲む、請求項１に記載の装置。
3. 前記第１の光部分を前記ビームスプリッタから前記第１のカメラへと、前記第１のカメラと前記第２のカメラとの間の距離を短縮する角度で反射するミラー、を更に有する請求項１に記載の装置。
4. 前記第２の光部分を初期方向に沿って分散するプリズム又は別のスペクトル分散光コンポーネント、を更に有し、前記プリズム又は別のスペクトル分散光コンポーネントにより、前記マルチスペクトルサンプルは、前記初期方向に対して直角の別の方向に平均化される、請求項１に記載の装置。
5. 前記第２の光部分をフィルタリングし、前記第２の光部分の１又は複数のスペクトル帯を除去するフィルタ、を更に有する請求項１に記載の装置。
6. 入射光の第１の光部分から高空間解像度画像を形成するステップと、
   前記入射光の第２の光部分に基づくマルチスペクトルサンプルを有する高スペクトル解像度画像を生成するステップであって、前記高スペクトル解像度画像は、前記高空間解像度画像よりも低い空間解像度且つ高いスペクトル解像度を有する、ステップと、
   前記高空間解像度画像を前記高スペクトル解像度画像と統合するステップであって、前記高空間解像度画像の空間解像度と前記高スペクトル解像度画像のスペクトル解像度とを有する統合画像を生成する、ステップと、
   を有し、
   前記統合するステップは、
   前記高スペクトル解像度画像からの対応するマルチスペクトルサンプルを有する高空間解像度画像内の関連ピクセルを識別するステップと、
   前記高スペクトル解像度画像からの対応するマルチスペクトルサンプルを有しない高空間解像度画像内の非関連ピクセルを識別するステップと、
   １又は複数の近隣の関連ピクセルから各非関連ピクセルへ、マルチスペクトル情報を伝搬するステップと、
   を有する、方法。
7. 前記入射光を前記第１の光部分と前記第２の光部分とに分離するステップ、を更に有する請求項６に記載の方法。
8. 前記統合画像に対して色調整を実行するステップ、を更に有する請求項６に記載の方法。
9. 前記高空間解像度画像は、赤、緑、青色チャネルデータに基づきエンコードされる赤、緑、青（ＲＧＢ）画像であり、前記高スペクトル解像度画像はグレイスケール画像である、請求項６に記載の方法。
10. 前記生成するステップは、
    前記第２の光部分が、前記第２の光部分からの光放射をサブサンプリングする閉鎖マスクを通過し、前記マルチスペクトルサンプルを生成するステップと、
    前記第２の光部分を初期方向に沿って分散するステップであって、前記マルチスペクトルサンプルは前記初期方向に対して直角の別の方向に平均化される、ステップと、
    前記マルチスペクトルサンプルを有する前記高スペクトル解像度画像を記録するステップと、
    を有する請求項６に記載の方法。
11. 前記高空間解像度画像より時間的に先行する別の高空間解像度画像から、追加マルチスペクトルサンプルを取得する光フローを用いることにより、別の関連ピクセルを識別するステップ、を更に有する請求項６に記載の方法。
12. 前記伝搬するステップは、非関連ピクセルのＲ、Ｇ、Ｂチャネルの各々に、チャネル毎に前記マルチスペクトル情報を伝搬するステップと、前記Ｒ、Ｇ、Ｂチャネルの各々に伝搬されたスペクトル値を加算して、前記非関連ピクセルのフルスペクトルを得るステップと、を有する、請求項６に記載の方法。
13. １又は複数のプロセッサと、
    複数のコンピュータ実行可能コンポーネントを有するメモリと、
    を有し、前記複数のコンピュータ実行可能コンポーネントは、
    高空間解像度画像と高スペクトル解像度画像内にキャプチャされたマルチスペクトルサンプルとから統合画像を生成するマルチスペクトル伝搬コンポーネントであって、前記高空間解像度画像は、前記高スペクトル解像度画像より低いスペクトル解像度且つ高い空間解像度を有する、マルチスペクトル伝搬コンポーネントと、
    光フローを介して前記高スペクトル解像度画像より時間的に先行する少なくとも１つの追加の高スペクトル解像度画像から、前記マルチスペクトルサンプルのうちの１又は複数を取得する時間拡張コンポーネントと、
    を有し、
    前記マルチスペクトル伝搬コンポーネントは、
    前記高スペクトル解像度画像からの対応するマルチスペクトルサンプルを有する高空間解像度画像内の関連ピクセルを識別し、
    前記高スペクトル解像度画像からの対応するマルチスペクトルサンプルを有しない高空間解像度画像内の非関連ピクセルを識別し、
    １又は複数の近隣の関連ピクセルから各非関連ピクセルへ、マルチスペクトル情報を伝搬する、
    ことにより前記統合画像を生成する、コンピューティング装置。
14. 前記統合画像の１又は複数の色を自動的に調整する色調整コンポーネント、を更に有する請求項１３に記載のコンピューティング装置。
15. 前記マルチスペクトル伝搬コンポーネントは、対応する高空間解像度画像及び高スペクトル解像度画像から複数の統合画像を生成し、
    前記コンピューティング装置は、前記複数の統合画像内にキャプチャされたオブジェクトを追跡する追跡コンポーネント、を更に有する請求項１３に記載のコンピューティング装置。
16. 前記マルチスペクトルサンプルのうちの少なくとも一部は、閉鎖マスク及びプリズムを通過する光から生成される、請求項１３に記載のコンピューティング装置。
17. 前記マルチスペクトル伝搬コンポーネントは、非関連ピクセルのＲ、Ｇ、Ｂチャネルの各々に、チャネル毎に前記マルチスペクトルサンプル内のマルチスペクトル情報を伝搬し、前記Ｒ、Ｇ、Ｂチャネルの各々に伝搬されたスペクトル値を加算して、前記非関連ピクセルのフルスペクトルを得る、請求項１３に記載のコンピューティング装置。

Images