JP6673223B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

従来、運転支援及びその他の目的で、赤外線カメラにより撮像される画像が活用されている。特に、近赤外線又は短波長赤外線を利用した撮像によって、夜間又は悪天候時のような劣悪な条件の下でも比較的鮮明な画像を得ることができる。通常、近赤外線又は短波長赤外線の画像は、カメラから照射される赤外線の反射光を受光することにより撮像される（例えば、特許文献１参照）。

特開２００９−１３０７０９号公報

一般に、赤外線画像をユーザに提示し、又は赤外線画像に基づいて人物認識若しくは物体認識などの認識処理を実行するような用途では、外乱に影響されない安定的な画像を提供することが求められる。

そこで、本開示では、安定的な赤外線画像を提供することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提案する。

本開示によれば、赤外線画像を取得する取得部と、前記取得部により取得される前記赤外線画像の対象波長を可変的に制御し、前記対象波長に依存して前記赤外線画像の階調を制御する制御部と、を備える画像処理装置が提供される。

また、本開示によれば、画像処理装置により赤外線画像を取得することと、取得される前記赤外線画像の対象波長を可変的に制御することと、前記対象波長に依存して前記赤外線画像の階調を制御することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、赤外線画像を取得する取得部と、前記取得部により取得される前記赤外線画像の対象波長を可変的に制御し、前記対象波長に依存して前記赤外線画像の階調を制御する制御部と、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、安定的な赤外線画像を提供することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。 ある波長の赤外線を利用して得られた赤外線画像の具体例を示す説明図である。 図２の例とは異なる波長の赤外線を利用して得られた赤外線画像の具体例を示す説明図である。 本開示の実施形態に係る画像処理装置のハードウェア構成の具体例を示す説明図である。 本開示の実施形態に係る画像処理装置の論理的機能の構成の具体例を示す説明図である。 照射される赤外線の対象波長の切り換えの具体例を示す説明図である。 照射される赤外線の対象波長の切り換えの具体例を示す説明図である。 複数の波長候補の各々について事前に決定されるフィルタ係数のためのフィルタ係数テーブルの具体例を示す説明図である。 複数の波長候補の各々と基準波長との組合せごとに事前に決定されるフィルタ係数のためのフィルタ係数テーブルの具体例を示す説明図である。 変換部が行うフィルタ演算において用いられるフィルタのフィルタタップの具体例を示す説明図である。 本開示の実施形態に係る画像処理装置が行う処理の流れの具体例を示すフローチャートである。 本開示の実施形態に係る画像処理装置が行う画素値変換処理の流れの具体例を示すフローチャートである。 第１の変形例に係る画像処理装置が行う処理の流れの具体例を示すフローチャートである。 第２の変形例に係る画像処理装置が行う画素値変換処理の流れの具体例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．導入
２．本開示の実施形態に係る画像処理装置
２−１．ハードウェア構成
２−２．機能構成
２−３．動作
２−４．変形例
３．むすび

＜１．導入＞
図１は、波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。０．７μｍから１．０μｍまでの範囲内の波長を有する赤外線は、近赤外線（ＮＩＲ）に分類される。近赤外線は、例えば、暗視（night vision）、透視、光通信及び測距のために利用され得る。１．０μｍから２．５μｍまでの範囲内の波長を有する赤外線は、短波長赤外線（ＳＷＩＲ）に分類される。短波長赤外線もまた、暗視及び透視のために利用可能である。近赤外線又は短波長赤外線を用いた暗視装置は、まず近傍に赤外線を照射し、その反射光を受光することにより赤外線画像を得る。２．５μｍから４．０μｍまでの範囲内の波長を有する赤外線は、中波長赤外線（ＭＷＩＲ）に分類される。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。また、中波長赤外線は、サーモグラフィのためにも利用可能である。４．０μｍ以上の波長を有する赤外線は、遠赤外線（ＦＩＲ）に分類される。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより赤外線画像を得ることができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。

図１に例示した赤外線の様々な種類の中で、特にＮＩＲ又はＳＷＩＲは、夜間又は悪天候時のような劣悪な条件の下で鮮明な画像を得るために利用される。その代表的な用途の１つは車載装置であり、ＮＩＲ又はＳＷＩＲの画像は、ナイトビュー、バックビュー又はサラウンドビューといった補足的なビューを運転者へ提供する。また、ＮＩＲ又はＳＷＩＲの画像は、歩行者又は道路標識若しくは障害物といった物体を含み得る被写体を認識して運転支援情報を運転者へ提示するためにも活用され得る。通常、ＮＩＲ又はＳＷＩＲの画像を撮像する赤外線カメラは、上述したように、撮像の際に赤外線を近傍へ照射する。

しかしながら、複数の赤外線カメラが同時に撮像を行う場面においては、あるカメラから照射される赤外線が、他のカメラにより撮像される画像にとっての外乱になり得る。例えば、同じ対象波長の赤外線画像を対向する２つの車両が同時に撮像した場合、撮像画像に相手側の車両の照射光が強く映り込んでしまい、本来撮像されるべきであった周囲の被写体が画像内で判別困難となるリスクがある。特許文献１は、こうしたリスクを解消するために、個々の車両の赤外線カメラから照射される赤外線及び当該カメラにより受光される赤外線の偏光方向を特定の方向に制限することを提案している。しかし、現実的には、偏光方向を制限するだけでは、高々３台程度（例えば、縦方向、横方向及び斜め方向の偏光）の撮像の競合を回避できるに過ぎない。

そこで、より多くの赤外線カメラが同時に撮像を行う場面での撮像の競合を回避するために、互いに異なる対象波長をそれら赤外線カメラに使用させる手法が考えられる。ＮＩＲ又はＳＷＩＲに属する赤外線の波長領域は、撮像デバイスの構成にも依存するものの、少なくとも１０種類以上の対象波長に区分され得る。そのため、偏光方向での分離と比較して、対象波長での分離によれば、より多くの赤外線カメラが互いに競合することなく並列的に画像を撮像することができる。こうした手法は、いくつもの車両が行き交う道路上での車載装置による撮像のみならず、雑踏の中でのスマートフォンによる赤外線画像の撮像といった場面でも有益である。

複数の赤外線カメラが移動することをも想定すると、適切にそれら赤外線カメラを分離するためには、個々のカメラの対象波長を時間を追って動的に切り換える必要が生じ得る。そして、対象波長が切り替わった場合、その切り換えの前後で赤外線画像の階調（例えば、明暗又は色の濃淡などを表現する、画素値の大きさ）に不自然な変化が起きてしまうことがある。

図２及び図３は、互いに異なる波長の赤外線を利用して得られた赤外線画像の具体例を示す説明図である。なお、図２及び図３において、区域ごとに付された模様の異同は画素値の異同を示す。道路上で走行する車両に備えられた赤外線カメラが当該車両の前方を撮像することにより、図２に示した赤外線画像Ｉｍ０１が得られる。赤外線画像Ｉｍ０１の対象波長は、１．８μｍである。その後、図３に示したように、上記赤外線カメラの画角内に、上記対象波長と同じ１．８μｍの波長を有する赤外線を利用して撮像を行う対向車Ｃ１が侵入する場合が想定される。この場合、上記赤外線カメラの対象波長の切り換えによって、対向車Ｃ１により照射される照射光Ｂ１が上記赤外線カメラの撮像により得られる赤外線画像に強く映り込むことを抑制することが可能である。一例として、図３に示した赤外線画像Ｉｍ０２の対象波長は０．８μｍである。１．８μｍの波長を有する対向車Ｃ１からの照射光Ｂ１は、赤外線画像Ｉｍ０２には強く映り込んでいない。ところが、図２及び図３の対比から理解されるように、上記赤外線カメラの対象波長の切り換えの前後で赤外線画像の階調に不自然な変化が起きている。このような階調の予期しない変化もまた、画像の安定性を損ない、ユーザによる被写体の視認又は後続する認識処理における人物若しくは物体の認識に悪影響を及ぼす。そこで、本明細書では、より安定的な赤外線画像を提供することができる仕組みを提案する。

＜２．本開示の実施形態に係る画像処理装置＞
[２−１．ハードウェア構成]
まず、本開示の実施形態に係る画像処理装置１のハードウェア構成例について説明する。図４は、本開示の実施形態に係る画像処理装置１のハードウェア構成の具体例を示す説明図である。図４に示したように、画像処理装置１は、赤外線カメラ１０２と、入力インタフェース１０４と、メモリ１０６と、ディスプレイ１０８と、通信インタフェース１１０と、ストレージ１１２と、プロセッサ１１４と、バス１１６と、を備える。

（赤外線カメラ）
赤外線カメラ１０２は、赤外線を利用した撮像を行い、原画像を得る撮像モジュールである。赤外線カメラ１０２は、赤外線を感知する撮像素子の配列と、装置の近傍に赤外線を照射する発光素子と、を有する。例えば、赤外線カメラ１０２は、ユーザ入力などのトリガに応じて、又は周期的に発光素子から赤外線を照射し、被写体又はその背景において反射した赤外線を受光することにより、原画像を得る。赤外線カメラ１０２により得られる一連の原画像は、映像を構成する。なお、赤外線カメラ１０２により得られる原画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。

例えば、赤外線カメラ１０２は、特定の通過帯域に属する波長を有する赤外線のみを通過させる光学フィルタを有していてもよい。この場合、撮像素子は、光学フィルタを通過した赤外線を受光する。後に説明するある例によれば、光学フィルタは、通過帯域の可変的な制御を可能とする可変フィルタである。可変フィルタの通過帯域は、例えば、部位によって異なる波長の光を透過させる透過膜を有する基板が作動（回転又は移動など）することによって、変更され得る。なお、赤外線カメラ１０２は、赤外線に加えて可視光を検出することが可能であってもよい。発光素子は、対象波長を含む照射帯域の赤外線を照射する。発光素子の照射帯域は、後に説明する制御部１５２により制御される。

（入力インタフェース）
入力インタフェース１０４は、ユーザが画像処理装置１を操作し、又は画像処理装置１へ情報を入力するために使用される。例えば、入力インタフェース１０４は、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０４は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０４は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

（メモリ）
メモリ１０６は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み得る記憶媒体である。メモリ１０６は、プロセッサ１１４に連結され、プロセッサ１１４により実行される処理のためのプログラム及びデータを記憶する。

（ディスプレイ）
ディスプレイ１０８は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１０８は、ＬＣＤ（Liquid Crystal Display）又はＯＬＥＤ（Organic light-Emitting Diode）などであってもよい。

（通信インタフェース）
通信インタフェース１１０は、画像処理装置１と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１０は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

（ストレージ）
ストレージ１１２は、赤外線画像を含み得る画像データを蓄積し、又は赤外線画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１２は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（プロセッサ）
プロセッサ１１４は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などの処理モジュールである。プロセッサ１１４は、メモリ１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、より安定的な赤外線画像を提供するための機能を動作させる。

（バス）
バス１１６は、赤外線カメラ１０２、入力インタフェース１０４、メモリ１０６、ディスプレイ１０８、通信インタフェース１１０、ストレージ１１２及びプロセッサ１１４を相互に接続する。

[２−２．機能構成]
前節では、本開示の実施形態に係る画像処理装置１のハードウェア構成を説明した。続いて、図５〜図１０を参照して、本開示の実施形態に係る画像処理装置１の論理的機能の構成を説明する。

図５は、図４に示した画像処理装置１の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図５に示したように、画像処理装置１は、制御部１５２と、取得部１５４と、記憶部１５６と、変換部１５８と、を備える。

（制御部）
制御部１５２は、画像処理装置１における赤外線画像の撮像、画像処理、表示及び記録を制御する。例えば、制御部１５２は、赤外線カメラ１０２により撮像される赤外線画像について、必要に応じてその階調を変換部１５８に変換させ、安定化された階調を有する画像をディスプレイ１０８の画面に表示させる。制御部１５２は、赤外線画像を画面に表示させる代わりに（又はそれに加えて）、図示しない後段の処理へ赤外線画像を出力してもよい。ここでの後段の処理とは、運転支援又は安全情報の提供などを目的とした、人物（歩行者等）の認識、又は物体（他の車両、道路標識若しくは障害物等）の認識のための認識処理を含み得る。制御部１５２は、安定化された階調を有する画像を記憶部１５６に記憶させてもよい。

本実施形態において、制御部１５２は、複数の赤外線カメラが同時に撮像を行うことに起因する画像の不安定化を回避するために、取得部１５４により取得される赤外線画像の対象波長を可変的に制御する。制御部１５２は、例えば、通信インタフェース１１０を介して他の装置から受信される情報に基づいて、画像処理装置１の近傍で利用される赤外線の波長を認識し得る。ここでの他の装置とは、例えば、別個の赤外線カメラを有する他の画像処理装置（例えば、車載装置）であってもよく、又はある地域における撮像動作を集中的に管理する管理装置（例えば、路側装置）であってもよい。また、制御部１５２は、取得部１５４により取得される赤外線画像を解析することにより、近傍で利用されている赤外線の波長を認識してもよい。制御部１５２は、取得部１５４に設定されている対象波長が近傍で利用される赤外線の波長と一致し又は互いに悪影響を及ぼす程度に近い場合、取得部１５４が取得すべき赤外線画像の対象波長を切り換える。典型的には、対象波長は、予め記憶部１５６に記憶された複数の波長候補から選択され得る。

第１の例として、制御部１５２による赤外線画像の対象波長の可変的な制御は、赤外線カメラ１０２に設けられる光学フィルタの通過帯域を切り換えることにより行われる。第１の例において、制御部１５２は、切り替え後の対象波長を有する赤外線がフィルタの透過膜を通過して撮像素子へと入射するように、光学フィルタ（可変フィルタ）の基板を作動させる。

第２の例として、制御部１５２による赤外線画像の対象波長の可変的な制御は、被写体を撮像することにより得られた原画像から取得部１５４に対象波長の成分を分離させることにより行われる。第２の例において、原画像は、互いに異なる波長成分（赤外線成分のみならず、可視光成分をも含んでよい）を感知する複数の撮像素子の配列から出力される。こうした原画像の画素値には、波長成分が相互に影響を及ぼす結果として、複数の波長成分が混ざり合っていることが知られている。そこで、取得部１５４は、制御部１５２からの指示に従い、原画像をデモザイクし、所定のフィルタ演算を実行することにより、複数の波長成分が混ざり合った原画像から対象波長の成分を分離する。

なお、第１の例と第２の例とが組み合わされてもよい。この場合、赤外線カメラ１０２の光学フィルタを通過した赤外線に基づく原画像から、取得部１５４により対象波長の波長成分が分離される。それにより、対象波長とは異なる外乱に相当する波長の成分がより低減された赤外線画像を取得することが可能である。

さらに、制御部１５２は、対象波長の設定に依存して、赤外線カメラ１０２による赤外線の照射を制御する。具体的には、制御部１５２は、近傍で利用される波長とは異なるように設定される対象波長を含む照射帯域の赤外線を、赤外線カメラ１０２の発光素子に照射させる。図６及び図７は、照射される赤外線の対象波長の切り換えの具体例を示す説明図である。図６の例では、対象波長は、１０個の波長候補Ｌ１〜Ｌ１０の中から選択される単一の波長である。例えば、時刻Ｔ１において、対象波長は波長Ｌ５であり、発光素子は対象波長Ｌ５の赤外線を照射する。時刻Ｔ１から時刻Ｔ２までの期間の間、近傍の装置が波長Ｌ１〜Ｌ４又はＬ６〜Ｌ１０のいずれかの波長の赤外線を照射したとしても、取得部１５４により取得される赤外線画像はその照射から影響を受けない。その後、時刻Ｔ２において対象波長が波長Ｌ１へと変更される。時刻Ｔ２に続くある期間の間、近傍の装置が波長Ｌ５の赤外線を照射したとしても、取得部１５４により取得される赤外線画像はその照射から影響を受けない。

図６の例に限定されず、対象波長は、単一の波長ではなく複数の波長を含んでもよい。図７の例では、対象波長は、１０個の波長候補Ｌ１〜Ｌ１０の中から選択される３つの波長である。例えば、時刻Ｔ３において、対象波長Ｌ２、Ｌ５及びＬ１０であり、複数の発光素子が対象波長Ｌ２、Ｌ５及びＬ１０の赤外線をそれぞれ照射する。その後、時刻Ｔ４において対象波長が波長Ｌ１、Ｌ３及びＬ８へと変更される。時刻Ｔ４において、複数の発光素子が対象波長Ｌ１、Ｌ３及びＬ８の赤外線をそれぞれ照射する。なお、複数の発光素子が互いに異なる対象波長の赤外線を同時に発光する代わりに、単一の発光素子が互いに異なる対象波長の赤外線を順次照射してもよい。

本実施形態において、制御部１５２は、対象波長に依存して赤外線画像の階調を制御する。具体的には、制御部１５２は、対象波長が基準波長と異なる場合に、基準波長で取得される画像からの赤外線画像の階調における変化を減殺するように赤外線画像の階調を制御する。例えば、制御部１５２は、対象波長に依存する変換制御情報を用いて変換部１５８に赤外線画像の画素値を変換させることにより、赤外線画像の階調を制御する。変換部１５８による赤外線画像の画素値の変換の詳細については、後述する。

基準波長は、予め定義されていてもよい。また、制御部１５２は、基準波長を動的に設定してもよい。例えば、一連の画像（即ち、映像）の撮像が開始された時点の対象波長が、自動的に基準波長として設定されてもよい。また、基準波長は、ユーザインタフェースを介してユーザにより設定されてもよい。例えば、制御部１５２は、予め記憶部１５６に記憶された複数の基準波長の候補から基準波長をユーザに選択させるためのユーザインタフェースを、入力インタフェース１０４及びディスプレイ１０８を介してユーザに提供してもよい。基準波長の設定値は、記憶部１５６により記憶される。対象波長が切り替えられる場合のみならず、基準波長が変更される場合にも、制御部１５２は、変更後の基準波長に依存して赤外線画像の階調を調整してよい。

（取得部）
取得部１５４は、赤外線画像を取得し、取得された赤外線画像を変換部１５８へ出力する。上述した第１の例によれば、取得部１５４は、赤外線カメラ１０２により得られた原画像を赤外線画像として取得する。ここでの原画像は、対象波長以外の波長成分が赤外線カメラ１０２の光学フィルタによって既に十分に低減されている画像である。対象波長が切り換えられた場合、光学フィルタの通過帯域が新たな対象波長に対応する帯域に切り換えられるので、取得部１５４は、新たな対象波長の赤外線画像を取得することができる。

上述した第２の例によれば、取得部１５４は、赤外線カメラ１０２により得られた原画像から対象波長の成分を分離することにより、対象波長の赤外線画像を取得する。例えば、取得部１５４は、赤外線カメラ１０２により得られた原画像をデモザイクし、所定のフィルタ演算を実行することにより、複数の波長成分が混ざり合った原画像から対象波長の成分を分離する。例えば、フィルタ演算のパラメータは、学習処理を通じて事前に決定され得る。

また、取得部１５４は、ストレージ１１２により記憶されている赤外線画像を取得してもよい。また、取得部１５４は、通信インタフェース１１０を介して他の装置から赤外線画像を取得してもよい。取得部１５４により取得される赤外線画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。また、取得部１５４は、圧縮符号化された符号化ストリームから赤外線画像を復号してもよい。

（記憶部）
記憶部１５６は、変換部１５８における赤外線画像の画素値の変換及び制御部１５２による各種制御のために参照されるデータを記憶する。

例えば、記憶部１５６は、対象波長及び基準波長の設定値を記憶する。なお、対象波長及び基準波長の設定値は制御部１５２により変更され得る。また、記憶部１５６は、制御部１５２により対象波長又は基準波長として選択され得る複数の波長候補を予め記憶する。

記憶部１５６により記憶される画素値の変換のためのデータは、対象波長の複数の波長候補の各々について事前に決定されるフィルタ係数を含み得る。図８は、複数の波長候補の各々について事前に決定されるフィルタ係数のためのフィルタ係数テーブルの具体例を示す説明図である。図８の例は、画素値の変換のためのフィルタが、図１０に示したように注目画素Ｐ５を中心とする３×３の格子状の空間的なフィルタタップＰ１〜Ｐ９から構成されることを前提とする。図８に示したフィルタ係数テーブル５０は、対象波長のｉ番目の波長候補Ｌｉについて、ｊ番目のフィルタタップＰｊに乗算されるフィルタ係数値Ｋ_ｊ，ｉを記憶する。フィルタ係数テーブル５０は、基準波長が固定的である実施例において用いられる。なお、図１０に示したフィルタタップは一例に過ぎない。当然ながら、より多くの若しくはより少ないフィルタタップが使用されてもよく、又は異なる画素位置を有するフィルタタップが使用されてもよい。また、フィルタタップの構成は、対象波長ごとに異なってもよい。

図９は、複数の波長候補の各々と基準波長との組合せごとに事前に決定されるフィルタ係数のためのフィルタ係数テーブルの具体例を示す説明図である。図９の例もまた、画素値の変換のためのフィルタが、図１０に示したように注目画素Ｐ５を中心とする３×３の格子状の空間的なフィルタタップＰ１〜Ｐ９から構成されることを前提とする。図９に示したフィルタ係数テーブル６０は、対象波長のｉ番目の波長候補Ｌｉと基準波長のｋ番目の波長候補Ｌｋ（ｉ≠ｋ）について、ｊ番目のフィルタタップＰｊに乗算されるフィルタ係数値Ｋ_{ｊ，ｉ，ｋ}を記憶する。フィルタ係数テーブル６０は、基準波長が可変的である実施例において用いられる。

図８及び図９に示したフィルタ係数は、例えば、学習処理を通じて事前に決定されてよい。フィルタ係数を決定するための事前の学習では、対象波長の複数の波長候補の各々の赤外線画像と、対応する教師画像とのペアが多数用意される。ここでの対応する教師画像とは、同じ被写体を基準波長で撮像した場合に得られる赤外線画像の階調レベルと同程度の階調レベルを有するように予め調整された画像である（基準波長の赤外線画像そのものであってもよい）。そして、例えば、ブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、各赤外線画像の階調レベルを基準波長の赤外線画像と同程度にまで変換するためのフィルタ係数が決定される。

さらに、記憶部１５６は、取得部１５４により取得された赤外線画像又は変換部１５８により画素値の変換された赤外線画像を記憶してもよい。

（変換部）
変換部１５８は、対象波長に依存する変換制御情報を用いて赤外線画像の画素値を変換する。例えば、変換制御情報は、フィルタ係数のセットを含む。そして、変換部１５８は、記憶部１５６から取得されるフィルタ係数を用いて赤外線画像にフィルタ演算を行うことにより、赤外線画像の画素値を変換する。

具体的には、変換部１５８は、赤外線画像の各注目画素について、図１０に例示したようなフィルタタップを構築し、例えばフィルタ係数テーブル５０又はフィルタ係数テーブル６０により記憶されるフィルタ係数をフィルタタップに適用することにより、フィルタ演算を行う。例えば、基準波長が固定的である実施例において、対象波長がＬ３である場合、変換部１５８は、フィルタ係数テーブル５０に示したフィルタ係数Ｋ_１、３〜Ｋ_９、３をフィルタ演算のために使用し得る。また、基準波長が可変的である実施例において、対象波長及び基準波長がそれぞれＬ２及びＬ１である場合、変換部１５８は、フィルタ係数テーブル６０に示したフィルタ係数Ｋ_{１、２、１}〜Ｋ_{９、２、１}をフィルタ演算のために使用し得る。

変換部１５８は、フィルタ演算の結果として画素値の変換された赤外線画像を、制御部１５２及び記憶部１５６へ出力する。なお、対象波長が基準波長と等しい場合、変換部１５８は、赤外線画像の画素値を変換しない。この場合、変換部１５８は、取得部１５４から入力される赤外線画像をそのまま制御部１５２及び記憶部１５６へ出力し得る。また、変換部１５８は、赤外線画像の一部についてのみ画素値を変換してもよい。例えば、変換部１５８は、赤外線画像においてユーザが注意を払うべき特定の領域（例えば、歩行者が映っている生体領域、又は他の車両等が映っている物体領域）についてのみ画素値を変換することにより、その領域内の階調を安定化させてもよい。

[２−３．動作]
続いて、図１１及び図１２を参照して、本開示の実施形態に係る画像処理装置１が行う処理の流れを説明する。

図１１は、本開示の実施形態に係る画像処理装置１が行う処理の流れの具体例を示すフローチャートである。図１１に示したように、まず、制御部１５２は、その時点で設定されている対象波長を他の波長に切り替えるべきかを判定する（ステップＳ１０２）。対象波長を切り換えるべきであると判定された場合（ステップＳ１０２／ＹＥＳ）、制御部１５２は、対象波長の設定値を変更する（ステップＳ１０４）。例えば、制御部１５２は、赤外線カメラ１０２の光学フィルタの通過帯域を切り換えてもよく、又は取得部１５４が分離すべき波長成分の設定を変更してもよい。一方、対象波長を切り換えるべきであると判定されなかった場合（ステップＳ１０２／ＮＯ）、ステップＳ１０４はスキップされる。次に、制御部１５２は、赤外線カメラ１０２に対象波長を含む照射帯域の赤外線を照射させる（ステップＳ１０６）。そして、取得部１５４は、対象波長の赤外線画像を取得し（ステップＳ１０８）、赤外線画像を変換部１５８へ出力する。次に、制御部１５２は、対象波長が基準波長と異なるかを判定する（ステップＳ１１０）。対象波長が基準波長と異ならないと判定された場合（ステップＳ１１０／ＮＯ）、変換部１５８は、赤外線画像の画素値を変換することなく、取得部１５４により取得された赤外線画像を制御部１５２及び記憶部１５６へ出力する。一方、対象波長が基準波長と異なると判定された場合（ステップＳ１１０／ＹＥＳ）、変換部１５８は、画素値変換処理を行う（ステップＳ１１２）。そして、変換部１５８は、対象波長の変更に起因する階調の変化の減殺された赤外線画像を、制御部１５２及び記憶部１５６へ出力する。その後、次のフレームについて上述した処理が繰り返される。

図１２は、図１１のステップＳ１１２において実行される画素値変換処理の流れの具体例を示すフローチャートである。図１２に示したように、まず、変換部１５８は、その時点の対象波長の設定値（及び、必要に応じて基準波長の設定値）に対応するフィルタ係数のセットを、記憶部１５６から取得する（ステップＳ１５２）。次に、変換部１５８は、赤外線画像内の１つの画素を注目画素として選択し（ステップＳ１５４）、注目画素についてフィルタ係数を用いてフィルタ演算を行う（ステップＳ１５６）。次に、画素値の変換が終了していない画素が残っている場合（ステップＳ１５８／ＮＯ）、変換部１５８は、次の画素を注目画素として選択して、上述した処理を繰り返す。一方、全ての画素について画素値の変換が終了している場合（ステップＳ１５８／ＹＥＳ）、画素値変換処理は終了する。

上述した実施形態によれば、制御部１５２は、取得部１５４により取得される赤外線画像の対象波長を、近傍で照射される赤外線の波長とは異なるように可変的に制御する。それにより、得られる赤外線画像への他の赤外線カメラにより照射される赤外線の映り込みが抑制される。また、本開示の実施形態に係る画像処理装置１によれば、制御部１５２は、対象波長に依存して赤外線画像の階調を制御する。それにより、対象波長の切り替え等の外乱に影響されることなく、より安定的な赤外線画像をユーザに提示し又は後段の処理へと出力することが可能となる。

また、上述した実施形態によれば、制御部１５２は、対象波長が基準波長と異なる場合に、基準波長で取得される画像からの赤外線画像の階調における変化を減殺するように赤外線画像の階調を制御する。それにより、対象波長の切り換え前後における階調の予期しない変化によってもたらされる、ユーザによる被写体の視認又は後続する認識処理における人物若しくは物体の認識への悪影響を抑制することができる。

また、ある実施形態によれば、制御部１５２は、対象波長に依存する変換制御情報を用いて変換部１５８に赤外線画像の画素値を変換させることにより、赤外線画像の階調を制御する。したがって、対象波長の切り換え前後において得られる赤外線画像の階調に予期しない変化があった場合でも、画像取得後に当該変化を低減することが可能となる。このような画素値を変換する手法によれば、階調を制御するために撮像モジュールを光学的に又は機械的に制御する必要性が無いため、階調を制御する仕組みを比較的少ないコストで実装することができる。

また、ある実施例によれば、変換部１５８は、学習処理を通じて事前に決定されるフィルタ係数を用いて赤外線画像にフィルタ演算を行うことにより、赤外線画像の画素値を変換する。したがって、階調の制御に起因する画像内容の歪みの少ない、尤もらしい変換後の赤外線画像を提供することが可能となる。

また、ある実施例によれば、変換部１５８は、複数の波長候補の各々について事前に決定されるフィルタ係数を、フィルタ演算のために用いる。それにより、変換部１５８は、変換制御情報を動的に計算するような手法と比較して、対象波長の切り換えがあった場合に迅速にフィルタ係数を取得することができる。したがって、少ない遅延と共に変換部１５８により画素値を変換することができる。

また、ある実施例によれば、変換部１５８は、複数の波長候補の各々と基準波長との組合せごとに事前に決定されるフィルタ係数を、フィルタ演算のために用いる。それにより、変換部１５８は、対象波長のみならず基準波長が動的に切り替えられる場合にも、迅速に適切なフィルタ係数を取得して赤外線画像の画素値を変換することにより、尤もらしい変換後の赤外線画像を提供することができる。

[２−４．変形例]
本節では、上述した実施形態のいくつかの変形例を説明する。

（第１の変形例）
第１の変形例は、赤外線画像の階調を制御するための手法に関する変形例である。第１の変形例では、画像処理装置１の構成から変換部１５８が省略され得る。

第１の変形例において、制御部１５２は、対象波長に依存して赤外線カメラ１０２における赤外線の受光量を制御することにより赤外線画像の階調を制御する。具体的には、対象波長が切り換えられた場合、制御部１５２は、変更後の設定値の対象波長に基づいて赤外線カメラ１０２の制御量を決定し、決定された制御量に基づいて赤外線カメラ１０２に被写体を撮像させる。例えば、制御部１５２により決定される赤外線カメラ１０２の制御量は、赤外線カメラ１０２の露光時間又は赤外線カメラ１０２により照射される赤外線の強度の調整量であってもよい。こうした制御量は、例えば、対象波長の候補の各々について（又は対象波長の候補と基準波長との各組合せについて）赤外線画像の階調における変化を減殺するように予め決定され、記憶部１５６により記憶され得る。取得部１５４は、取得された赤外線画像を制御部１５２及び記憶部１５６へ出力する。

以下、図１３を参照して、第１の変形例に係る画像処理装置１が行う処理の流れを説明する。

図１３は、第１の変形例に係る画像処理装置１が行う処理の流れの具体例を示すフローチャートである。図１３に示したように、まず、制御部１５２は、その時点で設定されている対象波長を他の波長に切り替えるべきかを判定する（ステップＳ１０２）。対象波長を切り換えるべきであると判定された場合（ステップＳ１０２／ＹＥＳ）、制御部１５２は、対象波長の設定値を変更する（ステップＳ１０４）。一方、対象波長を切り換えるべきであると判定されなかった場合（ステップＳ１０２／ＮＯ）、ステップＳ１０４はスキップされる。次に、制御部１５２は、対象波長が基準波長と異なるかを判定する
（ステップＳ２１０）。対象波長が基準波長と異なると判定された場合（ステップＳ２１０／ＹＥＳ）、制御部１５２は、対象波長（又は対象波長及び基準波長の組合せ）に依存して、赤外線カメラ１０２の制御量を決定する（ステップＳ２１２）。一方、対象波長が基準波長と異ならないと判定された場合（ステップＳ２１０／ＮＯ）、ステップＳ２１２はスキップされる。次に、制御部１５２は、必要に応じてステップＳ２１２で決定された制御量に従って、赤外線カメラ１０２に赤外線を照射させ（ステップＳ２０６）、赤外線カメラ１０２による撮像を通じて赤外線画像を取得部１５４に取得させる（ステップＳ２０８）。そして、取得部１５４は、取得した赤外線画像を制御部１５２及び記憶部１５６へ出力する。その後、次のフレームについて上述した処理が繰り返される。

以上説明したように、第１の変形例によれば、制御部１５２は、対象波長に依存して撮像部における赤外線の受光量を制御することにより、赤外線画像の階調を制御する。したがって、赤外線カメラによる撮像に利用される赤外線の対象波長の切り換え前後における階調の変化を、事後的な画素値の変換を要することなく低減することができる。

（第２の変形例）
前節では、フィルタ係数を用いたフィルタ演算により赤外線画像の画素値を変換する例を説明した。第２の変形例では、より簡易な手法で赤外線画像の各画素値が変換される。

第２の変形例において、対象波長に依存する変換制御情報は、複数の画素に共通に適用される単一の変換倍率を含み、変換部１５８は、赤外線画像の画素値の各々に変換倍率を乗じることにより、赤外線画像の画素値の各々を変換する。例えば、変換部１５８は、対象波長の切り換え前後における階調平均の比に基づいて変換倍率を算出する。その代わりに、変換倍率は、対象波長の候補ごとに（又は対象波長及び基準波長の候補の組合せごとに）予め決定されてもよい。

以下、第２の変形例に係る画像処理装置１が行う処理の流れを説明する。なお、第２の変形例に係る画像処理装置１が行う処理の流れにおいて、図１１を参照して説明した処理の流れと比較し、画素値変換処理（ステップＳ１１２）が異なる。以下、図１４を参照して、第２の変形例に係る画像処理装置１が行う画素値変換処理の流れを説明する。

図１４は、第２の変形例に係る画素値変換処理の流れの具体例を示すフローチャートである。図１４に示したように、まず、変換部１５８は、例えば対象波長の切り換え前の画像（又は基準波長で過去に撮像された画像）の階調平均と切り換え後の画像の階調平均との比を計算することにより、変換倍率を算出する（ステップＳ２５２）。次に、変換部１５８は、赤外線画像内の１つの画素を注目画素として選択し（ステップＳ１５４）、注目画素の画素値に変換倍率を乗じることにより、注目画素の変換後の画素値を算出する（Ｓ２５６）。次に、画素値の変換が終了していない画素が残っている場合（ステップＳ１５８／ＮＯ）、変換部１５８は、次の画素を注目画素として選択して、上述した処理を繰り返す。一方、全ての画素について画素値の変換が終了している場合（ステップＳ１５８／ＹＥＳ）、画素値変換処理は終了する。

以上説明したように、第２の変形例によれば、変換制御情報は、複数の画素に共通に適用される単一の変換倍率を含み、変換部１５８は、赤外線画像の画素値の各々に変換倍率を乗じることにより、赤外線画像の画素値の各々を変換する。したがって、事前の学習処理又は多数のフィルタタップを用いたフィルタ演算といった複雑な処理を要することなく、赤外線画像の階調を簡易に制御することができる。さらに、相対的に情報量の多いフィルタ係数を予め記憶しておかなくてよいため、メモリを節約することが可能となる。

＜３．むすび＞
以上説明したように、本開示の実施形態によれば、赤外線画像への他の赤外線カメラにより照射される赤外線の映り込みを抑制しつつ、外乱に影響されない安定的な赤外線画像を提供することが可能となる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
赤外線画像を取得する取得部と、
前記取得部により取得される前記赤外線画像の対象波長を可変的に制御し、前記対象波長に依存して前記赤外線画像の階調を制御する制御部と、
を備える画像処理装置。
（２）
前記制御部は、前記対象波長が基準波長と異なる場合に、前記基準波長で取得される画像からの前記赤外線画像の階調における変化を減殺するように、前記赤外線画像の階調を制御する、前記（１）に記載の画像処理装置。
（３）
前記取得部により取得される前記赤外線画像の画素値を変換する変換部、を備え、
前記制御部は、前記対象波長に依存する変換制御情報を用いて前記変換部に前記赤外線画像の画素値を変換させることにより、前記赤外線画像の階調を制御する、
前記（２）に記載の画像処理装置。
（４）
前記変換制御情報は、フィルタ係数を含み、
前記変換部は、前記取得部により取得される前記赤外線画像に前記フィルタ係数を用いてフィルタ演算を行うことにより、前記赤外線画像の画素値を変換する、
前記（３）に記載の画像処理装置。
（５）
前記変換部は、学習処理を通じて事前に決定される前記フィルタ係数を用いて、前記フィルタ演算を行う、前記（４）に記載の画像処理装置。
（６）
前記変換制御情報は、複数の画素に共通的に適用される単一の変換倍率を含み、
前記変換部は、前記取得部により取得される前記赤外線画像の画素値の各々に前記変換倍率を乗じることにより、前記赤外線画像の画素値の各々を変換する、
前記（３）に記載の画像処理装置。
（７）
前記制御部は、複数の波長候補から前記対象波長を選択し、
前記画像処理装置は、前記複数の波長候補の各々について事前に決定される前記変換制御情報を記憶する記憶部、をさらに備える、
前記（３）から（６）のいずれか一項に記載の画像処理装置。
（８）
前記記憶部は、前記複数の波長候補の各々と前記基準波長との組合せごとに、前記変換制御情報を記憶する、前記（７）に記載の画像処理装置。
（９）
赤外線を受光することにより被写体を撮像する撮像部を備え、
前記取得部は、前記撮像により得られた原画像を前記赤外線画像として取得し、
前記制御部は、前記対象波長に依存して前記撮像部における前記赤外線の受光量を制御することにより、前記赤外線画像の階調を制御する、
前記（２）に記載の画像処理装置。
（１０）
光学フィルタを通過した赤外線を受光することにより被写体を撮像する撮像部を備え、
前記取得部は、前記撮像により得られた原画像を前記赤外線画像として取得し、
前記制御部は、前記光学フィルタの通過帯域を切り換えることにより、前記取得部により取得される前記赤外線画像の前記対象波長を可変的に制御する、前記（１）から（９）のいずれか一項に記載の画像処理装置。
（１１）
前記取得部は、被写体を撮像することにより得られた原画像から前記対象波長の成分を分離することにより前記赤外線画像を取得する、前記（１）から（８）のいずれか一項に記載の画像処理装置。
（１２）
画像処理装置により赤外線画像を取得することと、
取得される前記赤外線画像の対象波長を可変的に制御することと、
前記対象波長に依存して前記赤外線画像の階調を制御することと、
を含む画像処理方法。
（１３）
画像処理装置を制御するコンピュータを、
赤外線画像を取得する取得部と、
前記取得部により取得される前記赤外線画像の対象波長を可変的に制御し、前記対象波長に依存して前記赤外線画像の階調を制御する制御部と、
として機能させるためのプログラム。

１ 画像処理装置
１０２ 赤外線カメラ
１０４ 入力インタフェース
１０６ メモリ
１０８ ディスプレイ
１１０ 通信インタフェース
１１２ ストレージ
１１４ プロセッサ
１１６ バス
１５２ 制御部
１５４ 取得部
１５６ 記憶部
１５８ 変換部

Claims (10)

1. 赤外線画像を取得する取得部と、
   前記赤外線画像の対象波長に依存するフィルタ係数を含む変換制御情報を用いて前記赤外線画像にフィルタ演算を行うことにより、前記赤外線画像の画素値を変換する変換部と、
   前記対象波長を可変的に制御し、
   前記対象波長が基準波長と異なる場合に、前記基準波長で取得される画像からの前記赤外線画像の階調における変化を減殺するように、前記赤外線画像の階調を制御する制御部と、
   を備える画像処理装置。
2. 前記変換部は、学習処理を通じて事前に決定される前記フィルタ係数を用いて、前記フィルタ演算を行う、請求項１に記載の画像処理装置。
3. 前記変換制御情報は、複数の画素に共通的に適用される単一の変換倍率を含み、
   前記変換部は、前記取得部により取得される前記赤外線画像の画素値の各々に前記変換倍率を乗じることにより、前記赤外線画像の画素値の各々を変換する、
   請求項１に記載の画像処理装置。
4. 前記制御部は、複数の波長候補から前記対象波長を選択し、
   前記画像処理装置は、前記複数の波長候補の各々について事前に決定される前記変換制御情報を記憶する記憶部、をさらに備える、
   請求項１に記載の画像処理装置。
5. 前記記憶部は、前記複数の波長候補の各々と前記基準波長との組合せごとに、前記変換制御情報を記憶する、請求項４に記載の画像処理装置。
6. 赤外線を受光することにより被写体を撮像する撮像部を備え、
   前記取得部は、前記撮像により得られた原画像を前記赤外線画像として取得し、
   前記制御部は、前記対象波長に依存して前記撮像部における前記赤外線の受光量を制御することにより、前記赤外線画像の階調を制御する、
   請求項１に記載の画像処理装置。
7. 光学フィルタを通過した赤外線を受光することにより被写体を撮像する撮像部を備え、
   前記取得部は、前記撮像により得られた原画像を前記赤外線画像として取得し、
   前記制御部は、前記光学フィルタの通過帯域を切り換えることにより、前記取得部により取得される前記赤外線画像の前記対象波長を可変的に制御する、請求項１に記載の画像処理装置。
8. 前記取得部は、被写体を撮像することにより得られた原画像から前記対象波長の成分を分離することにより前記赤外線画像を取得する、請求項１に記載の画像処理装置。
9. 画像処理装置により赤外線画像を取得することと、
   前記赤外線画像の対象波長に依存するフィルタ係数を含む変換制御情報を用いて前記赤外線画像にフィルタ演算を行うことにより、前記赤外線画像の画素値を変換することと、
   前記赤外線画像の対象波長を可変的に制御することと、
   前記対象波長が基準波長と異なる場合に、前記基準波長で取得される画像からの前記赤外線画像の階調における変化を減殺するように、前記赤外線画像の階調を制御することと、
   を含む画像処理方法。
10. 画像処理装置を制御するコンピュータを、
    赤外線画像を取得する取得部と、
    前記赤外線画像の対象波長に依存するフィルタ係数を含む変換制御情報を用いて前記赤外線画像にフィルタ演算を行うことにより、前記赤外線画像の画素値を変換する変換部と、
    前記対象波長を可変的に制御し、
    前記対象波長が基準波長と異なる場合に、前記基準波長で取得される画像からの前記赤外線画像の階調における変化を減殺するように、前記赤外線画像の階調を制御する制御部と、
    として機能させるためのプログラム。

Images