JP7024713B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置、及び画像処理方法に関する。

近年、赤外線カメラにより取得される温度画像を用いて、物体認識を行う技術が開発されている。例えば夜間又は悪天候時のように可視光画像から人体等の物体を検出することが困難な場合であっても、温度画像から物体を検出することが可能な場合がある。

温度画像は、一般的な画像処理における画像よりもビット数が大きい場合が多いため、処理量やデータ量を削減するため、温度画像における各画素の温度（画素値）を、より小さいビット数の階調値（画素値）に変換する階調変換が行われている。物体認識は、階調変換が施された画像に対して行われるため、物体認識の精度は、階調変換の影響を受ける。

例えば、特許文献１には、検出対象物の検出精度を向上させるため、環境温度と距離に応じたルックアップテーブルを用いて、赤外線センサの出力（温度画像の画素値）を階調値に変換した後に、検出処理を行う技術が記載されている。

特開２０１２－２４７２２５号公報

上記のような、温度画像から物体検出等の物体認識を行う技術においては、さらなる認識精度の向上が望まれていた。

本開示によれば、対象物体に関するデータに基づく変換関数を用いて、温度画像に対して階調変換を施す変換部を備える、画像処理装置が提供される。

また、本開示によれば、プロセッサが、対象物体に関するデータに基づく変換関数を用いて、温度画像に対して階調変換を施すこと、を含む画像処理方法が提供される。

また、本開示によれば、複数の変換関数から距離に基づいて特定される変換関数を用いて、温度画像に対して階調変換を施すことで、前記温度画像の被写体に係る被写体温度を推定する変換部を備える、画像処理装置が提供される。

以上説明したように本開示によれば、温度画像を用いた物体認識における認識精度が向上する。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

温度画像からの物体認識が行われるシナリオの一例を示す説明図である。 本開示の第一の実施形態に係る画像処理装置の構成例を示すブロック図である。 同実施形態に係る変換関数の例を説明するための説明図である。 同実施形態に係る変換関数の例を説明するための説明図である。 同実施形態に係る変換関数の例を説明するための説明図である。 同実施形態に係る変換関数の例を説明するための説明図である。 同実施形態に係る変換関数の例を説明するための説明図である。 同実施形態に係る変換関数の例を説明するための説明図である。 同実施形態に係る画像処理装置１０の動作例を示すフローチャート図である。 本開示の第二の実施形態に係る画像処理装置の構成例を示す説明図である。 距離、環境温度、被写体温度、及び観測温度の関係を模式的に示す説明図である。 観測温度から被写体温度を推定するための変換関数の例を示す説明図である。 同実施形態に係る画像処理装置２０の動作例を示すフローチャート図である。 本開示の第三の実施形態に係る画像処理装置の構成例を示す説明図である。 同実施形態に係る認識部３４６による物体認識の具体例を示す模式図である。 同実施形態に係る画像処理装置３０の動作例を示すフローチャート図である。 同実施形態の変形例に係る物体認識の具体例を示す模式図である。 本開示の第四の実施形態に係る画像処理装置の構成例を示す説明図である。 同実施形態に係る画像処理装置４０の動作例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．第一の実施形態＞＞
＜２－１．構成＞
＜２－２．動作＞
＜２－３．効果＞
＜＜３．第二の実施形態＞＞
＜３－１．構成＞
＜３－２．動作＞
＜３－３．効果＞
＜３－４．変形例＞
＜＜４．第三の実施形態＞＞
＜４－１．構成＞
＜４－２．動作＞
＜４－３．効果＞
＜４－４．変形例＞
＜＜５．第四の実施形態＞＞
＜５－１．構成＞
＜５－２．動作＞
＜５－３．効果＞
＜＜６．ハードウェア構成例＞＞
＜＜７．むすび＞＞

＜＜１．概要＞＞
まず、図１を参照して本開示の一実施形態の概要を説明する。図１は、温度画像からの物体認識が行われるシナリオの一例を示す説明図である。図１を参照すると、まず、温度画像を撮像（センシング）する赤外線カメラ（温度画像取得部の一例）により温度画像Ｐ１が取得される（Ｓ１０）。

なお、温度画像は、例えば物体からの黒体放射によって発せられる遠赤外線を赤外線カメラの撮像素子により捕捉することによって生成される。遠赤外線は例えば４μｍ～１０００μｍの波長を有する光線とされることが多いが、赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。

続いて、温度画像Ｐ１に階調変換が施され（Ｓ１２）、変換画像Ｐ２が得られる。本明細書において、階調変換により得られる画像を変換画像と呼ぶ。また、本明細書において、階調変換とは、変換関数を用いて、画像における各画素値の変換を行うことであり、変換の前後で画像のビット数が異なる場合も、同一の場合も含む。また、本明細書における変換関数は、変換前後の画素値の対応を表す規則であり、例えばルックアップテーブル、数式等、多様な形態を含みうる。また、以下の説明において、変換画像における画素値を輝度と呼ぶ場合がある。なお、変換関数の例については後述する。

続いて、変換画像Ｐ２に対して物体認識が行われる（Ｓ１４）。図１では、物体認識の一例として、人体検出を示しているが、本開示に係る物体認識は人体検出に限定されず、顔、車両等の様々な物体の検出や、人物の識別、顔向きの認識等であってもよい。なお、以下では、人体検出における人体や、顔検出における顔、車両検出における車両、人物の識別における人物、顔向きの認識における顔等、物体認識において対象となる物体を、対象物体と呼ぶ。最後に、物体認識の結果画像Ｐ３がディスプレイに表示される（Ｓ１８）。

ここで、上述したステップＳ１４における物体認識の精度は、ステップＳ１２における階調変換に応じて変化し得る。例えば、１４ｂｉｔの温度画像に階調変換を施した８ｂｉｔの変換画像に対して物体検出を行う場合、１４ｂｉｔの温度レンジを８ｂｉｔの階調値に単純に圧縮して割り当てると、物体検出に係る対象物体の領域における階調がつぶれて（階調が少なくなって）しまう。その結果、認識精度が低下する恐れがある。そこで、本明細書では、より認識精度を向上させる階調変換の仕組みを提案する。

なお、上述した一連の処理は、温度画像を撮像し又は撮像された温度画像を処理する任意の種類の装置上で実行され得る。いくつかの例を挙げるだけでも、温度画像を撮像する装置は、デジタルビデオカメラ、デジタルスチルカメラ、テレビジョン放送用カメラ、監視カメラ、モニター付きインターホン、車載カメラ、スマートフォン、ＰＣ（Personal Computer）、ＨＭＤ（Head Mounted Display）端末、ゲーム端末、医療機器、診断機器及び検査機器などを含み得る。また、温度画像を処理する装置は、上述した様々な撮像装置に加えて、テレビジョン受像機、コンテンツプレーヤ、コンテンツレコーダ及びオーサリング機器などを含み得る。以下で言及する画像処理装置は、ここに例示した装置に搭載され又は当該装置に接続されるモジュールであってもよい。

＜＜２．第一の実施形態＞＞
＜２－１．構成＞
図２は、本開示の第一の実施形態に係る画像処理装置の構成例を示すブロック図である。図２に示すように、本実施形態に係る画像処理装置１０は、温度画像取得部１１０、環境温度取得部１２０、操作部１３０、制御部１４０、記憶部１５０、及び表示部１６０を備える。

温度画像取得部１１０は、センシングにより温度画像を取得するセンサである。例えば、温度画像取得部１１０は、物体からの黒体放射によって発せられる遠赤外線を捕捉する撮像素子を有する赤外線カメラ（赤外線センサ）であってもよい。また、温度画像取得部１１０はセンシングにより温度画像を取得可能な他のセンサであってもよい。温度画像取得部１１０により取得された温度画像は、制御部１４０に提供される。

環境温度取得部１２０は、センシングにより画像処理装置１０の周囲の環境温度を取得する温度センサである。環境温度取得部１２０により取得された環境温度は、制御部１４０に提供される。

操作部１３０は、ユーザによる入力を受け付け、制御部１４０に提供する。例えば、ユーザは、操作部１３０を操作して、複数の対象物体から１の対象物体を選択するための入力を行ってもよいし、複数の変換関数から１の変換関数を選択するための入力を行ってもよい。なお、操作部１３０は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、またはダイヤルなどにより実現されてもよい。

制御部１４０は、画像処理装置１０の各構成を制御する。また、本実施形態による制御部１４０は、図２に示すように、変換関数特定部１４２、変換部１４４、認識部１４６（検出部）、及び表示制御部１４８としても機能する。

変換関数特定部１４２は、後述する記憶部１５０に記憶された複数の変換関数から、１の変換関数を特定し、特定された変換関数を変換部１４４に提供する。例えば、変換関数特定部１４２は、環境温度取得部１２０から提供される環境温度、及び操作部１３０から提供されるユーザの入力に応じて、複数の変換関数から、１の変換関数を特定してもよい。係る構成により、適切な変換関数による階調変換が行われて、温度画像からの物体認識における認識精度が向上し得る。

本実施形態に係る変換関数は、対象物体に関するデータに基づく変換関数であり、例えば予め画像処理装置１０または他の装置により生成され、記憶部１５０に記憶される。例えば、変換関数は、対象物体に関するデータに基づき、変換画像における対象物体領域内のダイナミックレンジをより大きくするように生成されてもよい。以下、本実施形態に係る変換関数の例について、図３～図８を参照して説明を行う。

なお、以下では、１４ｂｉｔの温度画像から、８ｂｉｔの変換画像に変換するための変換関数の例を説明するが、本実施形態に係る変換関数は係る例に限定されない。例えば、本実施形態に係る変換関数は、変換の前後における画像のビット数が他の組み合わせである変換関数であってもよいし、変換の前後における画像のビット数が同一である変換関数であってもよい。

図３は、本実施形態に係る変換関数の例を説明するための説明図である。図３のグラフＧ１、及びグラフＧ２は、対象物体の温度レンジ（対象物体に関するデータの一例）に応じた範囲において所定の変換を行うための変換関数を示すグラフである。なお、以下の説明において、温度は温度画像における画素値であり、輝度は変換画像における画素値である。

図３のグラフＧ１は、事前に求められた対象物体（例えば人体）の温度レンジＲ１（温度レンジに応じた範囲の一例）のみを１４ｂｉｔの温度から８ｂｉｔの輝度に変換する変換関数Ｆ１を示すグラフである。例えば、変換関数Ｆ１は、温度レンジＲ１（温度Ｔ１２～温度Ｔ１４）の範囲で、温度に対応する輝度が最小値である０から最大値である２５５まで変化するような変換関数である。また、変換関数Ｆ１において、温度Ｔ１０～温度Ｔ１２の範囲の温度に対応する輝度は０であり、温度Ｔ１４以上の温度に対応する輝度は２５５である。

係る構成によれば、変換画像において、対象物体領域により多くｂｉｔ数が割り当てられやすくなり、物体認識精度を向上させることが可能である。

また、図３のグラフＧ２は、事前に求められた対象物体の温度レンジＲ１にオフセットを持たせた範囲（温度レンジに応じた範囲の一例）を設定して、当該範囲の中と外でそれぞれ傾きが異なるように変換を行う変換関数Ｆ２を示すグラフである。

例えば、図３に示すように、温度レンジＲ１にオフセットを持たせた範囲（温度Ｔ２２～温度Ｔ２４）の中と外で、変換関数Ｆ２の傾きが異なり、当該範囲の中での傾きの方が当該範囲の外での傾きよりも大きい。

係る構成によれば、例えば対象物体の温度が、事前に求められた対象物体の温度レンジから外れた温度を含んでいる場合であっても、物体認識精度を向上させることが可能である。

なお、図３では、変換関数Ｆ１、及び変換関数Ｆ２が、対象物体の温度レンジに応じた範囲（温度レンジＲ１、及び温度レンジＲ１にオフセットを持たせた範囲）において線形である例を示したが、本実施形態に係る変換関数は係る例に限定されない。例えば、本実施形態に係る変換関数は、温度レンジに応じた範囲において、非線形であってもよく、係る変換関数も、温度レンジに応じた範囲において所定の変換を行う変換関数に含まれ得る。

図４は、本実施形態に係る変換関数の他の例を説明するための説明図である。図４のグラフＧ１１は、事前に求められた対象物体（例えば人体）の温度ヒストグラムＨ１１と、温度ヒストグラムＨ１１の累積密度関数Ｆ１１を示すグラフである。なお、以下の説明において、温度ヒストグラムに対応する軸は頻度の軸であり、累積密度関数に対応する軸は割合の軸である。

図４のグラフＧ１２は、上記の累積密度関数Ｆ１１に応じた変換関数Ｆ１２を示すグラフである。例えば、図４に示す変換関数Ｆ１２は、累積密度関数Ｆ１１における最小値と最大値が、それぞれ変換関数Ｆ１２における最小値と最大値（すなわち、８ｂｉｔの輝度における最小値と最大値）に対応するように生成された変換関数である。

係る構成によれば、対象物体の温度ヒストグラムにおいて、より頻度が多い温度範囲に、より多くのｂｉｔ数が割り当てられやすくなり、物体認識精度を向上させることが可能である。

図５～図７は、本実施形態に係る変換関数の他の例を説明するための説明図である。図５～図７は、それぞれ、異なる環境温度における対象物体（例えば人体）に関するデータに基づく変換関数の例を示すグラフである。

図５のグラフＧ２１は、低い環境温度において、事前に求められた対象物体の温度ヒストグラムＨ２１と、温度ヒストグラムＨ２１の累積密度関数Ｆ２１を示すグラフである。また、図５のグラフＧ２２は、上記の累積密度関数Ｆ２１に応じた変換関数Ｆ２２を示すグラフである。累積密度関数Ｆ２１と変換関数Ｆ２２の関係は、上述した累積密度関数Ｆ１１と変換関数Ｆ１２の関係と同様であるため、説明を省略する。

図６のグラフＧ２３は、通常（中程度）の環境温度において、事前に求められた対象物体の温度ヒストグラムＨ２３と、温度ヒストグラムＨ２３の累積密度関数Ｆ２３を示すグラフである。また、図６のグラフＧ２４は、上記の累積密度関数Ｆ２３に応じた変換関数Ｆ２４を示すグラフである。累積密度関数Ｆ２３と変換関数Ｆ２４の関係は、上述した累積密度関数Ｆ１１と変換関数Ｆ１２の関係と同様であるため、説明を省略する。

図７のグラフＧ２５は、高い環境温度において、事前に求められた対象物体の温度ヒストグラムＨ２５と、温度ヒストグラムＨ２５の累積密度関数Ｆ２５を示すグラフである。また、図７のグラフＧ２６は、上記の累積密度関数Ｆ２５に応じた変換関数Ｆ２６を示すグラフである。累積密度関数Ｆ２５変換関数Ｆ２６の関係は、上述した累積密度関数Ｆ１１と変換関数Ｆ１２の関係と同様であるため、説明を省略する。

例えば、変換関数特定部１４２は、環境温度に応じて、上述した変換関数Ｆ２２、Ｆ２４、Ｆ２６の変換関数のうち、最も近い環境温度における対象物体の温度ヒストグラムに基づく変換関数を、変換部１４４に提供する変換関数として特定してもよい。

なお、上記では、３の環境温度における対象物体に関するデータに基づく変換関数について説明したが、本実施形態は係る例に限定されない。例えば、２、または４以上の環境温度における対象物体に関するデータに基づく変換関数が記憶部１５０に記憶され、変換関数特定部１４２は、環境温度に応じて上記の変換関数のうち、いずれか１の変換関数を特定してもよい。

図８は、本実施形態に係る変換関数の他の例を説明するための説明図である。図８に示すグラフＧ３１、Ｇ３２、Ｇ３３は、それぞれ人体、顔、車両（対象物体の例）の温度ヒストグラムＨ３１、Ｈ３２、Ｈ３３を示すグラフである。図４～図７を参照して説明したように、対象物体（人体、顔、車両）ごとに、対象物体の温度ヒストグラムの累積密度関数に応じた変換関数が生成され、記憶部１５０に記憶され得る。

例えば、変換関数特定部１４２は、操作部１３０を介したユーザ入力により選択される対象物体に応じて、記憶部１５０に記憶された上記変換関数のうち、１の変換関数を、変換部１４４に提供する変換関数として特定してもよい。

係る構成により、複数種類の対象物体のうち、ユーザが認識したい対象物体に応じた変換関数が特定され、当該対象物体に係る物体認識精度を向上させることが可能である。

以上、本実施形態に係る変換関数の例、及び変換関数特定部１４２の変換関数の特定例について説明した。なお、上述した変換関数、及び変換関数の特定は一例であって、本実施形態は係る例に限定されない。例えば、変換関数特定部１４２は、環境温度、及びユーザ入力により選択される対象物体の組み合わせに応じて、変換関数を特定してもよい。また、変換関数特定部１４２は、記憶部１５０に記憶された複数の変換関数のうち、ユーザ入力により選択される１の変換関数を、変換部１４４に提供する変換関数として特定してもよい。

変換部１４４は、変換関数特定部１４２により特定された変換関数を用いて、温度画像に対して階調変換を施し、階調変換により得られた変換画像を認識部１４６に提供する。変換部１４４による階調変換は、変換関数に応じて、変換の前後における画像のビット数が異なる変換であってもよいし、変換の前後における画像のビット数が同一である変換であってもよい。

認識部１４６は、変換部１４４が階調変換を施して生成した変換画像に対して物体認識を行う。認識部１４６が行う物体認識は特に限定されないが、例えば認識部１４６は、変換画像から物体（人体、顔、車両等）を検出する検出部としての機能を有してもよい。また、認識部１４６は、変換画像から検出された人物を識別する機能や、変換画像から検出された顔の向きを認識する機能を有してもよい。なお、操作部１３０を介してユーザ入力により対象物体が選択される場合、認識部１４６は、当該選択された対象物体に係る物体認識を行う。

また、認識部１４６が行う物体認識の手法は特に限定されず、例えば事前に用意されたテンプレート画像を用いたテンプレートマッチングや、機械学習による手法等であってもよい。

表示制御部１４８は、表示部１６０の表示を制御する。例えば、表示制御部１４８は、認識部１４６による物体認識の結果（認識結果）を表示部１６０に表示させる。認識部１４６が変換画像から人体の検出を行う場合、表示制御部１４８は、変換画像に、検出された人体の領域を囲う枠を重畳した画像を認識結果（検出結果）として表示させてもよい。

記憶部１５０は、画像処理装置１０の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部１５０は、複数の変換関数を記憶していてもよい。

表示部１６０は、表示制御部１４８に制御されて、様々な画面を表示するディスプレイである。例えば、表示部１６０は、認識部１４６による物体認識の結果を表示する。

以上、本実施形態に係る画像処理装置１０の構成について説明した。なお、図２に示す構成は一例であって、本実施形態はこれに限定されない。例えば、本実施形態に係る制御部１４０の各機能、及び記憶部１５０の機能は、不図示の通信部を介して接続されるクラウド上にあってもよい。

＜２－２．動作＞
次に、本実施形態に係る画像処理装置１０の動作について、図９を参照して説明する。図９は、本実施形態に係る画像処理装置１０の動作例を示すフローチャート図である。

図９に示すように、まず、温度画像取得部１１０がセンシング（撮像）により温度画像を取得する（Ｓ１００）。続いて、環境温度取得部１２０が、センシングにより画像処理装置１０の周囲の環境温度を取得する（Ｓ１０２）。続いて、操作部１３０を介したユーザ入力に基づき、対象物体に関する情報が選択（取得）される（Ｓ１０４）。

変換関数特定部１４２は上記ステップＳ１０２、Ｓ１０４で得られた環境温度、対象物体に応じて、記憶部１５０に記憶された複数の変換関数から１の変換関数を特定する（Ｓ１０６）。

続いて、変換部１４４は、ステップＳ１０６で特定された変換関数を用いて、ステップＳ１００で取得された温度画像に対して階調変換を施す（Ｓ１０８）。ここで、変換部１４４は、例えば温度画像の画素ごとに、変換関数を参照して、温度を輝度に変換する。全ての画素について、階調変換が完了していない場合（Ｓ１１０においてＮＯ）、処理はステップＳ１０８に戻り、階調変換が継続される。

全ての画素について、階調変換が完了した場合（Ｓ１１０においてＹＥＳ）、認識部１４６が、階調変換により得られた変換画像に対して物体認識を行う（Ｓ１１２）。最後に、表示制御部１４８がステップＳ１１２における物体認識の結果を表示部１６０に表示させる（Ｓ１１４）。

＜２－３．効果＞
以上説明したように、本開示の第一の実施形態によれば、対象物体のデータに基づき、対象物体領域内のダイナミックレンジをより大きくするように生成された変換関数を用いて階調変換が施され、階調変換が施された変換画像に対して物体認識が行われる。係る構成により、物体認識精度が向上する。

＜＜３．第二の実施形態＞＞
以上、本開示の第一の実施形態を説明した。続いて、本開示の第二の実施形態を説明する。以下に説明する第二の実施形態では、環境温度の影響を補正して、温度画像の被写体に係る被写体温度を推定することで、物体認識の精度を向上させることが可能である。

＜３－１．構成＞
図１０は、本開示の第二の実施形態に係る画像処理装置の構成例を示す説明図である。図１０に示すように、本実施形態に係る画像処理装置２０は、距離取得部２７０を新たに備え、制御部２４０、及び記憶部２５０の機能構成が図２の制御部１４０、及び記憶部１５０の機能構成と一部異なる点において、図２の画像処理装置１０と異なる。なお、図１０に示す各構成のうち、図２に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

距離取得部２７０は、温度画像の取得に係る温度画像取得部１１０から、被写体までの距離をセンシングにより取得する。距離取得部２７０による距離センシングの手法は特に限定されないが、温度画像の画素ごとに、被写体までの距離が取得されることが望ましい。例えば、距離取得部２７０は、温度画像に対応する距離画像を取得するデプスセンサであってもよい。距離取得部２７０により取得された温度画像の各画素における被写体までの距離は、制御部２４０に提供される。

図１０に示す制御部２４０は、画像処理装置２０の各構成を制御する。また、本実施形態による制御部２４０は、図１０に示すように、変換関数特定部２４２、変換部２４４、認識部１４６、及び表示制御部１４８としても機能する。

本実施形態に係る変換関数特定部２４２は、第一の実施形態に係る変換関数特定部１４２と同様に、記憶部２５０に記憶された複数の変換関数から、１の変換関数を特定し、特定された変換関数を変換部２４４に提供する。例えば、変換関数特定部２４２は、環境温度取得部１２０から提供される環境温度、及び操作部１３０から提供されるユーザの入力に応じて、温度を輝度に変換するための変換関数を特定してもよい。

また、本実施形態に係る変換関数特定部２４２は、環境温度取得部１２０から提供される環境温度、及び距離取得部２７０により取得された距離に応じて、被写体温度を推定するための変換関数を、さらに特定する。以下、温度画像からの被写体温度の推定に関して、図１１を参照して説明を行う。

図１１は、距離Ｄ、環境温度Ｔ_Ｅ、被写体温度Ｔ_Ｓ、及び観測温度Ｔ_Ｍ（温度画像における画素値）の関係を模式的に示す説明図である。図１１に示すように、観測温度Ｔ_Ｍは、被写体温度Ｔ_Ｓだけでなく、環境温度Ｔ_Ｅの影響を受け、その影響の大きさは、被写体から温度画像取得部までの距離Ｄに依存する。

したがって、環境温度Ｔ_Ｅと距離Ｄに基づく階調変換により、観測温度Ｔ_Ｍから被写体温度Ｔ_Ｓを得ることが可能となる。そこで、事前に、距離Ｄ、環境温度Ｔ_Ｅ、被写体温度Ｔ_Ｓ、及び観測温度Ｔ_Ｍの関係を計測することで、複数の変換関数（ルックアップテーブル）を生成して記憶部２５０に記憶させ、変換関数特定部２４２は、当該複数の変換関数から１の変換関数を特定する。

図１２は、観測温度Ｔ_Ｍから被写体温度Ｔ_Ｓを推定するための変換関数の例を示す説明図である。図１２のグラフＧ４２は、環境温度Ｔ_Ｅ＝１０℃における変換関数Ｆ４２、Ｆ４３を、グラフＧ４４は、環境温度Ｔ_Ｅ＝２０℃における変換関数Ｆ４４、Ｆ４５を、グラフＧ４６は、環境温度Ｔ_Ｅ＝３０℃における変換関数Ｆ４６、Ｆ４７を示すグラフである。なお、なお、変換関数Ｆ４２、Ｆ４４、Ｆ４６、及び変換関数Ｆ４３、Ｆ４５、Ｆ４７は、それぞれ距離Ｄが小さい（近距離の）場合の変換関数、及び距離Ｄが大きい（遠距離の）場合の変換関数を示している。

図１２に示す例において、変換関数特定部２４２は、環境温度取得部１２０から提供される環境温度、及び距離取得部２７０により取得された距離に応じて、上記変換関数Ｆ４２～Ｆ４７から、被写体温度を推定するための変換関数を特定する。なお、変換関数Ｆ４２～Ｆ４７は、例えば１４ｂｉｔの観測温度Ｔ_Ｍを１４ｂｉｔの被写体温度Ｔ_Ｓに変換するための変換関数である。

なお、図１２では、３の環境温度、及び２の距離の組み合わせに対応する６の変換関数の例を示したが、本実施形態は係る例に限定されず、より多様な組み合わせに対応するより多数の変換関数が記憶部２５０に記憶されていてもよい。変換関数特定部２４２は、記憶部２５０に記憶された複数の変換関数のうち、環境温度取得部１２０から提供される環境温度、及び距離取得部２７０により取得された距離に応じて、最も近い環境温度と距離の組み合わせに対応する変換関数を特定すればよい。

本実施形態に係る変換部２４４は、第一の実施形態に係る変換部１４４と同様に、変換関数特定部２４２により特定された変換関数を用いて、温度画像に対して、温度を輝度に変換する階調変換を施し、得られた変換画像を認識部１４６に提供する。

また、本実施形態に係る変換部２４４は、さらに、変換関数特定部２４２が距離に基づいて特定した変換関数を用いて、温度画像に階調変換を施すことで、当該温度画像の被写体に係る被写体温度を推定してもよい。なお、推定された被写体温度を各画素の画素値とする温度画像が、さらに他の変換関数を用いた階調変換の対象となってもよい。

本実施形態に係る記憶部２５０は、第一の実施形態に係る記憶部１５０と同様に、画像処理装置１０の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部２５０は、記憶部１５０と同様に、温度を輝度に変換するための複数の変換関数を有してもよいし、さらに、観測温度から被写体温度を推定する（観測温度を被写体温度に変換する）ための複数の変換関数を記憶していてもよい。

＜３－２．動作＞
以上、本実施形態に係る画像処理装置２０の構成について説明した。続いて、本実施形態に係る画像処理装置２０の動作について、図１３を参照して説明する。図１３は、本実施形態に係る画像処理装置２０の動作例を示すフローチャート図である。

図１３に示すように、まず、温度画像取得部１１０がセンシング（撮像）により温度画像を取得する（Ｓ２００）。続いて、環境温度取得部１２０が、センシングにより画像処理装置２０の周囲の環境温度を取得する（Ｓ２０２）。続いて、距離取得部２７０が、温度画像取得部１１０から被写体までの距離をセンシングにより取得する（Ｓ２０４）。

変換関数特定部２４２は、上記ステップＳ２０２、及びステップＳ２０４で取得された環境温度、及び距離に応じて、被写体温度を推定するための変換関数を特定する（Ｓ２０６）。なお、ステップＳ２０６において、変換関数は温度画像の画素ごとに特定されてもよい。

続いて、変換部２４４は、ステップＳ２０６で特定された変換関数を用いて、ステップＳ２００で取得された温度画像に対して階調変換を施す（Ｓ２０８）。ここで、変換部２４４は、例えば温度画像の画素ごとに、変換関数を参照して、観測温度を被写体温度に変換する。全ての画素について、階調変換が完了していない場合（Ｓ２１０においてＮＯ）、処理はステップＳ２０８に戻り、階調変換が継続される。

全ての画素について、階調変換が完了した場合（Ｓ２１０においてＹＥＳ）、操作部１３０を介したユーザ入力に基づき、対象物体に関する情報が選択（取得）される（Ｓ２１２）。続くステップＳ２１４～Ｓ２２２の処理は、温度画像の各画素値がステップＳ２０８で得られた被写体温度であることを除いて、図９を参照して説明したステップＳ１０６～Ｓ１１４の処理と同様であるため、説明を省略する。

＜３－３．効果＞
以上説明したように、本開示の第二の実施形態によれば、温度画像の被写体に係る被写体温度が推定される。また、被写体温度を画素値とする温度画像に対して階調変換が行われる。係る構成により、物体認識の精度を向上させることが可能である。

＜３－４．変形例＞
なお、上記では、図１０に示す画像処理装置２０が距離取得部２７０を備える例を説明したが、本実施形態は係る例に限定されない。例えば、画像処理装置２０が距離取得部２７０を備えず、温度画像取得部１１０から被写体までの正確な距離を取得することが出来なくても、本実施形態を適用することは可能である。以下、変形例として、画像処理装置２０が距離取得部２７０を備えない場合の変換関数特定部２４２による変換関数の特定について説明する。

例えば、変換関数特定部２４２は、認識部１４６が対象物体を検出しようとする距離に応じて、変換関数を特定してもよい。認識部１４６が対象物体を検出しようとする距離について、以下に説明を行う。

例えば、認識部１４６が、スキャニングに係るウィンドウのサイズを変化させながら変換画像に対するスキャニングを行い、ウィンドウ内の画素値と、予め用意されたテンプレート画像の画素値を比較することで対象物体の検出を行う場合を考える。係る場合、ウィンドウサイズがより大きいほど、検出しようとする対象物体がより大きく映っていることが想定されるため、対象物体は温度画像取得部１１０により近いと考えられる。したがって、ウィンドウサイズがより大きいほど、対象物体を検出しようとする距離は小さい距離となり、ウィンドウサイズがより小さいほど、対象物体を検出しようとする距離は大きい距離となる。

また、認識部１４６が、変換画像を縮小して、複数サイズの画像ピラミッドを生成し、生成された異なるサイズの画像ピラミッドに対して、同一のウィンドウサイズでスキャニングを行うことで対象物体を検出する場合を考える。係る場合、画像ピラミッドのサイズがより小さい程、検出しようとする対象物体がより大きく映っていることが想定されるため、対象物体は温度画像取得部１１０により近いと考えられる。したがって、画像ピラミッドのサイズがより小さいほど、対象物体を検出しようとする距離は小さい距離となり、画像ピラミッドのサイズがより大きいほど、対象物体を検出しようとする距離は大きい距離となる。

上述したように、画像処理装置２０が距離取得部２７０を備えない場合であっても、認識部１４６が対象物体を検出しようとする距離が特定され、変換関数特定部２４２は、当該距離に応じて、変換関数を特定することが可能である。

＜＜４．第三の実施形態＞＞
以上、本開示の第一の実施形態、及び第二の実施形態を説明した。続いて、本開示の第三の実施形態を説明する。本開示の第三の実施形態による画像処理装置は、温度画像のうち、検出された第一の対象物体に対応する領域に対して、階調変換を施した後に、第二の対象物体に係る物体認識を行うことで、第二の対象物体に係る物体認識の精度を向上させることが可能である。

＜４－１．構成＞
図１４は、本開示の第三の実施形態に係る画像処理装置の構成例を示す説明図である。図１４に示すように、本実施形態に係る画像処理装置３０は、制御部３４０の機能構成が図１０の制御部２４０の機能構成と一部異なる点において、図１０の画像処理装置２０と異なる。なお、図１４に示す各構成のうち、図２、及び図１０に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

図１４に示す制御部３４０は、画像処理装置３０の各構成を制御する。また、本実施形態による制御部３４０は、図１４に示すように、変換関数特定部３４２、変換部３４４、認識部３４６、及び表示制御部１４８としても機能する。

本実施形態に係る変換関数特定部３４２は、第二の実施形態に係る変換関数特定部２４２と同様に、記憶部２５０に記憶された複数の変換関数から、１の変換関数を特定し、特定された変換関数を変換部３４４に提供する。例えば、変換関数特定部３４２は、環境温度取得部１２０から提供される環境温度、及び操作部１３０から提供されるユーザの入力に応じて、温度を輝度に変換するための変換関数を特定してもよい。また、変換関数特定部３４２は、環境温度取得部１２０から提供される環境温度、及び距離取得部２７０により取得された距離に応じて、被写体温度を推定するための変換関数を特定してもよい。

本実施形態に係る変換関数特定部３４２は、温度を輝度に変換するための変換関数を、少なくとも２つ（２回）特定する点で、第一の実施形態に係る変換関数特定部１４２、及び第二の実施形態に係る変換関数特定部２４２と異なる。例えば、変換関数特定部３４２は、第一の対象物体に関するデータに基づく第一の変換関数と、第二の対象物体に関するデータに基づく第二の変換関数と、を特定してもよい。本実施形態に係る変換関数特定部３４２により特定される、第一の変換関数、及び第二の変換関数の具体例については、図１５を参照して後述する。

本実施形態に係る変換部３４４は、第二の実施形態に係る変換部２４４と同様に、変換関数特定部３４２が距離に基づいて特定した変換関数を用いて、温度画像に階調変換を施すことで、当該温度画像の被写体に係る被写体温度を推定する。なお、推定された被写体温度を各画素の画素値とする温度画像が、さらに以下で説明する階調変換の対象となってもよい。

また、本実施形態に係る変換部３４４は、変換関数特定部３４２により特定される、第一の変換関数を用いて、温度画像に対して、温度を輝度に変換する階調変換を施して生成された第一の変換画像を認識部３４６に提供する。さらに、本実施形態に係る変換部３４４は、温度画像のうち、認識部３４６（検出部）により検出された第一の対象物体に対応する領域に対して、変換関数特定部３４２により特定される第二の変換関数を用いて階調変換を施して第二の変換画像を生成する。生成された第二の変換画像は認識部３４６に提供される。

本実施形態に係る認識部３４６は、第一の実施形態に係る認識部１４６と同様に、変換部３４４が階調変換を施して生成した変換画像に対して物体認識を行う。本実施形態に係る認識部３４６は、変換部３４４から提供される第一の変換画像から、第一の対象物体を検出する検出部として機能してもよい。また、本実施形態に係る認識部３４６は、変換部３４４から提供される第二の変換画像に対して、第二の対象物体に係る物体認識を行ってもよい。

図１５は、本実施形態に係る認識部３４６による物体認識の具体例を示す模式図である。以下では、図１５に示す例において、顔の検出が認識部３４６による物体認識の目的であるものとする。

図１５に示す温度画像Ｐ１２は、変換部３４４が、被写体温度を推定するための変換関数を用いた階調変換を行って推定した被写体温度を画素値とする温度画像である。ここで、温度画像Ｐ１２に対して階調変換を施して得られた変換画像に対して、顔検出を行うと、誤検出が多くなる場合がある。そこで、人体を検出した後に、検出された人体領域を顔が含まれる候補領域とし、当該候補領域を対象とした顔検出を行うことで、顔検出の精度向上が期待される。

しかし、人体検出に用いる変換画像を生成するための階調変換と、顔検出に用いる変換画像を生成するための階調変換は異なる変換関数を用いて行われることが望ましい。例えば、人体に関するデータに基づく変換関数を用いた階調変換を行うと、顔領域の階調がつぶれ、顔領域の輝度が一様となってしまい、顔検出の精度が低下する恐れがある。そこで、以下に説明するように、例えば変換部３４４は２つの異なる変換関数を用いて、人体検出のための階調変換と、顔検出のための階調変換を行う。

まず、変換関数特定部３４２は、人体（第一の対象物体）に関するデータに基づく第一の変換関数を特定する。そして、変換部３４４が第一の変換関数を用いて温度画像Ｐ１２に階調変換を施して生成される第一の変換画像から、認識部３４６による人体検出が行われる（図１５に示す画像Ｐ１４）。ここで、画像Ｐ１４に示すように、認識部３４６は、ウィンドウＷ１４をずらしながらスキャニングして、人体領域Ｒ１４を検出する。

また、変換関数特定部３４２は、顔（第二の対象物体）に関するデータに基づく第二の変換関数を特定する。温度画像Ｐ１２のうち、認識部３４６により検出された第一の対象物体に対応する候補領域Ｐ１６に対し、変換部３４４が第二の変換関数を用いて階調変換を施して第二の変換画像を生成する。そして認識部３４６は、生成された第二の変換画像から、顔検出を行う（図１５に示す画像Ｐ１８）。ここで、画像Ｐ１８に示すように、認識部３４６は、ウィンドウＷ１８をずらしながらスキャニングして、顔領域Ｒ１８を検出する。

なお、上述した人体、及び顔は、第一の対象物体、及び第二の対象物体の一例であって、本実施形態は係る例に限定されず、第一の対象物体、及び第二の対象物体は、例えば第一の対象物体に第二の対象物体が含まれる関係を有する多様な物体であり得る。

＜４－２．動作＞
以上、本実施形態に係る画像処理装置３０の構成について説明した。続いて、本実施形態に係る画像処理装置３０の動作について、図１６を参照して説明する。図１６は、本実施形態に係る画像処理装置３０の動作例を示すフローチャート図である。

図１６に示すステップＳ３００～Ｓ３１０の処理は、図１３を参照して説明したステップＳ２００～Ｓ２１０の処理と同様であるため、説明を省略する。

続いて、ステップＳ３１２において、操作部１３０を介したユーザ入力に基づき、対象物体に関する情報が選択（取得）される。なお、ここで、第一の対象物体と第二の対象物体とが選択されてもよい。

続いて、変換関数特定部３４２は上記ステップＳ３０２、Ｓ３１２で得られた環境温度、第一の対象物体に応じて、記憶部２５０に記憶された複数の変換関数から第一の変換関数を特定する（Ｓ３１４）。続いて、変換部３４４は、第一の変換関数を用いて、温度画像に対して、温度を輝度に変換する階調変換を施す（Ｓ３１６）。全ての画素について、階調変換が完了していない場合（Ｓ３１８においてＮＯ）、処理はステップＳ３１６に戻り、階調変換が継続される。

全ての画素について、階調変換が完了した場合（Ｓ３１８においてＹＥＳ）、認識部３４６は、ステップＳ３１６の階調変換により得られた第一の変換画像に対して、第一の対象物体の検出（物体認識）を行う（Ｓ３２０）。続いて、変換関数特定部３４２は上記ステップＳ３０２、Ｓ３１２で得られた環境温度、第二の対象物体に応じて、記憶部２５０に記憶された複数の変換関数から第二の変換関数を特定する（Ｓ３２２）。

続いて、変換部３４４は、第二の変換関数を用いて、ステップＳ３２０検出された第一の対象物体に対応する候補領域に対し、温度を輝度に変換する階調変換を施す（Ｓ３２４）。全ての画素について、階調変換が完了していない場合（Ｓ３２６においてＮＯ）、処理はステップＳ３２４に戻り、階調変換が継続される。

全ての画素について、階調変換が完了した場合（Ｓ３２６においてＹＥＳ）、認識部３４６は、ステップＳ３２４の階調変換により得られた第二の変換画像に対して、第二の対象物体に係る物体認識を行う（Ｓ３２８）。最後に、表示制御部１４８がステップＳ３２８における物体認識の結果を表示部１６０に表示させる（Ｓ３３０）。

＜４－３．効果＞
以上説明したように、本開示の第三の実施形態によれば、第一の対象物体の検出を行った後に、検出された第一の対象物体領域に対応する温度画像の領域を候補領域とし、当該候補領域に対して階調変換と第二の対象物体に係る物体認識を行う。また、第一の対象物体の検出の対象となる変換画像、及び第二の対象物体の検出の対象となる変換画像の生成に、それぞれ第一の対象物体、及び第二の対象物体のデータに基づく変換関数を用いる。係る構成により、例えば誤検出を低減させることが可能となり、物体認識精度が向上する。

＜４－４．変形例＞
なお、上記で説明した図１５では、第一の変換画像、及び第二の変換画像の階調数が同一（ｂｉｔ数が同一）である例を示したが、本実施形態は係る例に限定されない。例えば、第一の変換画像の階調数は、第二の変換画像の階調数よりも小さくてもよい。以下に、第一の変換画像の階調数が第二の変換画像の階調数よりも小さい場合の例を変形例として説明する。

図１７は、本変形例に係る物体認識の具体例を示す模式図である。以下では、図１５に示した例と同様、図１７に示す例において、顔の検出が物体認識の目的であるものとする。

図１５に示す温度画像Ｐ２２は、変換部３４４が、被写体温度を推定するための変換関数を用いた階調変換を行って推定した被写体温度を画素値とする温度画像である。ここで、図１５を参照して説明したように、変換関数特定部３４２は、人体（第一の対象物体）に関するデータに基づく第一の変換関数を特定する。ただし、本変形例に係る変換関数特定部３４２は変換後の画像（第一の変換画像）のｂｉｔ数が４（階調数が１６）である変換関数を第一の変換関数として特定する。

そして、変換部３４４が温度画像Ｐ２２に第一の変換関数を用いた階調変換を施して生成される第一の変換画像から、認識部３４６による人体検出が行われる（図１７に示す画像Ｐ２４）。ここで、画像Ｐ２４に示すように、認識部３４６は、ウィンドウＷ２４をずらしながらスキャニングして、人体領域Ｒ２４を検出する。

また、変換関数特定部３４２は、顔（第二の対象物体）に関するデータに基づく第二の変換関数を特定する。本変形例に係る変換関数特定部３４２は変換後の画像（第二の変換画像）のｂｉｔ数が８（階調数が２５６）である変換関数を第二の変換関数として特定する。

温度画像Ｐ２２のうち、認識部３４６により検出された第一の対象物体に対応する候補領域Ｐ２６に対し、変換部３４４が第二の変換関数を用いて階調変換を施して第二の変換画像を生成する。そして認識部３４６は、生成された第二の変換画像から、顔検出を行う（図１７に示す画像Ｐ２８）。ここで、画像Ｐ２８に示すように、認識部３４６は、ウィンドウＷ２８をずらしながらスキャニングして、顔領域Ｒ２８を検出する。

以上説明したように、図１７に示す例では、第一の変換画像の階調数は、第二の変換画像の階調数よりも小さい。係る構成により、図１５の例と比較して、第一の変換画像に対する物体認識（人体検出）におけるデータ量、及び処理量が削減されつつ、第二の変換画像に対する物体認識（顔検出）の精度は低下し難いという効果がある。

＜＜５．第四の実施形態＞＞
以上、本開示の第一の実施形態、第二の実施形態、及び第三の実施形態を説明した。続いて、本開示の第四の実施形態を説明する。本開示の第四の実施形態による画像処理装置は、被写体温度を推定するための階調変換を行い、対象物体に係るデータに基づく変換関数を用いた階調変換を行わなくてもよい。

＜５－１．構成＞
図１８は、本開示の第四の実施形態に係る画像処理装置の構成例を示す説明図である。図１８に示すように、本実施形態に係る画像処理装置４０は、操作部１３０を備えない点と、制御部４４０、及び記憶部４５０の機能構成が図１０の制御部２４０、及び記憶部２５０の機能構成と一部異なる点と、において、図１０の画像処理装置２０と異なる。なお、図１８に示す各構成のうち、図２、及び図１０に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

図１８に示す制御部４４０は、画像処理装置４０の各構成を制御する。また、本実施形態による制御部４４０は、図１８に示すように、変換関数特定部４４２、変換部４４４、認識部４４６、及び表示制御部１４８としても機能する。

本実施形態に係る変換関数特定部４４２は、記憶部４５０に記憶された複数の変換関数から、１の変換関数を特定し、特定された変換関数を変換部４４４に提供する。例えば、変換関数特定部４４２は、第二の実施形態に係る変換関数特定部２４２と同様に、環境温度取得部１２０から提供される環境温度、及び距離取得部２７０により取得された距離に応じて、被写体温度を推定するための変換関数を特定してもよい。なお、本実施形態に係る変換関数特定部４４２は、温度を輝度に変換するための変換関数を特定する機能を有していない点で、第二の実施形態に係る変換関数特定部２４２と異なる。

本実施形態に係る変換部４４４は、第二の実施形態に係る変換部３４４と同様に、距離に基づいて特定される変換関数を用いて、温度画像に対して階調変換を施すことで、当該温度画像の被写体に係る被写体温度を推定する。また、本実施形態に係る変換部４４４は、推定された被写体温度を各画素の画素値とする温度画像を認識部４４６に提供する点で、第二の実施形態に係る変換部３４４と異なる。

本実施形態に係る認識部４４６は、変換部４４４が階調変換を施して生成した被写体温度を各画素の画素値とする温度画像に対して物体認識を行う。

本実施形態に係る記憶部４５０は、第二の実施形態に係る記憶部２５０と同様に、画像処理装置４０の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部４５０は、記憶部２５０と同様に、観測温度から被写体温度を推定する（観測温度を被写体温度に変換する）ための複数の変換関数を記憶するが、記憶部２５０と異なり、温度を輝度に変換するための変換関数を記憶していなくてもよい。

＜５－２．動作＞
以上、本実施形態に係る画像処理装置４０の構成について説明した。続いて、本実施形態に係る画像処理装置４０の動作について、図１９を参照して説明する。図１９は、本実施形態に係る画像処理装置４０の動作例を示すフローチャート図である。

図１９に示すステップＳ４００～Ｓ４１０の処理は、図１３を参照して説明したステップＳ２００～Ｓ２１０の処理と同様であるため、説明を省略する。

続いて、ステップＳ４１２において、認識部４４６は、ステップＳ４０８の階調変換により得られた被写体温度を各画素の画素値とする温度画像に対して、物体認識を行う（Ｓ４１２）。最後に、表示制御部１４８がステップＳ４１２における物体認識の結果を表示部１６０に表示させる（Ｓ４１４）。

＜５－３．効果＞
以上説明したように、本開示の第四の実施形態によれば、温度画像の被写体に係る被写体温度が推定される。係る構成により、物体認識の精度を向上させることが可能である。

＜＜６．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図２０を参照して、本実施形態に係る画像処理装置のハードウェア構成について説明する。図２０は、本実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。なお、図２０に示す画像処理装置９００は、例えば、図２、１０、１４、１８にそれぞれ示した画像処理装置１０、２０、３０、４０を実現し得る。本実施形態に係る画像処理装置１０、２０、３０、４０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図２０に示すように、画像処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、画像処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。画像処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２、１０、１４、１８にそれぞれ示した制御部１４０、２４０，３４０、４４０を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、画像処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。画像処理装置９００のユーザは、この入力装置９０６を操作することにより、画像処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。上記入力装置９０６は、例えば、図２、１０、１４に示す操作部１３０を形成し得る。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、画像処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記出力装置９０７は、例えば、図２、１０、１４、１８に示す表示部１６０を形成し得る。

ストレージ装置９０８は、画像処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、図２、１０、１４、１８に示す記憶部１５０、２５０、４５０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、画像処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、画像処理装置９００の姿勢、移動速度等、画像処理装置９００自身の状態に関する情報や、画像処理装置９００の周辺の明るさや騒音等、画像処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、図２、１０、１４、１８に示した温度画像取得部１１０、環境温度取得部１２０、距離取得部２７０を形成し得る。

以上、本実施形態に係る画像処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る画像処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜７．むすび＞＞
以上、説明したように、本開示の実施形態によれば、温度画像を用いた物体認識における認識精度を向上させることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象物体に関するデータに基づく変換関数を用いて、温度画像に対して階調変換を施す変換部を備える、画像処理装置。
（２）
前記変換関数は、前記変換部が前記階調変換を施して生成する変換画像における前記対象物体の領域内のダイナミックレンジをより大きくするように、前記対象物体に関するデータに基づいて生成される、前記（１）に記載の画像処理装置。
（３）
前記変換部が前記階調変換を施して生成した変換画像から、前記対象物体を検出する検出部をさらに備える、前記（１）または（２）に記載の画像処理装置。
（４）
前記検出部は、前記変換部により第一の対象物体に関するデータに基づく第一の変換関数を用いて前記階調変換が施された第一の変換画像から、前記第一の対象物体を検出し、
前記変換部は、前記温度画像のうち、前記検出部により検出された前記第一の対象物体に対応する領域に対して、第二の対象物体に関するデータに基づく第二の変換関数を用いて前記階調変換を施して第二の変換画像を生成する、前記（３）に記載の画像処理装置。
（５）
前記第一の変換画像の階調数は、前記第二の変換画像の階調数よりも小さい、前記（４）に記載の画像処理装置。
（６）
複数の前記変換関数から１の変換関数を特定する変換関数特定部をさらに備え、
前記変換部は、前記変換関数特定部により特定された前記変換関数を用いて、前記階調変換を施す、前記（１）～（５）のいずれか一項に記載の画像処理装置。
（７）
前記変換関数特定部は、環境温度に応じて前記変換関数を特定する、前記（６）に記載の画像処理装置。
（８）
前記変換関数特定部は、ユーザ入力により選択される前記対象物体に応じて前記変換関数を特定する、前記（６）または（７）に記載の画像処理装置。
（９）
前記変換関数特定部は、距離に応じて前記変換関数を特定する、前記（６）～（８）のいずれか一項に記載の画像処理装置。
（１０）
前記変換部は、前記距離に応じて特定された前記変換関数を用いて、前記階調変換を施すことで、前記温度画像の被写体に係る被写体温度を推定する、前記（９）に記載の画像処理装置。
（１１）
前記距離は、前記温度画像の取得に係る温度画像取得部から前記被写体までの距離である、前記（１０）に記載の画像処理装置。
（１２）
前記距離は、前記対象物体を検出しようとする距離である、前記（１０）に記載の画像処理装置。
（１３）
前記温度画像を取得する、温度画像取得部をさらに備える、前記（１）～（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記対象物体に関するデータは前記対象物体の温度レンジであり、前記変換関数は、前記温度レンジに応じた範囲において所定の変換を行うための関数である、前記（１）～（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記対象物体に関するデータは前記対象物体に関する温度ヒストグラムであり、前記変換関数は、前記温度ヒストグラムの累積密度関数に応じた関数である、前記（１）～（１４）のいずれか一項に記載の画像処理装置。
（１６）
プロセッサが、対象物体に関するデータに基づく変換関数を用いて、温度画像に対して階調変換を施すこと、を含む画像処理方法。
（１７）
複数の変換関数から距離に基づいて特定される変換関数を用いて、温度画像に対して階調変換を施すことで、前記温度画像の被写体に係る被写体温度を推定する変換部を備える、画像処理装置。

１０ 画像処理装置
１１０ 温度画像取得部
１２０ 環境温度取得部
１３０ 操作部
１４０ 制御部
１４２ 変換関数特定部
１４４ 変換部
１４６ 認識部
１４８ 表示制御部
１５０ 記憶部
１６０ 表示部

Claims (17)

1. 対象物体に関するデータに基づく変換関数を用いて、温度画像に対して階調変換を施す変換部と、
   前記変換部により第一の対象物体に関するデータに基づく第一の変換関数を用いて前記階調変換が施された第一の変換画像から、前記第一の対象物体を検出する検出部と、を備え、
   前記変換部は、前記温度画像のうち、前記検出部により検出された前記第一の対象物体に対応する領域に対して、第二の対象物体に関するデータに基づく第二の変換関数を用いて前記階調変換を施して第二の変換画像を生成する、
   画像処理装置。
2. 前記変換関数は、前記変換部が前記階調変換を施して生成する変換画像における前記対象物体の領域内のダイナミックレンジをより大きくするように、前記対象物体に関するデータに基づいて生成される、請求項１に記載の画像処理装置。
3. 前記第一の変換画像の階調数は、前記第二の変換画像の階調数よりも小さい、請求項１に記載の画像処理装置。
4. 複数の前記変換関数から１の変換関数を特定する変換関数特定部をさらに備え、
   前記変換部は、前記変換関数特定部により特定された前記変換関数を用いて、前記階調変換を施す、請求項１～３のいずれか一項に記載の画像処理装置。
5. 前記変換関数特定部は、環境温度に応じて前記変換関数を特定する、請求項４に記載の画像処理装置。
6. 前記変換関数特定部は、ユーザ入力により選択される前記対象物体に応じて前記変換関数を特定する、請求項４または５に記載の画像処理装置。
7. 前記変換関数特定部は、距離に応じて前記変換関数を特定する、請求項４～６のいずれか一項に記載の画像処理装置。
8. 前記変換部は、前記距離に応じて特定された前記変換関数を用いて、前記階調変換を施すことで、前記温度画像の被写体に係る被写体温度を推定する、請求項７に記載の画像処理装置。
9. 前記距離は、前記温度画像の取得に係る温度画像取得部から前記被写体までの距離である、請求項８に記載の画像処理装置。
10. 前記距離は、前記対象物体を検出しようとする距離である、請求項８に記載の画像処理装置。
11. 前記温度画像を取得する、温度画像取得部をさらに備える、請求項１～１０のいずれか一項に記載の画像処理装置。
12. 前記対象物体に関するデータは前記対象物体の温度レンジであり、前記変換関数は、前記温度レンジに応じた範囲において所定の変換を行うための関数である、請求項１～１１のいずれか一項に記載の画像処理装置。
13. 前記対象物体に関するデータは前記対象物体に関する温度ヒストグラムであり、前記変換関数は、前記温度ヒストグラムの累積密度関数に応じた関数である、請求項１～１２のいずれか一項に記載の画像処理装置。
14. プロセッサが、対象物体に関するデータに基づく変換関数を用いて、温度画像に対して階調変換を施す変換ステップと、
    プロセッサが、前記変換ステップにより第一の対象物体に関するデータに基づく第一の変換関数を用いて前記階調変換が施された第一の変換画像から、前記第一の対象物体を検出する検出ステップと、を含み、
    前記変換ステップでは、前記温度画像のうち、前記検出ステップにより検出された前記第一の対象物体に対応する領域に対して、第二の対象物体に関するデータに基づく第二の変換関数を用いて前記階調変換を施して第二の変換画像を生成する、
    画像処理方法。
15. 複数の変換関数から被写体温度を推定するための変換関数を特定する特定部と、
    特定された変換関数を用いて、温度画像に対して階調変換を施すことで、前記温度画像の被写体に係る被写体温度を推定する変換部と、
    推定された被写体温度を各画素の画素値とする温度画像に対して物体認識を行う認識部と、を備える画像処理装置。
16. 前記特定部は、複数の変換関数から環境温度及び距離に応じて変換関数を特定する、請求項１５に記載の画像処理装置。
17. プロセッサが、複数の変換関数から被写体温度を推定するための変換関数を特定することと、
    プロセッサが、特定された変換関数を用いて、温度画像に対して階調変換を施すことで、前記温度画像の被写体に係る被写体温度を推定することと、
    プロセッサが、推定された被写体温度を各画素の画素値とする温度画像に対して物体認識を行ことと、
    を含む画像処理方法。

Images