JP7466113B2 - 熱画像処理装置、熱画像処理モジュール、熱画像処理方法、及びプログラム - Google Patents

Description

本開示は、熱画像処理装置、熱画像処理モジュール、熱画像処理方法、及びプログラムに関する。

従来、熱画像センサを用いて検知された熱画像に基づき、機器を制御する技術が知られている。検知される熱画像は、コスト面に適合した熱画像センサが使用されるため、低解像度である場合がある。これに対し、例えば、特許文献１に開示されたような超解像処理により、空間解像度が拡張された熱画像を得る方法が知られている。

特開２０１４－０２２８４５号公報

ところで、超解像処理には、熱画像に含まれる高周波成分を強調する高周波強調処理が含まれ得る。このような高周波強調処理において、生成される熱画像が適切でない場合がある。そこで、本開示では、より適切な熱画像を生成する熱画像処理装置等を提供する。

上記課題を解決するために、本開示の一態様に係る熱画像処理装置は、熱画像センサから熱画像を取得する取得部と、取得した前記熱画像に含まれる複数の画素のうち、第１温度よりも高い温度を示す高温画素に対して、前記高温画素に示された温度を低下させる画像処理を行う第１処理部と、前記画像処理が行われた前記熱画像である変換画像に対して、前記変換画像に含まれる高周波成分を強調させる高周波強調処理を行う第２処理部と、を備える。

また、本開示の一態様に係る熱画像処理モジュールは、前記熱画像センサと、上記に記載の熱画像処理装置と、を備える。

また、本開示の一態様に係る熱画像処理方法は、熱画像センサから熱画像を取得する取得ステップと、取得した前記熱画像に含まれる複数の画素のうち、第１温度よりも高い温度を示す高温画素に対して、前記高温画素に示された温度を低下させる画像処理を行う第１処理ステップと、前記画像処理が行われた前記熱画像である変換画像に対して、前記変換画像に含まれる高周波成分を強調させる高周波強調処理を行う第２処理ステップと、を含む。

また、本開示の一態様に係るプログラムは、上記に記載の熱画像処理方法をコンピュータに実行させるためのプログラムである。

本開示によれば、より適切な熱画像が生成される。

図１は、熱画像の高周波成分を強調させる際の問題について説明する図である。 図２は、実施の形態に係る熱画像処理装置の使用例を示す概観図である。 図３は、実施の形態に係る表示装置の外観を示す拡大図である。 図４は、実施の形態に係る熱画像処理装置の機能構成を示すブロック図である。 図５は、実施の形態に係る熱画像の処理を説明する概略図である。 図６は、実施の形態に係る熱画像処理方法を示すフローチャートである。 図７Ａは、実施の形態に係る変換関数の第１例を示す図である。 図７Ｂは、実施の形態に係る変換関数の第２例を示す図である。 図７Ｃは、実施の形態に係る変換関数の第３例を示す図である。 図７Ｄは、実施の形態に係る変換関数の第４例を示す図である。 図８は、実施の形態に係る画像処理を例示する第１図である。 図９は、実施の形態に係る画像処理を例示する第２図である。 図１０は、実施の形態に係る変換関数について説明する図である。 図１１は、実施の形態に係る第１温度と第２温度との組み合わせの例を示す図である。

（本開示に至った背景）
超解像処理とは、低分解能の画像からもとの状況に近い高分解能の画像を計算によって推定して生成する画像処理技術である。一般に、画像の撮像に用いられた機器等の光学的な劣化特性（ボケ、ダウンサンプリング、及びノイズ等）により、得られる画像には劣化がみられる。超解像処理は、このように劣化した状態で得られた画像を、もとの高分解能の状態に復元する処理の一つとして知られている。

上記のように、画像の分解能を向上するということは、劣化特性によって失われた情報を予測によって補い、復元することを意味する。例えば、劣化した画像から高分解能の画像を復元する処理には、本来は観測される必要があるものの、劣化特性によって失われる高周波成分を補う処理が含まれることが多い。言い換えると、多くの超解像処理においては、高周波成分を強調する高周波強調処理が含まれ得る。

特に、安価な熱画像センサを用いて熱画像を撮像するような場合、劣化特性の大きい光学系（レンズ、感光素子等）が使用されていることが多い。この場合、より強い高周波成分の強調が必要となる。さらに、熱画像では、劣化により各画素（又はピクセル）の温度の正確度も低下してしまうため、温度の正確度を向上するために高周波強調処理を含む超解像処理等が実施される。

ここで、熱画像に対して高周波強調処理を適用すると、画素の輝度値（つまり、熱画像における温度）が、隣接する画素の輝度値との間で異なり、画素の輝度値間に勾配が形成される箇所では、アンダーシュート及びオーバーシュートが生じ得る。アンダーシュートは、高周波強調処理における入力値の急激な減少によって、出力値の収束が遅れ、本来の値よりも低い値を含む値の振動が周囲の画素にわたって生じる現象である。また、オーバーシュートは、高周波強調処理における入力値の急激な増加によって、出力値の収束が遅れ、本来の値よりも高い値を含む値の振動が周囲の画素にわたって生じる現象である。高周波強調処理では、アンダーシュート及びオーバーシュートにより、このような、いわゆる画像空間におけるリンギングを生じさせるため、しばしばリンギングへの対処が必要となる。

画素の輝度値が隣接する画素の輝度値と大きく異なる急勾配箇所に高周波強調処理が適用される場合、急勾配箇所では高周波成分が大きいために、上記の問題が特に大きく影響する。熱画像を扱う装置等の場合、各画素の温度が重要であることが多い。つまり、熱画像を扱う装置等では、可視画像を扱う装置等に比べて画素ごとの輝度値の正確度が要求され、上記のようなリンギングの影響を可能な限り除去する必要がある。

高周波強調処理における入力画像としてどのような画像を用いてもリンギングが生じないようなパラメータ設計を行うと、高周波成分の強調効果を低減せざるを得ない。一方で、高周波成分の強調効果を維持しつつ高周波強調処理における入力画像としてあらゆる画像を入力するためには、画像ごとに適切なパラメータ設計を行う必要があり、現実的でない。

上記のように、熱画像に対する高周波強調処理において、熱画像を扱う装置等の用途が明確である場合がある。例えば、常温環境下における人体の観測を、熱画像を用いて行う装置であれば、人体と周囲環境との温度差は数℃程度であり、このような温度勾配を有する熱画像が入力され得る。熱画像にランプ及びストーブ等、人体に比べて非常に温度の高い物体が一定以上の数の画素にわたって存在するときに、高周波強調処理によって生じる上記のリンギングが大きく影響してしまう。また、装置の用途が限定的であるために、各画素の輝度値の上限が低く設定されていることも多く、温度の高い物体の存在によって容易に輝度値が飽和してしまう。このような場合にも、高周波強調処理によるリンギングの発生が問題となる。

人体を観測対象とする上記の例において、通常、正確に温度を観測したい温度範囲は限られている。すなわち、快適な室温又は人の体温等を含む約２０～４０℃の範囲内の温度がこのような温度範囲に該当する。このような温度範囲では、正確な温度が観測される必要があるものの、この温度範囲外では、観測温度の正確度における許容範囲を拡張しても装置の動作等に影響しない場合がある。場合により、一定以上の温度については、「一定以上」であることさえわかればよいこともある。このように、取得される熱画像の用途が明確である場合においては、観測される温度の正確度が要求される特定の範囲と、正確度が要求されないその他の範囲とが存在し得る。

本開示は、観測される温度の正確度が保証される温度範囲内と、温度範囲外とについて、それぞれ異なる処理により高周波強調処理を行う熱画像処理装置等に関する。

（本開示の概要）
上記課題を解決するための、本開示の一態様に係る熱画像処理装置は、熱画像センサから熱画像を取得する取得部と、取得した熱画像に含まれる複数の画素のうち、第１温度よりも高い温度を示す高温画素に対して、高温画素に示された温度を低下させる画像処理を行う第１処理部と、画像処理が行われた熱画像である変換画像に対して、変換画像に含まれる高周波成分を強調させる高周波強調処理を行う第２処理部と、を備える。

このような熱画像処理装置は、熱画像におけるリンギングを生じさせる高周波強調処理を行う前に、画素間での温度変化の大きい急勾配箇所における温度差を低減させ、リンギングの発生要因となる温度の振幅を抑制する。これにより、高周波変換処理を行った場合にも、温度の振幅が抑制されているためにリンギングの発生が抑制される。また、このような処理は、第１温度を上回る温度を示す画素においてのみ行われ、第１温度以下の温度を示す画素については、上記の温度の振幅を抑制する処理が適用されない。すなわち、第１温度以下の温度を示す画素については、そのままの温度で高周波強調処理が行われるため、第１温度以下の温度について、正確度の高い温度を示す熱画像が生成される。よって、熱画像処理装置は、第１温度を境にリンギングの発生を抑制する処理を適用しつつも、着目したい温度範囲（つまり第１温度以下の温度）について正確度を維持した、より適切な熱画像を生成できる。

また、例えば、第１処理部は、画像処理においてさらに、取得した熱画像に含まれる複数の画素のうち、第１温度より低い第２温度よりも低い温度を示す低温画素に対して、低温画素の温度を上昇させてもよい。

これによれば、リンギングの発生を抑制する処理を、第２温度を下回る温度を示す画素においても行うことができる。したがって、第１温度を上回る温度を示す画素、及び、第２温度を下回る温度を示す画素においてリンギングの発生を抑制する処理を適用しつつも、着目したい第１温度～第２温度の温度範囲内では、正確度を維持した、より適切な熱画像を生成できる。

また、例えば、熱画像処理装置は、さらに、第１温度及び第２温度の少なくとも一方を設定するための入力部を備えてもよい。

これによれば、入力部において受け付けたユーザからの入力に基づき、第１温度及び第２温度が設定される。第１温度及び第２温度を都度設定することができるため、熱画像を用いる様々な用途の装置等に、熱画像処理装置１００を適用することができる。言い換えると、熱画像処理装置１００の適用範囲を拡大することができる。

また、例えば、第１温度及び第２温度の少なくとも一方の設定では、第１温度と第２温度との複数の組み合わせの中から選択された一の組み合わせにより、第１温度及び第２温度が設定されてもよい。

これによれば、用途に応じて想定され得る第１温度及び第２温度の組み合わせをあらかじめ複数登録しておき、ユーザは、この複数の組み合わせの中から一の組み合わせを選択するのみで、適切な第１温度及び第２温度の組み合わせが設定される。ユーザにとっての操作は、組み合わせを一つ選択するのみであるため、簡便である。よって、熱画像処理装置１００の使用容易性を向上することができる。

また、例えば、画像処理では、熱画像に含まれる複数の画素のうち、低温画素に示された温度から第２温度を差引いた低温差分値を算出し、入力される値に対して、入力される値よりも高い値を出力する低温変換アルゴリズムを用いて、低温差分値の入力に対して出力された値により、低温画素に示された温度を変換してもよい。

これによれば、第２温度よりも低い温度を示す画素において、低温変換アルゴリズムに基づき、温度をより高温に変換することができる。つまり、低温変換アルゴリズムに則り、第２温度を下回る温度を示す画素においてリンギングの発生を抑制する処理を適用することができる。よって、より適切な熱画像を生成できる。

また、例えば、画像処理では、熱画像に含まれる複数の画素のうち、高温画素に示された温度から第１温度を差引いた高温差分値を算出し、入力される値に対して、入力される値よりも低い値を出力する高温変換アルゴリズムを用いて、高温差分値の入力に対して出力された値により高温画素に示された温度を変換してもよい。

これによれば、第１温度よりも高い温度を示す画素において、高温変換アルゴリズムに基づき、温度をより低温に変換することができる。つまり、高温変換アルゴリズムに則り、第１温度を上回る温度を示す画素においてリンギングの発生を抑制する処理を適用することができる。よって、より適切な熱画像を生成できる。

また、例えば、低温変換アルゴリズム及び高温変換アルゴリズムは、連続的な値を入力可能な変換関数であってもよい。

これによれば、いかなる入力値が入力されても、計算により第１温度を上回る温度を示す画素及び第２温度を下回る温度を示す画素においてリンギングの発生を抑制する処理を適用することができる。よって、より適切な熱画像を生成できる。

また、例えば、前記低温変換アルゴリズム及び前記高温変換アルゴリズムは、入力される値と出力される値とが対応付けられた変換テーブルであってもよい。

これによれば、入力された入力値に応じて、変換テーブルを参照することにより第１温度を上回る温度を示す画素及び第２温度を下回る温度を示す画素においてリンギングの発生を抑制する処理を適用することができる。よって、より適切な熱画像を生成できる。

また、例えば、変換関数は、入力される値が０のときに出力される値が０であり、かつ、入力される値が０のときに出力される微分値が１であってもよい。

これによれば、リンギングの発生を抑制する処理を適用する又は適用しない境界温度である第１温度及び第２温度を挟む前後の温度において、リンギングの発生を抑制する処理が行われた後の値の急激な変化が抑制される。また、第１温度及び第２温度を挟む前後の温度において、リンギングの発生を抑制する処理が行われた後の値の離散を抑制できる。よって、リンギングの発生を抑制する処理が行われた後もすべての温度範囲において値が滑らかに接続され、より適切な熱画像を生成できる。

また、例えば、熱画像処理装置は、さらに、取得した熱画像と、変換画像との対応する画素同士を差引いた差分画像を算出し、高周波強調処理後の変換画像と、算出した差分画像との対応する画素同士を加算する補償処理を行う第３処理部を備えてもよい。

これによれば、温度変換の画像処理によって欠落した温度情報の一部を加味した熱画像が生成される。よって、より適切な熱画像を生成できる。

また、例えば、第２処理部は、さらに、変換画像の空間分解能を拡張する超解像処理を行ってもよい。

これによれば、高周波強調処理とともに空間分解能が拡張された超解像処理を実施できる。よって、熱画像の超解像処理を行う装置等に熱画像処理装置を適用できる。

また、本開示の一態様に係る熱画像処理モジュールは、熱画像センサと、上記のいずれかに記載の熱画像処理装置と、を備える。

これによれば、熱画像センサによって熱画像を撮像し、熱画像処理装置によって処理することで、より適切な熱画像を生成できる。

また、例えば、熱画像処理モジュールは、さらに、高周波強調処理後の変換画像を、画像及び温度データの少なくとも一方として表示する表示装置を備えてもよい。

これによれば、生成されたより適切な熱画像を画像及び温度データの少なくとも一方の形態で表示することができる。

また、本開示の一態様に係る熱画像処理方法は、熱画像センサから熱画像を取得する取得ステップと、取得した熱画像に含まれる複数の画素のうち、第１温度よりも高い温度を示す高温画素に対して、高温画素に示された温度を低下させる画像処理を行う第１処理ステップと、画像処理が行われた熱画像である変換画像に対して、変換画像に含まれる高周波成分を強調させる高周波強調処理を行う第２処理ステップと、を含む。

これによれば、熱画像におけるリンギングを生じさせる高周波強調処理を行う前に、画素間での温度変化の大きい急勾配箇所における温度差を低減させ、リンギングの発生要因となる温度の振幅を抑制する。これにより、高周波変換処理を行った場合にも、温度の振幅が抑制されているためにリンギングの発生が抑制される。また、このような処理は、第１温度を上回る温度を示す画素においてのみ行われ、第１温度以下の温度を示す画素については、上記の温度の振幅を抑制する処理が適用されない。すなわち、第１温度以下の温度を示す画素については、そのままの温度で高周波強調処理が行われるため、第１温度以下の温度について、正確度の高い温度を示す熱画像が生成される。よって、熱画像処理装置は、第１温度を境にリンギングの発生を抑制する処理を適用しつつも、着目したい温度範囲（つまり第１温度以下の温度）について正確度を維持した、より適切な熱画像を生成できる。

また、本開示の一態様に係るプログラムは、上記に記載の熱画像処理方法をコンピュータに実行させるためのプログラムである。

これによれば、上記に記載の熱画像処理方法をコンピュータによって実行できる。

以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的又は具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態）
［高周波強調処理］
はじめに、高周波強調処理によって生じるリンギングについて図１を用いて説明する。図１は、熱画像の高周波成分を強調させる際の問題について説明する図である。図１の（ａ）～図１の（ｃ）は、取得される熱画像の二次元面に直線を引いた場合に、当該直線上の各画素における温度（つまり、画像の輝度値）を横軸にとった場合の温度の変化を示している。なお、図１の（ａ）は、熱画像が取得された実際の状況を示しており、本来取得されるべき理想の熱画像に対応している。

図１の（ａ）に破線円で示すように、本来、温度は高温の箇所から低温の箇所へと屈曲してつながるエッジを形成する。しかしながら、上記に説明したように、熱画像が取得された際の劣化特性に従って、取得される熱画像は、図１の（ｂ）に示すように、エッジがボケ等の現象によってつぶれ、低温が高温に、及び、高温が低温にそれぞれ引き寄せられるようにしてベースライン（輝度のゼロ点）が安定しない。温度の変化が大きい箇所（急勾配箇所）について特に、このようにして本来の輝度値の高低が保てないといった課題がある。

そこで、一般に、取得された熱画像に対して高周波強調処理を実施することで、図１の（ｃ）に示すように、実際の状況に近い熱画像を画像処理によって生成する。ここで、図１の（ｃ）では、破線楕円に示す波形の乱れであるリンギングが生じている。リンギングの発生については、上記したとおりであるので説明を省略するが、温度の変化がより大きい箇所において、特にこのような問題が生じ得る。また、リンギングの影響は、周囲の画素にわたって波及するために、リンギングが発生した画素の周囲の画素を含めて輝度値の正確性が低減される要因となる。

［熱画像処理モジュール］
本実施の形態における、熱画像処理装置及び熱画像処理モジュールの使用例を、図２を用いて説明する。図２は、実施の形態に係る熱画像処理装置の使用例を示す概観図である。なお、ここで説明する熱画像処理装置及び熱画像処理モジュールの使用例は、便宜的に一例を示すものであり、熱画像処理装置及び熱画像処理モジュールの用途を限定する意図ではない。熱画像処理装置及び熱画像処理モジュールは、熱画像を取得し、当該熱画像に対して高周波強調処理を行い得る、いかなる用途にも適用可能である。

図２に示すように、熱画像処理装置１００は、住宅内の居室２００に設置された、例えば空気調和装置２０１に内蔵されるようにして実現される。空気調和装置２０１には、制御部（不図示）が内蔵され、制御部は、空気調和装置２０１による居室２００内の気流を熱画像に基づき決定する。空気調和装置２０１は、送風機、加熱装置及び冷却装置等（いずれも不図示）を用いて、制御部において決定された気流を形成するように動作する。

熱画像処理装置１００は、空気調和装置２０１の外面に設けられた熱画像センサ１０１と通信することで、当該熱画像センサ１０１から熱画像を取得し、高周波強調処理を行った後、処理後の熱画像である処理後画像を出力画像として出力する装置である。上記の制御部は、熱画像処理装置１００により出力された出力画像である処理後の熱画像を用い、当該出力画像から居室２００内の空気、気流、人の位置、及び人の温冷感等を推定して居室２００内の気流を決定する。

熱画像センサ１０１は、熱画像を撮像して出力する装置であり、対象から放射される赤外線を検出する検出素子が二次元面状に配列されている。これらの検出素子の各々は、出力される熱画像の画素に対応している。したがって、熱画像センサ１０１では、検出素子の各々において検出した赤外線を温度に対応する輝度値として二次元面状に配列して、熱画像を生成する。このような熱画像は、上記したように、劣化特性に応じて実際の状況とは異なって出力される。熱画像センサ１０１の劣化特性が大きいほど、本開示における熱画像処理装置１００等の効果が大きい。言い換えると、熱画像処理装置１００等により、熱画像を扱う装置等において採用される熱画像センサ１０１の選択肢を拡張することができる。

熱画像処理装置１００によって生成された出力画像は、上記した空気調和装置２０１の制御部に出力されるとともに、表示装置１０２にも出力される。表示装置１０２は、出力画像である処理後の熱画像を、画像及び温度データの少なくとも一方として表示する装置である。表示装置１０２は、例えば、空気調和装置２０１の遠隔制御器に搭載されて実現される。表示装置１０２には、液晶、有機ＥＬ、マイクロＬＥＤ等を用いた表示パネルに表示像を表示させることで、熱画像を、画像及び温度データの少なくとも一方として表示する。

図３は、実施の形態に係る表示装置の外観を示す拡大図である。表示装置１０２による熱画像の表示は、例えば、図３に示すように、熱画像を単に表示してもよく、居室２００内に存在する人の温度、居室２００の室温、各所の温度差に基づく熱流等の形態で表示されるが、このような表示の形態に特に限定はない。なお、上記した熱画像センサ１０１及び熱画像処理装置１００と、表示装置１０２とを併せて熱画像処理モジュールを実現してもよい。

以下、図４を用いて熱画像処理装置１００をより詳細に説明する。図４は、実施の形態に係る熱画像処理装置の機能構成を示すブロック図である。図４に示すように、熱画像処理装置１００と、熱画像センサ１０１とは空気調和装置２０１に内蔵され、熱画像処理装置１００と、遠隔制御器に搭載された表示装置１０２とが通信可能に接続されている。

熱画像処理装置１００は、取得部１１、第１処理部１２、第２処理部１３、第３処理部１４、入力部１５、及び出力部１６を備える。

取得部１１は、熱画像センサ１０１から熱画像を取得する処理部である。取得部１１は、熱画像センサ１０１に通信接続された通信モジュールを介して、熱画像センサ１０１から出力された熱画像を、そのまま、又は、後述の第１処理部において処理可能な形式に変換して取得する。

第１処理部１２は、取得した熱画像に含まれる複数の画素のうち、あらかじめ定められた第１温度よりも高い温度を示す画素である高温画素に対して、温度を変換する画像処理を行う処理部である。具体的には、高温画素に示された温度から第１温度を差引きし、これらの差分値である高温差分値を算出する。

第１処理部１２は、入力される値に対して、入力される値よりも低い値を出力する高温変換アルゴリズムを用いて、温度を変換する。変換された温度により、高温画素に示された温度が置き換えられ、温度変換された熱画像である変換画像が出力される。高温変換アルゴリズムについては、後述にて具体的に説明するが、第１処理部１２による高温画素の処理によって、熱画像中の第１温度よりも高温の画素において温度が低下された変換画像が得られる。

また、第１処理部１２は、取得した熱画像に含まれる複数の画素のうち、あらかじめ定められた第２温度よりも低い温度を示す画素である低温画素に対して、温度を変換する画像処理を行う。具体的には、低温画素に示された温度から第２温度を差引きし、これらの差分値である低温差分値を算出する。低温差分値は、第２温度よりも低い低温画素に示された温度から、当該第２温度を差引きするため、負の値となる。

第１処理部１２は、入力される値に対して、入力される値よりも高い値を出力する低温変換アルゴリズムを用いて、温度を変換する。変換された温度により、低温画素に示された温度が置き換えられ、温度変換された熱画像である変換画像が出力される。低温変換アルゴリズムについては、後述にて具体的に説明するが、第１処理部１２による低温画素の処理によって、熱画像中の第２温度よりも低温の画素において温度が上昇された変換画像が得られる。

このように、第１処理部１２における画像処理によって、第１温度と第２温度との間の温度範囲を除き、高温側を低下させ、低温側を上昇させることで、熱画像における各画素の温度の振幅が小さくなる。

第２処理部１３は、第１処理部１２における画像処理が行われた熱画像である変換画像に対して、当該変換画像に含まれる高周波成分を強調させる高周波強調処理を行う処理部である。第２処理部１３における高周波強調処理は、既存のいかなる処理が適用されてもよい。第２処理部１３による高周波強調処理によって、熱画像の高周波成分が復元され、実際の状況に近い処理後画像が生成される。

第３処理部１４は、第１処理部１２における画像処理によって欠落した情報の一部（つまり、高温差分値及び低温差分値）を補うことで、第２処理部１３における高周波強調処理後の処理後画像に対する補完を行う処理部である。第３処理部１４は、取得した熱画像と、第１処理部１２によって画像処理された変換画像との対応する画素同士を差引いた差分画像を算出して生成する。また、第３処理部１４は、処理後画像と、差分画像との対応する画素同士を加算することで補償処理し、補償された画像を熱画像処理装置１００の出力画像として出力させる。

入力部１５は、熱画像処理装置１００への入力を受け付けるための処理部である。具体的には、入力部１５は、第１処理部１２において用いられる第１温度及び第２温度をユーザから入力として受け付ける。このような第１温度及び第２温度は、ユーザが任意に設定して入力されてもよく、熱画像処理装置１００が使用される装置等の製造段階で入力されてもよい。前者の場合、例えば、入力部１５は、熱画像処理装置１００が使用される装置の操作パネル等に通信接続され、操作パネルを介したユーザからの第１温度及び第２温度の入力を受け付ける。本実施の形態においても、入力部１５は、空気調和装置２０１の遠隔制御器を介したユーザからの第１温度及び第２温度の入力を受け付けるものとして説明する。

出力部１６は、熱画像処理装置１００によって生成された熱画像等の情報を出力するための処理部である。具体的には、出力部１６は、表示装置１０２に表示させるための画像及び温度データの少なくとも一方を生成する。出力部１６は、生成した画像及び温度データを、通信モジュールを介して表示装置１０２に送信させる。

以上の取得部１１、第１処理部１２、第２処理部１３、第３処理部１４、入力部１５、及び出力部１６は、いずれも、プロセッサ又は専用の回路とメモリとによって、各処理部に対応する処理プログラムが実行されることで実現される。

ここで、本開示における熱画像から出力画像が生成されるまでの処理フローについて、図５を用いて説明する。図５は、実施の形態に係る熱画像の処理を説明する概略図である。図５では、画像を矩形で示し、画像に対する処理を、記号を付した円形で示している。

図５に示すように、はじめに、熱画像処理装置１００は、取得した熱画像Ｉ_ＬＲを、記号ｈを付した第１処理部１２による温度変換の画像処理に入力して変換画像Ｉ_ＬＲ’を生成する。つまり、Ｉ_ＬＲ’＝ｈ（Ｉ_ＬＲ）である。さらに、熱画像処理装置１００は、生成した変換画像Ｉ_ＬＲ’を、記号ｇを付した第２処理部１３による高周波強調処理に入力して処理後画像Ｉ_ＨＲ’を生成する。つまり、Ｉ_ＨＲ’＝ｇ（Ｉ_ＬＲ’）である。なお、ここでの高周波強調処理は、空間分解能を拡張する処理を兼ねた超解像処理であってもよい。つまり、第２処理部１３は、さらに、変換画像Ｉ_ＬＲ’の空間分解能を拡張する超解像処理を行ってもよい。

一方で、第３処理部１４は、熱画像Ｉ_ＬＲと、変換画像Ｉ_ＬＲ’とを用いて、これらの差分から差分画像Ｉ_ＣＬＲを生成する。つまり、Ｉ_ＣＬＲ＝Ｉ_ＬＲ－Ｉ_ＬＲ’である。ここで、記号ｇを付した処理において超解像処理を行った場合、処理後画像Ｉ_ＨＲ’と差分画像Ｉ_ＣＬＲとの解像度が異なるために、直接補償処理（加算）を行うことができない。したがって、このような場合、差分画像Ｉ_ＣＬＲに対しては、ｂｉｃｕｂｉｃ、ｂｉｌｉｎｅａｒ、ｎｅａｒｅｓｔ、ｎｅｉｇｈｂｏｕｒ等の公知の解像度補完処理を行う必要がある。よって、第３処理部１４は、さらに、差分画像Ｉ_ＣＬＲを、記号ｕを付した解像度補完処理に入力して拡張差分画像Ｉ_ＣＨＲを生成する。つまり、Ｉ_ＣＨＲ＝ｕ（Ｉ_ＣＬＲ）である。このようにして生成された処理後画像Ｉ_ＨＲ’と拡張差分画像Ｉ_ＣＨＲとを加算して、出力画像Ｉ_ＨＲが生成される。つまり、Ｉ_ＨＲ＝Ｉ_ＨＲ’＋Ｉ_ＣＨＲである。

なお、記号ｇを付した処理において、単に高周波強調処理のみを行う場合、このような解像度補完処理は必須ではない。また、第１温度及び第２温度の間の温度のみが必要であり、範囲外の温度が不要である場合には、差分画像Ｉ_ＣＬＲの生成から補償処理までの一連の処理、及び第３処理部１４が不要となる。つまり、最小構成として、第１処理部１２、及び第２処理部１３による処理が実施されればよい。この最小構成の処理について図６を用いてさらに詳述する。図６は、実施の形態に係る熱画像処理方法を示すフローチャートである。

図６に示すように、本実施の形態における熱画像の処理では、はじめに、熱画像を取得する取得ステップを実施する（ステップＳ１０１）。図中の各ステップにおいて示されたグラフは、図３に示すＡ－Ａ線上の各画素の画素位置に対する輝度値を示している。なお、あらかじめ設定されている第１温度及び第２温度が示されており、第１温度及び第２温度の間の温度範囲内の温度ｙ_１を示す画素ｘ_１及び、温度範囲外の温度ｙ_２を示す画素ｘ_２が併せて示されている。

次に、第１処理部１２は、取得した熱画像に対して、高温画素に示された温度を低下させ、低温画素に示された温度を上昇させる画像処理を行う第１処理ステップ（ステップＳ１０２）を実施する。第１処理ステップにおける処理の内容は、第１処理部１２における説明と同等であり、ここでの説明を省略する。第１処理ステップにおける処理によって、温度範囲内の画素ｘ_１における温度ｙ_１はもとの温度ｙ_１のままであり、温度範囲外の画素ｘ_２における温度ｙ_２’はもとの温度ｙ_２と異なっている。具体的には、温度ｙ_２を示す画素ｘ_２は高温画素であるため、温度が低下されることで、温度ｙ_２’に変換されている。

次に、第２処理部１３は、このような温度変換の画像処理が実施されたあとの変換画像に対して、高周波強調処理を行う第２処理ステップ（ステップＳ１０３）を実施する。第２処理ステップにおける処理の内容は、第２処理部１３における説明と同等であり、ここでの説明を省略する。このようにして、高周波強調処理後における処理後画像は、リンギングの発生が抑制されており、かつ、各画素の輝度値が実際の状況に近い値に変換されている。

ここで、第１温度と第２温度との設定により、熱画像の用途から精度が要求される温度範囲において、もとの輝度値を維持したまま高周波強調処理が行われているため、処理後画像における第１温度と第２温度との間の温度範囲での温度の正確度が一定に保たれている。また、上記したようにリンギングの発生が抑制され、勾配箇所周辺の画素における輝度値の変動が抑制されているため、この観点からも温度の正確度が一定に保たれている。よって、本開示における熱画像処理装置１００又は熱画像処理モジュールでは、熱画像の用途から精度が要求される温度範囲において温度の正確度が一定に保たれた適切な熱画像が生成される。

以下、高温変換アルゴリズム及び低温変換アルゴリズムについてさらに説明する。図７Ａは、実施の形態に係る変換関数の第１例を示す図である。また、図７Ｂは、実施の形態に係る変換関数の第２例を示す図である。また、図７Ｃは、実施の形態に係る変換関数の第３例を示す図である。また、図７Ｄは、実施の形態に係る変換関数の第４例を示す図である。

熱画像処理装置１００では、高温変換アルゴリズム及び低温変換アルゴリズム（以下、併せて温度変換アルゴリズムともいう）を、連続的な値を入力可能な変換関数として実現している。例えば、図７Ａ～図７Ｄにおける温度変換アルゴリズムでは、高温画素及び低温画素においてそれぞれ算出される高温差分値、及び低温差分値が入力値として入力される関数が示されている。図７Ａ～図７Ｄにおいては、横軸（ｘ軸）に入力値、縦軸（ｙ軸）に出力値をとるｘ－ｙ二次元座標軸上での、入力値と出力値との関係を示している。また、ここでの出力値は、入力値が高温差分値であれば第１温度に加算され、入力値が低温差分値では第２温度に加算される値である。つまり、温度変換アルゴリズムでは、入力される各々の差分値と置き換えられる新たな差分値が出力される。

入力値のプラス側は、差分値が正の値となる高温差分値に対応し、高温変換関数として説明する。また、入力値のマイナス側は、差分値が負の値となる低温差分値に対応し、低温変換関数として説明する。以降では、高温変換関数及び低温変換関数を併せて、変換関数ともいう。なお、高温変換関数と低温変換関数とを接続する、入力値０の点を便宜的に追加し、これらの変換関数を一連の関数として説明するが、高温変換関数と低温変換関数とは、それぞれ異なる関数であってもよい。

本開示では、元の高温画素における温度が低下され、かつ、元の低温画素における温度が上昇される関数であれば上記した効果を奏することができる。つまり、傾き１の１次関数よりも、第１象限において温度の低い範囲を通過し、かつ、第３象限において温度の高い範囲を通過する関数であればよい。また、変換関数において、正の値の入力に対して負の値が出力される場合、及び、負の値の入力に対して正の値が出力される場合は、温度範囲外の値が、温度変換の画像処理によって温度範囲内に入ってしまうことを示し、これらは排除されるべきである。図７Ａ～図７Ｄに示す関数は、いずれもこの条件を満たしている。なお、上記の条件を満たしていれば、他の関数であってもよい。

図７Ａに示すように、変換関数の第１例は、次の式１によって示される。

上記式１では、いかなる入力があっても出力値として０が出力される。したがって、第１温度を上回る温度を示す画素においては、温度が第１温度に固定される。また、第２温度を下回る温度を示す画素においては、温度が第２温度に固定される。

図７Ｂに示すように、変換関数の第２例は、次の式２によって示される。

上記式２では、入力に応じて出力値がリニアに変動する。したがって、第１温度を上回る温度を示す画素においては、もとの観測値に応じた温度に変換される。また、第２温度を下回る温度を示す画素においては、もとの観測値に応じた温度に変換される。

図７Ｃに示すように、変換関数の第３例は、次の式３によって示される。

上記式３では、入力に応じて出力値が曲線的に変動する。したがって、第１温度を上回る温度を示す画素においては、もとの観測値に応じた温度に変換される。また、第２温度を下回る温度を示す画素においては、もとの観測値に応じた温度に変換される。

図７Ｄに示すように、変換関数の第４例は、次の式４によって示される。

上記式４では、入力に応じて出力値が曲線的に変動する。したがって、第１温度を上回る温度を示す画素においては、もとの観測値に応じた温度に変換される。また、第２温度を下回る温度を示す画素においては、もとの観測値に応じた温度に変換される。なお、このような関数を用いることなく、温度変換の画像処理を行ってもよい。つまり、温度変換アルゴリズムは、入力される値と出力される値とが対応付けられた変換テーブルであってもよい。第１処理部１２は、入力値に基づいてこのような変換テーブルを参照することにより、出力値を得てもよい。これは、例えば、観測される温度範囲が限られ、かつ、輝度値としての温度が１℃刻み等の離散的な数値で得られる場合等に用いることができる。

ここで、図８及び図９を用いて、上記図７Ａ及び図７Ｄにおける変換関数を用いた温度範囲の画像処理について説明する。図８は、実施の形態に係る画像処理を例示する第１図である。また、図９は、実施の形態に係る画像処理を例示する第２図である。図８及び図９では、図６に示したフローチャートの各ステップにおけるグラフに対応するグラフを、各図の（ａ）～（ｃ）に示している。

例えば、上記したように、図８に示す図７Ａの変換関数を用いた例においては、第１温度を上回る温度を示す画素においては、温度が第１温度に固定され、また、第２温度を下回る温度を示す画素においては、温度が第２温度に固定される。このため生成される変換画像は、テーブル状の平面を有し、第１温度と第２温度との間の温度範囲外においては温度の正確度が保たれていない。ただし、計算負荷が小さいため、比較的処理能力の低いプロセッサ等を用いても熱画像処理装置１００を実現できる。

一方で、例えば、上記したように、図９に示す図７Ｄの変換関数を用いた例においては、第１温度を上回る温度を示す画素においては、もとの観測値に応じた温度に変換される。また、第２温度を下回る温度を示す画素においては、もとの観測値に応じた温度に変換される。このため生成される変換画像は、元の熱画像に近い形状を維持し、かつ温度の振幅が抑えられた形状である。また、第１温度をまたぐ画素間の温度が温度変換の画像処理後においても滑らかに接続されているため、画像処理によって新たに屈曲した温度変化の箇所が生じることを抑制している。

以上を加味して、変換関数として適する関数の条件を、図１０により説明する。図１０は、実施の形態に係る変換関数について説明する図である。図１０では、変換関数として、適した例（左カラム）及び不適な例（中央及び右カラム）の３例を示し、それぞれの場合の温度変換の画像処理における変換前後の温度の関係性を示している。

図１０に示すように、変換関数として適切な関数においては、入力される値が０のときに出力される値が０（ｆ（０）＝０）である。入力される差分値が０である場合に、出力が０となり、画像処理後において、第１温度及び第２温度の温度変換境界における値の離散を抑制できる。これが成立しない場合（ｆ（０）≠０）、第１温度及び第２温度の温度変換境界において値が離散するため、変換画像に新たな高周波成分が含まれてしまう。

また、図１０に示すように、変換関数として適切な関数においては、入力される値が０のときに出力される値の微分値が１（ｆ’（０）＝１）である。つまり、入力される差分値が０である箇所での関数の接線の傾きが１となり、画像処理後において、第１温度及び第２温度の温度変換境界における値の急激な変化を抑制できる。これが成立しない場合（ｆ’（０）≠１）、第１温度及び第２温度の温度変換境界において値が急激に変化するため、変換画像に新たな高周波成分が含まれてしまう。

（その他の実施の形態）
以上、本開示に係る熱画像処理装置等について、上記実施の形態に基づいて説明したが、本開示は、上記の実施の形態及び各変形例に限定されるものではない。例えば、上記実施の形態等に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、本開示における熱画像処理装置等は、複数の構成要素の一部ずつを有する複数の装置で実現されてもよく、複数の構成要素のすべてを有する単一の装置で実現されてもよい。また、構成要素の機能の一部が別の構成要素の機能として実現されてもよく、各機能が各構成要素にどのように分配されてもよい。実質的に本開示の熱画像処理装置等を実現し得る機能がすべて備えられる構成を有する形態であれば本開示に含まれる。

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

また、上記実施の形態では、第１温度及び第２温度を用いて温度変換の画像処理を適用する温度範囲が設定される例を説明したが、第１温度のみを用いて温度変換の画像処理を適用する温度範囲を設定してもよい。例えば、取得した熱画像の用途として、居室内の人体を検知する用途等を考える。このような用途では、リンギングを生じさせるような極端な低温箇所が含まれることは稀であるため、第２温度を設定しなくてもよい。一方で、このような用途では、ストーブ、ランプ、及び暖房器具等極端な高温箇所が含まれることが容易に想定されるため、第１温度の設定は有用である。このように、第２温度は必須ではなく、状況に応じて適宜有無が設定されればよい。

第１温度及び第２温度の設定は、個別の値の入力を受け付けることで行ってもよい。一方で、上記に説明したように、第１温度と第２温度とは、用途に応じた一般的な値としてある程度推定できる。そこで、ユーザの簡便性の観点から、熱画像処理装置は、あらかじめ用意された第１温度と第２温度との組み合わせの選択を受け付けることで、第１温度及び第２温度双方を設定してもよい。第１温度及び第２温度の組み合わせ例について、図１１を用いて説明する。図１１は、実施の形態に係る第１温度と第２温度との組み合わせの例を示す図である。

図１１に示すように、熱画像処理装置が内蔵される装置等の用途が、例えば、居室の空間温度を熱画像によって検知する「居室モード」である場合、第１温度として４０℃、及び第２温度として２０℃を組み合わせた、一般の居室にみられる組み合わせである。また、例えば、車室の空間温度を熱画像によって検知する「車室モード」である場合、第１温度として５０℃、及び第２温度として１０℃を組み合わせた、一般の車室にみられる組み合わせである。また、例えば、空間内の人を熱画像によって検知する「人検知モード」である場合、第１温度として４０℃、及び第２温度として３２℃を組み合わせた、人の体温にみられる組み合わせである。

このような組み合わせの選択肢は、例えば、空気調和装置の遠隔制御器に搭載された表示装置に表示され、遠隔制御器への操作によって一の組み合わせが選択されればよい。

また、上記の他、第１温度及び第２温度の設定を解除する「無制約モード」があってもよい。このように、第１温度及び第２温度の設定では、第１温度と第２温度との複数の組み合わせの中から選択された一の組み合わせにより、第１温度及び前記第２温度が設定されてもよい。なお、上記したような第２温度が設定されない第１温度のみを用いる場合にも「居室モード」のように、表示される用途の中からからユーザが用途を選択することで第１温度が設定されてもよい。

また、上記実施の形態において、表示装置は、空気調和装置の遠隔制御器に搭載されるものとして説明したが、ＰＣ、スマートフォン又はタブレット端末等の携帯端末により実現してもよい。また、当該携帯端末上において上記機能を実現するアプリケーションとして実現してもよい。つまり、熱画像処理装置の処理機能を、携帯端末が備えるプロセッサによって実行してもよい。

なお、熱画像を装置の内部処理にのみ用いる場合等には、表示装置が必須ではないため、表示装置を備えずに、熱画像センサ及び熱画像処理装置のみを備える熱画像処理モジュールを実現してもよい。

本開示の熱画像処理装置等は、取得した熱画像を用いて動作態様等が変化する装置等に利用可能である。

１１ 取得部
１２ 第１処理部
１３ 第２処理部
１４ 第３処理部
１５ 入力部
１６ 出力部
１００ 熱画像処理装置
１０１ 熱画像センサ
１０２ 表示装置
２００ 居室
２０１ 空気調和装置

Claims (15)

1. 熱画像センサから熱画像を取得する取得部と、
   取得した前記熱画像に含まれる複数の画素のうち、第１温度よりも高い温度を示す高温画素に対して、前記高温画素に示された温度を低下させる画像処理を行う第１処理部と、
   前記画像処理が行われた前記熱画像である変換画像に対して、前記変換画像に含まれる高周波成分を強調させる高周波強調処理を行う第２処理部と、を備える、
   熱画像処理装置。
2. 前記第１処理部は、前記画像処理においてさらに、取得した前記熱画像に含まれる複数の画素のうち、前記第１温度より低い第２温度よりも低い温度を示す低温画素に対して、前記低温画素の温度を上昇させる、
   請求項１に記載の熱画像処理装置。
3. さらに、前記第１温度及び前記第２温度の少なくとも一方を設定するための入力部を備える、
   請求項２に記載の熱画像処理装置。
4. 前記第１温度及び前記第２温度の少なくとも一方の設定では、第１温度と第２温度との複数の組み合わせの中から選択された一の組み合わせにより、前記第１温度及び前記第２温度が設定される、
   請求項３に記載の熱画像処理装置。
5. 前記画像処理では、
   前記熱画像に含まれる複数の画素のうち、前記低温画素に示された温度から前記第２温度を差引いた低温差分値を算出し、
   入力される値に対して、入力される値よりも高い値を出力する低温変換アルゴリズムを用いて、前記低温差分値の入力に対して出力された値により、前記低温画素に示された温度を変換する、
   請求項２～４のいずれか一項に記載の熱画像処理装置。
6. 前記画像処理では、
   前記熱画像に含まれる複数の画素のうち、前記高温画素に示された温度から前記第１温度を差引いた高温差分値を算出し、
   入力される値に対して、入力される値よりも低い値を出力する高温変換アルゴリズムを用いて、前記高温差分値の入力に対して出力された値により前記高温画素に示された温度を変換する、
   請求項１～５のいずれか一項に記載の熱画像処理装置。
7. 前記低温変換アルゴリズム及び前記高温変換アルゴリズムは、連続的な値を入力可能な変換関数である、
   請求項５に従属する請求項６に記載の熱画像処理装置。
8. 前記低温変換アルゴリズム及び前記高温変換アルゴリズムは、入力される値と出力される値とが対応付けられた変換テーブルである、
   請求項５に従属する請求項６に記載の熱画像処理装置。
9. 前記変換関数は、入力される値が０のときに出力される値が０であり、かつ、入力される値が０のときに出力される値の微分値が１である、
   請求項７に記載の熱画像処理装置。
10. さらに、取得した前記熱画像と、前記変換画像との対応する画素同士を差引いた差分画像を算出し、前記高周波強調処理後の前記変換画像と、算出した前記差分画像との対応する画素同士を加算する補償処理を行う第３処理部を備える、
    請求項１～９のいずれか一項に記載の熱画像処理装置。
11. 前記第２処理部は、さらに、前記変換画像の空間分解能を拡張する超解像処理を行う、
    請求項１～１０のいずれか一項に記載の熱画像処理装置。
12. 前記熱画像センサと、
    請求項１～１１のいずれか一項に記載の熱画像処理装置と、を備える、
    熱画像処理モジュール。
13. さらに、前記高周波強調処理後の前記変換画像を、画像及び温度データの少なくとも一方として表示する表示装置を備える、
    請求項１２に記載の熱画像処理モジュール。
14. 熱画像センサから熱画像を取得する取得ステップと、
    取得した前記熱画像に含まれる複数の画素のうち、第１温度よりも高い温度を示す高温画素に対して、前記高温画素に示された温度を低下させる画像処理を行う第１処理ステップと、
    前記画像処理が行われた前記熱画像である変換画像に対して、前記変換画像に含まれる高周波成分を強調させる高周波強調処理を行う第２処理ステップと、を含む、
    熱画像処理方法。
15. 請求項１４に記載の熱画像処理方法をコンピュータに実行させるための
    プログラム。

Images