WO2015182061A1

WO2015182061A1 - 空気調和装置が実行するセンサの制御方法

Info

Publication number: WO2015182061A1
Application number: PCT/JP2015/002503
Authority: WO
Inventors: ナワットシラワン; 弘一楠亀
Original assignee: パナソニックインテレクチュアルプロパティコーポレーションオブアメリカ
Priority date: 2014-05-27
Filing date: 2015-05-19
Publication date: 2015-12-03
Also published as: CN110645670A; US20190313019A1; JP6775068B2; JP2019174109A; CN110645670B; US20160320085A1; CN105874284A; JP6567511B2; US10819906B2; JPWO2015182061A1; CN105874284B; US10375301B2

Abstract

空気調和装置が実行するセンサの制御方法であって、赤外線センサを用いて、空気調和装置が配置された空調空間を第１の走査手法に従って走査し、第１の熱画像を取得するステップと、対象物が存在しない空調空間の背景熱画像と第１の熱画像との差に基づいて、第１の熱画像から対象物熱画像を抽出するステップと、対象物熱画像のサイズが閾値サイズよりも小さい場合、第１の走査手法とは異なる第２の走査手法を決定するステップと、赤外線センサを用いて、空調空間内の対象物熱画像に対応する領域を第２の走査手法に従って走査し、第２の熱画像を取得するステップとを備える。上記構成により、抽出された対象物熱画像のうち閾値サイズに満たない特定の領域だけを、第２の走査手法によって再走査することが可能となり、空調空間の熱画像を効率的に取得することができる。

Description

空気調和装置が実行するセンサの制御方法

　本開示は、空気調和装置が実行するセンサの制御方法に関し、具体的には空気調和及び他の応用のため、赤外線センサの認識性能を高め、かつ、赤外線センサで取得された熱画像の画像解像度を高める、赤外線センサの制御スキーム及び画像処理に関する。

　赤外線センサは、空気調和装置のため、空調空間内の温度環境及び人の存在を取得するのに活用されてきた。空気調和装置は、それらのデータを活用して気温、風向、風の強さ等を制御することで、その空調空間内にいる人にとって快適な空気状態を実現する。また、空気調装置は、空調空間内の火災の検出や火災を報知等の他の応用のためにそれらのデータを活用してもよい。

　赤外線センサは、その構造によって２つの種類に分類される。一方は、複数の赤外線受光素子が１列に配置されたライン赤外線センサである。本開示で述べるライン赤外線センサには、赤外線受光素子が複数の線状に配置された赤外線センサも含まれる。他方は、複数の赤外線受光素子が平面状に配置されたマトリックス赤外線センサである。本開示では、主にライン赤外線センサを用いて説明を行うが、マトリックス赤外線センサを応用してもよい。

　空調空間の熱画像を取得するために、ライン赤外線センサは、関心領域にわたって走査を行う。異なる走査角度において取得されたライン画像データは、空調空間内の対象物体又は熱事象を認識するための後画像処理用の平面画像を構築するために活用される。しかし、ライン赤外線センサ内の赤外線受光素子の数が少ないため、取得された平面画像の解像度は低い。従って、空調空間内の対象物体又は熱事象の詳細はほとんど認識できない。

　低解像度の問題を解決するため、画像処理法の一種である超解像再構成が活用される。超解像再構成は、モーション効果、ボケ効果、及びダウンサンプリング効果を含む画像デジタル化による画像劣化への対処である。画像処理と共に赤外線センサの光学的特性を活用して画像の異なる眺めを取得することで、その画像の解像度を向上することが可能である。従って、センサのコストを増加させるような赤外線センサ内の赤外線受光素子の数を増加させる必要もなく、空調空間内の対象物体又は熱事象の詳細をよく認識できる。

特許第５１１１４１７号公報

　本開示のセンサの制御方法は、複数の赤外線受光素子から構成されたライン型の赤外線センサを搭載した空気調和装置が実行するセンサの制御方法であって、
　前記赤外線センサを用いて、前記空気調和装置が配置された空調空間を第１の走査手法に従って走査し、第１の熱画像を取得するステップと、
　対象物が存在しない空調空間の背景熱画像と前記第１の熱画像との差に基づいて、前記第１の熱画像から対象物熱画像を抽出するステップと、
　前記対象物熱画像のサイズが閾値サイズよりも小さい場合、前記第１の走査手法とは異なる第２の走査手法を決定するステップと、
　前記赤外線センサを用いて、空調空間内の前記対象物熱画像に対応する領域を前記第２の走査手法に従って走査し、第２の熱画像を取得するステップとを備える。

　上述の構成により、抽出された対象物熱画像のうち閾値サイズに満たない特定の領域だけを、第２の走査手法によって再走査することが可能となる。従って、空調空間の熱画像を効率的に取得することができる。

図１は、空気調和装置の概略構成の一例を示す図である。図２は、図１の処理部のハードウエア構成例を示す図である。図３は、空気調和装置の外観構成の一例を示す図である。図４Ａは、赤外線センサの構造例１を示す図である。図４Ｂは、赤外線センサの構造例１を示す図である。図５は、赤外線センサの走査手法を説明するための図である。図６は、赤外線センサの走査スキームの一例を説明するための図である。図７は、赤外線センサの走査スキームの他の一例を説明するための図である。図８は、赤外線センサの走査スキームの他の一例を説明するための図である。図９は、赤外線センサの走査スキームの他の一例を説明するための図である。図１０Ａは、赤外線センサの構造例２を示す図である。図１０Ｂは、赤外線センサの構造例２を示す図である。図１１Ａは、絶縁板を有する赤外線センサの構造の一例を示す図である。図１１Ｂは、絶縁板を有する赤外線センサの構造の一例を示す図である。図１１Ｃは、絶縁板を通過する赤外線の様子を説明するための図である。図１１Ｄは、絶縁板を通過する赤外線の様子を説明するための図である。図１２Ａは、絶縁板を傾斜させるメカニズムの一例を示す図である。図１２Ｂは、絶縁板を傾斜させるメカニズムの一例を示す図である。図１２Ｃは、絶縁板を傾斜させるメカニズムの一例を示す図である。図１３Ａは、赤外線センサを傾斜させるメカニズムの一例を示す図である。図１３Ｂは、赤外線センサを傾斜させるメカニズムの一例を示す図である。図１４は、空気調和装置の前方から空調空間である部屋を眺めた様子を示す図である。図１５は、空気調和装置の使用事例１－１を示す図である。図１６は、空気調和装置の使用事例１－１を示す図である。図１７Ａは、空気調和装置のユーザインタフェースの一例を示す図である。図１７Ｂは、空気調和装置のユーザインタフェースの一例を示す図である。図１８は、空気調和装置の使用事例１－２を示す図である。図１９は、空気調和装置の使用事例１－２を示す図である。図２０Ａは、空気調和装置のユーザインタフェースの一例を示す図である。図２０Ｂは、空気調和装置のユーザインタフェースの一例を示す図である。図２１は、第１の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図２２は、第１の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図２３は、第１の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図２４は、空気調和装置の使用事例２－１を示す図である。図２５は、空気調和装置の使用事例２－１を示す図である。図２６Ａは、空気調和装置のユーザインタフェースの一例を示す図である。図２６Ｂは、空気調和装置のユーザインタフェースの一例を示す図である。図２７Ａは、空気調和装置のユーザインタフェースの一例を示す図である。図２７Ｂは、空気調和装置のユーザインタフェースの一例を示す図である。図２８は、空気調和装置の使用事例２－３を示す図である。図２９は、第２の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３０は、第２の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３１は、第２の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３２は、空気調和装置の使用事例３－１を示す図である。図３３Ａは、空気調和装置の使用事例３－２を示す図である。図３３Ｂは、空気調和装置の使用事例３－２を示す図である。図３４Ａは、第３の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３４Ｂは、第３の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３５は、第３の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３６は、空気調和装置の使用事例４－１を示す図である。図３７Ａは、空気調和装置のユーザインタフェースの一例を示す図である。図３７Ｂは、空気調和装置のユーザインタフェースの一例を示す図である。図３８は、第４の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。図３９は、第４の実施形態に係る空気調和装置が実行する処理の一例を説明するフローチャートである。

　以下に、添付図面を参照しつつ本技術革新の様々な実施形態を説明する。以下の記述によって本技術革新の原理は明確に理解可能である。以下の実施形態に加え、実施形態の任意の組み合わせ又は実施形態の幾つかの部分も本技術革新に適用可能である。

　まず、本発明者らが本開示に係る各態様の発明をするにあたって、検討した事項を説明する。

　（本発明の基礎となった知見）
　特許文献１の先行技術やテクノロジーにおいて、垂直ライン赤外線センサを活用して空調空間全体の熱画像データを取得するために空調空間が走査される。その熱画像データは、その後超解像再構成によって空調空間全体の高解像度熱画像を再構成するのに活用される。空調空間内の領域全体の再構成された高解像度熱画像は、その後、より高い精度及び精密さで空調空間内の熱事象又は対象物体の位置や熱状態を取得するのに活用される。

　しかし、上記特許文献１による再構成された高解像度熱画像は、空調空間内の領域全体に関するもので特定の関心領域に限定されていない。従って、超解像再構成に活用された熱画像データは大き過ぎるため、再構成された高解像度熱画像の複数の部分を活用するにあたって演算コストがかかる。その結果、大きな演算負荷によって、高いエネルギー消費量と演算効率の低下につながる。さらに、空調空間内の領域全体を走査することは長時間を要するため、空気調和装置の制御処理に遅延が生じる。また、空調空間内の異なる領域に依存する可能性のある超解像再構成のアルゴリズムは柔軟性に欠ける。

　本技術革新において、トリガー事象を採用することで超解像再構成のために空調空間の特定の関心領域が識別される。その特定の関心領域の特徴に応じて、超解像再構成の必要事項やそのアルゴリズムが決定される。本技術革新の説明にて詳細に記述されるように、トリガー事象には様々な種類が存在し、それによって赤外線センサの異なる移動パターンが引き起こされる。

　上述の構成により、必要情報が要求される空調空間内の特定の関心領域においてのみ超解像再構成を行うことが可能である。従って、エネルギー消費量及び演算の効率を向上させることができ、取得された熱画像データによって空気調和装置の制御処理をより小さな遅延で実行させることができる。さらに、超解像再構成処理の柔軟性が向上し、各アプリケーションのための再構成された適切な高解像度熱画像が取得可能である。

　本開示は、複数の赤外線受光素子から構成されたライン型の赤外線センサを搭載した空気調和装置が実行するセンサの制御方法であって、赤外線センサを用いて、空気調和装置が配置された空調空間を第１の走査手法に従って走査し、第１の熱画像を取得するステップと、対象物が存在しない空調空間の背景熱画像と第１の熱画像との差に基づいて、第１の熱画像から対象物熱画像を抽出するステップと、対象物熱画像のサイズが閾値サイズよりも小さい場合、第１の走査手法とは異なる第２の走査手法を決定するステップと、赤外線センサを用いて、空調空間内の対象物熱画像に対応する領域を第２の走査手法に従って走査し、第２の熱画像を取得するステップとを備える。

　この制御により、抽出された対象物熱画像のうち閾値サイズに満たない特定の領域だけを、第２の走査手法によって再走査することが可能となる。従って、空調空間の熱画像を効率的に取得することができる。

　また、決定するステップは、対象物熱画像の解像度と空気調和装置が必要とする解像度とに基づいて第２の走査手法を決定してもよい。この場合、第２の走査手法は、第１の走査手法と走査速度が異なってもよいし、第１の走査手法と走査間隔が異なってもよい。

　この制御により、空気調和装置にとって最適な熱画像を取得することができる。

　また、抽出するステップは、第１の熱画像のうち、背景熱画像との温度差が所定の閾値温度よりも大きい画素の領域を、対象物熱画像として抽出してもよい。

　この制御により、対象物の検出精度を向上させることができる。

　また、抽出するステップで対象物熱画像が抽出された後に、赤外線センサを用いて、対象物熱画像に対応する領域を第１の走査手法に従って再走査し、再熱画像を取得するステップと、第１の熱画像と再熱画像との間に生じた熱画像の変化を検出するステップとをさらに備え、決定するステップは、検出するステップで検出された熱画像の変化が所定値よりも小さい場合に、第２の走査手法を決定してもよい。

　この制御により、移動している対象物に対して適切な制御を行うことができる。

　また、背景熱画像は、赤外線センサを用いて、空調空間内に存在する特定の領域に空気調和装置が吹き出す風を当てた状態で取得されてもよい。この特定の領域に対しては、反復した走査が行われてもよいし、走査の頻度が変更されてもよい。

　また、第２の熱画像を用いて超解像再構成処理を実行するステップをさらに備えてもよい。そして、この超解像再構成処理の結果に従って、対象物に対する空気調和装置を介した空調制御を提供するステップをさらに備えてもよいし、対象物の状態に関する通知を行うステップをさらに備えてもよい。

　この制御により、空調空間の熱画像を高解像度で取得することができる。

　＜空気調和装置の概要＞
　まず、図１～図３を参照して、本開示における全ての実施形態に関わる空気調和装置１００の概要を説明する。

　図１は、空気調和装置１００の概略構成の一例を示す図である。図２は、図１に示す処理部８００のハードウエア構成例を示す図である。図３は、空気調和装置１００の外観構成の一例を示す図である。

　（１）空気調和装置の概略構成
　図１に示す本開示の空気調和装置１００は、ルーバ１１０、ファン１２０、エアコンプレッサ１３０、赤外線センサ３００、温度センサ６００、アクチュエータコントローラ７１０、リモコン７２０、ネットワークモジュール７３０、及び処理部８００から構成される。赤外線センサ３００の数は、１つでも複数であってもよい。破線で示される赤外線センサ３００のブロックは、空気調和装置１００の態様に応じて付加されても除去されてもよい赤外線センサであることを示す。

　なお、空気調和装置１００は、厳密に上記説明した全ての部品から構成されなくてもよい。幾つかの部品を取り除いてよいし、新規の他の部品を加えてもよい。例えば、空気調和装置１００からリモコン７２０を取り除いてよいし、ユーザとの対話用にスピーカ及びマイクを空気調和装置１００内に設置してもよい。

　赤外線センサ３００は、空気調和装置１００が設置された空調空間（例えば部屋）にある対象物の熱データを取得する。赤外線センサ３００は、例えばサーモパイルセンサ、焦電センサ、又はボロメータ等でもよい。温度センサ６００は、空調空間の温度を取得する。温度センサ６００は、例えば一般的な温度計でもよい。赤外線センサ３００及び温度センサ６００の両方で取得されたデータは、処理部８００へ転送される。

　アクチュエータコントローラ７１０は、所定のアクチュエータを制御する。所定のアクチュエータは、空気調和装置１００のルーバ１１０、ファン１２０、及びエアコンプレッサ１３０を含む。所定のアクチュエータの状況データは、アクチュエータコントローラ７１０によって把握され、要求に応じて処理部８００に転送される。

　空気調和装置１００のユーザは、リモコン７２０を活用して処理部８００に対して指示又は要求を送信する。さらに、リモコン７２０は、処理部８００から空気調和装置１００の現在状況データを取得し、その状況をユーザに対してリモコン７２０が有する状況表示部７２１に表示する。状況表示部７２１は、ユーザがデータを入力したり対話したりすることを可能とする、例えばタッチセンサ式の表示部でもよい。

　ネットワークモジュール７３０は、空気調和装置１００をローカルネットワーク又はインターネット等のネットワークに接続する。空気調和装置１００内のデータは、ネットワークモジュール７３０を介してネットワークに転送されてもよい。さらに、ネットワーク上のデータが、ネットワークモジュール７３０を介して空気調和装置１００に取り込まれてもよい。

　処理部８００は、接続された構成からデータを取得し、プログラム又はアプリケーションに従ってそのデータを処理する。このプログラム又はアプリケーションは、ネットワークモジュール７３０を介して接続されたネットワーク上に保持されていてもよいし、処理部８００の中に格納されていてもよい。次に、処理部８００は、処理されたデータを用いて、アクチュエータコントローラ７１０がルーバ１１０、ファン１２０、及びエアコンプレッサ１３０等のアクチュエータを使用して空調空間内の空気状態を制御するための指示を決定する。例えば、空調空間の温度を取得した後、処理部８００が、現在の温度とリモコン７２０を介してユーザが設定した要求温度とが異なることを認識した場合、処理部８００は、アクチュエータコントローラ７１０に現在の室温と要求温度との差を出力する。アクチュエータコントローラ７１０は、処理部８００から与えられた温度の差に応じてアクチュエータを制御する。

　さらに、処理データは、特定の対象物の熱データを取得するため、赤外線センサ３００に対して与える指示を決定するために使用される。例えば、処理部８００は、空調空間内に人がいない場合には、赤外線センサ３００に対して、粗くかつ高速に走査するよう指示し、空調空間内に人がいる場合には、赤外線センサ３００に対して、密にかつ低速に走査するように指示する。

　処理部８００は、リモコン７２０を介してユーザからの要求を取得するだけではなく、ユーザと対話するため又はユーザに対して表示するため、様々な種類のデータをリモコン７２０に転送する。その様々な種類のデータとしては、空調空間内の空気状態の現在状況、ユーザの現在の熱データ、過去にわたって取得されたユーザ又は空調空間の熱データ、ネットワークモジュール７３０を介して接続されたネットワークから取得したデータ、アプリケーション、又はプログラム等が挙げられる。状況表示部７２１は、ユーザがそれらのアプリケーションやプログラムに対してデータを入力したり対話したりすることが可能な、タッチセンサ式の表示部を有するインタフェースであってもよい。

　また、処理部８００は、その内部でデータを処理するだけではなく、特定の宛先にてデータを処理するために、ネットワークモジュール７３０を介して接続されたネットワークにデータを転送してもよい。特定の宛先は、ネットワークサーバ、分散されたコンピュータネットワーク、又はクラウド演算サービスなどであってもよい。接続されたネットワークにてデータが処理された後、処理部８００は、空気調和装置１００内で使用するために処理されたデータを取得してもよい。

　また、処理部８００は、その内部でデータを格納するだけではなく、特定の宛先にデータを格納するために、ネットワークモジュール７３０を介して接続されたネットワークにデータを転送してもよい。特定の宛先は、ネットワークサーバ、分散されたネットワークストレージ、又はクラウドストレージサービスなどであってもよい。

　また、処理部８００のソフトウェア及びオペレーティングシステムは、ネットワークモジュール７３０を介した接続されたネットワークからのデータ転送を活用してアップデートされてもよい。

　さらに、処理部８００上で実行されるプログラム又はアプリケーションは、最初にインストールされたプログラム又はアプリケーションに限らず、ネットワークモジュール７３０を介して接続されたネットワークから新規にダウンロードされるプログラム又はアプリケーションであってもよい。ユーザは、プログラム又はアプリケーションのダウンロードを、リモコン７２０を介して要求してもよい。

　ユーザは、ネットワークモジュール７３０に接続されたネットワークを介して空気調和装置１００に接続してもよい。例えば、ユーザは、スマートフォンを介して空気調和装置１００のネットワークモジュール７３０に接続するネットワークに接続して、そのスマートフォンを空気調和装置１００と通信する装置として使用してもよい。ユーザの要求を空気調和装置１００に送信するためにスマートフォンを活用してもよく、空気調和装置１００からデータを取得するのにスマートフォンを活用してもよい。

　（２）処理部のハードウエア構成
　図２に、処理部８００のハードウエア構成例を示す。図２における点線の構成は、それらの構成が処理部８００の外部にあることを示しており、処理部８００の内部と外部との接続を明確にするために示されている。

　処理部８００は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０２、ＲＡＭ（Random Access Memory）８０３、メモリストレージ８０４、インタフェース（図２において「Ｉ／Ｆ」と表記）８２０、及び母線８３０から構成される。

　ＲＯＭ８０２は、処理部８００の基本的動作を定義する所定のコンピュータプログラム及びデータを保持する。メモリストレージ８０４は、フラッシュメモリ、ソリッドステートドライブ、又はハードディスクドライブを有していてもよい。メモリストレージ８０４は、空気調和装置１００のために他のコンピュータプログラム、アプリケーション、及びデータを保持する。メモリストレージ８０４内に格納されたプログラム、アプリケーション、及びデータは、ネットワークモジュール７３０を介して接続されたネットワーク経由で、リモコン７２０又はスマートフォンを介したユーザの要求に応じてアップデート又は変更されてもよい。さらに、メモリストレージ８０４内に格納されたプログラム、アプリケーション、及びデータは、ネットワークモジュール７３０を介して接続されたネットワーク内のサーバからの指示で、自動的にアップデートされてもよい。

　ＣＰＵ８０１、ＲＯＭ８０２、及びＲＡＭ８０３は、母線８３０に接続されている。メモリストレージ８０４は、インタフェース８２０を介して母線８３０と接続されている。点線で示された、赤外線センサ３００、温度センサ６００、アクチュエータコントローラ７１０、リモコン７２０、及びネットワークモジュール７３０の外部構成は、インタフェース８２０を介して処理部８００の母線８３０にそれぞれ接続されている。

　ＣＰＵ８０１は、母線８３０を介してＲＯＭ８０２から基本的動作のためのコンピュータプログラムやデータを読み取り、インタフェース８２０及び母線８３０を介してメモリストレージ８０４から他のコンピュータプログラム、アプリケーション、及びデータを読み取る。ＲＡＭ８０３は、ＣＰＵ８０１が動作している間、一時的にコンピュータプログラムやデータを格納してもよい。本実施形態において、ＣＰＵ８０１は、単一のＣＰＵである。あるいは、処理部８００として数個のＣＰＵを活用してもよい。

　処理部８００とリモコン７２０とは、無線信号で接続されてもよい。この場合には、例えば、処理部８００とリモコン７２０との間に無線信号を送受信するモジュール（図示せず）が含まれていてもよい。

　外部ユニットである、赤外線センサ３００、温度センサ６００、アクチュエータコントローラ７１０、リモコン７２０、及びネットワークモジュール７３０からＣＰＵ８０１が取得するデータは、ＣＰＵ８０１によって使用される前に、インタフェース８２０及び母線８３０を介してＲＡＭ８０３又はメモリストレージ８０４に転送されてもよい。

　（３）空気調和装置の外観構成
　図３に、空気調和装置１００の外観構成の一例を示す。図３に例示する空気調和装置１００は、いわゆるエアコンであり、空気調和装置１００の筐体１５０には、左右のルーバ１１０、空気吸入口１４０、赤外線センサ３００が設けられている。

　［赤外線センサの構造例１］
　図４Ａ、図４Ｂは、赤外線センサ３００の構造の一例（構造例１）を示す図である。構造例１の赤外線センサ３００は、図４Ａに示すように、複数の赤外線受光素子３１１を有する素子体及びパンモータ３１２を構成に含むライン型の赤外線センサである。

　図４Ｂは、図４Ａに示す赤外線センサ３００における複数の赤外線受光素子３１１の拡大図である。

　複数の赤外線受光素子３１１は、図４Ｂの拡大図で示すように、２つ以上の赤外線受光素子３１１（図４Ａ、図４Ｂの例では８素子）が１列に並んだライン素子群を、素子体の表面に２つ並設して構成されている。この並設された２つのライン素子群は、素子数が等しく、また赤外線受光素子の高さ（ｈ）の半分だけシフトさせて配置されている。この複数の赤外線受光素子３１１は、ボロメータ、サーモパイル、又は量子型検出素子であってもよい。量子型検出素子は、ＩｎＳｂ検出器、ＨｇＣｄＴｅ検出器、又はＩｎＧａＡｓ検出器であってもよい。各ライン素子群の赤外線受光素子３１１の数は、８つ以外の１６又は３２素子であってもよい。

　パンモータ３１２は、赤外線受光素子３１１が１列に並んだ方向と平行に設けられた素子体の回転軸に接続されており、回転軸を回転させることで素子体を回転させる。このパンモータ３１２は、複数の赤外線受光素子３１１を、赤外線受光素子３１１が１列に並んだ方向と垂直な水平方法にパンするために使用される。

　図５は、空調空間内の熱画像を取得するために行われる、図４Ａ、図４Ｂに示す赤外線センサ３００の走査手法を説明するための図である。その走査は、パンモータ３１２によって赤外線センサ３００を水平方向に回転させることで行われる。走査によって取得された複数のライン熱画像３１４は、赤外線センサ３００の視野範囲方向に行われた赤外放射を反映する。

　以下で説明するように、ライン熱画像３１４は、異なる走査スキーム（走査手法）によって取得可能である。

　図６は、赤外線センサ３００の走査スキームの一例を説明するための図である。この走査スキームでは、赤外線センサ３００が２つの素子幅（２Ｗ）間隔のステップで水平に走査され、各ステップにおいてライン熱画像３１４が取得される。取得されたライン熱画像３１４は、２次元（２Ｄ）熱画像を構築するために、図６に示されるようにタイル状に配置される。この走査スキームにより構築された２次元熱画像内における最小素子のサイズは、赤外線受光素子３１１の１素子分のサイズを有する。

　図７は、赤外線センサ３００の走査スキームの他の一例を説明するための図である。この走査スキームでは、赤外線センサ３００が１つの素子幅（１Ｗ）間隔のステップで水平に走査され、各ステップにおいてライン熱画像３１４が取得される。この結果、取得されたライン熱画像３１４を、タイル状に配置した２次元熱画像は、図７に示すような走査方向と垂直な方向に重複したパターンを有している。このため、超解像再構成（ＳＲＲ）によって再構成された２次元熱画像の解像度は、垂直方向に沿って２倍となる。よって、図７の走査スキームによって取得された２次元熱画像は、図６の走査スキームによって取得された２次元熱画像よりも２倍高い解像度を有する。

　図８は、赤外線センサ３００の走査スキームの他の一例を説明するための図である。この走査スキームでは、赤外線センサ３００が１／２素子幅（０．５Ｗ）間隔のステップで水平に走査され、各ステップにおいてライン熱画像３１４が取得される。この結果、取得されたライン熱画像３１４を、タイル状に配置した２次元熱画像は、図８に示すような走査方向（水平方向）及び走査方向と垂直な方向の双方に重複したパターンを有している。このため、超解像再構成（ＳＲＲ）によって再構成された２次元熱画像の解像度は、垂直方向及び水平の両方に沿ってそれぞれ２倍となる。よって、図８の走査スキームによって取得された２次元熱画像は、図６の走査スキームによって取得された２次元熱画像よりも４倍高い解像度を有する。

　図９は、赤外線センサ３００の走査スキームの他の一例を説明するための図である。この走査スキームでは、赤外線センサ３００が１／４素子幅（０．２５Ｗ）間隔のステップで水平に走査され、各ステップにおいてライン熱画像３１４が取得される。この結果、取得されたライン熱画像３１４を、タイル状に配置した２次元熱画像は、図９に示すような走査方向（水平方向）及び走査方向と垂直な方向の双方に重複したパターンを有している。このため、超解像再構成（ＳＲＲ）によって再構成された２次元熱画像の解像度は、垂直方向に沿って２倍となり、かつ水平方向に沿って４倍となる。よって、図９の走査スキームによって取得された２次元熱画像は、図６の走査スキームによって取得された２次元熱画像よりも８倍高い解像度を有する。

　なお、上記図６～図９に説明した走査スキームは例示である。２次元熱画像の異なる解像度を取得する走査スキームは、図６～図９にて説明されたものに限定されない。異なる応用又は目的によっては、より細かい又はより粗い走査ステップパターン、あるいは間隙を走査するために異なる素子幅を適用してもよい。

　［赤外線センサの構造例２］
　図１０Ａ、図１０Ｂは、赤外線センサ３００の構造の他の一例（構造例２）を示す図である。構造例２の赤外線センサ３００は、図１０Ａに示すように、複数の赤外線受光素子３１１を有する素子体及びパンモータ３１２を構成に含むライン型の赤外線センサである。

　図１０Ｂは、図１０Ａに示す構造例２の赤外線センサ３００における、複数の赤外線受光素子３１１の拡大図である。

　複数の赤外線受光素子３１１は、図１０Ｂの拡大図で示すように、２つ以上の赤外線受光素子３１１（図１０Ａ、図１０Ｂの例では８素子）が１列に並んで構成されている。この複数の赤外線受光素子３１１の構造や数は、上記構造例１で説明した通りである。パンモータ３１２は、複数の赤外線受光素子３１１を、赤外線受光素子３１１が１列に並んだ方向と垂直な水平方向にパンするために使用される。

　構造例２の赤外線センサ３００を上記図７～図９の走査スキームに従って走査することで取得される２次元熱画像は、構造例１の赤外線センサ３００で取得された２次元熱画像のように垂直方向に重複パターンを有さない。そこで、複数の赤外線受光素子３１１を垂直方向に沿ってシフトさせるために、例えば図１１Ａに示す構造が活用される。

　図１１Ａ、図１１Ｂは、絶縁板を有する赤外線センサの構造の一例を示す図である。

　図１１Ｃは、図１１Ａの状態において、絶縁板３５０を通過する赤外線の様子を説明するための図である。

　図１１Ｄは、図１１Ｂの状態において、絶縁板３５０を通過する赤外線の様子を説明するための図である。

　図１１Ａの構造では、赤外線を透過可能な均一の厚みを有する絶縁板３５０が赤外線センサ３００の前に設置される。この絶縁板３５０は、素子体の回転軸と直交する回転軸３５１を中心に任意の角度で傾斜可能である。絶縁板３５０の入射面が赤外線センサ３００の放射面に対して平行である場合（図１１Ａ）、図１１Ｃに示すように、絶縁板３５０に到達した赤外線は絶縁板３５０をそのまま通過（または透過）する。絶縁板３５０を通過した赤外線は、赤外線受光素子３１１に到達する。

　一方、絶縁板３５０の入射面が赤外線センサ３００の放射面に対して傾斜している場合（図１１Ｂ）、図１１Ｄに示すように、絶縁板３５０に到達した赤外線は垂直方向にδだけずれて透過出力される。従って、絶縁板３５０を適切な角度で傾斜させることによって、取得されるライン熱画像３１４をシフトさせることが可能である。

　ここで、絶縁板３５０を傾斜させるための異なる手法を例示的に説明する。

　図１２Ａ～図１２Ｃは、それぞれ、絶縁板を傾斜させるメカニズムの一例を示す図である。

　図１２Ａは、絶縁板３５０の回転軸３５１にモータ３１３を取り付け、モータ３１３を回転させて絶縁板３５０を傾斜させる例である。

　図１２Ｂは、絶縁板３５０の両端をスライディング機構で支持し、絶縁板３５０をスライドさせて絶縁板３５０を傾斜させる例である。

　図１２Ｂで示す例では、スライディング機構は、例えば、押圧部材３５５ａ、台３５６、弾性部材３５７、台３５８を有する。台３５６は、例えば窪みを有し、断面が凹形状である。押圧部材３５５ａは、例えば、棒状の部材を有し、この棒状の部材の一端に力を加える手段を有する。押圧部材３５５ａの一端は、台３５６の壁面に固着されている。台３５８は、例えば窪みを有し、断面が凹形状である。弾性部材３５７は、例えばバネ、ゴムといった弾性変形する部材である。弾性部材３５７の一端は、例えば、の壁面に固着されている。

　例えば、絶縁板３５０の入射面が赤外線センサ３００の放射面に対して平行である場合、図１２Ｂの左側の図に示すように、絶縁板３５０の一方の端部は、弾性部材３５７と台３５８の壁面との間に挟まれて支持されている。また、押圧部材３５５ａが有する棒状の部材の一端は、絶縁板３５０の他方の端部付近と接触している。

　この状態で、押圧部材３５５ａが有する棒状の部材の一端に力が加えられると、絶縁板３５０は、回転軸３５１の周りを時計回りに回転する。

　このとき、絶縁板３５０の他方の端部は、台３５６の壁面に接触する位置まで移動する。

　また、絶縁板３５０の一方の端部は、弾性部材３５７を押圧した状態となる。

　このとき、絶縁板３５０の入射面が赤外線センサ３００の放射面に対して傾斜した状態となる。この状態が、図１２Ｂの右側に示した図である。

　また、図１２Ｂの右側に示した状態において、押圧部材３５５ａが有する棒状の部材の一端に加えた力をなくすと、弾性部材３５７の復元力により、絶縁板３５０は、回転軸３５１の周りを反時計回りに回転し、図１２Ｂの左側に示す状態となる。

　図１２Ｃは、絶縁板３５０の一方端をスライディング機構で支持し、絶縁板３５０をスライドさせて絶縁板３５０を傾斜させる例である。

　図１２Ｃに示す例では、スライディング機構は、例えば、押圧部材３５５ａ、３５５ｂ台３５６を有する。

　押圧部材３５５ｂは、例えば、棒状の部材を有し、この棒状の部材の一端に力を加える手段を有する。押圧部材３５５ｂの一端は、台３５６の壁面に固着されている。押圧部材３５５ａと固着する台３５６の壁面と、押圧部材３５５ｂと固着する台３５６の壁面とは互いに対向する。

　例えば、絶縁板３５０の入射面が赤外線センサ３００の放射面に対して平行である場合、図１２Ｃの左側の図に示すように、絶縁板３５０の一方の端部の両側は、押圧部材３５５ａの棒状の部材、押圧部材３５５ｂの棒状の部材に挟まれて支持されている。このとき、押圧部材３５５ａの棒状の部材に与えられた力と、押圧部材３５５ｂの棒状の部材に与えられた力とは互いに等しい。

　次に、押圧部材３５５ａの棒状の部材に与えられた力を押圧部材３５５ｂの棒状の部材に与えられた力よりも大きくすると、絶縁板３５０は、回転軸３５１の周りを時計回りに回転する。このとき、絶縁板３５０の入射面が赤外線センサ３００の放射面に対して傾斜した状態となる。この状態を示す図が、図１２Ｃの中央に示す図である。

　次に、押圧部材３５５ａの棒状の部材に与えられた力を押圧部材３５５ｂの棒状の部材に与えられた力よりも更に大きくすると、絶縁板３５０は、回転軸３５１の周りを更に時計回りに回転する。このとき、絶縁板３５０の入射面が赤外線センサ３００の放射面に対して更に傾斜した状態となる。この状態を示す図が、図１２Ｃの右側に示す図である。

　また、図１２Ｃの右側に示すような状態において、押圧部材３５５ａの棒状の部材に与えられた力を押圧部材３５５ｂの棒状の部材に与えられた力を小さくしていくと、絶縁板３５０は、回転軸３５１の周りを更に反時計回りに回転し、図１２Ｃの中央に示すような状態となる。

　また、図１２Ｃの中央に示すような状態において、押圧部材３５５ａの棒状の部材に与えられた力を押圧部材３５５ｂの棒状の部材に与えられた力を等しくなるように小さくしていくと、絶縁板３５０は、回転軸３５１の周りを更に反時計回りに回転し、図１２Ｃの左側に示すような状態となる。

　また、絶縁板３５０を用いない赤外線センサ３００に関しては、次のような構造が考えられる。図１３Ａ、図１３Ｂは、赤外線センサ３００を傾斜させるメカニズムの一例を示す図である。図１３Ａは、構造例２の赤外線センサ３００の筐体にチルトモータ３１３を取り付け、チルトモータ３１３を回転させて複数の赤外線受光素子３１１を垂直方向に傾斜させる例である。なお、図１３Ｂのように、構造例１の赤外線センサ３００の筐体にチルトモータ３１３を取り付け、チルトモータ３１３を回転させて複数の赤外線受光素子３１１を垂直方向に傾斜させても構わない。

　上述構造によって、垂直方向及び水平方向の双方に重複部分を有する２次元熱画像を取得することが可能であるため、超解像再構成によって垂直及び水平解像度の両方を増加させることが可能である。もちろん、上述した図６～図９の走査スキームを、絶縁板３５０を有する赤外線センサ３００に対して適用することも可能である。

　＜空気調和装置による制御方法＞
　以下、上述した構造を有する空気調和装置１００によって実現される特徴的なセンサの制御方法を、図面をさらに参照して説明する。

　図１４は、空気調和装置１００の前方から空調空間である部屋を眺めた様子を示す図である。図１４に示すように、空気調和装置１００は、部屋の熱データを取得するために、赤外線センサ３００を用いて部屋を走査し、様々な位置におけるライン熱画像３１４を取得する。なお、図１４では、空気調和装置１００を図示していないが、空気調和装置１００は、例えば、後に説明をする図３２、図３３Ａ、図３３Ｂ等で示した位置と同様の位置にある。

　なお、以下の各実施形態では、内容の理解を容易にするために、空気調和装置１００が構造例２の赤外線センサ３００を搭載しており、この赤外線センサ３００によって取得されるライン熱画像３１４が１列のライン画像である場合を説明している。しかし、空気調和装置１００が構造例１の赤外線センサ３００を搭載する場合には、赤外線センサ３００によって２列のライン画像によるライン熱画像３１４が取得されることとなる。

　（１）第１の実施形態
　第１の実施形態に係る空気調和装置１００が実行するセンサの制御方法（赤外線センサ３００に行わせる走査スキームの決定方法）を、使用事例を用いて具体的に説明する。

　［使用事例１－１］
　図１５及び図１６は、空気調和装置の使用事例１－１を説明するための図である。具体的には、図１５及び図１６は、使用事例１－１における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例１－１は、部屋の中に２人の人物がいる例である。第１人物２０１は、第２人物２０２よりも空気調和装置１００の近くにおり、第２人物２０２は、第１人物２０１よりも空気調和装置１００から離れた位置にいる。なお、図１５、及び図１６では、空気調和装置１００を図示していないが、空気調和装置１００は、例えば、後に説明をする図３２、図３３Ａ、図３３Ｂ等で示した位置と同様の位置にある。

　空気調和装置１００は、例えば部屋全体の熱データを取得するために部屋を粗く走査する（第１の走査手法）。空気調和装置１００は、人物の熱画像（対象物熱画像）と人物が存在しない場所の熱画像（背景熱画像）とを区別するために、バックグラウンド減算法を用いて２人の存在を検出してもよい。バックグラウンド減算法は、まず部屋の中に人がいないときの熱画像を登録しておいて、現在の熱画像からその登録された熱画像を減算することで行われる。例えば、現在の熱画像の画素の値から対応する登録された熱画像の画素の値の減算値（または減算値の絶対値）が所定の値よりも大きければ、背景熱画像とは異なる画素（つまり対象物熱画像を構成する画素）であると判断する。この減算によって得られる背景熱画像とは異なる部分が対象物熱画像となる。対象物熱画像が検出された後、対象物熱画像のサイズが取得される。なお、対象物熱画像のサイズは、対象物熱画像を構成する画素数と同義である。

　対象物熱画像のサイズが予め定めたサイズ（閾値サイズ）以下の場合、対象物熱画像に対して超解像再構成の処理が行われる。この閾値は、処理部８００が実行しているアプリケーションが必要とする解像度に従って設定される画像のサイズである。超解像再構成の処理が行われると決定された場合、対象物熱画像の現在の解像度と実行中のアプリケーションに依存する期待解像度とによって走査スキーム（第２の走査手法）が決定される。対象物熱画像の走査スキームが決定した後、赤外線センサ３００が決定した走査スキームを用いて対象物熱画像によって特定された対象領域を再走査する。その後、超解像再構成の処理が行われ、対象領域の熱画像について向上した解像度が得られる。

　一方、対象物熱画像のサイズが閾値サイズよりも大きい場合、対象物熱画像に対して超解像再構成の処理は行われない。

　図１６は、第１人物２０１及び第２人物２０２の熱画像を取得するための超解像再構成の異なる走査スキームを説明する図である。第２人物２０２は空気調和装置１００から離れた位置にいるため、赤外線センサ３００による粗い走査によって取得された第２人物２０２の熱画像の解像度は、同じ走査によって取得された第１人物２０１の熱画像の解像度よりも低い。従って、第１人物２０１と第２人物２０２とで、熱画像のための超解像再構成の走査スキームは異なっているべきである。第２人物２０２の熱画像を取得するための走査スキームは、第１人物２０１の熱画像を取得するための走査スキームと比べてより細かい走査のステップを有していてもよい。

　一方、第１人物２０１の熱画像のサイズが閾値サイズよりも大きく、粗い走査によって取得された第１人物２０１の熱画像が適切な解像度を有している場合、第１人物２０１の領域の再走査は行われない。

　図１７Ａおよび図１７Ｂは、それぞれ、部屋の中の関心領域と各領域の取得された熱データの質とを示すユーザインタフェース例を示す図である。具体的には、図１７Ａは、空気調和装置１００を操作するリモコン７２０の一例を示す図、図１７Ｂは、ネットワークを介して空気調和装置１００を操作する携帯電話７２２の一例を示す図である。

　ユーザインタフェースとは、例えば、リモコン７２０が備える表示画面または携帯電話７２２が備える表示画面に表示される情報を例に説明をする。これらの表示画面には、例えば、空気調和装置１００において処理された結果に基づく情報が表示される。

　また、リモコン７２０が、または携帯電話７２２が図示しないスピーカを備える場合、ユーザインタフェースは、スピーカから出力される音声であっても良い。リモコン７２０、または携帯電話７２２が備える図示しないスピーカは、例えば、空気調和装置１００において処理された結果に対する情報を音声として出力される。

　図１５及び図１６において説明される使用事例１－１においては、第１人物２０１及び第２人物２０２が存在する領域が関心領域である。

　例えば、図１７Ａおよび図１７Ｂの領域Ｒ２０１は第１人物２０１の領域を表しており、領域Ｒ２０１に付された丸印は関心領域内の熱データが良好に取得されたことを示唆している。また例えば、図１７Ａおよび図１７Ｂの領域Ｒ２０２は第２人物２０２の領域を表しており、領域Ｒ２０２に付された疑問符は関心領域内の熱データが現在取得中であること又は適切に取得されなかったことを示唆している。そのデータは、リモコン７２０を介してユーザに表示されてもよいし、又はネットワークモジュール７３０を介して接続されたネットワーク、そしてユーザの携帯電話７２２への表示用に送信されてもよい。

　［使用事例１－２］
　図１８及び図１９は、空気調和装置１００の使用事例１－２を示す図である。具体的には、図１８及び図１９は、使用事例１－２における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例１－２は、部屋の中で火災が発生している場合（図１８）や、熱いコーヒーカップ又はアイロン等の高温物体が部屋の中で使用されている場合（図１９）の例である。なお、図１８、及び図１９では、空気調和装置１００を図示していないが、空気調和装置１００は、例えば、後に説明をする図３２、図３３Ａ、図３３Ｂ等で示した位置と同様の位置にある。

　多くの場合、初期の火災場所や高温物体のサイズは人体の大きさと比較して小さい。従って、それらの熱画像の解像度が高いこと及びそれらの熱データの精度が高いことは重要であり、超解像再構成が必要となる。火災を検出する場合、火災がひどくなる前に消火できるように、空気調和装置１００は火災警報の通知をユーザに送信してもよい。火災警報の通知は、空気調和装置１００に設置されたスピーカを介した音声通知でもよいし、又は携帯電話７２２での通知等の他の方法によってユーザに通知するため、ネットワークモジュール７３０を介して接続されたネットワークに信号が送信されてもよい。高温物体の場合、幾つかのアプリケーションを適用してもよい。

　部屋の中で小型高温物体を検出するために、空気調和装置１００は、例えば最初に部屋全体の熱データを取得するために部屋を粗く走査する。そして、バックグラウンド減算法により、小型高温物体の対象物熱画像が取得される。小型高温物体の対象物熱画像のサイズが閾値サイズよりも小さい場合、超解像再構成の処理が行われる。

　従って、超解像再構成の走査スキーム（第２の走査手法）は、対象物熱画像の現在の解像度と実行中のアプリケーションに依存する期待解像度によって決定される。対象物熱画像の現在の解像度が期待解像度よりもずっと小さい場合、より細かい走査ステップが必要となる。

　特に、対象物熱画像のサイズが１～９ピクセル等と小さ過ぎる場合、赤外線センサ３００によるガウスサーマルノイズの効果を減少させるべく、同じ位置の熱データの時間平均を可能にするために、赤外線センサ３００が同じ位置でしばらく停止できるよう、決定された走査スキームの走査速度は遅くあるべきである。

　対象物熱画像の走査スキームと速度とが決定した後、赤外線センサ３００が決定した走査スキームを用いて対象物熱画像によって特定された対象領域を再走査する。その後、超解像再構成の処理が行われ、高温物体の熱画像について向上した解像度が得られる。高温物体の再構成熱画像が取得された後、画像内の最高温度と火災の発生を示す閾値温度とが比較される。

　画像内の最高温度が閾値温度よりも高い場合、空気調和装置１００は、高温物体が火災箇所であると推定し、ユーザに対して火災警報の通知が送信される。火災警報の通知は、様々な異なる形式であってもよい。例えば、空気調和装置１００は、ユーザに警報を伝えるために付属のスピーカを介して大きな音声を発生させてもよい。空気調和装置１００は、ネットワークモジュール７３０を介して接続されたネットワークに警報を送信して、そのネットワークに接続しているユーザが遠隔地でその警報を受信できるようにしてもよい。

　図２０Ａ、図２０Ｂは、それぞれ、空気調和装置１００のユーザインタフェースの一例を示す図である。具体的には、図２０Ａ、図２０Ｂは、それぞれ、ネットワークを介して空気調和装置１００を操作する携帯電話７２２の一例を示す図である。

　図２０Ａは、ユーザの携帯電話７２２宛に送信された警報を表示しているユーザインタフェース例である。携帯電話７２２は、空気調和装置１００からネットワークを介して警報を受信する。図２０Ａに示すように、警報画面には、空気調和装置１００によって火災が発生していると予測する領域の位置が表示されてもよい。さらに、画面には、ユーザが既に警報を受け取ったか確認するため、ユーザのフィードバックが含まれていてもよい。図２０Ａにおいて、火災領域の表示の下に例示的なフィードバックが表示されている。ユーザからのフィードバックは、次に接続されたネットワークを介して空気調和装置１００に送信される。

　一方、画像内の最高温度が閾値温度以下の場合、空気調和装置１００は、その高温物体が火災ではないと推定する。この場合、検出後の動作はアプリケーションプログラムに依存してもよい。例えば、空気調和装置１００は、ユーザに対して、人がいない部屋で家電機器が動作していて発熱している状況かもしれないことを知らせる通知を送信してもよい。それによって、携帯電話７２２からの通知を確認したユーザは安全面と経済面の観点からその機器の電源を切るために部屋に戻ることが可能である。例示的なユーザインタフェースは、図２０Ｂに示すようなものでもよい。

　［本実施形態にて実行される処理例］
　図２１は、処理部８００が行う処理の一例を説明するフローチャートである。図２１では、処理部８００が部屋内を監視し、監視によって検出された内容に基づいて、空気調和、火災報知、及び熱した物体について通知する等の異なる種類のアプリケーションに応じた処理を実行する場合を説明している。使用事例１－１及び１－２における処理部８００の動作は、図２１のフローチャートによって体系的に説明できる。なお、図２１のフローチャートは例示に過ぎない。そのため、処理部８００は、図２１のステップに加えて様々な補助ステップを実行してもよい。

　ステップＳ１１０において、処理部８００は、部屋における現在の熱データを取得し、背景の熱データと比較した場合の現在の熱データを解析して、背景熱画像と背景熱画像内に含まれる対象物熱画像とを区別する。背景の熱データは、部屋の中に人物がいないときに集めてもよいし、部屋の熱データに関する統計に応じて決定されてもよい。背景の熱データは、ブラインドアップデート（ｂｌｉｎｄ　ｕｐｄａｔｅ）又は選択的アップデート（ｓｅｌｅｃｔｉｖｅ　ｕｐｄａｔｅ）等の様々な方法によってアップデートされてもよい。このステップＳ１１０の出力は、検出された対象物である。その後、ステップＳ１２０が実行される。

　ステップＳ１２０において、処理部８００は、ステップＳ１１０の結果に基づいて、背景熱画像と区別される対象物熱画像が取得できたか否か、つまり部屋の中に対象物が存在するかどうかを確認する。対象物が存在しない場合、処理部８００は、現在の熱データを用いて背景の熱データをアップデートし、再びステップＳ１１０の処理を実行する。対象物が存在する場合、ステップＳ１３０が実行される。

　ステップＳ１３０において、処理部８００は、取得された対象物熱画像のサイズが、処理部８００が実行している各アプリケーションが必要とする解像度に従って設定される閾値サイズよりも大きいかどうかを決定する。対象物熱画像のサイズが閾値サイズよりも大きい場合（ステップＳ１３０、Ｙｅｓ）、対象物熱画像の解像度は十分であり、超解像再構成は不要と判定される。一方、対象物熱画像のサイズが閾値サイズ以下の場合（ステップＳ１３０、Ｎｏ）、対象物熱画像の解像度は不十分であり、超解像再構成が必要と判断される。そのため、処理部８００はステップＳ１４０へと進む。

　ステップＳ１４０において、現在の解像度と、処理部８００が実行している各アプリケーションによって設定される期待解像度とによって、超解像再構成のための走査スキーム（第２の走査手法）が決定される。例えば、期待解像度が現在の解像度より高い場合、より密な走査ステップを有する走査スキームが選択され、期待解像度が現在の解像度より低い場合、通常の走査ステップを有する走査スキームが選択される。その後、ステップＳ１５０が実行される。

　ステップＳ１５０において、対象物熱画像のサイズに応じて、超解像再構成の走査速度が決定される。例えば、対象物熱画像のサイズが９ピクセル以下の場合は、走査速度は登録された通常の速度よりも遅く設定され、対象物熱画像のサイズが９ピクセルを超える場合は、走査速度は通常の走査速度と同じかそれより速く設定される。走査速度を決定するために使用される対象物熱画像のサイズは、処理部８００が実行している各アプリケーションに応じて設定されてもよい。

　ステップＳ１６０において、処理部８００は、赤外線センサ３００に指示を与え、ステップＳ１４０及びＳ１５０にて決定された走査スキームと走査速度とによって、検出された対象物熱画像によって特定された領域を再走査させる。走査の処理が完了後、ステップＳ１７０が実行される。

　ステップＳ１７０において、処理部８００は、ステップＳ１６０における走査から得られたデータトークンを使用して超解像再構成を演算する。このステップＳ１７０が完了すれば、より高い解像度を有する再構成された対象物熱画像が得られる。ステップＳ１７０が適切に実行された後、処理は終了する。

　なお、処理部８００によって、複数の対象物熱画像が検出されてもよい。この場合、超解像再構成の処理は、複数の対象物熱画像の各々に対して個別に上述した処理ステップが実行される。

　図２２は、図２１のステップＳ１１０の詳細な処理の一例を説明するフローチャートである。なお、図２２のフローチャートは例示に過ぎない。そのため、処理部８００は、図２２のステップに加えて様々な補助ステップを実行してもよい。

　ステップＳ１１１において、処理部８００は、減算によって背景の熱データに対する現在の熱データの温度差を演算する。その後、ステップＳ１１２が実行される。ステップＳ１１２において、処理部８００は、ステップＳ１１１で演算された温度差の絶対値が対象物検出用の閾値温度よりも高いかどうか決定する。温度差が閾値温度よりも高い場合、ステップＳ１１３において、温度差を有している領域は対象物であると判定される。温度差が閾値温度以下の場合、ステップＳ１１４において、温度差を有している領域は対象物でない、つまり背景であると判定される。

　上述した図２１及び図２２に示すフローチャートに基づいた処理によって得られた対象物熱画像は、アプリケーションに応じた処理に利用される。例えば、部屋の空気調和のアプリケーションであれば、ルーバ１１０、ファン１２０、及びエアコンプレッサ１３０等を制御し、火災報知や熱い物体の通知のアプリケーションであれば、ユーザに知らせる動作を行う。

　図２３は、火災報知のアプリケーションにおける動作の一例を説明するフローチャートである。図２１及び図２２に示すフローチャートによって対象物熱画像が得られると、部屋の中で火災が発生しているか否かを評価する。この評価は、対象物熱画像内の最大温度が火災検出アプリケーションで設定される閾値温度よりも高いか否かで行われる（ステップＳ２１０）。対象物熱画像内の最大温度が閾値温度よりも高い場合に、火災警報の通知がユーザ及び空気調和装置１００に送信される（ステップＳ２２０）。

　処理部８００は、この処理を終了する前に、ユーザがその通知を受け取ったというフィードバックの受信を待ってもよい。ユーザが通知を受け取ったというフィードバックがユーザから得られない場合、処理部８００は、所定時間の経過後に通知を再送信してもよいし、所定時間の経過後に処理は終了してもよい。

　なお、図２３で示した処理は、図２１のステップＳ１１０において背景熱画像と背景熱画像内に含まれる対象物熱画像とを区別することなく、背景熱画像の全体について実行してもよい。

　上述した第１の実施形態には、２つの主たる使用事例があることを考慮すべきである。使用事例１－１は、異なるサイズの熱画像を有する複数の物体の解像度を高めることに焦点が置かれている。使用事例１－２は、火災や熱した機器等の小型で高温の物体を検出することに焦点が置かれている。

　使用事例１－１において重要な点は、対象物熱画像のサイズが特定のアプリケーションにとっての十分な解像度に適合するように、図２１のステップＳ１４０における赤外線センサ３００の適切な走査スキーム（第２の走査手法）を決定することである。この場合、超解像再構成のトリガーは、対象物熱画像のサイズであると結論付けられる。トリガーに応じて、赤外線センサ３００は、図６～図９に示す走査スキーム又はその他の走査スキームで走査してもよい。図１７Ａ、図１７Ｂに示すように、走査（検出）の質をユーザに提供してもよい。

　使用事例１－２において重要な点は、図２１のステップＳ１４０における赤外線センサ３００の適切な走査スキーム（第２の走査手法）を決定することと、図２１のステップＳ１５０における赤外線センサ３００の適切な走査速度を決定することである。その理由は、この使用事例１－２における大部分の対象物は小型であり、ノイズ削減のアルゴリズムのために低い走査速度が必要だからである。超解像再構成のトリガーは、小型で熱を発するスポットの対象物検出の事象であると結論付けられる。トリガーに応じて、赤外線センサ３００の走査速度と走査スキームが調整される。実行中のアプリケーションは、図２０にて例示されているような異なる種類のユーザインタフェースをユーザに送信してもよい。

　［本実施形態による処理の利点］
　なお、本開示における異なるトリガーに応じて熱画像の解像度を改善するために超解像再構成を行う決定は、従来の技術と比べて以下のように利点がある。

　１）少ない遅延時間：超解像再構成を特定の領域のみで行うことにより、全領域にわたって超解像再構成を行う従来のスキームと比較して、部屋データを取得する処理時間を削減可能である。これは、超解像再構成による走査スキームが通常の走査スキームよりも遅いことにも起因する。

　２）効率的な演算力の活用：これは、超解像再構成が特定の関心領域のみにおいて行われると指定されてことで実現する。再構成された画像の一部だけが使用されるにもかかわらず部屋の領域の全体に対して超解像再構成が行われる場合に比べて、演算の負荷が低くなる。

　３）適応的向上：超解像再構成の処理に活用されるデータを収集するための走査スキームは、各領域の期待解像度と元の解像度とによって特定される。そのため、解像度の向上は適応的に行われる。

　４）高い精度：サイズが小さい対象物がある場合、走査の速度や赤外線センサが各走査位置で停止する時間は、サイズが大きな物体の場合と異なっているべきである。対象物の特徴によって決定される走査速度や停止時間は、各アプリケーションが要求する良好な精度を可能にする。

　（２）第２の実施形態
　第２の実施形態に係る空気調和装置１００が実行するセンサの制御方法（赤外線センサ３００に行わせる走査スキームの決定方法）を、使用事例を用いて説明する。

　［使用事例２－１］
　図２４及び図２５は、空気調和装置の使用事例２－１を示す図である。具体的には、図２４及び図２５は、使用事例２－１における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例２－１は、部屋の中に２人の人物がいる例である。第１人物２０１は静止しており、第２人物２０２は移動している。なお、図２４、及び図２５では、空気調和装置１００を図示していないが、空気調和装置１００は、例えば、後に説明をする図３２、図３３Ａ、図３３Ｂ等で示した位置と同様の位置にある。

　空気調和装置１００は、例えば部屋全体の熱データを取得するために部屋を粗くに走査する。空気調和装置１００は、背景熱画像とこれら２人の対象物熱画像とを区別するために、バックグラウンド減算法を用いて２人の存在を検出してもよい。超解像再構成が必要かどうかを決定する前に、各対象物熱画像の動きの調査を行うべきである。その理由は、その動きが、特にリアルタイム２次元熱画像を取得できないライン型の赤外線センサを活用するシステムにおいて、超解像再構成の処理にエラーを容易に引き起こすためである。その動きは、検出された対象物熱画像の領域上とその回りを高速に再走査することによって調査される。

　図２４に示すように、対象領域の動きとその動きの方向を調査するために、再走査の領域は検出された対象物熱画像の領域より広くてもよい。対象物の動きは、第１の走査で収集された熱画像（第１の熱画像）と領域を再走査した際に収集された他の熱画像（第２の熱画像）とを比較することで決定される。走査時と再走査時との間で対象領域熱画像の変化が小さい場合、対象物は静止物体であると決定される。対象物が静止している場合に、超解像再構成が必要であるかどうかが決定される。対象物が動いている場合には、超解像再構成の処理は行われない。超解像再構成の必要事項を決定する前に、対象物熱画像のサイズが取得される。

　対象物熱画像のサイズが閾値サイズ以下の場合、超解対象物熱画像に対して像再構成の処理が行われる。超解像再構成の処理が行われると決定された場合、対象物熱画像の現在の解像度と実行中のアプリケーションに依存する期待解像度とによって走査スキーム（第２の走査手法）が決定される。対象物熱画像の走査スキームが決定した後、赤外線センサ３００が決定された走査スキームを用いて対象物熱画像によって特定された対象領域を再走査する。その後、超解像再構成の処理が行われ、向上した解像度が対象領域の熱画像について得られる。対象物熱画像のサイズが閾値サイズよりも大きい場合、超解像再構成の処理は行われない。

　図２５は、動き調査後の超解像再構成の実行状態を示す図である。図２５は、第１人物２０１が座って静止している、又は比較的小さな動きをしている領域にわたって、超解像再構成の処理が行われることを示す。一方、第２人物２０２が早く移動している領域に対しては超解像再構成の処理が行われない。

　図２６Ａ、図２６Ｂは、空気調和装置１００のユーザインタフェースの一例を示す図である。

　具体的には、図２６Ａ、図２６Ｂは、部屋の中の関心領域と各領域の取得された熱データの質を示すユーザインタフェースの一例を示す図である。

　より具体的には、図２６Ａは、空気調和装置１００を操作するリモコンの一例を示す図、図２６Ｂは、空気調和装置１００とネットワークを介して接続する携帯電話７２２の一例を示す図である。

　ユーザインタフェースには、各領域における移動の方向等の移動データが表示されてもよい。図２４及び図２５にて説明される使用事例２－１においては、第１人物２０１及び第２人物２０２が存在する領域が関心領域である。例えば、図２６Ａ、図２６Ｂの領域Ｒ２０１は第１人物２０１の領域を表しており、領域Ｒ２０１に付された丸印は関心領域内の熱データが良好に取得されたことを示唆している。また例えば、図２６Ａ、図２６Ｂの領域Ｒ２０２は第２人物２０２の領域を表しており、領域Ｒ２０２に付された三角印は関心領域の熱データが丸印の領域と比較して低い質で取得されたことを示唆している。さらに、領域Ｒ２０２は、領域中の対象物の動きの方向を表示する矢印を有していてもよい。そのデータは、リモコン７２０を介してユーザに表示されてもよいし、又はネットワークモジュール７３０を介して接続されたネットワーク、そしてユーザの携帯電話７２２に表示されるために送信されてもよい。

　［使用事例２－２］
　図２７Ａは、空気調和装置１００のユーザインタフェースの一例を示す図である。ユーザが空気調和装置１００のアプリケーションの実行を要求し、そのアプリケーションが超解像再構成を必要とした場合、空気調和装置１００は、図２７Ａに示すようなリモコン７２０等のユーザインタフェースを介して、超解像再構成による走査処理のために人物（ユーザなど）に静止するように要求してもよい。図２７Ａの紙面左側に示す図では、例えば、リモコン７２０の表示画面に「静止してください」というメッセージが表示されることにより、人物（ユーザなど）に静止するように要求している。

　その要求が人物に送信された後、確認のために人物の動きを調査すべきである。人物がまだ静止していない場合、空気調和装置１００は、人物が静止していると確認できるまで人物に対して再度要求してもよい。人物が静止していると確認された場合、超解像再構成の処理が行われる。

　そして、空気調和装置１００のアプリケーションが超解像再構成の処理を完了した場合、空気調和装置１００は、リモコン７２０等のユーザインタフェースを介してアプリケーションが超解像再構成の処理が完了したことを通知する。

　図２７Ａの紙面右側に示す図では、例えば、リモコン７２０の表示画面に「操作処理完了しました。くつろいでください！」というメッセージが表示されることにより、人物（ユーザなど）に、アプリケーションによる超解像再構成の処理が完了したことを通知する。

　図２７Ｂは、空気調和装置１００の他のユーザインタフェースの一例を示す図である。空気調和装置１００が複数の対象物熱画像を発見し、ユーザが超解像再構成を必要とするアプリケーションを実行するように要求した場合、ユーザは、リモコン７２０またはネットワークを介して空気調和装置１００と接続している携帯電話７２２等のユーザインタフェースを通して、検出された対象物熱画像の中から特定の対象物熱画像を識別してもよい。図２７Ｂにおいて、対象物熱画像の中央にある指示矢印は、アプリケーションのためにユーザがその領域を対象領域として選択したことを意味する。

　［使用事例２－３］
　図２８は、空気調和装置１００の使用事例２－３を示す図である。具体的には、図２８は、使用事例２－３における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例２－３は、最初の部屋の中には、静止している第１人物２０１と第２人物２０２の２人しかおらず、その後に第３人物２０３が部屋に入室した例である。なお、図２８では、空気調和装置１００を図示していないが、空気調和装置１００は、例えば、後に説明をする図３２、図３３Ａ、図３３Ｂ等で示した位置と同様の位置にある。

　超解像再構成の際に動きによってエラーが生じるのを防止する前述のアルゴリズムによって、空気調和装置１００は第１人物２０１と第２人物２０２が存在する両方の領域に対して超解像再構成の処理を行うことを決定する。再走査の処理が行われている途中に、第３人物２０３が部屋に入室したため、空気調和装置１００は、再走査した熱画像データから、第２人物２０２の領域の再走査において突然の変化が生じたことを発見する。その結果、空気調和装置１００は、超解像再構成の処理にエラーが生じるのを防止するため、第２人物２０２の対象物熱画像に対する超解像再構成の処理を停止する。

　空気調和装置１００内の処理部８００は、その人工知能によって、ドアが位置している図２８内の領域等のような部屋の中の領域において、突然の変化が高頻度で起きることを学習していてもよい。そのため、超解像再構成を実行する対象領域が複数存在する場合、突然の変化が高頻度である領域から遠い領域ほど超解像再構成による再走査の優先度が高く設定される。

　［本実施形態にて実行される処理例］
　図２９は、第２の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図２９は、処理部８００が行う処理の一例を説明するフローチャートである。図２９では、処理部８００が部屋内を監視し、監視によって検出された内容に基づいて、自動気温設定等の異なる種類のアプリケーションに応じた処理を実行する場合を説明している。図２９のフローチャートは、超解像再構成のための再走査処理が行われている間の物体の動きによるエラーを防止する処理も含む。使用事例２－１による処理部８００の動作は、図２９のフローチャートによって体系的に説明できる。なお、図２９のフローチャートは例示に過ぎない。そのため、処理部８００は、図２９のステップに加えて様々な補助ステップを実行してもよい。

　図２９におけるステップＳ１１０及びステップＳ１４０～ステップＳ１７０の処理は、第１の実施形態において図２１を参照して説明したステップと同じである。よって、ステップＳ１１０及びステップＳ１４０～ステップＳ１７０の処理の説明は、第２の実施形態にも適用される。

　図２９のフローチャートにおいて、処理部８００は、図２１のステップＳ１２０とステップＳ１３０のそれぞれの代わりに、ステップＳ１２０ＡとステップＳ１３０Ａを実行する。また、ステップＳ１２１とステップＳ１２２がさらに加えられている。

　ステップＳ１２０Ａにおいて、処理部８００は、ステップＳ１１０の結果に基づいて、背景熱画像と区別される対象物熱画像が取得できたか否か、つまり部屋の中に対象物が存在するかどうか検出処理を行う。対象物が存在しない場合、処理部８００は、現在の熱データを用いて背景の熱データをアップデートし、再びステップＳ１１０の処理を実行する。対象物が存在する場合、ステップＳ１２１が実行される。

　ステップＳ１２１において、対象物熱画像の動きは、ステップＳ１１０で検出された対象物熱画像の領域上とその回りを高速に再走査することによって調査される。対象物の動きは、第１の走査で収集された熱画像と領域を再走査した際に収集された他の熱画像とを比較することで決定される。第１の走査時と再走査時との間で対象領域の変化が小さい場合、対象物が静止物体であると決定される。その後、ステップＳ１２２が実行される。

　ステップＳ１２２では、対象物が静止物体であるか否かが判断される。対象物が完全に停止している場合以外に、対象物の動きが予め定めた量より少ない場合にも、対象物が静止物体であると判断されてもよい。対象物が静止物体であると判断された場合、ステップＳ１３０Ａへ進む。それ以外の場合は処理が終了する。

　ステップＳ１３０Ａにおいて、処理部８００は、対象物熱画像のサイズが、処理部８００が実行している各アプリケーションが必要とする解像度に応じて設定される閾値サイズよりも大きいかどうかを決定する。対象物熱画像のサイズが閾値サイズよりも大きい場合、前景熱画像の解像度は十分であり、超解像再構成は不要と判定される。対象物熱画像のサイズが閾値サイズ以下の場合、対象物熱画像の解像度は不十分であり、超解像再構成が必要と判定される。そのため、処理部８００はステップＳ１４０へと進む。以降は、図２１で説明したステップＳ１４０～Ｓ１７０の処理が実行される。

　図３０は、第２の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３０は、処理部８００が行う他の処理の一例を説明するフローチャートである。図３０では、空気調和装置１００のユーザによって超解像再構成が必要なアプリケーションが要求された場合を説明している。使用事例２－２による処理部８００の動作は、図３０のフローチャートによって体系的に説明できる。なお、図３０のフローチャートは例示に過ぎない。そのため、処理部８００は、図３０のステップに加えて様々な補助ステップを実行してもよい。

　図３０におけるステップＳ１５０～ステップＳ１７０の処理は、第１の実施形態において図２１を参照して説明したステップと同じである。よって、ステップＳ１５０～ステップＳ１７０の処理の説明は、第２の実施形態にも適用される。

　図３０のフローチャートにおいて、処理部８００は、図２１のステップＳ１４０の代わりにステップＳ１４０Ａを実行する。図２１のステップＳ１１０～ステップＳ１３０の処理は削除され、新たにステップＳ１０１～ステップＳ１０３の処理が加えられている。

　ステップＳ１０１において、超解像再構成が必要な特定のアプリケーションを実行する要求をユーザから受信した後、処理部８００は、人物（ユーザなど）に対して静止するように依頼する要求を、ユーザの携帯電話又はリモコン７２０等のユーザインタフェース装置を通して行う。これは、対象物の動きによって超解像再構成の処理にエラーが生じるのを防止する目的で行われる。その後、ステップＳ１０２が実行される。

　なお、処理が開始される前に対象物熱画像は既に取得される。部屋の中に複数の人物がいることによって複数の対象物熱画像が検出された場合、ユーザインタフェース装置を持っているユーザがアプリケーションの対象ユーザを特定してもよい。

　ステップＳ１０２において、対象ユーザの対象物熱画像の動きは、対象物熱画像の領域上とその回りを高速に再走査することによって調査される。その後、ステップＳ１０３が実行される。

　ステップＳ１０３では、対象物が静止物体であるか否かが判断される。対象物が完全に停止している場合以外に、対象物の動きが予め定めた量より少ない場合にも、対象物が静止物体であると判断されてもよい。対象物が静止物体であるかと判断された場合、ステップＳ１４０Ａへ進む。それ以外の場合は、処理はステップＳ１０１へと戻る。

　ステップＳ１４０Ａにおいて、現在の解像度と、処理部８００が実行している各アプリケーションによって設定される期待解像度とによって、超解像再構成のための走査スキーム（第２の走査手法）が決定される。例えば、期待解像度が現在の解像度より高い場合、より密な走査ステップを有する走査スキームが選択され、期待解像度が現在の解像度より低い場合、通常の走査ステップを有する走査スキームが選択される。その後、以降は、図２１で説明したステップＳ１５０～Ｓ１７０の処理が実行される。

　図３１は、第２の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３１は、処理部８００が行う処理の一例を説明するフローチャートである。図３１では、処理部８００が部屋内を監視し、監視によって検出された内容に基づいて、自動気温設定等の異なる種類のアプリケーションに応じた処理を実行する場合を説明している。図３１のフローチャートは、超解像再構成の再走査処理の間の物体の動きによるエラーを防止するための処理が含まれる。物体の動きは、物体そのものの動き、あるいは物体の回りの背景熱画像の変化であってもよい。使用事例２－３による処理部８００の動作は、図３１のフローチャートによって体系的に説明できる。なお、図３１のフローチャートは例示に過ぎない。そのため、処理部８００は、図３１のステップに加えて様々な補助ステップを実行してもよい。

　図３１におけるステップＳ１１０～ステップＳ１５０の処理は、図２９を参照して説明されたステップと同じである。よって、図２９のステップＳ１１０～ステップＳ１５０の処理の説明は、図３１にも適用される。

　図３１のフローチャートにおいて、処理部８００は、図２９のステップＳ１６０とステップＳ１７０のそれぞれの代わりに、ステップＳ１６０ＡとステップＳ１７０Ａを実行する。また、ステップＳ１６１がさらに加えられている。

　ステップＳ１６０Ａにおいて、処理部８００は、赤外線センサ３００に指示を与え、ステップＳ１４０及びＳ１５０にて決定された走査スキームと走査速度とによって、検出された対象物熱画像によって特定された領域を再走査させる。ステップＳ１６０Ａの走査処理の間に、走査領域において対象物熱画像における変化によるかもしれない突然の変化があった場合、ステップＳ１６１において処理が停止される。それ以外の場合はステップＳ１７０Ａが実行される。なお、対象物熱画像の突然の変化は、ステップＳ１６０Ａの走査処理の間に同じ位置で取得されたライン熱画像の別のフレームを比較することで検出可能である。

　ステップＳ１７０Ａにおいて、処理部８００は、ステップＳ１６０における走査から得られたデータトークンを使用して超解像再構成の演算を行う。このステップＳ１７０Ａが完了すれば、より高い解像度を有する再構成された対象物熱画像が得られる。ステップＳ１７０が適切に実行された後、処理は終了する。

　上述した第２の実施形態には、３つの主たる使用事例があることを考慮すべきである。使用事例２－１は、空気調和装置１００によって自動的に行われる、超解像再構成の処理において対象物の動きによってエラーが生じるのを防止することに焦点が置かれている。使用事例２－２は、空気調和装置１００のユーザによって指示された、超解像再構成の処理において対象物の動きによってエラーが生じるのを防止することに焦点が置かれている。使用事例２－３は、超解像再構成において背景熱画像の突然の変化によるエラーが生じるのを防止することに焦点が置かれている。

　使用事例２－１において重要な点は、超解像再構成において対象物の動きによるエラーを防止することである。従って、ステップＳ１２１及びステップＳ１２２は、図２９又は図３１の処理に含まれる。この場合、処理は空気調和装置１００によって自動的に行われる。図２９又は図３１の処理における超解像再構成において、エラーを防止するスキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは、人物の移動状態である。トリガーに応じて、赤外線センサ３００により走査パターンが変わる。さらに、異なる種類のトリガーによる空気調和装置１００の動作の効果は、図２６Ａ、図２６Ｂに例示されるように様々なユーザインタフェースを介してユーザに対して明確に通信可能である。

　使用事例２－２において重要な点は、ユーザによって要求された実行中のアプリケーションに指示された超解像再構成における対象物の動きによるエラーを防止することである。従って、図３０に示すステップＳ１０１～ステップＳ１０３の処理が含まれる。図３０の処理における超解像再構成のエラーを防止するスキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは、ユーザが超解像再構成を必要なアプリケーションを要求することである。トリガーに応じて、空気調和装置１００は、ユーザインタフェースを介して対象ユーザに対して静止するように要求し、各アプリケーションの詳細によって赤外線センサ３００の走査パターンが変わる。さらに、選択されたアプリケーションに応じて、処理の出力が変わる。自動温度選択アプリケーションよって自動的に選択された温度を表示したり等、出力はユーザインタフェースを介してユーザに対して通信されてもよい。

　使用事例２－３において重要な点は、超解像再構成における対象物の回りの背景の突然の変化によるエラーを防止することである。従って、図３１に示すステップＳ１６１の処理が含まれる。図３１の処理における超解像再構成のエラーを防止するスキームによる空気調和装置１００の動作は、評価可能である。事象のトリガーは、対象物の回りの背景の突然の変化である。トリガーに応じて、空気調和装置１００の赤外線センサ３００の動きは変えられる。さらに、異なる種類のトリガーによる空気調和装置１００の動作の効果は、図２６Ａ、図２６Ｂに例示されるように様々なユーザインタフェースを介してユーザに対して明確に通信可能である。

　（３）第３の実施形態
　第３の実施形態に係る空気調和装置１００が実行するセンサの制御方法（赤外線センサ３００に行わせる走査スキームの決定方法）を、使用事例を用いて説明する。

　［使用事例３－１］
　図３２は、空気調和装置１００の使用事例３－１を示す図である。具体的には、図３２は、使用事例３－１における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例３－１は、部屋の中に人がいないときのように部屋にて対象物が検出されない場合の例である。

　空気調和装置１００は、例えば、背景特徴取得モードを動作させ、部屋の中の各領域の熱に関する特徴を収集する。カーテン４０１、壁５０１、床５０２、及びドア５０３等の部屋の中の異なる物体は、異なる材料によって製作され、異なる体積を有しているかもしれない。従って、それらは異なる熱容量を有する。熱エネルギーは、部屋の中の空気とそれらの物体との間で伝達され、その結果温度変化が生じる。特に、風が直接ルーバ１１０から物体に対して吹き付けられる場合、物体と空気との間に温度の差があると熱エネルギーの伝達のプロセスは加速される。温度変化は、物体の熱容量次第で、大きかったり小さかったり、遅かったり早かったりし得る。

　部屋の中の物体の各熱容量に差がある場合、背景の熱データが適切にアップデートされないため、対象物検出処理にエラーが起きる可能性がある。従って、本実施形態の空気調和装置１００は、対象物が検出されていない間に部屋の中の各領域の背景における熱伝達の特徴をテストし記憶する。関心領域の背景における熱伝達の特徴をテストするために、空気調和装置１００は、ルーバ１１０からの風をテスト領域５９９に向け、赤外線センサ３００を対象領域の温度を測るために移動し、風質による温度変化率等テストした領域の特徴データを記憶する。記憶された特徴データは、対象物検出処理の精度を高めるために背景の熱データをアップデートする処理に活用されてもよい。

　背景の温度変化があったことの情報は、風向や部屋中の物体の熱伝達の特徴によって、著しく影響される。ルーバ１１０からの風が向けられた領域あるいは背景の熱容量が低い領域は、他の領域と比較してより頻繁に繰り返し走査してもよい。

　［使用事例３－２］
　図３３Ａ及び図３３Ｂは、空気調和装置１００の使用事例３－２を示す図である。具体的には、図３３Ａ及び図３３Ｂは、使用事例３－２における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例３－２は、部屋の中には第１人物２０１の一人しかいない例である。

　空気調和装置１００は、第１人物２０１の存在を検出し、風を第１人物２０１に向ける。そのため、第１人物２０１の回りの背景領域の温度はその風によって影響を受ける可能性がある。その領域の背景の熱データを効果的にアップデートするために、赤外線センサ３００は、領域Ａ２０１を他の領域よりも頻繁に走査してもよい。さらに、領域Ａ２０２の中には比較的熱容量の低いカーテン４０１がある。そのため、赤外線センサ３００は、領域Ａ２０２の適切なアップデートデータを取得するために、領域Ａ２０１を除く他の領域よりも領域Ａ２０２をより反復して走査してもよい。

　図３３Ｂに示すように、第２人物２０２が部屋の中に入って領域Ａ２０２へ移動する場合、領域Ａ２０２の背景の熱データを適切にアップデートすることで、第２人物２０２は適切かつ正確に検出される。

　［本実施形態にて実行される処理例］
　図３４Ａは、第３の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３４Ａは、処理部８００が行う処理の一例を説明するフローチャートである。図３４Ａでは、処理部８００が動作して空気調和装置１００が設置された空調空間（部屋）の背景の特徴を取得する場合を説明している。使用事例３－１による処理部８００の動作は、図３４Ａのフローチャートによって体系的に説明できる。なお、図３４Ａのフローチャートは例示に過ぎない。そのため、処理部８００は、図３４Ａのステップに加えて様々な補助ステップを実行してもよい。

　ステップＳ３１０において、処理部８００は、背景の熱データと比較した場合の現在の熱データを解析して、対象物を表す背景熱画像と背景熱画像内に含まれる対象物熱画像とを区別する。その後、ステップＳ３２０が実行される。ステップＳ３２０において、処理部８００は、ステップＳ３１０の結果に基づいて、対象物が存在するかどうか検出処理を行う。対象物が存在しない場合、処理部８００は、背景の特徴を取得するためにステップＳ３３０に進む。それ以外の場合は、処理部８００は、処理を終了する前に、他の動作モードのためにステップＳ３９０へと進む。ステップＳ３３０において、処理部８００は、部屋中の領域の背景の特徴を取得する。その後、処理が終了する。

　図３４Ｂは、第３の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３４Ｂは、図３４ＡのステップＳ３３０における詳細な処理の一例を説明するフローチャートである。

　ステップＳ３３１において、ルーバ１１０の方向は、背景の熱に関する特徴を取得する対象領域に対して風が吹き付けられるように制御される。その後、ステップＳ３３２が実行される。ステップＳ３３２において、赤外線センサ３００の方向は、ルーバ１１０からの風が向けられた領域の回りの熱データを取得するために制御される。その後、ステップＳ３３３が実行される。ステップＳ３３３において、風が領域に吹き付けられる間に収集された熱データに応じて、その領域の熱に関する特徴が決定され、登録される。その後、ステップＳ３３４が実行される。ステップＳ３３４において、処理部８００は、背景の特徴を取得すべき他の領域が残っているか確認する。背景の特徴を取得すべき領域が残っている場合、処理部８００はステップＳ３３１を再実行する。それ以外の場合、ステップＳ３３０は終了する。

　図３５は、第３の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３５は、ルーバ１１０が風を向けた領域の背景データのアップデートのために、処理部８００が赤外線センサ３００を動作して適切なデータを得る場合の、処理部８００の処理の一例を説明するフローチャートである。

　ステップＳ４１０において、処理部８００は、ルーバ１１０の方向をアクチュエータコントローラ７１０から取得する。その後、ステップＳ４２０が実行される。ステップＳ４２０において、処理部８００は、ステップＳ４１０にて取得されたルーバ１１０の方向に応じて赤外線センサ３００の走査頻度を修正する。その後、処理が終了する。

　上述した第３の実施形態には、互いに関連の深い２つの主たる使用事例があることを考慮すべきである。使用事例３－１は、部屋中の領域の背景の特徴を取得することに焦点が置かれている。使用事例３－２は、風向と既に取得した背景の特徴によって格納された背景データを適切にアップデートすることに焦点が置かれている。

　使用事例３－１において重要な点は、部屋の中に重要な熱事象が無い場合、背景の物体の体積とそれらの材料によって違う、背景の特徴を取得することである。そのため、背景特徴取得モードを動作させると決定する前に、部屋の中に重要な熱事象が無いか調査するためにステップＳ３１０とステップＳ３２０が実行される。上述の走査スキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは、部屋の中に人がいない等、現在の部屋の中の状態によって起こる対象物の不在である。トリガーに応じて、ルーバ１１０の動きや赤外線センサ３００の走査方向が変わる。

　使用事例３－２において重要な点は、以前に取得した背景の熱伝達の特徴と向けられた風向（又はルーバの方向）に応じて、赤外線センサ３００の走査スキームを適切に調整することである。図３５にて例示されるように、赤外線センサ３００の走査頻度は、ルーバ１１０の方向に応じて修正されてもよい。上述の走査スキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは、ルーバ１１０の方向である。トリガーに応じて、赤外線センサ３００の走査スキームが変わる。

　上述の説明に加え、部屋中の各領域の背景の熱伝達特徴に応じた赤外線センサ３００による走査頻度の修正以外にも、走査速度又は走査ステップの修正も可能である。赤外線センサは、熱容量の高い領域に関してはその領域の背景温度はほとんど変化しない可能性があるため、粗い走査ステップ又は高速度で大雑把に走査してもよい。赤外線センサは、熱容量の小さな領域に関してはその領域の背景温度は容易に変化する可能性があるため、細かな走査ステップ又は低速度で綿密に走査してもよい。

　（４）第４の実施形態
　第４の実施形態に係る空気調和装置１００が実行するセンサの制御方法（赤外線センサ３００に行わせる走査スキームの決定方法）を、使用事例を用いて説明する。

　［使用事例４－１］　
　図３６は、空気調和装置１００の使用事例４－１を示す図である。具体的には、図３６は、使用事例４－１における、空気調和装置１００の前方から部屋を眺めた様子を示す図である。この使用事例４－１は、部屋の中にいる人物２０１が横になって寛いでいる例である。部屋の中の光強度が低くなった場合、人物２０１がこれから休養すると推察できる。例えば、人物２０１は昼寝又は就寝するなど休養を取るため、天井灯４０２を消すか調光する可能性がある。なお、図３６では、空気調和装置１００を図示していないが、空気調和装置１００は、例えば、図３２、図３３Ａ、図３３Ｂ等で示した位置と同様の位置にある。

　人物２０１が、赤外線センサ３００が通常走査する領域Ａ３０１から空気調和装置１００の近く又は下の位置等の異なる位置に移動して場所を変えた場合、赤外線センサ３００は、人物２０１の足跡を見失う可能性がある。そのため、赤外線センサ３００は、通常走査する領域Ａ３０１を再走査し、人物２０１が領域Ａ３０１内の新規の位置に移動したかを調べる。空気調和装置１００が人物２０１を通常走査する領域Ａ３０１の中に見つけられなかった場合、空気調和装置１００は、赤外線センサ３００を下向きに傾倒して、図３６に示すように取得ライン熱画像３１４がより低い位置へ移動するようにする。その後、赤外線センサ３００は、人物２０１の存在を検出するために部屋全体にわたってその低い位置を水平に走査する。人物２０１をその低い位置で検出した場合、空気調和装置１００は、動作モードを人物２０１や人物２０１の状態に応じて変更してもよい。空気調和装置１００が人物２０１を部屋の中で検出できなかった場合、省エネのために自分自身のスイッチを切ってもよい。

　人物２０１が通常走査される領域Ａ３０１内を移動して場所を変える場合、又は人物２０１が場所を変えない場合において、空気調和装置１００の動作モードを人物２０１や人物２０１の状態に応じて変更してもよい。

　上記説明の動作モードの変更に関して、空気調和装置１００は、人物２０１の動き等の人物の状態を使用して自動的にモードの変更を決定してもよい。あるいは、空気調和装置１００は、睡眠モード等の所望の動作モードを選択するように人物２０１に対して質問をしてもよい。

　部屋の中の光強度が外の光強度等の外的要因で小さくなった場合、空気調和装置１００は、図３６に説明した上述の動作を実行してもよい。

　一方、人物２０１自身がインタフェースを介して睡眠モード等の異なるモードに変更するように空気調和装置１００に要求した場合、空気調和装置１００は、人物２０１を通常走査する領域Ａ３０１にて検出できないときには赤外線センサ３００を下向きに傾倒して低い位置を走査してもよい。

　なお、部屋の中の光条件は、空気調和装置１００に設置された照度センサによって取得されてもよいし、又は天井灯４０２のオン／オフや調光状態に関するネットワーク情報を取得してもよい。ネットワーク情報は、空気調和装置１００と天井灯４０２との間のローカルの共通ネットワーク、又はインターネットのような公衆ネットワークを介して転送されてもよい。

　一方、空気調和装置１００を睡眠モードにするのは、空気調和装置１００の人工知能によって学習されたユーザの日常生活のパターンを活用して行ってもよい。

　図３７Ａ、図３７Ｂは、空気調和装置１００のユーザインタフェースの一例を示す図である。具体的には、図３７Ａ、図３７Ｂは、空気調和装置１００の動作モード選択のためのユーザインタフェースの一例を示す図である。ユーザインタフェースは、リモコン７２０または空気調和装置１００との共通ネットワークに接続された携帯電話（スマートフォン）を介してユーザと通信してもよい。ユーザインタフェースは、動作モードの変更の確認をユーザに対して通信してもよい。また、ユーザインタフェースは、空気調和装置１００の動作モード選択を行ってもよい。

　［本実施形態にて実行される処理例］
　図３８は、第４の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３８は、処理部８００が行う処理の一例を説明するフローチャートである。図３８では、部屋の中の光条件が変化する場合を説明している。使用事例４－１による処理部８００の動作は、図３８のフローチャートによって体系的に説明できる。なお、図３８のフローチャートは例示に過ぎない。そのため、処理部８００は、図３８のステップに加えて様々な補助ステップを実行してもよい。

　ステップＳ５１０において、部屋の中の光条件が調査される。光強度が低い場合、ステップＳ５２０へ進む。それ以外の場合は、ステップＳ５９９へ進む。ステップＳ５２０において、通常走査される領域にわたって、ユーザに対する対象物検出処理が実行される。その後、ステップＳ５３０が実行される。ステップＳ５３０において、処理部８００は、ステップＳ５２０の結果に基づいて、通常走査される領域内に対象物が存在するかどうか検出処理を行う。対象物が存在しない場合、処理部８００はステップＳ５４０へと進む。対象物が存在する場合、ステップＳ５８０が実行される。

　ステップＳ５４０において、空気調和装置１００は、赤外線センサ３００を下向きに傾倒して低い位置へ向ける。その後、ステップＳ５５０が実行される。ステップＳ５５０において、空気調和装置１００は、赤外線センサ３００にて部屋の低い位置を水平に走査し、その走査した領域にてユーザに対する対象物検出処理を実行する。その後、ステップＳ５６０が実行される。ステップＳ５６０において、処理部８００は、ステップＳ５５０の結果に基づいて、対象物が低い領域に存在するかどうか確認する。対象物が存在しない場合、処理部８００はステップＳ５７０へと進む。対象物が存在する場合、ステップＳ５８０が実行される。ステップＳ５７０において、空気調和装置１００のスイッチが切られ、処理が終了する。

　ステップＳ５８０において、空気調和装置１００の動作モードは、ユーザによって又は／あるいはユーザの状態に応じて決定される。その後、ステップＳ５９０が実行される。ステップＳ５９０において、ステップＳ５８０にて決定された動作モードが実行され、処理が終了する。ステップＳ５９９において、現在のモードが継続して実行され、光条件を調査する処理が終了する。

　図３９は、第４の実施形態に係る空気調和装置１００が実行する処理の一例を説明するフローチャートである。具体的には、図３９は、図３８のステップＳ５８０における詳細な処理の一例を説明するフローチャートである。

　ステップＳ５８１において、ユーザの対象物熱画像の動きは、対象物熱画像の領域上とその回りを高速に再走査することによって調査される。その後、ステップＳ５８２が実行される。ステップＳ５８２において、対象物熱画像が、静止しているか静止物体として考慮可能なぐらいその動きが少ない場合、ステップＳ５８５へと進む。それ以外の場合、処理はステップＳ５８３へと進む。ステップＳ５８３において、空気調和装置１００は、ユーザに対して、ユーザが動作モードを睡眠モードへ変更したいかどうか尋ねる。ユーザが動作モードを睡眠モードへと変更することを確認した場合、ステップＳ５８５が実行される。それ以外の場合はステップＳ５８４が実行される。ステップＳ５８４において、処理部は、空気調和装置１００の現在の動作モードを継続して実行する。ステップＳ５８５において、処理部８００は、空気調和装置１００の動作モードを睡眠モードへと変更する。

　上述した第４の実施形態の使用事例４－１は、部屋の中の光条件に基づく空気調和装置１００とその赤外線センサ３００の動作に焦点が置かれている。上述の走査スキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは部屋の中の光条件である。トリガーに応じて、赤外線センサ３００の動きと空気調和装置１００の動作モードが変更可能である。

　＜応用例＞
　異なる反復走査スキームによって熱画像の質を改善する方法を説明する。この方法は、上述した全ての実施形態に適用可能である。

　［反復走査スキーム例１］
　対象物の熱画像サイズが小さい場合、その画像の解像度を向上するために超解像再構成が必要となる可能性がある。赤外線センサは、比較的ノイズが高く、上記実施形態において述べたように適切な走査スキームと走査速度が選択されているが、熱画像の再構成が上手く実行できない可能性がある。そのため、対象物の熱画像が小さい場合は、同じ領域にわたって反復走査をする必要がある。反復走査することにより、超解像再構成が多数回実行可能となり、反復データによる統計量によって再構成された結果の信頼性を向上することができる。

　一方、物体に動きが無いと推測される場合、最初の走査とは異なる走査角度で異なる画像データを反復走査することにより、解像度の向上のために超解像再構成において集合的なデータが使用できる。よって、より多くの反復が行われるほど、解像度が向上する。さらに、反復走査によって最初の走査と同じ走査角度からの画像データが取得された場合、反復データは熱ノイズ減少を平均するのに使用されてもよい。

　この第１の反復走査スキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは、対象物の熱画像のサイズである。トリガーに応じて、走査の反復が変更される。

　［反復走査スキーム例２］
　部屋の中に多くの対象物が存在する場合、反復走査は、より動きが遅い対象物に対して優先的に行われる。スキャン型ライン赤外線センサによって移動体の熱データを取得するのは困難であるため、高速移動体の熱データは遅い動きの物体の熱データよりも信頼性が低い可能性がある。従って、多くの対象物がある場合、反復走査は、動きの遅い物体に対して優先的に行われる。そのため、検出の信頼性と空気状態制御の信頼性が向上する。

　この第２の反復走査スキームによる空気調和装置１００の動作は、容易に評価可能である。事象のトリガーは、対象物の動きである。トリガーに応じて、走査の反復が変更される。

　＜変形例＞
　上述した実施形態では、赤外線センサ３００を用いて対象物を検出する例を説明した。ここでは、赤外線センサ３００とは異なるセンサをさらに用いて、対象物を高精度に及び／又は素早く検出できる変形例を説明する。

　［変形例１］
　人物などの対象物の検出に、赤外線センサ３００に加えて人感センサを使用してもよい。人感センサにより、対象物の有無を検出したり、対象物の位置を特定したり、対象物が移動又は静止の状態を判定したり、することができる。赤外線センサ３００は、部屋全体ではなく、人感センサで特定された対象物の位置のみを走査することができる。また、赤外線センサ３００は、人感センサで対象物が移動していると判定されれば、超解像再構成のために実行している走査を停止することができる。また、赤外線センサ３００は、人感センサで人物が部屋にいないことが検出されると、背景の熱データをアップデートしたり、熱伝達の特徴をテストしたり（使用事例３－１）、することができる。

　これにより、対象物検出までの時間を短縮することができる。また、部屋全体の熱データを処理する必要がなくなるため、消費電力も低減させることができる。なお、夜間などにおいては、部屋に人物がいないことの検出を、照度センサで行うことも可能である。

　［変形例２］
　高温物体などの対象物の検出に、赤外線センサ３００に加えてＣＯ２センサを使用してもよい。ＣＯ２センサにより、部屋内の二酸化炭素の濃度を測定することができる。赤外線センサ３００は、ＣＯ２センサで測定された二酸化炭素の濃度が所定の閾値を超えた場合、部屋全体の走査速度を上げたり、対象物熱画像の領域に注目して超解像再構成処理を行ったり、することができる。

　これにより、より早い段階で火災検知などを行うことができる。なお、さらに人感センサを組み合わせることで、無人での火災発生なのか、人物によるコーヒーブレーク中又はアイロン掛け中なのかなどを、効率的に判定することも可能である。

　＜応用形態＞
　上記実施形態では、赤外線センサや処理部を組み込んだ空気調和装置を説明した。しかし、赤外線センサや処理部やその他の構成をモジュール化して別個の構成とすることも可能である。また、上記実施形態に記載した処理部等による各処理をソフトウェアとして別個の構成とすることも可能である（図示せず）。すなわち、各処理（プログラム）が書き込まれた記録媒体（ディスク、外付けメモリ等を含む）であってもよい。また、各処理（プログラム）をネットワークを介して提供する行為も含むものとする。この場合、当該ソフトウェアを処理する主体は、空気調和装置に搭載される演算部であってもよいし、ＰＣ（パーソナルコンピュータ）やスマートフォン等に含まれる演算部であってもよい。また、当該ソフトウェアは、ネットワークを介してクラウドサーバ等で処理されてもよい。

　本開示によれば、空気調和装置が実行するセンサの制御方法として有用である。

１００　　　　　空気調和装置
１１０　　　　　ルーバ
２０１～２０３　人物
３００　　　　　赤外線センサ
３１１　　　　　赤外線受光素子
３１２　　　　　パンモータ
３１３　　　　　チルトモータ
３１４　　　　　ライン熱画像
３５０　　　　　絶縁板
５９９　　　　　テスト領域
７１０　　　　　アクチュエータコントローラ
７２０　　　　　リモコン
７２１　　　　　状況表示部
７３０　　　　　ネットワークモジュール
８００　　　　　処理部

Claims

　複数の赤外線受光素子から構成されたライン型の赤外線センサを搭載した空気調和装置が実行するセンサの制御方法であって、
　前記赤外線センサを用いて、前記空気調和装置が配置された空調空間を第１の走査手法に従って走査し、第１の熱画像を取得するステップと、
　対象物が存在しない空調空間の背景熱画像と前記第１の熱画像との差に基づいて、前記第１の熱画像から対象物熱画像を抽出するステップと、
　前記対象物熱画像のサイズが閾値サイズよりも小さい場合、前記第１の走査手法とは異なる第２の走査手法を決定するステップと、
　前記赤外線センサを用いて、空調空間内の前記対象物熱画像に対応する領域を前記第２の走査手法に従って走査し、第２の熱画像を取得するステップとを備える、制御方法。
　前記決定するステップは、前記対象物熱画像の解像度と前記空気調和装置が必要とする解像度とに基づいて前記第２の走査手法を決定する、請求項１に記載の制御方法。
　前記第２の走査手法は、前記第１の走査手法と走査速度が異なる、請求項２に記載の制御方法。
　前記第２の走査手法は、前記第１の走査手法と走査間隔が異なる、請求項２に記載の制御方法。
　前記抽出するステップは、前記第１の熱画像のうち、前記背景熱画像との温度差が所定の閾値温度よりも大きい画素の領域を、前記対象物熱画像として抽出する、請求項１に記載の制御方法。
　前記抽出するステップで前記対象物熱画像が抽出された後に、前記赤外線センサを用いて、前記対象物熱画像に対応する領域を第１の走査手法に従って再走査し、再熱画像を取得するステップと、
　前記第１の熱画像と前記再熱画像との間に生じた熱画像の変化を検出するステップとをさらに備え、
　前記決定するステップは、前記検出するステップで検出された熱画像の変化が所定値よりも小さい場合に、前記第２の走査手法を決定する、請求項１に記載の制御方法。
　前記背景熱画像は、前記赤外線センサを用いて、空調空間内に存在する特定の領域に前記空気調和装置が吹き出す風を当てた状態で取得される、請求項１に記載の制御方法。
　前記特定の領域に対して反復した走査が行われる、請求項７に記載の制御方法。
　前記特定の領域に対して走査の頻度が変更される、請求項７に記載の制御方法。
　前記第２の熱画像を用いて超解像再構成処理を実行するステップをさらに備える、請求項１に記載の制御方法。
　前記超解像再構成処理の結果に従って、対象物に対する前記空気調和装置を介した空調制御を提供するステップをさらに備える、請求項１０に記載の制御方法。
　前記超解像再構成処理の結果に従って、対象物の状態に関する通知を行うステップをさらに備える、請求項１０に記載の制御方法。