JP7485071B2 - 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 （１）ウェブサイトの掲載日 ２０２０年１１月９日（０１－１） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｚ１ｈＪＤｚｔｒｋ４８ （２）ウェブサイトの掲載日 ２０２０年１１月１４日（０１－２） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝０６９ｃｋｇｃＹｇＶｓ （３）ウェブサイトの掲載日 ２０２０年１１月１６日（０１－３） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｄｏｉ／１０．１１４５／３３８４４１９．３４３０５９７ ｈｔｔｐｓ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｄｏｉ／ｐｄｆ／１０．１１４５／３３８４４１９．３４３０５９７ （４）開催期間（発表日） ２０２０年１１月１６日～１９日（２０２０年１１月１７日、１８日）（０１－４） 集会名、開催場所 １８ｔｈ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｂｅｄｄｅｄ Ｎｅｔｗｏｒｋｅｄ Ｓｅｎｓｏｒ Ｓｙｓｔｅｍｓ（ＳｅｎＳｙｓ ２０２０）、オンライン会議 （５）ウェブサイトの掲載日 ２０２０年１２月９日（０２－１） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｗｉｓｓ．ｏｒｇ／ＷＩＳＳ２０２０Ｐｒｏｃｅｅｄｉｎｇｓ／ｄａｔａ／Ｎ－１６．ｐｄｆ （６）開催期間（発表日） ２０２０年１２月１６日～１８日（２０２０年１２月１７日）（０２－２） 集会名、開催場所 第２８回インタラクティブシステムとソフトウェアに関するワークショップ（ＷＩＳＳ ２０２０）、オンライン開催 （７）ウェブサイトの掲載日 ２０２０年１２月１８日（０２－３） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＪＤＷＱＪｃＬｌ８ｅｋ＆ｔ＝１９４３０ｓ （８）発行日 ２０２１年４月１５日（０３） 刊行物、発行所 情報処理 第６２巻 第５号 通巻６７４号 第２６４～２６５頁、一般社団法人 情報処理学会 （９）ウェブサイトの掲載日 ２０２１年５月３１日（０４） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｇｒｏｕｐ．ｎｔｔ／ｊｐ／ｎｅｗｓｒｅｌｅａｓｅ／２０２１／０５／３１／２１０５３１ａ．ｈｔｍｌ

特許法第３０条第２項適用 （１０）開催日 ２０２１年５月３１日（０５－１） 集会名、開催場所 「ＮＴＴ コミュニケーション科学基礎研究所オープンハウス２０２１」プレスツアー、オンライン開催 （１１）ウェブサイトの掲載日 ２０２１年６月３日（０５－２） ウェブサイトのアドレス ｈｔｔｐ：／／ｗｗｗ．ｋｅｃｌ．ｎｔｔ．ｃｏ．ｊｐ／ｏｐｅｎｈｏｕｓｅ／２０２１／ｅｘｈｉｂｉｔｉｏｎ＿１８．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ．ｋｅｃｌ．ｎｔｔ．ｃｏ．ｊｐ／ｏｐｅｎｈｏｕｓｅ／２０２１／ｄｏｗｎｌｏａｄ／ｅｘｈｉｂｉｔｉｏｎ＿１８．ｐｄｆ ｈｔｔｐ：／／ｗｗｗ．ｋｅｃｌ．ｎｔｔ．ｃｏ．ｊｐ／ｏｐｅｎｈｏｕｓｅ／２０２１／ｉｍｇ／ｄｏｗｎｌｏａｄ／ｂｏｏｋｌｅｔ２０２１．ｐｄｆ （１２）ウェブサイトの掲載日 ２０２１年６月３日（０５－３） ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＡｉｑＣｚＪＶｅｐｗ８＆ｔ＝２３８ｓ ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝３ｒＸ７４ｇｔｊ＿ｆ４ （１３）放送日 ２０２１年６月２日（０６） 放送番組 ゴゴスマ （１４）放送日 ２０２１年６月２日（０７） 放送番組 Ｎスタ （１５）放送日 ２０２１年６月２日（０８） 放送番組 スーパーＪチャンネル （１６）放送日 ２０２１年６月２日（０９） 放送番組 イット！ （１７）放送日 ２０２１年６月３日（１０） 放送番組 はやドキ！ （１８）放送日 ２０２１年６月３日（１１） 放送番組 グッド！モーニング （１９）放送日 ２０２１年６月３日（１２） 放送番組 ｎｅｗｓ ｚｅｒｏ （２０）開催期間（発表日） ２０２１年６月８日（１３） 集会名、開催場所 知的センシングとインタラクションシンポジウム２０２１（ＩＳＩＳ ２０２１）、オンライン開催 （２１）放送日 ２０２１年６月１６日（１４） 放送番組 ＷＢＳ （２２）発行日 ２０２１年８月１日（１５） 刊行物、発行所 ＢＵＳＩＮＥＳＳ ＣＯＭＭＵＮＩＣＡＴＩＯＮ、第５８巻、第８号、第１６～１９頁、株式会社ビジネスコミュニケーション社

本発明は、熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラムに関する。

新型コロナウイルス感染症（COVID-19）の流行に伴い、感染を防ぐために様々な対策が実施されているが、その一つに消毒又は除菌がある。ウイルスが付着した手指で口や鼻、又は目の粘膜に触れるとウイルスに感染してしまうため、手指はもとより、感染者が触れた可能性のある身の回りのモノの消毒が推奨されている。そのため、多くの人が利用する飲食店やスポーツジムなどでは、机や扉、及びトレーニング機器などを定期的にアルコール消毒液等で拭くといった対策が行われている。

実際にどの部分が触れられたかを目視で確認し続けることは困難であり、これらの店舗では、一定時間おきに人が触れた可能性のある場所をすべて消毒するといった対応が行われる場合が多い。しかし、定期的に人が触れた可能性のある場所をすべて消毒する作業は多大な労力を伴う。そのため、ドローンを使った消毒の効率化方法などが提案されている（例えば、非特許文献１）。

一方で、監視カメラなどを利用して、人が居る場所を検知し、その場所のみを消毒するといった方法も考えられる。映像を利用した人物検知は多くの研究事例があり、近年では映像から人が居る場所をかなり高精度に識別することができる。このような技術を利用して人が居た場所のみを消毒することができれば、消毒の労力削減につながると考えられる。例えば、全く人が利用していない時間帯はその場所周辺を消毒する必要がなくなる。一方、複数人がその場所を利用したことが分かれば、早めにその場所を消毒するといった対応も可能であると考えられる。一定時間間隔の消毒では、その間隔内においては、モノを媒介とした感染、すなわち、感染している人がモノに触れ、そのモノを別の人が触れてしまうことによる感染を防ぐことができないが、人の利用に応じて臨機応変に消毒することができれば、このような感染拡大をより減らすことができると考えられる。また、このような手法は不要な消毒も防げるため、消毒液の削減効果も期待できる。すなわち、監視カメラによって検知された人によるモノの利用に応じて消毒を行うことができれば、一定時間間隔で利用された可能性のあるモノをすべて消毒する場合と比較し、労力の削減、感染拡大の防止、消毒液の節約を期待できる。

人が居た場所周辺のすべてのモノを消毒するのではなく、実際に人が触れた場所のみをよりピンポイントに消毒することができれば、さらに労力や消毒液の削減になると考えられる。しかし、監視カメラ等で撮影された可視映像を利用した方法では、その場に居た人物が実際にモノに触れたかどうかの識別までは困難である。例えば、カメラを天井から下方向に設置し、テーブルを撮影したとする。テーブルの上に手が差し出されたときに、その手が机に触れているかいないかを、設置したカメラの映像から判定するのは困難であると考えられる。そこで、影を利用したモノへの接触検知方法が提案されている（非特許文献２）。

"ドローンを使ってスタジアムを効率的に消毒！ 米スタートアップが新型コロナで考案"、［online］、インターネット＜ＵＲＬ：https:// techable.jp/archives/124749＞ 吉田龍生，フォン ヤオカイ，内田誠一、画像認識を用いた接触検知、平成23年度電気関係学会九州支部連合大会 , 2011.

しかしながら、非特許文献２の方法は、プロジェクタなどの強い光源が必要である。また、カメラと光源との位置関係によって認識精度がかなり影響を受けることが想定される。強い光源は多くの環境では自由に設置できるものではなく、様々な場所において人が触った場所を検知提示し消毒を支援する目的には適していないと考えられる。

本発明は、上記の点に鑑みてなされたものであって、人が触れた場所などの情報をユーザが把握し易いように提示することを目的とする。

そこで上記課題を解決するため、熱痕跡領域抽出装置は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、情報出力部は、或る範囲に実在する熱痕跡領域と、透過型ディスプレイ上に表示される熱痕跡領域を示す情報と、が位置合わせされるように、熱痕跡領域を示す情報を透過型ディスプレイに表示する。
熱痕跡領域抽出装置は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、情報出力部は、或る範囲に実在する実体物と、ディスプレイ上に表示される画像又は映像に含まれる実体物の像と、が位置合わせされるように、熱痕跡領域を示す情報を或る範囲の画像又は映像に重畳した画像又は映像をディスプレイに表示してもよい。
熱痕跡領域抽出装置は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、情報出力部は、熱痕跡領域を示す情報を音で示してもよい。
熱痕跡領域抽出装置は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、情報出力部は、熱痕跡領域を示す情報をテキストで表示してもよい。
熱痕跡領域抽出装置は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域以外の領域を示す情報を出力する情報出力部を含んでいてもよい。
熱痕跡領域抽出装置は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、情報出力部は、熱痕跡領域として抽出された回数に応じて異なる情報を熱痕跡領域を示す情報として出力してもよい。

本発明によれば、人が触れた場所などの情報をユーザが把握し易いように提示することができる。

同じ場所を同時に撮影した可視画像及び熱画像の模式図である。 背景差分によって得られる画像の一例を示す図ある。 第一実施形態から第五実施形態における熱痕跡領域抽出装置１０のハードウェア構成例を示す図である。 第一実施形態における熱痕跡領域抽出装置１０の機能構成例を示す図である。 第一実施形態における熱痕跡領域抽出装置１０が実行する処理手順の一例を説明するためのフローチャートである。 熱痕跡領域を示す情報の出力例を示す模式図である。 第一実施形態の変形例における熱痕跡領域抽出システム１及び熱痕跡領域抽出装置１０の機能構成例を示す図である。 第一実施形態の変形例が実行する処理手順の一例を説明するためのフローチャートである。 第二実施形態における熱痕跡領域抽出システム１及び熱痕跡領域抽出装置１０の機能構成例を示す図である。 第二実施形態における熱痕跡領域抽出装置１０が実行する処理手順の一例を説明するためのフローチャートである。 第二実施形態を説明するための図である。 第二実施形態を説明するための図である。 第三実施形態における熱痕跡領域抽出システム１及び熱痕跡領域抽出装置１０の機能構成例を示す図である。 第三実施形態における熱痕跡領域抽出装置１０が実行する処理手順の一例を説明するためのフローチャートである。 第三実施形態を説明するための図である。 第三実施形態を説明するための図である。 第三実施形態を説明するための図である。 第三実施形態を説明するための図である。 第三実施形態を説明するための図である。 第四実施形態における熱痕跡領域抽出システム１及び熱痕跡領域抽出装置１０の機能構成例を示す図である。 第四実施形態における熱痕跡領域抽出装置１０が実行する処理手順の一例を説明するためのフローチャートである。 第五実施形態を説明するための図である。

［概要］
第一実施形態では、細菌又はウイルスの除菌又は消毒に役立てることを狙い、熱画像を利用して人が触れた場所を検知する装置、方法及びプログラムが開示される。恒温動物である人は手足に熱を帯びているため、モノに触れると触れた場所に熱が一定時間残る。例えば、人が触れた場所に残った熱により特定される人が触れた痕跡である熱痕跡（Heat trace）をスマートフォンのパスコード解読に悪用する方法などが報告されている（「Yomna Abdelrahman, Mohamed Khamis, Stefan Schneegass, and Florian Alt. 2017. Stay Cool! Understanding Thermal Attacks on Mobile-based User Authentication. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (CHI '17), pp. 3751.3763, 2017」）。

熱痕跡は、スマートフォンの画面だけではなく、机や壁など様々な場所に残る。このため、サーマルカメラの映像（熱画像）を基に熱痕跡を識別すれば、人が屋内等で触れた場所をピンポイントに検知することができる。熱画像とは、実体物が発する熱（すなわち、実体物が放射した熱線、遠赤外領域の波長の電磁波）を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像（すなわち、実体物が放射した熱線を撮影した画像）である。より詳しくは、熱画像は、対象物から出ている赤外線放射エネルギーを検出し、見かけの温度に変換して、温度分布を画像にしたものである。言い換えれば、熱画像は、照射された赤外線が実体物で反射された赤外線を撮影した画像ではない。

熱痕跡領域は、人が触れる前の熱画像を背景として、背景差分により抽出できる。しかし、人体そのものが熱を帯びているため、この方法では熱痕跡とともに、人体領域も抽出してしまう。そこで、第一実施形態では、熱画像と同時に可視画像も取得され、熱画像と可視画像との比較によって熱痕跡領域が抽出される。

具体的には、可視画像と熱画像のそれぞれについて背景差分が行われ、背景差分の結果の違いによって熱痕跡領域が抽出される。熱痕跡は可視画像（すなわち、肉眼）では観測できないため、人が触れる前の可視画像を背景として、可視画像について背景差分を行っても抽出することができない。一方、その場に人が居た場合、人が居ない状態で撮影された可視画像を背景として背景差分を行うと、人の領域が抽出される。すなわち、熱画像で背景差分によって抽出された領域が、可視画像でも同様に抽出された場合、当該領域は熱痕跡ではないことがわかる。一方、背景差分によって熱画像では抽出され、可視画像では抽出されなかった領域は、熱痕跡である可能性が高い。第一実施形態では、このような方法によって抽出された熱痕跡領域を可視化し、人が触れた場所をユーザに伝達する。なお、熱画像と可視画像の同時取得には、可視光カメラとサーマルカメラを備えたセンサノード（「Yoshinari Shirai, Yasue Kishino, Takayuki Suyama, Shin Mizutani: PASNIC: a thermal based privacy-aware sensor node for image capturing, UbiComp/ISWC'19 Adjunct, pp.202-205, 2019」）のようなデバイスが利用されてもよい。

［第一実施形態］
第一実施形態の狙いを図１及び図２を用いて説明する。図１は、同じ場所を同時に撮影した可視画像及び熱画像の模式図である。図１には、取っ手付きの扉に手が触れる様子を可視光カメラとサーマルカメラで同時に撮影した画像の模式図が示されている。図１（ａ）及び図１（ａ'）は、それぞれ時刻ｔ１（手が扉に触れる前）の可視画像及び熱画像である。図１（ｂ）及び図１（ｂ'）は、それぞれ時刻ｔ２（手が扉に触れている状態）の可視画像及び熱画像である。図１（ｃ）及び図１（ｃ'）は、時刻ｔ３（手が扉に触れた後）の可視画像及び熱画像である。人が扉に触れると、図１（ｃ'）のように、触れた場所の温度が上昇する。

図２は、背景差分によって得られる画像の一例を示す図ある。図２には、図１の時刻ｔ１の画像を背景画像とした場合の時刻ｔ２の画像及び時刻ｔ３の画像のそれぞれの背景差分である差分画像が示されている。時刻ｔ２では、可視画像及び熱画像共に、腕の部分が、背景画像からの差分がある領域である差分領域として抽出されるのに対し、時刻ｔ３では、熱画像にのみ扉に触れた部分が差分領域として抽出される。

手が実際に触れた領域を消毒することを考えれば、時刻ｔ３の熱画像の時刻ｔ１の熱画像（背景熱画像）に対する背景差分で抽出された差分領域を消毒すればよい。一方、時刻ｔ２の熱画像の時刻ｔ１の熱画像（背景熱画像）に対する背景差分で抽出された差分領域には、扉に触れていない部分も含まれている。そもそも、時刻ｔ２の熱画像の時刻ｔ１の熱画像（背景熱画像）に対する背景差分で抽出された差分領域は、人体が存在した領域であり、実際に扉に触れたことで残された熱痕跡の領域ではない。消毒という観点からは、時刻ｔ３の背景差分によって抽出された差分領域が特定されればよく、時刻ｔ２の背景差分によって抽出された差分領域は不要である。

そこで、第一実施形態では、可視画像でも背景差分によって同様の差分領域が抽出された場合、その差分領域は熱痕跡領域ではないと判定される。時刻ｔ２においては、可視画像でも腕の形が抽出されているため、熱画像で抽出された差分領域は熱痕跡領域（すなわち、人が触れた部分）ではないと判定される。一方、時刻ｔ３においては、熱画像の背景差分で抽出された領域が、可視画像では抽出されていないため、熱画像で抽出された差分領域が熱痕跡領域（すなわち、人が触れた部分）であると判定される。このような判定に基づいて抽出された熱痕跡領域を示す情報をシステムが提示すれば、その情報を見たユーザは、効率的に人が触れた部分の消毒を行うことができる。

以下、上記を実現する熱痕跡領域抽出装置１０について具体的に説明する。図３は、第一実施形態及び後述する第一実施形態の変形例及び第二実施形態から第五実施形態における熱痕跡領域抽出装置１０のハードウェア構成例を示す図である。図３の熱痕跡領域抽出装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

熱痕跡領域抽出装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って熱痕跡領域抽出装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

図４は、第一実施形態における熱痕跡領域抽出装置１０の機能構成例を示す図である。図４において、熱痕跡領域抽出装置１０は、可視画像取得部１１、背景可視画像生成部１２、差分可視画像生成部１３、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６、熱痕跡領域抽出部１７及び熱痕跡領域出力部１８等を有する。これら各部は、熱痕跡領域抽出装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。

なお、図４に示されるように、熱痕跡領域抽出装置１０は、可視光カメラ２１及びサーマルカメラ２２から画像の入力が可能なようにこれら各カメラに接続される。可視光カメラ２１及びサーマルカメラ２２は、同じ或る場所（同じ或る範囲）を撮影可能なように設置される。すなわち、第一実施形態は、可視光カメラ２１の撮影領域とサーマルカメラ２２の撮影領域とが画素単位で一致していることを前提としている。可視光カメラ２１とサーマルカメラ２２で撮影部分が一致していない場合は、事前にキャリブレーションを行い、可視画像と熱画像の画素間の対応関係が把握可能とされればよい。

図５は、熱痕跡領域抽出装置１０が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、可視画像取得部１１は、可視光カメラ２１から入力される、可視光カメラ２１によって撮影された可視画像を取得し、熱画像取得部１４は、サーマルカメラ２２から入力される、サーマルカメラ２２によって撮影された熱画像を取得する。なお、ステップＳ１０１に関して、可視画像取得部１１による可視画像の取得と、熱画像取得部１４による熱画像との取得は同時に行われてもよいし、同時でなくてもよい。同時ではない場合、フレームレートの遅い方のカメラに合わせて、フレームレートの早い方のカメラのフレームの一部が無視されるようにしてもよい。また、可視光カメラ２１及びサーマルカメラ２２から静止画像を交互に取得し、取得した画像は同時に取得したものとみなすといった方法でもフレームレートがある程度高ければ問題は無い。可視画像取得部１１は、取得した可視画像を背景可視画像生成部１２に送信し、熱画像取得部１４は、取得した熱画像を背景熱画像生成部１５に送信する。

続いて、背景可視画像生成部１２は、可視画像取得部１１から送信された可視画像を補助記憶装置１０２へ保存し、背景熱画像生成部１５は、熱画像取得部１４から送信された熱画像を補助記憶装置１０２へ保存する（Ｓ１０２）。

ステップＳ１０１及びＳ１０２は、実行開始時から所定時間Ｔ１が経過するまで繰り返される。所定時間Ｔ１は、１以上の可視画像及び１以上の熱画像が補助記憶装置１０２に蓄積される期間であればよい。

最初のステップＳ１０１の実行開始時から所定時間Ｔ１が経過すると（Ｓ１０３でＹｅｓ）、ステップＳ１０４へ進む。ステップＳ１０４において、背景可視画像生成部１２は、所定時間Ｔ１において補助記憶装置１０２に蓄積された可視画像群に基づいて撮影範囲の背景画像（以下、「背景可視画像」という。）を生成する。また、ステップＳ１０４において、背景熱画像生成部１５は、所定時間Ｔ１において補助記憶装置１０２に蓄積された熱画像群に基づいて撮影範囲の背景画像（以下、「背景熱画像」という。）を生成する。

例えば、可視画像群又は熱画像群（以下、可視画像群と熱画像群とを区別しない場合、単に「撮影画像群」という。）に含まれる撮影画像が複数である場合、各撮影画像群の画素値（ＲＧＢ）の平均値又は中央値を各画素の画素値として、画像群ごとに背景画像（背景可視画像及び背景熱画像）が生成されてもよい。撮影画像群に含まれる撮影画像が１個でる場合には、その撮影画像が背景画像とされる。このようにすることで、一時的に通り過ぎた人などを背景画像から除去することができ、撮影範囲に長くとどまり続けるもののみで構成された画像である背景画像が生成できる。なお、一定時間撮影された画像から動的に背景を作成する方法に関する研究は数多く行われており、第一実施形態における背景画像の生成方法は、所定の方法に限定されない。

なお、所定時間Ｔ１は、図１における時刻ｔ１に対応する時間区間であり、時刻ｔ１を含む。

背景可視画像及び背景熱画像が生成されると、ステップＳ１０５以降が実行される。なお、ステップＳ１０１～Ｓ１０４とステップＳ１０５とは、同期的に実行されなくてもよい。例えば、ステップＳ１０５以降は、ステップＳ１０１～Ｓ１０４の実行指示とは別の指示に応じて開始されてもよい。

ステップＳ１０５において、可視画像取得部１１及び熱画像取得部１４は、所定時間Ｔ２の経過を待機する。所定時間Ｔ２は、例えば、図２において、時刻ｔ２から時刻ｔ３までの経過時間である。

所定時間Ｔ２が経過すると（Ｓ１０５でＹｅｓ）、可視画像取得部１１は、可視光カメラ２１から入力される可視画像（以下、「対象可視画像」という。）を取得し、熱画像取得部１４は、サーマルカメラ２２から入力される熱画像（以下、「対象熱画像」という。）を取得する（Ｓ１０６）。なお、対象可視画像と対象熱画像とは、同時（又はほぼ同時）に撮影された画像であることが望ましい。

続くステップＳ１０７において、差分可視画像生成部１３は、背景可視画像生成部１２によって生成された背景可視画像と対象可視画像とを背景差分法によって比較して背景可視画像に対する差分領域（背景可視画像と異なる領域）を対象可視画像から抽出することで、差分を示す差分画像（以下、「差分可視画像」という。）を生成する。また、差分熱画像生成部１６は、背景熱画像生成部１５によって生成された背景熱画像と対象熱画像とを背景差分法によって比較して背景熱画像に対する差分領域（背景熱画像と異なる領域）を対象熱画像から抽出することで、差分を示す差分画像（以下、「差分熱画像」という。）を生成する。なお、背景画像と比較して画素値の差が、一定の閾値以上であれば背景と異なる画素とされ、そうでない場合には背景と同じ画素とされる。そして、例えば、背景と異なる画素の画素値が１であり、背景と同じ画素の画素値が０である２値画像が、各差分画像（差分可視画像及び差分熱画像）として生成される。また、各差分画像は、熱痕跡領域抽出部１７へ送られる。

続いて、熱痕跡領域抽出部１７は、差分可視画像と差分熱画像とを比較して、撮影範囲における熱痕跡領域を抽出する（Ｓ１０８）。

差分熱画像について、差分可視領域と非類似な領域を抽出する場合、各差分画像の差分領域の類似度判定が利用されてもよい。例えば、熱痕跡領域抽出部１７は、まず、差分可視画像又は差分熱画像である各２値画像についてラベリング（連結領域の抽出）行う。次に、熱痕跡領域抽出部１７は、差分熱画像のラベリングによって得られた１以上の各差分領域（以下、「差分熱領域」という。）について、差分可視画像のラベリングによって得られた１以上の各差分領域（以下、「差分可視領域」という。）との重なり度合いを比較する。具体的には、熱痕跡領域抽出部１７は、比較される差分領域間で画素単位で一致しているか否かをカウントし、一致率が一定の閾値未満である場合、比較された２つの差分領域は非類似であると判定する。熱痕跡領域抽出部１７は、いずれの差分可視領域とも非類似な差分熱領域を熱痕跡領域として抽出する。

熱痕跡領域抽出部１７は、熱痕跡領域を示す情報と、背景可視画像とを熱痕跡領域出力部１８へ送信する。この際、熱痕跡領域抽出部１７は、熱痕跡領域部分を白とし、それ以外を黒とした２値画像を生成し、当該２値画像である熱痕跡領域であるか否かを示す情報を、熱痕跡領域を示す情報として熱痕跡領域出力部１８へ送信してもよい。なお、領域の類似度判定は、パターンマッチングの研究等で盛んに行われており、所定の方法に限定されない
続いて、熱痕跡領域出力部１８は、熱痕跡領域を示す情報をユーザが確認可能なように出力する（Ｓ１０９）。ここで、ユーザとは、熱痕跡領域を示す情報が通知される対象となる人のことである。例えば、熱痕跡領域出力部１８は、熱痕跡領域を示す情報の一例である２値画像の白い画素を背景可視画像上に合成した画像を出力してもよい。また、出力形態は所定の形態に限定されない。例えば、表示装置への装置、補助記憶装置１０２への保存、ネットワークを介してユーザ端末へ送信する等が行われてもよい。

ステップＳ１０９に続いて、ステップＳ１０５以降が繰り返される。又は、ステップＳ１０５～Ｓ１０８が複数回繰り返された後で、ステップＳ１０９が実行されてもよい。この場合、当該複数回において抽出された熱痕跡領域をまとめて出力することができる。

図６は、熱痕跡領域出力部１８が出力する画像の例を示す模式図である。図６では、人の手が触れた部分が黒く塗りつぶされている（但し、黒は便宜上の色であり、実際の色は白等、異なる色であってもよい）。ユーザは、当該部分を熱痕跡領域として認識することができる。

なお、熱痕跡領域出力部１８は、プロジェクタ等を利用して、適宜位置合わせをした上で環境内の撮影範囲に対して熱痕跡領域を示す２値画像を投影するようにしてもよい。この場合、環境内の熱痕跡部分に熱痕跡領域痕跡映像を投射されることになり、人が触れた部分を環境内の各ユーザに直接的に伝達することができる。このような方法を用いれば、ユーザは、熱痕跡領域を知ることができるため、熱痕跡領域を触るのを避けるといった行動をユーザに促すことができる。

また、ステップＳ１０５以降と並行してステップＳ１０１～Ｓ１０３が実行されてもよい。この場合、背景可視画像及び背景熱画像が定期的に更新される。したがって、時間の経過に応じた背景の変化に対する耐性の向上を期待することができる。

なお、上記では、屋内の場所にカメラを固定し、比較的場所が固定されている壁や机などに残される熱痕跡が抽出されることが想定されるが、人による接触の対象となるモノの画像内における位置を特定できるものであれば、動くモノに対しても第一実施形態は適用可能である。例えば、椅子の座面四隅に位置を識別するためのＱＲコード（登録商標）のようなものを貼り付け、そのＱＲコード（登録商標）を手掛かりに座面の位置を推定できるようにすれば、椅子が動いてしまっても座面を背景としてその上に残された熱痕跡を推定し、画像の上で座面上に熱痕跡を表示できる。なお、画像中のオブジェクトの位置推定をする技術は様々なものが提案されており、ＱＲコード（登録商標）の利用に限定するものではない。

上述したように、第一実施形態によれば、人が触れた場所の検知精度を向上させることができる。その結果、例えば、新型コロナウイルス等のウイルスや細菌（以下では便宜的に「ウイルス等」という）が付着している可能性がある場所を効率的に除菌・消毒することが可能となる。

なお、第一実施形態において、差分可視画像は第１の差分画像の一例である。差分熱画像は、第２の差分画像の一例である。熱痕跡領域抽出部１７は、抽出部の一例である。

[第一実施形態の変形例］
第一実施形態では、熱画像との違いを分かり易く説明するために、撮影範囲に存在する人やモノなどの実体物の画像として、可視カメラで取得した可視画像を用いる例による説明を行った。しかし、当然ながら、実体物の画像であればどのような波長帯によって撮影されたものであってもよく、この形態を第一実施形態の変形例として説明する。

図７に示すように、第一実施形態の変形例の熱痕跡領域抽出システム１は、熱痕跡領域抽出装置１０と実体物カメラ２１０とサーマルカメラ２２を備えている。図７に示すように、第一実施形態の変形例の熱痕跡領域抽出装置１０は、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６、熱痕跡領域抽出部１７及び熱痕跡領域出力部１８を例えば備えている。実体物カメラ２１０とサーマルカメラ２２は第一実施形態の変形例の熱痕跡領域抽出装置１０と接続されており、実体物カメラ２１０とサーマルカメラ２２が撮影した画像が熱痕跡領域抽出装置１０に入力される。

第一実施形態の変形例の熱痕跡領域抽出方法は、熱痕跡領域抽出装置の各部が、図８及び以下に示すステップＳ１０１からステップＳ１０９の処理を実行することにより実現される。以下、第一実施形態の変形例について、第一実施形態と同様の部分については重複説明を適宜省略して、第一実施形態と異なる部分を中心に説明する。

<実体物カメラ２１０>
実体物カメラ２１０は、実体物を撮影するためのカメラである。実体物カメラ２１０で得られる電磁波の波長帯が可視光の波長帯に限られないという部分を除いて、第一実施形態の可視光カメラ２１と同様である。実体物カメラ２１０は、或る撮影範囲の実体物の画像、より詳しくは、当該撮影範囲に存在する実体物を実体物カメラ２１０側から見た像により構成される画像である実体物画像、を撮影する。実体物カメラ２１０で撮影された実体物画像は、実体物画像取得部１１０に入力される。

実体物カメラ２１０が撮影する電磁波の波長帯は、実体物を撮影することができる波長帯域であればよい。実体物カメラ２１０が得る電磁波の波長帯の具体例については第四実施形態で説明するが、実体物カメラ２１０が得る電磁波の波長帯に照明などにより撮影範囲に存在する電磁波の波長帯が含まれない場合には、図７に破線で示すように、第一実施形態の変形例の熱痕跡領域抽出システム１に照射器４１も備えるようにして、実体物カメラ２１０が得る波長帯の電磁波を照射する照射器４１を用いて、実体物カメラ２１０が得る波長帯の電磁波を撮影範囲に照射してもよい。実体物は、実体を有するものである。撮像範囲に存在する実体物の例は、撮影範囲の中の背景として存在している物、撮影範囲の中にいる人、及び、撮影範囲の中に入ってきた人である。

<実体物画像取得部１１０>
実体物画像取得部１１０は、可視画像に代えて実体物画像を取得して出力する部分を除いて、第一実施形態の可視画像取得部１１と同様である。すなわち、実体物画像取得部１１０は、実体物カメラ２１０によって撮影された実体物画像を取得して（Ｓ１０１）、取得した実体物画像を出力する。実体物画像取得部１１０で取得された実体物画像は、背景実体物画像生成部１２０及び／または差分実体物画像生成部１３０に入力される。

<背景実体物画像生成部１２０>
背景実体物画像生成部１２０は、可視画像に代えて実体物画像に対して処理を行う部分、及び、背景可視画像に代えて背景実体物画像を生成して出力する部分を除いて、第一実施形態の背景可視画像生成部１２と同様である。すなわち、背景実体物画像生成部１２０は、実体物画像取得部１１０で取得された実体物画像に基づいて、撮影範囲の背景の実体物画像である背景実体物画像を生成して（Ｓ１０４）、生成した背景実体物画像を出力する。撮影範囲の背景の実体物画像とは、撮影範囲の中に背景として存在している物の画像であり、より詳しくは、撮影範囲の中に背景として存在している物を実体物カメラ２１０側から見た像により構成される画像である。生成された背景実体物画像は、差分実体物画像生成部１３０に入力される。

<差分実体物画像生成部１３０>
差分実体物画像生成部１３０は、可視画像に代えて実体物画像に対して処理を行う部分、背景可視画像に代えて背景実体物画像に対して処理を行う部分、及び、差分可視画像に代えて差分実体物画像を生成する部分を除いて、第一実施形態の差分可視画像生成部１３と同様である。すなわち、差分実体物画像生成部１３０は、実体物画像取得部１１０で取得された或る時刻の実体物画像と、背景実体物画像生成部１２０から入力された背景実体物画像との間の差分の画像である差分実体物画像を生成して（Ｓ１０７）、生成した当該或る時刻の差分実体物画像を出力する。要するに、差分実体物画像生成部１３０は、実体物を撮影するための実体物カメラ２１０で或る範囲を撮影することにより得られる実体物の画像である実体物画像と、当該或る範囲の背景の実体物画像である背景実体物画像との間の差分の画像である差分実体物画像を生成する。生成された差分実体物画像は、熱痕跡領域抽出部１７に入力される。なお、差分実体物画像生成部１３０は、後述する熱痕跡領域抽出部１７の処理の対象としたい時刻の実体物画像を対象として動作すればよい。

<サーマルカメラ２２>
サーマルカメラ２２は、第一実施形態のサーマルカメラ２２と同様である。すなわち、サーマルカメラ２２は、実体物が発する熱を撮影するためのカメラである。サーマルカメラ２２は、実体物カメラ２１０と同じ撮影範囲の実体物が発する熱の画像、より詳しくは、当該撮影範囲に存在する実体物が放射した熱をサーマルカメラ２２側から取得した像により構成される画像である熱画像、を撮影する。サーマルカメラ２２で撮影された熱画像は、熱画像取得部１４に入力される。

<熱画像取得部１４>
熱画像取得部１４は、第一実施形態の熱画像取得部１４と同様である。すなわち、熱画像取得部１４は、サーマルカメラ２２によって撮影された熱画像を取得して（Ｓ１０１）、取得した熱画像を出力する。熱画像取得部１４で取得された熱画像は、背景熱画像生成部１５及び／または差分熱画像生成部１６に入力される。

<背景熱画像生成部１５>
背景熱画像生成部１５は、第一実施形態の背景熱画像生成部１５と同様である。すなわち、背景熱画像生成部１５は、熱画像取得部１４で取得された熱画像に基づいて、撮影範囲の背景の熱画像である背景熱画像を生成して（Ｓ１０４）、生成した背景熱画像を出力する。撮影範囲の背景の熱画像とは、撮影範囲の中に背景として存在している物が発する熱の画像であり、より詳しくは、撮影範囲の中に背景として存在している物が発する熱をサーマルカメラ２２側から取得した像により構成される画像である。生成された背景熱画像は、差分熱画像生成部１６に入力される。

<差分熱画像生成部１６>
差分熱画像生成部１６は、第一実施形態の差分熱画像生成部１６と同様である。すなわち、差分熱画像生成部１６は、熱画像取得部１４で取得された或る時刻の熱画像と、背景熱画像生成部１５から入力された背景熱画像との間の差分の画像である差分熱画像を生成して（Ｓ１０７）、生成した当該或る時刻の差分熱画像を出力する。要するに、差分熱画像生成部１６は、実体物が発する熱を撮影するためのサーマルカメラ２２で実体物カメラ２１０と同じ或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、当該或る範囲の背景の熱画像である背景熱画像との間の差分の画像である差分熱画像を生成する。生成された差分熱画像は、熱痕跡領域抽出部１７に入力される。なお、差分熱画像生成部１６は、後述する熱痕跡領域抽出部１７の処理の対象としたい時刻の熱画像を対象として動作すればよい。

<熱痕跡領域抽出部１７>
熱痕跡領域抽出部１７は、差分可視画像に代えて差分実体物画像を用いる部分、背景可視画像に代えて背景実体物画像を用いる部分、を除いて、第一実施形態の熱痕跡領域抽出部１７と同様である。すなわち、熱痕跡領域抽出部１７は、差分実体物画像生成部１３０が生成した或る時刻の差分実体物画像と差分熱画像生成部１６が生成した当該或る時刻の差分熱画像とに基づいて、熱画像から実体物の領域を取り除くことで、熱痕跡領域を抽出して（Ｓ１０８）、抽出した当該或る時刻の熱痕跡領域を示す情報を出力する。具体的には、熱痕跡領域抽出部１７は、差分実体物画像における背景実体物画像と異なる領域それぞれを差分実体物領域とし、差分熱画像における背景熱画像と異なる領域それぞれを差分熱領域として、１以上の差分熱領域のうち、１以上の差分実体物領域のいずれとも非類似な領域を熱痕跡領域として抽出する。抽出された熱痕跡領域を示す情報は、熱痕跡領域出力部１８に入力される。熱痕跡領域抽出部１７は、例えば、熱痕跡領域を示す情報として、熱痕跡領域部分を白とし、それ以外を黒とした２値画像を生成し、生成した２値画像を熱痕跡領域出力部１８に出力する。熱痕跡領域抽出部１７は、背景実体物画像も熱痕跡領域出力部１８に出力してもよい。なお、熱痕跡領域抽出部１７は、熱痕跡領域抽出部１７の処理の対象としたい時刻の差分実体物画像と差分熱画像を対象として動作すればよい。熱痕跡領域抽出部１７の処理の対象としたい時刻は、所定間隔の各時刻であってもよいし、熱痕跡領域抽出装置１０の運用者等によって指定された時刻であってもよい。

<熱痕跡領域出力部１８>
熱痕跡領域出力部１８は、背景可視画像に代えて背景実体物画像を用いる部分を除いて、第一実施形態の熱痕跡領域出力部１８と同様である。熱痕跡領域出力部１８は、熱痕跡領域を示す情報をユーザが確認可能なように出力する（Ｓ１０９）。例えば、熱痕跡領域出力部１８は、熱痕跡領域を示す情報の一例である２値画像の白い画素を背景実体物画像上に合成した画像を出力する。また例えば、熱痕跡領域出力部１８は、プロジェクタ等を利用して、適宜位置合わせをした上で環境内の撮影範囲に対して熱痕跡領域を示す２値画像を投影する。なお、熱痕跡領域出力部１８は、例えば、熱痕跡領域を示す情報が入力されたのを契機に熱痕跡領域を示す情報の出力を開始すればよい。また、熱痕跡領域出力部１８は、例えば、熱痕跡領域を示す情報の出力を所定時間継続して、当該所定時間経過後に出力を終了してもよいし、熱痕跡領域抽出装置１０の運用者等による出力終了の指示されるまで熱痕跡領域を示す情報の出力を継続して、当該指示に従って熱痕跡領域を示す情報の出力を終了するようにしてもよい。

[第二実施形態]
第一実施形態及び第一実施形態の変形例の熱痕跡領域抽出装置及び方法により、人が触れることにより温度が上昇した領域、例えばウイルス等が付着している可能性がある領域をユーザに伝えることができる。しかし、人が触れることにより温度が上昇した領域であっても、人が触れた後にアルコール等により消毒が行われた領域は、人が触れたとしてもウイルス等に感染する可能性が低い領域である。第二実施形態の熱痕跡領域抽出装置及び方法は、このような人が触れたとしてもウイルス等に感染する可能性が低い領域を抽出するものである。

図９に示すように、第二実施形態の熱痕跡領域抽出システム１は、熱痕跡領域抽出装置１０と実体物カメラ２１０とサーマルカメラ２２を備えている。図９に示すように、第二実施形態の熱痕跡領域抽出装置１０は、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６、差分冷画像生成部１６１、熱痕跡領域抽出部１７、冷痕跡領域抽出部１７１及び情報出力部１８１を例えば備えている。実体物カメラ２１０とサーマルカメラ２２は第二実施形態の熱痕跡領域抽出装置１０と接続されており、実体物カメラ２１０とサーマルカメラ２２が撮影した画像が熱痕跡領域抽出装置１０に入力される。

第二実施形態の熱痕跡領域抽出方法は、熱痕跡領域抽出装置の各部が、図１０及び以下に示すステップＳ１０１からステップＳ１０９１の処理を実行することにより実現される。以下、第一実施形態の変形例と異なる部分を中心に説明する。第一実施形態の変形例と同様の部分については重複説明を適宜省略する。

<実体物カメラ２１０>
実体物カメラ２１０は、第一実施形態の変形例の実体物カメラ２１０と同様である。実体物カメラ２１０は、或る撮影範囲の実体物の画像を撮影する。実体物カメラ２１０で撮影された実体物画像は、実体物画像取得部１１０に入力される。

<実体物画像取得部１１０>
実体物画像取得部１１０は、第一実施形態の変形例の実体物画像取得部１１０と同様である。すなわち、実体物画像取得部１１０は、実体物カメラ２１０によって撮影された実体物画像を取得して（Ｓ１０１）、取得した実体物画像を出力する。実体物画像取得部１１０で取得された実体物画像は、背景実体物画像生成部１２０及び／または差分実体物画像生成部１３０に入力される。

<背景実体物画像生成部１２０>
背景実体物画像生成部１２０は、第一実施形態の変形例の背景実体物画像生成部１２０と同様である。すなわち、背景実体物画像生成部１２０は、実体物画像取得部１１０で取得された実体物画像に基づいて、撮影範囲の背景の実体物画像である背景実体物画像を生成して（Ｓ１０４）、生成した背景実体物画像を出力する。生成された背景実体物画像は、差分実体物画像生成部１３０に入力される。

<差分実体物画像生成部１３０>
差分実体物画像生成部１３０は、第一実施形態の変形例の差分実体物画像生成部１３０と同様である。すなわち、差分実体物画像生成部１３０は、実体物画像取得部１１０で取得された或る時刻の実体物画像と、背景実体物画像生成部１２０から入力された背景実体物画像との間の差分の画像である差分実体物画像を生成して（Ｓ１０７）、生成した当該或る時刻の差分実体物画像を出力する。要するに、差分実体物画像生成部１３０は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、当該或る範囲の背景の実体物画像である背景実体物画像との間の差分の画像である差分実体物画像を生成する。第二実施形態では、差分実体物画像生成部１３０で生成された差分実体物画像は、熱痕跡領域抽出部１７だけではなく冷痕跡領域抽出部１７１にも入力される。なお、差分実体物画像生成部１３０は、後述する熱痕跡領域抽出部１７の処理の対象としたい時刻の対象としたい時刻の実体物画像と、後述する冷痕跡領域抽出部１７１の処理の対象としたい時刻の対象としたい時刻の実体物画像と、を対象として動作すればよい。

<サーマルカメラ２２>
サーマルカメラ２２は、第一実施形態の変形例のサーマルカメラ２２と同様である。すなわち、サーマルカメラ２２は、実体物が発する熱を撮影するためのカメラである。サーマルカメラ２２は、実体物カメラ２１０と同じ撮影範囲の実体物が発する熱の画像を撮影する。サーマルカメラ２２で撮影された熱画像は、熱画像取得部１４に入力される。

<熱画像取得部１４>
熱画像取得部１４は、第一実施形態の変形例の熱画像取得部１４と同様である。すなわち、熱画像取得部１４は、サーマルカメラ２２で撮影された熱画像を取得して（Ｓ１０１）、取得した熱画像を出力する。熱画像取得部１４で取得された熱画像は、背景熱画像生成部１５、及び／または、差分熱画像生成部１６と差分冷画像生成部１６１、に入力される。

<背景熱画像生成部１５>
背景熱画像生成部１５は、第一実施形態の変形例の背景熱画像生成部１５と同様である。すなわち、背景熱画像生成部１５は、熱画像取得部１４で取得された熱画像に基づいて、撮影範囲の背景の熱画像である背景熱画像を生成して（Ｓ１０４）、生成した背景熱画像を出力する。生成された背景熱画像は、差分熱画像生成部１６及び差分冷画像生成部１６１に入力される。

<差分熱画像生成部１６>
差分熱画像生成部１６は、第一実施形態の変形例の差分熱画像生成部１６と同様である。差分熱画像生成部１６は、熱画像取得部１４で取得された或る時刻の熱画像から、背景熱画像生成部１５から入力された背景熱画像に対して温度が高い領域（「高温度領域」とする）を抽出することで、差分熱画像を生成して（Ｓ１０７）、生成した当該或る時刻の差分熱画像を出力する。すなわち、差分熱画像生成部１６は、熱画像と背景熱画像との間の差分の領域であって熱画像における温度が背景熱画像における温度よりも高い領域を高温度領域として含む画像である差分熱画像を生成する。例えば、差分熱画像生成部１６は、各画素について、熱画像の画素値と背景熱画像の画素値の差が一定の閾値以上であり、かつ、熱画像の画素値が示す温度が背景熱画像の画素値が示す温度よりも高い場合には、差分熱画像の画素値を１とし、そうでない場合（すなわち、熱画像の画素値が示す温度が背景熱画像の画素値が示す温度よりも高いものの熱画像の画素値と背景熱画像の画素値の差が一定の閾値未満である場合と、熱画像の画素値が示す温度が背景熱画像の画素値が示す温度よりも高くない場合）には、差分熱画像の画素値を０とすることで、差分熱画像を生成する。生成された差分熱画像は、熱痕跡領域抽出部１７に入力される。なお、差分熱画像生成部１６は、後述する熱痕跡領域抽出部１７の処理の対象としたい時刻の熱画像を対象として動作すればよい。

<差分冷画像生成部１６１>
差分冷画像生成部１６１は、差分熱画像に代えて、熱画像と背景熱画像との間の差分の画像であって背景よりも温度が低下した領域の画像である差分冷画像を生成する部分を除いて、第一実施形態の変形例の差分熱画像生成部１６と同様である。差分冷画像生成部１６１は、熱画像取得部１４で取得された或る時刻の熱画像から、背景熱画像生成部１５から入力された背景熱画像に対して温度が低い領域（「低温度領域」とする）を抽出することで、差分冷画像を生成して（Ｓ１０７）、生成した当該或る時刻の差分冷画像を出力する。すなわち、差分冷画像生成部１６１は、熱画像と背景熱画像との間の差分の領域であって熱画像における温度が背景熱画像における温度よりも低い領域を低温度領域として含む画像である差分冷画像を生成する。例えば、差分冷画像生成部１６１は、各画素について、熱画像の画素値と背景熱画像の画素値の差が一定の閾値以上であり、かつ、熱画像の画素値が示す温度が背景熱画像の画素値が示す温度よりも低い場合には、差分冷画像の画素値を１とし、そうでない場合（すなわち、熱画像の画素値が示す温度が背景熱画像の画素値が示す温度よりも低いものの熱画像の画素値と背景熱画像の画素値の差が一定の閾値未満である場合と、熱画像の画素値が示す温度が背景熱画像の画素値が示す温度よりも低くない場合）には、差分熱画像の中の画素値を０とすることで、差分冷画像を生成する。生成された差分冷画像は、冷痕跡領域抽出部１７１に入力される。なお、差分冷画像生成部１６１は、後述する冷痕跡領域抽出部１７１の処理の対象としたい時刻の熱画像を対象として動作すればよい。

<熱痕跡領域抽出部１７>
熱痕跡領域抽出部１７は、第一実施形態の変形例の熱痕跡領域抽出部１７と同様である。すなわち、熱痕跡領域抽出部１７は、差分実体物画像生成部１３０が生成した差分実体物画像と差分熱画像生成部１６が生成した差分熱画像とに基づいて、差分熱画像に含まれる高温度領域から実体物の領域を取り除くことで、熱痕跡領域を抽出して（Ｓ１０８）、抽出した熱痕跡領域を示す情報を出力する。具体的には、熱痕跡領域抽出部１７は、差分実体物画像における背景実体物画像と異なる領域それぞれを差分実体物領域とし、差分熱画像における背景熱画像と異なる領域それぞれを差分熱領域として、１以上の差分熱領域のうち、１以上の差分実体物領域のいずれとも非類似な領域を熱痕跡領域として抽出する。抽出された熱痕跡領域を示す情報は、情報出力部１８１に入力される。なお、第二実施形態の熱痕跡領域抽出部１７で抽出される熱痕跡領域は、実体物が触れたことにより温度が上昇した領域であり、例えば、撮影範囲に背景として存在している物のうちの人が触れた領域である。熱痕跡領域抽出部１７は、例えば、熱痕跡領域を示す情報として、熱痕跡領域部分を白とし、それ以外を黒とした２値画像を生成し、生成した２値画像を情報出力部１８１に出力する。なお、熱痕跡領域抽出部１７は、熱痕跡領域抽出部１７の処理の対象としたい時刻の差分実体物画像と差分熱画像を対象として動作すればよい。熱痕跡領域抽出部１７の処理の対象としたい時刻は、所定間隔の各時刻であってもよいし、熱痕跡領域抽出装置１０の運用者等によって指定された時刻であってもよい。

<冷痕跡領域抽出部１７１>
冷痕跡領域抽出部１７１は、差分熱画像に代えて差分冷画像を用いて処理を行う部分、及び、熱痕跡領域ではなく実体物が発する熱の温度が低下した領域である冷痕跡領域を抽出する部分を除いて、第一実施形態の変形例の熱痕跡領域抽出部１７と同様である。すなわち、冷痕跡領域抽出部１７１は、差分実体物画像生成部１３０が生成した差分実体物画像と差分冷画像生成部１６１が生成した差分冷画像とに基づいて、差分冷画像に含まれる低温度領域から実体物の領域を取り除くことで、冷痕跡領域を抽出して（Ｓ１０８１）、抽出した冷痕跡領域を示す情報を出力する。具体的には、冷痕跡領域抽出部１７１は、差分実体物画像における背景実体物画像と異なる領域それぞれを差分実体物領域とし、差分冷画像における背景熱画像と異なる領域それぞれを差分冷領域として、１以上の差分冷領域のうち、１以上の差分実体物領域のいずれとも非類似な領域を冷痕跡領域として抽出する。抽出された冷痕跡領域を示す情報は、情報出力部１８１に入力される。冷痕跡領域抽出部１７１は、例えば、冷痕跡領域を示す情報として、冷痕跡領域部分を白とし、それ以外を黒とした２値画像を生成し、生成した２値画像を情報出力部１８１に出力する。なお、冷痕跡領域抽出部１７１は、冷痕跡領域抽出部１７１の処理の対象としたい時刻の差分実体物画像と差分冷画像を対象として動作すればよい。冷痕跡領域抽出部１７１の処理の対象としたい時刻は、所定間隔の各時刻であってもよいし、熱痕跡領域抽出装置１０の運用者等によって指定された時刻であってもよい。

なお、冷痕跡領域抽出部１７１で抽出される冷痕跡領域は、実体物が触れたことにより温度が低下した領域である。アルコールによる拭き取り掃除による消毒が行われた場合には、拭き取られた領域の温度はアルコールの気化熱により低下する。アルコールではなく、水、薬剤等による拭き取り掃除による消毒が行われた場合にも、拭き取られた領域の温度は気化熱により一般的に低下する。したがって、冷痕跡領域抽出部１７１で抽出される冷痕跡領域は、アルコール等により消毒が行われ温度が低下した領域であり、人が触れたとしてもウイルス等に感染する可能性が低い領域であると考えられる。すなわち、冷痕跡領域抽出部１７１の処理により、人が触れたとしてもウイルス等に感染する可能性が低い領域を抽出することができる。

なお、消毒が行われた領域だけではなく、消毒に用いた消毒液が入ったボトル等の領域も、熱画像における温度が背景熱画像における温度よりも低くなっている領域として、差分冷画像生成部１６１で得た差分冷画像に示される可能性がある。例えば、背景実体物画像が図１１（ａ）の画像であり、実体物画像が図１１（ｂ）の画像であり、差分実体物画像が図１１（ｃ）の画像であり、背景熱画像が図１１（ｄ）の画像であり、熱画像が図１１（ｅ）の画像である場合、差分冷画像生成部１６１で得た差分冷画像が図１１（ｆ）の画像となることがある。図１１（ｆ）の差分冷画像では、消毒が行われた領域Ｒ１だけではなく、ボトルの領域Ｒ２も、温度が低下した領域として示されている。このような場合であっても、冷痕跡領域抽出部１７１の処理により、すなわち、差分冷画像に示された低温度領域から差分実体物画像に示された実体物の領域を取り除く処理により、図１１（ｇ）に示すように、消毒が行われた領域Ｒ１のみを冷痕跡領域として抽出することができる。

<情報出力部１８１>
情報出力部１８１は、少なくとも冷痕跡領域を示す情報を用いて、少なくとも冷痕跡領域を示す情報をユーザが確認可能なように出力する（Ｓ１０９１）。情報出力部１８１は、例えば、下記の第１例や第２例のように動作する。

<<情報出力部１８１の第１例>>
第１例の情報出力部１８１は、熱痕跡領域を示す情報及び冷痕跡領域を示す情報を用いて、熱痕跡領域を示す情報及び冷痕跡領域を示す情報の少なくとも一方をユーザが確認可能なように出力する。より具体的には、第１例の情報出力部１８１は、熱痕跡領域抽出部１７で一旦抽出された熱痕跡領域を示す情報はユーザが確認可能なように出力し続けるものの、当該熱痕跡領域が対応する時刻よりも後の時刻の冷痕跡領域と当該熱痕跡領域が重なっているかどうかを判定し、その判定結果に応じて熱痕跡領域を示す情報の全部又は一部の出力を止める。すなわち、第１例の情報出力部１８１は、熱痕跡領域抽出部１７で熱痕跡領域が抽出されたことを契機に、当該熱痕跡領域を示す情報の出力を開始し、冷痕跡領域抽出部１７１で冷痕跡領域が抽出されたことを契機に、当該熱痕跡領域と当該冷痕跡領域とが重なっているかどうかを判定し、重なっていると判定された場合には、当該熱痕跡領域を示す情報の全部又は一部の出力を終了する。以下、第１例の情報出力部１８１の処理の例を説明する。

まず、熱痕跡領域抽出部１７で熱痕跡領域が抽出されたことを契機に、情報出力部１８１は、第一実施形態の熱痕跡領域出力部１８と同様にして、熱痕跡領域を示す情報をユーザが確認可能なように出力する。例えば、情報出力部１８１は、図１２（ａ）に示すような熱痕跡領域であるか否かを示す情報である２値画像を適宜位置決めした上で環境内の撮影範囲に投影することで、熱痕跡領域を示す情報をユーザが確認可能なように表示する。この例では、熱痕跡領域を示す情報は、２値画像である。図１２（ａ）と直後の説明で用いる図１２（ｂ）では、ドットのパターンで塗りつぶされた領域が熱痕跡領域であり、白で塗りつぶされた領域が熱痕跡領域ではない領域である。

その後、冷痕跡領域抽出部１７１により冷痕跡領域が抽出されたとする。この冷痕跡領域の例を、図１２（ｂ）に破線で示す。図１２（ｂ）の破線は、冷痕跡領域の縁を示す。図１２（ｂ）の破線で囲われた領域が、冷痕跡領域である。情報出力部１８１は、冷痕跡領域抽出部１７１により冷痕跡領域が抽出された場合には、過去に抽出された熱痕跡領域のそれぞれについて、熱痕跡領域が冷痕跡領域と重なっているかどうかを判定する。

例えば、情報出力部１８１は、熱痕跡領域のうちのどの程度が冷痕跡領域となっているのかを示す指標である一致率を計算する。例えば、一致率=(熱痕跡領域と冷痕跡領域とが重なっている画素の数)/(熱痕跡領域の画素の数)である。そして、情報出力部１８１は、一致率が所定の閾値以上である熱痕跡領域については、熱痕跡領域を示す情報の出力を止める。例えば、熱痕跡領域と冷痕跡領域が図１２（ｂ）に例示する状態にある場合には、図１２（ｃ）に例示する２値画像を環境内の撮影範囲に投影する。すなわち、熱痕跡領域の表示を止める。この所定の閾値は、1に近い実数であり、例えば0.9である。このように、情報出力部１８１は、熱痕跡領域が冷痕跡領域と重なっているかどうかの判定結果に応じて、熱痕跡領域を示す情報の全部の出力を止めてもよい。

また、例えば、情報出力部１８１は、熱痕跡領域のうちの冷痕跡領域と重なった部分についての熱痕跡領域を示す情報の出力を止める。例えば、熱痕跡領域と冷痕跡領域が図１２（ｂ）に例示する状態にある場合には、図１２（ｄ）に例示する２値画像を環境内の撮影範囲に投影する。言い換えれば、情報出力部１８１は、熱痕跡領域が冷痕跡領域と重なっている領域を熱痕跡領域から除いた領域のみを表示してもよい。このように、情報出力部１８１は、熱痕跡領域が冷痕跡領域と重なっているかどうかの判定結果に応じて、熱痕跡領域を示す情報の一部の出力を止めてもよい。

ウイルス等に感染している人が過去に触れることによってウイルス等が付着した領域であっても、アルコール等により消毒が行われた領域は、人が触れたとしてもウイルス等に感染する可能性が低い領域である。熱痕跡領域は、人が触れることにより温度が上昇した領域であり、ウイルス等が付着している可能性がある領域であると考えられる。一方、冷痕跡領域は、アルコール等により消毒が行われることにより温度が低下した領域であり、人が触れたとしてもウイルス等に感染する可能性が低い領域であると考えらえる。情報出力部１８１の第１例のように、一旦抽出された熱痕跡領域を示す情報はユーザが確認可能なように出力し続けるものの、当該熱痕跡領域が後に抽出された冷痕跡領域と重なっているかどうかの判定結果に応じて、熱痕跡領域を示す情報の一部の出力を止めることにより、ウイルス等に感染する可能性がある領域のみをユーザに提示することができる。

<<情報出力部１８１の第２例>>
第２例の情報出力部１８１は、冷痕跡領域を示す情報を用いて、冷痕跡領域を示す情報をユーザが確認可能なように出力する。より具体的には、第２例の情報出力部１８１は、冷痕跡領域抽出部１７１で抽出された冷痕跡領域を示す情報のみをユーザが確認可能なように出力する。例えば、情報出力部１８１は、冷痕跡領域を示す情報の一例である２値画像の白い画素を背景実体物画像上に合成した画像を出力する。また例えば、情報出力部１８１は、プロジェクタ等を利用して、適宜位置合わせをした上で環境内の撮影範囲に対して冷痕跡領域を示す２値画像を投影する。これにより、ユーザは、アルコール等により消毒が行われ触れたとしてもウイルス等に感染する可能性が低い領域を知ることができる。なお、情報出力部１８１は、例えば、冷痕跡領域を示す情報が入力されたのを契機に冷痕跡領域を示す情報の出力を開始すればよい。

なお、情報出力部１８１が第２例の動作をする場合には、熱痕跡領域抽出装置１０は熱痕跡領域を示す情報を得る必要はない。このような場合には、熱痕跡領域抽出装置１０は差分熱画像生成部１６と熱痕跡領域抽出部１７を備えないでよい。また、差分熱画像生成部１６と熱痕跡領域抽出部１７を備えない熱痕跡領域抽出装置１０は、冷痕跡領域抽出装置であるともいえる。

［第三実施形態］
第一実施形態の熱痕跡領域抽出装置及び方法により、人が触れることにより温度が上昇した領域、ウイルス等が付着している可能性がある領域をユーザに伝えることができる。しかし、人が触れることにより温度が上昇した領域であっても、触れた人の体温が低い場合には、触れた人がウイルス等に感染している可能性が低いことから、その領域はウイルス等が付着している可能性が低い領域である。一方、体温が高い人が触れることにより温度が上昇した領域は、触れた人がウイルス等に感染している可能性が高いことから、ウイルス等が付着している可能性が高い領域である。これらのことから、ウイルス等が付着している可能性がある領域をより適切にユーザに伝えるために、人が触れることにより温度が上昇した領域である熱痕跡領域を抽出するだけではなく、熱痕跡領域に対応する熱痕跡の原因となる人や体温を特定できるとよい。第三実施形態の熱痕跡領域抽出装置及び方法は、熱痕跡領域に対応する熱痕跡の原因となる温度を特定するものである。

図１３に示すように、第三実施形態の熱痕跡領域抽出システム１は、熱痕跡領域抽出装置１０と実体物カメラ２１０とサーマルカメラ２２を備えている。図１３に示すように、第三実施形態の熱痕跡領域抽出装置１０は、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６、熱痕跡領域抽出部１７、熱痕跡原因特定部３１及び情報出力部１８１を例えば備えている。実体物カメラ２１０とサーマルカメラ２２は第三実施形態の熱痕跡領域抽出装置１０と接続されており、実体物カメラ２１０とサーマルカメラ２２が撮影した画像が熱痕跡領域抽出装置１０に入力される。

第三実施形態の熱痕跡領域抽出方法は、熱痕跡領域抽出装置の各部が、図１４及び以下に示すステップＳ１０１からステップＳ１０９の処理を実行することにより実現される。以下、第一実施形態の変形例と異なる部分を中心に説明する。第一実施形態の変形例と同様の部分については重複説明を省略する。

実体物カメラ２１０、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、サーマルカメラ２２、熱画像取得部１４、背景熱画像生成部１５及び差分熱画像生成部１６は、それぞれ第一実施形態の変形例の実体物カメラ２１０、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、サーマルカメラ２２、熱画像取得部１４、背景熱画像生成部１５及び差分熱画像生成部１６と同様である。ただし、差分熱画像生成部１６で生成された差分熱画像と熱画像取得部１４で取得された熱画像が、更に熱痕跡原因特定部３１に入力される。

熱痕跡領域抽出部１７は、第一実施形態の変形例の熱痕跡領域抽出部１７の動作に加えて、１つの差分熱領域を差分として示した差分熱領域画像と、１つの熱痕跡領域のみを差分として示した熱痕跡領域画像と、を生成して出力し、各熱痕跡領域画像に対応する時刻の情報も出力する。熱痕跡領域抽出部１７は、各画像にファイル名を付与して、ファイル名も出力する。熱痕跡領域抽出部１７が得た差分熱領域画像、熱痕跡領域画像、熱痕跡領域画像に対応する時刻の情報、各画像のファイル名、は熱痕跡原因特定部３１に入力される。

熱痕跡領域抽出部１７は、１個の差分熱領域が得られた場合には、当該１個の差分熱領域を差分として示した画像を差分熱領域画像として生成する。また、pを２以上の正の整数として、熱痕跡領域抽出部１７は、互いに離れたp個の差分熱領域が得られた場合には、p個の差分熱領域のうちのそれぞれ異なる１個のみの差分熱領域を差分として示したp個の画像それぞれを差分熱領域画像として生成する。熱痕跡領域抽出部１７は、例えば、差分熱領域の各画素の画素値が１であり、差分熱領域ではない領域の各画素の画素値が０である２値画像を、差分熱領域画像として生成する。

熱痕跡領域抽出部１７は、１個の熱痕跡領域が得られた場合には、当該１個の熱痕跡領域を差分として示した画像を熱痕跡領域画像として生成する。また、qを２以上の正の整数として、熱痕跡領域抽出部１７は、互いに離れたq個の熱痕跡領域が得られた場合には、q個の熱痕跡領域のうちのそれぞれ異なる１個のみの熱痕跡領域を領域として示したq個の画像それぞれを熱痕跡領域画像として生成する。熱痕跡領域抽出部１７は、例えば、熱痕跡領域の各画素の画素値が１であり、熱痕跡領域ではない領域の各画素の画素値が０である２値画像を、熱痕跡領域画像として生成する。

第三実施形態では、熱痕跡領域抽出部１７で得られた熱痕跡領域画像と熱痕跡領域画像に対応する時刻の情報に基づいて、熱痕跡テーブルが作成される。熱痕跡テーブルは、補助記憶装置１０２に記憶される。熱痕跡テーブルの例を、図１５に示す。図１５の熱痕跡テーブルには、熱痕跡領域抽出部１７で抽出された各時刻の各熱痕跡領域についてのレコードが記録され、各熱痕跡領域についてのレコードには、熱痕跡領域画像に対応する時刻、熱痕跡領域画像のファイル名、熱痕跡領域が属するグループＩＤが含まれている。熱痕跡テーブルの中の、各熱痕跡領域が属するグループＩＤは、後述する熱痕跡原因特定部３１により生成される。

図１５の時刻「2021-08-10 10:50:48.000」の熱痕跡領域は、熱痕跡領域抽出部１７で最新の時刻である「2021-08-10 10:50:48.000」に対応する処理で抽出された熱痕跡領域であり、まだ熱痕跡原因特定部３１の処理が行われていない。このため、図１５の時刻「2021-08-10 10:50:48.000」の熱痕跡領域のレコードには、熱痕跡領域が属するグループＩＤが割り当てられていない。熱痕跡原因特定部３１は、このような熱痕跡領域抽出部１７で最新の時刻に対応する処理で抽出された熱痕跡領域に対して、対応する熱痕跡の原因を特定する処理を行ない、その処理の中でグループＩＤを割り当てる。

<熱痕跡原因特定部３１>
熱痕跡原因特定部３１は、最新の時刻に対応する処理で抽出された熱痕跡領域のうちの、過去の時刻に対応する処理で抽出された熱痕跡領域が熱痕跡となった原因とは異なる原因による熱痕跡領域を特定する第１の特定処理と、第１の特定処理で特定された熱痕跡領域が熱痕跡となった原因となった領域である原因領域を熱痕跡領域抽出部１７の過去の時刻に対応する処理で抽出された差分熱画像を用いて特定する第２の特定処理と、第２の特定処理で特定された原因領域の温度を原因領域の特定に用いた差分熱画像に対応する熱画像から特定する第３の特定処理と、を行う（Ｓ３１０）。第３の特定処理で特定された原因領域の温度（すなわち、各熱痕跡領域に対応する熱痕跡の原因領域の温度）は、情報出力部１８１に入力される。

熱痕跡原因特定部３１が行う第２の特定処理は、具体的には、第１の特定処理で特定された熱痕跡領域に対応する差分熱画像よりも時間的に前の時刻（過去の時刻）の差分熱画像であって、かつ、第１の特定処理で特定された熱痕跡領域に対応する差分熱画像から当該前の時刻（過去の時刻）の差分熱画像までのすべての差分熱画像に、第１の特定処理で特定された熱痕跡領域に対応する領域が差分熱領域として含まれている、との条件を満たす差分熱画像であって、かつ、第１の特定処理で特定された熱痕跡領域に対応する領域とは異なる領域が第１の特定処理で特定された熱痕跡領域に対応する領域に連結している差分熱領域を含む差分熱画像を特定し、特定された差分熱画像の中のその異なる領域を、第１の特定処理で特定された熱痕跡領域に対応する熱痕跡の原因となった原因領域として特定する処理である。

以下、熱痕跡原因特定部３１の処理の例について述べる。以下の説明では、熱痕跡領域抽出部１７で最新の時刻に対応する処理で抽出された熱痕跡領域を新熱痕跡領域と呼ぶ。以下の説明では、また、最新の時刻よりも前の時刻に対応する処理で抽出された熱痕跡領域を旧熱痕跡領域と呼ぶ。

熱痕跡原因特定部３１は、熱痕跡領域抽出部１７で最新の時刻に対応する処理で熱痕跡領域が抽出される度に、以下の処理を行う。すなわち、熱痕跡原因特定部３１は、各新熱痕跡領域に対して以下の処理を行う。

まず、熱痕跡原因特定部３１は、図１６及び以下に示すステップＳ３１０１からステップＳ３１０６の処理を行うことにより、新熱痕跡領域が属するグループを決定する。

熱痕跡原因特定部３１は、まだ選択していない旧熱痕跡領域のうちの最も新しい旧熱痕跡領域を１つ選択し（Ｓ３１０１）、ステップＳ３１０２に処理を進める。熱痕跡原因特定部３１は、例えば、熱痕跡テーブルに記録されているグループＩＤが、これまで選択した旧熱痕跡領域のグループＩＤとは異なる旧熱痕跡領域であって、熱痕跡テーブルに記録されている時刻が最も遅い旧熱痕跡領域を１つ選択する。以下、熱痕跡原因特定部３１が選択した旧熱痕跡領域を、「選択旧熱痕跡領域」と略記する。

熱痕跡原因特定部３１は、新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下であるかどうかを判定する（Ｓ３１０２）。熱痕跡原因特定部３１は、例えば、熱痕跡テーブルに記録された新熱痕跡領域のレコードに含まれる時刻と、熱痕跡テーブルに記録された選択旧熱痕跡領域のレコードに含まれる時刻と、の差が予め定められた時間以下であるかどうかを判定すればよい。予め定められた時間は、熱痕跡領域の温度が低下して背景の温度と同じになる平均的な時間よりも長い時間である。例えば、予め定められた時間は、10秒である。

熱痕跡原因特定部３１は、ステップＳ３１０２において新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下であると判定された場合にはステップＳ３１０３に処理を進め、ステップＳ３１０２において新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下でないと判定された場合にはステップＳ３１０６に処理を進める。ステップＳ３１０２において新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下でない場合の処理であるステップＳ３１０６の処理については、後述する。

新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下である場合には、熱痕跡原因特定部３１は、新熱痕跡領域の中の、選択旧熱痕跡領域に含まれない領域の大きさが予め定められた大きさ以下であるかどうかを判定する（Ｓ３１０３）。熱痕跡原因特定部３１は、例えば、熱痕跡テーブルに記録された新熱痕跡領域のファイル名で特定されるファイルの熱痕跡領域画像と、熱痕跡テーブルに記録された選択旧熱痕跡領域のファイル名で特定されるファイルの熱痕跡領域画像と、を用いてステップＳ３１０３の判定を行えばよい。

熱痕跡原因特定部３１は、新熱痕跡領域の中の、選択旧熱痕跡領域に含まれない領域の大きさが予め定められた大きさ以下でないとステップＳ３１０３で判定された場合には、ステップＳ３１０１に処理を進める。熱痕跡原因特定部３１は、新熱痕跡領域の中の、選択旧熱痕跡領域に含まれない領域の大きさが予め定められた大きさ以下であるとステップＳ３１０３で判定された場合には、ステップＳ３１０４に処理を進める。

新熱痕跡領域の中の、選択旧熱痕跡領域に含まれない領域の大きさが予め定められた大きさ以下である場合には、熱痕跡原因特定部３１は、新熱痕跡領域に対応する温度が選択旧熱痕跡領域に対応する温度よりも低いかどうかを判定する（Ｓ３１０４）。新熱痕跡領域に対応する温度は、新熱痕跡領域に対応する熱画像から取得することができる。例えば、熱痕跡原因特定部３１は、新熱痕跡領域の熱痕跡領域画像に対応する熱画像の中の、新熱痕跡領域に対応する領域、に含まれる各画素が示す温度の平均値を計算し、当該平均値を新熱痕跡領域に対応する温度とする。同様に、選択旧熱痕跡領域に対応する温度は、選択旧熱痕跡領域に対応する熱画像から取得することができる。例えば、熱痕跡原因特定部３１は、選択旧熱痕跡領域の熱痕跡領域画像に対応する熱画像の中の、選択旧熱痕跡領域に対応する領域、に含まれる各画素が示す温度の平均値を計算し、当該平均値を選択旧熱痕跡領域に対応する温度とする。

熱痕跡原因特定部３１は、新熱痕跡領域に対応する温度が選択旧熱痕跡領域に対応する温度よりも低くないとステップＳ３１０４で判定された場合には、ステップＳ３１０１に処理を進める。熱痕跡原因特定部３１は、新熱痕跡領域に対応する温度が選択旧熱痕跡領域に対応する温度よりも低いとステップＳ３１０４で判定された場合には、ステップＳ３１０５に処理を進める。

新熱痕跡領域に対応する温度が、選択旧熱痕跡領域に対応する温度よりも低い場合には、熱痕跡原因特定部３１は、新熱痕跡領域は選択旧熱痕跡領域と同じグループに属すると判定する（Ｓ３１０５）。熱痕跡原因特定部３１は、この場合には、例えば、熱痕跡テーブルに記録された選択旧熱痕跡領域のレコードのグループＩＤと同じ番号を、新熱痕跡領域のレコードのグループＩＤとして熱痕跡テーブルに記録する。

新熱痕跡領域の中の、選択旧熱痕跡領域に含まれない領域の大きさが予め定められた大きさ以下であり、新熱痕跡領域に対応する温度が選択旧熱痕跡領域に対応する温度よりも低い場合には、新熱痕跡領域は、選択旧熱痕跡領域の領域が時間の経過と共に縮小し温度が低下したものであると考えられる。したがって、この場合、熱痕跡原因特定部３１は、新熱痕跡領域に対応する熱痕跡の原因は、選択旧熱痕跡領域に対応する熱痕跡の原因と同じであると判定すればよい。この判定を行うのが、ステップＳ３１０３からステップＳ３１０５までの処理である。

新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下でないとステップＳ３１０２の処理において判定された場合には、熱痕跡原因特定部３１は、新熱痕跡領域は新しいグループに属すると判定する（Ｓ３１０６）。すなわち、新熱痕跡領域が対応する時刻と選択旧熱痕跡領域が対応する時刻との差が予め定められた時間以下でないとステップＳ３１０２の処理において判定された場合には、熱痕跡原因特定部３１は、新熱痕跡領域は、過去の時刻に対応する処理で抽出された熱痕跡領域が熱痕跡となった原因とは異なる新たな原因による熱痕跡領域であると判定する。熱痕跡原因特定部３１は、この場合には、例えば、熱痕跡テーブルに記録された何れの旧熱痕跡領域のレコードのグループＩＤとも異なる番号を、新熱痕跡領域のレコードのグループＩＤとして熱痕跡テーブルに記録する。

一般に、熱痕跡は、熱痕跡の生成から数秒で消えてしまうことが多い。このため、新熱痕跡領域が対応する時刻と、最も新しい旧熱痕跡領域が対応する時刻との差が予め定められた時間以下でない場合には、新熱痕跡領域は、旧熱痕跡領域に対応する熱痕跡の原因とは異なる原因に基づいて生じたと考えらえる。この考えに基づく判定を行うのが、ステップＳ３１０２とステップＳ３１０６の処理である。

なお、図１６において破線で示すように、熱痕跡原因特定部３１は、最初に行うステップＳ３１０１の処理において、まだ選択していない旧熱痕跡領域がない場合にも、言い換えれば、選択すべき旧熱痕跡領域が１つもない場合にも、新熱痕跡領域は、新しいグループに属すると判定する（Ｓ３１０６）。熱痕跡原因特定部３１は、この場合には、例えば、任意の番号を、新熱痕跡領域のレコードのグループＩＤとして熱痕跡テーブルに記録する。

例えば図１５の熱痕跡テーブルの時刻「2021-08-10 10:50:48.000」の熱痕跡領域が新しいグループに属すると判定された場合、当該熱痕跡領域には、新しいグループＩＤである「２８」が割り当てられる。

新熱痕跡領域が新しいグループに属すると判定された場合、熱痕跡原因特定部３１は、図１７及び以下に示すステップＳ３１０７からステップＳ３１１０の処理を行うことにより、新熱痕跡領域の熱痕跡の原因となった領域である原因領域を特定して、熱痕跡の原因領域の温度を推定する。

熱痕跡原因特定部３１は、新しいグループに属すると判定された新熱痕跡領域が対応する時刻よりも時間的に前の差分熱画像のうちのまだ選択していない差分熱画像のうちの最も新しい差分熱画像を取得し（Ｓ３１０７）、ステップＳ３１０８に処理を進める。例えば、熱痕跡原因特定部３１は、ステップＳ３１０７の１回目の処理では、新熱痕跡領域が対応する時刻よりも１時刻前の差分熱画像が取得する。また、例えば、kを２以上の正の整数として、熱痕跡原因特定部３１は、ステップＳ３１０７のk回目の以降の処理では、ステップＳ３１０７のk-1回目の処理で取得された差分熱画像の時刻よりも、１時刻前の差分熱画像を取得する。

なお、熱痕跡原因特定部３１は、ステップＳ３１０７からステップＳ３１１０の処理においては、差分熱画像に代えて、新熱痕跡領域に対応する領域に差分熱領域が含まれる差分熱領域画像を用いてもよい。熱痕跡原因特定部３１が差分熱画像に代えて差分熱領域画像を用いる場合には、差分熱画像生成部１６で生成された差分熱画像は熱痕跡原因特定部３１に入力されないでよい。

熱痕跡原因特定部３１は、取得した差分熱画像が、新熱痕跡領域に対応する領域とは異なる領域が新熱痕跡領域に対応する領域に連結している差分熱領域を含むかどうかを判定する（Ｓ３１０８）。熱痕跡原因特定部３１は、取得した差分熱画像が、新熱痕跡領域に対応する領域とは異なる領域が新熱痕跡領域に対応する領域に連結している差分熱領域を含まないと判定された場合には、ステップＳ３１０７に処理を進める。熱痕跡原因特定部３１は、取得した差分熱画像が、新熱痕跡領域に対応する領域とは異なる領域が新熱痕跡領域に対応する領域に連結している差分熱領域を含むと判定された場合には、ステップＳ３１０９に処理を進める。

新熱痕跡領域に対応する領域とは異なる領域（以下、便宜的に「連結領域」という）が新熱痕跡領域に対応する領域に連結している差分熱領域を差分熱画像が含む場合には、熱痕跡原因特定部３１は、その連結領域を、新熱痕跡領域の熱痕跡の原因となった原因領域として特定して（Ｓ３１０９）、ステップＳ３１１０に処理を進める。

そして、熱痕跡原因特定部３１は、差分熱画像に対応する熱画像の、原因領域に対応する領域の温度から、原因領域の温度を推定する（Ｓ３１１０）。例えば、熱痕跡原因特定部３１は、差分熱画像に対応する熱画像の中の、原因領域に対応する領域に含まれる各画素が示す温度の平均値を計算して、当該平均値を原因領域の温度とする。なお、熱痕跡原因特定部３１は、差分熱画像に対応する熱画像の中の、原因領域に対応する領域に含まれる各画素が示す温度の中央値又は最大値を、原因領域の温度としてもよい。

このようにして、熱痕跡原因特定部３１は、抽出された熱痕跡領域を新熱痕跡領域とし、新熱痕跡領域が抽出された時刻よりも前の時刻に抽出された熱痕跡領域を旧熱痕跡領域として、(1)新熱痕跡領域が対応する時刻と旧熱痕跡領域が対応する時刻との差が予め定められた時間以下であり、新熱痕跡領域の中の旧熱痕跡領域に含まれない領域の大きさが予め定められた大きさ以下であり、新熱痕跡領域に対応する温度が旧熱痕跡領域に対応する温度よりも低い場合には、新熱痕跡領域は旧熱痕跡領域と同じグループに属すると判定し、すなわち、新熱痕跡領域が熱痕跡となった原因は旧熱痕跡領域が熱痕跡となった原因と同じであるとし、(2)そうではない場合には、新熱痕跡領域は新しいグループに属すると判定し、すなわち、新熱痕跡領域が熱痕跡となった原因は旧熱痕跡領域が熱痕跡の原因と異なる原因であるとし、新しいグループに属すると判定された新熱痕跡領域に対応する差分熱画像よりも時間的に前の差分熱画像であって、かつ、新しいグループに属すると判定された新熱痕跡領域に対応する差分熱画像から当該前の時刻の差分熱画像までのすべての差分熱画像に、新しいグループに属すると判定された新熱痕跡領域に対応する領域が差分熱領域として含まれている、との条件を満たす差分熱画像であって、新熱痕跡領域に対応する領域とは異なる領域が新熱痕跡領域に対応する領域に連結している差分熱領域を含む差分熱画像を特定し、特定した差分熱画像の中のその異なる領域を、新熱痕跡領域に対応する熱痕跡の原因となった領域である原因領域として特定する。また、熱痕跡原因特定部は、原因領域の特定に用いた差分熱画像に対応する熱画像から、原因領域として特定された領域の温度を推定する。

以下、図１８を参照して、熱痕跡原因特定部３１の処理の例について説明する。図１８（ａ）は背景実体物画像及び各時刻における実体物画像の模式図であり、図１８（ｂ）は背景熱画像及び各時刻における熱画像の模式図であり、図１８（ｃ）は各時刻における差分実体物画像の模式図であり、図１８（ｄ）は各時刻における差分熱画像の模式図であり、図１８（ｅ）は各時刻における熱痕跡領域を示す画像の模式図である。

時刻t0において、人物Aが壁に触り温度が上昇した領域があるとする。また、時刻t1において人物Aが壁から離れ、時刻t2において人物Aが撮影範囲の外に出たとする。その後、時刻t3において人物Bが撮影範囲を横切り、時刻t4において人物Bが撮影範囲の外に出たとする。τ=1,2,4として、時刻tτにおいて抽出された熱痕跡領域を熱痕跡領域rτと呼ぶことにする。時刻t3では、人物Bが、熱痕跡領域r1,r2があった領域に重なったため、熱痕跡領域が抽出されていない。

まず、時刻t1における熱痕跡領域r1の熱痕跡の原因となった領域を特定する例を説明する。この例では、熱痕跡領域r1のことを新熱痕跡領域r1と呼ぶことにする。この例では、時刻t1の時点においては、時刻t1より前の時刻では熱痕跡領域が抽出されていないことから、旧熱痕跡領域の情報は存在しない。このため、熱痕跡原因特定部３１は、旧熱痕跡領域を選択することができないため（Ｓ３１０１）、新熱痕跡領域r1は新しいグループに属すると判定する（Ｓ３１０６）。そして、熱痕跡原因特定部３１は、時刻t1よりも前の最も新しい差分熱画像である時刻t0の差分熱画像を取得し（Ｓ３１０７）、時刻t0の差分熱画像が、新熱痕跡領域r1に対応する領域とは異なる領域が新熱痕跡領域r1に対応する領域に連結している差分熱領域を含むどうかを判定する（Ｓ３１０８）。この例では、時刻t0の差分熱画像（図１８（ｄ）の時刻t0の画像）には、新熱痕跡領域r1に対応する領域とは異なる領域（人物Aの領域）が新熱痕跡領域r1に対応する領域に連結している差分熱領域として含まれている。このため、熱痕跡原因特定部３１は、時刻t0の差分熱画像の人物Aの領域を、新熱痕跡領域r1の熱痕跡の原因となった領域として特定する（Ｓ３１０９）。

つぎに、時刻t2における熱痕跡領域r2の熱痕跡の原因となった領域を特定する例を説明する。この例では、熱痕跡領域r2のことを新熱痕跡領域r2と呼ぶことにする。

まず、熱痕跡原因特定部３１は、旧熱痕跡領域として、時刻t1で抽出された熱痕跡領域r1を選択する（Ｓ３１０１）。以下、熱痕跡領域r1のことを、旧熱痕跡領域r1と呼ぶことにする。熱痕跡原因特定部３１は、新熱痕跡領域r2が対応する時刻t2と旧熱痕跡領域r1が対応する時刻t1との差が予め定められた時間以下であるかの判定（Ｓ３１０２）と、新熱痕跡領域r2の中の旧熱痕跡領域r1に含まれない領域の大きさが予め定められた大きさ以下であるかの判定（Ｓ３１０３）と、新熱痕跡領域r2に対応する温度が旧熱痕跡領域r1に対応する温度よりも低いかどうかの判定（Ｓ３１０４）とを行う。

この例では、新熱痕跡領域r2が対応する時刻t2と旧熱痕跡領域r1が対応する時刻t1との差が予め定められた時間以下であり、新熱痕跡領域r2の中の旧熱痕跡領域r1に含まれない領域の大きさが予め定められた大きさ以下であり、新熱痕跡領域r2に対応する温度が旧熱痕跡領域r1に対応する温度よりも低いとする。このため、熱痕跡原因特定部３１は、新熱痕跡領域r2は、旧熱痕跡領域r1と同じグループに属すると判定する（Ｓ３１０５）。

新熱痕跡領域r2が旧熱痕跡領域r1と同じグループに属するということは、新熱痕跡領域r2の熱痕跡の原因は、旧熱痕跡領域r1の熱痕跡の原因と同じである。旧熱痕跡領域r1の熱痕跡の原因となった領域は、上述した時刻t1における例において、人物Aの領域であることが既に特定されている。したがって、新熱痕跡領域r2の熱痕跡の原因となった領域は、人物Aの領域である。

つぎに、時刻t4における熱痕跡領域r4の熱痕跡の原因となった領域を特定する例を説明する。この例では、熱痕跡領域r4のことを新熱痕跡領域r4と呼ぶことにする。この例では、新熱痕跡領域r4に対応する熱痕跡の原因の候補となる人物は、２人いる。この２人の人物は、人物A及び人物Bである。このため、新熱痕跡領域r4に対応する熱痕跡の原因が、人物Aであるのか、人物Bであるのかが問題となる。

まず、熱痕跡原因特定部３１は、旧熱痕跡領域として、時刻t2で抽出された熱痕跡領域r2を選択する（Ｓ３１０１）。以下、熱痕跡領域r2のことを、旧熱痕跡領域r2と呼ぶことにする。熱痕跡原因特定部３１は、新熱痕跡領域r4が対応する時刻t4と旧熱痕跡領域r2が対応する時刻t2との差が予め定められた時間以下であるかの判定（Ｓ３１０２）と、新熱痕跡領域r4の中の旧熱痕跡領域r2に含まれない領域の大きさが予め定められた大きさ以下であるかの判定（Ｓ３１０３）と、新熱痕跡領域r4に対応する温度が旧熱痕跡領域r2に対応する温度よりも低いかどうかの判定（Ｓ３１０４）とを行う。

この例では、新熱痕跡領域r4が対応する時刻t4と旧熱痕跡領域r2が対応する時刻t2との差が予め定められた時間以下であり、新熱痕跡領域r4の中の旧熱痕跡領域r2に含まれない領域の大きさが予め定められた大きさ以下であり、新熱痕跡領域r4に対応する温度が旧熱痕跡領域r2に対応する温度よりも低いとする。このため、熱痕跡原因特定部３１は、新熱痕跡領域r4は、旧熱痕跡領域r2と同じグループに属すると判定する（Ｓ３１０５）。

新熱痕跡領域r4が旧熱痕跡領域r2と同じグループに属するということは、旧熱痕跡領域r2が旧熱痕跡領域r1と同じグループに属することが上述した時刻t2における例において特定済みであることからすると、新熱痕跡領域r4は旧熱痕跡領域r1と同じグループに属するということである。すなわち、新熱痕跡領域r4の熱痕跡の原因は、旧熱痕跡領域r1の熱痕跡の原因と同じである。旧熱痕跡領域r1の熱痕跡の原因となった領域は、上述した時刻t1における例において、人物Aの領域であることが既に特定されている。したがって、新熱痕跡領域r4の熱痕跡の原因となった領域は、人物Aの領域である。

この例のように、熱痕跡領域の熱痕跡の原因の候補となる人物が２人以上いたとしても、上述の熱痕跡原因特定部３１の処理により、熱痕跡領域の熱痕跡の原因となる人物をより適切に特定することができる。

<情報出力部１８１>
情報出力部１８１には、熱痕跡領域抽出部１７で抽出された熱痕跡領域を示す情報と、熱痕跡原因特定部３１により特定された、各熱痕跡領域に対応する熱痕跡の原因領域の温度と、が入力される。

情報出力部１８１は、熱痕跡領域抽出部１７から入力された熱痕跡領域を示す情報について、熱痕跡原因特定部３１から入力された原因領域の温度に応じて決定された表現方法で、ユーザが確認可能なように出力する（Ｓ１０９）。例えば、情報出力部１８１は、熱痕跡原因特定部３１で特定された温度に応じて決定された表現方法で、熱痕跡領域抽出部１７で抽出された熱痕跡領域を示す情報を表示する。例えば、情報出力部１８１は、熱痕跡領域を示す情報である熱痕跡領域部分を白としそれ以外を黒とした２値画像に対して、熱痕跡原因特定部３１から入力された原因領域の温度に応じた加工を施した画像または映像を撮影範囲に投影する。

原因領域の温度に応じた表現方法の例は、温度が高いほど強い表現方法である。温度が高いほど強い表現方法は、言い換えれば、温度が高いほどユーザの気を引く表現方法である。温度が高いほど強い表現方法の例は、熱痕跡領域の温度が予め定められた閾値よりも高い場合には当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示を点滅させ、かつ、温度が高いほど当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示の点滅の速度が速いという表現方法である。この例は、例えば、情報出力部１８１が、熱痕跡領域でない領域については輝度を０とし、温度が予め定められた閾値以下である熱痕跡領域については所定のある輝度とし、温度が予め定められた閾値よりも高い熱痕跡領域については、温度が高いほど高い周波数で、所定のある輝度と０の間で時間方向に周期的に変化する矩形波の輝度とした映像を、撮影範囲に投影することで実現できる。

温度が高いほど強い表現方法の他の例は、熱痕跡領域の温度が予め定められた閾値よりも高い場合には当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示の色を変化させ、かつ、当該熱痕跡領域の温度が高いほど当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示の色の変化の速度が速いという表現方法である。温度が高いほど強い表現方法の他の例は、熱痕跡領域の温度が予め定められた閾値よりも高い場合には当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示を振動させ、かつ、当該熱痕跡領域の温度が高いほど当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示の振動の周波数が高いという表現方法である。温度が高いほど強い表現方法の他の例は、熱痕跡領域の温度が高いほど当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の表示が明るいという表現方法である。温度が高いほど強い表現方法の他の例は、当該熱痕跡領域の温度が高いほど当該熱痕跡領域の部分や熱痕跡領域であることを示す情報の部分の表示の時間が長いという表現方法である。

原因領域の温度に応じて異なる表現方法の他の例は、熱痕跡領域の部分や熱痕跡領域であることを示す情報と共に温度の数値を表示するという表現方法である。原因領域の温度に応じて異なる表現方法の他の例は、熱痕跡領域の部分や熱痕跡領域であることを示す情報を温度に応じて異なる色で示すという表現方法である。この表現方法の例は、熱痕跡領域の温度が予め定められた閾値よりも高い場合には当該熱痕跡領域の部分や熱痕跡領域であることを示す情報を第一の色で表示し、そうではない場合には当該熱痕跡領域の部分や熱痕跡領域であることを示す情報を第二の色で表示するというものである。例えば、第一の色は赤であり、第二の色は青である。

情報出力部１８１は、図１９に例示するグループ情報テーブルを作成しておき、補助記憶装置１０２に記憶されている熱痕跡テーブルとグループ情報テーブルを参照して表示を行うようにしてもよい。図１９のグループ情報テーブルには、各熱痕跡領域に対応するレコードが格納されており、各レコードは、各熱痕跡領域が属するグループＩＤ、各熱痕跡領域の熱痕跡の原因となった領域の温度、各熱痕跡領域に対応する表示方法を特定するＩＤ、を含む。この例では、表示方法を特定するＩＤは、温度が高いほど大きな数字で表現されており、温度が高いほど強い表現で表示する場合には、情報出力部１８１は、表示方法を特定するＩＤが大きいほど強い表現方法とするようにすればよい。

［第四実施形態］
第一実施形態の熱痕跡領域抽出装置及び方法により、人が触れることにより温度が上昇した領域、言い換えれば新型コロナウイルス等のウイルスが付着している可能性がある領域をプロジェクタ等で投影することによりユーザに伝えることができる。しかし、プロジェクタが可視光で投影をすると、プロジェクタが投影した可視光も可視光カメラ２１が撮影してしまうことになり、撮影範囲に存在する人やモノなどにプロジェクタが投影した光による濃淡が重畳された可視画像が得られることになる。特にプロジェクタの出力が大きい場合には、可視画像には、撮影範囲に存在する人やモノの像にプロジェクタが投影した光による濃淡が強く重畳していることから、第一実施形態の熱痕跡領域抽出装置及び方法では熱痕跡領域を適切に抽出することができない可能性がある。

第四実施形態の熱痕跡領域抽出装置及び方法では、実体物を撮影するためのカメラとして、プロジェクタが投影する可視光の波長帯を撮影しない実体物カメラ２１０を可視光カメラ２１の代わりに用いることで、実体物カメラ２１０で得られる電磁波の波長帯とプロジェクタが投影する可視光の波長帯とが重ならないようにして、プロジェクタが投影した光が熱痕跡領域の抽出に影響しないようにする。

図２０に示すように、第四実施形態の熱痕跡領域抽出システム１は、熱痕跡領域抽出装置１０と実体物カメラ２１０とサーマルカメラ２２を備えている。図２０に示すように、第四実施形態の熱痕跡領域抽出装置１０は、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６、熱痕跡領域抽出部１７、情報出力部１８１を例えば備えている。実体物カメラ２１０とサーマルカメラ２２は第四実施形態の熱痕跡領域抽出装置１０と接続されており、実体物カメラ２１０とサーマルカメラ２２が撮影した画像が熱痕跡領域抽出装置１０に入力される。

第四実施形態の熱痕跡領域抽出方法は、熱痕跡領域抽出装置の各部が、図２１及び以下に示すステップＳ１０１からステップＳ１０９の処理を実行することにより実現される。以下、第一実施形態から第三実施形態と異なる部分を中心に説明する。第一実施形態から第三実施形態と同様の部分については重複説明を省略する。

実体物カメラ２１０、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、サーマルカメラ２２、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６及び熱痕跡領域抽出部１７は、それぞれ第一実施形態の変形例の実体物カメラ２１０、実体物画像取得部１１０、背景実体物画像生成部１２０、差分実体物画像生成部１３０、サーマルカメラ２２、熱画像取得部１４、背景熱画像生成部１５、差分熱画像生成部１６及び熱痕跡領域抽出部１７と同様である。

ただし、実体物カメラ２１０は、撮影する電磁波の波長帯が後述する要件を満たすカメラである。また、熱痕跡領域抽出部１７で抽出された熱痕跡領域を示す情報は、情報出力部１８１に入力されるとする。

第四実施形態では、情報出力部１８１は、プロジェクタの機能を有する。プロジェクタの機能を有する情報出力部１８１は、第一実施形態の熱痕跡領域出力部１８と同様にして、熱痕跡領域を示す情報を可視光で撮影範囲である或る範囲に投影する（Ｓ１０９）。

また、第四実施形態では、実体物カメラ２１０は、プロジェクタが投影する可視光の波長帯を撮影しないカメラである。すなわち、実体物カメラ２１０は、プロジェクタが投影する可視光の波長帯とは異なる波長帯の電磁波を撮影するカメラである。また、当然ながら、実体物カメラ２１０は、実体物が発する熱を撮影しないカメラである。すなわち、実体物カメラ２１０は、サーマルカメラ２２で得られる電磁波の波長帯とは異なる波長帯の電磁波を撮影するカメラである。また、当然ながら、情報出力部１８１が投影するのは可視光であるので、情報出力部１８１は、サーマルカメラ２２で得られる電磁波の波長帯とは異なる波長帯の可視光を投影する。以上のことから、実体物カメラ２１０で得られる電磁波の波長帯と、サーマルカメラ２２で得られる電磁波の波長帯と、情報出力部１８１により投影される可視光の波長帯とは、重ならないようにされる。なお、波長帯とは、電磁波又は可視光の強度が所定の強度以上である波長の範囲である。

例えば、情報出力部１８１により投影される可視光の波長帯を400nmから780nmとし、実体物カメラ２１０で得られる電磁波の波長帯を近赤外領域の波長帯（例えば780nmから2500nm）とし、サーマルカメラ２２で得られる電磁波の波長帯を熱線（遠赤外領域）の波長帯である8μmから14μmとする。近赤外領域の波長帯は、800nmから1000nmであってもよい。また、情報出力部１８１により投影される可視光の波長帯の上限を800nmとし、実体物カメラ２１０で得られる電磁波の波長帯の下限を850nmとし、サーマルカメラ２２で得られる電磁波の波長帯を8μmから14μmとしてもよい。

また、例えば、情報出力部１８１により投影される可視光の波長帯を400nmから600nmとし、実体物カメラ２１０で得られる電磁波の波長帯の下限を可視光の波長である600nmとし、サーマルカメラ２２で得られる電磁波の波長帯を8μmから14μmとしてもよい。この例のように、波長帯が重ならなければ、実体物カメラ２１０で得られる電磁波の波長帯と情報出力部１８１により投影される可視光の波長帯との両方が、可視光の波長帯であってもよい。

また、例えば、情報出力部１８１により投影される可視光の波長帯を600nmから800nmとし、実体物カメラ２１０で得られる電磁波の波長帯を400nmから600nmとし、サーマルカメラ２２で得られる電磁波の波長帯を8μmから14μmとしてもよい。この例のように、波長帯が重ならなければ、情報出力部１８１により投影される可視光の波長帯と実体物カメラ２１０で得られる電磁波の波長帯の順序は問わない。すなわち、実体物カメラ２１０で得られる電磁波の波長帯が、情報出力部１８１により投影される可視光の波長帯よりも、波長が長い方向に位置していることは必須ではなく、情報出力部１８１により投影される可視光の波長帯が、実体物カメラ２１０で得られる電磁波の波長帯がよりも、波長が長い方向に位置していてもよい。

なお、波長帯の制御は周知の技術で行えばよい。波長帯の制御は、予め定められた波長帯の電磁波及び可視光を通す物理的なフィルタを、実体物カメラ２１０のレンズ、サーマルカメラ２２のレンズ及び情報出力部１８１のプロジェクタの投写レンズに取り付けることで行うことができる。また、波長帯の制御は、信号処理により行われてもよい。例えば、情報出力部１８１は、投影用に生成した信号をフィルタリングして、フィルタリング後の信号に基づいて投影をすることで、波長帯の制御を行ってもよい。また、実体物カメラ２１０は、実体物カメラ２１０で取得した信号をフィルタリングして、フィルタリング後の信号から実体物画像を取得することで、波長帯の制御を行ってもよい。同様に、サーマルカメラ２２は、サーマルカメラ２２で取得した信号をフィルタリングして、フィルタリング後の信号から熱画像を取得することで、波長帯の制御を行ってもよい。

なお、第一実施形態の変形例及び第二実施形態及び第三実施形態の熱痕跡領域抽出装置及び方法においても、上記と同様にして、実体物カメラ２１０で得られる電磁波の波長帯と、サーマルカメラ２２で得られる電磁波の波長帯と、情報出力部１８１により投影される可視光の波長帯とが、重ならないようにしてもよい。すなわち、第一実施形態の変形例及び第二実施形態及び第三実施形態の熱痕跡領域抽出装置及び方法において、上記と同様にして、実体物カメラ２１０で得られる電磁波の波長帯と、サーマルカメラ２２で得られる電磁波の波長帯と、情報出力部１８１により投影される可視光の波長帯とが重ならないようにしたものも、第四実施形態に含まれる。

このように、実体物カメラ２１０で得られる電磁波の波長帯と、サーマルカメラ２２で得られる電磁波の波長帯と、情報出力部１８１により投影される可視光の波長帯とが重ならないようにすることで、情報出力部１８１により投影される可視光は、実体物カメラ２１０で撮影されなくなる。このため、第四実施形態の熱痕跡領域抽出装置及び方法では、熱痕跡領域を適切に抽出することができる。

なお、実体物カメラ２１０が得る電磁波の波長帯に照明などにより撮影範囲に存在する電磁波の波長帯が含まれない場合には、実体物カメラ２１０が得る波長帯の電磁波を照射する照射器４１で撮影範囲を照射してもよい。例えば、実体物カメラ２１０で得られる電磁波の波長帯が近赤外領域の波長帯であり、撮影範囲の照明が蛍光灯などの近赤外領域の波長帯を含まない照明である場合には、実体物カメラ２１０が得る近赤外領域の波長帯の電磁波を照射する照射器４１で撮影範囲を照射してもよい。この場合、第四実施形態の熱痕跡領域抽出システム１は、例えば図７、図９、図１３及び図２０に破線で示すように、照射器４１を更に備えていてもよい。

［第五実施形態］
第一実施形態から第四実施形態の熱痕跡領域抽出装置及び方法において、情報出力部１８１は様々なバリエーションで熱痕跡領域を示す情報を出力してもよい。第五実施形態の熱痕跡領域抽出装置及び方法は、第一実施形態から第四実施形態の熱痕跡領域抽出装置及び方法において、情報出力部１８１が様々なバリエーションで熱痕跡領域を示す情報を出力するものである。なお、記載の簡略化のために、第五実施形態では、第一実施形態及び第一実施形態の変形例の熱痕跡領域出力部１８のことを、情報出力部１８１と呼ぶことにする。

これまでに説明してきたように、情報出力部１８１は、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力するものである。以下、第一実施形態から第四実施形態の熱痕跡領域抽出装置及び方法と異なる部分を中心に説明する。第一実施形態から第四実施形態と同様の部分については重複説明を省略する。

（バリエーション１）
情報出力部１８１は、熱痕跡領域を示す情報を透過型ディスプレイに表示してもよい。透過型ディスプレイの例は、透過型のヘッドマウントディスプレイである。この場合には、情報出力部１８１は、透過型ディスプレイを備えて、透過型ディスプレイの位置や向きを検出することによって、透過型ディスプレイを介してユーザが視認する実空間（すなわち、実体物カメラ及びサーマルカメラの撮影範囲）に実在する熱痕跡領域と、透過型ディスプレイ上に表示される熱痕跡領域を示す情報と、が位置合わせされるようにする。これにより、ユーザは、透過型ディスプレイに表示された熱痕跡領域を示す情報が、透過型ディスプレイを介して視認される実空間に、重畳して表示されているように視認することができ、ウイルス等が付着している可能性がある場所を直感的に理解することができる。

（バリエーション２）
情報出力部１８１は、熱痕跡領域を示す情報を撮影範囲である或る範囲の画像又は映像に重ねてディスプレイに表示してもよい。
ディスプレイの例は、デジタルサイネージ、スマートフォン、タブレット端末、電光掲示板、ＴＶである。例えば、情報出力部１８１は、熱痕跡領域を示す情報を実体物画像又は可視画像に重ねてディスプレイに表示してもよい。実体物画像又は可視画像は、実体物画像取得部１１０又は可視画像取得部１１で取得された実体物画像又は可視画像である。また、例えば、情報出力部１８１は、可視光カメラ２１及び実体物カメラ２１０とは異なるカメラで撮影された、撮影範囲である或る範囲の画像又は映像に、熱痕跡領域を示す情報を重ねてディスプレイに表示してもよい。可視光カメラ２１及び実体物カメラ２１０とは異なるカメラの例は、スマートフォン又はタブレット端末に設けられたカメラである。

なお、例えば、AR(Augmented Reality)技術を用いて、撮影範囲である或る範囲の画像又は映像に熱痕跡領域を示す情報が重ねられてもよい。例えば、情報出力部１８１は、スマートフォン又はタブレット端末のディスプレイの位置や向きを検出することによって、ディスプレイを介さずにユーザが視認する実空間（すなわち、実体物カメラ及びサーマルカメラの撮影範囲）に実在する実体物と、ディスプレイに表示される画像又は映像に含まれる実体物の像と、が位置合わせされるように、熱痕跡領域を示す情報を或る範囲の画像又は映像に重畳した画像又は映像をディスプレイに表示する。この場合には、スマートフォン又はタブレット端末の位置及び角度に応じてディスプレイを介さずにユーザが視認する実空間とディスプレイに表示される空間とがリアルタイムに位置合わせされるため、ユーザはウイルス等が付着している可能性がある場所をより直感的に理解することができる。

（バリエーション３）
情報出力部１８１は、熱痕跡領域を示す情報を音で示してもよい。例えば、情報出力部１８１は、「ここをx名の人が触りました。」等の音声を出力してもよい。そのために、情報出力部１８１は、熱痕跡領域が抽出された回数xを記憶しておいてもよい。また、情報出力部１８１は、消毒後に熱痕跡領域が抽出された回数が所定の回数を超えた場合に、警告音を出力してもよい。警告音は音声であっても非音声であってもよい。

また、情報出力部１８１は、ユーザの動きに応じて警告の有無及び／または警告音を異ならせてもよい。
例えば、情報出力部１８１は、熱痕跡領域と、可視光カメラ２１又は実体物カメラ２１０で撮影された可視画像又は実体物画像に含まれる人物又は人物の手と、の距離が近いほど強い表現方法で表現された音を出力してもよい。熱痕跡領域と人物又は人物の手との距離が近いほど強い表現方法で表現された音の例は、熱痕跡領域と人物又は人物の手との距離が近いほど大きな音である。また、情報出力部１８１は、熱痕跡領域と、可視光カメラ２１又は実体物カメラ２１０で撮影された可視画像又は実体物画像に含まれる人物又は人物の手との距離が予め定められた距離以下の場合にのみ熱痕跡領域を示す情報を音で示してもよい。

なお、情報出力部１８１は、音伝達領域が異なる２以上の指向性スピーカを用いて、熱痕跡領域と人物又は人物の手との距離が近いほど強い表現方法で表現された音を出力してもよい。この場合、情報出力部１８１は、熱痕跡領域と音伝達領域の距離が近い指向性スピーカほど強い表現方法で表現された音を出力するように制御を行う。

（バリエーション４）
情報出力部１８１は、熱痕跡領域を示す情報をテキストで表示してもよい。例えば、情報出力部１８１は、熱痕跡領域を示す情報に対応するテキストを、電子メール、ショートメッセージサービス、SNS（Social Network Service）内の通知又はメッセージ機能で送信してもよい。熱痕跡領域を示す情報に対応するテキストは、例えば、撮影範囲の管理者、撮影範囲を消毒する者に送信される。熱痕跡領域を示す情報に対応するテキストの送信先は、１個以上の送信先であってもよいし、２個以上の送信先であってもよい。

なお、情報出力部１８１は、熱痕跡領域が抽出された回数xを記憶しておき、熱痕跡領域が抽出された回数が所定の回数を超えた場合に、熱痕跡領域を示す情報に対応するテキストを出力してもよい。また、情報出力部１８１は、「扉を誰かが触りました」等のテキストを、プロジェクタで投影してもよいし、ディスプレイに表示してもよい。ここでのディスプレイの例は、撮影範囲の近くに設置されたデジタルサイネージ、電光掲示板、ＴＶである。

（バリエーション５）
情報出力部１８１は、熱痕跡領域を示す情報に代えて、熱痕跡領域以外の領域を示す情報を出力してもよい。熱痕跡領域以外の領域は、人が触れることにより温度が上昇した領域ではない領域、言い換えれば新型コロナウイルス等のウイルスが付着している可能性が低い領域である。新型コロナウイルス等のウイルスが付着している可能性が低い領域を示すことで、触れても安全な領域をユーザに示すことができる。

例えば、情報出力部１８１は、熱痕跡領域以外の領域を示す情報を明るく表示してもよい。また、情報出力部１８１は、熱痕跡領域以外の領域を複数個の部分領域に分けて、いずれかの部分領域をランダムに選択して、選択した部分領域を示す情報を明るく表示してもよい。これにより、情報出力部１８１は、例えば手すりの中の、触れても安全な領域をユーザに示すことができる。なお、情報出力部１８１は、熱痕跡領域以外の領域を示す情報を、熱痕跡領域を示す情報よりも明るく表示してもよい。そのために、情報出力部１８１は、例えば、撮影範囲を予め明るく表示しておき、熱痕跡領域が抽出された場合に、抽出された熱痕跡領域を暗く表示する。

（バリエーション６）
情報出力部１８１は、熱痕跡領域として抽出された回数に応じて異なる表現方法で熱痕跡領域を示す情報を表示してもよい。すなわち、情報出力部１８１は、熱痕跡領域として抽出された回数に応じて異なる情報を熱痕跡領域を示す情報として出力してもよい。例えば、情報出力部１８１は、熱痕跡領域として抽出された回数が多い領域ほど強い表現方法で表示してもよい。例えば、情報出力部１８１は、図２２に例示するように、熱痕跡領域として抽出された回数が多い領域ほど濃い色で表示してもよい。このようにすることで、濃い色の領域ほど、触れてはいけないこと又は消毒する必要があることをユーザに伝えることができる。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (14)

1. 実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、
   前記情報出力部は、前記或る範囲に実在する熱痕跡領域と、透過型ディスプレイ上に表示される熱痕跡領域を示す情報と、が位置合わせされるように、前記熱痕跡領域を示す情報を前記透過型ディスプレイに表示する、
   熱痕跡領域抽出装置。
2. 実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、
   前記情報出力部は、前記或る範囲に実在する実体物と、ディスプレイ上に表示される画像又は映像に含まれる実体物の像と、が位置合わせされるように、前記熱痕跡領域を示す情報を前記或る範囲の画像又は映像に重畳した画像又は映像を前記ディスプレイに表示する、
   熱痕跡領域抽出装置。
3. 実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、
   前記情報出力部は、前記熱痕跡領域を示す情報を音で示す、
   熱痕跡領域抽出装置。
4. 実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、
   前記情報出力部は、前記熱痕跡領域を示す情報をテキストで表示する、
   熱痕跡領域抽出装置。
5. 実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域以外の領域を示す情報を出力する情報出力部を含む、
   熱痕跡領域抽出装置。
6. 実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力部を含み、
   前記情報出力部は、熱痕跡領域として抽出された回数に応じて異なる情報を前記熱痕跡領域を示す情報として出力する、
   熱痕跡領域抽出装置。
7. 請求項１から６の何れかの熱痕跡領域抽出装置であって、
   前記熱痕跡領域抽出装置は、
   前記実体物画像と、前記或る範囲の背景の実体物画像である背景実体物画像との間の差分の画像である差分実体物画像を生成する差分実体物画像生成部と、
   前記熱画像と、前記背景の熱画像である背景熱画像との間の差分の画像である差分熱画像を生成する差分熱画像生成部と、
   前記差分実体物画像と前記差分熱画像とに基づいて、前記熱画像から実体物の領域を取り除くことで熱痕跡領域を抽出する熱痕跡領域抽出部と、
   を含む、
   熱痕跡領域抽出装置。
8. 情報出力部が、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力ステップを含み、
   前記情報出力ステップは、前記或る範囲に実在する熱痕跡領域と、透過型ディスプレイ上に表示される熱痕跡領域を示す情報と、が位置合わせされるように、前記熱痕跡領域を示す情報を前記透過型ディスプレイに表示する、
   熱痕跡領域抽出方法。
9. 情報出力部が、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力ステップを含み、
   前記情報出力ステップは、前記或る範囲に実在する実体物と、ディスプレイ上に表示される画像又は映像に含まれる実体物の像と、が位置合わせされるように、前記熱痕跡領域を示す情報を前記或る範囲の画像又は映像に重畳した画像又は映像を前記ディスプレイに表示する、
   熱痕跡領域抽出方法。
10. 情報出力部が、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力ステップを含み、
    前記情報出力ステップは、前記熱痕跡領域を示す情報を音で示す、
    熱痕跡領域抽出方法。
11. 情報出力部が、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力ステップを含み、
    前記情報出力ステップは、前記熱痕跡領域を示す情報をテキストで表示する、
    熱痕跡領域抽出方法。
12. 情報出力部が、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域以外の領域を示す情報を出力する情報出力ステップを含む、
    熱痕跡領域抽出方法。
13. 情報出力部が、実体物を撮影するための実体物カメラで或る範囲を撮影することにより得られる実体物の画像である実体物画像と、実体物が発する熱を撮影するためのサーマルカメラで或る範囲を撮影することにより得られる実体物が発する熱の画像である熱画像と、に基づいて抽出された熱の痕跡の領域である熱痕跡領域を示す情報を出力する情報出力ステップを含み、
    前記情報出力ステップは、熱痕跡領域として抽出された回数に応じて異なる情報を前記熱痕跡領域を示す情報として出力する、
    熱痕跡領域抽出方法。
14. 請求項１から７の何れかの熱痕跡領域抽出装置の各部としてコンピュータを機能させるためのプログラム。

Images