WO2022013949A1 - 温度測定装置、端末装置、及び温度測定方法 - Google Patents

温度測定装置、端末装置、及び温度測定方法 Download PDF

Info

Publication number
WO2022013949A1
WO2022013949A1 PCT/JP2020/027400 JP2020027400W WO2022013949A1 WO 2022013949 A1 WO2022013949 A1 WO 2022013949A1 JP 2020027400 W JP2020027400 W JP 2020027400W WO 2022013949 A1 WO2022013949 A1 WO 2022013949A1
Authority
WO
WIPO (PCT)
Prior art keywords
thermal image
acquisition unit
image acquisition
thermal
measurement target
Prior art date
Application number
PCT/JP2020/027400
Other languages
English (en)
French (fr)
Inventor
佑介 金武
昌明 島田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022536023A priority Critical patent/JPWO2022013949A1/ja
Priority to PCT/JP2020/027400 priority patent/WO2022013949A1/ja
Publication of WO2022013949A1 publication Critical patent/WO2022013949A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the thermal image synthesis unit 14 has the following functions. i) Basic functions The thermal image synthesis unit 14 receives thermal image tps of a plurality of different thermal image acquisition regions having overlapping regions acquired by the thermal image acquisition unit 11, and synthesizes the received plurality of thermal image tps. Generate the combined thermal image cp. When the first thermal image 111 to the fourth thermal image 114 for the thermal image acquisition regions whose regions are different from each other shown in FIG. 4 are input from the thermal image acquisition unit 11 from the thermal image acquisition unit 14, the thermal image synthesis unit 14 becomes the first.
  • the thermal image acquisition unit 11 acquires each of a plurality of thermal image tps in chronological order.
  • a position such as a related part or an object part obtained from a plurality of captured images p of the captured image acquisition unit 13 acquired in chronological order at a timing synchronized with the timing and obtained from the received plurality of captured images p.
  • the positional deviation between the estimation parts is detected, and the positions of the plurality of thermal image tps from the thermal image acquisition unit 11 are corrected based on the positional deviation between the position estimation parts.
  • the thermal image synthesizing unit 14 generates a synthetic thermal image cp by synthesizing the thermal image tp whose position is corrected, and gives it to the temperature acquisition unit 15.
  • the control unit 16 controls the thermal image synthesis unit 14.
  • the thermal image synthesis unit 14 is obtained from the fourth captured image p acquired by the captured image acquisition unit 13. It is detected that the orientation of the position estimation portion is changed with respect to the orientation of the position estimation portion obtained from the first captured image p.
  • the thermal image synthesizing unit 14 discards the fourth thermal image, generates a composite thermal image cp that synthesizes the first thermal image to the third thermal image, and generates a temperature. It is given to the acquisition unit 15.
  • step ST8 the thermal image synthesizing unit 14 is temperature-corrected by the thermal image tp from the thermal image acquisition unit 11 in step ST7, the thermal image tp from the thermal image acquisition unit 11 temperature-corrected by step ST14, or step ST7A.
  • the thermal image tp from the thermal image acquisition unit 11 is accumulated, and it is determined whether n reaches N.
  • step ST8 if n has reached N, the process proceeds to step ST9, and if n has not reached N, the process proceeds to step ST10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Radiation Pyrometers (AREA)

Abstract

熱画像取得領域の熱画像を取得する熱画像取得部11と、熱画像取得部11が取得した重複領域を有する互いに異なる複数の熱画像取得領域の熱画像を受け、当該受けた複数の熱画像を合成した合成熱画像を生成する熱画像合成部14と、撮像画像取得領域の撮像画像を取得する撮像画像取得部13と、撮像画像取得部13が取得した撮像画像に基づき、熱画像合成部14が生成した合成熱画像から温度測定対象における測定対象部位の温度を取得する温度取得部15とを備える。

Description

温度測定装置、端末装置、及び温度測定方法
 本開示は、温度測定対象における測定対象部位の温度を測定する温度測定装置、当該温度測定装置に取得された温度情報を表示する端末装置、及び温度測定方法に関する。
乗員の顔面の特定部位の温度を赤外線センサで検出し、空調制御コンピュータが検出した温度に基づいて空調制御の制御量を演算することにより、特定部位の皮膚温度に基づいて空調制御を行う車両用空気調和装置が特許文献1に示されている。
特開2004-359130号公報
 特許文献1に示される従来の技術は、顔面の特定部位の温度を検出しているため 、赤外線センサの個数を削減でき、測定場所の違いによる空調制御性の悪化を防げる。
 しかし、赤外線センサは、安価なものは解像度が低く、顔面の特定部位の温度を検出するものとしても、顔面の特定部位の温度と周辺温度との差が小さい場合、及び赤外線センサと乗員との距離が大きい場合、特定部位の温度を正確に取得できない恐れがある。
 本開示はこのような課題を解決するためになされたものであり、温度測定対象における測定対象部位と当該測定対象部位の周辺温度との差が小さい場合、あるいは温度測定対象と温度測定対象に対する熱画像取得領域の熱画像を取得する熱画像取得部との距離が大きい場合、いずれの場合でも正確に測定対象部位の温度を取得できる温度測定装置を得ることを目的とする。
 本開示に係る温度測定装置は、熱画像取得領域の熱画像を取得する熱画像取得部と、熱画像取得部が取得した重複領域を有する互いに異なる複数の熱画像取得領域の熱画像を受け、当該受けた複数の熱画像を合成した合成熱画像を生成する熱画像合成部と、撮像画像取得領域の撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像に基づき、熱画像合成部が生成した合成熱画像から温度測定対象における測定対象部位の温度を取得する温度取得部とを備える。
 本開示によれば、熱画像取得領域の熱画像を複数の熱画像を合成した合成熱画像とすることにより、測定対象部位の熱画像を高解像度化及び高SN比を実現でき、対象部位の温度を精度良く測定でき、測定対象部位とその周辺温度との差が小さい場合、あるいは熱画像取得部と温度測定対象との距離が大きい場合、いずれの場合でも正確に測定対象部位の温度を取得できる効果を有する。
実施の形態1に係る温度測定装置1を示すブロック図である。 実施の形態1に係る温度測定装置1を車両内に取り付け状態の一例を示す概略図である。 温度測定対象3が静止している場合の、実施の形態1に係る温度測定装置1における熱画像取得部11及び撮像画像取得部13と温度測定対象(搭乗者)3との関係を示す概略図である。 温度測定対象3が静止している場合の、実施の形態1に係る温度測定装置1における熱画像取得部11が取得した複数の熱画像tpの一例を示す図である。 温度測定対象3が静止している場合の、実施の形態1に係る温度測定装置1における撮像画像取得部13が取得した撮像画像pの一例を示す模式図である。 温度測定対象3が横方向に動いた場合の、実施の形態1に係る温度測定装置1における熱画像取得部11及び撮像画像取得部13と温度測定対象3との関係を示す概略図である。 温度測定対象3が横方向に動いた場合の、実施の形態1に係る温度測定装置1における熱画像取得部11が取得した複数の熱画像tpの一例を示す図である。 温度測定対象3が横方向に動いた場合の、実施の形態1に係る温度測定装置1における撮像画像取得部13が取得した撮像画像pの一例を示す模式図である。 実施の形態1に係る温度測定装置1における熱画像取得部11と温度測定対象3の測定対象部位との距離と、温度測定装置1に測定された温度測定対象3における測定対象部位の温度との関係を示す図である。 温度測定対象3が撮像画像取得部13に対し正面を向いた場合の正面模式図である。 温度測定対象3が撮像画像取得部13に対し正面を向いた場合の上面模式図である。 温度測定対象3が撮像画像取得部13に対し斜めを向いた場合の正面模式図である。 温度測定対象3が撮像画像取得部13に対し斜めを向いた場合の上面模式図である。 温度測定対象3が撮像画像取得部13に対し傾斜した場合の正面模式図である。 温度測定対象3が撮像画像取得部13に対し傾斜した場合の上面模式図である。 実施の形態1に係る温度測定装置における、温度測定の動作を示すフローチャートである。
実施の形態1.
 温度測定対象3における測定対象部位の温度を測定する温度測定装置1を、車両用空気調和装置に適用した場合について説明する。
 特に、温度測定対象3である車両内の搭乗者、主として運転者の状態を可視カメラ又はCCDカメラなどの撮像手段で監視し、搭乗者への注意喚起を行うドライバーモニタリングシステムに温度測定装置1を付加した例について、図1及び図2に基づいて説明する。
 温度測定装置1は、温度測定対象3における測定対象部位、この実施の形態1では、搭乗者の顔の頬、額、首などの測定対象部位の皮膚温度を測定する。以下、温度測定対象3を搭乗者として説明する。また、以下、測定対象部位の皮膚温度を、簡略化して測定対象部位の温度と記載する。
 温度測定装置1は、図1に示すように、熱画像取得部11と、領域調整用駆動部12と、撮像画像取得部13と、熱画像合成部14と、温度取得部15と、制御部16とを備える。
 温度測定装置1の温度取得部15に取得された温度による温度情報は端末装置17に出力される。端末装置17は、温度測定装置1から入力された温度情報に基づいた温度を表示する、例えば、液晶ディスプレイなどの表示手段を有するスマートフォン又はタブレットなどのスマートデバイスである。端末装置17は、制御部16と例えば無線通信により通信されるものであり、温度、さらには合成熱画像をリアルタイムに表示する。ドライバーモニタリングシステムに適用すれば、温度を表示するとともに、表示した温度により判断される搭乗者の状態を合わせて表示してもよいし、表示した温度に基づいて空調における自動制御の状態を表示してもよい。
 制御部16は、熱画像取得部11と撮像画像取得部13と領域調整用駆動部12と熱画像合成部14と温度取得部15を制御する。制御部16の制御は、熱画像取得部11と撮像画像取得部13と領域調整用駆動部12と熱画像合成部14と温度取得部15の動作をシーケンシャルに実行するための制御信号を出力することにより行われる。
 制御部16と、領域調整用駆動部12と熱画像合成部14と温度取得部15は、これらを含むマイクロコンピュータによって構成される。空調制御コンピュータに組み込まれてもよい。
 温度測定装置1は、図2に示すように、車両内のダッシュボード2の上に設置される。温度測定装置1は必ずしもダッシュボード2の上に設置される必要はなく、どこに設置されてもよい。例えば車内のルームミラーに設置されてもよい。
 図2中にxyz直交座標系の座標軸を示す。車両の進行方向に対し垂直で、左右の方向がx軸方向を示し、搭乗者3の座席位置を中心に車両の進行方向の右側を+x方向、左側を-x方向とする。車両の進行方向がy軸方向を示し、搭乗者3の座席位置を中心に前が+y方向、後ろが-y方向とする。車両の上下方向がz軸方向を示し。搭乗者3の測定対象部位を中心に上が+z方向、下が-z方向とする。
 他の図におけるxyz直交座標は同じである。
 以下、図1を中心に各構成要素について説明する。
 熱画像取得部11は、一次元又は二次元状に配置された複数の遠赤外線検出画素(以下、単に画素と称す)を有するセンサとしての遠赤外線カメラである。熱画像取得部11は、搭乗者3の熱画像取得領域から放射された遠赤外線を検出することにより、搭乗者3に対する熱画像取得領域の温度分布を熱画像tpとして取得する。その結果、測定したい測定対象部位、例えば、頬、額、首などの測定対象部位での温度を測定できる。測定対象部位は頬、額、首のいずれかであればよい。
 熱画像tpは、この実施の形態1では二次元の場合を示しており、複数行、複数列のマトリクスに配置された画素に基づく画像であり、画素の画素値が温度を示す。1画素が1[pixel]である。
 熱画像取得部11は、センサ対象とする範囲、つまり、搭乗者3に対する熱画像取得領域を調整するための回転機構を持ち、車両内に設置される。熱画像取得領域は初期設定として、撮像画像取得部13が取得した撮像画像pに基づき推定された搭乗者3の測定対象部位に焦点位置が設定される。例えば、撮像画像pに基づき推定された搭乗者3の額に焦点位置が設定されるように初期設定され、額を中心点として、x軸方向及びz軸方向、つまり、左右方向及び上下方向に領域調整用駆動部12からの駆動信号DSにより駆動されて熱画像取得領域が変化させられる。
 撮像画像取得部13が取得した撮像画像pに基づく搭乗者3の測定対象部位の設定は、制御部16の管理の下、熱画像合成部14及び温度取得部15が、撮像画像取得部13が取得した撮像画像pから通常の方法により測定対象部位を認識することにより行われる。
 熱画像合成部14は、認識した測定対象部位により、熱画像取得部11の方向を算出し、算出した方向を示す情報に基づいた指令情報iを領域調整用駆動部12に与える。
 領域調整用駆動部12は指令情報iに基づき、駆動信号DSを熱画像取得部11に出力し、熱画像取得部11の焦点位置が搭乗者3の測定対象部位になるように熱画像取得部11の向きを初期設定する。
 熱画像取得部11は、制御部16からの同期信号CSにより時系列順のタイミングにより、熱画像取得領域の熱画像tpを取得し、熱画像tpを出力する。熱画像取得部11は、熱画像tpを取得するタイミングと同期した領域調整用駆動部12からの駆動信号DSにより、熱画像tpの取得直前に熱画像取得領域が変化されるよう駆動制御される。
 この実施の形態1では、熱画像取得部11は同期信号CSにより1サイクル当たりN回のタイミングで熱画像取得領域が左右方向及び上下方向に微小に動かされながら熱画像取得領域の熱画像tpを取得する。Δtの間隔でN回、熱画像取得領域の熱画像tpを取得し、サイクルごとに繰り返させる。
 熱画像取得部11により取得される1サイクル分の熱画像tpを図4に示す。図4に示す例は、Nが4である。図4は、図3に示すように搭乗者3が地点Bに静止している状態での、熱画像取得領域がΔtの時間間隔でx軸方向に等間隔ΔD移動するように熱画像取得部11が駆動され、順番に取得された第1の熱画像111から第4の熱画像114を示す。
 第1の熱画像111は1サイクルの開始時に初期設定された後の熱画像取得部11からの熱画像tpである。
 第2の熱画像112は、第1の熱画像111から、熱画像取得部11の微小動作に伴い+x方向に間隔ΔD変更された熱画像取得領域により、矢印4で示す画素ズレΔdが生じた熱画像tpである。
 第3の熱画像113は、第2の熱画像112から、熱画像取得部11の微小動作に伴い+x方向に間隔ΔD変更された熱画像取得領域により、矢印4で示す画素ズレΔdが生じた熱画像tpである。
 第4の熱画像114は、第3の熱画像113から、熱画像取得部11の微小動作に伴い+x方向に間隔ΔD変更された熱画像取得領域により、矢印4で示す画素ズレΔdが生じた熱画像tpである。
 第1の熱画像111から第4の熱画像114は、順に画素ズレΔdが生じているものの、搭乗者3を示す熱画像tpの座標軸におけるz方向の中心線は点線5に示すように一致しており、測定対象部位も一致する。
 第1の熱画像111から第4の熱画像114を合成したとしても、測定対象部位が位置ずれすることなく合成でき、熱画像として解像度及びSN比が向上する。
 なお、図4では、第1の熱画像111から第4の熱画像114は、y軸方向及びz軸方向にずれて記載しているが、説明の都合上ずれて記載しているものであり、座標軸上はy軸方向及びz軸方向は一致しており、x軸方向のみ画素ズレΔdづつ+x方向にずれている。
 すなわち、熱画像取得部11は、重複領域を有する互いに異なる複数の熱画像取得領域の熱画像tp、つまり、間隔ΔDづつずれた4つの熱画像取得領域の熱画像111~114を熱画像合成部14に出力する。
 なお、1サイクル当たり4つの熱画像tpを取得しているが、4つに限られるものではなく、複数であればよい。
 また、熱画像取得領域を変更させる方向として+x方向としたが、-x方向でもよく、+z方向、-z方向、x軸方向とz軸方向とを混合した方向に変更してもよい。
 また、図7は、図6に示すように搭乗者3が1サイクル内に、矢印6で示すように地点Bから地点Cに横方向、つまり、-x方向に動いた状態での、熱画像取得領域がΔtの時間間隔でx軸方向に等間隔ΔD移動するように熱画像取得部11が駆動され、順番に取得された第5の熱画像115から第7の熱画像117を示す。図7に示す例は、Nは3である。
 第5の熱画像115は1サイクルの開始時に初期設定された熱画像取得部11からの熱画像tpである。
 第6の熱画像116は、第5の熱画像115から、熱画像取得部11の微小動作に伴い+x方向に間隔ΔD変更された熱画像取得領域により、矢印4で示す画素ズレΔdが生じた熱画像tpである。
 第7の熱画像117は、第6の熱画像116から、熱画像取得部11の微小動作に伴い+x方向に間隔ΔD変更された熱画像取得領域により、矢印4で示す画素ズレΔdが生じた熱画像tpである。
 第5の熱画像115及び第6の熱画像116は、画素ズレΔdが生じているものの、搭乗者3を示す熱画像tpの座標軸におけるz方向の中心線は点線7aに示すように一致している。
 一方、搭乗者3が地点Bから地点Cに横方向に動いたことにより、第7の熱画像117における搭乗者3を示す熱画像の座標軸におけるz方向の中心線7bは第5の熱画像115及び第6の熱画像116における搭乗者3を示す熱画像tpの座標軸におけるz方向の中心線7aに対して-x方向に位置ずれgを生じている。
 第7の熱画像117を+x方向に位置ずれgを移動する補正を行うことにより、z方向の中心線7bとz方向の中心線7aが一致する。
 第5の熱画像115及び第6の熱画像116と+x方向に位置ずれgを補正した第7の熱画像117を合成したとしても、測定対象部位が位置ずれすることがなく合成でき、熱画像として解像度及びSN比が向上する。
 なお、図7では、第5の熱画像115から第7の熱画像117は、y軸方向及びz軸方向にずれて記載しているが、説明の都合上ずれて記載しているものであり、座標軸上はy軸方向及びz軸方向は一致しており、x軸方向のみ画素ズレΔdづつ+x方向にずれている。
 この例においても、熱画像取得部11は、重複領域を有する互いに異なる複数の熱画像取得領域の熱画像tpを熱画像合成部14に出力する。
 なお、1サイクル当たり3つの熱画像tpを取得しているが、3つに限られるものではなく、複数であればよい。
 また、熱画像取得領域を変更させる方向として+x方向としたが、-x方向でもよく、+z方向、-z方向、x軸方向とz軸方向とを混合した方向に変更してもよい。
 さらに、図6及び図7に示した例では、搭乗者3が-x方向に動いた場合を示しているが、+x方向に動いた場合、+z方向に動いた場合、-z方向に動いた場合にも、上記と同様の考え方を適用できる。
 領域調整用駆動部12は、熱画像合成部14からの指令情報iに基づき、熱画像取得領域を調整するための駆動信号DSを熱画像取得部11に出力する。駆動信号DSは、熱画像取得部11をその熱画像tpの取得方向を上下方向及び左右方向に動かす信号である。
 撮像画像取得部13は可視カメラ又はCCDカメラなどの撮像手段である。撮像画像取得部13はドライバーモニタリングシステムにおける撮像手段を利用することにより、温度測定装置1として、専用の撮像手段を設けなくても良い。
 熱画像取得部11として用いられる遠赤外線カメラが低解像度であるのに対して、撮像画像取得部13として用いられる可視カメラ又はCCDカメラは高解像度である。
 撮像画像取得部13における撮像画像pの解像度は熱画像取得部11における熱画像tpの解像度より高い。言い換えれば、熱画像取得部11における熱画像tpの解像度は撮像画像取得部13における撮像画像pの解像度より低いものを用いることができ、熱画像取得部11として安価なものを利用できる。撮像画像pは、複数行、複数列のマトリクスに配置された画素に基づく画像である。
 撮像画像取得部13は、搭乗者3に対する撮像画像取得領域を撮影することにより、搭乗者3を含む領域の輝度分布を撮像画像pとして取得する。その結果、測定対象部位と、測定対象部位に近接する近接部位、測定対象部位と関連する関連部位と、関連部位に装着された物体における物体部位を含む画像が撮像画像pとして取得される。
 測定対象部位と、測定対象部位に近接する近接部位、測定対象部位と関連する関連部位と、関連部位に装着された物体における物体部位の少なくとも一つの部位が、位置推定用部位として利用される。この実施の形態1では関連部位および物体部位を位置推定用部位とした例について説明する。位置推定用部位として関連部位単独であってもよい。
 測定対象部位と関連する関連部位は、例えば、両目、鼻、口などであり、両目と口、両目と鼻、両目と鼻と口のいずれかであればよい。
 関連部位に装着された物体における物体部位は、例えば搭乗者が装着するメガネ又はマスクなどである。
 以下の説明では主として関連部位は両目と口を、物体部位はメガネを用いた場合について説明する。
 撮像画像取得部13は搭乗者3が車内の座席に着席したとき、搭乗者3の上半身、少なくとも胸より上部が撮影できるようにダッシュボード2の上に固定される。その結果、撮影対象となる範囲、つまり、搭乗者3に対する撮像画像取得領域に搭乗者3の上半身が含まれ、測定対象部位と、近接部位と、関連部位と、物体部位が含まれる。
 撮像画像取得領域は熱画像取得領域より広範囲である。
 撮像画像取得部13は、熱画像取得部11が熱画像tpを取得するタイミングと同期したタイミングで撮像画像pを取得する。つまり、撮像画像取得部13は、制御部16からの同期信号CSにより時系列順のタイミングにより、撮像画像取得領域を撮影して撮像画像pを取得し、撮像画像pを出力する。
 撮像画像取得部13により取得される1サイクル分の撮像画像pの模式図を図5及び図8に示す。
 図5に示す例は、Nが4であり、図3に示すように搭乗者3が地点Bに静止している状態での模式化した図である。4枚の第1の撮像画像131から第4の撮像画像134が同じであるので、1枚の撮像画像を代表して示している。
 図8に示す例は、Nが3であり、図6に示すように搭乗者3が1サイクル内に、矢印6で示すように地点Bから地点Cに-x方向に動いた状態での模式化した図である。第5の撮像画像135と第6の撮像画像136は模式化した撮像画像を図中実線で示すように同じである。
 第7の撮像画像137は、模式化した撮像画像を図中点線で示すように、搭乗者3の位置が第5の撮像画像135と第6の撮像画像136における搭乗者3の位置に対して矢印8で示すように-x方向に位置ずれGを生じている。
 この位置ずれGと図7に基づいて説明した位置ずれgとは相関関係があり、位置ずれGに基づき第7の熱画像117における位置ずれgの補正を行うことできる。
 すなわち、撮像画像取得部13により取得される撮像画像pを処理することにより、関連部位及び物体部位などの位置推定用部位の位置を推定できる。この推定された位置推定用部位の位置は測定対象部位の位置の推定に用いることができる。
 撮像画像取得部13により取得される撮像画像pは熱画像合成部14及び温度取得部15に出力される。
 熱画像合成部14は、次の機能を有する。
 i)基本的な機能
 熱画像合成部14は、熱画像取得部11が取得した重複領域を有する互いに異なる複数の熱画像取得領域の熱画像tpを受け、当該受けた複数の熱画像tpを合成した合成熱画像cpを生成する。
 熱画像合成部14は、熱画像取得部11から図4に示した互いに領域が異なる熱画像取得領域に対する第1の熱画像111から第4の熱画像114が時系列順に入力されると、第1の熱画像111から第4の熱画像114は座標軸におけるz方向の中心線5が一致しているので、第1の熱画像111から第4の熱画像114を合成し、合成熱画像cpを生成する。合成熱画像cpは温度取得部15に与えられる。
 合成熱画像cpの解像度及びSN比は、第1の熱画像111から第4の熱画像114それぞれの解像度及びSN比より高く、熱画像として解像度及びSN比が向上する。
 熱画像取得部11として一般的に安価な遠赤外線カメラを用いた場合、熱画像取得部11と搭乗者3との距離が大きいと、遠赤外線カメラは低解像度のため、取得される熱画像の最小単位である1[pixel]内に測定対象部位以外の箇所も含まれてしまう場合がある。
 この実施の形態1では、熱画像取得部11が取得した複数の熱画像tpを合成した合成熱画像cpとして扱うため、実質、高解像度な熱画像から測定対象部位の温度を精度良く取得できる。
 熱画像として解像度及びSN比が向上することにより、測定対象部位とその周辺温度との差が小さい場合、あるいは熱画像取得部と温度測定対象との距離が大きい場合、いずれの場合でも正確に測定対象部位の温度を取得できる。
 ii)領域調整用駆動部12への指令
 熱画像合成部14は、熱画像取得部11からの複数の熱画像tpを得るために指令情報iを領域調整用駆動部12に与える。指令情報iは領域調整用駆動部12からの駆動信号DSに対する情報であり、制御部16の管理の下、制御される。
 iii)撮像画像取得部13からの撮像画像pにおける位置推定用部位の認識
 熱画像合成部14は、熱画像取得部11が熱画像tpを取得するタイミングと同期したタイミングで取得する撮像画像取得部13の撮像画像pを受け、当該受けた撮像画像pから、関連部位あるいは物体部位などのいずれかである位置推定用部位を認識する。
 熱画像合成部14は、位置推定用部位が認識できない撮像画像pを取得した場合、取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像tpを、蓄積せずに破棄する。
 熱画像合成部14は、当該破棄した熱画像tpを除いた熱画像tpを合成した合成熱画像cpを生成し、温度取得部15に与える。
 合成熱画像cpを合成する熱画像tpから位置推定用部位が認識できない撮像画像pと同じタイミングで取得した熱画像取得部11からの熱画像tpを破棄することにより、位置補正を行っても正常に合成できない熱画像tpを除け、熱画像tpを精度良く合成できる。
 iv)熱画像取得部11と測定対象部位との第1の距離の算出と、距離に応じた熱画像tpの温度補正
 熱画像合成部14は、撮像画像取得部13が取得した撮像画像pから得られた位置推定用部位の位置に基づき撮像画像取得部13と測定対象部位との第2の距離を算出する。位置推定用部位として関連部位とした場合、推定した関連部位の位置に基づき撮像画像取得部13と関連部位との距離を算出できる。そして、関連部位と測定対象部位との位置関係から、撮像画像取得部13と関連部位との距離に基づき、撮像画像取得部13と測定対象部位との第2の距離を算出する。
 熱画像合成部14は、算出した第2の距離に基づいて、熱画像取得部11と測定対象部位との第1の距離を算出する。
 熱画像合成部14は、熱画像取得部11からの熱画像tpの温度を、算出した第1の距離に応じて補正することにより、熱画像取得部11の熱画像tpの温度補正を行う。この熱画像tpの温度補正とは、熱画像tpにおける各画素の画素値を第1の距離に基づいて補正することを意味する。
 熱画像合成部14は、当該温度を補正した熱画像tpを合成した合成熱画像cpを生成し、温度取得部15に与える。
 このように、第2の距離を算出し、第1の距離を算出して熱画像tpの温度補正を行うことにより、熱画像取得部11における熱画像tpの測定対象部位における温度を推定する精度が向上する。
 すなわち、熱画像取得部11と測定対象部位との第1の距離の算出に、撮像画像取得部13が取得した撮像画像pから得られた位置推定用部位の位置に基づき算出された撮像画像取得部13と測定対象部位との第2の距離を用いることにより、関連部位あるいは物体部位などのいずれかである位置推定用部位を容易に認識でき、その結果、第1の距離を精度高く推定できる。
 そして、第1の距離に応じて熱画像取得部11からの熱画像tpの温度を補正することにより、熱画像取得部11と測定対象部位との距離による計測温度の変動を抑えることができる。その結果、合成熱画像cpとして、熱画像取得部11と測定対象部位との距離による計測温度の変動が抑えられ、熱画像取得部11からの複数の熱画像tpを精度良く合成できる。
 熱画像合成部14による、第1の距離に応じた、熱画像取得部11からの熱画像tpにおける測定対象部位の温度の補正は次のようにして行われる。
 図9は温度測定対象3における測定対象部位の温度測定結果を示し、横軸が熱画像取得部11と温度測定対象3における測定対象部位との距離、つまり、第1の距離を、縦軸が測定対象部位の温度測定結果を示す。図中、黒丸が温度測定結果、点線が温度測定結果の近似曲線である。
 図9から明らかなように、熱画像取得部11と温度測定対象3における測定対象部位との距離が大きくなるにつれて、測定対象部位の温度は近似曲線に沿って低くなる。
 従って、図9に示した近似曲線から多項式を求め、この多項式を熱画像合成部14に予め格納しておく。多項式は、図9の縦軸が温度を示しているので、温度を熱画像tpの画素値に変更して求めた式である。
 熱画像合成部14が熱画像取得部11からの熱画像tpを受けると、同じタイミングで受けた撮像画像取得部13からの撮像画像pに基づいて求められた第1の距離から格納された多項式により、熱画像tpの各画素の画素値、つまり、温度を示す値を算出し、温度補正された熱画素を算出する。
 なお、熱画像取得部11が熱画像取得領域を初期設定したときの熱画像取得部11と測定対象部位との距離を基準距離として、撮像画像取得部13からの撮像画像pに基づいて求められた第1の距離と基準距離との差から、熱画像tpの各画素の画素値を補正してもよい。
 多項式を熱画像合成部14に格納するものを示したが、記憶部(図示せず)に格納し、制御部16により記憶部から多項式を読み出すものでも良い。
 また、撮像画像取得部13と測定対象部位との第2の距離の算出は、次のようにして行われる。
 撮像画像取得部13が、図10及び図11に模式図として示す正面を向いた搭乗者3の画像を取得した場合について説明する。図10及び図11に示した模式図は両目と口のみを示している。
 撮像画像取得部13は顔の中心と同じy軸上にあるようにダッシュボード2の上に固定されている。
 両目間の実距離(単位は[cm])は人の一般的な値として固定値とみなせば、撮像画像取得部13と搭乗者3の測定対象部位との距離は、撮像画像取得部13に取得される撮像画像pにおける両目の画素間隔(単位は[pixel])より算出できる。撮像画像取得部13の解像度と画角の情報は撮像画像取得部13の仕様によって決められており、既知である。この場合、両目が関連部位であり、位置測定用部位である。
 図10に示すように、撮像画像取得部13に対し搭乗者3が正面を向いた場合、撮像画像pは、両目のz座標が等しく、かつ口のx座標が両目のx座標の中心となる。図示していないが、鼻のx座標も両目のx座標の中心となる。この場合、図11に示すように、両目のy座標は同じとなる。よって、両目のx座標の間隔である図11に示した点Dと点Eの間隔が、そのまま、撮像画像pにおける両目の画素間隔に対応する。
 撮像画像pにおいて、熱画像合成部14が口のx座標が両目のx座標の中心にあることを認識すると、搭乗者3が正面を向いていると判断する。
 従って、撮像画像pにおける両目の画素間隔を熱画像合成部14が求めることにより、撮像画像取得部13と測定対象部位との第2の距離の算出ができる。
 この例において、位置測定用部位は、両目及び口の関連部位である。
 なお、口の代わりに鼻を用いても同じであり、口と鼻両者を用いても良い。
 次に、撮像画像取得部13が、図12及び図13に模式図として示す斜めを向いた搭乗者3の画像を取得した場合について説明する。図12及び図13に示した模式図は両目と口のみを示している。
 撮像画像取得部13は顔の中心と同じy軸上にあるようにダッシュボード2の上に固定されている。
 図12に示すように、撮像画像取得部13に対し搭乗者3が斜めを向いた場合、撮像画像pは、両目のz座標が等しく、かつ口のx座標が両目のx座標の中心からずれた位置になる。図示していないが、鼻のx座標も口と同様に両目のx座標の中心からずれた位置になる。この場合、図13に示すように、両目のy座標は同じとはならない。
 最終的に求める両目の画素間隔は、図13における点Fと点Gの間隔に相当する間隔である。しかし、撮像画像取得部13から取得される撮像画像pにより、直接求めることができるのは図13における点Gと点Hの間隔に相当する間隔である。
 熱画像合成部14が口のx座標が両目のx座標の中心からずれた位置であることを認識すると、搭乗者3が斜めを向いていると判断する。
 従って、熱画像合成部14は、図13における角度θ、すなわち顔向き方向を公知の技術を用いて、撮像画像取得部13から取得される撮像画像pにより求める。
 熱画像合成部14は、撮像画像pにより求めた点Gと点Hの間隔に相当する間隔及び角度θにより、点Fと点Gの間隔を、撮像画像pにおける両目の画素間隔として算出する。
 すなわち、撮像画像pにおける両目の画素間隔を、熱画像合成部14が求めることにより、撮像画像取得部13と測定対象部位との第2の距離の算出ができる。
 この例において、位置測定用部位は、両目及び口の関連部位である。
 なお、口の代わりに鼻を用いても同じであり、口と鼻両者を用いても良い。
 また、撮像画像取得部13が、図14及び図15に模式図として示す顔が傾斜した搭乗者3の画像を取得した場合について説明する。図14及び図15に示した模式図は両目と口のみを示している。
 撮像画像取得部13は顔の中心と同じy軸上にあるようにダッシュボード2の上に固定されている。
 図14に示すように、搭乗者3の顔が傾斜した場合、撮像画像pは両目のz座標が等しくないので、熱画像合成部14が搭乗者3の顔が傾斜していると判断する。
 従って、熱画像合成部14は、撮像画像pを両目のz座標が等しくなるように回転させる。
 両目のz座標を等しくなるように回転させた撮像画像pにおいて、熱画像合成部14が口のx座標が両目のx座標の中心からずれた位置であることを認識すると、図12及び図13において説明した考え方と同じに、熱画像合成部14が、回転させた撮像画像pにおける両目の画素間隔に基づき、撮像画像取得部13と測定対象部位との第2の距離を算出する。
 一方、両目のz座標を等しくなるように回転させた撮像画像pにおいて、熱画像合成部14が口のx座標が両目のx座標の中心にあることを認識すると、図10及び図11において説明した考え方と同じに、熱画像合成部14が、回転させた撮像画像pにおける両目の画素間隔により、撮像画像pにおける両目の画素間隔として算出し、算出した両目の画素間隔に基づき、撮像画像取得部13と測定対象部位との第2の距離を算出する。
 この例において、位置測定用部位は、両目及び口の関連部位である。
 なお、口の代わりに鼻を用いても同じであり、口と鼻両者を用いても良い。
 図10及び図11、図12及び図13、図14及び図15に示したそれぞれの例において、撮像画像取得部13と測定対象部位との第2の距離、さらには熱画像取得部11と測定対象部位との第1の距離を算出するための位置測定用部位として、両目と鼻、両目と口、両目と鼻と口のいずれかである関連部位を用いたものを示したが、関連部位に装着された物体における物体部位であっても良い。
 関連部位に装着された物体をメガネにした場合、メガネの形状から両目と鼻の位置を推定し、この推定した部位を物体部位とすれば、位置測定用部位を両目と鼻とした場合と同様に、撮像画像取得部13と搭乗者3の測定対象部位との第2の距離を算出できる。
 搭乗者3がメガネを装着していない場合は、熱画像合成部14が位置測定用部位として関連部位である両目と鼻、両目と口、両目と鼻と口のいずれかを選択し、搭乗者3がメガネを装着している場合は、熱画像合成部14が位置測定用部位として物体部位であるメガネを選択する。
 v)位置推定用部位間の位置ずれの算出と、位置ずれに基づいた熱画像tpの位置補正
 熱画像合成部14は、熱画像取得部11が複数の熱画像tpそれぞれを時系列順に取得するタイミングと同期したタイミングで時系列順に取得する撮像画像取得部13の複数の撮像画像pを受け、当該受けた複数の撮像画像pからそれぞれ得られた関連部位あるいは物体部位などのいずれかである位置推定用部位の間の位置ずれを検出し、当該位置推定用部位の間の位置ずれに基づき、熱画像取得部11からの複数の熱画像tpの位置を補正する。
 熱画像合成部14は、当該位置を補正した熱画像tpを合成した合成熱画像cpを生成し、温度取得部15に与える。
 図6から図8に示すように、第2のタイミングから第3のタイミングの間に搭乗者3が地点Bから地点Cに横方向に移動すると、熱画像取得部11からの第7の熱画像117は、第5の熱画像115及び第6の熱画像116に対して、熱画像の座標軸におけるz方向の中心線7bはz方向の中心線7aに対して-x方向に位置ずれgを生じている。
 この位置ずれgに基づいた第7の熱画像117の位置補正は、撮像画像取得部13からの第5の撮像画像135から第7の撮像画像137から得られた関連部位あるいは物体部位などのいずれかである位置推定用部位の間の位置ずれGを用いて行う。
 熱画像合成部14は、撮像画像取得部13からの第5の撮像画像135から第7の撮像画像137を受ける度に、撮像画像取得部13からの第5の撮像画像135から第7の撮像画像137における位置測定用部位の位置を認識する。
 熱画像合成部14は、1サイクルの開始時に入力された撮像画像取得部13からの第5の撮像画像135から得られた位置測定用部位の位置と、それ以降に入力された第6の撮像画像136及び第7の撮像画像137から得られた位置測定用部位の位置とを第6の撮像画像136及び第7の撮像画像137それぞれの入力時に比較する。
 第6の撮像画像136から得られた位置測定用部位の位置は第5の撮像画像135から得られた位置測定用部位の位置と同じであるので、第6の熱画像116は第5の熱画像115と同様にそのままとする。第7の撮像画像137から得られた位置測定用部位の位置は第5の撮像画像135から得られた位置測定用部位の位置に対して-x方向に位置ずれGを生じているので、第7の熱画像117を第5の熱画像115に対して+x方向に位置ずれGに対応する位置ずれgを移動する補正を行う。
 熱画像合成部14は、熱画像取得部11からの第5の熱画像115及び第6の熱画像116と、位置ずれGに基づいた位置補正を行った第7の熱画像117を合成し、合成熱画像cpを生成する。合成熱画像cpは温度取得部15に与えられる。
 vi)位置推定用部位の向き及び傾斜角の検出
 熱画像合成部14は、熱画像取得部11が複数の熱画像tpそれぞれを時系列順に取得するタイミングと同期したタイミングで時系列順に取得する撮像画像取得部13の複数の撮像画像pを受け、最初のタイミングで受けた撮像画像pから得られた関連部位あるいは物体部位などのいずれかである位置推定用部位の向き及び傾斜角の少なくとも一方が変化した撮像画像を取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像を、蓄積せずに破棄する。
 熱画像合成部14は、当該破棄した熱画像tpを除いた熱画像tpを合成した合成熱画像cpを生成し、温度取得部15に与える。
 合成熱画像cpを合成する熱画像tpから位置推定用部位の向き及び傾斜角の少なくとも一方が変化した撮像画像pと同じタイミングで取得した熱画像取得部11からの熱画像tpを破棄することにより、正常に合成できない熱画像tpを除け、熱画像tpを精度良く合成できる。
 熱画像合成部14が、例えば、1サイクル当たり熱画像取得部11から時系列順に4枚取得した熱画像を合成して合成熱画像cpを生成すると制御部16に制御されるものする。このケースにおいて、4番目の熱画像を取得する途中で正面から横向きに顔の向きが変化した場合、熱画像合成部14は、撮像画像取得部13が取得した4番目の撮像画像pから得られた位置推定用部位の向きが1番目の撮像画像pから得られた位置推定用部位の向きに対して変化していることを検出する。熱画像合成部14は、この向きの変化の検出により、4番目の熱画像を破棄し、第1番目の熱画像から第3番目の熱画像までを合成した合成熱画像cpを生成し、温度取得部15に与える。
 温度取得部15は、撮像画像取得部13が取得した撮像画像pに基づき、熱画像合成部14が生成した合成熱画像cpから温度測定対象における測定対象部位の温度を取得し、取得した測定対象部位の温度による温度情報を端末装置17に出力する。
 温度取得部15が取得する測定対象部位の温度は、撮像画像取得部13が取得した撮像画像から得られた関連部位あるいは物体部位のいずれかである位置推定用部位の位置に基づいて推定された位置における熱画像合成部14が生成した合成熱画像cpから得られた温度である。
 すなわち、温度取得部15は、熱画像取得部11と撮像画像取得部13の位置と、撮像画像取得部13が取得した撮像画像Pにより検出される位置推定用部位の位置の関係から、合成熱画像cpにおける測定対象部位の位置を推定する。
 この推定された測定対象部位の位置における合成熱画像cpの画素値が、測定対象部位の温度に相当する。合成熱画像cpから得られた温度とは合成熱画像cpの画素値を意味する。
 次に、温度測定装置1の動作について、図16に示すフローチャートに基づいて説明する。
 この実施の形態1では、制御部16からの同期信号CSが熱画像取得部11と領域調整用駆動部12と撮像画像取得部13と熱画像合成部14と温度取得部15とに出力され、各部は同期をとられて動作される。同期信号CSは時系列順のタイミングによりトリガを出力する信号である。
 制御部16が温度測定を開始すると、ステップST1において、制御部16は、同期信号CSのトリガの順番を示す変数nを初期化、つまり、nを0とした後、nを1とする。1度の温度測定、つまり、1サイクルに対してトリガがN回出力される。nは熱画像取得部11により熱画像tpを取得するたびに1つインクリメントされる変数である。
 なお、温度測定の開始前に、熱画像取得部11の向きは、熱画像合成部14からの指令情報iに基づいた領域調整用駆動部12からの駆動信号DSにより、焦点位置が搭乗者3の測定対象部位になるように初期設定される。
ステップST2において、nが1である制御部16から1番目のトリガを受けた熱画像取得部11は、搭乗者3に対する熱画像取得領域を撮影し、熱画像取得領域の熱画像tpを取得する。例として、図4に示す第1の熱画像111、又は図7に示す第5の熱画像115を取得する。nが2の時は図4に示す第2の熱画像112、又は図7に示す第6の熱画像116を、nが3の時は図4に示す第3の熱画像113、又は図7に示す第7の熱画像117を、nが4の時は図4に示す第4の熱画像114を取得する。
 また、制御部16から1番目のトリガを受けた撮像画像取得部13は、搭乗者3に対する撮像画像取得領域を撮影し、撮像画像取得領域の撮像画像を取得する。例として、図5に示す第1の撮像画像131、又は図8に示す第5の撮像画像135を取得する。nが2の時は図5に示す第2の撮像画像132、又は図8に示す第6の撮像画像136を、nが3の時は図5に示す第3の撮像画像133、又は図8に示す第7の撮像画像137を、nが4の時は図5に示す第4の撮像画像134を取得する。
 ステップST3において、制御部16から1番目のトリガを受けた熱画像合成部14は次の処理を行う。まず、熱画像取得部11が取得した熱画像tp、及び撮像画像取得部13が取得した撮像画像pを取り込む。nが2以降であっても同様に熱画像合成部14は、熱画像取得部11が取得した熱画像tpを、撮像画像取得部13が取得した撮像画像pを取り込む。
 熱画像合成部14は、取り込んだ撮像画像pから得られた位置推定用部位である関連部位及び物体部位の位置を推定し、関連部位又は物体部位のいずれかが認識、つまり検出されたか否かの判定を行う。この判定を行うステップが第1の判定ステップである。
 第1の判定ステップは、位置推定用部位が認識できた撮像画像を取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像を合成熱画像cpを生成する熱画像とするか、位置推定用部位が認識できない撮像画像を取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像を合成熱画像cpを生成する熱画像から破棄するかを判定するステップである。
 ステップST3において、位置推定用部位が認識できたと判定されればステップST4に、位置推定用部位が認識できないと判定されればステップST11に進む。
 ステップST4において、熱画像合成部14はnが0より大きいか否かの判定を行い、nが0より大きい場合は、撮像画像取得部13が取得した撮像画像pから得られた関連部位又は物体部位のいずれかの位置推定用部位の位置が、n=1の時に撮像画像取得部13が取得した撮像画像pから得られた関連部位又は物体部位のいずれかの位置推定用部位の位置に対して左右方向又は上下方向に移動、つまり、位置ずれしていないか否かと比較し、位置ずれ量を算出する。この比較を行うステップが第1の比較ステップである。n=1の時の比較結果は移動していないである。
 第1の比較ステップでは次の処理が行われる。
 まず、第1のタイミングより後の第2のタイミング以降(以下、第2のタイミング以降のタイミングを総称して第2のタイミングと称す。)での撮像画像pから得られた位置推定用部位の位置が第1のタイミングでの撮像画像pから得られた位置推定用部位の位置と同じであるか否かの比較を行う。同じである場合が移動していない、異なる場合が移動しているである。
 比較結果が移動していないであると、第2のタイミングで取得した熱画像取得部11からの熱画像tpを合成熱画像cpを生成する熱画像としてステップST5に進み、比較結果が移動しているであると、ステップST12を介して、第2のタイミングで取得した熱画像取得部11からの熱画像tpを当該異なった位置推定用部位の位置ずれに基づき位置を補正した熱画像を合成熱画像cpを生成する熱画像とするステップST13に進む。。
 図5に示した例では、n=1~4全てにおいて撮像画像pから得られた位置推定用部位の位置は移動していないので、ステップST5に進む。
 図8に示した例では、n=1と2において撮像画像pから得られた位置推定用部位の位置は移動していないので、ステップST5に進む。n=3はn=1の時に対して位置推定用部位の位置は移動しているので、ステップST12に進む。
 ステップST5において、熱画像合成部14は、撮像画像取得部13が取得した撮像画像pから得られた関連部位又は物体部位のいずれかの位置推定用部位に基づき撮像画像取得部13と搭乗者3の測定対象部位との第2の距離を算出する。
 ステップST6において、熱画像合成部14は、ステップST5において算出した第2の距離に基づき熱画像取得部11と搭乗者3の測定対象部位との第1の距離を算出する。
 ステップST7において、熱画像合成部14は、ステップST6において算出した第1の距離が予め設定した距離の基準値との差において設定値を超えていないかを判定する。
 予め設定した距離の基準値は、熱画像取得部11が熱画像取得領域を初期設定したときの熱画像取得部11と測定対象部位との距離を基準距離とする。
 また、この時の設定値は、例えば、車内の空調の自動制御を行う上で影響の無い変動量となるような距離差である。
 ステップST7において、設定値を超えていないとされればステップST8に、設定値を超えているとされればステップST14に進む。
 ステップST7及びステップST14は、熱画像取得部11からの熱画像tpの温度を第1の距離に応じて補正するステップである。
 ステップST7及びステップST14の代わりに、熱画像合成部14は、図9に示した近似曲線から求めた多項式を格納し、格納された格納式を用いて、算出した第1の距離に応じて熱画像取得部11からの熱画像tpの温度、つまり熱画像tpの各画素の画素値を前記第1の距離に応じて補正するステップST7Aとし、補正後ステップST8に進むものでもよい。
 ステップST8において、熱画像合成部14は、ステップST7による熱画像取得部11からの熱画像tp又はステップST14により温度補正された熱画像取得部11からの熱画像tp、あるいはステップST7Aにより温度補正された熱画像取得部11からの熱画像tpを蓄積するとともに、nがNに達しているかを判定する。
 ステップST8において、nがNに達していればステップST9に、nがNに達していなければステップST10に進む。
 ステップST9において、熱画像合成部14は、N回取得された熱画像取得部11からの熱画像tpに対してステップST8において蓄積された複数の熱画像tpを合成して合成熱画像cpを生成する。ステップST9は、熱画像合成部14が、重複領域を有する互いに異なる複数の熱画像取得領域に対して熱画像取得部11が順次時系列的に取得した熱画像tpを合成し、合成熱画像cpを生成するステップである。
 熱画像合成部14は、ステップST10において、nに+1を加えてステップST15に進む。ステップST15において、熱画像取得部11が、次の熱画像取得領域における熱画像を取得するために、領域調整用駆動部12からの駆動信号DSにより駆動され、微小動作させられる。熱画像取得部11の微小動作後、ステップST2に戻り、ステップST2以降のステップをn=Nになるまで繰り返される。
 ステップST3において、位置推定用部位が認識できないと判定され、ステップST11に進むと、ステップST11において、熱画像合成部14は、位置推定用部位が認識できない撮像画像を取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像tpを合成熱画像cpを生成する熱画像から破棄する。破棄後、ステップST8に進む。
 ステップST4において、比較結果が移動しているとされ、ST12に進むと、ステップST12において、熱画像合成部14は、撮像画像取得部13が取得した撮像画像pから得られた関連部位又は物体部位のいずれかの位置推定用部位の向き及び傾斜角の少なくとも一方が、n=1の時に撮像画像取得部13が取得した撮像画像pから得られた関連部位又は物体部位のいずれかの位置推定用部位の向き及び傾斜角に対して変化していないか否かと比較する。この比較を行うステップが第2の比較ステップである。
 第2の比較ステップでは次の処理が行われる。
 まず、第2のタイミングでの撮像画像pから得られた位置推定用部位の向き及び傾斜角が第1のタイミングでの撮像画像pから得られた位置推定用部位の向き及び傾斜角と同じであるか否かの比較を行う。向き及び傾斜角とも同じである場合が変化していない、向き及び傾斜角のいずれかが異なる場合が変化しているである。
 比較結果が変化していないである場合、第2のタイミングで取得した熱画像取得部11からの熱画像tpを合成熱画像cpを生成する熱画像としてステップST13に進み、比較結果が変化している場合、第2のタイミングで取得した熱画像取得部11からの熱画像tpを破棄するステップST11に進む。
 ステップST11において、熱画像合成部14は、位置推定用部位の向き及び傾斜角のいずれかが変化しているとされた撮像画像を取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像を合成熱画像cpを生成する熱画像から破棄する。破棄後、ステップST8に進む。
 ステップST13において、ステップST4にて算出された位置ずれ量に基づき、熱画像取得部11からの熱画像tpの位置を補正し、ステップST5に進み、熱画像合成部14は、ステップST5以降の処理を行う。補正した熱画像tpにおける測定対象部位の位置は第1のタイミングで熱画像取得部11が取得した熱画像tpにおける測定対象部位の位置と同じになる。
 ステップST2からステップST8、及びステップST10からステップST13の処理が、制御部16の管理の下、熱画像合成部14により繰り返され、ステップST8において、n=Nになり、ステップST9に進むと、ステップST9において、熱画像合成部14は、N回取得された熱画像取得部11からの熱画像tpに対してステップST8において蓄積された複数の熱画像を合成して合成熱画像cpを生成し、合成熱画像cpを温度取得部15に与える。
 ステップST2からステップST15は、制御部16の管理の下、熱画像合成部14により行われる処理である。
 ステップST16及びステップST17は、制御部16の管理の下、熱画像合成部14からの合成熱画像cpを受け取った温度取得部15により行われる処理である。
 ステップST16において、温度取得部15は、n=1の時に撮像画像取得部13が取得した撮像画像pに基づき、熱画像tpにおける測定対象部位の位置を推定し、推定した測定対象部位の位置を合成熱画像cpにおける測定対象部位の位置と推定する。
 すなわち、合成熱画像cpにおける測定対象部位の位置は、撮像画像取得部13が取得した撮像画像pから得られた関連部位あるいは物体部位のいずれかである位置推定用部位に基づいて推定される。
 要は、合成熱画像cpにおける測定対象部位の位置は、熱画像取得部11と撮像画像取得部13の位置と、撮像画像取得部13が取得した撮像画像Pにより検出される位置推定用部位の位置の関係から推定されるものであればよい。
 ステップST17において、温度取得部15は、推定された合成熱画像cpにおける測定対象部位の位置の画素値、つまり、温度を取得する。
 温度取得部15が取得した、推定された測定対象部位の位置における合成熱画像cpの画素値、つまり、温度を温度情報として端末装置17に出力する。
 以上のように、実施の形態1では、熱画像合成部14が、熱画像取得部11が取得した重複領域を有する互いに異なる複数の熱画像取得領域の熱画像を合成した合成熱画像を生成し、温度取得部が、撮像画像取得部13が取得した撮像画像に基づき、熱画像合成部14が生成した合成熱画像から温度測定対象における測定対象部位の温度を取得するので、測定対象部位における熱画像の高解像度化及び高SN比が図れ、測定対象部位の温度を精度良く測定できる。しかも、測定対象部位とその周辺温度との差が小さい場合、及び熱画像取得部と温度測定対象との距離が大きい場合、いずれの場合でも正確に対象部位の温度を取得できる効果を有する。
 要するに、熱画像取得部11が取得した熱画像を合成画像としたことにより、測定対象部位における熱画像の高解像度化及び高SN比が図れ、撮像画像取得部13が取得した撮像画像に基づき測定対象部位の温度を取得することにより、熱画像取得部11と温度測定対象との距離が大きい場合でも、熱画像取得部11が取得した熱画像における測定対象部位を容易に推定できる。
 位置推定用部位が認識できない撮像画像を撮像画像取得部13が取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像を、熱画像合成部14が破棄し、熱画像合成部14により合成する合成熱画像に加えないものとしたので、精度の高い合成熱画像が得られる。
 熱画像合成部14が、撮像画像取得部13と測定対象部位との第2の距離を算出し、第2の距離に基づき熱画像取得部11と測定対象部位との第1の距離を算出し、第1の距離に応じて、熱画像取得部11からの熱画像の画素値、つまり温度を補正したものとしたので、精度の高い合成熱画像が得られる。
 位置ずれが生じた熱画像取得部11からの熱画像の位置を、熱画像合成部14が、算出した撮像画像取得部13が取得した撮像画像から得られた位置推定用部位の間の位置ずれに基づき補正したので、精度の高い合成熱画像が得られる。
 撮像画像取得部13が位置推定用部位の向き及び傾斜角の少なくとも一方が変化した撮像画像を取得したタイミングと同じタイミングで取得した熱画像取得部11からの熱画像を、熱画像合成部14が破棄し、熱画像合成部14により合成する合成熱画像に加えないものとしたので、精度の高い合成熱画像が得られる。
 なお、上記実施の形態1において、熱画像合成部14は、基本的な機能(i)、領域調整用駆動部12への指令に対する機能(ii)、撮像画像取得部13からの撮像画像pにおける位置推定用部位の認識に対する機能(iii)、熱画像取得部11と測定対象部位との第1の距離の算出と、距離に応じた熱画像tpの温度補正に対する機能(iv)、位置推定用部位間の位置ずれの算出と、位置ずれに基づいた熱画像tpの位置補正に対する(v)、 位置推定用部位の向き及び傾斜角の検出に対する機能(vi)を有するものとしたが、これに限定されるものではない。
 すなわち、基本的な機能(i)を有するものであればよく、さらには、基本的な機能(i)に機能(ii)から機能(vi)の少なくとも一つの機能を付加したものでよい。
 なお、実施の形態に示した構成要素の自由な組み合わせ、あるいは任意の構成要素の変形、もしくは任意の構成要素の省略が可能である。
 本開示に係る温度測定装置1は、車両用空気調和装置に適用するのが好適である。
 本開示に係る温度測定装置1は、搭乗者の温冷感を把握することにより搭乗者の状態を監視する車両用監視装置に適用できる。
 また、本開示に係る温度測定装置1を室内用空気調和装置に適用できる。
 1 温度測定装置、3 温度測定対象、11 熱画像取得部、12 領域調整用駆動部、13 撮像画像取得部、14 熱画像合成部、15 温度取得部、16 制御部。

Claims (16)

  1.  熱画像取得領域の熱画像を取得する熱画像取得部と、
     前記熱画像取得部が取得した重複領域を有する互いに異なる複数の熱画像取得領域の熱画像を受け、当該受けた複数の熱画像を合成した合成熱画像を生成する熱画像合成部と、
     撮像画像取得領域の撮像画像を取得する撮像画像取得部と、
     前記撮像画像取得部が取得した撮像画像に基づき、前記熱画像合成部が生成した合成熱画像から温度測定対象における測定対象部位の温度を取得する温度取得部と、
     を備える温度測定装置。
  2.  前記熱画像取得部における熱画像の解像度は、前記撮像画像取得部における撮像画像の解像度より低い請求項1に記載の温度測定装置。
  3.  前記熱画像取得領域を調整するための駆動信号を前記熱画像取得部に出力する領域調整用駆動部を備え、
     前記熱画像合成部は、前記熱画像取得部からの複数の熱画像を得るために前記領域調整用駆動部からの駆動信号に対する指令情報を前記領域調整用駆動部に与える請求項1又は請求項2に記載の温度測定装置。
  4.  前記温度取得部が取得する測定対象部位の温度は、前記撮像画像取得部が取得した撮像画像から得られた、前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位に基づいて推定された位置における前記熱画像合成部が生成した合成熱画像から得られた温度である請求項1から請求項3のいずれか1項に記載の温度測定装置。
  5.  前記熱画像合成部は、前記熱画像取得部が熱画像を取得するタイミングと同期したタイミングで取得する前記撮像画像取得部の撮像画像を受け、当該受けた撮像画像から、前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位が認識できない撮像画像を取得したタイミングと同じタイミングで取得した前記熱画像取得部からの熱画像を破棄し、
     前記熱画像合成部により生成される合成熱画像は、当該破棄した熱画像を除いた熱画像を合成した合成熱画像である請求項1から請求項4のいずれか1項に記載の温度測定装置。
  6.  前記熱画像合成部は、前記撮像画像取得部が取得した撮像画像から得られた前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位の位置に基づき前記撮像画像取得部と前記測定対象部位との第2の距離を算出し、当該第2の距離に基づき前記熱画像取得部と前記測定対象部位との第1の距離を算出し、前記熱画像取得部からの複数の熱画像の温度を前記第1の距離に応じて補正し、
     前記熱画像合成部により生成される合成熱画像は、当該温度を補正した熱画像を合成した合成熱画像である請求項1から請求項5のいずれか1項に記載の温度測定装置。
  7.  前記熱画像合成部は、前記熱画像取得部が複数の熱画像それぞれを時系列順に取得するタイミングと同期したタイミングで時系列順に取得する前記撮像画像取得部の複数の撮像画像を受け、当該受けた複数の撮像画像からそれぞれ得られた前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位の間の位置ずれを算出し、当該位置推定用部位の間の位置ずれに基づき、前記熱画像取得部からの熱画像の位置を補正し、
     前記熱画像合成部により生成される合成熱画像は、当該位置を補正した熱画像を合成した合成熱画像である請求項1から請求項6のいずれか1項に記載の温度測定装置。
  8.  熱画像合成部は、前記熱画像取得部が複数の熱画像それぞれを時系列順に取得するタイミングと同期したタイミングで時系列順に取得する前記撮像画像取得部の複数の撮像画像を受け、最初のタイミングで受けた撮像画像から得られた前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位の向き及び傾斜角の少なくとも一方が変化した撮像画像を取得したタイミングと同じタイミングで取得した前記熱画像取得部からの熱画像を破棄し、
     前記熱画像合成部により生成される合成熱画像は、当該破棄した熱画像を除いた熱画像を合成した合成熱画像である請求項1から請求項7のいずれか1項に記載の温度測定装置。
  9.  前記測定対象部位は、頬、額、首のいずれかである請求項1から請求項8のいずれか1項に記載の温度測定装置。
  10.  前記測定対象部位は、頬、額、首のいずれかであり、
     前記測定対象部位と関連する関連部位は、両目と鼻、両目と口、両目と鼻と口のいずれかである請求項4から請求項8のいずれか1項に記載の温度測定装置。
  11.  請求項1から請求項10のいずれか1項に記載の温度測定装置の温度取得部に取得された温度による温度情報を受け、当該受けた温度情報に基づいた温度を表示する端末装置。
  12.  熱画像合成部が、重複領域を有する互いに異なる複数の熱画像取得領域に対して熱画像取得部が順次時系列的に取得した熱画像を合成し、合成熱画像を生成するステップと、
     温度取得部が、撮像画像取得部が取得した撮像画像に基づき、前記熱画像合成部が生成した合成熱画像から温度測定対象における測定対象部位の温度を取得するステップと、
     を備える温度測定方法。
  13.  熱画像合成部が、前記熱画像取得部が熱画像を取得するタイミングと同期したタイミングで取得する前記撮像画像取得部の撮像画像から、前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位が認識できるか否かを判定する第1の判定ステップと、
     熱画像合成部が、前記第1の判定ステップにより前記位置推定用部位が認識できた撮像画像を取得したタイミングと同じタイミングで取得した前記熱画像取得部からの熱画像を、前記合成熱画像を生成する熱画像とし、前記第1の判定ステップにより前記位置推定用部位が認識できない撮像画像を取得したタイミングと同じタイミングで取得した前記熱画像取得部からの熱画像を、前記合成熱画像を生成する熱画像から破棄するステップと、
     を備える請求項12記載の温度測定方法。
  14.  熱画像合成部が、前記撮像画像取得部が取得した撮像画像から得られた前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位の位置に基づき前記撮像画像取得部と前記測定対象部位との第2の距離を算出し、当該第2の距離に基づき前記熱画像取得部と前記測定対象部位との第1の距離を算出し、前記熱画像取得部からの複数の熱画像の温度を前記第1の距離に応じて補正するステップを備え、
     合成熱画像を生成するステップにおいて、当該温度を補正した熱画像を、前記合成熱画像を生成する熱画像とする請求項12又は請求項13に記載の温度測定方法。
  15.  熱画像合成部が、前記熱画像取得部が熱画像を取得する第1のタイミングと同期した第1のタイミングで取得する前記撮像画像取得部の撮像画像から得られた前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位の位置と前記第1のタイミングより後の前記熱画像取得部が熱画像を取得する第2のタイミングと同期した第2のタイミングで取得する前記撮像画像取得部の撮像画像から得られた位置推定用部位の位置とを比較する第1の比較ステップと、
     熱画像合成部が、前記第1の比較ステップにより前記第2のタイミングでの撮像画像から得られた位置推定用部位の位置が前記第1のタイミングでの撮像画像から得られた位置推定用部位の位置と同じであると、前記第2のタイミングで取得した前記熱画像取得部からの熱画像を、前記合成熱画像を生成する熱画像とし、前記第1の比較ステップにより前記第2のタイミングでの撮像画像から得られた位置推定用部位の位置が前記第1のタイミングでの撮像画像から得られた位置推定用部位の位置と異なると、前記第2のタイミングで取得した前記熱画像取得部からの熱画像を当該異なった位置推定用部位の位置ずれに基づき位置を補正した熱画像を、前記合成熱画像を生成する熱画像とするステップと、
     を備える請求項12から請求項14のいずれかに記載の温度測定方法。
  16.  熱画像合成部が、前記熱画像取得部が熱画像を取得する第1のタイミングと同期した第1のタイミングで取得する前記撮像画像取得部の撮像画像から得られた前記測定対象部位、前記測定対象部位に近接する近接部位、前記測定対象部位と関連する関連部位、あるいは前記関連部位に装着された物体における物体部位のいずれかである位置推定用部位の向き及び傾斜角と前記第1のタイミング以降の前記熱画像取得部が熱画像を取得する第2のタイミングと同期した第2のタイミングで取得する前記撮像画像取得部の撮像画像から得られた位置推定用部位の向き及び傾斜角とを比較する第2の比較ステップと、
     熱画像合成部が、前記第2の比較ステップにより前記第2のタイミングでの撮像画像から得られた位置推定用部位の向き及び傾斜角が前記第1のタイミングでの撮像画像から得られた位置推定用部位の位置と同じであると、前記第2のタイミングで取得した前記熱画像取得部からの熱画像を、前記合成熱画像を生成する熱画像とし、前記第2の比較ステップにより前記第2のタイミングでの撮像画像から得られた位置推定用部位の向き及び傾斜角の少なくとも一方が前記第1のタイミングでの撮像画像から得られた位置推定用部位の向き及び傾斜角と異なると、前記第2のタイミングで取得した前記熱画像取得部からの熱画像を、前記合成熱画像を生成する熱画像から破棄するステップと、
     を備える請求項12から請求項15のいずれかに記載の温度測定方法。
PCT/JP2020/027400 2020-07-14 2020-07-14 温度測定装置、端末装置、及び温度測定方法 WO2022013949A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022536023A JPWO2022013949A1 (ja) 2020-07-14 2020-07-14
PCT/JP2020/027400 WO2022013949A1 (ja) 2020-07-14 2020-07-14 温度測定装置、端末装置、及び温度測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027400 WO2022013949A1 (ja) 2020-07-14 2020-07-14 温度測定装置、端末装置、及び温度測定方法

Publications (1)

Publication Number Publication Date
WO2022013949A1 true WO2022013949A1 (ja) 2022-01-20

Family

ID=79555515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027400 WO2022013949A1 (ja) 2020-07-14 2020-07-14 温度測定装置、端末装置、及び温度測定方法

Country Status (2)

Country Link
JP (1) JPWO2022013949A1 (ja)
WO (1) WO2022013949A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008705A (ja) * 2006-06-28 2008-01-17 Jfe Steel Kk 構造物の欠陥検出方法および装置、ならびに欠陥検出機能を備えた荷役機械
JP2008263305A (ja) * 2007-04-10 2008-10-30 Toshiba Corp 電子機器および録画制御方法
JP2013200137A (ja) * 2012-03-23 2013-10-03 Omron Corp 赤外線温度測定装置、赤外線温度測定方法、および、赤外線温度測定装置の制御プログラム
JP2014016250A (ja) * 2012-07-09 2014-01-30 Panasonic Corp 熱体検知装置
WO2015072363A1 (ja) * 2013-11-18 2015-05-21 シャープ株式会社 画像処理装置
JP2019120701A (ja) * 2018-01-03 2019-07-22 パナソニックIpマネジメント株式会社 熱画像モジュール及び熱画像生成装置
JP2020062198A (ja) * 2018-10-17 2020-04-23 鹿島建設株式会社 状態判定システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008705A (ja) * 2006-06-28 2008-01-17 Jfe Steel Kk 構造物の欠陥検出方法および装置、ならびに欠陥検出機能を備えた荷役機械
JP2008263305A (ja) * 2007-04-10 2008-10-30 Toshiba Corp 電子機器および録画制御方法
JP2013200137A (ja) * 2012-03-23 2013-10-03 Omron Corp 赤外線温度測定装置、赤外線温度測定方法、および、赤外線温度測定装置の制御プログラム
JP2014016250A (ja) * 2012-07-09 2014-01-30 Panasonic Corp 熱体検知装置
WO2015072363A1 (ja) * 2013-11-18 2015-05-21 シャープ株式会社 画像処理装置
JP2019120701A (ja) * 2018-01-03 2019-07-22 パナソニックIpマネジメント株式会社 熱画像モジュール及び熱画像生成装置
JP2020062198A (ja) * 2018-10-17 2020-04-23 鹿島建設株式会社 状態判定システム

Also Published As

Publication number Publication date
JPWO2022013949A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US7697029B2 (en) Image display apparatus and method
US9619722B2 (en) Gaze direction detection device, and gaze direction detection method
JP4461091B2 (ja) 位置検出装置及びその補正方法
JP6446448B2 (ja) 人物、特に自動車運転者の顔の位置を検出するための方法および装置、ならびにこのような装置を含むディスプレイ
US10504237B2 (en) Method for determining a viewing direction of a person
US9366575B2 (en) Temperature measuring apparatus and temperature measuring method
CN109074480B (zh) 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆
JP2014006179A (ja) ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置
CN110194173B (zh) 乘员监视装置
JP2009262666A (ja) 車両用ヘッドアップディスプレイ装置の調整方法
US10997861B2 (en) Luminance control device, luminance control system, and luminance control method
JP5173551B2 (ja) 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP5907914B2 (ja) 車両用運転支援装置
WO2022013949A1 (ja) 温度測定装置、端末装置、及び温度測定方法
KR101245529B1 (ko) 카메라 캘리브레이션 방법
JP2006195571A (ja) 画像認識システム、及び撮像装置
JP4501708B2 (ja) 運転者の顔向き判定装置
US8384779B2 (en) Display device for vehicle
JPH06189906A (ja) 視線方向計測装置
KR20140090388A (ko) 가변형 타원 패턴을 갖는 차량용 카메라의 교정 지표 및 이를 이용한 교정방법
JP4032052B2 (ja) 位置検出装置及びその補正方法
JP3019654B2 (ja) 自動調整装置
KR101709009B1 (ko) 어라운드 뷰 왜곡 보정 시스템 및 방법
JP5004099B2 (ja) カーソル移動制御方法及びカーソル移動制御装置
KR101598193B1 (ko) 군 운용 차량의 주행 차선 표시 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945131

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536023

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945131

Country of ref document: EP

Kind code of ref document: A1