JP6067124B2 - 熱画像センサ及び空気調和機 - Google Patents

熱画像センサ及び空気調和機 Download PDF

Info

Publication number
JP6067124B2
JP6067124B2 JP2015533976A JP2015533976A JP6067124B2 JP 6067124 B2 JP6067124 B2 JP 6067124B2 JP 2015533976 A JP2015533976 A JP 2015533976A JP 2015533976 A JP2015533976 A JP 2015533976A JP 6067124 B2 JP6067124 B2 JP 6067124B2
Authority
JP
Japan
Prior art keywords
pixel
thermal image
humanity
pixels
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015533976A
Other languages
English (en)
Other versions
JPWO2015029378A1 (ja
Inventor
三輪 祥太郎
祥太郎 三輪
関 真規人
真規人 関
信太郎 渡邉
信太郎 渡邉
松本 崇
崇 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6067124B2 publication Critical patent/JP6067124B2/ja
Publication of JPWO2015029378A1 publication Critical patent/JPWO2015029378A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • F24F11/64Electronic processing using pre-stored data
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/026Control of working procedures of a pyrometer, other than calibration; Bandwidth calculation; Gain control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0275Control or determination of height or distance or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/07Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy
    • F24F2120/12Position of occupants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J2005/106Arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Radiation Pyrometers (AREA)
  • Air Conditioning Control Device (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

この発明は、部屋の中にいる人の個々の部位、姿勢等、高度な人検知を可能とする熱画像センサ及び空気調和機に関するものである。
従来の熱画像センサは、垂直方向に配置されたサーモパイルからなり、この鉛直状センサを左から右、右から左へと一定周期で走査することで部屋の全体熱画像を取得する。この際、熱画像センサは、初期起動時に部屋全体の熱画像を取得し、これを背景熱画像として保存し、以降、新たに全体熱画像が得られる度に全体熱画像と背景熱画像との差分を計算し、差分値が人体検知閾値以上の値を保つ場合に該当する画素位置に人がいると判断する(例えば、特許文献1)。
特開2009−92282号公報
背景技術の熱画像センサでは、安価なサーモパイルを垂直に少数並べたセンサを水平方向に走査することで熱画像を生成し、これに画像処理を加える。この結果、低コストが求められる空気調和機において、安価な人物検知を可能としている。この人物検知機能を用いることで、人に積極的に空気を当てる、当てないという空調制御が可能である。しかし、より快適性の高い空気調和機においては、人の顔への直接風を避ける機能、冬期に足元を暖める機能などが求められ、人の部位検知が可能なより高精度の人物検知が必要である。
背景技術において垂直方向に並べられたサーモパイルの数を増やすことで、この高精度の人物検知は実現可能である。しかし、この素子数の増大による取得データの増大に伴い、データを蓄積、処理するためのメモリー容量の増大と、それを処理するためのCPU能力の強化とが必要となり、センサの大幅なコストアップを生じるという問題がある。
本発明は、上記の問題を解決するためになされたものであり、メモリー容量の増大やCPU能力の強化を必要とすることなく、高精度の人物検知を可能とする熱画像センサ及び空気調和機を得ることを目的とする。
この発明における熱画像センサ及び空気調和機は、所定方向に配列される画素毎に温度データを取得する熱画像取得部を所定方向と垂直な方向に1ステップ単位で走査し、各ステップで取得した1次元の熱画像を合成して2次元の熱画像を取得する熱画像センサであって、有効画素として熱画像取得部が備える全画素から直前のステップで選択された検知有効画素の位置を出力する有効画素出力部と、1ステップの走査を行って有効画素の温度データを取得する走査部と、有効画素からの各画素の相対位置と温度データとに基づいて全画素に対して重み値を生成する画素重み算出部と、重み値が大きい順に全画素から次のステップで使用される検知有効画素を選択する全画素ソート部とを備えるものである。
この発明によれば、メモリー容量の増大やCPU能力の強化を必要とすることなく、高精度の人物検知が可能となる。
本発明の実施の形態1による熱画像センサを搭載する空気調和機の全体構成の一例を示す説明図である。 本発明の実施の形態1による熱画像センサの構成の一例を示す説明図である。 本発明の実施の形態1による熱画像取得部において2次元の熱画像を取得する基本動作を説明する図である。 本発明の実施の形態1による制御部の動作を説明するための図である。 本発明の実施の形態1による均等配置部で決定される有効画素を説明するための図である。 本発明の実施の形態1による間引き走査部で得られる熱画像を説明するための図である。 本発明の実施の形態1による人らしさ関数記憶部に記憶される人らしさ関数の一例である。 本発明の実施の形態1による人らしさ算出部で求められる人らしさsを説明するための図である。 本発明の実施の形態1による人らしさマップDの構成例を説明するための図である。 本発明の実施の形態1による重み関数w(x)の一例を示す図である。 本発明の実施の形態1による画素重みマップWを説明するための図である。 本発明の実施の形態1による動的有効画素配置を視覚的に説明するためのイメージ図である。 本発明の実施の形態2による熱画像センサが備える制御部の動作を説明するための図である。 本発明の実施の形態2による事前全体画素マップ記憶部が記憶する事前全体画素マップの一例を示す図である。 本発明の実施の形態2による事前全体画素重みマップW2の一例を示す図である。
実施の形態1.
図1は、本発明の実施の形態1による熱画像センサを搭載する空気調和機の全体構成の一例を示す説明図である。空気調和機1は、室内機12および室外機13で構成される。また、室内機12は熱画像センサ11を備える。
図2は、熱画像センサ11の構成の一例を示す説明図である。熱画像センサ11は、熱画像取得部10と制御部14を備える。熱画像取得部10は、例えば垂直方向に配置されたサーモパイルを備え、1次元の熱画像を取得可能である。図に示す例では、N画素(Nは自然数)の1次元の熱画像を取得できる。この鉛直状センサを左から右、右から左へと一定周期で走査することで、部屋の熱画像を2次元画像として取得する。制御部14は、走査を含む熱画像取得部10における熱画像の取得を制御する。熱画像取得部10における各画素の位置は、図に示すように上から下方向に定義し、一番上の画素の位置を1、一番下の画素の位置をNとする。なお、本実施の形態において、所定方向として上下方向に画素が配列された熱画像取得部10を所定方向と垂直な左右方向に走査する場合について説明するが、これに限定されるものではなく、例えば左右方向に画素が配列され、上下方向に走査するように構成することもできる。
図3は、熱画像取得部10において2次元の熱画像を取得する基本動作を説明する図である。熱画像取得部10では、垂直方向の1次元の熱画像である垂直方向熱画像21が時分割で取得される。熱画像を取得する位置を水平方向に走査し、各位置で取得した熱画像を合成することで部屋全体の2次元の熱画像である全体部屋熱画像22を生成する。例えば、時間t0では、垂直方向熱画像21aが垂直方向熱画像21として取得される。また、時間t1では、垂直方向熱画像21bが垂直方向熱画像21として取得される。また、時間tnでは、垂直方向熱画像21nが垂直方向熱画像21として取得される。熱画像取得部10は、熱画像を取得する位置を左右に走査し、それぞれの水平位置で垂直方向熱画像21を取得する。熱画像取得部10は、取得した複数の垂直方向熱画像21を合成して、全体部屋熱画像22を生成する。水平方向の走査は、例えばサーモパイルをステッピングモータで駆動することで実現できる。
図4は、制御部14の動作を説明するための図である。制御部14は、均等配置部111において、熱画像取得部10が備える垂直方向の全画素から、空気調和機1において許容される使用リソース(=使用可能な画素数)に応じて、熱画像の取得に使用する有効画素を決定し、各有効画素を特定するための有効画素インデックスiを生成する。ここで、有効画素の数は全画素の数より少なくなる。有効画素インデックスiに対応する有効画素の位置xiは、熱画像取得部10が備える全画素数をNs、決定された有効画素の数をNmaxとした時に、下記の式(1)で求められる。この時、有効画素インデックスiは1からNmaxの整数となる。
Figure 0006067124
図5は、均等配置部111で決定される有効画素を説明するための図である。図において、四角はそれぞれ画素を表している。また、図において、有効画素をPeで表しグレイで塗りつぶしている。さらに、図に示すS1は、熱画像を取得する際の走査方向を表す。図の例では、熱画像取得部10が備える全画素数は、有効画素数の2倍となっている。この均等配置された有効画素インデックスiに対応する有効画素を初期有効画素、初期有効画素の位置xiを初期有効画素位置とする。均等配置部111は、有効画素インデックスおよび初期有効画素位置を出力する。
なお、本実施の形態において、均等配置部111は初期有効画素の配置を決定する初期配置部として機能する。初期有効画素は均等配置部111において全画素に均等に配置されるものとしたが、必ずしも完全に均等である必要はなく、人が検知される可能性が高いと思われる領域に多く配置されるような初期配置としてもよい。
次に、有効画素選択部112は、有効画素選択フラグの値が0の場合には、均等配置部111で決定された初期有効画素位置を選択して出力する。有効画素選択フラグの値が1の場合には、後に説明する有効画素決定部152で決定された検知有効画素位置を選択して出力する。有効画素選択フラグの初期設定時の値は0であり、最初の動作では均等配置部111で決定された初期有効画素位置が選択される。均等配置部111及び有効画素選択部112が、全画素から選択された有効画素の位置を出力する有効画素出力部110として動作する。
走査部である間引き走査部120は、有効画素選択部112で選択された有効画素位置で定義された有効画素のみを使って、左右方向の1ステップの熱画像走査を行い、有効画素の温度データを取得する。熱画像走査の最小単位を1ステップとし、熱画像を取得する位置を1ステップ分変化させ、熱画像を取得する。水平方向の1ステップの熱画像走査を終えると、各有効画素が取得した温度データである1次元の熱画像が得られる。
図6は、間引き走査部120で得られる熱画像を説明するための図である。熱画像は有効画素インデックスiと対応する各有効画素で得られた温度データDtで構成される。温度データDtは、例えば、摂氏度で表される。間引き走査部120で得られる熱画像の画素数はNmaxとなる。
人らしさ関数記憶部131は、予め設定される人らしさ関数を記憶する。人らしさ算出部132は、人らしさ関数を使って間引き走査部120で取得された熱画像の各有効画素の値を人らしさsに変換する。人らしさ関数記憶部131及び人らしさ算出部132が、有効画素に対して人らしさを求める人らしさ生成部130として動作する。
図7は、人らしさ関数記憶部131に記憶される人らしさ関数の一例である。人らしさ関数は、取得した温度データDtと人らしさsの関係を表す。人らしさとは、対応する画素の位置に人物が存在する可能性を見積もるための指標であり、0から1の範囲で値が大きいほど人物が存在する可能性が高くなるように設定する。人の輻射熱は、計測部位にもよるが、およそ27度近辺である。ただし、有効画素の部分的な領域のみに人物が存在する場合、また着衣により輻射熱の減衰が起きる場合を考慮し、低温度側でも人らしさを持つように設定する。なお、人らしさ関数は、数式によって定義することもでき、テーブル形式で定義することもできる。図7において、P1は人物が存在する画素であり、P2は画素中の一部にのみ人物が存在する画素である。P2は部分適合画素と呼ばれ、人らしさsは、画素中に人物が占める割合によって決まり、0と1との間の値となる。
図8は、人らしさ算出部132で求められる人らしさsを説明するための図である。人らしさsは、有効画素インデックスiに対応付けられて生成される。なお、図8で示す人らしさsは、図6の熱画像に図7の人らしさ関数を適用した場合の例である。
人らしさ関数を用いて得られた各有効画素の人らしさsは、人らしさ評価部141において、人らしさの閾値th1を用いた値の大小判断により人の有無を示す人フラグf(i)が計算される。人らしさsが閾値th1より大きい場合は人がいると判断し1、閾値th1より小さい場合は人がいないとして0という人フラグf(i)が算出される。人らしさマップ生成部142では、有効画素インデックスiと人フラグf(i)とからなる人らしさマップDが生成される。
図9は、人らしさマップDの構成例を説明するための図である。人らしさマップDは、有効画素インデックスiとその有効画素における人フラグf(i)を対応付ける構成となる。なお、図9で示す人らしさマップDは、図8の人らしさsに対して、人らしさの閾値th1を0.3とした場合の例である。人らしさの閾値th1は設計の際に決定する値であり、実験などによって適宜決定される値である。空気調和機において複数の運転モードを設け、運転モード毎に違う値を用いることもできる。これにより人を検知する特性を運転モード毎に変えることができる。
なお、本実施の形態において人らしさマップDは、有効画素インデックスiとその有効画素における人フラグf(i)を対応付ける構成としたが、これに限定されるものではなく、例えば、有効画素インデックスiとその有効画素における人らしさsを対応付ける構成とすることもできる。この場合には、対応する有効画素に人が存在する可能性が2値ではなく、より多段階の値で表されることになる。また、この場合には、人らしさ評価部141における人フラグf(i)を算出する処理は不要となる。すなわち、人らしさマップDは、有効画素のそれぞれにおいて人が存在する可能性を数値的に表すものであればよい。
次に、画素重みマップ生成部143は、式(2)で定義される重み関数w(x)、有効画素インデックスi、有効画素インデックスiに対応する有効画素の位置xi及び人フラグf(i)とから式(3)で重み値g(x)を求め、画素位置xと当該画素位置の重み値g(x)とからなる画素重みマップWを生成する。式(3)によって、有効画素のみに対して求められた人フラグから、有効画素以外も含む全画素に対して重み値を生成している。
Figure 0006067124
Figure 0006067124
図10は、重み関数w(x)の一例を示す図である。重み関数w(x)は、基準となる画素位置からの相対的な画素位置xにおける重み係数を規定しており、基準となる画素位置から遠くなるほど重み係数は小さくなる。なお、式(3)では、有効画素の位置xiを基準とした相対的な画素位置を(x−xi)で表している。
図11は、画素重みマップWを説明するための図である。画素重みマップWは、熱画像取得部10が備える全画素の画素位置xとその画素位置における重み値g(x)を対応付ける構成となっている。
以上、人らしさ評価部141、人らしさマップ生成部142、及び画素重みマップ生成部143が、有効画素からの各画素の位置と人らしさとから全画素に対して重み値を生成する画素重み算出部140として機能する。
マップソート部151は、画素重みマップWにおける重み値g(x)の総和と所定の閾値th2との大小を比較し、比較結果に応じて有効画素選択フラグの値を設定する。重み値g(x)の総和が閾値th2より大きい場合には有効画素選択フラグを1とし、重み値g(x)の総和が閾値th2以下の場合には有効画素選択フラグを初期設定時の値である0とする。閾値th2は設計の際に決定する値であり、実験などによって適宜決定される値である。空気調和機において複数の運転モードを設け、運転モード毎に違う値を用いることもできる。これにより人を検知する特性を運転モード毎に変えることができる。
また、マップソート部151は、画素重みマップWを下記条件1、条件2の順の条件でソートし、有効画素マップW’を生成する。なお、条件2は、人の足元よりも頭部に重点を置いた検知とするためのものであるが、必須の条件ではない。条件2を加えることで、風に対して敏感な顔や頭部をより高精度に検出可能となる。
条件1:重み値g(x)が大きい
条件2:画素位置xが小さい(上方の画素を優先する)
次に、有効画素決定部152は、有効画素マップW’を用いて使用可能なリソースで決まる有効画素数であるNmax個の画素を有効画素マップW’の並び順に選択し、これを次の走査に用いる有効画素である検知有効画素として決定し、有効画素インデックスと対応する有効画素の画素位置を出力する。
以上、マップソート部151及び有効画素決定部152が、重み値が大きい順に全画素から次のステップで使用される検知有効画素を選択する全画素ソート部150として機能する。
上述の通り、有効画素選択部112は、有効画素選択フラグの値が0の場合には、均等配置部111で決定された初期有効画素位置を選択して出力し、有効画素選択フラグの値が1の場合には、後に説明する有効画素決定部152で決定された検知有効画素位置を選択して出力する。
選択された画素位置の有効画素を用いて、間引き走査部120は次の左右方向の1ステップスキャンを行う。以降、水平走査が左右いずれかの端に達するまで、人らしさ算出部132、人らしさ評価部141、人らしさマップ生成部142、画素重みマップ生成部143、マップソート部151、有効画素決定部152の処理を繰り返す。水平走査が左右いずれかの端に達すると、制御部14は有効画素選択フラグを初期設定時の値である0に設定し、均等配置部111からの動作を再度開始する。この際、走査を行う位置も一旦リセットされる。
このように人がいる可能性の高い画素位置に優先して画素を振り分けることで、人のいるところに集中した動的有効画素配置を行う。水平走査が左右いずれかの端に達すると、人がいる可能性の高い画素位置に優先して画素を振り分けられた2次元の熱画像が生成される。
なお、水平走査が左右いずれかの端に達した後に、その位置から続けて逆方向に水平走査を行う場合、例えば右方向への水平走査の後に右端から左方向への水平走査を続けるような場合には、走査する位置は近接しているので、最初の1ステップの走査時に有効画素選択フラグを必ずしも初期設定時の値である0に設定する必要はない。一方、水平走査が左右いずれかの端に達した後に、走査位置を一旦リセットしてから同方向に水平走査を行う場合、例えば右方向への水平走査の後に走査位置を一旦左端に戻してから右方向への水平走査を再開するような場合には、走査する位置は近接しないので、最初の1ステップの走査時に有効画素選択フラグを初期設定時の値である0に設定することが望ましい。本実施の形態の熱画像センサでは、水平走査が左右いずれかの端に達した後に、走査位置を一旦リセットしてから同方向に水平走査を行う構成としたが、これに限定されるものではない。
図12は、動的有効画素配置を視覚的に説明するためのイメージ図である。図において、四角は画素を表し、そのうちグレイで塗りつぶされた画素が動的に割り当てられた有効画素を表す。図のように人がいる可能性の高い領域に多くの有効画素を割り当てるため、分解能の高い熱画像の取得が可能となり、部位検知まで可能な高精度の人検知が可能となる。以上のように動的有効画素配置による熱画像が熱画像センサから得られる。なお、得られた熱画像において、有効画素以外の画素については温度データが取得されていないので、予め決められた値とすることによって、有効画素で取得された温度データと識別可能とすることができる。
本実施の形態の熱画像センサは、水平走査の最初の1ステップ走査時には、使用可能なリソースから決まる使用可能な画素数に応じて、垂直方向で全画素から均等に間引いた有効画素を決めておき、この有効画素のみを用いて熱画像の垂直方向の1ステップのデータ取得を行う。熱画像センサは、別途、人の輻射熱モデルに基づく温度データと人らしさを対応付けたデータベースである人らしさ関数記憶部を有しており、水平方向の1ステップ走査が終了した際に、有効画素の検出温度データから人らしさを算出し、その人らしさを閾値処理することで、有効画素位置に人がいるかどうかを判定し、人のいる部分に多くの有効画素が含まれるように重み付けを行い、有効画素の再配置を行って次のステップで使用する。
この結果、トータルで用いる有効画素数を一定に保ったままで、人がいる可能性の高い領域に動的に有効な画素を多く割り当てられるので、低画素時と同様のリソースで、高精度の人検知が可能となる。本熱画像センサを適用することにより、例えば人の顔や手足の位置などが検出でき、人の顔を避けて送風したり、足元を重点的に暖めたりするなどの機能を有する空気調和機が実現可能となる。
以上のように、この発明における熱画像センサ及び空気調和機は、上下方向に配列される画素毎に温度データを取得する熱画像取得部を左右方向に1ステップ単位で走査し、各ステップで取得した1次元の熱画像を合成して2次元の熱画像を取得する熱画像センサであって、有効画素として熱画像取得部が備える全画素から直前のステップで選択された検知有効画素の位置を出力する有効画素出力部と、1ステップの走査を行って有効画素の温度データを取得する走査部と、人が存在する可能性を表す人らしさと温度データとの関係を用いて有効画素に対して人らしさを求める人らしさ生成部と、有効画素からの各画素の相対位置と人らしさとから全画素に対して重み値を生成する画素重み算出部と、重み値が大きい順に全画素から次のステップで使用される検知有効画素を選択する全画素ソート部とを備えるので、メモリー容量の増大やCPU能力の強化を必要とすることなく、高精度の人物検知が可能となる。
実施の形態2
図13は、本発明の実施の形態2による熱画像センサが備える制御部14の動作を説明するための図であり、画素重みマップ生成部143の動作と、事前全体画素マップ記憶部161及び事前全体画素重みマップ生成部162からなる事前重み係数生成部160を有する点が実施の形態1におけるものと異なる。なお、本実施の形態の熱画像センサの構成は、前記実施の形態1におけるものと同様であり、熱画像取得部10と制御部14を備える。熱画像取得部10は、前記実施の形態1におけるものと同様である。
図14は、事前全体画素マップ記憶部161が記憶する事前全体画素マップの一例を示す図である。事前全体画素マップMは、最新の左右方向の片道走査が終了した時点までの所定時間において、有効画素として選択された頻度の高い画素の位置を表す2次元のマップであり、各画素の位置と画素値m(x,y)とを対応付けたものである。有効画素として選択された頻度の高い画素はm(x、y)=1、それ以外の画素はm(x,y)=0の値を持つ。ここで、xは画素の上下方向の位置、yは画素の左右方向の位置である。
事前全体画素マップ記憶部161は、所定期間に各画素が有効画素として使用された回数を記憶している。この回数を所定の閾値th3と比較することで、有効画素として選択された頻度の高い画素位置を判定し、事前全体画素マップMを生成する。所定期間および閾値th3は設計の際に決定する値であり、実験などによって適宜決定される値である。空気調和機において複数の運転モードを設け、運転モード毎に違う値を用いることもできる。これにより人を検知する特性を運転モード毎に変えることができる。所定期間として直前の片道走査期間のみを設定する場合には、当該走査における有効画素の位置が選択頻度の高い画素位置となる。
事前全体画素重みマップ生成部162は、事前全体画素マップMを用いて、式(4)で事前重み係数g2(x,y)を求め、画素位置と当該画素位置の事前重み係数g2(x,y)とからなる事前全体画素重みマップW2を計算する。
Figure 0006067124
図15は、事前全体画素重みマップW2の一例を示す図である。事前全体画素重みマップW2は、各画素の位置に対応付けて1または0.5の値を持つ2次元のマップである。以上、事前全体画素マップ記憶部161及び事前全体画素重みマップ生成部162が、過去の所定期間に有効画素として選択された頻度の高い画素ほど大きな値となる事前重み係数を生成する事前重み係数生成部160として動作する。
画素重みマップ生成部143は、上述の実施の形態1におけるものと同様に、左右方向の各走査位置y0において上下方向の全画素に対する重み値g(x)を生成する。さらに、重み値g(x)と走査位置y0における事前重み係数g2(x,y0)を用いて、下記の式(5)で新たな重み値g3(x)を求め、上下方向の画素位置xと当該画素位置の重み値g3(x)とからなる画素重みマップWを生成する。以降の動作は実施の形態1におけるものと同様である。
Figure 0006067124
以上のように、本実施の形態における熱画像センサ及び空気調和機は、過去の所定期間に有効画素として選択された頻度の高い画素ほど大きな値となる事前重み係数を生成する事前重み係数生成部を備え、画素重み算出部は事前重み係数も用いて重み値を生成する。過去の所定期間における有効画素の選択結果を反映して熱画像を取得する有効画素を決定することで、検出精度が更に向上するという効果が得られる。人の活動範囲には規則性がある場合が多い。例えば、リビングにソファが置かれている場合、ソファの置かれた位置には人が存在する可能性が高い。したがって、過去の選択結果の蓄積を利用することで、人がいる確率がより高い画素位置を優先して熱画像取得が可能となり、検出精度が更に向上する。また、上記実施の形態1におけるものと同様の効果も有する。
1 空気調和機、10 熱画像取得部、11 熱画像センサ、12 室内機、13 室外機、14 制御部、21、21a、21b、21n 垂直方向熱画像、22 全体部屋熱画像、110 有効画素出力部、111 均等配置部、112 有効画素選択部、120 間引き走査部、130 人らしさ生成部、131 人らしさ関数記憶部、132 人らしさ算出部、140 画素重み算出部、141 人らしさ評価部、142 人らしさマップ生成部、143 画素重みマップ生成部、150 全画素ソート部、151 マップソート部、152 有効画素決定部、160 事前重み係数生成部、161 事前全体画素マップ記憶部、162 事前全体画素重みマップ生成部。

Claims (11)

  1. 所定方向に配列される画素毎に温度データを取得する熱画像取得部を前記所定方向と垂直な方向に1ステップ単位で走査し、各ステップで取得した1次元の熱画像を合成して2次元の前記熱画像を取得する熱画像センサであって、
    有効画素として前記熱画像取得部が備える全画素から直前のステップで選択された検知有効画素の位置を出力する有効画素出力部と、
    1ステップの前記走査を行って前記有効画素の前記温度データを取得する走査部と
    記有効画素からの各画素の相対位置と前記温度データとに基づいて前記全画素に対して重み値を生成する画素重み算出部と、
    前記重み値が大きい順に前記全画素から次のステップで使用される前記検知有効画素を選択する全画素ソート部と
    を備えることを特徴とする熱画像センサ。
  2. 人が存在する可能性を表す指標である人らしさと前記温度データとの関係を用いて前記有効画素に対して前記人らしさを求める人らしさ生成部を備え、
    前記画素重み算出部は、前記有効画素からの各画素の相対位置と前記人らしさとから前記全画素に対して重み値を生成する
    ことを特徴とする請求項1に記載の熱画像センサ。
  3. 前記人らしさ生成部は、
    前記人らしさと前記温度データとの関係を表す人らしさ関数を記憶する人らしさ関数記憶部と、
    前記有効画素の前記温度データと前記人らしさ関数とを用いて前記有効画素に対して前記人らしさを求める人らしさ算出部と
    を備えることを特徴とする請求項に記載の熱画像センサ。
  4. 前記人らしさ関数記憶部は、
    前記人らしさと前記温度データとの関係をテーブル形式で記憶する
    ことを特徴とする請求項に記載の熱画像センサ。
  5. 過去の所定期間に前記有効画素として選択された頻度の高い画素ほど大きな値となる事前重み係数を生成する事前重み係数生成部を備え、
    前記画素重み算出部は、
    前記事前重み係数も用いて前記重み値を生成する
    ことを特徴とする請求項1から請求項のいずれか1項に記載の熱画像センサ。
  6. 前記所定方向は上下方向であり、
    前記全画素ソート部は、
    前記重み値が同じ値の場合には、上方に位置する画素から順に選択する
    ことを特徴とする請求項1から請求項5のいずれか1項に記載の熱画像センサ。
  7. 前記有効画素出力部は、
    前記全画素から初期有効画素を所定の初期配置となるように選択する初期配置部と、
    初期設定時には前記初期有効画素を有効画素として出力し、初期設定時以外には前記検知有効画素を有効画素として出力する有効画素選択部と
    を備えることを特徴とする請求項1から請求項のいずれか1項に記載の熱画像センサ。
  8. 前記初期配置部は、
    前記初期有効画素を前記全画素中に均等に配置するように選択する均等配置部である
    ことを特徴とする請求項に記載の熱画像センサ。
  9. 前記重み値の総和が所定の閾値以下の場合には、前記初期設定となることを特徴とする請求項又は請求項に記載の熱画像センサ。
  10. 前記走査の最初の1ステップの走査時には、前記初期設定となることを特徴とする請求項から請求項のいずれか1項に記載の熱画像センサ。
  11. 請求項1から請求項10のいずれか1項に記載の熱画像センサを備えた空気調和機。
JP2015533976A 2013-08-28 2014-08-20 熱画像センサ及び空気調和機 Active JP6067124B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013176948 2013-08-28
JP2013176948 2013-08-28
PCT/JP2014/004249 WO2015029378A1 (ja) 2013-08-28 2014-08-20 熱画像センサ及び空気調和機

Publications (2)

Publication Number Publication Date
JP6067124B2 true JP6067124B2 (ja) 2017-01-25
JPWO2015029378A1 JPWO2015029378A1 (ja) 2017-03-02

Family

ID=52585970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015533976A Active JP6067124B2 (ja) 2013-08-28 2014-08-20 熱画像センサ及び空気調和機

Country Status (6)

Country Link
US (1) US9696053B2 (ja)
EP (1) EP3040697A4 (ja)
JP (1) JP6067124B2 (ja)
CN (1) CN105492880B (ja)
HK (1) HK1219127A1 (ja)
WO (1) WO2015029378A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6567511B2 (ja) * 2014-05-27 2019-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 空気調和装置が実行するセンサの制御方法
WO2016151739A1 (ja) * 2015-03-23 2016-09-29 三菱電機株式会社 空気調和機
JP6505514B2 (ja) * 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
CN106989493A (zh) * 2017-03-31 2017-07-28 深圳市源畅通科技有限公司 一种室内环境自行调控系统
US11164441B2 (en) * 2017-06-12 2021-11-02 Temperature Gate Ip Holdings Llc Rapid thermal dynamic image capture devices with increased recognition and monitoring capacity
US11288297B2 (en) * 2017-11-29 2022-03-29 Oracle International Corporation Explicit semantic analysis-based large-scale classification
US10438477B1 (en) * 2018-03-16 2019-10-08 Sean Michael Siembab Surrounding intelligent motion sensor
US10867506B2 (en) * 2018-03-16 2020-12-15 Sean Michael Siembab Surrounding intelligent motion sensor with adaptive recognition
US10775174B2 (en) 2018-08-30 2020-09-15 Mapbox, Inc. Map feature extraction system for computer map visualizations
WO2020219694A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
US20220408037A1 (en) * 2019-11-27 2022-12-22 Panasonic Intellectual Property Management Co., Ltd. Infrared processing system, infrared sensor system, infrared processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371025A (ja) * 1989-08-10 1991-03-26 Daikin Ind Ltd 輻射温度検知装置
JPH10142349A (ja) * 1996-11-12 1998-05-29 Matsushita Electric Ind Co Ltd 赤外線検出器
JPH11198763A (ja) * 1998-01-09 1999-07-27 Denso Corp 車両用盗難防止装置
JPH11200683A (ja) * 1998-01-09 1999-07-27 Denso Corp 車両用ドアロックシステム
JP2005017184A (ja) * 2003-06-27 2005-01-20 Daikin Ind Ltd 赤外線測定装置及びそれを備えた空気調和装置
JP2010159887A (ja) * 2009-01-06 2010-07-22 Mitsubishi Electric Corp 空気調和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1517133A (en) * 1977-01-27 1978-07-12 Daedalus Enterprises Inc Mobile infrared apparatus for mapping thermal variations and method employing same
JPS58180918A (ja) * 1982-04-16 1983-10-22 Mitsubishi Electric Corp 赤外線監視装置
FR2599920B1 (fr) * 1985-08-02 1988-12-09 Trt Telecom Radio Electr Procede d'entrelacement electronique pour camera thermique a balayage horizontal
DE3712865A1 (de) * 1987-04-15 1988-11-03 Licentia Gmbh Verfahren zur entdeckung bewegter ziele mittels einer optronischen bildaufnahmevorrichtung
JPH0298965A (ja) * 1988-10-05 1990-04-11 Fujitsu Ltd 多素子赤外線検知センサ
JPH06160507A (ja) * 1992-09-24 1994-06-07 Matsushita Electric Ind Co Ltd 人存在状況判定装置
US5519426A (en) * 1993-11-01 1996-05-21 Lasermaster Corporation Method for controlling a thermal printer to increase resolution
JPH09287913A (ja) 1996-04-19 1997-11-04 Matsushita Electric Ind Co Ltd 物体位置検出装置、人体検出方法
US6867851B2 (en) * 1999-11-04 2005-03-15 Regents Of The University Of Minnesota Scanning of biological samples
US7176969B2 (en) * 2001-12-13 2007-02-13 International Business Machines Corporation System and method for anti-moire imaging in a one dimensional sensor array
US7884816B2 (en) * 2006-02-15 2011-02-08 Prysm, Inc. Correcting pyramidal error of polygon scanner in scanning beam display systems
EP2060857B1 (en) * 2006-09-07 2019-01-09 Mitsubishi Electric Corporation Air conditioner
JP4870059B2 (ja) 2007-10-05 2012-02-08 三菱電機株式会社 空気調和機
JP5404548B2 (ja) * 2010-07-26 2014-02-05 三菱電機株式会社 空気調和機
US9699422B2 (en) * 2011-10-04 2017-07-04 Prysm, Inc. Composite and other phosphor materials for emitting visible light and applications in generation of visible light including light-emitting screens

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371025A (ja) * 1989-08-10 1991-03-26 Daikin Ind Ltd 輻射温度検知装置
JPH10142349A (ja) * 1996-11-12 1998-05-29 Matsushita Electric Ind Co Ltd 赤外線検出器
JPH11198763A (ja) * 1998-01-09 1999-07-27 Denso Corp 車両用盗難防止装置
JPH11200683A (ja) * 1998-01-09 1999-07-27 Denso Corp 車両用ドアロックシステム
JP2005017184A (ja) * 2003-06-27 2005-01-20 Daikin Ind Ltd 赤外線測定装置及びそれを備えた空気調和装置
JP2010159887A (ja) * 2009-01-06 2010-07-22 Mitsubishi Electric Corp 空気調和装置

Also Published As

Publication number Publication date
US20160187022A1 (en) 2016-06-30
WO2015029378A1 (ja) 2015-03-05
CN105492880A (zh) 2016-04-13
JPWO2015029378A1 (ja) 2017-03-02
EP3040697A4 (en) 2017-07-19
US9696053B2 (en) 2017-07-04
CN105492880B (zh) 2018-09-07
HK1219127A1 (zh) 2017-03-24
EP3040697A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
JP6067124B2 (ja) 熱画像センサ及び空気調和機
CN106446800B (zh) 牙齿识别方法、装置及系统
JP5417204B2 (ja) 歩行情報抽出装置、歩行情報抽出方法、及び歩行情報抽出プログラム
JP6093221B2 (ja) 画像処理回路及び画像検出装置
JP2010061576A (ja) 指紋認証装置、指紋認証プログラムおよび指紋認証方法
JP2014170488A (ja) 推定顔生成装置、顔照合装置、推定顔生成方法及び推定顔生成プログラム
CN106203361A (zh) 一种机器人跟踪方法和装置
JP2016208408A (ja) 検出方法、検出装置および制御方法
JP2016051302A5 (ja)
JP6579353B1 (ja) 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置
JP2016057793A (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20190042493A (ko) 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법
Wong et al. A study of different unwarping methods for omnidirectional imaging
JP2022022977A (ja) 温度分布学習装置
TWI280515B (en) Mesh simplification methods, storage media and systems
CN110569943B (zh) 一种基于三维码的优化方法及系统
JP4380308B2 (ja) 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP6671135B2 (ja) 部屋用途評価装置、部屋用途評価方法及び部屋用途評価プログラム
EP2991033A1 (en) System and method for three-dimensional shape generation from closed curves
JP6899681B2 (ja) 設計支援システム及び設計支援プログラム
JP2010092293A (ja) 時空間画像特徴量検出装置、時空間画像特徴量検出方法および時空間画像特徴量検出プログラム
JP5206499B2 (ja) 測定方法、測定装置、測定制御プログラム
JP7124760B2 (ja) 画像処理装置、及び画像処理方法
JP6034671B2 (ja) 情報表示装置、その制御方法およびプログラム
TW201324384A (zh) 指紋識別裝置及其指紋識別方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161220

R150 Certificate of patent or registration of utility model

Ref document number: 6067124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250