JP7253716B2 - 人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム - Google Patents

人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム Download PDF

Info

Publication number
JP7253716B2
JP7253716B2 JP2019051698A JP2019051698A JP7253716B2 JP 7253716 B2 JP7253716 B2 JP 7253716B2 JP 2019051698 A JP2019051698 A JP 2019051698A JP 2019051698 A JP2019051698 A JP 2019051698A JP 7253716 B2 JP7253716 B2 JP 7253716B2
Authority
JP
Japan
Prior art keywords
individual
unit
subject
human state
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019051698A
Other languages
English (en)
Other versions
JP2020153780A (ja
Inventor
健一郎 野坂
亜旗 米田
元貴 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019051698A priority Critical patent/JP7253716B2/ja
Publication of JP2020153780A publication Critical patent/JP2020153780A/ja
Priority to JP2023040592A priority patent/JP2023088943A/ja
Application granted granted Critical
Publication of JP7253716B2 publication Critical patent/JP7253716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)
  • Air Conditioning Control Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、機器等の制御に用いるための対象者の体感する状態を推定する人状態推定モジュールおよび温冷感推定モジュール、ならびに当該モジュールに用いられるユーザインタフェース装置に関する。
従来、人の状態をセンサにより検知し、検知結果を用いて機器等の制御を行うことで、検知の対象者に合わせた適切な機器等の制御を行うことが提案されている。例えば、特許文献1には、熱画像センサを用い、対象者であるユーザの活動量に応じて空気調和装置の温度や風量等のパラメータ調整を行うことが開示されている。
特開2018-077256号公報
しかしながら、上記の特許文献1に開示された空気調和装置のパラメータ調整では、対象者が求める機器の制御と、調整されたパラメータによる機器の制御との間に乖離が生じる場合がある。そこで、本開示では、対象者が求める機器の制御を精度よく実施するための人状態を推定する人状態推定モジュール等を提供する。
上記課題を解決するために、本開示の一態様に係る人状態推定モジュールは、対象者の体感する状態である人状態を推定するための人状態推定モジュールであって、個人と、前記個人に特有の情報とを紐づけて記憶する個人情報保持部と、前記人状態の推定を行う人状態推定部と、前記個人情報保持部に記憶された前記個人の中から、前記対象者を示す前記個人を特定することにより、前記対象者と、前記個人および前記個人に特有の情報とを対応付ける個人特定部と、を備え、前記人状態推定部は、前記個人特定部により前記対象者に対応付けられた前記個人および前記個人に特有の情報に基づき前記人状態の推定を行う。
また、本開示の一態様に係る温冷感推定モジュールは、マトリクス状の温度分布を示す熱画像を取得する熱画像取得部をさらに備える上記に記載の人状態推定モジュールを用いて、前記人状態として、前記対象者が体感する温冷感覚である温冷感の推定を行う。
また、本開示の一態様に係るユーザインタフェース装置は、上記に記載の人状態推定モジュールの制御に用いられるユーザインタフェース装置であって、前記対象者により入力される、前記個人の特性情報、前記個人の好みに関する情報、および前記個人が体感する状態の正解値のうち少なくとも1つを含む前記個人に特有の情報を受け付け、前記個人情報保持部に記憶させる個人情報入力部を備える。
本開示によれば、対象者が求める機器の制御を精度よく実施するための人状態が推定される。
図1は、実施の形態に係る人状態推定モジュールの概略構成図である。 図2は、実施の形態に係る人状態推定モジュールの機能ブロック図である。 図3は、実施の形態に係るインタフェース部の外観を示す斜視図である。 図4は、実施の形態に係る対象人選択部の操作を説明する図である。 図5は、実施の形態に係る個人特定部の操作を説明する図である。 図6は、実施の形態に係る個人情報入力部の操作を説明する図である。 図7Aは、変形例1に係るインタフェース部の外観を示す第1の斜視図である。 図7Bは、変形例1に係るインタフェース部の外観を示す第2の斜視図である。 図7Cは、変形例1に係るインタフェース部の外観を示す第3の斜視図である。 図8は、変形例2に係るインタフェース部の外観を示す斜視図である。 図9Aは、変形例2に係る画像の表示例1を説明する図である。 図9Bは、変形例2に係る画像の表示例2を説明する図である。 図10Aは、変形例2に係る画像の表示例3aを説明する図である。 図10Bは、変形例2に係る画像の表示例3bを説明する図である。 図10Cは、変形例2に係る画像の表示例3cを説明する図である。 図10Dは、変形例2に係る画像の表示例3dを説明する図である。 図11Aは、変形例2に係る画像の表示例4を説明する図である。 図11Bは、変形例2に係る画像の表示例5を説明する図である。 図12は、実施の形態に係る対象者の入力に基づく人状態推定特性について説明する図である。 図13は、実施の形態に係る人状態推定特性の分類について説明する図である。 図14は、実施の形態に係る人状態推定モジュールの動作を説明する第1のフローチャートである。 図15は、実施の形態に係る人状態推定モジュールの動作を説明する第2のフローチャートである。 図16は、実施の形態に係る人状態推定モジュールの動作を説明する第3のフローチャートである。 図17は、実施の形態に係る人状態推定モジュールの動作を説明する第4のフローチャートである。
(本開示の概要)
従来、人の体感する状態である人状態を推定する人状態推定モジュールの一例として、例えば、人の体感する温冷感を推定する温冷感推定モジュール等が用いられている。このような従来の温冷感推定モジュールは、温冷感をもとに空気調和装置等を制御し、室内の空調制御を行うために使用される。なお、以下で説明されるモジュールとは、特定の機能を実現するために一以上の装置等によって構成されるシステムである。
推定された温冷感は、空調制御を行うためのパラメータとして温冷感推定モジュールおよび空気調和装置間の機器内部で利用されるのが一般的である。このため、空気調和装置のユーザである、温冷感推定の対象者は、推定された自身の温冷感を知ることはなく、温冷感が自身の感覚に一致しているのかどうかを確認することはできない。つまり、暑がりまたは寒がりといった対象者自身の好み等を反映させた空調制御等を行うことも困難であった。
本開示によれば、対象者に対して、現在推定されている人状態を提示し、推定された人状態に対する対象者からの入力等を受け付けることにより、対象者の好み等を反映させた機器の制御等の実現を可能にする。言い換えると、入力された情報を用い、個人の感覚および好み等を反映させた人状態推定が可能となる。
上記課題を解決するための、本開示の一態様に係る人状態推定モジュールは、対象者の体感する状態である人状態を推定するための人状態推定モジュールであって、個人と、個人に特有の情報とを紐づけて記憶する個人情報保持部と、人状態の推定を行う人状態推定部と、個人情報保持部に記憶された個人の中から、対象者を示す個人を特定することにより、対象者と、個人および個人に特有の情報とを対応付ける個人特定部と、を備え、人状態推定部は、個人特定部により対象者に対応付けられた個人および個人に特有の情報に基づき人状態の推定を行う。
これによれば、人状態推定モジュールは、個人情報保持部に記憶された情報の中から、対象者がどの個人であるかを特定することができる。特定された個人に紐づけられた個人に特有の情報を基にして、人状態推定モジュールは、対象者の人状態を推定する。言い換えると、対象者の人状態を推定する際に、個人に特有の情報を加味して、個人に合わせて補正された人状態の推定を行うことができる。よって、上記態様において推定された人状態を用いることにより、対象者が求める機器の制御を精度よく実施することができる。
また、個人に特有の情報は、個人の特性情報、個人の好みに関する情報、および個人が体感する状態の正解値のうち少なくとも1つを含み、人状態推定モジュールは、さらに、対象者が入力する個人に特有の情報を受け付けて個人情報保持部に記憶させる個人情報入力部を備え、個人特定部は、対象者と、個人情報保持部に記憶された個人および個人に特有の情報とを対応付けてもよい。
これによれば、個人の特性情報、個人の好みに関する情報、および個人が体感する状態の正解値のうち少なくとも1つを含む個人に特有の情報を対象者が入力し、個人情報保持部に記憶させることができる。人状態推定モジュールは、個人情報保持部に記憶された個人に特有の情報を基にして、個人の特性情報、個人の好みに関する情報、および個人が体感する状態の正解値の少なくともいずれかに合わせて補正された人状態の推定を行うことができる。よって、上記態様において推定された人状態を用いることにより、対象者が求める機器の制御を精度よく実施することができる。
また、さらに、対象人選択部を備え、個人情報入力部により個人および個人に特有の情報の入力が受け付けられる対象者は、対象人選択部により、複数の対象者のうちから選択された一の対象者であってもよい。
これによれば、人状態推定モジュールが人状態を推定する際の検知範囲に複数の対象者が存在する場合に、複数の対象者の中から一の対象者を選択することができる。選択された対象者ごとに個人に特有の情報を入力することができるため、複数の対象者が存在する場合においてもそれぞれの対象者に合わせて人状態を推定することができる。よって、複数の対象者が存在する場合においても複数の対象者のそれぞれにおいて推定された個々の人状態を用いることにより、それぞれの対象者が求める機器の制御を精度よく実施することができる。
また、さらに、対象者の画像を取得する画像取得部を備え、個人特定部は、取得された画像を用いて対象者と、個人情報保持部に記憶されている個人および個人に特有の情報とを対応付けてもよい。
これによれば、人状態推定モジュールは、画像認識により、自動的に個人情報保持部に記憶された情報の中から、対象者がどの個人であるかを特定することができる。よって、対象者と個人との対応付けを自動で行うことができ、個人に特有の情報を加味した、個人に合わせて補正された人状態の推定を簡便に行うことができる。
また、さらに、画像取得部によって取得された画像を表示するカメラ画像表示部と、人状態推定部によって推定された人状態を示す画像を表示する人状態表示部と、を備え、人状態表示部は、カメラ画像表示部により表示されている画像のうち、対象者を含む所定の範囲が表示されている領域に、人状態を示す画像の少なくとも一部を重畳させて表示してもよい。
これによれば、対象者は、どの対象者がどのような人状態であるかを、画像を視認するだけで確認できる。よって、人状態推定モジュールを使用する際の、対象者の使用容易性が向上する。
また、人状態表示部は、対象者によって入力された、対象者が体感する状態の正解値を示す画像をさらに表示してもよい。
これによれば、推定された人状態と、対象者が実際に体感する状態である正解値とを同一画面上で見比べることができる。よって、対象者は、直感的な操作により人状態を補正するための、実際に体感する状態の正解値を入力することができ、人状態推定モジュールを使用する際の、対象者の使用容易性が向上する。
また、人状態推定部によって推定された人状態は、順序尺度以上の情報を含み、人状態表示部は、人状態が取り得る最小値に対応する第1位置および最大値に対応する第2位置を連続的または断続的に繋ぐ基準図形と、基準図形において、推定された人状態に対応する位置を指し示す推定人状態指示表示と、基準図形において、対象者によって入力された正解値に対応する位置を指し示す入力人状態指示表示と、を示す画像を表示してもよい。
これによれば、図形によって表示された、推定された人状態と、対象者が実際に体感する状態である正解値とを同一画面上で見比べることができる。よって、対象者は、さらに直感的な操作により人状態を補正するための、実際に体感する状態の正解値を入力することができ、人状態推定モジュールを使用する際の、対象者の使用容易性が向上する。
また、さらに、対象者によって入力された、個人に特有の情報に基づき、対象者における人状態の傾向を示す人状態推定特性を表示する人状態推定特性表示部を備えてもよい。
これによれば、これにより、対象者は、ある環境において自身がどのような人状態をとり得るのか、傾向として把握することができる。よって、対象者は、機器等の制御が、自身の傾向に基づいているのか否かを容易に判別でき、対象者が求める機器の制御を精度よく実施するための人状態を推定することができる。
また、本開示の一態様に係る温冷感推定モジュールは、マトリクス状の温度分布を示す熱画像を取得する熱画像取得部をさらに備える上記いずれかに記載の人状態推定モジュールを用いて、人状態として、対象者が体感する温冷感覚である温冷感の推定を行ってもよい。
これによれば、人状態として温冷感を推定する温冷感推定モジュールを実現でき、当該温冷感推定モジュールにより対象者の温冷感がより精度よく推定される。よって、対象者が求める機器の制御を精度よく実施するための温冷感を推定することができる。
また、本開示の一態様に係るユーザインタフェース装置は、上記いずれか一項に記載の人状態推定モジュールの制御に用いられるユーザインタフェース装置であって、対象者により入力される、個人の特性情報、個人の好みに関する情報、および個人が体感する状態の正解値のうち少なくとも1つを含む個人に特有の情報を受け付け、個人情報保持部に記憶させる個人情報入力部を備える。
これによれば、個人の特性情報、個人の好みに関する情報、および個人が体感する状態の正解値のうち少なくとも1つを含む個人に特有の情報を対象者が入力し、個人情報保持部に記憶させることができる。人状態推定モジュールは、個人情報保持部に記憶された個人に特有の情報を基にして、個人の特性情報、個人の好みに関する情報、および個人が体感する状態の正解値の少なくともいずれかに合わせて補正された人状態の推定を行うことができる。よって、上記態様において推定された人状態を用いることにより、対象者が求める機器の制御を精度よく実施することができる。
以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的または具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置および接続形態、並びに、ステップおよびステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。
(実施の形態)
[人状態推定モジュール]
まず、実施の形態に係る人状態推定モジュールの装置構成について図1および図2を用いて説明する。図1は、実施の形態に係る人状態推定モジュールの概略構成図である。また、図2は、実施の形態に係る人状態推定モジュールの機能ブロック図である。
本実施の形態における人状態推定モジュール100は、対象者の体感する状態である人状態を推定するための装置である。以降の実施の形態の説明においては、人状態推定モジュール100として、室内10に設置された空気調和装置101の制御に用いられる人状態推定モジュール100の一例について説明する。より詳しくは、本実施の形態における人状態推定モジュールは、人状態として、対象者が体感する温冷感覚である温冷感を推定するための温冷感推定モジュールであるものとして説明する。
図1および図2に示すように、人状態推定モジュール100は、インタフェース部120と、センシング部140と、演算処理部160とを備える。より具体的には、図1に示すように、インタフェース部120は、空気調和装置101のリモートコントローラに備えられる。また、センシング部140は、空気調和装置101の本体に内蔵され、空気調和装置101が設置された室内10を検知する。また、演算処理部160は、人状態推定モジュール100における情報処理を行うための処理装置であり、一例として、インタフェース部120およびセンシング部140と通信を介して接続可能なネットワーク上のクラウドサーバとして実現される。
なお、以上の構成は一例であり、インタフェース部120と、演算処理部160とが、空気調和装置101に内蔵されてもよい。つまり、人状態推定モジュール100は、インタフェース部120とセンシング部140と、演算処理部160とが一体化された1つの装置として実現されてもよい。また、これらの構成要素の一部、もしくは機能の一部が、さらに、別の装置に備えられてもよい。
図2に示すように、本実施の形態における人状態推定モジュール100が備える、インタフェース部120と、センシング部140と、演算処理部160とのそれぞれは、通信可能に接続されている。以下、各構成要素について、より詳しく説明する。
[インタフェース部]
インタフェース部120は、人状態推定モジュール100に対する、対象者からの指示等を受け付けるユーザインタフェース装置である。インタフェース部120は、対象者から受け付けた指示等に基づき、人状態推定モジュール100を制御する。インタフェース部120は、さらに詳しくは、カメラ画像表示部121、人状態表示部123、人状態推定特性表示部124、個人特定部125、個人情報入力部127、および対象人選択部129を備える。
カメラ画像表示部121は、後述する画像取得部141によって取得された室内10が撮像された画像を表示する装置である。カメラ画像表示部121は、画像処理のための演算回路と、処理された画像を表示する表示装置とを備える。表示装置は具体的には、空気調和装置101のリモートコントローラに搭載された液晶表示パネルである。
人状態表示部123は、後述する人状態推定部161によって推定された対象者の人状態を示す画像を表示する装置である。人状態表示部123は、カメラ画像表示部121において表示される画像に対して、対象者の人状態を重畳させる処理を行う処理装置である。したがって、人状態表示部123は、画像処理を行うための演算回路を備える。人状態表示部123は、演算回路を用いて生成した画像を、カメラ画像表示部121の演算回路に送信し、カメラ画像表示部121が表示する画像に対象者の人状態を重畳させる。
人状態推定特性表示部124は、対象者が入力した情報に基づき、対象者における人状態の傾向を示す人状態推定特性を表示する装置である。人状態推定特性表示部124は、カメラ画像表示部121に備えられた表示装置に対して、室内10が撮像された画像に代えて、人状態推定特性を示す特性画像を表示させる装置である。人状態推定特性表示部124は、画像処理を行うための演算回路を備える。人状態推定特性表示部124は、演算回路において生成された画像を、カメラ画像表示部121に備えられた表示装置に割り込ませることにより表示させる。なお、人状態推定特性表示部124によって生成される特性画像および人状態推定特性の内容については、図12および図13を用いて後述する。
個人特定部125は、対象者を示す個人を特定するための入力装置である。より詳しくは、個人特定部125は、後述する個人情報保持部163に記憶されている複数の個人の中から対象者に対応する個人を特定するための装置である。個人特定部125は、入力装置、および表示装置に画像を表示させる装置を備える。一例として、本実施の形態における個人特定部125は、入力装置として対象者による入力を受け付ける押圧式のスイッチを有する。また、個人特定部125は、表示装置に表示させる画像を生成するための演算回路を備える。個人特定部125は、スイッチを押圧されるごとに、室内10が撮像された画像中に、個人情報保持部163に記憶されている複数の個人を順に表示する。つまり、スイッチを用いて入力を行い、対象者自身が、対象者に対応する個人を選択することができる。
個人情報入力部127は、個人に特有の情報の入力を受け付けて後述する個人情報保持部163に記憶させる入力装置である。
ここで、個人に特有の情報とは、人状態推定モジュールを用いて推定される人状態に関連する個人ごとの情報である。個人に特有の情報として、例えば、個人ごとにおける、外的環境に対して個人がどのような感覚を得やすいか(つまり、どのような人状態をとりやすいか)を示す個人の特性情報が含まれてもよい。また、個人に特有の情報として、例えば、個人ごとの嗜好(つまり、どのような人状態となることを好むか)を示す個人の好みに関する情報が含まれてもよい。また、個人に特有の情報として、例えば、個人ごとにおける、人情報に対応して個人が実際に体感している正解値(つまり、推定される人状態に対応する実際の人状態)の情報が含まれてもよい。
個人情報入力部127は、入力装置、および表示装置に画像を表示させる装置を備える。一例として、本実施の形態における個人情報入力部127は、入力装置として対象者による入力を受け付ける押圧式のスイッチを有する。また、個人情報入力部127は、表示装置に表示させる画像を生成するための演算回路を備える。個人情報入力部127は、スイッチを押圧されるごとに、室内10が撮像された画像中に、個人に特有の情報として対象者が選択し得る候補選択肢を順に表示する。つまり、スイッチを用いて入力を行い、対象者自身が、対象者に対応する個人に特有の情報を選択することができる。
選択された個人に特有の情報は、通信を介してインタフェース部120と接続された個人情報保持部163へと送信され、個人情報保持部163において記憶される。なお、個人情報入力部127による入力の前に、対象者は、個人特定部125への入力を完了しておく。これによれば、対象者に対応する個人による個人に特有の情報が個人情報保持部163へと送信される。したがって、個人と、個人に特有の情報とが紐づけられて記憶される。
対象人選択部129は、室内10において複数の人が存在し、各々が人状態推定モジュール100による人状態推定の対象者となり得る場合に、複数の人の中から対象者を選択するための入力装置である。より詳しくは、対象人選択部129は、カメラ画像表示部121により表示されている室内10が撮像された画像中の人から、前述した個人特定部125による個人の特定を行うための対象者の選択に使用される。対象人選択部129は、入力装置、および表示装置に画像を表示させる装置を備える。一例として、本実施の形態における対象人選択部129は、入力装置として対象者による入力を受け付ける押圧式のスイッチを有する。また、対象人選択部129は、表示装置に表示させる画像を生成するための演算回路を備える。
対象人選択部129は、室内10が撮像された画像について画像認識により、画像中の人を抽出する。その後、対象人選択部129は、室内10が撮像された画像中の抽出された人のうちの一人にカーソルを表示する。対象人選択部129は、スイッチを押圧されるごとに、抽出された人のすべてについて一人ずつ順にカーソルを移動する。
[センシング部]
センシング部140は、人状態の推定および空気調和装置101の制御に用いるための種々の検知を行うセンサ装置である。センシング部140は、本実施の形態においては、画像取得部141および熱画像取得部143を備える。
画像取得部141は、室内10を撮像することにより対象者の画像を取得する撮像装置である。当該画像は、つまり、インタフェース部120のカメラ画像表示部121において表示される画像である。画像取得部141は、一例としてカメラによって実現される。
画像取得部141によって取得された画像は、通信を介してインタフェース部120に送信されることにより、インタフェース部120によって実現される各種機能に用いられる。なお、取得された画像は、通信を介して演算処理部160に送信されることにより、演算処理部160において実現される各種機能に用いられてもよい。
熱画像取得部143は、熱画像を取得するための撮像装置である。熱画像は、撮像された二次元面を格子状に区切った場合の各格子の温度をスケール表示した画像である。つまり、熱画像は、マトリクス状の温度分布を示すサーモグラムである。したがって、熱画像取得部143は、各格子に対応する赤外線を測定するサーモカメラによって実現される。熱画像取得部143によって取得された画像は、通信を介してインタフェース部120に送信されることにより、インタフェース部120によって実現される各種機能に用いられる。なお、取得された熱画像は、通信を介して演算処理部160に送信されることにより、演算処理部160において実現される各種機能に用いられてもよい。
[演算処理部]
演算処理部160は、人状態推定モジュール100における人状態推定等の情報処理機能を有する処理装置である。演算処理部160は、また、各種情報を記憶するデータベース機能を有していてもよい。本実施の形態における演算処理部160は、ネットワーク上のクラウドサーバとして実現される。したがって、インタフェース部120およびセンシング部140は、ネットワークを介して各種情報をクラウドサーバへと送信し、クラウドサーバ上で処理された情報を受信することにより、人状態推定モジュール100の各種機能を実現する。本実施の形態における演算処理部160は、人状態推定部161、個人情報保持部163、および人状態推定補正部165を備える。
人状態推定部161は、人状態の推定を行う処理装置である。より具体的には、人状態の一例として、人状態推定部161は、熱画像取得部143において取得された熱画像から対象者の温冷感を推定する。したがって、人状態推定部161は、熱画像を受信するために、熱画像取得部143と通信を介して接続されている。人状態推定部161は、熱画像から得られる対象者を取り巻く周囲の環境温度と、対象者自身の体温度とを用いて、これらの温度差を基に、対象者から周囲へと放熱される推定放熱量を推定する。さらに、人状態推定部161は、推定放熱量から対象者における温冷感の推定を行う。また、人状態推定部161は、推定された温冷感を送信してインタフェース部120の画面121aに表示させるために、インタフェース部120と通信を介して接続されている。
個人情報保持部163は、個人と、個人に特有の情報とを紐づけて記憶する記憶装置である。個人情報保持部163は、これらの情報を記憶するためにROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いて構成される。また、個人情報保持部163には、通信を介して各装置が接続可能である。各装置は、個人情報保持部163に情報を記憶させる、または、個人情報保持部163に記憶させた情報を取得する(読み出す)ために個人情報保持部163に接続される。
人状態推定補正部165は、推定された人状態と、記憶された個人に特有の情報とを用いて、推定された人状態を補正する処理装置である。したがって、人状態推定部161と人状態推定補正部165とは、一体的に動作する1つの処理装置として実現されてもよい。
なお、上記の各機能はそれぞれ個別のサーバにおいて実現されてもよく、一体的なサーバで実現されてもよい。さらに、上記の各機能のうち一部の機能さらに分割して処理するサーバを設けてもよい。
以下、インタフェース部120について、より詳細に説明する。
図3は、実施の形態に係るインタフェース部の外観を示す斜視図である。図3に示すように、インタフェース部120は、例えば、画面121aと複数のスイッチとを備える。画面121aは、カメラ画像表示部121が備える表示装置の一例である。したがって、インタフェース部120の画面121aには、画像取得部141において取得された画像が表示される。画像は、空気調和装置101のセンシング部140から室内10が撮像された画像構成である。
例えば、図に示すように、画像には、室内10に存在する第1の人21、および第2の人23が示されている。なお、画面121aには、熱画像取得部143において取得された熱画像が表示されてもよい。さらに、画像認識により画像上において存在する1以上の人を識別する。その後、識別された1以上の人のうちの1人が選択され、画面121aに1人を選択するカーソル25が表示される。カーソル25は、1以上の人のうちの1人が選択されていることを示すために当該1人を囲んで示す矩形の画像情報である。また、カーソル25に囲まれることにより選択された対象者の名前と、人状態推定モジュールによって推定された人状態が表示される。例えば、図中では、第1の人21をカーソル25が囲んでおり、第1の人21が選択されている様子が示されている。また、第1の人21の名前として「Human A」、第1の人21の人状態として温冷感である「Cool」が表示されている。
ここで、対象者が個人として個人情報保持部163に記憶されていない場合、対象者に対応する個人の名前の初期値として「Human A」が付与される。図に示すように複数の人が室内10に存在し、各々が人状態推定モジュール100による人状態推定の対象者となり得る場合に、「Human A」が付与済みであれば、「Human B」等の、連続する記号箇所を変更した新たな個人の名前を付与すればよい。また、対象者が記憶済みの対象者であった場合、記憶済みの個人の名前を表示してもよい。例えば、記憶番号1番の対象者であった場合、「User 1」と表示してもよい。なお、個人の名前の記憶については、任意の名前が記憶されてもよい。例えば、「Taro」等の対象者の氏名等が記憶されてもよい。
インタフェース部120が備える複数のスイッチは、例えば、個人特定部125、個人情報入力部127、対象人選択部129により構成される。したがって、インタフェース部120の複数のスイッチを対象者が押圧することにより、人状態推定モジュール100の各動作が実行される。
図4は、実施の形態に係る対象人選択部の操作を説明する図である。図4の(a)は、対象人選択部129を操作する前を示している。また、図4の(b)は、対象人選択部129を操作した後を示している。図中にハッチングで示された対象人選択部129は、前述したように、操作することによって複数の人の中から対象者を選択するための入力装置である。
したがって、対象者は、自身に対応する人を選択するため、対象人選択部129を操作する。対象人選択部129は、一例として左右方向を示す二つのスイッチを備える。対象者が、二つのスイッチのうちいずれかを操作すると、画像上において、操作したスイッチが示す左右方向のいずれかに表示されている別の人にカーソル25が移動する。図中では、対象人選択部129の操作の前後において、第1の人21を選択するカーソル25が、第2の人23を選択するカーソル27へと変化している。
以上のようにして、室内10に複数の対象者が存在する場合に、対象者は、対象人選択部により、複数の対象者のうちから選択された一の対象者を自身に対応する対象者として選択することができる。なお、室内10に対象者が一人しかいない場合には、対象人選択部129の操作は省略されてもよい。
図5は、実施の形態に係る個人特定部の操作を説明する図である。図5の(a)は、個人特定部125を操作する前を示している。また、図5の(b)は、個人特定部125を操作した後を示している。図中にハッチングで示された個人特定部125は、前述したように、操作することによって対象者を示す個人を特定するための入力装置である。
したがって、対象者は、自身に対応する個人の情報を、個人情報保持部163から取得するため、個人特定部125を操作する。個人特定部125は、一例として上下方向を示す二つのスイッチを備える。対象者が、二つのスイッチのうちいずれかを操作すると、画像上において、記憶されている個人の名前が順に表示される。図中では、対象人選択部129の操作の前後において、第1の人21に対応する記憶されている個人の名前が「User 1」から「User 2」へと変更されている。つまり、第1の人21は、「User 2」の名前で記憶されている個人である。
以上のようにして、対象者は、個人特定部により個人情報保持部163に記憶された複数の個人の中から、対象者を示す個人を特定し、個人の情報を取得することができる。
ここで、個人の情報は、個人情報保持部163に記憶された個人に関する情報であり、個人と、個人に特有の情報とが含まれる。なお、個人の情報に個人の顔の画像情報が含まれてもよい。これによれば、画像取得部141において取得された室内10の画像における対象者の顔を認識することにより、自動的に個人情報保持部163に記憶された個人を特定し、個人に関する情報を取得できる。
図6は、実施の形態に係る個人情報入力部の操作を説明する図である。図6の(a)は、個人情報入力部127を操作する前を示している。また、図6の(b)は、個人情報入力部127を操作した後を示している。図中にハッチングで示された個人情報入力部127は、前述したように、操作することによって個人に特有の情報の入力を受け付けて個人情報保持部163に記憶させる入力装置である。
したがって、対象者は、個人に特有の情報を入力し、個人情報保持部163に記憶させるため、個人情報入力部127を操作する。個人情報入力部127は、一例として一つのスイッチを備える。対象者が、一つのスイッチを操作すると、画像上において人がとり得る人状態が順に表示される。図中では、個人情報入力部127の操作の前後において、第1の人21に対応する人状態が温冷感の「Cool」から「Neutral」へと変更されている。つまり、対象者である第1の人21は、温冷感が「Cool」の状態であると推定されたが、実際には、第1の人21は、温冷感が「Neutral」の状態であったため、対象者による人状態(温冷感)の補正が行われたことを示している。
補正された人状態の情報(つまり個人に特有の情報)は、空気調和装置101の制御情報とともに個人情報保持部163へと送信され、個人の情報の一部として記憶される。これにより、人状態推定モジュール100は、補正された個人に特有の情報に基づき、人状態の推定を実施することができる。
[インタフェース部の変形例1]
ここで、さらに、インタフェース部120の変形例1について図7A~図7Cを用いて説明する。なお、以降の変形例の説明については、実施の形態と異なる箇所について説明し、実施の形態と実質的に同一の箇所については、省略または簡略化して説明する。
図7Aは、変形例1に係るインタフェース部の外観を示す第1の斜視図である。また、図7Bは、変形例1に係るインタフェース部の外観を示す第2の斜視図である。また、図7Cは、変形例1に係るインタフェース部の外観を示す第3の斜視図である。
図7Aに示すように本変形例におけるインタフェース部120aは、画面121aに加えて、サブ画面123aを備える点で実施の形態と異なっている。サブ画面123aは、上記実施の形態において画面121aに表示される画像に対して重畳され表示されていた情報を個別に表示するための表示装置である。例えば、サブ画面123aには、個人の名前および推定された人状態等の文字情報が表示されてもよい。また、サブ画面123aは、大きさにも特に制限はない。サブ画面123aには、複数の対象者のうち、対象人選択部129によって選択されている人の画像をトリミングした画像が表示されてもよい。また、サブ画面123aには、人状態推定特性を示す特性画像が表示されてもよい。
一例として、図中の画面121aには、カーソル25によって第1の人21が選択されていることが示されている。また、図中のサブ画面123aには、第1の人21が「User 1」として記憶され、温冷感として「Cool」の状態であることが推定されている。対象者は、複数のスイッチを任意に操作して人状態推定モジュール100への入力を行う。
図7Bに示すように、例えば、サブ画面123aには、「User 1」に代えて「Taro」等の記憶されている対象者の氏名等が表示されてもよい。
図7Cに示すように、例えば、インタフェース部120bは、個人特定部125を備えなくてもよい。前述した画像取得部141において取得された室内10の画像における対象者の顔を認識することにより、自動的に個人情報保持部163に記憶された個人を特定し、個人に関する情報を取得する構成においては、個人特定部125による操作が不要である。個人特定部125を備えないことにより、対象者が、インタフェース部120bを用いて人状態推定モジュール100を操作する際の煩雑さが低減され、より利便性の高い人状態推定モジュール100が実現できる。
[インタフェース部の変形例2]
以下では、さらに、インタフェース部120の変形例2について図8を用いて説明する。図8は、変形例2に係るインタフェース部の外観を示す斜視図である。図8の(a)は、対象人選択部129に対応する操作を示す図である。また、図8の(b)は、個人特定部125および個人情報入力部127に対応する操作を示す図である。
図8に示すように、本変形例におけるインタフェース部120cは、タッチパネル121bのみを備える。したがってインタフェース部120cは、複数のスイッチを有さなくてもよい。これにより、操作者による直感的な操作が可能となり、インタフェース部120cの操作性が向上する。また、インタフェース部120cの装置構成が簡略化される。スイッチ等の物理的入力装置では、可動部分の摩耗に弱い場合があり、長期的な使用においては耐久性が重要となるが、タッチパネル121bを備えることで、比較的安価に高耐久性が実現できる。
図8の(a)に示すように、本変形例においては、対象者は自身の手30を用いてタッチパネル121bに触れることでインタフェース部120cへの入力を行う。例えば、対象者は、手30により、タッチパネル121bに表示された画像中の自身(ここでは、第1の人21)に対応する箇所に触れる。すると、カーソル25が表示され、図3の画面121aに表示されている画像と同様の画像が表示される。さらに、対象者は、手30により、タッチパネル121bの上記と同じ箇所に素早く2回触れる。すると、タッチパネル121bには、図8の(b)に示す画像に移行する。
なお、図8の(a)から図8の(b)に移行する際のタッチパネル121bの操作は、素早く2回触れることに限らず、素早く3回触れてもよく、所定の時間触れた状態を維持してもよい。また、図8の(a)から図8の(b)に移行する際のタッチパネル121bの操作は、なくてもよい。タッチパネル121bに表示された画像中の自身に対応する箇所に触れた後、所定の時間が経過すると自動的に図8の(b)の画面が表示されてもよい。
図8の(b)に示すように、タッチパネル121bには、実施の形態における個人特定部125に対応する個人特定表示33、および実施の形態における個人情報入力部127に対応する個人情報入力表示31が画像中に重畳されて表示されている。
個人特定表示33は、対象者を示す個人を特定するための入力領域である。個人特定表示33には、個人情報保持部163に記憶されている個人の名前と、前後の候補の個人を表示させるための左右矢印とが表示されている。対象者が手30により、左右矢印のいずれかを操作すると、画像上において表示されている、記憶されている個人の名前が順に切り替わる。
個人情報入力表示31は、推定された人状態に対して、対象者が実際に体感する状態である正解値等の個人に特有の情報を入力するための入力領域である。個人情報入力表示31には、対象者が実際に体感する状態等を指し示すための矢印型のスケールバーが表示されており、スケールバーにおける矢印の先側に向かうほど、温冷感として暑いと感じることが示されている。対象者は、手30により、スケールバーの該当箇所を触れる、または、スケールバーに触れたまま、上下方向になぞる(スワイプする)ことにより、対象者の個人に特有の情報を入力することができる。
[インタフェース部の表示例]
以下では、さらに、インタフェース部120における画像の表示例について、図9A~図11Bを用いて説明する。なお、以降の説明では、変形例2に係るインタフェース部120cのタッチパネル121bに表示されるものとして画像の例を説明するが、実施の形態、および変形例1において同様の画像が表示されてもよい。
図9Aは、変形例2に係る画像の表示例1を説明する図である。図9Aには、タッチパネル121bに第1の人21および第2の人23が表示され、それぞれが対象者として認識されている。また、いずれの対象者も個人の名前が記憶されておらず、第1の人21には「Human A」が付与され、第2の人23には、「Human B」が付与されている。また、「Human A」は、推定された人状態である温冷感が「Cool」の状態であり、「Human B」は、推定された人状態である温冷感が「Neutral」の状態であることが示されている。
ここで、図中に示すように、個人の名前および人状態は、画像中に表示された対象者に重畳して表示されている。より詳しくは、画像上における対象者を含む所定の範囲が表示されている領域に、人状態を示す画像の少なくとも一部が重畳して表示されている。これによれば、対象者は、どの対象者がどのような人状態であるかを、画像を視認するだけで確認できる。なお、所定の範囲とは、複数の対象者のうち、どの対象者に対応した人状態であるかがわかる範囲である。例えば、複数の対象者のうち、人状態を示す画像が表示されている箇所から最も近くに表示されている対象者が当該人状態に対応する対象者となる位置であればよい。
なお、図中に示すように、カーソル25による選択がなくても個人の名前と、温冷感とが表示されていてもよい。対象者による入力が行われる際に、画像上のいずれの対象者に対する入力であるかを選択すればよい。
図9Bは、変形例2に係る画像の表示例2を説明する図である。図9Bでは、表示例1に対して、第1の人21が実際に体感している人状態が入力されている点で異なる。より詳しくは、表示例2では、表示例1の画像に加えて、さらに、対象者によって入力された、対象者が体感する状態の正解値を示す画像が表示されている。
図中では、第1の人21である「Human A」は、推定された人状態である温冷感が「Cool」の状態であり、実際に体感している温冷感が「Neutral」の状態であることが示されている。
このように、対象者が体感する状態の正解値を示す画像を併せて表示することで、対象者は、推定されている人状態と、自身で入力した、体感する状態とを一目で比較することができる。よって、より直感的に個人に特有の情報の一つである対象者が体感する状態の正解値を入力することができる。
以下、さらに、図10A~図10Dを用いて図8の(b)に示した個人情報入力表示31のスケールバーについて別の表示例を説明する。図10Aは、変形例2に係る画像の表示例3aを説明する図である。図10Aの(a)は、画像の概観を示す図である。また、図10Aの(b)は、スケールバー35を拡大した図である。
図10Aの(a)に示すように、本表示例においては、対象者が体感している状態を入力するためのスケールバー35が表示されている。
図10Aの(b)に示すように、スケールバー35は、取り得る温冷感として最も寒い最小値に対応する第1位置51から、温冷感として最も暑い最大値に対応する第2位置53を連続的に繋ぐ長尺矩形の基準図形55を有する。
さらに、スケールバー35は、基準図形55上において、推定された人状態に対応する位置を指し示す推定人状態指示表示57(画像上側の白抜き三角形)、および対象者によって入力された正解値に対応する位置を指し示す推定人状態指示表示57(画像下側のハッチング三角形)が含まれる。このように、スケールバー35による直感的な視認性の高さに加えて、推定人状態指示表示57と入力人状態指示表示59との対比による視認性の高さの両方を兼ね備える表示が実現できる。
図10Bは、変形例2に係る画像の表示例3bを説明する図である。
図10Bには、スケールバー35の別の例であるスケールバー35bが示されている。スケールバー35bは、スケールバー35に代えて、タッチパネル121bの画像上に表示される。スケールバー35bは、基準図形55b、推定された人状態に対応する位置を指し示す推定人状態指示表示57bおよび対象者によって入力された正解値に対応する位置を指し示す、入力人状態指示表示59bを含む。
より詳しくは、基準図形55bは、温冷感がとり得る最小値に対応する第1位置51bと最大値に対応する第2位置53bを断続的に繋ぐ図形である。また、推定人状態指示表示57bは、断続的な基準図形55bを目盛りとした際に、ハッチングにより塗りつぶされた目盛りの数によって示される。また、入力人状態指示表示59bは、図10Aと同様に、画像下側のハッチング三角形によって示される。
図10Cは、変形例2に係る画像の表示例3cを説明する図である。
図10Cには、スケールバー35の別の例であるスケールバー35cが示されている。スケールバー35cは、スケールバー35に代えて、タッチパネル121bの画像上に表示される。スケールバー35cは、基準図形55c、推定された人状態に対応する位置を指し示す推定人状態指示表示57cおよび対象者によって入力された正解値に対応する位置を指し示す、入力人状態指示表示59cを含む。
より詳しくは、基準図形55cは、温冷感がとり得る最小値に対応する第1位置51cと最大値に対応する第2位置53cを連続的に繋ぐ円弧形の図形である。また、推定人状態指示表示57cは、基準図形55cの対応する位置を指し示す白抜きの指針によって示される。また、入力人状態指示表示59cは、基準図形55cの対応する位置を指し示すハッチングの指針によって示される。
図10Dは、変形例2に係る画像の表示例3dを説明する図である。
図10Dには、スケールバー35の別の例であるスケールバー35dが示されている。スケールバー35dは、スケールバー35に代えて、タッチパネル121bの画像上に表示される。スケールバー35dは、基準図形55d、推定された人状態に対応する位置を指し示す推定人状態指示表示57dおよび対象者によって入力された正解値に対応する位置を指し示す、入力人状態指示表示59dを含む。
より詳しくは、基準図形55dは、温冷感がとり得る最小値に対応する第1位置51dと最大値に対応する第2位置53dを連続的に繋ぐ二重円弧形の図形である。また、推定人状態指示表示57dは、白抜きの基準図形55dの第1位置51dから対応する位置までを塗りつぶしたハッチングによって示される。また、入力人状態指示表示59dは、白抜きの基準図形55dの第1位置51dから対応する位置までを塗りつぶしたハッチングによって示される。
図11Aは、変形例2に係る画像の表示例4を説明する図である。
図11Aに示す本表示例は、記憶される個人の名前を任意に登録する入力例を示している。図11Aに示すように、カーソル25によって選択された第1の人21は、「Taro」であり、画像中の入力欄37において「Ta」までが入力されている。文字の入力には、対象者の手30により、タッチパネル121bに触れる操作、及びタッチパネル121bをなぞる操作を組み合わせることにより、1文字ずつ選択して入力される。
図11Bは、変形例2に係る画像の表示例5を説明する図である。
図11Bに示す本表示例は、記憶されている個人の情報をすべて消去するためのリセット操作における画像の表示例を示している。図11Bに示すように、
対象者は、手30により、カーソル25によって選択された第1の人21の個人の情報を消去する際、リセットボタン41を表示させる。これは、タッチパネル121bの操作の組み合わせによって表示されるように任意に設計される。なお、誤操作により対象者の個人の情報が消去されないよう、当該操作の組み合わせは複雑であることが望ましい。
[人状態推定特性]
以下では、実施の形態において説明した、人状態推定特性表示部124によって表示される人状態推定特性および人状態推定特性を示す特性画像について、図12および図13を用いて説明する。図12は、実施の形態に係る対象者の入力に基づく人状態推定特性について説明する図である。また、図13は、実施の形態に係る人状態推定特性の分類について説明する図である。
図12には、対象者からの入力がなかった場合、推定線の中央部において対象者からの入力があった場合、および推定線の端部において対象者からの入力があった場合について、対象者ごとの人状態推定特性が示されている。なお、ここでは、人状態推定特性として温冷感の推定特性を例示的に用いて説明する。
対象者からの入力がなかった場合、熱画像により推定される放熱量と、対象者が体感する温冷感とは比例の関係を示す。
ここで、推定線の中央部において対象者からの入力があった場合には、当該中央部において、入力された方向に直線を補正する。なお、両端部(つまり、放熱量0、および放熱量最大の箇所については補正を行わず、このような3点を滑らかに結ぶ曲線を人状態推定特性(つまり特性画像)として出力する。例えば、図中に示すように、対象者が推定線の中央部において推定された温冷感よりも暑いと感じた場合、推定線は推定温冷感軸のプラス方向に凸となる曲線を示す。
一方で、さらに、推定線の端部において対象者からの入力があった場合には、当該端部において入力された方向に推定線を補正する。つまり、オフセット変更により推定線全体を推定温冷感軸方向に補正する。図中では、推定線の中央部において補正があったうえで、さらに、推定線の端部において対象者からの補正があった場合の推定線を示している。
このように、各個人について、入力された個人に特有の情報にしたがって補正された人状態の推定曲線を作成し、個人情報保持部163に記憶しておく。人状態推定モジュール100は、個人特定部125によって特定された個人における記憶された推定曲線をもとに人状態の推定を行うため、対象者の体感する状態により近い人状態の推定を行うことができる。よって、推定された人状態を基に機器の制御等を行うことにより、対象者が求める機器の制御を精度よく実施することが可能となる。
また、図12のように、人状態推定特性表示部124は、個人ごとの詳細な人状態推定特性を示す特性画像を表示してもよく、以下に説明する簡易な人状態の傾向を表示してもよい。
例えば、図13に示すように、全体的な傾向として暑いと感じやすい、標準的、寒いと感じやすい等、人状態推定特性を分類分けすることによって、正確な値の表示に代えて、簡易な傾向を人状態推定特性表示部124によって表示してもよい。これによれば、人状態推定特性表示部124によって表示される特性画像をより少ない情報量で表示することができる。また、対象者にとって、傾向として表示された方がより容易に理解できる。なお、このような詳細な表示と、簡易な表示とを設定により切り替えてもよい。
[人状態推定モジュールの動作]
以下、上記の実施の形態、および各変形例において説明した、人状態推定モジュール100の動作について、図14~図17を用いて説明する。図14は、実施の形態に係る人状態推定モジュールの動作を説明する第1のフローチャートである。
図14に示したフローチャートでは、室内10に、一人の対象者のみが存在し、対象者からの入力により個人を特定する構成である。
まず、人状態推定モジュール100のセンシング部140において、画像が取得される。画像は、インタフェース部120へと送信され、画面121aにおいて表示される。対象者は、画面121aにおいて表示された自身の画像を確認しながら、個人特定部125を操作することで、個人を特定する情報を入力する(S10)。インタフェース部120は、個人情報保持部163を参照することにより、個人情報保持部163に記憶された個人の情報を読み込む。個人の情報には、個人に特有の情報が含まれるため、個人の情報が読み込まれることにより、個人に特有の情報も読み込まれる(S11)。
一方で、センシング部140において熱画像が取得され(S12)、通信を介して送信されることで人状態推定部161に取得される。人状態推定部161は、さらに、インタフェース部120から通信を介して個人に特有の情報を受信し、取得する。
人状態推定部161は、取得した熱画像および、取得した個人に特有の情報を用いて、対象者の温冷感(つまり人状態)推定を行う(S13)。より具体的には、人状態推定部161は、取得した熱画像を用いて、対象者の温冷感を推定する。人状態推定部161は、推定された対象者の温冷感、および取得した個人に特有の情報を人状態推定補正部165へと送信する。人状態推定補正部165は、個人に特有の情報を用いて推定された温冷感を補正し、補正された温冷感を人状態推定部161へと送信する。以上により、人状態推定部161は、熱画像、および個人に特有の情報を用いて、対象者の温冷感推定を行う(S13)。
推定した温冷感の推定結果は、人状態推定部161からインタフェース部120へと送信され、インタフェース部120において受信される。インタフェース部120は受信した温冷感の推定結果を画面121aに表示させる(S14)。
ここで、対象者は、表示されている温冷感の推定結果について、正しいか否かを判断し、入力を行う。インタフェース部120は、温冷感の推定結果に対して、対象者からの補正情報の入力があるか否かを判定する(S15)。対象者からの入力がなかった場合(S15でNo)、人状態推定モジュール100は、処理を終了する。
一方、対象者からの補正情報の入力があった場合(S15でYes)、インタフェース部120は、入力された補正情報を取得する(S16)。インタフェース部120は、補正情報に基づいて個人に特有の情報を補正し、補正された個人に特有の情報を個人情報保持部163へと送信して記憶させる(S17)。以降、人状態推定モジュール100は、ステップS11から再度処理を繰り返す。
図15は、実施の形態に係る人状態推定モジュール100の動作を説明する第2のフローチャートである。
図15に示したフローチャートでは、室内10に、一人の対象者のみが存在し、画像認証により対象者を示す個人を特定する構成である。したがって、図14に示したフローチャートと異なる箇所について説明するが、実質的に同一の箇所については、省略または簡略化して説明する。
まず、人状態推定モジュール100のセンシング部140において、画像が取得される。画像は、インタフェース部120へと送信される。また、インタフェース部120は、個人情報保持部163を参照することにより、画像中の対象者に対応する個人を、個人情報保持部163に記憶された個人の中から画像認証により特定する(S20)。インタフェース部120は、特定された個人の情報を読み込む。個人の情報には、個人に特有の情報が含まれるため、個人の情報が読み込まれることにより、個人に特有の情報も読み込まれる(S21)。以降の処理については図14に示したフローチャートと同様であり、ステップS12に代えてステップS22を実施する。また、ステップS13に代えてステップS23を実施し、ステップS14に代えてステップS24を実施し、ステップS15に代えてステップS25を実施する。また、ステップS16に代えてステップS26を実施し、ステップS17に代えてステップS27を実施する。以上の各ステップに対して代替される各ステック内で実施される処理は実質的に同等である。以降、人状態推定モジュール100は、ステップS21から再度処理を繰り返す。
図16は、実施の形態に係る人状態推定モジュール100の動作を説明する第3のフローチャートである。
図16に示したフローチャートでは、室内10に、複数の対象者が存在し、対象者からの入力により個人を特定する構成である。
まず、センシング部140において熱画像が取得され(S30)、通信を介して送信されることで人状態推定部161に取得される。人状態推定部161は、取得した熱画像を用いて、熱画像内の複数の対象者の温冷感(つまり人状態)推定を行う(S31)。人状態推定部161は、推定した温冷感の推定結果を、インタフェース部120へと送信し、インタフェース部120において受信される。また、人状態推定モジュール100のセンシング部140において、画像が取得される。画像は、インタフェース部120へと送信され、画面121aにおいて表示される。インタフェース部120は受信した温冷感の推定結果を画像と併せて画面121aに表示させる(S32)。
ここで、対象者は、画面121aにおいて表示された画像から、対象人選択部129を操作することで、画像中の複数の対象者のなかから自身に対応する対象者を選択する。インタフェース部120は、対象者からの対象者を選択する対象人選択情報の入力があるか否かを判定し(S33)、対象人選択情報の入力がないと判定された場合(S33でNo)、ステップS30から再度処理を繰り返す。
一方で、対象人選択情報の入力があると判定された場合(S33でYes)、当該対象人選択情報を、対象人選択部129から取得する(S34)。インタフェース部120は、個人情報保持部163を参照することにより、個人情報保持部163に記憶された個人の中から、選択された対象者を示す個人の情報を取得し、読み込む。個人の情報には、個人に特有の情報が含まれるため、個人の情報が取得され、読み込まれることにより、個人に特有の情報も取得され、読み込まれる(S35)。
インタフェース部120は、入力された対象人選択情報および読み込まれた個人に特有の情報を人状態推定部161へと送信する。人状態推定部161は、受信した対象人選択情報に基づき、温冷感推定を行った複数の対象者の中から選択された対象者の温冷感を抽出する。また、人状態推定部161は、受信した個人に特有の情報と、抽出された対象者の温冷感とを、用いて、対象者の温冷感(つまり人状態)推定を行う(S36)。
より具体的には、人状態推定部161は、抽出された対象者の温冷感、および受信した個人に特有の情報を人状態推定補正部165へと送信する。人状態推定補正部165は、個人に特有の情報を用いて抽出された温冷感を補正し、補正された温冷感を人状態推定部161へと送信する。以上により、人状態推定部161は、抽出された温冷感、および個人に特有の情報を用いて、対象者の温冷感推定を行う(S36)。
推定した温冷感の推定結果は、人状態推定部161からインタフェース部120へと送信され、インタフェース部120において受信される。インタフェース部120は受信した温冷感の推定結果を画面121aに表示させる。
ここで、対象者は、表示されている温冷感の推定結果について、正しいか否かを判断し、入力を行う。インタフェース部120は、温冷感の推定結果に対して、対象者からの補正情報の入力があるか否かを判定する(S37)。対象者からの入力がなかった場合(S37でNo)、人状態推定モジュール100は、処理を終了する。
一方、対象者からの補正情報の入力があった場合(S37でYes)、インタフェース部120は、入力された補正情報を取得する(S38)。インタフェース部120は、補正情報に基づいて個人に特有の情報を補正し、補正された個人に特有の情報を個人情報保持部163へと送信して記憶させる(S39)。以降、人状態推定モジュール100は、ステップS30から再度処理を繰り返す。
図17は、実施の形態に係る人状態推定モジュール100の動作を説明する第4のフローチャートである。
図17に示したフローチャートでは、室内10に、複数の対象者が存在し、画像認証により複数の対象者それぞれを示す複数の個人を特定する構成である。したがって、図16に示したフローチャートと異なる箇所について説明するが、実質的に同一の箇所については、省略または簡略化して説明する。
まず、人状態推定モジュール100のセンシング部140において、画像が取得される。画像は、インタフェース部120へと送信される。また、インタフェース部120は、個人情報保持部163を参照することにより、画像中の複数の対象者に対応する複数の個人を、個人情報保持部163に記憶された個人の中から画像認証により特定する(S40)。インタフェース部120は、特定された複数の個人の情報を読み込む。複数の個人の情報には、複数の個人に特有の情報が含まれるため、複数の個人の情報が読み込まれることにより、複数の個人に特有の情報も読み込まれる(S41)。
次に、センシング部140において熱画像が取得され(S42)、通信を介して送信されることで人状態推定部161に取得される。インタフェース部120は、読み込まれた複数の個人に特有の情報を、人状態推定部161へと送信する。複数の個人に特有の情報は、人状態推定部161において受信されることで取得される。
人状態推定部161は、取得した熱画像および、取得した複数の個人に特有の情報を用いて、複数の対象者それぞれの温冷感(つまり人状態)推定を行う(S43)。より具体的には、人状態推定部161は、取得した熱画像を用いて、複数の対象者それぞれの温冷感を推定する。人状態推定部161は、推定された複数の対象者それぞれの温冷感、および取得した複数の個人に特有の情報を人状態推定補正部165へと送信する。人状態推定補正部165は、複数の個人に特有の情報を用いて推定された複数の対象者それぞれの温冷感を補正し、補正された複数の対象者それぞれの温冷感を人状態推定部161へと送信する。以上により、人状態推定部161は、熱画像、および複数の個人に特有の情報を用いて、複数の対象者それぞれの温冷感推定を行う(S43)。
推定した複数の対象者それぞれの温冷感の推定結果は、人状態推定部161からインタフェース部120へと送信され、インタフェース部120において受信される。インタフェース部120は受信した複数の対象者それぞれの温冷感の推定結果を画面121aに表示させる(S44)。
ここで、対象者は、画面121aにおいて表示された画像から、対象人選択部129を操作することで、画像中の複数の対象者のなかから自身に対応する対象者を選択する。インタフェース部120は、対象者からの対象者を選択する対象人選択情報の入力があるか否かを判定し(S45)、対象人選択情報の入力がないと判定された場合(S45でNo)、ステップS41から再度処理を繰り返す。
一方で、対象人選択情報の入力があると判定された場合(S45でYes)、当該対象人選択情報を、対象人選択部129から取得する(S46)。
以降の処理については図16に示したフローチャートと同様であり、ステップS37に代えてステップS47を実施する。また、ステップS38に代えてステップS48を実施し、ステップS39に代えてステップS49を実施し以降、人状態推定モジュール100は、ステップS41から再度処理を繰り返す。
(その他の実施の形態)
以上、本開示に係る人状態推定モジュール100温冷感推定モジュール、およびユーザインタフェース装置について、上記実施の形態および各変形例に基づいて説明したが、本開示は、上記の実施の形態および各変形例に限定されるものではない。例えば、上記実施の形態等に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
上記実施の形態の変形例2においては、タッチパネル121bに様々な表示を行い、当該タッチパネル121bを操作することにより各種機能を実現した。例えば、これらの各種機能を実現するハードウェアスイッチを別に備えてもよい。
また、例えば、タッチパネル121bとハードウェアスイッチとを任意に組み合わせて各種機能を実現してもよい。
また、インタフェース部120は、空気調和装置101のリモートコントローラであるものとして説明したが、スマートホンまたはタブレット端末等の携帯端末により実現してもよい。また、当該携帯端末上において上記機能を実現するアプリケーションとして実現してもよい。
また上記では、人状態として、温冷感についての一例を中心に説明したが、人状態としては、眠気推定装置、脈波推定装置、心拍推定装置等、人状態推定モジュールを任意の装置に組み合わせて使用してもよい。
眠気推定装置等においては、熱画像を取得する必要はなく、熱画像取得部を備えなくてもよい。
また、上記実施の形態等では、人状態推定モジュールを対象者が操作する例を示したが、対象者とは異なる人状態推定モジュールの使用者が操作してもよい。
対象者の体感する状態をセンサ等により検知し、機器の制御等に用いる機器制御システム等に利用可能である。
10 室内
21 第1の人
23 第2の人
25、27 カーソル
30 手
31 個人情報入力表示
33 個人特定表示
35、35b、35c、35d スケールバー
37 入力欄
41 リセットボタン
51、51b、51c、51d 第1位置
53、53b、53c、53d 第2位置
55、55b、55c、55d 基準図形
57、57b、57c、57d 推定人状態指示表示
59、59b、59c、59d 入力人状態指示表示
100 人状態推定モジュール
101 空気調和装置
120、120a、120b、120c インタフェース部
121 カメラ画像表示部
121a 画面
121b タッチパネル
123 人状態表示部
123a サブ画面
124 人状態推定特性表示部
125 個人特定部
127 個人情報入力部
129 対象人選択部
140 センシング部
141 画像取得部
143 熱画像取得部
160 演算処理部
161 人状態推定部
163 個人情報保持部
165 人状態推定補正部

Claims (13)

  1. 対象者の体感する状態である人状態を推定するための人状態推定モジュールであって、
    個人と、前記個人に特有の情報とを紐づけて記憶する個人情報保持部と、
    前記対象者が入力する前記個人に特有の情報であって、前記個人の好みに関する情報を少なくとも含む前記個人に特有の情報を受け付けて前記個人情報保持部に記憶させる個人情報入力部と、
    前記人状態の推定を行う人状態推定部と、
    前記個人情報保持部に記憶された前記個人の中から、前記対象者を示す前記個人を特定することにより、前記対象者と、前記個人および前記個人に特有の情報とを対応付ける個人特定部と、を備え、
    前記人状態推定部は、前記個人特定部により前記対象者に対応付けられた前記個人および前記個人に特有の情報に基づき前記人状態の推定を行う、
    人状態推定モジュール。
  2. 前記個人に特有の情報は、さらに、前記個人の特性情報および前記個人が体感する状態の正解値のうち少なくとも1つを含み、
    前記個人特定部は、前記対象者と、前記個人情報保持部に記憶された前記個人および前記個人に特有の情報とを対応付ける、
    請求項1に記載の人状態推定モジュール。
  3. さらに、対象人選択部を備え、
    前記個人情報入力部により前記個人および前記個人に特有の情報の入力が受け付けられる前記対象者は、前記対象人選択部により、複数の対象者のうちから選択された一の対象者である、
    請求項2に記載の人状態推定モジュール
  4. さらに、前記対象者の画像を取得する画像取得部を備え、
    前記個人特定部は、取得された前記画像を用いて前記対象者と、前記個人情報保持部に記憶されている前記個人および前記個人に特有の情報とを対応付ける、
    請求項1~3のいずれか一項に記載の人状態推定モジュール。
  5. さらに、前記画像取得部によって取得された画像を表示するカメラ画像表示部と、
    前記人状態推定部によって推定された前記人状態を示す画像を表示する人状態表示部と、を備え、
    前記人状態表示部は、前記カメラ画像表示部により表示されている画像のうち、前記対象者を含む所定の範囲が表示されている領域に、前記人状態を示す画像の少なくとも一部を重畳させて表示する、
    請求項4に記載の人状態推定モジュール。
  6. 前記人状態表示部は、前記対象者によって入力された、前記対象者が体感する状態の正解値を示す画像をさらに表示する、
    請求項2に従属する請求項5に記載の人状態推定モジュール。
  7. 前記人状態表示部は、
    前記人状態が取り得る最小値に対応する第1位置および最大値に対応する第2位置を連続的または断続的に繋ぐ基準図形と、
    前記基準図形において、推定された人状態に対応する位置を指し示す推定人状態指示表示と、
    前記基準図形において、前記対象者によって入力された前記正解値に対応する位置を指し示す入力人状態指示表示と、を示す画像を表示する、
    請求項6に記載の人状態推定モジュール。
  8. さらに、前記対象者によって入力された、前記個人に特有の情報に基づき、前記対象者が体感する状態の傾向を示す人状態推定特性を表示する人状態推定特性表示部を備える、
    請求項2に記載の人状態推定モジュール。
  9. マトリクス状の温度分布を示す熱画像を取得する熱画像取得部をさらに備える請求項1~8のいずれか一項に記載の人状態推定モジュールを用いて、前記人状態として、前記対象者が体感する温冷感覚である温冷感の推定を行う、
    温冷感推定モジュール。
  10. 請求項1~8のいずれか一項に記載の人状態推定モジュールの制御に用いられるユーザインタフェース装置であって、
    前記対象者により入力される、前記個人の特性情報、前記個人の好みに関する情報、および前記個人が体感する状態の正解値のうち少なくとも1つを含む前記個人に特有の情報を受け付け、前記個人情報保持部に記憶させる個人情報入力部を備える、
    ユーザインタフェース装置。
  11. 対象者の特性を反映させた上で機器を制御するための機器制御システムであって、
    個人と、前記個人に特有の情報とを紐づけて記憶する個人情報保持部と、
    前記対象者が入力する前記個人に特有の情報であって、前記個人の好みに関する情報を少なくとも含む前記個人に特有の情報を受け付けて前記個人情報保持部に記憶させる個人情報入力部と、
    前記対象者の体感する状態である人状態の推定を行う人状態推定部と、
    前記個人情報保持部に記憶された前記個人の中から、前記対象者を示す前記個人を特定することにより、前記対象者と前記個人および前記個人に特有の情報とを対応付ける個人特定部と、を備え、
    前記人状態推定部は、前記個人特定部により前記対象者に対応付けられた前記個人および前記個人に特有の情報に基づき前記人状態の推定を行う、
    機器制御システム。
  12. 前記対象者の熱画像を取得する熱画像取得部をさらに備える、
    請求項11に記載の機器制御システム。
  13. 前記熱画像を用いて前記対象者が体感する温冷感覚である温冷感の推定を行う、
    請求項12に記載の機器制御システム。
JP2019051698A 2019-03-19 2019-03-19 人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム Active JP7253716B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019051698A JP7253716B2 (ja) 2019-03-19 2019-03-19 人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム
JP2023040592A JP2023088943A (ja) 2019-03-19 2023-03-15 機器制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019051698A JP7253716B2 (ja) 2019-03-19 2019-03-19 人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023040592A Division JP2023088943A (ja) 2019-03-19 2023-03-15 機器制御システム

Publications (2)

Publication Number Publication Date
JP2020153780A JP2020153780A (ja) 2020-09-24
JP7253716B2 true JP7253716B2 (ja) 2023-04-07

Family

ID=72558621

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019051698A Active JP7253716B2 (ja) 2019-03-19 2019-03-19 人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム
JP2023040592A Pending JP2023088943A (ja) 2019-03-19 2023-03-15 機器制御システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023040592A Pending JP2023088943A (ja) 2019-03-19 2023-03-15 機器制御システム

Country Status (1)

Country Link
JP (2) JP7253716B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013204965A (ja) 2012-03-29 2013-10-07 Panasonic Corp 機器制御装置、機器制御システムおよびプログラム
JP2016169942A (ja) 2014-02-17 2016-09-23 パナソニック株式会社 空気調和機及び熱画像センサシステム
WO2017042908A1 (ja) 2015-09-09 2017-03-16 三菱電機株式会社 室内環境制御装置および空調システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08303833A (ja) * 1995-04-28 1996-11-22 Matsushita Seiko Co Ltd 空気調和機の室内温度設定値演算装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013204965A (ja) 2012-03-29 2013-10-07 Panasonic Corp 機器制御装置、機器制御システムおよびプログラム
JP2016169942A (ja) 2014-02-17 2016-09-23 パナソニック株式会社 空気調和機及び熱画像センサシステム
WO2017042908A1 (ja) 2015-09-09 2017-03-16 三菱電機株式会社 室内環境制御装置および空調システム

Also Published As

Publication number Publication date
JP2023088943A (ja) 2023-06-27
JP2020153780A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6070780B2 (ja) 健康データ管理装置および健康データ管理システム
TWI358028B (en) Electronic device capable of transferring object b
JP6312712B2 (ja) 情報表示端末、情報表示システム及び情報表示方法
CN107111355A (zh) 用于校准眼睛跟踪系统的方法和系统
US20190038184A1 (en) Method and an electronic device for tracking a user activity
KR102166330B1 (ko) 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
JP2010086036A (ja) 診断装置及び診断方法
US9495078B2 (en) Display apparatus and method for managing health
JP6776067B2 (ja) 操作入力装置及びプログラム
CN104035554A (zh) 一种用于在无菌环境中运行装置的方法
US10013802B2 (en) Virtual fitting system and virtual fitting method
JP7253716B2 (ja) 人状態推定モジュール、温冷感推定モジュール、ユーザインタフェース装置、機器制御システム
JP2018112753A (ja) 情報表示端末及び情報表示方法
JP2019040333A (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データ
US20180098729A1 (en) Body composition measuring device and mobile terminal wirelessly connected to the same
JP6315122B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
JP4473558B2 (ja) 痛み測定器
CN106095088B (zh) 一种电子设备及其图像处理方法
JP5109340B2 (ja) 画像処理装置、画像表示方法、画像表示方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体
CN111742374A (zh) 用于获得与创伤相关的数据的系统和方法
JP2002287904A (ja) ディスプレイにおける指示位置表示方法、装置及び記憶媒体
JP7427937B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2023228931A1 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R151 Written notification of patent or utility model registration

Ref document number: 7253716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151