JP6552158B2

JP6552158B2 - 解析装置、解析方法及びプログラム

Info

Publication number: JP6552158B2
Application number: JP2014081385A
Authority: JP
Inventors: 拓井上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-04-10
Filing date: 2014-04-10
Publication date: 2019-07-31
Anticipated expiration: 2034-04-10
Also published as: JP2015202120A

Description

本発明は、解析装置、解析方法及びプログラムに関する。

人の呼吸は、鼻又は口で行われる。息の吸入、吐出の際に用いる器官の組み合わせから、呼吸を次の４種類の形態に分類することが出来る。
（１）鼻で吸入して鼻で吐出
（２）鼻で吸入して口で吐出
（３）口で吸入して鼻で吐出
（４）口で吸入して口で吐出
通常、上記の（１）と（４）はそれぞれ、鼻呼吸と口呼吸と呼ばれることが多い。上記の形態以外に、口と鼻から同時に息を吸入する、口と鼻から同時に息を吐出するという形態も存在する。前者は水泳の息継ぎ等、運動中に大量の酸素を必要とする場合に見られる形態であり、後者は喫煙時等に見られる形態である。さらに別の呼吸形態として、楽器の演奏時の息継ぎの無音時間をなくすために、鼻から吸いながら口から吐く「循環呼吸」が存在する。
鼻から空気を吸入する場合、鼻腔を通る間に吸気が浄化、加湿され、喉や肺に刺激の少ない状態で空気が送り込まれる。一方、口から空気を吸入する場合、乾燥した冷たい呼気が直接喉や肺に送り込まれる。従って一般に、口呼吸によって免疫力の低下や罹病のリスクが上がるため、鼻呼吸が望ましいとされている。
一方で、喘息患者の息の強さの測定や、睡眠時無呼吸症候群の患者の呼吸の測定など、様々な目的で、呼吸の測定を行うための方法が提案されている。特許文献１には、焦電性高分子フィルムで構成されたセンサを用いて、鼻と口の呼吸を区別して測定する方法が開示されている。特許文献２には、サーモグラフィー装置を用いて人の顔部分の熱画像を撮影して、鼻や口の部分の温度変化から、呼吸の数、リズム、パターン、深さ等の情報を得る方法が開示されている。

特開２００７−２３６７７９号公報特許第２８０２３６５号公報

しかしながら、呼吸は無意識に行われており、人が自身の呼吸形態を自覚することは容易ではない。特許文献１の技術は、装置を顔に装着する必要があり、日常生活における呼吸形態を手軽に測定するのには適さない。また、特許文献２の技術においては、測定装置を装着する必要はないが、呼吸形態を特定するものではない。このため、日常生活において、呼吸形態を簡単に特定する技術が求められている。

本発明はこのような問題点に鑑みなされたもので、利用者に負担をかけることなく、利用者の日常生活における呼吸形態を特定することを目的とする。

そこで、本発明は、鼻又は口で息の吸入をした後に、鼻又は口で息の吐出をする呼吸形態を解析する解析装置であって、人物の顔の熱画像を取得する取得手段と、時系列順の複数の前記熱画像から、鼻領域の第１の温度低下量及び口領域の第２の温度低下量を算出する算出手段と、時系列順の複数の前記熱画像から、前記口領域の温度低下の周期を抽出する抽出手段と、前記第１の温度低下量に基づいて、息の吸入に使用された器官が鼻と口の何れであるかを特定し、前記特定された息の吸入に使用された器官と前記第２の温度低下量又は前記周期とに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定する特定手段とを有し、前記特定手段は、息の吸入に使用された器官が鼻であると特定された場合に、前記第２の温度低下量に基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定し、息の吸入に使用された器官が口であると特定された場合に、前記周期が異なる２つの周期を含むか否かに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定することを特徴とする。

本発明によれば、利用者に負担をかけることなく、利用者の日常生活における呼吸形態を特定することができる。

コンピュータを示す図である。コンピュータを示す図である。熱画像の一例を示す図である。鼻領域及び口領域の一例を示す図である。鼻領域及び口領域の温度変化を示すグラフの一例を示す図である。鼻領域及び口領域の温度変化を示すグラフの一例を示す図である。呼吸と、鼻領域及び口領域の温度変化との関係を説明するための図である。呼吸形態解析処理を示すフローチャートである。呼吸形態特定処理を示すフローチャートである。呼吸形態と、特徴量との関係を示す図である。第２の実施形態にかかるコンピュータを示す図である。第２の実施形態にかかる呼吸形態解析処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる解析装置としてのコンピュータのハードウェア構成を示す図である。本実施形態の解析装置は、コンピュータに組み込まれ、利用者がコンピュータを使用してデスクワーク等を行っている間の呼吸形態を識別する。解析装置としてのコンピュータは、中央ユニット１００と、モニタ１１０と、キーボード１１１と、マウス１１２と、スピーカ１１３ａ，１１３ｂと、サーモグラフィー１１４とを有している。
中央ユニット１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４とを有している。ＣＰＵ１０１は、コンピュータ全体を総括的に制御する。ＲＯＭ１０２は、制御プログラム等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、画像データや各種プログラム等を記憶する。

モニタ１１０は、イメージを表示する。キーボード１１１とマウス１１２は、ユーザの入力操作を受け付けて、入力内容を中央ユニット１００に伝送する。スピーカ１１３ａ，１１３ｂは、音声を出力する。サーモグラフィー１１４は、熱画像を撮影する。
なお、後述するコンピュータの機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

ここで、本実施形態にかかるコンピュータが特定する呼吸形態について説明する。息の吸入及び吐出のそれぞれにおいて、鼻及び口の一方が使用され、呼吸形態は、息の吸入及び吐出のそれぞれにおいて使用される器官により分類される。本実施形態にかかるコンピュータは、以下の４パターンの呼吸形態を特定する。
（１）鼻での吸入、鼻での吐出を交互に繰り返す
（２）鼻での吸入、口での吐出を交互に繰り返す
（３）口での吸入、鼻での吐出を交互に繰り返す
（４）口での吸入、口での吐出を交互に繰り返す
コンピュータを使用したデスクワーク中においては、大部分の人物の呼吸は、上記の４パターンに当てはまる。なお、上記４パターンに当てはまらない呼吸の仕方としては、次のものが存在する。
（５）口と鼻から同時に息を吸入する
（６）口と鼻から同時に息を吐出する
（７）鼻から息を吸入しながら同時に口から吐出する
（５）は、水泳の息継ぎ等、一度に大量の酸素を必要とする場合の呼吸法である。（６）は、喫煙時に見られる呼吸法である。（７）は、楽器の演奏時の息継ぎの無音時間をなくすために、鼻から息を吸入しながら同時に口から吐出する「循環呼吸」と呼ばれる呼吸法である。（５）〜（７）はいずれも、デスクワーク中には行われない呼吸方法であり、本実施形態にかかるコンピュータは、これらの呼吸形態についての特定は行わない。

図２は、コンピュータのソフトウェア構成を示す図である。コンピュータは、温度解析部２００と、領域決定部２０１と、特徴抽出部２０２と、呼吸形態特定部２０３と、アドバイステーブル２０４と、出力部２０５とを有している。温度解析部２００は、サーモグラフィー１１４により測定された、ユーザの顔部分の熱画像を取得する。図３は、熱画像の一例を示す図である。このように、熱画像は、顔部分の表面温度に対応する画像である。なお、温度解析部２００は、定期的に熱画像を取得する。
温度解析部２００は、時系列順の複数の熱画像の部分領域それぞれにおける、温度変化を算出する。ここで、部分領域は、例えば画素単位の領域である。なお、部分領域は、熱画像中の人物の顔の部位に比べて十分に小さい単位であればよく、その単位は画素に限定されるものではない。

領域決定部２０１は、温度解析部２００により算出された温度変化に基づいて、熱画像における口領域及び鼻領域を決定する。ここで、図４〜図７を参照しつつ、領域決定部２０１の処理について説明する。図４は、鼻領域及び口領域に相当する、実際の人物の顔内の領域を示す図である。実際の人物の顔のうち、鼻領域に相当する実鼻領域４０１及び口領域に相当する実口領域４０２では、呼吸に起因した温度変化が生じる。領域決定部２０１は、この温度変化に基づいて、熱画像における口領域及び鼻領域を決定する。
図５は、呼吸と、鼻領域及び口領域の温度変化との関係を説明するための図である。図５（ａ）は、鼻から息を吸入する場合を示す図である。体外の空気５００は、鼻腔内の空気５０１よりも低温である。このため、鼻から息を吸入した場合には、実鼻領域４０１が冷却される。図５（ｂ）は、口から息を吸入する場合を示す図である。吸入する空気５１０は、口の中の空気５１１よりも低温である。このため、口から息を吸入した場合には、実口領域４０２は、吸入した空気５１０によって冷却される。
図５（ｃ）は、鼻から息を吐出する場合を示す図である。この場合、鼻から吐出される空気５２０は、空気５２０に比べて低温の空気５２１を巻き込み、実口領域４０２を冷却する。図５（ｄ）は、口から息を吐出する場合を示す図である。この場合、口から吐出される空気５３０は呼気として空気中に放出される。このため、実口領域４０２の温度低下はほとんど生じない。

図６及び図７は、鼻領域及び口領域の温度変化を示すグラフの一例を示す図である。なお、図６の測定結果は、後述の（１）鼻での吸入、鼻での吐出を交互に繰り返す呼吸形態を示すものである。図６及び図７のグラフの横軸は時間、縦軸は温度を示している。図６のグラフに示すように、鼻領域及び口領域においては、呼吸に伴い温度変化が観測される。
領域決定部２０１は、図６等に示すような、一定以上の温度変化が現れる２つの領域を特定し、このうち上側の領域を鼻領域、下側の領域を口領域として決定する。なお、鼻領域は、鼻の位置を基準として定まる領域である。さらに、鼻領域は、鼻での呼吸に応じた温度変化が生じる領域であることから、鼻の下方の領域を含む領域となる。口領域は、口の位置を基準として定まる領域である。さらに、口領域は、口の下方の領域、すなわち顎を含む領域となる。なお、温度変化が現れる領域が１つのみの場合は、領域決定部２０１は、該領域が口領域であると決定する。

特徴抽出部２０２は、鼻領域及び口領域の温度変化に基づいて、呼吸形態を特定するために必要な特徴量を抽出する。ここで、特徴量は、鼻領域の温度低下量、口領域の温度低下量、及び口領域の温度低下の周期の３つを含んでいる。図６及び図７を参照しつつ、特徴抽出部２０２の処理について説明する。
特徴抽出部２０２は、鼻領域の温度変化から温度低下量６０１を抽出する。特徴抽出部２０２はまた、口領域の温度変化から温度低下量６０２を抽出する。特徴抽出部２０２はさらに、口領域の温度低下の周期６０３を抽出する。なお、図７に示すように、口領域の温度低下の周期が２種類存在する場合がある。特徴抽出部２０２は、このように、２種類の周期が存在する場合には、各周期７０１，７０２を抽出する。

呼吸形態特定部２０３は、特徴抽出部２０２により抽出された特徴量に基づいて、呼吸形態を特定する。アドバイステーブル２０４は、呼吸形態に対応付けられたアドバイスパターンを記憶している。例えば、一般に、除塵、加湿の観点から、鼻から息を吸引することが望ましいとされていることに対応し、口を吸入器官とする呼吸形態には、鼻からの吸入を促すアドバイスパターンが対応付けられている。
出力部２０５は、呼吸形態特定部２０３により特定された呼吸形態に対応付けられたアドバイスパターンと、呼吸形態と、を含む情報を、モニタ１１０及びスピーカ１１３ａ，１１３ｂに出力する。

図８は、コンピュータによる、呼吸形態解析処理を示すフローチャートである。Ｓ８００において、温度解析部２００は、サーモグラフィー１１４から人物の顔の熱画像を撮影された時系列順に取得する。次に、Ｓ８０１において、温度解析部２００は、温度変化を算出する。次に、Ｓ８０２において、領域決定部２０１は、温度変化に基づいて、鼻領域及び口領域を決定する。ここで、Ｓ８０２の処理は、領域決定処理の一例である。次に、Ｓ８０３において、特徴抽出部２０２は、特徴量を抽出する。具体的には、特徴抽出部２０２は、鼻領域及び口領域それぞれの温度低下量を算出し、これらを特徴量として抽出する。すなわち、Ｓ８０３の処理は、鼻領域及び口領域それぞれの温度変化量を算出する算出処理の一例である。さらに特徴抽出部２０２は、口領域の温度低下の周期を特徴量として抽出する。
次に、Ｓ８０４において、呼吸形態特定部２０３は、Ｓ８０３において抽出された特徴量に基づいて、ユーザの呼吸形態を特定する。ここで、Ｓ８０４の処理は、温度低下量に基づいて、呼吸に使用されている器官が鼻であるか口であるかを特定する特定処理の一例である。次に、Ｓ８０５において、出力部２０５は、Ｓ８０４において特定された呼吸形態に対応付けられているアドバイスパターンを抽出する。次に、Ｓ８０６において、出力部２０５は、呼吸形態とアドバイスパターンとをモニタ１１０及びスピーカ１１３ａ，１１３ｂに出力する。以上で、呼吸形態解析処理が終了する。

図９は、呼吸形態特定処理（Ｓ８０４）における詳細な処理を示すフローチャートである。図１０は、呼吸形態（１）〜（４）と、特徴量との関係を示す図である。呼吸形態特定部２０３は、図１０に示す関係に基づいて、呼吸形態特定処理において、ユーザの呼吸形態を特定する。図１０に示す関係からわかるように、鼻領域の温度低下が生じるのは、息の吸入に鼻を使用する呼吸形態、すなわち（１）と（２）の場合である。そこで、呼吸形態特定部２０３は、呼吸形態特定処理（Ｓ８０４）において、鼻領域の温度低下量が第１の低下量閾値以上である場合に、吸入に使用されている器官が鼻であり、その他の場合は、口であると判断することとする。ここで、第１の低下量閾値は、例えばＨＤＤ１０４等に予め設定されているものとする。
Ｓ９００において、呼吸形態特定部２０３は、吸入に使用されている器官を示す吸入器官変数に初期値「鼻」を設定する。次に、Ｓ９０１において、呼吸形態特定部２０３は、第１の低下量閾値Ｔｍと、鼻領域の温度低下量Ｔ１を読み込む。次に、Ｓ９０２において、呼吸形態特定部２０３は、Ｔ１とＴｍを比較する。そして、呼吸形態特定部２０３は、鼻領域の温度低下量が第１の低下量閾値以上（Ｔ１≧Ｔｍ）の場合に（Ｓ９０２でＹｅｓ）、息の吸入に使用されている器官として鼻を特定する。すなわち、この場合、呼吸形態特定部２０３は、吸入器官変数を初期値「鼻」から変更することなく、処理をＳ９０４へ進める。
一方、呼吸形態特定部２０３は、鼻領域の温度変化量が第１の低下量閾値未満（Ｔ１＜Ｔｍ）の場合に（Ｓ９０２でＮｏ）、息の吸入に使用されている器官として口を特定する。この場合、呼吸形態特定部２０３は、処理をＳ９０３へ進める。そして、Ｓ９０３において、呼吸形態特定部２０３は、吸入器官変数を「鼻」から「口」に変更し、処理をＳ９０４へ進める。このように、呼吸形態特定部２０３は、鼻領域の温度低下量と第１の低下量閾値との比較結果に基づいて、息の吸入に使用されている器官を特定する。

以上の処理において、吸入器官の特定が終了すると、呼吸形態特定部２０３は、Ｓ９０４以降の処理において、息の吐出に使用されている器官を特定する。図１０に示す関係からわかるように、口領域の温度低下の有無により吐出に使用されている器官が口及び鼻のいずれであるかを特定することができる。
まずＳ９０４において、呼吸形態特定部２０３は、吐出に使用されている器官を示す吐出器官変数に初期値「鼻」を設定する。次に、Ｓ９０５において、呼吸形態特定部２０３は、吸入器官として鼻を特定したか否かを確認する。呼吸形態特定部２０３は、吸入器官として鼻を特定した場合には（Ｓ９０５でＹｅｓ）、処理をＳ９０６へ進める。呼吸形態特定部２０３は、吸入器官として口を特定した場合には（Ｓ９０５でＮｏ）、処理をＳ９０９へ進める。

次に、Ｓ９０６において、呼吸形態特定部２０３は、第２の低下量閾値Ｔｎと、口領域の温度低下量Ｔ２とを読み込む。次に、Ｓ９０７において、呼吸形態特定部２０３は、Ｔ２とＴｎを比較する。そして、呼吸形態特定部２０３は、口領域の温度低下量が第２の低下量閾値以上（Ｔ２≧Ｔｎ）の場合には（Ｓ９０７でＹｅｓ）、息の吐出に使用されている器官として鼻を特定する。そして、呼吸形態特定部２０３は、吐出器官変数を初期値「鼻」から変更することなく、呼吸形態特定処理を終了する。
呼吸形態特定部２０３は、口領域の温度低下量が第２の閾値未満（Ｔ２＜Ｔｎ）の場合には（Ｓ９０７でＮｏ）、息の吐出に使用されている器官として口を特定する。この場合、呼吸形態特定部２０３は、処理をＳ９０８へ進める。そして、Ｓ９０８において、呼吸形態特定部２０３は、吐出器官変数を「鼻」から「口」に変更し、呼吸形態特定処理を終了する。このように、呼吸形態特定部２０３は、息の吸入に使用されている器官を鼻と特定した場合には、口領域の温度低下量と第２の低下量閾値との比較結果に基づいて、息の吐出に使用されている器官を特定する。
以上のように、Ｓ９０６〜Ｓ９０８の処理により、呼吸形態（１）と（２）とを区別して特定することができる。

一方、Ｓ９０９以降の処理においては、呼吸形態（３）と（４）とを特定する。ただし、図１０に示す関係からわかるように、口顎の温度変化の有無だけでは、（３）と（４）とを区別することができない。そこで、呼吸形態特定部２０３は、Ｓ９０９以降の処理においては、口顎の温度変化の周期に基づいて、呼吸形態（３）と（４）とを特定する。
口で息を吸入して鼻で吐出する（３）の場合は、図７に示すように、吸入による口領域の温度低下と、吐出による口領域の温度低下が、異なる周期７０１、７０２で交互に生じる。そこで、本実施形態においては、呼吸形態特定部２０３は、口領域の温度低下の周期が、異なる２つの周期を含んでいるか否かによって、（３）と（４）を区別する。

Ｓ９０９において、呼吸形態特定部２０３は、口領域の温度変化の周期が異なる２つの周期を含んでいるか否かを確認する。呼吸形態特定部２０３は、２つの周期を含んでいる場合には（Ｓ９０９でＹｅｓ）、息の吐出に使用されている器官として鼻を特定する。すなわち、呼吸形態特定部２０３は、吐出器官変数を初期値「鼻」から変更することなく、呼吸形態特定処理を終了する。呼吸形態特定部２０３は、２つの周期を含んでいない場合には（Ｓ９０９でＮｏ）、息の吐出に使用されている器官として口を特定する。この場合、呼吸形態特定部２０３は、処理をＳ９１０へ進める。そして、Ｓ９１０において、呼吸形態特定部２０３は、吐出器官変数を「鼻」から「口」に変更し、呼吸形態特定処理を終了する。以上のように、Ｓ９０９〜Ｓ９１０の処理により、呼吸形態（３）と（４）とを区別して特定することができる。

ここで、鼻領域の温度低下量及び口領域の温度低下量それぞれと比較される第１の低下量閾値及び第２の低下量閾値について説明する。通常、鼻から息を吸入する場合の鼻領域の温度低下量は、個人差や鼻の詰まり具合に依存して、０．３〜１．０℃程度の範囲の値をとる。そこで、この範囲の下限値を鼻領域の温度低下量と比較する第１の低下量閾値として用いることとする。なお、周囲の環境の空気温度が呼気の温度に比べて同程度、若しくは呼気の温度以上となる場合には、吸入の際の鼻領域の温度低下量が通常よりも減少する可能性がある。そこで、第１の低下量閾値は、大気温度に応じた値としてもよい。
なお、本実施形態のように、オフィスなどの室内をコンピュータの使用環境とする場合には、周囲の環境の空気温度は、高々３０℃程度と想定される。したがって、周囲の空気の温度が呼気の温度よりも高い状況は例外的である。
また、鼻から息を吐出する場合の口領域の温度低下量は、鼻の穴の向き、吐出の具合に依存して、個人差や変動が大きい。そこで、口領域の温度低下量と比較する第２の低下量閾値には、第１の低下量閾値に比べて小さい値を用いることとする。

以上のように、本実施形態にかかるコンピュータは、サーモグラフィー１１４により得られた熱画像から得られた情報に基づいて、人の呼吸形態を特定することができる。このため、ユーザは、計測装置等を装着することなく、手軽に自身の呼吸形態を特定することができる。すなわち、コンピュータは、ユーザに負担をかけることなく、ユーザの日常生活における呼吸形態を特定することができる。

なお、第１の実施形態の変更例としては、特徴抽出部２０２は、特徴量として、鼻領域及び口領域の温度低下量を算出する際に、測定値から外れ値を除外した上で、温度低下量を算出することとしてもよい。また、特徴抽出部２０２は、特徴量として、口領域の周期を特定する際にも同様に、測定値から外れ値を除外した上で、周期を算出することとしてもよい。これにより、より精度よく特徴量を抽出することができる。
また、第２の変更例としては、解析装置は、コンピュータ以外にも適用可能である。他の例としては、解析装置は、携帯電話、携帯情報端末、タブレット端末、スマートフォン等の、携帯機器として提供されてもよい。また、他の例としては、機器外部のクラウド上に図２に示すソフトウェア構成の一部が配置されるような、解析システムであってもよい。

（第２の実施形態）
図１１は、第２の実施形態にかかる解析装置としてのコンピュータを示す図である。本実施形態にかかるコンピュータは、撮影部１１００をさらに有している。そして、コンピュータは、撮影部１１００により撮影された人物の顔画像に基づいて、鼻領域及び口領域を決定する。なお、ここでは、第２の実施形態にかかるコンピュータの、第１の実施形態にかかるコンピュータと異なる点について説明する。
コンピュータは、ソフトウェア構成として、第１の実施形態にかかる温度解析部２００及び領域決定部２０１に替えて、顔認識部１１１１と、領域決定部１１１２と、温度解析部１１１３とを有している。撮影部１１００は、サーモグラフィー１１４により得られる熱画像の被写体となる人物の顔画像を撮影する（撮影処理）。顔認識部１１１１は、撮影部１１００により得られた顔画像において顔認識を行い、鼻及び口の位置を特定する。

領域決定部１１１２は、顔認識部１１１１により特定された鼻及び口の位置に基づいて、熱画像における鼻領域及び口領域を決定する。具体的には、領域決定部１１１２は、サーモグラフィー１１４と撮影部１１００の設置位置の関係に基づいて、顔画像における鼻及び口の位置から熱画像における鼻及び口の位置を特定する。そして、領域決定部１１１２は、特定した熱画像における鼻及び口の位置を基準として、鼻領域及び口領域を決定する。
なお、領域決定部１１１２は、鼻及び口の位置を基準として鼻領域及び口領域を決定すればよく、鼻領域及び口領域の位置、大きさ及び形は、特に限定されるものではない。他の例としては、鼻領域は、鼻近傍の領域であり、鼻の位置を含まない領域であってもよい。
温度解析部１１１３は、時系列の熱画像のうち、領域決定部１１１２により決定された鼻領域及び口領域における温度変化を算出する。

図１２は、第２の実施形態にかかるコンピュータによる、呼吸解析処理を示すフローチャートである。図１２において、第１の実施形態にかかる呼吸解析処理の各処理と同一の処理には同一番号を付している。Ｓ１２００において、顔認識部１１１１は、撮影部１１００により撮影された人物の顔画像を取得する。次に、Ｓ１２０１において、顔認識部１１１１は、顔画像に対する顔認識処理を行い、顔画像における鼻及び口の位置を特定する。ここで、Ｓ１２０１の処理は、認識処理の一例である。次に、Ｓ１２０２において、領域決定部１１１２は、サーモグラフィー１１４から撮影された時系列順に人物の顔の熱画像を取得する。なお、撮影画像の取得と熱画像の取得のタイミングは、いずれが先でもよく、また同時でもよい。
次に、Ｓ１２０３において、領域決定部１１１２は、人物画像における鼻及び口の位置から熱画像における鼻及び口の位置を特定する。そして、領域決定部１１１２は、熱画像における鼻及び口の位置をそれぞれ基準として、鼻領域及び口領域を決定する。ここで、Ｓ１２０３の処理は、領域決定処理の一例である。次に、Ｓ１２０４において、温度解析部１１１３は、鼻領域及び口領域における温度変化を算出する。

なお、人物画像に基づいて、熱画像の鼻領域及び口領域を特定する観点から、人物画像の撮影タイミングは、熱画像の撮影タイミングと略同時であることが好ましく、また、サーモグラフィー１１４と撮影部１１００の設置位置は近いことが好ましい。
第２の実施形態にかかるコンピュータのこれ以外の構成及び処理は、第１の実施形態にかかるコンピュータの構成及び処理と同様である。

以上のように、第２の実施形態にかかるコンピュータは、撮影部１１００により得られた人物の画像に基づいて、熱画像中の鼻領域及び口領域を特定する。これにより、第２の実施形態に係るコンピュータにおいては、温度変化を算出する対象領域を、熱画像の全領域ではなく、鼻領域及び口領域のみに限定することができる。これにより、処理効率を向上させることができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、利用者に負担をかけることなく、利用者の日常生活における呼吸形態を特定することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００中央ユニット、１０１ＣＰＵ、１０２ＲＯＭ、１０３ＲＡＭ、１０４ＨＤＤ、１１４サーモグラフィー、２００温度算出部、２０１特徴抽出部、２０２呼吸形態特定部、２０３アドバイス記憶部、２０４出力部

Claims

鼻又は口で息の吸入をした後に、鼻又は口で息の吐出をする呼吸形態を解析する解析装置であって、
人物の顔の熱画像を取得する取得手段と、
時系列順の複数の前記熱画像から、鼻領域の第１の温度低下量及び口領域の第２の温度低下量を算出する算出手段と、
時系列順の複数の前記熱画像から、前記口領域の温度低下の周期を抽出する抽出手段と、
前記第１の温度低下量に基づいて、息の吸入に使用された器官が鼻と口の何れであるかを特定し、前記特定された息の吸入に使用された器官と前記第２の温度低下量又は前記周期とに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定する特定手段と
を有し、
前記特定手段は、息の吸入に使用された器官が鼻であると特定された場合に、前記第２の温度低下量に基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定し、息の吸入に使用された器官が口であると特定された場合に、前記周期が異なる２つの周期を含むか否かに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定することを特徴とする解析装置。
前記鼻領域の前記第１の温度低下量と第１の低下量閾値とを比較する第１の比較手段と、
前記口領域の前記第２の温度低下量と第２の低下量閾値とを比較する第２の比較手段とをさらに有し、
前記特定手段は、前記第１の比較手段による比較結果に基づいて、息の吸入に使用された器官が鼻と口の何れであるかを特定し、息の吸入に使用された器官が鼻であると特定された場合に、前記第２の比較手段による比較結果に基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定することを特徴とする請求項１に記載の解析装置。
前記特定手段は、前記鼻領域の前記第１の温度低下量が前記第１の低下量閾値以上である場合に、息の吸入に使用された器官を鼻と特定することを特徴とする請求項２に記載の解析装置。
前記特定手段は、前記鼻領域の前記第１の温度低下量が前記第１の低下量閾値未満である場合に、息の吸入に使用された器官を口と特定することを特徴とする請求項２又は３に記載の解析装置。
前記特定手段は、息の吸入に使用された器官が鼻と特定され、且つ前記口領域の前記第２の温度低下量が前記第２の低下量閾値以上である場合に、息の吐出に使用された器官を鼻と特定することを特徴とする請求項２乃至４の何れか１項に記載の解析装置。
前記特定手段は、息の吸入に使用された器官が鼻と特定され、且つ前記口領域の前記第２の温度低下量が前記第２の低下量閾値未満である場合に、息の吐出に使用された器官を口と特定することを特徴とする請求項２乃至５の何れか１項に記載の解析装置。
前記特定手段は、息の吸入に使用された器官が口と特定され、且つ前記口領域の温度低下の前記周期が異なる２つの周期を含む場合に、息の吐出に使用された器官を鼻と特定することを特徴とする請求項１乃至６の何れか１項に記載の解析装置。
前記特定手段は、息の吸入に使用された器官が口と特定され、且つ前記口領域の温度低下の前記周期が異なる２つの周期を含まない場合に、息の吐出に使用された器官を口と特定することを特徴とする請求項１乃至７の何れか１項に記載の解析装置。
前記第２の低下量閾値は、前記第１の低下量閾値よりも小さい値であることを特徴とする請求項２乃至６の何れか１項に記載の解析装置。
時系列順の複数の前記熱画像の温度変化に基づいて、前記熱画像の前記鼻領域及び前記口領域を決定する領域決定手段をさらに有し、
前記算出手段は、前記領域決定手段により決定された前記鼻領域及び前記口領域の前記第１の温度低下量及び前記第２の温度低下量を算出することを特徴とする請求項１乃至９の何れか１項に記載の解析装置。
前記人物の顔画像を撮影する撮影手段と、
前記顔画像から鼻及び口を認識する認識手段と、
前記認識手段により認識された前記鼻の位置及び前記口の位置それぞれに基づいて、前記熱画像の前記鼻領域及び前記口領域を決定する領域決定手段と
をさらに有し、
前記算出手段は、前記領域決定手段により決定された前記鼻領域及び前記口領域の前記第１の温度低下量及び前記第２の温度低下量を算出することを特徴とする請求項１乃至９の何れか１項に記載の解析装置。
前記特定手段により特定された器官に応じたアドバイスを出力する出力手段をさらに有することを特徴とする請求項１乃至１１の何れか１項に記載の解析装置。
前記出力手段は、前記特定手段により息の吸入に使用された器官が口であると特定された場合には、鼻からの吸入を促すアドバイスを出力することを特徴とする請求項１２に記載の解析装置。
鼻又は口で息の吸入をした後に、鼻又は口で息の吐出をする呼吸形態を解析する解析システムであって、
人物の顔の熱画像を測定する測定手段と、
時系列順の複数の前記熱画像から、鼻領域の第１の温度低下量及び口領域の第２の温度低下量を算出する算出手段と、
時系列順の複数の前記熱画像から、前記口領域の温度低下の周期を抽出する抽出手段と、
前記第１の温度低下量に基づいて、息の吸入に使用された器官が鼻と口の何れであるかを特定し、前記特定された息の吸入に使用された器官と前記第２の温度低下量又は前記周期とに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定する特定手段と
を有し、
前記特定手段は、息の吸入に使用された器官が鼻であると特定された場合に、前記第２の温度低下量に基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定し、息の吸入に使用された器官が口であると特定された場合に、前記周期が異なる２つの周期を含むか否かに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定することを特徴とする解析システム。
鼻又は口で息の吸入をした後に、鼻又は口で息の吐出をする呼吸形態を解析する解析装置が実行する解析方法であって、
人物の顔の熱画像を取得する取得ステップと、
時系列順の複数の前記熱画像から、鼻領域の第１の温度低下量及び口領域の第２の温度低下量を算出する算出ステップと、
時系列順の複数の前記熱画像から、前記口領域の温度低下の周期を抽出する抽出ステップと、
前記第１の温度低下量に基づいて、息の吸入に使用された器官が鼻と口の何れであるかを特定し、前記特定された息の吸入に使用された器官と前記第２の温度低下量又は前記周期とに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定する特定ステップと
を含み、
前記特定ステップは、息の吸入に使用された器官が鼻であると特定された場合に、前記第２の温度低下量に基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定し、息の吸入に使用された器官が口であると特定された場合に、前記周期が異なる２つの周期を含むか否かに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定することを特徴とする解析方法。
鼻又は口で息の吸入をした後に、鼻又は口で息の吐出をする呼吸形態を解析する解析システムが実行する解析方法であって、
人物の顔の熱画像を取得する取得ステップと、
時系列順の複数の前記熱画像から、鼻領域の第１の温度低下量及び口領域の第２の温度低下量を算出する算出ステップと、
時系列順の複数の前記熱画像から、前記口領域の温度低下の周期を抽出する抽出ステップと、
前記第１の温度低下量に基づいて、息の吸入に使用された器官が鼻と口の何れであるかを特定し、前記特定された息の吸入に使用された器官と前記第２の温度低下量又は前記周期とに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定する特定ステップと
を含み、
前記特定ステップは、息の吸入に使用された器官が鼻であると特定された場合に、前記第２の温度低下量に基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定し、息の吸入に使用された器官が口であると特定された場合に、前記周期が異なる２つの周期を含むか否かに基づいて、息の吐出に使用された器官が鼻と口の何れであるかを特定することを特徴とする解析方法。
請求項１乃至１３の何れか１項に記載の解析装置の各手段としてコンピュータを機能させることを特徴とするプログラム。