JP7360315B2 - 携帯端末、生体情報取得方法、及び生体情報取得プログラム - Google Patents

Description

本開示は、携帯端末、生体情報取得方法、及び生体情報取得プログラムに関する。

近年、携帯端末の撮像部によって取得された人の体表の動画像に基づいて人の生体情報を推定する技術の開発が行われている。たとえば、特許文献１は、計測装置の撮像部によって取得された動画像に基づいて人の血圧の変化を計測する技術を開示している。また、特許文献２は、携帯端末の撮像部によって取得された人の姿勢を特定したり、人の眼と携帯端末の表示部との間の距離を測定したりする技術を開示している。

特開２０１６－１９００２２号公報 特開２０１５－０３９４７２号公報

上記の特許文献１および２に開示された技術によれば、携帯端末の撮像部によって取得された人の体表の動画像に基づいて人の生体情報を計測する場合、携帯端末を把持している人の体動または手振れに起因して人の生体情報を正確に計測することができない場合がある。

本開示の一態様は、上記の問題に鑑みなされたものである。本開示の一態様の目的は、人の生体情報を正確に抽出することができる携帯端末、生体情報取得方法、及び生体情報取得プログラムを提供することである。

本開示の一態様に係る携帯端末は、撮像部によって取得された体表の動画像に基づいて、人の生体情報を抽出する生体情報抽出部と、前記体表の状態の変化を特定可能な変化値を取得し、前記変化値が閾値以上であるか否かを判定する判定部と、前記変化値が前記閾値以上である場合に、前記動画像における前記体表の状態の変化を抑制することを促す勧告情報を報知部に報知させる報知制御部と、を備える。

本開示の一態様に係る生体情報取得方法は、撮像部によって取得された体表の動画像に基づいて、前記人の生体情報を抽出するステップと、前記体表の状態の変化を特定可能な変化値を取得し、前記変化値が閾値以上であるか否かを判定するステップと、前記変化値が前記閾値以上である場合に、前記動画像における前記体表の状態の変化を抑制することを促す勧告情報を報知部に報知させるステップと、を備える。

本開示の一態様に係る生体情報取得プログラムは、コンピュータを、撮像部によって取得された体表の動画像に基づいて、前記人の生体情報を抽出する生体情報抽出部、前記体表の状態の変化を特定可能な変化値を取得し、前記変化値が閾値以上であるか否かを判定する判定部、および、前記変化値が前記閾値以上である場合に、前記動画像における前記体表の状態の変化を抑制することを促す勧告情報を報知部に報知させる報知制御部として機能させるためのものである。

携帯端末と人との関係の一例を示す図である。 生体情報の抽出結果の一例を示す図である。 携帯端末の機能構成の一例を示すブロック図である。 撮像部によって取得された動画像の一例を示す図である。 携帯端末の制御部の動作の一例を示すフローチャートである。 状態変化値の一例を示す図である。 時系列での状態変化値の推移の第１の例を示す図である。 時系列での状態変化値の推移の第２の例を示す図である。 時系列での状態変化値の推移の第３の例を示す図である。 携帯端末の変形例、及びサーバの機能構成の一例を示すブロック図である。 携帯端末の変形例、及び報知装置の機能構成の一例を示すブロック図である。

〔第１の実施形態〕
図１～図１１を用いて、第１の実施形態を説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

図１は、携帯端末１００の全体構成を説明するための図である。図１は、携帯端末１００と人Ａとの関係の一例を示す図である。図２は、生体情報の抽出結果の一例を示す図である。

携帯端末１００は、人の生体情報を非接触で測定し、算出または推定する。生体情報は、人の体表の動画像に基づいて測定可能、算出可能、または推定可能な情報であり、脈波、脈拍数、ストレスレベル、および血圧の少なくともいずれかを含む。本実施形態においては、生体情報を測定、算出および推定することを、「生体情報の抽出」と称する。また、以下の説明では、生体情報の抽出対象の人として、携帯端末１００を把持する人Ａを例示して説明する。

携帯端末１００は、人Ａが把持でき、例えば、スマートフォン、タブレット、モバイルＰＣ（Personal Computer）、または生体情報抽出用専用端末等を含む。携帯端末１００は、人Ａが把持できればよく、その種類は問わない。携帯端末１００は、持ち運びできるサイズおよび重量を有しているものであれば、いかなるものであってもよい。

携帯端末１００は、例えば、報知部１０１と撮像部１０２とを含む。

報知部１０１は、文字、音声、光、振動等により、人Ａの生体情報の抽出結果等を報知する。図１は、報知部１０１としてディスプレイを例示する。報知部１０１については後述する。なお、報知部１０１はディスプレイに限定されない。

例えば、図２に例示されるように、報知部１０１がディスプレイを含む場合、携帯端末１００は、撮像部１０２により撮影された人Ａの顔と、生体情報の抽出結果とを当該ディスプレイに表示してもよい。

撮像部１０２は、所定のフレームレート（例えば、１０～３００ｆｐｓ（frames per second））で、体表の動画像を取得する。体表は、人Ａの顔の体表を含む。撮像部１０２は、体表の動画像を取得できればよく、撮像部１０２の配置位置は限定されない。例えば、報知部１０１がディスプレイを含む場合、撮像部１０２は、携帯端末１００において当該ディスプレイが設置された面と同一の面に配置されてもよいし、当該ディスプレイが設置された面と反対の面に配置されてもよい。

図３は、携帯端末１００の機能構成の一例を示すブロック図である。携帯端末１００は、例えば、報知部１０１と、撮像部１０２と、慣性センサ３１０と、記憶部３２０と、操作部３３０と、制御部３４０とを含む。

慣性センサ３１０は、携帯端末１００の移動および姿勢の少なくともいずれかを推定する。慣性センサ３１０は、例えば、加速度センサおよび角速度センサ等を含む。加速度センサは、携帯端末１００の移動方向に沿った直線運動の加速度を推定する。また、各速度センサは、携帯端末１００の回転中心軸回りの回転運動の角速度を推定する。以下の説明では、説明の便宜上、慣性センサ３１０により推定される加速度および角速度等を、「慣性値」と称する。

記憶部３２０は、任意の情報を格納可能であれば、携帯端末１００の一部として、携帯端末１００に固定されたものであってもよいが、シムカードのような携帯端末１００から分離可能な記憶媒体であってもよい。記憶部３２０は、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、半導体メモリ等によって実現される。記憶部３２０は、携帯端末１００の外部の記録媒体または携帯端末１００と通信可能なサーバからインストールされた生体情報取得プログラムを記憶している。生体情報取得プログラムは、コンピュータである制御部３４０を、顔認証部３４１、判定部３４２、報知制御部３４３、生体情報抽出部３４４、および出力制御部３４５として機能させるためのものである。

操作部３３０は、人Ａの操作を受け付ける。操作部３３０は、タッチパネル、ボタン、キー等によって構成される。操作部３３０は、人Ａの操作を受け付けることができればよく、その詳細は問わない。

報知部１０１は、表示部３５１と、音発生部３５２と、振動部３５３と、発光部３５４とを含む。

表示部３５１は、文字、図形、または記号等の画像を表示することにより、人Ａに情報を報知する。表示部３５１は、液晶ディスプレイ等によって構成される。なお、表示部３５１は、タッチパネルとディスプレイとを積層して構成されてもよい。

音発生部３５２は、音の種類、または、言葉を含む音声等の聴覚情報によって、人Ａに情報を報知する。音発生部３５２は、スピーカ等によって実現される。

振動部３５３は、振動の大きさ又は振動の種類等の触覚情報によって、人Ａに情報を報知する。振動部３５３は、電力によって携帯端末１００を振動させるものであれば、いかなるものであってもよい。

発光部３５４は、点滅、点灯、または消灯の視覚情報によって、人Ａに情報を報知する。発光部３５４は、ＬＥＤ（Light Emitting Diode）等によって実現される。

本実施の形態においては、報知部１０１が表示部３５１である。そのため、表示部３５１は、前述の抽出結果の一例としての血圧の推定値を表示する。また、表示部３５１は、後述される体表の状態の変化を抑制することを促す勧告情報を報知するためにも使用される。なお、勧告情報は、たとえば、「体または手の動きを止めて下さい」等の画面表示である。この勧告情報は、体動または手振れに起因した携帯端末１００の撮像部１０２によって取得される動画像の鮮明さを向上させるために、携帯端末１００のユーザがとることが好ましい行動を示す情報である。ただし、報知部１０１はディスプレイに限定されない。

報知部１０１は、音発生部３５２であってもよい。この場合、音発生部３５２は、抽出結果としての血圧の推定値および勧告情報の少なくともいずれかを言葉で表した音声を発する。

また、報知部１０１が発光部３５４であってもよい。この場合、発光部３５４は、血圧の推定値の大きさの程度および勧告情報の少なくともいずれかを、発光部３５４の発光色を異ならせることによって報知してもよい。複数の発光部３５４が設けられている場合、複数の発光部３５４は、血圧の推定値の大きさの程度および勧告情報の少なくともいずれかを、点灯または点滅する発光部３５４の数を異ならせることによって報知してもよい。例えば、血圧の推定値の大きさは、緑色で示し、勧告情報は赤色で報知することが考えられる。一色とせずその程度によって、抽出精度の良から悪を青色～緑色、勧告レベル（ノイズが多いほど勧告レベルが高）の低から高を黄色～赤色で報知してもよい。

また、報知部１０１が振動部３５３である場合、振動部３５３は、血圧の推定値の大きさの程度および勧告情報のそれぞれを、振動の大きさまたは単位時間あたりの振動の速度で報知してもよい。報知部１０１は、携帯端末１００のユーザに推定結果および勧告情報を報知することができるものであれば、いかなるものであってもよい。例えば、振動部３５３は、振動が大きいほど、血圧の推定値が高いことをユーザに報知してもよい。また、例えば、振動部３５３は、振動が大きいほど、体動および手振れが大きいことをユーザに報知してもよい。

なお、報知部１０１は、携帯端末１００に設けられていなくてもよい。報知部１０１が携帯端末１００の外部に設けられている場合、報知部１０１は、文字、図形、および記号等を印字が可能なプリンタであってもよい。

制御部３４０は、携帯端末１００の各種機能を統括的に制御する。制御部３４０は、ＣＰＵ（Central Processing Unit）等のプロセッサによって実現される。

また、図３に例示されるように、制御部３４０は、顔認証部３４１と、判定部３４２と、報知制御部３４３と、生体情報抽出部３４４と、出力制御部３４５と、計時部３４６とを含む。

顔認証部３４１は、撮像部１０２によって取得された動画像から、携帯端末１００を把持する人Ａの顔を認証する。具体的には、顔認証部３４１は、事前に記憶部３２０に記憶された人Ａの顔の画像データと撮像部１０２によって取得された顔の画像データとを比較するそれにより、顔認証部３４１は、予め定められた判定基準にしたがって、撮像部１０２によって取得された画像データの顔が事前に記憶部３２０に記憶された画像データの人Ａ自身の顔と同一の範囲内にあるのか否かを判定する。顔認証部３４１は、パターンマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネット等を用いて、動画像から人Ａの顔を認証してもよく、認証手法の詳細は問わない。

判定部３４２は、慣性センサ３１０によって取得された慣性値の変化に基づいて、状態変化値を取得する。判定部３４２は、当該変化値が閾値以上であるか否かを判定する。状態変化値とは、撮影部１０２によって取得された体表の状態の変化を特定可能な変化値である。以下の説明では、説明の便宜上、状態変化値が閾値より小さいと判定されることを、「状態変化なし」と称する。また、以下の説明では、説明の便宜上、状態変化値が閾値以上であると判定されることを、「状態変化あり」と称する。これにより、携帯端末１００は、携帯端末１００に搭載されている慣性センサ３１０を利用して、判定部３４２で判定し、撮像部１０２に撮影された体表の状態が有効であるか否かを判定することができる。状態変化なしと判定された場合、撮影部１０２に撮影された体表の変化は、生体情報を抽出する場合に有効である。一方、状態変化ありと判定された場合、撮影部１０２に撮影された体表の変化は、生体情報を抽出する場合に無効である。

また、判定部３４２は、撮像部１０２によって取得された全動画像の輝度の統計値の変化に基づいて、状態変化値を取得する。ここで、統計値とは、全動画像の輝度の平均値であってもよい。あるいは、統計値とは、顔の動画像の特定領域の輝度の平均値であってもよい。これにより、携帯端末１００は、携帯端末１００に新たな部品を追加することなく、ソフトウェアの利用のみによって、撮像部１０２によって撮影された体表の状態が有効であるか否かを判定することができる。

さらに、判定部３４２は、撮像部１０２によって取得された体表の特定部分の状態の変化の大きさに基づいて、状態変化値を取得してもよい。具体的には、判定部３４２は、撮像部１０２によって取得された体表の特定部分の輝度の統計値の変化に基づいて、状態変化値を取得してもよい。これによっても、上記と同様に、携帯端末１００は、携帯端末１００に新たな部品を追加することなく、ソフトウェアの利用のみによって、撮像部１０２によって撮影された体表の状態が有効であるか否かを判定することができる。

報知制御部３４３は、状態変化値が閾値以上である場合に、勧告情報を報知部１０１に報知させる。勧告情報は、撮像部１０２によって取得された動画像における体表の状態の変化への影響を抑制することを促す情報である。例えば、勧告情報は、人Ａに体動および手振れ等を抑制することを促す情報であってもよい。これにより、携帯端末１００は、撮像部１０２によって取得される動画像における体表の状態の変化への影響がある程度大きくなった場合のみ、勧告情報を報知する。そのため、携帯端末１００は、必要以上に頻繁に勧告情報を報知することを抑制できる。例えば、携帯端末１００は、血管を流れる血液の脈動のような小さな状態変化を検出して、勧告情報を報知してしまうことが抑制される。

生体情報抽出部３４４は、撮像部１０２によって取得された体表の動画像に基づいて、人Ａの生体情報を抽出する。具体的には、生体情報抽出部３４４は、撮像部１０２によって取得された体表の動画像に基づいて、第１生体情報として人Ａの脈波を測定する。そして、生体情報抽出部３４４は、第１生体情報に基づいて、第２生体情報を抽出する。第１生体情報は、測定される脈波を含む。第２生体情報は、算出される脈拍数や算出されるストレスレベル、または推定される血圧等を含む。換言すると、生体情報抽出部３４４は、撮像部１０２によって取得された体表の動画像に基づいて、人Ａの脈波を測定し、測定された脈波から、脈波数、ストレスレベル、および血圧の少なくともいずれかを生体情報として抽出する。第１生体情報および第２生体情報の抽出方法の詳細は後述する。

出力制御部３４５は、抽出された生体情報を報知部１０１（例えば、表示部３５１）に出力させる。例えば、出力制御部３４５は、抽出された第１生体情報および第２生体情報の少なくともいずれかを、表示部３５１に報知させる。

計時部（タイマ）３４６は、時間を計測する。例えば、計時部３４６は、状態変化なしである状態が開始した場合に、時間の計測を開始し、状態変化ありである状態に変化するまでの時間を計測する。つまり、計時部３４６は、状態変化なしである状態の１回の連続時間を計測する。同様に、例えば、計時部３４６は、状態変化ありである状態の１回の連続時間を計測する。

図４は、生体情報を抽出する方法を説明するための図であって、撮像部１０２によって取得された動画像の一例を示す図である。撮像部１０２は、例えば、所定の時間（例えば、１０秒～３０秒間）、人Ａの顔を撮影してＲＧＢ動画像を取得する。

生体情報抽出部３４４は、動画像４０１から体表の特定部分４０２をそれぞれ抽出する。ここで、体表は、顔の表面であってもよい。例えば、動画像４０１のサイズが縦６４０×横４８０画素である場合、特定部分４０２のサイズは縦２０×横２０画素であってよい。

生体情報抽出部３４４は、特定部分４０２に基づいて第１生体情報を抽出する。以下の説明では、説明の便宜上、第１生体情報として脈波を例示して脈波の測定方法を説明する。例えば、生体情報抽出部３４４は、特定部分４０２に含まれる体表の色の変化から、脈波を第１生体情報として測定する。

具体的には、生体情報抽出部３４４は、動画像４０１から特徴量を抽出する。ここで、特徴量は動画像４０１の色情報に関連する情報であり、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）ごとの各画素の画素値または各画素の輝度などであってよい。そして、生体情報抽出部３４４は、所定の時間にわたり、動画像４０１から特徴量の時間的な変化を示す信号を抽出する。生体情報抽出部３４４は、所定の信号処理方法を用いて、抽出された信号を処理し、当該処理された結果を脈波として測定する。信号処理方法は、例えば、独立成分分析、色素成分分離、またはローパスフィルタ等であってもよい。

また、例えば、第１生体情報が脈波を含み、第２生体情報が脈拍数を含む場合、生体情報抽出部３４４は、カウンタを有し、カウンタによって脈波のピーク数をカウントし、カウントされたピーク数を脈拍数として算出する。

また、例えば、第１生体情報が脈波を含み、第２生体情報がストレスレベルを含む場合、生体情報抽出部３４４は、ある脈波から次の脈波までの時間間隔に対して、高速フーリエ変換を行ってパワースペクトルを算出する。そして、生体情報抽出部３４４は、当該パワースペクトルを解析してストレスレベルを算出する。

また、例えば、第１生体情報が脈波を含み、第２生体情報が血圧を含む場合、例えば生体情報抽出部３４４は、脈波に２回の時間微分を行い、加速度脈波を算出し、当該加速度脈波から血圧を推定することもできる。

また、機械学習等によって、第１生体情報と、第２生体情報との対応関係を学習しておき、記憶部３２０が、学習結果を記憶してもよい。換言すると、記憶部３２０が、第１生体情報と、第２生体情報とを対応付けて、予め記憶してもよい。そして、生体情報抽出部３４４は、記憶部３２０を参照し、第１生体情報に基づいて、第２生体情報を推定してもよい。なお、携帯端末１００が、第１生体情報と第２生体情報との対応関係を学習してもよい。あるいは、携帯端末１００と通信可能なサーバが当該対応関係を学習してもよく、当該対応関係を学習する装置は限定されない。

図５は、携帯端末１００の制御部３４０の動作の一例を示すフローチャートである。

まず、携帯端末１００は、人Ａの操作に基づいて、生体情報の抽出を開始する。例えば、携帯端末１００は、生体情報を抽出するためのアプリケーションプログラムを、人Ａの操作に基づいて実行してもよい。

携帯端末１００が生体情報の抽出を開始した場合、ステップＳ５０１において、撮像部１０２は動画像の取得を開始する。撮像部１０２が動画像の取得を開始した場合、出力制御部３４５は、撮像部１０２によって取得された動画像を表示部３５１に表示することが好ましい。例えば、動画像の取得を開始したことを、表示して人Ａに伝えてもよい。伝えることにより人Ａは意識するため、状態変化なしの状況とすることができる可能性もあり、生体情報の抽出を短時間ですることができる。

なお、上記の通り、携帯端末１００が適切に生体情報を抽出するためには、携帯端末１００と人Ａ間の相対位置を継続して適切な状態にすることが求められる。そこで、出力制御部３４５は、撮像部１０２によって取得された動画像を表示部３５１に表示するとともに、ガイド表示を表示部３５１に表示してもよい。例えば、ガイド表示は、例えば、図２に例示する太線の円である。これにより、携帯端末１００は、人Ａに、自身の顔の位置をガイド表示に従って調整させることを促すことができる。つまり、ガイド表示によって太線の中に顔を入れるように手または体を動かすことを人Ａに促す。

ステップＳ５０１において、撮像部１０２は、体表の動画像を取得する。例えば、携帯端末１００は、生体情報を抽出するためのアプリケーションプログラムを、操作部３３０に対する人Ａの操作に基づいて実行してもよい。操作部３３０は、たとえば、表示部３５１と一体的に形成されたタッチパネルであってもよい。携帯端末１００が生体情報の抽出を開始した場合、撮像部１０２は動画像の取得を開始する。撮像部１０２が動画像の取得を開始した場合、出力制御部３４５は、撮像部１０２によって取得された動画像を報知部１０１の一例としての表示部３５１に表示することが好ましい。

ステップＳ５０２において、顔認証部３４１は、撮像部１０２によって取得された動画像に含まれる人Ａの顔を認証する。具体的には、顔認証部３４１は、動画像内の顔領域に基づいて、人Ａの顔を認証する。人Ａの顔が認証されない場合（ステップＳ５０２：Ｎｏ）には、制御部２４０は、撮像部１０２に体表の動画像を取得する処理を継続させ、ステップＳ５０２の処理を繰り返す。一方、人Ａの顔が認証された場合（ステップＳ５０２：Ｙｅｓ）には、制御部３４０は、ステップＳ５０３の処理を実行する。

ステップＳ５０３において、状態変化値が閾値より小さいか否かを、判定部３４２は判定する。状態変化値は、たとえば、図６に示される値である。状態変化値については後述する。換言すると、ステップＳ５０３において、状態変化なしである状態か否かを、判定部３４２は判定する。状態変化値が閾値より小さい、と判定されない場合（ステップＳ５０３：Ｎｏ）には、ステップＳ５０４において、報知制御部３４３は、状態変化の抑制を人Ａに促す勧告情報を報知部２３０に報知させる。具体的には、報知制御部３４３は、文字、音声、光、または振動等により、体動および手振れを抑制するように人Ａに促す。例えば、報知制御部３４３は、「静止して撮影してください」とのメッセージを勧告情報として表示部３５１に報知させてもよい。そして、制御部３４０は、撮像部１０２に体表の動画像を取得する処理を継続させ、ステップＳ５０３の処理を繰り返す。

一方、状態変化値が閾値より小さいと判定された場合（ステップＳ５０３：Ｙｅｓ）には、制御部３４０は、ステップＳ５０５の処理を実行する。

ステップＳ５０５において、状態変化なしである状態が基準時間連続したか否かを、判定部４０５は判定する。換言すると、ステップＳ５０５において、状態変化値が閾値より小さいと判定された１回の連続時間が基準時間連続したか否かを、判定部３４２は判定する。状態変化なしである状態が基準時間連続した場合（ステップＳ５０５：Ｙｅｓ）には、制御部３４０は、ステップＳ５０７の処理を実行する。一方、状態変化なしである状態が基準時間連続していない場合（ステップＳ５０５：Ｎｏ）には、制御部３４０は、ステップＳ５０６の処理を実行する。なお、基準時間は、計時部３４６によって計測される。

ステップＳ５０６において、状態変化なしである状態の複数の連続時間の合計時間が基準時間を超えたか否かを、判定部４０５は判定する。換言すると、ステップＳ５０６において、状態変化値が閾値より小さいと判定された複数の連続時間の合計時間が基準時間を超えたか否かを、判定部３４２は判定する。状態変化なしである状態の複数の連続時間の合計時間が基準時間を超えた場合（ステップＳ５０６：Ｙｅｓ）には、制御部３４０は、ステップＳ５０７の処理を実行する。一方、状態変化なしである状態の複数の連続時間の合計時間が基準時間を超えていない場合（ステップＳ５０６：Ｎｏ）には、制御部３４０、ステップＳ５０３の処理を実行する。なお、ステップＳ５０１～ステップＳ５０６の処理が実行されている期間においては、撮像部１０２は、体表の動画像を取得する処理を継続するものとする。

ステップＳ５０７において、生体情報抽出部３４４は、動画像に基づいて第１生体情報として脈波を測定する。具体的には、生体情報抽出部３４４は、状態変化値が閾値より小さいと判定された１回の連続時間が基準時間を超えた場合に、１回の連続時間における生体情報を報知部１０１（例えば、表示部３５１）に報知させる。より具体的には、生体情報抽出部３４４は、状態変化なしと判定された連続時間に取得された動画像に基づいて、第１生体情報として脈波を測定する。基準時間は、第２生体情報の種別に応じて異なってもよい。

また、生体情報抽出部３４４は、状態変化なしと判定された１回の連続時間が参考基準時間（例えば、１０秒）以上であり、当該１回の連続時間が基準時間より短い場合、当該１回の連続時間に取得された動画像を用いて、第１生体情報を抽出してもよい。参考基準時間は、第２生体情報の種別に応じて異なってもよい。

そして、生体情報抽出部３４４は、参考基準時間に対応する第１生体情報に基づいて、一時的に第２生体情報を抽出してもよい。以下の説明では、説明の便宜上、一時的に抽出された第２生体情報を、「参考生体情報」と称する。

また、生体情報抽出部３４４は、状態変化値が閾値より小さいと判定された複数の連続時間の合計時間が基準時間を超えた場合に、当該複数の連続時間における生体情報を報知部１０１（例えば、表示部３５１）に報知させる。具体的には、生体情報抽出部３４４は、状態変化なしと判定された複数の連続時間の合計時間が基準時間を超えた場合に、当該複数の連続時間に取得された動画像に基づいて、第１生体情報として脈波を測定する。なお、生体情報抽出部３４４は、参考生体情報を抽出した後、上記合計時間に取得された動画像を用いて、第１生体情報を抽出してもよい。

ステップＳ５０８において、生体情報抽出部３４４は、脈波に基づいて、脈拍数、ストレスレベルを算出するかまたは血圧を推定する。つまり、生体情報抽出部３４４は、脈波に基づいて、第２生体情報（脈拍数、ストレスレベル、または血圧）を抽出する。

ステップＳ５０９において、出力制御部３４５は、脈拍数、ストレスレベル、血圧の少なくともいずれかを報知部１０１（例えば、表示部３５１）に報知させる。または、出力制御部３４５は、生体情報抽出部３４４が参考生体情報を抽出した場合、参考生体情報を報知部１０１に報知させる。

なお、ステップＳ５０２、およびステップＳ５０３の順序は逆であってもよい。つまり、判定部３４２が状態変化なしと判定した場合（ステップＳ５０３：Ｎｏ）には、顔認証部３４１は、動画像内の顔領域に基づいて、人Ａの顔を認証してもよい。その場合、顔認証部３４１が、動画像内の顔領域に基づいて、人Ａの顔が認証された場合（ステップＳ５０２：Ｙｅｓ）には、制御部３４０は、ステップＳ５０６の処理を実行する。

さらに、判定部３４２が状態変化なしと判定した後、顔認証部３４１は、動画像内の顔領域に基づいて、人Ａの顔を認証し、再度、判定部３４２は、状態変化があるか否かを、判定部３４２は判定してもよい。そして、判定部３４２が状態変化なしと判定した場合、生体情報抽出部３４４は、動画像から第１生体情報を抽出してもよい。

図６は、状態変化値の一例を示す図である。図６に例示するように、状態変化値は、たとえば、状態変化値ｐ１＝慣性値の変化値、状態変化値ｐ２＝全動画像の輝度の統計値（たとえば、平均値または中央値等）の変化値、状態変化値ｐ３＝体表の特定部分の輝度の統計値（たとえば、平均値または中央値等）の変化値を含む。本実施形態においては、携帯端末１００に慣性センサ３１０が設けられているため、慣性値の変化値、すなわち、携帯端末１００の移動の加速度または携帯端末１００の姿勢変更の角速度の変化値が体表の状態変化値として用いられているものとする。ただし、携帯端末１００が慣性センサ３１０を有していない場合には、表示部３５１に表示される動画像の輝度の平均値または中央値が体表の状態変化値が用いられてもよい。また、同様の理由のため、表示部３５１に表示される体表の特定部分４０２の輝度の統計値の変化値が体表の状態変化値として用いられてもよい。状態変化値は、撮像部１０２によって取得された動画像に含まれる人Ａの体表の状態の変化に基づいて人Ａの生体情報を抽出することができるものであれば、いかなるものであってもよい。

次に、状態変化値の有無を判定する処理について詳細に説明する。図７、図８、図９は、時系列での状態変化値の推移を示す図である。図７、図８、図９に示す破線は、閾値を示す。なお、閾値は、携帯端末１００を把持する人Ａの体動および手振れ等に起因した動画像の中の体表の状態の変化が、生体情報の抽出結果に役立たなくなる程度の悪影響を与える場合に、その体動および手振れを抑制する値に設定されているものとする。なお、時刻ｔは、計時部３４６によって計時されている時刻である。

図７に例示する状態変化値は、時刻ｔ７１０≦ｔ≦時刻ｔ７１１（即ち、時間Ｔ７１）において、連続して閾値より小さい。換言すると、時刻ｔ７１０≦ｔ≦時刻ｔ７１１においては、判定部３４２により状態変化なしと判定される状態が連続する。ここで、時間Ｔ７１は、時刻ｔ７１１と時刻ｔ７１０との差分時間であり、基準時間であるとする。その場合、生体情報抽出部３４４は、時刻ｔ７１０≦ｔ≦時刻ｔ７１１において取得された動画像に基づいて、第１生体情報を抽出する。そして、生体情報抽出部３４４は、時刻ｔ７１０≦ｔ≦時刻ｔ７１１の間の時間Ｔ７１において撮像部１０２によって取得された動画像に基づいて第１生体情報を抽出し、その第１生体情報に基づいて、第２生体情報を抽出する。

また、図８に例示する状態変化値は、時刻ｔ８２０≦ｔ≦時刻ｔ８２１において、連続して閾値以上である。換言すると、時刻ｔ８２０≦ｔ≦時刻ｔ８２１においては、判定部３４２により状態変化ありと判定される状態が連続する。そのため、時刻ｔ８２０≦ｔ≦時刻ｔ８２１においては、報知制御部３４３は、報知部１０１の文字、音声、光、または振動等を用いて、勧告情報を報知することにより、体表の状態変化を抑制するようにユーザに促す。

一方、図８に例示する状態変化値は、時刻ｔ８２１≦ｔ＜時刻ｔ８２２（即ち、時間Ｔ８２）において、連続して閾値より小さい。ここで、図８に例示する時間Ｔ８２は、時刻ｔ８２１と時刻ｔ８２２との差分時間であり、基準時間であるとする。その場合、生体情報抽出部３４４は、時刻ｔ８２１≦ｔ≦時刻ｔ８２２の間の時間Ｔ８２において撮像部１０２によって取得された動画像に基づいて第１生体情報を抽出し、その第１生体情報、および第２生体情報を抽出する。

また、図９に例示する状態変化値は、時刻ｔ９３１≦ｔ≦時刻ｔ９３２（即ち、時間Ｔ９３）において、連続して閾値より小さく、かつ、時刻ｔ９３３≦ｔ≦時刻ｔ９３４（即ち、時間Ｔ９５）において、連続して閾値より小さい。一方、図９に例示する状態変化値は、時刻ｔ９３０＜ｔ＜時刻ｔ９３１、および、時刻ｔ９３２＜ｔ＜ｔ９３３の期間において、図９に例示する状態変化値は、閾値以上の状態になる。ここで、図９に例示する時間Ｔ９３は、時刻ｔ９３１と時刻ｔ９３２との差分時間である。また、図９に例示する時間Ｔ９５は、時刻ｔ９３３と時刻ｔ９３４との差分時間である。

報知制御部３４３は、時刻ｔ９３０≦ｔ＜時刻ｔ９３１、および、時刻ｔ９３２＜ｔ＜時刻ｔ９３３において、体表の状態変化を抑制するようにユーザに促す勧告情報を報知部２３０に報知させる。

さらに、たとえば、時刻ｔ９３２から時刻t９３３までの間の時間Ｔ９４が参考基準時間（たとえば、３０秒）より短い場合がある。この場合には、生体情報抽出部３４４は、時刻ｔ９３１≦ｔ≦時刻ｔ９３２の間の期間および時刻ｔ９３３≦ｔ≦時刻ｔ９３４の間の期間において撮像部１０２によって取得された動画像に基づいて第１生体情報を測定し、その第１生体情報に基づいて、参考生体情報を抽出する。その場合、出力制御部３４５は、参考生体情報を、「参考値」として表示部３５１に表示してもよい。

また、時間Ｔ９３が参考基準時間（たとえば、３０秒）より長い場合、出力制御部３４５は、時刻ｔ９３２＜ｔ＜時刻ｔ９３３において、生体情報の抽出を一時中断することを通知する勧告情報を報知部２３０に報知させる。例えば、出力制御部３４５は、時刻ｔ９３２＜ｔ＜時刻ｔ９３３の期間において、「生体情報の抽出を保留しています」とのメッセージを表示部３５１に表示してもよい。

以上説明した第１の実施形態では、携帯端末１００は、携帯端末１００を把持する人Ａの生体情報を非接触で抽出できる。さらに、携帯端末１００は、携帯端末１００を把持する人Ａに、撮像部１０２によって撮像される人Ａの体表の状態の変化を抑制することを人Ａに促すことができる。それにより、人Ａの体動または手振れ等に起因して動画像に生じるノイズの発生を抑制できる。そのため、携帯端末１００は、ノイズが少ない動画像に基づいて生体情報を抽出することができる。その結果、携帯端末１００は、携帯端末１００は、生体情報の抽出結果に誤差が生じることを抑制し、正確な生体情報を得ることができる。

（変形例１）
図１０は、第１の実施形態に係る携帯端末１００の変形例、およびサーバ１００１の機能構成の一例を示すブロック図である。本変形例に係る携帯端末１００は、携帯端末１００の構成の一部が携帯端末１００の外部に設けられている点以外においては、前述の実施形態の携帯端末と同一である。本変形例に係る携帯端末１００は、報知部１０１と、撮像部１０２と、慣性センサ３１０と、操作部３３０と、通信部１０１０とを備える。しかしながら、携帯端末１００は、記憶部３２０と制御部３４０とを有していない。記憶部３２０及び制御部３４０は、インターネット等の電気通信情報網によって携帯端末１００と通信可能に接続されたサーバ１００１に設けられている。従って、携帯端末１００の撮像部１０２は、サーバ１００１の制御部３４０によって制御され、通信部１０１０を経由して、撮像部１０２が取得した動画像をサーバ１００１に送信する。また、サーバ１００１は、通信部１００２を経由して、勧告情報、第１生体情報、および第２生体情報を、携帯端末１００に送信する。変形例１の携帯端末１００によっても、ユーザは正確な生体情報を取得することができる。

（変形例２）
図１１は、第１の実施形態に係る携帯端末１００の変形例、および報知装置１１０１の機能構成の一例を示すブロック図である。本変形例に係る携帯端末１００は、携帯端末１００の構成の一部が携帯端末１００の外部に設けられている点以外においても、前述の実施形態の携帯端末と同一である。本変形例に係る携帯端末１００は、撮像部１０２と、慣性センサ３１０と、記憶部３２０と、操作部３３０と、制御部３４０と、通信部１０１０とを備える。報知装置１１０１は、通信部１１１０と、報知部１０１とを備える。携帯端末１００は、通信部１０１０を経由して、勧告情報、第１生体情報、および第２生体情報を、報知装置１１０１に送信する。報知装置１１０１は、携帯端末１００から受信した勧告情報、第１生体情報、および第２生体情報の少なくともいずれかを、報知部１０１に報知させる。変形例１の携帯端末１００によっても、ユーザは正確な生体情報を取得することができる。

本開示における携帯端末１００または生体情報取得方法の主体は、コンピュータとして制御部３４０を備えている。このコンピュータが生体情報取得プログラムを実行することによって、本開示における携帯端末１００または生体情報取得方法の主体の機能が実現される。コンピュータは、生体情報取得プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、生体情報取得プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ(Large Scale Integration)を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。生体情報取得プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。生体情報取得プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

１００ 携帯端末、１０１ 報知部、１０２ 撮像部、３１０ 慣性センサ、３２０ 記憶部、３３０ 操作部、３４０ 制御部、３４１ 顔認証部、３４２ 判定部、３４３ 報知制御部、３４４ 生体情報抽出部、３４５ 出力制御部、３５１ 表示部、３５２ 音発生部、３５３ 振動部、３５４ 発光部、４０１ 動画像、４０２ 特定部分、Ａ 人

Claims (11)

1. 撮像部によって取得された体表の動画像に基づいて、人の生体情報を抽出する生体情報抽出部と、
   前記体表の状態の変化を特定可能な変化値を取得し、前記変化値が閾値以上であるか否かを判定する判定部と、
   前記変化値が前記閾値以上である場合に、前記動画像における前記体表の状態の変化を抑制することを促す勧告情報を報知部に報知させる報知制御部と、
   前記生体情報を前記報知部に報知させる出力制御部と、
   を備え、
   前記出力制御部は、前記変化値が前記閾値より小さいと判定された複数の連続時間の合計時間が基準時間を超え、且つ前記複数の連続時間のうち、少なくとも二つの連続時間の間に、前記変化値が閾値以上になる場合に、前記複数の連続時間における前記生体情報を前記報知部に報知させる、
   携帯端末。
2. 前記生体情報を前記報知部に出力させる出力制御部をさらに備え、
   前記出力制御部は、前記変化値が前記閾値より小さいと判定された１回の連続時間が基準時間を超えた場合に、前記１回の連続時間における前記生体情報を前記報知部に報知させる、請求項１に記載の携帯端末。
3. 前記出力制御部は、前記少なくとも二つの連続時間の間に、参考基準時間より短い時間、前記変化値が閾値以上になる場合、前記少なくとも二つの連続時間における前記生体情報を示す参考値を前記報知部に報知させる、請求項１に記載の携帯端末。
4. 前記判定部は、慣性センサによって取得された慣性値の変化に基づいて、前記変化値を取得する、請求項１～３のいずれかに記載の携帯端末。
5. 前記判定部は、前記撮像部によって取得された全動画像の輝度の統計値の変化に基づいて、前記変化値を取得する、請求項１～３のいずれかに記載の携帯端末。
6. 前記判定部は、前記体表の特定部分の前記撮像部によって取得された輝度の統計値の変化に基づいて、前記変化値を取得する、請求項１～３のいずれかに記載の携帯端末。
7. 前記体表は、前記人の顔の体表を含む、請求項１～６のいずれかに記載の携帯端末。
8. 前記生体情報は、前記人の脈波を含む、請求項１～７のいずれかに記載の携帯端末。
9. 前記生体情報抽出部は、前記動画像に基づいて、前記人の脈波を測定し、前記脈波に基づいて、脈拍数、ストレスレベル、および血圧の少なくともいずれかを、前記生体情報として抽出する、請求項１～８のいずれかに記載の携帯端末。
10. 撮像部によって取得された体表の動画像に基づいて、人の生体情報を抽出するステップと、
    前記体表の状態の変化を特定可能な変化値を取得し、前記変化値が閾値以上であるか否かを判定するステップと、
    前記変化値が前記閾値以上である場合に、前記動画像における前記体表の状態の変化を抑制することを促す勧告情報を報知部に報知させるステップと、
    前記生体情報を前記報知部に報知させるステップと、
    を備え、
    前記生体情報を前記報知部に報知させるステップにおいて、前記変化値が前記閾値より小さいと判定された複数の連続時間の合計時間が基準時間を超え、且つ前記複数の連続時間のうち、少なくとも二つの連続時間の間に、前記変化値が閾値以上になる場合に、前記複数の連続時間における前記生体情報を前記報知部に報知させる、
    生体情報取得方法。
11. コンピュータを、
    撮像部によって取得された体表の動画像に基づいて、人の生体情報を抽出する生体情報抽出部、
    前記体表の状態の変化を特定可能な変化値を取得し、前記変化値が閾値以上であるか否かを判定する判定部、
    前記変化値が前記閾値以上である場合に、前記動画像における前記体表の状態の変化を抑制することを促す勧告情報を報知部に報知させる報知制御部、および、
    前記生体情報を前記報知部に報知させる出力制御部、
    として機能させ、
    前記出力制御部は、前記変化値が前記閾値より小さいと判定された複数の連続時間の合計時間が基準時間を超え、且つ前記複数の連続時間のうち、少なくとも二つの連続時間の間に、前記変化値が閾値以上になる場合に、前記複数の連続時間における前記生体情報を前記報知部に報知させるための生体情報取得プログラム。

Images