JP7123539B2 - 診断支援情報提供装置 - Google Patents

Description

本発明は、診断支援情報提供装置に関する。

被検者の画像を解析することにより、認知症などの脳機能疾患の診断に有用な情報を提供する技術がある（例えば、特許文献１、２参照）。一方で、画像から人物の心身の状態を解析する技術や（例えば、特許文献３参照）、画像から表情を解析する技術がある（例えば、特許文献４参照）。

認知症患者は笑顔が減るなど、認知症と認知症患者の笑顔とには関連があることがわかっている。そこで近年では、認知症に関する診断等に笑顔を利用する研究が行われている。一例として、画像解析により笑顔を数値化した結果に基づいて、認知症患者のＱＯＬ（クオリティ・オブ・ライフ）を評価する研究がある。

笑顔の解析に用いる画像は、被検者に負担を与えることなく撮影することが可能である。しかしながら、笑顔の時間は健常成人女性でも１日３０秒未満とのデータもあり、１日に占める笑顔の表情構成率は低い。加えて、年齢に依存して笑顔が減少する傾向もみられる。このように、笑顔が現れるのは一般的に低頻度であるため、笑顔を利用して認知症に関する診断に有用な情報を得ることは困難であった。

特開２０１３－１６９３７５号公報 特公平６－５３１０７号公報 特開２００５－２３７５６１号公報 特開２０１４－２０６９０３号公報

上記のような事情を考慮して本発明がなされた。容易な測定により認知症などの脳機能疾患の診断に有用な情報を提供することができる診断支援情報提供装置を提供する。

本発明の一態様は、時系列の画像データそれぞれにおける被検者の顔向きを測定する顔向き測定部と、前記顔向き測定部が測定した前記顔向きに基づいて時系列の顔向き変化量を算出し、算出した前記顔向き変化量を設定した顔向き変化量情報を生成する変化量算出部と、所定期間の前記顔向き変化量情報に占める、顔向き変化量が所定値以下の前記顔向き変化量情報の割合を顔向き変化なしの割合として算出し、前記顔向き変化なしの割合に基づいて脳機能疾患の可能性又は程度を判定した結果を含む診断支援情報を生成する診断支援情報生成部と、前記診断支援情報生成部が算出した前記診断支援情報を出力する出力部と、を備える診断支援情報提供装置である。

本発明の一態様は、上述の診断支援情報提供装置であって、時系列の前記画像データそれぞれにおける前記被検者の視線方向を測定する視線方向測定部をさらに備え、前記変化量算出部は、前記視線方向測定部が測定した前記視線方向に基づいて時系列の視線変化量を算出し、算出した前記視線変化量を設定した視線変化量情報を生成し、前記診断支援情報生成部は、前記所定期間の前記視線変化量情報に占める、視線変化量が所定値以下の前記視線変化量情報の割合を視線変化なしの割合として算出し、前記顔向き変化なしの割合及び前記視線変化なしの割合に基づいて脳機能疾患の可能性又は程度を判定する。

本発明の一態様は、上述の診断支援情報提供装置であって、時系列の前記画像データそれぞれにおける前記被検者の表情を推定し、推定された前記表情を設定した表情推定情報を生成する表情推定部をさらに備え、前記診断支援情報生成部は、前記所定期間の前記表情推定情報に占める、各表情が現れている表情推定情報の割合をさらに用いて脳機能疾患の可能性又は程度を判定する。

本発明によれば、容易な測定により、認知症などの脳機能疾患の診断に有用な情報を提供することが可能となる。

第１の実施形態による診断支援情報提供装置の機能ブロック図である。 同実施形態による顔向き測定情報、視線方向測定情報及び表情推定情報の例を示す図である。 同実施形態による診断支援情報の例を示す図である。 同実施形態による診断支援情報提供装置が実行する解析処理を示すフロー図である。 同実施形態による診断支援情報提供装置を用いた試験の被験者に関する認知症に特有な周辺症状（ＢＰＳＤ）及び表情の評価を示す図である。 同実施形態による診断支援情報提供装置を用いた試験結果を示す図である。 第２の実施形態による診断支援情報提供システムの構成図である。 第３の実施形態による診断支援システムの構成図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。

［第１の実施形態］
従来からの研究によって、認知症患者は笑顔が減少することが分かっている。認知症患者の介護者には、認知症の症状が進むにつれ、笑顔だけではなく他の表情なども減少し、無表情の時間が増えているようである、との印象を得ている。これに基づけば、認知症に関する診断に有用な情報を得るために、無表情の時間を測定し、認知症の症状を判断することに利用することが考えられる。しかしながら、無表情とは、真顔であるが動きがなく何らかの思考中や動作中でない状態であり、人は比較的容易に無表情でない真顔と無表情の状態を総合的な情報をもとに判断することが可能である一方で、装置を用いた場合には、無表情を含む真顔の状態を測定はできても、無表情であることを正確に測定することができない。
そこで、本実施形態では、被検者の顔の動き、及び、視線の動きを利用して、脳機能疾患、特に、認知症の診断に有用な情報を提供する。

図１は、本実施形態による診断支援情報提供装置１の構成を示すブロック図である。診断支援情報提供装置１は、画像取得部１１、顔向き測定部１２、視線方向測定部１３、表情推定部１４、記憶部１５、変化量算出部１６、入力部１７、診断支援情報生成部１８及び出力部１９を備える。診断支援情報提供装置１は、１台のコンピュータ装置により実現してもよく、ネットワークで接続された複数台のコンピュータ装置により実現してもよい。複数台のコンピュータ装置により実現する場合、いずれのコンピュータ装置がいずれの機能部を実現するかは任意とすることができ、１つの機能部を複数台のコンピュータ装置で実現してもよい。

画像取得部１１は、時系列の画像データを取得する。画像データは、被検者２の少なくとも顔の画像が含まれるデータである。画像データには、時系列で撮影された順序を示す時系列情報が付加されている。時系列情報は、撮影日時でもよく、順序を表す番号でもよく、１ファイル内に時系列の画像データが含まれる場合には、その画像データの並び順を時系列情報としてもよい。画像取得部１１は、取得した画像データを、顔向き測定部１２、視線方向測定部１３及び表情推定部１４における画像解析に適したデータ形式に変換する機能を備えてもよい。本実施形態では、画像取得部１１は、撮像装置３が撮影した映像データを受信する。撮像装置３は、例えば、家庭用のビデオカメラである。画像取得部１１は、受信した映像データから得られる各フレームのデータを、時系列の画像データとして取得する。この場合、各画像データの時系列情報は、映像データに付加された撮影日時や、何枚目のフレームであるかに基づいて得ることができる。なお、画像取得部１１は、映像データ又は時系列の画像データを、ＵＳＢ（Universal Serial Bus）メモリやＣＤ－ＲＯＭなどの記録媒体から読み出してもよく、他のコンピュータ装置から受信してもよい。また、診断支援情報提供装置１が撮像装置３の機能を有してもよい。

顔向き測定部１２は、画像データを解析し、各画像データにおける被検者２の顔向きを測定する。視線方向測定部１３は、画像データを解析し、各画像データにおける被検者２の視線方向を測定する。表情推定部１４は、画像データを解析し、各画像データにおける被検者２の表情を推定する。顔向き測定部１２における顔向き測定、視線方向測定部１３における視線方向の測定、及び、表情推定部１４における表情の推定には、任意の既存の画像解析技術を適用できる。

記憶部１５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置である。記憶部１５は、顔向き測定部１２における測定結果、視線方向測定部１３における測定結果及び表情推定部１４における推定結果を時系列情報と紐付けて記憶する。変化量算出部１６は、記憶部１５に記憶された顔向き測定結果に基づいて、時系列の顔向き変化量を算出する。さらに、変化量算出部１６は、記憶部１５に記憶された視線方向の測定結果に基づいて、時系列の視線変化量を算出する。記憶部１５は、変化量算出部１６における算出結果の情報を時系列情報と紐付けて記憶する。

入力部１７は、ユーザの操作を受ける。入力部１７は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部１７は、ユーザの指示を診断支援情報提供装置１に入力する際にユーザによって操作される。入力部１７は、入力装置を診断支援情報提供装置１に接続するためのインタフェースであってもよい。この場合、入力部１７は、入力装置においてユーザの入力に応じ生成された入力信号を診断支援情報提供装置１に入力する。入力部１７は、ユーザが解析対象期間を指定する場合に、解析対象期間を示す情報の入力を受ける。解析対象期間は、例えば、解析対象期間の最初の時系列情報及び最後の時系列情報により特定してもよい。また、解析対象期間を、時系列の画像データを得たファイル又は映像データの名称により特定してもよい。解析対象期間として、複数の期間を入力してもよい。

診断支援情報生成部１８は、変化量算出部１６が算出した時系列の顔向き変化量及び視線変化量の情報を記憶部１５から読み出し、解析対象期間において顔向き及び視線のそれぞれが変化しなかった割合を算出する。ここで、顔向きや視線が「変化しない」とは、変化が乏しい場合を含んでもよい。さらに、診断支援情報生成部１８は、記憶部１５に記憶された表情の推定結果に基づいて、解析対象期間における表情に関する統計情報を算出する。診断支援情報生成部１８は、解析対象期間において顔向きが変化しなかった割合及び視線が変化しなかった割合と、解析対象期間における各表情に関する統計情報とを診断支援情報として生成する。

出力部１９は、診断支援情報生成部１８が生成した診断支援情報等のデータを出力する。出力とは、例えば、ディスプレイへの表示、記録媒体への書込み、ネットワークにより接続される他のコンピュータ装置への送信である。出力部１９は、診断支援情報提供装置１に接続された不図示の出力装置を介し、診断支援情報提供装置１のユーザに対してデータの出力を行う。出力装置は、例えば画像や文字を画面に出力する装置を用いて構成されてもよい。例えば、出力装置は、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイや有機ＥＬ（Electro-Luminescent）ディスプレイ等を用いて構成できる。また、出力装置は、画像や文字をシートに印刷（印字）する装置を用いて構成されてもよい。例えば、出力装置は、インクジェットプリンタやレーザープリンタ等を用いて構成できる。また、出力装置は、記録媒体にデータを書き込む装置であってもよい。出力部１９は、診断支援情報提供装置１に設けられた通信装置を介して他のコンピュータ装置に対しデータを送信してもよい。

図２は、記憶部１５に記憶される顔向き測定情報、視線方向測定情報及び表情推定情報の例を示す図である。顔向き測定情報は、顔向き測定部１２により測定された顔向きの測定結果を示す。視線方向測定情報は、視線方向測定部１３により測定された視線方向の測定結果を示す。表情推定情報は、表情推定部１４により推定された表情の推定結果を示す。同図では、同じ時系列情報の顔向き測定情報、視線方向測定情報及び表情推定情報を同じ行に示しており、下の行ほど後の順序であることを示す。つまり、同図では、顔向き測定情報、視線方向測定情報及び表情推定情報とも、並び順が時系列情報として用いられている。

同図に示す顔向き測定情報及び視線方向測定情報は、上下方向と左右方向のそれぞれの角度で向きを示している。例えば、左右方向については、正面を向いた時の角度を０とし、被検者２の右方向の角度を負の数、左方向の角度を正の数で表すことで、左と右のいずれの方向を向いているかと向きの大きさを容易に把握できる。また、上下方向については、正面を向いた時の角度を０とし、上方向の角度を負の数、下方向の角度を正の数で表すことができる。

表情推定結果は、例えば、「喜び」、「驚き」、「怒り」、「悲しみ」、「真顔」などのうちいずれの表情であるかでもよく、表情が強く表れている度合やその表情と推定される尤度を数値化したスコアでもよい。また、各表情のスコアが得られる場合、最もスコアが高い表情を表情推定結果としてもよい。同図に示す表情推定情報には、各表情のスコアが設定されている。

図３は、診断支援情報の出力結果の例を示している。同図に示す診断支援情報は、解析対象期間における上下方向及び左右方向それぞれの顔向き変化なしの割合、上下方向及び左右方向それぞれの視線変化なしの割合、及び、各表情の出現割合を含む。なお、入力部１７により、複数の解析対象期間とそれら対象期間が属するグループとが入力された場合、診断支援情報生成部１８は、各解析対象期間について診断支援情報を生成し、グループ間で診断支援情報のＴ検定を行った結果をさらに出力するようにしてもよい。

図４は、診断支援情報提供装置１が実行する解析処理のフロー図である。まず、画像取得部１１は、撮像装置３から受信した映像データに基づいて、時系列の画像データを取得する（ステップＳ１１０）。顔向き測定部１２は、ステップＳ１１０において画像取得部１１が取得した各画像データを解析し、被検者２の顔向きを測定する（ステップＳ１２０）。本実施形態では、顔向き測定部１２は、顔が向いている左右方向の角度及び上下方向の角度を顔向き測定結果として算出する。これは、顔は上下又は左右に動かされる頻度が高く、斜め方向に動かす頻度は低いと想定されるためである。顔向き測定部１２は、時系列情報と、その時系列情報で特定される画像データを用いた顔向き測定結果とを設定した顔向き測定情報を記憶部１５に書き込む。

視線方向測定部１３は、ステップＳ１１０において画像取得部１１が取得した各画像データを解析し、被検者２の視線方向を測定する（ステップＳ１３０）。本実施形態では、視線方向測定部１３は、視線の左右方向の角度及び上下方向の角度を視線方向測定結果として算出する。視線方向測定部１３は、時系列情報と、その時系列情報で特定される画像データを用いた視線方向測定結果とを設定した視線方向測定情報を記憶部１５に書き込む。

表情推定部１４は、ステップＳ１１０において画像取得部１１が取得した各画像データを解析し、被検者２の表情を推定する（ステップＳ１４０）。表情推定部１４は、時系列情報と、その時系列情報で特定される画像データを用いた表情推定結果とを設定した表情推定情報を記憶部１５に書き込む。

変化量算出部１６は、各顔向き測定結果について、時系列で並べたときの直前の顔向き測定結果との変化量を算出する（ステップＳ１５０）。例えば、記憶部１５が、Ｎ個の顔向き測定情報を記憶しているとする。変化量算出部１６は、時系列情報がｎ番目（ｎは２以上Ｎ以下の整数）を示す顔向き測定情報に設定されている顔向き測定結果と、時系列情報が（ｎ－１）番目を示す顔向き測定情報に設定されている顔向き測定結果との差分を算出する。変化量算出部１６は、算出した差分を、時系列情報がｎ番目の顔向き変化量とする。なお、顔向き変化量は、上下方向と左右方向のそれぞれについて算出される。変化量算出部１６は、時系列情報と顔向き変化量とを設定した顔向き変化量情報を記憶部１５に書き込む。

変化量算出部１６は、各視線方向測定結果について、時系列で並べたときの直前の視線方向測定結果との変化量を算出する（ステップＳ１６０）。例えば、記憶部１５が、Ｎ個の視線方向測定情報を記憶しているとする。変化量算出部１６は、時系列情報がｎ番目（ｎは２以上Ｎ以下の整数）を示す視線方向測定情報に設定されている視線方向測定結果と、時系列情報が（ｎ－１）番目を示す視線方向測定情報に設定されている視線方向測定結果との差分を算出する。変化量算出部１６は、算出した差分を、時系列情報がｎ番目の視線変化量とする。なお、視線変化量は、上下方向と左右方向のそれぞれについて算出される。変化量算出部１６は、時系列情報と視線変化量とを設定した視線変化量情報を記憶部１５に書き込む。

入力部１７は、ユーザから解析対象期間を示す情報の入力を受ける（ステップＳ１７０）。診断支援情報生成部１８は、解析対象期間内の時系列情報が設定された顔向き変化量情報、視線変化量情報及び表情推定情報に基づいて、診断支援情報を生成する（ステップＳ１８０）。具体的には、以下の処理を行う。

診断支援情報生成部１８は、解析対象期間に含まれる時系列情報が設定された顔向き変化量情報を記憶部１５から読み出す。診断支援情報生成部１８は、読み出した顔向き変化量情報のうち、上下方向の顔向き変化量が所定の閾値以下である顔向き変化量情報、及び、左右方向の顔向き変化量が所定の閾値以下である顔向き変化量情報を特定する。診断支援情報生成部１８は、上下方向の顔向き変化量が閾値以下である顔向き変化量情報の数を、記憶部１５から読み出した顔向き変化量情報の数により除算し、その算出結果を解析対象期間における上下方向の顔向き変化なしの割合とする。また、診断支援情報生成部１８は、左右方向の顔向き変化量が閾値以下である顔向き変化量情報の数を、記憶部１５から読み出した顔向き変化量情報の数により除算し、その算出結果を解析対象期間における左右方向の顔向き変化なしの割合とする。なお、閾値は例えば「０」であるが、閾値は任意に設定可能であり、上下方向と左右方向で閾値が異なっていてもよい。

続いて、診断支援情報生成部１８は、解析対象期間に含まれる時系列情報が設定された視線変化量情報を記憶部１５から読み出す。診断支援情報生成部１８は、読み出した視線変化量情報のうち、上下方向の視線変化量が所定の閾値以下である視線変化量情報、及び、左右方向の視線変化量が所定の閾値以下である視線変化量情報を特定する。診断支援情報生成部１８は、上下方向の視線変化量が所定の閾値以下である視線変化量情報の数を、記憶部１５から読み出した視線変化量情報の数により除算し、その算出結果を解析対象期間における上下方向の視線変化なしの割合とする。また、診断支援情報生成部１８は、左右方向の視線変化量が所定の閾値以下である視線変化量情報の数を、記憶部１５から読み出した視線変化量情報の数により除算し、その算出結果を解析対象期間における左右方向の視線変化なしの割合とする。なお、閾値は例えば「０」であるが、閾値は任意に設定可能であり、上下方向と左右方向で閾値が異なっていてもよい。

さらに、診断支援情報生成部１８は、解析対象期間に含まれる時系列情報が設定された表情推定情報を記憶部１５から読み出す。診断支援情報生成部１８は、読み出した表情推定情報に基づいて、表情に関する統計情報を算出する。例えば、読み出した表情推定情報に占める、各表情が現われている表情推定情報の割合を算出する。各表情の推定結果がスコアで表される場合、所定の閾値よりも高いスコアである場合に、その表情が現われているとみなしてもよい。また、統計情報は、表情別のスコアの合計値などでもよい。

診断支援情報生成部１８は、解析対象期間における上下方向の顔向き変化なしの割合、左右方向の顔向き変化なしの割合、上下方向の視線変化なしの割合、左右方向の視線変化なしの割合、各表情の出現割合を設定した診断支援情報を生成する。出力部１９は、診断支援情報生成部１８が生成した診断支援情報を出力する（ステップＳ１９０）。

なお、顔向き測定（ステップＳ１２０）の後に顔向き変化量算出（ステップＳ１５０）が行われ、かつ、視線方向測定（ステップＳ１３０）の後に視線変化量算出（ステップＳ１６０）が行われれば、診断支援情報提供装置１は、上記実施形態におけるステップＳ１２０～ステップＳ１６０の処理の順序を入れ替えてもよく、一部の処理を並行して行ってもよい。

また、上記では、診断支援情報提供装置１は、画像取得部１１が取得した時系列の画像データ全てについて顔向き変化量情報、視線変化量情報及び表情推定情報を生成している。そして、診断支援情報生成部１８は、入力部１７により入力された解析対象期間の顔向き変化量情報、視線変化量情報及び表情推定情報を用いて診断支援情報を生成する。これにより、例えば、診断支援情報提供装置１に数日分の映像データを入力し、１日毎、時間帯毎などユーザが任意に指定した期間についての診断支援情報を迅速に提供することができる。なお、解析対象期間を入力するステップＳ１７０の処理を、ステップＳ１２０の前に行ってもよい。この場合、診断支援情報提供装置１は、画像取得部１１が取得した時系列の画像データのうち、解析対象期間に含まれる時系列の画像データを用いて、ステップＳ１２０～ステップＳ１６０及びステップＳ１８０～ステップＳ１９０の処理を行う。また、ステップＳ１１０が取得した時系列の画像データを１つの解析対象期間とする場合、ステップＳ１７０の処理は省略してもよい。

続いて、本実施形態の診断支援情報提供装置１を用いた試験結果を説明する。
ここでは、認知症の被験者３名についての試験結果を示す。この３名の被験者は、７０代の女性の被験者Ａ、９０代の女性の被験者Ｂ、及び、８０代の女性の被験者Ｃである。被験者Ａは、認知症の診断後２年、介護度４である。被験者Ｂは、認知症の診断後６年、介護度３である。被験者Ｃは、アルツハイマー型認知症の診断後６年、介護度２である。各被験者は、認知症への効果が研究されている中鎖脂肪酸油６グラム含有食品メモリオン（日清オイリオグループ株式会社製）を１日３回、２ヶ月間摂取した。以下では、このメモリオンの摂取開始前の１ヶ月間を「摂取前」、メモリオンの摂取終了後の１ヶ月間を「摂取後」と記載する。各被験者について、摂取前、摂取開始１ヶ月後、摂取開始２ヶ月後、摂取後に、認知症に特有な周辺症状（以下、ＢＰＳＤ）及び表情に関して、日常的な介護者による評価を実施した。

なお、中鎖脂肪酸が与えるアルツハイマー型認知症への効果については、例えば、以下の文献「Samuel T Henderson, Janet L Vogel, Linda J Barr, Fiona Garvin, Julie J Jones, and Lauren C Costantini, "Study of the ketogenic agent AC-1202 in mild to moderate Alzheimer's disease: a randomized, double-blind, placebo-controlled, multicenter trial," Nutrition & Metabolism 2009, 6: 31」がある。

図５は、各被験者の各期間におけるＢＰＳＤと表情に関する日常的な介護者による評価結果を示す図である。図５（ａ）は被験者Ａの評価結果、図５（ｂ）は被験者Ｂの評価結果、図５（ｃ）は被験者Ｃの評価結果を示す。ＢＰＳＤの評価には阿部式ＢＰＳＤスコアを用いた。阿部式ＢＰＳＤスコアは４４点満点で点数が高いほど「ＢＰＳＤ悪化」と評価される。表情については、摂取前の「笑顔の時間」、「表情の豊かさ」、「無表情の時間」を基準にして、各項目の増減を５段階で評価した。

被験者Ａは、ある時点から継続した期間において、ＢＰＳＤが改善して表情の変化も見られ、且つ、その変化が継続したことが確認された。その変化の発生時点より前の期間を期間１、後の期間を期間２とする。期間１は、摂取前から、メモリオンの摂取開始後１ヶ月までの期間であり、期間２は、メモリオンの摂取開始後２ヶ月から摂取後までの期間である。一方、被験者Ｂ及び被験者Ｃについては、期間１から期間２まで阿部式ＢＰＳＤスコアの改善はみられず、表情の変化もほぼなかった。

図６は、診断支援情報提供装置１を用いた試験結果を示す図である。同図は、各被験者Ａ～Ｃの期間１における５日分（Ｄａｙ１～５）の映像データ、期間２における５日分（Ｄａｙ１～５）の映像データを用いて解析を行った結果を示している。映像データは、毎週火曜日及び木曜日の１４～１６時に行われる３０分間のリクリエーションと９０分間のおやつ及び談話時間とが含まれる時間帯のうち、約３０分間のおやつ及び談話時間の動画である。映像データには、家庭用ビデオカメラで被験者を撮影した映像を用い、診断支援情報提供装置１は、映像データから０．０５秒間隔の時系列の画像データを取得して解析を行った。図６（ａ）は被験者Ａの解析結果、図６（ｂ）は被験者Ｂの解析結果、図６（ｃ）は被験者Ｃの解析結果である。同図では、Ｔ検定の結果も同時に示している。

図６（ａ）に示すように、表情の改善が見られた被験者Ａについては、期間２における上下方向及び左右方向それぞれの顔向き変化なしの割合、上下方向及び左右方向それぞれの視線変化なしの割合が有意に減少しており、顔向き・視線とも動きが増加している。一方、図６（ｂ）、（ｃ）に示すように、表情の改善が見られなかった被験者Ｂ、被験者Ｃについては、期間１と期間２とで、上下方向及び左右方向それぞれの顔向き変化なしの割合、上下方向及び左右方向それぞれの視線変化なしの割合に、有意差は見られなかった。

図５から、ＢＰＳＤの評価結果と、無表情の評価結果とに相関がみられる。また、図５及び図６から、無表情の評価結果と、顔向きの変化の少なさ及び視線の変化の少なさには相関があることが分かる。これらは、診断支援情報提供装置１が出力する顔向きの変化の少なさ及び視線の変化の少なさの情報が、認知症に関する診断に有用な情報として活用可能なこと示している。

なお、診断支援情報提供装置１が使用する各閾値はユーザが任意に設定可能であるが、各閾値を学習により決定してもよい。例えば、診断支援情報提供装置１は、複数の被検者それぞれの時系列の画像データを学習データに用いて、各閾値の値を所定幅で変化させながら上述の解析処理を行う。各被検者のＢＰＳＤ及び表情の評価結果とよくマッチした診断支援情報が得られたときの閾値の値を、診断支援情報提供装置１に設定する。

以下に、診断支援情報提供装置１の変形例を示す。
変化量算出部１６は、所定数毎に顔向き測定結果、及び、視線測定結果それぞれを平均した値を、顔向き変化量、及び、視線変化量の算出に用いてもよい。例えば、０．０５秒間隔の時系列の画像データを用いた場合、０．０５秒ごとの顔向き測定結果及び視線測定結果が得られる。顔向き測定部１２及び視線方向測定部１３は、例えば、連続した１２５個を１区間とし、各区間に時系列情報を付与する。顔向き測定部１２は、時系列情報と、その時系列情報が付与された区間における顔向き測定結果の平均値とを設定した顔向き測定情報を記憶部１５に書き込む。同様に、視線方向測定部１３は、時系列情報と、その時系列情報が付与された区間における視線測定結果の平均値とを設定した視線方向測定情報を記憶部１５に書き込む。これにより、変化量算出部１６は、６．２５秒間隔の時系列の顔向き測定結果情報及び視線方向測定情報を用いて、上記処理と同様に顔向き変化量と視線変化量を算出する。認知症患者には、震えの症状はあまり見られないため、区間を適切に決めることで、情報の精度を維持したまま、診断支援情報提供装置１の処理負荷を軽減することができる。

また、診断支援情報提供装置１は、以下のように、認知症の可能性を判定した結果をさらに、診断支援情報として出力してもよい。まず、学習段階として、診断支援情報提供装置１は、認知症ではない被検者及び認知症の被検者それぞれの時系列の画像データを学習データに用いて、上述の解析処理を行い、各被検者の上下方向及び左右方向の顔向き変化なしの割合、上下方向及び左右方向の視線変化なしの割合、各表情の割合を算出する。診断支援情報提供装置１は、各被検者についての算出結果と認知症の有無とに基づいて、上下方向及び左右方向の顔向き変化なしの割合、上下方向及び左右方向の視線変化なしの割合、ならびに、各表情の割合と、認知症の有無との相関を学習する。この学習により、例えば、認知症の可能性の有無を判定するための上下方向及び左右方向の顔向き変化なしの割合、上下方向及び左右方向の視線変化なしの割合、各表情の割合それぞれの閾値を得る。被検者について解析処理を行う場合、診断支援情報生成部１８は、学習段階で得られた各閾値と、解析対象の被検者について得られた上下方向及び左右方向の顔向き変化なしの割合、上下方向及び左右方向の視線変化なしの割合、各表情の割合それぞれとを比較した結果に基づいて、認知症の可能性の有無を判定する。診断支援情報生成部１８は、閾値との乖離の大きさによって認知症の可能性の程度を判断してもよい。なお、認知症の有無との相関がないと判断された表情については、認知症の疑いの有無の判定には使用しない。

また、相関は、例えば、上下方向及び左右方向それぞれの顔向き変化なしの割合、上下方向及び左右方向それぞれの視線変化なしの割合、及び、各表情の割合をパラメータに用いて、認知症の疑いの程度を算出する関数（以下、「判別式」と記載）であってもよい。この場合、学習段階において、診断支援情報提供装置１は、各被検者の学習データを用いて上記の解析処理を行って得られた結果と、被検者の認知症の有無とに基づいて、判別式に用いられる各係数の値を決定する。被検者について解析処理を行う場合、診断支援情報生成部１８は、解析対象の被検者について得られた上下方向及び左右方向の顔向き変化なしの割合、上下方向及び左右方向の視線変化なしの割合、各表情の割合それぞれを、学習した判別式に代入して得られた値を用いて、認知症の可能性の有無又は程度を判定する。

本実施形態によれば、被検者の日常を撮影した画像等を利用した容易な測定により、認知症などの脳機能疾患の診断に有用な情報を提供することが可能となる。被検者は、測定のための器具等を装着する必要がなく、また、測定のため指示に従って何らかの動作を行う必要もないために、被検者の負担を抑えることができる。これは、測定者にとっても、測定のための器具等を被検者に装着させる必要がなく、測定のための動作を行うよう被検者に指示する必要もないということであり、測定者の負担を軽減することもできる。

［第２の実施形態］
図７は、本実施形態の診断支援情報提供システム４の構成図である。同図に示す診断支援情報提供システム４は、ネットワーク５を介して、第１の実施形態の診断支援情報提供装置１と、１台以上の端末装置６とを接続した構成である。ネットワーク５は、例えば、インターネット網などの公衆網であるが、私設網又は仮想私設網であってもよく、それらの組合せであってもよい。端末装置６は、コンピュータ端末であり、映像データを診断支援情報提供装置１に送信する。診断支援情報提供装置１は、端末装置６から映像データを受信して、第１の実施形態と同様の処理を行う。なお、解析対象期間を指定する場合、診断支援情報提供装置１は、入力部１７による入力に代えて、端末装置６から解析対象期間の情報を受信する。診断支援情報提供装置１の出力部１９は、診断支援情報を映像データの送信元の端末装置６に返送する。

なお、端末装置６が、診断支援情報提供装置１の一部の機能部を有してもよい。診断支援情報提供装置１のいずれの機能部を端末装置６に備えるかは任意とすることができる。例えば、端末装置６が画像取得部１１、顔向き測定部１２、視線方向測定部１３及び表情推定部１４を備え、顔向き測定部１２、視線方向測定部１３及び表情推定部１４の処理結果を診断支援情報提供装置１に送信してもよい。

また、端末装置６は、映像データをデータベースサーバに登録し、診断支援情報提供装置１に映像データを登録したデータベースサーバのアドレス及び映像データ名を通知してもよい。診断支援情報提供装置１の画像取得部１１は、端末装置６から受信したアドレス及び映像データ名を用いてデータベースサーバにアクセスし、映像データを読み出す。

本実施形態によれば、１台の診断支援情報提供装置１によって、複数ユーザに診断支援情報を提供することが可能となる。

［第３の実施形態］
本実施形態では、診断支援情報提供装置１が出力した診断支援情報と、他の情報とを利用して、総合的な診断支援情報を提供する。
図８は、本実施形態の診断支援システム７の機能ブロック図である。診断支援システム７は、第１の実施形態の診断支援情報提供装置１と、解析部７１とを備える。診断支援システム７は、１台のコンピュータ装置により実現してもよく、ネットワークで接続された複数台のコンピュータ装置により実現してもよい。複数台のコンピュータ装置により実現する場合、いずれのコンピュータ装置がいずれの機能部を実現するかは任意とすることができ、１つの機能部を複数台のコンピュータ装置で実現してもよい。

解析部７１は、診断支援情報提供装置１が出力した診断支援情報と、他の情報とに基づいて診断支援情報提供装置１とは異なる診断支援情報を生成し、出力する。解析部７１は、診断支援情報提供装置１が解析処理に使用した画像データから得られた任意の特徴点を、診断支援情報の生成に用いることもできる。なお、第２の実施形態の診断支援情報提供システム４は、診断支援情報提供装置１に代えて、本実施形態の診断支援システム７を備えてもよい。この場合、診断支援システム７は、診断支援情報提供装置１が出力した診断支援情報以外に、解析部７１における処理に必要な情報を、端末装置６から受信する。

本実施形態によれば、診断支援情報提供装置１の解析結果を利用して、診断に有用な情報をさらに提供することが可能となる。

以上説明した実施形態では、脳機能疾患として認知症を例に説明したが、診断支援情報提供装置１は、他の脳機能疾患の罹患者が対象である場合にも、上記と同様の処理により、診断に有用な情報を提供することができる。

なお、上述の診断支援情報提供装置１及び診断支援システム７は、内部にコンピュータシステムを有している。そして、診断支援情報提供装置１及び診断支援システム７の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…診断支援情報提供装置
２…被検者
３…撮像装置
４…診断支援情報提供システム
５…ネットワーク
６…端末装置
７…診断支援システム
１１…画像取得部
１２…顔向き測定部
１３…視線方向測定部
１４…表情推定部
１５…記憶部
１６…変化量算出部
１７…入力部
１８…診断支援情報生成部
１９…出力部
７１…解析部

Claims (3)

1. 時系列の画像データそれぞれにおける被検者の顔向きを測定する顔向き測定部と、
   前記顔向き測定部が測定した前記顔向きに基づいて時系列の顔向き変化量を算出し、算出した前記顔向き変化量を設定した顔向き変化量情報を生成する変化量算出部と、
   所定期間の前記顔向き変化量情報に占める、顔向き変化量が所定値以下の前記顔向き変化量情報の割合を顔向き変化なしの割合として算出し、前記顔向き変化なしの割合に基づいて脳機能疾患の可能性又は程度を判定した結果を含む診断支援情報を生成する診断支援情報生成部と、
   前記診断支援情報生成部が算出した前記診断支援情報を出力する出力部と、
   を備える診断支援情報提供装置。
2. 時系列の前記画像データそれぞれにおける前記被検者の視線方向を測定する視線方向測定部をさらに備え、
   前記変化量算出部は、前記視線方向測定部が測定した前記視線方向に基づいて時系列の視線変化量を算出し、算出した前記視線変化量を設定した視線変化量情報を生成し、
   前記診断支援情報生成部は、前記所定期間の前記視線変化量情報に占める、視線変化量が所定値以下の前記視線変化量情報の割合を視線変化なしの割合として算出し、前記顔向き変化なしの割合及び前記視線変化なしの割合に基づいて脳機能疾患の可能性又は程度を判定する、
   請求項１に記載の診断支援情報提供装置。
3. 時系列の前記画像データそれぞれにおける前記被検者の表情を推定し、推定された前記表情を設定した表情推定情報を生成する表情推定部をさらに備え、
   前記診断支援情報生成部は、前記所定期間の前記表情推定情報に占める、各表情が現れている表情推定情報の割合をさらに用いて脳機能疾患の可能性又は程度を判定する、
   請求項１又は請求項２に記載の診断支援情報提供装置。

Images