JP6116375B2 - 診断支援システム - Google Patents

Description

本発明は、人の顔画像から求められた顔の色情報に基づいてその人の健康状態を診断するための診断支援システムに関し、特に、顔の色情報の変化を適切に把握する顔色診断システムに関する。

従来、患者の顔画像を撮影して過去顔画像として記憶しておき、現在撮影された現在顔画像と顔部分の色情報を比較し、その結果を表示して医師の診断を支援する装置が提案されている。
例えば、特許文献１には、一般的なデジタルカメラも使用可能であるとして、顔画像から特定の領域の色情報を算出して基準データと比較することにより、顔画像の人物の体調の診断が可能な撮像装置が開示されている。

特開２００４−３２９６２０号公報

特許文献１の撮像装置により、基準データとして、複数の過去顔画像から算出された顔の色情報の平均値を用いることで、人物の体調の変化を把握することが出来る。

しかしながら、基準データとの差異が少ないとしても、過去顔画像が取得されたときも現在顔画像が取得されたときも患者の体調がすぐれず発熱している場合と、過去顔画像が取得されたときも現在顔画像が取得されたときも健康状態の場合との区別が困難で、診断の精度の確保がしにくいという課題があった。

そこで、本発明は、過去顔画像と現在顔画像を比較できるよう表示しつつ、顔の色情報の変化に基づき、医師が、適切に診断できる診断支援システムの実現を目的とする。

本発明は、かかる目的を達成するために、人物の過去顔画像を撮影時の健康状態に対応付けて履歴顔画像として記憶する記憶部と、人物の現在顔画像を受信する受信部と、受信部にて受信した現在顔画像と履歴顔画像を表示部に表示させる表示制御部と、現在顔画像における顔色判定領域を決定するとともに、当該顔色判定領域に対応する履歴顔画像における対応領域を算出する顔色判定領域算出部と、顔色判定領域と対応領域との色情報の差を求める色差算出部とを有し、表示制御部は、現在顔画像および履歴顔画像とともに色情報の差と当該履歴顔画像に対応する健康状態を表示部に表示させることを特徴とした診断支援システムを提供する。

この構成により、本発明にかかる診断支援システムの表示部を目視した医師は、現在顔画像と履歴顔画像とを表示部で比較して、両顔画像から求められる顔の色情報の差を、履歴顔画像が取得された時点からの変化として捉えて、患者の健康状態を適切に診断できる。

さらに、表示制御部は、現在顔画像上に顔色判定領域を表示させるとともに履歴顔画像上に対応領域を表示させることが好適である。

この構成により、医師は、顔の色情報の差が、顔画像のどの部分から算出されたのかが目視確認でき、目や口など、健康状態の判定をするためには色の変化が出にくい顔の部分から算出されたのではないことをもって適切な診断ができる。

さらに、現在顔画像上にて顔色判定領域を指定する領域指定手段と、現在顔画像および履歴顔画像の特徴点位置を抽出する特徴点抽出部を備え、顔色判定領域算出部は、現在顔画像における特徴点位置と指定された顔色判定領域との位置関係を算出し、履歴顔画像における特徴点位置を用いて当該位置関係から対応領域を特定することが好適である。

この構成により、医師が顔色の情報の比較をしたい領域を診断の都度指定でき、かつ現在顔画像と履歴顔画像の対応する領域を、共通する特徴点を基準に正確に求めることができる。

また、記憶部は、互いに異なる時点にて撮影された履歴顔画像を複数記憶し、表示制御部は、履歴顔画像ごとの色情報の差を時系列に表すグラフを表示することが好適である。

この構成により、医師は顔色の情報の差を時間変化として認識できるので、患者の体調が回復に向かっているのか、悪化に向かっているのかを診断できる。

また、表示制御部は、グラフ上にて色情報の差が指定されると、当該色情報の差を求めるために用いられた履歴顔画像と当該色情報の差に表示を更新することが好適である。

この構成により、医師は、患者の過去の様子を直ちに表示させて迅速に診断できる。

また、記憶部は、人物の顔における特徴点間の実寸法を予め記憶し、現在顔画像および／または履歴顔画像の特徴点位置を抽出する特徴点抽出部を備え、表示制御部は、表示部に表示される現在顔画像および／または履歴顔画像の特徴点位置間の画面上の距離が記憶部に記憶した実寸法となるように表示することが好適である。

この構成により、医師は、あたかも患者の顔の実物を見ながら診断でき、その精度を確保できる

また、顔の３次元形状に履歴顔画像を合成して３次元顔画像を生成する３次元顔画像合成部と、３次元顔画像の顔向きを指定する顔向き指定手段を備え、表示制御部は、指定された顔向きの３次元顔画像を２次元化して表示することが好適である。

この構成により、医師がより詳細に顔色の情報を表示させたい部分を中心に位置させることができ、診断の精度を確保できる。

これにより本発明は、人物の顔の色情報について、過去の診断結果を踏まえて比較しつつ経時的な変化を適切に把握できる。さらには、原寸大表示により、画面のレイアウトの関係で小さく表示される場合と比較して、更に正確に顔の色情報の変化を適切に把握でき、医師の診断の正確さが確保できる。

本発明にかかる診断支援システムの実施の一形態の概略構成図 診断を行う医師が操作する端末の概略構成図 サーバマシンの概略構成図 患者リストを示す図 診断履歴テーブルを示す図 顔の特徴点と顔色判定領域の決定を説明する模式図 医師が目視する画面表示の模式図 顔色診断行為に関するシステムの動作シーケンス図 顔画像の原寸表示のイメージ図

以下、本発明に係る診断支援システムの実施の形態について、図を適宜参照して説明する。
図１は、診断支援システム１の全体構成を模式的に示した図である。診断支援システム１は、ネットワーク９を介して接続された３つの構成要素を有する。
第１に、医師３が操作する医師端末２である。医師端末２は、本体の他、表示部や、マウスやキーボードなどの指定入力手段から構成されている。これらの構成の詳細は図２を用いて後述する。

第２に、医師３とは遠隔地に在住しており、医師３により診断を受ける患者５が操作する患者端末４である。患者端末４は、一般に普及しているデスクトップパソコンやノート型パソコンのほか、タブレット端末などでも実現できる。本実施の形態では、図１に示すようにタブレット端末を用いるとした。
患者端末４には、内蔵型のカメラ６が備わっており、患者５の顔画像を撮影して、ネットワーク９を介してサーバマシン８に送信する。内蔵型ではなく外付け型のカメラでもよい。また患者５の顔画像を撮影する際に、明るさが足りない、あるいは色合いを調整することを理由に照明装置が備わっていても良い。
また、患者端末４には、患者５の部屋の温度を測定するための温度計などのセンサ類が備わっていてもよい。室温は、患者５の口頭による自覚症状の申告に比べて、顔色が不自然に赤い、または青白いなどの場合、室温が大きな影響を与えているとして、医師３が診断の材料に活用できる。

第３に、サーバマシン８である。サーバマシン８は、いわゆるデータセンタにおいて厳重な情報セキュリティ管理下に設置されている。サーバマシン８は、患者５の顔画像から顔の色情報を算出したり、医師３からの指示により患者５の過去の顔画像を検索する機能を実現する顔色診断処理部と、過去の患者５の顔画像などを大量に記憶できる記憶部を有する。サーバマシン８の構成については図３を用いて後述する。
なお、以下ではネットワーク９をＩＰ網として説明するが、一般公衆回線網、携帯電話網など画像の送受信に支障がなければこれに限るものではない。

図２に、医師３が操作する医師端末２の概略構成を示す。本実施の形態では、医師端末２はノートパソコンにて実現されるとして説明する。医師端末２は、医師端末本体２５の他に表示部２６と指定入力手段２７から構成される
医師端末本体２５は、ＣＰＵや各種Ｉ／Ｆなどを内蔵し、いわゆるパソコン本体部分であり、端末制御部２５１、表示制御手段２５２、端末通信部２５３を有する。
端末制御部２５１は、図示しない内蔵ハードディスクなどによる記憶手段に記憶されたプログラムモジュールとして実現され、ネットワーク９を介して送信されてきた顔画像を表示部２６に表示させるために表示制御手段２５２に渡すなど、医師端末本体２５を制御する。

表示制御手段２５２は、端末通信部２５３が受信した情報を表示部２６に表示する際に、その表示内容を制御したり、マウスなどの指定入力手段で指定した顔画像上の座標を取得する機能を有し、端末制御部２５１と同様に、図示しない内蔵ハードディスクなどによる記憶手段に記憶されたグラフィック関係のプログラムモジュールや、グラフィックボードで実現される。
表示制御手段２５２が行う表示制御には、例えば、サーバマシン８に記憶されている患者５の過去に撮影された顔画像と、診断中の医師３が撮影指示をすることで取得された現在時刻の患者５の顔画像を並べて表示部２６に表示させることがある。また、患者５の顔の色情報について、特定の条件を満たすと顔の色情報の差を表示する際に色づけしたり、患者の顔画像をその患者の顔の大きさそのままに原寸大表示するため拡大縮小などの処理を行う。

端末通信部２５３は、ネットワーク９を介して患者端末４またはサーバマシン８と通信するためのＩ／Ｆであり、サーバマシン８から患者５の顔画像を受信したり、患者５を特定するための患者ＩＤなどをサーバマシン８に送信したり、患者端末４に備わっているカメラ６に患者５の顔画像を撮影させるための撮影信号を送信したりする際のインターフェース機能を有する。

表示部２６は、いわゆるモニタ装置であり、図１で模式的に示したように医師端末２をノートパソコンで実現する場合には、医師端末本体２５と同一筐体の液晶モニタ部分となる。可視性を考慮して大型の外部モニタや、操作性を向上させるため、タッチパネルモニタなどを用いても良い。

指定入力手段２７は、各種情報をタイプ入力するためのキーボードや、表示部２６に表示されたＵＩ上に設定された処理開始のボタンを押下するためマウスや静電パッドで実現される。表示部２６にタッチパネルモニタを用いている場合には、表示部２６と指定入力手段２７は同一の機器として実現できる。更に、医師端末をタブレット端末にて実現する場合には、医師端末本体２５と表示部２６と指定入力手段２７を同一の機器とできる。

図３に、サーバマシン８の概略構成を示す。サーバマシン８は、いわゆるラック収納型のサーバ用パソコンやワークステーションなどで実現可能であり、診断処理部８０、記憶部８１、サーバ通信部８２を有する。
記憶部８１は、サーバマシン８の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているハードディスクなどの周辺部品にて構成される。記憶部８１には、患者リスト８１１、診断履歴テーブル８１２、３次元顔形状８１３が記憶される。
患者リスト８１１は、患者５に関する情報がテーブル化されたものであり、患者を特定するための個人名などの個人情報の他、ＩＤ情報などが格納されている。患者リスト８１１の内容を図４を用いて詳述する。

図４には、患者リスト８１１が、模式的にテーブル化されて示されている。患者リスト８１１は、少なくとも患者ＩＤ８１１１、患者氏名８１１２、登録顔画像８１１３、顔サイズデータ８１１４を含むものとする。これらは例示であり、顔色診断に必要な他の情報が適宜患者それぞれに対応して記憶されていてもよい。例えば、各患者の年齢や性別、病歴なども記憶しておいてもよい。

患者ＩＤ８１１１は、患者を特定するためのＩＤ情報であり、患者１名に対して１つ付与される。患者ＩＤ８１１１は、各患者の初診時に、医師３または病院事務担当者により付与される。図４においては、数字が格納されるとして示しているが、一意に特定できるものであれば、他の文字を使用してもよい。

患者氏名８１１２は、患者ＩＤ８１１１と対応し、各患者の氏名である。
登録顔画像８１１３は、各患者の顔画像であり、診察時のログインの際の顔画像認証に用いられる。登録顔画像８１１３は、初診時に患者端末４のカメラ６にて取得され、医師３または病院事務担当者により登録される。別途デジタルカメラにて撮影された証明書用写真などを利用してもよい。

顔サイズデータ８１１４は、各患者の顔の実寸法である。この顔サイズデータ８１１４は、医師３が表示部２６を目視して診断する際、その患者の顔の大きさを原寸大表示するための、画面表示の拡大縮小の基準となるデータとして用いられる。患者の顔あるいは頭部全体の大きさを特定できるデータであれば特に限定は無いが、本実施の形態では、顔画像認証技術で一般に用いられている特徴点どうしの距離として、両目の目尻間の距離、口の左右の口角点どうしの距離、目頭の中点として把握できる鼻根点と口角点の中点として把握できる口点との距離を用いるものとする。このほかに、目尻と鼻尖点との距離、鼻尖点と口角点との距離を適宜用いてもよい。
これらの顔サイズデータ８１１４は、患者５が初診時に自らの顔のサイズを計測しておき、その計測結果を医師３または病院事務担当者に伝えるものとする。患者端末４に測距手段が備わる場合には自動的に計測してもよい。

図３に戻り、診断履歴テーブル８１２は、過去に診断支援システム１を用いて医師３により診断されたときの各種情報がテーブル化されたものである。診断履歴テーブル８１２を、図５を用いて詳述する。
図５には、診断履歴テーブル８１２が模式的に示されている。診断履歴テーブル８１２は、履歴患者ＩＤ８１２１、診断日時８１２２、履歴顔画像８１２３、所見８１２４、コメント８１２５から構成され、診断履歴テーブルにおける１段が、１回の診断行為に対応しており、１つの診断履歴となる。

履歴患者ＩＤ８１２１は、過去に医師３により診断行為が行われたときの患者を特定するためのＩＤ情報であり、患者リスト８１１から該当する患者のＩＤ情報が格納される。
診断日時８１２２は、医師３により診断行為が行われたときの日時であり、履歴顔画像８１２３が取得されたタイミングで、図示しない内部時計から日時情報を取得して格納する。診断行為の開始または終了時の日時を格納してもよい。

履歴顔画像８１２３は、医師３により、患者５の顔を撮影すべく撮影信号が入力され、患者端末４に備わったカメラ６が取得した患者５の顔を含む画像である。履歴顔画像８１２３は、診断履歴テーブル８１２に格納される前に、後述する診断処理部８０の特徴点抽出部８０３にて、少なくとも目尻、目頭、口角点を含む顔の特徴点８１２６が抽出され対応付けられているものとする。

所見８１２４は、医師３により、顔画像を観察したり、別途電話回線を用いて患者５と問診して、診断結果としての所見を格納する。顔色がすぐれず、経過観察が必要と医師３が判断した場合には、医師３は指定入力手段２７から、異常所見として、例えば「要観察」と入力し、その旨がネットワーク９を介して所見８１２４に格納される。同様に、特に問題がない場合には、正常所見として、例えば「異常なし」と格納される。
さらには、医師３が下した所見の他に、患者が自ら測定した体温や血圧、自覚症状などを含めて、健康状態を包括的に表す情報を記憶するようにしてもよい。
コメント８１２５は、医師３の判断により、任意に入力されるコメントが格納される。
また、患者端末４に温度計などのセンサ類が備わる場合には、各診断行為時の室温を診断履歴の一部に含めて記憶してもよい。

図３に戻り、３次元顔形状８１３は、人物の顔の標準的な３次元形状をワイヤーフレームモデルにて表わしたものである。ワイヤーフレームモデルに限らず、サーフェイスモデル等、人物顔の３次元構造をモデル化できる方法であれば如何なる方法を用いてもよい。また複数の３次元顔形状８１３を記憶してもよい。
３次元顔形状８１３には、人間の顔の特徴的な部位について、特徴点が予め付与されており、後述するように、顔画像と位置合わせを行い、３次元顔画像を生成すること、および表示部２６における拡大縮小処理の基準として用いられる。
本実施の形態では、特徴点として、左右の目の目頭と目尻、鼻尖点、口について左右の口角点の７箇所を設定するものとした。

診断処理部８０は、記憶部８１に記憶された各情報を参照し、医師３が入力した指示に従い、各種処理をする。例えば、診断履歴テーブル８１２に記憶されている診断履歴を検索したり、指定された顔画像の一部から顔の色情報を算出するなどを行う。そのために、診断処理部８０は、診断処理制御部８０１、診断履歴検索部８０２、特徴点抽出部８０３、顔色判定領域算出部８０４、色差算出部８０５、診断結果設定部８０６、３次元顔画像合成部８０７を有する。これらは、記憶部８１に記憶されたプログラムを実行することで実現される機能モジュールである。

診断処理制御部８０１は、診断処理部８０全体の処理の流れを制御し、例えば患者端末４から送信されてきた顔画像を記憶部に記憶させたり、医師３が指定した顔色判定領域の座標値を求めるべく顔色判定領域算出部８０４に顔画像を渡すなどの処理を行う。

診断履歴検索部８０２は、医師３が表示部２６を参照し、指定入力手段２７を操作すると、診断履歴テーブル８１２から、履歴患者ＩＤ８１２１や診断日時８１２２を手がかりに診断履歴を特定する手段である。
特徴点抽出部８０３は、医師３により撮影が指示されて取得された最新の患者の顔画像から、顔を構成する特徴的な部位に関する点を抽出し、その位置を求める。図６を参照して、特徴点の例を示す。
図６には、患者の最新の顔画像６０から左右の目頭、左右の目尻、鼻尖点、左右の口角点の合計７つの特徴点６１が抽出され、×印で表現された様子が示されている。特徴点は、エッジ抽出処理の後、各部位に応じたエッジ画像によるテンプレートマッチングなどにより抽出することが可能であり、適宜周知な手法を採用すれば良いので、詳細な説明は省略する。さらに抽出された各特徴点は、診断履歴テーブル８１２の履歴顔画像８１２３に対応付けられて記憶される。

顔色判定領域算出部８０４は、特徴点抽出部８０３にて抽出された特徴点を基準に、顔色判定領域を求める手段である。顔色判定領域は、顔画像上に設定され、最新の顔画像と、診断履歴テーブル８１２に格納された履歴顔画像８１２３との顔の色情報の差を求めるために用いられる小領域である。顔色判定領域の例を再び図６を用いて説明する。

図６には、特徴点抽出部８０３により抽出された７つの特徴点６１が示されているが、同図（ａ）には、左目の目尻、鼻尖点、左の口角点において抽出された特徴点を頂点とする三角形が示されている。顔色判定領域算出部８０４は、この三角形を顔色判定領域６２として決定する。

図６（ａ）では、顔色判定領域の決定に用いる特徴点６１を既定のものとし、その既定の特徴点をそのまま頂点とする三角形の領域を示している。これに対し、医師３が何らかの意図を持って異なる別の位置の領域を指定したい場合もある。例えば同図（ｂ）に示すように頬の中央の矩形領域について顔の色情報を調べたい場合である。

医師３は、表示部２６を目視しつつ、指定入力手段２７を操作し、表示部２６に表示された現在顔画像上で領域を指定する。顔色判定領域算出部８０４は、現在顔画像上にて指定された顔色判定領域６４について、特徴点６１からの相対的な位置関係６３を、履歴顔画像に対応づけられている特徴点からの相対的な位置関係に直し、履歴顔画像における対応する顔色判定領域を決定する。

これは、同一の患者の顔画像であっても、撮影されたタイミングにより顔の向きや表情が多少異なるのが当然であるが、そのまま表示されている顔画像上での座標情報で対応する領域を定めても、顔の色情報の変化を医師３が把握するには不都合である。そこで、人物の顔は目や鼻など、顔を構成する特徴的な部位を有しており、部位ごとの特徴点からの相対的な位置関係で顔色判定領域を定めれば、実際の顔では同じ部分を特定することになるため好都合だからである。

色差算出部８０５は、最新の顔画像と診断履歴テーブル８１２に記憶されている履歴顔画像８１２３について、顔色判定領域に含まれる画素の色情報の差を求める手段である。この差が、顔の色情報の差として、医師３が患者５の体調を判断するときの重要な情報となる。
一般的に色表現に用いられるＲＧＢ表色系は、カメラなどのデバイスに依存し、求めた色の差が同じであっても、色合いや明るさによって画面には同じ差として表現されないため、医師の目視判断による顔色診断には不都合である。そこで、求めた色の差と、画面に表示される色の差とがおおよそ一致することが知られているＬ＊ａ＊ｂ＊色空間に変換して、顔の色情報の差を求める。
この場合、顔色判定領域に含まれる画素の色をＬ＊ａ＊ｂ＊色空間内に射影して、各軸方向の座標値の平均値を、その顔画像の顔の色情報とする。そして、Ｌ＊ａ＊ｂ＊色空間内における、それぞれの顔画像の顔の色情報どうしのユークリッド距離が顔の色情報の差となる。顔色判定領域に含まれる画素の色の平均を求めてからＬ＊ａ＊ｂ＊色空間内に射影して、ユークリッド距離を求めてもよい。

診断結果設定部８０６は、医師３が、顔の色情報の差や問診などにより形成した心証を、指定入力手段２７を用いて、診断結果として入力した情報を診断履歴テーブル８１２の所見８１２４あるいはコメント８１２５に格納する手段である。
３次元顔画像合成部８０７は、医師３の指示により撮影された患者５の最新の顔画像、または診断履歴テーブル８１２に格納された履歴顔画像８１２３と、記憶部８１に記憶された３次元顔形状８１３とを合成して、その患者５の３次元の顔画像を生成する手段である。生成された３次元の顔画像は、医師３の指示により、表示部２６に表示するために用いられ、後述するように、患者５の実際の顔の大きさに拡大して表示して、様々な方向に向けさせて診断する際に有用なものとなる。
患者５の最新の顔画像および履歴顔画像８１２３は、特徴点抽出部８０３により、図６に示すように特徴点が抽出済みであり、３次元顔形状８１３にも対応する特徴点が設定されている。３次元顔画像合成部８０７は、いずれかの顔画像の特徴点と３次元顔形状８１３の特徴点とを基準に位置合わせを行い、顔画像上の各画素値を３次元顔形状８１３上の各点にマッピングすることで、３次元顔画像を生成する。この処理は適宜周知の方法を採用すればよいので、詳細は省略する。

サーバ通信部８２は、ネットワーク９を介して患者端末４または医師端末２と通信するためのＩ／Ｆであり、患者端末４のカメラ６から患者５の顔画像を受信したり、診断履歴テーブル８１２に格納されている各種情報を送信したり、患者５を特定するための患者ＩＤなどを医師端末２から受信する際のインターフェースの役割を果たす。

次に、医師３による顔色の診断行為中に表示部２６に表示される内容について、図７を用いて説明する。
図７（ａ）には、表示部２６に表示される画面表示が模式的に表示されている。診断行為が開始されると、符号２０に示される内容が表示部２６に表示される。
患者氏名表示欄２０１は、現在診断中の患者の氏名が、患者リスト８１１の患者氏名８１１２から読み出され表示される。これにより医師３は、現在診断中の患者を認識できる。
患者ＩＤ表示欄２０２には、現在診断中の患者に付与された患者ＩＤが表示される。患者ＩＤ表示欄２０２は入力も可能であり、指定入力手段２７から患者ＩＤが入力されると、それに応じた患者氏名８１１２が患者リスト８１１から読み出され、表示部２６に表示される。

現在顔画像２０４は、患者の今現在取得された顔画像を表示する。医師３が、指定入力手段２７を操作して撮影ボタン２０７を押下することで、その瞬間に患者端末４のカメラ６が撮影した静止画が取得され、表示される。診断開始の初期状態では、患者端末４のカメラ６から受信した動画をそのまま表示しておいてもよい。

過去顔画像２０３は、現在顔画像２０４に表示されている患者について、診断履歴テーブル８１２に格納されている履歴顔画像８１２３を表示する。以下、混同を生じないように、過去に撮影された顔画像について、表示部２６に表示される顔画像は過去顔画像２０３、診断履歴テーブル８１２に格納されている履歴顔画像８１２３と表現するが、これは説明の都合上異ならせているだけであり、画像そのものとしては同じものである。
診断行為の最初は、最新の履歴顔画像８１２３を表示するものとするが、後述するように、表示される履歴顔画像８１２３は更新表示される。
また現在顔画像２０４と過去顔画像２０３にはそれぞれ、顔色判定領域が符号２０５と符号２０６に示すように重畳表示され、医師３は目視確認できる。

顔色差表示欄２１１は、色差算出部８０５が算出した、現在顔画像２０４の顔色判定領域２０６に含まれる画素の色情報と、過去顔画像２０３の顔色判定領域２０５に含まれる画素の色情報の差、即ち顔の色情報の差を表示する。表示される値は、過去顔画像２０３の更新表示に伴い、更新される。
所見入力ボタン２１１は、顔の色情報や問診などにより形成した心証としての診断結果を入力するためのテキスト入力用のダイアログ（不図示）を表示させるためのボタンである。当該ダイアログに、指定入力手段２７を用いて入力した所見やコメントが診断履歴テーブル８１２の所見８１２４やコメント８１２５格納される。

顔色履歴表示ボタン２１３は、グラフ形式で表示される顔色履歴グラフを顔色履歴表示欄２１０に表示させるためのボタンである。
図７（ｂ）には、顔色履歴表示欄２１０が拡大されて示されている。
顔色履歴表示欄２１０には、時間を横軸、顔の色情報の差を縦軸にしたグラフ領域２１５に、顔色履歴グラフ２１６が折れ線グラフ形式で表示されている。
顔色履歴グラフ２１６は、顔色差表示欄２１１に表示される値、即ち顔の色情報の差を、過去顔画像２０３が撮影された日時、即ち診断履歴テーブル８１２の診断日時８１２２に応じて時系列にプロットしたものである。単純に過去顔画像２０３の並び順に等間隔にプロットしてもよい。

顔色履歴表示欄２１０には、一部がその他と識別可能に色づけされた異常所見期間２１７が表示されている。これは、診断履歴検索部８０２が、診断履歴テーブル８１２の所見８１２４の欄を参照し、何らかの異常所見が付与されていると、その診断日時８１２２に応じて色づけされるものである。
即ち、図５に示した診断履歴テーブル８１２の例では、診断日時８１２２が“2013-05-14 11:05:17”と“2013-05-21
09:55:51”のときの診察履歴には、所見８１２４として“要観察”が付与されている。表示制御手段２５２は、この２回の診断時に対応した、顔色履歴グラフ２１６の期間について、異常所見期間２１７として色づけをする。

一方で、顔色履歴グラフ２１６は、現在顔画像２０４との顔の色情報の差をプロットしたものであるので、医師３は、過去の顔の色情報との比較をする際に、異常所見が付与されたときの顔画像からの差なのか、正常所見が付与されたときの顔画像からの差なのかが視覚で把握できる。
したがって、過去の顔画像との顔の色情報の差が無い場合、異常所見のときの顔画像からの差がない場合には、変わらず体調がすぐれないことがわかり、正常所見のときの顔画像からの差がない場合には変わらず健康状態であることがわかる。
さらには、同様にして、患者の体調が快復に向かっているのか、悪化に向かっているのかが把握できることになる。

また、図７（ｂ）に示すように、グラフ領域２１５には、表示指定線２１８が表示され、指定入力手段２７のひとつであるマウスのポインタ２１９が表示されている。医師３は、マウスを操作して表示指定線２１８を左右に移動させることができる。そして、その移動に応じて、診断履歴テーブル８１２に格納された履歴顔画像８１２３が読み出され、表示部２６に表示される過去顔画像２０３と顔色差表示欄２１１に表示される値が更新される。
この表示指定線２１８の移動と、それに伴う過去顔画像２０３と顔の色情報の差、および異常所見期間２１７との関係により、医師３は、現在顔画像２０４を目視しつつ患者の体調を適切に診断することができる。

診断終了ボタン２１４は、その患者の診察を終了するときに押下するためのボタンであり、押下に伴い、最新の患者の顔画像が履歴顔画像８１２３として記憶されるとともに、診断履歴テーブル８１２の１段分の内容が確定される。
尚、原寸大表示ボタン２０８、２０９を押下したときの動作については図９を用いて後述する。

次に、診断支援システム１の主となる動作を図８に示すシーケンスチャートを用いて説明する。
ここで、図８のシーケンスチャートは、医師３による診断行為が始まってからの動作を示している。それに先立ち、患者端末４や医師端末２などは起動されており、患者５はＩＤ入力あるいは顔画像認証などにより、何れの人物が患者端末４の前にいるかなどの特定はされているものとする。また、患者５の特定がされることと前後して、診断開始要請信号が医師端末２に送信されて、医師端末２が注意喚起のメッセージ表示やアラーム音を鳴動することで、医師３が診察の開始を認識できるものとする。
さらには、以下の説明では、情報の送受信にあたってはネットワーク９を介することは明らかであるので、その旨の記載は適宜省略する。

まずステップＳ１００にて、医師３により表示部２６に表示された撮影ボタン２０７が押下されたとする。
それに応じて、端末制御部２５１は、端末通信部２５３を介して撮影信号を患者端末４に送信し、カメラ６は今現在の患者５の顔画像を撮影する（ステップＳ１１０）。
患者端末４は、撮影された顔画像を現在顔画像としてサーバマシン８に送信し、サーバ通信部８２を介して現在顔画像を取得した特徴点抽出部８０３は、顔の特徴点を抽出する（ステップＳ１２０）。
診断結果設定部８０６は、現在顔画像、特徴点情報、患者ＩＤ、診察日時などを対応付けさせ診断履歴テーブル８１２の新たな診断履歴に格納する（ステップＳ１３０）。新たな診断履歴は初期状態として各フィールドは空白となっている。
診断履歴検索部８０２は、患者ＩＤを手がかりに診断履歴テーブル８１２を検索し、同一の患者の最新の診断履歴を特定する（ステップＳ１４０）。
診断処理制御部８０１は、現在顔画像および、当該ステップにて特定された診断履歴に含まれる履歴顔画像８１２３を表示部２６に表示される過去顔画像２０３の初期データとして、サーバ通信部８２を介して医師端末２に送信する。

医師端末２の表示制御手段２５２は、端末通信部２５３を介して受信した現在顔画像と履歴顔画像を図７に示すように、現在顔画像２０４と過去顔画像２０３として並べて表示する（ステップＳ１５０）。
医師３が、指定入力手段２７を操作し、現在顔画像２０４上にて顔色判定領域の設定をすると、表示制御手段２５２は、現在顔画像２０４上における座標情報を求め、端末制御部２５１は端末通信部２５３を介してサーバマシン８に送信する（ステップＳ１６０）。
顔色判定領域算出部８０４は、送信されてきた座標情報、およびステップＳ１２０にて求めた現在顔画像上の特徴点位置、抽出済みの履歴顔画像８１２３上の特徴点位置から、各顔画像における、対応する顔色判定領域を算出する（ステップＳ１７０）。

診断処理制御部８０１は、算出した顔色判定領域の座標情報を医師端末２に送信し、図７に示すように、現在顔画像２０４では符号２０６、過去顔画像２０３では符号２０５の顔色判定領域が重ねて表示される（ステップＳ１８０）。
色差算出部８０５は、現在顔画像２０４における顔色判定領域、過去顔画像２０３における顔色判定領域のそれぞれに含まれる画素の色情報から顔の色情報の差を算出する（ステップＳ１９０）。
顔の色情報の差は、医師端末２に送信される（ステップＳ２１０）。医師端末２に送信された顔の色情報の差は、顔色差表示欄２１１にその値が初期値として表示される。

診断履歴検索部８０２は、診断履歴テーブル８１２の所見８１２４を参照し、「要観察」などの異常所見が付与された診断履歴を検索する（ステップＳ２２０）。
診断処理制御部８０１は、異常所見が付与された診断履歴の診断日時８１２２を、医師端末２に送信し、表示制御手段２５２は、異常所見が付与された期間について、グラフ領域２１５に異常所見期間２１７として色づけする（ステップＳ２３０）。
色差算出部８０５は、現在顔画像と、診断履歴テーブル８１２に格納されている各履歴顔画像８１２３における顔色判定領域の色の差を算出する（ステップＳ２４０）。
各顔画像に付いての色の差の値は、医師端末２に送信され、表示制御手段２５２は、グラフ領域２１５に、顔色履歴グラフ２１６として表示する（ステップＳ２５０）。

医師３が、指定入力手段２７を操作し、グラフ領域２１５にて表示指定線２１８の位置を変更すると（ステップＳ２６０）、表示制御手段２５２は、その変更後の位置情報を取得して、その位置情報が表す日時を特定する。その日時情報はサーバマシン８に送信され、診断履歴検索部８０２は、送信されてきた日時情報に応じた日時の診断履歴を検索する（ステップＳ２７０）。
なお、図８には図示しないが、ステップＳ２６０の表示指定線２１８の位置の変更がないまま、医師３が所見やコメントの入力を開始した場合にはステップＳ３２０に移るものとする。

検索された診断履歴の履歴顔画像８１２３は医師端末２に送信され、過去顔画像２０３に更新表示される（ステップＳ２８０）。
同時に、色差算出部８０５は、送信された履歴顔画像８１２３の顔色判定領域に含まれる画素の色情報を用いて、ステップＳ１９０と同様に顔の色情報の差を算出する（ステップＳ２９０）。
算出された顔の色情報の差は医師端末に送信され、顔色差表示欄２１１に更新表示される（Ｓ３００）。また表示指定線２１８の表示位置も更新される。

医師３の入力操作により、グラフ領域２１５において、表示指定線２１８の位置が更に変化した場合にはステップＳ２６０に移るものし、同様の処理を繰り返す（ステップＳ３１０）。表示指定線２１８の位置が変化せず、医師が所見入力ボタン２１２を押下して、所見やコメントの入力を開始した場合（ステップＳ３２０）、入力された所見やコメントはサーバマシン８に送信され、診断結果設定部８０６は診断履歴テーブル８１２に格納する。
図８では省略したが、医師３が診断終了ボタン２１４を押下すると、診断が終了する。

次に、原寸大表示ボタン２０８、２０９について、図９を用いて説明する。
図４の患者リスト８１１に示したように、各患者について、顔サイズデータ８１１４が記憶されている。また、現在顔画像２０４と履歴顔画像８１２３には顔の特徴点が抽出されているので、記憶部８１に記憶されている３次元顔形状８１３と特徴点を基準に位置合わせを行い、合成をすると３次元顔画像を求めることができる。
以下では、これらのデータを用い、顔画像を３次元にて原寸大表示するときの処理を述べる。なお、過去顔画像２０３を対象にしているが、現在顔画像２０４を対象にしても同様である。

３次元顔画像合成部８０７は、医師３が原寸大表示ボタン２０８を押下すると、表示されている過去顔画像２０３に対応した、診断履歴テーブル８１２に記憶されている履歴顔画像８１２３と、３次元顔形状８１３とを合成して３次元顔画像を求める。３次元顔画像を求める方法は、３次元顔画像合成部８０７の説明の箇所で述べたとおりであり、過去顔画像２０３から抽出されてある特徴点と３次元顔形状８１３に設定された特徴点とを位置合わせを行い、マッピングすれば良く、周知の方法を用いればよいので、詳細は省略する。
診断処理制御部８０１は、求めた３次元顔画像とその患者の顔サイズデータ８１１４を医師端末２に送信する。
医師端末２の表示制御手段２５２は、表示部２６の解像度や１画素の表示上の大きさ等を考慮し、表示部２６に患者の顔の原寸大となるように表示する。
そのために、表示制御手段２５２は、顔サイズデータ８１１４に示されている、患者５の実際の顔の大きさを、表示部２６の１画素分の大きさで除することで、３次元顔画像を正面に向けたときの原寸大表示に必要な画素数を求めて、３次元顔画像を拡大縮小する。

例えば、図４の患者リスト８１１の患者ＩＤ８１１１が“７５６”の患者の場合、目尻間の距離は“１００ｍｍ”であり、表示部２６の１画素の幅が０．２５ｍｍの場合、合成した３次元顔画像を正面に向けた状態において、目尻どうしを結ぶ直線に４００画素を割り当てることになる。同様に口角点を結ぶ直線には２４０画素、鼻根点と口点を結ぶ直線には２８８画素を割り当てる。
表示制御手段２５２は、これらの画素数を満たすように、３次元顔画像を拡大縮小して、２次元画像にすることで表示部２６に実寸法で表示できる。
顔画像を原寸大表示するのは、表示部２６に同じ色で表示しても、大きさによっては目視により受ける印象が異なる可能性があり、実際の顔の大きさに即して診断する方が正確さを望めるからである。
なお、表示部２６の１画素の幅と高さは、予めサーバマシン８の記憶部８１にシステムの設計パラメータとして記憶しておくものとするが、表示部２６のハードウェア情報を内部的に自動取得できるならば、その情報に基づいて決定して用いても良い。

図９は、患者５の顔画像を、原寸大で表示した様子を模式的に示している。
医師３は、原寸大顔画像２８０上を、指定入力手段２７を用い、例えばマウスのドラッグ操作により顔の向きを上下左右に任意に向けることが可能となる。この任意の方向に向ける処理は、公知のＣＧ技術を用いればよいので、説明を省略する。
医師３が、閉じるボタン２８１を押下すると、原寸大顔画像２８０は消去され、図７に示す画面表示に戻る。

以上、本発明にかかる診断支援システムにより、当該装置を操作する医師は、患者の顔の色情報について、過去の診断結果を踏まえて比較することで顔の色情報の経時的な変化を適切に把握できる。さらには、患者の顔を原寸大表示することにより、画面のレイアウトの関係で小さく表示される場合と比較して、更に正確に顔の色情報の変化を適切に把握でき、診断の正確さが確保できる。

本発明にかかる診断支援システムの実施の形態はこれまでに述べてきたものに限られない。例えば、顔画像から顔の特徴点を抽出する処理を行う特徴点抽出部と、顔画像から顔色判定領域を決定する処理を行う顔色判定領域算出部と、顔画像から顔色の差を算出する処理を行う色差算出部と、２次元の顔画像と３次元顔形状とを合成する処理を行う３次元顔画像合成部をサーバマシンが有するものとして説明したが、医師端末２の処理性能が確保できる場合には、医師端末２に持たせるシステム構成としても同様の効果を得ることができる。
この場合、サーバマシンは、大量に記憶されることになる顔画像や診断履歴の管理に特化した装置として動作する。

また、今現在の患者の顔画像を、それが取得されると直ちに診断履歴テーブルに格納される代わりに、医師端末の表示部に現在顔画像を保存するための顔画像保存ボタンを設けて、複数取得された現在顔画像のうち、医師が保存に必要性を感じたものについて、顔画像保存ボタンの押下により保存することとしてもよい。
これにより、医師が診断に有用な情報が含まれていると判断した顔画像が、診断歴テーブルの履歴顔画像に格納されるので、顔の色情報の差に基づく診断の精度を確保することができる。

また、顔色判定領域は、顔の特徴点のうちから既定のものを頂点とする多角形、または医師がその都度任意の位置と形状で決定する代わりに、数種類の大きさの矩形や円形の領域形状を用意しておき、医師が診断の都度その用意された領域形状を選択して、顔画像の中で指定することとしてもよい。
これにより、現在顔画像を目視確認した医師が、特に着目したい領域を、簡単な処理で決定できる。

また、医師が、医師端末の表示部に表示する過去顔画像を選択するにあたり、顔色履歴グラフ上を指定する代わりに、診断履歴テーブルに格納された診断日付を手がかりに検索することとしてもよい。この場合、表示部には診断日付をプルダウン式のメニューで表示して、医師が選択できるようにしておくことにより、明示的に日付を手がかりに過去の過去顔画像との比較ができる。

また、患者端末と医師端末にはマイクとスピーカー、医師端末にもカメラが備わり、音声と動画を双方で送受信できる機能が備わってもよい。この場合、患者と医師が、本発明にかかる診断支援システムとは別の電話回線によらず、テレビ電話のようにお互いの動画を見ながら会話や問診ができる。その場合、意志疎通が高まり、問診内容が充実し、診断の精度が高まる効果がある。

また、表示部の大きさが十分大きい場合は、顔画像をその患者の顔の原寸大で表示するためにボタン押下をせず、常に原寸大表示をすることとしてもよい。さらには現在顔画像と履歴顔画像を同時に原寸大表示してもよい。
これにより、医師はその都度ボタンを押下すること無しに、患者の顔の原寸大に即して顔の色を詳細に観察することが可能となる。

１・・・診断支援システム
２・・・医師端末
４・・・患者端末
８・・・サーバマシン
２０・・・画面表示
２１６・・・顔色履歴グラフ
２１７・・・表示指定線
２５０・・・原寸大顔画像
８１２・・・診断履歴テーブル

Claims (7)

1. 顔画像の色情報から健康状態を診断するための診断支援システムであって、
   人物の過去顔画像を撮影時の健康状態に対応付けて履歴顔画像として記憶する記憶部と、
   前記人物の現在顔画像を受信する受信部と、
   前記受信部にて受信した現在顔画像と前記履歴顔画像を表示部に表示させる表示制御部と、
   前記現在顔画像における顔色判定領域を決定するとともに、当該顔色判定領域に対応する前記履歴顔画像における対応領域を算出する顔色判定領域算出部と、
   前記顔色判定領域と前記対応領域との色情報の差を求める色差算出部とを有し、
   前記表示制御部は、前記現在顔画像および前記履歴顔画像とともに前記色情報の差と当該履歴顔画像に対応する前記健康状態を前記表示部に表示させることを特徴とした診断支援システム。
2. 前記表示制御部は、前記現在顔画像上に前記顔色判定領域を表示させるとともに前記履歴顔画像上に前記対応領域を表示させる請求項１に記載の診断支援システム。
3. 前記記憶部は、互いに異なる時点にて撮影された前記履歴顔画像を複数記憶し、
   前記表示制御部は、前記履歴顔画像ごとの前記色情報の差を時系列に表すグラフを表示する請求項１または請求項２に記載の診断支援システム。
4. 前記表示制御部は、前記グラフ上にて前記色情報の差が指定されると、当該色情報の差を求めるために用いられた履歴顔画像と当該色情報の差に表示を更新する請求項３に記載の診断支援システム。
5. 更に、顔の３次元形状に前記履歴顔画像を合成して３次元顔画像を生成する３次元顔画像合成部と、前記３次元顔画像の顔向きを指定する顔向き指定手段を備え、
   前記表示制御部は、前記指定された顔向きの前記３次元顔画像を２次元化して表示することを特徴とした請求項１に記載の診断支援システム。
6. 更に、前記現在顔画像上にて前記顔色判定領域を指定する領域指定手段と、前記現在顔画像および前記履歴顔画像の特徴点位置を抽出する特徴点抽出部を備え、
   前記顔色判定領域算出部は、前記現在顔画像における特徴点位置と前記指定された顔色判定領域との位置関係を算出し、前記履歴顔画像における特徴点位置を用いて当該位置関係から前記対応領域を特定する請求項１〜５の何れか一項に記載の診断支援システム。
7. 前記記憶部は、前記人物の顔における特徴点間の実寸法を予め記憶し、
   前記現在顔画像および／または前記履歴顔画像の特徴点位置を抽出する特徴点抽出部を備え、
   前記表示制御部は、前記表示部に表示される前記現在顔画像および／または前記履歴顔画像の特徴点位置間の画面上の距離が前記記憶部に記憶した実寸法となるように表示することを特徴とした請求項１〜５の何れか一項に記載の診断支援システム。