JP5474663B2 - 肝斑判断支援システム - Google Patents

Description

本発明は、肝斑治療薬の購入検討者による肝斑の判断を支援するシステムに関する。

従来より、皮膚疾患解析センタ装置が、利用者の端末から送信される患部の撮像データを通信ネットワークを介して受信し、受信した撮像データによる画像と、予めデータ格納部に格納された患部写真／疾患名予測の対応データによる患部写真とを対比解析して、両写真の類似性から疾患名を予測するようにした皮膚疾患解析システムが提案されている（例えば、特許文献１参照）。

上記皮膚疾患解析システムにおいて、皮膚疾患解析センタ装置は、予測した疾患名を予めデータ格納部に格納された疾患名／対処方法の対応データに適用して、予測した疾患の対処方法を読出し、予測した疾患名とその対処方法のデータを、利用者の端末に送信する。

特開２００５−５８３９８号公報

皮膚疾患の症状は様々であり、患部の写真から皮膚疾患名を適切に予測して、その皮膚疾患用の治療薬を服用する必要がある。

例えば、主に女性の顔面に現れるシミの一種である肝斑について、近年、肝斑の治療に特化した肝斑治療薬が販売されており、この肝斑治療薬の服用により肝斑によるシミを改善することができる。しかし、肝斑以外のシミ（雀卵斑（ソバカス），日光黒子（老人性色素斑），太田母斑等）がある人が、自身のシミが肝斑であると誤認して肝斑治療薬を服用しても、期待したようなシミの改善が得られず、失望感を与えてしまう。

そこで、本発明は、肝斑治療薬の購入検討者が、自身の顔の撮像データを送信することにより、顔のシミが肝斑であるか否かを適切に判断することができる肝斑判断支援システムを提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、利用者の端末から送信される肝斑判断依頼データを、通信ネットワークを経由して受信したときに、利用者の少なくとも目から下の部分を含む左横顔及び右横顔の撮像データの送信を指示する顔画像送信指示データを、通信ネットワークを経由して利用者の端末に送信する顔画像要求部と、
前記顔画像送信指示データの受信に応じて、利用者の端末から送信される利用者の左横顔及び右横顔のカラーの撮像データを、通信ネットワークを経由して受信する撮像データ受信部と、
前記左横顔及び右横顔の撮像データにより、利用者の左横顔及び右横顔のカラー画像を同時に表示する画像表示部と、
前記左横顔及び右横顔の撮像データに基づく、利用者の顔のシミが肝斑によるものであるか否かの判断結果が入力される肝斑判断結果入力部と、
前記判断結果を示す肝斑判断結果データを、通信ネットワークを経由して利用者の端末に送信する肝斑判断結果データ送信部と
を備えたことを特徴とする（第１発明）。

肝斑は、主として女性の顔面の左右対称の位置に生じる点において、他の種類のシミとは大きく異なる。そして、本願発明者らは、各種検討をした結果、利用者の顔の画像から肝斑によるシミを認識するときに、顔の正面の画像を用いるよりも、左横顔及び右横顔の画像を用いた方が、顔の左側面及び右側面の全体についてシミの位置を認識することができるため、肝斑によるシミの認識が容易になることを知見した。

そこで、前記顔画像要求部は、利用者の端末に対して、利用者の少なくとも目から下の部分を含む左横顔及び右横顔の撮像データの送信を指示する顔画像送信指示データを、通信ネットワークを経由して利用者の端末に送信することによって、利用者に、肝斑によるシミが生じやすい左横顔及び右横顔の撮像データの送信を促して、前記画像表示部による利用者の左横顔及び右横顔の画像の表示を可能にする。
そして、前記画像表示部は、利用者の端末から送信された、肝斑によるシミが生じやすい顔の部分を含む左横顔及び右横顔の撮像データにより利用者の左横顔及び右横顔の画像を同時に表示し、皮膚科医等の専門家がこれらの画像を観察することによって、利用者の顔のシミが肝斑であるか否かを診断できるようにしている。そして、前記肝斑判断結果入力部に入力された利用者の顔のシミが肝斑であるか否かの判断結果について、この判断結果を示すデータが、前記肝斑判断結果データ送信部により利用者の端末に送信されるため、利用者は、自身の端末で受信した該肝斑判断結果データの内容を確認することにより、自身の顔のシミが肝斑であるか否かを適切に判断することができる。

また、第１発明において、前記顔画像要求部は、正面からの角度が３５度〜５５度の範囲内の左横顔及び右横顔の撮像データの送信を指示する前記顔画像送信指示データを、通信ネットワークを経由して利用者の端末に送信することが好ましい（第２発明）。

第２発明によれば、肝斑によるシミが生じやすい顔の部分を含む左横顔及び右横顔の撮像データの送信を、利用者に促すことができる。

また、第１発明又は第２発明において、前記顔画像要求部は、前記顔画像送信指示データと共に、利用者の左横顔及び右横顔を撮像するときの要望条件を示す撮像条件指示データを、通信ネットワークを経由して利用者の端末に送信することが好ましい（第３発明）。

第３発明によれば、適切な撮像条件下での左横顔及び右横顔の撮像を利用者に促して、より鮮明な左横顔及び右横顔の撮像データを利用者の端末から送信させることができる。

また、第１発明から第３発明のうちのいずれかにおいて、前記顔画像要求部は、前記撮像データ受信部が受信した利用者の左横顔及び右横顔の撮像データが、所定の必要条件を満たしていないときに、利用者の左横顔及び右横顔の撮像データの再送信を指示する顔画像再送信指示データを、通信ネットワークを経由して利用者の端末に送信することが好ましい（第４発明）。

第４発明によれば、前記必要条件を満たす利用者の左横顔及び右横顔の撮像データを、利用者に促すことができる。

また、第１発明から第４発明のうちのいずれかにおいて、前記撮像データ受信部により受信した利用者の左横顔及び右横顔のカラー画像から、所定の判定範囲内の色情報を有する特定色領域を抽出し、利用者の左横顔のカラー画像から抽出した第１の特定色領域と、利用者の右横顔のカラー画像から抽出した第２の特定色領域との顔の中心線に対する線対称性に基づいて、利用者の顔のシミが肝斑によるものであるか否かを判断し、この判断結果を前記肝斑判断結果入力部に入力する画像処理部を備えることが好ましい（第５発明）。

第５発明によれば、前記画像処理部により、利用者の顔の左右の位置の対称性を有する特定色の領域を、肝斑によるシミであると容易に判断することができる。

本発明の肝斑判断支援システムの構成図。 利用者の端末から運用サーバに、利用者の顔の撮像データをアップロードする処理の説明図。 利用者の顔の撮像範囲を示した説明図。 運用サーバから医療機関端末に、利用者の顔の撮像データをダウンロードする処理の説明図。 医療機関端末に表示される肝斑の判断用画面の説明図。 画像処理により肝斑判断の説明図。

本発明の実施形態について、図１〜図６を参照して説明する。図１を参照して、本実施形態の肝斑判断支援システムは、インターネット等の通信ネットワーク１に接続された運用サーバ１０及び医療機関端末２０により構成され、利用者の携帯電話３０（本発明の利用者の端末に相当する）から送信される利用者の顔の撮像データを用いて、利用者の顔のシミが肝斑であるか否かの判断を支援する「肝斑判断支援サービス」を提供する。

ここで、運用サーバ１０及び医療機関端末２０は、上記「肝斑判断支援サービス」を提供するためのコンピュータプログラムを、運用サーバ１０及び医療機関端末２０を構成するコンピュータ上で実行することにより、「肝斑判断支援システム」として機能する。

運用サーバ１０は、通信ネットワーク１を経由して、利用者の携帯電話３０及び医療機関端末２０との間でデータ通信を行う。運用サーバ１０はコンピュータ（図示しない）を用いて構成されており、このコンピュータに肝斑判断支援用のプログラムを実行させることによって、運用サーバ１０は、利用者の携帯電話３０に対して、利用者の顔の撮像データの送信を要求する顔画像要求部１１、及び利用者の携帯電話３０から送信される利用者の顔の撮像データを受信して、利用者データベース１３に登録する撮像データ受信部１２として機能する。

医療機関端末２０は、医療機関等において皮膚科医等の皮膚医療の専門家（以下、皮膚科医等という）が使用するコンピュータであり、このコンピュータに肝斑判断支援用のプログラムを実行させることによって、医療機関端末２０は、運用サーバ１０から利用者の顔の撮像データを受信する撮像データ受信部２１、利用者の顔の画像をディスプレイ２３に表示する画像表示部２２、利用者の顔の撮像データに対する画像処理を行って肝斑を判断する画像処理部２４、皮膚科医等による肝斑の判断結果と画像処理部２４による肝斑の判断結果が入力される肝斑判断結果入力部２５、及び肝斑の判断結果を示すデータを運用サーバ１０に送信する肝斑判断結果データ送信部２６として機能する。

利用者が所持する携帯電話３０はカラーカメラ機能を有し、利用者はこのカメラ機能により自身の顔を撮像して、カラーの撮像データを運用サーバ１０に送信する。

［第１実施形態］
図２〜図５を参照して、本発明の第１実施形態について説明する。先ず、図２を参照して、利用者側の対応について説明する。運用サーバ１０により提供されている「肝斑判断支援サービス」の利用者は、ＳＴＥＰ１で携帯電話３０から運用サーバ１０のウェブサイトにアクセスする。このアクセスに応じて、運用サーバ１０の顔画像要求部１１は、ＳＴＥＰ１０で「肝斑判断支援サービス」の案内ページのデータを携帯電話３０に送信する。

ここで、「肝斑判断支援サービス」の案内ページは、利用者の顔の撮像範囲及び撮像条件等を表示するものであり、撮像範囲としては、図３（ａ）に示したように、利用者の左横顔５０及び右横顔５１と、顔の正面５２という３パターンの画像の撮像を指示する。

また、左横顔及び右横顔については、図３（ｂ）に示したように、利用者の顔６０の正面方向Ｄ1からの左方向Ｄ3の角度θ1、及び右方向Ｄ2の角度θ2が、３５度〜５５度（４５度が最良）となる位置で撮像することを指示する。さらに、上下方向については、図３（ｃ）に示したように、利用者の顔６１の水平方向Ｄ4からの上方向Ｄ5の角度θ3、及び下方向Ｄ6の角度θ4が、０度〜１５度（０度が最良）となる位置で撮像することを指示する。

さらに、撮像範囲として、好ましくは顔全体、少なくとも目から下の部分を含むように、顔を撮像することを指示する。なお、「肝斑判断支援サービス」の案内ページのデータ中、このように左横顔及び右横顔の撮像を指示するデータが、本発明の顔画像送信指示データに相当する。

また、撮像条件としては、照明（蛍光灯が望ましい）、撮像場所（室内が望ましい）、照明位置（天井設置が望ましい）、顔から携帯電話のカメラレンズまでの距離（５０ｃｍ〜１００ｃｍ、５０ｃｍが最適）、撮像画素数（３００万画素以上）等が指示される。なお、「肝斑判断支援サービス」の案内ページのデータ中、このように撮像条件を指示するデータが、本発明の撮像条件指示データに相当する。

「肝斑判断支援サービス」の案内ページを閲覧した利用者は、指示された撮像条件の下で、自身の顔の左横及び右横と正面の位置で携帯電話３０を撮像操作する。これにより、携帯カメラ３０は、ＳＴＥＰ２で、利用者の左横顔及び右横顔と顔の正面を内蔵カメラにより撮像する。

そして、利用者は、撮像した自身の左横顔及び右横顔と顔の正面の撮像データを添付したＥメールの送信操作をし、携帯電話３０は、この操作に応じて、ＳＴＥＰ３で撮像データを添付したＥメールを運用サーバ１０に送信する。

運用サーバ１０の撮像データ受信部１２は、ＳＴＥＰ１１で、利用者の携帯電話３０から送信されたＥメールを受信し、添付された撮像データが、必要条件（少なくとも左横顔及び右横顔の撮像データを含む、フォーカスが所定レベル以上、コントラストが所定レベル以上、明度が所定レベル以上等）を満たしているか否かを判断する。

そして、撮像データ受信部１２は、Ｅメールに添付された撮像データが前記必要条件を満たしていたときは、ＳＴＥＰ１２で、撮像データを利用者データベース１３に登録して保持する。一方、Ｅメールに添付された撮像データが必要条件を満たしていなかったときには、ＳＴＥＰ２０で、顔画像要求部１１が、撮像データの再送信を要求するＥメールを利用者の携帯電話３０に送信して、利用者に顔を撮り直して撮像データを再送信することを指示する。なお、このように、撮像データの再送信を要求するＥメールのデータが、本発明の顔画像再送信指示データに相当する。

次に、図４を参照して、皮膚科医等の側の対応について説明する。「肝斑判断支援サービス」に協力する皮膚科医等は、医療機関端末２０により「肝斑判断支援サービス」のウェブサイトの閲覧操作をし、医療機関端末２０は、ＳＴＥＰ５０で、この操作に応じて運用サーバ１０にアクセスする。

運用サーバ１０は、医療機関端末２０からのアクセスに応じて、利用者リストのデータを含むウェブページのデータを医療機関端末２０に送信する。このウェブページのデータを受信した医療機関端末２０は、ディスプレイ２３に、図５に示した閲覧画面７０を表示する。

皮膚科医等は、閲覧画面７０の利用者リスト７１の中から、判定待ちとなっている利用者を選択する操作（「次患者」ボタン８３，「前患者」ボタン８４の操作等）をし、この選択操作に応じて、医療機関端末２０は、ＳＴＥＰ５１で、選択された利用者の選択指示データを運用サーバ１０に送信する。

医療機関端末２０から送信された選択指示データを受信した運用サーバ１０は、ＳＴＥＰ１６で、選択された利用者の顔の撮像データを利用者データベースから抽出して、医療機関端末２０に送信する。

医療機関端末２０の撮像データ受信部２１は、運用サーバ１０から送信された利用者の顔の撮像データを受信し、画像表示部２２は、ＳＴＥＰ５２で、この撮像データにより、利用者の左横顔の画像７２、右横顔の画像７３、及び顔の正面の画像７４を、ディスプレイ２３に表示する。

皮膚科医等は、ディスプレイ２３に表示された利用者の左横顔の画像７２、右横顔の画像７３、及び正面の画像７４を観察して、肝斑の特徴（褐色のシミが左横顔と右横顔の対称な位置に現れている（左右対称性）等）の有無により、利用者の顔のシミが肝斑であるか否かを診断する。

そして、皮膚科医等は、診断結果に応じて、ディスプレイ２３に表示されている、「肝斑の可能性が高い」ボタン８０、「肝斑の可能性が低い」ボタン８１、及び「診断不能」ボタン８２のうちのいずれかを選択し、「決定」ボタン８５を操作する。この操作に応じて、ＳＴＥＰ５３で、医療機関端末２０の肝斑判断結果入力部２５に、診断結果（肝斑の可能性が高い／肝斑の可能性が低い／診断不能）が入力される。なお、診断を中止するときは、「キャンセル」ボタン８６を操作する。

そして、ＳＴＥＰ５４で、肝斑判断結果データ送信部２６が、診断結果を示すデータを運用サーバ１０に送信し、このデータを受信した運用サーバ１０は、ＳＴＥＰ１７で診断結果を利用者データベース１３に追加する。

また、ＳＴＥＰ１８で、運用サーバ１０は、肝斑の診断結果を示すＥメールを、利用者の携帯電話３０に自動送信する。なお、このＥメールに含まれる利用者の顔のシミが肝斑であるか否かの診断結果を示すデータが、本発明の肝斑判断結果データに相当する。

なお、その後、運用サーバ１０の利用者データベース１３に蓄積されたデータを、一定期間経過後に自動的に、又は運用サーバ１０の管理者の操作によって消去する設定とすることもできる。

図２を参照して、利用者の携帯電話３０は、ＳＴＥＰ４で、肝斑の診断結果を示すＥメールを、医療機関端末２０から受信する。利用者は、このＥメールを確認することで、自身の顔のシミが肝斑によるものであるか否かを、容易に判断することができる。そして、自身の顔のシミが肝斑によるものであると診断されていたときには、利用者は、肝斑に特化した治療薬を服用することで、満足のゆくシミの改善を期待することができる。

［第２実施形態］
図１及び図６を参照して、本発明の第２実施形態について説明する。上述した第１実施形態では、ディスプレイ２３に表示された利用者の顔の画像を、皮膚科医等が観察して肝斑の診断を行ったが、第２実施形態では、画像処理部２４により肝斑を判断する。

画像処理部２４は、利用者の携帯電話３０から送信された利用者の左横顔の撮像データ９０と右横顔の撮像データ９１に対して、色情報が判定範囲内である画素を黒（０）とし、色情報が判定範囲外である画素を白（１）とする２値化処理を行って、左横顔の２値画像９２と右横顔の２値画像９３を生成する。

ここで、色情報の判定範囲は、例えば、色の三属性（色相(Hue)，明度(Value)，彩度(Chroma)）を軸としたマンセル票色により、色相−１ＹＲ〜９ＹＲ，明度−４．５〜８．５，彩度−Ｃ３〜Ｃ５、等に設定される。なお、ＨＳＶ値、Ｌ*ａ*ｂ*値等の他の標記法を用いてもよい。

画像処理部２４は、２値画像９２における黒領域Ｅ1（本発明の特定色領域に相当する）と、２値画像９３における黒領域Ｅ2（本発明の特定色領域に相当する）について、以下の(1)〜(3)の条件を満たしているか否かを判定する。
(1) 黒領域Ｅ1，Ｅ2の面積が、いずれも顔全体の面積の１０％以上。
(2) 左横顔における黒領域Ｅ1の位置と、右横顔における黒領域Ｅ2の位置のずれが、所定範囲内（黒領域Ｅ1とＥ2が顔の中心線に対して、線対称性を有している）。
(3) 黒領域Ｅ1，Ｅ2が、頬骨部、眼周辺、頬部外側、及び口周囲のいずれかの部位に位置する。

画像処理部２４は、上記(1)〜(3)の条件が全て満たされるときに、利用者の顔のシミが肝斑であると判断し、判断結果を肝斑判断結果入力部２５に入力する。そして、肝斑判断結果データ送信部２６が、診断結果を示すデータを運用サーバ１０に送信すると共に、診断結果を示すＥメールを、利用者の携帯電話３０に送信する。

上記第１実施形態と同様に、利用者は、このＥメールを確認することで、自身の顔のシミが肝斑によるものであるか否かを、容易に判断することができる。そして、自身の顔のシミが肝斑によるものであると診断されていたときには、利用者は、肝斑に特化した治療薬を服用することで、満足のゆくシミの改善を期待することができる。

なお、本実施の形態では、運用サーバ１０を介して、利用者の携帯電話３０から医療機関端末２０に利用者の顔の撮像データを送信する構成としたが、利用者の携帯電話３０から医療機関端末２０に対して、顔の撮像データを添付したＥメールを直接送信する構成としてもよい。この場合には、例えば、以下の(1)〜(4)の手順により、利用者の携帯電話３０と医療機関端末２０との間でＥメールの送受信による通信を行えばよいので、運用サーバ１０を用いずに、医療機関端末２０のみによって肝斑判断支援システムを構成することができる。
(1)利用者の携帯端末３０から医療機関端末２０に対して空メールを送信。
(2)医療機関端末２０から利用者の携帯電話３０に対して、撮像範囲及び撮像条件を指示するＥメールを返信。
(3)利用者の携帯端末３０から医療機関端末２０に対して、左横顔，右横顔，及び顔の正面の撮像データを添付したＥメールを送信。（ディスプレイ２３に、左横顔，右横顔，顔の正面の画像を表示）
(4)医療機関端末２０から利用者の携帯端末３０に対して、肝斑の判断結果を示すＥメールを送信。

なお、本実施の形態では、図２のＳＴＥＰ１０で、利用者に対して、撮像範囲と撮像条件を指示したが、この指示を行わない場合であっても、本発明の効果を得ることができる。この場合には、利用者に対して、予め撮像範囲と撮像条件を指示したパンフレットを配布する等の運用とすればよい。

また、ＳＴＥＰ１１及びＳＴＥＰ１２で、運用サーバ１０の顔画像要求部１１は、利用者の携帯電話３０から受信した顔の画像データが適切なものであるか否かを判断して、適切でなかったときには、再送信を要求する処理を行ったが、この処理を行わない場合であっても、本発明の効果を得ることができる。

また、本実施の形態では、利用者の端末装置として、カメラ機能付きの携帯電話３０を示したが、端末装置がパーソナルコンピュータであって、利用者がデジタルカメラで撮像した顔の撮像データをＥメールに添付して、パーソナルコンピュータから送信する構成であってもよい。

１…通信ネットワーク、１０…運用サーバ、１２…撮像データ受信部、１３…利用者データベース、２０…医療機関端末、２１…撮像データ受信部、２２…画像表示部、２３…ディスプレイ、２４…画像処理部、２５…肝斑診断結果入力部、２６…肝斑判断結果データ送信部、３０…利用者の携帯電話。

Claims (5)

1. 利用者の端末から送信される肝斑判断依頼データを、通信ネットワークを経由して受信したときに、利用者の少なくとも目から下の部分を含む左横顔及び右横顔の撮像データの送信を指示する顔画像送信指示データを、通信ネットワークを経由して利用者の端末に送信する顔画像要求部と、
   前記顔画像送信指示データの受信に応じて、利用者の端末から送信される利用者の左横顔及び右横顔のカラーの撮像データを、通信ネットワークを経由して受信する撮像データ受信部と、
   前記左横顔及び右横顔の撮像データにより、利用者の左横顔及び右横顔のカラー画像を同時に表示する画像表示部と、
   前記左横顔及び右横顔の撮像データに基づく、利用者の顔のシミが肝斑によるものであるか否かの判断結果が入力される肝斑判断結果入力部と、
   前記判断結果を示す肝斑判断結果データを、通信ネットワークを経由して利用者の端末に送信する肝斑判断結果データ送信部と
   を備えたことを特徴とする肝斑判断支援システム。
2. 請求項１記載の肝斑判断支援システムにおいて、
   前記顔画像要求部は、正面からの角度が３５度〜５５度の範囲内の左横顔及び右横顔の撮像データの送信を指示する前記顔画像送信指示データを、通信ネットワークを経由して利用者の端末に送信することを特徴とする肝斑判断支援システム。
3. 請求項１又は請求項２記載の肝斑判断支援システムにおいて、
   前記顔画像要求部は、前記顔画像送信指示データと共に、利用者の左横顔及び右横顔を撮像するときの要望条件を示す撮像条件指示データを、通信ネットワークを経由して利用者の端末に送信することを特徴とする肝斑判断支援システム。
4. 請求項１から請求項３のうちいずれか１項記載の肝斑判断支援システムにおいて、
   前記顔画像要求部は、前記撮像データ受信部が受信した利用者の左横顔及び右横顔の撮像データが、所定の必要条件を満たしていないときに、利用者の左横顔及び右横顔の撮像データの再送信を指示する顔画像再送信指示データを、通信ネットワークを経由して利用者の端末に送信することを特徴とする肝斑判断支援システム。
5. 請求項１から請求項４のうちいずれか１項記載の肝斑判断支援システムにおいて、
   前記撮像データ受信部により受信した利用者の左横顔及び右横顔のカラー画像から、所定の判定範囲内の色情報を有する特定色領域を抽出し、利用者の左横顔のカラー画像から抽出した第１の特定色領域と、利用者の右横顔のカラー画像から抽出した第２の特定色領域との顔の中心線に対する線対称性に基づいて、利用者の顔のシミが肝斑によるものであるか否かを判断し、この判断結果を前記肝斑判断結果入力部に入力する画像処理部を備えたことを特徴とする肝斑判断支援システム。