JP7104913B2 - 撮像装置と撮像プログラムと画像判定装置と画像判定プログラムと画像処理システム - Google Patents

Description

本発明は、撮像装置と撮像プログラムと画像判定装置と画像判定プログラムと画像処理システムとに関する。

近年、我が国は、未曽有の超高齢化社会に突入しようとしている。高齢者の多くは、認知症や癌などの病態が解明されていない疾病に罹患する。これらの疾病に対して、西洋医学は、対処療法的な治療を行うため、対応することが難しい。一方、漢方医学は、全身を診て経験に基づいて効果的な漢方薬を処方するものであり、癌治療にも適用されるなど、注目を集めている。特に、漢方医学は、病気になる前段階として「未病」という西洋医学にはない独自の概念を有する。未病は、予防医学の観点からも見直されている。例えば、発病を未然に防ぐ未病ケアは、高齢者などの健康の増進や、介護の効率化、医療費の抑制につながる。

漢方医学は病名ではなく患者の状態を重視することから、漢方医学では、患者の全身の状態を診ることができる舌診断が、古くから実践されている。舌診断は、舌全体の状態や色調、大きさ、形態、乾湿、舌苔の状態などに基づく診断である。特に、舌の色調は、体の熱や冷えの程度や気力・体力の消耗の程度、精神状態、消化器官の状態、血液循環動態、水分代謝の状態などの情報を得ることができるため、重要視されている。

しかし、舌の色調は、観察環境の温度や湿度、診断中の舌を出している時間などにより変化する。また、舌診断は、医師の熟練を要し、医師の経験や知識に依存する。そのため、舌診断の結果には、医師によって個人差が生じる。その結果、舌診断は、客観性に欠け、科学的根拠が乏しいとされている。

また、舌診断ができる漢方専門医は、国内で約２０００人と限られる。そのため、漢方医学を用いた漢方医療には、地域的な格差が存在する。さらに、今後の主流となる在宅医療において、高齢者などの健康状態を遠隔でモニタリングするときに、舌診断は、西洋医学の相補的な役割を果たす。したがって、科学的根拠のある舌診断の実現は、医療の現場で喫緊の課題である。

これまでにも、舌の領域を含む画像（舌画像）を取得（撮像）して、舌画像に各種の画像処理を施して、画像認識により舌診断を行う技術が提案されている（例えば、特許文献１と、特許文献２と、特許文献３と、を参照）。

特開２００９－２８０５８号公報 特表２００８－５３８９９２号公報 特開２００４－２０９２４５号公報

特許文献１に開示された技術は、適正な舌の位置を示す線画が記入されたミラーや、撮像時に額を当接させて固定する額当てを用いて、舌全体を適切に含む舌画像を取得する。そのため、同技術は、撮像者によらず、舌の大きさが一定の舌画像を撮像することができる。しかし、同技術では、被撮影者（患者）本人が舌の位置合わせを行わなければならない。そのため、撮像に時間を要することになり、舌の色調の変化など、舌画像にばらつきが生じ易い。また、同技術は、寝たきりの高齢者など、在宅医療を必要とする患者の舌画像の取得に対して、容易に活用することができない。

また、特許文献１に開示された技術は、舌画像を撮像する環境下で予めＲＧＢ値の強度比が既知の色基準板を撮像して、その強度比を用いて舌画像の色の補正をする。その結果、同技術は、撮像時の照明などの環境による舌画像の色の変化を抑制する。しかし、同技術では、色の補正のための基準板の撮像が必要であり、全ての舌画像に対して色の補正を行う場合に撮影者の負担が大きい。

このように、特許文献１に開示された技術では、患者本人が舌画像を撮像するため安定した舌画像の撮像が難しく、撮像や色補正のため専用の装置が必要となる。そのため、同技術は、在宅医療などに容易に活用することができない。

特許文献２に開示された技術は、舌と共に、マンセルカラーチェッカや被撮影者の頬などを撮像して、多様な照明下で撮像された舌画像の色の校正（補正）を行う。しかし、同技術は、舌画像内での舌の位置ずれや傾きなど安定的な舌画像を取得することができない。

特許文献３に開示された技術は、個人ごとに舌画像の基本テンプレートを生成して、個人ごとの画像評価を行う。そのため、同技術は、初見の患者などデータベースに基本テンプレートが格納されていない患者に対して、適用することができない。また、同技術は、舌画像を撮像するとき、個人はほとんど一定の形態の舌を出すと仮定して舌画像を撮像する。そのため、同技術は、舌画像内での舌の位置ずれや傾きなどの少ない安定的な舌画像を取得することができない。

ここで、特許文献１－３に開示された技術は、舌画像に対して画像処理を施して舌領域を切り取り、舌領域から特徴を抽出して、機械学習により舌診断を実行する。これらの処理は、撮像された舌画像内の舌の位置の変動（舌の位置ずれ、傾きなど）に大きく影響を受ける。また、これらの技術の舌診断は、舌画像内の舌の色調の判断において、連続量であるＲＧＢ値を用いた機械学習により識別を行う。一般的に、舌画像の解像度を増加させると、舌画像内の舌領域を構成する各画素のＲＧＢ値は、同じ舌を撮像しても人の目では検知できない微小な色の変化に対応して変動する。そのため、舌画像の高解像度化により、診断性能の向上が期待できる一方で、舌診断の結果は、舌画像内の舌の色の変動や、色の補正の程度の影響を受けやすくなる。すなわち、ＲＧＢ値を画素値とする通常の画像処理技術による舌診断の結果は、舌画像内の舌の位置の変動や色の変動など、舌画像の画質によるばらつきの影響を受けやすい。つまり、これらの技術は、舌診断の結果に十分な客観性を得ることができず、科学的根拠のある舌診断とはなっていない。

本発明は、以上のような従来技術の問題点を解消するためになされたもので、撮像処理により撮像時の舌の位置ずれや傾き、舌色の変動などが抑制され、更に画素のテンプレートへの置換により舌色が客観化された、科学的根拠のある舌診断の実現を目的とする。

本発明にかかる撮像装置は、被撮影者の口から出る舌の画像を取得する撮像装置であって、口の周辺の画像である口元画像を表示する画像表示部と、口元画像に、舌の撮像範囲を示すターゲットスコープ画像を重畳して画像表示部に表示する重畳表示部と、画像表示部に表示されている画像のうち、ターゲットスコープ画像に基づいて設定される領域を範囲画像として撮像する撮像部と、を有してなり、ターゲットスコープ画像は、舌が出る前の口に位置づけられる第１ガイド画像と、口から出た舌に位置づけられる第２ガイド画像と、を含む、ことを特徴とする。

また、本発明にかかる画像判定装置は、撮像画像と、複数の色テンプレートと、複数の色テンプレートのいずれかの組合せで構成される色テンプレート集合ごとの正解情報と、が記憶される記憶部と、撮像画像を構成する画素ごとの画素情報を特定する画素情報特定部と、画素ごとに、画素情報に基づいて、複数の色テンプレートの中から所定の色テンプレートを置換テンプレートとして特定する色テンプレート特定部と、画素ごとに特定された置換テンプレートの中から所定の色テンプレートを特徴テンプレート集合として選択する色テンプレート選択部と、特徴テンプレート集合を構成する色テンプレートに基づいて、色テンプレート集合ごとの正解情報の中から所定の正解情報を特定する正解情報特定部と、特定された正解情報を判定結果として出力する判定結果出力部と、を有してなる、ことを特徴とする。

本発明によれば、撮像処理により撮像時の舌の位置ずれや傾き、舌色の変動などが抑制され、更に画素のテンプレートへの置換により舌色が客観化された、科学的根拠のある舌診断が実現できる。

本発明にかかる画像処理システムの実施の形態を示す模式図である。 図１の画像処理システムが実行する処理を示すフローチャートである。 本実施の形態における各画像の関係を示す模式図である。 本発明にかかる撮像装置の実施の形態を示す機能ブロック図である。 図３の撮像装置が備える画像表示部に表示されるターゲットスコープ画像の例を示す模式図である。 本発明にかかる画像判定装置の実施の形態を示す機能ブロック図である。 図５の画像判定装置が備える記憶部に記憶される情報の例を示す模式図である。 図２の処理に含まれる撮像処理のフローチャートである。 図３の撮像装置が備える画像表示部に表示される画像の例を示す模式図である。 図３の撮像装置が備える画像表示部に表示される画像の別の例を示す模式図である。 図３の撮像装置が備える画像表示部に表示される画像のさらに別の例を示す模式図である。 図２の処理に含まれる抽出処理のフローチャートである。 図１１の抽出処理で用いられる各画像の関係を示す模式図である。 図３の撮像装置による関心領域画像の抽出方法の例を示す模式図である。 図２の処理に含まれるコード化処理のフローチャートである。 図５の画像判定装置による置換テンプレートの特定方法の例を示す模式図である。 図５の画像判定装置による、各画素の特徴テンプレート集合を構成する色テンプレートへの置き換えの例を示す模式図である。 図２の処理に含まれる判定処理のフローチャートである。

以下、図面を参照しながら、本発明にかかる撮像装置（以下「本装置」という。）と、撮像プログラム（以下「本プログラム」という。）と、画像判定装置（以下「本判定装置」という。）と、画像判定プログラム（以下「本判定プログラム」という。）と、画像処理システム（以下「本システム」という。）と、の実施の形態について説明する。

以下に説明する実施の形態は、本システムが病院内、あるいは、セキュリティが確保された病院外に配置され、病院の診察室などの室内において、看護師や医師などの医療従事者が本装置を用いて患者の舌を撮像して、医師が本判定装置を用いて患者の舌の診断をすることを支援する場合を例にして、本発明の内容を説明する。すなわち、患者は本発明における被撮影者の例である。

●画像処理システム●
●画像処理システムの構成
図１は、本システムの実施の形態を示す模式図である。

本システムＳは、後述する処理を実行することにより、ターゲットスコープ画像ＴＳを用いて患者の舌を撮像して原画像を取得し、原画像から舌が切り出された画像（舌画像）を抽出画像として抽出して、抽出画像内の舌領域を構成する画素を色テンプレートに置き換えて舌色をコード化（離散化）し、色テンプレートに基づいて舌画像の診断結果（舌症状）を判定するものである。

「ターゲットスコープ画像ＴＳ」は、抽出画像（舌画像）を収める閉曲線（以下「ターゲットスコープ」という。）を本システムＳの使用者（医療従事者）に視認させるための画像である。ターゲットスコープ画像ＴＳの詳細については、後述する。

「原画像」は、本システムＳにより撮像された患者の舌を含む画像であり、本システムＳにより舌画像が抽出される前の画像である。原画像は、患者の口元画像と、患者の舌画像と、を含む。

なお、原画像は、本システムにより撮像された画像（撮像画像）そのものでもよく、あるいは、本システムが撮像画像に何らかの改変（例えば、画像強調や解像度の変換などの画像処理）を加えた画像でもよい。

「口元画像」は、舌を除く患者の口元（例えば、唇や頬、顎、鼻、口腔内など）の領域を含む画像である。すなわち、口元画像は、本システムＳが原画像から抽出する対象（舌）を含まない領域の画像（非抽出画像）である。

「舌画像」は、原画像のうち、患者の舌が切り出された画像である。舌画像は、本発明における抽出画像の例である。すなわち、舌画像は、本システムＳが原画像から抽出する対象を含む領域の画像（抽出画像）である。つまり、原画像は、抽出画像と非抽出画像とで構成される。

「抽出画像」は、本システムＳにより原画像から抽出される原画像の一部の領域（舌の領域）を含む画像である。

「色テンプレート」は、連続量のＲＧＢ値で表現される画素が置換される対象であり、舌色を離散化（コード化）するための色見本となる、表色系（色空間）を構成する要素（色）である。色テンプレートは、例えば、マンセル表色系の色テンプレートである。マンセル表色系は、色を色相、明度、彩度で分類する。本実施の形態は、４６８０色の色テンプレートを用いる。

本システムＳは、本装置１と本判定装置２と表示装置３とを有してなる。本装置１と本判定装置２と表示装置３それぞれの構成については、後述する。

図２は、本システムＳが実行する処理を示すフローチャートである。
本システムＳは、撮像処理（Ｓ１）と、抽出処理（Ｓ２）と、コード化処理（Ｓ３）と、判定処理（Ｓ４）と、を実行する。

「撮像処理（Ｓ１）」は、被写体である患者の舌を含む画像（原画像）を撮像する処理である。撮像処理（Ｓ１）の詳細については、後述する。

「抽出処理（Ｓ２）」は、原画像から抽出画像（舌画像）や関心領域画像を抽出する（原画像の一部を切り取る）処理である。抽出処理（Ｓ２）の詳細については、後述する。「関心領域画像」は、抽出画像のうち、本システムＳの使用者（医師）が医学的に最も関心を持つ領域を含む画像である。本実施の形態において、関心領域画像は、舌画像の一部の画像である。

なお、関心領域画像は、舌画像、すなわち、抽出画像そのものでもよい。

「コード化処理（Ｓ３）」は、抽出処理（Ｓ２）で抽出された抽出画像や関心領域画像内の舌領域を構成する各画素を色テンプレートに置き換えて舌色をコード化（離散化）する処理である。コード化処理（Ｓ３）の詳細については、後述する。

「判定処理（Ｓ４）」は、色テンプレートに基づいて、抽出画像や関心領域画像を判定する処理である。判定処理（Ｓ４）の詳細については、後述する。

本装置１は、撮像処理（Ｓ１）と抽出処理（Ｓ２）とを実行する。本判定装置２は、コード化処理（Ｓ３）と判定処理（Ｓ４）とを実行する。

図３は、本実施の形態における各画像の関係を示す模式図である。
同図は、便宜上、ターゲットスコープ画像ＴＳの一部（後述する第３ガイド画像ＴＳ３）の図示を省略している。同図は、原画像が抽出画像と非抽出画像とにより構成されることを示す。また、同図は、抽出画像が舌画像であることを示す。さらに、同図は、非抽出画像が口元画像であることを示す。さらにまた、同図は、舌画像の一部の領域を含む画像が関心領域画像であることを示す。

●撮像装置の構成
図４は、本装置１の実施の形態を示す機能ブロック図である。

本装置１は、ターゲットスコープ画像ＴＳを用いて、患者の閉じられた口から舌が出された状態の原画像を撮像すると共に、原画像から舌画像を抽出する。本装置１は、例えば、携帯電話（例えば、スマートフォン）、タブレットＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）などの可搬型のコンピュータ端末などで構成される。

本装置１では、本プログラムが動作して、本プログラムが本装置１のハードウェア資源と協働して、後述する情報処理を実現する。すなわち、例えば、本プログラムは、本装置１にインストールされる舌画像撮像アプリケーションである。

本装置１は、画像表示部１１、重畳表示部１２と、撮像部１３と、記憶部１４と、画像抽出部１５と、通信部１６と、を備える。

画像表示部１１は、被写体（例えば、患者の舌や、患者の口元）の画像、すなわち、原画像や口元画像を表示する。画像表示部１１は、例えば、液晶ディスプレイ（Liquid Crystal Display）や、有機ＥＬディスプレイ（Electro-Luminescence Display）などの表示デバイスである。

重畳表示部１２は、画像表示部１１に表示されている被写体の画像に、ターゲットスコープ画像ＴＳ（図５参照）を重畳して表示させる。ターゲットスコープ画像ＴＳは、原画像の撮像前に予め記憶部１４に記憶されている。

図５は、画像表示部１１に表示されるターゲットスコープ画像ＴＳの例を示す模式図である。

ターゲットスコープ画像ＴＳは、標準的な人の舌の形状（輪郭線）を模して設定される。具体的には、ターゲットスコープ画像ＴＳは、画像表示部１１において、上下方向に長い逆アーチ状（矩形の下辺が半円に置換された形状）で、左右方向中央に縦ラインが縦断するように付された形状として表示される。ターゲットスコープ画像ＴＳは、第１ガイド画像ＴＳ１と、第２ガイド画像ＴＳ２と、第３ガイド画像ＴＳ３と、第４ガイド画像ＴＳ４と、を含む。

第１ガイド画像ＴＳ１は、画像表示部１１において、舌が出る前の口に位置付けられて、口から出た舌の水平方向と、舌の幅と、にターゲットスコープ画像ＴＳをガイド（位置合わせ）する画像である。第１ガイド画像ＴＳ１は、緑色で、左右方向に沿う直線である。

第２ガイド画像ＴＳ２は、画像表示部１１において、口から出た舌の先端に位置付けられて、舌の先端の位置にターゲットスコープ画像ＴＳをガイドする画像である。第２ガイド画像ＴＳ２は、青色で、下方に凸となる円弧である。

第３ガイド画像ＴＳ３は、画像表示部１１において、舌が出る前の口の中央に位置付けられて、口から出た舌の中心線の位置にターゲットスコープ画像ＴＳをガイドする画像である。第３ガイド画像ＴＳ３は、黄色で、上下方向に沿う直線である。

第４ガイド画像ＴＳ４は、画像表示部１１において、舌が出る前の口の下方に位置付けられて、口から出た舌を囲んで舌の全体の位置をガイドする画像である。第４ガイド画像ＴＳ４は、赤色で、略Ｕ字状である。

第１ガイド画像ＴＳ１は、第４ガイド画像ＴＳ４の上端部間を接続するように配置される。第２ガイド画像ＴＳ２は、第４ガイド画像ＴＳ４の底部（円弧の部分）の中央部分に、重なるように配置される。第３ガイド画像ＴＳ３は、第１ガイド画像ＴＳ１の中央と第２ガイド画像ＴＳ２の中央とを結ぶ線上に配置される。第３ガイド画像ＴＳ３は、第１ガイド画像ＴＳ１と第２ガイド画像ＴＳ２とに直交する。

このように、ターゲットスコープ画像ＴＳのうち、第１ガイド画像ＴＳ１と第２ガイド画像ＴＳ２と第４ガイド画像ＴＳ４とは、舌の輪郭線を模すように（舌を取り囲むように）直線と曲線とが組み合わされた閉曲線Ｒを構成する。第３ガイド画像ＴＳ３は、閉曲線Ｒの左右方向の中央を通る直線Ｌを構成する。すなわち、ターゲットスコープ画像ＴＳは、人の舌の輪郭線を模した閉曲線Ｒと、同閉曲線の左右方向の中央を通る直線Ｌと、を含む。

なお、ターゲットスコープ画像の形状や色は、舌診断に適した品質の原画像を撮像できるものであればよく、本実施の形態に限定されない。

すなわち、ターゲットスコープ画像の色は、被写体の色と区別可能な色（被写体に紛れない色）であればよく、本実施の形態に限定されない。

また、ターゲットスコープ画像の形状は、舌を十分に出すことが困難な患者など、患者の状態に応じて、本装置の利用者により、撮像現場において変形（修正）できるように構成されてもよい。あるいは、予め形状の異なる複数のターゲットスコープ画像を記憶部に記憶させておき、本装置の使用者により、撮像現場において患者の舌の形状に適した形状のターゲットスコープ画像が選択されてもよい。

さらに、ターゲットスコープ画像の一部を構成する閉曲線は、被写体である舌の輪郭線を模すように構成されていればよく、破線や、鎖線、一部が分断された線など、完全に閉じた曲線以外の曲線や直線により構成されてもよい。

図４に戻る。
撮像部１３は、画像表示部１１に表示されている被写体の画像のうち、ターゲットスコープ画像ＴＳに基づいて設定される領域（後述する前景領域）を含む画像（舌画像）を撮像する。撮像部１３は、例えば、静止画を撮像可能なデジタルカメラである。撮像部１３が撮像した画像（原画像）は、記憶部１４に記憶される。

記憶部１４は、本装置１や本システムＳが後述する処理を実行するために必要な情報を記憶する。記憶部１４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記録装置や、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、などにより構成される。

画像抽出部１５は、領域特定情報に基づいて、原画像のうち、ターゲットスコープ画像ＴＳに基づいて設定される領域を含む画像（以下「範囲画像」という。）の一部の領域を抽出画像として抽出する。画像抽出部１５の動作と範囲画像と領域特定情報とについては、後述する。

通信部１６は、例えば、Ｗｉ－ＦｉやBluetooth（登録商標）などの無線通信ネットワークを介して本判定装置２に接続されて、本判定装置２に画像（原画像や抽出画像、関心領域画像など）を送信する。通信部１６は、例えば、通信モジュールやアンテナなど（不図示）により構成される。

重畳表示部１２と画像抽出部１５とは、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路により構成される。

なお、本発明における重畳表示部と画像抽出部とは、共通するプロセッサや集積回路により構成されてもよく、あるいは、個別のプロセッサや集積回路により構成されてもよい。

●画像判定装置の構成
図６は、本判定装置２の実施の形態を示す機能ブロック図である。
本判定装置２は、撮像画像（本実施の形態では関心領域画像。以下同じ。）を構成する画素を色テンプレートに置き換えて舌色をコード化（離散化）し、色テンプレートに基づいて撮像画像に対応する正解情報を判定する。本判定装置２は、例えば、パーソナルコンピュータで構成される。正解情報については、後述する。

本判定装置２は、記憶部２１と、画素情報特定部２２と、色テンプレート特定部２３と、色テンプレート選択部２４と、正解情報特定部２５と、判定結果出力部２６と、通信部２７と、を備える。

本判定装置２では、本判定プログラムが動作して、本判定プログラムが本判定装置２のハードウェア資源と協働して、後述する情報処理を実現する。すなわち、例えば、本判定プログラムは、本判定装置２にインストールされる診断結果判定アプリケーションである。

「撮像画像」は、例えば、デジタルカメラなどで撮像された静止画である。本実施の形態では、撮像画像は、本装置１から送信される画像（舌画像や関心領域画像）である。

記憶部２１は、本判定装置２や本システムＳが後述する処理を実行するために必要な情報を記憶する。記憶部２１は、例えば、舌画像や関心領域画像、複数の色テンプレート、複数の色テンプレートのいずれかの組み合わせで構成される色テンプレート集合ごとの正解情報、などを記憶する。記憶部２１は、例えば、ＨＤＤ、ＳＳＤなどの記録装置や、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、などにより構成される。

画素情報特定部２２は、撮像画像内の舌領域を構成する画素ごとの画素情報を特定する。画素情報特定部２２の動作については、後述する。

「画素情報」は、画素の色調に関する情報であって、例えば、画素の画素値、すなわち、ＲＧＢの色情報である。色情報は、例えば、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各色の階調を８ビットの値で示す２４ビットの情報である。

なお、画素情報は、色深度や色空間の情報でもよい。

色テンプレート特定部２３は、撮像画像の画素ごとに、画素情報に基づいて、複数の色テンプレートの中から所定の色テンプレートを置換テンプレートとして特定する。色テンプレート特定部２３の動作については、後述する。

本実施の形態において、色テンプレートは、前述のとおり、マンセル表色系の色テンプレートである。各色テンプレートには、予めＲＧＢ色空間内において、所定のＲＧＢ値（以下「設定値」という。）が設定されている。換言すれば、各色テンプレートは、ＲＧＢ色空間内において、離散して配置されている。色テンプレートごとの設定値は、色テンプレートに関連付けられて記憶部２１に記憶される。

ここで、設定値は、予め想定される特定の光源と撮像装置とにより実在する色テンプレートを撮像した画像のＲＧＢ値に基づいて設定されてもよく、あるいは、光源の照度や色、撮影機器などを変更して実在する色テンプレートを複数回撮像した画像のＲＧＢ値の分布に基づいて設定されてもよい。この場合、本判定装置２は、舌の撮像ごとに色補正をする必要がなくなる。また、設定値は、例えば、各色テンプレートに対応する公知のＲＧＢ値などの情報に基づいて設定されてもよい。

「置換テンプレート」は、撮像画像の画素ごとに置き換えられる色テンプレートである。

色テンプレート選択部２４は、置換テンプレートの中から所定の色テンプレートを特徴テンプレート集合を構成する要素として選択する。色テンプレート選択部２４の動作については、後述する。

「特徴テンプレート集合」は、置換テンプレートとして特定された複数の色テンプレートのうち、撮像画像内の舌の色調を特徴付ける色テンプレート（以下「特徴テンプレート」という。）の集合である。換言すれば、特徴テンプレート集合は、撮像画像内の舌領域を構成する画素の主要な色の集合である。

正解情報特定部２５は、特徴テンプレート集合を構成する色テンプレートと、判定に用いられる色テンプレート集合と、に基づいて、所定の正解情報を特定する。正解情報特定部２５の動作については、後述する。

「正解情報」は、本判定装置２が撮像画像を識別する種別（クラス）に関する情報である。本実施形態において、正解情報は、例えば、紅舌、淡紅舌、淡白舌などの医師による舌診断の診断結果、すなわち、患者の健康に関する診断結果を示す情報である。つまり、本実施形態において、正解情報は、医師による診断結果（正解の診断結果）を示す情報である。

「判定に用いられる色テンプレート集合」は、複数の色テンプレートのうち、判定に用いられる色テンプレートの組み合わせで構成される色テンプレートの集合である。すなわち、判定に用いられる色テンプレート集合は、撮像画像を識別する識別用の色テンプレート（識別テンプレート）の集合である。色テンプレート集合は、例えば、５個の色テンプレート（識別テンプレート）で構成される。正解情報は、色テンプレート集合と関連付けられて予め辞書Ｄに記憶されている。辞書Ｄは、記憶部２１に記憶されている。

図７は、辞書Ｄに記憶されている情報の例を示す模式図である。
「診断結果ＩＤ」は、正解情報（医師による舌診断の診断結果）それぞれに対して付される固有のＩＤである。同図は、各診断結果ＩＤ「Ｔ１」「Ｔ２」「Ｔ３」・・・「Ｔｎ」と、各正解情報（正解の診断結果）「紅舌」「淡紅舌」「淡白舌」・・・「その他」と、色テンプレート「Ｃ１」「Ｃ２」「Ｃ３」・・・「Ｃｎ」のいずれかの組み合わせ（色テンプレート集合）と、が関連付けられて辞書Ｄに記憶されていることを示す。本判定装置２は、診断結果ＩＤを用いて辞書Ｄを参照することで、正解情報、すなわち、医師による診断結果と、同診断結果と関連付けて辞書Ｄに記憶されている色テンプレート（識別テンプレート）集合と、を読み出すことができる。

同図は、例えば、診断結果ＩＤ「Ｔ１」の正解の診断結果（正解情報）が「紅舌」であり、紅舌に関連付けられている色テンプレート集合が「Ｃ１」「Ｃ２」「Ｃ３」であること、などを示す。

図６に戻る。
判定結果出力部２６は、例えば、本判定装置２に接続される表示装置３（ディスプレイなど）に正解情報（正解の診断結果）を判定結果として出力する。判定結果出力部２６の動作については、後述する。

画素情報特定部２２と、色テンプレート特定部２３と、色テンプレート選択部２４と、正解情報特定部２５と、判定結果出力部２６とは、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサや、ＡＳＩＣ、ＦＰＧＡなどの集積回路により構成される。

なお、本発明における画素情報特定部と、色テンプレート特定部と、色テンプレート選択部と、正解情報特定部と、判定結果出力部とは、共通するプロセッサや集積回路により構成されてもよく、あるいは、個別のプロセッサや集積回路により構成されてもよい。

通信部２７は、無線通信ネットワークを介して本装置１に接続されて、本装置１からの画像（原画像や抽出画像など）を受信する。通信部２７は、例えば、通信モジュールやアンテナなど（不図示）により構成される。

●画像処理システムの動作●
次に、本システムＳの動作について、説明する。本システムＳは、図２に示されるように、撮像処理（Ｓ１）と、抽出処理（Ｓ２）と、コード化処理（Ｓ３）と、判定処理（Ｓ４）と、を実行する。撮像処理（Ｓ１）と抽出処理（Ｓ２）とは、本装置１により実行される。コード化処理（Ｓ３）と判定処理（Ｓ４）とは、本判定装置２により実行される。以下の説明において、注目する対象が映っている画像内の対象（口や舌など）を、単に対象の名称（口や舌）で表記する。

●撮像処理
図８は、撮像処理（Ｓ１）のフローチャートである。

先ず、本装置１の使用者は、本装置１において本プログラムを起動させる（Ｓ１０１）。このとき、画像表示部１１は、撮像部１３により取得される画像をリアルタイムに表示する。重畳表示部１２は、記憶部１４からターゲットスコープ画像ＴＳを読み出し、画像表示部１１に表示されている画像に、ターゲットスコープ画像ＴＳを重畳して表示させる。

次いで、使用者は、撮像部１３のレンズ（不図示）を、口を閉じている患者（被撮影者）の口元に向ける。このとき、画像表示部１１は、口を閉じている患者の口元画像と、ターゲットスコープ画像ＴＳと、を重畳して表示する（Ｓ１０２）。

図９は、画像表示部１１に表示される画像の例を示す模式図である。
同図は、口を閉じている患者の口元画像と、ターゲットスコープ画像ＴＳと、が重畳して表示されている状態を示す。

図８に戻る。
次いで、使用者は、本装置１を移動させて、画像表示部１１に表示されているターゲットスコープ画像ＴＳの位置を患者の口の位置に合わせる（Ｓ１０３）。すなわち、使用者は、画像表示部１１に表示されているターゲットスコープ画像ＴＳのうち、第１ガイド画像ＴＳ１の両端を口の口角（唇の両端）に位置付け、第３ガイド画像ＴＳ３を患者の口（唇）の中央に位置付ける。このとき、第２ガイド画像ＴＳ２と第４ガイド画像ＴＳ４とは、患者の口の下方、すなわち、舌が出ると予測される領域に位置付けられる。このように、使用者は、第１ガイド画像ＴＳ１と第３ガイド画像ＴＳ３とを口の位置に合わせることで、口から出てくる舌に対する本装置１の位置を調整する。

図１０は、画像表示部１１に表示される画像の別の例を示す模式図である。
同図は、第１ガイド画像ＴＳ１と第３ガイド画像ＴＳ３とが閉じている口に位置付けられ、第２ガイド画像ＴＳ２と第４ガイド画像ＴＳ４とが口の下方に位置付けられたことを示す。

図８に戻る。
次いで、使用者は、患者に対して、舌を出すように指示をして、患者に舌を出させる。このとき、使用者は、第３ガイド画像ＴＳ３の位置を口の中央からずらさないように本装置１を上下方向に移動させて、画像表示部１１に表示されているターゲットスコープ画像ＴＳを舌の位置に合わせる（Ｓ１０４）。すなわち、使用者は、第２ガイド画像ＴＳ２を口から出た舌の先端に位置付けると共に、第４ガイド画像ＴＳ４を舌の両端に位置付ける。その結果、画像表示部１１に表示されている画像のうち、舌領域は、ターゲットスコープ画像ＴＳで示された撮像範囲内（閉曲線Ｒ内）に収められる。

図１１は、画像表示部１１に表示される画像のさらに別の例を示す模式図である。
同図は、第２ガイド画像ＴＳ２が舌の先端に位置付けられ、第４ガイド画像ＴＳ４が舌の両端に位置付けられ、舌領域が閉曲線Ｒ内に収められたことを示す。

図８に戻る。
次いで、本装置１の使用者は、本装置１の撮像ボタン（不図示）を押して、患者の舌画像や口元画像にターゲットスコープ画像ＴＳが重畳された原画像を撮像する（Ｓ１０５）。すなわち、撮像部１３は、ターゲットスコープ画像ＴＳが重畳された原画像を撮像する。同原画像は、記憶部１４に記憶される（Ｓ１０６）。

このように、使用者は、閉じている口に対してターゲットスコープ画像ＴＳの位置を合わせる。そのため、患者が舌を出したとき、使用者は、本装置１を少し上方に向ける（移動させる）だけの短時間で舌をターゲットスコープ画像ＴＳで示された撮像範囲内（閉曲線Ｒ内）に収めることができる。すなわち、原画像において、ターゲットスコープ画像ＴＳに対する舌の位置や大きさは、ある程度一定になる。つまり、使用者は、常に同程度の品質の原画像を撮像することができる。

●抽出処理
次いで、本装置１は、抽出処理（Ｓ２）を実行する。

図１２は、抽出処理（Ｓ２）のフローチャートである。

先ず、画像抽出部１５は、記憶部１４から原画像を読み出す（Ｓ２０１）。

次いで、画像抽出部１５は、原画像が撮像されたときのターゲットスコープ画像ＴＳの第１ガイド画像ＴＳ１と第２ガイド画像ＴＳ２と第４ガイド画像ＴＳ４それぞれを用いたセグメンテーション法により、原画像から舌画像を抽出画像として抽出する（Ｓ２０２）。換言すれば、画像抽出部１５は、原画像が撮像されたときのターゲットスコープ画像ＴＳを用いたセグメンテーション法により、原画像の一部を抽出画像として抽出する。画像抽出部１５が用いるセグメンテーション法は、例えば、公知のGrabcut（グラフカット）法である。抽出された舌画像は、元となる原画像と関連付けられて記憶部１４に記憶される（Ｓ２０３）。

「グラフカット法」は、抽出対象である舌領域を含む領域（前景領域）の色分布と、舌領域を含まない領域（背景領域）の色分布と、を算出し、前景領域を構成する各画素間に同色分布に基づいて重み付けられた辺（線）を設定し、重みの総和が最小になるように辺を切断して閉曲線を形成し、同閉曲線により舌領域を抽出する手法である。画像抽出部１５は、入力された原画像に対してグラフカット法を用いて舌領域を切り出し、同舌領域を含む舌画像を抽出画像として出力する。グラフカット法に用いられる情報（各色分布や、各画素間に設定される辺、同辺に設定される重みなどの情報）は、領域設定情報として記憶部１４に記憶される。

なお、グラフカット法は、後述する動的輪郭モデル法とは異なり、カラー画像に直接適用可能である。

図１３は、ターゲットスコープ画像ＴＳと、前景領域と、背景領域と、の関係を示す模式図である。同図は、原画像のうち、ターゲットスコープ画像ＴＳを囲む矩形状の領域が前景領域として設定され、前景領域を囲む（除く）領域が背景領域として設定されていることを示す。

「前景領域」は、前述のとおり、原画像のうち抽出対象である舌領域を含む矩形状の領域である。前景領域は、ターゲットスコープ画像ＴＳを囲むように設定される。すなわち、前景領域は、舌領域と、舌領域とは異なる色調を有する領域と、を含む。このように前景領域が設定されることにより、舌領域の一部がターゲットスコープ画像ＴＳから出ていても（ターゲットスコープ画像ＴＳから多少ずれていても）、舌領域は、前景領域内に収められる。そのため、原画像内におけるターゲットスコープ画像と舌領域とのずれは、前景領域と舌領域との関係に置き換えられて吸収される。また、舌領域とは異なる色調を有する領域を含むことで、画像抽出部１５が、舌と、舌と色調が近い部位（例えば、肌など）と、を混同して認識することが抑制される。その結果、本装置１は、正確に舌領域を抽出することができる。前景領域の形状や大きさは、ターゲットスコープ画像ＴＳの閉曲線Ｒの形状や大きさに基づいて、本装置１の利用者などにより予め設定されている。換言すれば、前景領域は、ターゲットスコープ画像ＴＳに基づいて、設定される領域である。つまり、原画像のうち、前景領域の画像は、本発明における範囲画像である。ターゲットスコープ画像ＴＳの閉曲線Ｒの形状や大きさに基づいて設定される前景領域の形状や大きさを特定する情報、つまり、画像抽出部１５が範囲画像を特定するために用いる情報は、予め記憶部１４に記憶されている。

「背景領域」は、前述のとおり、原画像のうち舌領域を含まない領域（前景領域画像を除く領域）である。前景領域（背景領域）の形状や大きさは、ターゲットスコープ画像ＴＳに関連付けられて、領域特定情報として記憶部１４に記憶されている。

本装置１は、抽出の対象である舌の形状に模したターゲットスコープ画像ＴＳが重畳された原画像において、ターゲットスコープ画像ＴＳを含む矩形状の領域を前景領域とし、前景領域以外の領域を背景領域として設定する。前述のとおり、第２ガイド画像ＴＳ２は舌の先端に位置付けられ、第４ガイド画像ＴＳ４は舌の両端に位置付けられる。原画像において、ターゲットスコープ画像ＴＳに対する舌の位置や大きさは、ある程度一定である。すなわち、前景領域における舌の位置や大きさは、ある程度一定である。本装置１は、前景領域（範囲画像）の一部の領域（舌領域や舌領域を含む領域）を抽出画像として抽出する。その結果、本装置１は、短時間・低処理負荷で精度の良い舌の抽出を実現する。

なお、画像抽出部が用いるセグメンテーション法は、グラフカット法に限定されない。すなわち、例えば、画像抽出部は、Snakes（スネークス）などの動的輪郭モデル法を用いてもよい。この場合、画像抽出部は、例えば、ターゲットスコープ画像が重畳された原画像において、ターゲットスコープ画像の閉曲線を初期輪郭線として用いることで、初期輪郭線に対する舌の位置や大きさをある程度一定にすることができる。換言すれば、画像抽出部は、原画像において、舌の輪郭線と初期輪郭線との距離を、短く、かつ、ある程度一定にすることができる。その結果、本装置は、短時間・低処理負荷で精度の良い舌画像の抽出を実現する。

図１２に戻る。
次いで、画像抽出部１５は、抽出された舌画像から関心領域画像を抽出する（Ｓ２０４）。

図１４は、画像抽出部１５による関心領域画像の抽出方法の例を示す模式図である。

先ず、画像抽出部１５は、舌画像の矩形状の外接枠Ｗ１を設定し、外接枠Ｗ１の重心座標Ｐ１を算出する。「外接枠Ｗ１の重心座標Ｐ１」は、外接枠Ｗ１の各辺のうち、対向する２辺の中点同士を通る２つの直線の交点の位置である。

次いで、画像抽出部１５は、舌画像の関心領域枠Ｗ２を設定する。「関心領域枠Ｗ２」は、各辺の長さが外接枠Ｗ１の各辺の長さの１／２、重心座標Ｐ２が外接枠Ｗ１の重心座標Ｐ１と一致する、矩形状の枠である。画像抽出部１５が関心領域枠Ｗ２を設定するために用いる情報（外接枠Ｗ１の各辺の長さの１／２など）は、予め記憶部１４に記憶されている。

関心領域枠Ｗ２内の画像は、関心領域画像として抽出され（Ｓ２０４）、元となる原画像と舌画像とに関連付けられて記憶部１４に記憶される（Ｓ２０５）。

次いで、通信部１６は、原画像と、原画像に関連付けられた舌画像と関心領域画像と、を本判定装置２に送信する（Ｓ２０６）。本判定装置２は、受信した各画像を記憶部２１に記憶する。

なお、通信部は、通信負荷を低減するため、関心領域画像のみを本判定装置に送信してもよい。

また、関心領域画像は、前述のとおり、本システムＳの使用者（医師）が医学的に最も関心を持つ領域の画像である。そのため、関心領域画像の形状や大きさ、抽出方法は、本実施の形態に限定されない。すなわち、例えば、関心領域画像は、舌画像そのものでもよく、あるいは、舌の先端部や輪郭部でもよい。

●コード化処理
次いで、本判定装置２は、コード化処理（Ｓ３）を実行する。

図１５は、コード化処理（Ｓ３）のフローチャートである。

先ず、画素情報特定部２２は、記憶部２１から関心領域画像を読み出す（Ｓ３０１）。関心領域画像は、本発明における撮像画像の例である。

次いで、画素情報特定部２２は、関心領域画像内の舌領域（本実施の形態では、関心領域画像内の全ての領域）を構成する画素ごとの画素値（ＲＧＢ値）を画素情報として特定する（Ｓ３０２）。

次いで、画素情報特定部２２は、特定した画素情報から、その画素の輝度値Ｙを算出する（Ｓ３０３）。輝度値Ｙの算出は、例えば、以下の式１を用いて行われる。

（式１）
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ

次いで、画素情報特定部２２は、算出した輝度値Ｙを用いて、不要画素を除去する（Ｓ３０４）。「不要画素」は、関心領域画像内の舌領域を構成する画素のうち、影がかかった画素や、光の照り返し（反射）がある画素など、他の画素より明暗が大きく変化している画素である。画素情報特定部２２は、例えば、輝度値Ｙが８０以下の画素を影領域内の画素、輝度値Ｙが２００以上の画素を光の照り返し領域内の画素、として除去する。

次いで、色テンプレート特定部２３は、記憶部２１から予め設定値が設定されている色テンプレートを読み出す（Ｓ３０５）。

なお、本実施の形態では、色テンプレート特定部２３は、４６８０色の色テンプレートを記憶部２１から読み出す。これに代えて、色テンプレート特定部は、４６８０色の色テンプレートのうち、舌に関わりの深い色の色テンプレートのみを記憶部から読み出してもよい。この場合、記憶部は、舌に関わりの深い色の色テンプレートのみを予め記憶していてもよい。この構成によれば、本判定装置の処理負担が軽減される。

次いで、色テンプレート特定部２３は、各画素のＲＧＢ値と、色テンプレートに設定されている（関連付けられている）各設定値と、を照合して、画素ごとに画素と各色テンプレートとの距離を算出する（Ｓ３０６）。距離の算出は、例えば、ユークリッド距離やマハラノビス距離などの公知の距離を用いて実行される。

次いで、色テンプレート特定部２３は、パターン認識の最近傍識別則により、ＲＧＢ色空間において各画素との距離が最も近い（最も似ている）、最接近している色テンプレートを、同画素の置換テンプレートとして特定して（Ｓ３０７）、各画素を特定した置換テンプレートに置き換える（Ｓ３０８）。

図１６は、色テンプレート特定部２３による置換テンプレートの特定方法の例を示す模式図である。
同図は、ＲＧＢ色空間において、２つの色テンプレートＡ１，Ａ２が配置されていることを示す。同図は、同一の被写体を別々に４回撮像し、照明などの大きな影響を受けたＲＧＢ値を有する画素ｘ３と、照明などの影響が比較的小さいＲＧＢ値を有する画素ｘ１，ｘ２，ｘ４と、の４つの画素を例として示す。同図は、２つの色テンプレートＡ１，Ａ２を分離する垂直２等分線を示す直線により、平面が２分割されていることを示す。同図は、色テンプレートＡ１に近い画素がｘ１，ｘ２，ｘ４であり、色テンプレートＡ２に近い画素がｘ３であることを示す。すなわち、同図は、ｘ１，ｘ２，ｘ４の画素に最接近する色テンプレートが色テンプレートＡ１であり、ｘ３の画素に最接近する色テンプレートが色テンプレートＡ２であることを示す。

このように、各画素を色テンプレートに置き換えて舌色をコード化（離散化）することで、同一の被写体であるにも関わらず、照明などの撮像環境の影響により僅かに異なるＲＧＢ値を有することとなった画素ｘ１，ｘ２，ｘ４は、同一の色テンプレートＡ１に置き換えられる。すなわち、同一の被写体の撮像においてＲＧＢ値が多少変動しても、その変動は、各画素のコード化により吸収される。一般的に、同一の被写体を複数回撮像すると、撮像時の光源（照明）や撮像装置などの撮像環境の影響により、撮像画像間における各画素のＲＧＢ値は、変動する。しかし、本判定装置２は、各画素を色テンプレートに置き換えて舌色をコード化することによりこの変動をある程度吸収することができる。

図１５に戻る。
次いで、色テンプレート選択部２４は、置換テンプレートごとに、各置換テンプレートに対応付けられた画素の総数を集計し、不要画素を除く全画素数に対するその画素数の割合（以下「画素割合」という。）を算出する（Ｓ３０９）。

次いで、色テンプレート選択部２４は、各置換テンプレートを画素割合の降順でソーティングして、画素割合の多い順に１０個の置換テンプレートを、特徴テンプレート集合を構成する色テンプレートとして選択する（Ｓ３１０）。すなわち、色テンプレート選択部２４は、置換テンプレートに対応付けられた画素の総数の多少に基づいて、特徴テンプレート集合を構成する色テンプレートを選択する。

なお、特徴テンプレート集合を構成する色テンプレートの数は、「１０」に限定されない。すなわち、例えば、色テンプレート選択部は、５個の置換テンプレートを選択してもよく、あるいは、２０個の置換テンプレートを選択してもよい。

次いで、色テンプレート特定部２３は、特徴テンプレート集合を構成する色テンプレート（すなわち、特徴テンプレート）にまだ置き換えられていない画素（特徴テンプレート以外の色テンプレートに置き換えられた画素）を、再度、最近傍識別則により、最接近の特徴テンプレートに置き換える（Ｓ３１１）。すなわち、色テンプレート特定部２３は、処理（Ｓ３０６－Ｓ３１１）を実行して、不要画素を除く全ての画素を、特徴テンプレート（本実施の形態では１０個の色テンプレート）に置き換える。次いで、色テンプレート特定部２３は、各特徴テンプレートの画素割合を更新する（Ｓ３１２）。各画素に置き換えられる特徴テンプレー集合は、対応する関心領域画像に関連付けられて記憶部２１に記憶される（Ｓ３１３）。

図１７は、色テンプレート特定部２３による、各画素の特徴テンプレート集合を構成する色テンプレートへの置き換えの例を示す模式図である。
同図は、画素を「Ｚ」、色テンプレートを「Ｔ」でそれぞれ示す。「Ｔ」の添え字は、画素割合の多い順の順位を示す。すなわち、「Ｔ１」は画素割合が１位の色テンプレートであり、「Ｔ２０」は画素割合が２０位の色テンプレートである。同図は、処理（Ｓ３１０）により、画素「Ｚ３」の置換テンプレートが「Ｔ２０」から「Ｔ４」に変更され、画素「Ｚ４」の置換テンプレートが「Ｔ２４」から「Ｔ５」に変更されたことを示す。

このように、本判定装置２は、関心領域画像内の舌領域を構成する、不要画素を除く各画素を、所定の数の特徴テンプレートに置き換える。その結果、本判定装置２が判定処理（Ｓ４）を実行するために用いるメモリ領域は削減され、同処理を実行するための処理負荷は低減される。すなわち、本判定装置２を構成するパーソナルコンピュータなどは、高い計算能力を必要としない。

●判定処理
次いで、本判定装置２は、判定処理（Ｓ４）を実行する。

図１８は、判定処理（Ｓ４）のフローチャートである。

先ず、正解情報特定部２５は、記憶部２１から舌診断の対象となる患者の関心領域画像の特徴テンプレート集合と、辞書Ｄと、を読み出す（Ｓ４０１）。

次いで、正解情報特定部２５は、特徴テンプレート集合を構成する色テンプレート（すなわち、特徴テンプレート）と、辞書Ｄ内の各正解情報（すなわち、正解の診断結果）に関連付けられる色テンプレート（すなわち、識別テンプレート）と、を照合して（Ｓ４０２）、特徴テンプレートと、識別テンプレートと、が一致する数（以下「一致数」という。）を算出する（Ｓ４０３）。

次いで、正解情報特定部２５は、未照合の正解情報が有るか否かを判定する（Ｓ４０４）。

未照合の正解情報が有るとき（Ｓ４０４の「Ｙｅｓ」）、正解情報特定部２５は、未照合の正解情報のうち、他の１の正解情報に対して、処理（Ｓ４０３）を実行する。

一方、未照合の正解情報が無いとき（Ｓ４０４の「Ｎｏ」）、正解情報特定部２５は、各正解情報に対して、一致数が「１以上」か「０」か、を判定する（Ｓ４０５）。

一致数が「１以上」のとき（Ｓ４０５の「Ｙｅｓ」）、正解情報特定部２５は、一致数が最も多い正解情報が１つか否かを判定する（Ｓ４０６）。

一致数が最も多い正解情報が１つのとき（Ｓ４０６の「Ｙｅｓ」）、正解情報特定部２５は、一致数が最も多い正解情報を関心領域画像の診断結果として特定する（Ｓ４０７）。換言すれば、正解情報特定部２５は、特徴テンプレート集合と、識別テンプレート集合と、の共通性の有無や共通性の多少により、関心領域画像の正解の診断結果を特定する。

一方、一致数が「０」のとき（Ｓ４０５の「Ｎｏ」）、あるいは、一致数が最も多い正解情報が複数のとき（Ｓ４０６の「Ｎｏ」）、正解情報特定部２５は、判定不能である旨の結果を関心領域画像の診断結果として特定する（Ｓ４０８）。前述の処理（Ｓ４０７，Ｓ４０８）により特定された診断結果は、関心領域画像に関連付けられて記憶部２１に記憶される（Ｓ４０９）。

次いで、判定結果出力部２６は、表示装置３に、前述の処理（Ｓ４０７，Ｓ４０８）により特定された診断結果（舌診断の診断結果）を判定結果として出力する（Ｓ４１０）。本判定装置２の使用者は、表示装置３に表示された判定結果を参考として、患者の舌の診断をする。

このように、本判定装置２は、舌画像の関心領域画像の１０個の特徴テンプレートと、各正解情報（正解の診断結果）に対応する５個の色テンプレート（識別テンプレート）と、の一致数を算出することにより、同関心領域画像（すなわち、患者の舌）の舌症状を判定する。

なお、本発明における正解情報特定部は、後述する評価量Ｌ２を用いて、関心領域画像の特徴テンプレート集合と、辞書Ｄ内の２つの正解情報の評価量Ｌ２と、を比較して、関心領域画像の正解情報を特定してもよい。

また、本発明における正解情報特定部は、一致数が最も多い正解情報が複数のとき、記号（コード）データを取り扱うことのできる離散Ｂａｙｅｓ識別則（例えば、特許第６０４１３３１号を参照）などの統計的パターン認識を用いて、関心領域画像の正解情報を特定してもよい。

●辞書
ここで、辞書Ｄ内の各正解情報（正解の診断結果）に関連付けられる（舌症状の判定に用いられる）色テンプレート（識別テンプレート）は、舌症状が既知で同一の複数の患者を訓練サンプルとして用いて、本システムＳが撮像処理（Ｓ１）と抽出処理（Ｓ２）とコード化処理（Ｓ３）とを実行して得られた特徴テンプレートの画素割合の平均値と出現頻度とに基づいて、特定される。

「出現頻度」は、舌症状が既知で同一の複数の患者の舌のうち、特徴テンプレートとして特定された色テンプレートが出現した舌の割合である。すなわち、例えば、６つの舌に対して４つの舌全てに出現した色テンプレートの出現頻度は、０．６７である。

本システムＳは、例えば、特徴テンプレートの画素割合の平均値と出現頻度とを乗算した値の大きい順に５個の特徴テンプレートを、その舌症状の正解の診断結果に関連付けられる識別テンプレートとして特定する。

なお、本システムは、特徴テンプレートの画素割合の平均値と出現頻度とを乗算した値の大きい特徴テンプレートに、その舌症状にのみ出現する特徴テンプレートを組み合わせて、その舌症状の正解の診断結果に関連付けられる（舌症状の判定に用いられる）識別テンプレートとして特定してもよい。また、本システムは、例えば、公知の統計的パターン認識のCondensed nearest neighbor法（P. Hart, The condensed nearest neighbor rule, IEEE Trans. On Information Theory, IT-14(3), pp. 515-516（1968））により、識別情報に富んだ特徴テンプレートを識別テンプレートとして選出してもよい。

また、識別テンプレートの数は、「５」に限定されない。

●数値例●
次に、数値例（１）と数値例（２）とを用いて、本発明を説明する。

●数値例（１）
数値例（１）は、本装置１を用いて原画像から舌を抽出した結果である舌画像と、人が原画像から目視で舌を抽出した結果である舌画像と、を比較した例である。撮像装置（本装置１）は、市販のタブレット機器である。原画像は、４人の撮像者が他の４人の被写体の舌を３回撮像した４８枚の原画像である。撮像条件は、室内の昼光色の蛍光灯下である。比較結果を、表１に示す。

「評価量Ｌ１」は、人が目視で抽出した舌画像内の舌領域を構成する画素の集合Ｓｍと、本装置１が抽出した舌画像内の舌領域を構成する画素の集合Ｓｓと、の相違を量的に示す指標であり、式２で定義される。

（式２）
Ｌ１＝１－（｜Ｓｍ∩Ｓｓ｜／｜Ｓｍ∪Ｓｓ｜）
ここで、｜Ｓ｜は、集合Ｓの要素数を表す。

評価量Ｌ１の値は、「０」から「１」までの値である。評価量Ｌ１の値が０に近づくと、両者の舌画像は、一致する傾向になる。一方、評価量Ｌ１の値が１に近づくと、両者の舌画像は、相違する傾向になる。

表１は、本装置１を用いて抽出された舌画像は、人の目視により抽出された舌画像と、１割強しか相違していないことを示す。すなわち、本装置１は、人の目視に近い精度で舌画像を抽出可能である。

●数値例（２）
数値例（２）は、本判定装置２を用いて舌症状が既知の関心領域画像をテストサンプルとして用い、それにコード化処理（Ｓ３）と判定処理（Ｓ４）とを実行して舌症状を識別した例である。関心領域画像は、舌症状が紅舌の６枚の関心領域画像である。識別結果を、表２に示す。

「評価量Ｌ２」は、舌症状が既知の患者の関心領域画像の特徴テンプレート集合Ｓ０と、各正解情報（正解の診断結果）に関連付けられる色テンプレート集合Ｓｎ（ｎ＝１：紅舌、２：淡紅舌、３：淡白舌）との相違を量的に示す指標であり、式３で定義される。

（式３）
Ｌ２＝１－（｜Ｓ０∩Ｓｎ｜／｜Ｓ０∪Ｓｎ｜）

評価量Ｌ２の値の意味は、評価量Ｌ１の値の意味と共通する。

表２は、本判定装置２が、紅舌６例を、淡紅舌と５／６の識別率で識別し、淡白舌を６／６の識別率で識別していることを示す。表２は、関心領域画像「４」の紅舌の評価量Ｌ２と淡紅舌の評価量Ｌ２とが「０．７５」で一致しており、関心領域画像「４」の識別結果が判定不能であることを示す。

●まとめ●
以上説明した実施の形態によれば、本装置１は、舌が出る前の口に位置付けられる第１ガイド画像ＴＳ１と、口から出た舌に位置付けられる第２ガイド画像ＴＳ２と、を含むターゲットスコープ画像ＴＳを原画像に重畳して画像表示部１１に表示する。そのため、患者が舌を出したとき、本装置１の使用者は、本装置１を少し上方に向ける（移動させる）だけの短時間で舌をターゲットスコープ画像ＴＳの撮像範囲内（閉曲線Ｒ内）に収めることができる。すなわち、原画像において、ターゲットスコープ画像ＴＳに対する舌の位置や大きさは、ある程度一定になる。また、撮像時間が短時間となるため、舌色も一定になる。つまり、使用者は、常に同程度の品質の原画像を撮像することができる。

また、本装置１は、ターゲットスコープ画像ＴＳが重畳された原画像において、ターゲットスコープ画像ＴＳを含む領域を前景領域とし、同前景領域以外の領域を背景領域とするグラフカット法により、抽出画像（舌画像）を抽出する。そのため、原画像において、ターゲットスコープ画像ＴＳに対する舌の位置や大きさは、ある程度一定である。すなわち、前景領域における舌の位置や大きさは、ある程度一定である。その結果、本装置１は、短時間・低処理負荷で精度の良い舌画像の抽出を実現する。

さらに、本装置１は、舌が出る前の口の中央に位置付けられる第３ガイド画像ＴＳ３を含むターゲットスコープ画像ＴＳが原画像に重畳されて画像表示部１１に表示される。そのため、原画像において、ターゲットスコープ画像ＴＳに対する舌の位置や傾きは、ある程度一定になる。そのため、使用者は、常に同程度の品質の原画像を撮像することができる。

このように、本装置１は、常に同程度の品質の原画像を撮像し、原画像から精度良く舌画像を抽出する。そのため、本装置１により抽出された舌画像に基づいて舌診断を実行することにより、撮像処理により撮像時の舌の位置ずれや傾き、舌色の変動などが抑制された科学的根拠のある舌診断が実現可能である。

さらにまた、以上説明した実施の形態によれば、本判定装置２は、関心領域画像を構成する画素ごとに、画素情報（ＲＧＢ値）に基づいて、複数の色テンプレートの中から所定の色テンプレートを置換テンプレートとして特定して、画素ごとに特定された置換テンプレートの中から所定の色テンプレートを特徴テンプレート集合として選択する。すなわち、本判定装置２は、撮像画像（関心領域画像）の各画素を特徴テンプレートに置き換えて、舌色をコード化する。その結果、本判定装置２は、撮像時の光源や撮像機器などの影響によるＲＧＢ値の多少の変動を吸収して、再現性良く各画素を同一の色テンプレートに置き換えることができる。

さらにまた、本判定装置２は、特徴テンプレート集合を構成する色テンプレートに基づいて、各正解情報の中から所定の正解情報を特定する。その結果、本判定装置２が判定処理（Ｓ４）を実行するために用いるメモリ領域は削減され、判定処理（Ｓ４）を実行するための処理負荷は低減される。

さらにまた、本判定装置２は、画素ごとの画素値（ＲＧＢ値）を用いて、画素ごとに最接近する置換テンプレートを特定する。そのため、本判定装置２は、ＲＧＢ色空間内において、画素ごとに適切な置換テンプレートを、容易に特定することができる。

さらにまた、本判定装置２は、置換テンプレートごとに、置換テンプレートに対応づけられた画素の総数を集計し、総数の多少に基づいて、特徴テンプレート集合を構成する色テンプレートを選択する。そのため、本判定装置２は、撮像画像（関心領域画像）を構成する画素の主要な色に対応する色テンプレートを特徴テンプレートとして選択する。換言すれば、本判定装置２は、撮像画像（関心領域画像）を構成する画素の色調に基づいて、正解情報（正解の診断結果）を特定する。

このように、本判定装置２は、撮像画像（関心領域画像）を構成する各画素を色テンプレートに置き換えて舌色をコード化することにより、撮像環境によるＲＧＢ値の多少のばらつきを吸収する。そのため、本判定装置２による判定結果を用いることで、舌色が客観化された科学的根拠のある舌診断が実現可能である。

なお、以上説明した実施の形態では、本装置１が関心領域画像の抽出（Ｓ２０４－Ｓ２０６）や、抽出処理（Ｓ２）を実行する。これに代えて、本判定装置が関心領域画像の抽出や抽出処理を実行してもよい。この場合、抽出画像（舌画像）は、本発明における撮像画像の例である。

また、本装置は、抽出画像（舌画像）の抽出の成否の判定処理を実行して、抽出画像の抽出に失敗したときに、本装置の使用者に再撮像を促してもよい。その結果、本装置は、舌診断に用いることができる舌画像や関心領域画像のみを記憶し、本判定装置に送信する。

さらに、本判定装置が判定する正解情報は、撮像画像を構成する画素の色調に基づいて特定されるものであれば、舌画像の関心領域画像の診断結果に限定されない。

さらにまた、本判定装置における記憶部は、予め舌苔の色テンプレートを記憶していてもよい。この場合、例えば、本判定装置は、不要画素の除去において舌苔の領域内の画素を除去して、舌苔の領域を除去した関心領域画像を抽出することができる。

●画像処理システムのまとめ●
以上説明した本発明にかかる撮像装置と、撮像プログラムと、画像判定装置と、画像判定プログラムと、画像処理システムと、の特徴について、以下にまとめて記載しておく。

（特徴１）
被撮影者の口から出る舌の画像を取得する撮像装置（本装置１）であって、
前記口の周辺の画像である口元画像を表示する画像表示部（画像表示部１１）と、
前記口元画像に、前記舌の撮像範囲を示すターゲットスコープ画像（ターゲットスコープ画像ＴＳ）を重畳して前記画像表示部に表示する重畳表示部（重畳表示部１２）と、
前記画像表示部に表示されている画像のうち、前記ターゲットスコープ画像に基づいて設定される領域を範囲画像（前景領域の画像）として撮像する撮像部（撮像部１３）と、
を有してなり、
前記ターゲットスコープ画像は、
前記舌が出る前の前記口に位置づけられる第１ガイド画像（第１ガイド画像ＴＳ１）と、
前記口から出た前記舌に位置づけられる第２ガイド画像（第２ガイド画像ＴＳ２）と、
を含む、
ことを特徴とする撮像装置。

（特徴２）
前記範囲画像の一部の領域を特定する領域特定情報（前景領域，背景領域，両領域の色分布，各画素間に設定される辺，同辺に設定される重み，などの情報）を記憶する記憶部（記憶部１４）と、
前記領域特定情報に基づいて、前記範囲画像の一部の領域を抽出画像（舌画像）として抽出する画像抽出部（画像抽出部１５）と、
を備える、
特徴１記載の撮像装置。

（特徴３）
前記ターゲットスコープ画像は、
前記舌の輪郭線を模した閉曲線（閉曲線Ｒ）、
を含み、
前記画像抽出部は、前記範囲画像が撮像されたときの前記ターゲットスコープ画像が重畳された前記範囲画像を用いたセグメンテーション法により、前記抽出画像を抽出する、
特徴２記載の撮像装置。

（特徴４）
前記ターゲットスコープ画像は、
前記舌が出る前の前記口の中央に位置づけられる第３ガイド画像（第３ガイド画像ＴＳ３）、
を含み、
前記第１ガイド画像と前記第３ガイド画像のそれぞれは、相互に直交する直線である、
特徴１記載の撮像装置。

（特徴５）
コンピュータを、特徴１記載の撮像装置として機能させる、
ことを特徴とする撮像プログラム。

（特徴６）
撮像画像（関心領域画像）と、複数の色テンプレートと、前記複数の色テンプレートのいずれかの組合せで構成される色テンプレート（識別テンプレート）集合ごとの正解情報（正解の診断結果）と、が記憶される記憶部（記憶部２１）と、
前記撮像画像を構成する画素ごとの画素情報（ＲＧＢ値）を特定する画素情報特定部（画素情報特定部２２）と、
前記画素ごとに、前記画素情報に基づいて、前記複数の色テンプレートの中から所定の色テンプレートを置換テンプレートとして特定する色テンプレート特定部（色テンプレート特定部２３）と、
前記画素ごとに特定された前記置換テンプレートの中から所定の色テンプレートを特徴テンプレート集合の要素として選択する色テンプレート選択部（色テンプレート選択部２４）と、
前記特徴テンプレート集合を構成する前記色テンプレートに基づいて、前記色テンプレート集合ごとの正解情報の中から所定の正解情報を特定する正解情報特定部（正解情報特定部２５）と、
前記特定された正解情報を判定結果として出力する判定結果出力部（判定結果出力部２６）と、
を有してなる、
ことを特徴とする画像判定装置（本判定装置２）。

（特徴７）
前記画素情報特定部は、前記画素ごとの画素値を前記画素情報として特定する、
特徴６記載の画像判定装置。

（特徴８）
前記記憶部は、前記色テンプレートごとの設定値を記憶し、
前記色テンプレート特定部は、前記設定値に基づいて、前記画素ごとに前記画素と前記色テンプレートとの距離を算出して、前記画素ごとに最接近する前記色テンプレートを、前記画素ごとの前記置換テンプレートとして特定する、
特徴７記載の画像判定装置。

（特徴９）
前記色テンプレート選択部は、前記置換テンプレートごとに、前記置換テンプレートに対応づけられた前記画素の総数を集計し、前記総数に基づいて、前記特徴テンプレート集合を構成する前記色テンプレートを選択する、
特徴６記載の画像判定装置。

（特徴１０）
前記色テンプレート選択部は、前記総数の多少に基づいて、前記特徴テンプレート集合を構成する前記色テンプレートを選択する、
特徴９記載の画像判定装置。

（特徴１１）
前記撮像画像は、被撮影者の舌の画像であり、
前記正解情報は、前記被撮影者の健康に関する医師による診断結果であり、
前記判定結果出力部は、複数の前記診断結果の中から、前記舌の画像に含まれる前記画素ごとの前記画素情報に基づいて特定される前記診断結果を出力する、
特徴６記載の画像判定装置。

（特徴１２）
コンピュータを、特徴６記載の画像判定装置として機能させる、
ことを特徴とする画像判定プログラム。

（特徴１３）
画像を撮像する撮像装置と、
前記画像を判定する画像判定装置と、
を有してなり、
前記撮像装置は、特徴１記載の撮像装置であり、
前記画像判定装置は、特徴６記載の画像判定装置であり、
前記画像判定装置の記憶部は、前記画像を記憶し、
前記画像判定装置の画素情報特定部は、前記画像内の舌領域を構成する画素ごとの前記画素情報を特定する、
ことを特徴とする画像処理システム。

１ 撮像装置
１１ 画像表示部
１２ 重畳表示部
１３ 撮像部
１４ 記憶部
１５ 画像抽出部
２ 画像判定装置
２１ 記憶部
２２ 画素情報特定部
２３ 色テンプレート特定部
２４ 色テンプレート選択部
２５ 正解情報特定部
２６ 判定結果出力部
２７ 通信部
Ｓ 画像処理システム
ＴＳ ターゲットスコープ
ＴＳ１ 第１ガイド画像
ＴＳ２ 第２ガイド画像
ＴＳ３ 第３ガイド画像

Claims (13)

1. 被撮影者の口から出る舌の画像を取得する撮像装置であって、
   前記口の周辺の画像である口元画像を表示する画像表示部と、
   前記口元画像に、前記舌の撮像範囲を示すターゲットスコープ画像を重畳して前記画像表示部に表示する重畳表示部と、
   前記画像表示部に表示されている画像のうち、前記ターゲットスコープ画像に基づいて設定される領域の画像を範囲画像として撮像する撮像部と、
   を有してなり、
   前記ターゲットスコープ画像は、
   前記舌が出る前の前記口に位置づけられる第１ガイド画像と、
   前記口から出た前記舌に位置づけられる第２ガイド画像と、
   を含む、
   ことを特徴とする撮像装置。
2. 前記範囲画像の一部の領域を特定する領域特定情報を記憶する記憶部と、
   前記領域特定情報に基づいて、前記範囲画像の一部の領域を抽出画像として抽出する画像抽出部と、
   を備える、
   請求項１記載の撮像装置。
3. 前記ターゲットスコープ画像は、
   前記舌の輪郭線を模した閉曲線、
   を含み、
   前記画像抽出部は、前記範囲画像が撮像されたときの前記ターゲットスコープ画像が重畳された前記範囲画像を用いたセグメンテーション法により、前記抽出画像を抽出する、
   請求項２記載の撮像装置。
4. 前記ターゲットスコープ画像は、
   前記舌が出る前の前記口の中央に位置づけられる第３ガイド画像、
   を含み、
   前記第１ガイド画像と前記第３ガイド画像のそれぞれは、相互に直交する直線である、
   請求項１記載の撮像装置。
5. コンピュータを、請求項１記載の撮像装置として機能させる、
   ことを特徴とする撮像プログラム。
6. 被撮影者の舌の画像である 撮像画像と、複数の色テンプレートと、前記複数の色テンプレートのいずれかの組合せで構成される色テンプレート集合ごとの正解情報と、が記憶される記憶部と、
   前記撮像画像を構成する画素ごとの画素情報を特定する画素情報特定部と、
   前記画素ごとに、前記画素情報に基づいて、前記複数の色テンプレートの中から所定の色テンプレートを置換テンプレートとして特定する色テンプレート特定部と、
   前記画素ごとに特定された前記置換テンプレートの中から所定の色テンプレートを特徴テンプレート集合の要素として選択する色テンプレート選択部と、
   前記特徴テンプレート集合を構成する色テンプレートに基づいて、前記色テンプレート集合ごとの正解情報の中から所定の正解情報を特定する正解情報特定部と、
   前記特定された正解情報を判定結果として出力する判定結果出力部と、
   を有してなる、
   ことを特徴とする画像判定装置。
7. 前記画素情報特定部は、前記画素ごとの画素値を前記画素情報として特定する、
   請求項６記載の画像判定装置。
8. 前記記憶部は、前記色テンプレートごとの設定値を記憶し、
   前記色テンプレート特定部は、前記設定値に基づいて、前記画素ごとに前記画素と前記色テンプレートとの距離を算出して、前記画素ごとに最接近する前記色テンプレートを、前記画素ごとの前記置換テンプレートとして特定する、
   請求項７記載の画像判定装置。
9. 前記色テンプレート選択部は、前記置換テンプレートごとに、前記置換テンプレートに対応づけられた前記画素の総数を集計し、前記総数に基づいて、前記特徴テンプレート集合を構成する前記色テンプレートを選択する、
   請求項６記載の画像判定装置。
10. 前記色テンプレート選択部は、前記総数の多少に基づいて、前記特徴テンプレート集合を構成する前記色テンプレートを選択する、
    請求項９記載の画像判定装置。
11. 前記正解情報は、前記被撮影者の健康に関する医師による診断結果であり、
    前記判定結果出力部は、複数の前記診断結果の中から、前記舌の画像に含まれる前記画素ごとの前記画素情報に基づいて特定される前記診断結果を出力する、
    請求項６記載の画像判定装置。
12. コンピュータを、請求項６記載の画像判定装置として機能させる、
    ことを特徴とする画像判定プログラム。
13. 画像を撮像する撮像装置と、
    前記画像を判定する画像判定装置と、
    を有してなり、
    前記撮像装置は、請求項１記載の撮像装置であり、
    前記画像判定装置は、請求項６記載の画像判定装置であり、
    前記画像判定装置の記憶部は、前記画像を記憶し、
    前記画像判定装置の画素情報特定部は、前記画像内の舌領域を構成する画素ごとの画素情報を特定する、
    ことを特徴とする画像処理システム。
    

Images