JP5434043B2 - 画像分析方法、画像分析装置及び画像分析プログラム - Google Patents

Description

本発明は、画像分析方法、画像分析装置及び画像分析プログラムに係り、特に食事の画像を分析する画像分析方法、画像分析装置及び画像分析プログラムに関する。

近年、医療保険者に義務付けられた特定健診・特定健診指導制度では、所定年齢の被保険者に対して特定健康診断が行われている。さらに、特定健康診断の結果数値により内臓脂肪症候群の恐れのある対象者に対し、所定期間に渡る栄養や運動などの生活習慣指導が行われている。

しかし、特定健康診断は対象人数が１６００万人とも推定される。また、日々の生活習慣改善への行動変容を起こす具体的な方策は地道な指導以外にない。さらに、指導に当たるとされる保健師・管理栄養士等（以下、単に指導者と呼ぶ）の数は圧倒的に不足しているといわれている。したがって、指導者による特定健診指導は、ネットワーク経由で行うことが望ましいと考えられている。

例えばネットワーク経由で行う特定健診指導としては、対象者が携帯電話等で撮影した食事の画像を所定のサーバに送信し、指導者が所定のサーバに送信された食事の画像から目視で栄養分析を行うことが考えられている。指導者は食事の画像から目視で栄養分析を行うが、対象者の撮影方法や料理によって、料理の量や食材の大きさが分かりづらいことがあった。

そこで、従来は既知のサイズであるもの（例えばゲージや画面タップ入力用の専用ペンなど）を食事と共に撮影して画像に写し込むことで、料理の量や食材の大きさを分かりやすくしていた（例えば特許文献１参照）。
特開２００３−６７４９６号公報

しかしながら、既知のサイズであるもの（例えばゲージや画面タップ入力用の専用ペンなど）を食事と共に撮影して画像に写し込む場合には、外食等であっても既知のサイズであるものを常に携帯していなければならないという問題があった。

本発明の一実施形態は、上記の点に鑑みなされたもので、既知のサイズであるものを食事と共に画像に写し込まなくても、画像から食材の大きさを容易に推定させることができる画像分析方法、画像分析装置及び画像分析プログラムを提供することを目的とする。

上記課題を解決するため、本発明の一実施形態は、コンピュータによって実行される画像分析方法であって、前記コンピュータが、食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定ステップと、食材の大きさを記録した第二の記録手段を参照し、前記第一の特定ステップにおいて特定された食材の大きさを特定する第二の特定ステップと、前記第二の特定ステップにおいて特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを前記画像上で視覚的に推定させる基準を、前記画像と共に表示する表示ステップとを実行することを特徴とする。

なお、本発明の一実施形態の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

上述の如く、本発明の一実施形態によれば、既知のサイズであるものを食事と共に画像に写し込まなくても、画像から食材の大きさを容易に推定させることができる画像分析方法、画像分析装置及び画像分析プログラムを提供可能である。

次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。

図１は、本実施例の特定健診指導システムの一実施例の構成図である。図１の特定健診指導システム１は、管理サーバ１０，対象者用クライアント２０，指導者用クライアント３０が、インターネットやＬＡＮ等のネットワーク４０経由でデータ通信可能に接続されている。

対象者用クライアント２０は特定健診指導の対象者（以下、単に対象者と呼ぶ）が利用する端末である。なお、対象者用クライアント２０は対象者の代わりに、対象者の食事の世話をする者が利用してもよい。対象者用クライアント２０は、食事の画像を撮影する為の撮影機能，撮影した食事の画像をネットワーク４０経由で管理サーバ１０に送信する為のデータ通信機能を有する。対象者用クライアント２０は、例えば撮影機能，データ通信機能を有する携帯電話，ＰＤＡ（Personal Digital Assistants）等の端末である。対象者用クライアント２０が有する撮影機能，データ通信機能は拡張スロットやＵＳＢ等の各種インターフェース（Ｉ／Ｆ）により選択的に追加するものであってもよい。

指導者用クライアント３０は特定健診指導の指導者が利用する端末である。指導者用クライアント３０は例えばパーソナルコンピュータ等の端末であり、対象者が撮影した食事の画像をネットワーク４０経由で管理サーバ１０から受信する為のデータ通信機能，受信した食事の画像を表示する表示機能等を有する。なお、指導者用クライアント３０が管理サーバ１０から受信した食事の画像は、後述のように管理サーバ１０でゲージが追加表示されたものとなる。

ゲージは、食事の画像に含まれる食材の原寸大の大きさを画像上で視覚的に推定させる基準となるものである。指導者は指導者用クライアント３０に表示された食事の画像からゲージを参考に料理の量や食材の大きさを推定し、対象者の栄養分析を行う。

管理サーバ１０は対象者が撮影した食事の画像をネットワーク４０経由で対象者用クライアント２０から受信すると共に、食事の画像をネットワーク４０経由で指導者用クライアント３０へ送信する為のデータ通信機能，対象者が撮影した食事の画像にゲージを追加表示する為の画像分析機能を有する。管理サーバ１０が有する画像分析機能の詳細は後述する。

図２は管理サーバの一例のハードウェア構成図である。図２の管理サーバ１０は、それぞれバスＢで相互に接続されている入力装置５１，出力装置５２，ドライブ装置５３，補助記憶装置５４，主記憶装置５５，演算処理装置５６及びインターフェース装置５７を有するように構成される。

入力装置５１はキーボードやマウスなどで構成され、各種信号を入力するために用いられる。出力装置５２はディスプレイ装置などで構成され、各種ウインドウやデータ等を表示するために用いられる。インターフェース装置５７は、モデム，ＬＡＮカードなどで構成されており、ネットワーク４０に接続する為に用いられる。

画像分析機能を実現する画像分析プログラムは、管理サーバ１０を制御する各種プログラムの少なくとも一部である。画像分析プログラムは例えば記録媒体５８の配布やネットワーク４０からのダウンロードなどによって提供される。画像分析プログラムを記録した記録媒体５８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

画像分析プログラムを記録した記録媒体５８がドライブ装置５３にセットされると、画像分析プログラムは記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。ネットワーク４０からダウンロードされた画像分析プログラムは、インターフェース装置５７を介して補助記憶装置５４にインストールされる。

補助記憶装置５４は、インストールされた画像分析プログラムを格納すると共に、必要なファイル，データ等を格納する。主記憶装置５５は、管理サーバ１０又は画像分析プログラムの起動時に補助記憶装置５４から画像分析プログラムを読み出して格納する。画像分析プログラム以外の管理サーバ１０を制御する各種プログラムも画像分析プログラムと同様に主記憶装置５５に格納される。そして、演算処理装置５６は主記憶装置５５に格納された画像分析プログラムを含む各種プログラムに従って、後述するような各種処理を実現している。

図３は管理サーバの一例の機能ブロック図である。図３の管理サーバ１０は、画像分析部６０，データ通信部６１，食材マスタテーブル６２，食材テーブル６３，食材ゲージマスタテーブル６４，類似食材ゲージマスタテーブル６５，画像ＤＢ６６，認証テーブル６７を含む構成である。また、画像分析部６０は、輪郭処理部７１，食材判定部７２，食材テーブル作成部７３，基準食材決定部７４，ゲージ表示追加部７５を含む構成である。

管理サーバ１０の認証テーブル６７は、対象者及び指導者を識別する為の例えばＩＤ及びパスワードが記録されている。データ通信部６１は、ネットワーク４０経由で対象者用クライアント２０又は指導者用クライアント３０によるログイン要求があると、ＩＤ及びパスワードの入力を求め、対象者用クライアント２０又は指導者用クライアント３０に入力されたＩＤ及びパスワードの組が認証テーブル６７に記録されているときにログインを許可する。

ログイン後、データ通信部６１は対象者用クライアント２０から対象者の食事の画像を受信すると、画像ＤＢ６６に保存する。また、データ通信部６１は指導者用クライアント３０から対象者の食事の画像を要求されると、後述のようにゲージが追加表示された対象者の食事の画像を画像ＤＢ６６から読み出し、指導者用クライアント３０へ送信する。

以下、図３に示す管理サーバ１０の画像分析の処理手順について、フローチャートを参照しつつ説明していく。図４〜図６は、管理サーバの画像分析の処理手順を表した一例のフローチャートである。なお、管理サーバ１０における画像分析の処理は、例えば対象者用クライアント２０から受信した対象者の食事の画像が画像ＤＢ６６に保存されることを契機に開始してもよいし、指導者用クライアント３０から対象者の食事の画像を要求されることを契機に開始してもよい。

ステップＳ１に進み、輪郭処理部７１は対象者の食事の画像（取得画像データ）を画像ＤＢ６６から読み出し、取得画像データ内の各輪郭を判定する。ステップＳ２に進み、輪郭処理部７１は取得画像データより各輪郭部を切取る（切出す）。

ステップＳ３に進み、食材判定部７２はステップＳ２で切り取った輪郭部と図７に示すような食材マスタテーブル６２とを比較する。図７は食材マスタテーブルの一例の構成図である。図７の食材マスタテーブル６２は、項番，食材名，色コード１，色コード２及び形状をデータ項目として有する。食材マスタテーブル６２は、食材の色や形状などの食材の特徴条件を表すものである。

食材判定部７２は、ステップＳ２で切り取った輪郭部の色コード，形状と、食材マスタテーブル６２の色コード１，色コード２及び形状とを比較（マッチング）する。ステップＳ４に進み、食材判定部７２はステップＳ３の比較結果に基づいて、ステップＳ２で切り取った輪郭部の色コード，形状と合致する食材名を判定すると共に、ステップＳ２で切り取った輪郭部の位置情報を取得する。なお、位置情報は例えば画像を１００分割した相対位置で表される。

ステップＳ５に進み、食材テーブル作成部７３はステップＳ２で切り取った輪郭部の食材の食材名，位置情報を食材テーブル６３に書込む。図８は食材テーブルの一例の構成図である。図８の食材テーブル６３は、項番，食材名，サイズ１（縦），サイズ２（横），サイズ３（高さ），数量及び位置（座標）をデータ項目として有する。サイズ３（高さ）は２次元画像のため取得できない場合、書き込まれなくてもよい。

ステップＳ６に進み、基準食材決定部７４は図９に示すような食材ゲージマスタテーブル６４を参照し、基準食材を取得する。図９は食材ゲージマスタテーブルの一例の構成図である。図９の食材ゲージマスタテーブル６４は、項番，食材名，基準サイズ，サイズ範囲，補正範囲，色コード１，色コード２，形状及び優先順をデータ項目として有する。食材ゲージマスタテーブル６４は、大きさのばらつきが少ないと考えられる食材を基準食材として記録しているものである。

ステップＳ７に進み、基準食材決定部７４はステップＳ３で判定された食材とステップＳ６で取得した基準食材とのマッチング処理を行う。基準食材決定部７４は、ステップＳ６で取得した基準食材のうち、ステップＳ３で判定された食材と合致する基準食材を抽出する。すなわち、基準食材決定部７４は対象者の食事の画像に写っている食材から基準食材として利用できる食材を抽出する。

ステップＳ８に進み、基準食材決定部７４はステップＳ７で複数の基準食材が抽出されたか否かを判定する。ステップＳ７で複数の基準食材が抽出されたと判定すると、基準食材決定部７４はステップＳ９に進み、ステップＳ７で抽出された複数の基準食材の優先順を参照し、優先順が最上位の食材を基準とする。そして、基準食材決定部７４は基準とした食材の基準サイズを利用して仮ゲージを作成する。

例えば図９の食材ゲージマスタテーブル６４に含まれる食材「鶏卵の黄身」を基準とすると、基準食材決定部７４は食材「鶏卵の黄身」の基準サイズ「４０ｍｍ」と、ステップＳ２で切り取られた輪郭部のうち基準とした食材の画像上での大きさとに基づき、画像に含まれる食材の原寸大の大きさを計測する為の仮ゲージ（例えば１００ｍｍの長さ）を作成する。言い換えれば仮ゲージは画像の縮尺を表している。

ステップＳ１０に進み、基準食材決定部７４はステップＳ７で抽出された複数の基準食材の優先順を参照し、優先順が２番目の食材の大きさをステップＳ９で作成した仮ゲージで計測する。

例えば図９の食材ゲージマスタテーブル６４に含まれる食材「鶏卵の黄身」を基準とした場合、基準食材決定部７４はステップＳ２で切り取られた輪郭部のうち優先順が２番目の食材「きゅうり輪切り」に対応する輪郭部を仮ゲージで計測する。

ステップＳ１１に進み、基準食材決定部７４は食材ゲージマスタテーブル６４を参照して優先順が２番目の食材のサイズ範囲を特定し、特定したサイズ範囲にステップＳ１０で計測した食材の大きさが含まれるか否かを判定する。特定したサイズ範囲にステップＳ１０で計測した食材の大きさが含まれていなければ、基準食材決定部７４はステップＳ１２に進む。

ステップＳ１２では、基準食材決定部７４が、食材ゲージマスタテーブル６４を参照して優先順が２番目の食材の補正範囲を特定し、特定した補正範囲にステップＳ１０で計測した食材の大きさが含まれるか否かを判定する。特定した補正範囲にステップＳ１０で計測した食材の大きさが含まれていれば、基準食材決定部７４はステップＳ１３に進む。

ステップＳ１３では、基準食材決定部７４が、食材ゲージマスタテーブル６４を参照して優先順が２番目の食材のサイズ範囲を特定し、ステップＳ１０で計測した食材の大きさが特定したサイズ範囲を超えるか、サイズ範囲以下かを判定する。

ステップＳ１０で計測した食材の大きさが特定したサイズ範囲を超えていれば、基準食材決定部７４はステップＳ１４に進み、基準とした食材のサイズを小さい方に所定値だけ補正する。一方、ステップＳ１０で計測した食材の大きさが特定したサイズ範囲以下であれば、基準食材決定部７４はステップＳ１５に進み、基準とした食材のサイズを大きい方に所定値だけ補正する。

ステップＳ１４及びＳ１５では、基準食材決定部７４が、補正により大きく又は小さくなった基準とした食材のサイズを利用して仮ゲージを再作成する。再作成した仮ゲージを利用して、基準食材決定部７４は優先順が２番目の食材の大きさを再計測する。

ステップＳ１４又はＳ１５に続いてステップＳ１６に進み、基準食材決定部７４は食材ゲージマスタテーブル６４を参照して優先順が２番目の食材のサイズ範囲を特定し、特定したサイズ範囲にステップＳ１４又はＳ１５で再計測した食材の大きさが含まれるか否かを判定する。特定したサイズ範囲にステップＳ１４又はＳ１５で計測した食材の大きさが含まれていなければ、基準食材決定部７４はステップＳ１１に戻り、処理を続ける。

特定したサイズ範囲にステップＳ１４又はＳ１５で計測した食材の大きさが含まれている場合、基準食材決定部７４はステップＳ１７に進む。なお、ステップＳ８において複数の基準食材が抽出されず、一つの基準食材が抽出されたと判定した場合、ステップＳ１１において、特定したサイズ範囲にステップＳ１０で計測した食材の大きさが含まれている場合も、基準食材決定部７４はステップＳ１７に進む。

そして、ステップＳ１７では、基準食材決定部７４が、基準とした食材を基準食材として決定すると共に、現在の仮ゲージをゲージとして決定する。ゲージ表示追加部７５はステップＳ１で画像ＤＢ６６から読み出した対象者の食事の画像にゲージを追加表示するように対象者の食事の画像を編集する。

ステップＳ１８に進み、食材テーブル作成部７３はステップＳ１７で決定したゲージを利用して各食材の大きさを計測し、食材テーブル６３に書き込む。また、ゲージ表示追加部７５は、ステップＳ１で画像ＤＢ６６から読み出した対象者の食事の画像に食材名を追加表示するように対象者の食事の画像を編集したあと、図４〜図６のフローチャートの処理を終了する。

一方、ステップＳ１２において、特定した補正範囲にステップＳ１０で計測した食材の大きさが含まれていなければ、基準食材決定部７４はステップＳ１９に進み、食材ゲージマスタテーブル６４を参照して優先順が２番目の食材の補正範囲を特定し、ステップＳ１０で計測した食材の大きさが特定した補正範囲以上か、補正範囲以下かを判定する。

ステップＳ１０で計測した食材の大きさが特定した補正範囲以上であれば、基準食材決定部７４はステップＳ２０に進み、図１０に示すような類似食材ゲージマスタテーブル６５を参照し、基準とした食材と同一グループの食材のうち、基準とした食材のサイズランクよりも小さいサイズランクの食材を特定し、特定した食材を新たな基準とする。

図１０は類似食材ゲージマスタテーブルの一例の構成図である。図１０に示す類似食材ゲージマスタテーブル６５は、項番，食材名，基準サイズ，サイズ範囲，色コード１，色コード２，形状及びサイズランクをデータ項目として有する。なお、類似食材ゲージマスタテーブル６５は、食材ゲージマスタテーブル６４に基準食材として記録されている食材のうち、類似した食材をグループ化して記録しているものである。

図１０の類似食材ゲージマスタテーブル６５は項番により同一グループの食材を識別できるようになっている。また、同一グループの食材はサイズランクにより大きさでランク分けされている。

ステップＳ１０で計測した食材の大きさが特定した補正範囲以下であれば、基準食材決定部７４はステップＳ２１に進み、基準とした食材と同一グループの食材のうち、基準とした食材のサイズランクよりも大きいサイズランクの食材を特定し、特定した食材を新たな基準とする。

ステップＳ２０及びＳ２１では、基準食材決定部７４が、新たな基準とした食材の基準サイズを利用して仮ゲージを再作成する。そして、基準食材決定部７４はステップＳ２０又はＳ２１に続いてステップＳ１０に戻り、処理を続ける。

図４〜図６のフローチャートに表した処理手順によれば、最初にウズラの卵黄を鶏卵の黄身として誤って判定し、鶏卵の黄身を基準の食材としたとしても、仮ゲージで計測したもやしが補正範囲を大きく外れる大きさ（巨大もやし）に計測されるため、基準の食材とした鶏卵の黄身と同一グループの食材から鶏卵の黄身よりもサイズランクが小さいウズラの卵黄が新たな基準とされる。

新たな基準としたウズラの卵黄の基準サイズを利用して仮ゲージを再作成し、再作成した仮ゲージでもやしを計測することにより、計測したもやしの大きさはサイズ範囲に入ることになる。従って、ウズラの卵黄の基準サイズを利用して再作成した仮ゲージがゲージとして決定される。

また、図４〜図６のフローチャートに表した処理手順によれば、最初に鶏卵の黄身をウズラの卵黄として誤って判定し、ウズラの卵黄を基準の食材としたとしても、仮ゲージで計測したもやしが補正範囲を大きく外れる大きさ（極小もやし）に計測されるため、基準の食材としたウズラの卵黄と同一グループの食材からウズラの卵黄よりもサイズランクが大きい鶏卵の黄身が新たな基準とされる。

図４〜図６のフローチャートに表した処理手順によれば、新たな基準とした鶏卵の黄身の基準サイズを利用して仮ゲージを再作成し、再作成した仮ゲージでもやしを計測することができる。計測したもやしの大きさがサイズ範囲に入れば、鶏卵の黄身の基準サイズを利用して再作成した仮ゲージはゲージとして決定される。

また、図４〜図６のフローチャートに表した処理手順によれば、鶏卵の黄身を基準の食材とし、仮ゲージで計測したもやしがサイズ範囲を外れる大きさのとき、基準の食材とした鶏卵の黄身の大きさを所定単位（例えば１ｍｍ）ずつ小さくする。所定単位ずつ小さくした鶏卵の黄身の大きさを利用して仮ゲージを再作成し、再作成した仮ゲージでもやしを計測することにより、計測したもやしの大きさはサイズ範囲に入ることになる。

さらに、図４〜図６のフローチャートに表した処理手順によれば、鶏卵の黄身を基準の食材とし、仮ゲージで計測したもやしがサイズ範囲を外れる大きさのとき、基準の食材とした鶏卵の黄身の大きさを所定単位（例えば１ｍｍ）ずつ大きくする。所定単位ずつ大きくした鶏卵の黄身の大きさを利用して仮ゲージを再作成し、再作成した仮ゲージでもやしを計測することにより、計測したもやしの大きさはサイズ範囲に入ることになる。

図１１は図４〜図６のフローチャートに表した処理を模式的に表した一例のイメージ図である。データ通信部６１は対象者用クライアント２０から対象者の食事の画像１００を受信する。輪郭処理部７１は画像１００内の各輪郭を判定する。輪郭処理部７１は画像１００より各輪郭部を切出す。図１１では、一例として切り出された輪郭部１０１，１０２を図示している。

食材判定部７２は、切り出した輪郭部１０１，１０２と食材マスタテーブル６２とを比較して、輪郭部１０１が食材「鶏卵の黄身」、輪郭部１０２が「ウィンナー」であると判定する。

基準食材決定部７４は判定された食材と食材ゲージマスタテーブル６４から取得した基準食材とのマッチング処理を行い、「鶏卵の黄身」を基準食材として決定する。「鶏卵の黄身」の基準サイズ「４０ｍｍ」と、切り出された輪郭部１０１の画像上での大きさとに基づき、１００ｍｍのゲージ１０３を作成する。食材テーブル作成部７３は、１００ｍｍのゲージ１０３で輪郭部１０２を計測することにより画像１０に含まれる「ウィンナー」の原寸大の大きさ８３ｍｍを計測できる。

ゲージ表示追加部７５は画像１０に１００ｍｍゲージ１０４を追加表示するように画像１０を編集する。また、ゲージ表示追加部７５は画像１０に食材名１０５を追加表示するように画像１０を編集する。食材名１０５を表示する位置は、食材テーブル６３のデータ項目「位置（座標）」に記録されている位置（座標）により判断される。

したがって、データ通信部６１は指導者用クライアント３０から対象者の食事の画像１００を要求されると、１００ｍｍゲージ１０４が追加表示された対象者の食事の画像１００を画像ＤＢ６６から読み出し、指導者用クライアント３０へ送信できる。

図１２〜図１３は管理サーバの画像分析の処理手順を表した他の例のフローチャートである。図１２〜図１３に表したフローチャートは、図４〜図６に表したフローチャートと一部を除いて同様であるため、説明を省略する。

ステップＳ３１〜Ｓ３５の処理は図４のステップＳ１〜Ｓ５と同様であるため説明を省略する。ステップＳ３６に進み、基準食材決定部７４は図１４に示すような食材ゲージマスタテーブル６４を参照し、基準食材を取得する。図１４は食材ゲージマスタテーブルの他の例の構成図である。図１４の食材ゲージマスタテーブル６４は、項番，食材名，基準サイズ，サイズ範囲，色コード１，色コード２，形状及び優先順をデータ項目として有している。図１４の食材ゲージマスタテーブル６４は図９の食材ゲージマスタテーブル６４からデータ項目「補正範囲」を削除したものである。

ステップＳ３７〜Ｓ４１の処理は図４〜図５のステップＳ７〜Ｓ１１と同様であるため説明を省略する。ステップＳ４１において、特定したサイズ範囲にステップＳ４０で計測した食材の大きさが含まれていなければ基準食材決定部７４はステップＳ４２に進む。

ステップＳ４２では、基準食材決定部７４が、ステップＳ３７で抽出された複数の基準食材の優先順を参照し、次に優先順の高い食材を基準とする。そして、基準食材決定部７４は基準とした食材の基準サイズを利用して仮ゲージを作成する。

ステップＳ４３に進み、基準食材決定部７４はステップＳ３７で抽出された複数の基準食材の優先順を参照し、次に優先順の高い食材が存在するかを判定する。次に優先順の高い食材が存在すれば、基準食材決定部７４はステップＳ４４に進み、次に優先度の高い食材の大きさをステップＳ４２で作成した仮ゲージで再計測する。

ステップＳ４５に進み、基準食材決定部７４は食材ゲージマスタテーブル６４を参照して次に優先度の高い食材のサイズ範囲を特定し、特定したサイズ範囲にステップＳ４４で再計測した食材の大きさが含まれるか否かを判定する。特定したサイズ範囲にステップＳ４４で再計測した食材の大きさが含まれていなければ、基準食材決定部７４はステップＳ４２に戻り、処理を続ける。特定したサイズ範囲にステップＳ４４で再計測した食材の大きさが含まれている場合、基準食材決定部７４はステップＳ４６に進む。

なお、ステップＳ３８において複数の基準食材が抽出されず、一つの基準食材が抽出されたと判定した場合、ステップＳ４１において、特定したサイズ範囲にステップＳ４０で計測した食材の大きさが含まれている場合、ステップＳ４３において次に優先順の高い食材が存在しない場合も、基準食材決定部７４はステップＳ４６に進む。

ステップＳ４６〜Ｓ４７の処理は図５のステップＳ１７〜Ｓ１８と同様であるため説明を省略する。図１２〜図１３のフローチャートに表した処理手順によれば、基準食材として鶏卵の黄身，プチトマト，もやしがあった場合、最初に鶏卵の黄身を基準の食材として仮ゲージを作成し、仮ゲージで計測したプチトマトがサイズ範囲を外れる大きさであったとしても、プチトマトを新たな基準の食材とすることができる。

図１２〜図１３のフローチャートに表した処理手順によれば、新たな基準としたプチトマトの基準サイズを利用して仮ゲージを再作成し、再作成した仮ゲージでもやしを計測することができる。計測したもやしの大きさがサイズ範囲に入れば、ウズラの卵黄の基準サイズを利用して再作成した仮ゲージはゲージとして決定される。

（まとめ）
上記した実施例１及び２によれば、対象者が撮影した食事の画像にゲージが写っていなくても、管理サーバ１０でゲージを追加表示することができるので、指導者は指導者用クライアント３０に表示された食事の画像からゲージを参考に料理の量や食材の大きさを推定し、対象者の栄養分析を行うことができる。

対象者にとっては、食事と一緒にゲージを写さなくてもよい為、ゲージを持ち歩く必要もなく、手間が軽減するというメリットがある。指導者にとっては、食事と一緒にゲージが写っていなくても、確実に毎食の栄養分析を行うことができ、正しい食事療法の指導が可能となるというメリットがある。

なお、食材マスタテーブル６２，食材ゲージマスタテーブル６４，類似食材ゲージマスタテーブル６５のデータ項目「色コード１」，「色コード２」，「形状」，「基準サイズ」，「サイズ範囲」，「補正範囲」は、画像分析の結果をフィードバックして修正していくこともできる。

本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
コンピュータによって実行される画像分析方法であって、
前記コンピュータが、
食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定ステップと、
食材の大きさを記録した第二の記録手段を参照し、前記第一の特定ステップにおいて特定された食材の大きさを特定する第二の特定ステップと、
前記第二の特定ステップにおいて特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを前記画像上で視覚的に推定させる基準を、前記画像と共に表示する表示ステップと
を実行することを特徴とする画像分析方法。
（付記２）
前記第二の特定ステップは、
前記第一の特定ステップにおいて複数の食材が特定された場合、食材の大きさ及び基準となる優先順を記録した前記第二の記録手段を参照して前記優先順に基づいて基準となる食材を特定し、前記基準となる食材の大きさに基づき、前記第一の特定ステップにおいて特定された複数の食材の大きさを特定し、
前記第一の特定ステップにおいて特定された複数の食材の大きさを前記基準となる食材の大きさに基づいて特定したあと、前記第二の記録手段を参照し、基準となる食材以外の食材の大きさが前記第二の記録手段に記録されている基準となる食材以外の食材の大きさの範囲内であるとき、前記基準となる食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを前記画像上で視覚的に推定させる基準を決定することを特徴とする付記２記載の画像分析方法。
（付記３）
基準となる食材以外の食材の大きさが前記第二の記録手段に記録されている基準となる食材以外の食材の大きさの範囲内でないとき、前記第二の記録手段に記録されている前記食材のうち類似した食材をグループ化して記録している第三の記録手段を参照し、前記基準となる食材と同一グループの食材を新たな基準としたあと、前記第二の特定ステップを再び処理することを特徴とする付記２記載の画像分析方法。
（付記４）
基準となる食材以外の食材の大きさが前記第二の記録手段に記録されている基準となる食材以外の食材の大きさの範囲内でないとき、前記第二の記録手段に記録されている前記食材のうち、優先順が次の食材を新たな基準としたあと、前記第二の特定ステップを再び処理することを特徴とする付記２記載の画像分析方法。
（付記５）
食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定手段と、
食材の大きさを記録した第二の記録手段を参照し、前記第一の特定手段において特定された食材の大きさを特定する第二の特定手段と、
前記第二の特定手段において特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを推定させる際の基準を、前記画像と共に表示する表示手段と
を有することを特徴とする画像分析装置。
（付記６）
コンピュータを、
食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定手段と、
食材の大きさを記録した第二の記録手段を参照し、前記第一の特定手段において特定された食材の大きさを特定する第二の特定手段と、
前記第二の特定手段において特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを推定させる際の基準を、前記画像と共に表示する表示手段と
して機能させるための画像分析プログラム。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

本実施例の特定健診指導システムの一実施例の構成図である。 管理サーバの一例のハードウェア構成図である。 管理サーバの一例の機能ブロック図である。 管理サーバの画像分析の処理手順を表した一例のフローチャート（１／３）である。 管理サーバの画像分析の処理手順を表した一例のフローチャート（２／３）である。 管理サーバの画像分析の処理手順を表した一例のフローチャート（３／３）である。 食材マスタテーブルの一例の構成図である。 食材テーブルの一例の構成図である。 食材ゲージマスタテーブルの一例の構成図である。 類似食材ゲージマスタテーブルの一例の構成図である。 図４〜図６のフローチャートに表した処理を模式的に表した一例のイメージ図である。 管理サーバの画像分析の処理手順を表した他の例のフローチャート（１／２）である。 管理サーバの画像分析の処理手順を表した他の例のフローチャート（２／２）である。 食材ゲージマスタテーブルの他の例の構成図である。

符号の説明

１ 特定健診指導システム
１０ 管理サーバ
２０ 対象者用クライアント
３０ 指導者用クライアント
４０ ネットワーク
５１ 入力装置
５２ 出力装置
５３ ドライブ装置
５４ 補助記憶装置
５５ 主記憶装置
５６ 演算処理装置
５７ インターフェース装置
５８ 記録媒体
６０ 画像分析部
６１ データ通信部
６２ 食材マスタテーブル
６３ 食材テーブル
６４ 食材ゲージマスタテーブル
６５ 類似食材ゲージマスタテーブル
６６ 画像ＤＢ
６７ 認証テーブル
７１ 輪郭処理部
７２ 食材判定部
７３ 食材テーブル作成部
７４ 基準食材決定部
７５ ゲージ表示追加部
Ｂ バス

Claims (5)

1. コンピュータによって実行される画像分析方法であって、
   前記コンピュータが、
   食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定ステップと、
   食材の大きさを記録した第二の記録手段を参照し、前記第一の特定ステップにおいて特定された食材の大きさを特定する第二の特定ステップと、
   前記第二の特定ステップにおいて特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを前記画像上で視覚的に推定させる基準を、前記画像と共に表示する表示ステップと
   を実行することを特徴とする画像分析方法。
2. 前記第二の特定ステップは、
   前記第一の特定ステップにおいて複数の食材が特定された場合、食材の大きさ及び基準となる優先順を記録した前記第二の記録手段を参照して前記優先順に基づいて基準となる食材を特定し、前記基準となる食材の大きさに基づき、前記第一の特定ステップにおいて特定された複数の食材の大きさを特定し、
   前記第一の特定ステップにおいて特定された複数の食材の大きさを前記基準となる食材の大きさに基づいて特定したあと、前記第二の記録手段を参照し、基準となる食材以外の食材の大きさが前記第二の記録手段に記録されている基準となる食材以外の食材の大きさの範囲内であるとき、前記基準となる食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを前記画像上で視覚的に推定させる基準を決定することを特徴とする請求項１記載の画像分析方法。
3. 基準となる食材以外の食材の大きさが前記第二の記録手段に記録されている基準となる食材以外の食材の大きさの範囲内でないとき、前記第二の記録手段に記録されている前記食材のうち類似した食材をグループ化して記録している第三の記録手段を参照し、前記基準となる食材と同一グループの食材を新たな基準としたあと、前記第二の特定ステップを再び処理することを特徴とする請求項２記載の画像分析方法。
4. 食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定手段と、
   食材の大きさを記録した第二の記録手段を参照し、前記第一の特定手段において特定された食材の大きさを特定する第二の特定手段と、
   前記第二の特定手段において特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを推定させる際の基準を、前記画像と共に表示する表示手段と
   を有することを特徴とする画像分析装置。
5. コンピュータを、
   食材の色と形状とを含む特徴条件を記録した第一の記録手段を参照し、画像から前記特徴条件を満たす食材を特定する第一の特定手段と、
   食材の大きさを記録した第二の記録手段を参照し、前記第一の特定手段において特定された食材の大きさを特定する第二の特定手段と、
   前記第二の特定手段において特定された食材の大きさに基づいて、前記画像に含まれる食材の原寸大の大きさを推定させる際の基準を、前記画像と共に表示する表示手段と
   して機能させるための画像分析プログラム。

Images