JP4496624B2 - 食事管理支援システム及び食事管理支援方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、保健分野、医療分野、福祉分野等において利用することができる食事管理支援システムおよび食事管理支援方法に関するものであり、特に生活習慣病の罹患に対応するための食事管理や健康的痩身の手段として食事管理が必要な要管理者の食事管理を支援するシステムおよび方法に関するものである。
【０００２】
【従来の技術】
近年の急速な高齢化の進行により、我が国の医療財政は逼迫しており、その対応が求められている。政府では、国民への医療費負担を増加させるとともに、基本的方針として、生活習慣病にターゲットを据え、罹病率や死亡率に具体的な数値目標を設けることを特徴とする「健康日本２１計画」を２００１年度開始に向けて作成中である。糖尿病は生活習慣病に関連する疾患の代表であり、とくに人口の高齢化、社会環境の悪化、ストレスの増大、運動不足、食事内容の西欧化などは糖尿病の罹病率、有病率の増大につながっている。
【０００３】
また、近年特に若者達の間で、ダイエットが流行している。ダイエットとは食餌療法、制限食、減食を意味し、食事制限(摂取エネルギーと消費エネルギーのバランスを取ること)によって体重を減量することを意味するのであるが、その本質的なところは、単に体重を減らすのではなく、筋肉や骨を減らすことなく余分な体脂肪を減らすことであるといわれている。
【０００４】
糖尿病の予防と治療の基本は、従来いわれてきたように、食事・運動・休養を中心とした生活指導であり、それを補完し、さらに病態の回復をもたらす薬物治療である。なかでも、栄養食事指導の重要性は不動のものであることはいうまでもない。そこで、特に糖尿病の予防と治療のために、コンピュータもしくは情報システムを利用した健康管理システムまたは栄養管理システムがいくつか提案されている。
【０００５】
これらの従来の健康管理システムまたは栄養管理システムにあっては、要管理者が利用する端末と管理装置から構成されて要管理者の食事管理を支援する食事管理支援システムである。これらのシステムは、要管理者の食事に関する自己管理を支援するものであるが、食事管理においては、食事管理を必要とする要管理者自身が全食事のメニューを決定するわけではないことが多い。たとえば要管理者が会社員である場合の食事（特に夕食）は、家庭に要管理者の食事を主として世話する者（支援者）がおり、この支援者がメニューを決定することが多い。この場合、支援者は医療従事者の指示によるところの決められた栄養素量の範囲で毎日料理を作らねばならず、その労力は大変大きい。特に、要管理者が食事管理を始めたばかりの頃は、支援者も食品交換表等を用いた食事管理方法を習得しなければならないとともに、自分が調理する毎日の献立に対して良いか悪いかの判断を自分自身で下すことができず、とても不安な毎日を送ることになる。また食品交換表を用いた食事管理においては、計量秤を利用して食材をいちいち計量せねばならず、毎食調理するたびに行わねばならないその作業は、支援者にとってたいへん煩わしいものであった。
【０００６】
また、従来の既存のシステムでは、食事管理の精度も非常に悪かった。例えば、要管理者が会社員であって昼食が外食の場合、支援者は要管理者が昼食に何をどれだけ食べたかわからず、食事内容を完全に把握することが困難であるために要管理者の健康に対して非常に不安感をいだいているのが実状であり、また要管理者が1日あたりの摂取栄養素の制限を受けているにもかかわらず、支援者は要管理者の昼食の栄養素量を把握できなかったために、夕食に何をどれだけ作ってよいのかわからず、非常に困惑していた。
【０００７】
すなわち、従来の既存のシステムでは、あくまで食事管理を必要とする要管理者の自己管理を前提としたものであり、要管理者の食事の世話をする者が別にいるとともにこの支援者の負担がきわめて大きいという視点が欠落したものであった。
【０００８】
さらに食事管理の精度に関していえば、特開平１０−２９５６５１号公報にボタン操作により食事内容を入力することができる端末装置が記載されているが、この従来例は例えば、トーストとコーヒーを「１セット」、かつ井を「１人前」、味噌汁を「２杯」などといった単位で入力するため、食事内容の量を正確には規定することができず、食事管理の精度は非常に悪かった。
【０００９】
更に、糖尿病に注目するならば、要管理者および支援者は、年齢的に４０〜５０歳代の者が多く、一般的にコンピュータ等の情報機器操作に関し非常に不慣れである。このため複雑な機器操作を要求する従来のシステムでは、食事管理を継続してもらえないという問題があったため、操作方法の改善が望まれていた。
【００１０】
上記の問題点に鑑みて、食事管理を必要とする要管理者の食事メニューを決定する支援者（要管理者の食事を世話する者）に適切な支援情報を提示して支援者の負担を軽減することができる食事管理支援システムおよび食事管理支援方法を提供することを主眼とし、さらに要管理者の食事内容と食事内容に対する正確な分析結果を、要管理者が食事を摂取した時にほぼリアルタイムに支援者に対して提供可能であり、また情報機器に不慣れな要管理者および支援者でも簡単にデータ入力することができる食事管理支援システムとして、要管理者が使用する要管理者端末装置が撮像手段および撮像した画像データを送信する画像データ送信手段を備えて食事内容を画像データで管理装置に送信するものであり、管理装置は上記端末装置から送信された画像データを受信し、画像データをデータ蓄積手段に蓄積するとともに、画像解析作業員端末装置に画像データを転送し、この画像から画像解析作業員に要管理者の食事内容を判断してもらうとともに栄養素量に変換してもらい、再び管理装置のデータ蓄積手段に蓄積するとともに、契約下にある栄養士や医療従事者といった専門資格者のもとに画像データおよび解析補助員による栄養解析結果を転送し、専門資格者による食事管理アドバイスを専門資格者端末装置に入力してもらい、三度管理装置のデータ蓄積手段に蓄積するとともに、要管理者または支援者に対して、分析結果を返信するという、食事管理支援システムおよび方法が提案されている。
【００１１】
【発明が解決しようとする課題】
しかしながら上記のような食事管理支援システムおよび方法においては、画像解析作業員が食事を撮影した画像から食事内容を判断して栄養素量に変換する場合、メニューや食材を判断し、データベースを検索して登録する処理に１食約１０分程度の時間がかかっていたため、画像解析作業員の人件費時給６００円×１０分／食×３食／日×３０日＝９００００円／月以上の費用負担を要管理者に強いなければならず、システム普及の大きな阻害要因になっていた。そこで、食事を撮影した画像をスペクトル分解して予め蓄積された画像スペクトルデータベースと照合して、食事を特定する方法が提案されているが、画像に写っているテーブルクロス等の背景やお皿等の器、あるいは撮影の角度が少し変わるとスペクトルは全く異なってしまうため、結局画像解析作業員がマニュアルでデータベースを検索しなおさなければならないという問題があった。
【００１２】
本発明は上記の点に鑑みてなされたものであり、画像解析作業員の作業効率を大幅に向上させ、画像解析作業員の人権費を大幅に削減し、システム利用者である要管理者及び食事支援者に対するサービス利用価格を大幅に低減することができる食事管理支援システム及び食事管理支援方法を提供することを課題とするものである。
【００１３】
【課題を解決するための手段】
上記課題を解決するために本発明に係る食事管理支援システムは、食事管理の必要な要管理者が要管理者端末装置３に入力した食事データを、ネットワークを介して受信した管理装置１において蓄積及び分析し、この分析結果を要管理者端末装置または要管理者の食事メニューを決定する支援者用の支援者端末装置４に対してネットワーク２を通じて提示する食事管理支援システムであり、要管理者端末装置３は、要管理者が摂取する食事を撮影するための撮像手段５と、要管理者が摂取する食事を撮影した画像データを管理装置１に送信するための画像データ送信手段６を備え、管理装置１は、画像データ受信手段１１と、画像データ受信手段１１が受信した画像データを画像解析作業員操作画面に比較元画像３２として表示する画像データ表示手段１６と、上記画像解析作業員操作画面に表示された比較元画像３２上に、描画して領域を特定するための画像内領域描画手段１９と、上記により特定した領域内の画像の各画素の位置座標情報を取得するための画像内特定領域情報取得手段２０とを備えた画像内特定領域抽出手段１８と、抽出された特定の領域の色情報を取得して画像スペクトル分解を行うための画像スペクトル分解手段２１と、予め食事内容をスペクトル分解したデータが保存されている画像スペクトル蓄積手段２９と、新たに分解された画像スペクトルデータと、画像スペクトル蓄積手段２９を検索して得られた画像スペクトルデータを比較して一致度を計算し点数化することで一致度の高いもののリストを作成するための画像スペクトル照合手段２２と、上記照合結果である照合結果リストを上記比較元画像３２を表示する画像解析作業員操作画面に表示するための照合結果リスト表示手段２８と、表示された照合結果リスト中から比較元画像３２と一致する画像を選択して登録ボタンが押されることにより該選択された画像に対応する栄養解析結果を栄養解析結果履歴蓄積手段１４から読み出して、日時及び食事種別の付加情報と共に栄養解析結果履歴蓄積手段１４に蓄積するための解析結果登録手段１５とを備え、作業員が、上記照合結果リストの中に比較元画像３２と一致するものがないと判断した場合に、作業員の操作によって、比較元画像３２に映っているメニュー又は食材について、該メニュー又は食材それぞれ毎に栄養解析をした対応する項目を検索するための栄養解析手段１７を備え、該栄養解析手段１７による解析の結果を上記栄養解析結果履歴蓄積手段１４に登録する解析結果登録手段１５を備えると共に、栄養解析結果履歴蓄積手段１４への上記解析の結果の登録と同時に、比較元画像３２と栄養解析結果を関連付けて画像スペクトル蓄積手段２９に蓄積する画像スペクトル登録手段３０を備えることを特徴とするものである。
【００１４】
このような構成とすることで、要管理者端末装置３から管理装置１に送信された画像データを、画像解析作業員操作画面に比較元画像３２として表示し、画像内特定領域抽出手段１８により、比較元画像３２の特定の領域を抽出し、画像スペクトル分解手段２１により抽出された特定の領域の色情報を取得して画像スペクトル分解を行い、この新たに分解された画像スペクトルデータと画像スペクトル蓄積手段２９に蓄積されているデータを画像スペクトル照合手段２２により照合して一致度を計算し点数化することで一致度の高いもののリストを作成し、照合結果リスト３０を上記比較元画像３２を表示する画像解析作業員操作画面に表示し、表示された照合結果リスト中から比較元画像３２と一致する画像を選択して登録ボタンが押されることにより該選択された画像に対応する栄養解析結果を栄養解析結果履歴蓄積手段１４から読み出して、日時及び食事種別の付加情報と共に栄養解析結果履歴蓄積手段１４に蓄積することができ、また、照合結果リスト３８の中に比較元画像３２と一致するものがない場合、比較元画像３２に映っているメニュー又は食材について、該メニュー又は食材それぞれ毎に栄養解析をした対応する項目を検索するための栄養解析手段３４を備えているので、作業員が、管理装置１に備わっている画像データ表示手段と、栄養解析手段３４とを表示して管理装置１の処理で判定できなかったメニュー又は食材の検索を行って栄養解析を行うことができる。また、栄養解析手段１７による解析の結果を上記栄養解析結果履歴蓄積手段１４に登録する解析結果登録手段１５を備えると共に、栄養解析結果履歴蓄積手段１４への上記解析の結果の登録と同時に、比較元画像３２と栄養解析結果を関連付けて画像スペクトル蓄積手段２９に蓄積する画像スペクトル登録手段３０を備えるので、次回照合の際の比較の対象として利用でき、半自動化できる確率を次第に高くすることができる。このように、本発明は、簡単なシステム構成で従来栄養解析手段１７を用いて行っていた処理と同等の処理を半自動化することができる。
【００１５】
また、本発明の食事管理支援方法は、食事管理の必要な要管理者が要管理者端末装置３に入力した食事データを、ネットワークを介して受信した管理装置１において蓄積及び分析し、この分析結果を要管理者端末装置３または要管理者の食事メニューを決定する支援者用の支援者端末装置４に対してネットワークを通じて提示する食事管理支援方法であり、要管理者が摂取する食事を撮影した画像データを管理装置１に送信し、管理装置１側では要管理者端末装置３から送られてくる画像データを受信し、蓄積手段への画像データ登録処理を行った後、食事画像データを栄養素量情報に変換する栄養解析処理が画像解析作業員によって蓄積手段から参照される要管理者が摂取した食事画像データを閲覧しながら行われ、その結果を蓄積手段および閲覧手段に登録することにより、分析結果を要管理者端末装置３または要管理者の食事メニューを決定する支援者用の支援者端末装置４に対してネットワークを通じて提示する方法において、まず管理装置１において受信した画像データを画像解析作業員操作画面に比較元画像３２として表示し、上記画像解析作業員操作画面に表示した比較元画像３２上における作業員の描画に基づいて該描画により特定された領域内の画像の各画素の位置座標情報を取得する画像内特定領域情報取得処理を行い、次に、抽出された特定の領域の色情報を取得して画像スペクトル分解を行う画像スペクトル分解処理を行い、次に、新たに分解された画像スペクトルデータと、画像スペクトル蓄積手段２９を検索して得られた画像スペクトルデータを比較して一致度を計算し点数化することで一致度の高いもののリストを作成する画像スペクトル照合処理を行い、次に、上記照合結果である照合結果リスト３８を上記比較元画像３２を表示する画像解析作業員操作画面に表示する画像スペクトル照合結果表示処理を行い、次に、作業員により表示された照合結果リスト３８中から比較元画像３２と一致する画像が選択されて登録ボタンが押された場合に、該選択された画像に対応する栄養解析結果を栄養解析結果履歴蓄積手段１４から読み出して、日時及び食事種別の付加情報と共に栄養解析結果履歴蓄積手段１４に蓄積する処理を行い、作業員が、上記照合結果リスト３８の中に比較元画像３２と一致するものがないと判断した場合に、比較元画像３２に映っているメニュー又は食材について、管理装置１に備えた栄養解析手段１７を用いて上記メニュー又は食材それぞれ毎に栄養解析をした対応する項目を作業員が検索することで得られた栄養解析の結果を、解析結果登録手段１５により上記栄養解析結果履歴蓄積手段１４に登録する処理を行うと共に、画像スペクトル登録手段により栄養解析結果履歴蓄積手段１４への上記解析の結果の登録と同時に、比較元画像３２と栄養解析結果を関連付けて画像スペクトル蓄積手段２９に蓄積する処理を行うことを特徴とする。
【００１６】
このような方法を採用することで、簡単な方法で上記のように従来栄養解析手段１７を用いて行っていた処理と同等の処理を半自動化することができるものであり、しかも、画像スペクトル分解に当たって、受信した画像データの特定の領域を抽出する画像特定領域抽出を行い、次に抽出された特定の領域の色情報を取得し、画像スペクトル分解を行う画像スペクトル分解処理を行うので、画像に写っているテーブルクロス等の背景の影響が極力ないようにできるものである。
【００１７】
【発明の実施の形態】
以下本発明の実施形態を添付図面に基づいて説明する。
【００１８】
図１は食事管理支援システム概要図、図２は要管理者端末装置の構成を示す概要図、図３は支援者端末装置の構成を示す概要図、図４は１日分栄養分析結果の例を示す説明図、図５は１日分栄養分析結果に対するアドバイスの例を示す説明図、図６は夕食メニュー決定用栄養分析結果の例を示す説明図、図７は夕食メニュー決定用アドバイスの例を示す説明図、図８は管理装置のうち画像解析作業員が関係する部分の構成図、図９は画像解析作業員操作画面、図１０は画像スペクトル分解成分例の表示図、図１１は画像内特定領域抽出による画像スペクトル照合処理フロー図である。
【００１９】
図1に示すこの食事管理支援システムは、管理装置1を核とし、インターネット網、パケット型無線網、公衆デジタル回線網等のネットワーク（通信網）２を通じて管理装置1にアクセスすることができる要管理者端末装置３と支援者端末装置４からなるものである。
【００２０】
要管理者端末装置３は、小型且つ軽量で要管理者が持ち運びできるようになっており、要管理者が外出して食事を取った場合にも、要管理者端末装置３に食事データの入力ができるようになっている。また図２に示すように、要管理者端末装置３には撮像手段５、画像データ送信手段６、分析結果・アドバイスデータ受信手段７、分析結果・アドバイスデータ表示手段８を備えており、要管理者は食事を摂取する際に、撮像手段５によりこれから摂取しようとする食事内容を撮影し、画像データ送信手段６により撮像した画像データを管理装置１に送信するようになっている。また、管理装置１から送信された分析結果・アドバイスデータを分析結果・アドバイスデータ受信手段７で受信し、分析結果・アドバイスデータ表示手段８により食事管理の分析結果およびアドバイスを閲覧できるようになっている。
【００２１】
支援者端末装置４は、図３に示すように、分析結果・アドバイスデータ受信手段９と分析結果・アドバイス表示手段１０を備えており、管理装置１からの分析結果・アドバイスデータを分析結果・アドバイスデータ受信手段９で受信し、分析結果・アドバイス表示手段１０で表示できるようになっている。
【００２２】
ところで、一般に食事療法と呼ばれる食事管理においては、要管理者の１日あたり摂取カロリー量は制限されており、医療従事者が定める指示量に基づいて、食事管理を行う。そのため食事支援者は、調理する際に計量秤を用いて食材を計量し、重量をカロリーに換算して摂取制限量を守らねばならず、大変わずらわしかったが、この食事管理支援システムでは画像を撮影して画像データを管理装置１に送信するだけで、管理装置１から分析結果・アドバイスを受け取ることができるので、簡単に食事管理を行うことができる。
【００２３】
図４、図５に分析結果・アドバイスの例である要管理者の１日分摂取量に対する栄養分析結果と専門家（ここでは管理栄養士）のアドバイスの例を示す。糖尿病の患者の食事管理においては食品交換表なるものが考案されており、表１群から表６群までの食品群の食品を予め食品群ごとに定められた指示量を守りつつ食事を摂取すると、栄養バランス良くカロリーコントロールができるようになっている。
【００２４】
図４のグラフは、１日あたりの表１群〜表６群までの食品群ごとの指示量（正６角形の角）に対して、実際の摂取量がどの程度であるかを示したグラフである。要管理者および食事支援者は、このグラフを閲覧して以後の食事摂取および食事調理の参考にする。また図５は管理栄養士のアドバイスの例であり、図４と同じく要管理者および食事支援者は、このアドバイスを食事摂取および食事調理の参考にする。例えば、図５のように表１群の食品が不足しているので、芋類を摂取し、栄養バランスをより良くしようとする。
【００２５】
その他の分析結果・アドバイスの例として、図６に示すような夕食メニュー決定用栄養分析結果や、図７に示すような夕食メニュー決定用アドバイスの例がある。このサービスは、例えば要管理者が昼間勤めに出ていて通常昼食を外食する場合、食事支援者は要管理者が昼食に何を摂取したのかわからないため夕食に何をどれだけ作ってよいかわからず適度な食事管理が行えなかった。しかし、上記のように小型軽量の要管理者端末装置３と支援者端末装置４をシステム構成として備えることで、要管理者が昼食を外食している場合でも、要管理者が外出先で管理装置1にデータを送信し、管理装置1は、夕方までに食事支援者に夕食メニュー決定用栄養分析結果とアドバイスを返信することで、指示量をしっかり守った適切な食事管理を行うことができる。また昼食だけでなく、要管理者が摂取したすべての食事内容を食事支援者は知ることができるため、適度な食事管理を行うことができる。図６の表の一番下の行は表１群〜表６群の食品群に対して、夕食で摂取すべき群の目安を示すものであり、また図７のアドバイスでは、夕食メニュー決定時の目安となる、残り摂取カロリーとおすすめメニューを提示している。
【００２６】
以上述べてきたサービス機能を効率的に実現するための管理装置１の構成の１部を図８に示す。管理装置１では、要管理者端末装置３から送られてくる食事内容を撮影した画像データを栄養素量データに変換する画像解析作業員と、画像解析作業員が解析した結果を承認しアドバイスを付加する管理栄養士が常時配置されている。図８は、このうちの画像解析作業員の処理に関する部分の構成を示したものであり、コンピュータ装置に実装されているものである。画像解析作業員の解析結果は、栄養解析結果履歴蓄積手段１４を経由して管理栄養士に引き渡される仕組みになっている。管理栄養士は、画像解析作業員から引き渡された解析結果を承認しアドバイスを付加したのち、要管理者および食事支援者に分析結果およびアドバイスを返信するようになっている。なお、本実施例では、画像解析作業員および管理栄養士は、管理装置１に配置されているが、画像解析作業員または管理栄養士のどちらかもしくは両方が遠隔地におり、遠隔地からネットワーク２を経由して上記処理を行ってもよい。
【００２７】
管理装置１のコンピュータ装置に実装された図８に示す画像解析作業員の処理に関する部分につきその構成を概略説明する。
【００２８】
管理装置１は、画像データ受信手段１１、画像データ表示手段１６、栄養解析手段１７を備えており、要管理者端末装置３から送られてくる画像データを画像データ受信手段１１により受信することを可能とし、画像データ表示手段１６と栄養解析手段１７により、要管理者が摂取した食事画像を参照して栄養解析を行うことを可能とするシステムとなっている。この管理装置１には、画像データ受信手段１１が受信した画像データの特定の領域を抽出するための画像内特定領域抽出手段１８と、抽出された特定の領域の色情報を取得して画像スペクトル分解を行うための画像スペクトル分解手段２１と、予め要管理者の過去の食事内容をスペクトル分解したデータが保存されている画像スペクトル蓄積手段２９と、新たに分解された画像スペクトルデータと画像スペクトル蓄積手段２９に蓄積されているデータを照合するための画像スペクトル照合手段２２と、照合結果の表示をおこなうための画像スペクトル照合結果表示手段２６とを備えている。また、管理装置１は、画像データ登録手段１２と、解析結果登録手段１５と、食事画像履歴蓄積手段１３と、栄養解析結果履歴蓄積手段１４を備えており、画像データ登録手段１２と解析結果登録手段１５により、食事画像履歴蓄積手段１３と栄養解析結果履歴蓄積手段１４それぞれにデータを登録可能としている。
【００２９】
上記画像内特定領域抽出手段１８は、画像データ表示手段１６に表示される画像データ上に描画して領域を特定するための画像内領域描画手段１９と、特定した領域の座標情報の取得を行うための画像内特定領域情報取得手段２０を備えている。また、画像スペクトル照合手段２２は、新たに分解された画像スペクトルデータと画像スペクトル蓄積手段２９を検索して得られた画像スペクトルデータを比較するための画像スペクトル比較手段２３と、画像スペクトルデータを比較した結果を点数化するための画像スペクトル一致度採点手段２４と、画像スペクトル蓄積手段２９から検索して得られた画像スペクトルデータのうち高得点を獲得したデータおよび獲得した得点の保持をするための採点結果保持手段２５を備えている。また、画像スペクトル照合結果表示手段２６は、新たに分解された画像スペクトルデータに対応する比較元となる比較元画像データを表示する比較元画像データ表示手段２７と、高得点獲得画像または獲得点数または高得点獲得画像対応栄養解析結果が、高得点を獲得した順にリストとして表示可能な照合結果リスト表示手段２８を備えている。また、管理装置１は、画像スペクトル照合結果承認手段３１と、画像スペクトル登録手段３０を備えている。
【００３０】
以下に図８と、図９の画像解析作業員の操作画面を利用して画像内特定領域抽出による画像スペクトル照合機能の説明を行う。要管理者端末装置３から送られてきた画像データは、画像データ受信手段１１が受信し、画像データ登録手段１２を経由して食事画像履歴蓄積手段１３に一旦蓄積される。従来の画像解析手法では、食事画像履歴蓄積手段１３を参照して画像データ表示手段１６に表示される食事画像を画像解析作業員が見ながら、栄養解析手段１７により画像に写っているメニューまたは食材をそれぞれ順に検索し、それぞれのメニューまたは食材の倍率を設定して、解析結果登録手段１５を経由して栄養解析結果履歴蓄積手段１４へと登録していた。例えば,画像解析作業員は、まず画像データ表示手段１６に表示されている画像を見て、画像に米飯、味噌汁、卵焼き、豆があることを認識する。栄養解析手段１７には、予め米飯２００ｇで２９６ｋｃａｌなどといった、重さと栄養素量（ここではカロリーを例としてあげているが、その他たんぱく質、糖質、脂質等いろいろある。）を対応づけた表が備えてあり、画像解析作業員は、この表を検索して米飯に対応する項目を探し出し、さらに画像にある米飯が表に登録されている標準値２００ｇの何倍あるかを目測し、栄養解析手段１７に登録する。そうすると栄養解析結果履歴蓄積手段１４へは、倍率を乗じた分のエネルギー量をある日時のある食事種別（朝食、昼食など）の１部として解析結果登録手段１５を経由して登録するようになっており、この作業を残りの味噌汁、卵焼き、豆に対しても繰返していた。しかしこれでは、表からメニューまたは食材を探し出すのに大変時間がかかるという問題があった。
【００３１】
この問題を解決するため本発明においては、要管理者は好んで（もしくは好まざる場合もあるが）定期的に同じメニューの食事を摂取するという食事習慣を利用して画像内特定領域抽出による画像スペクトル照合を行って画像解析作業員の作業効率を大幅に向上させるようにした点に特徴があり、以下、要管理者が定期的に同じメニューの食事を摂取するという食事習慣を利用した画像内特定領域抽出による画像スペクトル照合機能の作用および画像解析作業員の操作につき説明する。
【００３２】
画像解析作業員は、画像データ表示手段１６で表示された図９の画像解析作業員操作画面において、要管理者端末装置３から送られた食事画像である比較元画像３２を見ながら検索したいメニューまたは食材が写っている領域を画像内特定領域抽出手段１８により抽出する。具体的には、図９の画像解析作業員操作画面に表示してある描画ボタン３４をマウス等でクリックして画像内領域描画手段１９が使える領域描画モードにし、マウス等を利用して閉領域３３を確定する。図９に示す実施形態では味噌汁の画像を特定する。次の操作として図９の画像解析作業員操作画面に表示してある照合ボタン３５をマウス等でクリックすると、画像内特定領域抽出手段１８は、画像内特定領域情報取得手段２０を用いて、閉領域３３内の領域情報、つまり閉領域３３内画像の各画素の位置座標情報を取得する。
【００３３】
次に画像スペクトル分解手段２１が閉領域３３の各画素の色情報を取得し、統計処理を行う。ここではＲＧＢスペクトルに分解するが、ＣＹＭＫ等地の分解方法でもよい。たとえば画像が２５６色で表示されている場合、ある閉領域３３内のすべての座標（ｘ，ｙ）に対して（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））（Ｒ，Ｇ，Ｂは０から２５５までの整数）の３次元ベクトル色情報を取得し、これを頻度分布に変換する。つまり、Ｒ＝０からＲ＝２５５、Ｇ＝０からＲ＝２５５、Ｂ＝０からＢ＝２５５までの２５６×３＝７６８個のベクトル成分に変換する。このままでは成分が７６８個と大量になってしまい、比較しにくいため、各ベクトル成分値を例えばＲ＝０からＲ＝３１までを１つの成分になるように平均化してＲ、Ｇ、Ｂ各色ごとに８成分づつ、合計２４成分に分解するようにする。この結果をグラフ化したものを図１０に示す。横軸はＲ，Ｇ，Ｂにそれぞれについて８成分ずつあり、縦軸は０から９までのレベルを取り得るように規格化してある。今回は画像解像度２５６色で分解能１０レベルのＲ，Ｇ，Ｂそれぞれ８成分ずつ合計２４次元ベクトル成分のスペクトルを例として示したが、必ずしもこれにこだわる必要はなく、画像分解能は２５６色でなくてもよいし、ベクトル成分数や分解能レベルを増減させてもよい。
【００３４】
このように画像スペクトル分解手段２１により画像スペクトル分解された画像は、画像スペクトル照合手段２２によって画像スペクトル蓄積手段２９に蓄積されている、照合すべき画像を送信した要管理者の過去の食事履歴から選抜された画像スペクトルデータと照合される。まず画像スペクトル比較手段２３により画像スペクトル蓄積手段２９から検索された画像スペクトルデータは、画像スペクトル一致度採点手段２４により一致度が採点される。具体的には、図１０に示す２４成分のベクトルの一致度を計算しており、各成分別に一致度を１点から５点まで５段階評価し、２４個分を足し算して総合得点としている。これを要管理者の過去の蓄積された多数（例えば９０）のメニューまたは食材にわたって比較を繰り返し、採点結果保持手段２５はこのうち最も得点の高い５つのメニューまたは食材のデータを常に保持しておくようになっている。
【００３５】
ただし、照合する画像スペクトルデータは、必ずしも照合すべき画像を送信した要管理者でなくともよいし、一致度は5段階評価でなくともよいし、また比較対象データ数は９０メニューまたは食材でなくともよいし、保持するメニューまたは食材の採点結果は５つでなくともよい。最終的に採点結果保持手段２５で保持された５つのスペクトルデータに対応する画像データは、画像スペクトル照合結果表示手段２６の比較元画像データ表示手段２７および照合結果リスト表示手段２８により、比較元画像３２とともに照合結果リスト３８として図９に示すように画像解析作業員操作画面に一覧表示される。
【００３６】
画像解析作業員は、操作画面に表示されている比較元画像３２および照合結果リスト３８を比較し、リストのうち一致すると思われるものがあれば、その画像をクリックして選択し、画像解析作業員操作画面に表示された登録ボタン３６を押すと、画像スペクトル照合結果承認手段３１により選択された画像に対応する栄養解析結果を解析結果登録手段１５は栄養解析結果履歴蓄積手段１４から読み出して、日時および朝食、昼食等の食事種別の付加情報とともに栄養解析結果履歴蓄積手段１４に蓄積するようになっており、従来栄養解析手段１７を用いて行っていた処理と同等の処理を半自動化することができる。
【００３７】
もし画像解析作業員が操作画面に表示されている比較元画像３２および照合結果リスト３８を比較し、リストのうち一致するものがないと思われる場合は、画像解析作業員操作画面に表示してある次頁ヘボタン３７を押して、従来通り画像データ表示手段１６と栄養解析手段を表示して前述のように解析を行い、結果を解析結果登録手段１５を経由して栄養解析結果履歴蓄積手段１４へ登録する。その際、比較元画像３２が栄養解析結果と関連付けられて、画像スペクトル登録手段３０を経由して画像スペクトル蓄積手段２９に蓄積され、画像スペクトル照合手段２２が次回照合する時に比較の対象として利用できるようになっている。
【００３８】
画像内特定領域抽出による画像スペクトル照合処理フロー図を図１１に示す。管理装置はまず画像特定領域抽出処理３９を行う。具体的には画像解析作業員の操作に従って画像内領域描画処理４０を行い、比較元画像３２から閉領域３３を確定する。次に画像内特定領域情報取得処理４１を行い閉領域３３内の各画素の色情報を取得する。次に画像分解処理４２を行い前述のように画像スペクトルの統計処理を実施し、画像スペクトル照合処理４３により画像スペクトル蓄積手段２９に蓄積されている当該要管理者の画像スペクトルの過去履歴データと照合する。具体的には、画像スペクトル比較処理４４により画像スペクトル蓄積手段２９に蓄積されているスペクトルデータを順に画像分解処理４２で分解したばかりのスペクトルデータと比較し、画像スペクトル一致度採点処理４５を行って一致度を採点し、さらに採点結果保持処理４６により高得点を獲得したデータを保持する。高得点を獲得し採点結果保持処理４６により最終的に保持されたスペクトルデータに対応する画像データは、画像スペクトル照合結果表示処理４７により画像解析作業員に対して表示される。具体的には、比較元画像データ表示処理４８により比較元画像３２を表示し、照合結果リスト表示処理により照合結果リスト３８を表示するようになっている。
【００３９】
画像解析作業員は、結果を承認する場合、つまり表示されている内容を見て照合結果リストに当該画像（閉領域３３）の画像と同じメニューまたは食材があると判断した場合、画像スペクトル照合結果承認処理５１により照合結果を承認する。具体的には、リストから対応する画像をクリックして選択し、登録ボタン３６を押すと、画像スペクトル照合結果承認手段３１により選択された画像に対応する栄養解析結果を解析結果登録手段１５は栄養解析結果履歴蓄積手段１４から読み出して、日時および朝食、昼食等の食事種別の付加情報とともに栄養解析結果履歴蓄積手段１４に蓄積するようになっている。
【００４０】
一方、結果を否認する場合、つまり表示されている内容を見て照合結果リストに同じメニューまたは食材がないと判断した場合、結果を否認したものと判断し、画像スペクトル照合結果承認処理を行う。具体的には、画像解析作業員が従来通り画像データ表示手段１６と栄養解析手段１７を表示して前述のように解析を行った結果を解析結果登録手段１５を経由して栄養解析結果履歴蓄積手段１４へ登録する。その際、比較元画像３２が栄養解析結果と関連付けられて、画像スペクトル登録手段３０を経由して画像スペクトル蓄積手段２９に蓄積され、画像スペクトル照合手段２２が次回照合する時に比較の対象として利用できるようになっている。
【００４１】
【発明の効果】
上記のように本発明の請求項１記載の発明にあっては、要管理者端末装置から管理装置に送信された画像データを、画像解析作業員操作画面に比較元画像として表示し、画像内特定領域抽出手段により、比較元画像の特定の領域を抽出し、画像スペクトル分解手段により抽出された特定の領域の色情報を取得して画像スペクトル分解を行い、この新たに分解された画像スペクトルデータと画像スペクトル蓄積手段に蓄積されているデータを画像スペクトル照合手段により照合して一致度を計算し点数化することで一致度の高いもののリストを作成し、照合結果リストを上記比較元画像を表示する画像解析作業員操作画面に表示し、表示された照合結果リスト中から比較元画像と一致する画像を選択して登録ボタンが押されることにより該選択された画像に対応する栄養解析結果を栄養解析結果履歴蓄積手段から読み出して、日時及び食事種別の付加情報と共に栄養解析結果履歴蓄積手段に蓄積することができ、また、照合結果リストの中に比較元画像と一致するものがない場合、比較元画像に映っているメニュー又は食材について、該メニュー又は食材それぞれ毎に栄養解析をした対応する項目を検索するための栄養解析手段を備えているので、作業員が、管理装置に備わっている画像データ表示手段と、栄養解析手段とを表示して管理装置の処理で判定できなかったメニュー又は食材の検索を行って栄養解析を行うことができる。また、栄養解析手段による解析の結果を上記栄養解析結果履歴蓄積手段に登録する解析結果登録手段を備えると共に、栄養解析結果履歴蓄積手段への上記解析の結果の登録と同時に、比較元画像と栄養解析結果を関連付けて画像スペクトル蓄積手段に蓄積する画像スペクトル登録手段を備えるので、次回照合の際の比較の対象として利用でき、半自動化できる確率を次第に高くすることができる。このように本発明は、簡単なシステム構成で従来栄養解析手段を用いて行っていた処理と同等の処理を半自動化することができる。このように、簡単なシステム構成で従来栄養解析手段を用いて行っていた処理と同等の処理を半自動化できるので、画像解析作業員の作業効率が大幅に向上し、画像解析作業員の人件費を大幅に削減でき、この結果、システム利用者である要管理者及び食事支援者に対してのサービス利用価格を大幅に低減することができるものであり、また、このようにコストダウンが図れるので食事管理支援システムの普及率が大幅に上昇し、糖尿病等生活習慣病において食事管理が必要な人々にとって、ウエルネス行動を増進し、ＱＯＬ（クオリティオブライフ）の向上をもたらすという効果を奏する。更にはＱＯＬ向上効果により、各個人の医療費が大幅に削減され、国の医療費財政負担も大幅に軽減されるという効果を有している。
【００４２】
また、請求項２記載の本発明の食事管理支援方法は、簡単な方法で前述と同様に、従来栄養解析手段を用いて行っていた処理と同等の処理を半自動化することができるものであり、しかも、画像スペクトル分解に当たって、受信した画像データの特定の領域を抽出する画像特定領域抽出を行い、次に抽出された特定の領域の色情報を取得し、画像スペクトル分解を行う画像スペクトル分解処理を行うので、画像に写っているテーブルクロス等の背景の影響が極力ないようにできるものである。そして上記のように簡単な方法で従来栄養解析手段を用いて行っていた処理と同等の処理を半自動化できるので、画像解析作業員の作業効率が大幅に向上し、画像解析作業員の人件費を大幅に削減でき、この結果、システム利用者である要管理者及び食事支援者に対してのサービス利用価格を大幅に低減することができるものであり、また、このようにコストダウンが図れるので食事管理支援システムの普及率が大幅に上昇し、糖尿病等生活習慣病において食事管理が必要な人々にとって、ウエルネス行動を増進し、ＱＯＬ（クオリティオブライフ）の向上をもたらすという効果を奏する。更にはＱＯＬ向上効果により、各個人の医療費が大幅に削減され、国の医療費財政負担も大幅に軽減されるという効果を有している。
【図面の簡単な説明】
【図１】 本発明の食事管理支援システム概要図である。
【図２】 同上の要管理者端末装置の構成を示す概要図である。
【図３】 同上の支援者端末装置の構成を示す概要図である。
【図４】 同上の１日分栄養分析結果の例を示す説明図である。
【図５】 同上の１日分栄養分析結果に対するアドバイスの例を示す説明図である。
【図６】 同上の夕食メニュー決定用栄養分析結果の例を示す説明図である。
【図７】 同上の夕食メニュー決定用アドバイスの例を示す説明図である。
【図８】 同上の管理装置のうち画像解析作業員が関係する部分の構成図である。
【図９】 同上の画像解析作業員操作画面を示す説明図である。
【図１０】 同上の画像スペクトル分解成分例の表示図である。
【図１１】 同上の画像内特定領域抽出による画像スペクトル照合処理フロー図である。
【符号の説明】
１ 管理装置
２ ネットワーク
３ 要管理者端末装置
４ 支援者端末装置
５ 撮像手段
６ 画像データ送信手段
１１ 画像データ受信手段
１２ 画像データ登録手段
１３ 食事画像履歴蓄積手段
１４ 栄養解析結果履歴蓄積手段
１５ 解析結果登録手段
１６ 画像データ表示手段
１７ 栄養解析手段
１８ 画像内特定領域抽出手段
２０ 画像スペクトル分解手段
２２ 画像スペクトル照合手段
２３ 画像スペクトル比較手段
２４ 画像スペクトル一致度採点手段
２５ 採点結果保持手段
２６ 画像スペクトル照合結果表示手段
２８ 照合結果リスト表示手段
２９ 画像スペクトル蓄積手段
３０ 画像スペクトル登録手段
３１ 画像スペクトル照合結果承認手段

Claims (2)

1. 食事管理の必要な要管理者が要管理者端末装置に入力した食事データを、ネットワークを介して受信した管理装置において蓄積及び分析し、この分析結果を要管理者端末装置または要管理者の食事メニューを決定する支援者用の支援者端末装置に対してネットワークを通じて提示する食事管理支援システムであり、
   要管理者端末装置は、要管理者が摂取する食事を撮影するための撮像手段と、要管理者が摂取する食事を撮影した画像データを管理装置に送信するための画像データ送信手段を備え、
   管理装置は、画像データ受信手段と、画像データ受信手段が受信した画像データを画像解析作業員操作画面に比較元画像として表示する画像データ表示手段と、
   上記画像解析作業員操作画面に表示された比較元画像上に、描画して領域を特定するための画像内領域描画手段と、上記により特定した領域内の画像の各画素の位置座標情報を取得するための画像内特定領域情報取得手段とを備えた画像内特定領域抽出手段と、
   抽出された特定の領域の色情報を取得して画像スペクトル分解を行うための画像スペクトル分解手段と、予め食事内容をスペクトル分解したデータが保存されている画像スペクトル蓄積手段と、
   新たに分解された画像スペクトルデータと、画像スペクトル蓄積手段を検索して得られた画像スペクトルデータを比較して一致度を計算し点数化することで一致度の高いもののリストを作成するための画像スペクトル照合手段と、
   上記照合結果である照合結果リストを上記比較元画像を表示する画像解析作業員操作画面に表示するための照合結果リスト表示手段と、
   表示された照合結果リスト中から比較元画像と一致する画像を選択して登録ボタンが押されることにより該選択された画像に対応する栄養解析結果を栄養解析結果履歴蓄積手段から読み出して、日時及び食事種別の付加情報と共に栄養解析結果履歴蓄積手段に蓄積するための解析結果登録手段とを備え、
   作業員が、上記照合結果リストの中に比較元画像と一致するものがないと判断した場合に、作業員の操作によって、比較元画像に映っているメニュー又は食材について、該メニュー又は食材それぞれ毎に栄養解析をした対応する項目を検索するための栄養解析手段を備え、該栄養解析手段による解析の結果を上記栄養解析結果履歴蓄積手段に登録する解析結果登録手段を備えると共に、栄養解析結果履歴蓄積手段への上記解析の結果の登録と同時に、比較元画像と栄養解析結果を関連付けて画像スペクトル蓄積手段に蓄積する画像スペクトル登録手段を備える
   ことを特徴とする食事管理支援システム。
2. 食事管理の必要な要管理者が要管理者端末装置に入力した食事データを、ネットワークを介して受信した管理装置において蓄積及び分析し、この分析結果を要管理者端末装置または要管理者の食事メニューを決定する支援者用の支援者端末装置に対してネットワークを通じて提示する食事管理支援方法であり、
   要管理者が摂取する食事を撮影した画像データを管理装置に送信し、管理装置側では要管理者端末装置から送られてくる画像データを受信し、蓄積手段への画像データ登録処理を行った後、食事画像データを栄養素量情報に変換する栄養解析処理が画像解析作業員によって蓄積手段から参照される要管理者が摂取した食事画像データを閲覧しながら行われ、その結果を蓄積手段および閲覧手段に登録することにより、分析結果を要管理者端末装置または要管理者の食事メニューを決定する支援者用の支援者端末装置に対してネットワークを通じて提示する方法において、
   まず管理装置において受信した画像データを画像解析作業員操作画面に比較元画像として表示し、
   上記画像解析作業員操作画面に表示した比較元画像上における作業員の描画に基づいて該描画により特定された領域内の画像の各画素の位置座標情報を取得する画像内特定領域情報取得処理を行い、
   次に、抽出された特定の領域の色情報を取得して画像スペクトル分解を行う画像スペクトル分解処理を行い、
   次に、新たに分解された画像スペクトルデータと、画像スペクトル蓄積手段を検索して得られた画像スペクトルデータを比較して一致度を計算し点数化することで一致度の高いもののリストを作成する画像スペクトル照合処理を行い、
   次に、上記照合結果である照合結果リストを上記比較元画像を表示する画像解析作業員操作画面に表示する画像スペクトル照合結果表示処理を行い、
   次に、作業員により表示された照合結果リスト中から比較元画像と一致する画像が選択されて登録ボタンが押された場合に、該選択された画像に対応する栄養解析結果を栄養解析結果履歴蓄積手段から読み出して、日時及び食事種別の付加情報と共に栄養解析結果履歴蓄積手段に蓄積する処理を行い、
   作業員が、上記照合結果リストの中に比較元画像と一致するものがないと判断した場合に、比較元画像に映っているメニュー又は食材について、管理装置に備えた栄養解析手段を用いて上記メニュー又は食材それぞれ毎に栄養解析をした対応する項目を作業員が検索することで得られた栄養解析の結果を、解析結果登録手段により上記栄養解析結果履歴蓄積手段に登録する処理を行うと共に、画像スペクトル登録手段により栄養解析結果履歴蓄積手段への上記解析の結果の登録と同時に、比較元画像と栄養解析結果を関連付けて画像スペクトル蓄積手段に蓄積する処理を行う
   ことを特徴とする食事管理支援方法。

Images