JP7284829B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置に関する。

近年、健康的思考の高まりに伴い、食事量を記録する人が増えている。そこで、食事量を簡単に記録するために、食事量を記録するサービスが提案されている。例えば、非特許文献１には、大皿に盛られた食べ物を複数の人物が食べる場合に、食卓を撮像した画像を複数の領域に区分けし、領域ごとに食べ物を食べたかを判定し、食べた場合には領域に対応付けられた人物の食事量を記録する技術が開示されている。

大塚雄一郎ほか２名，"会食状況認識によるテーブル型リアルタイム料理推薦システム"，情報処理学会研究報告，Ｖｏｌ．２０１１－ＤＮ－７８ Ｎｏ．８，２０１１／１／２１

しかしながら、実際の食事では、人物によっては、大皿から取り皿に食べ物を移して、取り皿から料理を食べることがある。従来技術では、大皿に盛られた食べ物が減少した場合、取り皿に移動しただけで食べ物を食べていないにも関わらず食べたと判定されるため、人物の食事量を正確に特定することができない。

以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、複数の人物が摂取する飲食物が盛られた第１種別の器と前記飲食物の一部が盛られる第２種別の複数の器とが配置された卓、及び、前記複数の人物を、撮像することによって得られた動画像を示す動画像情報を取得する取得部と、前記動画像情報に基づいて、前記複数の人物の各々を識別する第１識別情報、前記第１種別の器及び前記第２種別の複数の器の各々を識別する第２識別情報、並びに、前記飲食物の種別を識別する第３識別情報を生成する識別情報生成部と、前記動画像情報に基づいて、前記第１種別の器及び前記第２種別の複数の器の各々に盛られた前記飲食物の量を推定する推定部と、前記動画像情報に基づいて、判定時点における前記第１種別の器に盛られた飲食物の量が、当該判定時点より所定期間前の前記第１種別の器に盛られた飲食物の量と比較して減少したか否かを判定する第１判定部と、前記第１判定部の判定結果が肯定を示す場合、前記動画像情報に基づいて、前記複数の人物のうち一の人物が前記第１種別の器に盛られた飲食物を摂取したか、又は当該飲食物が前記第２種別の複数の器のうち一の器に移されたかを判定する第２判定部と、前記一の人物が前記第１種別の器に盛られた飲食物を摂取したことを前記第２判定部の判定結果が示す場合、前記一の人物が摂取した飲食物の量、前記一の人物、及び、当該飲食物の種別を対応付ける摂取情報を生成する摂取情報生成部とを備え、前記推定部は、前記第２判定部の判定結果が前記一の器に前記飲食物が移されたことを示す場合、前記第２種別の前記一の器に盛られた飲食物の量を、前記第１種別の器に盛られた飲食物が減少した量だけ増加させる。

本発明によれば、人物の食事量を正確に特定できる。

食事量推定システム１の概要を示す図。 食事量推定システム１のハードウェア構成を例示するブロック図。 食事量推定システム１の機能を示すブロック図。 特定部２３における第１の特定方法を示す図。 対応付け情報ＲＩの一例を示す図。 大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐの一例を示す図。 第２判定部２６における第２の判定方法を示す図。 摂取情報ＴＩの記憶内容の一例を示す図。 食事量推定システム１の動作を示すフローチャートを示す図（その１）。 食事量推定システム１の動作を示すフローチャートを示す図（その２）。 食事量推定システム１の動作を示すフローチャートを示す図（その３）。 食事量推定システム１の動作を示すフローチャートを示す図（その４）。

１．実施形態
以下、本実施形態に係る食事量推定システム１を説明する。

１．１．食事量推定システム１の概要
図１は、食事量推定システム１の概要を示す図である。食事量推定システム１は、食事中の人物Ｕを撮像することにより、人物Ｕの食事量を推定するサービスを提供する。食事量は、人物Ｕが摂取した飲食物の量である。飲食物(food or drink)とは、飲み物及び食べ物の一方である。飲食物の量は、例えば、飲食物が食べ物であれば食べ物のカロリー数又はグラム数であり、飲食物が飲み物であれば飲み物のカロリー数又はリットル数である。以下では、説明の簡略化のため、「人物Ｕが飲食物を摂取する」を、単に、「人物Ｕが食べ物を食べる」として説明し、食事量は、具体的には、人物Ｕが食べた食べ物のカロリー数であるとして説明する。

食事量推定システム１は、情報処理装置１０と、撮像装置９０とを含む。情報処理装置１０は、食事量推定システム１に用いられるコンピュータである。図１の例示では、情報処理装置１０は、部屋ＬＲの天井に取り付けられている。撮像装置９０は、情報処理装置１０に取り付けられている。

部屋ＬＲ内において、複数の人物Ｕが食事を取っている。図１の例示では、複数の人物Ｕの一例として人物Ｕ＿１と人物Ｕ＿２とが、部屋ＬＲ内で食事を取っている。複数の人物は、２人に限らず、３人以上でもよい。以下の説明では、同種の要素を区別する場合、人物Ｕ＿１及び人物Ｕ＿２のように参照符号を使用する。一方、同種の要素を区別しない場合、人物Ｕのように、参照符号のうちの共通符号だけを使用する。

部屋ＬＲには、食卓Ｔｂが設けられている。食卓Ｔｂには、人物Ｕが食べる食べ物ＦＤが盛られた大皿ＣＰと、複数の取り皿ＳＰとが配置されている。大皿ＣＰは、「複数の人物が摂取する飲食物が盛られた第１種別の器」の一例である。大皿ＣＰは、１つでもよいし複数でもよい。複数の取り皿ＳＰは、「飲食物の一部が盛られる第２種別の複数の器」の一例である。食卓Ｔｂは、「複数の人物が摂取する飲食物が盛られた器と複数の取り皿とが配置された卓」の一例である。

図１の例示では、食卓Ｔｂには、複数の取り皿ＳＰの一例として、人物Ｕ＿１が用いる取り皿ＳＰ＿１と、人物Ｕ＿２が用いる取り皿ＳＰ＿２とが配置されている。取り皿ＳＰの数は２に限らず、３以上でもよい。更に、大皿ＣＰには、食べ物ＦＤを取り分けるために用いるトングＴＯが配置されている。地域によっては、図１の例示のように、大皿ＣＰに食べ物ＦＤを盛り、各人物Ｕは、大皿ＣＰに盛られた食べ物ＦＤを取り皿ＳＰに取り分け、取り皿ＳＰに取り分けた食べ物ＦＤを食べる習慣がある。また、人物Ｕは、取り皿ＳＰに盛られた食べ物ＦＤを食べる一方で、大皿ＣＰから直接食べ物ＦＤを食べることがある。取り皿ＳＰは、食べ物ＦＤを各自に取り分けるために用いる皿である。一般的に、取り皿ＳＰは、大皿ＣＰより小さい。

トングＴＯは、「飲食物を移動させる器具」の一例である。以下の記載では、飲食物を移動させる器具を、「移動用器具」と称する。移動用器具は、大別して、食べ物ＦＤを取り分けるために食べ物ＦＤを移動させる器具と、食べ物ＦＤを直接食べるために食べ物ＦＤを移動させる器具とがある。食べ物ＦＤを取り分けるために食べ物ＦＤを移動させる器具は、例えば、トングＴＯ、菜箸(取り分け用の長い箸)、及び、取り分け用のスプーンである。食べ物ＦＤを大皿ＣＰから直接食べるために食べ物ＦＤを移動させる器具は、例えば、箸、図７に示すスプーンＳＯ、ナイフ、及び、フォークである。

図２は、食事量推定システム１のハードウェア構成を例示するブロック図である。食事量推定システム１は、図１の例示のように、情報処理装置１０及び撮像装置９０を備える。

撮像装置９０は、大皿ＣＰと複数の取り皿ＳＰとが配置された食卓Ｔｂ、及び、複数の人物Ｕを撮像することによって、図３に示す動画像情報ＭＩを生成する。動画像情報ＭＩは、複数のフレームの各々について静止画像Ｐを示す画像情報ＰＩを有する。動画像情報ＭＩは、画像情報ＰＩ＿１～ＰＩ＿Ｎを有する。Ｎは、２以上の整数である。撮像装置９０は、人物Ｕの全身を撮像してもよいし、人物Ｕの腹部周辺を撮像してもよい。撮像装置９０は、例えば撮像光学系及び撮像素子を含む。撮像光学系は、少なくとも１つの撮像レンズを含む光学系である。撮像光学系は、プリズム等の各種の光学素子を備えてもよいし、ズームレンズやフォーカスレンズ等を備えてもよい。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary MOS）イメージセンサ等のセンサで構成される。

情報処理装置１０は、処理装置２０、記憶装置３０、通信装置４０、及び、バス１９を備える。処理装置２０、記憶装置３０、及び、通信装置４０は、情報を通信するためのバス１９を介して互いにアクセスされる。バス１９は、単一のバスによって構成されてもよいし、装置間で異なるバスで構成されてもよい。

処理装置２０は、情報処理装置１０の全体を制御するプロセッサであり、インタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置２０の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現してもよい。処理装置２０は、各種の処理を並列的又は逐次的に実行する。

記憶装置３０は、処理装置２０が読取可能な記録媒体であり、処理装置２０が実行する制御プログラムＰＲａを含む複数のプログラム、及び、処理装置２０が使用する各種の情報を記憶する。記憶装置３０は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種別以上で構成される。

通信装置４０は、他の装置と通信する機器であり、通信装置４０は、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード又は通信モジュールとも表記される。通信装置４０は、撮像装置９０と通信可能である。

１．２．食事量推定システム１の機能
図３は、食事量推定システム１の機能を示すブロック図である。処理装置２０は、記憶装置３０から制御プログラムＰＲａを読み取る。処理装置２０は、制御プログラムＰＲａを実行することによって、取得部２１、識別情報生成部２２、特定部２３、推定部２４、第１判定部２５、第２判定部２６、第３判定部２８、及び、摂取情報生成部２９として機能する。

取得部２１は、撮像装置９０から、動画像情報ＭＩを取得する。動画像情報ＭＩは、大皿ＣＰと複数の取り皿ＳＰとが配置された食卓Ｔｂ、及び、複数の人物Ｕを撮像装置９０が撮像することによって得られた動画像を示す。

識別情報生成部２２は、動画像情報ＭＩに基づいて、複数の人物Ｕの各々を識別する人物識別情報ＵＩＤ、大皿ＣＰ及び複数の取り皿ＳＰの各々を識別する皿識別情報ＰＩＤ、及び、食べ物の種別を識別する食べ物識別情報ＦＴＩＤを生成する。人物識別情報ＵＩＤは、「第１識別情報」の一例である。皿識別情報ＰＩＤは、「第２識別情報」の一例である。食べ物識別情報ＦＴＩＤは、「第３識別情報」の一例である。食べ物の種別は、例えば、麺料理、野菜料理、肉料理、及び、魚介料理等である。例えば、識別情報生成部２２は、動画像情報ＭＩに含まれる複数のフレームの各々について、静止画像Ｐが有する特徴を抽出することによって、人物Ｕと、皿と、食べ物ＦＤの種別とを識別する。識別情報生成部２２は、識別結果に基づいて、人物Ｕと、皿と、食べ物の種別とに固有の識別情報を付与する。識別情報生成部２２は、異なるフレームに存在する同一の人物Ｕ、皿、及び、食べ物の種別について、同一の識別情報を付与する。

本実施形態では、説明の簡略化のため、人物識別情報ＵＩＤとして、人物Ｕに付与した参照符号を用いる。例えば、人物Ｕ＿１の人物識別情報ＵＩＤは、「Ｕ＿１」である。同様に、皿識別情報ＰＩＤとして、大皿ＣＰ及び取り皿ＳＰに付与した参照符号を用いる。食べ物識別情報ＦＴＩＤは、例えば、麺料理を示すＦＴ＿１及び野菜料理を示すＦＴ＿２等である。

大皿ＣＰと取り皿ＳＰとの識別方法は、例えば、以下に示す２つの方法がある。第１の識別方法において、識別情報生成部２２は、所定の大きさより大きい皿を大皿ＣＰとして識別し、所定の大きさ以下の皿を取り皿ＳＰとして識別する。一般的には、大皿ＣＰの大きさは、皿の直径が２５ｃｍ以上である。取り皿ＳＰの大きさは、皿の直径が１０ｃｍから１５ｃｍまでの間である。従って、所定の大きさは、例えば、皿の直径が１５ｃｍより大きく２５ｃｍ未満の値である。第２の識別方法において、予め、大皿ＣＰの一部又は全部を第１色に着色しておき、取り皿ＳＰの一部又は全部を第２色に着色しておく。そして、識別情報生成部２２は、静止画像Ｐに含まれる皿の像の色が第１色であれば、第１色の皿を大皿ＣＰと識別する。識別情報生成部２２は、静止画像Ｐに含まれる皿の色が第２色であれば、第２色の皿を取り皿ＳＰと識別する。

特定部２３は、動画像情報ＭＩに基づいて、複数の取り皿ＳＰの各々が、複数の人物Ｕのうちいずれの人物Ｕに対応するかを特定する。例えば、特定部２３は、以下に示す２つの特定方法のうちのいずれか一つの方法に従って、取り皿ＳＰと人物Ｕとの対応付けを特定する。

第１の特定方法において、特定部２３は、複数の取り皿ＳＰのうち、複数の人物Ｕのいずれかとの対応付けの特定対象とする取り皿ＳＰと、複数の人物Ｕの各々との距離を算出する。「特定対象とする取り皿ＳＰ」は、特定部２３における「一の器」の一例である。そして、特定部２３は、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、対応付けの特定対象の取り皿ＳＰに対応する人物Ｕとして特定する。取り皿ＳＰと人物Ｕとの距離は、例えば、以下に示す２つの態様がある。第１の態様における距離は、取り皿ＳＰにおける人物Ｕに最も近い端部から、人物Ｕにおける取り皿ＳＰに最も近い端部までの距離である。第２の態様における距離は、取り皿ＳＰの重心から人物Ｕの重心までの距離である。なお、重心とは、平面視したときに、対象となる形状において断面１次モーメントの総和がゼロになる地点であり、矩形形状であれば対角線の交点をいう。以下では、取り皿ＳＰと人物Ｕとの距離は、第２の態様であるとして説明する。

図４は、特定部２３における第１の特定方法を示す図である。図４では、動画像情報ＭＩに含まれるいずれかの画像情報ＰＩ＿ｘが示す静止画像Ｐ＿ｘを例示する。ｘは、１からＮまでのいずれかの整数である。図４に例示する静止画像Ｐ＿ｘには、人物Ｕ＿１の像、人物Ｕ＿２の像、大皿ＣＰの像、取り皿ＳＰ＿１の像、取り皿ＳＰ＿２の像、食べ物ＦＤ＿ＣＰの像、食べ物ＦＤ＿ＳＰ１の像、及び、食べ物ＦＤ＿ＳＰ２の像が含まれる。食べ物ＦＤ＿ＣＰは、大皿ＣＰに盛られた食べ物である。食べ物ＦＤ＿ＳＰ１は、取り皿ＳＰ＿１に取り分けられた食べ物である。食べ物ＦＤ＿ＳＰ２は、取り皿ＳＰ＿２に取り分けられた食べ物である。特定部２３は、静止画像Ｐ＿ｘに基づいて、取り皿ＳＰ＿１と複数の人物Ｕの各々との距離ＳＬを算出する。例えば、特定部２３は、取り皿ＳＰ＿１と人物Ｕ＿１との距離ＳＬ＿１と、取り皿ＳＰ＿１と人物Ｕ＿２との距離ＳＬ＿２とを算出する。図４では、人物Ｕ＿１内の黒丸が人物Ｕ＿１の重心を示し、人物Ｕ＿２内の黒丸が人物Ｕ＿２の重心を示し、取り皿ＳＰ＿１内の黒丸が取り皿ＳＰ＿１の重心を示す。図４の例示のように、特定部２３は、距離ＳＬ＿１と距離ＳＬ＿２とのうち、最も短い距離ＳＬ＿１に位置する人物Ｕ＿１を、取り皿ＳＰ＿１に対応する人物Ｕとして特定する。図４には示していないが、特定部２３は、取り皿ＳＰ＿２についても、取り皿ＳＰ＿２を対応付けの特定対象とし、取り皿ＳＰ＿１と同様の方法に従って、取り皿ＳＰ＿２に対応する人物Ｕを特定する。

第１の特定方法において、取り皿ＳＰに対応する人物Ｕの特定精度を高めるために、特定部２３は、複数の静止画像Ｐの各々について、取り皿ＳＰに対応する人物Ｕを特定することが好ましい。特定部２３は、取り皿ＳＰに対応する人物Ｕとして特定された回数が最も多い人物Ｕを、取り皿ＳＰに対応する人物Ｕとして特定する。

第２の特定方法において、特定部２３は、動画像情報ＭＩに基づいて、取り皿ＳＰに重なる移動用器具を特定する。特定部２３は、特定した移動用器具を持つ手の人物Ｕを、取り皿ＳＰに対応する人物Ｕとして特定する。例えば、特定部２３は、動画像情報ＭＩのうち、取り皿ＳＰと移動用器具とが重なる静止画像Ｐを示す画像情報ＰＩを抽出し、抽出した画像情報ＰＩが示す静止画像Ｐを解析して、移動用器具を持つ手の人物Ｕを特定する。

第２の特定方法において特定精度を高めるために、特定部２３は、動画像情報ＭＩのうち、取り皿ＳＰと移動用器具とが重なる静止画像Ｐを示す画像情報ＰＩを複数抽出し、複数の画像情報ＰＩの各々について、対応付けの特定対象とする取り皿ＳＰに対応する人物Ｕを特定することが好ましい。特定部２３は、対応付けの特定対象とする取り皿ＳＰに対応する人物Ｕとして特定された回数が最も多い人物Ｕを、対応付けの特定対象とする取り皿ＳＰに対応する人物Ｕとして特定する。

特定部２３は、取り皿ＳＰと人物Ｕとの対応付けを示す対応付け情報ＲＩを出力する。

図５は、対応付け情報ＲＩの一例を示す図である。対応付け情報ＲＩは、取り皿ＳＰを示す皿識別情報ＰＩＤと、取り皿ＳＰに対応する人物Ｕを示す人物識別情報ＵＩＤとの対応付けを示す。図５の例示では、対応付け情報ＲＩは、取り皿ＳＰ＿１が人物Ｕ＿１に対応付けられており、取り皿ＳＰ＿２が人物Ｕ＿２に対応付けられていることを示す。

なお、図５では例示していないが、複数の取り皿ＳＰが、同一の人物Ｕに対応付けられてもよい。複数の食べ物ＦＤの味が混ざらないように、ある一人の人物Ｕが、複数の食べ物ＦＤの各々に対応する取り皿ＳＰを用いることがあるためである。例えば、ある人物Ｕが、肉料理用の取り皿ＳＰと、魚介料理用の取り皿ＳＰとを用いている場合、ある人物Ｕに対応付けられる取り皿ＳＰは、２つである。また、取り皿ＳＰに対応付けられない人物Ｕがいてもよい。従って、人物Ｕの数と取り皿ＳＰの数とは、互いに一致してもよいし、互いに異なってもよい。

説明を図３に戻す。推定部２４は、動画像情報ＭＩに基づいて、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を推定する。例えば、記憶装置３０が、食べ物ＦＤの種別ごとに、食べ物ＦＤの単位面積当たりのカロリー数を記憶しておく。記憶内容の一例として、記憶装置３０は、麺料理の単位面積当たりのカロリー数がｃ１カロリーであることを記憶する。同様に、記憶装置３０は、野菜料理の単位面積当たりのカロリー数がｃ２カロリーであり、肉料理の単位面積当たりのカロリー数がｃ３カロリーであり、魚介料理の単位面積当たりのカロリー数がｃ４カロリーであることを記憶する。ｃ１、ｃ２、ｃ３、及び、ｃ４は、０より大きい実数である。推定部２４は、動画像情報ＭＩに含まれる画像情報ＰＩが示す静止画像Ｐにおいて、静止画像Ｐに含まれる食べ物ＦＤの像の面積を測定し、得られた面積を単位面積で除した値に、識別情報生成部２２が識別した食べ物ＦＤの種別に対応したカロリー数を乗じた値を、食べ物ＦＤの量として推定する。

推定部２４は、動画像情報ＭＩに含まれる複数の画像情報ＰＩのうち、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐを示す画像情報ＰＩに基づいて、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を推定する。前述の物体は、例えば、人物Ｕ、移動用器具、及び、コップ等である。大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていないとは、大皿ＣＰ及び複数の取り皿ＳＰの全てが物体に遮られていなくてもよいし、大皿ＣＰの一部及び複数の取り皿ＳＰのいずれかの取り皿ＳＰの一部が物体に遮られていなくてもよい。以下の説明では、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていないとは、大皿ＣＰ及び複数の取り皿ＳＰの全てが物体に遮られていないこととして説明する。

図６は、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐの一例を示す図である。図６では、動画像情報ＭＩに含まれる画像情報ＰＩ＿ｘが示す静止画像Ｐ＿ｘと、画像情報ＰＩ＿ｙが示す静止画像Ｐ＿ｙとを例示する。図６に例示する静止画像Ｐ＿ｘは、図４に例示する静止画像Ｐ＿ｘと同一である。図６に例示する静止画像Ｐ＿ｙには、人物Ｕ＿１の像、人物Ｕ＿２の像、大皿ＣＰの像、取り皿ＳＰ＿１の像、取り皿ＳＰ＿２の像、食べ物ＦＤ＿ＣＰの像、食べ物ＦＤ＿ＳＰ１の像、及び、食べ物ＦＤ＿ＳＰ２の像に加えて、トングＴＯの像及び手ＨＤの像が含まれる。手ＨＤは、トングＴＯを持っている。図６では、図面の煩雑化を防ぐため、手ＨＤに対応する腕部分の描画を省略している。

静止画像Ｐ＿ｘにおいて、大皿ＣＰ及び複数の取り皿ＳＰの各々を遮る物体がない。一方、静止画像Ｐ＿ｙにおいて、大皿ＣＰの一部がトングＴＯによって遮られている。従って、推定部２４は、静止画像Ｐ＿ｘを示す画像情報ＰＩ＿ｘに基づいて、大皿ＣＰ及び複数の取り皿の各々に盛られた食べ物ＦＤの量を推定する。

推定部２４は、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を示す食べ物量情報ＦＩを出力する。食べ物量情報ＦＩは、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰのカロリー数と、複数の取り皿ＳＰの各々に盛られた食べ物ＦＤ＿ＳＰのカロリー数とを示す。

説明を図３に戻す。第１判定部２５は、動画像情報ＭＩに基づいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が、判定時点より所定期間前の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量と比較して減少したか否かを判定する。所定期間は、どのような時間長の期間でもよいが、人が食べ物を食べる標準的な速度を考慮して定められることが好ましい。例えば、所定期間は、1分以上５分以下の期間であってもよい。第１判定部２５は、判定時点より所定期間前の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量から、現在(判定時点)の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量を減じた値が所定の閾値以上である場合、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が減少したと判定する。

第２判定部２６は、第１判定部２５の判定結果が肯定の場合、動画像情報ＭＩに基づいて、複数の人物Ｕのうち、ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤ＿ＣＰを直接食べたか、又は複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに大皿ＣＰから食べ物ＦＤ＿ＣＰが移されたかを判定する。ある一人の人物Ｕは、「一の人物」の一例である。例えば、第２判定部２６は、以下に示す２つの判定方法のいずれか一方の方法を用いる。

第１の判定方法において、第２判定部２６は、複数の取り皿ＳＰの各取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰｉの量が、判定時点より所定期間前の各取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰの量と比較して増加したか否かを判定する。ｉは、１から取り皿ＳＰの総数までの各整数である。食べ物ＦＤ＿ＳＰが増加した取り皿ＳＰ＿ｉがある場合、第２判定部２６は、ある一つの取り皿ＳＰに食べ物ＦＤ＿ＣＰが移されたと判定する。一方、食べ物ＦＤ＿ＳＰが増加した取り皿ＳＰが１つもない場合、ある人物Ｕが大皿ＣＰから食べ物ＦＤ＿ＣＰを直接食べたことを意味する。よって、第２判定部２６は、ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤ＿ＣＰを食べたと判定する。

第２の判定方法において、第２判定部２６は、第１判定部２５の判定結果が肯定を示す場合、動画像情報ＭＩに基づいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの移動先を追跡することを開始する。次に、第２判定部２６は、動画像情報ＭＩに基づいて、追跡中の食べ物ＦＤ＿ＣＨを運ぶ移動用器具を持つ手の人物Ｕを特定する。そして、第２判定部２６は、動画像情報ＭＩに基づいて、追跡中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅したか否かを判定する。食べ物ＦＤ＿ＣＨが消滅した場合、移動用器具を持つ手の人物Ｕが大皿ＣＰから食べ物ＦＤを直接食べた人物Ｕであるから、第２判定部２６は、移動用器具を持つ手の人物Ｕが大皿ＣＰに盛られた食べ物ＦＤを食べた人物Ｕであると判定する。一方、第２判定部２６は、追跡中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに移された場合、ある一つの取り皿ＳＰに移されたと判定する。

図７は、第２判定部２６における第２の判定方法を示す図である。図７では、動画像情報ＭＩに含まれる画像情報ＰＩ＿ａが示す静止画像Ｐ＿ａと、画像情報ＰＩ＿ｂが示す静止画像Ｐ＿ｂと、画像情報ＰＩ＿ｃが示す静止画像Ｐ＿ｃとを例示する。ａ、ｂ、及び、ｃは、１からＮまでの整数であり、ａ＜ｂ＜ｃの関係を有する。

静止画像Ｐ＿ａ、静止画像Ｐ＿ｂ、及び、静止画像Ｐ＿ｃには、人物Ｕ＿１の像、人物Ｕ＿２の像、大皿ＣＰの像、取り皿ＳＰ＿１の像、取り皿ＳＰ＿２の像、食べ物ＦＤ＿ＣＰの像、食べ物ＦＤ＿ＳＰ１の像、及び、食べ物ＦＤ＿ＳＰ２の像に加えて、スプーンＳＯの像及び手ＨＤの像が含まれる。

静止画像Ｐ＿ｂに基づいて、第１判定部２５は、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が、静止画像Ｐ＿ａを撮像した時の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰと比較して減少したと判定する。従って、第２判定部２６は、静止画像Ｐ＿ｂに基づいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの移動先を追跡することを開始する。静止画像Ｐ＿ｂが得られたタイミングから、第２判定部２６は、スプーンＳＯに盛られた食べ物ＦＤ＿ＣＨの追跡を開始する。追跡対象の食べ物ＦＤ＿ＣＨは、静止画像Ｐ＿ａを撮像した時には大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの一部であった食べ物である。第２判定部２６は、追跡対象の食べ物ＦＤ＿ＣＨを運ぶスプーンＳＯを持つ手の人物Ｕを特定する。

移動用器具を持つ手の人物Ｕの特定方法としては、以下に示す２つの態様がある。第１の態様の特定方法において、第２判定部２６は、移動用器具を持つ手の腕の輪郭を抽出して、抽出した腕の輪郭と繋がる人物Ｕを、移動用器具を持つ手の人物Ｕとして特定する。

第２の態様の特定方法において、第２判定部２６は、移動用器具を持つ手と複数の人物Ｕの各々との距離を算出し、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、移動用器具を持つ手の人物Ｕとして特定する。移動用器具を持つ手と人物Ｕとの距離は、例えば、以下に示す２つの態様がある。第１の態様における距離は、移動用器具を持つ手における人物Ｕに最も近い端部から、人物Ｕにおける移動用器具を持つ手に最も近い端部までの距離である。第２の態様における距離は、移動用器具を持つ手の重心から人物Ｕの重心までの距離である。以下では、移動用器具を持つ手と人物Ｕとの距離は、第２の態様であるとして説明する。

静止画像Ｐ＿ｂの例示において、第２判定部２６は、スプーンＳＯを持つ手ＨＤと人物Ｕ＿１との距離ＨＬ＿１と、手ＨＤと人物Ｕ＿２との距離ＨＬ＿２とをそれぞれ算出する。静止画像Ｐ＿ｂにおいて、人物Ｕ＿１内の黒丸が人物Ｕ＿１の重心を示し、人物Ｕ＿２内の黒丸が人物Ｕ＿２の重心を示し、手ＨＤ内の黒丸が手ＨＤの重心を示す。静止画像Ｐ＿ｂの例示のように、第２判定部２６は、距離ＨＬ＿１と距離ＨＬ＿２とのうち、最も短い距離ＨＬ＿２に位置する人物Ｕ＿２を、スプーンＳＯを持つ手の人物Ｕとして特定する。

静止画像Ｐ＿ｃでは、追跡対象の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅している。従って、第２判定部２６は、スプーンＳＯを持つ手の人物Ｕとして特定した人物Ｕ＿２が大皿ＣＰに盛られた食べ物ＦＤを食べたと判定する。

説明を図３に戻す。第３判定部２８は、複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量が、判定時点より所定期間前における、ある一つの取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量と比較して減少したか否かを判定する。

摂取情報生成部２９は、第２判定部２６、及び、第３判定部２８の判定結果、並びに、特定部２３が出力した対応付け情報ＲＩに基づいて、摂取情報ＴＩを生成する。摂取情報ＴＩを生成する契機は、以下に示す２つの契機がある。

第１の契機は、第２判定部２６の判定結果が、ある一人の人物Ｕが大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰを食べたことを示す場合である。この場合、摂取情報生成部２９は、この人物Ｕが食べた食べ物ＦＤの量、この人物Ｕ、及び、この人物Ｕが食べた食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。より詳細には、摂取情報ＴＩは、食べ物ＦＤの量と、食べ物ＦＤを食べた人物Ｕを識別する人物識別情報ＵＩＤと、食べ物ＦＤの種別を識別するＦＴＩＤとを対応付けた情報である。第２判定部２６の判定結果が、ある一つの取り皿ＳＰに食べ物が移されたことを示す場合には、推定部２４は、この取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量を、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰが減少した量だけ増加させる。

第２の契機は、第３判定部２８の判定結果が肯定である場合、すなわち、ある一つの取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量が減少した場合である。この場合、摂取情報生成部２９は、この取り皿ＳＰに対応付けられた人物Ｕ、この取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰから減少した食べ物ＦＤの量、及び、この食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。

図８は、摂取情報ＴＩの記憶内容の一例を示す図である。図８は、摂取情報ＴＩ＿１～摂取情報ＴＩ＿Ｍを例示する。Ｍは、１以上の整数である。図８に例示する摂取情報ＴＩは、人物識別情報ＵＩＤ、食べ物ＦＤの量、及び、食べ物識別情報ＦＴＩＤに加えて、時刻情報と、摂取態様情報とを対応付けた情報である。時刻情報及び摂取態様情報は、摂取情報ＴＩに含まれていなくてもよい。時刻情報は、人物Ｕが食べ物ＦＤを食べた時刻を示す。摂取態様情報は、人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか、又は、取り皿ＳＰから食べ物ＦＤを食べたかを示す。

摂取情報生成部２９は、上述の第２の契機によって摂取情報ＴＩ＿１及び摂取情報ＴＩ＿２を生成しており、第１の契機によって摂取情報ＴＩ＿Ｍを生成する。摂取情報ＴＩ＿１は、１２時０分１秒に、人物Ｕ＿１が、ＦＴ＿１に対応する食べ物の種別を、ｘｘカロリー分、取り皿ＳＰ＿１から食べたことを示す。

摂取情報生成部２９は、生成した摂取情報ＴＩを、記憶装置３０又は通信装置４０に出力する。

１．３．食事量推定システム１の動作
図９～図１１Ｂを用いて、食事量推定システム１の動作について説明する。

図９、図１０、図１１Ａ、及び図１１Ｂは、食事量推定システム１の動作を示すフローチャートである。図９、図１０、図１１Ａ、及び図１１Ｂに例示する動作が開始する契機は、例えば、以下に示す２つの契機がある。第１の契機は、人物Ｕが食事を終了し、撮像装置９０が、食事中の人物Ｕの像が含まれた動画像を示す動画像情報ＭＩを生成した場合である。第２の契機は、撮像装置９０が、所定数の静止画像Ｐを含む動画像情報ＭＩを生成した場合である。

処理装置２０は、取得部２１として機能することにより、撮像装置９０から、動画像情報ＭＩを取得する（ステップＳ１）。次に、処理装置２０は、識別情報生成部２２として機能することにより、複数の人物Ｕと、大皿ＣＰと、複数の取り皿ＳＰと、大皿ＣＰ又は取り皿ＳＰに盛られた食べ物ＦＤの種別とを識別する（ステップＳ２）。

そして、処理装置２０は、特定部２３として機能することにより、複数の取り皿ＳＰの各々が、複数の人物Ｕのうちいずれの人物Ｕに対応するかを特定する（ステップＳ３）。次に、処理装置２０は、推定部２４として機能することにより、抽出したフレームに基づいて、大皿ＣＰと複数ＳＰの取り皿の各々とに盛られた食べ物の量を推定する（ステップＳ４）。処理装置２０は、推定部２４として機能することにより、動画像情報ＭＩから、食べ物ＦＤの量を検出できたフレーム群をフレームセットＡとして選択する（ステップＳ５）。更に、処理装置２０は、推定部２４として機能することにより、精度良く食べ物の量を検出できたフレーム群をフレームセットＢとして選択する（ステップＳ６）。精度良く食べ物の量を検出できたフレーム群は、言い換えれば、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていないフレーム群である。

図１０において、処理装置２０は、フレームセットＢのうち先頭のフレームをフレームＸとして選択する（ステップＳ１１）。次に、処理装置２０は、フレームセットＢにおけるフレームＸの次のフレームを、フレームＹとして選択する（ステップＳ１２）。そして、処理装置２０は、第１判定部２５又は第３判定部２８として機能することにより、フレームＸと比較した、フレームＹにおける大皿ＣＰ又は複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの減少量ΔＦＤが所定の閾値以上かを判定する（ステップＳ１３）。言い換えると、ステップＳ１３の処理では、処理装置２０は、下記に示す減少量ΔＦＤ＿ＣＰ及び減少量ΔＦＤ＿ＳＰｉのうちいずれかが所定の閾値以上かを判定する。ｉは、１から取り皿ＳＰの総数までの各整数である。

ΔＦＤ＿ＣＰ＝フレームＸにおける大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰ－フレームＹにおける大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰ
ΔＦＤ＿ＳＰｉ＝フレームＸにおける取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰｉ－フレームＹにおける取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰｉ

ステップＳ１３の判定結果が肯定である場合、処理装置２０は、フレームＸからフレームＹまでの時間を示す情報を、減少期間情報として記憶装置３０に記憶させる（ステップＳ１５）。続けて、処理装置２０は、所定の閾値以上である減少量ΔＦＤを、記憶装置３０に記憶する（ステップＳ１６）。処理装置２０は、所定の閾値以上である減少量ΔＦＤに対応する皿の皿識別情報ＰＩＤを記憶装置３０に記憶する（ステップＳ１７）。減少期間情報と、減少量ΔＦＤと、皿識別情報ＰＩＤとは相互に対応付けられて記憶装置３０に記憶される。

そして、処理装置２０は、フレームセットＢにおけるフレームＹの次以降のフレーム群を新たなフレームセットＢとして更新する（ステップＳ１８）。フレームセットＢにおけるフレームＹの位置が末尾であれば、更新後のフレームセットＢに含まれるフレームの数は０である。

処理装置２０は、更新後のフレームセットＢが１以上のフレームを有するか否かを判定する（ステップＳ１９）。ステップＳ１９の判定結果が肯定である場合、処理装置２０は、処理をステップＳ１１に戻す。

ステップＳ１９の判定結果が否定である場合、即ち、フレームセットＢが１つもフレームを有しない場合、図１１Ａにおいて、処理装置２０は、ステップＳ１５の処理で記憶装置３０に記憶された１以上の減少期間情報のうち、最も古い時間を示す減少期間情報を選択する（ステップＳ３１）。

ステップＳ１３の判定結果が否定である場合、即ち、減少量ΔＦＤ＿ＣＰ及び減少量ΔＦＤ＿ＳＰｉの全てが所定の閾値未満である場合、処理装置２０は、フレームセットＢにおけるフレームＹの次のフレームがあるか否かを判定する（ステップＳ２１）。ステップＳ２１の判定結果が肯定である場合、処理装置２０は、フレームセットＢにおけるフレームＹの次のフレームを、フレームＹとして選択し（ステップＳ２２）、再びステップＳ１３の処理を実行する。一方、ステップＳ２１の判定結果が否定である場合、処理装置２０は、ステップＳ３１の処理を実行する。

ステップＳ３１の処理終了後、処理装置２０は、フレームセットＡから、選択した減少期間情報が示す時間に含まれるフレーム群を、フレームセットＣとして選択する（ステップＳ３２）。

処理装置２０は、ステップＳ１７の処理によって記憶した皿識別情報ＰＩＤを参照して、食べ物ＦＤが減少した皿が大皿ＣＰか又は取り皿ＳＰかを判定する。具体的には、処理装置２０は、食べ物ＦＤが減少した皿が大皿ＣＰか否かを判定する（ステップＳ３３）。判定結果が肯定の場合、すなわち、食べ物ＦＤが減少した皿が大皿ＣＰである場合（ステップＳ３３：Yes）、処理装置２０は、第２判定部２６として機能することにより、フレームセットＣにおいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの移動先を追跡することを開始する（ステップＳ３４）。続けて、処理装置２０は、第２判定部２６として機能することにより、追跡対象の食べ物ＦＤ＿ＣＨを運ぶ食卓用器具を持つ手の人物Ｕを特定する（ステップＳ３５）。処理装置２０は、第２判定部２６として機能することにより、追跡対象の食べ物ＦＤ＿ＣＨの移動先に基づいて、特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか、又は食べ物ＦＤが取り皿ＳＰに移されたかを判定する。具体的には、処理装置２０は、特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか否かを判定する（ステップＳ３６）。
なお、ステップＳ３３においては、処理装置２０は、食べ物ＦＤが減少した皿が大皿ＣＰか否かを判定する代わりに食べ物ＦＤが減少した皿が取り皿ＳＰか否かを判定してもよい。同様に、ステップＳ３６においては、処理装置２０は、特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか否かを判定する代わりに食べ物ＦＤが取り皿ＳＰに移されたか否かを判定してもよい。

特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べた場合、言い換えれば、追跡対象の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅した場合（ステップＳ３６：Yes）、処理装置２０は、摂取情報生成部２９として機能することにより、食べ物ＦＤの減少量ΔＦＤ、大皿ＣＰから直接食べた人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する（ステップＳ３７）。一方、ステップＳ３６における判定結果が否定の場合、すなわち、追跡中の食べ物ＦＤ＿ＣＨが取り皿ＳＰに移された場合（ステップＳ３６：No）、処理装置２０は、推定部２４として機能することにより、追跡中の食べ物ＦＤ＿ＣＨが移された取り皿ＳＰに盛られた食べ物ＦＤの量を、食べ物ＦＤの減少量ΔＦＤだけ増加する（ステップＳ３８）。

ステップＳ３３の判断結果が否定の場合、すなわち、食べ物ＦＤが減少した皿が取り皿ＳＰである場合（ステップＳ３３：No）、処理装置２０は、摂取情報生成部２９として機能することにより、食べ物ＦＤの減少量ΔＦＤ、食べ物ＦＤが減少した取り皿ＳＰに対応する人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する（ステップＳ３９）。

ステップＳ３７の処理終了後、ステップＳ３８の処理終了後、又は、ステップＳ３９の処理終了後、処理装置２０は、全ての減少期間情報を選択したか否かを判定する（ステップＳ４０）。ステップＳ４０の判定結果が否定である場合、すなわちまだ選択していない減少期間情報がある場合、処理装置２０は、現在選択中の減少期間情報が示す時間の次に古い時間を示す減少期間情報を選択し（ステップＳ４１）、ステップＳ３２の処理を実行する。一方、ステップＳ４０の判定結果が肯定である場合、すなわち全ての減少期間情報を選択した場合、処理装置２０は、図９、図１０、図１１Ａ、及び図１１Ｂに示す一連の処理を終了する。

以上の説明によれば、処理装置２０は、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が減少した場合に、ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤを食べたか、又は食べ物ＦＤが複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに移されたかを判定する。ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤを食べた場合、処理装置２０は、大皿ＣＰから直接食べた食べ物ＦＤの量、大皿ＣＰから直接食べた人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。以上のように、処理装置２０は、人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたことを示す摂取情報ＴＩを生成するため、大皿ＣＰから直接食べた人物Ｕがいる場合であっても、人物Ｕの食事量を正確に特定できる。

また、処理装置２０は、複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに盛られた食べ物ＦＤの量が減少した場合、食べ物ＦＤが減少した量、食べ物ＦＤが減少した取り皿ＳＰに対応する人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。以上のように、処理装置２０は、人物Ｕが取り皿ＳＰから食べ物を食べたことを示す摂取情報ＴＩを生成するため、取り皿ＳＰに食べ物を取り分ける場合であっても、人物Ｕの食事量を正確に特定できる。

また、特定部２３における第１の特定方法として、複数の取り皿ＳＰのうち、対応付けの特定対象とする取り皿ＳＰと、複数の人物Ｕの各々との距離を算出し、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、特定対象の取り皿ＳＰに対応する人物Ｕとして特定する。第１の特定方法は、第２の特定方法と比較すると、取り皿ＳＰと移動用器具とが重なる静止画像Ｐを探索しなくてよい。従って、第１の特定方法によれば、第２の特定方法と比較して、取り皿ＳＰに対応する人物Ｕを容易に特定できる。

また、推定部２４は、動画像情報ＭＩが有する各画像情報ＰＩのうち、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐを示す画像情報ＰＩに基づいて、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を推定する。大皿ＣＰ又は複数の取り皿ＳＰのいずれかが物体によって遮られている静止画像Ｐを用いて食べ物ＦＤの量を推定すると、物体に食べ物ＦＤが隠れている場合に、食べ物ＦＤの量が実際よりも少ない量であると誤推定してしまう。そこで、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐを示す画像情報ＰＩを用いることにより、推定部２４は、食べ物ＦＤの量の推定精度を向上できる。

また、第２判定部２６は、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が減少した場合、動画像情報ＭＩに基づいて、大皿ＣＰに盛られた食べ物ＦＤの移動先を追跡することを開始する。そして、第２判定部２６は、移動中の食べ物ＦＤ＿ＣＨを運ぶ移動用器具を持つ手の人物Ｕを特定し、移動中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅した場合に、移動用器具を持つ手の人物Ｕが、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰを食べたと判定する。移動中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅していることが確認されているため、大皿ＣＰから食べ物ＦＤを直接食べたことが正確に判定される。

また、移動用器具を持つ手の人物Ｕの第２の態様の特定方法として、第２判定部２６は、動画像情報ＭＩに基づいて、大皿ＣＰを持つ手と複数の人物Ｕの各々との距離を算出し、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、大皿ＣＰを持つ手の人物Ｕとして特定する。第２の態様の特定方法は、第１の態様の特定方法と比較して、移動用器具を持つ手の腕の輪郭を抽出しなくてよい。従って、第２の態様の特定方法によれば、第１の態様の特定方法と比較して、移動用器具を持つ手の人物Ｕを容易に特定できる。

２．変形例
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

（１）実施形態において、大皿ＣＰは、複数の人物が摂取する飲食物が盛られた第１種別の器の一例であると説明したが、第１種別の器は、皿に限らない。例えば、第１種別の器は、鍋及び飯櫃等でもよい。飯櫃は、炊き上がった飯を釜から移し入れておく為の櫃である。

（２）上述した各態様において、複数の取り皿ＳＰは、飲食物の一部が盛られる第２種別の複数の器の一例であると説明したが、第２種別の器は、皿に限らない。例えば、第２種別の器は、鍋内の飲食物を取り分ける為に用いる呑水でもよいし、飯櫃内の飯を取り分ける為に用いる茶碗でもよい。呑水とは、縁の一部が突出した小鉢である。

（３）上述した各態様において、一般的に、取り皿ＳＰは大皿ＣＰより小さいことを記載したが、これに限らない。例えば、人物Ｕによっては、複数の大皿ＣＰの各々に盛られた食べ物を、同一の取り皿ＳＰに移動させる場合がある。この場合、取り皿ＳＰに複数の種別の食べ物ＦＤを盛るため、大皿ＣＰと取り皿ＳＰとがほぼ同一の大きさである場合もあるし、取り皿ＳＰが大皿ＣＰより大きい場合もある。
大皿ＣＰと取り皿ＳＰとがほぼ同一の大きさであり、大きさでは区別できない場合、識別情報生成部２２は、上述した大皿ＣＰと取り皿ＳＰとの第２の識別方法以外の方法として、例えば、下記に示す第３の識別方法又は第４の識別方法を用いて大皿ＣＰと取り皿ＳＰとを識別してもよい。第３の識別方法において、識別情報生成部２２は、食事を開始した時点において、食べ物ＦＤが盛られた皿を大皿ＣＰとして識別し、食べ物ＦＤが盛られていない皿を取り皿ＳＰとして識別する。第４の識別方法において、識別情報生成部２２は、人物Ｕが大皿ＣＰと取り皿ＳＰとを指差すことにより、大皿ＣＰと取り皿ＳＰとを識別する。より詳細に第４の識別方法を説明する。前提として、食事量推定システム１は、スピーカを有する。識別情報生成部２２は、スピーカに、「大皿を所定の秒数間指差して下さい」という旨の音声を出力させる。識別情報生成部２２は、前述の音声出力後において撮像装置９０が撮像した動画像を示す動画像情報を解析して、所定の秒数の間、人物Ｕが指差した皿を大皿ＣＰとして識別する。同様に、識別情報生成部２２は、スピーカに、「取り皿を所定の秒数間指差して下さい。所定の秒数経過後、指差ししていない取り皿を所定の秒数間指差して下さい」という旨の音声を出力させる。識別情報生成部２２は、前述の音声出力後において撮像装置９０が撮像した動画像を示す動画像情報を解析して、所定の秒数の間、人物Ｕが指差した皿を取り皿ＳＰとして識別する。

（４）上述した各態様において、食べ物ＦＤは、大皿ＣＰから取り皿ＳＰに取り分けられ、人物Ｕに食べられる。このように、上述した各態様では、食べ物ＦＤは、多くとも２つの皿を経由して人物Ｕに食べられていたが、これに限らない。例えば、食べ物ＦＤは、３つ以上の皿を経由して人物Ｕに食べられてもよい。

（５）上述した各態様において、取り皿ＳＰに盛られた食べ物ＦＤが減少した場合、人物Ｕに食べられる場合のみを記載したが、食べ物ＦＤが取り皿ＳＰから大皿ＣＰに戻される場合もあるし、食べ物ＦＤが他の取り皿ＳＰに移動する場合もある。処理装置２０は、取り皿ＳＰに盛られた食べ物ＦＤが減少した場合に食べ物ＦＤの移動先を追跡することにより、食べ物ＦＤが人物Ｕに食べられたか、食べ物ＦＤが大皿ＣＰに戻されたか、又は、食べ物ＦＤが他の取り皿に移動したかを特定することができる。

（６）上述した各態様において、取り分ける飲食物として、食べ物を用いて説明したが、飲み物でもよい。例えば、底の深い大皿ＣＰ内のスープを、底の深い取り皿ＳＰに取り分ける場合であっても、上述した各態様を適用できる。

（７）上述した各態様において、情報処理装置１０は、部屋ＬＲの天井に取り付けられていたが、これに限らない。例えば、情報処理装置１０は、食卓Ｔｂの天板上面に取り付けられてもよい。又は、情報処理装置１０は、部屋ＬＲの外部に設置されていてもよい。部屋ＬＲの外部に情報処理装置１０が設置される場合、情報処理装置１０は、撮像装置９０に対して、移動体通信網又はインターネット等のネットワークを介してアクセスする。

（８）上述した各態様において、情報処理装置１０は、部屋ＬＲの天井に取り付けられた、可搬型でないコンピュータを想定しているが、これに限らず、スマートフォン又はタブレット端末等の可搬型の端末装置でもよい。

（９）上述した各態様において、情報処理装置１０は、撮像装置９０を有さないが、撮像装置９０を有してもよい。

（１０）上述した各態様の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

（１１）上述した各態様における処理手順、シーケンス、フローチャートなどは、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（１２）上述した各態様において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（１３）上述した各態様において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（１４）上述した各態様では、記憶装置３０は、処理装置２０が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、ネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。

（１５）上述した各態様は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

（１６）上述した各態様において、説明した情報及び信号などは、様々な異なる技術の何れかを使用して表されてもよい。例えば、上述の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

（１７）図３に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。

（１８）上述した各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

（１９）上述した各実施形態において、情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

（２０）上述したパラメータに使用する名称はいかなる点においても限定的なものではない。更に、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。

（２１）上述した各実施形態において、情報処理装置１０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

（２２）上述した各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（２３）本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

（２４）上述した各実施形態において「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。更に、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（２５）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。

（２６）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。

１…食事量推定システム、１０…情報処理装置、２０…処理装置、２１…取得部、２２…識別情報生成部、２３…特定部、２４…推定部、２５…第１判定部、２６…第２判定部、２８…第３判定部、２９…摂取情報生成部、３０…記憶装置、９０…撮像装置、ＣＰ…大皿、ＦＤ…食べ物、ＭＩ…動画像情報、Ｐ…静止画像、ＰＩ…画像情報、ＴＯ…トング、Ｕ…人物。

Claims (6)

1. 複数の人物が摂取する飲食物が盛られた第１種別の器と前記飲食物の一部が盛られる第２種別の複数の器とが配置された卓、及び、前記複数の人物を、撮像することによって得られた動画像を示す動画像情報を取得する取得部と、
   前記動画像情報に基づいて、前記複数の人物の各々を識別する第１識別情報、前記第１種別の器及び前記第２種別の複数の器の各々を識別する第２識別情報、並びに、前記飲食物の種別を識別する第３識別情報を生成する識別情報生成部と、
   前記動画像情報に基づいて、前記第１種別の器及び前記第２種別の複数の器の各々に盛られた前記飲食物の量を推定する推定部と、
   前記動画像情報に基づいて、判定時点における前記第１種別の器に盛られた飲食物の量が、当該判定時点より所定期間前の前記第１種別の器に盛られた飲食物の量と比較して減少したか否かを判定する第１判定部と、
   前記第１判定部の判定結果が肯定を示す場合、前記動画像情報に基づいて、前記複数の人物のうち一の人物が前記第１種別の器に盛られた飲食物を摂取したか、又は当該飲食物が前記第２種別の複数の器のうち一の器に移されたかを判定する第２判定部と、
   前記一の人物が前記第１種別の器に盛られた飲食物を摂取したことを前記第２判定部の判定結果が示す場合、前記一の人物が摂取した飲食物の量、前記一の人物、及び、当該飲食物の種別を対応付ける摂取情報を生成する摂取情報生成部とを備え、
   前記推定部は、前記第２判定部の判定結果が前記一の器に前記飲食物が移されたことを示す場合、前記第２種別の前記一の器に盛られた飲食物の量を、前記第１種別の器に盛られた飲食物が減少した量だけ増加させる、
   情報処理装置。
2. 前記動画像情報に基づいて、前記第２種別の複数の器の各々が、前記複数の人物のうちいずれの人物に対応するかを特定する特定部と、
   判定時点における前記第２種別の複数の器のうち一の器に盛られた飲食物の量が、当該判定時点より前記所定期間前の前記一の器に盛られた飲食物の量と比較して減少したか否かを判定する第３判定部とを備え、
   前記摂取情報生成部は、前記第３判定部の判定結果が肯定を示す場合、前記第２種別の前記一の器に対応する人物、前記第３判定部による判定時点より前記所定期間前の時点の前記一の器に盛られた飲食物から減少した飲食物の量、及び、当該飲食物の種別を対応付ける摂取情報を生成する、
   請求項１に記載の情報処理装置。
3. 前記特定部は、
   前記第２種別の複数の器のうち一の器と、前記複数の人物の各々との距離を算出し、
   当該複数の人物について算出された複数の距離の中から最も短い距離に位置する人物を、前記一の器に対応する人物として特定する、
   請求項２に記載の情報処理装置。
4. 前記動画像情報は、複数のフレームの各々について静止画像を示す画像情報を有し、
   前記推定部は、前記複数のフレームにそれぞれ対応する複数の画像情報のうち、前記第１種別の器及び前記第２種別の複数の器のいずれもが物体によって遮られていない静止画像を示す画像情報に基づいて、前記第１種別の器及び前記第２種別の複数の器の各々に盛られた前記飲食物の量を推定する、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記第２判定部は、
   前記第１判定部の判定結果が肯定を示す場合、前記動画像情報に基づいて、前記第１種別の器に盛られた飲食物の移動先を追跡することを開始し、
   前記動画像情報に基づいて、当該飲食物を移動させる器具を持つ手の人物を特定し、
   前記動画像情報に基づいて、当該飲食物が前記第２種別の複数の器に移されることなく消滅した場合に、前記器具を持つ手の人物が前記第１種別の器に盛られた飲食物を摂取した前記一の人物であると判定する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記第２判定部は、
   前記動画像情報に基づいて、前記器具を持つ手と前記複数の人物の各々との距離を算出し、前記複数の人物について算出された複数の距離の中から最も短い距離に位置する人物を、前記器具を持つ手の人物として特定する、
   請求項５に記載の情報処理装置。

Images