WO2023188033A1 - 情報処理装置、表示制御方法、および表示制御プログラム - Google Patents

Abstract

ユーザの満足度を高めるために、情報処理装置（１）は、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定部（１１）と、前記画像に前記コンテンツを重畳表示させる表示制御部（１２）と、を備えている。

Description

情報処理装置、表示制御方法、および表示制御プログラム

　ユーザの視野の少なくとも一部を撮影した画像に情報を重畳表示させるＡＲ（Augmented Reality：拡張現実）技術に関する。

　ＡＲ技術は様々な用途での利用が検討されている。例えば、下記の特許文献１には、摂取カロリーの管理にＡＲ技術を利用したＨＭＤ（Head Mount Display）が開示されている。特許文献１のＨＭＤは、ＨＭＤを装着したユーザの摂取可能カロリーが一定値以下となるときに、青色フィルターを食物に重ねて表示させる。特許文献１のＨＭＤは、このような処理により、摂取可能カロリーが一定値以下となるときにユーザの食欲を減退させて、ユーザの摂取カロリーをコントロールする。

特開２０２０－０４２４０１号公報

　特許文献１に記載の技術は、ユーザの満足度を高めるという点で改善の余地がある。本発明の一態様は、上記の点に鑑みてなされたものであり、その目的の一例は、食品を対象とするＡＲ技術においてユーザの満足度を高めることが可能な情報処理装置等を提供することにある。

　本発明の一側面に係る情報処理装置は、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定手段と、前記画像に前記コンテンツを重畳表示させる表示制御手段と、を備える。

　本発明の一側面に係る表示制御方法は、少なくとも１つのプロセッサが、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定することと、前記画像に前記コンテンツを重畳表示させることと、を含む。

　本発明の一側面に係る表示制御プログラムは、コンピュータを、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定手段、および前記画像に前記コンテンツを重畳表示させる表示制御手段、として機能させる。

　本発明の一態様によれば、ユーザの満足度を高めることが可能になる。

本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る表示制御方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る情報処理装置の使用例を示す図である。 上記情報処理装置の要部構成の一例を示すブロック図である。 食品の見た目のボリュームを変えるコンテンツを重畳表示した例を示す図である。 一部の食材が写る領域を重畳領域に設定して重畳表示を行った例を示す図である。 食品に関する情報等を重畳表示した例を示す図である。 季節に応じた背景画像を重畳表示した例を示す図である。 食事中における重畳表示の例を示す図である。 食後における重畳表示の例を示す図である。 本発明の例示的実施形態２に係る表示制御方法の流れを示すフロー図である。 食事開始後に実行される表示制御方法の流れを示すフロー図である。 本発明の各例示的実施形態に係る各装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。

　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

　（情報処理装置１の構成）
　本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、決定部（決定手段）１１と、表示制御部（表示制御手段）１２とを備えている。

　決定部１１は、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する。

　表示制御部１２は、食品が写る前記画像に決定部１１が決定するコンテンツを重畳表示させる。

　以上のように、本例示的実施形態に係る情報処理装置１においては、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定部１１と、決定部１１が決定するコンテンツを前記画像に重畳表示させる表示制御部１２と、を備える、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、ユーザの満足度を高めることが可能になるという効果が得られる。

　（表示制御プログラム）
　上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係る表示制御プログラムは、コンピュータを決定部１１および表示制御部１２として機能させる。この表示制御プログラムによれば、ユーザの満足度を高めることが可能になるという効果が得られる。

　（表示制御方法の流れ）
　本例示的実施形態に係る表示制御方法の流れについて、図２を参照して説明する。図２は、表示制御方法の流れを示すフロー図である。なお、この表示制御方法における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。

　Ｓ１１では、少なくとも１つのプロセッサが、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する。

　Ｓ１２では、少なくとも１つのプロセッサが、Ｓ１１で決定されたコンテンツを前記画像に重畳表示させる。

　以上のように、本例示的実施形態に係る表示制御方法は、少なくとも１つのプロセッサが、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定することと、決定された前記コンテンツを前記画像に重畳表示させることと、を含む。この表示制御方法によれば、ユーザの満足度を高めることが可能になるという効果が得られる。

　〔例示的実施形態２〕
　（概要）
　本例示的実施形態に係る情報処理装置２の概要を図３に基づいて説明する。図３は、情報処理装置２の使用例を示す図である。図示のように、情報処理装置２は、ユーザが頭部に装着して使用するヘッドマウントディスプレイである。情報処理装置２は、いわゆるＡＲ（拡張現実）コンテンツを表示させることができる。

　このため、情報処理装置２は、情報処理装置２を装着するユーザの視野の少なくとも一部を撮影する撮影部２２と、撮影部２２が撮影する画像を表示する表示部２３とを備えている。情報処理装置２は、撮影部２２が撮影する画像にＡＲコンテンツを重畳表示させることにより、ユーザに拡張現実を体験させることができる。

　情報処理装置２は、ＡＲコンテンツを表示させる際に、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像３１から、所定の検出対象を検出する。図３の例では、情報処理装置２は、ランチボックスが置かれたテーブルに付された三次元コードＯＢ１を検出している。なお、上記「食品」は、ユーザが摂取できるものであればよく、例えば、果物などのように単体の食材からなるもの、複数の食材を用いて作られた料理、サプリメント、医薬品、および飲料等も「食品」の範疇に含まれる。

　そして、情報処理装置２は、検出した三次元コードＯＢ１を基準として、撮影部２２が撮影する画像に重畳領域を設定し、設定した重畳領域に食品に関する情報を重畳表示させる。図３に示す画像３２は、画像３１における鶏の胸肉（蒸し鶏）が写っている領域を重畳領域として、該重畳領域に鶏の唐揚げの画像を重畳表示させたものである。

　これにより、情報処理装置２を装着するユーザには、低カロリーの鶏の胸肉が、よりカロリーの高い鶏の唐揚げに見える。このため、ユーザは、実際には鶏の胸肉を食べることにより摂取カロリーを抑えつつ、鶏の唐揚げを食べたかのような満足感を得ることができる。また、情報処理装置２は、検出した三次元コードＯＢ１を基準として重畳領域を設定するから、食品に関する情報（図３の例では鶏の唐揚げの画像）を適切な位置に重畳表示することができる。

　なお、情報処理装置２は、ヘッドマウントディスプレイに限られず、例えばスマートフォン等であってもよい。情報処理装置２としてスマートフォンを用いる場合、スマートフォンのディスプレイをユーザの眼前に固定する固定具を用いればよい。また、情報処理装置２としては、例えば、眼鏡型あるいはゴーグル型の表示装置等を適用することもできる。

　詳細は以下で説明するが、本例示的実施形態に係る情報処理装置２の主な特徴の一つは、重畳表示するコンテンツを適切に決定する点にある。重畳領域の設定には任意の方法を適用することが可能であり、三次元コードＯＢ１を基準とする上述の例に限られない。

　（情報処理装置２の構成）
　情報処理装置２の構成を図４に基づいて説明する。図４は、情報処理装置２の構成を示すブロック図である。図示のように、情報処理装置２は、情報処理装置２の各部を統括して制御する制御部２０と、情報処理装置２が使用する各種データを記憶する記憶部２１を備えている。

　また、情報処理装置２は、画像を撮影するための撮影部２２、画像を表示する表示部２３、および情報処理装置２に対する入力操作を受け付けるための入力部２４を備えている。なお、情報処理装置２は、例えばユーザの視線を検出し、その視線の向きや動きを入力として動作するものであってもよく、この場合、入力部２４を省略することもできる。以下では、ユーザの視線の向きや動きを示す情報を視線情報と呼ぶ。視線情報の生成方法としては公知の手法を適用することができる。

　また、制御部２０には、画像取得部２０１、検出部２０２、重畳領域設定部２０３、状況判定部（状況判定手段）２０４、参照情報取得部（参照情報取得手段）２０５、決定部（決定手段）２０６、重畳画像生成部２０７、および表示制御部（表示制御手段）２０８が含まれている。

　画像取得部２０１は、ユーザの視野の少なくとも一部を撮影した画像を取得する。撮影部２２は、情報処理装置２を装着したユーザの視線方向を撮影するように配置されているから、撮影部２２が撮影する画像はユーザの視野の少なくとも一部を撮影した画像となる。このため、画像取得部２０１は、撮影部２２が撮影する画像を取得する。例えば、画像取得部２０１は、撮影部２２が撮影する動画像から時系列のフレーム画像を抽出することにより画像を取得してもよい。

　検出部２０２は、画像取得部２０１が取得する画像から所定の検出対象を検出する。所定の検出対象は、画像取得部２０１が取得する画像において、当該画像に写る食品に関連する情報の重畳領域を設定する際の基準となるものである。例えば、図３の例では三次元コードＯＢ１が所定の検出対象である。無論、所定の検出対象は、重畳領域を設定する際の基準となるものであればよく、三次元コードＯＢ１に限られない。

　重畳領域設定部２０３は、検出部２０２が検出する上述の検出対象を基準として、画像取得部２０１が取得する画像におけるコンテンツの重畳領域を設定する。なお、上述のように重畳領域の設定方法は任意であり、例えば、重畳領域設定部２０３は、コンテンツを重畳する対象（例えば特定の食品）の外観を学習させた検出モデルを用いて特定した領域を重畳領域に設定してもよい。この場合、検出部２０２は省略してもよい。

　状況判定部２０４は、ユーザの食事状況を判定する。状況判定部２０４が判定する食事状況は、ユーザの食事に関する状況であればよい。例えば、状況判定部２０４は、ユーザが食事に集中している度合い（以下、集中度と呼ぶ）、食事の進行度（食事を食べ終えたか否かを含む）、食事のペース（食事の速度ということもできる）、食べ残しの量、および食べ残しの有無、の少なくとも何れかを判定してもよい。

　参照情報取得部２０５は、コンテンツの決定時に決定部２０６により参照される参照情報を取得する。参照情報は、好適なコンテンツの決定に寄与する情報であればよい。例えば、ユーザに関するユーザ関連情報を参照情報としてもよいし、現在の季節や天気等の状況を示す情報を参照情報としてもよく、ユーザに提供された食品に関する情報を参照情報としてもよい。

　決定部２０６は、画像取得部２０１が取得する画像、すなわちユーザの視野の少なくとも一部を撮影した画像に重畳表示するコンテンツを決定する。特に、決定部２０６は、食品が写る画像に重畳表示するコンテンツを決定する。また、決定部２０６は、参照情報取得部２０５が取得する参照情報に応じたコンテンツを重畳表示するコンテンツに決定する。また、決定部２０６は、状況判定部２０４が食事状況を判定した場合、その食事状況に応じたコンテンツを決定する。

　なお、コンテンツは表示可能なものであればよく、画像であってもよいし、文字からなるものであってもよく、画像と文字を組み合わせたものであってもよい。また、上記画像は動画像であってもよいし、静止画像であってもよい。

　重畳画像生成部２０７は、画像取得部２０１が取得する画像に重畳する重畳画像を生成する。より詳細には、重畳画像生成部２０７は、決定部２０６が決定するコンテンツに対応する、重畳画像の元になる画像（例えば、様々な食品のテクスチャ画像、各種情報を表示するためのテンプレート、および後述するキャラクタの画像等）を用いて重畳画像を生成する。重畳画像の元になる画像は記憶部２１等に記憶しておけばよい。

　表示制御部２０８は、決定部２０６が決定するコンテンツを画像取得部２０１が取得する画像に重畳表示させる。具体的には、表示制御部２０８は、重畳領域設定部２０３が設定する重畳領域に、重畳画像生成部２０７が生成する重畳画像を合成して表示させることによりコンテンツを重畳表示させる。

　なお、表示制御部２０８は、重畳表示のオン・オフを状況に応じて切り替えてもよい。例えば、表示制御部２０８は、視線情報に基づいてユーザが食品（あるいはその食品に含まれる一部の食材）を注視しているか否かを判定し、注視していないと判定したときには、その食品（あるいはその食品に含まれる一部の食材）に対する重畳表示をオフにしてもよい。

　以上のように、本例示的実施形態に係る情報処理装置２においては、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定部２０６と、当該画像に決定部２０６が決定するコンテンツを重畳表示させる表示制御部２０８と、を備えるという構成が採用されている。このため、本例示的実施形態に係る情報処理装置２によれば、ユーザの満足度を高めることが可能になるという効果が得られる。なお、「ユーザの視野の少なくとも一部を撮影した画像」は、ユーザの視線や視野の検出結果に基づいて撮影されたものであってもよいし、そのような検出を行うことなくユーザの周囲を撮影したものであってもよい。

　また、以上のように、情報処理装置２は、ユーザの食事状況を判定する状況判定部２０４を備え、決定部２０６は、状況判定部２０４が判定する食事状況に応じたコンテンツを重畳表示するコンテンツに決定する。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、食事状況に応じたコンテンツを重畳表示させてユーザの満足度を高めることができるという効果が得られる。

　なお、決定部２０６は、食事状況と、当該食事状況で表示すべきコンテンツとの関係を機械学習したコンテンツ予測モデルを用いて、状況判定部２０４が判定する食事状況に応じたコンテンツを決定してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、機械学習の結果に基づいた妥当性の高いコンテンツを重畳表示させてユーザの満足度を高めることができるという効果が得られる。なお、上記コンテンツ予測モデルは、食事状況を説明変数とし、当該食事状況で表示すべきコンテンツを目的変数として、当該説明変数と目的変数との関係を機械学習することにより生成することができる。

　また、以上のように、情報処理装置２は、コンテンツの決定時に参照される参照情報を取得する参照情報取得部２０５を備え、決定部２０６は、参照情報取得部２０５が取得する参照情報に応じたコンテンツを重畳表示するコンテンツに決定する。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、参照情報に応じた妥当性の高いコンテンツを重畳表示させてユーザの満足度を高めることができるという効果が得られる。

　この場合も、決定部２０６は、参照情報と、当該参照情報が取得されたときに表示すべきコンテンツとの関係を機械学習したコンテンツ予測モデル（参照情報を説明変数とし、当該参照情報が取得されたときに表示すべきコンテンツを目的変数として、当該説明変数と目的変数との関係を機械学習したコンテンツ予測モデル）を用いて、参照情報取得部２０５が取得する参照情報に応じたコンテンツを決定してもよい。

　（重畳表示の例１：見た目のボリュームを変える）
　決定部２０６は、食品の見た目のボリュームを変えるコンテンツを重畳表示させるコンテンツに決定してもよい。これについて図５に基づいて説明する。図５は、食品の見た目のボリュームを変えるコンテンツを重畳表示した例を示す図である。図５において、画像５１は、画像取得部２０１が取得した撮影部２２によって撮影された画像、すなわちユーザの視野の少なくとも一部を撮影した画像である。画像５１には皿に盛りつけられた料理（食品）が写っている。

　ここで、ユーザによっては、食品の見た目のボリュームを増やすことにより、食事の満足感が向上することがある。例えば減量中のユーザは、見た目のボリュームが増えれば、実際には食事の量を抑えていても、たくさん食べた感覚になるため、食事の満足感が向上し得る。一方、例えば食が細いユーザは、見た目のボリュームが減ることにより必要な量の食事を摂取することが可能になり、食事の満足感が向上し得る。

　食品の見た目のボリュームを増やす場合、決定部２０６は、例えば、ユーザの眼前にある実際の食品と同じ食品で、ボリュームを増やした食品の画像を、画像５１に重畳するコンテンツに決定してもよい。図５の画像５２は、ボリュームを増やした食品の画像を画像５１に重畳した画像である。このようなコンテンツは予め用意しておいてもよいし、画像５１を元に生成してもよい。なお、画像５２に写る食品は、画像５１に写る食品を拡大したものであるが、食品の個数を増やした画像を重畳表示するコンテンツとしてもよい。

　また、食品の見た目のボリュームを増やす場合、決定部２０６は、例えば、画像５１に写る食器よりもサイズの小さい食器の画像を、重畳表示するコンテンツとして決定してもよい。図５の画像５４は、画像５１に写る、食品が盛り付けられた食器に、一回りサイズの小さな食器の画像を重畳した画像である。このように、画像５１に写る、食品を収容する食器上に、よりサイズの小さい食器の画像を重畳することによっても、食品の量を多く見せることができる。なお、食品が容器に収容されている場合には、よりサイズの小さい容器の画像を重畳表示すればよい。

　一方、食品の見た目のボリュームを減らす場合、決定部２０６は、例えば、ユーザの眼前にある実際の食品と同じ食品で、ボリュームを減らした食品の画像を、画像５１に重畳するコンテンツとして決定してもよい。図５の画像５３は、ボリュームを減らした食品の画像を画像５１に重畳した画像である。このようなコンテンツは予め用意しておいてもよいし、画像５１を元に生成してもよい。なお、画像５２に写る食品は、画像５１に写る食品を小さくしたものであるが、食品の個数を減らした画像としてもよい。

　また、食品の見た目のボリュームを減らす場合、決定部２０６は、例えば、画像５１に写る食器よりもサイズの大きい食器の画像を、重畳表示するコンテンツとして決定してもよい。図５の画像５５は、画像５１に写る、食品が盛り付けられた食器に、一回りサイズの大きい食器の画像を重畳した画像である。このように、画像５１に写る、食品を載置する食器上に、よりサイズの大きい食器の画像を重畳することによっても、食品の量を少なく見せることができる。また、食品が容器に収容されている場合には、よりサイズの大きい容器の画像を重畳表示すればよい。

　以上のように、決定部２０６は、重畳表示するコンテンツとして所定の食品の画像を決定してもよく、表示制御部２０８は、決定部２０６が決定する所定の食品の画像を、撮影部２２が撮影する、ユーザの視野の少なくとも一部を撮影した画像に写る食品に重畳表示させてもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、食品の見た目を変化させてユーザの満足度を高めることが可能になるという効果が得られる。

　また、上記所定の食品は、撮影部２２が撮影する画像に写る食品と量が異なる同じ食品であってもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、ユーザに食品の量を錯覚させることができるという効果が得られる。

　無論、決定部２０６は、図３の例のように、撮影部２２が撮影する画像に写る食品とは異なる他の食品の画像を、撮影部２２が撮影する画像に写る食品に重畳表示するコンテンツとして決定してもよい。

　例えば、決定部２０６は、参照情報取得部２０５が取得する参照情報が、ユーザが摂取カロリーを抑えたいユーザであることを示している場合には、重畳表示するコンテンツとして、撮影部２２が撮影する、ユーザの視野の少なくとも一部を撮影した画像に写る食品よりもカロリーの高い食品の画像を重畳表示するコンテンツに決定してもよい。そして、表示制御部２０８は、決定部２０６が決定する画像を、ユーザの視野の少なくとも一部を撮影した画像に写る食品に重畳表示させてもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、摂取カロリーを抑えたいというユーザの希望を実現しつつ、高カロリーの食品を食べているように錯覚させて食事の満足度を高めることができるという効果が得られる。

　なお、撮影部２２が撮影する画像に写る食品よりもカロリーの高い食品の画像は、図３の例のように、食材は同一または類似であるが調理方法が異なることによりカロリーがより高くなっている食品の画像であってもよいし、図５の画像５２の例のようにボリュームが大きくなることによりカロリーがより高くなっている食品の画像であってもよい。

　また、摂取カロリーを抑えたいか否かはユーザに選択させてもよい。選択は入力部２４を介した入力操作により行われてもよいし、視線情報により選択させてもよい。例えば、表示制御部２０８は、「あなたは減量中ですか？」とのメッセージと、「ＹＥＳ」および「ＮＯ」の選択肢を表示部２３に表示させてもよい。そして、参照情報取得部２０５は、「ＹＥＳ」の選択肢にユーザの視線が所定時間以上留まっていた場合に、当該ユーザは摂取カロリーを抑えたいユーザであると判定してもよい。摂取カロリーを抑えたいか否か以外の参照情報についても同様にして入力させることが可能である。なお、ユーザの年齢あるいは年齢層および性別等の外観から推測できるユーザ属性（ユーザが有する性質）については、例えばユーザの画像を解析する等により特定してもよい。

　なお、重畳表示するコンテンツとしてどのような食品の画像を決定するかについて、その決定基準は特に限定されない。例えば、決定部２０６は、撮影部２２が撮影する画像に写る食品と食感や形状が近い食品の画像を重畳表示するコンテンツに決定してもよい。また、例えば、どのような食品に対してどのような画像を重畳表示するかを定めた設定情報を、予めユーザが情報処理装置１に登録しておくようにしてもよい。この場合、重畳領域設定部２０３は当該設定情報に従って重畳領域を設定し、決定部２０６は当該設定情報に従ってコンテンツを決定する。

　また、例えば、決定部２０６は、機械学習により構築された予測モデルを用いてコンテンツを決定してもよい。この予測モデルの構築においては、ユーザ属性や撮影部２２が撮影する画像に写る食品等の、重畳表示するコンテンツとして妥当なものを選ぶ上で考慮すべき各種情報を説明変数とし、重畳表示するコンテンツを目的変数として、これらの関係を機械学習すればよい。なお、予測モデルを用いてコンテンツを決定する構成は、食品の画像を重畳表示する場合に限られず、任意のコンテンツの決定時に適用できる。

　また、例えば、決定部２０６は、重畳表示するコンテンツの候補を複数選択し、それらの候補を表示制御部２０８により表示させてもよい。そして、決定部２０６は、ユーザが選択したコンテンツを、重畳表示するコンテンツとして決定してもよい。なお、ユーザに選択させる構成についても、食品の画像を重畳表示する場合に限られず、任意のコンテンツの決定時に適用できる。

　また、以上のように、決定部２０６は、食品を収容する容器または食器とサイズの異なる容器または食器の画像を、重畳表示するコンテンツとして決定してもよい。この場合、表示制御部２０８は、撮影部２２が撮影する、ユーザの視野の少なくとも一部を撮影した画像に写る食品の背景に、決定部２０６が決定する容器または食器の画像を重畳表示させる。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、食品のボリュームを錯覚させてユーザの満足度を高めることが可能になることができるという効果が得られる。

　（重畳表示の例２：一部の食材の見た目を変える）
　重畳領域設定部２０３は、撮影部２２が撮影する画像において、当該画像に写る食品に含まれる一部の食材が写る領域を重畳領域に設定してもよい。これについて図６に基づいて説明する。図６は、一部の食材が写る領域を重畳領域に設定して重畳表示を行った例を示す図である。

　図６には、撮影部２２によって撮影された画像、すなわち、情報処理装置２を装着したユーザの視野の少なくとも一部を撮影した画像６１と、画像６１において設定された各重畳領域に他の食品の画像を重畳表示した画像６２を示している。

　画像６１には、皿に盛りつけられた料理が写っており、この料理に含まれる一部の食材が写る各領域に設定された重畳領域をＡＲ１で示している。重畳領域ＡＲ１の設定方法は特に限定されず、例えば、重畳領域設定部２０３は、対象となる食材に対応する所定の色範囲の画素からなる領域を包含する矩形領域を重畳領域ＡＲ１に設定してもよい。例えば、対象となる食材がニンジンである場合には、重畳領域設定部２０３は、オレンジ色の画素からなる領域を重畳領域ＡＲ１に設定してもよい。無論、食材が写る領域の特定方法は任意であり、例えば形状に特徴がある食材であれば形状に基づく画像解析により当該食材が写る領域を特定してもよいし、食材の外観を学習させた検出モデルを用いて当該食材が写る領域を特定してもよい。

　そして、重畳画像生成部２０７は、他の食材の画像を用いて、重畳領域ＡＲ１に重畳する重畳画像を生成し、表示制御部２０８がこの重畳画像を重畳領域ＡＲ１に重畳表示させる。これにより、画像６２に示されるように、情報処理装置２を装着したユーザには、重畳領域ＡＲ１の食材が他の食材であると認識される。このような表示により、食わず嫌いの食材を食べることができるようにしたり、ユーザが好む食材が含まれているように見せて満足度を高めたりすることができる。なお、ユーザの嗜好については、参照情報取得部２０５が取得する参照情報から特定することが可能である。

　すなわち、参照情報取得部２０５が取得する参照情報がユーザの嗜好を示している場合、決定部２０６は、重畳表示するコンテンツとして、参照情報が示す嗜好に適合した食品の画像を決定してもよい。例えば、参照情報がユーザは肉好きであることを示している場合、決定部２０６は、肉の画像を重畳表示するコンテンツに決定してもよい。そして、表示制御部２０８は、決定部２０６が決定する画像を、撮影部２２が撮影する、ユーザの視野の少なくとも一部を撮影した画像に写る食品に重畳表示させてもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、ユーザの眼前にある食品を、そのユーザの嗜好に適合した食品であると錯覚させて、ユーザの満足度を高めることが可能になるという効果が得られる。

　また、上述のように、重畳領域設定部２０３は、ユーザの嗜好に適合しない食材が写る領域を重畳領域に設定してもよい。そして、決定部２０６は、重畳表示するコンテンツとして、ユーザの嗜好に適合した食材（あるいは少なくともユーザの嗜好に適合しないことが判明していない食材）の画像を重畳表示するコンテンツに決定してもよい。これにより、ユーザの嗜好に適合しない食材が含まれていないと錯覚させて、食わず嫌い等の克服を支援することができるという効果が得られる。

　また、決定部２０６は、撮影部２２が撮影した画像に写る食品に含まれる少なくとも１つの食材の色を、他の食材の色に変更するコンテンツを、重畳表示するコンテンツに決定してもよい。例えば、重畳領域設定部２０３が、野菜炒めにおけるオレンジ色の画素からなる領域を重畳領域ＡＲ１に設定した場合、決定部２０６は、緑色のフィルターをこの重畳領域ＡＲ１に重畳表示するコンテンツに決定してもよい。これにより、野菜炒めの外形は変えることなく、その野菜炒めにニンジンが入っていないように見せることができる。

　（重畳表示の例３：食品に関する情報等の表示）
　決定部２０６は、重畳表示するコンテンツとして食品に関する情報を決定してもよい。また、決定部２０６は、重畳表示するコンテンツとして人物またはキャラクタの画像を重畳表示するコンテンツに決定してもよい。さらに、決定部２０６は、重畳表示するコンテンツとして食品の絵を決定してもよい。これらについて図７に基づいて説明する。図７は、食品に関する情報等を重畳表示した例を示す図である。

　　（食品に関する情報の重畳表示）
　図７には、コンテンツを重畳表示した画像７１～７３を示している。このうち、画像７１は、食品に関する情報を重畳表示した例を示している。具体的には、画像７１では、皿に盛りつけられた料理（食品）に関連付けた吹き出しの形式で情報ＩＮＦ１およびＩＮＦ２が重畳表示されている。情報ＩＮＦ１は、当該情報が関連付けられている料理に含まれる成分とその機能を示している。また、情報ＩＮＦ２は、当該情報が関連付けられている料理の材料とその材料を用いることの社会的意義を示している。このように、食品に関する情報を重畳表示することにより、ユーザの食品に対する理解を深めて、その食品を食すことについての満足感を向上させることができる。また、ユーザに食品に関する知識を与えることができる。

　このような情報は、ユーザ属性に応じて決定されてもよい。例えば、決定部２０６は、ユーザが子供である場合に、食育に役立つコンテンツを重畳表示するコンテンツに決定してもよい。食育に役立つコンテンツは、ユーザが食に関する知識を得ることができるようなものであればよく、例えば使用されている食材、その産地、生産者、および生産地等の情報を含むコンテンツであってもよい。

　食品に関する情報を重畳表示するタイミングは特に限定されず、例えば、表示制御部２０８は、撮影部２２が撮影した画像に食品が写り始めたタイミングで重畳表示してもよい。また、表示制御部２０８は、視線情報に基づいてユーザが食品（あるいはその食品に含まれる一部の食材）を見ていると判定したときに、その食品（あるいはその食品に含まれる一部の食材）に関する情報を重畳表示してもよい。この場合、表示制御部２０８は、視線情報に基づいてユーザが食品（あるいはその食品に含まれる一部の食材）から目を離したと判定したときに、上記情報の重畳表示を終了してもよい。

　　（キャラクタの画像の重畳表示）
　図７に示す画像７２は、キャラクタの画像を重畳表示した例を示している。具体的には、画像７２では、皿に盛りつけられた料理（食品）の側方にクマのキャラクタＣＨＡＬ１とそのメッセージＭＳＧ１が重畳表示されている。このように、キャラクタの画像を重畳表示することによって、キャラクタと一緒に食事をしているかのように錯覚させて、食事の満足感を高めることができる。

　なお、重畳表示するキャラクタは、二次元のキャラクタであってもよいし、三次元のキャラクタであってもよい。また、キャラクタの静止画像を重畳表示してもよいし、キャラクタのアニメーション（動画像）を重畳表示してもよい。例えば、キャラクタが料理の周りを歩き回るようなアニメーションを重畳表示してもよい。これは、例えばユーザが子供である場合に有効である。キャラクタが動くことにより飽きさせずに食事をさせることが可能になるからである。

　また、キャラクタの重畳表示は、ユーザの操作に応じて開始してもよい。例えば、食品またはその周囲の所定の物品に対してユーザの視線が所定時間向けられたことを契機としてキャラクタの重畳表示を開始してもよい。また、例えば、ユーザが食品にナイフを入れる等の所定の動作を行ったことを契機としてキャラクタの重畳表示を開始してもよい。例えば、ユーザが食品にナイフを入れたことを契機として、食品の断面からキャラクタが出てくるアニメーションを表示してもよい。これにより、ユーザの興趣性を高めることができる。

　また、例えば、食品の近辺にキャラクタの絵を配置しておき、その絵に対してユーザの視線が所定時間向けられたことを契機として、その絵に描かれたキャラクタの三次元アニメーションの重畳表示を開始してもよい。これにより、ユーザを三次元アニメーションの世界にスムーズに誘導することができる。

　また、ユーザが視線を向ける対象は、現実の物品に限られない。例えば、決定部２０６は、重畳表示するコンテンツとして、まず、キャラクタの表示を開始させるためのオブジェクト（例えばスイッチやボタンの画像、あるいは上述したようなキャラクタの絵）を決定し、表示制御部２０８はこれを表示させてもよい。そして、決定部２０６は、重畳表示されたオブジェクトに対して、ユーザの視線が所定時間向けられたことを契機として、重畳表示するコンテンツとしてそのオブジェクトに対応するキャラクタを決定してもよい。なお、当該契機で表示させるコンテンツはキャラクタに限られず、例えば食品に関する情報を当該契機で表示させてもよい。

　また、キャラクタを重畳表示する位置は特に限定されない。例えば、上述のように食品の周囲に重畳表示してもよいし、食品上に重畳表示してもよく、ユーザの周囲の人物に重畳表示してもよい。また、キャラクタの代わりに人物の画像を重畳表示してもよい。例えば、決定部２０６は、ユーザの周囲の人物の顔の領域に重畳表示するコンテンツとして、所定の人物の顔の画像を決定してもよい。これにより、所定の人物と一緒に食事しているかのような食事体験を与えることができ、食事に対する満足感を高めることができる。例えば、所定の人物を著名人とすることにより、著名人との食事を体験させることができる。

　また、キャラクタや人物の画像を重畳表示する場合、参照情報取得部２０５は、参照情報としてキャラクタや人物に関するユーザの嗜好を示す嗜好情報を取得することが好ましい。これにより、決定部２０６は、重畳表示するコンテンツとして、ユーザの嗜好に適合したキャラクタや人物の画像を決定することができる。

　このように、決定部２０６は、重畳表示するコンテンツとして人物またはキャラクタの画像を決定してもよい。そして、表示制御部２０８は、決定された人物またはキャラクタの画像を、ユーザの視野の少なくとも一部を撮影した画像に重畳表示させてもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、重畳表示された人物またはキャラクタと一緒に食事するという体験を与えることができ、食事に対する満足感を高めることができるという効果が得られる。

　　（食品の絵の重畳表示）
　また、図７に示す画像７３は、食品の絵を重畳表示した例を示している。具体的には、画像７３では、皿に盛りつけられた料理（食品）に重畳して巨大な骨付き肉の絵ＩＭＧ７が表示されている。このように、食品の絵（イラスト）を重畳表示することによって、実在しない食品を食べるという現実では得難い食体験を提供し、食事の満足感を高めることができる。なお、重畳表示する絵は写実的なものであってもよいし、デフォルメされた食品あるいは現実には存在しない食品を描いた漫画であってもよい。

　また、表示制御部２０８は、重畳表示の際にユーザの興趣性を高める演出を行ってもよい。例えば、表示制御部２０８は、撮影部２２が撮影する画像に写る食品を徐々に重畳表示する食品に変化させてもよい。このような表示は、例えば重畳画像の透過度を高くした状態で重畳表示を開始し、時間の経過と共に重畳画像の透過度を低下させることにより実現できる。また、表示制御部２０８は、重畳表示する食品が動くアニメーションを表示してもよい。例えば、表示制御部２０８は、重畳表示する食品が、撮影部２２が撮影する画像に写る食品の上に落ちてきて当該食品に置き換わるようなアニメーションを表示してもよい。

　なお、表示制御部２０８は、食品の絵や画像を重畳表示する場合、ユーザが食品を食べ進むにつれて、重畳表示した食品の絵や画像を更新し、食事の進み具合と重畳表示した食品の絵や画像を連動させてもよい。また、表示制御部２０８は、あえて重畳表示した食品の絵や画像を更新せず、食べているのに減らないという現実ではありえない体験を提供してもよい。

　また、画像７３においては、食品の背景に針葉樹林の画像ＩＭＧ６が重畳表示されている。このような背景画像は、食事の雰囲気づくりに寄与する。背景画像の決定基準としては任意のものが適用可能であるが、例えば、決定部２０６は、食品に応じた背景画像を決定してもよい。この場合、参照情報取得部２０５は、撮影部２２が撮影した画像を解析する、あるいはユーザの注文内容を参照する等の手段により食品の識別を行って、その識別結果を参照情報として取得すればよい。これにより、決定部２０６は、参照情報に示される識別結果を参照して、食品に応じた背景画像を決定することができる。

　このように、決定部２０６は、参照情報が画像に写る食品の識別結果を示している場合、重畳表示させるコンテンツとして当該識別結果に応じた背景画像を決定してもよい。そして、表示制御部２０８は、ユーザの視野の少なくとも一部を撮影した画像に写る食品の背景に、決定された背景画像を重畳表示させてもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、食品に応じた背景画像を見ながら食事をさせることにより、ユーザの満足感を高めることができるという効果が得られる。また、例えば、桜の木をテーブル上に表示する、といった現実ではありえない背景画像を表示することも可能である。

　なお、背景画像は静止画像であってもよいし、動画像であってもよい。背景画像を動画像とすることにより、例えば、風で草が揺れる、あるいは花びらが舞う、といった背景画像を表示することもできる。

　この他にも、決定部２０６は、例えば食品から湯気が出る様子を表現したコンテンツや、食品に焦げ目がつく様子を表現したコンテンツ、あるいは風が吹く様子を表現したコンテンツといった、食事の雰囲気を演出するためのコンテンツを重畳表示するコンテンツに決定してもよい。

　また、情報処理装置２が音声の出力機能を備えている場合、決定部２０６は音声を含むコンテンツをユーザに提示するコンテンツに決定してもよい。これにより、音声を含めた演出が可能になる。また、情報処理装置２が所定の香りの気体を放出する嗅覚ディスプレイを備えている場合、決定部２０６はユーザに提示するコンテンツとして、嗅覚ディスプレイが放出可能な香りを決定してもよい。これにより、香りを含めた演出が可能になる。

　（重畳表示の例４：季節に応じた表示）
　また、決定部２０６は、季節に応じた背景画像を重畳表示するコンテンツに決定してもよい。これについて図８に基づいて説明する。図８は、季節に応じた背景画像を重畳表示した例を示す図である。具体的には、図８に示す画像８１は季節が春であるときに背景画像を重畳表示した例を示し、画像８２は季節が冬であるときに背景画像を重畳表示した例を示している。

　画像８１では、背景画像として春の花の画像ＩＭＧ８が表示されている。一方、画像８２では、背景画像としてクリスマスの飾りに使われるヒイラギの画像ＩＭＧ９が表示されている。このように、同じ食品であっても、季節に応じた背景画像を重畳表示することにより季節感を出し、ユーザの満足感を高めることができる。

　同様に、決定部２０６は、現在の天気に応じた背景画像を重畳表示するコンテンツに決定してもよい。このように、現在の季節や天気等のユーザを取り巻く現在の状況に応じた背景画像を決定することにより、食事に特別感を与えてユーザの満足感を高めることができる。なお、現在の状況は、季節や天気に限られず、例えば同行者の人数、年齢層、性別、ユーザの気分等であってもよい。ユーザの気分はユーザの表情や動作を解析することにより判定可能である。

　ユーザの周囲の状況に応じた背景画像を重畳表示する場合、参照情報取得部２０５は、ユーザの周囲の状況を示す参照情報を取得すればよい。これにより、決定部２０６は、参照情報に示されるユーザの周囲の状況に応じた背景画像を重畳表示するコンテンツに決定することができる。

　また、図８に示す画像８１および画像８２には、食品に関する各種情報も重畳表示されている。具体的には、画像８１には、料理に使用されている食材を示す情報ＩＮＦ３と、料理に含まれる栄養に関する情報ＩＮＦ４と、料理のカロリーを示す情報ＩＮＦ５が重畳表示されている。また、画像８２には、料理に使用されている食材の産地を示す情報ＩＮＦ６と、料理に使用されている食材に関する情報ＩＮＦ７が重畳表示されている。

　このように、食品に関する各種情報を重畳表示することにより、その食品についての知識や納得度を深めて、その食品を食すことに対するユーザの満足感を高めることができる。無論、食品に関する情報は上述の例に限られない。例えば、食品の原材料、料理人、生産者、鮮度、価格等を示す情報を重畳表示してもよいし、アレルゲンとなる食材を含むか否か、あるいはアレルゲンとなる食材名等のアレルギー情報を重畳表示してもよい。

　また、季節を示す参照情報が取得された場合、決定部２０６は、料理に使用されている食材の中に、当該季節が旬である食材が含まれているか否かを判定し、含まれている場合には、当該食材が旬であることを示す情報を、重畳表示するコンテンツとして決定してもよい。

　（重畳表示の例５：食事中の表示）
　状況判定部２０４は、ユーザの食事状況として、当該ユーザの食事の進行の程度である進行度を判定してもよい。この場合、決定部２０６は、判定された進行度に応じたコンテンツを重畳表示するコンテンツに決定してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、食事の進行度にコンテンツを連動させることができるという効果が得られる。

　進行度をどのように定義するかは任意であり、例えば食事開始前、食事中、および食後の３段階で進行度を表してもよいし、食事を終えたか否かの２段階で進行度を表してもよい。状況判定部２０４は、撮影部２２が撮影する画像の解析等により、進行度が何れの段階に該当するか判定することができる。

　図９は、食事中（正確には状況判定部２０４が食事中と判定した場合）における重畳表示の例を示す図である。具体的には、図９に示す画像９１は、ユーザが食事に集中していないときのコンテンツの重畳表示の例を示し、画像９２はユーザの食べるペースが速いときのコンテンツの重畳表示の例を示している。

　画像９１では、食品の周囲を除いた画像９１の全体にフィルターＦ１が重畳表示されている。これにより、食品以外のものがユーザの目に付きにくくなるため、ユーザの食事に対する集中度を高めることができる。なお、フィルターＦ１は、食品とその周囲がハイライトされるように、単色で暗い色調のものとすることが好ましい。また、フィルターＦ１は、透明なものであってもよいし、不透明なものであってもよい。

　フィルターＦ１のようなユーザの集中度に応じたコンテンツを重畳表示する場合、状況判定部２０４は、ユーザが食事中であることを判定することに加えて、ユーザが食事に集中している度合いである集中度を判定する。無論、食事中であることの判定と、集中度の判定をそれぞれ別の処理ブロックで行うようにしてもよい。

　集中度の判定方法は特に限定されない。例えば、状況判定部２０４は、ユーザの視線情報に基づいて集中度を判定してもよい。この場合、状況判定部２０４は、例えば、所定時間におけるユーザの視線が食品に向いている時間の割合を算出し、算出した値を集中度としてもよい。また、状況判定部２０４は、例えば、所定時間におけるユーザの視線が食品以外のもの（例えば重畳表示したキャラクタ等）に向いている時間の割合を算出し、算出した値の逆数を集中度としてもよい。

　また、例えば、状況判定部２０４は、撮影部２２によって撮影された画像の時系列変化に基づいて集中度を判定してもよい。この場合、状況判定部２０４は、例えば、所定時間における食品の減少量あるいは減少率（食事のペースと表現することもできる）を算出し、算出した値を集中度としてもよい。食品の減少量あるいは減少率は、例えば画像において食品が写る領域の面積に基づいて算出することができる。

　また、例えば、状況判定部２０４は、機械学習により構築された集中度の予測モデルを用いてユーザの集中度を判定してもよい。この予測モデルの構築においては、ユーザの集中度に関連する各種情報を説明変数とし、ユーザの集中度を目的変数として、これらの関係を機械学習すればよい。集中度に関連する情報としては、例えば上述した視線情報や食事のペース等が挙げられる。

　このように、状況判定部２０４は、ユーザが食事に集中している度合いである集中度を判定してもよい。そして、決定部２０６は、判定された集中度に応じたコンテンツを重畳表示するコンテンツに決定してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、ユーザの集中度をコントロールすることが可能になるという効果が得られる。例えば、食事への集中を促したり、集中の妨げにならないような表示を行ったりすることができる。

　図９の画像９１におけるフィルターＦ１は、食事への集中を促すコンテンツの一例である。無論、食事への集中を促すコンテンツは、この例に限られない。例えば、食事への集中を促すメッセージを食事への集中を促すコンテンツとして重畳表示してもよい。また、このメッセージは、重畳表示したキャラクタからのメッセージとして重畳表示してもよい。また、例えば、表示制御部２０８は、重畳表示の終了あるいは重畳表示するコンテンツの切り替えを促す表示を行ってもよい。これは、重畳表示するコンテンツがユーザの食事への妨げとなっている場合に有効である。

　また、集中の妨げにならないような表示としては、例えば重畳表示するコンテンツを減らすことが挙げられる。表示制御部２０８が、状況判定部２０４が判定した集中度が高い場合に、重畳表示するコンテンツを減らすことにより、ユーザが食事に集中した状態を維持させることができる。また、表示制御部２０８は、集中度が低いときに、重畳表示するコンテンツを増やしてもよい。これにより、ユーザの食事の合間にコンテンツを楽しんでもらうことができる。なお、「コンテンツを減らす」、とは、表示させるコンテンツの数やコンテンツに含まれる文字数を減らすことであってもよいし、コンテンツの表示面積や表示時間を減らすことであってもよい。「コンテンツを増やす」についても同様である。

　図９に示す画像９２では、食品の側方にキャラクタＣＨＡＬ１が重畳表示されていると共に、キャラクタＣＨＡＬ１のメッセージＭＳＧ２が重畳表示されている。メッセージＭＳＧ２は、ユーザによく噛んで食べることを促すものである。決定部２０６は、ユーザの食べるペースが速いときに、このようなコンテンツを重畳表示するコンテンツに決定することにより、ユーザの食べるペースを調節することができる。例えば、決定部２０６は、ユーザの食べるペースが遅いときには、食べるペースを速めることを促すメッセージを含むコンテンツを重畳表示するコンテンツに決定してもよい。

　なお、ユーザの食べるペースは、上述したように状況判定部２０４が判定する。また、ペースが早いか遅いかは、予め定めた基準値と現在のペースとを比較することにより判定可能である。

　（重畳表示の例６：食後の表示）
　食後における重畳表示について図１０に基づいて説明する。図１０は、食後（正確には状況判定部２０４が食後であると判定した場合）における重畳表示の例を示す図である。具体的には、図１０に示す画像１０１は、食後に食べ残しがなかったと判定された場合のコンテンツの重畳表示例を示している。画像１０１では、食品の側方にキャラクタＣＨＡＬ１が重畳表示されていると共に、キャラクタＣＨＡＬ１のメッセージＭＳＧ３が重畳表示されている。メッセージＭＳＧ３は、食べ残しがなかったことを褒めるものである。

　決定部２０６は、状況判定部２０４が食後であると判定し、かつ食べ残しがなかったと判定した場合に、食べ残しがなかったことを褒めるメッセージＭＳＧ３のようなコンテンツを重畳表示するコンテンツに決定してもよい。無論、食後であることの判定と、食べ残しの有無の判定をそれぞれ別の処理ブロックで行うようにしてもよい。

　食べ残しがなかったことを褒めるコンテンツを重畳表示するコンテンツに決定し、重畳表示させることにより、食べ残しをしなかったことについてのユーザの達成感をさらに大きくすることができる。また、食べ残しをしないことを条件として表示される特別なコンテンツが存在することは、食べ残しをしないようにすることについてのユーザの動機付けとなる。

　一方、図１０に示す画像１０２は、食後に食べ残しがあったと判定された場合のコンテンツの重畳表示例を示している。画像１０２では、食品の側方にキャラクタＣＨＡＬ１が重畳表示されていると共に、キャラクタＣＨＡＬ１のメッセージＭＳＧ４が重畳表示されている。メッセージＭＳＧ４は、食べ残された食材を食べることの利点を説明するものである。

　決定部２０６は、状況判定部２０４が食後であると判定し、かつ食べ残しがあったと判定した場合に、このようなコンテンツを重畳表示するコンテンツに決定することにより、食べ残した食材を食べる動機付けを与えることができる。また、この例のように、食べ残した食材を識別すれば、その食材に応じた情報を重畳表示することができるから、食べ残した食材を食べるより強い動機付けを与えることができる。

　なお、食べ残し量や食べ残された食材は、撮影部２２が撮影した画像を解析することにより判定可能である。また、食べ残しをなくすあるいは減らす動機付けとなるコンテンツとして、決定部２０６は、フードロス問題に関するコンテンツ（例えば、年間のフードロス発生量や、食糧不足に苦しむ人の数を示すもの等）を重畳表示するコンテンツに決定してもよい。

　以上のように、状況判定部２０４は、ユーザの食べ残し量を判定してもよく、決定部２０６は、判定された食べ残し量に応じたコンテンツを重畳表示するコンテンツに決定してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、食べ残しを減らすようにユーザを促すこと等が可能になるという効果が得られる。なお、「食べ残し量」の判定には、食べ残しの有無（食べ残し量がゼロであるか否か）の判定も含まれる。

　また、決定部２０６は、状況判定部２０４が食後であると判定したときに、追加の注文の有無をユーザに確認するコンテンツや、ユーザに追加の注文を促すコンテンツを重畳表示するコンテンツに決定してもよい。また、決定部２０６は、状況判定部２０４が食後であると判定した後、追加の注文が行われた場合に、追加注文時用の特別なコンテンツを重畳表示するコンテンツに決定してもよい。これにより、ユーザに追加注文する動機付けを与えることができる。

　ここで、例えばユーザが飲食店で飲食をしているときに情報処理装置２を使用していた場合、状況判定部２０４が判定する食事状況を飲食店側に通知してもよい。例えば、情報処理装置２は、ユーザが食べ残した食材やその食べ残し量を、飲食店側の人間が使用する端末装置に出力してもよい。また、この際にユーザ属性についてもあわせて出力してもよい。このような情報は飲食店が提供する料理やサービスについて検討する際の貴重な参考情報となる。また、情報処理装置２は、ユーザの食事のペースや進行度を上記端末装置に出力してもよい。これにより、飲食店は、ユーザの食事のペースや進行度に応じたサービスの提供を行うことが可能になる。

　図１０に示す画像１０３は、食後におけるコンテンツの重畳表示の他の例を示している。画像１０３には、服薬すべき薬剤のリストを含む、ユーザに服薬を促すメッセージＭＳＧ５が重畳表示されている。このようなコンテンツは、ユーザが服薬すべきであることを示す参照情報が取得された場合に重畳表示するコンテンツとして決定される。服薬する薬剤や服用のタイミング等は、ユーザが情報処理装置２に予め入力しておいてもよいし、服薬する薬剤や服用のタイミング等を記録したサーバ等があればそこにアクセスして特定してもよい。他の参照情報についても同様の特定方法が適用可能である。

　このように、決定部２０６は、参照情報がユーザが服薬すべきであることを示している場合、重畳表示するコンテンツとして服薬を促すコンテンツを決定してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、ユーザに忘れず服薬させることができるという効果が得られる。なお、服薬を促すコンテンツは、食後に限られず、食前や食事中に重畳表示してもよい。特に、薬剤が食前に服用すべきものであれば食前に、食後に服用すべきものであれば食後に重畳表示することが望ましい。

　図１０に示す画像１０４は、食後におけるコンテンツの重畳表示のさらに他の例を示している。画像１０３には、ユーザが摂取したカロリーと塩分量を示す情報ＩＮＦ８が重畳表示されている。このようにカロリー等を食後に表示する場合、食べ残した食材および食べ残し量を考慮して算出した値を表示することが好ましい。なお、上述のように、食べ残した食材および食べ残し量は、撮影部２２が撮影した画像を解析することにより判定可能である。

　（表示制御方法の流れ：食事開始前）
　情報処理装置２が実行する表示制御方法の流れについて、図１１を参照して説明する。図１１は、表示制御方法の流れを示すフロー図である。なお、以下では、情報処理装置２を装着したユーザの食事の開始前に、当該ユーザの前に配置されている食品に所定の食品の画像を重畳表示させる例を説明する。

　Ｓ２１では、参照情報取得部２０５が参照情報を取得する。上述のように、参照情報は、ユーザに関するユーザ関連情報であってもよいし、現在の季節や天気等の状況を示す情報であってもよく、ユーザに提供された食品に関する情報であってもよい。

　Ｓ２２では画像取得部２０１が、撮影部２２によって撮影された画像、すなわち、情報処理装置２を装着したユーザの視野の少なくとも一部を撮影した画像を取得する。この画像にはユーザが食べようとする食品が写っている。

　Ｓ２３では、検出部２０２が、Ｓ２２で取得された画像から所定の検出対象を検出する。そして、Ｓ２４では、重畳領域設定部２０３が、Ｓ２３で検出された検出対象を基準として、Ｓ２２で取得された画像におけるコンテンツの重畳領域を設定する。ユーザの前に配置されている食品に所定の食品の画像を重畳表示させる場合、重畳領域はユーザの前に配置されている食品上に設定される。

　Ｓ２５では、決定部２０６が、Ｓ２２で取得された画像に重畳表示するコンテンツを決定する。より詳細には、決定部２０６は、Ｓ２４で設定された重畳領域に重畳表示する、Ｓ２１で取得された参照情報に応じたコンテンツを決定する。例えば、Ｓ２１で取得された参照情報が、ユーザが摂取カロリーを抑えたいユーザであることを示している場合、決定部２０６は、Ｓ２２で取得された画像に写る食品よりもカロリーの高い食品の画像を重畳表示するコンテンツに決定してもよい。

　Ｓ２６では、重畳画像生成部２０７が、Ｓ２５で決定されたコンテンツの重畳画像を生成する。所定の食品の画像を重畳表示させる場合、重畳画像生成部２０７は、当該所定の食品のテクスチャ画像を、Ｓ２４で設定された重畳領域の形状およびサイズに合うように加工して重畳画像を生成する。なお、重畳画像の生成は必須ではなく、Ｓ２５で決定されたコンテンツをそのままＳ２２で取得された画像に重畳表示させてもよい。

　Ｓ２７では、表示制御部２０８が、Ｓ２２で取得された画像にＳ２５で決定されたコンテンツを重畳表示させる。具体的には、表示制御部２０８は、Ｓ２６で生成された重畳画像を、Ｓ２１で取得された画像における重畳領域に合成する。これにより、情報処理装置２を装着したユーザには、自身の前に配置されている食品が所定の食品に見える状態となる。なお、図１１の処理は、画像取得部２０１が新たに画像を取得する毎に行われ、これによりリアルタイムでの重畳表示が実現される。

　ここで、図１１のフローでは、重畳領域を設定した後（Ｓ２４の後）でコンテンツを決定しているが、コンテンツの決定は、コンテンツの決定に必要な情報が揃った時点以降の任意のタイミングで行えばよく、この例に限られない。例えば、Ｓ２１で取得した参照情報により決定すべきコンテンツが決まるのであれば、Ｓ２１以降の任意のタイミングでコンテンツを決定すればよい。

　また、図１１のフローでは、冒頭のＳ２１で参照情報を取得しているが、参照情報を取得するタイミングも特に限定されない。また、複数の参照情報を取得する場合、各参照情報を同時に取得してもよいし、異なるタイミングで取得してもよい。例えば、Ｓ２１において、参照情報としてユーザが注文した食品を示す情報を取得したとする。この場合、注文された食品に含まれる食材に含まれる苦手な食材を、例えば入力部２４を介した操作や視線による操作によりユーザに入力してもらってもよい。そして、参照情報取得部２０５は、入力された情報を参照情報として取得し、重畳表示するコンテンツとして当該食材に代わる他の食材の画像を決定してもよい。

　（表示制御方法の流れ：食事開始後）
　ユーザの食事開始後に情報処理装置２が実行する表示制御方法の流れについて、図１２を参照して説明する。図１２は、食事開始後に実行される表示制御方法の流れを示すフロー図である。なお、Ｓ３１は図１１のＳ２１と同様の処理であり、Ｓ３５およびＳ３９は図１１のＳ２６と同様の処理であり、Ｓ４０は図１１のＳ２７と同様の処理であるから、これらの処理の説明は繰り返さない。

　Ｓ３２では、状況判定部２０４が、ユーザの食事状況を判定する。上述のように、状況判定部２０４が判定する食事状況としては様々なものが想定されるが、以下では、状況判定部２０４が、食事の進行度（具体的には食事中であるか食事が終了しているか）を判定する例を説明する。また、状況判定部２０４は、食事中であると判定した場合、他の状況についての判定を行ってもよい。例えば、状況判定部２０４は、食事に対するユーザの集中度や、食事のペース等を判定してもよい。

　Ｓ３３では、状況判定部２０４は、Ｓ３２の判定結果に基づき、ユーザの食事が終了したか否かを判定する。Ｓ３３でＹＥＳと判定された場合にはＳ３７の処理に進み、Ｓ３３でＮＯと判定された場合にはＳ３４の処理に進む。

　Ｓ３４では、決定部２０６が、Ｓ３１で取得された画像に重畳表示する、食事中用のコンテンツを決定する。食事中用のコンテンツは、例えば図９に示したような食事中であるという状況に応じたコンテンツである。なお、Ｓ３４における決定の際に、決定部２０６は、参照情報取得部２０５が取得した参照情報に応じたコンテンツを決定してもよい。この後、Ｓ３４で決定されたコンテンツの重畳画像がＳ３５で生成され、Ｓ３６でコンテンツの重畳表示が行われた後、Ｓ３１の処理に戻る。

　Ｓ３７では、状況判定部２０４が、ユーザの食べ残し量を判定する。そして、Ｓ３８では、決定部２０６が、Ｓ３１で取得された画像に重畳表示する、食事終了時用のコンテンツを決定する。食事終了時用のコンテンツは、例えば図１０に示したような食事が終了したという状況に応じたコンテンツである。この後、Ｓ３８で決定されたコンテンツの重畳画像がＳ３９で生成され、Ｓ４０でコンテンツの重畳表示が行われ、図１２の処理は終了する。なお、画像の取得と重畳表示はユーザによる終了操作が検出されるまで継続して行ってもよい。

　（情報処理装置の使用により得られる情報の活用について）
　ユーザが情報処理装置２を使用することにより、様々な情報が情報処理装置２に集積される。例えば、ユーザが情報処理装置２を使用することにより、コンテンツの決定のために取得される参照情報や食事状況が集積される他、視線情報や注文情報等についても情報処理装置２に集積される。

　このような情報は、当該ユーザが次回以降に情報処理装置２を使用する際のコンテンツ決定に利用することができる。例えば、決定部２０６は、視線情報に基づいてユーザの注目度が高かったコンテンツを特定し、当該コンテンツまたはそのコンテンツに関連したコンテンツを重畳表示するコンテンツに決定してもよい。例えば、決定部２０６は、過去に情報処理装置２により重畳表示した複数のキャラクタのうちユーザが注目していた（つまり目線が向けられていた時間が相対的に長かった）キャラクタを、重畳表示するコンテンツとして決定してもよい。また、例えば、決定部２０６は、過去に情報処理装置２により複数種類のコンテンツ（例えばキャラクタと背景画像）を表示した際に、ユーザが注目していた（つまり目線が向けられていた時間が相対的に長かった）種類のコンテンツを、重畳表示するコンテンツとして決定してもよい。

　また、情報処理装置２に集積される情報は、コンテンツの決定以外に利用することもできる。例えば、コンテンツの決定のために取得される参照情報、食べ残した食材を示す情報、および注文情報は、ユーザの食に対する嗜好を示した嗜好情報であるといえる。このような嗜好情報は、ユーザの嗜好に合致した食品や飲食店の推奨に利用可能である。例えば、情報処理装置２は、飲食店での注文時に、今までに食べ残しがなかった食品や、ユーザが注目していた（つまり目線が向けられていた時間が相対的に長かった）食品と同じジャンルの食品の注文を勧める画像を表示したり、音声を出力したりしてもよい。同様に、情報処理装置２は、ユーザが飲食店を選ぶ際に、今までに食べ残しがなかった食品や、ユーザが注目していた（つまり目線が向けられていた時間が相対的に長かった）食品と同じジャンルの食品を提供する飲食店を勧める画像を表示したり、音声を出力したりしてもよい。

　また、様々なユーザが使用した情報処理装置２（１台であってもよいし複数台であってもよい）から上述のような情報を収集し、当該情報を各種の分析に利用することもできる。なお、分析に利用する場合、個々のユーザや飲食店を特定する必要はなく、匿名化したデータとして利用してもよい。このようにして収集した情報を用いれば、ユーザの食のトレンドや傾向を推定することも可能である。例えば、食べ残しが少なくなるようなコンテンツの選び方を推定することも可能になる。また、例えば、所定のユーザ属性のユーザの利用頻度が高い飲食店やエリアを特定することも可能になる。このような分析には、例えば異種混合学習、ルール発見型推論、およびグラフベース関係性学習等を利用することもできる。

　なお、情報処理装置２は、飲食店等でサービスの一環として当該飲食店の利用客に貸与されてもよい。また、情報処理装置２は、病院や介護施設等におけるサービスの一環として患者や入所者に貸与されてもよい。複数のユーザで１つの情報処理装置２を共有する場合、使用開始時にユーザを識別することにより、そのユーザに応じたコンテンツを表示させることができる。

　〔変形例〕
　上述の各例示的実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置により、情報処理装置１および２と同様の機能を有する表示制御システムを構築することができる。例えば、図１および４のブロック図において、それらのブロック図に示される各ブロックを複数の装置に分散して設けることにより、情報処理装置１および２と同様の機能を有する表示制御システムを構築することができる。

　例えば、図４に示す情報処理装置２の各ブロックのうち、制御部２０に含まれる画像取得部２０１から重畳画像生成部２０７までのブロックをサーバに設けてもよい。この場合、情報処理装置２は、撮影部２２が撮影した画像をサーバに送信し、当該画像に情報が重畳されたものをサーバから受信して表示させる。このような表示制御システムであれば、１つのサーバで複数の情報処理装置２の表示制御を行わせることも可能である。

　〔ソフトウェアによる実現例〕
　情報処理装置１および２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

　後者の場合、情報処理装置１および２は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１３に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１または２として動作させるためのプログラム（表示制御プログラム）Ｐが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１または２の各機能が実現される。

　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

　（付記１）
　ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定手段と、前記画像に前記コンテンツを重畳表示させる表示制御手段と、を備える情報処理装置。

　（付記２）
　前記ユーザの食事状況を判定する状況判定手段を備え、前記決定手段は、前記食事状況に応じた前記コンテンツを重畳表示する前記コンテンツに決定する、付記１に記載の情報処理装置。

　（付記３）
　前記状況判定手段は、前記ユーザが食事に集中している度合いである集中度を判定し、前記決定手段は、前記集中度に応じたコンテンツを重畳表示する前記コンテンツに決定する、付記２に記載の情報処理装置。

　（付記４）
　前記状況判定手段は、前記ユーザの食事の進行の程度である進行度を判定し、前記決定手段は、前記進行度に応じたコンテンツを重畳表示する前記コンテンツに決定する、付記２に記載の情報処理装置。

　（付記５）
　前記状況判定手段は、前記ユーザの食べ残し量を判定し、前記決定手段は、前記食べ残し量に応じたコンテンツを重畳表示する前記コンテンツに決定する、付記２に記載の情報処理装置。

　（付記６）
　前記決定手段は、前記食事状況と、当該食事状況で表示すべきコンテンツとの関係を機械学習したコンテンツ予測モデルを用いて、前記状況判定手段が判定する食事状況に応じた前記コンテンツを決定する、付記２に記載の情報処理装置。

　（付記７）
　前記決定手段は、重畳表示する前記コンテンツとして所定の食品の画像を決定し、前記表示制御手段は、前記所定の食品の画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品に重畳表示させる、付記１から６の何れかに記載の情報処理装置。

　（付記８）
　前記所定の食品は、前記画像に写る前記食品と量が異なる同じ食品である、付記７に記載の情報処理装置。

　（付記９）
　前記コンテンツの決定時に参照される参照情報を取得する参照情報取得手段を備え、前記決定手段は、前記参照情報に応じたコンテンツを重畳表示する前記コンテンツに決定する、付記１から８の何れかに記載の情報処理装置。

　（付記１０）
　前記決定手段は、前記参照情報が、前記ユーザが摂取カロリーを抑えたいユーザであることを示している場合、重畳表示する前記コンテンツとして前記画像に写る食品よりもカロリーの高い食品の画像を決定し、前記表示制御手段は、前記決定手段が決定する画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品に重畳表示させる、付記９に記載の情報処理装置。

　（付記１１）
　前記決定手段は、前記参照情報が前記ユーザの嗜好を示している場合、重畳表示する前記コンテンツとして当該嗜好に適合した食品の画像を決定し、前記表示制御手段は、前記決定手段が決定する画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品に重畳表示させる、付記９または１０に記載の情報処理装置。

　（付記１２）
　前記決定手段は、前記参照情報が前記ユーザが服薬すべきであることを示している場合、重畳表示する前記コンテンツとして服薬を促すコンテンツを決定する、付記９から１１の何れかに記載の情報処理装置。

　（付記１３）
　前記決定手段は、前記参照情報が前記画像に写る前記食品の識別結果を示している場合、重畳表示する前記コンテンツとして当該識別結果に応じた背景画像を決定し、前記表示制御手段は、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品の背景に前記背景画像を重畳表示させる、付記９から１２の何れかに記載の情報処理装置。

　（付記１４）
　前記決定手段は、重畳表示する前記コンテンツとして人物またはキャラクタの画像を決定し、前記表示制御手段は、前記人物またはキャラクタの画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に重畳表示させる、付記１から１３の何れかに記載の情報処理装置。

　（付記１５）
　前記決定手段は、前記食品を収容する容器または食器とサイズの異なる容器または食器の画像を重畳表示する前記コンテンツとして決定し、前記表示制御手段は、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品の背景に、容器または食器の前記画像を重畳表示させる、付記１から１４の何れかに記載の情報処理装置。

　（付記１６）
　少なくとも１つのプロセッサが、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定することと、前記画像に前記コンテンツを重畳表示させることと、を含む表示制御方法。

　（付記１７）
　コンピュータを、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定手段、および前記画像に前記コンテンツを重畳表示させる表示制御手段、として機能させる表示制御プログラム。

　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。少なくとも１つのプロセッサを備え、前記プロセッサは、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する処理と、前記画像に前記コンテンツを重畳表示させる処理と、を実行する情報処理装置。

　なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する処理と、前記画像に前記コンテンツを重畳表示させる処理とを前記プロセッサに実行させるための表示制御プログラムが記憶されていてもよい。また、この表示制御プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

１、２　情報処理装置
１１、２０６　決定部
１２、２０８　表示制御部
２０４　状況判定部
２０５　参照情報取得部

 

Claims (17)

1. 　ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定手段と、
   　前記画像に前記コンテンツを重畳表示させる表示制御手段と、を備える情報処理装置。
2. 　前記ユーザの食事状況を判定する状況判定手段を備え、
   　前記決定手段は、前記食事状況に応じたコンテンツを重畳表示する前記コンテンツに決定する、請求項１に記載の情報処理装置。
3. 　前記状況判定手段は、前記ユーザが食事に集中している度合いである集中度を判定し、
   　前記決定手段は、前記集中度に応じたコンテンツを重畳表示する前記コンテンツに決定する、請求項２に記載の情報処理装置。
4. 　前記状況判定手段は、前記ユーザの食事の進行の程度である進行度を判定し、
   　前記決定手段は、前記進行度に応じたコンテンツを重畳表示する前記コンテンツに決定する、請求項２に記載の情報処理装置。
5. 　前記状況判定手段は、前記ユーザの食べ残し量を判定し、
   　前記決定手段は、前記食べ残し量に応じたコンテンツを重畳表示する前記コンテンツに決定する、請求項２に記載の情報処理装置。
6. 　前記決定手段は、前記食事状況と、当該食事状況で表示すべきコンテンツとの関係を機械学習したコンテンツ予測モデルを用いて、前記状況判定手段が判定する食事状況に応じた前記コンテンツを決定する、請求項２に記載の情報処理装置。
7. 　前記決定手段は、重畳表示する前記コンテンツとして所定の食品の画像を決定し、
   　前記表示制御手段は、前記所定の食品の画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品に重畳表示させる、請求項１から６の何れか１項に記載の情報処理装置。
8. 　前記所定の食品は、前記画像に写る前記食品と量が異なる同じ食品である、請求項７に記載の情報処理装置。
9. 　前記コンテンツの決定時に参照される参照情報を取得する参照情報取得手段を備え、
   　前記決定手段は、前記参照情報に応じたコンテンツを重畳表示する前記コンテンツに決定する、請求項１から８の何れか１項に記載の情報処理装置。
10. 　前記決定手段は、前記参照情報が、前記ユーザが摂取カロリーを抑えたいユーザであることを示している場合、重畳表示する前記コンテンツとして前記画像に写る食品よりもカロリーの高い食品の画像を決定し、
    　前記表示制御手段は、前記決定手段が決定する画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品に重畳表示させる、請求項９に記載の情報処理装置。
11. 　前記決定手段は、前記参照情報が前記ユーザの嗜好を示している場合、重畳表示する前記コンテンツとして当該嗜好に適合した食品の画像を決定し、
    　前記表示制御手段は、前記決定手段が決定する画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品に重畳表示させる、請求項９または１０に記載の情報処理装置。
12. 　前記決定手段は、前記参照情報が前記ユーザが服薬すべきであることを示している場合、重畳表示する前記コンテンツとして服薬を促すコンテンツを決定する、請求項９から１１の何れか１項に記載の情報処理装置。
13. 　前記決定手段は、前記参照情報が前記画像に写る前記食品の識別結果を示している場合、重畳表示する前記コンテンツとして当該識別結果に応じた背景画像を決定し、
    　前記表示制御手段は、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品の背景に前記背景画像を重畳表示させる、請求項９から１２の何れか１項に記載の情報処理装置。
14. 　前記決定手段は、重畳表示する前記コンテンツとして人物またはキャラクタの画像を決定し、
    　前記表示制御手段は、前記人物またはキャラクタの画像を、前記ユーザの視野の少なくとも一部を撮影した前記画像に重畳表示させる、請求項１から１３の何れか１項に記載の情報処理装置。
15. 　前記決定手段は、前記食品を収容する容器または食器とサイズの異なる容器または食器の画像を重畳表示する前記コンテンツとして決定し、
    　前記表示制御手段は、前記ユーザの視野の少なくとも一部を撮影した前記画像に写る前記食品の背景に、容器または食器の前記画像を重畳表示させる、請求項１から１４の何れか１項に記載の情報処理装置。
16. 　少なくとも１つのプロセッサが、
    　ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定することと、
    　前記画像に前記コンテンツを重畳表示させることと、を含む表示制御方法。
17. 　コンピュータを、
    　ユーザの視野の少なくとも一部を撮影した画像であって食品が写る画像に重畳表示するコンテンツを決定する決定手段、および
    　前記画像に前記コンテンツを重畳表示させる表示制御手段、として機能させる表示制御プログラム。
    
     

Images