JPWO2014097706A1 - 表示制御装置および記録媒体 - Google Patents

Abstract

本発明の課題は、飲食物の外観を変更した画像を表示することで食事をコントロールすることが可能な表示制御装置および記録媒体を提供することにある。そのために、本発明の表示制御装置は、入力画像に飲食物の画像が含まれているか否かを検出する検出部と、前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、を備える。

Description

本開示は、表示制御装置および記録媒体に関する。

近年、状況に応じて表示態様を変更することで、視覚的にユーザに報知する技術が知られている。例えば、下記特許文献１では、自車両に他車両が接近する場合に、その接近状況を特有の表示形式によって視覚的に運転者に報知する技術が開示されている。

さらに、食品の表示態様を変更して視覚的にユーザの満腹感を操作する表示システムも提案されている。例えば、下記非特許文献１では、拡張現実感によって周囲のものの大きさは保ったまま食品の見た目のサイズだけを操作することで、食品を食べたときに得られる満腹感を操作し、満腹感は一定のまま食事量を変えてしまうことが可能なシステムが提案されている。

特開２０１２−２０８５６６号公報

鳴海拓志、外４名、「拡張満腹感：拡張現実感を利用した食品の見た目の操作による満腹感のコントロール」、情報処理学会インタラクション２０１２、２０１２年３月１５日、ｐ．２５−３２

上記非特許文献１では、対象となる食品のみを拡大・縮小し、食品を持つ手は、サイズはそのままで、食品と整合性を保つよう変形させる画像処理が行われている。しかしながら、食品を持つ手を適切に変形させる画像処理を実現するためには、食品の持ち方を限定する必要があった。また、食品を持つ手を適切に変形させる画像処理は、手が連続的に動いている場合等は困難であった。

したがって、食品を持つ手を変形する画像処理を用いることなく、食品を変化させる画像処理により食事をコントロールできることが求められる。

また、非特許文献１では、食品のサイズ感を知覚させることで、満腹感を変化させ、食品摂取量を操作しているが、食品のサイズを変化させる以外の方法により食品摂取量を操作する方法については言及していない。しかしながら、食品のサイズの他、食品の質感や、量（数）、色等の外観を変化させることで、食品摂取を制限したり促したり等のコントロールを行うことも考え得る。

そこで、本開示では、飲食物の外観を変更した画像を表示することで食事をコントロールすることが可能な、新規かつ改良された表示制御装置および記録媒体を提案する。

本開示によれば、入力画像に飲食物の画像が含まれているか否かを検出する検出部と、前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、を備える表示制御装置を提案する。

本開示によれば、コンピュータを、入力画像に飲食物の画像が含まれているか否かを検出する検出部と、前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部、として機能させるためのプログラムが記録された記録媒体を提案する。

以上説明したように本開示によれば、飲食物の外観を変更した画像を表示することで食事をコントロールすることが可能となる。

本開示の一実施形態による表示制御の概要を説明するための図である。 本実施形態によるＨＭＤの外観を説明するための図である。 図２に示すＨＭＤの内部構成例を示すブロック図である。 第１の実施形態による表示制御処理を示すフローチャートである。 第１の実施形態による画像処理の一例を示す図である。 第１の実施形態による画像処理の他の例を示す図である。 第２の実施形態による表示制御処理を示すフローチャートである。 第２の実施形態による飲食禁止を促すための画像処理の一例を示す図である。 第３の実施形態による表示制御処理を示すフローチャートである。 第３の実施形態による画像処理の一例を示す図である。 第４の実施形態による表示制御処理を示すフローチャートである。 第４の実施形態による画像処理の具体例について説明するための図である。 第５の実施形態による表示制御処理を示すフローチャートである。 第６の実施形態による表示制御の概要を説明するための図である。 第６の実施形態によるメニュー画像に含まれる飲食物の外観を飲食物の属性に応じて変更した画像の一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による表示制御の概要
２．ＨＭＤの構成
３．各実施形態
３−１．第１の実施形態
３−２．第２の実施形態
３−３．第３の実施形態
３−４．第４の実施形態
３−５．第５の実施形態
３−６．第６の実施形態
４．まとめ

＜＜１．本開示の一実施形態による表示制御システムの概要＞＞
まず、本開示の一実施形態による表示制御の概要について、図１を参照して説明する。

図１は、本開示の一実施形態による表示制御の概要を説明するための図である。図１に示すように、本実施形態による表示制御は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１（表示制御装置）により実施される。

ＨＭＤ１は、図１に示すようにユーザＰに装着される眼鏡型のウェアラブル装置である。ＨＭＤ１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。

表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザＰは、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。

ここで、上述した非特許文献１では、対象となる食品のみを拡大・縮小し、食品を持つ手のサイズはそのままで食品と整合性を保つよう変形させる画像処理が行われるが、手を適切に変形させる画像処理は、手が連続的に動いている場合等は困難であった。

これに対し、本実施形態によるＨＭＤ１（表示制御装置）は、飲食物を持つ手を変形する画像処理を用いることなく、飲食物の外観を変更する画像処理を用いて生成した画像を表示することで食事をコントロールすることが可能である。

例えば、図１に示すように、ユーザＰが食事を行う際に、ユーザＰが装着するＨＭＤ１で目の前に在る飲料４９、サラダ４８、ステーキ５０が撮影される。そして、ＨＭＤ１は、撮像画像から飲食物の画像を検出し、当該飲食物の外観を変更した画像を生成して表示部２に表示する。

この際、ＨＭＤ１は、飲食物の属性を検出し、検出した飲食物の属性に基づいて、飲食物の外観を変更した画像を生成してもよい。

例えば、ＨＭＤ１は、撮像画像から飲料４９の画像、サラダ４８の画像、ステーキ５０の画像が検出された場合、各画像を解析し、各画像から飲料属性、野菜属性、肉属性を検出することができる。そして、ユーザＰがダイエット中（節制中）である場合、例えば肉属性が検出されたステーキ５０の画像のサイズを大きくする画像処理を行うことで、視覚的効果により実物のステーキの食事量以上の満腹感を与え、肉類の食べ過ぎを防止することができる。

具体的には、図１に示すように、ＨＭＤ１は、肉属性が検出されたステーキ５０の画像（ステーキ画像５０Ａ）に対して、ステーキの長さＬ１を、Ｌ１より長いＬ２に変更する画像処理を行い、サイズが大きくされたステーキ画像５０Ｂを含む画像３２を生成し、表示部２に表示する。ステーキ画像５０Ｂは、ステーキ５０の画像（ステーキ画像５０Ａ）の上に合成するよう全て生成された画像であってもよいし、ステーキ画像５０Ａの周囲に合成するようステーキ画像５０Ａとの差分部分のみ生成された画像であってもよい。

また、ユーザＰがダイエット中（節制中）であっても、飲料属性や野菜属性が検出された飲食物は多く摂取することが好ましいので、これらの属性が検出された画像に対しては、サイズ変更の画像処理は行わないようにしてもよい。したがって、図１に示すように、生成された画像３２に含まれるサラダ画像４８Ａおよび飲料画像４９Ａは、サイズ変更の画像処理が行われていない。

以上、本実施形態による表示制御の概要について説明した。なお、本実施形態によるＨＭＤ１は、飲食物のサイズ変更に限定されず、飲食物の質感や、量（数）、色等の外観を変更することで、飲食物の摂取を制限したり促したりするコントロールも可能となる。さらに、本実施形態によるＨＭＤ１は、ユーザがダイエット中か否かの他、ユーザの健康状態、アレルギー情報、または生体情報等のユーザ情報に基づいて、所定の飲食物の外観を変更してもよい。

続いて、本実施形態による表示制御を実施するＨＭＤ１（表示制御装置）の構成について、図２〜図３を参照して説明する。

＜＜２．ＨＭＤの構成＞＞
＜２−１．ＨＭＤの外観＞
図２は、本実施形態によるＨＭＤ１の外観を説明するための図である。図２に示す眼鏡型のＨＭＤ１は、シースルーＨＭＤとも称され、表示部２が透過状態に制御され得る。

具体的には、ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図２に示すように両耳殻にかけられることでユーザに装着される。

そしてこのＨＭＤ１は、図２に示すような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、ＨＭＤ１は液晶パネルの透過率を制御することで、図２に示すようなスルー状態、即ち透明または半透明の状態にできる。表示部２がスルー状態にされることで、ＨＭＤ１を眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

表示部２は、撮像レンズ３ａで撮像された現実空間の撮像画像を表示部２に表示することも可能である。また、表示部２は、ＨＭＤ１が生成した画像や、外部機器から受信したコンテンツ、ＨＭＤ１の記憶媒体に記憶されるコンテンツ等を再生表示することも可能である。

また、図２に示すように、ユーザＰが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により形成される。

また、図２では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。

また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。

なお図１に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

また撮像レンズ３ａ、照明を行う発光部４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。さらに、撮像レンズ３ａ、発光部４ａは、前方のみならず、横方向や後方に向けて配置されてもよい。

またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。

また、マイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。

以上、本実施形態によるＨＭＤ１の外観について説明した。なお、本実施形態では、表示制御装置の一例としてＨＭＤ１を用いているが、本実施形態による表示制御装置はＨＭＤ１に限定されない。例えば、本実施形態による表示制御装置は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。

＜２−２．ＨＭＤの内部構成＞
次に、本実施形態によるＨＭＤ１の内部構成について図３を参照して説明する。図３は、図２に示すＨＭＤ１の内部構成例を示すブロック図である。

図３に示すように、ＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、システムコントローラ１０、撮像制御部１１、表示画像処理部１２、表示駆動部１３、表示制御部１４、撮像信号処理部１５、音声信号処理部１６、画像解析部１７、照明制御部１８、ストレージ部２５、通信部２６、画像入出力コントロール２７、音声入出力コントロール２８、および音声合成部２９を有する。

（システムコントローラ）
システムコントローラ１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。

また、システムコントローラ１０は、図２に示すように、画像解析部１７による画像解析結果に基づいて、撮像画像から飲食物の画像を検出したり、飲食物の属性を検出したりする検出部１０ａと、ＨＭＤ１の動作を制御する動作制御部１０ｂとして機能する。

検出部１０ａは、画像解析部１７による画像解析結果に基づいて、撮像画像から飲食物の画像を検出する。例えば検出部１０ａは、撮像画像の画像解析結果と、予めストレージ部２５に記憶されている飲食物検出用のパターン画像とをマッチングすることにより、飲食物の画像を検出することができる。また、検出部１０ａは、検出した飲食物の画像に基づいて、飲食物の属性を検出する。例えば検出部１０ａは、検出した飲食物の画像と、予めストレージ部２５に記憶されている飲食物の属性が紐付けられたパターン画像とをマッチングすることにより、飲食物の属性を検出することができる。

動作制御部１０ｂは、ＨＭＤ１の各動作を制御する。より具体的には、本実施形態による動作制御部１０ｂは、検出部１０ａにより撮像画像から飲食物の画像が検出された場合、飲食物の属性やユーザ情報に応じて、飲食物の外観を変更した画像を生成する画像生成部として機能する。そして、動作制御部１０ｂは、生成した画像を表示部２に表示するよう表示制御部１４に指示を出す。

（撮像部）
撮像部３は、撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

（撮像信号処理部）
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１５は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

（撮像制御部）
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１５のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。

（画像入出力コントロール）
上記撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール２７に供給される。画像入出力コントロール２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち画像入出力コントロール２７は、撮像信号処理部１５、表示画像処理部１２、画像解析部１７、ストレージ部２５、通信部２６の間の画像データの転送を制御する。例えば画像入出力コントロール２７は、撮像信号処理部１５で処理された撮像信号としての画像データ（撮像画像）を、画像解析部１７に供給する動作を行う。

（表示画像処理部）
表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。

（表示駆動部）
表示駆動部１３は、表示画像処理部１２から供給される画像データを、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示制御部１４の指示に従って、表示部２の各画素の透過率を制御し、表示部２をスルー状態にすることもできる。

（表示制御部）
表示制御部１４は、システムコントローラ１０の制御に応じて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。具体的には、表示制御部１４は、表示画像処理部１２に対して、上述した画像データの輝度レベル調整等を行うよう制御する。

また、本実施形態による表示制御部１４は、システムコントローラ１０の制御に応じて、動作制御部１０ｂ（画像生成部）により生成された、飲食物の外観が変更された画像を、表示部２に表示するよう表示駆動部１３の動作を制御する。

（音声入力部）
音声入力部６は、図２に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声入出力コントロール２８に出力する。

（音声入出力コントロール）
音声入出力コントロール２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。具体的には、音声入出力コントロール２８は、音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。例えば、音声入出力コントロール２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。また音声入出力コントロール２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。また音声入出力コントロール２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。

（音声信号処理部）
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、あるいは通信部２６からの音声データが、音声入出力コントロール２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。

（音声出力部）
音声出力部５は、図２に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。さらにユーザは、音声出力部５により、外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。

（ストレージ部）
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２５は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

ストレージ部２５には、撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データ（撮像画像）や、動作制御部１０ｂで生成された飲食物の外観が変更された画像データ等が、画像入出力コントロール２７を介して供給される。また、ストレージ部２５には、音声入力部６で得られた音声データや、通信部２６で受信した音声データが、音声入出力コントロール２８を介して供給される。

（通信部）
通信部２６は外部機器との間でのデータの送受信を行う。通信部２６は、外界情報を取得するための構成の一例である。通信部２６は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（登録商標、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース、登録商標）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

（音声合成部）
音声合成部２９は、システムコントローラ１０の制御に応じて音声合成を行い、音声信号を出力する。音声合成部２９から出力された音声信号は、音声入出力コントロール２８を介して音声信号処理部１６に供給されて処理された後、音声出力部５に供給され、ユーザに対して音声出力される。

（照明部、照明制御部）
照明部４は、図２に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図２に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

（画像解析部）
画像解析部１７は、外界情報を取得するための構成の一例である。具体的には、画像解析部１７は、画像データを解析し、画像データに含まれる画像の情報を得る。画像解析部１７には、画像入出力コントロール２７を介して画像データが供給される。画像解析部１７において画像解析の対象となる画像データとは、撮像部３、撮像信号処理部１５により得られた撮像画像としての画像データや、通信部２６で受信された画像データ、あるいはストレージ部２５で記録媒体から再生された画像データである。

本実施形態による画像解析部１７は、撮像信号処理部１５により得られた撮像画像（画像データ）を解析し、点検出、線・輪郭検出、領域分割等を行い、画像解析結果をシステムコントローラ１０の検出部１０ａに出力する。

以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部５、音声入力部６、音声信号処理部１６、音声入出力コントロール２８、音声合成部２９を示したが、これらは必ずしも全てを備える必要はない。また、ＨＭＤ１の構成として通信部２６を示したが、必ずしも備える必要はない。

上記構成により、ＨＭＤ１は、撮像部３により撮像された撮像画像に写る飲食物の外観を変更させて生成した画像をリアルタイムで表示部２に表示させ、ユーザＰの食事をコントロールすることができる。次に、本実施形態のＨＭＤ１がどのような場合にどのような画像を生成し、どのように食事をコントロールするのかについて、複数の実施形態を用いて具体的に説明する。

＜＜３．各実施形態＞＞
＜３−１．第１の実施形態＞
第１の実施形態では、ＨＭＤ１が、検出部１０ａにより検出された飲食物の属性に基づいて当該飲食物の外観を変更した画像を生成する。以下、第１の実施形態による表示制御について、図４〜図６を参照して具体的に説明する。

図４は、第１の実施形態による表示制御処理を示すフローチャートである。まず、図４のステップＳ１０３において、ユーザＰに装着されたＨＭＤ１は、撮像部３によりユーザＰの視線方向に在る飲食物を撮像する。

次いで、ステップＳ１０６において、検出部１０ａは、撮像画像から飲食物の画像および飲食物の属性を検出する。

次に、ステップＳ１０９において、動作制御部１０ｂは、検出部１０ａにより検出された飲食物の属性が予め設定された健康に良くない飲食物の属性に該当する場合またはユーザＰがダイエット中の場合であるか否かを判断する。ユーザＰがダイエット中か否かは、ユーザ操作によりダイエットモードに設定されているか否かにより判断され得る。ユーザＰがダイエット中の場合、動作制御部１０ｂは、さらに検出部１０ａにより検出された飲食物の属性が節制対象の飲食物の属性に該当するか否かを判断する。

そして、健康に良くない飲食物の属性に該当しない場合、ユーザＰがダイエット中ではない場合、またはダイエット中だが節制対象の飲食物の属性に該当しない場合（Ｓ１０９／Ｎｏ）、動作制御部１０ｂは飲食物の外観を変更する必要がない。したがって、ステップＳ１１５において、動作制御部１０ｂは、撮像部３により撮像された画像を表示部２にそのままリアルタイムで表示、または表示部２を透過状態に制御する。

一方、健康に良くない飲食物の属性に該当する場合またはユーザＰがダイエット中であって節制対象の飲食物の属性に該当する場合（Ｓ１０９／Ｙｅｓ）、動作制御部１０ｂは飲食物の外観を変更する。具体的には、ステップＳ１１２において、動作制御部１０ｂ（画像生成部）は、検出された飲食物の画像に対して、実際の食事量以上の満腹感を与えるための画像処理、または食欲を抑えるための画像処理を行う。

実際の食事量以上の満腹感を与えるための画像処理とは、例えば飲食物の量を増やしたり、サイズを大きくしたりする画像処理である。また、食欲を抑えるための画像処理とは、飲食物の色や質感を、食欲を抑える所定の色、質感に変更する画像処理である。

ここで、図５および図６を用いて、実際の食事量以上の満腹感を与えるための画像処理として、飲食物の量を増やしたり、サイズを大きくしたりする画像処理の具体例について説明する。

図５は、ユーザがクッキーを保持している場合に、クッキーのサイズを大きくする画像処理を行って生成した画像の一例である。図５の画像３４に示すように、ユーザが円形のクッキーの厚み方向を保持している場合、動作制御部１０ｂ（画像生成部）は、クッキー画像３５Ａの径方向の長さＬ４を、Ｌ４より長いＬ５に変更したクッキー画像３５Ｂを生成する。一方、図５の画像３６に示すように、ユーザが円形のクッキーの径方向を保持している場合、動作制御部１０ｂ（画像生成部）は、クッキー画像３５Ａの厚み方向の厚さＴ４を、Ｔ４より厚いＴ５に変更したクッキー画像３５Ｃを生成する。このように、ユーザが飲食物を保持している方向に応じて、保持個所に影響がないよう飲食物のサイズを変更することで、手を変形する画像処理が不要となる。

図６は、器に米が盛られている場合に、米の量を増やすよう変更して生成した画像の一例を示す図である。例えば、図６の画像３８に示すように、動作制御部１０ｂ（画像生成部）は、器に盛られた米画像３９Ａに基づいて、米のみを増量するよう変更した米画像３９Ｂを生成することができる。より具体的には、検出部１０ａが、撮像画像から飲食物の周辺に配置されたオブジェクトの画像を検出し、動作制御部１０ｂが、検出された上記オブジェクトの外観は変更せずに、飲食物の外観を変更した画像を生成する。ここで、飲食物の周辺に配置されたオブジェクトとは、図６に示すような茶碗の他、皿や箸等の食器、およびテーブルが含まれる。

また、動作制御部１０ｂは、検出部１０ａにより検出された飲食物とともに、当該飲食物が入っている食器の外観も変更した画像を生成してもよい。例えば、図６の画像４１に示すように、動作制御部１０ｂ（画像生成部）は、米および茶碗を含む画像４２Ａを拡大するよう変更した画像４２Ｂを生成してもよい。

以上、第１の実施形態による表示制御について説明した。第１の実施形態によれば、ＨＭＤ１は、検出部１０ａにより検出された飲食物の属性に基づいて当該飲食物の外観を変更した画像を生成し、ユーザの満腹感や摂取量をコントロールすることができる。

＜３−２．第２の実施形態＞
第２の実施形態では、ＨＭＤ１が、検出部１０ａにより検出された飲食物の属性およびユーザ情報に基づいて当該飲食物の外観を変更した画像を生成する。以下、第２の実施形態による表示制御について、図７〜図８を参照して具体的に説明する。

図７は、第２の実施形態による表示制御処理を示すフローチャートである。まず、図７のステップＳ１２３において、動作制御部１０ｂは、ユーザ情報を取得する。ユーザ情報とは、例えばユーザの生体情報（身長、体重、発汗量、心拍数、脈拍数、血液成分情報）、健康状態を示す情報（現在患っている病気に関する情報等）、飲食物に関する嗜好情報（好みの味等）、ユーザの飲食物に関する飲食禁止または飲食制限情報、カロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、またはアレルギー情報等である。これらのユーザ情報は、ストレージ部２５に予め登録されたユーザ情報から取得されてもよいし、通信部２６を介して外部機器に予め登録されたユーザ情報から取得されてもよいし、ユーザに装着された各種センサからリアルタイムに検出され取得されてもよい。

次に、ステップＳ１２６において、動作制御部１０ｂは、取得したユーザ情報に基づいて、ユーザが健康体か否かを判断する。例えば動作制御部１０ｂは、ユーザの生体情報を参照して異常値が検出されない場合、健康状態を示す情報に病気情報が含まれていない場合、または飲食物に関するアレルギー情報がない場合は、ユーザが健康体であると判断する。また、動作制御部１０ｂは、ユーザの生体情報を参照して異常値が検出された場合、健康状態を示す情報に病気情報が含まれる場合、または飲食物に関するアレルギー情報がある場合は、ユーザが健康体ではないと判断する。

次いで、ユーザが健康体ではないと判断された場合（Ｓ１２６／Ｎｏ）、ステップＳ１２９において、動作制御部１０ｂは、ユーザ情報に基づいて、飲食が禁止されている、または飲食が好ましくないとされる飲食物に関する特殊情報を取得する。具体的には、動作制御部１０ｂは、ユーザ情報から特殊情報を抽出してもよいし、ユーザ情報に基づいて、ストレージ部２５や外部機器から対応する特殊情報を取得してもよい。例えば、ユーザ情報からユーザが糖尿病や高脂血症であることが判明した場合、動作制御部１０ｂは、糖尿病や高脂血症の際に飲食が禁止されている、または飲食が好ましくないとされる飲食物を特殊情報として抽出する。

次に、ステップＳ１３２において、撮像部３によりユーザＰの視線方向に在る飲食物が撮像される。

次いで、ステップＳ１３５において、検出部１０ａは、撮像画像から飲食物の画像を検出する。この際、検出部１０ａは、併せて飲食物の属性を検出してもよい。

次に、ステップＳ１３８において、動作制御部１０ｂは、検出部１０ａにより検出された飲食物の画像が、特殊情報に関係する飲食物の画像であるか否かを判断する。すなわち、動作制御部１０ｂは、飲食が禁止されている、または飲食が好ましくないとされる飲食物が撮像画像に含まれているか否かを判断する。

続いて、特殊情報に関係する飲食物の画像である場合（Ｓ１３８／Ｙｅｓ）、ステップＳ１４１において、動作制御部１０ｂは、特殊情報に関係する飲食物の外観を変更した画像を生成して表示部２に表示し、当該飲食物の飲食禁止を促す。ここで、図８に、飲食禁止を促すための画像処理の一例を示す。図８の画像４４に示すように、動作制御部１０ｂは、撮像されたアルコール飲料画像４５Ａに禁止マーク４６を重畳表示してもよい。また、図８の画像４７に示すように、動作制御部１０ｂは、アルコール飲料の外観を、食欲を抑える効果がある所定の色に変更したアルコール飲料画像４５Ｂを生成してもよい。

一方、ユーザが健康体ではあると判断された場合（Ｓ１２６／Ｙｅｓ）、ステップＳ１０３〜Ｓ１１５において、図４を参照して上述した同ステップ（Ｓ１０３〜Ｓ１１５）の処理が行われる。

また、上記Ｓ１３８で、検出部１０ａにより検出された飲食物の画像が、特殊情報に関係する飲食物の画像ではないと判断された場合（Ｓ１３８／Ｎｏ）、動作制御部１０ｂは、ステップＳ１０９に示す処理を行う。すなわち、動作制御部１０ｂは、検出部１０ａにより検出された飲食物の属性が予め設定された健康に良くない飲食物の属性に該当する場合またはユーザＰがダイエット中の場合であるか否かを判断する。そして、動作制御部１０ｂは、判断結果に応じてＳ１１２〜Ｓ１１５に示す処理（図４を参照して上述した同ステップに示す処理）を行う。

以上、第２の実施形態による表示制御について説明した。第２の実施形態によれば、ＨＭＤ１は、ユーザ情報および飲食物の属性に基づいて、当該飲食物の外観を変更した画像を生成し、ユーザの食事をコントロールすることができる。

なお、上述した例では、ユーザ情報に基づいて取得される飲食に関する特殊情報に関係する飲食物（例えば飲食が禁止されている飲食物）が検出された場合に、当該飲食物の飲食禁止を促す表示制御を行っているが、本実施形態による表示制御はこれに限定されない。

例えば、本実施形態による動作制御部１０ｂは、上記Ｓ１１２において、Ｓ１０９に示す条件に該当する飲食物の外観を変更する際にユーザ情報を参照してもよい。具体的には、例えば動作制御部１０ｂは、ユーザの嗜好情報を参照し、ユーザが好きな飲食物をより増量するよう表示制御し、視覚的効果による満腹感や満足感を、より効果的に与えることができる。また、動作制御部１０ｂは、ユーザがダイエット中の場合（Ｓ１０９／Ｙｅｓ）、ユーザのカロリー摂取情報を参照し、一日に必要なカロリー摂取量を超えるカロリーを有することが想定される飲食物に対して、食欲を抑えるための画像処理を行ってもよい。

＜３−３．第３の実施形態＞
第３の実施形態では、ＨＭＤ１が、検出部１０ａにより検出された複数の飲食物に対して、それぞれの飲食物の属性に応じて外観を変更する表示制御を行う。以下、第３の実施形態による表示制御について、図９〜図１０を参照して具体的に説明する。

図９は、第３の実施形態による表示制御処理を示すフローチャートである。まず、図９のステップＳ１５３において、ＨＭＤ１は、撮像部３により、複数の飲食物を含む食卓（プレート）全体を撮像する。

次に、ステップＳ１５６において、検出部１０ａは、撮像画像から複数の飲食物の画像を個別に検出する。この際、検出部１０ａは、併せて複数の飲食物の属性を検出してもよい。

次いで、ステップＳ１５９において、動作制御部１０ｂは、検出された複数の飲食物に付番を行い、総数 Ｎをカウントする。例えば、図１０に示すように、撮像画像３０からサラダ画像４８Ａ、飲料画像４９Ａ、ステーキ画像５０Ａが検出された場合、動作制御部１０ｂは、サラダ画像４８Ａに「１」、飲料画像４９Ａに「２」、ステーキ画像５０Ａに「３」を付番し、総数「３」をカウントする。

次に、ステップＳ１６２において、動作制御部１０ｂは、ｎ＝１にセットする。

続いて、ステップＳ１６５において、動作制御部１０ｂは、飲食物ｎの属性が、予め設定された健康に良くない飲食物の属性、または節制対象の飲食物の属性に該当するか否かを判断する。例えば、ｎ＝１にセットされている場合は、「１」が付番されたサラダ画像４８Ａに対して判断が行われる。

次に、上記いずれにも該当しない場合（Ｓ１６５／Ｎｏ）、ステップＳ１７１において、動作制御部１０ｂは、飲食物ｎの画像を通常表示するよう、すなわち外観を変更せずに撮像したままの状態で表示部２に表示するよう制御する。例えば撮像されたサラダ画像４８Ａの属性が、上記いずれにも該当しないと判断された場合、図１０に示すように、表示部２に表示される画像３２には、外観が変更されていないサラダ画像４８Ａが含まれる。

そして、ステップＳ１７４において、動作制御部１０ｂは、現在セットされている「ｎ」が総数「Ｎ」より小さいか否かを判断する。

次に、「Ｎ」より小さい場合（Ｓ１７４／Ｎｏ）、ステップＳ１７７において、動作制御部１０ｂは、現在セットしている「ｎ」に対してインクリメント処理を行う。これにより動作制御部１０ｂは、ｎ＝２にセットすることができる。

次いで、上記Ｓ１６５が繰り返され、より具体的には、動作制御部１０ｂは、「２」が付番された飲料画像４９Ａに対して、当該飲食物の属性が、予め設定された健康に良くない飲食物の属性、または節制対象の飲食物の属性に該当するか否かを判断する。

次に、上記Ｓ１６５で該当すると判断された場合（Ｓ１６５／Ｙｅｓ）、ステップＳ１６８において、動作制御部１０ｂは、当該飲食物の外観を変更する。具体的には、動作制御部１０ｂ（画像生成部）は、検出された飲食物の画像に対して、実際の食事量以上の満腹感を与えるための画像処理、または食欲を抑えるための画像処理を行う。

例えば飲料画像４９Ａの属性が節制対象の飲食物の属性に該当する場合、動作制御部１０ｂは、図１０に示すように、飲料が入っているグラスの高さを、撮像画像３０の飲料画像４９Ａの高さＴ８よりも高いＴ９に変更した飲料画像４９Ｂを生成する。このように実際の大きさよりも大きくグラスを表示し、また、透明のグラスであればグラスを大きくすると共に内容物の量も増やす表示に変更することで、ユーザに、視覚的効果により実際の食事量以上の満腹感を与えることができる。

また、通常、グラスを持つ際は、グラスの下半分または中央部分を持つので、高さＴ８との差分部分であるグラスの上方が生成画像であっても、ユーザは違和感なくグラスを持って、実際に飲むことができる。また、図１０に示すように、飲料画像４９Ｂはグラスの幅ではなく高さがより高く変更されているので、グラスを持つユーザの手を変形する等の画像処理を行う必要はない。

また、ステーキ画像５０Ａの属性が節制対象の飲食物の属性に該当する場合、動作制御部１０ｂは、図１０に示すように、ステーキの長さを、撮像画像３０のステーキ画像５０Ａの長さＬ１よりも長いＬ２に変更したステーキ画像５０Ｂを生成する。

このように、上記Ｓ１６５〜Ｓ１７７を繰り返し、現在セットされている「ｎ」が総数「Ｎ」以上になった場合（Ｓ１７４／Ｙｅｓ）、飲食物の外観を変更する表示制御が終了する。

以上、第３の実施形態による表示制御について説明した。第３の実施形態によれば、ＨＭＤ１は、撮像画像から複数の飲食物の画像が検出された場合も、飲食物毎に、その属性に基づいて外観を変更し、ユーザの食事をコントロールすることができる。

＜３−４．第４の実施形態＞
上述した各実施形態では、撮像画像から検出された飲食物の外観を、飲食物の属性やユーザ情報に応じて変更していたが、ユーザが見ていない時に飲食物の外観を変更していても、視覚的効果による満腹感等を与えることはできない。そこで、第４の実施形態では、ＨＭＤ１が視線検出機能を有している場合、ユーザが見ている飲食物の外観を変更するよう制御することで、より確実に、ユーザに対して視覚的効果による満腹感等を与えることができる。以下、第４の実施形態による表示制御について、図１１〜図１２を参照して説明する。

図１１は、第４の実施形態による表示制御処理を示すフローチャートである。まず、図１１のステップＳ１８３において、ＨＭＤ１の電源が投入されると、次のステップＳ１８６において、ＨＭＤ１の動作制御部１０ｂは、食事用モードに設定されたか否かを判断する。

次に、食事用モードに設定された場合（Ｓ１８６／Ｙｅｓ）、ステップＳ１８９において、ＨＭＤ１はユーザの視線を検出する。視線検出は、ＨＭＤ１装着時にユーザの眼を撮影するよう内側方向に向けてＨＭＤ１に設けられた撮像レンズ（不図示）により撮像した撮像画像に対する、画像解析部１７による解析結果に基づいて、例えば動作制御部１０ｂにより検出される。具体的には、動作制御部１０ｂは、撮像されたユーザの眼の瞳孔の動きを追跡して視線の向きを算出することで、ユーザがどこを見つめているか（視線方向）を特定することができる。

次いで、ステップＳ１９２において、検出部１０ａは、動作制御部１０ｂによる視線検出結果および撮像部３により撮像された飲食物の撮像画像に基づいて、ユーザが見ている飲食物を特定する。また、検出部１０ａは、併せて特定した飲食物の属性を検出する。

次に、ステップＳ１９５において、動作制御部１０ｂは、検出部１０ａにより特定された飲食物の属性が、予め設定された健康に良くない飲食物の属性、またはユーザＰがダイエット中の場合等に予め設定された節制対象の飲食物の属性に該当するか否かを判断する。

次いで、上記いずれかに該当すると判断された場合（Ｓ１９５／Ｙｅｓ）、ステップＳ１９８において、動作制御部１０ｂは、特定した飲食物の外観を変更した画像を生成し、表示部２に表示させる。具体的には、動作制御部１０ｂは、実際の食事量以上の満腹感を与えるために特定した飲食物を増量させる画像処理や、食欲を抑えるために特定した飲食物の色や質感を変更する画像処理を行う。

ここで、図１２を用いて、本実施形態による画像処理の具体例について説明する。図１２の画像５２に示すように、ユーザの視線方向５３に、飲料画像４９Ａが在る場合、動作制御部１０ｂは、飲料画像４９Ａのグラスの高さＴ８を、Ｔ８より高いＴ９に変更した飲料画像４９Ｂを生成し、表示する。また、図１２の画像５４に示すように、ユーザの視線方向５３に、ステーキ画像５０Ａが在る場合、動作制御部１０ｂは、ステーキ画像５０Ａのステーキの長さＬ１を、Ｌ１より長いＬ２に変更したステーキ画像５０Ｂを生成し、表示する。なお、図１２の画像５２、５４に示す視線方向５３の表示は、説明の便宜上図示したものであって、表示部２に必ずしも表示する必要はない。本実施形態による動作制御部１０ｂは、設定に応じて視線方向５３の表示を表示または非表示にするよう制御することが可能である。

以上、第４の実施形態による表示制御について説明した。第４の実施形態によれば、ＨＭＤ１は、ユーザの視線方向に在る飲食物、すなわちユーザが見て飲食しようとしている飲食物の外観を、飲食物の属性に基づいて変更した画像を生成し、ユーザの満腹感や摂取量をコントロールすることができる。

＜３−５．第５の実施形態＞
上述した第２の実施形態では、特殊情報に関係する飲食物以外の飲食物に対しても外観を変更する処理を行い（図７に示すＳ１０９〜Ｓ１１２）、その際にユーザ情報（嗜好情報等）を参照してもよい旨を述べたが、本開示による表示制御はこれに限定されない。例えば、次に説明する第５の実施形態では、ＨＭＤ１が、ユーザ情報から取得される特殊情報に関係する飲食物のみ外観を変更するよう表示制御してもよい。以下、第５の実施形態による表示制御について、図１３を参照して具体的に説明する。

図１３は、第５の実施形態による表示制御処理を示すフローチャートである。まず、図１３のステップＳ２１３において、動作制御部１０ｂは、ユーザ情報を取得する。

次に、ステップＳ２１６において、動作制御部１０ｂは、取得したユーザ情報に基づいて、ユーザが健康体か否かを判断する。

次いで、ユーザが健康体ではないと判断された場合（Ｓ２１６／Ｎｏ）、ステップＳ２１９において、動作制御部１０ｂは、ユーザ情報に基づいて、飲食が禁止されている、または飲食が好ましくないとされる飲食物に関する特殊情報を取得する。

次に、ステップＳ２２２において、撮像部３によりユーザＰの視線方向に在る飲食物が撮像される。

次いで、ステップＳ２２５において、検出部１０ａは、撮像画像から特殊情報に関係する飲食物の画像を検出する。すなわち、動作制御部１０ｂは、飲食が禁止されている、または飲食が好ましくないとされる飲食物の画像を、撮像画像から検出する。

続いて、特殊情報に関係する飲食物の画像が検出された場合（Ｓ２２８／Ｙｅｓ）、ステップＳ２３１において、動作制御部１０ｂは、特殊情報に関係する飲食物の外観を変更した画像を生成して表示部２に表示し、当該飲食物の飲食禁止を促す。

一方、ユーザが健康体であると判断された場合（Ｓ２１６／Ｙｅｓ）、および特殊情報に関係する飲食物の画像が検出されなかった場合（Ｓ２２８／Ｎｏ）、動作制御部１０ｂは、撮像部３により撮像された画像を表示部２にそのままリアルタイムで表示、または表示部２を透過状態に制御する。

以上説明したように、第５の実施形態によれば、ユーザ情報から取得される特殊情報に関係する飲食物のみ外観を変更するよう表示制御することができる。

＜３−６．第６の実施形態＞
上述した各実施形態では、ＨＭＤ１が、撮像部３で、ユーザがこれから食べようとしている実際に目の前に存在する飲食物を撮像し、撮像画像に写る飲食物の外観を変更する表示制御を行っている。しかしながら、本開示による表示制御はこれに限定されず、ＨＭＤ１は、例えば紙媒体または電子媒体で提示された飲食物（の写真）を撮像部３で撮像した場合にも、当該飲食物の外観を変更して表示部２に表示するよう制御することも可能である。以下、このように飲食物の写真に対しても外観変更の処理を行う第６の実施形態による表示制御について、図１４〜図１５を参照して具体的に説明する。

図１４は、第６の実施形態による表示制御の概要を説明するための図である。図１４に示すように、本実施形態によるＨＭＤ１は、ユーザの視線方向を撮像するよう外側を向けて設けられた撮像レンズ３ａにより、ユーザが見ている飲食物のメニュー画像７１０を撮像する。メニュー画像７１０は、図１４に示すように、タブレット型の電子端末７０の表示部７１に表示されている。また、メニュー画像７１０には、メニューの一例として、ステーキ、オムレツ、およびサラダの写真が掲載されている。

本実施形態によるＨＭＤ１は、撮像レンズ３ａで撮像したメニュー画像７１０に含まれる飲食物の外観を飲食物の属性に応じて変更した画像を表示部２に表示する。ここで、メニュー画像７１０に含まれる飲食物の外観を飲食物の属性に応じて変更した画像の一例を図１５に示す。

図１５に示す画像５５は、ＨＭＤ１の動作制御部１０ｂが、検出部１０ａによりメニュー画像７１０を撮像した撮像画像から検出された飲食物の属性に応じて、飲食物の外観を変更して生成した画像である。ＨＭＤ１はこのように生成した画像５５を表示部２に表示する。

より具体的には、例えばステーキが節制対象の飲食物である場合、図１５に示すように、動作制御部１０ｂは、ステーキの注文を控えるよう（ステーキに対する食欲を抑えるよう）、ステーキ画像５６Ａを小さくしたステーキ画像５６Ｂを生成する。

また、オムレツが、予め登録された健康に良くない飲食物および節制対象の飲食物のいずれにも該当しない場合は、動作制御部１０ｂは、オムレツの注文を促すよう（お得感を演出するよう）、オムレツ画像５７Ａを大きくしたオムレツ画像５７Ｂを生成する。さらに、サラダが、予め登録された健康に良くない飲食物および節制対象の飲食物のいずれにも該当しない場合は、動作制御部１０ｂは、サラダの注文を促すよう（お得感を演出するよう）、サラダ画像５８Ａを大きくしたサラダ画像５８Ｂを生成する。

これにより、例えばレストラン等で料理を注文する際、ＨＭＤ１は、ユーザがダイエット中であったり、健康に良くない飲食物であったりする場合には、注文を控えるよう、メニューに掲載された飲食物の外観を変更することができる。また、ＨＭＤ１は、健康に良い飲食物については注文を促すよう、メニューに掲載された飲食物の外観を変更することができる。

＜４．まとめ＞
上述したように、本実施形態による表示制御では、ユーザが食べようとしている飲食物の外観をリアルタイムに変更することで、食事をコントロールすることができる。例えば、本実施形態によるＨＭＤ１は、飲食物のサイズや量を大きくすることで、視覚的効果により、実際の食事量以上の満腹感を与えることができる。これにより、ユーザがダイエット中の場合や、健康に良くない飲食物の場合に、飲食物の摂取量をストレスなく抑えることができる。また、ＨＭＤ１は、飲食物の色や質感を、食欲を抑えるための所定の色や質感に変更することで、所定の飲食物の摂取をストレスなく制限することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ＨＭＤ１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したＨＭＤ１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本実施形態によるＨＭＤ１が、所定の匂いを発生する機能を有している場合、上述した飲食物の外観の変更に加えて、匂いにより食事をコントロールすることも可能である。例えば、ＨＭＤ１は、ユーザがダイエット中の場合や、ユーザが健康に良くない飲食物を食べようとしている場合に、食欲を抑える匂いとして、グレープフルーツの香りや、パチェリーの香り、またはシダーウッドの香りを発生させる。

また、本実施形態によるＨＭＤ１は、ユーザの飲食により実際の飲食物が減る量に応じて、表示部２に表示する、飲食物の外観を変更して生成した生成画像内の飲食物の量も減らすよう表示制御する。

例えば、ＨＭＤ１の動作制御部１０ｂは、飲食物を増量するよう変更した画像を生成した際、表示部２に表示させた生成画像において、実際の飲食物が減る量よりも多く減っているように表示制御してもよい。また、ＨＭＤ１の動作制御部１０ｂは、飲食物を増量するよう変更した画像を生成した際、実際の飲食物が減って所定の量以下になった場合に、表示部２に表示させた生成画像の飲食物の量も実際の飲食物と同量になるよう変更してもよい。

このように、飲食物を増量するよう変更した場合でも、実際の飲食物が減った場合には、表示部２に表示される外観が変更された飲食物の量も減るので、ユーザは違和感なく食事を行うことができる。

また、上記各実施形態では、表示制御装置の一例としてＨＭＤ１を用いたが、本実施形態による表示制御装置はＨＭＤ１に限定されず、例えば、スマートフォンおよび眼鏡型ディスプレイから形成される表示制御システムであってもよい。スマートフォン（表示制御装置）は、眼鏡型ディスプレイと無線／有線により接続可能であって、データの送受信を行うことができる。

ここで、眼鏡型ディスプレイとは、図２に示すＨＭＤ１と同様に、両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザに装着される。また、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部が配置される構成とされている。ＨＭＤ１は表示部２の液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にできるので、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

また、眼鏡型ディスプレイには、図２に示すＨＭＤ１と同様に、装着状態において、ユーザの視線方向を撮像するための撮像レンズが設けられ、眼鏡型ディスプレイは、撮像した画像をスマートフォン（表示制御装置）に送信する。

スマートフォン（表示制御装置）は、上記検出部１０ａおよび動作制御部１０ｂと同様の機能を有し、撮像画像から飲食物の画像および属性を検出し、飲食物の属性やユーザ情報に応じて、飲食物の外観を変更した画像を生成する。

そして、スマートフォン（表示制御装置）は、生成した画像を眼鏡型ディスプレイに送信し、眼鏡型ディスプレイの表示部に、飲食物の外観が変更された画像が表示される。

また、眼鏡型ディスプレイと形状は類似しているが表示機能を有しない眼鏡型装置への適用も考えられる。この場合、眼鏡型装置に設けられた、装着者（ユーザ）の視線方向を撮影するカメラにより飲食物を撮像し、撮像画像がスマートフォン（表示制御装置）に送信される。そして、スマートフォン（表示制御装置）は、撮像画像に写る飲食物の属性やユーザ情報に応じて、飲食物の外観を変更した画像を生成し、スマートフォンの表示部に表示する。

なお、本技術は以下のような構成も取ることができる。
（１）
入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、
を備える、表示制御装置。
（２）
前記検出部は、さらに前記飲食物の属性を検出し、
前記画像生成部は、前記検出部により検出された前記飲食物の属性に基づいて、前記飲食物の外観を変更した画像を生成する、前記（１）に記載の表示制御装置。
（３）
前記検出部は、前記入力画像から検出された複数の前記飲食物の属性を検出し、
前記画像生成部は、前記飲食物の属性に基づいて、選択的にそれぞれの前記飲食物の外観を変更した画像を生成する、前記（１）に記載の表示制御装置。
（４）
前記画像生成部は、前記飲食物の属性が、予め設定された健康に良くない飲食物の属性に該当する場合または節制対象の飲食物の属性に該当する場合、前記飲食物の量を増やす、サイズを大きくする、または色、質感を、食欲を抑えるための所定の色、質感にするよう変更した画像を生成する、前記（２）または（３）に記載の表示制御装置。
（５）
前記画像生成部は、さらにユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、前記（２）〜（４）のいずれか１項に記載の表示制御装置。
（６）
前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、前記（５）に記載の表示制御装置。
（７）
前記画像生成部は、ユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（８）
前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、前記（７）に記載の表示制御装置。
（９）
前記検出部は、ユーザ情報に基づいて、前記入力画像からユーザが飲食を禁止または制限されている飲食物の画像を検出し、
前記画像生成部は、前記飲食を禁止または制限されている飲食物に対して、飲食禁止または制限を促すよう変更した画像を生成する、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（１０）
前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、前記（９）に記載の表示制御装置。
（１１）
前記入力画像は、撮像部により実時間で撮像された撮像画像である、前記（１）〜（１０）のいずれか１項に記載の表示制御装置。
（１２）
前記撮像画像は、実空間に存在する飲食物を撮像した撮像画像である、前記（１１）に記載の表示制御装置。
（１３）
前記撮像画像は、飲食物が提示された紙媒体または電子媒体を撮像した撮像画像である、前記（１１）に記載の表示制御装置。
（１４）
前記検出部は、前記入力画像から、前記飲食物の周辺に配置されたオブジェクトの画像を検出し、
前記画像生成部は、前記オブジェクトの外観は変更せずに、前記飲食物の外観を変更した画像を生成する、前記（１）〜（１３）のいずれか１項に記載の表示制御装置。
（１５）
前記検出部は、前記入力画像から、前記飲食物が入っている食器の画像を検出し、
前記画像生成部は、前記飲食物とともに、前記食器の外観も変更した画像を生成する、前記（１）〜（１４）のいずれか１項に記載の表示制御装置。
（１６）
前記検出部は、ユーザの視線方向に在る飲食物を検出し、
前記画像生成部は、前記検出部により検出された、前記ユーザの視線方向に在る飲食物の外観を変更した画像を生成する、前記（１）〜（１５）のいずれか１項に記載の表示制御装置。
（１７）
コンピュータを、
入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部、
として機能させるためのプログラムが記録された記録媒体。

１ ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）
２ 表示部
３ 撮像部
３ａ 撮像レンズ
４ 照明部
４ａ 発光部
５ 音声出力部
６ 音声入力部
１０ システムコントローラ
１０ａ 検出部
１０ｂ 動作制御部
１１ 撮像制御部
１２ 表示画像処理部
１３ 表示駆動部
１４ 表示制御部
１５ 撮像信号処理部
１６ 音声信号処理部
１７ 画像解析部
１８ 照明制御部
２５ ストレージ部
２６ 通信部
２７ 画像入出力コントロール
２８ 音声入出力コントロール
２９ 音声合成部

Claims (17)

1. 入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
   前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
   前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、
   を備える、表示制御装置。
2. 前記検出部は、さらに前記飲食物の属性を検出し、
   前記画像生成部は、前記検出部により検出された前記飲食物の属性に基づいて、前記飲食物の外観を変更した画像を生成する、請求項１に記載の表示制御装置。
3. 前記検出部は、前記入力画像から検出された複数の前記飲食物の属性を検出し、
   前記画像生成部は、前記飲食物の属性に基づいて、選択的にそれぞれの前記飲食物の外観を変更した画像を生成する、請求項１に記載の表示制御装置。
4. 前記画像生成部は、前記飲食物の属性が、予め設定された健康に良くない飲食物の属性に該当する場合または節制対象の飲食物の属性に該当する場合、前記飲食物の量を増やす、サイズを大きくする、または色、質感を、食欲を抑えるための所定の色、質感にするよう変更した画像を生成する、請求項２に記載の表示制御装置。
5. 前記画像生成部は、さらにユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、請求項２に記載の表示制御装置。
6. 前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、請求項５に記載の表示制御装置。
7. 前記画像生成部は、ユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、請求項１に記載の表示制御装置。
8. 前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、請求項７に記載の表示制御装置。
9. 前記検出部は、ユーザ情報に基づいて、前記入力画像からユーザが飲食を禁止または制限されている飲食物の画像を検出し、
   前記画像生成部は、前記飲食を禁止または制限されている飲食物に対して、飲食禁止または制限を促すよう変更した画像を生成する、請求項１に記載の表示制御装置。
10. 前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、請求項９に記載の表示制御装置。
11. 前記入力画像は、撮像部により実時間で撮像された撮像画像である、請求項１に記載の表示制御装置。
12. 前記撮像画像は、実空間に存在する飲食物を撮像した撮像画像である、請求項１１に記載の表示制御装置。
13. 前記撮像画像は、飲食物が提示された紙媒体または電子媒体を撮像した撮像画像である、請求項１１に記載の表示制御装置。
14. 前記検出部は、前記入力画像から、前記飲食物の周辺に配置されたオブジェクトの画像を検出し、
    前記画像生成部は、前記オブジェクトの外観は変更せずに、前記飲食物の外観を変更した画像を生成する、請求項１に記載の表示制御装置。
15. 前記検出部は、前記入力画像から、前記飲食物が入っている食器の画像を検出し、
    前記画像生成部は、前記飲食物とともに、前記食器の外観も変更した画像を生成する、請求項１に記載の表示制御装置。
16. 前記検出部は、ユーザの視線方向に在る飲食物を検出し、
    前記画像生成部は、前記検出部により検出された、前記ユーザの視線方向に在る飲食物の外観を変更した画像を生成する、請求項１に記載の表示制御装置。
17. コンピュータを、
    入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
    前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
    前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部、
    として機能させるためのプログラムが記録された記録媒体。

Images