JP6089898B2 - 画像処理装置および記憶媒体 - Google Patents

Description

本開示は、画像処理装置および記憶媒体に関する。

実空間に存在する物体（実物体）を撮像した撮像画像に、仮想物体を合成する技術に関し、以下のような技術が開示されている。

例えば、下記特許文献１には、カメラの映像と付加画像を合成する画像合成部を備えた画像構成装置により、ペン等による指示位置、指示領域および指示情報の特徴量に応じて適切な付加画像を生成し、表示部に合成・表示する技術が開示されている。

また、下記特許文献２には、基となる画像の情報と、基となる画像の上に重ねる装飾品の画像の情報とに基づいて画像を合成することで、的確なシミュレーション画像を提示する画像処理装置が開示されている。

また、下記特許文献３には、ゲームセンタ等に設置される写真シール作製装置が開示されている。具体的には、利用者が編集画像表示部に表示されている編集画像上でタッチペンをタップすると、編集画像表示部に表示されている装飾画像が合成されたスタンプ画像として編集画像上の指定された位置に合成されるとともに、編集画像内の人物の画像の外縁に合成される。

特開平１１−１４４０２４号公報 特開２００７−１３３５９９号公報 特開２００９−２１１３６２号公報

しかしながら、上記いずれの特許文献においても、ユーザの生体情報、感情情報、嗜好情報等といったユーザの状況に応じた付加画像（装飾画像）を、対象物に重ね合わせることについては何ら言及されていない。

そこで、本開示では、撮像対象物を仮想的に装飾するための付加画像を、ユーザ状況を反映して自動的に生成することが可能な、新規かつ改良された画像処理装置および記憶媒体を提案する。

本開示によれば、撮像画像に基づいて、撮像された対象物を認識する認識部と、前記対象物を視認しているユーザのユーザ状況、および前記認識部による認識結果に応じて、前記対象物を装飾するための付加画像を生成する画像生成部と、を備える、画像処理装置を提案する。

本開示によれば、コンピュータを、撮像画像に基づいて、撮像された対象物を認識する認識部と、前記対象物を視認しているユーザのユーザ状況、および前記認識部による認識結果に応じて、前記対象物を装飾するための付加画像を生成する画像生成部と、として機能させるための、プログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、撮像対象物を仮想的に装飾するための付加画像を、ユーザ状況を反映して自動的に生成することが可能となる。

本開示の一実施形態による装飾システムの概要を説明するための図である。 本実施形態によるＨＭＤの外観構成の一例を示す図である。 本実施形態によるＨＭＤの内部構成の一例を示すブロック図である。 本実施形態によるサーバの内部構成の一例を示すブロック図である。 本実施形態による第１の装飾処理を示すフローチャートである。 本実施形態による第１の装飾を説明するための図である。 本実施形態による第２の装飾処理を示すフローチャートである。 本実施形態による第２の装飾処理による付加画像の変化を説明するための図である。 本実施形態による第２の装飾処理による付加画像の変化を説明するための図である。 本実施形態による第３の装飾処理を示すフローチャートである。 本実施形態による第３の装飾処理を示すフローチャートである。 他の実施形態による装飾システムの動作処理を示すフローチャートである。 他の実施形態による対象物の状況に応じた装飾を説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による装飾システムの概要
２．基本構成
２−１．ＨＭＤの基本構成
２−１−１．ＨＭＤの外観構成例
２−１−２．ＨＭＤの内部構成例
２−２．サーバの基本構成
３．動作処理
３−１．第１の装飾処理
３−２．第２の装飾処理
３−３．第３の装飾処理
４．他の実施形態
５．まとめ

＜＜１．本開示の一実施形態による装飾システムの概要＞＞
まず、本開示の一実施形態による装飾システムの概要について、図１を参照して説明する。

図１は、本開示の一実施形態による装飾システムの概要を説明するための図である。図１に示すように、ユーザＡは、眼鏡型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１を装着している。ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザＡに装着される。また、ＨＭＤ１は、装着状態において、ユーザＡの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザＡは、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。なおＨＭＤ１の具体的な外観構成については、図２を参照して後述する。

また、ＨＭＤ１は、無線通信によりネットワーク上のサーバ３０と接続し、データの送受信を行う。本開示の一実施形態による装飾システムは、図１に示すように、ＨＭＤ１およびサーバ３０を含む。

（背景）
ここで、昨今、上記特許文献３に開示されているように、様々な装飾を自分たちの姿に重ね合わせてプリントすることや、携帯電話端末やスマートフォン、鞄等に装飾用のシールやビーズ、自分のアイデンティティーを示すシールやビーズを貼ることが日常的に行われている。また、携帯電話端末やスマートフォン、鞄等に、装飾用のシールやビーズの他、好きなマスコット人形やぬいぐるみ等を取り付けたりすることも日常的に行われている。

しかしながら、このような装飾用のシール、ビーズ、ぬいぐるみ等の装飾品は実物体であるので、他の装飾品に変更したい場合は、現在の装飾品を取り外して新たな装飾品を取り付けるといった手間がかかっていた。また、新たな装飾品を探して購入する手間もかかるので、日替わり、時間替わり、週替わり等、気軽に適宜変更することは困難であった。

また、日常的に行われる装飾としては、上記携帯電話端末やスマートフォン等の所有物に対する装飾の他、ケーキ等の食べ物に対する装飾もある。特に誕生日やクリスマス等では、豪華あるいは華やかに見せるために、ケーキに様々な飾りやトッピングが施される。しかしながら、飾りについては食用でない場合も多く、食べ進めるうちに取り除くか、切り分ける時に取り外す必要があり、装飾を目で見て楽しみながら食べ進めることは困難である。また、誕生日ではケーキにローソクを立てて火をつけ、主役が火を吹き消すといったセレモニーが行われるが、実際にケーキを食べる際にはローソクを取り除くので、ケーキに穴が開いて見栄えが悪くなったり、また、ローソクのロウが垂れることが不快だったりする。

また、装飾品が実物体ではなく仮想物体（装飾品の画像）である場合、上記所有物や食べ物の撮像画像に、装飾品の画像を合成することで仮想的に装飾することが考えられるが、通常、装飾品の画像は予め設定されたり、ユーザにより任意に選択されたりすることが想定される。

そこで、上記事情を一着眼点にして本開示の各実施形態による装飾システムを創作するに至った。本開示の各実施形態による装飾システムでは、撮像対象物を装飾する仮想的な装飾品である付加画像を、ユーザ状況を反映して自動的に生成し、生成した付加画像を対象物に重ね合わせるよう表示制御する。

これにより、本開示による装飾システムは、例えばユーザの好み、体調、気分、行動等のユーザ状況に応じた装飾を行うための付加画像を自動的に生成し、対象物に重ね合わせて表示することで、利便性を向上させることができる。特に、このようなユーザ状況をリアルタイムで付加画像に反映させることで、装飾品の取り外しや購入の手間を省いて、よりユーザのニーズに合致した仮想的な装飾を実現することができる。

具体的には、図１に示すように、ＨＭＤ１がユーザＡに装着された状態で、ユーザＡが視認する方向を被写体方向として撮像するように、前方に向けて設けられた撮像レンズ（図２に示す撮像レンズ３ａ）で、被写体である対象物４０を撮像し、撮像画像をサーバ３０に送信する。

次いで、サーバ３０（画像処理装置）は、ＨＭＤ１から送信された撮像画像から対象物４０（ケーキ）を認識し、対象物４０を装飾するための付加画像（例えば付加画像Ｄ１〜Ｄ４）を生成し、生成した付加画像Ｄ１〜Ｄ４をＨＭＤ１（画像表示端末）に送信する。

ここで、サーバ３０は、付加画像Ｄ１〜Ｄ４を、ユーザＡのユーザ状況に応じて生成する。本明細書において、ユーザ状況とは、例えばユーザＡの生体情報、感情情報、嗜好情報、行動状況（行動予定も含む）、または環境情報を示す。

生体情報とは、ユーザＡの性別、年齢、生年月日、血液型、脈拍、心拍、脳波、体温または発汗量等を含み、予めユーザＡにより登録されたり、ＨＭＤ１によりリアルタイムで実測されたりする。

また、感情情報とは、ユーザＡの現在の感情（気持ち、気分）を示す情報であって、例えばＨＭＤ１によりリアルタイムで実測されたユーザの脈拍、心拍、脳波、体温、発汗量、またはユーザＡの顔を撮像した撮像画像に基づくユーザＡの表情等により判断される。

また、嗜好情報とは、ユーザＡの各種好みを示す情報であって、予めユーザＡにより登録される他、ユーザＡの各種ライフログの解析結果に基づくユーザＡの商品購入履歴や、飲食履歴、行動履歴等に基づいて判断される。ライフログには、ユーザＡが利用しているＳＮＳ（Ｓｏｃｉａｌ
Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）におけるユーザＡの投稿記事や、ブログ記事等が含まれる。

また、行動状況とは、ユーザＡの現在の行動または行動予定を示す情報であって、例えばＨＭＤ１に設けられたジャイロセンサ、加速度センサ、地磁気センサ、位置測位部、撮像センサ等によりリアルタイムで実測された検知結果に基づいて現在の行動が判断される。また、ユーザＡのスケジュール情報等に基づいて、行動予定が判断される。

また、環境情報とは、ユーザＡが現在置かれている環境を示す情報であって、例えば、ＨＭＤ１に設けられたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）で測位される現在位置情報や、日にち情報、時刻情報、天気情報等である。

以上説明したユーザ状況を示す各種情報は、予めサーバ３０に記憶されていたり、ＨＭＤ１からサーバ３０に送信されたりする。サーバ３０は、上述したように、ユーザＡのユーザ状況に応じて、付加画像Ｄ１〜Ｄ４を生成する。

図１に示す例では、サーバ３０は、例えばユーザＡの嗜好情報に基づいて、対象物４０（ケーキ）を、ユーザＡの好みのキャラクターや色合い、好きな物（例えば花やリボン）で装飾するための付加画像Ｄ２〜Ｄ４を生成する。また、サーバ３０は、ユーザＡの生体情報に基づいて、現在の日にちがユーザＡの誕生日である場合、対象物４０（ケーキ）を、誕生日を祝うメッセージで装飾するための付加画像Ｄ１を生成する。

そして、サーバ３０により生成された付加画像Ｄ１〜Ｄ４を受信したＨＭＤ１は、図１に示すように、付加画像Ｄ１〜Ｄ４を対象物４０に重ね合わせるよう、表示部２に表示する。なおＨＭＤ１は、表示部２をスルー状態（透過または半透過）に制御した上で、付加画像Ｄ１〜Ｄ４を、実空間に存在する対象物４０に重ね合うよう表示部２に表示してもよいし、対象物４０を撮像した撮像画像に付加画像Ｄ１〜Ｄ４を合成した合成画像を非透過に制御した表示部２に表示してもよい。これにより、ＨＭＤ１は、対象物４０（ケーキ）に、ユーザＡのユーザ状況に応じた仮想的な装飾を施すことが可能となる。

また、付加画像Ｄ１〜Ｄ４は、ＨＭＤ１またはサーバ３０により、対象物４０の状況の変化に応じて随時変化されることで、実際に装飾が施されているような感覚をユーザに提供することができる。例えば、図１に示すように、対象物４０がケーキ等の食べ物である場合に、ユーザＡがケーキを食べ進めると、ＨＭＤ１またはサーバ３０は、飲食の進行に応じて、飾りやトッピングの付加画像Ｄ１〜Ｄ４の表示位置を移動させたり、取り除いたりする。これにより、ユーザＡは、食べ物に施された装飾を目で楽しみながら飲食を行うことができる。

以上、本開示の一実施形態による装飾システムについて概要を説明した。続いて、本実施形態による装飾システムに含まれるＨＭＤ１およびサーバ３０の基本構成について説明する。

＜＜２．基本構成＞＞
＜２−１．ＨＭＤの基本構成＞
（２−１−１．ＨＭＤの外観構成例）
まず、図２を用いてＨＭＤ１の外観構成について具体的に説明する。図２は、本実施形態によるＨＭＤ１の外観構成の一例を示す図である。

図２に示すように、ＨＭＤ１は、装着状態において、ユーザＡの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。

また、ＨＭＤ１には、ユーザＡに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により形成される。

また、図２では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。

なお、図２に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

また、撮像レンズ３ａ、照明を行う発光部４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。

また、イヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。

さらに、マイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。

以上、図２に示すＨＭＤ１の外観構成について説明した。なお本明細書では、ユーザが所有する画像表示端末の一例としてＨＭＤ１を用いるが、本開示による画像表示端末はＨＭＤ１に限定されない。例えば、画像表示端末は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。

（２−１−２．ＨＭＤの内部構成例）
続いて、図３を用いてＨＭＤ１の内部構成について具体的に説明する。図３は、本実施形態によるＨＭＤ１の内部構成の一例を示すブロック図である。図３に示すように、本実施形態によるＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、主制御部１０、撮像制御部１１、撮像信号処理部１２、撮像画像解析部１３、照明制御部１４、音声信号処理部１５、表示制御部１７、音声制御部１８、状況検知部１９、通信部２１、およびストレージ部２２を有する。

（主制御部１０）
主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。

また、主制御部１０は、撮像部３により対象物を撮像し、撮像信号処理部１２および撮像画像解析部１３で処理された撮像画像を、通信部２１を介してサーバ３０に送信するよう制御する。また、主制御部１０は、状況検知部１９により検知された各種検知結果を、撮像画像とともに、通信部２１を介してサーバ３０に送信するよう制御する。

また、主制御部１０は、通信部２１によりサーバ３０から受信した付加画像を表示制御部１７に供給し、対象物に重ね合うよう表示部２に表示させる。

（撮像部）
撮像部３（撮像センサ）は、図２に示した撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

本実施形態による撮像部３は、仮想的な装飾の対象となる対象物を撮像し、撮像画像を撮像信号処理部１２に出力する。

（撮像制御部）
撮像制御部１１は、主制御部１０からの指示に基づいて、撮像部３および撮像信号処理部１２の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１２の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子および撮像信号処理部１２のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

さらに撮像制御部１１は、固体撮像素子および撮像信号処理部１２における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。

（撮像信号処理部）
撮像信号処理部１２は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１２は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１２は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

（撮像画像解析部）
撮像画像解析部１３は、外界状況を検知するための構成の一例である。具体的には、撮像画像解析部１３は、撮像部３により撮像され、撮像信号処理部１２により処理された画像データ（撮像画像）を解析し、画像データに含まれる画像の情報を得る。

具体的には、例えば撮像画像解析部１３は、画像データ（撮像画像）に対して点検出、線・輪郭検出、領域分割等の解析を行い、解析結果を主制御部１０に出力する。撮像画像の解析結果は、撮像画像とともに、サーバ３０に送信されてもよい。また、継続的に撮像される撮像画像の解析結果を主制御部１０に出力することで、主制御部１０は、ユーザによるジェスチャー入力を認識することができる。

（照明部、照明制御部）
照明部４は、図２に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１４は、主制御部１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図２に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

（音声入力部、音声信号処理部）
音声入力部６は、図２に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声信号処理部１５に出力する。音声信号処理部１５は、音声入力部６で得られた音声データに対して、ノイズ除去、音源分離等の処理を行う。そして処理した音声データを主制御部１０に供給する。本実施形態によるＨＭＤ１が音声入力部６および音声信号処理部１５を備えることで、例えばユーザによる音声入力を可能にする。

（状況検知部）
状況検知部１９は、外界状況を検知するための構成の一例である。具体的には、状況検知部１９は、ジャイロセンサ、加速度センサ、地磁気センサ、位置測位部（例えばＧＰＳ測位部）、または生体センサ等を含む。状況検知部１９は、検知結果を主制御部１０に出力する。また、生体センサは、ＨＭＤ１を装着しているユーザＡの脈拍、心拍、脳波、体温または発汗量等を検知可能な各種生体センサである。

（表示制御部）
表示制御部１７は、主制御部１０の制御に従って、表示部２に表示するための所定の画像データを処理する画像処理部として機能する。具体的には、表示制御部１７は、例えばビデオプロセッサ、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などを含み、表示画像データの生成、生成した表示画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整等を行う。

また、表示制御部１７は、主制御部１０の制御に応じて、所定の画像データを表示部２に表示するための駆動制御部としても機能する。具体的には、表示制御部１７は、例えば液晶ディスプレイとされる表示部２に画像データを表示させるための画素駆動回路を含む。また、表示制御部１７（駆動制御部）は、表示部２の各画素の透過率を制御し、表示部２をスルー状態（透過、半透過状態）または非スルー状態にすることもできる。

本実施形態による表示制御部１７（画像処理部）は、主制御部１０の制御に従って、対象物を仮想的に装飾するための付加画像を、実空間に存在する対象物に対応する位置、または対象物を撮像した撮像画像上の所定の位置に表示するよう調整する。具体的には、表示制御部１７（画像処理部）は、対象物を継続的に撮像した撮像画像を逐次表示部２に表示し、当該撮像画像中の対象物画像に対応する適切な位置に付加画像を重ね合わせて表示するよう制御する。すなわち、表示制御部１７（画像処理部）は、撮像画像に付加画像を重畳した合成画像を表示部２に表示するよう制御する。

若しくは、表示制御部１７（画像処理部）は、表示部２をスルー状態に制御した上で、ＨＭＤ１がユーザＡに装着された状態でユーザＡがスルー状態の表示部２を介して対象物を視認した際に、実空間に存在する対象物に対応する適切な位置に付加画像が表示されるよう制御する。この場合、表示制御部１７（画像処理部）は、主制御部１０の制御に従って、対象物を撮像した撮像画像の解析結果（対象物の特徴点、線、輪郭、領域等の検出結果）に基づいて、実物体である対象物に対応する適切な位置に付加画像が表示されるよう制御することができる。

（表示部）
表示部２は、図１、図２に示したように、装着状態において、ユーザＡの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に配置される左眼用と右眼用の一対の表示部により構成される。また、表示部２は、表示制御部１７による制御に従って、撮像部３により撮像された対象物の撮像画像をリアルタイムで表示したり、対象物を仮想的に装飾する付加画像を表示したりする。また、表示部２は、表示制御部１７により、スルー状態（透過または半透過）または非スルー状態（非透過）に制御され得る。

（音声制御部）
音声制御部１８は、主制御部１０の制御に応じて、音声信号データの生成、生成した音声信号データの音量調整、音質調整、音響エフェクト等を行う。また、音声制御部１８は、主制御部１０の制御に応じて、所定の音声信号データを音声出力部５から出力するための制御を行う。

（音声出力部）
音声出力部５は、図２に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部５は、音声制御部１８による制御に従って、音声信号データを出力（再生）する。

（ストレージ部）
ストレージ部２２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２２は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

また、本実施形態によるストレージ部２２は、ＨＭＤ１がユーザＡに装着されている間に、撮像部３により継続的に撮像した撮像画像や、音声入力部６により継続的に集音した音声信号データを、ライフログとして記憶可能である。また、ストレージ部２２は、ＨＭＤ１がユーザＡに装着されている間に、生体センサや位置測位部（いずれも状況検知部１９の一例）により継続的に検知された検知結果を、ライフログとして記憶可能である。また、ストレージ部２２には、予めユーザＡにより登録されたユーザＡの嗜好情報や生体情報（性別、年齢、生年月日等）が記憶されていてもよい。

（通信部）
通信部２１は外部機器との間でのデータの送受信を行う。通信部２１は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

例えば通信部２１は、図１に示すサーバ３０と無線通信する。

以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部５、音声入力部６、音声信号処理部１５、音声制御部１８を示したが、これらは必ずしも全てを備える必要はない。

上記構成により、本実施形態によるＨＭＤ１は、表示部２において、実物体の対象物または実物体の対象物を撮像した対象物画像に対応する適切な位置に、ユーザ状況に応じた装飾用の付加画像を表示し、ユーザ状況に応じて対象物を仮想的に装飾することができる。例えば、ＨＭＤ１は、ユーザＡの嗜好に応じて、ユーザＡが好む装飾を仮想的に施すことができる。

＜２−２．サーバの基本構成＞
次に、本実施形態による装飾システムに含まれるサーバ３０の構成について図４を参照して説明する。図４は、本実施形態によるサーバ３０の内部構成の一例を示すブロック図である。

図４に示すように、サーバ３０は、主制御部３１、記憶部３２、および通信部３３を有する。

（主制御部）
主制御部３１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、サーバ３０の各構成を制御する。

また、本実施形態による主制御部３１は、図４に示すように、認識部３１ａ、画像生成部３１ｂ、および画像処理部３１ｃとして機能する。認識部３１ａは、通信部３３を介してＨＭＤ１から送信された撮像画像に基づいて、撮像された対象物を認識する。具体的には、例えば認識部３１ａは、撮像画像に対して点検出、線・輪郭検出、領域分割等の解析を行い、対象物の形や大きさ等の特徴量データまたは局所特徴量データを抽出する。そして、認識部３１ａは、記憶部３２に記憶されているモデルデータベースに登録されている各実物体の特徴量データまたは局所特徴量データと、撮像画像から抽出した特徴量データまたは局所特徴量データを比較し、類似度が所定値よりも高いものを認識結果とする。これにより、認識部３１ａは、撮像画像に含まれる対象物が何であるかを認識することができる。

認識部３１ａは、認識結果を画像生成部３１ｂに供給する。また、認識部３１ａは、認識結果に、撮像画像に写る対象物が何であるかを示す情報と、撮像画像の解析結果である特徴量データまたは局所特徴量データとを含めて画像生成部３１ｂに供給してもよい。

画像生成部３１ｂは、対象物を視認しているユーザの状況（ユーザ状況）、および認識部３１ａによる認識結果に応じて、対象物を装飾するための付加画像を生成する。ここで、「対象物を視認しているユーザ」とは、対象物を撮像した撮像画像をサーバ３０に送信したＨＭＤ１の装着者であって、図１に示す例では、ＨＭＤ１を装着して対象物４０を視認しているユーザＡである。また、ユーザ状況とは、上述したように、例えばユーザＡの生体情報、感情情報、嗜好情報、行動状況、または環境情報を示し、サーバ３０の記憶部３２や、ネットワーク上、またはＨＭＤ１等から取得される。そして、画像生成部３１ｂは、認識された対象物に対して、ユーザ状況に応じた仮想的な装飾を行うための付加画像を生成する。生成する付加画像は、記憶部３２に記憶されている素材画像を組み合わせたり変形したり、また、ネットワーク上から取得したフリー素材を用いて生成され得る。また、サーバ３０は、付加画像を生成する際にユーザＡ（ＨＭＤ１）に対して課金し、課金料（ユーザＡの納金料）に応じて画像生成部３１ｂにより生成する付加画像のバリエーションを増やすことも可能である。

画像生成部３１ｂは、例えば認識部３１ａにより対象物が飲食物であると認識された場合、飲食物に対してデコレーションするための付加画像を生成する。具体的には、対象物が、図１に示すようなケーキであると認識された場合、画像生成部３１ｂは、ケーキの上面や側面に対してデコレーションするための付加画像を生成する。この際、画像生成部３１ｂは、ユーザ状況に応じたケーキ装飾用の付加画像として、例えば嗜好情報に基づくユーザＡの好み（好きなキャラクター、色、物等）に合う付加画像を生成する。また、画像生成部３１ｂは、日にちに応じて、バレンタイン、ホワイトデー、クリスマス、または雛祭り等のイベント用の付加画像を追加生成してもよい。また、画像生成部３１ｂは、生体情報に基づくユーザＡの誕生日や、嗜好情報に含まれるユーザＡの特定の記念日（ＳＮＳへの投稿記事やブログ記事の解析結果等から自動的に判断してもよい。）に応じて、誕生日や記念日を祝うメッセージの付加画像を生成してもよい。また、画像生成部３１ｂは、撮像画像から複数のケーキ（対象物）が認識された場合、最もユーザＡに近い場所に在るケーキ（対象物）がユーザＡのケーキであると判断し、ユーザＡのケーキにだけ装飾を行ってもよい。さらに、画像生成部３１ｂは、ユーザＡのケーキだけ他のケーキより大きく見えるような装飾を行ってもよい。

また、画像生成部３１ｂは、対象物が、携帯電話端末、スマートフォン、ＰＤＡ、携帯音楽プレーヤ、デジタルカメラ等のモバイル端末や、カバン、コップ、ペン立て、花瓶、自動車、電柱等の様々な物体である場合も、各物体に対してデコレーションするための付加画像を生成する。具体的には、対象物がスマートフォンであると認識された場合、画像生成部３１ｂは、付加画像として、スマートフォンの各面を装飾するシール画像や、スマートフォンに取り付けられているように見えるストラップ画像を生成する。この際、画像生成部３１ｂは、ユーザ状況に応じたスマートフォン装飾用の付加画像として、例えば嗜好情報に基づくユーザＡの好み（好きなキャラクター、色、物等）に合うシール画像やストラップ画像を生成する。また、画像生成部３１ｂは、ユーザＡの複数の持ち物を、ユーザＡの好みの色で装飾するための付加画像を生成してもよい。例えば撮像画像からユーザＡが把持するスマートフォン、音楽プレーヤ、およびカバンが認識された場合、全て同じ色で装飾する付加画像を生成することで、ユーザＡの持ち物の色を揃えることができる。

さらに、画像生成部３１ｂは、ユーザＡの生体情報（脈拍、体温、発汗量等により判断されるユーザＡの体調等）、感情情報（脈拍、心拍、脳波等により判断されるユーザＡの気分等）に応じてスマートフォンを装飾する付加画像を生成することもできる。例えば、ユーザＡの体温が所定温度以上で熱があるとき（体調が悪いとき）や、気分が沈んでいるときは、画像生成部３１ｂは、リラックス効果や心を落ち着かせる効果がある装飾や落ち着いた色合い（暖色系や薄い色、淡い色）の装飾を行うための付加画像を生成する。一方、ユーザＡの気分が高揚しているとき等は、画像生成部３１ｂは、より華やかで、さらに気分を上げる効果がある装飾（派手な装飾、濃い色、金銀を含むラメ色等）を行うための付加画像を生成する。

また、画像生成部３１ｂは、ユーザＡの環境情報に応じてスマートフォンを装飾する付加画像を生成することもできる。環境情報とは、ユーザＡが置かれている環境を示す情報であって、例えば天気（雨、晴れ、曇り、雪、台風等）、時刻（朝、昼、晩の時間帯等）、場所（山、海、街、テーマパーク等）等の情報である。具体的には、画像生成部３１ｂは、天気が雨であれば傘やカエル、合羽、寒色系の色の付加画像を生成し、天気が雪であれば雪だるまや雪の結晶の付加画像を生成し、時刻が夜の時間帯であれば月や星、蛍光色等の付加画像を生成し、また、場所が海であれば海の生物等の付加画像を生成する。

また、画像生成部３１ｂは、対象物が車であると認識された場合、車の凹みや汚れを隠すよう装飾する付加画像を生成してもよい。

また、対象物が人間であると認識された場合、画像生成部３１ｂは、人間を装飾するための付加画像を生成する。具体的には、画像生成部３１ｂは、人間の頭部や胴体、顔、足、手等を装飾する付加画像として、髪型、服装（メガネ、帽子、靴等のファッションアイテムを含む）、化粧、アクセサリー等の画像を生成する。この際、画像生成部３１ｂは、ユーザ状況に応じた人間装飾用の付加画像として、例えば嗜好情報に基づくユーザＡの好み（好みの異性のタイプの髪型、ファッション、好きなキャラクター、色、物等）に合う付加画像を生成する。これにより、例えばＨＭＤ１を装着する男性ユーザが、ＨＭＤ１の表示部２を介して女性を見ている際に、男性ユーザの好みの髪型画像や服装画像、化粧画像等が女性に重畳されて表示される。また、撮像画像から認識された女性はメガネをかけているが、男性ユーザの好みが「メガネをかけていない女性」である場合、画像生成部３１ｂは、メガネをかけている女性の顔をメガネなしの顔に装飾するための付加画像（女性の顔画像からメガネを削除したもの）を生成する。

また、対象物が動物であると認識された場合、画像生成部３１ｂは、動物を装飾するための付加画像を生成する。具体的には、画像生成部３１ｂは、動物の頭部や胴体等を装飾する付加画像として、ペット用の服装（メガネ、帽子、靴等のファッションアイテムを含む）の画像を生成する。この際、画像生成部３１ｂは、ユーザ状況に応じた動物装飾用の付加画像として、例えば嗜好情報に基づくユーザＡの好み（好みのファッション、好きなキャラクター、色、物等）に合う付加画像を生成する。

以上、画像生成部３１ｂによる対象物を仮想的に装飾する、ユーザ状況に応じた付加画像の具体例について詳細に説明した。なお上述した付加画像は、静止画像に限定されず、動画像であってもよい。

また、本実施形態による画像生成部３１ｂは、付加画像を生成する際、上述したユーザ状況に加えて、対象物の経過状況を参照してもよい。例えば、画像生成部３１ｂは、対象物が分割、合体、または変形した場合、付加画像の少なくとも一部を追加、消滅、または変化させる。また、画像生成部３１ｂは、対象物として認識されたスマートフォンや携帯電話、コップ等が古い物（時間が経過している物）である場合、仮想的な装飾（シール、ストラップ等）も古く見える（時間が経過しているように見える）よう付加画像を生成する。

また、画像生成部３１ｂは、生成した付加画像を、通信部３３を介してＨＭＤ１に送信、または画像処理部３１ｃに供給する。ＨＭＤ１に送信された付加画像は、ＨＭＤ１の主制御部１０および表示制御部１７（画像処理部）の調整により、表示部２において、実空間に存在する対象物に対応する適切な位置、または対象物を撮像した撮像画像上の適切な位置に表示される。

画像処理部３１ｃは、画像生成部３１ｂにより生成された付加画像を、実空間に存在する対象物に対応する位置、または対象物を撮像した撮像画像上の所定の位置に表示するよう調整する。画像処理部３１ｃは、付加画像の表示位置も調整した上で、通信部３３を介してＨＭＤ１に対して、付加画像と、当該付加画像の表示位置情報を送信する。これにより、ＨＭＤ１は、主制御部１０および表示制御部１７（画像処理部）により表示位置の調整を行うことなく、上記表示位置情報に従って付加画像を表示部２に表示すればよい。または、ＨＭＤ１は、サーバ３０の画像処理部３１ｃにより生成された合成画像（撮像画像上の所定の位置に付加画像が合成された画像）を表示部２に表示すればよい。

また、画像処理部３１ｃは、対象物の状況に応じて、対象物を仮想的に装飾する付加画像を動かしてもよい。例えば画像処理部３１ｃは、継続的に撮像された撮像画像に基づいて、対象物が動いている（揺れている）と判断された場合、対象物の動きに応じて、対象物を装飾するための付加画像も動かす。また、画像処理部３１ｃは、対象物がユーザＡに把持されている場合、ユーザＡの動き（ＨＭＤ１に設けられたジャイロセンサによる検知結果や、撮像画像の解析結果に基づくユーザＡの動き）に応じて、対象物を装飾する付加画像を動かしてもよい。よって、例えばＨＭＤ１を装着しているユーザＡが電車に乗っている際に電車の揺れに応じて対象物や対象物を把持しているユーザＡが動くと、ＨＭＤ１の表示部２に表示された対象物の付加画像（例えばストラップ画像）も動くので、仮想的な装飾が、より現実的に知覚される。また、例えば対象物が自動車である場合、画像処理部３１ｃは、自動車のホイールを装飾するための付加画像が、ホイールの回転に合せて回るよう表示位置を調整してもよい。

以上説明した画像処理部３１ｃによる付加画像の表示位置の調整処理は、ＨＭＤ１の表示制御部１７（画像処理部）により実行されてもよい。

（記憶部）
記憶部３２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。記憶部３２は、例えばＨＤＤとして実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部３２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

また、本実施形態による記憶部３２は、各ユーザのユーザ状況、各ＨＭＤ１から送信された撮像画像、撮像画像から対象物を認識する際に用いられるモデルデータベース、および付加画像を生成するための素材画像等を記憶する。また、記憶部３２は、画像生成部３１ｂにより生成され、撮像画像に重畳表示される付加画像を格納し、他ユーザ（他ユーザが装着しているＨＭＤ）と共有可能な領域として用いられてもよい。

（通信部）
通信部３３は外部機器との間でのデータの送受信を行う。通信部３３は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

例えば通信部３３は、少なくとも１以上のＨＭＤ１と無線通信し、ユーザＡが所有するＨＭＤ１（画像表示端末）に設けられた撮像部３により撮像された撮像画像を受信したり、画像生成部３１ｂにより生成した付加画像をＨＭＤ１に送信したりする。

＜＜３．動作処理＞＞
以上、本実施形態による装飾システムに含まれるＨＭＤ１およびサーバ３０の基本構成について具体的に説明した。続いて、本実施形態による装飾システムの動作処理について、図５〜図１０Ｂを参照して具体的に説明する。

＜３−１．第１の装飾処理＞
図５は、本実施形態による第１の装飾処理を示すフローチャートである。図５に示すように、まず、ステップＳ１０３において、ＨＭＤ１は、撮像部３で対象物の撮像を開始する。撮像された撮像画像は、ＨＭＤ１からサーバ３０に送信される。

次いで、ステップＳ１０６において、サーバ３０の認識部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、対象物を認識する。ここで、図６に、本実施形態による第１の装飾を説明するための図を示す。図６左に示す撮像画像Ｐ１がＨＭＤ１により撮像された場合、サーバ３０の認識部３１ａは、撮像画像Ｐ１を解析し、局所特徴量データのモデルデータとの比較等により、対象物４０を抽出し、対象物４０がケーキであると認識する。認識部３１ａは、認識結果を画像生成部３１ｂに供給する。

次に、ステップＳ１０９において、サーバ３０の画像生成部３１ｂは、ＨＭＤ１の装着者であるユーザＡ（対象物を視認しているユーザＡ）のユーザ状況を取得する。ユーザ状況は、サーバ３０の記憶部３２から取得されてもよいし、ＨＭＤ１から取得されてもよい。

続いて、ステップＳ１１２において、サーバ３０の画像生成部３１ｂは、認識部３１ａによる認識結果と、ユーザ状況とに基づいて、対象物を装飾するための付加画像を生成する。具体的には、画像生成部３１ｂは、認識部３１ａにより対象物４０がケーキであると認識された場合、ケーキの上面や側面をデコレーションするための付加画像を生成する。この際、画像生成部３１ｂは、ユーザＡのユーザ状況に応じたケーキデコレーション用の付加画像を生成する。例えば画像生成部３１ｂは、ユーザＡの嗜好情報（ユーザ状況の一例）に基づき、好きなキャラクターや物（例えば花やリボン）で装飾するための付加画像Ｄ２〜Ｄ４（図６右を参照）を生成する。また、画像生成部３１ｂは、ユーザＡの生体情報（ユーザ状況の一例）に基づいて、現在の日にちが生体情報に含まれるユーザＡの誕生日と一致する場合、誕生日を祝うメッセージで装飾するための付加画像Ｄ１（図６右を参照）を生成する。

画像生成部３１ｂにより生成された付加画像は、ＨＭＤ１に送信される。

次いで、ステップＳ１１５において、ＨＭＤ１の表示制御部１７（画像処理部）は、サーバ３０から送信された付加画像Ｄ１〜Ｄ４を、図６右に示すように、表示部２において対象物４０（実物体または撮像画像）に対応する適切な位置に表示するよう表示位置を調整する。これにより、付加画像Ｄ１〜Ｄ４による対象物４０に対する仮想的な装飾が実現される。

次に、ステップＳ１１８において、ＨＭＤ１の主制御部１０は、対象物４０に対する装飾（付加画像Ｄ１〜Ｄ４）を、他ユーザと共有するか否かを判断する。他ユーザと共有するか否かは、ＨＭＤ１においてユーザにより共有モードに設定されたか否かに基づいて判断されてもよい。また、他ユーザとは、特定の他ユーザであってもよいし、不特定の他ユーザであってもよい。

次いで、他ユーザと共有しないと判断された場合（Ｓ１１８／Ｎｏ）、ステップＳ１２１において、対象物４０を装飾するための付加画像Ｄ１〜Ｄ４は、ユーザＡのＨＭＤ１のみに表示される。

一方、他ユーザと共有すると判断された場合（Ｓ１１８／Ｙｅｓ）、ステップＳ１２４において、ＨＭＤ１から、またはサーバ３０から、他ユーザのＨＭＤに対して、ユーザＡのＨＭＤ１で表示されている付加画像Ｄ１〜Ｄ４を共有表示させるための情報が送信される。他ユーザのＨＭＤは、図１〜図３を参照して説明した本実施形態によるＨＭＤ１と同様の基本構成を有する。

そして、ステップＳ１２７において、他ユーザのＨＭＤで、対象物４０に付加画像Ｄ１〜Ｄ４が重畳表示され、装飾表示の共有（共有表示）が実現される。ここで、共有表示とは、例えばユーザＡのＨＭＤ１で撮像された対象物４０の撮像画像Ｐ１に対象物４０を装飾するための付加画像Ｄ１〜Ｄ４が合成された画像を、他ユーザのＨＭＤの表示部に表示させることであってもよい。または、共有表示とは、他ユーザがユーザＡの周辺に居て、同じ対象物４０を見ている場合、他ユーザのＨＭＤで撮像された対象物４０を装飾するよう、他ユーザのＨＭＤの表示部において、付加画像Ｄ１〜Ｄ４を適切な位置に表示させることであってもよい。さらに、上記Ｓ１２４では、ＨＭＤ１またはサーバ３０から、他ユーザのＨＭＤに対して、付加画像Ｄ１〜Ｄ４を共有表示させるための情報が送信されるが、本実施形態はこれに限定されず、他ユーザのＨＭＤからサーバ３０の記憶部３２にアクセスしてもよい。この場合、記憶部３２は、画像生成部３１ｂにより生成され、撮像画像に重畳表示される付加画像Ｄ１〜Ｄ４を格納し、他ユーザ（他ユーザが装着しているＨＭＤ）と共有可能な領域として用いられる。

以上、本実施形態による第１の装飾処理について具体的に説明した。なお上記Ｓ１１２では、サーバ３０の画像生成部３１ｂにより生成された付加画像をＨＭＤ１に送信したが、本実施形態による装飾処理はこれに限定されず、例えば生成された付加画像をサーバ３０の画像処理部３１ｃに供給してもよい。画像処理部３１ｃは、付加画像の表示位置を調整し、表示位置情報を出力する。そして、サーバ３０は、生成された付加画像と、表示位置情報とを、ＨＭＤ１に送信する。これによりＨＭＤ１の表示制御部１７は、サーバ３０から送信された表示位置情報に従って、表示部２において、対象物４０に対応する適切な位置に付加画像Ｄ１〜Ｄ４を表示することができる。

＜３−２．第２の装飾処理＞
次に、本実施形態による第２の装飾処理について図７〜図９を参照して説明する。第２の装飾処理では、対象物の分割、合体、または変形等の変化に応じた付加画像の処理を示す。本実施形態によるＨＭＤ１の撮像部３は、継続的に対象物４０を撮影し、対象物４０に対する仮想的な装飾がリアルタイムで行われている。したがって、対象物４０が図１に示すようなケーキ等の飲食物の場合、飲食物は食事の進行に応じて減っていくので、ＨＭＤ１は対象物４０の変化に応じて仮想的な装飾も変化させることで、装飾をより現実的に知覚させることができる。

具体的には、図８を参照して後述するように、食事の進行により変化した対象物４０’に応じて、付加画像Ｄ２（図６参照）が削除され、さらに、付加画像Ｄ１（図６参照）の一部が削除された付加画像Ｄ１’がリアルタイムで表示される。このような対象物の変化による付加画像の少なくとも一部の消滅や変化は、ＨＭＤ１の表示制御部１７（画像処理部）により行われてもよいし、サーバ３０の画像生成部３１ｂで新たに生成されてもよい。また、本実施形態による表示制御部１７（画像処理部）または画像生成部３１ｂは、ユーザ状況（行動状況、環境情報、生体情報、使用状況等）の変化に応じて、付加画像の少なくとも一部を追加、消滅、または変化させてもよい。なおユーザの使用状況とは、ユーザによる対象物の使用状況であるので、上記対象物の経過状況と同様である。例えばユーザの行動状況に基づく食事の進行に基づいて、表示制御部１７（画像処理部）または画像生成部３１ｂは、変化する対象物に応じて当該対象物を仮想的に装飾する付加画像の少なくとも一部をリアルタイムで消滅または変化させる。またユーザの環境情報に基づく日時や場所の変化に応じて、表示制御部１７（画像処理部）または画像生成部３１ｂは、対象物を仮想的に装飾する付加画像の少なくとも一部をリアルタイムで追加、消滅または変化させる。またユーザの生体情報に基づくユーザの体調や気分の変化に応じて、表示制御部１７（画像処理部）または画像生成部３１ｂは、対象物を仮想的に装飾する付加画像の少なくとも一部をリアルタイムで追加、消滅または変化させる。

一方、食事の進行に応じて図８に示すように仮想的な装飾が削除されると、仮想的な装飾をより現実的に知覚することはできるが、華やかな装飾を楽しめなくなる。そこで第２の装飾処理では、装飾のコンセプトを維持（継続）するよう仮想的な装飾を変化させることで、食事が進行しても最初のコンセプトに基づく装飾を提供し続けることも可能となる。以下、図７を参照してこのような第２の装飾処理について具体的に説明する。

図７は、本実施形態による第２の装飾処理を示すフローチャートである。図７に示すように、まず、ステップＳ１３３において、ＨＭＤ１は、撮像部３で対象物の撮像を開始する。撮像された撮像画像は、ＨＭＤ１からサーバ３０に送信される。

次いで、ステップＳ１３６において、サーバ３０の認識部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、対象物を認識する。例えば、第２の装飾処理においても、図６左に示す撮像画像Ｐ１がＨＭＤ１により撮像された場合、サーバ３０の認識部３１ａは、撮像画像Ｐ１を解析し、対象物４０がケーキであると認識する。認識部３１ａは、認識結果を画像生成部３１ｂに供給する。

次に、ステップＳ１３９において、サーバ３０の画像生成部３１ｂは、ＨＭＤ１の装着者であるユーザＡ（対象物を視認しているユーザＡ）のユーザ状況を取得する。ユーザ状況は、サーバ３０の記憶部３２から取得されてもよいし、ＨＭＤ１から取得されてもよい。

次いで、ステップＳ１４２において、サーバ３０の画像生成部３１ｂは、認識部３１ａによる認識結果と、ユーザ状況とに基づいて、対象物を装飾するための、所定のコンセプトに応じた付加画像を生成する。所定のコンセプトとは、対象物の装飾の意図、目的、またはメインテーマ等であって、ユーザ状況に基づいて画像生成部３１ｂにより決定される。例えばユーザＡの嗜好情報から、ユーザＡがクマ（特定のキャラクターの一例）と花を好むことが判明し、さらにユーザＡの生年月日（生体情報に含まれる）から現在の日にちが誕生日当日であることが判明すると、画像生成部３１ｂは、「クマと花による誕生日祝い」が装飾のコンセプトとして決定される。そして、画像生成部３１ｂは、当該コンセプトにしたがって、図６右に示すような、対象物４０（ケーキ）を装飾するための付加画像Ｄ１〜Ｄ４を生成する。画像生成部３１ｂにより生成された付加画像は、ＨＭＤ１に送信される。

続いて、ステップＳ１４５において、ＨＭＤ１の表示制御部１７（画像処理部）は、サーバ３０から送信された付加画像Ｄ１〜Ｄ４を、図６右に示すように、表示部２において対象物４０（実物体または撮像画像）に対応する適切な位置に表示するよう表示位置を調整する。これにより、付加画像Ｄ１〜Ｄ４による対象物４０に対する仮想的な装飾が実現される。

次に、ステップＳ１４８において、サーバ３０の認識部３１ａは、対象物４０が分割（小分けを含む）、合体、または変形等の変化が起きたか否かを判断する。本実施形態において、ＨＭＤ１は、対象物４０を継続的に撮像し、撮像画像を逐次サーバ３０に送信するので、サーバ３０の認識部３１ａは、逐次送信される撮像画像を解析して、リアルタイムで対象物４０の変化を判断することができる。具体的には、例えば図８左に示すように、食事の進行により変化した対象物４０’の撮像画像Ｐ２に基づいて、認識部３１ａは対象物４０に変化が起きたことを判断することができる。

変化が起きたと判断された場合（Ｓ１４８／Ｙｅｓ）、ステップＳ１５１において、サーバ３０の画像生成部３１ｂは、コンセプトを維持した装飾表示を行うか否かを判断する。コンセプトを維持するか否かは、ＨＭＤ１においてユーザによりコンセプト維持モードに設定されたか否かに基づいて判断されてもよいし、上記Ｓ１４２において所定のコンセプトに応じた付加画像を生成したか否かに応じて判断されてもよい。

コンセプトを維持した装飾表示を行わない場合（Ｓ１５１／Ｎｏ）、ステップＳ１５４において、ＨＭＤ１の表示制御部１７（画像処理部）は、図８右に示すように、表示部２において、変化した対象物４０’に応じて、一部が削除された付加画像Ｄ１’、Ｄ４’を表示する。一部が削除された付加画像Ｄ１’、Ｄ４’は、サーバ３０の画像生成部３１ｂにより生成（編集）されてもよいし、ＨＭＤ１の表示制御部１７（画像処理部）により付加画像Ｄ１、Ｄ４に基づいて生成（編集）されてもよい。

一方、コンセプトを維持した装飾表示を行う場合（Ｓ１５１／Ｙｅｓ）、ステップＳ１５７において、サーバ３０の画像生成部３１ｂは、変化した対象物４０’を装飾するための所定のコンセプト（上記Ｓ１４２で決定したコンセプト）に応じた付加画像を生成する。例えば、図８右に示す例では、所定のコンセプトが上述した「クマと花による誕生日祝い」の場合、花の付加画像Ｄ２（図６参照）が削除され、誕生日を祝うメッセージを含む付加画像Ｄ１’も一部が削除されてしまうので、コンセプトが維持できていない。そこで、画像生成部３１ｂは、変化した対象物４０’に対して、所定のコンセプト（例えば「クマと花による誕生日祝い」）を維持する装飾を行うための付加画像（例えば図９に示す付加画像Ｄ１”、Ｄ２”）を生成する。生成された付加画像は、ＨＭＤ１に送信される。

次いで、ステップＳ１６０において、ＨＭＤ１の表示制御部１７（画像処理部）は、図９に示すように、表示部２において、変化した対象物４０’に対して、付加画像Ｄ１”、Ｄ２”を重ね合わせて表示し、コンセプトを維持する。図９に示す装飾例を、図８右に示す装飾例と比較すると、付加画像Ｄ１”には誕生日を祝うメッセージが欠けることなく表現され、また、図８右に示す例では削除されていた花の付加画像Ｄ２が、対象物４０’上に、付加画像Ｄ２”として新たに重畳表示されている。これにより、ＨＭＤ１は、対象物４０が変化した対象物４０’に対しても、「クマと花による誕生日祝い」という所定のコンセプトを維持した仮想的な装飾を実現することができる。なお図９に示す例では、付加画像Ｄ４’が一部削除された状態のままであるが、コンセプトの維持には特に影響はなく、対象物４０’の状態に合わせて一部削除された状態とすることで、装飾をより現実的に知覚させることができる。

＜３−３．第３の装飾処理＞
上記第２の装飾処理では、何ら装飾がされていない対象物４０（ケーキ）に対して、ユーザ状況に応じて所定のコンセプトを決定し、所定のコンセプトに応じた付加画像を生成していた。しかしながら、実物体である対象物に既に何等かのコンセプトに応じた装飾が実際に施されている場合も想定され、この場合、対象物に分割、合体、変形等の変化が生じると、装飾が崩れたり、排除されたりする。例えばケーキに特定のキャラクターをメインにデコレーションがされている場合に、ケーキを切り分けたり食べ進めたりすると、特定のキャラクターの装飾（食用または非食用の装飾）が排除されたり、切り分けられて崩れたりしてしまう。そこで、本実施形態による装飾システムは、実物体である対象物に既に何等かのコンセプトに応じた装飾が実際に施されている場合に、対象物に分割、合体、変形等の変化が生じた際、当該コンセプトを維持するよう仮想的な装飾を施す。これにより、対象物に分割、合体、変形等の変化が生じた場合でも、対象物の装飾のコンセプトを維持することができる。以下、図１０Ａおよび図１０Ｂを参照して具体的に説明する。

図１０Ａ、図１０Ｂは、本実施形態による第３の装飾処理を示すフローチャートである。図１０Ａに示すように、まず、ステップＳ２３３において、ＨＭＤ１は、撮像部３で対象物の撮像を開始する。撮像された撮像画像は、ＨＭＤ１からサーバ３０に送信される。

次いで、ステップＳ２３６において、サーバ３０の認識部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、対象物を認識する。

次に、ステップＳ２３９において、サーバ３０の認識部３１ａは、撮像画像の解析結果に基づいて、実物体である対象物に実際に施されている装飾のコンセプトを抽出する。例えば、対象物がケーキであって、当該ケーキに特定のキャラクターがデザインされたクッキーや砂糖菓子、非食用の装飾品（特定のキャラクター人形）が実際に装飾されている場合、コンセプトとして、「特定のキャラクターによる装飾」が抽出される。

続いて、ステップＳ２４０において、サーバ３０の主制御部３１は、追加装飾表示を行うか否かを判断する。追加装飾表示を行うか否かは、例えばＨＭＤ１においてユーザＡにより追加装飾が指示されたか否かに応じて判断される。

追加装飾表示を行わない場合（Ｓ２４０／Ｎｏ）、ステップＳ２４１において、サーバ３０の主制御部３１は、追加装飾表示なしとして、画像生成部３１ｂによる付加画像の生成は行わない。したがって、ＨＭＤ１を装着するユーザＡは、実物体である対象物を実際の装飾のまま視認する。

一方、追加装飾表示を行う場合（Ｓ２４０／Ｙｅｓ）、ステップＳ２４２において、サーバ３０の画像生成部３１ｂは、上記Ｓ２３９において抽出された対象物のコンセプトに沿った付加画像を生成する。例えば、「特定のキャラクーによる装飾」がコンセプトとして抽出されている場合、画像生成部３１ｂは、当該特定のキャラクターに関連する装飾を行うための付加画像を生成する。生成された付加画像はＨＭＤ１に送信される。

次いで、ステップＳ２４５において、ＨＭＤ１の表示制御部１７（画像処理部）は、サーバ３０から送信された付加画像を、表示部２において、対象物に対応する適切な位置に表示する。これにより、ＨＭＤ１を装着するユーザＡは、実物体である対象物を実際の装飾に仮想的な装飾が追加された状態で視認することができる。

続いて、図１０Ｂに示すステップＳ２４８において、サーバ３０の認識部３１ａは、対象物４０が分割、合体、または変形等の変化が起きたか否かを判断する。本実施形態において、ＨＭＤ１は、対象物４０を継続的に撮像し、撮像画像を逐次サーバ３０に送信するので、サーバ３０の認識部３１ａは、逐次送信される撮像画像を解析して、リアルタイムで対象物４０の変化を判断することができる。

変化が起きたと判断された場合（Ｓ２４８／Ｙｅｓ）、ステップＳ２５１において、サーバ３０の画像生成部３１ｂは、対象物のコンセプトを維持した装飾表示を行うか否かを判断する。対象物のコンセプトを維持するか否かは、ＨＭＤ１においてユーザによりコンセプト維持モードに設定されたか否かに基づいて判断されてもよいし、上記Ｓ２３９において対象物のコンセプトが抽出できたか否かに応じて判断されてもよい。

コンセプトを維持した装飾表示を行わない場合（Ｓ２５１／Ｎｏ）、ステップＳ２５４において、ＨＭＤ１の表示制御部１７（画像処理部）によるコンセプト維持用の付加画像の重畳表示は行われない。若しくは、上記Ｓ２４５において追加装飾表示が行われている場合、表示制御部１７（画像処理部）は、追加された付加画像の一部または全部を、対象物の変化（分割／変形）に応じて削除して表示する。

一方、コンセプトを維持した装飾表示を行う場合（Ｓ２５１／Ｙｅｓ）、ステップＳ２５７において、サーバ３０の画像生成部３１ｂは、変化した対象物を装飾するための対象物のコンセプト（上記Ｓ２３９で決定したコンセプト）に応じた付加画像を生成する。

例えば対象物がケーキであって、対象物のコンセプトが「特定キャラクターによる装飾」である場合、切り分けられた各ケーキ又は途中まで食べられたケーキにおいて、特定のキャラクターの装飾が排除されたり崩れたりしていることが想定される。この場合、画像生成部３１ｂは、特定のキャラクターによる装飾を維持するための付加画像を生成する。例えば、画像生成部３１ｂは、最初にケーキに実際に装飾されていた特定のキャラクターがデザインされたクッキーや砂糖菓子、非食用の装飾品（特定のキャラクター人形）の画像（撮像画像）を、付加画像として生成する。また、画像生成部３１ｂは、対象物のケーキが複数に切り分けられている場合、装飾用の付加画像を複数生成し、切り分けられた各ケーキを同じ特定のキャラクターの画像で装飾できるようにしてもよい。生成された付加画像は、ＨＭＤ１に送信される。

次いで、ステップＳ２６０において、ＨＭＤ１の表示制御部１７（画像処理部）は、サーバ３０から送信された付加画像（対象物のコンセプトを維持するための付加画像）を、表示部２において、変化した対象物に対応する適切な位置に重ね合わせて表示する。これにより、ＨＭＤ１は、実際に装飾が施されている対象物が変化した場合にも、例えば「特定のキャラクターによる装飾」という対象物のコンセプトを維持するための仮想的な装飾を実現することができる。

＜＜４．他の実施形態＞＞
以上説明した本開示の一実施形態による装飾システム（特に第１、第２の装飾処理）では、撮像された対象物を認識し、対象物を視認しているユーザＡのユーザ状況（ユーザＡの嗜好情報や生体情報等）に応じた装飾を行うための付加画像を生成していた。しかし、本実施形態による装飾システムは上述した例に限定されず、例えば対象物の状況に応じた装飾を行うための付加画像を生成することもできる。

すなわち、第１のユーザがＨＭＤ１を介して第２のユーザ（対象物）を視認している場合に、第２のユーザのユーザ状況（対象物の状況）に応じた装飾を行うための付加画像が生成され、当該付加画像がＨＭＤ１の表示部２において第２のユーザに重畳表示される。これにより、第２のユーザの趣味嗜好や体調等が反映された装飾を他人（第１のユーザ）に見せることができ、第２のユーザにとって、自分の趣味嗜好や体調等に合った装飾で他人から見られることができる。以下、このような対象物の状況に応じた装飾を行う本開示の他の実施形態による装飾システムについて、図１１および図１２を参照して説明する。

図１１は、他の実施形態による装飾システムの動作処理を示すフローチャートである。図１１に示すように、ステップＳ３０３において、ＨＭＤ１は、撮像部３で対象物の撮像を開始する。撮像された撮像画像は、ＨＭＤ１からサーバ３０に送信される。

次いで、ステップＳ３０６において、サーバ３０の認識部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、対象物を認識する。ここで、図１２に、他の実施形態による対象物の状況に応じた装飾を説明するための図を示す。図１２左に示す撮像画像Ｐ３がＨＭＤ１により撮像された場合、サーバ３０の認識部３１ａは、撮像画像Ｐ３を解析し、局所特徴量データのモデルデータとの比較等により、対象物４２を抽出し、対象物４２が人物（他ユーザ）であると認識する。また、認識部３１ａは、撮像画像Ｐ３を解析し、対象物４３、４４を抽出し、対象物４３、４４が他ユーザの所有物であると認識する。認識部３１ａは、認識結果を画像生成部３１ｂに供給する。

次に、ステップＳ３０９において、サーバ３０の画像生成部３１ｂは、対象物４２（他ユーザ）の状況（ユーザ状況）を取得する。他ユーザのユーザ状況は、サーバ３０の記憶部３２から取得されてもよいし、他ユーザがＨＭＤを装着している場合は当該ＨＭＤから取得されてもよい。なお他ユーザの識別は、例えば認識部３１ａにより撮像画像に含まれる他ユーザの顔画像を用いた顔認識により行われる。

続いて、ステップＳ３１２において、サーバ３０の画像生成部３１ｂは、認識部３１ａによる認識結果と、対象物の状況とに基づいて、対象物を装飾するための付加画像を生成する。具体的には、画像生成部３１ｂは、認識部３１ａにより対象物４２が人物（他ユーザ）であると認識された場合、人物の頭部や胴体、手足、さらに人物の所有物を装飾するための付加画像を生成する。この際、画像生成部３１ｂは、対象物４２の状況（他ユーザのユーザ状況）に応じた装飾用の付加画像を生成する。例えば画像生成部３１ｂは、他ユーザの嗜好情報（ユーザ状況の一例）に基づき、好きなアーティストやキャラクターで装飾するための付加画像Ｄ１０、Ｄ１２、Ｄ１３を生成する。図１２右に示すように、付加画像Ｄ１０は他ユーザ（対象物４２）が好きなキャラクターのストラップ画像、付加画像Ｄ１２は他ユーザが好きなキャラクターのシール画像、付加画像Ｄ１３は他ユーザが好きなアーティストと同じ髪型画像である。

その他、画像生成部３１ｂは、他ユーザの行動予定（ユーザ状況の一例である行動情報に含まれる）に基づき、行動後の状態を想定した付加画像を生成することもできる。例えば、他ユーザが美容院でパーマやカラーリングを行う予定の場合（美容院のＷｅｂ予約情報や他ユーザのスケジュール情報により判断される）、予定されているパーマやカラーリング後の髪型画像を生成する。

画像生成部３１ｂにより生成された付加画像は、ＨＭＤ１に送信される。

次いで、ステップＳ３１５において、ＨＭＤ１の表示制御部１７（画像処理部）は、サーバ３０から送信された付加画像Ｄ１０〜Ｄ１３を、図１２右に示すように、表示部２において対象物４２〜４４に対応する適切な位置に表示するよう表示位置を調整する。これにより、対象物４２（他ユーザ）の状況に応じた付加画像Ｄ１０〜Ｄ１３による仮想的な装飾が実現される。

なお他ユーザ（対象物４２）も本実施形態によるＨＭＤを装着している場合、他ユーザが自分の所有物（対象物４３、４４）を視認すると、ＨＭＤにより他ユーザ自身の趣味嗜好（ユーザ状況）に応じた仮想的な装飾が行われ得る（上記第１、第２の装飾処理参照）。したがって、このようなＨＭＤを装着している他ユーザ（対象物４２）を視認しているユーザＡは、ＨＭＤ１により、他ユーザの趣味嗜好に応じた仮想的な装飾が行われることにより（図１１に示す装飾処理）、実質的に他ユーザと仮想的な装飾を共有することができる。

＜＜５．まとめ＞＞
上述したように、本実施形態による装飾システムでは、撮像された対象物に対して、対象物を視認しているユーザのユーザ状況を反映した仮想的な装飾を、ユーザが装着するＨＭＤ１の表示部２を用いてリアルタイムで実現することができる。具体的には、対象物に対して、例えばユーザの好み、体調、気分、行動等のユーザ状況に合った仮想的な装飾が行われるので、ユーザの満足度が増す。

また、本実施形態による装飾システムによれば、このようなユーザの状況に応じた仮想的な装飾を他ユーザ（特定／不特定の他ユーザ）と共有することも可能である。

また、本実施形態による装飾システムによれば、対象物に分割、変形、合体等の変化が生じた場合、変化に応じてリアルタイムで仮想的な装飾の一部または全部を削除等することで、仮想的な装飾を、実空間に存在する実際の装飾であるかのようにユーザに知覚させることができる。

また、本実施形態による装飾システムによれば、ユーザ状況に基づく所定のコンセプトで仮想的に装飾した対象物に分割、変形、合体等の変化が生じた場合でも、所定のコンセプトを維持するための付加画像をリアルタイムで対象物に重畳表示することができるので、ユーザの満足度がさらに向上する。

また、本実施形態による装飾システムによれば、既に実際に装飾が施されている対象物に分割、変形、合体等の変化が生じた場合でも、リアルタイムで対象物のコンセプトを維持するための付加画像を対象物に重畳表示することができるので、利便性がさらに向上する。

また、本開示の他の実施形態による装飾システムによれば、対象物が他ユーザである場合、他ユーザのユーザ状況に応じた装飾を他ユーザ（実物体または撮像画像）に重ね合わせることができるので、ユーザは他ユーザの趣味嗜好等が反映された仮想的な装飾を楽しむことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ＨＭＤ１またはサーバ３０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したＨＭＤ１またはサーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上記各実施形態では、ＨＭＤ１（画像表示端末の一例）とサーバ３０（画像処理装置の一例）を含む装飾システム（クラウド型）について説明したが、本開示による装飾システムは、ＨＭＤ１とサーバ３０を含む構成に限定されない。例えば、サーバ３０の認識部３１ａ、画像生成部３１ｂ、画像処理部３１ｃの機能と、記憶部３２に記憶されている各データを、ＨＭＤ１が有する構成により、ＨＭＤ１単体で上記各実施形態による装飾システムを実現することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像画像に基づいて、撮像された対象物を認識する認識部と、
前記対象物を視認しているユーザの状況、および前記認識部による認識結果に応じて、前記対象物を装飾するための付加画像を生成する画像生成部と、
を備える、画像処理装置。
（２）
前記ユーザの状況は、前記ユーザの生体情報、感情情報、嗜好情報、行動状況、または環境情報である、前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、
前記ユーザが所有する画像表示端末に設けられた撮像部により撮像された前記撮像画像を受信する受信部と、
前記画像生成部により生成した前記付加画像を前記画像表示端末に送信する送信部と、
を備える、前記（１）または（２）に記載の画像処理装置。
（４）
前記受信部は、前記ユーザの状況を前記画像表示端末から受信する、前記（３）に記載の画像処理装置。
（５）
前記対象物が飲食物であると認識された場合、前記ユーザの行動状況に基づく飲食の進行に応じて、前記画像生成部または画像処理部により前記付加画像の少なくとも一部を消滅または変化させる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記画像生成部または画像処理部は、前記ユーザが置かれている環境情報に応じて、前記付加画像の少なくとも一部を追加、消滅、または変化させる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（７）
前記画像生成部または画像処理部は、前記ユーザの生体情報または使用状況に応じて、前記付加画像の少なくとも一部を追加、消滅、または変化させる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（８）
前記画像生成部または画像処理部は、前記ユーザ状況に加えて、前記対象物の経過状況に応じて、前記付加画像の少なくとも一部を追加、消滅、または変化させる、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記画像処理装置は、前記付加画像、または前記付加画像を前記撮像画像に重畳した画像を他ユーザと共有可能な記憶媒体をさらに備える、前記（１）〜（８）のいずれか１項に記載の画像処理装置
（１０）
前記画像処理装置は、前記付加画像を、実空間に存在する前記対象物に対応する位置、または前記対象物を撮像した前記撮像画像上の所定の位置に表示するよう調整する画像処理部をさらに備える、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記付加画像は、前記ユーザが所有する画像表示端末に送信され、当該画像表示端末が有する画像処理部により、実空間に存在する前記対象物に対応する位置、または前記対象物を撮像した前記撮像画像上の所定の位置に表示されるよう調整される、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１２）
前記画像生成部は、前記対象物が他ユーザまたは他ユーザの所有物であると認識された場合、前記他ユーザのユーザ状況に応じて、前記対象物を装飾するための付加画像を生成する、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記画像生成部は、前記ユーザによる納金に応じて、前記対象物を装飾するための付加画像の種類を増加させる、前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記画像生成部は、前記対象物が分割、合体、または変形した場合、分割、合体、または変形前の前記対象物を装飾していた前記付加画像のコンセプトを維持するよう、分割、合体、または変形後の前記対象物を装飾するための付加画像を生成する、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記対象物が飲食物である場合、飲食の進行に応じて、前記画像生成部または画像処理部により、前記付加画像の前記コンセプトを維持しつつ、少なくとも一部を消滅または変化させる、前記（１４）に記載の画像処理装置。
（１６）
前記画像生成部は、前記対象物が分割、合体、または変形した場合、分割、合体、または変形前の前記対象物の装飾コンセプトを維持するよう、分割、合体、または変形後の前記対象物を装飾するための付加画像を生成する、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１７）
コンピュータを、
撮像画像に基づいて、撮像された対象物を認識する認識部と、
前記対象物を視認しているユーザの状況、および前記認識部による認識結果に応じて、前記対象物を装飾するための付加画像を生成する画像生成部と、
として機能させるための、プログラムが記憶された、記憶媒体。

１ ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）
２ 表示部
３ 撮像部
３ａ 撮像レンズ
４ 照明部
４ａ 発光部
５ 音声出力部
５ａ イヤホンスピーカ
６ 音声入力部
６ａ、６ｂ マイクロホン
１０ 主制御部
１１ 撮像制御部
１２ 撮像信号処理部
１３ 撮像画像解析部
１４ 照明制御部
１５ 音声信号処理部
１７ 表示制御部
１８ 音声制御部
１９ 状況検知部
２１ 通信部
２２ ストレージ部
３０ サーバ
３１ 主制御部
３１ａ 認識部
３１ｂ 画像生成部
３１ｃ 画像処理部
３２ 記憶部
３３ 通信部
４０、４０’ 対象物（ケーキ）
４２ 対象物（他ユーザ）
４３ 対象物（他ユーザの所有物）
４４ 対象物（他ユーザの所有物）
Ｐ１〜Ｐ３ 撮像画像
Ｄ１〜Ｄ４、Ｄ１’、Ｄ１”、Ｄ２”、Ｄ４’、Ｄ１０、Ｄ１２、Ｄ１３ 付加画像
Ａ ユーザ

Claims (16)

1. 撮像画像に基づいて、撮像された対象物を認識する認識部と、
   前記対象物を視認しているユーザの状況、および前記認識部による認識結果に応じて、前記対象物を装飾するための付加画像を生成する画像生成部と、
   を備え、
   前記画像生成部は、前記対象物が分割、合体、または変形した場合、分割、合体、または変形前の前記対象物のコンセプトを維持するよう、分割、合体、または変形後の前記対象物を装飾するための付加画像を生成する、画像処理装置。
2. 前記画像生成部は、前記対象物が分割、合体、または変形した場合、分割、合体、または変形前の前記対象物を装飾していた前記付加画像のコンセプトを維持するよう、分割、合体、または変形後の前記対象物を装飾するための付加画像を生成する、請求項１に記載の画像処理装置。
3. 前記対象物が飲食物である場合、飲食の進行に応じて、前記画像生成部または画像処理部により、前記付加画像の前記コンセプトを維持しつつ、少なくとも一部を消滅または変化させる、請求項２に記載の画像処理装置。
4. 前記ユーザの状況は、前記ユーザの生体情報、感情情報、嗜好情報、行動状況、または環境情報である、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置は、
   前記ユーザが所有する画像表示端末に設けられた撮像部により撮像された前記撮像画像を受信する受信部と、
   前記画像生成部により生成した前記付加画像を前記画像表示端末に送信する送信部と、
   を備える、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記受信部は、前記ユーザの状況を前記画像表示端末から受信する、請求項５に記載の画像処理装置。
7. 前記対象物が飲食物であると認識された場合、前記ユーザの行動状況に基づく飲食の進行に応じて、前記画像生成部または画像処理部により前記付加画像の少なくとも一部を消滅または変化させる、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記画像生成部または画像処理部は、前記ユーザが置かれている環境情報に応じて、前記付加画像の少なくとも一部を追加、消滅、または変化させる、請求項１〜６のいずれか１項に記載の画像処理装置。
9. 前記画像生成部または画像処理部は、前記ユーザの生体情報または使用状況に応じて、前記付加画像の少なくとも一部を追加、消滅、または変化させる、請求項１〜６のいずれか１項に記載の画像処理装置。
10. 前記画像生成部または画像処理部は、前記ユーザの状況に加えて、前記対象物の経過状況に応じて、前記付加画像の少なくとも一部を追加、消滅、または変化させる、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記画像処理装置は、前記付加画像、または前記付加画像を前記撮像画像に重畳した画像を他ユーザと共有可能な記憶媒体をさらに備える、請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置は、前記付加画像を、実空間に存在する前記対象物に対応する位置、または前記対象物を撮像した前記撮像画像における所定の位置に表示するよう調整する画像処理部をさらに備える、請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 前記付加画像は、前記ユーザが所有する画像表示端末に送信され、当該画像表示端末が有する画像処理部により、実空間に存在する前記対象物に対応する位置、または前記対象物を撮像した前記撮像画像における所定の位置に表示されるよう調整される、請求項１〜１１のいずれか１項に記載の画像処理装置。
14. 前記画像生成部は、前記対象物が他ユーザまたは他ユーザの所有物であると認識された場合、前記他ユーザのユーザ状況に応じて、前記対象物を装飾するための付加画像を生成する、請求項１〜１３のいずれか１項に記載の画像処理装置。
15. 前記画像生成部は、前記ユーザによる納金に応じて、前記対象物を装飾するための付加画像の種類を増加させる、請求項１〜１４のいずれか１項に記載の画像処理装置。
16. コンピュータを、
    撮像画像に基づいて、撮像された対象物を認識する認識部と、
    前記対象物を視認しているユーザの状況、および前記認識部による認識結果に応じて、前記対象物を装飾するための付加画像を生成する画像生成部と、
    として機能させるためのプログラムが記憶され、
    前記画像生成部は、前記対象物が分割、合体、または変形した場合、分割、合体、または変形前の前記対象物のコンセプトを維持するよう、分割、合体、または変形後の前記対象物を装飾するための付加画像を生成する、記憶媒体。

Images