WO2024071208A1 - 表示装置、表示方法及びプログラム - Google Patents

Abstract

ユーザが抱く違和感を抑制する。表示装置は、撮像部によって撮像されたメイン画像（ＰＭ）に含まれる対象オブジェクトを抽出する対象オブジェクト抽出部と、対象オブジェクトに基づき、対象オブジェクトを補填した画像である第１オブジェクト（ＳＡ）を生成する第１オブジェクト生成部と、メイン画像（ＰＭ）内で第１オブジェクト（ＳＡ）を表示する位置である重畳位置を設定する重畳位置設定部と、メイン画像（ＰＭ）に含まれる対象オブジェクトに重畳する他オブジェクトの位置と、重畳位置とに基づいて、第１オブジェクト（ＳＡ）の表示態様を設定して、表示オブジェクト（Ｓ）を生成する表示オブジェクト生成部と、重畳位置に表示オブジェクトＳを表示する表示部と、を含む。

Description

表示装置、表示方法及びプログラム

　本発明は、表示装置、表示方法及びプログラムに関する。

　アバターなどのオブジェクトを実空間に重畳して表示させるＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）など、ある画像に他の画像を重畳して表示する技術が知られている。例えば特許文献１には、インタラクティブな仮想環境を制御する際に、仮想環境内のオブジェクトを、動的に他のオブジェクトに結合及び分離可能とする旨が記載されている。

特表２００６－５２８３８１号公報

　このように、画像同士を重畳して表示する際には、表示される画像を視認したユーザが抱く違和感を抑制することが求められている。

　本実施形態は、上記課題を鑑み、ユーザが抱く違和感を抑制可能な表示装置、表示方法及びプログラムを提供することを目的とする。

　本実施形態の一態様にかかる表示装置は、撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出する対象オブジェクト抽出部と、前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成する第１オブジェクト生成部と、前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定する重畳位置設定部と、前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成する表示オブジェクト生成部と、前記重畳位置に前記表示オブジェクトを表示する表示部と、を含む。

　本実施形態の一態様にかかる表示方法は、撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、前記重畳位置に前記表示オブジェクトを表示するステップと、を含む。

　本実施形態の一態様にかかるプログラムは、撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、前記重畳位置に前記表示オブジェクトを表示するステップと、をコンピュータに実行させる。

　本実施形態によれば、ユーザが抱く違和感を抑制できる。

図１は、本実施形態にかかる表示装置の一例を示す図である。 図２は、表示装置が表示する画像の一例を示す図である。 図３は、第１実施形態に係る表示装置の模式的なブロック図である。 図４は、第１オブジェクトの生成例を説明するための模式図である。 図５は、重畳位置の設定の他の例を示す模式図である。 図６は、表示部が表示する画像の一例を示す模式図である。 図７は、本実施形態に係る表示装置の処理フローを説明するフローチャートである。 図８は、第２実施形態において表示部が表示する画像の一例を示す模式図である。

　以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

　（第１実施形態）
　図１は、本実施形態にかかる表示装置の一例を示す図である。第１実施形態にかかる表示装置１０は、ユーザＵに、視覚刺激を出力することで、ユーザＵに情報を提供する装置である。図１に示すように、表示装置１０は、ユーザＵの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、表示装置１０は、ユーザＵの目に装着されて、ユーザＵに視覚刺激を出力する（画像を表示する）。ただし、図１の構成は一例であり、装置の数や、ユーザＵへの装着位置も任意であってよい。例えば、表示装置１０は、ウェアラブルデバイスに限られず、ユーザＵに携帯される装置であってよく、例えばいわゆるスマートフォンやタブレット端末などであってもよい。

　（メイン画像）
　図２は、表示装置が表示する画像の一例を示す図である。図２に示すように、表示装置１０は、表示部２２を通して、ユーザＵにメイン画像ＰＭを提供する。これにより、表示装置１０を装着したユーザＵは、メイン画像ＰＭを視認できる。メイン画像ＰＭとは、本実施形態では、ユーザＵが表示装置１０を装着していないと仮定した場合に、ユーザＵが視認することになる景色の像であり、ユーザＵの視野範囲に入る実在のオブジェクトを含む像であるともいえる。視野範囲とは、ユーザＵの視線を中心とした、眼球を動かさないで見える範囲を指す。本実施形態では、表示装置１０は、後述する撮像部２８によってユーザＵの視野範囲に入る像を撮像させ、撮像部２８によって撮像された画像（ユーザＵの視野範囲に入る像）を、表示部２２にメイン画像ＰＭとして表示させる。この場合、ユーザＵは、表示部２２に表示された景色の画像を、メイン画像ＰＭとして視認することとなる。ただしそれに限られず、例えば、表示装置１０は、表示部２２から外光（周辺の可視光）を透過させることで、ユーザＵにメイン画像ＰＭを提供してもよい。すなわち、表示装置１０は、表示部２２を通して、実際の景色の像をメイン画像ＰＭとして直接視認させてもよい。なお、図２では、メイン画像ＰＭに含まれるオブジェクトＭの例として、椅子であるオブジェクトＭＡと机であるオブジェクトＭＢとを例示しているが、単なる一例である。なお、メイン画像ＰＭに含まれるオブジェクトＭは、表示部２２によりメイン画像ＰＭを表示させる場合には、オブジェクトを表す画像といえ、実際の景色の像をメイン画像ＰＭとして視認させる場合には、オブジェクトそのものの像といえる。

　（サブ画像）
　図２に示すように、表示装置１０は、表示部２２を通して提供されるメイン画像ＰＭに重畳するように、表示部２２にサブ画像ＰＳを表示させる。これにより、ユーザＵは、メイン画像ＰＭにサブ画像ＰＳが重畳された像を視認することとなる。サブ画像ＰＳとは、メイン画像ＰＭに重畳される画像であり、ユーザＵの視野範囲に入る実在の景色以外の画像といえる。すなわち、表示装置１０は、メイン画像ＰＭにサブ画像ＰＳを重畳させることで、ユーザＵにＭＲ又はＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を提供するといえる。図２の例では、サブ画像ＰＳとして、ユーザＵ以外の人のアバターが表示されている。

　（表示装置）
　図３は、第１実施形態に係る表示装置の模式的なブロック図である。図３に示すように、表示装置１０は、入力部２０と、表示部２２と、記憶部２４と、通信部２６と、撮像部２８と、制御部３０とを備える。

　入力部２０は、ユーザの操作を受け付ける装置であり、例えばコントローラやタッチパネルなどであってよい。表示部２２は、画像を表示するディスプレイである。本実施形態では、表示部２２は、いわゆるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）である。なお、表示部２２以外にも、出力部として、音声を出力する音声出力部（スピーカ）や、ユーザＵに触覚刺激を出力する触覚刺激出力部が備えられていてもよい。触覚刺激出力部は、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。

　記憶部２４は、制御部３０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２４が保存する制御部３０用のプログラムは、表示装置１０が読み取り可能な記録媒体に記憶されていてもよい。

　通信部２６は、外部の装置などと通信するモジュールであり、例えばアンテナなどを含んでよい。通信部２６による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。

　撮像部２８は、ユーザＵの視野範囲内の対象物を撮像するカメラである。撮像部２８は、撮像範囲が、ユーザＵの視野範囲と重複するような位置に、設けられている。図１の例では、撮像部２８は、撮像方向がユーザＵの顔が向いている方向となるように、取り付けられている。これにより、撮像部２８は、ユーザＵの視野範囲内の対象物を撮像できる。なお、撮像部２８は、所定のフレームレート毎に撮像するビデオカメラであってよい。撮像部２８の数は任意であり、単数であっても複数であってもよい。

　制御部３０は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算回路を含む。制御部３０は、撮像制御部４０と、対象オブジェクト抽出部４２と、第１オブジェクト生成部４４と、第２オブジェクト生成部４６と、重畳位置設定部４８と、表示オブジェクト生成部５０と、表示制御部５２とを含む。制御部３０は、記憶部２４からプログラム（ソフトウェア）を読み出して実行することで、撮像制御部４０と対象オブジェクト抽出部４２と第１オブジェクト生成部４４と第２オブジェクト生成部４６と重畳位置設定部４８と表示オブジェクト生成部５０と表示制御部５２とを実現して、それらの処理を実行する。なお、制御部３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、撮像制御部４０と対象オブジェクト抽出部４２と第１オブジェクト生成部４４と第２オブジェクト生成部４６と重畳位置設定部４８と表示オブジェクト生成部５０と表示制御部５２との少なくとも一部を、ハードウェアで実現してもよい。

　（撮像）
　撮像制御部４０は、撮像部２８を制御して、撮像部２８に画像を撮像させて、撮像部２８が撮像した画像（画像データ）を取得する。すなわち、撮像制御部４０は、撮像部２８によって撮像された、ユーザＵの視野範囲を撮像範囲としたメイン画像ＰＭの画像データを取得する。撮像制御部４０は、所定の期間ごとに撮像部２８に画像を撮像させる。撮像制御部４０は、撮像部２８が画像を撮像するごとに、撮像部２８が撮像した画像データを取得する。

　（対象オブジェクトの抽出）
　対象オブジェクト抽出部４２は、撮像制御部４０が取得したメイン画像ＰＭから、対象オブジェクトを抽出する。対象オブジェクトとは、メイン画像ＰＭに含まれるオブジェクトＭのうちの、後述する表示オブジェクトＰの生成の際の参照とするオブジェクトＭの画像を指す。本実施形態においては、対象オブジェクト抽出部４２は、メイン画像ＰＭから、メイン画像ＰＭに含まれるオブジェクトＭを抽出して、抽出したオブジェクトＭのうちから、対象オブジェクトを選択する。オブジェクトＭの抽出方法は任意であってよく、公知の画像認識技術を用いてよい。図２の例では、対象オブジェクト抽出部４２は、椅子であるオブジェクトＭＡを、対象オブジェクトとして抽出する。

　対象オブジェクト抽出部４２は、対象オブジェクトを任意の方法で抽出（選択）してよい。例えば、対象オブジェクト抽出部４２は、メイン画像ＰＭに含まれるオブジェクトＭのうちから、ユーザＵに選択されたオブジェクトＭを、対象オブジェクトとして抽出してよい。この場合例えば、表示装置１０は、メイン画像ＰＭと、そのメイン画像ＰＭに含まれるオブジェクトＭを特定する情報（例えばオブジェクトＭを指し示すポインタなど）とを、表示部２２に表示させてよい。ユーザＵは、そのメイン画像ＰＭを視認しつつ、入力部２０に、選択するオブジェクトＭを入力する。対象オブジェクト抽出部４２は、入力部２０に入力された、選択されたオブジェクトＭを、対象オブジェクトとして抽出する。また例えば、対象オブジェクト抽出部４２は、ユーザＵの選択によらず、自動で対象オブジェクトを抽出（選択）してよい。この場合例えば、対象オブジェクト抽出部４２は、抽出したオブジェクトＭの種類を特定して、所定の種類（予め対象オブジェクトとする旨が予め設定されていた種類）と同じ種類のオブジェクトＭを、抽出オブジェクトとして選択する。オブジェクトの種類とは、オブジェクトを所定の分類基準で分類した場合の、そのオブジェクトの所属を指し、ここでの分類基準は任意であってよい。また、オブジェクトＭの種類を特定する方法は任意であってよい。例えば、対象オブジェクト抽出部４２は、オブジェクトの種類とオブジェクトの画像データの特徴量との対応関係を機械学習済みのＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル（プログラム）に、オブジェクトＭの画像データを入力することで、オブジェクトＭの種類を特定してよい。

　（第１オブジェクトの生成）
　図４は、第１オブジェクトの生成例を説明するための模式図である。第１オブジェクト生成部４４は、対象オブジェクト抽出部４２によって抽出された対象オブジェクトに基づき、第１オブジェクトＳＡを生成する。第１オブジェクトＳＡは、サブ画像ＰＳとしてメイン画像ＰＭに重畳表示されるオブジェクト（後述の表示オブジェクトＰ）の、元となる画像である。さらに言えば、第１オブジェクトＳＡとは、対象オブジェクトを補填した画像であり、３Ｄ画像（３次元の立体画像データ）であることが好ましい。すなわち例えば、ユーザＵから見て、あるオブジェクトの一部が他のオブジェクトの後ろに位置している場合には、そのオブジェクトを対象オブジェクトとした場合には、対象オブジェクトは、他のオブジェクトの後ろに位置している部分が欠けた画像として抽出される。この場合、第１オブジェクト生成部４４は、他のオブジェクトの後ろに位置して欠けた部分を補填した画像を、第１オブジェクトＳＡとして生成してよい。また例えば、対象オブジェクトが２Ｄ画像（２次元の平面画像データ）である場合、第１オブジェクト生成部４４は、対象オブジェクトの２次元の画像データに、他の１次元の情報を補填した画像を、第１オブジェクトＳＡとして生成してよい。図４の例では、対象オブジェクトであるオブジェクトＭＡは、オブジェクトＭＢの後ろに位置している部分が欠けた画像となっている。そのため、第１オブジェクト生成部４４は、対象オブジェクトに対して、その欠けた部分を補填して、さらに他の１次元の情報も補填して、椅子の全体の３Ｄ画像である第１オブジェクトＳＡを生成する。

　第１オブジェクト生成部４４は、対象オブジェクトに基づいた任意の方法で、第１オブジェクトＳＡを生成してよいが、以下で本実施形態における例を説明する。本実施形態の例では、記憶部２４に、複数のオブジェクトの画像データ（本実施形態では３Ｄ画像データ）が記憶されており、第１オブジェクト生成部４４は、機械学習済みのＡＩモデルにより、記憶されていたオブジェクトのうちから、対象オブジェクトと形状が類似するオブジェクトを抽出する。この場合のＡＩモデルは、対比するオブジェクトの画像データの特徴量とそのオブジェクト同士の類似度合いとを機械学習済みの、ＡＩモデルであってよい。そして、第１オブジェクト生成部４４は、２Ｄ画像である対象オブジェクトを、公知の方法で３Ｄ画像に変換して、対象オブジェクトの３Ｄ画像データと、記憶されている各オブジェクトの画像データとをＡＩモデルに入力して、類似度合いを算出する。第１オブジェクト生成部４４は、各オブジェクトのうちから、類似度合いが所定値以上となる（例えば最も高い）オブジェクトを、補填用オブジェクトとして選択する。第１オブジェクト生成部４４は、その補填用オブジェクトに基づいて、第１オブジェクトＳＡを生成する。具体的には、第１オブジェクト生成部４４は、対象オブジェクトの欠けた部分を特定して、その欠けた部分を補填用オブジェクトから抽出し、対象オブジェクトと、補填オブジェクトから抽出した部分とを結合することで、対象オブジェクトを補填した第１オブジェクトＳＡを生成する。ただしそれに限られず、例えば、抽出した補填用オブジェクトそのものを、第１オブジェクトＳＡとしてもよい。

　（第２オブジェクトの生成）
　第２オブジェクト生成部４６は、第２オブジェクトＳＢを生成する。第２オブジェクトＳＢは、メイン画像ＰＭにサブ画像ＰＳとして重畳表示されるオブジェクト（表示オブジェクトＳ）の、元となる画像である。詳しくは後述するが、表示装置１０は、第１オブジェクトＳＡと第２オブジェクトＳＢとを含む画像を表示オブジェクトＳとして生成して、サブ画像ＰＳとしてメイン画像ＰＭに重畳表示させる。表示オブジェクトＳにおいては、第２オブジェクトＳＢが、第１オブジェクトＳＡに対して所定距離範囲内に位置するように配置されることが好ましく、第１オブジェクトＳＡと重畳するように配置されることがより好ましい。本実施形態の例では、第２オブジェクトＳＢは、ユーザＵ以外の人のアバターであり、椅子である第１オブジェクトＳＡに重畳して表示される。

　第２オブジェクト生成部４６は、任意の方法で第２オブジェクトＳＢを生成してよい。例えば、第２オブジェクトＳＢの画像データが予め設定されており、第２オブジェクト生成部４６は、予め設定された第２オブジェクトＳＢの画像データを読み出して、第２オブジェクトＳＢを生成してよい。なお、第２オブジェクトＳＢも、第１オブジェクトＳＡと同様に、３Ｄ画像（３次元の立体画像データ）であってよい。

　（重畳位置の設定）
　重畳位置設定部４８は、メイン画像ＰＭ内での重畳位置を設定する。重畳位置とは、メイン画像ＰＭ内における（メイン画像ＰＭの座標系における）、第１オブジェクトＳＡ（後述の表示オブジェクトＳ）を表示する位置である。重畳位置設定部４８は、重畳位置を、任意の位置に設定してよいが、本実施形態では、対象オブジェクトの位置とは異なる位置を重畳位置として設定することが好ましい。すなわち例えば、重畳位置設定部４８は、椅子（オブジェクトＭＡ）の元の位置とは別の位置に、その椅子から補填した画像（表示オブジェクトＳ）が表示されるように、重畳位置を設定することが好ましい。なお、ここでの位置が異なる（別の位置）とは、オブジェクト同士で重畳する部分がない（オブジェクト同士が完全に重ならない）ことに限られず、オブジェクトの一部同士が重なることも含んでよい。

　さらに言えば、重畳位置設定部４８は、重畳位置に表示オブジェクトＳを表示したと仮定した場合に、表示オブジェクトＳに含まれる第２オブジェクトＳＢと、他オブジェクト（本例ではオブジェクトＭＢ）とが重畳する面積を算出して、その重畳する面積が所定値以下となる位置を、重畳位置として設定することがより好ましい。他オブジェクトとは、メイン画像ＰＭに含まれる、対象オブジェクト以外のオブジェクトＭを指し、メイン画像ＰＭにおいて対象オブジェクトに対し重畳するオブジェクトである。また、他オブジェクトは、撮像部２８側に対し、対象オブジェクトの手前に位置し、対象オブジェクトを隠すオブジェクトを指す。なお、他オブジェクトに該当するオブジェクトが複数存在する場合には、対象オブジェクトに対し他オブジェクトが重畳する面積が最も大きい他オブジェクトを選択すればよい。重畳位置設定部４８は、入力部２０により指定されたオブジェクトを他オブジェクトとしてもよい。または、重畳位置設定部４８は、対象オブジェクト、第１オブジェクト、メイン画像ＰＭに基づき、他オブジェクトを設定してもよい。例えば、重畳位置設定部４８は、対象オブジェクト抽出部４２から対象オブジェクトを取得し、第１オブジェクト生成部４４から第１オブジェクトＳＡを取得し、撮像制御部４０からメイン画像ＰＭを取得する。重畳位置設定部４８は、メイン画像ＰＭにおける対象オブジェクトに対し、第１オブジェクトＳＡを位置合わせし、第１オブジェクトＳＡの補填用オブジェクトと重畳するオブジェクトを判定する。重畳位置設定部４８は、判定したオブジェクトを他オブジェクトとして特定する。

　すなわち例えば、重畳位置設定部４８は、椅子（第１オブジェクトＳＡ）に重畳するアバター（第２オブジェクトＳＢ）が、その椅子以外のオブジェクト（机のオブジェクトＭＢ）と重畳する度合いが少なくなるように、重畳位置を設定することが好ましいといえる。例えばこの場合、重畳位置設定部４８は、最適化計算により、第２オブジェクトＳＢと、対象オブジェクト以外のそれぞれのオブジェクトＭとの重畳する面積が出来るだけ小さくなる位置を算出して、その位置を重畳位置に設定してよい。なお、重畳する面積は、第２オブジェクトＳＢの大きさ及び他オブジェクトの大きさと、重畳位置及び他オブジェクトの位置とに基づいて、算出できる。

　図５は、重畳位置の設定の他の例を示す模式図である。重畳位置は、ユーザＵにより設定されてもよい。この場合例えば、表示装置１０は、メイン画像ＰＭを表示部２２に表示させて、ユーザＵは、そのメイン画像ＰＭを視認しつつ、入力部２０に重畳位置を入力する。対象オブジェクト抽出部４２は、入力部２０に入力された重畳位置を、重畳位置として設定する。この場合例えば、図５に示すように、表示装置１０は、表示部２２に、対象オブジェクトであるオブジェクトＭＡの基準位置Ａ_ＭＡ（例えば対象オブジェクトの中央位置）を示す画像（本例ではポインタ）を、表示させてよい。そして、ユーザＵにより、位置Ａ_ＳＡが重畳位置として指定されると、表示装置１０は、重畳位置である位置Ａ_ＳＡを示す画像（本例ではポインタ）と、対象オブジェクトを位置Ａ_ＳＡに表示した画像とを、メイン画像ＰＭに対して重畳表示させる。これにより、例えば対象オブジェクトである椅子の画像がどこに移動するかを、ユーザＵに適切に認識させることができる。

　（表示オブジェクトの生成）
　表示オブジェクト生成部５０は、第１オブジェクトＳＡの表示態様を設定して、表示オブジェクトＳを生成する。すなわち、表示オブジェクトＳは、第１オブジェクトＳＡに基づき生成された、第１オブジェクトＳＡとは表示態様が異なる画像といえる。

　第１オブジェクトＳＡに基づいた表示オブジェクトＳの生成方法は任意であるが、本実施形態では、表示オブジェクト生成部５０は、メイン画像ＰＭ内における他オブジェクト（対象オブジェクト以外のオブジェクトＭ）の位置と、重畳位置設定部４８が設定した重畳位置とに基づいて、第１オブジェクトＳＡから表示オブジェクトＳを生成する。例えば、表示オブジェクト生成部５０は、重畳位置及び他オブジェクトの位置に基づいて、重畳位置に第１オブジェクトＳＡを表示したと仮定した場合に、第１オブジェクトＳＡのうちで他オブジェクト（本例ではオブジェクトＭＢ）と重畳する領域を算出する。そして、表示オブジェクト生成部５０は、第１オブジェクトＳＡからその重畳する領域を欠けさせた画像を、表示オブジェクトＳとしてよい。また例えば、表示オブジェクト生成部５０は、重畳位置と、ユーザＵの顔が向いている方向（ユーザＵが視認している方向）とに基づいて、メイン画像ＰＭ内における第１オブジェクトＳＡの向きを算出して、３Ｄ画像である第１オブジェクトＳＡから、第１オブジェクトＳＡの向きに対応する２Ｄ画像を生成して、表示オブジェクトＳとしてよい。なお、ユーザＵの顔が向いている方向の取得方法は任意であってよいが、例えば、表示オブジェクト生成部５０は、表示装置１０に搭載されているセンサの検出結果から、ユーザＵの顔の向いている方向を推定してよい。ここでのセンサは任意のものであってよいが、例えば、撮像部２８や、図示しないジャイロセンサや、図示しないＬｉＤＡＲなどが挙げられる。表示オブジェクト生成部５０は、例えばＳＬＡＭ（Simultaneous　Localization　and　Mapping）技術を用いて、ユーザＵの顔が向いている方向を推定してよい。

　本実施形態では、上述のように、第１オブジェクトＳＡと第２オブジェクトＳＢとを含む画像を、表示オブジェクトＳとする。すなわち、表示オブジェクトＳは、第１オブジェクトＳＡ及び第２オブジェクトＳＢに基づき生成された、第１オブジェクトＳＡ及び第２オブジェクトＳＢとは表示態様が異なる画像といえる。例えば、表示オブジェクト生成部５０は、重畳位置及び他オブジェクトの位置に基づいて、重畳位置に第１オブジェクトＳＡ及び第２オブジェクトＳＢを表示したと仮定した場合に、第１オブジェクトＳＡ及び第２オブジェクトＳＢのうちで他オブジェクト（本例ではオブジェクトＭＢ）と重畳する領域を算出してよい。そして、表示オブジェクト生成部５０は、第１オブジェクトＳＡ及び第２オブジェクトＳＢからその重畳する領域を欠けさせた画像を、表示オブジェクトＳとしてよい。また例えば、表示オブジェクト生成部５０は、重畳位置と、ユーザＵの顔が向いている方向とに基づいて、メイン画像ＰＭ内における第１オブジェクトＳＡ及び第２オブジェクトＳＢの向きを算出して、３Ｄ画像である第１オブジェクトＳＡ及び第２オブジェクトＳＢから、第１オブジェクトＳＡの向きに対応する２Ｄ画像と第２オブジェクトＳＢの向きに対応する２Ｄ画像とを生成して、それらの２Ｄ画像を含む画像を、表示オブジェクトＳとしてよい。

　（表示オブジェクトの表示）
　図６は、表示部が表示する画像の一例を示す模式図である。表示制御部５２は、表示部２２を制御して、表示部２２に画像を表示させる。表示制御部５２は、重畳位置に、表示オブジェクト生成部５０が生成した表示オブジェクトＳを表示させる。すなわち、図６の例に示すように、表示制御部５２は、表示オブジェクトＳをサブ画像ＰＳとして、メイン画像ＰＭと、重畳位置の表示オブジェクトＳとを、表示部２２に表示させる。すなわち図６の例では、オブジェクトＭＡ、ＭＢを含むメイン画像ＰＭと、重畳位置である位置Ａ_ＳＡに、椅子である第１オブジェクトＳＡとアバターである第２オブジェクトＳＢとを含む表示オブジェクトＳとが重畳して表示される。なお、表示制御部５２は、表示オブジェクトＳと対象オブジェクトとが重なる場合には、対象オブジェクトのうちで表示オブジェクトＳと重なる箇所を欠けさせるように、すなわち表示オブジェクトＳが対象オブジェクトよりも前方に位置するように、画像を表示させる。一方、上述のように、表示オブジェクトＳは、他オブジェクトと重畳する部分は欠けさせることが好ましいため、他オブジェクトは、表示オブジェクトＳよりも前方に位置するように画像表示されてよい。

　なお、図６に示すように、表示オブジェクト生成部５０は、表示オブジェクトの影に対応する影画像ＳＣを生成して、表示オブジェクトＳと共に、影画像ＳＣも、メイン画像ＰＭに重畳表示させてもよい。影画像ＳＣとは、表示オブジェクトＳがメイン画像ＰＭ内の空間に実際に存在すると仮定した場合の、表示オブジェクトＳの影を示す画像である。影画像ＳＣの生成方法は任意であってよいが、例えば、表示オブジェクト生成部５０は、メイン画像ＰＭに基づいて、推定光源位置を算出する。推定光源位置とは、メイン画像ＰＭ内の空間に光を照らしている光源の推定位置である。表示オブジェクト生成部５０は、メイン画像ＰＭの画像データ（例えば画素毎の階調値や輝度値）から、公知の方法で推定光源位置を算出してよい。そして、表示オブジェクト生成部５０は、推定光源位置と、重畳位置（表示オブジェクトＳの表示位置）との位置関係から、重畳位置に表示オブジェクトＳを配置した場合にできる影の位置を算出して、算出した影の位置に影画像ＳＣを表示させる。

　（処理フロー）
　図７は、本実施形態に係る表示装置の処理フローを説明するフローチャートである。図７に示すように、表示装置１０は、撮像制御部４０により、メイン画像ＰＭの画像データを取得し（ステップＳ１０）、対象オブジェクト抽出部４２により、メイン画像ＰＭから対象オブジェクトを抽出する（ステップＳ１２）。そして、表示装置１０は、第１オブジェクト生成部４４により、対象オブジェクトに基づき第１オブジェクトＳＡを生成し（ステップＳ１４）、第２オブジェクト生成部４６により、第２オブジェクトＳＢを生成し（ステップＳ１６）、重畳位置設定部４８により、重畳位置を設定する（ステップＳ１８）。なお、ステップＳ１６の第２オブジェクトＳＢの生成は、第１オブジェクトＳＡの生成後に行うことに限られず、後述のステップＳ２０の表示オブジェクトＳの生成前の任意のタイミングで行ってよい。また、ステップＳ１８の重畳位置の設定も、第２オブジェクトＳＢの生成後に行うことに限られず、後述のステップＳ２０の表示オブジェクトＳの生成前の任意のタイミングで行ってよい。

　次に、表示装置１０は、表示オブジェクト生成部５０により、他オブジェクトの位置と重畳位置とに基づいて、第１オブジェクトＳＡ及び第２オブジェクトＳＢの表示態様を設定して、表示オブジェクトＳを生成し（ステップＳ２０）、表示制御部５２により、表示オブジェクトＳを重畳位置に表示させる（ステップＳ２２）。

　以上説明したように、本実施形態においては、対象オブジェクトを補填した第１オブジェクトＳＡを、重畳位置及び他オブジェクトの位置に基づいて、表示態様を調整して、表示オブジェクトＳを生成する。そして、そのようにして生成した表示オブジェクトＳを、重畳位置に表示させる。そのため、対象オブジェクトを、他オブジェクトとの位置関係に応じた表示態様に調整して、表示オブジェクトＳとして表示させることが可能となるため、他オブジェクトとの位置関係による見え方の違和感を低減することができ、ユーザが抱く違和感を抑制できる。より詳しくは、図６の例では、元のオブジェクトＭＡ（椅子）の位置Ａ_ＭＡにアバターＳＢ０を含むオブジェクトを重畳表示させると、アバターＳＢ０とオブジェクトＭＢ（机）とが大きく重なってしまい、机にアバターがめり込むような、違和感のある画像となる場合がある。それに対して、図６の例では、第１オブジェクトＳＡ（椅子）や第２オブジェクトＳＢ（アバター）と、オブジェクトＭＢ（机）との重畳する面積が少なくなるような重畳位置（位置ＡＳＡ）に、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）を表示するため、見え方の違和感を低減することができる。さらに言えば、オブジェクトＭＢと表示オブジェクトＳが重なる場合には、例えば表示オブジェクトＳの重なる部分を欠けさせて表示することでも、見え方の違和感を低減することができる。

　（第２実施形態）
　次に、第２実施形態について説明する。第２実施形態においては、重畳位置の設定方法が、第１実施形態とは異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。

　図８は、第２実施形態において表示部が表示する画像の一例を示す模式図である。第２実施形態においては、重畳位置設定部４８は、第１重畳面積と第２重畳面積とを算出して、第１重畳面積と第２重畳面積とに基づいて、重畳位置を設定する。第１重畳面積とは、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）を重畳位置に表示したと仮定した場合に、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）と対象オブジェクトとが重畳する面積を指す。また、第２重畳面積とは、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）を重畳位置に表示したと仮定した場合に、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）と他オブジェクト（対象オブジェクト以外のオブジェクト）とが重畳する面積を指す。なお、第１重畳面積は、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）の大きさ及び対象オブジェクトの大きさと、重畳位置及び対象オブジェクトの位置とに基づいて、算出できる。同様に、第２重畳面積は、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）の大きさ及び他オブジェクトの大きさと、重畳位置及び他オブジェクトの位置とに基づいて、算出できる。

　より詳しくは、重畳位置設定部４８は、第１重畳面積が第１所定面積以上となり、かつ、第２重畳面積が第２所定面積以下となるように、重畳位置を設定することが好ましい。第１所定面積及び第２所定面積は任意に設定されてよい。さらに好ましくは、重畳位置設定部４８は、最適化計算により、第１重畳面積ができるだけ大きくなり、かつ第２重畳面積ができるだけ小さくなるように最適化された位置を、重畳位置として設定する。

　このように、第２実施形態においては、第１重畳面積と第２重畳面積とに基づいて、重畳位置を設定している。そのため、対象オブジェクト及び他オブジェクトの両方に対する、表示オブジェクトＳの重畳度合いに応じて、重畳位置を決定できるため、見え方の違和感をより好適に抑制できる。さらに言えば、第２実施形態においては、表示オブジェクトＳと対象オブジェクトとの第１重畳面積を大きくし、かつ、表示オブジェクトＳと他オブジェクトとの第２重畳面積を小さくするように、重畳位置を決定する。そのため、表示オブジェクトＳと他オブジェクトとの位置関係による違和感を抑えつつ、表示オブジェクトＳにより対象オブジェクトをできるだけ隠すことが可能となるため、見え方の違和感をより好適に抑制できる。すなわち例えば、図６に示すように、表示オブジェクトＳとオブジェクトＭＡ（対象オブジェクト）との第１重畳面積が比較的小さい場合には、同じ椅子を示す表示オブジェクトＳとオブジェクトＭＡとが並んで表示されてしまうため、ユーザＵに違和感を生じさせるおそれがある。それに対して、図８に示すように、表示オブジェクトＳとオブジェクトＭＡ（対象オブジェクト）との第１重畳面積を出来るだけ大きくすることで、ユーザＵの違和感を抑制できる。

　（効果）
　以上説明したように、本開示に係る表示装置１０は、対象オブジェクト抽出部４２と、第１オブジェクト生成部４４と、重畳位置設定部４８と、表示オブジェクト生成部５０と、表示制御部５２とを含む。対象オブジェクト抽出部４２は、撮像部２８によって撮像されたメイン画像ＰＭに含まれる対象オブジェクトを抽出する。第１オブジェクト生成部４４は、対象オブジェクトに基づき、対象オブジェクトを補填した画像である第１オブジェクトＳＡを生成する。重畳位置設定部４８は、メイン画像ＰＭ内で第１オブジェクトＳＡを表示する位置である重畳位置を設定する。表示オブジェクト生成部５０は、メイン画像ＰＭに含まれる対象オブジェクト以外の他オブジェクトの位置と、重畳位置とに基づいて、第１オブジェクトＳＡの表示態様を設定して、表示オブジェクトＳを生成する。表示制御部５２は、重畳位置に表示オブジェクトＳを表示させる。本開示によると、対象オブジェクトを、他オブジェクトとの位置関係に応じた表示態様に調整して、表示オブジェクトＳとして表示させることが可能となるため、他オブジェクトとの位置関係による見え方の違和感を低減することができ、ユーザが抱く違和感を抑制できる。

　重畳位置設定部４８は、対象オブジェクトとは異なる位置を、重畳位置として設定する。本開示によると、見え方の違和感をより好適に抑制できる。

　本開示に係る表示装置１０は、第２オブジェクトＳＢを生成する第２オブジェクト生成部４６を更に含み、表示オブジェクト生成部５０は、第１オブジェクトＳＡと第２オブジェクトＳＢとを含む画像を、表示オブジェクトＳとして生成し、重畳位置設定部４８は、重畳位置に表示オブジェクトＳを表示した場合に、第２オブジェクトＳＢと他オブジェクトとが重畳する面積が所定値以下となる位置を、重畳位置として設定する。本開示によると、見え方の違和感をより好適に抑制できる。

　重畳位置設定部４８は、重畳位置に表示する表示オブジェクトＳと対象オブジェクトとが重畳する面積（第１重畳面積）と、重畳位置に表示する表示オブジェクトＳと他オブジェクトとが重畳する面積（第２重畳面積）とに基づいて、重畳位置を設定する。そのため、対象オブジェクト及び他オブジェクトの両方に対する、表示オブジェクトＳの重畳度合いに応じて、重畳位置を決定できるため、見え方の違和感をより好適に抑制できる。

　表示オブジェクト生成部５０は、表示オブジェクトＳの影に対応する影画像ＳＣを生成し、表示制御部５２は、表示オブジェクトＳと影画像ＳＣとを表示させる。影画像ＳＣを表示することで、表示オブジェクトＳに実在物と同様の影をつけることができるため、見え方の違和感をより好適に抑制できる。

　以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

　本実施形態の表示装置、表示方法及びプログラムは、例えば画像表示に利用することができる。

　１０　表示装置
　２２　表示部
　２８　撮像部
　４０　撮像制御部
　４２　対象オブジェクト抽出部
　４４　第１オブジェクト生成部
　４６　第２オブジェクト生成部
　４８　重畳位置設定部
　５０　表示オブジェクト生成部
　５２　表示制御部
　ＰＭ　メイン画像
　ＰＳ　サブ画像
　Ｓ　表示オブジェクト
　ＳＡ　第１オブジェクト
　ＳＢ　第２オブジェクト

Claims (7)

1. 　撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出する対象オブジェクト抽出部と、
   　前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成する第１オブジェクト生成部と、
   　前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定する重畳位置設定部と、
   　前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成する表示オブジェクト生成部と、
   　前記重畳位置に前記表示オブジェクトを表示させる表示制御部と、
   　を含む、
   　表示装置。
2. 　前記重畳位置設定部は、前記対象オブジェクトとは異なる位置を、前記重畳位置として設定する、請求項１に記載の表示装置。
3. 　第２オブジェクトを生成する第２オブジェクト生成部を更に含み、
   　前記表示オブジェクト生成部は、前記第１オブジェクトと前記第２オブジェクトとを含む画像を、前記表示オブジェクトとして生成し、
   　前記重畳位置設定部は、前記重畳位置に前記表示オブジェクトを表示した場合に、前記第２オブジェクトと前記他オブジェクトとが重畳する面積が所定値以下となる位置を、前記重畳位置として設定する、請求項１又は請求項２に記載の表示装置。
4. 　前記重畳位置設定部は、前記重畳位置に表示する前記表示オブジェクトと前記対象オブジェクトとが重畳する面積と、前記重畳位置に表示する前記表示オブジェクトと前記他オブジェクトとが重畳する面積とに基づいて、前記重畳位置を設定する、請求項１又は請求項２に記載の表示装置。
5. 　前記表示オブジェクト生成部は、前記表示オブジェクトの影に対応する影画像を生成し、
   　前記表示制御部は、前記表示オブジェクトと前記影画像とを表示させる、請求項１又は請求項２に記載の表示装置。
6. 　撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、
   　前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、
   　前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、
   　前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、
   　前記重畳位置に前記表示オブジェクトを表示するステップと、
   　を含む、
   　表示方法。
7. 　撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、
   　前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、
   　前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、
   　前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、
   　前記重畳位置に前記表示オブジェクトを表示するステップと、
   　をコンピュータに実行させる、
   　プログラム。

Images