WO2021117366A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

仮想オブジェクトと実オブジェクトの境界領域のちらつきを目立たせないＡＲ画像表示制御を行う装置、方法を提供する。実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出部と、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ画像を生成して表示部に出力するＡＲ画像表示制御部を有し、ＡＲ画像表示制御部は、実オブジェクト検出部が検出した実オブジェクトの位置が、表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、仮想オブジェクトと実オブジェクトの境界領域の少なくとも一部領域を隠すように、実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを表示部に出力する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、現実に観察可能な実オブジェクトと同じ空間にキャラクタ画像等の仮想オブジェクトが存在すると視認されるような拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示する画像処理装置、および画像処理方法、並びにプログラムに関する。

　現実に観察可能な実オブジェクトと同じ空間にキャラクタ画像等の仮想オブジェクトが存在すると視認されるような画像を拡張現実画像、あるいはＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像と呼ぶ。

　ＡＲ画像は、例えばユーザの目に装着するヘッド・マウント・ディスプレイ（ＨＭＤ）や、スマホ（スマートフォン）等の携帯端末等を利用して表示される。
　ユーザは、ＡＲ画像を観察することで、例えばＡＲ画像中の表示キャラクタが実世界に存在するような感覚を楽しむことができる。

　ＡＲ画像は、実オブジェクトと、仮想オブジェクトが混在する画像であるが、例えば仮想オブジェクトの一部領域が、その手前にある実オブジェクトに重なる場合、重なり領域部分の仮想オブジェクトは非表示とする表示制御が必要となる。

　このような表示制御は、例えば距離センサ（デプスセンサ）等による実オブジェクトの距離計測結果を利用して行われる。しかし、距離センサの距離計測精度が不十分な場合や、仮想オブジェクトより前にある実オブジェクトが動く物体である場合には、実オブジェクトと仮想オブジェクトとの重なり領域の境界部分が不明確になり、この境界部分でちらつき、すなわち仮想オブジェクトの表示／非表示の繰り返しによるちらつきが発生するという問題がある。

　なお、このようなちらつきを防止する構成を開示した従来技術として例えば特許文献１（国際公開ＷＯ２０１９／０３１０１５号公報）がある。
　この特許文献１は、実オブジェクトの仮想オブジェクトの境界領域にぼかし処理等のエフェクト表示を行う構成を開示している。

　しかし、このような画像処理を行っても、例えば実オブジェクトが動く物体である場合等には境界部分が移動しまうため処理が追い付かず、十分なちらつき低減効果が得られないという問題がある。

国際公開ＷＯ２０１９／０３１０１５号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、実オブジェクトと仮想オブジェクトの境界領域に発生するちらつきを、ユーザに認識しづらくする表示制御を行う画像処理装置、および画像処理方法、並びにプログラムを提供するものである。

　本開示の第１の側面は、
　実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出部と、
　仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力するＡＲ画像表示制御部を有し、
　前記ＡＲ画像表示制御部は、
　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力する画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　実オブジェクト検出部が、実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出ステップと、
　ＡＲ画像表示制御部が、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力するＡＲ画像表示制御ステップを有し、
　前記ＡＲ画像表示制御ステップは、
　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力するステップを含む画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　実オブジェクト検出部に、実世界上の実オブジェクトの検出処理を実行させる実オブジェクト検出ステップと、
　ＡＲ画像表示制御部に、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力させるＡＲ画像表示制御ステップを実行させ、さらに、
　前記ＡＲ画像表示制御ステップにおいて、
　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力する処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、仮想オブジェクトと実オブジェクトの境界領域のちらつきを目立たせないＡＲ画像表示制御を行う装置、方法が実現される。
　具体的には、例えば、実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出部と、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ画像を生成して表示部に出力するＡＲ画像表示制御部を有し、ＡＲ画像表示制御部は、実オブジェクト検出部が検出した実オブジェクトの位置が、表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、仮想オブジェクトと実オブジェクトの境界領域の少なくとも一部領域を隠すように、実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを表示部に出力する。
　本構成により、仮想オブジェクトと実オブジェクトの境界領域のちらつきを目立たせないＡＲ画像表示制御を行う装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の画像処理装置の構成例と実行する処理について説明する図である。 本開示の画像処理装置の構成例と実行する処理について説明する図である。 ＡＲ画像に発生するちらつきについて説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の画像処理装置の実行する処理の概要について
　２．本開示の画像処理装置が解決するＡＲ画像表示処理における問題点について
　３．本開示の画像処理装置の実行する処理の概要について
　４．本開示の画像処理装置の構成例について
　５．本開示の画像処理装置の実行する処理シーケンスについて
　６．追加仮想オブジェクトの出力処理対象とする実オブジェクトを動きのある実オブジェクトに限定した処理を行なう実施例について
　７．追加仮想オブジェクトの出力処理対象とする実オブジェクトを動きのある実オブジェクトに限定した処理を行なう画像処理装置の実行する処理シーケンスについて
　８．本開示の画像処理装置のその他の構成および処理について
　９．画像処理装置のハードウェア構成例について
　１０．本開示の構成のまとめ

　　［１．本開示の画像処理装置の実行する処理の概要について］
　まず、図１以下を参照して、本開示の画像処理装置の実行する処理の概要について説明する。

　図１には、本開示の画像処理装置の一例として、ヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型（シースルー型）ＡＲ画像表示デバイス１０を示している。
　ユーザは、ユーザの目を覆うようにヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス１０を装着する。

　光透過型ＡＲ画像表示デバイス１０は光透過型（シースルー型）の表示部（ディスプレイ）を有する。光透過型の表示部（ディスプレイ）をユーザの目の前の位置に設定するようにユーザに装着する。

　ユーザは、光透過型ＡＲ画像表示デバイス１０の光透過型の表示部（ディスプレイ）を介して外部の実オブジェクトをそのまま観察することができる。
　さらに、光透過型の表示部（ディスプレイ）には、仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像が表示される。

　ユーザは、光透過型ＡＲ画像表示デバイス１０を介して外部の実オブジェクトとキャラクタ等の仮想オブジェクト画像を併せて観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界に存在するかのような感覚を体感することができる。

　図１の右側には、ユーザが、光透過型ＡＲ画像表示デバイス１０を介して観察可能な画像の例を示している。

　（ａ）観察画像例１は、光透過型ＡＲ画像表示デバイス１０を介して観察される外部の実オブジェクトからなる透過観察画像２１によって構成されている。この画像例１には、仮想オブジェクトは表示されていない。

　一方、（ｂ）観察画像例２は、光透過型ＡＲ画像表示デバイス１０を介して観察される外部の実オブジェクトからなる透過観察画像２１に併せて、キャラクタ画像等の仮想オブジェクト画像２２を表示した画像例である。この画像例２は、ユーザが実オブジェクトと仮想オブジェクトを併せて観察可能な画像である。

　前述したように、現実に観察可能な実オブジェクトと同じ空間にキャラクタ画像等の仮想オブジェクトが存在すると視認されるような画像を拡張現実画像、あるいはＡＲ（ｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像と呼ぶ。
　本開示の画像処理装置は、このＡＲ画像の表示処理を行う装置である。

　なお、本開示の画像処理装置は、図１を参照して説明した光透過型ＡＲ画像表示デバイス１０に限らず、様々な表示部を備えた装置によって構成することができる。

　具体的には、例えば、図２に示すようなカメラ撮影画像表示型ＡＲ画像表示デバイス３１、スマホ（スマートフォン）３２、タブレット端末３３、ＰＣ３４等も、本開示の画像処理装置として利用可能である。

　図２に示すカメラ撮影画像表示型ＡＲ画像表示デバイス３１、スマホ（スマートフォン）３２、タブレット端末３３、ＰＣ３４は、各デバイスのカメラが撮影した実オブジェクトを含む実画像を表示部（ディスプレイ）に表示する。
　なお、スマホ（スマートフォン）３２、タブレット端末３３、ＰＣ３４には例えば各デバイスの裏側、あるいは表面側にカメラが装着されており、このカメラ撮影画像を表示部に表示する。

　さらに、表示部（ディスプレイ）には、実オブジェクトとともに仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像を表示する。

　ユーザは、カメラ撮影画像である実オブジェクト画像と、キャラクタ等の仮想オブジェクト画像が混在したＡＲ画像を観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界に存在するかのような感覚を体感することができる。

　なお、本明細書において説明する「実オブジォクト」、「仮想オブジェクト」、および本開示の情報処理装置が生成する「ＡＲ画像」は、以下のように定義される。
　実オブジェクト＝リアルな物体（オブジェクト）
　仮想オブジェクト＝実オブジェクト以外のオブジェクトであり、例えば表示対象となる２Ｄ画像や３Ｄモデル（典型的には例えばデータベースに記録された２Ｄ画像データや３Ｄモデルデータ）
　ＡＲ画像＝実オブジェクトと、仮想オブジェクトの表示部上の表示位置が重なる場合、重なり領域において奥行きが遠い位置のオブジェクト（実オブジェクトまたは仮想オブジェクト）の少なくとも一部を表示しないように画像処理した画像。なお、実オブジェクト又は仮想オブジェクトの表示位置がもう一方のオブジェクトよりも奥行位置において手前である場合は、それが実オブジェクトであればそのまま視認され、それが仮想オブジェクトであれば対応する３Ｄモデルの全体が表示される。またＡＲ画像は、任意の他の画像処理が施された画像であってもよい。

　　［２．本開示の画像処理装置が解決するＡＲ画像表示処理における問題点について］
　次に、本開示の画像処理装置が解決するＡＲ画像表示処理における問題点について説明する。

　図３は、ＡＲ画像表示処理における問題点について説明する図である。
　ＡＲ画像は、実オブジェクトと、仮想オブジェクトが混在する画像である。
　例えば仮想オブジェクトの一部領域が、その手前（ＡＲ画像観察ユーザ側）にある実オブジェクトに重なる場合、重なり領域部分の仮想オブジェクトは非表示とする表示制御が必要となる。

　図３は、仮想オブジェクト５１の前を、人である実オブジェクト６１，６２が通り過ぎる状態のＡＲ画像表示例を示した図である。
　ＡＲ画像の表示制御を実公する画像処理装置は、図３に示すように、仮想オブジェクト５１の一部領域が、その手前の実オブジェクト６１，６２に重なる場合、重なり領域部分の仮想オブジェクト５１を非表示とする表示制御を行う。

　この表示制御は、例えば距離センサ（デプスセンサ）等による実オブジェクトの距離計測結果を利用して行う。
　画像処理装置のデータ処理部は、仮想オブジェクト５１を表示する奥行位置（カメラからの距離）と、実オブジェクトの奥行位置（カメラからの距離）を比較して、実オブジェクトの位置（カメラからの距離）が仮想オブジェクト５１の表示位置より手前（カメラに近い位置＝ＡＲ画像観察ユーザ側）である場合、その領域の仮想オブジェクト５１を非表示とする表示制御を行う。

　しかし、距離センサの距離計測精度が不十分な場合や、仮想オブジェクトより前にある実オブジェクトが動く物体である場合には、実オブジェクトと仮想オブジェクトとの重なり領域の境界部分が距離センサのノイズ等により不明確になり、この境界部分でちらつき、すなわち仮想オブジェクトの表示／非表示の繰り返しによるちらつきが発生する。

　図３には、このちらつきの例を示している。図３に示す境界部ちらつき７１が、実オブジェクト６１，６２と仮想オブジェクト５１との重なり領域の境界部分に発生するちらつきである。

　特に、図３に示すように実オブジェクト６１，６２が人のように動く物体である場合には、実オブジェクトと仮想オブジェクトとの境界が移動するため、さらに激しいちらつきが発生する。

　本開示の画像処理装置は、実オブジェクトと仮想オブジェクトの境界領域に発生するちらつきを、ユーザが認識しにくい画像を表示する制御を行う。

　　［３．本開示の画像処理装置の実行する処理の概要について］
　次に、本開示の画像処理装置の実行する処理の概要について説明する。

　図４は、本開示の画像処理装置の実行する処理の概要について説明する図である。
　本開示の画像処理装置は、実オブジェクトと仮想オブジェクトからなるＡＲ画像の表示処理を行う際、仮想オブジェクトより手前（カメラ側、またはＡＲ画像観察ユーザ側）にある実オブジェクトと仮想オブジェクトとの境界部分の少なくとも一部領域を隠すように、実オブジェクトの手前に新たな追加仮想オブジェクトを表示する。

　新たな追加仮想オブジェクトは、図４に示す追加仮想オブジェクト８１，８２である。
　図４に示す追加仮想オブジェクト８１，８２は、仮想オブジェクト５１より手前の位置にある実オブジェクト６１，６２と仮想オブジェクト５１との境界部分の少なくとも一部領域を隠すように表示された仮想オブジェクトである。
　この追加仮想オブジェクト８１，８２は、実オブジェクト６１，６２より手前の位置、すなわちカメラ側、またはＡＲ画像観察ユーザ側に近い位置に表示する。

　この追加仮想オブジェクト８１，８２の表示処理により、実オブジェクト６１，６２と仮想オブジェクト５１との境界部分のちらつきが覆い隠されて、ノイズとして知覚されうる領域が少なくなる。つまり追加仮想オブジェクトを表示することでユーザ（ＡＲ画像観察ユーザ）にちらつきが認識されにくくなる。

　なお、追加表示する追加仮想オブジェクトの種類は、例えばＡＲ画像コンテンツの表示制御を行うＡＲ画像表示アプリケーションによって選択される。
　具体的には、例えばＡＲ画像中に表示されている実オブジェクトと同じ種類の仮想オブジェクトを選択して表示する。図４に示す例では、ＡＲ画像中の実オブジェクト６１，６２は人であるので、追加表示する追加仮想オブジェクト８１，８２も人の仮想オブジェクトとする。

　なお、追加表示する追加仮想オブジェクトの種類は、表示されている実オブジェクトと同一の種類に限らず、その他、表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトであればよい。

　例えば図４に示すようにＡＲ画像の表示環境が「公園」や「散歩道」である場合、「公園」や「散歩道」に存在しても不自然とならない人、犬、猫等の種類の仮想オブジェクトを選択して表示する。

　なお、実オブジェクトが人のように移動するオブジェクトである場合、実オブジェクトと仮想オブジェクトとの境界領域も移動してしまう。このような場合には、その境界領域の移動に併せて、追加仮想オブジェクトも移動させる。このような処理を行なうことで移動する境界領域のちらつき部分を効果的に隠すことが可能となる。

　このように、本開示の画像処理装置は、実オブジェクトと仮想オブジェクトからなるＡＲ画像の表示処理を行う際、仮想オブジェクトより手前（ＡＲ画像観察ユーザ側）にある実オブジェクトと仮想オブジェクトとの境界部分の少なくとも一部領域を隠すように、実オブジェクトの手前に新たな追加仮想オブジェクトを表示する。

　この追加仮想オブジェクトの表示処理により、実オブジェクトと仮想オブジェクトとの境界部分のちらつきが覆い隠されてユーザ（ＡＲ画像観察ユーザ）に認識されにくくなる。

　　［４．本開示の画像処理装置の構成例について］
　次に、本開示の画像処理装置の構成例について説明する。

　図５は、本開示の画像処理装置１００の一構成例について説明する図である。
　画像処理装置１００は、例えば先に図１、図２を参照して説明した各装置である。すなわち、画像処理装置１００は、図１に示す光透過型ＡＲ画像表示デバイス（ＨＭＤ）１０や、図２に示すカメラ撮影画像表示型ＡＲ画像表示デバイス（ＨＭＤ）３１、スマホアフ、タブレット他端末３３、ＰＣ３４等によって構成される。

　図５に示すように、画像処理装置１００は、センサ（カメラ等）１０１、実オブジェクト検出部１０２、自己位置推定部１０３、ＡＲ画像表示制御部１１０、ＡＲコンテンツデータベース１２１、追加仮想オブジェクトデータベース１２２、表示部１３０を有する。
　なお、ＡＲ画像表示制御部１１０は、ＡＲコンテンツ表示制御部１１１、追加仮想オブジェクト表示制御部１１２を有する。

　センサ（カメラ等）１０１は、人などの実オブジェクトが存在する実世界の画像を撮影するカメラや、カメラから実オブジェクトまでの距離値を取得する距離センサ（デプスセンサ）によって構成される。

　センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）は、実オブジェクト検出部１０２、自己位置推定部１０３に入力される。

　なお、画像処理装置１００が、図１に示すような光透過型（シースルー型）ＡＲ画像表示デバイス１０である場合は、センサ（カメラ等）１０１の取得情報は、例えば、実オブジェクト検出部１０２における実オブジェクト検出処理や、自己位置推定部１０３における自己位置推定に適用するための輝度画像と距離画像である。
　距離画像は、例えばセンサ（カメラ等）１０１からの距離に応じた濃淡画素値情報を記録した画像である。

　また、画像処理装置１００が、図２に示すようなカメラ撮影型ＡＲ画像表示デバイス３１やスマホ３２等、カメラ撮影画像を表示部に表示する構成の場合は、センサ（カメラ等）１０１の取得情報は、例えば、表示部に表示するためのカメラ撮影ＲＧＢ画像と距離画像となる。実オブジェクト検出部１０２における実オブジェクト検出処理や、自己位置推定部１０３における自己位置推定は、カメラ撮影ＲＧＢ画像と距離画像を適用して処理を実行する。

　実オブジェクト検出部１０２は、センサ（カメラ等）１０１の取得情報（輝度画像、距離画像等）を解析して、センサ（カメラ）の撮影画像内の実オブジェクトの種類（人、植物等）と、実オブジェクト各々の位置を解析する。なお、解析する実オブジェクトの位置には、画像平面内の位置と奥行き方向の位置であるセンサ（カメラ等）１０１からの距離が含まれる。

　実オブジェクト検出部１０２が検出した実オブジェクトの種類と位置情報は、ＡＲ画像表示制御部１１０のＡＲコンテンツ表示制御部１１１と、仮想オブジェクト追加表示制御部１１２に出力される。

　自己位置推定部１０３は、センサ（カメラ等）１０１の取得情報（輝度画像、距離画像等）を入力して、自己位置、具体的には、画像処理装置のカメラ位置を推定する。
　例えば、カメラ撮影画像を利用したＳＲＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）処理等の既存技術を適用して自己位置を推定する。
　なお、ＳＬＡＭは、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行する処理である。

　自己位置推定部１０３の解析結果である画像処理装置１００のカメラ位置情報は、ＡＲ画像表示制御部１１０のＡＲコンテンツ表示制御部１１１と、仮想オブジェクト追加表示制御部１１２に出力される。

　ＡＲ画像表示制御部１１０のＡＲコンテンツ表示制御部１１１は、表示部１３０に対するＡＲコンテンツの表示制御を実行する。
　ＡＲコンテンツ表示制御部１１１は、センサ（カメラ等）１０１によって撮影される実オブジェクトによって構成される実画像に併せて、ＡＲコンテンツデータベース１２１から取得した仮想オブジェクトを表示する。
　すなわち、先に図３を参照して説明したようなＡＲコンテンツの表示処理を行なう。

　なお、ＡＲコンテンツ表示制御部１１１は、仮想オブジェクト表示処理に際して、仮想オブジェクトの表示位置と実オブジェクトの位置を比較し、仮想オブジェクトと重なる領域に実オブジェクトが存在し、その実オブジェクトが仮想オブジェクトより手前（カメラ側、またはＡＲ画像観察ユーザ側）に位置する場合は、その重なり領域の仮想オブジェクトは非表示とする仮想オブジェクト表示制御を実行する。

　ＡＲ画像表示制御部１１０の追加仮想オブジェクト表示制御部１１２は、先に図４を参照して説明した追加仮想オブジェクトの表示処理を実行する。

　すなわち、コンテンツ対応仮想オブジェクトより手前（カメラ側、またはＡＲ画像観察ユーザ側）にある実オブジェクトと、コンテンツ対応仮想オブジェクトとの境界部分にあるちらつき発生領域の少なくとも一部領域を隠すように、実オブジェクトの手前に新たな追加仮想オブジェクトを表示する制御を行う。
　なお、追加仮想オブジェクト表示制御部１１２は、実オブジェクト検出部１０２が検出した実オブジェクトの位置と、自己位置推定部１０３が推定した自己位置を解析して、追加仮想オブジェクトの出力位置を決定する。

　追加仮想オブジェクト表示制御部１１２は、追加仮想オブジェクトデータベース１２２から、追加表示する仮想オブジェクトを選択して表示する。
　加仮想オブジェクトデータベース１２２は、様々な種類の追加仮想オブジェクトを格納したデータベースである。
　表示する追加仮想オブジェクトの種類は、例えばＡＲ画像コンテンツの表示制御を行うＡＲ画像表示アプリケーションによって選択される。
　具体的には、例えばＡＲ画像中に表示されている実オブジェクトと同じ種類の仮想オブジェクトを選択して表示する。

　先に説明した図４に示す例では、ＡＲ画像中の実オブジェクト６１，６２は人であるので、追加表示する追加仮想オブジェクト８１，８２も人の仮想オブジェクトとするといった選択処理を行なう。
　なお、前述したように、追加表示する追加仮想オブジェクトの種類は、表示されている実オブジェクトと同一の種類に限らず、その他、表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトであればよい。

　例えば図４に示すようにＡＲ画像の表示環境が「公園」や「散歩道」である場合、「公園」や「散歩道」に存在しても不自然とならない仮想オブジェクト、例えば、人、犬、猫等の種類の仮想オブジェクトを選択して表示する。

　なお、先に図４を参照して説明したように、実オブジェクトが人のように移動するオブジェクトである場合、実オブジェクトと仮想オブジェクトとの境界領域も移動してしまう。このような場合には、追加仮想オブジェクト表示制御部１１２は、この境界領域の移動に併せて追加仮想オブジェクトも移動させるように表示する。この処理を行なうことで移動する境界領域のちらつき部分を効果的に隠すことが可能となる。

　表示部１３０は、実オブジェクトと仮想オブジェクトによって構成されるＡＲ画像を表示する。
　なお、画像処理装置１００が図１に示す光透過型（シースルー型）ＡＲ画像表示デバイス１０である場合は、ユーザの観察する実オブジェクト画像は、光透過型（シースルー型）ＡＲ画像表示デバイス１０を透過してユーザが直接観察するオブジェクトである。

　一方、画像処理装置１００が図２に示すカメラ撮影画像表示型ＡＲ画像表示デバイス３１、スマホ（スマートフォン）３２、タブレット端末３３、ＰＣ３４等である場合は、ユーザの観察する実オブジェクト画像は、センサ（カメラ）１０１によって撮影された画像である。図５に示す点線は、カメラ撮影画像の入出力ラインを示す点線である。

　表示部１３０には、実オブジェクトに併せて仮想オブジェクトが表示される。
　表示部に表示される仮想オブジェクトは、ＡＲコンテンンツ表示制御部１１１が、ＡＲコンテンツデータベース１２１から取得したＡＲコンテンツ対応仮想オブジェクトと、追加仮想オブジェクト表示制御部１１２の制御によって追加表示される追加仮想オブジェクトである。

　ＡＲコンテンツ対応仮想オブジェクトは、例えば、図３、図４に示す仮想オブジェクト５１に対応する。すなわち、ＡＲコンテンツとして当初から出力予定の仮想オブジェクトである。
　一方、追加仮想オブジェクトは、ＡＲコンンテンツ対応仮想オブジェクトと、その前方の実オブジェクトとの境界領域の少なくとも一部を含む領域を隠すように実オブジェクトより前の位置（カメラ側、またはＡＲ画像観察ユーザ側）に表示する仮想オブジェクトである。
　例えば、図４に示す追加仮想オブジェクト８１，８２である。

　これらの表示処理によって表示される表示画像は、先に説明した図４に示すような画像となる。
　すなわち、仮想オブジェクトより手前にある実オブジェクトと仮想オブジェクトとの境界部分の少なくとも一部領域を隠すように、実オブジェクトの手前に新たな追加仮想オブジェクトが表示されたＡＲ画像が表示される。
　この追加仮想オブジェクトの表示処理により、実オブジェクトと仮想オブジェクトとの境界部分のちらつきが覆い隠されてユーザ（ＡＲ画像観察者）に認識されにくくなる。

　　［５．本開示の画像処理装置の実行する処理シーケンスについて］
　次に、本開示の画像処理装置の実行する処理シーケンスについて説明する。

　図６は、本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
　なお、図６に示すフローチャートに従った処理は、図５に示す構成を有する画像処理装置１００が実行する処理である。画像処理装置１００は、プログラム実行機能を持つＣＰＵを備え、記憶部に格納されたプログラム、例えばＡＲ画像表示アプリケーションを用いてフローに従った処理を実行する。

　なお、図６のフローは、センサ１０１を構成するカメラの撮影する画像フレーム単位、または複数画像フレーム単位の処理として、繰り返し実行する処理を示している。すなわち表示部１３０に対するＡＲ画像の表示処理を継続中、図６のフローに示す処理が繰り返し実行される。
　以下、図６に示すフローの各ステップの処理について説明する。

　　（ステップＳ１０１）
　まず、画像処理装置１００は、ステップＳ１０１において、カメラ撮影画像、距離画像を入力する。
　この処理は、図５に示す画像処理装置１００のセンサ（カメラ等）１０１の取得情報の入力処理である。

　図５を参照して説明したように、センサ（カメラ等）１０１は、人などの実オブジェクトが存在する実世界の画像（輝度画像、またはカラー画像）を撮影するカメラや、カメラから実オブジェクトまでの距離値を濃淡画素値として設定した距離画像を取得する距離センサ（デプスセンサ）によって構成される。
　センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）は、実オブジェクト検出部１０２、自己位置推定部１０３に入力される。

　　（ステップＳ１０２）
　次に、画像処理装置１００は、ステップＳ１０２において、自装置（ＡＲデバイス）位置を算出する。

　この処理は、図５に示す画像処理装置１００の自己位置推定部１０３の実行する処理である。
　自己位置推定部１０３は、センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）を入力して、自己位置、具体的には、画像処理装置１００のカメラ位置（センサ（カメラ等）１０１の位置）を推定する。
　例えば、カメラ撮影画像を利用したＳＲＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）処理等の既存技術を適用して自己位置を推定する。

　　（ステップＳ１０３～Ｓ１０４）
　ステップＳ１０３～Ｓ１０４の処理は、ステップＳ１０２の処理と並列に実行される。画像処理装置１００は、ステップＳ１０３～Ｓ１０４において実オブジェクトの検出処理と距離算出処理を実行する。

　この処理は、図５に示す画像処理装置１００の実オブジェクト検出部１０２が実行する処理である。
　実オブジェクト検出部１０２は、センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）を解析して、センサ（カメラ）の撮影画像内の実オブジェクトの種類（人、植物等）と、実オブジェクト各々の位置を解析する。なお、解析する実オブジェクトの位置は、画像平面内の位置と奥行き方向の位置であるセンサ（カメラ等）１０１からの距離を含む。

　次のステップＳ１１１～Ｓ１１２の処理と、ステップＳ１１３～Ｓ１１６の処理も並列に実行する処理である。
　ステップＳ１１１～Ｓ１１２の処理は、図５に示す画像処理装置１００のＡＲコンテンツ表示制御部１１１が実行する処理である。
　ステップＳ１１３～Ｓ１１６の処理は、図５に示す画像処理装置１００の追加仮想オブジェクト表示制御部１１２が実行する処理である。

　　（ステップＳ１１１）
　まず、図５に示す画像処理装置１００のＡＲコンテンツ表示制御部１１１が実行するステップＳ１１１～Ｓ１１２の処理について説明する。

　図５に示す画像処理装置１００のＡＲコンテンツ表示制御部１１１は、ステップＳ１１１において、ＡＲコンテンツ対応仮想オブジェクトの出力態様（出力位置、距離等）を決定する。

　なお、ここでＡＲコンテンツ対応仮想オブジェクトとは、例えば、図３、図４に示す仮想オブジェクト５１に対応する。すなわち、ＡＲコンテンツに当初から出力予定仮想オブジェクトとして登録された仮想オブジェクトである。図４に示す追加仮想オブジェクト８１，８２等の追加仮想オブジェクトではない。

　先に図５を参照して説明したように、ＡＲコンテンツ表示制御部１１１は、センサ（カメラ等）１０１によって撮影される実オブジェクトによって構成される実画像に併せて、ＡＲコンテンツデータベース１２１から取得した仮想オブジェクトを表示する。
　すなわち、先に図３を参照して説明したようなＡＲコンテンツの表示処理を行なう。

　なお、ＡＲコンテンツ表示制御部１１１は、仮想オブジェクト表示処理に際して、仮想オブジェクトの表示位置と実オブジェクトの位置を比較し、仮想オブジェクトと重なる領域に実オブジェクトが存在し、その実オブジェクトが仮想オブジェクトより手前（カメラ側、またはＡＲ画像観察ユーザ側）に位置する場合は、その重なり領域の仮想オブジェクトは非表示とする仮想オブジェクト表示態様を決定する。

　　（ステップＳ１１２）
　次に、画像処理装置１００のＡＲコンテンツ表示制御部１１１は、ステップＳ１１２において、ステップＳ１１１で決定した仮想オブジェクトの表示態様に従って、仮想オブジェクトを表示部１３０に出力する。

　　（ステップＳ１１３）
　次に、図５に示す画像処理装置１００の追加仮想オブジェクト表示制御部１１２が実行するステップＳ１１３～Ｓ１１６の処理について説明する。

　図５に示す画像処理装置１００の追加仮想オブジェクト表示制御部１１２は、まず、ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に実オブジェクトが存在するか否かを判定する。
　ＡＲコンテンツ対応仮想オブジェクトの表示位置とは、ＡＲコンテンツ表示制御部１１１がステップＳ１１１において決定した位置、すなわちカメラからの距離を含む位置である。
　また、実オブジェクトの位置とは、ステップＳ１０３において、実オブジェクト検出部１０２が、センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）を解析して取得した実オブジェクトの位置情報であり、画像平面内の位置と奥行き方向の位置であるカメラからの距離を含む情報である。

　図５に示す画像処理装置１００の追加仮想オブジェクト表示制御部１１２は、これらの情報に基づいて、ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に実オブジェクトが存在するか否かを判定する。

　ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方（カメラ側、またはＡＲ画像観察ユーザ側）に実オブジェクトが存在すると判定した場合は、ステップＳ１１４に進む。
　一方、ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に実オブジェクトが存在しないと判定した場合は、ステップＳ１０１に戻り、次の処理フレームの処理に移行する。

　　（ステップＳ１１４）
　ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に実オブジェクトが存在すると判定した場合は、ステップＳ１１４に進む。
　図５に示す画像処理装置１００の追加仮想オブジェクト表示制御部１１２は、ステップＳ１１４において、追加仮想オブジェクトを出力するか否かを判定する。

　なお、この出力判定処理は、予め規定された出力判定規則に従って実行する。具体的には、例えば、以下のような規則に従って判定する。

　（規則例１）追加仮想オブジェクトの出力がなされていない場合は出力し、既に追加仮想オブジェクトを出力済みである場合には出力しない。
　（規則例２）規定時間以内（例えば１分以内）に追加仮想オブジェクトが出力されていない場合は出力し、規定時間以内（例えば１分以内）に追加仮想オブジェクトを出力済みである場合には出力しない。
　（規則例３）規定時間以内（例えば１時間以内）に、今回出力予定の追加仮想オブジェクトと同じ追加仮想オブジェクトが出力されていない場合は出力し、規定時間以内（例えば１時間以内）に今回出力予定の追加仮想オブジェクトと同じ追加仮想オブジェクトを出力済みである場合には出力しない。

　追加仮想オブジェクト表示制御部１１２は、ステップＳ１１４において、例えば上記の規則例１～３のいずれかの規則に従って、追加仮想オブジェクトを出力するか否かを判定する。

　ステップＳ１１４において、追加仮想オブジェクトを出力すると判定した場合は、ステップＳ１１５に進む。
　一方、ステップＳ１１４において、追加仮想オブジェクトを出力しないと判定し場合は、ステップＳ１０１に戻り、次の処理フレームの処理に移行する。

　　（ステップＳ１１５）
　ステップＳ１１４において、追加仮想オブジェクトを出力すると判定した場合は、ステップＳ１１５に進む。
　図５に示す画像処理装置１００の追加仮想オブジェクト表示制御部１１２は、ステップＳ１１５において、追加仮想オブジェクトデータベース１２２から追加仮想オブジェクトを選択する。

　なお、先に図５を参照して説明したように、追加仮想オブジェクト表示制御部１１２は、表示部１３０に表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトを追加仮想オブジェクトとして選択する。
　例えば図４に示すようにＡＲ画像の表示環境が「公園」や「散歩道」である場合、「公園」や「散歩道」に存在しても不自然とならない仮想オブジェクト、例えば、人、犬、猫等の種類の仮想オブジェクトを選択する。

　　（ステップＳ１１６）
　次に、追加仮想オブジェクト表示制御部１１２は、ステップＳ１１６において、ステップＳ１１５で選択した追加仮想オブジェクトを、ＡＲコンンテンツ対応仮想オブジェクトと、その前方の実オブジェクトとの境界領域の少なくとも一部を含む領域に出力する。

　なお、先に説明したように、実オブジェクトが人のように移動するオブジェクトである場合、実オブジェクトと仮想オブジェクトとの境界領域も移動してしまう。このような場合には、追加仮想オブジェクト表示制御部１１２は、この境界領域の移動に併せて追加仮想オブジェクトも移動させるように表示する。この処理を行なうことで移動する境界領域のちらつき部分を効果的に隠すことが可能となる。

　これらの処理の結果、表示部１３０には、実オブジェクトと仮想オブジェクトによって構成されるＡＲ画像が表示される。
　表示部１３０に表示される実オブジェクトは、ユーザが直接観察する実オブジェクト、またはカメラ撮影画像によって構成される実オブジェクトのいずれかである。
　また、表示部１３０に表示される仮想オブジェクトは、ＡＲコンテンンツ表示制御部１１１によって表示される通常のＡＲコンテンツ対応仮想オブジェクト、および、追加仮想オブジェクト表示制御部１１２の制御によって追加表示される仮想オブジェクトである。

　これらの表示処理によって表示される表示画像は、先に説明した図４に示すような画像となる。
　すなわち、仮想オブジェクトより手前にある実オブジェクトと仮想オブジェクトとの境界部分の少なくとも一部領域を隠すように、実オブジェクトの手前に新たな追加仮想オブジェクトが表示されたＡＲ画像が表示される。
　この追加仮想オブジェクトの表示処理により、実オブジェクトと仮想オブジェクトとの境界部分のちらつきが覆い隠されてユーザ（ＡＲ画像観察ユーザ）に認識されにくくなる。

　　［６．追加仮想オブジェクトの出力処理対象とする実オブジェクトを動きのある実オブジェクトに限定した処理を行なう実施例について］
　次に、追加仮想オブジェクトの出力処理対象とする実オブジェクトを動きのある実オブジェクトに限定した処理を行なう実施例について説明する。

　仮想オブジェクトより前にある実オブジェクトが動かない物体である場合には、実オブジェクトと仮想オブジェクトとの境界は固定されるため、比較的ちらつきの発生が少ない。
　しかし、仮想オブジェクトより前にある実オブジェクトが歩行者のように動く物体である場合、実オブジェクトと仮想オブジェクトとの境界も移動するため、境界部分のちらつきが多く発生する。

　以下の実施例は、動きのある実オブジェクトを検出して、追加仮想オブジェクトの出力対象を動きのある実オブジェクトに限定した処理を行なう実施例である。
　本実施例の画像処理装置２００の構成を図７に示す。

　図７は、本実施例の画像処理装置２００の構成例について説明する図である。
　画像処理装置２００は、例えば先に図１、図２を参照して説明した各装置である。すなわち、画像処理装置１００ｂは、図１に示す光透過型ＡＲ画像表示デバイス（ＨＭＤ）１０や、図２に示すカメラ撮影画像表示型ＡＲ画像表示デバイス（ＨＭＤ）３１、スマホアフ、タブレット他端末３３、ＰＣ３４等によって構成される。

　図７に示すように、画像処理装置２００は、センサ（カメラ等）１０１、実オブジェクト検出部１０２、自己位置推定部１０３、ＡＲ画像表示制御部１１０、ＡＲコンテンツデータベース１２１、追加仮想オブジェクトデータベース１２２、表示部１３０を有し、さらに動きあり実オブジェクト選択部２０１を有する。
　なお、ＡＲ画像表示制御部１１０は、ＡＲコンテンツ表示制御部１１１、追加仮想オブジェクト表示制御部１１２を有する。

　この図７に示す画像処理装置２００の構成と、先に図５を参照して説明した画像処理装置１００の構成との差異は、図５に示す画像処理装置１００に、動きあり実オブジェクト選択部２０１を追加した点である。
　これ以外の構成は図５に示す画像処理装置１００の構成と同様の構成である。

　動きあり実オブジェクト選択部２０１は、実オブジェクト検出部１０２が検出した実オブジェクトから動きのある実オブジェクトのみを選択する処理を実行する。
　具体的な処理としては、例えば複数の連続撮影画像フレームを比較して、動きのある実オブジェクトのみを選択する。具体的には、人や自動車、犬、猫などの動く実オブジェクトを選択する。

　さらに選択した動きあり実オブジェクトの種類（人、自動車、犬、猫など）と、動きあり実オブジェクト各々の位置を実オブジェクト検出部１０２から入力してＡＲ画像表示制御部１１０の仮想オブジェクト追加表示制御部１１２に出力する。
　なお、動きあり実オブジェクトの位置は、画像平面内の位置と奥行き方向の位置であるカメラからの距離を含む。

　ＡＲ画像表示制御部１１０の仮想オブジェクト追加表示制御部１１２は、動きあり実オブジェクト選択部２０１の選択した動きのある実オブジェクトのみを処理対象とした追加仮想オブジェクトの表示制御を行う。

　コンテンツ対応仮想オブジェクトより前にある動く実オブジェクトと、コンテンツ対応仮想オブジェクトとの境界部分にあるちらつき発生領域の少なくとも一部領域を隠すように、動く実オブジェクトの手前に新たな追加仮想オブジェクトを表示する制御を行う。

　追加仮想オブジェクト表示制御部１１２は、追加仮想オブジェクトデータベース１２２から、追加表示する仮想オブジェクトを選択して表示する。
　表示する追加仮想オブジェクトの種類は、例えばＡＲ画像コンテンツの表示制御を行うＡＲ画像表示アプリケーションによって選択される。
　具体的には、例えばＡＲ画像中に表示されている動く実オブジェクトと同じ種類の仮想オブジェクトを選択して表示する。

　なお、前述したように、追加表示する追加仮想オブジェクトの種類は、表示されている実オブジェクトと同一の種類に限らず、その他、表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトであればよい。

　このように、本実施例の画像処理装置２００は、コンテンツ対応仮想オブジェクトの前方にある動く実オブジェクトの境界領域のみを処理対象として選択して、追加仮想オブジェクトを出力する。
　本実施例の画像処理装置２００は、ちらつきの発生レベルが低い静止実オブジェクトの境界領域には、追加仮想オブジェクトを出力しないため、たくさんの追加仮想オブジェクトが表示されてしまうといった事態を防止することが可能となる。

　　［７．追加仮想オブジェクトの出力処理対象とする実オブジェクトを動きのある実オブジェクトに限定した処理を行なう画像処理装置の実行する処理シーケンスについて］
　次に、図７を参照して説明した画像処理装置２００、すなわち、追加仮想オブジェクトの出力処理対象とする実オブジェクトを動きのある実オブジェクトに限定した処理を行なう画像処理装置２００の実行する処理シーケンスについて説明する。

　図８は、図７を参照して説明した画像処理装置２００の実行する処理シーケンスについて説明するフローチャートを示す図である。
　なお、図８に示すフローチャートに従った処理は、プログラム実行機能を持つＣＰＵの制御により記憶部に格納されたプログラム、例えばＡＲ画像表示アプリケーションに従って実行される。

　なお、図８のフローに示す処理は、センサ１０１を構成するカメラの撮影する画像フレーム単位、または複数画像フレーム単位の処理として、繰り返し実行する処理である。すなわち表示部１３０に対するＡＲ画像の表示処理を継続中、図８のフローに従った処理を繰り返し実行する。

　図８に示すフローのステップＳ１０１～Ｓ１０４の処理と、ステップＳ１１１～Ｓ１１２の処理は、先に図６を参照して説明したフローのステップＳ１０１～Ｓ１０４の処理と、ステップＳ１１１～Ｓ１１２の処理と同様の処理である。
　以下では、これらの処理については簡単に説明し、本実施例固有の処理となるステップＳ１０５、ステップＳ１１３ｂ～Ｓ１１６ｂの処理について詳細に説明する。

　　（ステップＳ１０１）
　まず、画像処理装置１００は、ステップＳ１０１において、カメラ撮影画像、距離画像を入力する。
　この処理は、図７に示す画像処理装置２００のセンサ（カメラ等）１０１からの取得情報入力処理である。
　センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）は、実オブジェクト検出部１０２、自己位置推定部１０３に入力される。

　　（ステップＳ１０２）
　次に、画像処理装置１００は、ステップＳ１０２において、自装置（ＡＲデバイス）位置を算出する。
　この処理は、図７に示す画像処理装置２００の自己位置推定部１０３の実行する処理である。例えば、カメラ撮影画像を利用したＳＲＡＭ処理等の既存技術を適用して自己位置を推定する。

　　（ステップＳ１０３～Ｓ１０４）
　ステップＳ１０３～Ｓ１０４の処理は、ステップＳ１０２の処理と並列に実行される。画像処理装置２００は、ステップＳ１０３～Ｓ１０４において実オブジェクトの検出処理と距離算出処理を実行する。

　この処理は、図７に示す画像処理装置２００の実オブジェクト検出部１０２が実行する処理である。
　実オブジェクト検出部１０２は、センサ（カメラ等）１０１の取得情報（カメラ撮影画像、距離画像等）を解析して、センサ（カメラ）の撮影画像内の実オブジェクトの種類（人、植物等）と、実オブジェクト各々の位置を解析する。なお、解析する実オブジェクトの位置は、画像平面内の位置と奥行き方向の位置であるセンサ（カメラ等）１０１からの距離を含む。

　次のステップＳ１１１～Ｓ１１２の処理と、ステップＳ１０５～Ｓ１１６ｂの処理も並列に実行される。
　ステップＳ１１１～Ｓ１１２の処理は、図７に示す画像処理装置２００のＡＲコンテンツ表示制御部１１１が実行する処理である。
　ステップＳ１０５～Ｓ１１６ｂの処理は、図７に示す画像処理装置２００の動きあり実オブジェクト選択部２０１と、追加仮想オブジェクト表示制御部１１２が実行する処理である。

　　（ステップＳ１１１）
　まず、図７に示す画像処理装置２００のＡＲコンテンツ表示制御部１１１が実行するステップＳ１１１～Ｓ１１２の処理について説明する。

　図７に示す画像処理装置１００のＡＲコンテンツ表示制御部１１１は、ステップＳ１１１において、ＡＲコンテンツ対応仮想オブジェクトの出力態様（出力位置、距離等）を決定する。ＡＲコンテンツ対応仮想オブジェクトとは、例えば、図３、図４に示す仮想オブジェクト５１に対応する。すなわち、ＡＲコンテンツに当初から出力予定仮想オブジェクトとして登録された仮想オブジェクトである。追加仮想オブジェクトではない。

　ＡＲコンテンツ表示制御部１１１は、センサ（カメラ等）１０１によって撮影される実オブジェクトによって構成される実画像に併せて、ＡＲコンテンツデータベース１２１から取得した仮想オブジェクトを表示する。
　すなわち、先に図３を参照して説明したようなＡＲコンテンツの表示処理を行なう。

　なお、ＡＲコンテンツ表示制御部１１１は、仮想オブジェクト表示処理に際して、仮想オブジェクトの表示位置と実オブジェクトの位置を比較し、仮想オブジェクトと重なる領域に実オブジェクトが存在し、その実オブジェクトが仮想オブジェクトより手前（カメラ側、またはＡＲ画像観察ユーザ側）に位置する場合は、その重なり領域の仮想オブジェクトは非表示とする仮想オブジェクト表示態様を決定する。

　　（ステップＳ１１２）
　次に、画像処理装置２００のＡＲコンテンツ表示制御部１１１は、ステップＳ１１２において、ステップＳ１１１で決定した仮想オブジェクトの表示態様に従って、仮想オブジェクトを表示部１３０に出力する。

　　（ステップＳ１０５）
　次に、図７に示す画像処理装置２００の動きあり実オブジェクト選択部２０１と、追加仮想オブジェクト表示制御部１１２が実行するステップＳ１０５～Ｓ１１６ｂの処理について説明する。

　図７に示す画像処理装置２００の動きあり実オブジェクト選択部２０１は、ステップＳ１０５において以下の処理を実行する。

　実オブジェクト選択部２０１は、ステップＳ１０５において、ステップＳ１０３～Ｓ１０４で実オブジェクト検出部１０２が検出した実オブジェクトから動きのある実オブジェクトのみを選択する処理を実行する。
　具体的な処理としては、前述したように、例えば複数の連続撮影画像フレームを比較して、動きのある実オブジェクトのみを選択する。具体的には、人や自動車、犬、猫などの動く実オブジェクトを選択する。

　実オブジェクト選択部２０１は、選択した動きあり実オブジェクトの種類（人、自動車、犬、猫など）と、動きあり実オブジェクト各々の位置を実オブジェクト検出部１０２から入力してＡＲ画像表示制御部１１０の仮想オブジェクト追加表示制御部１１２に出力する。

　　（ステップＳ１１３ｂ）
　次に、図７に示す画像処理装置２００の追加仮想オブジェクト表示制御部１１２が実行するステップＳ１１３ｂ～Ｓ１１６ｂの処理について説明する。

　図７に示す画像処理装置２００の追加仮想オブジェクト表示制御部１１２は、まず、ステップＳ１１３ｂにおいて、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に動きあり実オブジェクトが存在するか否かを判定する。
　ＡＲコンテンツ対応仮想オブジェクトの表示位置とは、ＡＲコンテンツ表示制御部１１１がステップＳ１１１において決定した位置、すなわちカメラからの距離を含む位置である。
　また、動きあり実オブジェクトの位置とは、ステップＳ１０３～Ｓ１０５において、実オブジェクト検出部１０２と動きあり実オブジェクト選択部２０１が、センサ（カメラ等）１０１の取得情報（画像、距離データ等）を解析して取得した動きあり実オブジェクトの位置情報であり、画像平面内の位置と奥行き方向の位置であるカメラからの距離を含む情報である。

　図７に示す画像処理装置２００の追加仮想オブジェクト表示制御部１１２は、これらの情報に基づいて、ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に人等の動きあり実オブジェクトが存在するか否かを判定する。

　ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に動きあり実オブジェクトが存在すると判定した場合は、ステップＳ１１４に進む。
　一方、ステップＳ１１３において、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に動きあり実オブジェクトが存在しないと判定した場合は、ステップＳ１０１に戻り、次の処理フレームの処理に移行する。

　　（ステップＳ１１４）
　ステップＳ１１３ｂにおいて、ＡＲコンテンツ対応仮想オブジェクト表示位置の前方に動きあり実オブジェクトが存在すると判定した場合は、ステップＳ１１４に進む。
　図７に示す画像処理装置２００の追加仮想オブジェクト表示制御部１１２は、ステップＳ１１４において、追加仮想オブジェクトを出力するか否かを判定する。

　なお、この出力判定処理は、予め規定された出力判定規則に従って実行する。具体的には、先に図６のフローのステップＳ１１４において説明した規則に従って判定する。
　ステップＳ１１４において、追加仮想オブジェクトを出力すると判定した場合は、ステップＳ１１５に進む。
　一方、ステップＳ１１４において、追加仮想オブジェクトを出力しないと判定し場合は、ステップＳ１０１に戻り、次の処理フレームの処理に移行する。

　　（ステップＳ１１５）
　ステップＳ１１４において、追加仮想オブジェクトを出力すると判定した場合は、ステップＳ１１５に進む。
　図７に示す画像処理装置２００の追加仮想オブジェクト表示制御部１１２は、ステップＳ１１５において、追加仮想オブジェクトデータベース１２２から追加仮想オブジェクトを選択する。

　なお、追加仮想オブジェクト表示制御部１１２は、表示部１３０に表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトを追加仮想オブジェクトとして選択する。
　例えば図４に示すようにＡＲ画像の表示環境が「公園」や「散歩道」である場合、「公園」や「散歩道」に存在しても不自然とならない仮想オブジェクト、例えば、人、犬、猫等の種類の仮想オブジェクトを選択する。

　　（ステップＳ１１６ｂ）
　次に、追加仮想オブジェクト表示制御部１１２は、ステップＳ１１６ｂにおいて、ステップＳ１１５で選択した追加仮想オブジェクトを、ＡＲコンンテンツ対応仮想オブジェクトと、その前方の動きあり実オブジェクトとの境界領域の少なくとも一部を含む領域に出力する。

　なお、動きあり実オブジェクトは移動するオブジェクトであるので、動きあり実オブジェクトと仮想オブジェクトとの境界領域も移動する。追加仮想オブジェクト表示制御部１１２は、この境界領域の移動に併せて追加仮想オブジェクトも移動させるように表示する。この処理を行なうことで移動する境界領域のちらつき部分を効果的に隠すことが可能となる。

　これらの処理の結果、表示部１３０には、実オブジェクトと仮想オブジェクトによって構成されるＡＲ画像が表示される。
　表示部１３０に表示される実オブジェクトは、ユーザが直接観察する実オブジェクト、またはカメラ撮影画像によって構成される実オブジェクトのいずれかである。
　また、表示部１３０に表示される仮想オブジェクトは、ＡＲコンテンンツ表示制御部１１１によって表示される通常のＡＲコンテンツ対応仮想オブジェクト、および、追加仮想オブジェクト表示制御部１１２の制御によって追加表示される仮想オブジェクトである。

　これらの表示処理によって表示される表示画像は、先に説明した図４に示すような画像となる。
　すなわち、仮想オブジェクトより手前にある人のような動きあり実オブジェクトと仮想オブジェクトとの境界部分の少なくとも一部領域を隠すように、動きあり実オブジェクトの手前に新たな追加仮想オブジェクトが表示されたＡＲ画像が表示される。
　この追加仮想オブジェクトの表示処理により、動きあり実オブジェクトと仮想オブジェクトとの境界部分のちらつきが覆い隠されてユーザ（ＡＲ画像観察者）に認識されにくくなる。

　　［８．本開示の画像処理装置のその他の構成および処理について］
　次に上述した本開示の画像処理装置のその他の構成および処理について説明する。

　上述した実施例において、追加仮想オブジェクト表示制御部１１２の制御によって追加表示する追加仮想オブジェクトの種類は、実オブジェクトに一致するオブジェクトや、表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトとすると説明した。

　表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトの具体例について説明する。
　以下、（ａ）表示中のＡＲ画像の環境の例と、この環境に対応する（ｂ）追加仮想オブジェクトの複数の組み合わせ例について、説明する。

　（１ａ）表示中のＡＲ画像の環境＝屋外
　（１ｂ）追加仮想オブジェクトの例＝自動車、鳥、ドローン、落葉、風船、花火、炎、パラシュート、シャボン玉、タンポポ、雨、雪、霧等、

　（２ａ）表示中のＡＲ画像の環境＝テーマパーク
　（２ｂ）追加仮想オブジェクトの例＝着ぐるみ、キャラクタ、ゴースト、岩、マンホールから落ちる水、落ちる文字等、

　（３ａ）表示中のＡＲ画像の環境＝牧場
　（３ｂ）追加仮想オブジェクトの例＝牛、馬、羊、やぎ、犬等、

　（４ａ）表示中のＡＲ画像の環境＝水族館
　（４ｂ）追加仮想オブジェクトの例＝魚、さめ、イルカ、くじら、ペンギン等、

　（５ａ）表示中のＡＲ画像の環境＝屋内
　（５ｂ）追加仮想オブジェクトの例＝机、いす、ドア、自動販売機等、

　（６ａ）表示中のＡＲ画像の環境＝人のいる環境
　（６ｂ）追加仮想オブジェクトの例＝人に装着する兜、防止、ヘルメット、衣服等、

　（７ａ）表示中のＡＲ画像の環境＝すべて
　（７ｂ）追加仮想オブジェクトの例＝カメラのフラッシュ、落雷、停電を示す暗闇等、
　例えば、上記のような、（ａ）表示中のＡＲ画像の環境の例と、この環境に対応する（ｂ）追加仮想オブジェクトの組み合わせが表示中のＡＲ画像の環境に応じた不自然でない種類のオブジェクトの例である。

　また、上述した実施例では、追加仮想オブジェクト表示制御部１１２は、追加仮想オブジェクトデータベース１２２に格納された仮想オブジェクトを選択取得して表示部１３０に出力する処理を行なうとして説明した。

　このような予め準備された仮想オブジェクトを取得して表示する処理以外に、例えば以下のような処理を行なう構成としてもよい。
　追加仮想オブジェクト表示制御部１１２は、表示中のＡＲ画像から検出された実オブジェクトの画像を取得（キャプチャ）し、この取得画像に基づいて、仮想オブジェクト画像を生成して、生成した仮想オブジェクトを追加仮想オブジェクトとして表示部１３０に出力する構成としてもよい。

　すなわち、追加仮想オブジェクト表示制御部１１２が、実オブジェクトに基づく仮想オブジェクトを生成し、生成した仮想オブジェクトを、追加仮想オブジェクトとして表示部に出力する構成としてもよい。
　あるいは、追加仮想オブジェクト表示制御部１１２が、実オブジェクトに基づく仮想オブジェクトから構成されるアニメーション画像を生成し、生成したアニメーション画像を追加仮想オブジェクトとして表示部に出力する構成としてもよい。
　これらの処理を行う場合には、図５、図７に示す追加仮想オブジェクトデータベース１２２は不要となる。

　　［９．画像処理装置のハードウェア構成例について］
　次に、上述した実施例に従った処理を実行する画像処理装置のハードウェア構成例について、図９を参照して説明する。
　図９に示すハードウェアは、図５や図７を参照して説明した本開示の画像処理装置のハードウェア構成の一例である。
　図９に示すハードウェア構成について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。

　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［１０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出部と、
　仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力するＡＲ画像表示制御部を有し、
　前記ＡＲ画像表示制御部は、
　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力する画像処理装置。

　（２）　前記ＡＲ画像表示制御部は、
　前記表示部に表示中のＡＲ画像の表示環境に対応する種類の追加仮想オブジェクトを、前記表示部に出力する（１）に記載の画像処理装置。

　（３）　前記ＡＲ画像表示制御部は、
　前記仮想オブジェクトの手前位置にある前記実オブジェクトの種類に対応する種類の追加仮想オブジェクトを、前記表示部に出力する（１）または（２）に記載の画像処理装置。

　（４）　前記ＡＲ画像表示制御部は、
　前記仮想オブジェクトの手前位置にある前記実オブジェクトと同一種類の追加仮想オブジェクトを、前記表示部に出力する（３）に記載の画像処理装置。

　（５）　前記ＡＲ画像表示制御部は、
　ＡＲ画像表示アプリケーションが選択する種類の追加仮想オブジェクトを、前記表示部に出力する（１）～（４）いずれかに記載の画像処理装置。

　（６）　前記ＡＲ画像表示制御部は、
　前記仮想オブジェクトの手前位置にある前記実オブジェクトが動きあり実オブジェクトである場合に、前記追加仮想オブジェクトを、前記表示部に出力する（１）～（５）いずれかに記載の画像処理装置。

　（７）　前記ＡＲ画像表示制御部は、
　前記仮想オブジェクトの手前位置にある前記実オブジェクトが動きあり実オブジェクトである場合、前記追加仮想オブジェクトを、前記仮想オブジェクトと前記実オブジェクトの境界領域の移動に併せて移動させて表示する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記画像処理装置は、さらに、
　自装置の位置を推定する自己位置推定部を有し、
　前記ＡＲ画像表示制御部は、
　前記実オブジェクト検出部が検出した実オブジェクトの位置と、
　前記自己位置推定部が推定した自己位置を解析して、
　前記追加仮想オブジェクトの出力位置を決定する（１）～（７）いずれかに記載の画像処理装置。

　（９）　前記画像処理装置は、さらに、
　様々な種類の追加仮想オブジェクトを格納した追加仮想オブジェクトデータベースを有し、
　前記ＡＲ画像表示制御部は、
　前記追加仮想オブジェクトデータベースから取得した追加仮想オブジェクトを前記表示部に出力する（１）～（８）いずれかに記載の画像処理装置。

　（１０）　前記表示部は、透過型表示部であり、
　前記透過型表示部は、
　前記透過型表示部を介して、ユーザが直接観察可能な実オブジェクトと、
　前記ＡＲ画像表示制御部の制御によって出力される仮想オブジェクトを併せて観察可能な表示部である（１）～（９）いずれかに記載の画像処理装置。

　（１１）　前記表示部は、非透過型表示部であり、
　前記非透過型表示部は、
　カメラ撮影画像によって構成される実オブジェクトと、
　前記ＡＲ画像表示制御部の制御によって出力される仮想オブジェクトを併せて表示する表示部である（１）～（９）いずれかに記載の画像処理装置。

　（１２）　前記ＡＲ画像表示制御部は、
　ＡＲコンテンツとして当初から出力予定のＡＲコンテンツ対応仮想オブジェクトを、前記表示部に出力するＡＲコンテンツ表示制御部と、
　前記ＡＲコンテンツとして当初から出力予定のＡＲコンテンツ対応仮想オブジェクトではない前記追加仮想オブジェクトを、前記表示部に出力する追加仮想オブジェクト表示制御部と、
　を有する（１）～（１１）いずれかに記載の画像処理装置。

　（１３）　前記ＡＲ画像表示制御部は、
　前記実オブジェクトに基づく仮想オブジェクトを生成し、
　生成した仮想オブジェクトを、前記追加仮想オブジェクトとして前記表示部に出力する（１）～（１２）いずれかに記載の画像処理装置。

　（１４）　前記ＡＲ画像表示制御部は、
　前記実オブジェクトに基づく仮想オブジェクトから構成されるアニメーション画像を生成し、生成したアニメーション画像を追加仮想オブジェクトとして前記表示部に出力する（１）～（１３）いずれかに記載の画像処理装置。

　（１５）　画像処理装置において実行する画像処理方法であり、
　実オブジェクト検出部が、実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出ステップと、
　ＡＲ画像表示制御部が、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力するＡＲ画像表示制御ステップを有し、
　前記ＡＲ画像表示制御ステップは、
　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力するステップを含む画像処理方法。

　（１６）　画像処理装置において画像処理を実行させるプログラムであり、
　実オブジェクト検出部に、実世界上の実オブジェクトの検出処理を実行させる実オブジェクト検出ステップと、
　ＡＲ画像表示制御部に、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力させるＡＲ画像表示制御ステップを実行させ、さらに、
　前記ＡＲ画像表示制御ステップにおいて、
　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力する処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、仮想オブジェクトと実オブジェクトの境界領域のちらつきを目立たせないＡＲ画像表示制御を行う装置、方法が実現される。
　具体的には、例えば、実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出部と、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ画像を生成して表示部に出力するＡＲ画像表示制御部を有し、ＡＲ画像表示制御部は、実オブジェクト検出部が検出した実オブジェクトの位置が、表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、仮想オブジェクトと実オブジェクトの境界領域の少なくとも一部領域を隠すように、実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを表示部に出力する。
　本構成により、仮想オブジェクトと実オブジェクトの境界領域のちらつきを目立たせないＡＲ画像表示制御を行う装置、方法が実現される。

　　１０　光透過型ＡＲ画像表示デバイス
　　２１　透過観察画像
　　２２　仮想オブジェクト画像
　　３１　カメラ撮影画像表示型ＡＲ画像表示デバイス
　　３２　スマホ
　　３３　タブレット端末
　　３４　ＰＣ
　　５１　仮想オブジェクト
　　６１，６２　実オブジェクト
　　７１　境界部ちらつき
　　８１，８２　追加仮想オブジェクト
　１００　画像処理装置
　１０１　センサ（カメラ等）
　１０２実オブジェクト検出部
　１０３自己位置推定部
　１１０　ＡＲ画像表示制御部
　１１１　ＡＲコンテンツ表示制御部
　１１２　追加仮想オブジェクト表示制御部
　１２１　ＡＲコンテンツデータベース
　１２２　追加仮想オブジェクトデータベース
　１３０　表示部
　２０１　動きあり実オブジェクト選択部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (16)

1. 　実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出部と、
   　仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力するＡＲ画像表示制御部を有し、
   　前記ＡＲ画像表示制御部は、
   　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力する画像処理装置。
2. 　前記ＡＲ画像表示制御部は、
   　前記表示部に表示中のＡＲ画像の表示環境に対応する種類の追加仮想オブジェクトを、前記表示部に出力する請求項１に記載の画像処理装置。
3. 　前記ＡＲ画像表示制御部は、
   　前記仮想オブジェクトの手前位置にある前記実オブジェクトの種類に対応する種類の追加仮想オブジェクトを、前記表示部に出力する請求項１に記載の画像処理装置。
4. 　前記ＡＲ画像表示制御部は、
   　前記仮想オブジェクトの手前位置にある前記実オブジェクトと同一種類の追加仮想オブジェクトを、前記表示部に出力する請求項３に記載の画像処理装置。
5. 　前記ＡＲ画像表示制御部は、
   　ＡＲ画像表示アプリケーションが選択する種類の追加仮想オブジェクトを、前記表示部に出力する請求項１に記載の画像処理装置。
6. 　前記ＡＲ画像表示制御部は、
   　前記仮想オブジェクトの手前位置にある前記実オブジェクトが動きあり実オブジェクトである場合に、前記追加仮想オブジェクトを、前記表示部に出力する請求項１に記載の画像処理装置。
7. 　前記ＡＲ画像表示制御部は、
   　前記仮想オブジェクトの手前位置にある前記実オブジェクトが動きあり実オブジェクトである場合、前記追加仮想オブジェクトを、前記仮想オブジェクトと前記実オブジェクトの境界領域の移動に併せて移動させて表示する請求項１に記載の画像処理装置。
8. 　前記画像処理装置は、さらに、
   　自装置の位置を推定する自己位置推定部を有し、
   　前記ＡＲ画像表示制御部は、
   　前記実オブジェクト検出部が検出した実オブジェクトの位置と、
   　前記自己位置推定部が推定した自己位置を解析して、
   　前記追加仮想オブジェクトの出力位置を決定する請求項１に記載の画像処理装置。
9. 　前記画像処理装置は、さらに、
   　様々な種類の追加仮想オブジェクトを格納した追加仮想オブジェクトデータベースを有し、
   　前記ＡＲ画像表示制御部は、
   　前記追加仮想オブジェクトデータベースから取得した追加仮想オブジェクトを前記表示部に出力する請求項１に記載の画像処理装置。
10. 　前記表示部は、透過型表示部であり、
    　前記透過型表示部は、
    　前記透過型表示部を介して、ユーザが直接観察可能な実オブジェクトと、
    　前記ＡＲ画像表示制御部の制御によって出力される仮想オブジェクトを併せて観察可能な表示部である請求項１に記載の画像処理装置。
11. 　前記表示部は、非透過型表示部であり、
    　前記非透過型表示部は、
    　カメラ撮影画像によって構成される実オブジェクトと、
    　前記ＡＲ画像表示制御部の制御によって出力される仮想オブジェクトを併せて表示する表示部である請求項１に記載の画像処理装置。
12. 　前記ＡＲ画像表示制御部は、
    　ＡＲコンテンツとして当初から出力予定のＡＲコンテンツ対応仮想オブジェクトを、前記表示部に出力するＡＲコンテンツ表示制御部と、
    　前記ＡＲコンテンツとして当初から出力予定のＡＲコンテンツ対応仮想オブジェクトではない前記追加仮想オブジェクトを、前記表示部に出力する追加仮想オブジェクト表示制御部と、
    　を有する請求項１に記載の画像処理装置。
13. 　前記ＡＲ画像表示制御部は、
    　前記実オブジェクトに基づく仮想オブジェクトを生成し、
    　生成した仮想オブジェクトを、前記追加仮想オブジェクトとして前記表示部に出力する請求項１に記載の画像処理装置。
14. 　前記ＡＲ画像表示制御部は、
    　前記実オブジェクトに基づく仮想オブジェクトから構成されるアニメーション画像を生成し、生成したアニメーション画像を追加仮想オブジェクトとして前記表示部に出力する請求項１に記載の画像処理装置。
15. 　画像処理装置において実行する画像処理方法であり、
    　実オブジェクト検出部が、実世界上の実オブジェクトの検出処理を実行する実オブジェクト検出ステップと、
    　ＡＲ画像表示制御部が、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力するＡＲ画像表示制御ステップを有し、
    　前記ＡＲ画像表示制御ステップは、
    　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力するステップを含む画像処理方法。
16. 　画像処理装置において画像処理を実行させるプログラムであり、
    　実オブジェクト検出部に、実世界上の実オブジェクトの検出処理を実行させる実オブジェクト検出ステップと、
    　ＡＲ画像表示制御部に、仮想オブジェクトが実オブジェクトと同じ空間に存在するように視認されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示部に出力させるＡＲ画像表示制御ステップを実行させ、さらに、
    　前記ＡＲ画像表示制御ステップにおいて、
    　前記実オブジェクト検出部が検出した実オブジェクトの位置が、前記表示部に表示する仮想オブジェクトが配置される位置よりも奥行方向において手前にある場合、前記仮想オブジェクトと前記実オブジェクトの境界領域の少なくとも一部領域を隠すように、前記実オブジェクトの位置よりも奥行方向において手前に追加仮想オブジェクトを前記表示部に出力する処理を実行させるプログラム。

Images