JP6833925B2

JP6833925B2 - 画像処理プログラム、画像処理装置及び画像処理方法

Info

Publication number: JP6833925B2
Application number: JP2019138813A
Authority: JP
Inventors: 雅人林
Original assignee: Square Enix Co Ltd
Current assignee: Square Enix Co Ltd
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2021-02-24
Anticipated expiration: 2039-07-29
Also published as: CN112312110A; US11087526B2; US20210035351A1; JP2021022207A

Description

本発明の実施形態の少なくとも１つは、処理負荷を軽減しつつ３次元仮想オブジェクトの複雑な構成を２次元表示画像に変換して表示可能な画像処理プログラム、画像処理装置及び画像処理方法に関する。

近年、３次元仮想オブジェクトを利用して２次元表示画像を生成して利用することが増えている。例えば、３次元仮想オブジェクトを仮想空間に配置した状況を特定視点からの仮想カメラによって撮影した画像を２次元表示画像として取得して漫画やアニメーションにおいて利用するといった実施形態が既に存在する。また、３次元仮想オブジェクトを利用して生成した２次元表示画像を拡張現実技術（ＡＲ技術）を利用して現実空間を撮影した撮影画像に重畳表示させることも行われつつある。

３次元仮想オブジェクトを仮想空間に配置した状況を特定視点からの仮想カメラによって撮影した画像を２次元表示画像として取得して漫画の制作に利用するものとして、例えば、特許文献１が挙げられる。この特許文献１は、コマを含む漫画の作成を支援する漫画作成支援装置であり、３次元仮想オブジェクトとしてのキャラクタを仮想空間に配置した状況を特定視点からの仮想カメラによって撮影した画像を２次元静止画像として漫画のコマに採用する際に、撮影された画像内にオブジェクトの頭部が含まれるか否かを判定して、オブジェクトの頭部が含まれる画像のみをコマ画像の候補として提示する機能を備えている。

特開２０１１−１９８１３８号公報

上記の特許文献１には、仮想空間上に配置した３次元仮想オブジェクトとしてのキャラクタを複数の視点方向から撮影してそれぞれを静止画像として漫画のコマに採用することは開示されているが、仮想空間を常にレンダリングして得られる画像をコマに採用する構成は開示されていない。複数の視点方向についてそれぞれ常にレンダリング処理を行って各コマに表示させる構成とすることもできるが、このように仮想空間を複数の視点方向から常にレンダリングして表示させる処理は、非常に処理負荷が重いという問題があった。

処理負荷を軽減するためには同時にレンダリングする視点方向を減らす、例えば、１つの視点方向とすれば、処理負荷を軽減できるが、単純に視点方向を減らしてしまうと、表示させたい画像が単調となり面白みに欠けるという問題が生じてしまう。

本発明の少なくとも１つの実施形態の目的は、上記問題を解決し、処理負荷を軽減しつつ３次元仮想オブジェクトの複雑な構成を２次元表示画像に変換して表示可能な画像処理プログラム、画像処理装置及び画像処理方法を提供することである。

非限定的な観点によると、本発明の一実施形態に係る画像処理プログラムは、撮影手段と表示手段を備えた端末装置に対して、前記撮影手段によって現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させる機能を実現させるための画像処理プログラムであって、前記端末装置に、前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得機能と、所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示機能と、予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得機能と、前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング機能とを実現させることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る画像処理装置は、撮影手段と表示手段を備え、前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得部と、所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示部と、予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得部と、前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング部とを備える画像処理装置ことを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る画像処理方法は、撮影手段と表示手段を備えた端末装置に対して、前記撮影手段によって現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させるための画像処理方法であって、前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得処理と、所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示処理と、予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得処理と、前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング処理とを含むことを特徴とする。

本願の各実施形態により１または２以上の不足が解決される。

本発明の実施形態の少なくとも一つに対応する画像処理装置のために必要なシステム構成の例を示すブロック図である。本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。本発明の実施形態の少なくとも一つに対応する画像処理の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応する端末装置が画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応するサーバ装置が画像処理を実行する場合のサーバ装置側の動作の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。本発明の実施形態の少なくとも一つに対応する端末装置が画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。本発明の実施形態の少なくとも一つに対応する端末装置が画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。本発明の実施形態の少なくとも一つに対応する端末装置が画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。本発明の実施形態の少なくとも一つに対応する端末装置が画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応する仮想空間に対して表示フレーム及び３次元仮想オブジェクトを配置した状態を表した説明図である。本発明の実施形態の少なくとも一つに対応する表示領域に設定されるフィルタの機能を説明するための説明図である。本発明の実施形態の少なくとも一つに対応する表示領域に設定される一時消去設定の機能を説明するための説明図である。本発明の実施形態の少なくとも一つに対応する撮影視点が変化する様子を説明するための説明図である。本発明の実施形態の少なくとも一つに対応する端末装置に表示させる表示画面の一例を表した説明図である。

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

［第１の実施形態］
図１は、本発明の実施形態の少なくとも一つに対応する画像処理装置のために必要なシステム構成の例を示すブロック図である。図１に示すように、本例のシステム全体の構成は、サーバ装置１０と、ユーザが使用する端末装置２０，２０１〜２０ｎ（ｎは２以上の自然数）とを含む。この図１においてはサーバ装置１０と端末装置２０とが両方図示されているが、本例においては、端末装置２０が単独で画像処理装置として機能する場合と、サーバ装置１０と端末装置２０とが各種機能を分担して処理を行った結果、全体として画像処理装置として機能する場合（この場合は、複数構成を含む画像処理システムであるともいえる）との両方を想定している。なお、サーバ装置１０と端末装置２０との両方で画像処理装置として機能する場合であっても、ユーザが使用する対象は端末装置２０であるので、以下において、端末装置２０が画像処理装置の主体となって処理が実行される場合の例として、符号「２０」を用いて画像処理装置２０と表現することがあるものとする。なお、システム構成はこれに限定されず、単一の端末装置を複数のユーザが使用する構成としてもよいし、複数のサーバ装置を備える構成としてもよい。

サーバ装置１０と複数の端末装置２０，２０１〜２０ｎは、それぞれインターネットなどの通信ネットワーク３０に接続されている。なお、図示しないが、複数の端末装置２０，２０１〜２０ｎは、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク３０と接続する。そして、当該システムは、サーバ装置１０と複数の端末装置２０，２０１〜２０ｎとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。

サーバ装置１０は、システムの管理者によって管理され、複数の端末装置２０，２０１〜２０ｎに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ装置１０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。なお、サーバ装置１０は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えるが、ここでの説明は省略する。また、複数の端末装置２０，２０１〜２０ｎそれぞれにかかる処理負荷を軽減させるといった観点から、各種情報はサーバ装置１０が管理することが好ましい。ただし、各種情報を記憶する記憶部は、サーバ装置１０がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ装置１０の外部に有する構成とされていてもよい。

複数の端末装置２０，２０１〜２０ｎは、それぞれ、ユーザによって管理され、例えば携帯電話端末やＰＤＡ（Personal Digital Assistants）、携帯型ゲーム装置などの通信端末によって構成される。また、本例において端末装置２０，２０１〜２０ｎは、撮影手段と表示手段とを備えているものとする。撮影手段は、例えばカメラ装置などが該当するが、ユーザ周辺の状況を動画又は静止画として撮影し得る構成であればどのようなものであってもよい。表示手段は、例えばディスプレイ装置などが該当するが、撮影手段によって撮影した動画又は静止画を表示し得る構成であればどのようなものであってもよい。

また、複数の端末装置２０，２０１〜２０ｎは、それぞれ、通信ネットワーク３０に接続し、サーバ装置１０との通信を行うことにより各種処理を実行するためのハードウェアおよびソフトウェアを備える。なお、複数の端末装置２０，２０１〜２０ｎそれぞれは、サーバ装置１０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。

画像処理装置における各種処理の際に必要に応じて、サーバ装置１０は適宜端末装置２０に対して処理過程を送信するものとし、端末装置２０側では、受信した処理過程の内容を含む表示画像を表示手段によって表示させるものとする。表示画像の生成（又は、表示画像の一部の生成）は、サーバ装置１０側で行ってもよいし、端末装置２０側で行ってもよい。

図２は、本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置２０Ａは、撮影画像取得部２１と、表示フレーム表示部２２と、仮想空間情報取得部２３と、レンダリング部２４と、記憶部２５とを少なくとも備える。

撮影画像取得部２１は、撮影手段によって現実空間を撮影した撮影画像を取得する機能を有する。例えば、ユーザが所持するスマートフォン等の端末装置２０が備えるカメラ装置にてユーザの周辺状況を静止画又は動画の撮影画像として取得する。

表示フレーム表示部２２は、所定条件を満たした場合に、仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる機能を有する。ここで、仮想オブジェクトとは、仮想空間上に配置される仮想的な物のことをいう。また、３次元仮想オブジェクトとは、３次元構造で表現された仮想オブジェクトのことをいう。３次元仮想オブジェクトとしては、例えば、ポリゴンによって３次元構造で表現されたオブジェクトが挙げられる。なお、仮想空間に配置されるオブジェクトは必ずしも３次元仮想オブジェクトである必要はなく、２Ｄのアニメーションを描画した平面形状のオブジェクトであってもよい。すなわち、本例において３次元仮想オブジェクトと表現する場合には、３次元仮想空間に配置された２次元仮想オブジェクトも含むものとする。また、表示フレームとは、仮想オブジェクトの１つであり、仮想空間上に配置された仮想オブジェクトをユーザに対して表示する機能を実現するための仮想オブジェクトである。また、表示領域とは、仮想空間上に配置された仮想オブジェクトをユーザに対して表示する機能を備えた領域のことをいう。表示フレームに対して幾つの表示領域を設けるかについては適宜設定可能である。表示フレームは、例えば、少なくとも１以上の表示領域と、表示領域以外の枠部分とで構成される。

また、所定条件とは、表示フレームを表示開始するための条件のことをいう。本例は、現実空間を撮影した撮影画像に対して仮想オブジェクトである表示フレームを重畳表示させる構成、いわゆる拡張現実（ＡＲ：Augmented Reality）に関するものであるので、現実空間の撮影画像に対してどのような条件を満たしたときに表示フレームを重畳表示させるかについて予め設定しておく必要がある。所定条件はどのような条件であってもよいが、例えば、端末装置２０のＧＰＳ情報などの位置情報が所定位置に到達したことをトリガーとする条件、端末装置２０が現実空間に存在する所定の対象物（ＡＲマーカー、バーコード、マトリックス型２次元コード、ユニークなオブジェクトなど）を撮影画像中から特定した場合をトリガーとする条件、ビーコンなどの近距離無線通信装置からの所定の無線信号を受信した場合をトリガーとする条件などが考えられる。

仮想空間情報取得部２３は、予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する機能を有する。３次元仮想オブジェクト情報とは、３次元仮想オブジェクトを特定するために必要な情報のことをいう。例えば、３次元仮想オブジェクトが３Ｄポリゴンで形成される場合には、３Ｄポリゴンの頂点、多角形面がどのように構成されるのかを特定するための情報のほか、各面の表面のテクスチャ情報などが３次元仮想オブジェクト情報として含まれる。また、位置関係情報とは、本例において仮想空間上に必ず配置される表示フレームと仮想空間上に配置される３次元仮想オブジェクトとの位置関係を特定するための情報のことをいう。なお、表示フレームと３次元仮想オブジェクトとの位置関係の制約は特に存在しないが、後述するレンダリング部２４によって表示フレームの表示領域に対して３次元オブジェクトがレンダリングされるためには、仮想視点から撮影した時にレンダリング対象となる位置関係である必要がある。これらの３次元仮想オブジェクト情報と位置関係情報を少なくとも含む仮想空間情報がこの仮想空間情報取得部２３において取得される。この仮想空間情報は、端末装置２０の記憶部２５において記憶させておく構成であってもよいし、サーバ装置１０の記憶部に記憶させておき、通信ネットワークを介して端末装置２０が取得する構成であってもよい。

レンダリング部２４は、撮影手段の撮影視点と概略同一視点である仮想視点から仮想空間上の表示フレームを仮想的に撮影した場合に、表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを表示フレームの当該表示領域にレンダリングして表示させる機能を有する。このレンダリング部２４は、仮想空間を仮想視点から撮影したときに表示領域の奥に映る３次元仮想オブジェクトを当該表示領域に対してレンダリングする構成である。すなわち、仮想空間上に表示フレームや複数の３次元仮想オブジェクトが配置されているとしてもこれら全てを撮影画像に重畳表示するのではなく、表示フレームの表示領域に対してのみ仮想空間における３次元仮想オブジェクトをレンダリングして、撮影画像に対しては当該表示領域を含む表示フレームのみを重畳表示する構成となっている。よって、ユーザに対して見せたい３次元仮想オブジェクトが表示領域に映るように仮想空間に配置する必要がある。レンダリングを行う際の仮想空間上における仮想視点の位置は、撮影手段の撮影視点と同一であることが好ましいが、完全に一致している必要はなく、ユーザにとって違和感のない程度であれば両者が若干ずれていても問題はない。

記憶部２５は、画像処理装置における各部の処理に必要な情報を記憶し、また、各部の処理で生じた各種の情報を記憶する機能を有する。

図３は、本発明の実施形態の少なくとも一つに対応する画像処理の例を示すフローチャートである。以下、サーバ装置１０と端末装置２０Ａとが、画像処理を実行する場合を例にして説明する。

画像処理は、端末装置２０Ａが撮影画像を取得することによって開始される（ステップＳ１１）。端末装置２０Ａは、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ１２）。所定条件を充足した場合、端末装置２０Ａは、サーバ装置１０に対して充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を要求する（ステップＳ１３）。サーバ装置１０は、指定された表示フレームに対応付けて記憶された仮想空間情報を端末装置２０Ａに対して送信する（ステップＳ１４）。端末装置２０Ａは、取得した仮想空間情報及び端末装置の撮影視点に対応した仮想視点に基づいて、表示フレームの表示領域に対してレンダリング処理を行う（ステップＳ１５）。そして、端末装置２０Ａは、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ１６）、処理を終了する。なお、このフローチャートにおいては１つのレンダリング結果を重畳表示する場合についてのみ説明しているが、これは最もシンプルな構成を例に説明を行っただけであり、仮想空間を常にレンダリングして動画のようにフレーム毎にレンダリング結果を出力する構成とする場合には、レンダリング処理と重畳表示処理を毎フレーム実行する必要があることはいうまでもない。これは以下に登場する他のフローチャートに関する説明においても同様である。

図４は、端末装置２０Ａが画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。ここでは、端末装置２０Ａにおいて画像処理を実行する場合の動作について説明する。

画像処理は、端末装置２０Ａにおいて撮影画像を取得することによって開始される（ステップＳ１０１）。端末装置２０Ａは、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ１０２）。所定条件を充足した場合、端末装置２０Ａは、充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を取得する（ステップＳ１０３）。端末装置２０Ａは、取得した仮想空間情報及び端末装置の撮影視点に対応した仮想視点に基づいて、表示フレームの表示領域に対してレンダリング処理を行う（ステップＳ１０４）。そして、端末装置２０Ａは、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ１０５）、処理を終了する。

図５は、サーバ装置が画像処理を実行する場合のサーバ装置側の動作の例を示すフローチャートである。以下、サーバ装置１０が、主体となって画像処理を実行する場合を例にして説明する。なお、サーバ装置１０の構成については、端末装置２０Ａから各種情報を受信することを除き端末装置２０Ａの構成と同様の機能を備えるものであるため、重複説明を避ける観点から記載を省略する。

画像処理は、サーバ装置１０において撮影画像を取得することによって開始される（ステップＳ２０１）。サーバ装置１０は、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ２０２）。所定条件を充足した場合、サーバ装置１０は、充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を取得する（ステップＳ２０３）。サーバ装置１０は、取得した仮想空間情報及び端末装置の撮影視点に対応した仮想視点に基づいて、表示フレームの表示領域に対してレンダリング処理を行う（ステップＳ２０４）。そして、サーバ装置１０は、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ２０５）、処理を終了する。最終的な重畳画像は端末装置２０Ａの表示手段によって表示されることになる。

以上に説明したように、第１の実施形態の一側面として、撮影手段と表示手段を備えた画像処理装置が、撮影画像取得部２１と、表示フレーム表示部２２と、仮想空間情報取得部２３と、レンダリング部２４と、記憶部２５とを備え、撮影手段によって現実空間を撮影した撮影画像を取得し、所定条件を満たした場合に仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを撮影画像の表示範囲に表示させ、予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と当該３次元仮想オブジェクトと表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得し、撮影手段の撮影視点と概略同一視点である仮想視点から仮想空間上の表示フレームを仮想的に撮影した場合に表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを表示フレームの当該表示領域にレンダリングして表示させるようにしたので、処理負荷を軽減しつつ３次元仮想オブジェクトの複雑な構成を２次元表示画像に変換して表示することが可能となる。

すなわち、レンダリングのための仮想視点の位置を撮影手段の撮影視点と概略同一視点の位置に固定して、この視点から表示フレームを撮影するようにすることで、ユーザに見せたい３次元仮想オブジェクトをユーザから見て表示フレームの背後に予め配置するというシンプルな構成とすることができる。このような単一視点からの撮影に限定することで、複数視点からのレンダリング処理を並行して実行する場合に比較して処理負荷を軽減することが可能となる。

［第２の実施形態］
図６は、本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。図６に示すように、画像処理装置２０Ｂは、撮影画像取得部２１と、表示フレーム表示部２２Ｂと、仮想空間情報取得部２３と、レンダリング部２４Ｂと、記憶部２５とを少なくとも備える。なお、画像処理はサーバ装置１０と端末装置２０が連動して処理する構成であってもよいし、端末装置２０単体で処理を実行する構成であってもよいが、何れの場合も端末装置２０がユーザに利用される状況が前提となるため、図６の例では、端末装置２０が画像処理装置２０Ｂとして機能する場合を例に説明を行う。

表示フレーム表示部２２Ｂは、所定条件を満たした場合に、仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる機能を有する。また、この第２の実施形態においては、３次元仮想オブジェクトに対してそれぞれ識別ＩＤを対応付けて登録するようにし、表示フレームの各表示領域には、識別ＩＤを対応付け可能なフィルタを設定可能としている。ここで、識別ＩＤとは、３次元仮想オブジェクトを識別するためのＩＤのことをいう。また、フィルタとは、表示領域に対して識別ＩＤを設定することで何れの３次元仮想オブジェクトを描画するか、或いは、何れの３次元仮想オブジェクトを描画しないかを設定するためのものをいう。フィルタに対する識別ＩＤの登録は予め行っておく必要がある。

レンダリング部２４Ｂは、撮影手段の撮影視点と概略同一視点である仮想視点から仮想空間上の表示フレームを仮想的に撮影した場合に、表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを表示フレームの当該表示領域にレンダリングして表示させる機能を有し、さらに、表示領域に設定されたフィルタに基づいて表示させる３次元仮想オブジェクトを特定した上でレンダリングを行って表示領域に表示させる機能を有する。すなわち、フィルタが存在しなければレンダリングの際に表示領域に描画される位置に配置された３次元仮想オブジェクトであっても、フィルタによって描画の許可がされていない、或いは、描画の禁止が設定されている３次元仮想オブジェクトについては、レンダリングの際に描画対象から除外する。

図７は、端末装置２０Ｂが画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。ここでは、端末装置２０Ｂにおいて画像処理を実行する場合の動作について説明する。

画像処理は、端末装置２０Ｂにおいて撮影画像を取得することによって開始される（ステップＳ３０１）。端末装置２０Ｂは、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ３０２）。所定条件を充足した場合、端末装置２０Ｂは、充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を取得する（ステップＳ３０３）。次に、端末装置２０Ｂは、表示フレームの表示領域に設定されたフィルタの情報を取得する（ステップＳ３０４）。そして、端末装置２０Ｂは、フィルタに基づいて表示させる３次元仮想オブジェクトを特定した上で、取得した仮想空間情報及び端末装置の撮影視点に対応した仮想視点に基づいて、表示フレームの表示領域に対してレンダリング処理を行う（ステップＳ３０５）。最後に、端末装置２０Ｂは、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ３０６）、処理を終了する。

以上に説明したように、第２の実施形態の一側面として、撮影手段と表示手段を備えた画像処理装置が、撮影画像取得部２１と、表示フレーム表示部２２Ｂと、仮想空間情報取得部２３と、レンダリング部２４Ｂと、記憶部２５とを備え、３次元仮想オブジェクトにはそれぞれ識別ＩＤが対応付けされ、表示領域には識別ＩＤを対応付け可能なフィルタを設定可能とし、レンダリング部２４Ｂでは、表示領域に設定されたフィルタに基づいて表示させる３次元仮想オブジェクトを特定した上でレンダリングを行って表示領域に表示させるようにしたので、表示領域に表示させる３次元仮想オブジェクトをフィルタによって任意に設定することが可能となる。

すなわち、ある表示領域には３次元仮想オブジェクトを表示させたいが、隣接する表示領域には当該３次元仮想オブジェクトを表示させたくないという状況が発生するが、仮想視点から見て表示領域の背後に対して３次元オブジェクトをどのように配置するかのみによって見せたい表示フレームを構成しようと思うと、大きな３次元仮想オブジェクトを配置した時に表示させたくない表示領域にも描画されてしまうという問題が生じる。そこで、例えば表示させたくない３次元オブジェクトの識別ＩＤを表示させたくない表示領域のフィルタに設定することで、表示させたくない３次元オブジェクトが表示領域の描画範囲にはみ出していたとしてもフィルタによってレンダリングの際に描画対象から除くことが可能となる。これにより、仮想空間に対する３次元仮想オブジェクトの配置の自由度が高まる。

［第３の実施形態］
図８は、本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。図８に示すように、画像処理装置２０Ｃは、撮影画像取得部２１と、表示フレーム表示部２２Ｃと、姿勢情報取得部２６と、初期位置情報記憶部２７と、仮想空間情報取得部２３と、レンダリング部２４Ｃと、記憶部２５とを少なくとも備える。なお、画像処理はサーバ装置１０と端末装置２０が連動して処理する構成であってもよいし、端末装置２０単体で処理を実行する構成であってもよいが、何れの場合も端末装置２０がユーザに利用される状況が前提となるため、図８の例では、端末装置２０が画像処理装置２０Ｃとして機能する場合を例に説明を行う。

姿勢情報取得部２６は、端末装置が備える各種センサ情報に基づいて特定される撮影方向、撮影角度及び／又は移動方向を含む姿勢情報を取得する機能を有する。ここで、姿勢情報とは、端末装置の姿勢状態を特定するために用いる情報のことをいい、撮影方向、撮影角度、移動方向などに限らず、様々な姿勢情報が含まれ得る。各種センサは、姿勢情報を取得するためのセンサであればどのようなものも採用し得るが、例えば、方位センサ、ジャイロセンサ、ＧＰＳ装置などが挙げられる。姿勢情報としては、端末装置において姿勢情報に変換されたものを取得してもよいし、センサ情報を取得して姿勢情報に変換処理を行うようにしてもよい。

初期位置情報記憶部２７は、表示フレーム表示機能において最初に表示フレームを表示させた時の端末装置の位置と表示フレームが現実空間に存在すると仮定した場合の位置との少なくとも相対的位置関係を初期位置として記憶する機能を有する。最初に表示フレームを表示させる位置を何れの位置に決定するかについては様々な手法があり、どのような手法であってもよい。例えば、表示フレームを表示させる位置を空間内での座標位置や緯度経度情報などの位置情報に予め対応付けて登録するという手法や、所定条件を満たした際の端末装置２０の位置から所定距離の位置を表示フレームを表示させる位置に定める手法などが考えられる。表示フレームの表示位置が固定の位置情報に対応付けて定められる場合には、端末装置２０の位置情報を取得すれば初期位置を特定することができる。表示フレームの表示位置が予め定まっていない場合には、端末装置２０及び表示フレームのそれぞれについて初期位置を仮想空間上にプロットするか、現実の位置座標と関連付けて記憶させることで初期位置を記憶させる。また、初期位置として記憶させる情報の中には、表示フレームの表示向きの情報も含まれるものとする。

表示フレーム表示部２２Ｃは、所定条件を満たした場合に、仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる機能を有する。ここで、本例における表示フレームは、表示向きも含め初期位置に固定されるため、端末装置２０の姿勢情報が変化して撮影視点が変化した場合、表示フレームに対する仮想空間上の仮想視点も変化する。よって、端末装置２０の姿勢情報が初期位置から変化した場合には、変化後の撮影視点と略同一視点の仮想視点から初期位置の表示フレームを撮影したものを撮影画像に重畳表示させる。

レンダリング部２４Ｃは、撮影手段の撮影視点と概略同一視点である仮想視点から仮想空間上の表示フレームを仮想的に撮影した場合に、表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを表示フレームの当該表示領域にレンダリングして表示させる機能を有する。ここで、本例における表示フレームは、表示向きも含め初期位置に固定されるため、端末装置２０の姿勢情報が変化して撮影視点が変化した場合、表示フレームに対する仮想空間上の仮想視点も変化する。よって、端末装置２０の姿勢情報が初期位置から変化した場合には、変化後の撮影視点と略同一視点の仮想視点から初期位置に位置する表示フレームの表示領域を撮影した場合に、表示領域の奥の３次元仮想オブジェクトを当該表示領域にレンダリングする。

図９は、端末装置２０Ｃが画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。ここでは、端末装置２０Ｃにおいて画像処理を実行する場合の動作について説明する。

画像処理は、端末装置２０Ｃにおいて撮影画像を取得することによって開始される（ステップＳ４０１）。また、端末装置２０Ｃは、端末装置２０Ｃと表示フレームについての初期位置情報を取得する（ステップＳ４０２）。さらに、端末装置２０Ｃは、姿勢情報を取得する（ステップＳ４０３）。次に、端末装置２０Ｃは、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ４０４）。所定条件を充足した場合、端末装置２０Ｃは、充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を取得する（ステップＳ４０５）。次に、端末装置２０Ｃは、取得した初期位置情報と姿勢情報とから現在の撮影視点方向を特定する（ステップＳ４０６）。そして、端末装置２０Ｃは、現在の撮影画像の撮影範囲に表示フレームの表示位置が含まれる場合、現在の撮影視点方向に基づいて表示領域に対してレンダリング処理を実行する（ステップＳ４０７）。最後に、端末装置２０Ｃは、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ４０８）、処理を終了する。

以上に説明したように、第３の実施形態の一側面として、撮影手段と表示手段を備えた画像処理装置が、撮影画像取得部２１と、表示フレーム表示部２２Ｃと、姿勢情報取得部２６と、初期位置情報記憶部２７と、仮想空間情報取得部２３と、レンダリング部２４Ｃと、記憶部２５とを備え、表示フレーム表示部２２Ｃにおいて最初に表示フレームを表示させた時の端末装置の位置と表示フレームが現実空間に存在すると仮定した場合の位置との少なくとも相対的位置関係を初期位置として記憶し、端末装置の姿勢状態が変化したことによって端末装置と表示フレームとの相対的位置関係又は撮影視点が変化した場合に、変化後の撮影視点から初期位置に位置する表示フレームを表示させるようにし、変化後の撮影視点と概略同一視点である仮想視点に基づいてレンダリングを行うようにしたので、変化後の撮影視点に対応した３次元仮想オブジェクトを表示フレームの表示領域に表示させることが可能となる。

すなわち、仮想空間上の表示フレームと３次元仮想オブジェクトとの位置関係は予め設定された状態で固定であるが、端末装置と表示フレームの位置関係、撮影角度が変化したときに、変化後の撮影視点から見たときに表示領域の奥に配置された３次元仮想オブジェクトをレンダリングするようにすることで、仮想空間上にて表示フレームの背後に配置された３次元仮想オブジェクトの見え方が変化することになる。よって、ユーザから見たときには、端末装置の撮影画像にＡＲ技術として重畳表示された表示フレームに対して角度を変えて観察すると、表示フレームの表示領域にレンダリングされる３次元仮想オブジェクトが変化して、まるで表示領域を窓枠としてその奥にある仮想空間を覗き込んでいるような画像を表示させることが可能となる。また、角度を変えた時に初めて見えるような位置に３次元オブジェクトを配置するなど、配置の自由度が増してユーザの興味を引き付ける表示が可能となる。

［第４の実施形態］
図１０は、本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。図１０に示すように、画像処理装置２０Ｄは、撮影画像取得部２１と、表示フレーム表示部２２と、仮想空間情報取得部２３と、レンダリング部２４Ｄと、記憶部２５とを少なくとも備える。なお、画像処理はサーバ装置１０と端末装置２０が連動して処理する構成であってもよいし、端末装置２０単体で処理を実行する構成であってもよいが、何れの場合も端末装置２０がユーザに利用される状況が前提となるため、図１０の例では、端末装置２０が画像処理装置２０Ｄとして機能する場合を例に説明を行う。

レンダリング部２４Ｄは、撮影手段の撮影視点と概略同一視点である仮想視点から仮想空間上の表示フレームを仮想的に撮影した場合に、表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを表示フレームの当該表示領域にレンダリングして表示させる機能を有し、さらに、一時消去設定において指定された３次元仮想オブジェクトを一時消去させたうえでレンダリングを行い表示領域に表示させる機能を有する。この第４の実施形態においては、３次元仮想オブジェクトに対してそれぞれ識別ＩＤを対応付けて登録するようにし、指定した識別ＩＤの３次元仮想オブジェクトを当該表示領域のレンダリングの際に一時的に消去してレンダリングを行うことを設定するための一時消去設定を設定可能としている。ここで、一時消去設定とは、指定した識別ＩＤの３次元仮想オブジェクトをレンダリングの際に仮想空間から一時的に消去させるための設定のことをいう。一時消去設定としての識別ＩＤの登録は予め行っておく必要がある。すなわち、仮想空間に配置された３次元仮想オブジェクトを一時的に消去する構成であるため、撮影視点から見て消去対象の３次元オブジェクトの背後に配置された他の３次元仮想オブジェクトを表示領域に表示させることが可能となる。この一時消去設定は、レンダリング時に指定した３次元仮想オブジェクトを仮想空間から一時的に消去することができればどのように設定されるものであってもよいが、例えば、それぞれの３次元仮想オブジェクトに対して一時消去設定を行い、表示フレームや表示領域においてレンダリング処理を開始するトリガーとなる条件において各３次元仮想オブジェクトに設定された一時消去設定を書き換え可能としてもよい。すなわち、所定条件未充足時には一時消去せずに所定条件充足時には一時消去するといった処理を実行かのうとしてもよい。

図１１は、端末装置２０Ｄが画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。ここでは、端末装置２０Ｄにおいて画像処理を実行する場合の動作について説明する。

画像処理は、端末装置２０Ｄにおいて撮影画像を取得することによって開始される（ステップＳ５０１）。端末装置２０Ｄは、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ５０２）。所定条件を充足した場合、端末装置２０Ｄは、充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を取得する（ステップＳ５０３）。次に、端末装置２０Ｄは、一時消去設定の情報を取得する（ステップＳ５０４）。そして、端末装置２０Ｄは、一時消去設定に基づいて表示させる３次元仮想オブジェクトを特定した上で、一時消去設定において指定された３次元仮想オブジェクトを取得した仮想空間情報から一時的に消去した上で、一時消去後の仮想空間情報及び端末装置の撮影視点に対応した仮想視点に基づいて、表示フレームの表示領域に対してレンダリング処理を行う（ステップＳ５０５）。最後に、端末装置２０Ｄは、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ５０６）、処理を終了する。

以上に説明したように、第４の実施形態の一側面として、撮影手段と表示手段を備えた画像処理装置が、撮影画像取得部２１と、表示フレーム表示部２２と、仮想空間情報取得部２３と、レンダリング部２４Ｄと、記憶部２５とを備え、３次元仮想オブジェクトにはそれぞれ識別ＩＤが対応付けされ、指定した識別ＩＤの３次元仮想オブジェクトをレンダリングの際に仮想空間から一時的に消去してレンダリングを行うことを設定するための一時消去設定を設定可能とし、レンダリング部２４Ｄでは、一時消去設定において指定された３次元仮想オブジェクトを仮想空間から一時的に消去させたうえでレンダリングを行い表示領域に表示させるようにしたので、表示領域に表示させる３次元仮想オブジェクトを一時消去設定によって仮想空間から一時的に消去することが可能となる。

すなわち、ある表示領域には３次元仮想オブジェクトを表示させたいが、隣接する表示領域には当該３次元仮想オブジェクトを表示させたくないという状況において、当該３次元仮想オブジェクトを一時的に消去することが出来ればその背後に配置した他の３次元仮想オブジェクトを表示させることができるという状況の場合には、隣接する表示領域に対してレンダリング処理をする際に当該３次元仮想オブジェクトを一時消去設定にて一時的に消去するように設定することで、背後に配置した３次元仮想オブジェクトを表示させることが可能となる。

［第５の実施形態］
図１２は、本発明の実施形態の少なくとも一つに対応する画像処理装置の構成を示すブロック図である。図１２に示すように、画像処理装置２０Ｅは、撮影画像取得部２１と、表示フレーム表示部２２Ｅと、姿勢情報取得部２６と、初期位置情報記憶部２７と、仮想空間情報取得部２３と、レンダリング部２４Ｅと、記憶部２５とを少なくとも備える。なお、画像処理はサーバ装置１０と端末装置２０が連動して処理する構成であってもよいし、端末装置２０単体で処理を実行する構成であってもよいが、何れの場合も端末装置２０がユーザに利用される状況が前提となるため、図１２の例では、端末装置２０が画像処理装置２０Ｅとして機能する場合を例に説明を行う。

表示フレーム表示部２２Ｅは、所定条件を満たした場合に、仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる機能を有する。また、この第５の実施形態においては、３次元仮想オブジェクトに対してそれぞれ識別ＩＤを対応付けて登録するようにし、表示フレームの各表示領域には、識別ＩＤを対応付け可能なフィルタを設定可能としている。ここで、識別ＩＤとは、３次元仮想オブジェクトを識別するためのＩＤのことをいう。また、フィルタとは、表示領域に対して識別ＩＤを設定することで何れの３次元仮想オブジェクトを描画するか、或いは、何れの３次元仮想オブジェクトを描画しないかを設定するためのものをいう。フィルタに対する識別ＩＤの登録は予め行っておく必要がある。

姿勢情報取得部２６は、端末装置が備える各種センサ情報に基づいて特定される撮影方向、撮影角度及び／又は移動方向を含む姿勢情報を取得する機能を有する。ここで、姿勢情報とは、端末装置の姿勢状態を特定するために用いる情報のことをいい、撮影方向、撮影角度、移動方向などに限らず、様々な姿勢情報が含まれ得る。各種センサは、姿勢情報を取得するためのセンサであればどのようなものも採用し得るが、例えば、方位センサ、ジャイロセンサ、ＧＰＳ装置などが挙げられる。姿勢情報としては、端末装置において姿勢情報に変換されたものを取得してもよいし、センサ情報を取得して姿勢情報に変換処理を行うようにしてもよい。また、端末装置によって撮影した撮影画像から姿勢情報を取得するようにしてもよい。例えば、現実空間に固定的に配置されたオブジェクトとの位置関係、オブジェクトの映り方（傾いて映っている等）などに基づいて姿勢情報を特定することが可能である。

レンダリング部２４Ｅは、撮影手段の撮影視点と概略同一視点である仮想視点から仮想空間上の表示フレームを仮想的に撮影した場合に、表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを表示フレームの当該表示領域にレンダリングして表示させる機能を有する。

また、レンダリング部２４Ｅは、表示領域に設定されたフィルタに基づいて表示させる３次元仮想オブジェクトを特定した上でレンダリングを行って表示領域に表示させる機能を有する。すなわち、レンダリングの際に表示領域に描画される位置に配置された３次元仮想オブジェクトであっても、フィルタによって描画の許可がされていない、或いは、描画の禁止が設定されている３次元仮想オブジェクトについては、レンダリングの際に描画対象から除外する。

さらに、レンダリング部２４Ｅは、一時消去設定において指定された３次元仮想オブジェクトを一時的に消去させたうえでレンダリングを行い表示領域に表示させる機能を有する。この第５の実施形態においては、指定した識別ＩＤの３次元仮想オブジェクトをレンダリングの際に一時的に消去してレンダリングを行うことを設定するための一時消去設定を設定可能としている。ここで、一時消去設定とは、指定した識別ＩＤの３次元仮想オブジェクトを当該表示領域のレンダリングの際に仮想空間から一時的に消去させるための設定のことをいう。一時消去設定としての識別ＩＤの登録は予め行っておく必要がある。この一時消去設定は、レンダリング時に指定した３次元仮想オブジェクトを仮想空間から一時的に消去することができればどのように設定されるものであってもよいが、例えば、それぞれの３次元仮想オブジェクトに対して一時消去設定を行い、表示フレームや表示領域においてレンダリング処理を開始するトリガーとなる条件が満たされた場合に各３次元仮想オブジェクトに設定された一時消去設定を書き換えることで可能としてもよい。すなわち、所定条件未充足時には一時消去せずに所定条件充足時には一時消去するといった処理を実行かのうとしてもよい。なお、各３次元仮想オブジェクトにおいて自身の一時消去設定のみを行う場合には識別ＩＤを用いない構成としてもよい。

この一時消去設定は、仮想空間に配置された３次元仮想オブジェクトを一時的に消去する構成であるため、撮影視点から見て消去対象の３次元オブジェクトの背後に配置された他の３次元仮想オブジェクトを表示領域に表示させることが可能となる。ただし、一時消去設定における消去は、仮想空間から指定した３次元仮想オブジェクトを消去してしまうので、全ての表示領域において当該３次元仮想オブジェクトが消去されてしまう構成となる。よって一時消去設定によって３次元仮想オブジェクトを仮想空間から消去しても他の表示領域の表示に影響を及ぼさない工夫が必要となる。例えば、複数の表示領域が同時に表示されている状況においてはレンダリング処理を開始させずに、端末装置と表示領域の位置関係が近くなって１つの表示領域のみが表示画面の大半を占める状況になったような場合になって初めてレンダリング処理を開始するようにしてもよい。或いは、撮影視点方向が１つの表示領域を中心に捉えて所定期間変化しない状況となったとき、その状態を当該表示領域にユーザが着目した着目状態と判定するようにし、着目状態と判定してときに初めてレンダリング処理を開始するようにしてもよい。このように、レンダリング処理を開始するトリガーとなる条件を設定できる構成とすることで、一時消去設定にて３次元仮想オブジェクトを消去させても他の表示領域に影響を及ぼさない構成とすることができる。なお、レンダリング処理を開始するトリガーとなる条件が満たされなくなった場合にレンダリング処理を終了させて一時的に消去させていた３次元仮想オブジェクトを仮想空間上に再配置するようにすれば、他の表示領域においては当該３次元仮想オブジェクトを問題なく表示させることが可能となる。

また、表示画面における表示フレームの表示範囲が変化した場合に、少なくとも１以上の表示領域のうち何れの表示領域が表示画面に含まれているかを判定する表示判定部を設け、レンダリング部２４Ｅにおいては、表示判定部において表示画面に含まれると判定された表示領域の中に、一時消去設定における消去対象の３次元仮想オブジェクトを表示させる設定となっている表示領域が存在しない場合にのみ、一時消去設定を有効にしてレンダリングを実行するようにしてもよい。

図１３は、端末装置２０Ｅが画像処理を実行する場合の端末装置側の動作の例を示すフローチャートである。ここでは、端末装置２０Ｅにおいて画像処理を実行する場合の動作について説明する。

画像処理は、端末装置２０Ｅにおいて撮影画像を取得することによって開始される（ステップＳ６０１）。また、端末装置２０Ｅは、端末装置２０Ｅと表示フレームについての初期位置情報を取得する（ステップＳ６０２）。さらに、端末装置２０Ｅは、姿勢情報を取得する（ステップＳ６０３）。次に、端末装置２０Ｅは、表示フレームを表示させるための所定条件の充足を判定する（ステップＳ６０４）。所定条件を充足した場合、端末装置２０Ｅは、充足した所定条件に対応する表示フレームに対応付けて記憶された仮想空間情報を取得する（ステップＳ６０５）。次に、端末装置２０Ｅは、取得した初期位置情報と姿勢情報とから現在の撮影視点方向を特定する（ステップＳ６０６）。そして、端末装置２０Ｅは、現在の撮影画像の撮影範囲に表示フレームの表示位置が含まれる場合、現在の撮影視点方向に基づいて表示領域に対してレンダリング処理を実行する（ステップＳ６０７）。その際、端末装置２０Ｅは、フィルタの情報及び／又は一時消去設定の情報が設定されている場合には、それらの情報を用いて表示させる３次元仮想オブジェクトを特定した上でレンダリング処理を実行する。最後に、端末装置２０Ｅは、表示領域に対してレンダリング処理を実行した状態の表示フレームを撮影画像に重畳表示して（ステップＳ６０８）、処理を終了する。

図１４は、仮想空間に対して表示フレーム及び３次元仮想オブジェクトを配置した状態を表した説明図である。この図１４において、仮想空間上には、２つの表示領域ｆ１、ｆ２を備える表示フレームＦが配置され、また、３つの３次元仮想オブジェクトＡ、Ｂ及びＣが配置されている。このような仮想空間を仮想カメラで撮影して表示領域に対するレンダリングを行う。

図１５は、表示領域に設定されるフィルタの機能を説明するための説明図である。レンダリング処理は、表示フレームの表示領域が透過領域だったとしたら仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを当該表示領域にレンダリングして表示させる処理である。図１４の仮想視点から表示フレームＦを撮影した時に表示領域ｆ１、ｆ２のそれぞれの奥に存在する３次元仮想オブジェクトをレンダリングする。表示領域ｆ１には、３次元仮想オブジェクトＡがレンダリングされている。ここで、３次元仮想オブジェクトＢだけ描画を許可するように表示領域ｆ２にフィルタが設定されているものとする。すると、図１５に示すように、表示領域ｆ２には、フィルタが設定されていなければ描画対象であった３次元仮想オブジェクトＡはレンダリングされずに３次元仮想オブジェクトＢだけがレンダリングされる。なお、このフィルタ設定は、仮想空間上から３次元仮想オブジェクトを消去する機能ではないので、仮にフィルタの設定において３次元仮想オブジェクトＣの描画を許可していたとしても、３次元仮想オブジェクトＡの背後に配置されて完全に隠れてしまう３次元仮想オブジェクトＣは描画されない。

図１６は、一時消去設定の機能を説明するための説明図である。図１４の仮想視点から表示フレームＦを撮影した時に表示領域ｆ１、ｆ２のそれぞれの奥に存在する３次元仮想オブジェクトがレンダリング対象となる。ここで、３次元仮想オブジェクトＡを仮想空間から一時的に消去するように一時消去設定が設定されているものとする。すると、図１６に示すように、一時消去設定がなければ描画されていた３次元仮想オブジェクトＡはレンダリングされず、３次元仮想オブジェクトＡの奥に配置された３次元仮想オブジェクトＣがレンダリングされている。なお、この一時消去設定は、仮想空間上から３次元仮想オブジェクトを一時的に消去する機能であるので、表示領域ｆ２以外の表示領域に対しても影響が及ぶ。すなわち、図１６に示すように、表示領域ｆ１には３次元仮想オブジェクトＡが描画されるべきところ、一時消去設定によって仮想空間から消去された結果、表示領域ｆ１に表示すべき３次元仮想オブジェクトが存在しない状態となっている。このような状況が生じないように、例えば、端末装置と表示領域の位置関係が近くなって１つの表示領域のみが表示画面の大半を占める状況になったこと、撮影視点方向が１つの表示領域を中心に捉えて所定期間変化しない状況（着目状態）となったことなどを、レンダリング処理を開始するトリガーとして定めておくことが好ましい。

図１７は、撮影視点が変化する様子を説明するための説明図である。端末装置の撮影方向、撮影角度、移動方向などの姿勢情報が変化して端末装置と表示フレームの相対的位置関係が初期位置から変化した場合、その変化後の端末装置の撮影視点の方向を仮想視点の方向としてレンダリングを行う。図１７は、端末装置の撮影視点の変化に伴って仮想視点が変化した様子を表している。この図１７に示すように、仮想視点が変化した場合には、変化後の仮想視点の位置から初期位置の表示フレームＦの表示領域の奥に存在する３次元仮想オブジェクトをレンダリングすることになる。このとき、表示フレームＦと３次元仮想オブジェクトＡ、Ｂ及びＣとの位置関係は固定されたものであるので、表示フレームＦの表示領域ｆ１、ｆ２に対する仮想視点が変化すると、レンダリングする内容も変化する。このように、変化する仮想視点に追従させてレンダリング内容を適宜修正して表示させるようにしたので、ユーザが角度を変えつつ覗き込むことで表示領域ｆ１、ｆ２の中に広がる拡張現実空間をよりリアルに感じることが可能となる。

図１８は、端末装置に表示させる表示画面の一例を表した説明図である。図１８（ａ）は、撮影画像を表示画面に表示させた様子を表した説明図である。この図１８（ａ）には椅子が映っているが、例えば、椅子に表示フレームを表示させるためのＡＲマーカーが設けられており当該ＡＲマーカーを端末装置が認識すること、或いは、椅子自体の３次元形状からオブジェクトとしての椅子を特定することなど、表示フレームを表示させるための所定条件が設定されているものとする。そのような所定条件を満たすと、図１８（ｂ）に示すように、撮影画像中の椅子の上に表示フレームが重畳表示した画像が表示画面に表示される。

以上に説明したように、第５の実施形態の一側面として、撮影手段と表示手段を備えた画像処理装置が、撮影画像取得部２１と、表示フレーム表示部２２Ｅと、姿勢情報取得部２６と、初期位置情報記憶部２７と、仮想空間情報取得部２３と、レンダリング部２４Ｅと、記憶部２５とを備え、最初に表示フレームを表示させた時の端末装置の位置と表示フレームが現実空間に存在すると仮定した場合の位置との少なくとも相対的位置関係を初期位置として記憶し、端末装置の姿勢状態が変化したことによって端末装置と表示フレームとの相対的位置関係又は撮影視点が変化した場合に、変化後の撮影視点から初期位置に位置する表示フレームを表示させるようにし、変化後の撮影視点と概略同一視点である仮想視点に基づいてレンダリングを行うようにしたので、変化後の撮影視点に対応した３次元仮想オブジェクトを表示フレームの表示領域に表示させることが可能となる。また、このとき、表示領域に設定されたフィルタや一時消去設定を利用することでレンダリング対象の３次元仮想オブジェクトを調整することにより、仮想空間への３次元仮想オブジェクトの配置条件だけではなく表示内容を変更することが可能となるので、配置の自由度が高まる。

なお、上述した第１から第５の実施形態において説明した画像処理装置によって表示させる表示フレームは様々な表示に利用することが可能であるが、例えば、ＡＲによって漫画を表現することに用いることが可能である。表示フレームを漫画のページとし、表示領域を漫画の各コマとして扱うことで、現実空間を撮影した撮影画像に対して漫画のページを重畳表示させることが可能となる。漫画のページを構成する複数のコマのうち、全てのコマを本例の表示領域として仮想空間をレンダリングした画像で表現する必要はなく、漫画の作画担当者が描いた漫画を表示するコマと、仮想空間をレンダリングした画像を表示する表示領域としてのコマとを併存させた漫画とすることも可能である。また、漫画の作画担当者が描いた絵を板状の３次元仮想オブジェクトとして仮想空間に配置することも可能である。３Ｄポリゴンのキャラクタを３次元仮想オブジェクトとして仮想空間に、漫画の作画担当者が描いた絵を板状のポリゴンの表面に張り付けて背景として配置するといった表現も可能となる。

表示フレームを漫画のページとして処理する場合に、漫画の１ページに複数の表示領域を設けたとしても１つの仮想視点に基づいて一度にレンダリングを行う手法であるため、コマ数が増えても処理負荷を増大させずに済む。また、フィルタや一時消去設定を利用することで、１つの仮想視点に基づいて一度にレンダリングを行う手法であるにも関わらず、それぞれの表示領域ごとに独立した３次元仮想空間を有しているように見せることが可能となる。

なお、上述した第１から第５の実施形態においては、現実空間を撮影した撮影画像に表示フレームを重畳表示させる構成、すなわちＡＲ技術として実現する例として説明を行ったが、ＡＲに限定されるものではない。例えば、ヘッドマウントディスプレイ等を用いた仮想現実（ＶＲ：virtual reality）技術によって提供される仮想空間に対して表示フレームを配置して、当該表示フレームの表示領域に対して上述した第１から第５の実施形態において説明したレンダリング処理を行うようにしてもよい。また、端末装置のディスプレイに表示させる映像が３次元仮想空間を表現した映像である場合に、当該３次元仮想空間に表示フレームを配置して、当該表示フレームの表示領域に対して上述した第１から第５の実施形態において説明したレンダリング処理を行うようにしてもよい。

以上に説明したように、本願の各実施形態により１または２以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。

なお、上述した各実施形態では、複数の端末装置２０，２０１〜２０ｎとサーバ装置１０は、自己が備える記憶装置に記憶されている各種制御プログラム（例えば、画像処理プログラム）に従って、上述した各種の処理を実行する。

また、システムの構成は上述した各実施形態の例として説明した構成に限定されず、例えば端末装置が実行する処理として説明した処理の一部または全部をサーバ装置１０が実行する構成としてもよいし、サーバ装置１０が実行する処理として説明した処理の一部または全部を複数の端末装置２０，２０１〜２０ｎの何れか（例えば、端末装置２０）が実行する構成としてもよい。また、サーバ装置１０が備える記憶部の一部または全部を複数の端末装置２０，２０１〜２０ｎの何れかが備える構成としてもよい。すなわち、システムにおける端末装置２０とサーバ装置１０のどちらか一方が備える機能の一部または全部を、他の一方が備える構成とされていてもよい。

また、プログラムが、上述した各実施形態の例として説明した機能の一部または全部を、通信ネットワークを含まない装置単体に実現させる構成としてもよい。

［付記］
上述した実施形態の説明は、少なくとも下記発明を、当該発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
［１］
撮影手段と表示手段を備えた端末装置に対して、前記撮影手段によって現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させる機能を実現させるための画像処理プログラムであって、
前記端末装置に、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得機能と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示機能と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得機能と、
前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング機能と
を実現させる画像処理プログラム。
［２］
前記３次元仮想オブジェクトには、それぞれ識別ＩＤが対応付けされており、
前記表示領域には、前記識別ＩＤを対応付け可能なフィルタを設定可能であり、
前記レンダリング機能は、前記表示領域に設定された前記フィルタに基づいて表示させる前記３次元仮想オブジェクトを特定した上でレンダリングを行って前記表示領域に表示させる
［１］記載の画像処理プログラム。
［３］
前記端末装置に、
前記端末装置が備える各種センサ情報に基づいて特定される撮影方向、撮影角度及び／又は移動方向を含む姿勢情報を取得する姿勢情報取得機能と、
前記表示フレーム表示機能において最初に前記表示フレームを表示させた時の前記端末装置の位置と前記表示フレームが現実空間に存在すると仮定した場合の位置との少なくとも相対的位置関係を初期位置として記憶する初期位置情報記憶機能とを実現させ、
前記表示フレーム表示機能は、前記端末装置の前記姿勢状態が変化したことによって前記端末装置と前記表示フレームとの相対的位置関係又は撮影視点が変化した場合に、変化後の撮影視点から前記初期位置に位置する表示フレームを表示させるようにし、
前記レンダリング機能は、変化後の撮影視点と概略同一視点である仮想視点に基づいてレンダリングを行うようにした
［１］又は［２］に記載の画像処理プログラム。
［４］
前記３次元仮想オブジェクトには、それぞれ識別ＩＤが対応付けされており、
また、前記３次元仮想オブジェクトには、指定した識別ＩＤの前記３次元仮想オブジェクトをレンダリングの際に一時的に消去してレンダリングを行うことを設定するための一時消去設定を設定可能であり、
前記レンダリング機能は、前記一時消去設定が一時的に消去させることを指定した前記３次元仮想オブジェクトを消去させた上でレンダリングを行って前記表示領域に表示させる
［１］から［３］のいずれかに記載の画像処理プログラム。
［５］
前記端末装置に、
前記表示画面における前記表示フレームの表示範囲が変化した場合に、少なくとも１以上の前記表示領域のうち何れの表示領域が前記表示画面に含まれているかを判定する表示判定機能を実現させ、
前記レンダリング機能は、前記表示判定機能において前記表示画面に含まれると判定された前記表示領域の中に、前記一時消去設定における消去対象の前記３次元仮想オブジェクトを表示させる設定となっている前記表示領域が存在しない場合にのみ、前記一時消去設定を有効にしてレンダリングを実行する
［４］記載の画像処理プログラム。
［６］
［１］から［５］のうち何れかに記載の画像処理プログラムが前記端末装置に実現させる機能のうち少なくとも１つの機能を、当該端末装置と通信可能なサーバ装置に実現させるための画像処理プログラム。
［７］
［１］から［６］のうち何れかに記載の画像処理プログラムがインストールされた端末装置。
［８］
現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を表示させる機能をサーバ装置に実現させるための画像処理プログラムであって、
前記サーバ装置に、
撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得機能と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示機能と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得機能と、
前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング機能とを
実現させるための画像処理プログラム。
［９］
［８］に記載の画像処理プログラムが前記サーバ装置に実現させる機能のうち少なくとも１つの機能を、当該サーバと通信可能な端末装置に実現させるための画像処理プログラム。
［１０］
［８］又は［９］に記載の画像処理プログラムがインストールされたサーバ装置。
［１１］
通信ネットワークと、サーバ装置と、端末装置とを備え、現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を端末装置に表示させるための画像処理システムであって、
撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得手段と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示手段と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得手段と、
前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング手段と
を含む画像処理システム。
［１２］
撮影手段と表示手段を備え、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得部と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示部と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得部と、
前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング部と
を備える画像処理装置。
［１３］
撮影手段と表示手段を備えた端末装置に対して、前記撮影手段によって現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させるための画像処理方法であって、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得処理と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示処理と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得処理と、
前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング処理と
を含む画像処理方法。
［１４］
通信ネットワークと、サーバ装置と、端末装置とを備える画像処理システムが、現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させるために実行する画像処理方法であって、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得処理と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示処理と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得処理と、
前記撮影手段の撮影視点と概略同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング処理とを含む
ことを特徴とするビデオ画像処理方法。

１０サーバ装置
２０，２０１〜２０ｎ端末装置
２０Ａ〜２０Ｅ画像処理装置（端末装置）
２１撮影画像取得部
２２表示フレーム表示部
２３仮想空間情報取得部
２４レンダリング部
２５記憶部
２６姿勢情報取得部
２７初期位置情報記憶部
３０通信ネットワーク

Claims

撮影手段と表示手段を備えた端末装置に対して、前記撮影手段によって現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させる機能を実現させるための画像処理プログラムであって、
前記端末装置に、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得機能と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示機能と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得機能と、
前記撮影手段の撮影視点と同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング機能と、を実現させ、
前記３次元仮想オブジェクトには、それぞれ識別ＩＤが対応付けされており、
前記表示領域には、前記識別ＩＤを対応付け可能なフィルタを設定可能であり、
前記レンダリング機能は、前記表示領域に設定された前記フィルタに基づいて表示させる前記３次元仮想オブジェクトを特定した上でレンダリングを行って前記表示領域に表示させる
画像処理プログラム。
前記端末装置に、
前記端末装置が備える各種センサ情報に基づいて特定される撮影方向、撮影角度及び／又は移動方向を含む姿勢情報を取得する姿勢情報取得機能と、
前記表示フレーム表示機能において最初に前記表示フレームを表示させた時の前記端末装置の位置と前記表示フレームが現実空間に存在すると仮定した場合の位置との少なくとも相対的位置関係を初期位置として記憶する初期位置情報記憶機能とを実現させ、
前記表示フレーム表示機能は、前記端末装置の姿勢状態が変化したことによって前記端末装置と前記表示フレームとの相対的位置関係又は撮影視点が変化した場合に、変化後の撮影視点から前記初期位置に位置する表示フレームを表示させるようにし、
前記レンダリング機能は、変化後の撮影視点と同一視点である仮想視点に基づいてレンダリングを行うようにした
請求項１記載の画像処理プログラム。
前記３次元仮想オブジェクトには、それぞれ識別ＩＤが対応付けされており、
また、前記３次元仮想オブジェクトには、指定した識別ＩＤの前記３次元仮想オブジェクトをレンダリングの際に一時的に消去してレンダリングを行うことを設定するための一時消去設定を設定可能であり、
前記レンダリング機能は、前記一時消去設定が一時的に消去させることを指定した前記３次元仮想オブジェクトを消去させた上でレンダリングを行って前記表示領域に表示させる
請求項１又は請求項２に記載の画像処理プログラム。
撮影手段と表示手段を備え、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得部と、
所定条件を満たした場合に、仮想空間上に配置した仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示部と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得部と、
前記撮影手段の撮影視点と同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング部と、を備え、
前記３次元仮想オブジェクトには、それぞれ識別ＩＤが対応付けされており、
前記表示領域には、前記識別ＩＤを対応付け可能なフィルタを設定可能であり、
前記レンダリング部は、前記表示領域に設定された前記フィルタに基づいて表示させる前記３次元仮想オブジェクトを特定した上でレンダリングを行って前記表示領域に表示させる
画像処理装置。
撮影手段と表示手段を備えた端末装置に対して、前記撮影手段によって現実空間を撮影した撮影画像に仮想空間上に配置した仮想オブジェクトを重畳表示させた表示画面を前記表示手段によって表示させるための画像処理方法であって、
前記撮影手段によって現実空間を撮影した撮影画像を取得する撮影画像取得処理と、
所定条件を満たした場合に、前記仮想オブジェクトの１つであって少なくとも１以上の表示領域を有する表示フレームを前記撮影画像の表示範囲に表示させる表示フレーム表示処理と、
予め仮想空間上に配置した少なくとも１以上の３次元仮想オブジェクト情報と、当該３次元仮想オブジェクトと前記表示フレームの位置関係情報とを少なくとも含む仮想空間情報を取得する仮想空間情報取得処理と、
前記撮影手段の撮影視点と同一視点である仮想視点から前記仮想空間上の前記表示フレームを仮想的に撮影した場合に、前記表示フレームの前記表示領域が透過領域だったとしたら前記仮想視点から撮影したときに当該表示領域の奥に映る３次元仮想オブジェクトを前記表示フレームの当該表示領域にレンダリングして表示させるレンダリング処理と、を含み、
前記３次元仮想オブジェクトには、それぞれ識別ＩＤが対応付けされており、
前記表示領域には、前記識別ＩＤを対応付け可能なフィルタを設定可能であり、
前記レンダリング処理は、前記表示領域に設定された前記フィルタに基づいて表示させる前記３次元仮想オブジェクトを特定した上でレンダリングを行って前記表示領域に表示させる
画像処理方法。