JP6161749B2

JP6161749B2 - 映像処理装置、映像処理方法、および映像処理システム

Info

Publication number: JP6161749B2
Application number: JP2016031175A
Authority: JP
Inventors: 良徳大橋
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2016-02-22
Filing date: 2016-02-22
Publication date: 2017-07-12
Anticipated expiration: 2032-06-29
Also published as: JP2016131031A

Description

本発明は、映像処理装置、映像処理方法、および映像処理システムに関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがＨＭＤの外の様子をシースルーで見ることができる光学透過型ＨＭＤも開発されている。

一方、カメラ等の撮像素子で撮像した実世界の映像にＣＧ（Computer Graphics）等の映像を付加した映像を生成し、ユーザに提示する実世界の映像の一部に修正を加えるＡＲ（Augmented Reality）技術も実用段階に入りつつある。ＡＲ技術では、バーコード等の識別可能な特定の情報を認識し、その情報に紐付けて画像を生成する場合もある。

特定の対象物に紐付けて画像を生成する場合、対象物の位置や向きが変化すると、対象物に紐付けられた画像はその変化に応じて生成される。この結果、互いに異なる対象物に紐付けて生成されたふたつの異なる画像が接近したり、場合によっては接触したりすることも起こり得るが、それを起因として互いの画像に生じる変化を表現することにより、インタラクティブな立体映像を提供できる可能性について本願の発明者は認識するに至った。

本発明はこうした課題に鑑みてなされたものであり、その目的は、特定の対象物に紐付けて生成される画像間の相互作用を演出する技術を提供することにある。

上記課題を解決するために、本発明のある態様は映像処理装置である。この装置は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられた、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子が撮像した被写体をマーカとして、前記光学透過型ＨＭＤに提示させるＡＲイメージを生成するＡＲイメージ生成部と、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカまたは第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得する近接度取得部と、前記近接度取得部が取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出する相互作用演出部とを含む。ここで前記ＡＲイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させる。

本発明の別の態様は、映像処理方法である。この方法は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするＡＲイメージを生成するステップと、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカまたは第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得するステップと、取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出するステップと、算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させるステップとをプロセッサに実行させる。

本発明のさらに別の態様は、映像処理システムである。このシステムは、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、前記光学透過型ＨＭＤに備えられ、前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子と、前記撮像素子が撮像した被写体をマーカとして、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成するＡＲイメージ生成部と、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカまたは第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得する近接度取得部と、前記近接度取得部が取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出する相互作用演出部とを含む。ここで前記ＡＲイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させる。

本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、特定の対象物に紐付けて生成される画像間の相互作用を演出する技術を提供することができる。

実施の形態に係る映像提示システムの全体構成を模式的に示す図である。実施の形態に係る立体映像観察デバイスの外観の一例を模式的に示す図である。実施の形態に係る映像出力装置の内部構成を模式的に示す図である。実施の形態に係るマーカとそのマーカに紐付けられたＡＲイメージとを含む映像を例示する図である。実施の形態に係る異なるふたつのＡＲイメージ間の近接度を説明するための図である。実施の形態に係る異なるふたつのＡＲイメージ間の相互作用を例示する図である。実施の形態に係る映像処理装置による相互作用演出処理の流れを示すフローチャートである。あるＡＲイメージとマーカとの間の近接度を説明するための図である。

本発明の実施の形態の概要を述べる。本発明の実施の形態は、ユーザの操作によって移動された３次元イメージが別の３次元イメージに近づいたとき、その近接度をもとに、３次元イメージ間の仮想的な相互作用を演出し、３次元イメージに反映させる。また、相互作用とは例えば３次元イメージ間の接触や衝突等であり、相互作用の前後における３次元イメージの仮想的な速度や加速度等の属性に応じて、３次元イメージを変化させて提示する。

図１は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、３次元モニタ３００、および情報処理装置４００を含む。

立体映像観察デバイス２００は、光学透過型ＨＭＤである。ここで立体映像観察デバイス２００は、後述する３次元モニタ３００を観察するための光学シャッタ（図示せず）を備えてもよい。光学シャッタは３次元モニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、３次元モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、３次元モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。光学シャッタは、例えば既知の液晶シャッタを用いて実現できる。

立体映像観察デバイス２００は、シャッタ切替のための同期信号を受信する。同期信号は、３次元モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。

３次元モニタ３００は、フレームシーケンシャル方式で立体映像を表示する。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。３次元モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。３次元モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ等の既知の提示デバイスを用いて実現できる。

情報処理装置４００は、映像提示システム１００で提示するための立体映像や上述した同期信号を取得する。情報処理装置４００の例としては、例えば据置型のゲーム機や携帯ゲーム機等である。情報処理装置４００は内蔵するプロセッサを用いて立体映像や同期信号を生成したり、図示しないネットワークインタフェースを介して、サーバ等の他の情報処理装置から立体映像を取得したりする。

図２は、実施の形態に係る立体映像観察デバイス２００の外観の一例を模式的に示す図である。立体映像観察デバイス２００は、立体映像を提示する提示部２０２、撮像素子２０４、および種々のモジュールを収納する筐体２０６を含む。

提示部２０２は、ユーザの目に立体映像を提示する光学透過型ＨＭＤと、光学透過型ＨＭＤを透過する外界の光の透過率を変更する液晶シャッタとを含む。撮像素子２０４は、立体映像観察デバイス２００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、撮像素子２０４は、立体映像観察デバイス２００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。撮像素子２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体２０６は、めがね形状の立体映像観察デバイス２００におけるフレームの役割を果たすとともに、立体映像観察デバイス２００が利用する様々なモジュール（図示せず）を収納する。立体映像観察デバイス２００が利用するモジュールとは、光学透過型ＨＭＤを実現するためのホログラム導光板を含む光学エンジン、液晶シャッタを駆動するためのドライバや同期信号受信部、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、および照度センサ等である。これらのモジュールは例示であり、また立体映像観察デバイス２００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体映像観察デバイス２００が想定する利用シーンに応じて決定すればよい。

図２は、めがね型の立体映像観察デバイス２００を例示する図である。立体映像観察デバイス２００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体映像観察デバイス２００も本発明の実施の形態に含まれることは、当業者であれば容易に理解される。

図３は、実施の形態に係る映像処理装置５００の内部構成を模式的に示す図である。実施の形態に係る映像処理装置５００は、上述した情報処理装置４００の一部として実現される。あるいは、インターネット等のネットワークを介して情報処理装置４００に送信するための立体映像を生成するサーバ内に実現されてもよいし、立体映像観察デバイス２００や３次元モニタ３００に内蔵されてもよい。あるいはさらに、映像処理装置５００は独立したひとつの装置であってもよい。以下では、実施の形態に係る映像処理装置５００は、上述した情報処理装置４００の一部として実現されることを前提に説明する。

実施の形態に係る映像処理装置５００は、コンテント実行部５１０、映像生成部５２０、出力部５３０、属性管理部５４０、マーカ特定部５５０、近接度取得部５６０、および相互作用演出部５７０を含む。

コンテント実行部５１０は、例えばゲームアプリケーションや、地図情報を提供するアプリケーション等、映像処理装置５００の処理対象となる映像を含むコンテントを実行する。コンテント実行部５１０は、コンテントを実行することにより、仮想的な３次元空間中に立体映像観察デバイス２００に表示させる３次元オブジェクトを設定する。

ここで本明細書における「オブジェクト」とは、３次元ＣＧにおける描画の要素となるポリゴン（polygon）の集合であって、各ポリゴンが共通の座標軸を持ち、ひとまとまりとして意味を持つものである。具体的には、木や家、車などの物体を表現するポリゴンの集合体や、ユーザの操作対象となるキャラクタ等の人物や生物を表現するポリゴンの集合体である。「オブジェクト」を構成するポリゴンの集合は共通の座標軸をもっているため、仮想的な３次元空間中において位置や向きを特定することができる。

例えば「木」を表すオブジェクトが根本から切り倒されることを表現する場合、仮想的な３次元空間中に直立していた「木」は、根本を中心軸として３次元空間中で次第に傾けて描画される。この時「木」のオブジェクトを構成するポリゴンの各座標は、中心軸を中心とする回転の座標変換を計算することによって求めることができる。これらの操作は、拡大、縮小のスケール変換と合わせて、既知の４×４の変換行列を用いる線形変換の演算によって実現できる。

映像生成部５２０は、コンテント実行部５１０が仮想的な３次元空間中に設定した３次元オブジェクトをもとに、立体映像観察デバイス２００に表示させる立体映像を生成する。具体的には、コンテント実行部５１０が仮想的な３次元空間中に設定した３次元オブジェクトの左目用の視差画像と右目用の視差画像とを生成する。

マーカ特定部５５０は、立体映像観察デバイス２００に備えられた撮像素子２０４が流し撮りする映像を取得し、映像中のマーカを特定する。ここで「マーカ」とは、例えばオブジェクトを生成するオブジェクト取得部５０２が利用する情報であって、仮想的な３次元空間に生成する画像の位置を特定できる情報である。マーカの具体例としては、例えばモニタに表示された画像や動画、カードや紙に印刷された画像、円や星形等の特定形状の物体、特定の色、人物や動物のシルエットや顔、ＧＰＳ等による特定の位置情報が示す位置などである。マーカとして、例えば円錐のような３次元の物体が用いられる場合には、マーカの３次元空間における「向き」が特定できる。このような場合、画像を生成すべき位置のみならず、生成する画像の向きも特定できる。

マーカにはＡＲイメージが関連づけられることが多い。ここで「ＡＲイメージ」とは、マーカに関連づけられたオブジェクトであって、そのマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトである。例えば、紙に印刷されたバーコードをマーカとして、速度ベクトルｖ_１で移動する「ボール」のＡＲイメージが関連づけられているとする。このとき、ユーザがマーカを速度ベクトルｖ_２で移動させたとすると、「ボール」はマーカに連動して動くため、速度ベクトルｖ_１と速度ベクトルｖ_２との合成ベクトルｖ_３の向きおよび速さで移動する。このように、映像生成部５２０が生成するオブジェクトには、マーカに関連づけられたＡＲイメージも含む。このため、映像生成部５２０は、オブジェクト生成部５２４、ＡＲイメージ生成部５２６、および制御部５２２を含む。

制御部５２２は、オブジェクト生成部５２４とＡＲイメージ生成部５２６との動作を統括的に制御する。制御部５２２は、コンテント実行部５１０が仮想的な３次元空間中に設定した３次元オブジェクトの情報、およびユーザに提示する映像を生成するための視線方向を取得し、オブジェクト生成部５２４に視差画像を生成させる。オブジェクト生成部５２４は、制御部５２２の制御の下、視差画像を生成して後述する出力部５３０に出力する。

ＡＲイメージ生成部５２６は、制御部５２２の制御の下、マーカ特定部５５０が特定したマーカに関連づけられているＡＲイメージを生成する。図４は、マーカ７１０とそのマーカに紐付けられたＡＲイメージ７１２とを含む映像を例示する図である。図４は、ユーザの腕７０２が握っている棒状の握り部および球状の物体からなるマーカ７１０を例示している。当然のことながら、ユーザの腕７０２は実在する。また、マーカ７１０も実在する物体である。図４に示すように、３次元空間にはｘ軸、ｙ軸、およびｚ軸による直交座標系６０２が設定されている。直交座標系６０２は、オブジェクト生成部５２４およびＡＲイメージ生成部５２６が仮想的な３次元空間に設定する座標系と一致する。

なお、直交座標系６０２のｘ軸とｙ軸とが張るｘｙ平面と、３次元モニタ３００の表示領域とが平行となるように、直交座標系６０２を設定するのが好ましい。より具体的には、直交座標系６０２のｘ軸とｙ軸とが張るｘｙ平面上に３次元モニタ３００の表示領域が重なるように、直交座標系６０２の原点Ｏが設定されるのが好ましい。また、直交座標系６０２のｚ軸は、３次元モニタ３００の表示領域に対して立体映像観察デバイス２００を装着するユーザの視点側が負のｚ座標値、３次元モニタ３００の表示領域に対して視点と反対側が正のｚ座標値となるように設定されるのが好ましい。

図４に示す例では、ＡＲイメージ７１２は炎を表現するオブジェクトである。ＡＲイメージ生成部５２６がマーカ７１０と関連づけて生成するＡＲイメージ７１２もオブジェクトであるため、位置座標が定められている。ＡＲイメージ生成部５２６は、上述の直交座標系６０２ではなく、ＡＲイメージ７１２を関連づけるマーカ７１０の位置に応じて定まる点を原点として設定された座標系７０４にしたがって、ＡＲイメージ７１２を生成する。このため、ユーザがマーカ７１０の位置や向き、傾きを変更すると、ＡＲイメージ７１２が基準とする座標系７０４も変更する。座標系７０４が変更されると、それに伴ってＡＲイメージ７１２の位置および向きも変更される。なお、ＡＲイメージ７１２が基準とする座標系７０４の原点は、必ずしも関連するマーカと重なる位置になくてもよい。

このように、ＡＲイメージ生成部５２６が生成するオブジェクトであるＡＲイメージは、マーカ７１０の動きと連動して動く。そこで、近接度取得部５６０が、異なるふたつのＡＲイメージ同士の近接度、すなわちたつのＡＲイメージ間の距離を計算して取得する。

図５は、異なるふたつのＡＲイメージ間の近接度を説明するための図であり、立体映像観察デバイス２００を装着したユーザに提示される映像の一例を示す図である。図５は、３種類のマーカ７１０、７１４、および３００と、それらに対応付けられた３種類のＡＲイメージ７１６、７１８、および７２０を示している。ここでマーカ７１４は紙に印刷された画像であり、マーカ３００は３次元モニタ３００における表示領域がマーカとなっている。マーカ７１０に関連づけられたＡＲイメージ７１６は光り輝く仮想的な刀身であり、マーカ７１４に関連づけられたＡＲイメージ７１８は、円錐形のオブジェクトである。また、マーカ３００に関連づけられたＡＲイメージ７２０は、３次元モニタ３００から飛来し３次元モニタ３００から離れる方向に移動する球状のオブジェクトである。

各ＡＲイメージには、ＡＲイメージ間の距離を計測するために定められた距離計測基準点が定められている。図５に示す例では、ＡＲイメージ７１６の距離計測基準点は符号７２２で示されている。同様に、ＡＲイメージ７１８およびＡＲイメージ７２０の距離計測基準点は、それぞれ符号７２４および７２６で示されている。距離計測基準点は、ＡＲイメージ７１６を構成するポリゴンの表面やＡＲイメージ７１６付近に存在すればどのような点でもよいが、一例として、近接度取得部５６０は、ＡＲイメージ７１６を構成する複数のポリゴンの重心位置に距離計測基準点を設定する。これにより、オブジェクトを構成するポリゴンが複数あったとしてもオブジェクトの位置座標をひとつの座標で表すことができるので、計算コストの抑制と処理速度の向上とが期待できる。

各ＡＲイメージには、ＡＲイメージ間の衝突を判定するために定められた衝突判定基準半径も定められている。例えば図５に示す例において、ＡＲイメージ７１６の衝突判定基準半径がｒ_１であり、ＡＲイメージ７２０の衝突判定基準半径がｒ_２であるとする。また、ＡＲイメージ７１６の距離計測基準点の座標が（ｘ_１，ｙ_１，ｚ_１）であり、ＡＲイメージ７２０の距離計測基準点の座標が（ｘ_２，ｙ_２，ｚ_２）であるとする。このとき近接度取得部５６０は、次の式（１）で示す式の値Ｅを評価する。
Ｅ＝（ｘ_１−ｘ_２）^２＋（ｙ_１−ｙ_２）^２＋（ｚ_１−ｚ_２）^２−（ｒ_１＋ｒ_２）^２（１）

式（１）において、Ｅ＝０の場合、ＡＲイメージ７１６の距離計測基準点とＡＲイメージ７２０の距離計測基準点との間のユークリッド距離Ｌが、ＡＲイメージ７１６の衝突判定基準半径ｒ_１とＡＲイメージ７２０衝突判定基準半径ｒ_２との和に等しいことを意味する。このとき、近接度取得部５６０は、ＡＲイメージ７１６とＡＲイメージ７２０とが「接している」とみなす。また、式（１）においてＥ＜０の場合、ＡＲイメージ７１６の衝突判定基準半径ｒ_１とＡＲイメージ７２０の衝突判定基準半径ｒ_２との和が、ＡＲイメージ７１６の距離計測基準点とＡＲイメージ７２０の距離計測基準点との間のユークリッド距離Ｌよりも大きいことを意味する。この場合、近接度取得部５６０は、ＡＲイメージ７１６とＡＲイメージ７２０とが「離れている」とみなす。反対に、式（１）においてＥ＞０の場合、ＡＲイメージ７１６の衝突判定基準半径ｒ_１とＡＲイメージ７２０の衝突判定基準半径ｒ_２との和が、ＡＲイメージ７１６の距離計測基準点とＡＲイメージ７２０の距離計測基準点との間のユークリッド距離Ｌよりも小さいことを意味する。この場合、近接度取得部５６０は、ＡＲイメージ７１６とＡＲイメージ７２０とが「重なっている」とみなす。このように、近接度取得部５６０が取得するＥの値は、ふたつのＡＲイメージ間の近接度を表現する値として利用することができる。

ここで各ＡＲイメージの衝突判定基準半径は、３次元空間中におけるＡＲイメージの大きさを反映する値であればよく、例えば、距離計測基準点からＡＲイメージを構成するポリゴンまでの距離をもとに設定すればよい。より具体的には、距離計測基準点からＡＲイメージを構成する各ポリゴンまでの距離の平均値、距離の最大値または最小値等を、そのＡＲイメージの衝突判定基準半径として採用すればよい。

図３の説明に戻り、相互作用演出部５７０は、近接度取得部５６０が取得した近接度をもとに、ふたつの異なるＡＲイメージ間に生じる相互作用を算出する。ここで「相互作用」とは、ＡＲイメージ間に生じる仮想の物理的あるいは化学的な相互作用と、ＣＧを用いた視覚効果（Visual Effects;ＶＦＸ）とを含む概念である。前者の例は、剛体同士の衝突における運動量保存則や、軟体同士の衝突であれば両者が結合する現象、あるいは一方のＡＲイメージが燃焼している場合に、燃焼していなかった他方のＡＲイメージに炎が移るといった現象である。後者の例は、一方のＡＲイメージがあらゆるものを切断する刀身である場合にそのＡＲイメージに触れた別のＡＲイメージが切断されるといった効果や、一方のＡＲイメージがあらゆるものを透過する属性が付加されている場合に、他方のＡＲイメージと干渉することなく重なるといった効果である。

属性管理部５４０は、ＡＲイメージ生成部５２６が生成するＡＲイメージそれぞれに付与される仮想的な物理特性や視覚効果を示す情報を含む属性を管理する。ここで属性管理部５４０が管理する属性は、相互作用演出部５７０が算出する相互作用に応じて変化する。具体的に、属性管理部５４０が管理する属性に含まれる物理特性は、ＡＲイメージの３次元空間における位置座標、速度ベクトル、加速度ベクトル、質量、ＡＲイメージの剛性、色、温度、燃焼しているか否か、発光しているか否か、上述した距離計測基準点および衝突基準半径を含む。これらの物理特性は例示であり、属性管理部５４０は、これらの物理特性を必ずしも全て管理する必要はない。どのような物理特性を管理するかは、コンテント実行部５１０が再生するコンテントが想定する利用シーンに応じて決定すればよい。

相互作用演出部５７０は、近接度取得部５６０が取得した近接度をもとに、ふたつのＡＲイメージの物理特性を変化させる。より具体的には、相互作用演出部５７０は、近接度取得部５６０が取得した近接度をもとに相互作用を算出し、属性管理部５４０が、相互作用演出部５７０が算出した相互作用に応じてＡＲイメージに付与された属性を変化させる。ＡＲイメージ生成部５２６は、ＡＲイメージの属性が変化したときに生成するイメージを変化させる。

例えば図５に示す例において、３次元モニタ３００から飛来して３次元モニタ３００から離れる方向に移動する球状のオブジェクトであるＡＲイメージ７２０が、３次元空間上で静止している円錐形のオブジェクトであるＡＲイメージ７１８に衝突する場合を考える。このとき近接度取得部５６０がＡＲイメージ７２０とＡＲイメージ７１８との間の近接度を計算し、両者が接したと判断したとする。相互作用演出部５７０は、ＡＲイメージ７２０に属性である質量および速度ベクトルと、ＡＲイメージ７１８の属性である質量および速度ベクトルとをもとに、運動量保存則と運動エネルギー保存則とを適用して、衝突後の両者の速度ベクトルを算出する。

属性管理部５４０は、ＡＲイメージ７１８およびＡＲイメージ７２０の属性中の速度ベクトルを、相互作用演出部５７０が算出した速度ベクトルで書き換える。ＡＲイメージ生成部５２６は、属性管理部５４０が書き換えた速度ベクトルにしたがって、ＡＲイメージ７１８およびＡＲイメージ７２０が移動するようにＡＲイメージ７１８およびＡＲイメージ７２０を変化させる。

図６は、異なるふたつのＡＲイメージ間の相互作用を例示する図であり、立体映像観察デバイス２００を装着したユーザに提示される映像の一例を示す図である。図６に示す例では、マーカ７１０に関連づけられた炎を表すＡＲイメージ７１２が、紙のマーカ７２８に関連づけられた爆弾を表すＡＲイメージ７３０の導火線に近接している。図６に示す例ではＡＲイメージ７３０の導火線に火はついていないが、ユーザがマーカ７１０を動かすことによって、ＡＲイメージ７１２がＡＲイメージ７３０の導火線とが十分に近接したと、近接度取得部５６０が判断したとする。このとき、相互作用演出部５７０は、ＡＲイメージ７３０の導火線が着火したとみなし、属性管理部５４０はＡＲイメージ７３０の属性を「燃焼していない」から「燃焼している」に変化させる。この結果、ＡＲイメージ生成部５２６は、ＡＲイメージ７３０の導火線に火がついて、時間とともに短くなるようにＡＲイメージ７３０を変化させる。

図６に示す例において、所定時間が経過した後に爆弾本体が着火したとする。この時、ＡＲイメージ生成部５２６は、爆弾を表すＡＲイメージ７３０は、爆発によっていくつかの破片に分裂されたように生成される。このように、ＡＲイメージ生成部５２６は、ひとつのＡＲイメージから別のＡＲイメージを新しく生成することもある。ひとつのＡＲイメージから別のＡＲイメージを新しく生成する場合の別の例としては、ピストルを表すＡＲイメージから銃弾を発射するイメージを生成する場合があげられる。あるいは、図６に示す例においてユーザがマーカ７１０を高速で移動させたとする。この時、マーカ７１０の移動に応じてＡＲイメージ７１２の移動ベクトルおよび加速度ベクトルが変化するが、これらの物理特性の単位時間あたりの変化量が所定のしきい値を上回る場合、ＡＲイメージ生成部５２６は、ＡＲイメージ７１２とは別の新たなＡＲイメージを生成してもよい。これにより、ユーザの操作に応じて炎が分裂して飛び出るといった演出が可能となる。

ここで、ひとつのＡＲイメージから別のＡＲイメージを新しく生成する場合、新しく生成されるＡＲイメージはもととなるマーカに関連づけられてもよいし、位置情報を用いた別のマーカであってもよい。

図７は、実施の形態に係る映像処理装置５００による相互作用演出処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば映像処理装置５００の電源が投入されたときに開始する。

近接度取得部５６０は、マーカ特定部５５０が特定した第１のマーカに関連づけられた第１ＡＲイメージの位置座標、距離計測基準点、および衝突基準半径を取得する（Ｓ２）。近接度取得部５６０はさらに、マーカ特定部５５０が特定した第２のマーカに関連づけられた第２ＡＲイメージの位置座標、距離計測基準点、および衝突基準半径も取得する（Ｓ４）

続いて近接度取得部５６０は、上述の式（１）にしたがって、第１ＡＲイメージと第２ＡＲイメージとの間の近接度を取得する（Ｓ６）。相互作用演出部５７０は、近接度取得部５６０が取得した近接度をもとに、第１ＡＲイメージと第２ＡＲイメージとの間の相互作用を計算する（Ｓ８）。

属性管理部５４０は、相互作用演出部５７０が算出した相互作用をもとに、第１ＡＲイメージと第２ＡＲイメージとの属性を変更する（Ｓ１０）。ＡＲイメージ生成部５２６は、属性管理部５４０がした属性変更を、第１ＡＲイメージと第２ＡＲイメージとに反映させる（Ｓ１２）。ＡＲイメージ生成部５２６が属性変更をイメージとに反映させると、本フローチャートにおける処理は終了する。

以上の構成による映像提示システム１００の利用シーンは以下のとおりである。立体映像観察デバイス２００を装着して映像提示システム１００を利用するユーザが、マーカを移動させることによってマーカに関連づけられたＡＲイメージを移動させ、別のＡＲイメージに近づける。ＡＲイメージ生成部５２６は相互作用演出部５７０による相互作用をＡＲイメージに反映させる。これにより、異なるマーカに対するＡＲイメージの接触や衝突等の近接度、およびそのときのＡＲイメージの速度や加速度等の属性に応じて、ＡＲイメージやコンテント実行部５１０が再生するコンテントの内容に変化を反映させることができる。例えばマーカの加速度を考慮することにより、そのマーカに関連づけられた鞭のＡＲイメージをマーカの動きに応じてしならせる表現などが可能となる。また、ＡＲイメージに付与された特殊な視覚効果を演出することも可能となる。

以上説明したように、実施の形態に係る映像提示システム１００によれば、特定の対象物に紐付けて生成される画像間の相互作用を演出する技術を提供することができる。より具体的には、複数のＡＲイメージが相互に影響し合うアプリケーションや、マーカの動きをＡＲイメージに反映させることが可能となる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
上記では、オブジェクトの距離計測基準点としてオブジェクトを構成するポリゴンの重心を採用する場合について説明したが、距離計測基準点はポリゴンの重心の座標には限られない。例えば、オブジェクトを構成するポリゴンのうちひとつのポリゴンの位置座標を代表で用いてもよい。このとき、代表で用いるポリゴンをオブジェクト間の位置関係に応じて適応的に変更してもよい。具体的には、オブジェクトを構成する複数のポリゴンのうち、別のオブジェクトとの距離が最短のポリゴンの位置座標をオブジェクトの座標として採用してもよい。これにより、例えばオブジェクト同士の衝突判定の計算を上述の式（１）を用いることなく、容易かつ正確にすることができる。

（第２の変形例）
上記では、映像提示システム１００が３次元モニタ３００を含む場合について説明したが、本発明の実施の形態において３次元モニタ３００は必須ではなく、立体映像の出力先が立体映像観察デバイス２００中の光学透過型ＨＭＤだけであっても本発明の実施の形態が成立することは当業者であれば容易に理解できることである。

（第３の変形例）
上記では、ＡＲイメージ同士が接する場合の相互作用を主に説明したが、ＡＲイメージ同士が接しない場合であっても相互作用は算出される。例えば、ユーザがマーカを動かして扇子を表すＡＲイメージを、紙切れを表すＡＲイメージに向かって扇ぐ場合、扇子を表すＡＲイメージと紙切れを表すＡＲイメージとは接しなくても、両者が十分に近接すれば、紙切れを表すＡＲイメージが吹き飛ぶという相互作用が演出される。このように、相互作用はＡＲイメージ同士の近接度に応じて定まる。

（第４の変形例）
上記では、近接度取得部５６０は異なるふたつのＡＲイメージ間の近接度を取得する場合について説明した、近接度取得部５６０が算出する近接度は、異なるふたつのＡＲイメージ間の近接度に限らず、あるＡＲイメージとマーカとの間の近接度を求めてもよい。以下、この場合について説明する。

図８は、あるＡＲイメージとマーカとの間の近接度を説明するための図である。図８に示す例においては、ユーザはマーカ７１０を操り、マーカ７１０に関連づけられているＡＲイメージ７３２を、３次元モニタ３００の表示領域に表示されているキャラクタ３０２に当てることを試みる。図８に示す例はゲームアプリケーションの例であり、ユーザは雷を表すＡＲイメージ７３２を敵キャラであるキャラクタ３０２に当てて攻撃することが想定されている。

上述したように、３次元モニタ３００の表示領域もひとつのマーカである。近接度取得部５６０は、ＡＲイメージ７３２と、マーカである３次元モニタ３００の表示領域に表示されている部分的な映像であるキャラクタ３０２との間で近接度を取得する。すなわち、近接度取得部５６０は、ＡＲイメージとマーカとの間の近接度を計算する。これにより、例えばコンテント実行部５１０が再生するコンテントが従来型の２次元のコンテントであり、３次元モニタ３００の表示領域に表示される映像が従来型の２次元の映像であったとしても、３次元のＡＲイメージとの相互作用を演出することが可能となる。

１００映像提示システム、２００立体映像観察デバイス、２０２提示部、２０４撮像素子、２０６筐体、３００３次元モニタ、３０２キャラクタ、４００情報処理装置、５００映像処理装置、５０２オブジェクト取得部、５１０コンテント実行部、５２０映像生成部、５２２制御部、５２４オブジェクト生成部、５２６ＡＲイメージ生成部、５３０出力部、５４０属性管理部、５５０マーカ特定部、５６０近接度取得部、５７０相互作用演出部、６０２直交座標系、７０４座標系。

Claims

撮像素子が撮像した被写体をマーカとして、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示するＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成するＡＲイメージ生成部と、
第１のマーカと第２のマーカとはともに、仮想的な３次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第１のマーカに紐付けられた第１ＡＲイメージ、第２のマーカに紐付けられた第２ＡＲイメージは、それぞれ第１のマーカ、第２のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化する複数のポリゴンで構成されるオブジェクトであり、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得する近接度取得部と、
前記近接度取得部が取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出する相互作用演出部とを含み、
前記近接度取得部は、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージ間の位置関係に応じて、第１ＡＲイメージを構成する複数のポリゴンのうち、第２ＡＲイメージとの距離が最短のポリゴンの位置座標を第１ＡＲイメージの距離測定基準点として採用し、第２ＡＲイメージを構成する複数のポリゴンのうち、第１ＡＲイメージとの距離が最短のポリゴンの位置座標を第２ＡＲイメージの距離測定基準点として採用し、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの距離測定基準点を用いて、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの大きさを反映する値を用いることなく、第１ＡＲイメージおよび第２ＡＲイメージ間の距離を求めることにより、仮想的な３次元空間における第１ＡＲイメージおよび第２ＡＲイメージ間の近接度を求め、
前記ＡＲイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させることを特徴とする映像処理装置。
前記ＡＲイメージ生成部が生成するＡＲイメージそれぞれに付与される仮想的な物理特性を含む属性を管理する属性管理部をさらに含み、
前記ＡＲイメージ生成部は、前記属性が変化したときに生成するイメージを変化させることを特徴とする請求項１に記載の映像処理装置。
前記属性管理部は、相互作用演出部が算出した相互作用に応じて第１ＡＲイメージまたは第２ＡＲイメージに付与れた属性を変化させることを特徴とする請求項２に記載の映像処理装置。
前記属性管理部が管理する属性に含まれる物理特性は、前記仮想的な３次元空間におけるＡＲイメージの位置座標、速度、加速度、または質量のうち少なくともひとつを含み、
前記相互作用演出部は、前記近接度取得部が取得した近接度をもとに、第１ＡＲイメージの物理特性と第２ＡＲイメージの物理特性とを変化させることを特徴とする請求項２または３に記載の映像処理装置。
前記属性管理部が管理する属性は、ＡＲイメージに反映させるべき視覚効果を示す情報を含むことを特徴とする請求項２から４のいずれかに記載の映像処理装置。
前記ＡＲイメージ生成部は、所定時間が経過した後、仮想の物理的または化学的な現象が起きた場合、当初のＡＲイメージをもとに別のＡＲイメージを新たに生成することを特徴とする請求項１から５のいずれかに記載の映像処理装置。
前記ＡＲイメージ生成部は、前記属性管理部が管理する属性に含まれる物理特性の単位時間あたりの変化量が所定のしきい値を上回る場合、当該属性を付与された当初のＡＲイメージをもとに別のＡＲイメージを新たに生成することを特徴とする請求項２から５のいずれかに記載の映像処理装置。
前記ＡＲイメージ生成部は、前記当初のＡＲイメージをもとに前記別のＡＲイメージを新たに生成する際、新しく生成されたＡＲイメージを前記当初のＡＲイメージが紐付けられた元のマーカーに紐付けることを特徴とする請求項６または７に記載の映像処理装置。
前記ＡＲイメージ生成部は、前記当初のＡＲイメージをもとに前記別のＡＲイメージを新たに生成する際、新しく生成されたＡＲイメージを位置情報を用いた別のマーカーに紐付けることを特徴とする請求項６または７に記載の映像処理装置。
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示するＨＭＤと、当該ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするＡＲイメージを生成するステップと、
第１のマーカと第２のマーカとはともに、仮想的な３次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第１のマーカに紐付けられた第１ＡＲイメージ、第２のマーカに紐付けられた第２ＡＲイメージは、それぞれ第１のマーカ、第２のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化する複数のポリゴンで構成されるオブジェクトであり、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得するステップと、
取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出するステップと、
算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させるステップとをプロセッサに実行させ、
前記近接度を取得するステップは、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージ間の位置関係に応じて、第１ＡＲイメージを構成する複数のポリゴンのうち、第２ＡＲイメージとの距離が最短のポリゴンの位置座標を第１ＡＲイメージの距離測定基準点として採用し、第２ＡＲイメージを構成する複数のポリゴンのうち、第１ＡＲイメージとの距離が最短のポリゴンの位置座標を第２ＡＲイメージの距離測定基準点として採用し、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの距離測定基準点を用いて、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの大きさを反映する値を用いることなく、第１ＡＲイメージおよび第２ＡＲイメージ間の距離を求めることにより、仮想的な３次元空間における第１ＡＲイメージおよび第２ＡＲイメージ間の近接度を求めることを特徴とする映像処理方法。
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示するＨＭＤと、当該ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするＡＲイメージを生成する機能と、
第１のマーカと第２のマーカとはともに、仮想的な３次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第１のマーカに紐付けられた第１ＡＲイメージ、第２のマーカに紐付けられた第２ＡＲイメージは、それぞれ第１のマーカ、第２のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化する複数のポリゴンで構成されるオブジェクトであり、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得する機能と、
取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出する機能と、
算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させる機能とをコンピュータに実現させ、
前記近接度を取得する機能は、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージ間の位置関係に応じて、第１ＡＲイメージを構成する複数のポリゴンのうち、第２ＡＲイメージとの距離が最短のポリゴンの位置座標を第１ＡＲイメージの距離測定基準点として採用し、第２ＡＲイメージを構成する複数のポリゴンのうち、第１ＡＲイメージとの距離が最短のポリゴンの位置座標を第２ＡＲイメージの距離測定基準点として採用し、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの距離測定基準点を用いて、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの大きさを反映する値を用いることなく、第１ＡＲイメージおよび第２ＡＲイメージ間の距離を求めることにより、仮想的な３次元空間における第１ＡＲイメージおよび第２ＡＲイメージ間の近接度を求めることを特徴とするプログラム。
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示するＨＭＤと、
前記ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子と、
前記撮像素子が撮像した被写体をマーカとして、前記ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成するＡＲイメージ生成部と、
第１のマーカと第２のマーカとはともに、仮想的な３次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第１のマーカに紐付けられた第１ＡＲイメージ、第２のマーカに紐付けられた第２ＡＲイメージは、それぞれ第１のマーカ、第２のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化する複数のポリゴンで構成されるオブジェクトであり、第１のマーカに紐付けられた第１ＡＲイメージと、第２のマーカに紐付けられた第２ＡＲイメージとの間の、仮想的な３次元空間における近接度を取得する近接度取得部と、
前記近接度取得部が取得した近接度をもとに、第１ＡＲイメージまたは第２ＡＲイメージとの間に生じる相互作用を算出する相互作用演出部とを含み、
前記近接度取得部は、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージ間の位置関係に応じて、第１ＡＲイメージを構成する複数のポリゴンのうち、第２ＡＲイメージとの距離が最短のポリゴンの位置座標を第１ＡＲイメージの距離測定基準点として採用し、第２ＡＲイメージを構成する複数のポリゴンのうち、第１ＡＲイメージとの距離が最短のポリゴンの位置座標を第２ＡＲイメージの距離測定基準点として採用し、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの距離測定基準点を用いて、仮想的な３次元空間中における第１ＡＲイメージおよび第２ＡＲイメージの大きさを反映する値を用いることなく、第１ＡＲイメージおよび第２ＡＲイメージ間の距離を求めることにより、仮想的な３次元空間における第１ＡＲイメージおよび第２ＡＲイメージ間の近接度を求め、
前記ＡＲイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第１ＡＲイメージまたは第２ＡＲイメージの少なくともいずれか一方のイメージを変化させることを特徴とする映像処理システム。