JPWO2012049795A1 - 表示処理装置、表示方法およびプログラム - Google Patents

Abstract

表示処理装置は、本１０のページを撮影した画像（撮影画像）内からマーカ画像を抽出する。その後、抽出したマーカ画像に基づいてページの曲がり度合いを示す曲面１７０を作成する。そして、撮影画像に仮想物体１８０を曲面１７０に応じて変形した仮想画像を重畳し、この重畳した画像をＨＭＤ２０に表示する。

Description

拡張現実技術に関する。

拡張現実（AR：Augmented Reality）技術とは、現実世界の画像に仮想物体を重畳してユーザに見せる技術のことである。

ユーザに与える違和感が少ない拡張現実感を実現するためには、現実世界の画像に応じて、適切な種類の仮想物体を適切な位置に表示する必要がある。

これに関して、非特許文献１では、表示デバイスとしてカメラ搭載のＨＭＤ（Head Mounted Display）を用い、このカメラにより撮影されたマーカの位置やマーカ独自のパターンを利用することで、ＨＭＤに表示すべき仮想物体の取り扱いを行うとしている。

特許３９９３４２３号公報

加藤博一ら著「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」日本ＶＲ学会論文誌Ｖｏｌ４、Ｎｏ４、ｐｐ６０(１９９９)

本発明者は、ＨＭＤを装着して読書するユーザに対して、本のページに応じた仮想物体を表示することについて検討している。例えば、背景画が印刷された児童書のページに、仮想物体としてのキャラクターの画像を表示すれば、ユーザに躍動感をもたらすことができるであろう。

ところが読書中のユーザが見開いた本のページは湾曲することがあるので、ユーザに違和感をもたらすことがないよう、現実世界におけるこの湾曲を考慮して仮想物体を表示する必要がある。

本発明はこのような問題に鑑みてなされたものであって、本のページを撮影した撮影画像（現実世界の画像）上に仮想物体を重畳して表示するに際して、ページの曲がり度合いに合わせた適切な形態での仮想物体の表示を図る。

本発明に係る表示処理装置は、現実世界を撮影した撮影画像の上に、仮想物体を重畳して表示する表示処理装置であって、本のページを撮影した撮影画像を取得する取得手段と、取得された撮影画像から、１以上のマーカ画像を抽出する抽出手段と、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成手段と、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理手段と、を備えることを特徴としている。

本発明に係る表示処理装置によれば、ページの曲がり度合いに合わせた適切な形態で仮想物体を表示することに寄与できる。

読書システム１の概要を示す図 見開いた本１０の外観を示す図 マーカ２Ｌ，２Ｒに埋め込まれたマーカ内部情報の例 ＨＭＤ２０の機能ブロック図 重畳表示に関する処理を示すフローチャート 曲面算出処理を示すフローチャート ３つの座標系を示す図 曲面算出処理の流れの一例を示す図 曲面算出処理の流れの一例を示す図 重畳表示の例を示す図 マーカ２Ｌ，２Ｒに埋め込まれたマーカ内部情報の例 ＨＭＤ２１の機能ブロック図 重畳表示の例を示す図 重畳表示に関する処理を示すフローチャート 曲面算出処理を示すフローチャート 付近点を設定する例を示す図 ＨＭＤ２０の機能ブロック図 重畳表示に関する処理を示すフローチャート

以下、実施の形態について、図面を参照しながら説明する。

（実施の形態１）
＜構成＞
図１は、読書システムの概要を示す図である。

図１に示すように、読書システム１は、本１０とユーザが装着しているＨＭＤ２０とを含んで構成される。

ＨＭＤ２０は、見開かれた本１０の両ページを撮影した画像（現実世界の画像）を生成し、この画像に各ページに応じた仮想物体を重畳表示することで、本１０の内容を充実したり補完したりするものである。

重畳表示に際しては、ユーザに違和感を与えぬよう、仮想物体が紙のページ上にあたかも存在しているかのように表示することが望まれる。

しかしながら、紙製の本１０のページは湾曲することがあるので、仮想物体を真っ平らな平面上に貼り付けて表示した場合には、仮想物体がページの天地方向またはページ手前奥方向にずれるような違和感をユーザに与え得る。

そこで、本実施の形態の読書システム１では、ページの実際の曲がり度合いに合わせた曲面を作成し、作成した曲面に応じた適切な形態で仮想物体の重畳表示を図る。

図２は、見開いた本１０の外観を示す図である。

図２（ａ）に示すように、本１０の左ページの左下および右下部分には、マーカ２Ｌ，２Ｒが印刷されている。右ページも同様に４Ｌ，４Ｒが印刷されている。このように左右のページの構成は同様なため、以下では左ぺージの重畳表示に関係する部分を中心に説明する。

また、本１０の左ページにおいて、ページが背（spine）に接する部分を喉部（gutter）１５と呼び、この喉部１５を除いた三方の辺は小口１６ａ〜１６ｃ（図２中、仮想の二点鎖線で示す。）と呼ぶ。特に、上の辺である小口１６ａは「天辺」、下の辺である小口１６ｃは「地辺」という。

図２（ｂ）を参照してマーカ２Ｌについて説明する。なお、他のマーカ２Ｒ，４Ｌ，４Ｒもマーカ２Ｌと同様の構成である。

マーカ２Ｌは、四隅には切り出しシンボル２ａ〜２ｄを有し、残余の部分は白黒のパターンとなっている。切り出しシンボル２ａ〜２ｄは、黒と白の長さの比が黒：白：黒：白：黒＝1：1：3：1：1であり、この比は、マーカ２Ｌの位置や大きさの検出に利用される。

このように、マーカ２Ｌは二次元コードの一種であるＱＲ（Quick Response）コードに類似したものであるが、ＱＲコードは三隅に切り出しシンボルを有するのに対して、マーカ２Ｌは四隅に切り出しシンボルを有する点はＱＲコードと異なっている。

また、ＱＲコード同様に、マーカ２Ｌには白黒のパターンを利用して最大で数ＫＢ程度の情報を埋め込むことができる。以下では、マーカ２Ｌ，２Ｒに埋め込まれた情報を「マーカ内部情報」と呼ぶ。

図３にマーカ内部情報の例を示す。

図３（ａ）に示すように、マーカ内部情報は、マーカが印刷された本のページを示す「ページ」２０ａ、ページの「紙面サイズ」２０ｂ、「マーカ座標」２０ｃ、「マーカサイズ」２０ｄの４項目を含む。上記「マーカ座標」２０ｃはマーカの４つの頂点の中で、ページ中央から遠い側かつ天地方向において「地」方向側の点の座標を示す。

図３（ｂ）は、図３（ａ）のマーカ内部情報から得られる情報のイメージ図である。特に、両マーカ２Ｌ，２Ｒの座標（50,750），（450,750）からマーカ間の距離は400となる。

図４は、ＨＭＤ２０の機能ブロック図である。

ＨＭＤ２０は、カメラ２２、取得部２３、マーカ抽出部２４、座標情報格納部２６、マーカ読取部２８、内部情報格納部３０、仮想物体取得部３２、曲線算出部３８、曲面作成部４０、曲面情報格納部４２、表示エンジン４４、ディスプレイ４６を備える。

カメラ２２は、撮影により画像を生成する機能を有する。例えば画素数が数百万画素のＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであり、ＨＭＤ２０を装着するユーザの視線と一致するような方向に向けてＨＭＤ２０の筐体に取り付けられている。

取得部２３は、カメラにより撮影された画像を取得する。

マーカ抽出部２４は、取得部２３により取得された画像から、四隅の切り出しシンボル２ａ〜２ｄを検出することによりマーカ画像の領域を抽出する。

本明細書では、現実にページに印刷されたマーカを単に「マーカ」と呼び、撮影画像から抽出したマーカは「マーカ画像」と呼んで両者を区別する。

そして、抽出したマーカ画像の領域の座標を示す座標情報を座標情報格納部２６に格納する。

マーカ読取部２８は、マーカ抽出部２４により抽出されたマーカ画像の領域内からマーカ内部情報を読み取り、読み取った内部情報を内部情報格納部３０に格納する。この読み取りのやり方は、ＱＲコードで利用されている手法を用いることができる。

仮想物体取得部３２は、仮想物体特定部３４と仮想物体格納部３６とを有する。

仮想物体格納部３６は、複数の仮想物体をページ番号に紐付けて格納している。

仮想物体特定部３４は、内部情報格納部３０に格納された内部情報のページ番号を基に、仮想物体格納部３６に格納された複数の仮想物体の中からそのページ番号に対応する仮想物体を特定する。

一例を挙げると、仮想物体特定部３４は、図３（ａ）のように「ページ」１３ａの項目が35ページならば、仮想物体格納部３６に格納された複数の仮想物体の中からこの35ページに対応する仮想物体を特定する。

曲線算出部３８は、座標情報格納部２６の座標情報および内部情報格納部３０の内部情報を基に、カメラ２２が撮影した見開き本１０のページの湾曲の程度を示す曲線を算出する。

曲面作成部４０は、曲線算出部３８が算出した曲線を基に、曲面を算出して、曲面情報格納部４２に格納する。

表示エンジン４４は、仮想物体特定部３４により特定された仮想物体を、曲面情報格納部４２に格納された曲面に応じて変形（加工）し、変形後の仮想物体をディスプレイ４６に重畳表示する。

＜動作＞
続いて、HMD２０における重畳表示に関する処理を図５〜図１０を用いて説明する。

まず、取得部２３は、見開かれた本１０の両ページが写り込んだ撮影画像をカメラ２２から取得する（図５：Ｓ５１）。

そして、この撮影画像からマーカ抽出部２４はマーカ２Ｌ，２Ｒに対応する領域をマーカ画像として抽出し（切り出し）、抽出したマーカ画像の座標情報を座標情報格納部２６に格納する（Ｓ５２）。

マーカ読取部２８は、マーカ抽出部２４により抽出されたマーカ画像１２Ｌ，１２Ｒそれぞれの領域を対象としてマーカ内部情報を読み取り、読み取ったマーカ内部情報を内部情報格納部３０に格納する（Ｓ５３）。

そして、仮想物体特定部３４、仮想物体格納部３６の仮想物体の中から、重畳表示の対象となる仮想物体を特定する（Ｓ５４）。

続いて、図６の曲面を算出する処理に移る（Ｓ５５）。

さて、図６の処理の説明に入る前に、本実施の形態で取り扱う３つの座標系について説明する。もっとも、この３つの座標系は、ＡＲ技術の分野ではよく知られたものであるので簡単な紹介に留める。

（１）現実世界座標系・・・現実世界の空間の中で物体の位置を示すための座標系である。ＡＲ技術の分野では「ワールド座標系」や「グローバル座標系」と呼ばれることもある。

（２）カメラ座標系・・・カメラを中心とする座標系である。

（３）スクリーン座標系・・・現実世界の画像を写した（投影した）座標系である。

図７に、現実世界座標系５１１、カメラ座標系５１２、スクリーン座標系５２１のイメージを示す。

カメラ２２が撮影した画像から抽出した座標情報は、この（３）スクリーン座標系で表されるが、実際の現実世界におけるページの湾曲度合いを求めるには、（１）現実世界座標系で表される座標への変換を要する。

このために本実施の形態では、（３）スクリーン座標系を、（３）スクリーン座標系→（２）カメラ座標系と変換し、さらに、（２）カメラ座標系→（１）現実世界座標系と変換する。

前者の（３）スクリーン座標系から（２）カメラ座標系への変換のやり方は、例えば、非特許文献１に記載されている手法を用いることができる。

後者の（２）カメラ座標系→（１）現実世界座標系への変換は、まずＨＭＤ２０側において大きさが既知なマーカからマーカの３次元座標を推定する（推定方法の詳細は非特許文献１参照）。続いて、推定された３次元座標を基に座標変換のための行列を算出して行うことができる。

図６の処理を、処理の流れの一例を示す図８〜図９を用いて説明する。

曲線算出部３８は、座標情報格納部２６に格納された座標情報と、内部情報格納部３０のマーカ内部情報とに基づいて、両マーカ画像１２Ｌ，１２Ｒ（マーカ２Ｌ，２Ｒ）の現実世界座標系における座標を算出する（Ｓ６１）。具体的には、図８（ａ）に示すように、曲線算出部３８は、マーカ画像１２Ｌの頂点１２１Ｌ〜１２４Ｌおよびマーカ画像１２Ｒの頂点１２１Ｒ〜１２４Ｒの座標を算出する。

続いて、曲線算出部３８は、両マーカ画像１２Ｌ，１２Ｒの辺からベクトルを算出する（Ｓ６２）。図８（ｂ）に示すように、曲線算出部３８は、マーカ１２Ｌの下辺を通るベクトル１２５Ｌおよびページの左辺を通るベクトル１２６Ｌを算出する。同様に、マーカ画像１２Ｒの下辺を通るベクトル１２５Ｒ、マーカ画像１２Ｒの右辺を通る１２６Ｒを算出する。

そして、曲線算出部３８は、マーカ画像１２Ｌの下辺のベクトルと、マーカ画像１２Ｒの下辺のベクトルをそれぞれ延長した直線の交点を算出する（Ｓ６３）。図８（ｃ）に示すように、曲線算出部３８は、ベクトル１２５Ｌおよびベクトル１２５Ｒを延長した直線の交点１３０を求める。ここで、実際に印刷されたマーカ画像１２Ｌ，１２Ｒは同一紙面上にあるので、ベクトル１２５Ｌおよびベクトル１２５Ｒも同一平面上（（Ｘｂ、Ｙｂ）平面）に存在すると仮定している。

なお、両ベクトルの位置関係がねじれの位置にあり、上の手法で交点が求まらないときには、交点１３０の（Ｘｂ、Ｙｂ）成分は両ベクトル１２５Ｌ，１２５Ｒの（Ｘｂ、Ｙｂ）成分のベクトルの交点Ａとする。また、交点１３０のＺｂ成分については、
（１）この交点Ａを通るＺｂ軸に平行なベクトルと、ベクトル１２５Ｌとの交点Ｂ、
（２）この交点Ａを通るＺｂ軸に平行なベクトルと、ベクトル１２５Ｒとの交点Ｃ、
を求め、両交点Ｂ，Ｃその中間点（（Ｂ＋Ｃ）／２）を求めて算出してもよい。

続いて、曲線算出部３８は、交点１３０の前後に第１付近点１３１、第２付近点１３２を設定する（Ｓ６４，図８（ｄ））。第１付近点１３１および第２付近点１３２は、交点１３０からベクトル１２６Ｌ，１２６Ｒのベクトル和方向（ぺージの「天」方向に対応）に一定距離だけ移動させた点である。

そして、曲線算出部３８は、
（１）左のマーカ画像１２Ｌの下辺から、交点１３０を通って、右のマーカ画像１２Ｒの下辺に至る曲線１４０
（２）左のマーカ画像１２Ｌの下辺から、第１付近点１３１を通って、右のマーカ画像１２Ｒの下辺に至る曲線１４１
（３）左のマーカ画像１２Ｌの下辺から、第２付近点１３２を通って、右のマーカ画像１２Ｒの下辺に至る曲線１４２
この３本の曲線１４０〜１４２を算出する（Ｓ６５，図９（ｅ））。

この曲線の算出は、左の下辺の頂点１２１Ｌ，頂点１２２Ｌの２点、中央の交点１３０の１点および右の下辺の頂点１２２Ｒ，頂点１２１Ｒの２点の合計５点結ぶスプライン曲線を算出して曲線１４０を求めることができる。同様に、中央の点を、第１付近点１３１または第２付近１３２とそれぞれ変更することで、曲線１４１，曲線１４２がそれぞれ求められる。

３本の曲線を算出した後、曲線算出部３８は、マーカ内部情報から計算されるマーカ間の距離に最も近い曲線を、最終的な曲線と確定する（Ｓ６６）。

図３を用いて説明したように、曲線算出部３８は、両マーカ画像１２Ｌ，１２Ｒの座標（50,750），（450,750）からマーカ間の距離を400と求める。そして、曲線１４０〜１４２の中からこの距離400に最も近い曲線（図９（ｆ）の例では曲線１４１が最も近いとする。）を求める。

続いて、曲面作成部４０は、確定した曲線１４１を交点１３０からベクトル１２６Ｌ，１２６Ｒのベクトル和方向（ぺージの「天」方向に対応）に平行移動した曲線１５１を求める（Ｓ６７，図９（ｆ））。

そして、曲面作成部４０は、平行移動前の曲線１４１と、平行移動後の曲線１５１とを囲む曲面を作成する（Ｓ６８）。

具体的には、曲面作成部４０は、図９（ｇ）に示すように、曲線１４１上の点１２１Ｌ，１２２Ｌと、この点１２１Ｌ，１２２Ｌを「天」方向に平行移動した点１６１Ｌ、１６２Ｌの合わせて4点を囲んで小さな曲面１４１を作成する。

そして、曲面作成部４０は、同様に、点１２２Ｌ、点１４３、点１６２Ｌ、点１６３の４点を囲む小さな曲面１７２を作成し、さらに、小さな曲面１７３〜１７５を作成し、作成した小さな曲面１７１〜１７５をつないで曲面１７０を作成する（図９（ｈ））。この曲面１７０は見開きの本１０の左ページの湾曲度合いを示す曲面である。

なお、図９（ｇ）の例では、曲線１４１上に６点を設定するとしたが、これに限らず任意の個数とすることができる。細かく点を設定すれば、より精緻な曲面を作成することが可能となるが処理負荷は大きくなる。

曲面算出処理（図５：Ｓ５５）を終えると、仮想物体を曲面に合わせて変形し、ディスプレイ４６に重畳表示する（Ｓ５６）。

図１０に重畳表示の例を示す。

図１０では、撮影した画像（撮影画像）上に、仮想物体１８０を曲面１７０に合わせて変形した画像（仮想画像）を重畳した画像（重畳画像）をＨＭＤ２０に表示している。

なお、この仮想物体１８０の変形は、曲面１７０に仮想物体１８０を貼り付けるテクスチャマッピングの手法を用いる。

ＨＭＤ２０に表示されている太陽と星を示す仮想物体１８０は、曲面１７０に合わせて変形されているので、ユーザが手で見開いている本１０の左ページ上に太陽と星があたかも描かれているかのように見せることができる。

また、仮想物体１８０がページの天地方向にずれて見えることを防ぐことができるし、さらに、仮想物体１８０がページの手前奥方向にずれることでページから浮き上がったりページに埋没したりするような不自然な見え方をも防ぐことができる。

以上、説明したように、本実施の形態によれば、ページ上に印刷した２つのマーカにより、ページの湾曲度合いに応じた曲面を算出することができる。曲面の算出のために、大量のマーカを準備する必要もなく、処理も比較的軽い処理で行うことができるので、特にＨＭＤに適用することが好適である。

（実施の形態２）
実施の形態２では、地図が描かれた本の画像上に、仮想物体として現在地を示すマークを重畳表示するものである。基本的な構成は実施の形態１と同様であるので、異なる部分を中心に説明する。

図１１にマーカ２Ｌ，２Ｒに埋め込まれたマーカ内部情報の例を示す。

マーカ内部情報は、基本的には図３と同様であるが、「位置情報」１３ｅの項目が異なる。この「位置情報」１３ｅは、マーカ２Ｌ，２Ｒが印刷されたページの地図がカバーする緯度・経度の範囲を示すものである。

図１２は、ＨＭＤ２１の機能ブロック図である。図４と同じ機能ブロックには同じ符号を付して説明を省略する。

位置情報受信部５０は、一般的なＧＰＳ(Global Positioning System)ユニットから構成されており、ＧＰＳアンテナ５１を介して位置情報を受信する。

表示エンジン４４は、仮想物体格納部３６に格納された現在地を示すマークを曲面情報格納部４２に格納された曲面に沿って変形する。

また、内部情報格納部３０に格納されたマーカ内部情報の位置情報から、上記曲面に座標系を設定し、位置情報受信部５０に示される位置に現在地を示すマークを重畳表示する。

図１３に重畳表示の例を示す。

図１３の仮想画像に示すように、表示エンジン４４は、マーカ内部情報の「位置情報」１３ｅ（図１１参照）の(34.7,135.5)をページ左上の点Ａとし、(34.8, 135.6)をページ右下の点Ｂと設定する。

そして、表示エンジン４４は、曲面１９０に沿って現在地を示すマーク２００を変形し、変形したマークを位置情報受信部５０に示される位置(34.74,135.55)に配置する。

図１３の重畳画像では、ページに印刷された地図上に現在地を示すマークが表示されており、ＨＭＤ２１を装備するユーザは現在地を確認することができる。

本実施の形態２によれば、ユーザーが地図が印刷された紙の本を閲覧する際に、現在地を示す情報を重畳することで利便性の向上に寄与できる。また、この重畳表示は、ネットワーク通信手段を用いず行うことができる。

また、マーク２００は曲面１９０に応じて変形され、曲面１９０に応じた位置に重畳表示されているので、マークがページ上で、特に天地方向にずれることを防止できる。特に、地図が細い通りが入り組んだようなものである場合には、上下のずれを防ぐことで、現在地をより正確に表すことができる。
（実施の形態３）
上に述べた重畳表示は、リアルタイムに行う必要がある上、ＨＭＤは汎用ＰＣなどと比べると処理能力に長けていないことが多い。

そこで、実施の形態３では、マーカ内部情報の読み取りの処理（図１４）や、曲面算出の処理（図１５）の軽減を図る。

図１４に示すように、マーカ抽出部２４は、撮影画像からマーカ画像を抽出後（Ｓ５２）、前回のマーカ画像と今回のマーカ画像のマーカ座標を比較する。同じであれば、マーカ内部情報の読み取りなどの処理（Ｓ５３，Ｓ５４）をスキップし（Ｓ１４１：同じ）、前回読み取ったマーカ内部情報を再度利用する。

リアルタイムな重畳表示においては、カメラ２２は例えば60ｆｐｓで画像をキャプチャしており、マーカ座標がマーカ画像間でほとんど変わらないことがある。このような処理を行うことで、マーカ内部情報の読み取りに要する処理を軽減できる。

また、図１５に示すように、曲面算出処理においては、今回の画像のマーカ座標が前回から変化していなければ（Ｓ１５１：Ｎｏ）、曲線算出部３８は、前回の最終的な曲線の中央点（交点または付近点）を、今回の交点と設定する（Ｓ１５２）。こうすることで、ステップＳ６１〜Ｓ６３をスキップでき処理の軽減をもたらすことができる。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）付近点の作り方
実施の形態では、図８（ｄ）に示すように、交点１３０をぺージの「天」方向に移動させて付近点１３１，１３２を作成するとしたが、これに限らず、図１６に示すように、Ｚｂ軸方向（ページの手前奥方向に対応する方向である。）に延ばした直線上に付近点１３３，１３４を設定しても良い。

また、図８（ｄ）では、付近点を２個作成したが、処理負荷に余裕がある場合などには、この個数を増やしてもよい。
（２）曲線の作り方
実施の形態では、図９（ｅ）に示すようなスプライン曲線を作成するとしたが、曲線を作成する手法はこれに限られない。

ベジェ曲線や、ベジェ・スプライン曲線（例えば、区分ごとにベジェ曲線を生成して、生成したベジェ曲線をつなぎあわせてスプライン曲線を得る。）などの手法を用いることができる。

また、曲線の距離を計算する計算時間の短縮を図りたい場合は、スプライン曲線算出に使用した５点（例えば、点１２１Ｌ，１２２Ｌ，点１３０，点１２２Ｒ，点１２１Ｒ）を隣同士結んだ線分よりなる折れ線の距離を、曲線の距離として代用してもよい。
（３）ページの材質
実施の形態では、本１０のページは紙製としたが、紙に限らずフレキシブルディスプレイなど湾曲が生じる材質でも構わない。
（４）仮想物体
実施の形態では、ＨＭＤ２０の仮想物体格納部３６内に表示対象となる仮想物体を格納するとしたが、格納しなくとも外部から取得するようにしてもよい。

例えば、マーカのマーカ内部情報として、仮想物体を識別する情報としてＵＲＬ（Uniform Resource Locator）を含ませておき、ＨＭＤ２０においてこのＵＲＬに示される場所（Locator）からネットワークを介して仮想物体を取得するとしてもよい。

また、仮想物体は平面画像（２Ｄ画像）に限らず、立体画像（３Ｄ画像）であっても構わない。

例えば、立体画像として曲面上を動き回るキャラクターを表示する場合には、曲面作成部４０が作成した曲面をキャラクターとの衝突判定に用いたり、この曲面に摩擦係数を設定することが考えられる。
（５）カメラ
実施の形態では、ＨＭＤ２０はカメラ２２を備えるとしたが、カメラは必須ではなくカメラを備えないＨＭＤの構成もあり得る。その場合は、例えば、ＨＭＤと外部装置としてのカメラとを通信ケーブルで接続しておき、ＨＭＤの取得部においてカメラからその撮影画像を取得するとしても構わない。
（６）曲面の作り方
実施の形態では、曲線を算出した後で、算出した曲線を基に曲面を作成するとしたが、これに限られず、曲線を介さず直接曲面を作成する手法も採用できる。

この（５）（６）を踏まえて、ＨＭＤ２０の要部２０ａを図１７に示す。
（７）プログラム
上述の実施の形態で示した動作などを各種情報処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。

このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等の非一時的な（not-transitory）記録媒体がある。

流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
（８）ＬＳＩ
図面に示した各機能ブロックは、集積回路であるＬＳＩとしてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
（１）実施の形態に係る表示処理装置は、現実世界を撮影した撮影画像の上に、仮想物体を重畳して表示する表示処理装置であって、本のページを撮影した撮影画像を取得する取得手段と、取得された撮影画像から、１以上のマーカ画像を抽出する抽出手段と、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成手段と、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理手段と、を備える。
（２）また、前記抽出手段は、第１マーカ画像および第２マーカ画像を抽出し、前記作成手段は、前記第１マーカ画像および前記第２マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲線を算出し、この曲線に基づいて前記曲面を作成するとしても構わない。
（３）また、前記ページの天地方向において、前記第１マーカ画像および第２マーカ画像に相当する印画部分の一方はページ左側に、他方はページ右側に印刷され、両者ともページの左右方向に延びる辺を有し、前記作成手段が算出する前記曲線は、前記第１マーカ画像の辺および前記第２マーカ画像の辺を通る曲線であり、前記作成手段は、前記曲線を前記撮影画像内のページの天地方向に平行移動させることにより前記曲面を作成するとしても構わない。
（４）抽出された前記第１マーカ画像および前記第２マーカ画像のそれぞれから前記ページにおける各マーカに相当する印画部分の座標を示す情報を読み取る読取手段と、読み取られた座標間の距離を計算する計算手段とを備え、前記作成手段は、計算された前記距離に基づいて、前記曲線を算出するとしても構わない。
（５）前記作成手段は、前記第１マーカ画像の辺を延長した直線と、前記第２マーカ画像の辺を延長した直線の両直線の交点を求め、（ａ）前記第１マーカ画像の辺から、前記交点を通って、前記第２マーカ画像の辺に至る１本の曲線と、（ｂ）前記第１マーカ画像の辺から、前記交点の近隣に位置する付近点を通って、前記第２マーカ画像の辺を通る１本以上の曲線と、を作成し、作成したすべての曲線の中から、その距離が前記計算された距離に最も近い曲線を最終的な曲線として算出するとしても構わない。
（６）前記付近点は、前記交点を前記撮影画像内のページの天地方向または奥行き方向に移動させた点であるとしても構わない。
（７）前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から仮想物体を識別する情報を読み取り、前記表示処理手段は、前記読み取りにより識別された仮想物体を前記重畳表示の対象とするとしても構わない。
（８）前記ページ上には地図が印刷されており、前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から当該ページの地図が範囲に含む座標の範囲を示す座標情報を読み取り、現在地を示す位置情報を受信する受信手段を備え、前記表示処理手段は、前記仮想物体として現在地を示すマークを前記曲面に応じて変形し、前記撮影画像内のページ上における、前記座標情報に示される座標の範囲の前記位置情報に基づいた位置に、変形したマークを重畳して表示するとしても構わない。
（９）前記第１マーカ画像および第２マーカ画像に相当する印画部分は、前記ページの左右方向に延びる辺と、ページの天地方向に延びる辺とを有する矩形状の形状をしており、前記作成手段は、前記抽出された前記第１マーカ画像または第２マーカ画像の前記天地方向に延びる辺に基づいて、前記天地方向への平行移動を行うとしても構わない。
（１０）前記取得手段は、撮影画像の取得を定期的に繰り返すものであり、前記抽出手段は、前記抽出に先立って、前回取得された撮影画像と今回取得された撮影画像との同一性を比較し、同一と判定すると前記抽出を行わずに、前回取得された撮影画像から抽出した第１マーカ画像および第２マーカ画像を今回の抽出結果として出力するとしても構わない。
（１１）前記第１マーカ画像および第２マーカ画像は、二次元コードの画像であるとしても構わない。
（１２）前記撮影画像は、本の見開きページを撮影した画像であるとしても構わない。
（１３）実施の形態に係る表示方法は、現実世界の画像に仮想物体を重畳表示する方法であって、本のページを撮影した撮影画像を取得する取得ステップと、取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、を含む。

この取得ステップ、抽出ステップ、作成ステップおよび表示処理ステップを、それぞれ図１８のステップＳ１８１〜Ｓ１８４として例示する。
（１４）実施の形態に係るプログラムは、現実世界の画像に仮想物体を重畳表示する表示処理を表示処理装置にて実行させるためのプログラムであって、前記表示処理は、本のページを撮影した撮影画像を取得する取得ステップと、取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、の各ステップを含む。

本発明にかかる表示処理装置によれば、ユーザに与える違和感が少ない拡張現実感の実現に貢献でき有用である。

１ 読書システム
２Ｌ，２Ｒ，４Ｌ，４Ｒ マーカ（マーカ画像に相当する印画部分）
１０ 本
１２Ｌ，１２Ｒ，１４Ｌ，１４Ｒ マーカ画像
２０，２１ ＨＭＤ（表示処理装置の一例）
２０ａ ＨＭＤの要部
２２ カメラ
２３ 取得部
２４ マーカ抽出部
２６ 座標情報格納部
２８ マーカ読取部
３０ 内部情報格納部
３２ 仮想物体取得部
３４ 仮想物体特定部
３６ 仮想物体格納部
３８ 曲線算出部
４０ 曲面作成部
４２ 曲面情報格納部
４４ 表示エンジン（表示処理手段の一例）
４６ ディスプレイ
５０ 位置情報受信部
５１ ＧＰＳアンテナ
１４０，１４１，１４２ 曲線
１７０ 曲面
１８０ 仮想物体
１９０ 曲面
２００ マーク（仮想物体の一例）

Claims (14)

1. 現実世界を撮影した撮影画像の上に、仮想物体を重畳して表示する表示処理装置であって、
   本のページを撮影した撮影画像を取得する取得手段と、
   取得された撮影画像から、１以上のマーカ画像を抽出する抽出手段と、
   前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成手段と、
   仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理手段と、
   を備えることを特徴とする表示処理装置。
2. 前記抽出手段は、第１マーカ画像および第２マーカ画像を抽出し、
   前記作成手段は、前記第１マーカ画像および前記第２マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲線を算出し、この曲線に基づいて前記曲面を作成することを特徴とする請求項１に記載の表示処理装置。
3. 前記ページの天地方向において、前記第１マーカ画像および第２マーカ画像に相当する印画部分の一方はページ左側に、他方はページ右側に印刷され、両者ともページの左右方向に延びる辺を有し、
   前記作成手段が算出する前記曲線は、前記第１マーカ画像の辺および前記第２マーカ画像の辺を通る曲線であり、
   前記作成手段は、前記曲線を前記撮影画像内のページの天地方向に平行移動させることにより前記曲面を作成すること
   を特徴とする請求項２に記載の表示処理装置。
4. 抽出された前記第１マーカ画像および前記第２マーカ画像のそれぞれから前記ページにおける各マーカに相当する印画部分の座標を示す情報を読み取る読取手段と、
   読み取られた座標間の距離を計算する計算手段とを備え、
   前記作成手段は、計算された前記距離に基づいて、前記曲線を算出する
   ことを特徴とする請求項３に記載の表示処理装置。
5. 前記作成手段は、前記第１マーカ画像の辺を延長した直線と、前記第２マーカ画像の辺を延長した直線の両直線の交点を求め、
   （ａ）前記第１マーカ画像の辺から、前記交点を通って、前記第２マーカ画像の辺に至る１本の曲線と、
   （ｂ）前記第１マーカ画像の辺から、前記交点の近隣に位置する付近点を通って、前記第２マーカ画像の辺を通る１本以上の曲線と、
   を作成し、作成したすべての曲線の中から、その距離が前記計算された距離に最も近い曲線を最終的な曲線として算出する
   ことを特徴とする請求項４に記載の表示処理装置。
6. 前記付近点は、前記交点を前記撮影画像内のページの天地方向または奥行き方向に移動させた点である
   ことを特徴とする請求項５に記載の表示処理装置。
7. 前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から仮想物体を識別する情報を読み取り、
   前記表示処理手段は、前記読み取りにより識別された仮想物体を前記重畳表示の対象とすることを特徴とする請求項４に記載の表示処理装置。
8. 前記ページ上には地図が印刷されており、
   前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から当該ページの地図が範囲に含む座標の範囲を示す座標情報を読み取り、
   現在地を示す位置情報を受信する受信手段を備え、
   前記表示処理手段は、前記仮想物体として現在地を示すマークを前記曲面に応じて変形し、前記撮影画像内のページ上における、前記座標情報に示される座標の範囲の前記位置情報に基づいた位置に、変形したマークを重畳して表示する
   ことを特徴とする請求項４に記載の表示処理装置。
9. 前記第１マーカ画像および第２マーカ画像に相当する印画部分は、前記ページの左右方向に延びる辺と、ページの天地方向に延びる辺とを有する矩形状の形状をしており、
   前記作成手段は、前記抽出された前記第１マーカ画像または第２マーカ画像の前記天地方向に延びる辺に基づいて、前記天地方向への平行移動を行う
   ことを特徴とする請求項３に記載の表示処理装置。
10. 前記取得手段は、撮影画像の取得を定期的に繰り返すものであり、
    前記抽出手段は、前記抽出に先立って、前回取得された撮影画像と今回取得された撮影画像との同一性を比較し、同一と判定すると前記抽出を行わずに、前回取得された撮影画像から抽出した第１マーカ画像および第２マーカ画像を今回の抽出結果として出力する
    ことを特徴とする請求項２に記載の表示処理装置。
11. 前記第１マーカ画像および第２マーカ画像は、二次元コードの画像である
    ことを特徴とする請求項２に記載の表示処理装置。
12. 前記撮影画像は、本の見開きページを撮影した画像である
    ことを特徴とする請求項２に記載の表示処理装置。
13. 現実世界の画像に仮想物体を重畳表示する方法であって、
    本のページを撮影した撮影画像を取得する取得ステップと、
    取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、
    前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、
    仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、
    を含む表示方法。
14. 現実世界の画像に仮想物体を重畳表示する表示処理を表示処理装置にて実行させるためのプログラムであって、
    前記表示処理は、
    本のページを撮影した撮影画像を取得する取得ステップと、
    取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、
    前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、
    仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、
    の各ステップを含むプログラム。

Images