JP6735147B2 - 表示装置、及びプログラム - Google Patents

Description

本発明は、表示装置、及びプログラムに関する。

近年、携帯端末装置のカメラを通じて、例えば、テレビなどの表示画面を見ることで、表示画面の映像を画面外に拡張する技術が知られている（例えば、非特許文献１を参照）。このような技術では、表示画面を基準とする座標系により、画面外の３ＤＣＧ（３次元コンピューターグラフィックス）のオブジェクトを描画していた。

川喜田 裕之、中川 俊夫"テレビ映像を画面外に拡張するシステム「Augmented TV」"、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１４９、２０１５年１月、ｐ３６−ｐ４５

しかしながら、上述した従来の技術では、表示画面を見る位置によって表示画面に表示される映像に歪みが生じるのに対して、画面外のオブジェクトが歪むことはないため、画面を境界として空間の不連続性が生じる場合があった。ここで「歪み」とは、表示画面に表示される映像内の被写体に対する映像の見た目の歪みを意味する。

本発明は、上記問題を解決すべくなされたもので、その目的は、オブジェクトの画面内外での表示の不連続性を低減することができる表示装置、及びプログラムを提供することにある。

［１］上記問題を解決するために、本発明の一態様は、表示画面を見た際に前記表示画面に表示する表示映像が撮像された光学中心と一致する最適視位置を示す最適視位置情報と、前記表示画面を撮像する撮像部の現在視位置を示す現在視位置情報とに基づいて、前記最適視位置を基準にオブジェクトの前記表示画面の画面外の位置情報を表す絶対座標系の位置情報を、前記現在視位置を基準に前記画面外の位置情報を表す相対座標系の位置情報に変換する相対座標系変換部と、前記相対座標系変換部によって変換された前記相対座標系の位置情報に基づいて、前記撮像部によって撮像された撮像映像の前記画面外に前記オブジェクトを描画する描画処理部とを備えることを特徴とする表示装置である。

［２］また、本発明の一態様は、上記の表示装置において、前記オブジェクトの各描画点の位置座標を前記オブジェクトの中心位置を基準としたローカル座標系により表したローカル位置情報を、空間全体を表す世界座標系の位置情報に変換する世界座標系変換部と、前記各描画点の前記世界座標系の位置情報を、前記ローカル位置情報に変換するローカル座標系変換部とを備え、前記相対座標系変換部は、前記各描画点の前記世界座標系の位置情報を含む前記絶対座標系の位置情報を、前記各描画点の位置情報を含む前記相対座標系の位置情報に変換し、前記ローカル座標系変換部は、前記相対座標系変換部によって前記相対座標系に変換された前記各描画点の前記世界座標系の位置情報を、前記相対座標系における前記各描画点の前記ローカル位置情報に変換し、前記描画処理部は、前記ローカル座標系変換部によって変換された前記相対座標系における前記各描画点の前記ローカル位置情報に基づいて、前記画面外に前記オブジェクトを描画することを特徴とする。

［３］また、本発明の一態様は、上記の表示装置において、前記オブジェクトが前記画面外に出た後に、所定の時定数によって、前記相対座標系変換部によって変換される前記相対座標系の位置情報を、前記絶対座標系の位置情報に推移させるように、前記相対座標系変換部が変換する変換度を変更する変換度調整部を備え、前記相対座標系変換部は、前記変換度調整部によって変更された前記変換度に基づいて、前記絶対座標系における前記各描画点の前記世界座標系の位置情報を、前記相対座標系における前記各描画点の位置情報に変換することを特徴とする。

［４］また、本発明の一態様は、上記の表示装置において、前記オブジェクトが前記画面外に出た後に、所定の時定数によって、前記相対座標系変換部によって変換される前記相対座標系の位置情報を、前記絶対座標系の位置情報に推移させるように、前記相対座標系変換部が変換する変換度を変更する変換度調整部を備え、前記相対座標系変換部は、前記変換度調整部によって変更された前記変換度に基づいて、前記各描画点の前記世界座標系の位置情報を含む前記絶対座標系の位置情報を、前記各描画点の位置情報を含む前記相対座標系の位置情報に変換することを特徴とする。

［５］また、本発明の一態様は、コンピューターに、表示画面を見た際に前記表示画面に表示する表示映像が撮像された光学中心と一致する最適視位置を示す最適視位置情報と、前記表示画面を撮像する撮像部の現在視位置を示す現在視位置情報とに基づいて、前記最適視位置を基準にオブジェクトの前記表示画面の画面外の位置情報を表す絶対座標系の位置情報を、前記現在視位置を基準に前記画面外の位置情報を表す相対座標系の位置情報に変換する相対座標系変換ステップと、前記相対座標系変換ステップによって変換された前記相対座標系の位置情報に基づいて、前記撮像部によって撮像された撮像映像の前記画面外に前記オブジェクトを描画する描画処理ステップとを実行させるためのプログラムである。

本発明によれば、オブジェクトの画面内外での表示の不連続性を低減することができる。

第１の実施形態による画像処理システムの一例を示す外観図である。 同実施形態による携帯端末装置の概略機能構成を示す機能ブロック図である。 同実施形態における最適視位置を説明するための概略図である。 同実施形態における絶対座標系と相対座標系との関係を説明するための概略図である。 同実施形態における絶対座標系から相対座標系への変換を説明するための概略図である。 同実施形態による携帯端末装置の動作の手順を示すフローチャートである。 同実施形態による携帯端末装置の表示例を説明する概略図である。 第２の実施形態による携帯端末装置の概略機能構成を示す機能ブロック図である。 同実施形態による携帯端末装置の動作の手順を示すフローチャートである。 同実施形態における携帯端末装置の表示例を説明する概略図である。 第３の実施形態による携帯端末装置の概略機能構成を示す機能ブロック図である。 同実施形態における変換度の変更例を示す図である。 同実施形態による携帯端末装置の動作の手順を示すフローチャートである。 第４の実施形態による携帯端末装置の動作の手順を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態による携帯端末装置、及び画像処理システムについて説明する。
［第１の実施形態］
図１は、第１の実施形態による画像処理システム１００の一例を示す外観図である。
図１に示すように、画像処理システム１００は、携帯端末装置１と、テレビ２とを含んで構成される。以下において、「携帯端末装置」を「表示装置」と呼ぶ場合がある。

テレビ２は、テレビ画面２１（表示画面の一例）を備え、当該テレビ画面２１にオブジェクトＯＢを含む所定の映像（コンテンツ）を表示する。
携帯端末装置１は、例えば、タブレット情報端末などであり、テレビ２のテレビ画面２１を、携帯端末装置１が撮像して、テレビ画面２１が表示する映像から３ＤＣＧ（３次元コンピューターグラフィックス）のオブジェクトＯＢをテレビ画面２１の画面外に拡張して、端末表示部１２に表示させる。

このように、画像処理システム１００では、テレビ２のテレビ画面２１を、携帯端末装置１が撮像して、テレビ画面２１が表示する映像から３ＤＣＧのオブジェクトＯＢをテレビ画面２１の画面外に拡張して携帯端末装置１の端末表示部１２に表示する。
なお、以下の説明において、画像処理システム１００が表示するコンテンツに含まれる任意のオブジェクトを示す場合、又は特に区別しない場合には、オブジェクトＯＢとして説明する。

次に、携帯端末装置１の機能構成について説明する。
図２は、本実施形態による携帯端末装置１の概略機能構成を示す機能ブロック図である。図示するように、携帯端末装置１は、撮像部１１と、端末表示部１２と、端末記憶部１３と、端末制御部１４とを備えている。

撮像部１１は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーを備えたカメラであり、端末表示部１２が配置されている携帯端末装置１の面とは反対側の面に配置されている。撮像部１１は、テレビ２のテレビ画面２１が表示するオブジェクトＯＢを含む映像を撮像する。
端末表示部１２は、例えば、液晶ディスプレイ装置などであり、撮像部１１が撮像した映像を表示するとともに、テレビ画面２１の画面外にオブジェクトＯＢを拡張して表示する。

端末記憶部１３は、携帯端末装置１が実行する各種処理に利用される情報を記憶する。端末記憶部１３は、例えば、撮像部１１が撮像した映像データなどを記憶する。また、端末記憶部１３は、コンテンツ記憶部１３１を備えている。
コンテンツ記憶部１３１は、テレビ画面２１の画面外に拡張される３ＤＣＧのオブジェクトＯＢを含むコンテンツを記憶する。なお、本実施形態において、コンテンツ記憶部１３１には、予め所定のコンテンツが記憶されているものとする。

端末制御部１４は、例えば、ＣＰＵ（Central Processing Unit、中央処理装置）を含むプロセッサであり、携帯端末装置１を統括的に制御する。端末制御部１４は、３ＤＣＧデータ取得部１４１と、最適視位置算出部１４２と、現在視位置取得部１４３と、相対座標系変換部１４４と、描画処理部１４５とを備えている。

３ＤＣＧデータ取得部１４１は、コンテンツ記憶部１３１が記憶するコンテンツから、３ＤＣＧのオブジェクトＯＢ（例えば、モデルデータ、モーションデータ）を抽出し、例えば、オブジェクトＯＢの絶対座標系の位置情報（座標情報）を取得する。ここで、オブジェクトＯＢの絶対座標系の位置情報には、例えば、オブジェクトＯＢの中心位置の位置情報、及びオブジェクトＯＢのポリゴン頂点（描画点）のローカル座標情報などが含まれる。なお、ローカル座標情報（ローカル位置情報）は、オブジェクトＯＢの中心位置を基準とした各ポリゴン頂点（各描画点）のローカル座標系の位置情報である。また、絶対座標系の位置情報の詳細については後述する。

最適視位置算出部１４２は、コンテンツ記憶部１３１が記憶するコンテンツ、及び撮像部１１の撮像パラメータ（例えば、Ｆ値など画角に関するパラメータ）に基づいてテレビカメラの画角を取得し、当該テレビカメラの画角に基づいてテレビ画面２１の中心を原点とする座標系（世界座標系）において最適視位置の座標を最適視位置情報として計算する。

ここで、最適視位置について説明する。
図３は、本実施形態における最適視位置を説明する図である。
図３（ａ）は、同一サイズのオブジェクト（例えば、ボールＯＢ１〜ＯＢ３）が、光学中心Ｐ０から等距離にあり、撮像面ＰＦ１に向って同速度により移動している例を示している。図３（ａ）に示す例では、テレビカメラＴＶＣが、光学中心Ｐ０の位置からカメラ画角θ_０にて、撮像面ＰＦ１に向って同速度により移動しているボールＯＢ１〜ＯＢ３を撮像している。

また、図３（ｂ）は、図３（ａ）により撮像された映像をテレビ画面２１に表示させた場合に、当該テレビ画面２１を見た見込角θを示している。図３（ｂ）に示すように、カメラ画角θ_０と見込角θとが等しい位置Ｐ２（θ＝θ_０）が、最適視位置であり、この位置Ｐ２でテレビ画面２１を見た場合、テレビ画面２１（画面Ｇ２）に表示されるボールＯＢ１２，ボールＯＢ２２、及びボールＯＢ３２の形状は歪みのない等しい大きさとなる。また、ボールＯＢ１２、ボールＯＢ２２、及びボールＯＢ３２がテレビ画面２１から飛び出す際の速度は一定となる。

また、最適視位置（位置Ｐ２）よりテレビ画面２１に近く、カメラ画角θ_０より見込角θが大きい位置Ｐ１（θ＞θ_０）でテレビ画面２１を見た場合、テレビ画面２１（画面Ｇ１）に表示されるボールＯＢ２１の形状はほとんど歪みのない等しい大きさとなるが、ボールＯＢ１１及びボールＯＢ３１の形状は歪む。すなわち、ボールＯＢ１１及びボールＯＢ３１の形状は、動径方向に縮んだ形状となる。また、ボールＯＢ１１、ボールＯＢ２１、及びボールＯＢ３１がテレビ画面２１から飛び出す際の速度は画面内の速度より速くなる。

また、最適視位置（位置Ｐ２）よりテレビ画面２１から遠く、カメラ画角θ_０より見込角θが小さい位置Ｐ３（θ＜θ_０）でテレビ画面２１を見た場合、テレビ画面２１（画面Ｇ３）に表示されるボールＯＢ２３の形状は歪みのない等しい大きさとなるが、ボールＯＢ１３及びボールＯＢ３３の形状は歪む。すなわち、ボールＯＢ１３及びボールＯＢ３３の形状は、動径方向に伸びた形状となる。また、ボールＯＢ１３、ボールＯＢ２３、及びボールＯＢ３３がテレビ画面２１から飛び出す際の速度は画面内の速度より遅くなる。

このように、最適視位置は、テレビ画面２１に表示する表示映像が撮像された画角θ_０とテレビ画面２１を見た見込角θとが一致する位置である。また、最適視位置は、オブジェクトＯＢがテレビ画面２１から飛び出す際の速度が一定となり、オブジェクトＯＢの形状に歪みが生じない位置である。最適視位置算出部１４２は、このような最適視位置の位置情報（最適視位置情報）をテレビカメラＴＶＣの画角（θ_０）に基づいて算出する。

図２に戻り、現在視位置取得部１４３は、世界座標系において、現在の携帯端末装置１の位置姿勢情報に基づいて、現在視位置の位置情報を現在視位置情報として取得する。ここで、現在視位置情報は、テレビ画面２１を撮像する撮像部１１の現在視位置を示す座標情報である。現在視位置取得部１４３は、既存技術（例えば、川喜田、中川、佐藤、“携帯端末によるＴＶ画面の位置と姿勢の推定方法”、情報処理学会論文誌 コンシューマ・デバイス＆システム、Ｖｏｌ．５、Ｎｏ．４、ｐｐ６１−６９（２０１５）に記載の位置姿勢推定の技術）を利用して、現在視位置情報を取得する。具体的には、この従来技術では、カメラによって撮影した画像と、ジャイロセンサーによって検知した加速度の情報とを用いることによって、現在視位置情報を求める。

相対座標系変換部１４４は、最適視位置算出部１４２によって算出された最適視位置情報と、現在視位置取得部１４３によって取得された現在視位置情報とに基づいて、３ＤＣＧデータ取得部１４１によって取得された絶対座標系の位置情報を、相対座標系の位置情報に変換する。なお、相対座標系変換部１４４による処理の過程を「相対座標系変換ステップ」と呼ぶ。

ここで、本実施形態における絶対座標系と相対座標系との関係について説明する。
図４は、本実施形態における絶対座標系と相対座標系との関係を説明する図である。同図は、テレビ画面２１を紙面下方向に表示させた場合において、テレビ画面２１の上方向から見た平面図である。同図において、座標系ＣＳ１は、テレビ画面２１の画面内部の座標系を示し、座標系ＣＳ２は、テレビ画面２１の画面外の座標系を示している。座標系ＣＳ２は、最適視位置（位置Ｐ２）におけるオブジェクトＯＢのテレビ画面２１の画面外の位置情報を表す絶対座標系であり、直交格子状の座標系である。オブジェクトＯＢが等速直線運動した場合、最適視位置（位置Ｐ２）において、オブジェクトＯＢは、当該絶対座標系によって軌跡Ｋ１によりテレビ画面２１の画面外に移動するように描画される。

また、座標系ＣＳ３は、最適視位置（位置Ｐ２）とは異なる位置Ｐ４における画面外の位置情報を示す相対座標系であり、直交格子状でない歪んだ座標系である。ここで、軌跡Ｋ２は、上述した軌跡Ｋ１を最適視位置（位置Ｐ２）における相対座標系に変換したオブジェクトＯＢの軌跡である。オブジェクトＯＢが等速直線運動した場合、この位置Ｐ４において、オブジェクトＯＢは、当該相対座標系によって、テレビ画面２１の画面外に軌跡Ｋ２により不連続性が生じずに移動するように描画される。なお、座標系ＣＳ３は、テレビ画面２１を撮像する携帯端末装置１の位置に対応して、座標系の歪みの程度（歪み量）が異なる。

図５は、本実施形態における絶対座標系から相対座標系への変換を説明する図である。同図において、位置Ｏが最適視位置を示し、位置Ｏからテレビ画面２１を見た場合に、オブジェクトＯＢが、位置Ｂ、位置Ｃ、位置Ｄ、及び位置Ｅの順に移動することを示している。また、位置Ｏからテレビ画面２１を見た場合に、テレビ画面２１の画面上では、オブジェクトＯＢは、位置Ｓ_Ｂ、位置Ｓ_Ｃ、及び位置Ｄの順に移動することを示している。なお、位置Ｓ_Ｅは、テレビ画面２１の画面外に飛び出たオブジェクトＯＢが位置Ｅである場合に、オブジェクトＯＢをテレビ画面２１の画面上に射影した位置である。

また、同図において、位置Ａが携帯端末装置１の位置（現在視位置）を示し、位置Ａからテレビ画面２１を見た場合に、オブジェクトＯＢが、位置Ｂ’、位置Ｃ’、位置Ｄ’、及び位置Ｅ’の順に移動することを示している。
ここで、画面外の物体の軌跡ＤＥ’がテレビ画面２１内のオブジェクトＯＢの見た目の軌跡Ｂ’Ｄの延長（同じ直線上）となるものとする。また、位置Ｂ’から位置Ｅ’にかけて物体の見込角によって遠近感が与えられるとすると、線分ＯＳ_Ｂと線分Ｓ_ＢＢとの比は、線分ＡＳ_Ｂと線分Ｓ_ＢＢ’との比と等しくなる（｜ＯＳ_Ｂ｜：｜Ｓ_ＢＢ｜＝｜ＡＳ_Ｂ｜：｜Ｓ_ＢＢ’｜）。なお、｜ｘｙ｜は、線分ｘｙの長さを示す。したがって、三角形ＯＳ_ＢＡと三角形ＢＳ_ＢＢ’とは、相似である（△ＯＳ_ＢＡ∽△ＢＳ_ＢＢ’）。

また、位置Ｄで見た目の速さが変わらないとすると、線分ＢＤと線分ＤＥとの比は、線分Ｂ’Ｄと線分ＤＥ’との比と等しくなる（｜ＢＤ｜：｜ＤＥ｜＝｜Ｂ’Ｄ｜：｜ＤＥ’｜）。さらにＤＥ’はＢ’Ｄの延長にあるため三角形ＢＤＢ’と三角形ＥＤＥ’とは、相似となる（△ＢＤＢ’∽△ＥＤＥ’）。これら２つの相似から、線分ＯＡと線分ＥＥ’とが平行であることが導かれる（ＯＡ／／ＥＥ’）。なお、“／／”は、平行を意味する。また、上述した２つの相似は、いずれもテレビ画面２１を挟んだ対角する三角形であり、線分ＢＢ’を含むことに着目すると、下記の式（１）が導かれる。

また、平行、且つ三角形の辺の比の関係から、三角形ＯＳ_ＥＡと三角形ＥＳ_ＥＥ’とは、相似となる（△ＯＳ_ＥＡ∽△ＥＳ_ＥＥ’）。このことから、位置Ｅの座標から位置Ｅ‘の座標への変換式は、下記の式（２）となる。

なお、式（２）において、記号の上に付した矢印はベクトルを表す。相対座標系変換部１４４は、上記の式（２）を用いて、絶対座標系の位置情報を、相対座標系の位置情報に変換する。例えば、相対座標系変換部１４４は、３ＤＣＧデータ取得部１４１が取得したオブジェクトＯＢの中心位置の位置情報（絶対座標系）を、上記の式（２）を用いて、相対座標系の位置情報に変換する。
なお、図４及び図５においては現在視位置が最適視位置からテレビ画面２１の水平方向にずれている場合の例を説明したが、上記の式（２）は３次元ベクトルとして扱えるため、現在視位置が最適視位置からテレビ画面２１の垂直方向にずれている場合も同様である。

図２に戻り、描画処理部１４５は、相対座標系変換部１４４によって変換された相対座標系の位置情報に基づいて、撮像部１１によって撮像された撮像映像の画面外にオブジェクトＯＢを描画する。描画処理部１４５は、例えば、相対座標系に変換されたオブジェクトＯＢの中心位置に基づいて、３ＤＣＧデータ取得部１４１が取得したオブジェクトＯＢのポリゴン頂点（描画点）のローカル座標情報により、オブジェクトＯＢを描画し、撮像部１１によって撮像された撮像映像にオーバーレイした合成映像を生成する。描画処理部１４５は、生成した合成映像を端末表示部１２に表示させる。なお、描画処理部１４５による処理の過程を「描画処理ステップ」と呼ぶ。

次に、本実施形態による携帯端末装置１の動作について説明する。
図６は、本実施形態による携帯端末装置１の動作の手順を示すフローチャートである。図示するように、まず、携帯端末装置１は、テレビ画面２１を撮像する（ステップＳ１０１）。すなわち、携帯端末装置１の撮像部１１は、所定の映像を表示しているテレビ画面２１を撮像する。また、携帯端末装置１の端末制御部１４は、撮像部１１が撮像した映像を、例えば、端末記憶部１３に記憶させる。

次に、端末制御部１４の３ＤＣＧデータ取得部１４１は、３ＤＣＧデータを取得する（ステップＳ１０２）。３ＤＣＧデータ取得部１４１は、コンテンツ記憶部１３１が記憶するコンテンツから、画面外の３ＤＣＧのオブジェクトＯＢ（例えば、モデルデータ、モーションデータ）を抽出し、例えば、オブジェクトＯＢの中心位置の座標情報（絶対座標系）、及びオブジェクトＯＢのポリゴン頂点（描画点）のローカル座標情報（絶対座標系）を取得する。

次に、端末制御部１４の最適視位置算出部１４２は、最適視位置情報を算出する（ステップＳ１０３）。最適視位置算出部１４２は、例えば、コンテンツ記憶部１３１が記憶するコンテンツ、及び撮像部１１の撮像パラメータに基づいてテレビカメラの画角を取得し、当該テレビカメラの画角に基づいてテレビ画面２１の中心を原点とする座標系（世界座標系）において最適視位置情報を算出する。

次に、端末制御部１４の現在視位置取得部１４３は、現在視位置情報を取得する（ステップＳ１０４）。現在視位置取得部１４３は、例えば、世界座標系において、現在の携帯端末装置１の位置姿勢情報に基づいて、現在視位置の位置座標（位置情報）を現在視位置情報として取得する。

次に、端末制御部１４の相対座標系変換部１４４は、絶対座標系の位置情報を相対座標系の位置情報に変換する（ステップＳ１０５）。相対座標系変換部１４４は、最適視位置算出部１４２によって算出された最適視位置情報と、現在視位置取得部１４３によって取得された現在視位置情報とに基づいて、３ＤＣＧデータ取得部１４１によって取得された絶対座標系の位置情報を、相対座標系の位置情報に変換する。具体的に、相対座標系変換部１４４は、３ＤＣＧデータ取得部１４１が取得したオブジェクトＯＢの中心位置の位置情報（絶対座標系）を、上記の式（２）を用いて、相対座標系の位置情報に変換する。

次に、端末制御部１４の描画処理部１４５は、相対座標系の位置情報に基づいて、３ＤＧＤデータを描画する（ステップＳ１０６）。描画処理部１４５は、例えば、相対座標系に変換されたオブジェクトＯＢの中心位置に基づいて、オブジェクトＯＢ（３ＤＧＤデータ）を描画し、撮像部１１によって撮像された撮像映像にオーバーレイした合成映像を生成する。そして、描画処理部１４５は、例えば、描画処理部１４５は、生成した合成映像を端末表示部１２に表示させる。

次に、端末制御部１４は、描画を終了するか否かを判定する（ステップＳ１０７）。端末制御部１４は、使用者の操作などにより描画を終了する場合（ステップＳ１０７：ＹＥＳ）に、処理を終了する。また、端末制御部１４は、描画を終了しない場合（ステップＳ１０７：ＮＯ）に、処理をステップＳ１０１に戻し、ステップＳ１０１からステップＳ１０７までの処理を繰り返す。

なお、ステップＳ１０１からステップＳ１０４の各処理が実行される順番は、上述した順番に限定されるものではなく、ステップＳ１０１からステップＳ１０４の各処理が、ステップＳ１０５の処理を実行するまでに実行されていれば、他の順番であってもよい。また、ステップＳ１０１からステップＳ１０４までの処理の一部が並列に実行されてもよい。

次に、携帯端末装置１の表示例について説明する。
図７は、本実施形態による携帯端末装置１の表示例を説明する図である。
同図（ａ）〜同図（ｃ）は、比較のために、撮像部１１が最適視位置からずれた位置（例えば、斜めの位置）からテレビ画面２１を撮像した場合において、絶対座標系を用いてオブジェクトＯＢを描画する従来技術による表示例を示している。同図（ａ）〜同図（ｃ）は、オブジェクトＯＢがテレビ画面２１から飛び出る時刻ｔ０の表示画面（画面Ｇ２０）と、その前後の時刻（ｔ０−１）、及び時刻（ｔ０＋１）における表示画面（画面Ｇ１０及び画面Ｇ３０）とを示している。また、軌跡Ｋ１は、絶対座標系によるオブジェクトＯＢの軌跡を示し、軌跡Ｋ２は、テレビ画面２１内のオブジェクトＯＢの軌跡を画面外に延長した軌跡を示している。

また、同図（ｄ）〜同図（ｆ）は、撮像部１１が最適視位置からずれた位置（例えば、斜めの位置）からテレビ画面２１を撮像した場合において、相対座標系を用いてオブジェクトＯＢを描画する本実施形態による表示例を示している。同図（ｄ）〜同図（ｆ）は、オブジェクトＯＢがテレビ画面２１から飛び出る時刻ｔ０の表示画面（画面Ｇ２１）と、その前後の時刻（ｔ０−１）、及び時刻（ｔ０＋１）における表示画面（画面Ｇ１１及び画面Ｇ３１）とを示している。

従来技術では、同図（ａ）及び同図（ｂ）に示すように、オブジェクトＯＢは、時刻（ｔ０−１）から時刻ｔ０の変化に応じて、軌跡Ｋ２に沿って、オブジェクトＯＢ４０からオブジェクトＯＢ５０に移動して表示される。そして、同図（ｂ）及び同図（ｃ）に示すように、オブジェクトＯＢは、時刻ｔ０から時刻（ｔ０＋１）の変化に応じて、画面外の軌跡Ｋ１に沿って、オブジェクトＯＢ５０からオブジェクトＯＢ６０に移動して表示される。従来技術では、時刻ｔ０から時刻（ｔ０＋１）の変化する際に、オブジェクトＯＢの飛び出す方向が屈曲したり速度が不連続に変化したりするなど不自然に変化して、テレビ画面２１を境界として不連続性が生じる。

これに対して、本実施形態による携帯端末装置１は、同図（ｄ）〜同図（ｆ）に示すように、時刻（ｔ０−１）→時刻ｔ０→時刻（ｔ０＋１）の変化に応じて、軌跡Ｋ２に沿って、オブジェクトＯＢ４１→オブジェクトＯＢ５１→オブジェクトＯＢ６１に移動してオブジェクトＯＢを表示する。このように、本実施形態による携帯端末装置１は、オブジェクトＯＢのテレビ画面２１内の移動方向及び速度と、オブジェクトＯＢの飛び出す方向及び速度とが一致しており、テレビ画面２１を境界として不連続性が生じない。

以上説明したように、本実施形態による携帯端末装置１は、相対座標系変換部１４４と、描画処理部１４５とを備えている。相対座標系変換部１４４は、最適視位置情報と、現在視位置情報とに基づいて、絶対座標系の位置情報を、相対座標系の位置情報に変換する。ここで、最適視位置情報は、テレビ画面２１（表示画面）を見た際にテレビ画面２１に表示する表示映像が撮像された光学中心と一致する最適視位置を示し、現在視位置情報は、テレビ画面２１を撮像する撮像部１１の現在視位置を示している。また、絶対座標系は、最適視位置を基準にオブジェクトＯＢのテレビ画面２１の画面外の位置情報を表す座標系であり、相対座標系は、現在視位置を基準に画面外の位置情報を表す座標系である。描画処理部１４５は、相対座標系変換部１４４によって変換された相対座標系の位置情報に基づいて、撮像部１１によって撮像された撮像映像の画面外にオブジェクトＯＢを描画する。

これにより、本実施形態による携帯端末装置１は、現在視位置を基準にした相対座標系の位置情報に変換して、オブジェクトＯＢを描画するため、図７に示すように、オブジェクトＯＢのテレビ画面２１内の移動方向及び速度と、オブジェクトＯＢの飛び出す方向及び速度とが一致させることができる。すなわち、本実施形態による携帯端末装置１は、画面内外を挟んで、直線的な表現及び空間スケール感（遠近感）を保持することができる。そのため、本実施形態による携帯端末装置１は、オブジェクトＯＢの画面内外での表示の不連続性を低減することができる。よって、本実施形態による携帯端末装置１は、オブジェクトＯＢがテレビ画面２１から飛び出る際に違和感なくより自然に表示させることができる。

また、本実施形態では、相対座標系変換部１４４は、上述した式（２）を利用して、絶対座標系の位置情報を、相対座標系の位置情報に変換する。すなわち、相対座標系変換部１４４は、最適視位置からオブジェクトＯＢをテレビ画面２１の画面上に射影した位置Ｓ_ＥとオブジェクトＯＢの絶対座標系の位置との間の第１の距離（｜ＥＳ_Ｅ｜）と、最適視位置と位置Ｓ_Ｅとの間の第２の距離（｜ＯＳ_Ｅ｜）との比に基づいて、オブジェクトＯＢの絶対座標系の位置情報を相対座標系の位置情報に変換する。
これにより、本実施形態による携帯端末装置１は、簡易な手法により、オブジェクトＯＢの画面内外での表示の不連続性を低減することができる。

［第２の実施形態］
次に、第２の実施形態による携帯端末装置１ａ及び画像処理システム１００ａについて説明する。
図８は、第２の実施形態による携帯端末装置１ａの概略機能構成を示す機能ブロック図である。図示するように、携帯端末装置１ａは、撮像部１１と、端末表示部１２と、端末記憶部１３と、端末制御部１４ａとを備えている。

なお、本実施形態による画像処理システム１００ａは、第１の実施形態の携帯端末装置１が携帯端末装置１ａに置き換わる点を除いて、第１の実施形態と同様であるので、ここではその説明を省略する。また、図８において、第１の実施形態と同一の構成には同一の符号を付与し、その説明を省略する。

端末制御部１４ａは、例えば、ＣＰＵを含むプロセッサであり、携帯端末装置１ａを統括的に制御する。端末制御部１４ａは、３ＤＣＧデータ取得部１４１と、最適視位置算出部１４２と、現在視位置取得部１４３と、相対座標系変換部１４４ａと、描画処理部１４５と、世界座標系変換部１４６と、ローカル座標系変換部１４７とを備えている。

世界座標系変換部１４６は、３ＤＣＧデータ取得部１４１によって取得されたオブジェクトＯＢのポリゴン頂点（描画点）のローカル座標情報（絶対座標系）を、世界座標系の位置情報に変換する。ここで世界座標系とは、空間全体を表す座標系のことであり、例えば、テレビ画面２１の中心を原点とする座標系のことである。

相対座標系変換部１４４ａは、オブジェクトＯＢの各描画点の世界座標系の位置情報を含む絶対座標系の位置情報を、各描画点の位置情報を含む相対座標系の位置情報に変換する。相対座標系変換部１４４ａは、例えば、上述した式（２）を用いて、オブジェクトＯＢの中心位置の位置情報（絶対座標系）及び各描画点の位置情報（世界座標系且つ絶対座標系）を相対座標系の位置情報に変換する。

ローカル座標系変換部１４７は、オブジェクトＯＢの各描画点の世界座標系の位置情報を、ローカル座標情報に変換する。ローカル座標系変換部１４７は、相対座標系変換部１４４ａによって相対座標系に変換された各描画点の世界座標系の位置情報を、相対座標系における各描画点のローカル座標情報に変換する。
なお、本実施形態における描画処理部１４５は、ローカル座標系変換部１４７によって変換された相対座標系における各描画点のローカル座標情報に基づいて、画面外にオブジェクトＯＢを描画する。

次に、携帯端末装置１ａの動作について説明する。
図９は、本実施形態による携帯端末装置１ａの動作の手順を示すフローチャートである。同図におけるステップＳ２０１からステップＳ２０４までの処理は、第１の実施形態に示すステップＳ１０１からステップＳ１０４までの処理と同様であるため、ここではその説明を省略する。

ステップＳ２０５において、端末制御部１４ａの世界座標系変換部１４６は、各描画点をローカル座標系から世界座標系に変換する。世界座標系変換部１４６は、例えば、３ＤＣＧデータ取得部１４１によって取得されたオブジェクトＯＢのポリゴン頂点（描画点）のローカル座標情報（絶対座標系）を、世界座標系の位置情報に変換する。

次に、端末制御部１４ａの相対座標系変換部１４４ａは、絶対座標系の位置情報を相対座標系の位置情報に変換する（ステップＳ２０６）。相対座標系変換部１４４ａは、例えば、上述した式（２）を用いて、オブジェクトＯＢの中心位置の位置情報（絶対座標系）を相対座標系の位置情報に変換する。また、相対座標系変換部１４４ａは、例えば、上述した式（２）を用いて、世界座標系変換部１４６によって世界座標系に変換された各描画点の位置情報（絶対座標系）を相対座標系の位置情報に変換する。

次に、端末制御部１４ａのローカル座標系変換部１４７は、各描画点を世界座標系からローカル座標系に変換する（ステップＳ２０７）。ローカル座標系変換部１４７は、例えば、相対座標系変換部１４４ａによって相対座標系に変換された各描画点の世界座標系の位置情報を、相対座標系における各描画点のローカル座標情報に変換する。

次に、端末制御部１４ａの描画処理部１４５は、相対座標系の位置情報に基づいて、３ＤＧＤデータを描画する（ステップＳ２０８）。描画処理部１４５は、例えば、相対座標系に変換されたオブジェクトＯＢの中心位置及び各描画点のローカル座標情報に基づいて、オブジェクトＯＢ（３ＤＧＤデータ）を描画し、撮像部１１によって撮像された撮像映像にオーバーレイした合成映像を生成する。そして、描画処理部１４５は、例えば、描画処理部１４５は、生成した合成映像を端末表示部１２に表示させる。

次に、端末制御部１４ａは、描画を終了するか否かを判定する（ステップＳ２０９）。端末制御部１４ａは、使用者の操作などにより描画を終了する場合（ステップＳ２０９：ＹＥＳ）に、処理を終了する。また、端末制御部１４ａは、描画を終了しない場合（ステップＳ２０９：ＮＯ）に、処理をステップＳ２０１に戻し、ステップＳ２０１からステップＳ２０９までの処理を繰り返す。

次に、携帯端末装置１ａの表示例について説明する。
図１０は、携帯端末装置１ａの表示例を説明する図である。
同図（ａ）〜同図（ｃ）は、比較のために、従来技術による表示例を示しており、上述した図７（ａ）〜図７（ｃ）と同様である。
また、図１０（ｄ）〜図１０（ｆ）は、撮像部１１が最適視位置からずれた位置（例えば、斜めの位置）からテレビ画面２１を撮像した場合において、相対座標系を用いてオブジェクトＯＢを描画する本実施形態による表示例を示している。図１０（ｄ）〜図１０（ｆ）は、オブジェクトＯＢがテレビ画面２１から飛び出る時刻ｔ０の表示画面（画面Ｇ２２）と、その前後の時刻（ｔ０−１）、及び時刻（ｔ０＋１）における表示画面（画面Ｇ１２及び画面Ｇ３２）とを示している。

従来技術では、図１０（ａ）〜図１０（ｃ）に示すように、オブジェクトＯＢの飛び出す方向と速度が不自然に変化して、テレビ画面２１を境界として不連続性が生じる。また、従来技術では、図１０（ａ）及び図１０（ｂ）のオブジェクトＯＢ４０及びオブジェクトＯＢ５０に示すように、オブジェクトＯＢは、テレビ画面２１内では、歪んで変形して見える。そのため、従来技術では、図１０（ｃ）のオブジェクトＯＢ６０に示すように、画面外に飛び出た瞬間に、オブジェクトＯＢは、歪みのない形状となる形状変化により不自然な動きとなり、テレビ画面２１を境界として不連続性が生じる。

これに対して、本実施形態による携帯端末装置１ａは、図１０（ｄ）〜図１０（ｆ）に示すように、オブジェクトＯＢのテレビ画面２１内の移動方向及び速度と、オブジェクトＯＢの飛び出す方向及び速度とが一致している。さらに、本実施形態による携帯端末装置１ａは、図１０（ｆ）のオブジェクトＯＢ６２に示すように、画面外に飛び出た瞬間に、変形した（歪んだ）オブジェクトＯＢを表示する。このように、本実施形態による携帯端末装置１ａは、画面内外において飛び出す方向及び速度が一致しているとともに、オブジェクトＯＢの形状を変形させて表示するため、テレビ画面２１を境界として不連続性が生じない。

以上説明したように、本実施形態による携帯端末装置１ａは、世界座標系変換部１４６と、相対座標系変換部１４４ａと、ローカル座標系変換部１４７と、描画処理部１４５とを備えている。世界座標系変換部１４６は、オブジェクトＯＢの各描画点の位置座標をオブジェクトＯＢの中心位置を基準としたローカル座標系により表したローカル座標情報を、空間全体を表す世界座標系の位置情報に変換する。相対座標系変換部１４４ａは、各描画点の世界座標系の位置情報を含む絶対座標系の位置情報を、各描画点の位置情報を含む相対座標系の位置情報に変換する。ローカル座標系変換部１４７は、各描画点の世界座標系の位置情報を、ローカル座標情報に変換する。すなわち、ローカル座標系変換部１４７は、相対座標系変換部１４４ａによって相対座標系に変換された各描画点の世界座標系の位置情報を、相対座標系における各描画点のローカル座標情報に変換する。そして、描画処理部１４５は、ローカル座標系変換部１４７によって変換された相対座標系における各描画点のローカル座標情報に基づいて、画面外にオブジェクトＯＢを描画する。

これにより、本実施形態による携帯端末装置１ａは、現在視位置を基準にした相対座標系の位置情報に変換して、オブジェクトＯＢを描画するため、図１０に示すように、オブジェクトＯＢのテレビ画面２１内の移動方向及び速度と、オブジェクトＯＢの飛び出す方向及び速度とが一致させることができる。さらに、本実施形態による携帯端末装置１ａは、オブジェクトＯＢのローカル座標情報を世界座標系に変換した上で、相対座標系に変換し、相対座標系のローカル座標情報に再変換するため、オブジェクトＯＢの飛び出す際の形状を一致させることができる。よって、本実施形態による携帯端末装置１ａは、オブジェクトＯＢの画面内外での表示の不連続性をさらに低減することができ、オブジェクトＯＢがテレビ画面２１から飛び出る際にさらに違和感なく自然に表示させることができる。

［第３の実施形態］
次に、第３の実施形態による携帯端末装置１ｂ及び画像処理システム１００ｂについて説明する。
図１１は、第３の実施形態による携帯端末装置１ｂの概略機能構成を示す機能ブロック図である。図示するように、携帯端末装置１ｂは、撮像部１１と、端末表示部１２と、端末記憶部１３と、端末制御部１４ｂとを備えている。

なお、本実施形態による画像処理システム１００ｂは、第１の実施形態の携帯端末装置１が携帯端末装置１ｂに置き換わる点を除いて、第１の実施形態と同様であるので、ここではその説明を省略する。
また、図１１において、第２の実施形態と同一の構成には同一の符号を付与し、その説明を省略する。

端末制御部１４ｂは、例えば、ＣＰＵを含むプロセッサであり、携帯端末装置１ｂを統括的に制御する。端末制御部１４ｂは、３ＤＣＧデータ取得部１４１と、最適視位置算出部１４２と、現在視位置取得部１４３と、相対座標系変換部１４４ｂと、描画処理部１４５と、世界座標系変換部１４６と、ローカル座標系変換部１４７と、変換度調整部１４８を備えている。

変換度調整部１４８は、オブジェクトＯＢが画面外に出た後に、所定の時定数によって、相対座標系変換部１４４ｂによって変換される相対座標系の位置情報を、絶対座標系の位置情報に推移させるように、相対座標系変換部１４４ｂが変換する変換度ｋを変更する。変換度調整部１４８は、例えば、図１２に示すように、変換度ｋを“１．０”〜“０”の値に、所定の時定数により変更する。

図１２は、本実施形態における変換度ｋの変更例を示す図である。同図において、グラフの縦軸は、変換度ｋを示し、グラフの横軸は、オブジェクトＯＢが画面外に出た後の時間（ｔ）を示している。また、波形Ｗ１は、変換度ｋの時間に対する変化を示している。変換度調整部１４８は、波形Ｗ１に示すように、オブジェクトＯＢが画面外に出た後の期間（即ち、０≦０＜Ｔ／２）で、変換度ｋを“１．０”〜“０．５”の値に変更し、それに続く期間（即ち、Ｔ／２≦ｔ≦Ｔ）で変換度ｋを“０．５”〜“０”に変更する。すなわち、変換度調整部１４８は、オブジェクトＯＢが画面外に出た後の期間（０≦ｔ≦Ｔ）で、変換度ｋを“１．０”〜“０”の値に変更する。つまり、変換度調整部１４８は、変換度ｋを“１．０”から“０”までなめらかに変化させる。具体的には、変換度調整部１４８は、ｋの値が連続になるように、且つｋの時間微分値（ｄｋ／ｄｔ）が連続になるように、変換度ｋを変化させる。変換度調整部１４８は、具体例としては、次の数式によって求められるｋを用いる。即ち、０≦ｔ＜（Ｔ／２）においては、ｋ＝−（２／Ｔ＾２）・（ｔ＾２）＋１とする。また、（Ｔ／２）≦ｔ≦１においては、ｋ＝（２／Ｔ＾２）・｛（ｔ−Ｔ）＾２｝とする。

相対座標系変換部１４４ｂは、変換度調整部１４８によって変更された変換度ｋに基づいて、絶対座標系における各描画点の世界座標系の位置情報を、相対座標系における各描画点の位置情報に変換する。ここで、相対座標系変換部１４４ｂは、下記の式（３）を用いて、絶対座標系における各描画点の世界座標系の位置情報を、相対座標系における各描画点の位置情報に変換する。

ここで、変換度ｋは、０以上１．０以下の値である（０≦ｋ≦１）。
また、相対座標系変換部１４４ｂは、各描画点の世界座標系の位置情報以外の絶対座標系の位置情報については、第１及び第２の実施形態と同様に、上述した式（２）を用いて、相対座標系の位置情報に変換する。
このように本実施形態では、変換度調整部１４８は、所定の時定数を持ち、オブジェクトＯＢが画面外に飛び出した後に上述した第２の実施形態から第１の実施形態に推移するように、変換度ｋを調整する。

次に、携帯端末装置１ｂの動作について説明する。
図１３は、携帯端末装置１ｂの動作の手順を示すフローチャートである。同図におけるステップＳ３０１からステップＳ３０５までの処理は、第２の実施形態におけるステップＳ２０１からステップＳ２０５までの処理と同様であるため、ここではその説明を省略する。

ステップＳ３０６において、端末制御部１４ｂの変換度調整部１４８は、所定の時定数により変換度ｋを変更する。変換度調整部１４８は、オブジェクトＯＢの画面外に飛び出してからの時間に応じて、例えば、図１２に示すように、変換度ｋを変更する。なお、オブジェクトＯＢが複数ある場合には、変換度調整部１４８は、各オブジェクトＯＢの画面外に飛び出してからの時間に応じて、異なる変換度ｋを設定する。

次に、端末制御部１４ｂの相対座標系変換部１４４ｂは、各描画点の絶対座標系の位置情報を変換度ｋに応じて相対座標系の位置情報に変換する（ステップＳ３０７）。相対座標系変換部１４４ｂは、例えば、変換度調整部１４８によって変更された変換度ｋと、上述した式（３）を用いて、オブジェクトＯＢの各描画点の絶対座標系の位置情報を相対座標系の位置情報に変換する。

次に、相対座標系変換部１４４ｂは、中心点の絶対座標系の位置情報を相対座標系の位置情報に変換する（ステップＳ３０８）。相対座標系変換部１４４ｂは、例えば、上述した式（２）を用いて、オブジェクトＯＢの中心点の絶対座標系の位置情報を相対座標系の位置情報に変換する。
続く、ステップＳ３０９からステップＳ３１１までの処理は、それぞれ、第２の実施形態におけるステップＳ２０７からステップＳ２０９までの処理と同様であるため、ここではその説明を省略する。

以上説明したように、本実施形態による携帯端末装置１ｂは、相対座標系変換部１４４ｂと、変換度調整部１４８とを備えている。変換度調整部１４８は、オブジェクトＯＢが画面外に出た後に、所定の時定数によって、相対座標系変換部１４４ｂによって変換される相対座標系の位置情報を、絶対座標系の位置情報に推移させるように、相対座標系変換部１４４ｂが変換する変換度ｋを変更する。相対座標系変換部１４４ｂは、変換度調整部１４８によって変更された変換度ｋに基づいて、絶対座標系における各描画点の世界座標系の位置情報を、相対座標系における各描画点の位置情報に変換する。
これにより、オブジェクトＯＢは、画面外に出た後の時間に応じて、現在視位置から見た歪んだ形状から本来の形状に推移するため、本実施形態による携帯端末装置１ｂは、さらに自然に画面外のオブジェクトＯＢを描画することができる。よって、本実施形態による携帯端末装置１ｂは、オブジェクトＯＢをテレビ画面２１から飛び出た後にさらに違和感なく自然に表示させることができる。

［第４の実施形態］
次に、第４の実施形態による携帯端末装置１ｂ及び画像処理システム１００ｂについて説明する。
なお、携帯端末装置１ｂは、第３の実施形態における変換度ｋの適用範囲を変更した変形例である。第４の実施形態による携帯端末装置１ｂは、相対座標系変換部１４４ｂの処理が異なる点を除いて、第３の実施形態における携帯端末装置１ｂの構成と同様であるため、ここではその説明を省略する。また、第４の実施形態による画像処理システム１００ｂは、第３の実施形態の構成と同様であるため、ここではその説明を省略する。

上述した第３の実施形態では、オブジェクトＯＢの各描画点における相対座標系への変換について変換度ｋを適用する一例を説明したが、本実施形態では、オブジェクトＯＢの中心点における相対座標系への変換についても変換度ｋを適用する。
本実施形態による相対座標系変換部１４４ｂは、変換度調整部１４８によって変更された変換度ｋに基づいて、各描画点の世界座標系の位置情報を含む絶対座標系の位置情報を、各描画点の位置情報を含む相対座標系の位置情報に変換する。相対座標系変換部１４４ｂは、例えば、各描画点の世界座標系の位置情報及び中心点の位置情報を、上述した式（３）を用いて、相対座標系の位置情報に変換する。
このように本実施形態では、変換度調整部１４８は、所定の時定数を持ち、オブジェクトＯＢが画面外に飛び出した後に、上述した第２の実施形態から絶対座標系の位置情報を用いる絶対座標系方式に推移するように、変換度ｋを調整する。

次に、携帯端末装置１ｂの動作について説明する。
図１４は、携帯端末装置１ｂの動作の手順を示すフローチャートである。
同図におけるステップＳ４０１からステップＳ４０６までの処理は、第３の実施形態におけるステップＳ３０１からステップＳ３０６までの処理と同様であるため、ここではその説明を省略する。

ステップＳ４０７において、相対座標系変換部１４４ｂは、絶対座標系の位置情報を変換度ｋに応じて相対座標系の位置情報に変換する。相対座標系変換部１４４ｂは、例えば、変換度調整部１４８によって変更された変換度ｋと、上述した式（３）を用いて、オブジェクトＯＢの各描画点の絶対座標系の位置情報及びオブジェクトＯＢの中心位置の位置情報を相対座標系の位置情報に変換する。
続く、ステップＳ４０８からステップＳ４１０までの処理は、第３の実施形態におけるステップＳ３０９からステップＳ３１１までの処理と同様であるため、ここではその説明を省略する。

以上説明したように、本実施形態による携帯端末装置１ｂは、相対座標系変換部１４４ｂと、変換度調整部１４８とを備えている。変換度調整部１４８は、オブジェクトＯＢが画面外に出た後に、所定の時定数によって、相対座標系変換部１４４ｂによって変換される相対座標系の位置情報を、絶対座標系の位置情報に推移させるように、相対座標系変換部１４４ｂが変換する変換度ｋを変更する。相対座標系変換部１４４ｂは、変換度調整部１４８によって変更された変換度ｋに基づいて、各描画点の世界座標系の位置情報を含む絶対座標系の位置情報を、各描画点の位置情報を含む相対座標系の位置情報に変換する。
これにより、オブジェクトＯＢは、画面外に出た後の時間に応じて、現在視位置から見た歪んだ形状から本来の形状に推移するため、本実施形態による携帯端末装置１ｂは、第３の実施形態と同様に、さらに自然に画面外のオブジェクトＯＢを描画することができる。さらに、本実施形態による携帯端末装置１ｂは、画面外のオブジェクトＯＢの軌跡を相対座標系から絶対座標系に連続的に推移させるため、オブジェクトＯＢは、変換度ｋが０以降では絶対座標系と同一になり、複数の携帯端末装置１ｂにおいて同じ位置とすることができる。よって、本実施形態による携帯端末装置１ｂは、オブジェクトＯＢをテレビ画面２１から飛び出た後にさらに違和感なく自然に表示させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、携帯端末装置１（１ａ、１ｂ）が、タブレット情報端末である例を説明したが、これに限定されるものではなく、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、透過式でないヘッドマントディスプレイ装置などの他の携帯端末装置であってもよい。

また、上記の第１から第４までの各実施形態において、携帯端末装置１（１ａ、１ｂ）は、テレビ２のテレビ画面２１を撮像する例を説明したが、これに限定されるものではなく、所定の映像（コンテンツ）を表示する表示装置であれば、他の装置であってもよい。
また、上記の各実施形態において、携帯端末装置１（１ａ、１ｂ）は、コンテンツをコンテンツ記憶部１３１に予め記憶している例を説明したが、例えば、ネットワークを介して外部からコンテンツを取得するようにしてもよい。

また、上記の各実施形態において、携帯端末装置１（１ａ、１ｂ）は、全てのオブジェクトＯＢに対して、相対座標系に変換した位置情報に基づいてオブジェクトＯＢを描画する例を説明したが、コンテンツに応じて、従来の絶対座標系方式と、上記の各実施形態の相対座標系の位置情報を用いる相対座標系方式とを切り替えて実施するようにしてもよい。携帯端末装置１（１ａ、１ｂ）は、例えば、１つのテレビ画面２１に対して複数の携帯端末装置１（１ａ、１ｂ）でサブコンテンツ（例えば３ＤＣＧアニメーションコンテンツ）を楽しむ場合や、「飛び出し」表現時の形状変化をあえて見せたい場合などには、絶対座標系方式を選択して、当該絶対座標系方式により描画を実行するようにしてもよい。また、携帯端末装置１（１ａ、１ｂ）は、例えば、視位置に応じたインタラクティブなコンテンツである場合や「飛び出し」表現の連続性が重視される場合などには、上記の各実施形態の相対座標系方式を選択して、当該相対座標系方式により描画を実行するようにしてもよい。

また、上記の第３及び第４の実施形態において、変換度調整部１４８は、図１２に示す波形Ｗ１によって、変換度ｋを変更する例を説明したが、これに限定されるものではなく、他の所定の関数により変換度ｋを変更するようにしてもよい。また、変換度調整部１４８は、オブジェクトＯＢの形状及び大きさに応じて、変換度ｋを変更する所定の時定数又は所定の関数を変更してもよい。

なお、上述した携帯端末装置１（１ａ、１ｂ）が備える各構成は、内部に、コンピューターシステムを有している。そして、上述した携帯端末装置１（１ａ、１ｂ）が備える各構成の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより上述した携帯端末装置１（１ａ、１ｂ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行する」とは、コンピューターシステムにプログラムをインストールすることを含む。ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピューターシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピューター装置を含んでもよい。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に携帯端末装置１（１ａ、１ｂ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピューター読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピューターシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１，１ａ，１ｂ 携帯端末装置（表示装置）
２ テレビ
１１ 撮像部
１２ 端末表示部
１３ 端末記憶部
１４，１４ａ，１４ｂ 端末制御部
２１ テレビ画面
１００，１００ａ，１００ｂ 画像処理システム
１３１ コンテンツ記憶部
１４１ ３ＤＣＧデータ取得部
１４２ 最適視位置算出部
１４３ 現在視位置取得部
１４４，１４４ａ，１４４ｂ 相対座標系変換部
１４５ 描画処理部
１４６ 世界座標系変換部
１４７ ローカル座標系変換部
１４８ 変換度調整部

Claims (5)

1. 表示画面を見た際に前記表示画面に表示する表示映像が撮像された光学中心と一致する最適視位置を示す最適視位置情報と、前記表示画面を撮像する撮像部の現在視位置を示す現在視位置情報とに基づいて、前記最適視位置を基準にオブジェクトの前記表示画面の画面外の位置情報を表す絶対座標系の位置情報を、前記現在視位置を基準に前記画面外の位置情報を表す相対座標系の位置情報に変換する相対座標系変換部と、
   前記相対座標系変換部によって変換された前記相対座標系の位置情報に基づいて、前記撮像部によって撮像された撮像映像の前記画面外に前記オブジェクトを描画する描画処理部と
   を備えることを特徴とする表示装置。
2. 前記オブジェクトの各描画点の位置座標を前記オブジェクトの中心位置を基準としたローカル座標系により表したローカル位置情報を、空間全体を表す世界座標系の位置情報に変換する世界座標系変換部と、
   前記各描画点の前記世界座標系の位置情報を、前記ローカル位置情報に変換するローカル座標系変換部と
   を備え、
   前記相対座標系変換部は、前記各描画点の前記世界座標系の位置情報を含む前記絶対座標系の位置情報を、前記各描画点の位置情報を含む前記相対座標系の位置情報に変換し、
   前記ローカル座標系変換部は、前記相対座標系変換部によって前記相対座標系に変換された前記各描画点の前記世界座標系の位置情報を、前記相対座標系における前記各描画点の前記ローカル位置情報に変換し、
   前記描画処理部は、前記ローカル座標系変換部によって変換された前記相対座標系における前記各描画点の前記ローカル位置情報に基づいて、前記画面外に前記オブジェクトを描画する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記オブジェクトが前記画面外に出た後に、所定の時定数によって、前記相対座標系変換部によって変換される前記相対座標系の位置情報を、前記絶対座標系の位置情報に推移させるように、前記相対座標系変換部が変換する変換度を変更する変換度調整部を備え、
   前記相対座標系変換部は、前記変換度調整部によって変更された前記変換度に基づいて、前記絶対座標系における前記各描画点の前記世界座標系の位置情報を、前記相対座標系における前記各描画点の位置情報に変換する
   ことを特徴とする請求項２に記載の表示装置。
4. 前記オブジェクトが前記画面外に出た後に、所定の時定数によって、前記相対座標系変換部によって変換される前記相対座標系の位置情報を、前記絶対座標系の位置情報に推移させるように、前記相対座標系変換部が変換する変換度を変更する変換度調整部を備え、
   前記相対座標系変換部は、前記変換度調整部によって変更された前記変換度に基づいて、前記各描画点の前記世界座標系の位置情報を含む前記絶対座標系の位置情報を、前記各描画点の位置情報を含む前記相対座標系の位置情報に変換する
   ことを特徴とする請求項２に記載の表示装置。
5. コンピューターに、
   表示画面を見た際に前記表示画面に表示する表示映像が撮像された光学中心と一致する最適視位置を示す最適視位置情報と、前記表示画面を撮像する撮像部の現在視位置を示す現在視位置情報とに基づいて、前記最適視位置を基準にオブジェクトの前記表示画面の画面外の位置情報を表す絶対座標系の位置情報を、前記現在視位置を基準に前記画面外の位置情報を表す相対座標系の位置情報に変換する相対座標系変換ステップと、
   前記相対座標系変換ステップによって変換された前記相対座標系の位置情報に基づいて、前記撮像部によって撮像された撮像映像の前記画面外に前記オブジェクトを描画する描画処理ステップと
   を実行させるためのプログラム。

Images