JP5222646B2 - 端末装置、表示制御方法および表示制御プログラム - Google Patents

Description

本発明は、表示画面に３次元物体の投影画像を表示する端末装置、表示制御方法および表示制御プログラムに関する。

従来、表示装置の表示画面上に３次元物体の投影画像を表示し、コントローラの操作によって、その視点を変える等の表示制御を可能にする技術が提案されている（特許文献１参照）。コントローラの操作としては単に押ボタンの操作に限らず、コントローラ自体の位置や姿勢の変化を測定し、利用することも提案されている。

また、本人の顔を送信する代わりにＣＧキャラクタの映像を相手に送信することによって人物映像を互いに通信するテレビ電話の用途において、操作者の頭部の姿勢情報および顔の表情を計測し、その計測結果に基づいてＣＧキャラクタの動きを制御する技術が提案されている（特許文献２参照）。

撮影画像の中から顔像を少ない演算量で迅速に判定する技術も提案されている（特許文献３参照）。
特開２００７−２６０２３２号公報 特開２００３−１０８９８０号公報 特開２００５−２８４４８７号公報

上述のような３次元物体の表示および操作によって表示の臨場感が増すことなどが期待できる。

しかし、表示された３次元物体を異なる角度から見ようとした場合、移動体端末に備えられた入力装置を用いて、３次元物体を回転させるための操作を行う必要があった。通常、移動体端末に備えられた入力装置では限られた操作（例えばキーを用いた操作）しか行えず、操作者が思うとおりの３次元物体の操作は困難であり、また、直感的に分かりやすい操作は行えなかった。

本発明はこのような背景においてなされたものであり、表示部を有する端末装置において直感的に分かりやすい操作で３次元物体の表示制御を行えるようにするものである。

本発明による端末装置は、表示画面に３次元物体の投影画像を表示する表示手段と、表示画面を見ている状態の操作者を撮像する撮像手段と、記撮像手段により撮像された操作者の顔像のサイズの単位時間あたりの変化率を算出する手段と、撮影画像に対する操作者の顔像の位置に応じて表示画面上での前記３次元物体の回転を制御する制御手段とを備え、前記制御手段は、さらに、前記顔像のサイズに応じて前記３次元物体の表示サイズを変化させるとともに、前記変化率に応じて前記３次元物体の外から内部に視点を移動するものである。

顔検出手段が表示画面を見ている状態の操作者の顔を検出する。この検出結果に基づいて、撮影画像に対する操作者の顔像の位置が求められる。そこで、制御手段は、前記撮影画像に対する顔像の位置に応じて表示画面上での前記３次元物体の回転を制御する。これにより、端末装置に対する操作者の顔の相対的な位置変化に応じて表示画面上で３次元物体の回転が制御される。

本発明による表示制御方法および表示制御プログラムにおいて実行されるステップは、表示部を有する端末装置における表示制御方法であって、表示画面に３次元物体の投影画像を表示するステップと、表示画面を見ている状態の操作者の顔を検出するステップと、前記操作者の顔像のサイズの単位時間あたりの変化率を算出するステップと、撮影画像に対する操作者の顔像の位置に応じて表示画面上での前記３次元物体の回転を制御するステップと、前記顔像のサイズに応じて前記３次元物体の表示サイズを変化させるとともに、前記変化率に応じて前記３次元物体の外から内部に視点を移動するステップとである。

本発明による他の構成および作用効果は以下に詳述するとおりである。

本発明によれば、煩雑なキー操作によることなく、表示画面を見ている操作者の顔位置によって、３次元物体の表示制御を行うことが可能となる。これにより、直感的で分かりやすいユーザインタフェースを提供することができる。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明の端末装置の一実施の形態に係る移動体端末１００の概略構成を示している。この移動体端末１００は例えば携帯電話端末を想定している。

移動体端末１００は、３次元物体の投影画像３４７を表示画面１１０に表示することができるとともに、この表示画面１１０を見ている操作者（すなわちユーザ）１０の顔の画像（顔像）を得ることができる撮像部１０４を備えたものである。撮像部１０４は本発明における、表示画面を見ている状態の操作者を撮像する「撮像手段」を構成している。撮像部１０４は、操作者前方の被写体を撮影するための撮像部を操作者側に回転可能としたものでもよいし、このような撮像部とは別にテレビ電話などのためにレンズが固定的に操作者に向けられた撮像部であってもよい。また、図１には示さないが、通常、携帯電話端末等に備えられた各種操作キーなどを有する操作部を備えている。折り畳み型、スライド型、ストレート型等の端末の形態は特に限定しない。

図２は、図１に示した移動体端末１００の概略ハードウェア構成を示している。

移動体端末１００は、ＣＰＵ１０１、記憶部１０２、表示部１０３、撮像部１０４、および操作部１０５を備える。

ＣＰＵ１０１は、本発明の制御手段を構成する部位であり、各種プログラムを実行することにより移動体端末１００全体の制御を司るとともに、各種の処理を行う。

記憶部１０２は、ＣＰＵ１０１の実行するプログラムおよび必要なデータを格納する手段であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の内蔵記憶装置の他、着脱可能な記録媒体も含みうる。後述する３次元物体モデル情報、撮像により得られた撮影画像データも記憶部１０２に格納される。

表示部１０３は、図１に示した表示画面１１０に３次元物体の投影画像３４７を表示する手段であり、ＬＣＤ、有機ＥＬ等の表示デバイスを含む。

撮像部１０４は、図１で説明したとおり、操作者１０の顔を撮像することができるデジタルカメラ等の撮像手段である。

操作部１０５は、図１で説明したとおり、操作者の入力操作を受ける手段である。

図示しないが、通常の携帯電話端末が有するような無線通信部、音声出力部、ＧＰＳ部、等をさらに備えてもよい。

図３は、本実施の形態における移動体端末１００の主要な機能を示した機能ブロック図である。

制御部３００により、顔矩形検出部３１０、３次元物体投影視点計算部３１１、３次元物体投影画像生成部３１２、３次元物体投影画像表示指示部３１３が構成される。

記憶部１０２には、撮像部１０４で得られた撮影画像３４１（操作者顔像３４１Ａを含む）を保存する撮影画像保存部３４０、撮影画像に基づいて得られた顔矩形情報３５１を保存する顔矩形情報保存部３５０、および、３次元物体モデルの３次元の構造を表す３次元物体モデル情報３６１を保存する３次元物体モデル情報保存部３６０が設けられる。

制御部３００により構成される顔矩形検出部３１０は、撮像部１０４により得られた撮影画像３４１中の操作者の顔の部分に対応する矩形（例えば両目または両目および鼻を含む矩形等）を検出し、顔矩形情報３５１を得る部位である。顔矩形情報３５１は顔矩形の所定の点（例えば左上点）の座標および顔矩形の幅および高さ等の情報である。幅および高さの代わりに顔矩形の対角点の座標を利用してもよい。顔矩形の検出手法としては、上述した特許文献３に開示されているような公知の技術を利用することができる。顔矩形情報には、後述するように撮像部１０４に対する操作者の顔の位置や距離およびそれらの変化が反映される。

３次元物体投影視点計算部３１１は、検出された顔矩形情報に基づいて３次元物体投影視点を計算する部位である。具体的には、３次元物体をどの角度、どの程度の距離からみた画像として２次元平面に投影するのかを計算する。

３次元物体投影画像生成部３１２は、３次元物体を表示画面に投影した投影画像を生成する部位である。

３次元物体投影画像表示指示部３１３は、表示部１０３に対して、生成された投影画像を表示するように指示する部位である。

まず、図４、図５、図６を用いて、本発明が前提とする撮影画像とそのなかの操作者顔像との基本的な関係について説明する。これらの各図（ａ）は移動体端末１００（ひいては撮像部１０４）と操作者１０との位置関係を示しており、各図（ｂ）はその位置関係における撮影画像３４１と操作者顔像３４１Ａの関係を示している。

図４において、操作者１０の顔は移動体端末１００の撮像部１０４の正面に位置し、撮影画像３４１に含まれる操作者顔像３４１Ａは撮影画像３４１の中央に位置している。一方、図５において操作者１０は移動体端末１００に向かって左側に移動しており撮影画像３４１に含まれる操作者顔像３４１Ａは、撮影画像３４１内の左側に位置するようになる。ここに、撮影画像３４１は撮影部１０４側からではなく、操作者１０側から見たものである。後続の他の図の撮影画像についても同様である。これらから分かるように、撮影画像３４１に含まれる操作者顔像３４１Ａの位置によって操作者１０が撮像部１０４に対してどの方向に位置するかを判断することができる。

また、図６に示すように、操作者１０が撮像部１０４に近づいた場合は撮影画像３４１に含まれる操作者顔像３４１Ａは撮影画像３４１に対して相対的に大きなものとなる。すなわち、操作者顔像３４１Ａのサイズが大きくなる。これからわかるように撮影画像３４１に含まれる操作者顔像３４１Ａの撮影画像３４１に対する相対的な大きさから操作者１０の撮像部１０４に対する距離を判断することができる。

続いて図７、図８、図９を参照して、本実施の形態の動作を説明する。これらの各図（ａ）は３次元物体の投影画像を表示した表示画面１１０を示しており、各図（ｂ）はそれに対応する撮影画像３４１と操作者顔像３４１Ａとの関係を示している。

図７において、操作者１０は移動体端末の正面に位置しており、操作者顔像３４１Ａは撮影画像３４１の中心に位置する。顔矩形検出部３１０は保存された撮影画像３４１に対して顔矩形情報３５１を生成し、顔矩形情報保存部３５０によって保存する。３次元物体投影視点計算部３１１は中心を示している顔矩形情報３５１から操作者が移動体端末の正面に位置すると判断でき、また撮影画像３４１に対する操作者顔像３４１Ａの相対的な大きさおよび位置に基づいて、３次元物体投影視点情報として距離Ａ、および、３次元物体の姿勢を表す角度（α、β、γ）を出力する。ここにおいて角度（α、β、γ）は図１１に示された方向の回転角度であり、ここでは初期値（０，０，０）である。距離Ａは正の値であるが実際の値は製品に依存した値であり発明上特に意味のあるものではない。また、回転方向の定義も上記のものに限るものではない。

続いて３次元物体投影画像生成部３１２は３次元物体投影視点情報と３次元物体モデル情報３６１から３次元物体投影画像３４７Ａを生成する。３次元物体投影画像表示指示部３１３は生成された３次元物体投影画像３４７Ａを表示部１０３に表示するよう指示を出し、結果として図７（ａ）に示すような３次元物体投影画像３４７Ａの表示がなされる。

図８（ｂ）に示すように、操作者１０が移動体端末に向かって右側やや上方に位置している場合、操作者顔像３４１Ａは撮影画像３４１の右端やや上方に位置する。このとき、撮影画像３４１に対する操作者顔像３４１Ａの相対的な大きさおよび位置に基づいて、３次元物体投影視点情報として距離Ａ、角度（−Ｂ，Ｃ，０）を出力する。ここにおいてＡ、Ｂ、Ｃは正の値であるが実際の値は製品に依存した値であり発明上特に意味のあるものではない。

続いて３次元物体投影画像生成部３１２は３次元物体投影視点情報と３次元物体モデル情報３６１から３次元物体投影画像３４７Ｂを生成する。３次元物体投影画像表示指示部３１３は生成された３次元物体投影画像３４７Ｂを表示部１０３に表示するよう指示を出し、結果として図８（ａ）に示すように３次元物体をその前方斜め上方向から眺めたような３次元物体投影画像３４７Ｂの表示がなされる。

図９（ｂ）に示すように、操作者１０は移動体端末の正面上方に位置している場合、操作者顔像３４１Ａは撮影画像３４１の上端に位置する。このとき、３次元物体投影視点計算部３１１は上端を示している顔矩形情報３５１から操作者が移動体端末の上方に位置すると判断でき、また撮影画像３４１に対する操作者顔像３４１Ａの相対的な大きさおよび位置に基づいて、３次元物体投影視点情報として距離Ａ、角度（−Ｂ，０，０）を出力する。

続いて３次元物体投影画像生成部３１２は３次元物体投影視点情報と３次元物体モデル情報３６１から３次元物体投影画像３４７Ｃを生成する。３次元物体投影画像表示指示部３１３は生成された３次元物体投影画像３４７Ｃを表示部１０３に表示するよう指示を出し、結果として図９（ａ）に示すように３次元物体をその前方上方から眺めたような３次元物体投影画像３４７Ｃの表示がなされる。

このように、移動体端末に対して、３次元物体の現在画面に現れていない部分の方向に顔を相対的に移動させることにより、その側の３次元物体を見ることが可能となる。これは、現実世界における人の挙動と類似している動作であり、極めて直感的な操作形態といえる。

図１０（ｂ）に示すように、操作者１０が移動体端末の正面中心に位置するが図７の場合に比べて撮像部１０４に近づいたところに位置している場合、撮影画像３４１に対して操作者顔像３４１Ａは中心に位置しているが相対的な大きさが大きなものになっている。このとき、３次元物体投影視点計算部３１１は顔矩形情報３４３から操作者が移動体端末の中央かつ撮像部１０４に近い位置にあると判断でき、３次元物体投影視点情報として距離Ｄ，（０，０，０）を出力する。ここにおいてＤは正の値であるが実際の値は製品に依存した値であり発明上特に意味のあるものではない。

続いて３次元物体投影画像生成部３１２は３次元物体投影視点情報と３次元物体モデル情報３６１から３次元物体投影画像３４７Ｄを生成する。３次元物体投影画像表示指示部３１３は生成された３次元物体投影画像３４７Ｂを表示部１０３に表示するよう指示を出し、結果として図１０（ａ）に示すように３次元物体に接近して見たような３次元物体投影画像３４７Ｄの表示がなされる。

このように、得られた顔像のサイズ（すなわち操作者から撮像部までの距離）に応じて３次元物体の表示サイズを変化させることができる。これにより、表示画面１１０に顔を近づければ、表示されている３次元物体投影画像の表示サイズも大きくなる。

図１２に、本実施の形態における移動体端末１００の概略の表示処理を表したフローチャートを示す。この処理はＣＰＵ１０１が記憶部１０２内のプログラムを読み出して実行することにより実現される。本実施の形態における顔像に基づく３次元物体の表示制御が一表示モードとして与えられる場合には、操作者はそのようなモードを操作部１０５から選択する。

まず、３次元物体モデル情報保存部３６０から３次元物体モデル情報３６１を読み出して、表示部１０３の表示画面１１０上に表示する（Ｓ１１）。このときの視点の位置は予め定められた初期位置とする。

撮像部１０４を起動し、その撮像動作を開始する（Ｓ１２）。本実施の形態では周期的に撮像を行う。撮影画像は撮影画像保存部３４０に一時的に保存される。この撮影画像中の操作者の顔像（例えば上述した顔矩形）を検出し（Ｓ１３）、上述したような顔矩形情報３５１を得る。この顔矩形情報３５１から、撮影像に対する顔像の位置およびサイズを確認する（Ｓ１４）。

この顔像の位置およびサイズに変化があれば（Ｓ１５，Ｙｅｓ）、その位置およびサイズ（の変化）に応じて、３次元物体投影視点情報（上記距離および角度情報）を更新する（Ｓ１６）。この更新された３次元物体投影視点情報に応じて、３次元物体の投影画像を更新し（Ｓ１７）、ステップＳ１１へ戻る。

顔像のサイズの変化を距離に変換する一例としては、顔像の現在のサイズの変化率に応じた大きさの値を現在の距離値に加算する。加算する値の符号は、顔像のサイズが大きくなったとき負値、小さくなったとき正値とする。ただし、これは変換の一例であり、本発明はこの方法に限るものではない。

顔像の位置の変化を角度情報に変換する方法の一例としては、現在位置から左右方向への移動は角度βに反映させる。具体的には表示画面上での右方向への移動ではその移動量に応じた大きさの正の角度を角度βに加算する。逆に左方向への移動ではその移動量に応じた大きさの負の角度を角度βに加算する。さらに、現在位置から上下方向への移動は角度αに反映させる。表示画面上での上方向への移動ではその移動量に応じた大きさの正の角度を角度αに加算する。逆に下方向への移動ではその移動量に応じた大きさの負の角度を角度αに加算する。ただし、これは変換の一例であり、本発明はこの方法に限るものではない。

以上説明した実施の形態によれば、移動体端末に表示される３次元物体の視点操作が操作者の撮像部１０４に対する位置で定まるため、移動体端末１００に対して相対的に操作者の顔を移動させるという非常に直観的な手段で操作を行うことが可能となる。その結果、移動体端末で３次元物体表示を行うシステムの操作性を向上させることができる。

次に本発明の第２の実施の形態について説明する。この実施の形態では、移動体端末の傾きを検出する傾き検出手段を備え、操作者の顔の検出範囲を超える顔の位置範囲に関して、当該傾き検出手段の出力を用いて３次元物体の回転を継続して制御しようとするものである。

図１３は、第２の実施の形態に係る移動体端末１００ａの概略構成を示している。図１に示した移動体端末１００と同じ要素には同じ参照番号を付して、重複した説明は省略する。この移動体端末１００ａには移動体端末１００ａの筐体の傾きを検出する傾き検出手段としての端末傾き検出部１０６を内蔵している。端末傾き検出部１０６の構成は既知のものでよく、例えば加速度センサを用いることができる。本実施の形態では図１１の少なくとも角度β方向の傾きを検出するものとする。さらに、角度αおよび角度γ方向の傾きを検出するものとしてもよい。

図１４は、図１３に示した移動体端末１００ａの概略ハードウェア構成を示している。図２に示した移動体端末１００と同じ要素には同じ参照番号を付して、重複した説明は省略する。この構成では端末傾き検出部１０６を追加したものである。

図１５は、図１３の移動体端末１００ａの主要な機能を示した機能ブロック図である。図３に示した移動体端末１００と同じ要素には同じ参照番号を付して、重複した説明は省略する。ここでは、端末傾き検出部１０６により検出された端末傾き変位情報３７１を保存する端末傾き変位保存部３７０を記憶部１０２に追加している。

撮像部１０４の撮像範囲には限度があり、例えば図１６に示すように、操作者が表示画面に向かって顔を右方向に移動させた場合、顔が撮像可能範囲外に移動し、ある位置から操作者顔像３４１Ａが撮影像３４１に入らなくなる。このとき、３次元物体投影視点計算部３１１は顔矩形情報３４３を用いて操作者の位置を判断しようとするが、不検出のため位置を判断することができない。

本実施の形態では、このような場合に撮像可能範囲外に移動する直前において最後に検出できた操作者顔像の矩形情報である直近顔矩形情報３５２を顔矩形情報保存部３５０に保持しておく。この直近顔矩形情報３５２と、端末傾き検出部１０６によって検出され端末傾き変位保存部３７０に保存されている端末傾き変位情報３７１とに基づいて、操作者の顔の位置を推測することができる。例えば、図１６の例では移動体端末のさらに右側のやや上方に位置すると推測できる。すなわち、図１７（ａ）に示すように端末傾き変位情報３７１（図１５）を考慮して、３次元物体投影視点情報として角度（−Ｂ，Ｃ，０）を出力する。このときの端末傾き変位情報３７１は最後に顔が検出されてからの傾きの変位情報である。操作者との距離は直近の値を保存して使うなどして補うことができる。

続いて３次元物体投影画像生成部３１２は３次元物体投影視点情報と３次元物体モデル情報３６１とから３次元物体投影画像３４７Ｅを生成する。３次元物体投影画像表示指示部３１３は生成された３次元物体投影画像３４７Ｅを表示画面１１０に表示するよう指示を出し、結果として図１７（ｂ）に示すような３次元物体の右側に回り込んだ視点からの投影画像３４７Ｅの表示がなされる。

この第２の実施の形態によれば、撮像部１０４の撮像範囲が比較的狭くても、その撮像範囲を補うことができ、顔による操作範囲を拡大することができる。

図１８は、第２の実施の形態における移動体端末１００ａの概略の表示処理を表したフローチャートである。図１２に示したと同じ要素には同じ参照番号を付して、重複した説明は省略する。

図１２の処理と異なる点は、ステップＳ１５で「変化あり」と判断されたとき、顔が撮像範囲の端に達したかどうかを判断する（Ｓ１９）。達していなければ、ステップＳ１６へ移行する。達していれば、端末傾き検出部１０６の出力に基づいて顔像の位置を補正する（Ｓ２０）。その後、ステップＳ１６へ移行する。他の処理は図１２と同じである。

次に図１９により第２の実施の形態の変形例を説明する。この変形例では、表示画面に垂直な軸を中心とした端末装置の回転角度を検出する手段として端末傾き検出部１０６を用い、端末の当該回転角度に関わらず、３次元物体の投影画像の上下方向を操作者の顔の上下方向（すなわち操作者顔像の両目を結ぶ直線に垂直な方向）に合わせるように当該投影画像の表示を制御するものである。

具体的には例えば図１９（ａ）のように縦長の表示画面１１０において比較的横長の３次元物体投影画像３４７Ｆが表示されている場合を想定する。この場合、操作者の顔の向きおよび位置はそのままで移動体端末を９０度傾けて表示画面１１０を横長（水平）にしたとする。このとき、図１９に示したように、３次元物体投影画像３４７Ｆが操作者の顔の上下方向に一致するように、角度γ方向（表示画面に垂直な軸を中心とした回転方向）に回転する。これによって、横長の画像が横長の画面に収容され、画像全体が見やすくなる。

図２０は、本発明の第３の実施の形態の説明図である。この装置構成については第１の実施の形態と同じであり、図示は省略する。

第３の実施の形態では、検出された顔像のサイズの単位時間あたりの変化率を算出する手段をさらに備え、可能な場合に、得られた変化率に応じて３次元物体の外から内部に視点を移動するようにするものである。「可能な場合」とは、例えば、図２０に示す例のように、３次元物体が建物である場合のように少なくとも内部空間（例えば部屋）が存在する場合である。このような場合に、顔の撮像を利用した所定の操作によって、所定の建物の内部に視点を移動しうるようにするものである。

具体的には、撮像部１０４に対して相対的に、操作者が急速に顔を近づけることにより、検出された顔像のサイズの単位時間あたりの変化率が大きくなる。この変化率が所定のしきい値以上となったとき、視点を３次元物体の内部に移動させる。

図２１は、第３の実施の形態に係る表示処理を表したフローチャートである。図１２に示したと同じ要素には同じ参照番号を付して、重複した説明は省略する。

図１２の処理と異なる点は、ステップＳ１５において「変化あり」と判断された場合に、サイズの変化率をしきい値と比較するステップＳ２１と、変化率がしきい値以上であれば、視点が３次元物体の内部に入りうるかどうかをチェックするステップＳ２２と、入りうると判断された場合に視点を内部に移動させるステップＳ２３とを追加したものである。移動させた直後の視点位置は、例えば内部空間内の最も手前の位置等の所定の位置とすることができる。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、上記説明では移動体端末として携帯電話端末を想定したが、必ずしも電話機能を有するものでなくてもよい。例えば、ＰＤＡ、ゲーム機、小型ＰＣなどの、表示画面を有する任意の端末装置であってよい。また、本発明の端末装置は好適には携帯型の端末装置であるが、必ずしも携帯型に限るものでもない。

上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラム、およびプログラムをコンピュータ読み取り可能に格納した記録媒体も本願発明に含まれる。プログラムを供給するための「記録媒体」としては、例えば、磁気記憶媒体（フレキシブルディスク、ハードディスク、磁気テープ等）、光ディスク（ＭＯやＰＤ等の光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等）、半導体ストレージ、紙テープなどを挙げることができる。

本発明の端末装置の一実施の形態に係る移動体端末１００の概略構成を示す図である。 図１に示した移動体端末の概略ハードウェア構成を示す図である。 本発明の実施の形態における移動体端末の主要な機能を示した機能ブロック図である。 本発明が前提とする撮影画像とそのなかの操作者顔像との基本的な関係についての説明図である。 本発明が前提とする撮影画像とそのなかの操作者顔像との基本的な関係についての説明図である。 本発明が前提とする撮影画像とそのなかの操作者顔像との基本的な関係についての説明図である。 本発明の実施の形態の動作の説明図である。 本発明の実施の形態の動作の説明図である。 本発明の実施の形態の動作の説明図である。 本発明の実施の形態の他の動作の説明図である。 本発明の実施の形態における回転角度の説明図である。 本発明の実施の形態における移動体端末の概略の表示処理を表したフローチャートである。 本発明の第２の実施の形態に係る移動体端末の概略構成を示す図である。 図１３に示した移動体端末の概略ハードウェア構成を示す図である。 図１３の移動体端末の主要な機能を示した機能ブロック図である。 本発明の第２の実施の形態において操作者が撮像可能範囲外に移動した場合の説明図である。 本発明の第２の実施の形態における動作例の説明図である。 本発明の第２の実施の形態における移動体端末の概略の表示処理を表したフローチャートである。 本発明の第２の実施の形態の変形例の説明図である。 本発明の実施の形態の第３の実施の形態の説明図である。 本発明の第３の実施の形態に係る表示処理を表したフローチャートである。

符号の説明

１０…操作者、１２…撮像部、１００，１００ａ…移動体端末、１０２…記憶部、１０３…表示部、１０４…撮像部、１０５…操作部、１０６…端末傾き検出部、１１０…表示画面、３００…制御部、３１０…顔矩形検出部、３１１…３次元物体投影視点計算部、３１２…３次元物体投影画像生成部、３１３…３次元物体投影画像表示指示部、３４０…撮影画像保存部、３４１…撮影画像、３４１Ａ…操作者顔像、３４３…顔矩形情報、３４７，３４７Ａ〜３４７Ｆ…３次元物体投影画像、３５０…顔矩形情報保存部、３５１…顔矩形情報、３５２…直近顔矩形情報、３６０…３次元物体モデル情報保存部、３６１…３次元物体モデル情報、３７０…端末傾き変位保存部、３７１…端末傾き変位情報

Claims (5)

1. 表示画面に３次元物体の投影画像を表示する表示手段と、
   表示画面を見ている状態の操作者を撮像する撮像手段と、
   前記撮像手段により撮像された操作者の顔像のサイズの単位時間あたりの変化率を算出する手段と、
   撮影画像に対する操作者の顔像の位置に応じて表示画面上での前記３次元物体の回転を制御する制御手段とを備え、
   前記制御手段は、さらに、前記顔像のサイズに応じて前記３次元物体の表示サイズを変化させるとともに、前記変化率に応じて前記３次元物体の外から内部に視点を移動する端末装置。
2. 端末装置の傾きを検出する傾き検出手段を備え、前記制御手段は、操作者の顔の検出範囲を超える顔の位置範囲に関して、当該傾き検出手段の出力を用いて前記３次元物体の回転を制御する請求項１に記載の端末装置。
3. 表示画面に垂直な軸を中心とした端末装置の回転角度を検出する手段を備え、前記制御手段は、端末装置の当該回転角度に関わらず、３次元物体の投影画像の上下方向を操作者の顔の上下方向に合わせるように当該投影画像の表示を制御する請求項１に記載の端末装置。
4. 表示部を有する端末装置における表示制御方法であって、
   表示画面に３次元物体の投影画像を表示するステップと、
   表示画面を見ている状態の操作者の顔を検出するステップと、
   前記操作者の顔像のサイズの単位時間あたりの変化率を算出するステップと、
   撮影画像に対する操作者の顔像の位置に応じて表示画面上での前記３次元物体の回転を制御するステップと、
   前記顔像のサイズに応じて前記３次元物体の表示サイズを変化させるとともに、前記変化率に応じて前記３次元物体の外から内部に視点を移動するステップと
   を備えた表示制御方法。
5. 表示部を有する端末装置における表示制御プログラムであって、
   表示画面に３次元物体の投影画像を表示するステップと、
   表示画面を見ている状態の操作者の顔を検出するステップと、
   前記操作者の顔像のサイズの単位時間あたりの変化率を算出するステップと、
   撮影画像に対する操作者の顔像の位置に応じて表示画面上での前記３次元物体の回転を制御するステップと、
   前記顔像のサイズに応じて前記３次元物体の表示サイズを変化させるとともに、前記変化率に応じて前記３次元物体の外から内部に視点を移動するステップと
   をコンピュータに実行させる表示制御プログラム。

Images