JP3926837B2 - 表示制御方法および装置、プログラム、並びに携帯機器 - Google Patents

Description

本発明は、画像計測や画像認識を用いた表示制御方法に関するものであり、特に、カメラが搭載された機器の位置や向きを、カメラの撮影画像を用いて検出し、検出した機器の位置や向きに基づいて表示を制御する技術に関する。

近年、インターネットの普及によってコンピュータや家電機器が相互に接続され、遠隔操作やメディア融合など、いわゆるユビキタスネットワーク社会が形成されつつある。その特徴は、いつでもどこでもコミュニケーションが取れる自由度の高さにあり、ユーザは機器の違いや機器との物理的距離などを意識せずに行動することができる。ユビキタスネットワーク社会の実現には、まずシステム側としてネットワーク接続が必須条件になるが、ユーザと機器との間のいわゆるユーザーインターフェイスの自由度の高さも前提条件になる。ハードウェア・ソフトウェアとして機器が接続されていても、これを利用するユーザがシステムと自由にコミュニケーションできなくては、ユビキタスとはいえない。すなわち、システムの使いやすさ、いわゆるユーザビリティを高める技術が必要となる。

システムのユーザビリティを高める直感的な操作方法を実現するには、システムがユーザの意図を自動的に理解する必要があり、その実現にあたっては、例えば、インターフェースデバイスの位置や向きを検出する技術が有効である。

このようなインターフェースデバイスの１つとして、ポインティングマーカーがある。例えば、特許文献１では、ユーザは自分とは輝度または色が異なっている物体（青色ＬＥＤなど）を、ポインティングマーカーとして手に持つ。システムは、ポインティングマーカーの位置を撮像センサによって検出し、検出した位置に応じて表示映像を操作する。これにより、ユーザはシステムの操作方法を理解する必要がなく、直感的、体感的にシステムとコミュニケーションできる。

また、被写体との輝度や色の違いを利用して、撮影画像からマーカーを抽出する方法がある（例えば、特許文献２参照）。予め撮影しておいた基準マーカーの位置と現在のマーカーの位置とを比較し、被写体と撮像センサとの距離を検出する。ユーザはシステム起動時に所定の初期化処理を実行して基準マーカーを登録すればよく、後はシステムが、逐次撮影されるマーカーの位置変化を検出し、被写体と撮像センサの距離を自動的に取得する。

また、コンピュータグラフィックスを利用して構築した仮想空間内で、ユーザがあたかも実物を直接操作しているかのような感覚を与える、いわゆる仮想現実システムでは、ユーザが機器を意識しないで直接、仮想空間内をコントロールできる。例えば、ユーザが手に持った携帯型のディスプレイを３次元的に移動させると、システム側はその移動を加速度センサ等で検知し、動きに合わせて表示画像を切り替える（例えば、特許文献３参照）。仮想現実空間内における視点変更を、手で持ったディスプレイの位置と向きの変更によって、直感的にシステムに与えることができる。
特開２００１−３５６８７５号公報（図１） 特開２０００−２３０８０６号公報（図１） 特開平１１−１８０２５号公報（図１１）

しかしながら、まず特許文献１の技術では、特別なマーカーを準備しなければならず、汎用性に欠け、利用シーンが限られてしまうという問題がある。すなわち、マーカー検出のために被写体との輝度や色の違いを利用しているので、マーカーとして、例えばどのような被写体よりも明るい物や、どのような被写体にも含まれない色を与える必要がある。

また、特許文献２の技術では、１個の撮像センサによって複数のマーカーをとらえ、被写体と撮像センサの距離を検出している。しかしながら、撮像センサの３次元的な位置は検出できない。すなわち、同一距離となる球面上はすべて位置情報として同一と扱われるため、ユーザビリティの点で問題が残る。

一方、特許文献３の技術では、加速度センサ等を利用しており、マーカーを撮像する必要がなく、システム構成の汎用性において優れている。しかしながら、例えば加速度センサは等速運動に対応できず、センサ感度の点で問題がある。この点については、磁気センサや超音波センサなどで多角的に位置・向き情報を検出し補完し合ういわゆるセンサーユージョンが有効であるが、センサの追加は、システムのコストアップにつながるとともに、デバイスの容積や重量を増加させる。また、センサは常時動作である場合が多く、センサ数の増加は、機器の消費電力アップにつながり、特に、携帯型の機器では由由しき問題となる。

そこで、本発明は上記の事情に鑑みてなされたものであり、簡易な構成によって機器の位置や向きを検出し、検出した機器の位置や向きに基づいて簡単に表示画像の表示を制御することができる表示制御方法および表示制御装置を提供することを目的とする。

上記目的を達成するため、本発明に係る表示制御方法は、幾何学的関係が既知である第１および第２のカメラが搭載された機器の位置に基づいて、表示画像の表示を制御する方法であって、前記第１のカメラが、画像特徴が既知の対象物を含む第１の画像を撮影し、前記第２のカメラが、前記対象物周辺のシーンを含む第２の画像を撮影し、前記第１の画像から、前記対象物の画像特徴を抽出し、抽出した前記対象物の画像特徴を、既知である前記対象物の画像特徴と比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出し、前記第２の画像から、前記第２の画像の画像特徴を抽出し、抽出した前記第２の画像の画像特徴を、前記第２のカメラによって撮影された過去の画像から抽出した画像特徴と比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出し、前記第１の画像に基づいて算出した前記距離および前記方向と、前記第２の画像に基づいて算出した前記距離および前記方向とに基づいて、前記表示画像の表示を制御することを特徴とする。

本発明によると、２個のカメラによって、機器の位置や向きを検出できるので、検出のために要する機器の容積や重量の増加を抑えることができ、簡単に表示画像の表示を制御することができる。また、消費電力も低く抑えることができる。

本発明の実施の形態に係る表示制御方法は、幾何学的関係が既知である第１および第２のカメラが搭載された機器の位置に基づいて、表示画像の表示を制御する方法であって、前記第１のカメラが、画像特徴が既知の対象物を含む第１の画像を撮影し、前記第２のカメラが、前記対象物周辺のシーンを含む第２の画像を撮影し、前記第１の画像から、前記対象物の画像特徴を抽出し、抽出した前記対象物の画像特徴を、既知である前記対象物の画像特徴と比較して、前記対象物から前記機器までの距離を算出し、前記第２の画像から、前記第２の画像の画像特徴を抽出し、前記第１の画像から抽出した前記対象物の画像特徴、および前記第２の画像から抽出した前記第２の画像の画像特徴のうち少なくともいずれか一方を用いて、前記対象物から見た前記機器の方向を算出し、算出した前記対象物から前記機器までの距離、および前記機器の方向に基づいて、前記表示画像の表示を制御することを特徴とする。

これによって、第１のカメラによって撮影された，画像特徴が既知の対象物を含む第１の画像から、対象物から機器までの距離が算出されるとともに、第２のカメラによって撮影された第２の画像から、対象物から見た機器の方向が算出される。すなわち、２個のカメラによって、対象物を基準とした当該機器の距離と方向、すなわち３次元的位置を検出することができる。そして、この機器の３次元的位置により簡単に表示画像の表示を制御することができる。

ここで、前記対象物は、前記機器を利用するユーザの顔であることが好ましい。これによって、ユーザが機器を手で持って、第１のカメラによって自分の顔を撮影するとともに、第２のカメラによって周辺の風景を撮影するだけで、自分の顔を基準とした機器の３次元位置が算出される。

また、前記機器の方向を算出する際に、前記第２の画像から抽出した前記第２の画像の画像特徴を、前記第２のカメラによって撮影された過去の画像から抽出した画像特徴と比較して、前記機器の方向を算出してもよい。また、前記機器の方向を算出する際に、前記第１の画像から抽出した前記対象物の画像特徴を、既知である前記対象物の画像特徴と比較して、前記機器の方向を算出してもよい。

また、前記表示制御方法は、さらに、前記対象物に対する前記機器の向きを、前記第１の画像から抽出した前記対象物の画像特徴、および前記第２の画像から抽出した前記第２の画像の画像特徴のうち少なくともいずれか一方を用いて算出し、前記表示画像の表示を制御する際に、算出した前記対象物から前記機器までの距離、前記機器の方向、および前記機器の向きに基づいて、前記表示画像の表示を制御してもよい。これによって、機器の３次元的位置だけでなく、さらに機器の向きにも応じてより簡単に表示画像の表示を制御することができる。

なお、本発明は、このような表示制御方法として実現することができるだけでなく、このような表示制御方法が含む特徴的なステップを手段とする表示制御装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は本発明の一実施形態に係る表示制御方法を実行する様子を示す図である。図１において、本発明に係る機器としての携帯電話２０は、幾何学的関係が既知である第１および第２のカメラとしての自分側カメラ２１および他人側カメラ２２が搭載されており、かつ、携帯電話２０の位置と向きに応じて表示映像を切り替えるインタラクティブ表示システムが、実現されている。

ユーザ１０は携帯電話２０を手で持ち、画面（図示省略）の映像を見ている。携帯電話２０に搭載された２台のカメラ２１，２２のうち、自分側カメラ２１は、画像特徴が既知の対象物としてユーザ１０の顔を撮影する。一方、相手側カメラ２２は、自分側カメラ２１と光軸を共有し、撮影方向は反対側を向いている。したがって、ユーザ１０は相手側カメラ２２の撮影画角に入ることはなく、相手側カメラ２２はユーザ１０の向かい側のシーンを撮影する。携帯電話２０の内部には、後述する位置検出装置としての位置向き検出回路３０が搭載されており、この位置向き検出回路３０が、ユーザ１０の手の動きによって決定される携帯電話２０の位置と向きを検出する。画面には携帯電話２０の位置と向きに応じた映像が表示され、ユーザ１０は携帯電話２０を動かすことによって、見たい映像を自由に選ぶことができる。

携帯電話は、その携帯性から、表示部（ディスプレイ）の大きさに自ずと限界があり、表示できる画像サイズに上限がある。そこで、テレビやコンピュータ向けに広く流通している画像・映像を携帯電話のディスプレイに表示した場合、細部が読み取りにくいという視認性の問題が生じる。視認性を上げるためには、注目点を中心に画像を拡大すればよいが、このとき、ボタンやダイヤルの代わりに携帯電話の位置や向きの変更によって、画像拡大が直感的に実行できると、利便性が向上する。また、細部を確認した後、再び全体画像を見たい場合に、表示映像の大きさや切り出し範囲を、携帯電話の位置や向きの変更によって直接的に変更できると、操作性の面で有効である。インタラクティブ表示システムにおける映像切り替え機能は、画像の拡大、縮小に限らず、映し出される被写体の向きや被写体を照らす照明の陰影の変化など様々な機能に適用可能であり、映像の表現力、リアリティ、視認性等の向上に大きく寄与する。

図１に示すように、携帯電話２０の位置は、ユーザ１０の両目の中央を回転中心とした回転座標系で表すものとする。回転中心から携帯電話２０までの距離をｒｏ、位置座標法線ＮＬに対する水平方向の回転角度をθｏ、位置座標法線ＮＬに対する鉛直方向の回転角度をφｏとする。

図２は相対座標による表現を示すための概念図である。図２のように、携帯電話２０画面の可読距離の最短位置を距離ｒｏ＝０．０、ユーザ１０が腕を最も伸ばした位置を距離ｒｏ＝１．０とする。またユーザ１０が携帯電話２０を持つ腕を左右に振る範囲で、右端をθｏ＝１．０、左端をθｏ＝−１．０とし、位置座標法線ＮＬの方向をθｏ＝０．０とする。同様に、ユーザ１０が携帯電話２０を持つ腕を上下に振る範囲で、上端をφｏ＝１．０、下端をφｏ＝−１．０とし、位置座標法線ＮＬの方向をφｏ＝０．０とする。

なお、上述した位置座標定義は一例であり、本発明は、位置座標の定義方法を制限するものではない。

図３は携帯電話２０の向きの表現を示すための概念図である。図３に示すように、携帯電話２０（図３では模式的に表現）の向きは、基準面との水平方向の角度と鉛直方向の角度で表す。基準面は任意に設定可能であり、図３では、初期状態で撮影したユーザ１０の両目と鼻の位置から決定される面ＲＳとする。図３の携帯電話２０の向きは、基準面ＲＳとの水平方向の角度θｃおよび鉛直方向の角度φｃによって表される。なお、回転中心は両目の中央に制限されることはなく、ユーザ１０の回転中心付近に設定すればいい。

図４は本発明の一実施形態に係る表示制御装置の構成を示すブロック図である。図４の表示制御装置３０は、自分側カメラ２１の撮影画像である第１の画像ＩＭ１、および相手側カメラ２２の撮影画像である第２の画像ＩＭ２に基づいて、携帯電話２０の位置（ｒｏ，θｏ，φｏ）と向き（θｃ，φｃ）を算出し、表示画像の表示を制御する。表示制御装置３０は、図４に示すように顔特徴抽出部３１、大きさ比較部３２ａ、位置比較部３２ｂ、形状比較部３２ｃ、メモリ３３、距離算出部３４、方向算出部３５、シーン特徴抽出部３６、大きさ比較部３７ａ、位置比較部３７ｂ，形状比較部３７ｃ、メモリ３８、向き算出部３９、および表示制御部４１を備えている。なお、大きさ比較部３２ａ、メモリ３３および距離算出部３４によって、第１の算出手段が構成されており、位置比較部３７ｂ，形状比較部３７ｃ、メモリ３８および方向算出部３５によって、第２の算出手段が構成されている。

第１の特徴抽出手段としての顔特徴抽出部３１は、第１の画像ＩＭ１から目、鼻、口等の顔部位を中心に顔特徴点を抽出し、顔特徴信号Ｓ１を出力する。顔特徴信号Ｓ１は、大きさ比較部３２ａ、位置比較部３２ｂおよび形状比較部３２ｃにそれぞれ供給される。メモリ３３には、予め抽出された顔特徴点が基準図形として蓄積されている。第２の特徴抽出手段としてのシーン特徴抽出部３６は、第２の画像ＩＭ２からシーン特徴点を抽出し、シーン特徴信号Ｓ２を出力する。シーン特徴信号Ｓ２は、大きさ比較部３７ａ、位置抽出部３７ｂおよび形状抽出部３７ｃにそれぞれ供給される。メモリ３８には、過去の画像から抽出された特徴点や、マーカー図形の情報が格納されている。

大きさ比較部３２ａは、顔特徴信号ＳＩから得られた画像特徴（マーカー図形）とメモリ３３に蓄積された基準図形との大きさを比較する。距離算出部３４は、大きさ比較部３２ａによる比較結果から距離ｒｏを算出する。

図５は距離ｒｏを求める方法の一例を説明するための図である。図５の例では、瞳の中心に顔特徴点を設け、瞳の中心同士をつなぐ線分をマーカー図形として設定している。メモリ３３には、基準マーカー図形として、距離ｒｏ＝０．０の位置で撮影した画像Ａ１から得た瞳中心同士をつなぐ線分Ｌ１と、距離ｒｏ＝１．０の位置で撮影した画像Ａ２から得た瞳中心同士をつなぐ線分Ｌ２とが、予め格納されている。線分Ｌ１の長さを（ｄｅ，ｎｅａｒ，ｂａｓｅ）とし、線分Ｌ２の長さを（ｄｅ，ｆａｒ，ｂａｓｅ）とする。このとき、顔特徴点信号Ｓ１から得られた瞳中心同士をつなぐ線分の長さ（瞳間距離）がｄｅであったとすると、距離ｒｏは次の式で与えられる。

ｒｏ＝（de,near,base−de）／（de,near,base−de,far,base）

自分側カメラ２１で撮影される撮影画像ＩＭ１には常にユーザ１０の顔が映っているため、このように瞳中心をつなぐ線分をマーカー図形として設定する方法によると、任意の撮影シーンからマーカーを抽出する場合に比べて、安定した検出が期待できる。

なお、ここでは、距離ｒｏ＝０．０，１．０の２箇所におけるマーカー図形を初期データとして用いるものとしたが、初期データの与え方および距離ｒｏの算出はこれに限られるものではない。例えば、携帯電話の電源投入後のシステム初期化時に瞳検出を行い、この瞳間距離を基準にして、瞳間距離の変化倍率を算出し、距離ｒｏの変化倍率に利用してもかまわない。

また、ここでは、瞳中心をつなぐ線分をマーカー図形として利用し、その大きさとして線分の長さを用いたが、マーカー図形の種類、サイズ、個数、およびその大きさの定義については、様々なものが考えられる。

一方、携帯電話２０の方向すなわち角度θｏ，φｏは、自分側カメラ２１と相手側カメラ２２によって協調して検出することが有効である。図６は携帯電話２０を水平方向に動かした場合（角度θｏ）に、自分側カメラ２１および相手側カメラ２２によって撮影される画像のイメージを示す。図６では、ユーザ１０の目の前の机に、鉛筆、ノートおよびマグカップが置かれている。

すなわち、自分側カメラ２１は回転中心であるユーザ１０を常に映しているため、携帯電話２０を水平方向に動かした場合であっても、自分側カメラ２１からはほぼ同じ映像が得られる（画像Ｃ１，Ｃ２，Ｃ３）。もちろん、手で動かすので、ロボットアームの機械的な回転とは異なり、画像Ｃ１〜Ｃ３が全く同一の映像になることはなく、このため、マーカー図形の位置は一応、互いに異なる。ところが、その違いはさほど大きくはないため、画像Ｃ１〜Ｃ３から角度θｏを検出した場合、その解像度は低くなる。

一方、相手側カメラ２２はユーザ１０の向かい側のシーンをとらえるため、画像Ｂ１，Ｂ２，Ｂ３に示すように、得られる映像は携帯電話２０の動きに応じて大きく変化する。ここで、画像Ｂ２から、ノートや鉛筆のエッジの輝度差等を用いて特徴点を抽出し、角度θｏの検出を開始したとする。その後、ユーザ１０が左手側へ携帯電話２０を移動させると、画像Ｂ１のように、ノートの一部が画像中から消え、鉛筆の全体が映し出される。逆に、右手側に携帯電話２０を移動させると、画像Ｂ３のように、マグカップが画像に現れる。そこで、相手側カメラ２２の移動に伴う特徴点追跡を複数点、並列に実行する。これにより、一部の特徴点が画像中から消滅しても、他の特徴点から角度θｏを検出することができる。また、画像に現れた物体から新たな特徴点が検出されたとき、これを特徴点追跡の対象に追加する。このように、相手側カメラ２２によって撮影された画像中の特徴点を追跡することによって、すなわち、第２の画像ＩＭ２から抽出した画像特徴を、過去の画像から抽出した画像特徴と比較することによって、角度θｏを高い解像度で検出できる。ただし、相手側カメラ２２では撮影される物体が任意であるため、常に顔画像を撮影している自分側カメラ２１と比べると、特徴検出の安定性には欠ける。

すなわち、自分側カメラ２１はユーザ１０の顔を常に撮影しているため、マーカーの検出は安定しているが、移動量が小さいので、角度θｏを細かく検出するには不向きである。一方、相手側カメラ２２は撮影画像が大きく変化するため、特徴点の移動量が大きく、角度θｏを細かく算出できるものの、撮影されるシーンが任意であるため、マーカー検出の精度が不安定になる可能性がある。

このように、自分側カメラ２１と相手側カメラ２２はともに、角度θｏの検出においてメリットとデメリットを持っているため、互いに補完動作することによって、検出精度を向上させることができる。例えば、相手側カメラ２２の画像について特徴点の検出に失敗したときは、自分側カメラ２１の画像から角度θｏを検出するようにし、相手側カメラ２２の画像についての特徴点検出が回復するまで、自分側カメラ２１を利用するようにすればよい。

また、例えば自分側カメラ２１の画像および相手側カメラ２２の画像それぞれから算出された角度θｏの平均値を用いることとしても構わない。また、例えば自分側カメラ２１の画像および相手側カメラ２２の画像それぞれから算出された角度θｏのうち、過去の履歴や所定の閾値等から特異な値とされる値を用いないこととしても構わない。

鉛直方向の回転角度φｏも、水平方向の回転角度θｏと同様にして検出することができる。なお、自分側カメラ２１の映像は、水平方向の動きに比べて変化が大きくなるため、検出精度は多少向上すると考えられる。ただし、自分側カメラ２１と相手側カメラ２２のメリットデメリットの関係は、水平方向と同様であり、したがって、位置検出精度の向上のために、補完動作による協調処理は有効である。

すなわち、方向算出部３５は、位置比較部３２ｂによる比較結果と、位置比較部３７ｂによる比較結果とを用いて、角度θｏ，φｏすなわち携帯電話２０の方向を算出する。

２台のカメラの撮影映像による協調処理は、距離ｒｏの検出においても有効である。すなわち、第２の画像ＩＭ２からもマーカー図形の大きさの変化を用いて距離ｒｏを求めることができる。なお、任意のシーンからマーカー図形を抽出するため、検出は不安定になる可能性はあるが、第１の画像ＩＭ１からのマーカー抽出も何らかの原因によって失敗する可能性があるため、第２の画像ＩＭ２からの距離検出はバックアップとして有効である。

また、携帯電話２０の向きは、マーカー図形の位置比較または形状比較によって検出することができる。図７は携帯電話２０の向きを変更した際に自分側カメラ２１によって撮影される映像のイメージを示す。図７において、画像Ｄ１は、携帯電話２０が水平方向に角度θｃだけ回転したときの映像である。画像Ｄ１では、ユーザ１０は画像の横方向（この例では右側）に移動している。画像Ｄ２は、携帯電話２０が鉛直方向に角度φｃだけ回転したときの映像である。画像Ｄ２では、ユーザ１０は画像の縦方向（この例では上）に移動している。

よって、マーカー図形（例えば肩のエッジ）の位置の移動量を求めれば、携帯電話２０の向きは検出できる。また、マーカー図形の形状に着目すると、向きの変化によって、図形は扁平し、例えば円は楕円に変形する。そこで、マーカー図形の形状の変化から、携帯電話２０の向きを検出することも可能である。相手側カメラ２２の撮影画像からも、同様に、携帯電話２０の向きを検出することができる。

すなわち、向き算出部３９は、位置比較部３２ｂおよび形状比較部３２ｃの比較結果と、位置比較部３７ｂおよび形状比較部３７ｃの比較結果を用いて、角度θｃ，φｃすなわち携帯電話２０の向きを算出する。

なお、自分側カメラ２１によって撮影した第１の画像ＩＭ１においては、ユーザ１０の顔の背景にある照明をマーカーにした方が有効な場合もある。このような場合、第１の画像ＩＭ１をシーン特徴点抽出部３６に与えて、マーカー図形を抽出するようにしてもよい。

表示制御部４１は、ユーザ１０によって選択された画像記憶部４３に記憶されている画像を表示部４４へ表示する。また、表示制御部４１は、距離算出部３４によって算出された距離ｒｏ、方向算出部３５によって算出された角度θｏ，φｏ、および向き算出部３９によって算出された角度θｃ，φｃに基づいて、表示部４４に表示している画像（表示画像）の表示を制御する。なお、画像記憶部４３には、撮影された方向や大きさが異なる複数の画像があらかじめ記憶されているものとする。

図８は拡大または縮小表示の制御を説明するための図である。ここで、表示部４４には最初は表示画像Ｅが表示されているものとする。表示制御部４１は、距離算出部３４によって算出された距離ｒｏに応じて、図８に示す表示画像Ｅを拡大または縮小して表示する制御を行う。すなわち、表示制御部４１は、ユーザ１０によって携帯電話２０が動かされ、例えば距離ｒｏが短くなったとすると、図８に示す表示画像Ｅ１のように画像を拡大して表示するように制御する。一方、例えば距離ｒｏが長くなったとすると、表示制御部４１は、図８に示す表示画像Ｅ２のように画像を縮小して表示するように制御する。また、表示制御部４１は、向き算出部３９によって算出された角度θｃ，φｃにより、表示画像Ｅを拡大または縮小する際の中心位置を制御する。

図９は表示方向の変更表示の制御を説明するための図である。ここで、表示部４４には最初は表示画像Ｅが表示されているものとする。表示制御部４１は、方向算出部３５によって算出された角度θｏ，φｏに応じて、図９に示す表示画像Ｅの表示方向を変更して表示する制御を行う。すなわち、表示制御部４１は、ユーザ１０によって携帯電話２０が動かされ、例えば右方向（角度θｏが正方向）へ移動したとすると、図９に示す表示画像Ｅ３のように右方向から見た画像を表示するように制御する。一方、例えば左方向（角度θｏが負方向）へ移動したとすると、表示制御部４１は、表示画像Ｅ４のように左方向から見た画像を表示するように制御する。また、例えば上方向（角度φｏが正方向）へ移動したとすると、表示制御部４１は、表示画像Ｅ５のように下方向から見た画像を表示するように制御する。一方、例えば下方向（角度φｏが負方向）へ移動したとすると、表示制御部４１は、表示画像Ｅ６のように上方向から見た画像を表示するように制御する。

なお、表示制御部４１は、上記のように初期位置からユーザ１０によって携帯電話２０が動かされ、その初期位置からの移動量（相対的な値）に応じて表示画像の表示を制御しているが、これに限られるものではない。例えば、表示制御部４１は、距離算出部３４によって算出された距離ｒｏ、方向算出部３５によって算出された角度θｏ，φｏ、および向き算出部３９によって算出された角度θｃ，φｃそのものの値（絶対的な値）に応じて、表示画像の表示を制御しても構わない。

また、表示制御部４１は、画像記憶部４３に記憶されている画像を表示部４４へ表示するものとしているが、携帯電話２０が備える画像記憶部４３に記憶されている画像だけでなく、例えばオンラインショッピングにおける画像のようにインターネット等のネットワークを介して取得される画像の表示を制御しても構わない。

また、表示制御部４１は、表示画像の表示を制御する際に、撮影された方向や大きさが異なる複数の画像を用いず、１枚の画像をメモリ４２に格納し、この画像を画像処理することによって表示画像の表示を制御しても構わない。

図１０は位置向き検出回路の他の構成を示すブロック図である。本実施形態では、ユーザ１０を回転中心とする回転座標系で携帯電話２０の位置を記述するため、図６で説明したように、携帯電話２０の方向の検出は、相手側カメラ２２で撮影した第２の画像ＩＭ２を用いる方が好ましい。このような観点から、図１０の構成では、図４の構成と比べて回路規模を大幅に削減している。

すなわち、図１０の位置向き検出回路３０Ａにおいて、角度θｏ，φｏは、相手側カメラ２２で撮影した第２の画像ＩＭ２から、位置比較部３７ｂおよび方向算出部３５Ａによって検出する。向きθｃ，φｃについても、マーカー図形の位置の違いが位置比較部３７ｂによって算出されるので、これを利用して、向き算出部３９Ａによって検出する。一方、距離ｒｏは、顔画像からのマーカー抽出が安定しているため、自分側カメラ２１で撮影した第１の画像ＩＭ１を利用して検出する。

図１１も位置向き検出回路の他の構成を示すブロック図である。検出の要となるマーカーは、任意の被写体よりも、特定の対象物の方が精度よく検出できる。そこで、図１１の構成では、顔画像からマーカーを抽出する処理を優先することによって、図４の構成と比べて回路規模を大幅に削減している。

すなわち、図１１の位置向き検出回路３０Ｂにおいて、角度θｏ，φｏの検出は、相手側カメラ２２で撮影された第２の画像ＩＭ２から、位置比較部３７ｂおよび方向算出部３５によって実行する。一方、距離ｒｏと向きθｃ，φｃは、自分側カメラ２１で撮影された第１の画像ＩＭ１から、大きさ比較部３２ａ、距離算出部３４Ａおよび向き算出部３９Ｂによって，顔画像をマーカー図形として検出する。

なお、本実施の形態では、ユーザ１０が携帯電話２０を手で動かす場合を例にとって説明したが、機器の移動方法は任意であり、本発明が制限するものではない。

また、２個のカメラの位置は厳密にいえば異なっているが、通常は、カメラは小型であるため、その違いは無視できる。仮に無視できない場合でも、２つのカメラの幾何的位置換算で補正すればいいし、２つのカメラ位置の平均値を採用できる場合もあろう。

なお、本実施の形態では、自分側カメラ２１と相手側カメラ２２の光軸が一致している。光軸が一致しているとき、２つのカメラ２１，２２は幾何学的に最も簡単な位置関係にある。すなわち、これは２つのカメラ２１，２２の間の幾何的変換を単純化するためのアイデアである。ただし、本発明では、２つのカメラの光軸が一致している必要はなく、幾何学的関係が既知であれば、２つのカメラは任意の位置関係にあってかまわない。

また、本実施の形態では、２個のカメラを用いるものとしたが、例えば、１台の広角カメラによって、広い視野をカバーして撮影してもかまわない。すなわち、２つの撮影画像のうち、その１つが、画像特徴が既知の対象物を含んでいればよい。

本発明は、２個のカメラという簡易な構成によって実現できるので、携帯型の機器に容易に導入可能である。検出された機器位置や向きに応じた映像をディスプレイに逐次表示することによって、ディスプレイの表示面積が狭い場合であっても、ユーザはディスプレイを窓として、被写体全体を見たり、手にとった感覚でリアリティ豊かに被写体を観察できたりするので、例えばオンラインショッピングの実用性を大幅に向上することができる。また、本発明は、実写とコンピュータグラフィックスの併用が有効な医療用途やデジタルアーカイブなどの博物館用途にも利用できる。

図１は本発明の一実施形態に係る表示制御方法の実行状態を示す図である。 図２は図１の状態の相対座標による表現を示すための概念図である。 図３は機器の向きの表現を示すための概念図である。 図４は本発明の一実施形態に係る表示制御装置の構成を示すブロック図である。 図５は機器までの距離の検出方法の一例を説明するための図である。 図６は機器の方向の検出方法の一例を説明するための図である。 図７は機器の向きの検出方法の一例を説明するための図である。 図８は拡大または縮小表示の制御を説明するための図である。 図９は表示方向の変更表示の制御を説明するための図である。 図１０は図４の構成の変形例である。 図１１は図４の構成の変形例である。

符号の説明

１０ ユーザ
２０ 携帯電話（機器）
２１ 自分側カメラ（第１のカメラ）
２２ 他人側カメラ（第２のカメラ）
３０，３０Ａ，３０Ｂ 表示制御装置
３１ 顔特徴抽出部（第１の特徴抽出部）
３２ａ，３７ａ 大きさ比較部
３２ｂ，３７ｂ 位置比較部
３２ｃ，３７ｃ 形状比較部
３３，３８，４２ メモリ
３４，３４Ａ 距離算出部
３５，３５Ａ 方向算出部
３６ シーン特徴抽出部（第２の特徴抽出部）
３９，３９Ａ，３９Ｂ 向き算出部
４１ 表示制御部
４３ 画像記憶部
４４ 表示部
ＩＭ１ 第１の画像
ＩＭ２ 第２の画像

Claims (8)

1. 幾何学的関係が既知である第１および第２のカメラが搭載された機器の位置に基づいて、表示画像の表示を制御する方法であって、
   前記第１のカメラが、画像特徴が既知の対象物を含む第１の画像を撮影し、
   前記第２のカメラが、前記対象物周辺のシーンを含む第２の画像を撮影し、
   前記第１の画像から、前記対象物の画像特徴を抽出し、
   抽出した前記対象物の画像特徴を、既知である前記対象物の画像特徴と比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出し、
   前記第２の画像から、前記第２の画像の画像特徴を抽出し、
   抽出した前記第２の画像の画像特徴を、前記第２のカメラによって撮影された過去の画像から抽出した画像特徴と比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出し、
   前記第１の画像に基づいて算出した前記距離および前記方向と、前記第２の画像に基づいて算出した前記距離および前記方向とに基づいて、前記表示画像の表示を制御する
   ことを特徴とする表示制御方法。
2. 前記対象物は、前記機器を利用するユーザの顔である
   ことを特徴とする請求項１記載の表示制御方法。
3. 前記表示制御方法は、さらに、
   前記対象物に対する前記機器の向きを、前記第１の画像から抽出した前記対象物の画像特徴、および前記第２の画像から抽出した前記第２の画像の画像特徴のうち少なくともいずれか一方を用いて算出し、
   前記表示画像の表示を制御する際に、算出した前記対象物から前記機器までの距離、前記機器の方向、および前記機器の向きに基づいて、前記表示画像の表示を制御する
   ことを特徴とする請求項１記載の表示制御方法。
4. 幾何学的関係が既知である第１および第２のカメラが搭載された機器の位置に基づいて、表示画像の表示を制御する装置であって、
   前記第１のカメラによって撮影された，画像特徴が既知の対象物を含む第１の画像から、前記対象物の画像特徴を抽出する第１の特徴抽出手段と、
   前記第１の特徴抽出手段によって抽出された前記対象物の画像特徴と、既知である前記対象物の画像特徴とを比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出する第１の算出手段と、
   前記第２のカメラによって撮影された、前記対象物周辺のシーンを含む第２の画像から、前記第２の画像の画像特徴を抽出する第２の特徴抽出手段と、
   前記第２の特徴抽出手段によって抽出された前記第２の画像の画像特徴を、前記第２のカメラによって撮影された過去の画像から抽出した画像特徴と比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出する第２の算出手段と、
   前記第１の算出手段によって算出された前記距離および前記方向と、前記第２の算出手段によって算出された前記距離および前記方向とに基づいて、前記表示画像の表示を制御する表示制御手段と
   を備えることを特徴とする表示制御装置。
5. 幾何学的関係が既知である第１および第２のカメラが搭載された携帯機器であって、
   当該携帯機器の位置に基づいて表示画像の表示を制御する請求項４記載の表示制御装置
   を備えることを特徴とする携帯機器。
6. 幾何学的関係が既知である第１および第２のカメラが搭載された機器の位置に基づいて、表示画像の表示を制御するためのプログラムであって、
   前記第１のカメラによって撮影された，画像特徴が既知の対象物を含む第１の画像から、前記対象物の画像特徴を抽出するステップと、
   抽出された前記対象物の画像特徴と、既知である前記対象物の画像特徴とを比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出するステップと、
   前記第２のカメラによって撮影された，前記対象物周辺のシーンを含む第２の画像から、前記第２の画像の画像特徴を抽出するステップと、
   抽出された前記第２の画像の画像特徴を、前記第２のカメラによって撮影された過去の画像から抽出した画像特徴と比較して、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出するステップと、
   前記第１の画像に基づいて算出された前記距離および前記方向と、前記第２の画像に基づいて算出された前記距離および前記方向とに基づいて、前記表示画像の表示を制御するステップとをコンピュータに実行させる
   ことを特徴とするプログラム。
7. 前記表示画像の表示を制御する際に、前記第１の画像に基づいて算出した前記距離および前記方向と、前記第２の画像に基づいて算出した前記距離および前記方向とを補完的に用いて、前記対象物から前記機器までの距離と前記対象物から見た前記機器の方向とを算出し、算出した前記距離および前記方向に基づいて前記表示画像の表示を制御する
   ことを特徴とする請求項１記載の表示制御方法。
8. 前記第２の画像の画像特徴を抽出することができなかった場合、前記第２の画像の画像特徴を抽出することができるまでは、前記表示画像の表示を制御する際に、前記第１の画像に基づいて算出した前記距離および前記方向に基づいて、前記表示画像の表示を制御する
   ことを特徴とする請求項７記載の表示制御方法。

Images