WO2005119591A1 - 表示制御方法および装置、プログラム、並びに携帯機器 - Google Patents

Abstract

　簡易な構成によって機器の位置や向きを検出し、検出した機器の位置や向きに基づいて簡単に表示画像の表示を制御することができる表示制御方法および表示制御装置を提供する。機器２０には２個のカメラ２１，２２が搭載されている。ユーザ１０は機器２０を手に持ち、第１のカメラ２１によって自分の顔を含む第１の画像を撮影するとともに、第２のカメラ２２によって向こう側のシーンを含む第２の画像を撮影する。表示制御部３０は第１の画像から顔の特徴を抽出するとともに、第２の画像からシーン特徴点を抽出し、これらを基準図形などと比較して、機器２０までの距離ｒｏおよび機器２０の方向θｏ，φｏを算出し、算出した距離ｒｏおよび方向θｏ，φｏに基づいて表示画像の表示を制御する。                                                                                 

Description

明 細 書

表示制御方法および装置、プログラム、並びに携帯機器

技術分野

[0001] 本発明は、画像計測や画像認識を用いた表示制御方法に関するものであり、特に

、カメラが搭載された機器の位置や向きを、カメラの撮影画像を用いて検出し、検出 した機器の位置や向きに基づいて表示を制御する技術に関する。

背景技術

[0002] 近年、インターネットの普及によってコンピュータや家電機器が相互に接続され、遠 隔操作やメディア融合など、 V、わゆるュビキタスネットワーク社会が形成されつつある 。その特徴は、いつでもどこでもコミュニケーションが取れる自由度の高さにあり、ュ 一ザは機器の違いや機器との物理的距離などを意識せずに行動することができる。 ュビキタスネットワーク社会の実現には、まずシステム側としてネットワーク接続が必 須条件になる力 ユーザと機器との間のいわゆるユーザーインターフェイスの自由度 の高さも前提条件になる。ハードウェア'ソフトウェアとして機器が接続されていても、 これを利用するユーザがシステムと自由にコミュニケーションできなくては、ュビキタス とはいえない。すなわち、システムの使いやすさ、いわゆるユーザピリティを高める技 術が必要となる。

[0003] システムのユーザピリティを高める直感的な操作方法を実現するには、システムが ユーザの意図を自動的に理解する必要があり、その実現にあたっては、例えば、イン ターフェースデバイスの位置や向きを検出する技術が有効である。

[0004] このようなインターフェースデバイスの 1つとして、ポインティングマーカーがある。例 えば、特許文献 1では、ユーザは自分とは輝度または色が異なっている物体 (青色 L EDなど）を、ポインティングマーカーとして手に持つ。システムは、ポインティングマー カーの位置を撮像センサによって検出し、検出した位置に応じて表示映像を操作す る。これにより、ユーザはシステムの操作方法を理解する必要がなぐ直感的、体感 的にシステムとコミュニケーションできる。

[0005] また、被写体との輝度や色の違!、を利用して、撮影画像からマーカーを抽出する 方法がある（例えば、特許文献 2参照)。予め撮影しておいた基準マーカーの位置と 現在のマーカーの位置とを比較し、被写体と撮像センサとの距離を検出する。ユー ザはシステム起動時に所定の初期化処理を実行して基準マーカーを登録すればよく 、後はシステム力 逐次撮影されるマーカーの位置変化を検出し、被写体と撮像セン サの距離を自動的に取得する。

[0006] また、コンピュータグラフィックスを利用して構築した仮想空間内で、ユーザがあた 力も実物を直接操作しているかのような感覚を与える、いわゆる仮想現実システムで は、ユーザが機器を意識しないで直接、仮想空間内をコントロールできる。例えば、 ユーザが手に持った携帯型のディスプレイを 3次元的に移動させると、システム側は その移動を加速度センサ等で検知し、動きに合わせて表示画像を切り替える（例え ば、特許文献 3参照)。仮想現実空間内における視点変更を、手で持ったディスプレ ィの位置と向きの変更によって、直感的にシステムに与えることができる。

特許文献 1 :特開 2001— 356875号公報（図 1)

特許文献 2：特開 2000— 230806号公報（図 1)

特許文献 3：特開平 11 18025号公報（図 11)

発明の開示

発明が解決しょうとする課題

[0007] し力しながら、まず特許文献 1の技術では、特別なマーカーを準備しなければなら ず、汎用性に欠け、利用シーンが限られてしまうという問題がある。すなわち、マーカ 一検出のために被写体との輝度や色の違 、を利用して 、るので、マーカーとして、 例えばどのような被写体よりも明るい物や、どのような被写体にも含まれない色を与え る必要がある。

[0008] また、特許文献 2の技術では、 1個の撮像センサによって複数のマーカーをとらえ、 被写体と撮像センサの距離を検出している。しかしながら、撮像センサの 3次元的な 位置は検出できない。すなわち、同一距離となる球面上はすべて位置情報として同 一と扱われるため、ユーザピリティの点で問題が残る。

[0009] 一方、特許文献 3の技術では、加速度センサ等を利用しており、マーカーを撮像す る必要がなぐシステム構成の汎用性において優れている。し力しながら、例えばカロ 速度センサは等速運動に対応できず、センサ感度の点で問題がある。この点につい ては、磁気センサや超音波センサなどで多角的に位置 ·向き情報を検出し補完し合 ういわゆるセンサーユージョンが有効である力 センサの追加は、システムのコストア ップにつながるとともに、デバイスの容積や重量を増加させる。また、センサは常時動 作である場合が多ぐセンサ数の増加は、機器の消費電力アップにつながり、特に、 携帯型の機器では由由しき問題となる。

[0010] そこで、本発明は上記の事情に鑑みてなされたものであり、簡易な構成によって機 器の位置や向きを検出し、検出した機器の位置や向きに基づいて簡単に表示画像 の表示を制御することができる表示制御方法および表示制御装置を提供することを 目的とする。

課題を解決するための手段

[0011] 上記目的を達成するため、本発明に係る表示制御方法は、幾何学的関係が既知 である第 1および第 2のカメラが搭載された機器の位置に基づいて、表示画像の表示 を制御する方法であって、前記第 1のカメラが、画像特徴が既知の対象物を含む第 1 の画像を撮影し、前記第 2のカメラが、前記対象物周辺のシーンを含む第 2の画像を 撮影し、前記第 1の画像から、前記対象物の画像特徴を抽出し、抽出した前記対象 物の画像特徴を、既知である前記対象物の画像特徴と比較して、前記対象物から前 記機器までの距離を算出し、前記第 2の画像から、前記第 2の画像の画像特徴を抽 出し、前記第 1の画像から抽出した前記対象物の画像特徴、および前記第 2の画像 力も抽出した前記第 2の画像の画像特徴のうち少なくともいずれか一方を用いて、前 記対象物から見た前記機器の方向を算出し、算出した前記対象物カゝら前記機器ま での距離、および前記機器の方向に基づいて、前記表示画像の表示を制御すること を特徴とする。

発明の効果

[0012] 本発明によると、 2個のカメラによって、機器の位置や向きを検出できるので、検出 のために要する機器の容積や重量の増加を抑えることができ、簡単に表示画像の表 示を制御することができる。また、消費電力も低く抑えることができる。

図面の簡単な説明 [0013] [図 1]図 1は本発明の一実施形態に係る表示制御方法の実行状態を示す図である。

[図 2]図 2は図 1の状態の相対座標による表現を示すための概念図である。

[図 3]図 3は機器の向きの表現を示すための概念図である。

[図 4]図 4は本発明の一実施形態に係る表示制御装置の構成を示すブロック図であ る。

[図 5]図 5は機器までの距離の検出方法の一例を説明するための図である。

[図 6]図 6は機器の方向の検出方法の一例を説明するための図である。

[図 7]図 7は機器の向きの検出方法の一例を説明するための図である。

[図 8]図 8は拡大または縮小表示の制御を説明するための図である。

[図 9]図 9は表示方向の変更表示の制御を説明するための図である。

[図 10]図 10は図 4の構成の変形例である。

[図 11]図 11は図 4の構成の変形例である。

符号の説明

[0014] 10 ユーザ

20 携帯電話 (機器）

21 自分佃 jカメラ (第 1のカメラ）

22 他人側カメラ (第 2のカメラ）

30, 30A, 30B 表示制御装置

31 顔特徴抽出部 (第 1の特徴抽出部）

32a, 37a 大きさ比較部

32b, 37b 位置比較部

32c, 37c 形状比較部

33, 38, 42 メモリ

34, 34A 距離算出部

35, 35A 方向算出部

36 シーン特徴抽出部 (第 2の特徴抽出部）

39, 39A, 39B 向き算出部

41 表示制御部 43 画像記憶部

44 表示部

IM1 第 1の画像

IM2 第 2の画像

発明を実施するための最良の形態

[0015] 本発明の実施の形態に係る表示制御方法は、幾何学的関係が既知である第 1およ び第 2のカメラが搭載された機器の位置に基づ 、て、表示画像の表示を制御する方 法であって、前記第 1のカメラが、画像特徴が既知の対象物を含む第 1の画像を撮影 し、前記第 2のカメラが、前記対象物周辺のシーンを含む第 2の画像を撮影し、前記 第 1の画像から、前記対象物の画像特徴を抽出し、抽出した前記対象物の画像特徴 を、既知である前記対象物の画像特徴と比較して、前記対象物から前記機器までの 距離を算出し、前記第 2の画像から、前記第 2の画像の画像特徴を抽出し、前記第 1 の画像力 抽出した前記対象物の画像特徴、および前記第 2の画像力 抽出した前 記第 2の画像の画像特徴のうち少なくともいずれか一方を用いて、前記対象物から見 た前記機器の方向を算出し、算出した前記対象物から前記機器までの距離、および 前記機器の方向に基づ ヽて、前記表示画像の表示を制御することを特徴とする。

[0016] これによつて、第 1のカメラによって撮影された，画像特徴が既知の対象物を含む 第 1の画像から、対象物から機器までの距離が算出されるとともに、第 2のカメラによ つて撮影された第 2の画像から、対象物カゝら見た機器の方向が算出される。すなわち 、 2個のカメラによって、対象物を基準とした当該機器の距離と方向、すなわち 3次元 的位置を検出することができる。そして、この機器の 3次元的位置により簡単に表示 画像の表示を制御することができる。

[0017] ここで、前記対象物は、前記機器を利用するユーザの顔であることが好ま 、。これ によって、ユーザが機器を手で持って、第 1のカメラによって自分の顔を撮影するとと もに、第 2のカメラによって周辺の風景を撮影するだけで、自分の顔を基準とした機 器の 3次元位置が算出される。

[0018] また、前記機器の方向を算出する際に、前記第 2の画像から抽出した前記第 2の画 像の画像特徴を、前記第 2のカメラによって撮影された過去の画像カゝら抽出した画像 特徴と比較して、前記機器の方向を算出してもよい。また、前記機器の方向を算出す る際に、前記第 1の画像から抽出した前記対象物の画像特徴を、既知である前記対 象物の画像特徴と比較して、前記機器の方向を算出してもよい。

[0019] また、前記表示制御方法は、さらに、前記対象物に対する前記機器の向きを、前記 第 1の画像力 抽出した前記対象物の画像特徴、および前記第 2の画像力 抽出し た前記第 2の画像の画像特徴のうち少なくともいずれか一方を用いて算出し、前記表 示画像の表示を制御する際に、算出した前記対象物力 前記機器までの距離、前 記機器の方向、および前記機器の向きに基づいて、前記表示画像の表示を制御し てもよい。これによつて、機器の 3次元的位置だけでなぐさらに機器の向きにも応じ てより簡単に表示画像の表示を制御することができる。

[0020] なお、本発明は、このような表示制御方法として実現することができるだけでなぐこ のような表示制御方法が含む特徴的なステップを手段とする表示制御装置として実 現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やインタ 一ネット等の伝送媒体を介して配信することができるのは言うまでもない。

[0021] 以下、本発明の実施の形態について、図面を参照して説明する。

[0022] 図 1は本発明の一実施形態に係る表示制御方法を実行する様子を示す図である。

図 1において、本発明に係る機器としての携帯電話 20は、幾何学的関係が既知であ る第 1および第 2のカメラとしての自分側カメラ 21および他人側カメラ 22が搭載されて おり、かつ、携帯電話 20の位置と向きに応じて表示映像を切り替えるインタラクティブ 表示システム力 実現されている。

[0023] ユーザ 10は携帯電話 20を手で持ち、画面（図示省略)の映像を見ている。携帯電 話 20に搭載された 2台のカメラ 21, 22のうち、自分側カメラ 21は、画像特徴が既知 の対象物としてユーザ 10の顔を撮影する。一方、相手側カメラ 22は、自分側カメラ 2 1と光軸を共有し、撮影方向は反対側を向いている。したがって、ユーザ 10は相手側 カメラ 22の撮影画角に入ることはなく、相手側カメラ 22はユーザ 10の向かい側のシ ーンを撮影する。携帯電話 20の内部には、後述する位置検出装置としての位置向き 検出回路 30が搭載されており、この位置向き検出回路 30が、ユーザ 10の手の動き によって決定される携帯電話 20の位置と向きを検出する。画面には携帯電話 20の 位置と向きに応じた映像が表示され、ユーザ 10は携帯電話 20を動かすことによって 、見たい映像を自由に選ぶことができる。

[0024] 携帯電話は、その携帯性から、表示部 (ディスプレイ)の大きさに自ずと限界があり、 表示できる画像サイズに上限がある。そこで、テレビやコンピュータ向けに広く流通し て ヽる画像'映像を携帯電話のディスプレイに表示した場合、細部が読み取りにく ヽ という視認性の問題が生じる。視認性を上げるためには、注目点を中心に画像を拡 大すればよいが、このとき、ボタンやダイヤルの代わりに携帯電話の位置や向きの変 更によつて、画像拡大が直感的に実行できると、利便性が向上する。また、細部を確 認した後、再び全体画像を見たい場合に、表示映像の大きさや切り出し範囲を、携 帯電話の位置や向きの変更によって直接的に変更できると、操作性の面で有効であ る。インタラクティブ表示システムにおける映像切り替え機能は、画像の拡大、縮小に 限らず、映し出される被写体の向きや被写体を照らす照明の陰影の変化など様々な 機能に適用可能であり、映像の表現力、リアリティ、視認性等の向上に大きく寄与す る。

[0025] 図 1に示すように、携帯電話 20の位置は、ユーザ 10の両目の中央を回転中心とし た回転座標系で表すものとする。回転中心から携帯電話 20までの距離 o、位置座 標法線 NLに対する水平方向の回転角度を θ o、位置座標法線 NLに対する鉛直方 向の回転角度を φ οとする。

[0026] 図 2は相対座標による表現を示すための概念図である。図 2のように、携帯電話 20 画面の可読距離の最短位置を距離 ro = 0. 0、ユーザ 10が腕を最も伸ばした位置を 距離 ro = l . 0とする。またユーザ 10が携帯電話 20を持つ腕を左右に振る範囲で、 右端を 0 o = l . 0、左端を θ ο =— 1. 0とし、位置座標法線 NLの方向を 0 ο = Ο. 0 とする。同様に、ユーザ 10が携帯電話 20を持つ腕を上下に振る範囲で、上端を φ ο = 1. 0、下端を φ ο =— 1. 0とし、位置座標法線 NLの方向を φ ο = 0. 0とする。

[0027] なお、上述した位置座標定義は一例であり、本発明は、位置座標の定義方法を制 限するものではない。

[0028] 図 3は携帯電話 20の向きの表現を示すための概念図である。図 3に示すように、携 帯電話 20 (図 3では模式的に表現)の向きは、基準面との水平方向の角度と鉛直方 向の角度で表す。基準面は任意に設定可能であり、図 3では、初期状態で撮影した ユーザ 10の両目と鼻の位置力も決定される面 RSとする。図 3の携帯電話 20の向き は、基準面 RSとの水平方向の角度 Θ cおよび鉛直方向の角度 φ cによって表される 。なお、回転中心は両目の中央に制限されることはなぐユーザ 10の回転中心付近 に設定すればいい。

[0029] 図 4は本発明の一実施形態に係る表示制御装置の構成を示すブロック図である。

図 4の表示制御装置 30は、自分側カメラ 21の撮影画像である第 1の画像 IM1、およ び相手側カメラ 22の撮影画像である第 2の画像 IM2に基づ 、て、携帯電話 20の位 置 (ro, θ ο, φ ο)と向き（0 c, <i) c)を算出し、表示画像の表示を制御する。表示制 御装置 30は、図 4に示すように顔特徴抽出部 31、大きさ比較部 32a、位置比較部 32 b、形状比較部 32c、メモリ 33、距離算出部 34、方向算出部 35、シーン特徴抽出部 36、大きさ比較部 37a、位置比較部 37b,形状比較部 37c、メモリ 38、向き算出部 3 9、および表示制御部 41を備えている。なお、大きさ比較部 32a、メモリ 33および距 離算出部 34によって、第 1の算出手段が構成されており、位置比較部 37b,形状比 較部 37c、メモリ 38および方向算出部 35によって、第 2の算出手段が構成されてい る。

[0030] 第 1の特徴抽出手段としての顔特徴抽出部 31は、第 1の画像 IM1から目、鼻、口 等の顔部位を中心に顔特徴点を抽出し、顔特徴信号 S1を出力する。顔特徴信号 S 1は、大きさ比較部 32a、位置比較部 32bおよび形状比較部 32cにそれぞれ供給さ れる。メモリ 33には、予め抽出された顔特徴点が基準図形として蓄積されている。第 2の特徴抽出手段としてのシーン特徴抽出部 36は、第 2の画像 IM2からシーン特徴 点を抽出し、シーン特徴信号 S2を出力する。シーン特徴信号 S2は、大きさ比較部 3 7a、位置抽出部 37bおよび形状抽出部 37cにそれぞれ供給される。メモリ 38には、 過去の画像力 抽出された特徴点や、マーカー図形の情報が格納されている。

[0031] 大きさ比較部 32aは、顔特徴信号 SIから得られた画像特徴 (マーカー図形)とメモリ 33に蓄積された基準図形との大きさを比較する。距離算出部 34は、大きさ比較部 3 2aによる比較結果力 距離 roを算出する。 [0032] 図 5は距離 roを求める方法の一例を説明するための図である。図 5の例では、瞳の 中心に顔特徴点を設け、瞳の中心同士をつなぐ線分をマーカー図形として設定して いる。メモリ 33には、基準マーカー図形として、距離 ro = 0. 0の位置で撮影した画像 A1から得た瞳中心同士をつなぐ線分 L1と、距離 ro= l. 0の位置で撮影した画像 A 2から得た瞳中心同士をつなぐ線分 L2とが、予め格納されている。線分 L1の長さを（ de, near, base)とし、線分 L2の長さを（de, far, base)とする。このとき、顔特徴点 信号 S1から得られた瞳中心同士をつなぐ線分の長さ（瞳間距離)が deであったとす ると、距離 roは次の式で与えられる。

[0033] ro= (de,near,base— ae) / (de,near,base— ae,far,base)

[0034] 自分側カメラ 21で撮影される撮影画像 IM1には常にユーザ 10の顔が映っている ため、このように瞳中心をつなぐ線分をマーカー図形として設定する方法によると、任 意の撮影シーン力 マーカーを抽出する場合に比べて、安定した検出が期待できる

[0035] なお、ここでは、距離 ro = 0. 0, 1. 0の 2箇所におけるマーカー図形を初期データ として用いるものとしたが、初期データの与え方および距離 roの算出はこれに限られ るものではない。例えば、携帯電話の電源投入後のシステム初期化時に瞳検出を行 い、この瞳間距離を基準にして、瞳間距離の変化倍率を算出し、距離 roの変化倍率 に利用しても力まわない。

[0036] また、ここでは、瞳中心をつなぐ線分をマーカー図形として利用し、その大きさとし て線分の長さを用いたが、マーカー図形の種類、サイズ、個数、およびその大きさの 定義については、様々なものが考えられる。

[0037] 一方、携帯電話 20の方向すなわち角度 Θ o, φ oは、自分側カメラ 21と相手側カメ ラ 22によって協調して検出することが有効である。図 6は携帯電話 20を水平方向に 動かした場合 (角度 θ o)に、自分側カメラ 21および相手側カメラ 22によって撮影され る画像のイメージを示す。図 6では、ユーザ 10の目の前の机に、鉛筆、ノートおよび マグカップが置かれて 、る。

[0038] すなわち、自分側カメラ 21は回転中心であるユーザ 10を常に映しているため、携 帯電話 20を水平方向に動力した場合であっても、自分側カメラ 21からはほぼ同じ映 像が得られる（画像 CI, C2, C3)。もちろん、手で動かすので、ロボットアームの機械 的な回転とは異なり、画像 C1〜C3が全く同一の映像になることはなぐこのため、マ 一力一図形の位置は一応、互いに異なる。ところが、その違いはさほど大きくはない ため、画像 C1〜C3から角度 Θ oを検出した場合、その解像度は低くなる。

[0039] 一方、相手側カメラ 22はユーザ 10の向かい側のシーンをとらえるため、画像 Bl, B 2, B3に示すように、得られる映像は携帯電話 20の動きに応じて大きく変化する。こ こで、画像 B2から、ノートや鉛筆のエッジの輝度差等を用いて特徴点を抽出し、角度 Θ oの検出を開始したとする。その後、ユーザ 10が左手側へ携帯電話 20を移動させ ると、画像 B1のように、ノートの一部が画像中力も消え、鉛筆の全体が映し出される。 逆に、右手側に携帯電話 20を移動させると、画像 B3のように、マグカップが画像に 現れる。そこで、相手側カメラ 22の移動に伴う特徴点追跡を複数点、並列に実行す る。これにより、一部の特徴点が画像中から消滅しても、他の特徴点から角度 Θ oを 検出することができる。また、画像に現れた物体力も新たな特徴点が検出されたとき、 これを特徴点追跡の対象に追加する。このように、相手側カメラ 22によって撮影され た画像中の特徴点を追跡することによって、すなわち、第 2の画像 IM2から抽出した 画像特徴を、過去の画像カゝら抽出した画像特徴と比較することによって、角度 Θ。を 高い解像度で検出できる。ただし、相手側カメラ 22では撮影される物体が任意である ため、常に顔画像を撮影している自分側カメラ 21と比べると、特徴検出の安定性に は欠ける。

[0040] すなわち、自分側カメラ 21はユーザ 10の顔を常に撮影しているため、マーカーの 検出は安定している力 移動量が小さいので、角度 Θ oを細力べ検出するには不向き である。一方、相手側カメラ 22は撮影画像が大きく変化するため、特徴点の移動量 が大きぐ角度 Θ oを細かく算出できるものの、撮影されるシーンが任意であるため、 マーカー検出の精度が不安定になる可能性がある。

[0041] このように、自分側カメラ 21と相手側カメラ 22はともに、角度 0。の検出においてメリ ットとデメリットを持っているため、互いに補完動作することによって、検出精度を向上 させることができる。例えば、相手側カメラ 22の画像について特徴点の検出に失敗し たときは、自分側カメラ 21の画像カゝら角度 Θ oを検出するようにし、相手側カメラ 22の 画像につ！ヽての特徴点検出が回復するまで、自分側カメラ 21を利用するようにすれ ばよい。

[0042] また、例えば自分側カメラ 21の画像および相手側カメラ 22の画像それぞれから算 出された角度 Θ oの平均値を用いることとしても構わない。また、例えば自分側カメラ 21の画像および相手側カメラ 22の画像それぞれから算出された角度 Θ oのうち、過 去の履歴や所定の閾値等から特異な値とされる値を用いな 、こととしても構わな 、。

[0043] 鉛直方向の回転角度 φ oも、水平方向の回転角度 Θ oと同様にして検出することが できる。なお、自分側カメラ 21の映像は、水平方向の動きに比べて変化が大きくなる ため、検出精度は多少向上すると考えられる。ただし、自分側カメラ 21と相手側カメ ラ 22のメリットデメリットの関係は、水平方向と同様であり、したがって、位置検出精度 の向上のために、補完動作による協調処理は有効である。

[0044] すなわち、方向算出部 35は、位置比較部 32bによる比較結果と、位置比較部 37b による比較結果とを用いて、角度 0 o, φ oすなわち携帯電話 20の方向を算出する。

[0045] 2台のカメラの撮影映像による協調処理は、距離 roの検出においても有効である。

すなわち、第 2の画像 IM2からもマーカー図形の大きさの変化を用いて距離 roを求 めることができる。なお、任意のシーン力もマーカー図形を抽出するため、検出は不 安定になる可能性はある力 第 1の画像 IM1からのマーカー抽出も何らかの原因に よって失敗する可能性があるため、第 2の画像 IM2からの距離検出はノックアップと して有効である。

[0046] また、携帯電話 20の向きは、マーカー図形の位置比較または形状比較によって検 出することができる。図 7は携帯電話 20の向きを変更した際に自分側カメラ 21によつ て撮影される映像のイメージを示す。図 7において、画像 D1は、携帯電話 20が水平 方向に角度 Θ cだけ回転したときの映像である。画像 D1では、ユーザ 10は画像の横 方向（この例では右側）に移動している。画像 D2は、携帯電話 20が鉛直方向に角度 。だけ回転したときの映像である。画像 D2では、ユーザ 10は画像の縦方向（この 例では上）に移動している。

[0047] よって、マーカー図形 (例えば肩のエッジ)の位置の移動量を求めれば、携帯電話 20の向きは検出できる。また、マーカー図形の形状に着目すると、向きの変化によつ て、図形は扁平し、例えば円は楕円に変形する。そこで、マーカー図形の形状の変 化から、携帯電話 20の向きを検出することも可能である。相手側カメラ 22の撮影画 像からも、同様に、携帯電話 20の向きを検出することができる。

[0048] すなわち、向き算出部 39は、位置比較部 32bおよび形状比較部 32cの比較結果と

、位置比較部 37bおよび形状比較部 37cの比較結果を用いて、角度 0 c, φ cすなわ ち携帯電話 20の向きを算出する。

[0049] なお、自分側カメラ 21によって撮影した第 1の画像 IM1においては、ユーザ 10の 顔の背景にある照明をマーカーにした方が有効な場合もある。このような場合、第 1 の画像 IM1をシーン特徴点抽出部 36に与えて、マーカー図形を抽出するようにして ちょい。

[0050] 表示制御部 41は、ユーザ 10によって選択された画像記憶部 43に記憶されている 画像を表示部 44へ表示する。また、表示制御部 41は、距離算出部 34によって算出 された距離 ro、方向算出部 35によって算出された角度 0 o, φ ο、および向き算出部 39によって算出された角度 Θ c φ cに基づいて、表示部 44に表示している画像 (表 示画像)の表示を制御する。なお、画像記憶部 43には、撮影された方向や大きさが 異なる複数の画像があら力じめ記憶されているものとする。

[0051] 図 8は拡大または縮小表示の制御を説明するための図である。ここで、表示部 44に は最初は表示画像 Εが表示されているものとする。表示制御部 41は、距離算出部 3 4によって算出された距離 roに応じて、図 8に示す表示画像 Eを拡大または縮小して 表示する制御を行う。すなわち、表示制御部 41は、ユーザ 10によって携帯電話 20 が動力され、例えば距離 roが短くなつたとすると、図 8に示す表示画像 E1のように画 像を拡大して表示するように制御する。一方、例えば距離 roが長くなつたとすると、表 示制御部 41は、図 8に示す表示画像 E2のように画像を縮小して表示するように制御 する。また、表示制御部 41は、向き算出部 39によって算出された角度 Θ c φ cによ り、表示画像 Eを拡大または縮小する際の中心位置を制御する。

[0052] 図 9は表示方向の変更表示の制御を説明するための図である。ここで、表示部 44 には最初は表示画像 Eが表示されているものとする。表示制御部 41は、方向算出部 35によって算出された角度 Θ o, φ oに応じて、図 9に示す表示画像 Eの表示方向を 変更して表示する制御を行う。すなわち、表示制御部 41は、ユーザ 10によって携帯 電話 20が動かされ、例えば右方向（角度 Θ oが正方向）へ移動したとすると、図 9に 示す表示画像 E3のように右方向から見た画像を表示するように制御する。一方、例 えば左方向（角度 Θ oが負方向）へ移動したとすると、表示制御部 41は、表示画像 E 4のように左方向から見た画像を表示するように制御する。また、例えば上方向（角度 φ οが正方向）へ移動したとすると、表示制御部 41は、表示画像 Ε5のように下方向 力も見た画像を表示するように制御する。一方、例えば下方向（角度 φ οが負方向） へ移動したとすると、表示制御部 41は、表示画像 Ε6のように上方向から見た画像を 表示するように制御する。

[0053] なお、表示制御部 41は、上記のように初期位置からユーザ 10によって携帯電話 2 0が動力され、その初期位置力 の移動量湘対的な値）に応じて表示画像の表示を 制御している力 これに限られるものではない。例えば、表示制御部 41は、距離算出 部 34によって算出された距離 ro、方向算出部 35によって算出された角度 θ ο， φ ο、 および向き算出部 39によって算出された角度 0 c, 0 cそのものの値 (絶対的な値） に応じて、表示画像の表示を制御しても構わない。

[0054] また、表示制御部 41は、画像記憶部 43に記憶されている画像を表示部 44へ表示 するものとしているが、携帯電話 20が備える画像記憶部 43に記憶されている画像だ けでなく、例えばオンラインショッピングにおける画像のようにインターネット等のネット ワークを介して取得される画像の表示を制御しても構わない。

[0055] また、表示制御部 41は、表示画像の表示を制御する際に、撮影された方向や大き さが異なる複数の画像を用いず、 1枚の画像をメモリ 42に格納し、この画像を画像処 理することによって表示画像の表示を制御しても構わない。

[0056] 図 10は位置向き検出回路の他の構成を示すブロック図である。本実施形態では、 ユーザ 10を回転中心とする回転座標系で携帯電話 20の位置を記述するため、図 6 で説明したように、携帯電話 20の方向の検出は、相手側カメラ 22で撮影した第 2の 画像 IM2を用いる方が好ましい。このような観点から、図 10の構成では、図 4の構成 と比べて回路規模を大幅に削減している。

[0057] すなわち、図 10の位置向き検出回路 30Aにおいて、角度 Θ o, φ οは、相手側カメ ラ 22で撮影した第 2の画像 IM2から、位置比較部 37bおよび方向算出部 35Aによつ て検出する。向き 0 c, φ cについても、マーカー図形の位置の違いが位置比較部 37 bによって算出されるので、これを利用して、向き算出部 39Aによって検出する。一方 、距離 roは、顔画像力ものマーカー抽出が安定しているため、自分側カメラ 21で撮 影した第 1の画像 IM 1を利用して検出する。

[0058] 図 11も位置向き検出回路の他の構成を示すブロック図である。検出の要となるマ 一力一は、任意の被写体よりも、特定の対象物の方が精度よく検出できる。そこで、 図 11の構成では、顔画像からマーカーを抽出する処理を優先することによって、図 4 の構成と比べて回路規模を大幅に削減して 、る。

[0059] すなわち、図 11の位置向き検出回路 30Bにおいて、角度 Θ o, φ οの検出は、相手 側カメラ 22で撮影された第 2の画像 ΙΜ2から、位置比較部 37bおよび方向算出部 35 によって実行する。一方、距離 roと向き 0 c, φ。は、自分側カメラ 21で撮影された第 1の画像 IM1から、大きさ比較部 32a、距離算出部 34Aおよび向き算出部 39Bによ つて，顔画像をマーカー図形として検出する。

[0060] なお、本実施の形態では、ユーザ 10が携帯電話 20を手で動かす場合を例にとつ て説明したが、機器の移動方法は任意であり、本発明が制限するものではない。

[0061] また、 2個のカメラの位置は厳密にいえば異なっている力 通常は、カメラは小型で あるため、その違いは無視できる。仮に無視できない場合でも、 2つのカメラの幾何的 位置換算で補正すれば 、し、 2つのカメラ位置の平均値を採用できる場合もあろう

[0062] なお、本実施の形態では、自分側カメラ 21と相手側カメラ 22の光軸が一致している 。光軸が一致しているとき、 2つのカメラ 21, 22は幾何学的に最も簡単な位置関係に ある。すなわち、これは 2つのカメラ 21, 22の間の幾何的変換を単純化するためのァ イデアである。ただし、本発明では、 2つのカメラの光軸が一致している必要はなぐ 幾何学的関係が既知であれば、 2つのカメラは任意の位置関係にあってかまわない

[0063] また、本実施の形態では、 2個のカメラを用いるものとした力 例えば、 1台の広角力 メラによって、広い視野をカバーして撮影してもかまわない。すなわち、 2つの撮影画 像のうち、その 1つが、画像特徴が既知の対象物を含んでいればよい。

産業上の利用可能性

本発明は、 2個のカメラという簡易な構成によって実現できるので、携帯型の機器に 容易に導入可能である。検出された機器位置や向きに応じた映像をディスプレイ〖こ 逐次表示することによって、ディスプレイの表示面積が狭い場合であっても、ユーザ はディスプレイを窓として、被写体全体を見たり、手にとった感覚でリアリティ豊かに被 写体を観察できたりするので、例えばオンラインショッピングの実用性を大幅に向上 することができる。また、本発明は、実写とコンピュータグラフィックスの併用が有効な 医療用途ゃデジタルアーカイブなどの博物館用途にも利用できる。

Claims

請求の範囲

[1] 幾何学的関係が既知である第 1および第 2のカメラが搭載された機器の位置に基 づいて、表示画像の表示を制御する方法であって、

前記第 1のカメラが、画像特徴が既知の対象物を含む第 1の画像を撮影し、 前記第 2のカメラが、前記対象物周辺のシーンを含む第 2の画像を撮影し、 前記第 1の画像から、前記対象物の画像特徴を抽出し、

抽出した前記対象物の画像特徴を、既知である前記対象物の画像特徴と比較して 、前記対象物力 前記機器までの距離を算出し、

前記第 2の画像から、前記第 2の画像の画像特徴を抽出し、

前記第 1の画像から抽出した前記対象物の画像特徴、および前記第 2の画像から 抽出した前記第 2の画像の画像特徴のうち少なくともいずれか一方を用いて、前記対 象物から見た前記機器の方向を算出し、

算出した前記対象物カゝら前記機器までの距離、および前記機器の方向に基づい て、前記表示画像の表示を制御する

ことを特徴とする表示制御方法。

[2] 前記対象物は、前記機器を利用するユーザの顔である

ことを特徴とする請求項 1記載の表示制御方法。

[3] 前記機器の方向を算出する際に、前記第 2の画像から抽出した前記第 2の画像の 画像特徴を、前記第 2のカメラによって撮影された過去の画像カゝら抽出した画像特徴 と比較して、前記機器の方向を算出する

ことを特徴とする請求項 1記載の表示制御方法。

[4] 前記機器の方向を算出する際に、前記第 1の画像から抽出した前記対象物の画像 特徴を、既知である前記対象物の画像特徴と比較して、前記機器の方向を算出する ことを特徴とする請求項 1記載の表示制御方法。

[5] 前記表示制御方法は、さらに、

前記対象物に対する前記機器の向きを、前記第 1の画像から抽出した前記対象物 の画像特徴、および前記第 2の画像から抽出した前記第 2の画像の画像特徴のうち 少なくともいずれか一方を用いて算出し、 前記表示画像の表示を制御する際に、算出した前記対象物から前記機器までの 距離、前記機器の方向、および前記機器の向きに基づいて、前記表示画像の表示 を制御する

ことを特徴とする請求項 1記載の表示制御方法。

[6] 幾何学的関係が既知である第 1および第 2のカメラが搭載された機器の位置に基 づいて、表示画像の表示を制御する装置であって、

前記第 1のカメラによって撮影された，画像特徴が既知の対象物を含む第 1の画像 から、前記対象物の画像特徴を抽出する第 1の特徴抽出手段と、

前記第 1の特徴抽出手段によって抽出された前記対象物の画像特徴と、既知であ る前記対象物の画像特徴とを比較して、前記対象物カゝら前記機器までの距離を算出 する第 1の算出手段と、

前記第 2のカメラによって撮影された，前記対象物周辺のシーンを含む第 2の画像 から、前記第 2の画像の画像特徴を抽出する第 2の特徴抽出手段と、

前記第 1の特徴抽出手段によって抽出された前記対象物の画像特徴、および前記 第 2の特徴抽出手段によって抽出された前記第 2の画像の画像特徴のうち少なくとも いずれか一方を用いて、前記対象物から見た前記機器の方向を算出する第 2の算 出手段と

を備えることを特徴とする表示制御装置。

[7] 幾何学的関係が既知である第 1および第 2のカメラが搭載された携帯機器であって 当該携帯機器の位置に基づいて表示画像の表示を制御する請求項 6記載の表示 制御装置

を備えることを特徴とする携帯機器。

[8] 幾何学的関係が既知である第 1および第 2のカメラが搭載された機器の位置に基 づ 、て、表示画像の表示を制御するためのプログラムであって、

前記第 1のカメラによって撮影された，画像特徴が既知の対象物を含む第 1の画像 から、前記対象物の画像特徴を抽出するステップと、

抽出された前記対象物の画像特徴と、既知である前記対象物の画像特徴とを比較 して、前記対象物力 前記機器までの距離を算出するステップと、

前記第 2のカメラによって撮影された，前記対象物周辺のシーンを含む第 2の画像 から、前記第 2の画像の画像特徴を抽出するステップと、

抽出された前記対象物の画像特徴、および前記第 2の画像の画像特徴のうち少な くともいずれか一方を用いて、前記対象物力 見た前記機器の方向を算出するステ ップとをコンピュータに実行させる

ことを特徴とするプログラム。