WO2006043319A1

WO2006043319A1 - 端末及びサーバ

Info

Publication number: WO2006043319A1
Application number: PCT/JP2004/015497
Authority: WO
Inventors: Taizo Anan
Original assignee: Fujitsu Limited
Priority date: 2004-10-20
Filing date: 2004-10-20
Publication date: 2006-04-27

Abstract

　本発明は、映像を取得する端末の位置に関する情報を精度よく計算する技術を提供する。さらに、本発明は、風景の映像と、この風景に関する情報の映像とを効果的に重ねあわせる技術を提供する。そのため、本発明は、映像取得部８０１が、ラベルを撮影した向き及びラベルとの間の距離を計算するためのキャリブレーションパターンを有するラベルの映像を取得する。そして、キャリブレーション計算部８０５が、キャリブレーションパターンから、ラベルを撮影した向きとラベルとの間の距離とを計算する。

Description

明細書

端末及びサーバ

技術分野

[0001] 本発明は、映像内の情報を取得するための技術に関する。また、本発明は、拡張現実 (Augmented Reality)を実現する技術に関する。

背景技術

[0002] 今日、インターネット上に WWW (World Wide Web)が構築されている。そして、だれでも簡単に情報の取得ができる。また、携帯電話や Personal Digital Assist ant (以下、 PDAと記す。）のような端末においても i mode (登録商標)などの情報取得サービスが行われて、る。

[0003] しかし、このような情報の取得では、ユーザの目の前に広がる現実世界の情報を直接取得することが困難である。例えば、ユーザは、目の前にあるレストランのサービスメニューを知ろうとする場合、以下のような処理を行う。まず、ユーザは、所有する携帯電話や PDAのブラウザを起動する。そして、ユーザは、インターネットにアクセスする。そして、ユーザは、検索エンジンを探す。そして、ユーザは、ユーザの目の前にあるレストランの名前を検索エンジンを用いて検索する。そして、ユーザは、複数検索された同じ名前のレストランの情報の内容を一々確認する。

[0004] これに対して、ユーザの目の前に広がる現実世界の情報をユーザが容易に取得できるシステムの開発が行われている。このシステムは、コンピュータグラフィックス（Co mputer Graphics,以下、 CGと記す。）で描いた仮想現実の世界の映像と現実世界の映像とを合成する。

[0005] この技術は複合現実感（Mixed Reality)又は拡張現実感（Augmented Realit y)と呼ばれている。通常、ユーザは、ヘッドマウントディスプレイとよばれる眼鏡型のディスプレイ装置を着用する。この技術では、ユーザの地理的位置、顔の向き、目の前の風景画像中の情報をキーにして、ユーザの目の前の風景に関する情報が検索される。そして、ユーザの目の前に広がる風景に関する情報力ディスプレイ装置により CGとなる。そしてこの CGが現実の映像と合成される。そして、この現実の映像と CGとが合成された映像力ユーザに提示される。

[0006] このようなシステムを用いて、ユーザは、ユーザの目の前のレストランをヘッドマウントディスプレイを通して見る。そして、ユーザはそのレストランの情報を CGにより瞬時に得ることができる。

[0007] 一方、ヘッドマウントディスプレイを用いた複合現実感を用いた技術の他の応用として以下のものがある。例えば、この技術は、壊れた機械装置を眺める作業員に、点検の必要がある部品を指し示すガイドを表示する。また、この技術は、医療分野に応用された場合、観察者に対して、患者の身体の表面の映像に内臓の超音波画像を重ねて表示する。そのため、この技術は、医師などの観察者がレントゲン写真を眺めな力手術をしているような効果を奏する。また、この技術は、患者の血液型や投与される薬品の情報などを表示する。そのため、この技術は、医療ミスを防ぐ情報を提示する。

[0008] このような複合現実感を実現するためのシステムの大きな問題は、現実世界の映像と CG映像との重ね合わせを、かに精度良く行うかと、うことにある。重ねて表示された仮想世界の映像が視野内の現実世界の映像と精度良く重なり合うように、複合現実感システムでは利用者の頭の位置と向きを検知している。

[0009] 特許文献 2から特許文献 4に記載された技術では磁気センサを用いて映像の重ね合わせを行う方法が記述されて、る。これに対して特許文献 1に記載された技術では、携帯型のカメラ付端末力得た画像を元に、サーバに情報の取得を問い合わせる。すなわち、特許文献 1は、端末が所望の情報をサーバから取得する手段に関して記述している。

特許文献 1：特開平 9— 330336号公報

特許文献 2：特開 2000-102036号公報

特許文献 3：特開 2002-259992号公報

特許文献 4：特開 2002— 271691号公報

特許文献 5：特開 2000-276613号公報

特許文献 6 :特表 2003— 533815号公報

特許文献 7 :特開平 10- 267671号公報非特許文献 1 :松山隆志，久野義徳，井宫淳， "コンピュータビジョン技術評論と将来展望"，第 3章，新技術コミュニケーションズ

発明の開示

発明が解決しょうとする課題

[0010] 特許文献 1に記載の技術は、例えば、端末が渋谷にあるユーザの目の前のレストラン XXXの情報を得る技術である。そのために、（1)端末は、 Global Positioning System (以下、 GPSと記す。）で渋谷にいることを認識する。そして、（2)端末は、レストラン XXXの画像を撮影する。そして、（3)端末は、（1)で認識した情報及び撮影した情報をサーバに送る。そして、（4)端末は、サーノくからレストラン XXXの情報を受信する。

[0011] 特許文献 1に記載の技術は、上記（1)から (4)の工程により、端末が、ユーザの目の前のレストランの情報を取得する。しかし、特許文献 1に記載の技術は、画像認識部が情報の検索キーを生成する。そのため、（a)特許文献 1に記載の技術は、例えば渋谷中のレストランの看板をデータベースに登録しなければならない。また、（b)特許文献 1に記載の技術は、看板など、比較的画像認識が容易であるものにし力適用できない。すなわち、同じ位置でも見る方向によっては観察される風景は異なる。そのため、特許文献 1に記載の技術は、風景に応用された場合、同一地点でたくさんの映像を撮影してデータベースに登録しなければならない。このように、特許文献 1 に記載された技術は、非常に限られた用途でしか用いることができないといった問題がある。

[0012] また、特許文献 2—特許文献 4に記載された技術及び特許文献 7に記載された技術は磁気センサを用いる。また、特許文献 6に記載された技術は加速度センサを用いる。

[0013] 上記各特許文献 2—特許文献 4に記載された技術、特許文献 6及び特許文献 7〖こ記載された技術では、端末の傾きや方向は求められる。しかし、上記各特許文献 2— 特許文献 4に記載された技術、特許文献 6及び特許文献 7に記載された技術では、高さ方向の情報が得られない。

[0014] そのため、これらの技術では、例えば、ビルの中にお、て、各階で異なる情報を得ることができない。また、観察者の地理的な位置情報を推定する GPSの精度は現在のレベルでも数 10mの誤差がある。たとえ、磁気センサを用いて端末の傾きを高精度に求められたとしても、 GPSの位置情報と磁気センサによる端末の傾きだけでは、端末のカメラが捕らえる映像の範囲を推定し、 CG映像と実際の風景の映像との位置を精度良く調節することは難しヽ。

[0015] 一方、 ICタグを地面に埋め込むなどの方法で高精度に端末の地理的な位置を推測する方法も存在する。 ICタグを利用することで端末の地理的な位置を推定する精度は向上する。しかし、精度の向上にも限界があり、この方法を用いて、端末のカメラが捕らえる映像を推定するのは困難である。

[0016] また、特許文献 1に記載された技術は、情報を時刻に基づいて管理していない。そのため、特許文献 1に記載された技術では、例えばお昼時に提示される情報として、レストランに関係する情報を提示したり、ランチを提供しないレストランは情報力も外すなどの、ユーザフレンドリーな機能を有してヽな、。

[0017] 本発明の目的は、映像を取得する端末の位置に関する情報を精度よく計算する技術を提供することにある。さらに、本発明の目的は、風景の映像と、この風景に関する情報の映像とを効果的に重ねあわせる技術を提供することにある。

課題を解決するための手段

[0018] 上記目的を達成するため、本発明の端末は、

撮影対象を撮影した向き及び撮影対象との間の距離を計算するためのパターンを有する撮影対象の映像を取得する映像取得手段と、

前記パターンの映像から、前記撮影対象を撮影した向きと前記撮影対象との間の距離とを計算する計算手段とを備える。

[0019] また、本発明の端末は、

前記パターンは、前記端末のキャリブレーションを行うためのキャリブレーションパターンと同じパターンであり、

前記計算手段は、前記パターンの映像と前記キャリブレーションにより得られたパラメータとから、前記撮影対象を撮影した向きと前記撮影対象との間の距離とを計算する。 [0020] また、本発明の端末は、

前記撮影対象との間の距離を測定する距離測定手段を備える。

また、本発明の端末は、

前記端末の位置を測定する位置測定手段を備える。

[0021] また、本発明の端末は、

前記撮影対象が、複数の撮影対象を互いに識別するための識別情報を備える。

[0022] また、本発明の端末は、

前記撮影対象を撮影した向き及び撮影対象との間の距離を撮影対象が備えるバターンに基づき計算するサーバとネットワークにより接続され、

前記映像取得手段により取得されたパターンの映像及び予め行われたキヤリブレーシヨンにより得られたパラメータを前記サーバに送信すると共に、前記サーバが前記パターンの映像とパラメータとに基づいて計算した前記撮影対象を撮影した向き及び撮影対象までの距離を、該サーバから受信する問合わせ手段を備える。

[0023] また、本発明の端末は、

前記端末力受信した情報に基づいて端末に送信する情報を選択するサーバとネットワークにより接続され、

前記撮影対象を撮影した向き及び撮影対象との間の距離、及び、前記パターンの映像及び予め行われたキャリブレーションにより得られたパラメータの少なくともいずれか一方を、前記サーバに送信する送信手段と、

前記サーバから送信された情報を受信する受信手段とを備える。

[0024] また、本発明の端末は、

前記送信手段は、

前記端末の位置及び前記撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方を前記サーバに送信する。

[0025] また、本発明の端末は、

前記映像取得手段が取得した映像と、前記受信手段が受信した情報に基づく映像とを合成する合成手段を備える。

[0026] また、本発明の端末は、前記合成手段が合成した映像を、コンピュータグラッフィックス画像として表示する表示手段を備える。

[0027] また、本発明の端末は、

前記受信手段が受信した情報を、ウェブページとして表示する表示手段を備える。

[0028] また、本発明の端末は、

端末の移動に伴って発生する、端末が取得する映像の変化に基づいて、前記端末が移動した距離及び前記端末が移動した向きを検知する映像追随手段を備え、前記合成手段は、前記映像取得手段が取得した映像と、該映像に表示する情報とを、前記映像追随手段が検知した前記端末が移動した距離及び前記端末が移動した向きとに基づいて合成する。

[0029] また、本発明のサーバは、

前記撮影対象を撮影した向き及び撮影対象との間の距離、及び、前記パターンを含む撮影対象の映像及び予め行われたキャリブレーションにより得られたパラメータのうちの少なくともいずれか一方を端末力受信する受信手段と、

前記受信手段が受信した情報に基づ!、て、情報を記憶するデータ記憶手段から情報を抽出する情報管理手段と、

前記情報管理手段が抽出した情報を前記端末に送信する送信手段とを備える。

[0030] また、本発明のサーバは、

前記受信手段は、前記端末の位置及び前記撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方を受信し、

前記情報管理手段は、前記受信手段が受信した、前記端末から送信された情報と、前記端末の位置及び前記撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方とを用いて、前記データ記憶手段から情報を抽出する。

[0031] また、本発明のサーバは、

前記データ記憶手段に記憶されている情報は、

前記受信手段が受信した情報と時刻とに基づいて分類され、

前記情報管理手段は、前記受信手段が受信した情報と、該情報を受信した時刻とに基づいて前記データ記憶手段から情報を抽出する。

発明の効果

[0032] 本発明は、端末が取得したパターンに基づき撮影対象を撮影した向きと撮影対象との間の距離とを計算する。そのため、本発明によれば、端末の向きと撮影対象までの距離とを正確に算出することができる。

[0033] また、本発明は、パターンが端末のキャリブレーションを行うためのキヤリブレーションパターンと同じパターンである。そして、計算手段は、パターンの映像とキヤリブレーシヨンにより得られたパラメータとから、撮影対象を撮影した向きと撮影対象との間の距離とを計算する。そのため、本発明は、端末の向きと撮影対象までの距離とを正確に算出することができる。

[0034] また、本発明は、距離測定手段により端末と撮影対象との間の距離を正確に測定することができる。また、本発明は、位置測定手段により端末の位置を正確に測定することがでさる。

[0035] また、本発明は、識別情報により撮影対象を識別することができる。また、本発明は、撮影対象を撮影した向き及び撮影対象との間の距離を、サーバに計算させている。そのため、本発明は、端末の負荷を軽減することができる。

[0036] また、本発明は、撮影対象を撮影した向き及び撮影対象との間の距離、及び、バターンの映像及びキャリブレーションにより得られたパラメータの少なくともいずれか一方に基づいてサーバが端末に情報を送信する。そのため、本発明は、端末がサーバから、適切な情報を受信することができる。

[0037] また、本発明は、端末の位置及び撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方を端末がサーバに送信する。そして、サーバは、端末から受信した端末の位置及び撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方も用いて端末に送信する情報を選択する。そのため、本発明は、端末がサーバから、適切な情報を受信することができる。

[0038] また、本発明は、映像取得手段が取得した映像と、受信手段が受信した情報に基づく映像とを合成手段が合成する。そのため、本発明は、ユーザが、受信した情報を合成された映像により認識することができる。

[0039] また、本発明は、表示手段が、合成手段が合成した映像を、コンピュータダラッフィックス画像として表示する。そのため、本発明は、合成された映像の視認性を向上させることができる。

[0040] また、本発明は、表示手段が、受信手段が受信した情報を、ウェブページとして表示する。そのため、本発明によれば、ユーザは、表示される情報を的確に把握することがでさる。

[0041] また、本発明は、合成手段が、映像取得手段が取得した映像と、受信手段が受信した情報に基づく映像とを、映像追随手段が検知した端末が移動した距離及び前記端末が移動した向きとに基づいて合成する。そのため、本発明は、合成された映像は、端末の移動を考慮したものとすることができる。

[0042] また、本発明は、情報管理手段が、受信手段が受信した情報に基づいて、情報を記憶するデータ記憶手段から情報を抽出する。そして、サーバが、情報管理手段が抽出した情報を端末に送信する。そのため、本発明は、サーバは、端末から送信された情報に対応する情報を端末に送信することができる。

[0043] また、本発明は、情報管理手段が、受信手段が受信した、端末から送信された情報と、端末の位置及び撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方とを用いて、情報が記憶されているデータ記憶手段力情報を抽出する。そのため、本発明によれば、サーバが端末に送信する情報を適切なものとすることができる。

[0044] また、本発明は、データ記憶手段に記憶されている情報が、受信手段が受信した情報と時刻とに基づいて分類されている。そして、本発明は、情報管理手段が受信手段が受信した情報と時刻とに基づいてデータ記憶手段から情報を抽出する。そのため、本発明は、端末に送信する情報として時刻を考慮したものとすることができる。図面の簡単な説明

[0045] [図 1]本発明の端末の第 1の実施形態における、ラベルに対するカメラの向き、及び、カメラとラベルとの間の距離を測定する方法の概念図である。

[図 2]本発明の端末の第 1の実施形態で使用されるラベルの一例を示す概略図である。

圆 3]本発明の端末の第 1の実施形態の内部構成のブロック図である。

圆 4]本発明の端末の第 2の実施形態の内部構成のブロック図である。

圆 5]本発明の端末の第 3の実施形態の内部構成のブロック図である。

圆 6]本発明の端末の第 4の実施形態に用いられるラベルの一例の概略図である。圆 7]本発明の端末の第 5の実施形態が使用される情報提供システムの概略図である。

圆 8]本発明の端末の第 6の実施形態が使用される情報提供システムの概略図である。

圆 9]本発明の端末の第 6の実施形態に表示される映像の概念図である。

圆 10]本発明の端末の第 7の実施形態が使用される情報提供システムの概略図である。

圆 11]本発明の端末の第 7の実施形態における映像追随部の動作を説明するための概念図である。

圆 12]本発明の端末の第 7の実施形態における映像追随部の動作を説明するための概念図である。

圆 13]本発明のサーバの第 1の実施形態の内部構成のブロック図である。

[図 14]本発明のサーバの第 2の実施形態の内部構成のブロック図である。

圆 15]本発明のサーバの第 2の実施形態のデータ記憶部に記憶される情報の概念図である。

符号の説明

301 映像取得部

302 キャリブレーション計算部

401 映像取得部

402 キャリブレーション計算部

403 距離測定部

501 映像取得部

502 キャリブレーション計算部 503 距離測定部

504 地理的位置測定部

601 ID

701 端末

702 ネットワーク

703 サーバ

704 映像取得部

705 キャリブレーション問合わせ部

706 地理的位置測定部

707 ネットワーク通信部

801 端末

802 ネットワーク

803 サーバ

804 映像取得部

805 キャリブレーション計算部

806 キャリブレーション問合わせ部

807 地理的位置測定部

808 サーバ問合わせ部

809 問合わせ結果受信部

810 映像合成部

811 表示部

812 ネットワーク通信部

901, 902, 903 情報

904 ラベノレ

905 webページ

1001 端末

1002 ネットワーク

1003 サーバ 1004 映像取得部

1005 キャリブレーション計算部

1006 キャリブレーション問合わせ部

1007 地理的位置測定部

1008 サーバ問合わせ部

1009 問合わせ結果受信部

1010 映像合成部

1011 表示部

1012 ネットワーク通信部

1013 映像追随部

1301 キャリブレーション問合わせ受信部

1302 キャリブレーション計算部

1303 サーバ問合わせ受信部

1304 問合わせ結果送信部

1305 リンク情報管理部

1306 データ記憶部

1307 ネットワーク通信部

1401 キャリブレーション問合わせ受信部

1402 キャリブレーション計算部

1403 サーバ問合わせ受信部

1404 問合わせ結果送信部

1405 時刻取得部

1406 時刻リンク情報管理部

1407 データ記憶部

1408 ネットワーク通信部

発明を実施するための最良の形態

(端末の第 1の実施形態）

本発明の端末の第 1の実施形態について説明する。本実施形態の端末は、カメラを備える。本実施形態の端末には、携帯電話を用いる。また、本発明の端末の第 1の実施形態以外の実施形態の端末、及び本発明のサーバの各実施形態に使用される端末は、同様に携帯電話とする。また、以下に説明する本発明の端末及びサーバの各実施形態の各部の機能は、例えば CPU力メモリに格納されたプログラムや、その他の装置と適宜協働することにより実現されるとしても良い。また、以下に説明する本発明の各実施形態の端末及びサーバの各実施形態で使用される端末では、キヤリブレーシヨンは予め、例えばカメラの製造工場において行われているとする。

[0048] そして、本実施形態の端末は、キャリブレーションパターンを含むラベル (以下、単にラベルともいう。）を用いて、端末に搭載されたカメラ（以下、単にカメラともいう）の向きと、カメラとラベルとの間の距離の測定を行う。

[0049] ここで、上述のカメラの向きと、カメラとラベルとの間の距離の測定について説明する。非特許文献 1に記載された方法は、ラベルに対するカメラの向き、及び、カメラとラベルとの間の距離を測定することができる。本実施形態でも、この非特許文献 1に記載された方法を用いる。

[0050] 以下、本実施形態の端末による、ラベルに対するカメラの向き、及び、カメラとラベルとの間の距離を測定する方法について図 1を参照して説明する。図 1は、本発明の端末の第 1の実施形態における、ラベルに対するカメラの向き、及び、カメラとラベルとの間の距離を測定する方法の概念図である。ただし、以下に説明する、ラベルに対するカメラの向き、及び、カメラとラベルとの間の距離を測定する方法は、本発明の端末の第 1の実施形態以外の実施形態の端末、及び、本発明のサーバの各実施形態にも適用できる。

[0051] 定義

(X , y , z )：世界座標における点 Pの座標

(X, y, z)：カメラ座標における点 Pの座標

O :カメラのレンズ中心

f :焦点距離

(X , Y ) :点 Pの画像座標

(X , Y )：レンズの幾何学的なひずみによる実際の画像座標 (X , Y )：デジタル画像で離散化された画像座標

f f

s ：スケール関数

d , d :X方向、 Y方向の CCD素子の間隔

X y

N , Ν :Χ方向の CCD素子数、 1走査線のサンプル数

cx fx

d，：d， = d (N ZN )とする。

X x x cx fx

[0052] 準備

図 1に示すように基準となる世界座標 O における点 Pの座標を (X , y , z w— xw— w ~~ zw w w w

)と表し、カメラ座標 O における点 Pの座標を (X, y, z)と表す。

ただし、 Oはレンズ中心（ピンホール）を表し、 z軸はレンズの光軸に一致するように設定する。

[0053] 次に X— y平面に平行で z座標力 ¾の位置に画像中心が O、座標軸が X— Yの画像平面を考える。理想的なピンホールカメラの場合は点 Pの座標 (X, y, z)は画像平面上では (X , Y )と表されるが、レンズの幾何学的なひずみにより実際には画像平面上では (X , Y )

d dの位置に対応するものとする。

[0054] そして (X , Y )のデジタル画像上での離散化された座標を (X , Y )で表す。点 P d d f f

の世界座標 (χ , y , z )とその点の画像座標 (X , Y )の関係は以下の手順で求め w w w f r

ることがでさる。

[0055] step. 1 (x , y , z )から（x, y, z)への変換

W W W

回転行列 Rと平行移動ベクトル Tを用いて表す。

[0056] [数 1]

[0057] ただし、

[0058] [数 2] (2)

[0059] step. 2 透視変換による（x， y, z)から (X， Y^)への変換:

焦点距離 fを用いて表す。

[0060] [数 3] r X r- y

xu =f一， Y_u =f— (3)

[0061] step. 3 (X , Y )から（X， Y )への変換：

u u d d

[0062] [数 4]

^Xd^+Dx^=xu-^Yd^+Dy ^=Yu (4)

[0063] ただし、 D , Dはレンズの半径方向のひずみ係数 κ , κ を用いて次のように表す y 1 2

[0064] 隱 5]

D_x=Xd ( c₁ r²+K₂r^A)

/ 2 2

厂 Φά ^+Yd

[0065] step .4 (X , Y )から（X , Y )への変換：

d d f f

[0066] 隱 6] Xf =s_xd'_x' X_d+C

[0067] ただし、 sはスケール係数、（C_x， C )はデジタル画像上での原点座標、 ά_χ, はそれぞれ X方向 Y方向の CCDの素子数の間隔を表す。 d，は X方向の N と 1走査線のサンプル数 N を用いて dを補正したものである。

[0068] [数 7]

d

[0069] 以上の関係を整理すると、

[0070] 國

X二 X_f - C Y=Y f ν

[0071] を用いて

[0072] [数 9] r⁴)

(9)

[0073] [数 10] dyY+d_yY( ₁ r²+/c₂r⁴)

(1 0)

[0074] が得られる。ただし、

[0075] [数 11]

[0076] である。

[0077] キャリブレーション

キャリブレーションは図 1に示すように、多数の点の世界座標（X , y , z )とそれら

W W W

の点に対応する画像座標 (X, Y)

f f との組がカメラに与えられることにより行われる。ここで、多数の点の世界座標 (X , y , z )は既知の値である。本実施形態のキヤリブレ

w w w

ーシヨンでは、外部パラメータとして回転行列 R、平行移動ベクトル T、内部パラメータとして焦点距離 f、レンズひずみ係数 κ 1, κ 2、スケール係数 s、画像原点（C , C ) が求められる。これら、外部パラメータと内部パラメータとを合わせて以下、単にパラメータともいう。以下では、 s (通常は 1.0)とした場合のキャリブレーション手^ mこついて述べる。

[0078] step.1

同一平面上に存在する N個のキャリブレーション点を撮影した画像カゝら P画像座標 (X , Y )を求める。

fi fi

[0079] step.2

カメラおよび AZD変翻の仕様から、 N , N , d ', dを求める。

cx fx X y

[0080] step.3

画像の中央の原点座標を (C , C )とする。

X y

[0081] step.4 N点の（X , Y )を求める。

[0082] [数 12]

厂 ^Gx

(1 2) Ydi^=d _y(^Yfi-^c _y)

[0083] step.5

(x , y , ζ )と（X , Υ )の組から Τ ^_1rl, Τ ^_1r2, Τ ^_1Τ , Τ ^_1r4, Τ— "τ5を未知 wi wi wi di di y y y x y y

数とする線形方程式を解く。

[0084] [数 13]

[0085] step.6

T ^_1rl, T ^_1r2, T ^_1T , T ^_1r4, T— "r5から T ²を求める。まず、

y y y x y y y

[0086] [数 14]

[0087] とする。行列 Cの行または列の要素が 0でない場合は、

[0088] [数 15] ^SrV^Sr"^4(r'i ^r'5—^R'4 2)^:

2 (1 5)

^2(ΓΊ r'5 ' 4 ^r'2)

[0089] を求める。ただし、 r ' , r 'は行列 Cの 0でな、行または列の要素を表す。

1 J

[0090] step.7

画像原点 (C , C )

X から十分離れた点 (X , Y )

fi fiとその対応する点の世界座標 (X

， y , ζ )から Τの符号を決定する。まず、 Τの符号を正として、

wi wi y y

[0091] [数 16]

Γ_ί =(T_y η)丁、,， r₂=(T_y r₂)T_y

^Tx二 ^(Ty'^Tx^)Ty (1 6) x=r_lXw +r₂y_w+T_x

y=r₄x_w +r₅y_w+T_y

[0092] を求め、 χと Xの符号が等しぐかつ、 yと Yの符号が等しいならば Tの符号を正、それ

y

以外では負とする。

[0093] step.8

r , r , r , r力回転行列 Rを決定する。

[0094] [数 17]

[0095] ただし、 s=-sgn(r r +r r )である。 r , r , rは Rが直行行列であるという性質を

1 4 2 5 7 8 9

用いて求める。なお、 step. 9で求める焦点距離 fが負となる場合は、

[0096] [数 18]

(1 8)

[0097] を用いる。

[0098] step. 9

レンズのひずみを無視（κ = κ =0)として fと Τを未知数とする線形方程式を解く

1 2 z

[0099] [数 19]

[0100] ただし、

[0101] [数 20] y j =r4x_wi+r5y_wj+Ty

20) W : =r7x_wj+r8y_wj step. 10

step.9で求めた f、T及び K = K =0を初期値として、式（10)を非線形最適化 z 1 2

問題として解き、 ί,τ, κ , κ を求める。以上で、キャリブレーションの説明を終える

[0103] 次に、本発明の端末の第 1の実施形態についてさらに詳細に説明する。本実施形態で使用されるラベルは図 2に示される。図 2は、本発明の端末の第 1の実施形態で使用されるラベルの一例を示す概略図である。ただし、以下に説明する、ラベルの説明は、本発明の端末の第 1の実施形態以外の実施形態の端末、及び、本発明のサ一バの各実施形態にも適用できる。

[0104] 図 2に示されるように、カメラで撮影された映像力もカメラの向きを推定するために、ラベルは例えば複数の点をもつパターンとする。このパターンはキャリブレーションパターンである。すなわち、図 2に示されるラベルは、キャリブレーションによってカメラのパラメータを設定するために使用されたキャリブレーションパターンを有するラベルと同じものである。

[0105] 本実施形態では、このようなキャリブレーションパターン有するラベルを現実の世界の各地点に配置する。そして、ユーザが、端末に搭載されたキャリブレーション済みのカメラでそのラベルを撮影する。そして、端末は、撮影したラベルの映像カゝらラベルに対するカメラの向き、ラベルとカメラとの間の距離を計算する。そして、ラベルに対するカメラの向き、ラベルとカメラとの間の距離を認識した端末は、ユーザの目の前の風景に対応する、 CGで表現される情報を所定のデータベース力検索する。そして、端末は、 CGで表現される情報を風景の映像と合成し、ディスプレイを通じてユーザに表示する。

[0106] ラベルに対するカメラの向きや、カメラとラベルとの間の距離を求める方法は、例えば前述の非特許文献 1に示されている方法がある。本実施形態では、非特許文献 1 に示されている方法を用いる。この方法によって、本実施形態の端末は、ラベルと力メラとの間の距離及びカメラの向きを求めることができる。すなわち、本実施形態の端末は、キャリブレーションにより、予め、ラベルに対するカメラの向き及びラベルとカメラとの間の距離を決定するためのノメータを決定する。そして、本実施形態の端末は、決定されたこのパラメータと、キャリブレーションラベルを撮影した画像とから、ラベルに対するカメラの向き（すなわち、ラベルに対するカメラの角度）、及び、ラベルとカメラとの間の距離を求める。

[0107] 次に、本発明の端末の第 1の実施形態の内部構成について図 3を参照して説明する。図 3は、本発明の端末の第 1の実施形態の内部構成のブロック図である。本実施形態の端末は、図 3に示すように、映像取得部 301とキャリブレーション計算部 302とから構成される。

[0108] 映像取得部 301は、撮影された映像のデータを取得する。この映像取得部 301は、カメラにより構成される。そして、キャリブレーション計算部 302は、取得された映像中に存在する図 2に示されるキャリブレーションパターンから、ラベルに対するカメラの向き、及び、ラベルとカメラとの間の距離を計算する。この計算は、前述の非特許文献 1に示される、画像座標 (X , Y )から点 Pの世界座標 (X , y , z )を求める方法

f f w w w

により行われる。すなわち、本実施形態の端末は、前述の非特許文献 1に示されるキヤリブレーシヨンを予め実行する。そして、本実施形態の端末は、キャリブレーションにより計算されたカメラのパラメータを不図示のメモリに格納する。そして、本実施形態の端末は、このパラメータを用いて、ラベルに対するカメラの向き、及び、ラベルとカメラとの間の距離を計算する。

[0109] また、本実施形態で使用されるラベルは三次元的な物体であってもよ!/、。この場合はどの面をカメラが捉えて、るかを知るために、三次元ラベルの各面毎にキヤリブレーシヨンパターンを変更する。またカメラは赤外線カメラであってもよい。また、ラベルは特殊な波長をもつ光や電波を発するものであってもよい。

[0110] このように、本発明の端末の第 1の実施形態は、キャリブレーションパターンが形成されたラベルの映像を取得する。そして、端末は、取得した映像のキャリブレーションノターン力もラベルに対するカメラの向き、及び、カメラとラベルとの間の距離を計算する。よって、本実施形態では、カメラが搭載された端末の向きと、端末のラベルからの距離を精度良く測定することができる。

[0111] (端末の第 2の実施形態）

次に、本発明の端末の第 2の実施形態について図 4を参照して説明する。図 4は、本発明の端末の第 2の実施形態の内部構成のブロック図である。

[0112] 本実施形態の端末は、前述の第 1の実施形態の端末と比較して、距離測定部 403 を新たに設けたことに特徴がある。すなわち、映像取得部 401の機能は、図 1に示される映像取得部 301の機能と同じである。また、キャリブレーション計算部 402の機能は、図 1に示されるキャリブレーション計算部 302の機能と同じである。 [0113] 本実施形態は、信頼性の高い距離測定部 403を設ける。このため、本実施形態の端末は、距離測定部 403によって、高精度にラベルとカメラとの間の距離を計算することができる。また、本実施形態は、前述の第 1の実施形態の端末のように、ラベルのみによる距離測定も可能である。また、距離測定部 403は、例えばミリレーダやステレォ視を用いた三角測量など、既存のものを使用することが可能である。

[0114] このように、本実施形態の端末は、前述の本発明の端末の第 1の実施形態と同様の効果を得ることができると共に、端末とラベルとの間の距離を精度良く測定することができる。

[0115] (端末の第 3の実施形態）

次に、本発明の端末の第 3の実施形態について図 5を参照して説明する。図 5は、本発明の端末の第 3の実施形態の内部構成のブロック図である。

[0116] 本実施形態は、前述の本発明の端末の第 2の実施形態に比べて、端末に地理的位置測定部 504を設けた点に特徴がある。すなわち、映像取得部 501の機能は、図 4に示される映像取得部 401の機能と同じである。また、キャリブレーション計算部 50 2の機能は、図 1に示されるキャリブレーション計算部 402の機能と同じである。また、距離測定部 503の機能は、図 4に示される距離測定部 403の機能と同じである。

[0117] 地理的位置測定部 504は、 GPSなどの位置情報を取得するためのセンサである。

地理的位置測定部 504は GPSに限らず、 ICタグ、無線 LAN、携帯電話の基地局を用いて地理的位置を測定する方法など、他の方法を用いても実施可能である。

[0118] このように、本実施形態の端末は、端末が地図上でどの位置にあるのかを示す地理的位置情報が、地理的位置測定部 504により測定される。そのため、本実施形態の端末では、前述の本発明の端末の第 1の実施形態又は第 2の実施形態と同様の効果が得られると共に、地理的位置測定部 504の位置情報力も端末がどの地域のラベルを撮影して、るのかがわかる。

[0119] (端末の第 4の実施形態）

次に、本発明の端末の第 4の実施形態について図 6を参照して説明する。図 6は、本発明の端末の第 4の実施形態に用いられるラベルの一例の概略図である。本実施形態の端末の構成は、前述の本発明の第 1の実施形態の端末の構成と同じである。ただし、本実施形態では、使用する端末として、本明細書中に記載されている、第 1 の実施形態の以外の他の実施形態の、ずれかの端末を用いるとしても良、。

[0120] 本実施形態の端末は、端末が撮影するキャリブレーションラベルに特徴を有する。

本実施形態のラベルは、図 6の ID (identification) 601に示すように、キヤリブレーシヨンラベル中にラベルの ID601を記載する。この ID601は、ラベルに記述可能な数字、記号、文字、図形又はこれらの任意の組み合わせにより構成される。図 6に示される ID601は、数字の 1となっている。この ID601は、他のラベルと識別するため使用される。そのため、本実施形態では、各端末のキャリブレーション計算部が、映像中の ID601を認識する。そして、キャリブレーション計算部は、端末が撮影しているラベルを IDにより特定する。また、本実施形態の端末は、 IDに対応したラベルを特定するためのテーブルをメモリに格納する。

[0121] また、本実施形態では、ラベルの ID601は地域が異なっていれば同一の ID601が存在してもよい。例えば、 ID601が 1の場合、新宿と札幌に同一の IDのラベルが存在してもよい。この場合、端末が存在する地域を区別するために、 GPSなどの位置情報を取得するための手段を用いる。この GPSの位置情報により、本実施形態では、ラベルの ID601である 1が札幌のものなの力新宿のものなのか区別可能となる。

[0122] このように、本実施形態では、端末が使用するラベルに ID601を含める。そのため、本実施形態の端末は、映像を取得したラベルを、 ID601に基づいて特定することができる。そのため、本実施形態の端末は、本発明の第 1の実施形態と同様の効果、又は、第 1の実施形態の以外の他の実施形態のいずれかの端末を使用した場合は第 1の実施形態の以外の他の実施形態のいずれかの端末と同様の効果を得ることができると共に、 ID601と地域との対応関係を把握していれば、ラベルの ID601から端末がどの地域のラベルの映像を取得しているかが分かる。そのため、本実施形態では、同一のキャリブレーションパターンを有するラベルを使用することができる。

[0123] (端末の第 5の実施形態）

次に、本発明の端末の第 5の実施形態について図 7を参照して説明する。図 7は、本発明の端末の第 5の実施形態が使用される情報提供システムの概略図である。

[0124] 図 7に示される情報提供システムは、本発明の端末の第 5の実施形態である端末 7 01と、ネットワーク 702と、サーバ 703とを備える。また、本実施形態の端末 701が映像を取得するラベルは、図 2に示されるラベルであっても、前述の本発明の端末の第 4の実施形態の説明のように図 6に示される ID601が付与されたラベルであっても良い。

[0125] 端末 701は、映像取得部 704と、キャリブレーション問合わせ部 705と、地理的位置測定部 706と、ネットワーク通信部 707とを備える。なお、図 7に示される映像取得部 704は、図 3に示される映像取得部 301と同様の機能を有する。また、図 7に示される地理的位置測定部 706は、図 5に示される地理的位置測定部 504と同様の機能を有する。

[0126] 端末 701として持ち運びできる小型のものを想定した場合 (たとえば携帯電話)、端末 701の CPUは大型の端末の CPUと比較して性能面で劣る場合が多い。そこで、キャリブレーションなどの計算は、端末で行わせるよりもネットワークを介して端末より高い計算能力を有するサーバに行わせる方が良い。

[0127] 図 7に示されるキャリブレーション問合わせ部 705は、サーバ 703にキヤリブレーションの計算を行わせる。そのため、キャリブレーション問合わせ部 705は、キヤリブレーシヨンパターンを含む映像をサーバ 703へ送信する。また、この場合、キヤリブレーシヨン問合わせ部 705は、キャリブレーションにより得られたカメラのパラメータをサーバ 703に送信する。

[0128] また、ネットワーク通信部 707は、端末 701とサーバ 703との間の通信を制御する。

このように、端末 701は、キャリブレーションパターンを含む映像を、ネットワーク 702 を介してサーバ 703に送信する。

[0129] サーバ 703は、端末 701から送信されたキャリブレーションパターンを含む映像を受信する。また、サーバ 703は、端末 701から送信されたキャリブレーションにより得られたカメラのパラメータを受信する。そして、サーバ 703は受信した映像とカメラのパラメータとに基づいて、カメラの向き、ラベルとカメラとの間の距離を計算する。そして、サーバ 703は、ネットワーク 702とネットワーク通信部 707を介して、キヤリブレーシヨン問合わせ部 705に計算結果を送信する。そして、キャリブレーション問合わせ部 705は、サーバ 703からの計算結果を受信する。 [0130] また、ネットワーク 702は携帯電話網でもよ!/、し、無線 LANなどのネットワークでもよい。ネットワーク通信部 707は、利用可能なネットワークを単独又は複数備えることも可能である。

[0131] このように、本実施形態では、ラベルに対するカメラの向きや、カメラとラベルとの間の距離などの情報は、サーバ 703によって計算される。そのため、本実施形態では、前述の第 1の実施形態、第 3の実施形態及び第 4の実施形態と同様の効果を得ることができると共に、端末 701における計算の負荷を軽減することができる。

[0132] (端末の第 6の実施形態）

次に、本発明の端末の第 6の実施形態について図 8を参照して説明する。図 8は、本発明の端末の第 6の実施形態が使用される情報提供システムの概略図である。

[0133] 図 8に示されるように、本発明の端末の第 6の実施形態が使用される情報提供システムは、本発明の端末の第 6の実施形態である端末 801と、ネットワーク 802と、サーノ 03とを備える。また、本実施形態の端末 801が映像を取得するラベルは、図 2に示されるラベルであっても、前述の本発明の端末の第 4の実施形態の説明のように図 6に示される ID601が付与されたラベルであっても良!、。

[0134] 映像取得部 804は、図 3に示される映像取得部 301と同様の機能を有する。キヤリブレーシヨン計算部 805は、図 3に示されるキャリブレーション計算部 302と同様の機能を有する。キャリブレーション問合わせ部 806は、図 7に示されるキャリブレーション問合わせ部 705と同様の機能を有する。地理的位置測定部 807は、図 5に示される地理的位置測定部 504と同様の機能を有する。ネットワーク通信部 812は、図 7に示されるネットワーク通信部 707と同様の機能を有する。

[0135] サーバ問合せ部 808は、サーバ 803に情報の送信を要求する。問合せ結果受信部 809は、サーバ 803から送信された情報を受信する。サーバ問合わせ部 808は、ネットワーク通信部 812及びネットワーク 802を介してサーバ 803に情報提供を求める。そして、問合わせ結果受信部 809は、ネットワーク 802及びネットワーク通信部 81 2を介して、サーバ 803から送信された情報を受信する。

[0136] サーバ問合わせ部 808は、サーバ 803に情報の送信を要求する場合に、サーバ 8 03に所定の端末の情報を送信する。このサーバ 803に送信される所定の端末の情報には、少なくとも、ラベルに対するカメラの向き及びカメラとラベルとの間の距離、又は、キャリブレーションパターンを含むラベルの映像及びキャリブレーションにより計算されたカメラのパラメータが含まれる。また、このサーバ 803に送信される情報には、端末の存在する地理的位置及びラベル IDのうちの少なくとも一方を含めるとしても良い。

[0137] また、サーバ 803から送信された情報には、映像取得部 804が取得した映像の中における、情報を表示する位置、情報を表示する大きさの情報を含む。そして、映像合成部 810は、映像取得部 804が取得した映像の中における、情報を表示する位置、情報を表示する大きさの情報に基づいて、映像取得部 804が取得した映像と、サーバ 803から送信された情報に対応する映像とを合成する。

[0138] 表示部 811は、映像合成部 810が合成した映像を表示する。この表示例は、図 9の

(a)に示される。また、表示部 811は、不図示のウェブサーバから取得した情報をゥェブページとして表示する。このウェブページの表示例は、図 9の（b)に示される。図 9 は、本発明の端末の第 6の実施形態に表示される映像の概念図である。

[0139] 本実施形態の端末では、例えば、図 9の（a)に示されるように、 CGによる情報 901、情報 902及び情報 903が、サーバ 803から端末 801に送信される。図 9の（a)には、情報 901、情報 902及び情報 903と、ラベル 904とが示されている。

[0140] 図 9の（a)に示されるように、これらの情報 901、情報 902及び情報 903は、例えば建物の名称を表示する。これらの情報 901、情報 902及び情報 903は、ユーザの目の前に広がる風景の中の建物の映像に引き出し線で関連付けられて表示される。すなわち、本実施形態では、図 9の（a)に示されるように、映像内の建物などに関連した情報が表示される。

[0141] もちろん、本発明は、これらの情報 901、情報 902及び情報 903がユーザの目の前に広がる風景の中の建物の映像に引き出し線で関連付けられて表示される場合に限定されるものではない。本発明では、これらの情報 901、情報 902及び情報 903と、これらの各情報に対応する建物などの対象とが対応付けられていれば良い。

[0142] これらの情報 901、情報 902及び情報 903は、ネットワーク上の不図示のウェブサーバが格納している情報に対してリンクが張られている。そして、ユーザが、情報 901 、情報 902及び情報 903をクリックすると、情報 901、情報 902及び情報 903にリンクされた情報が、リンク先のウェブサーノから端末 801に送信される。

[0143] ユーザが、情報 901、情報 902及び情報 903をクリックすると、例えば図 9の（b)に示されるようにウェブページ 905が端末に表示される。図 9の（b)に示される例では、レストランの情報に対して、サービスメニューの情報が表示されている。もちろん、本発明では、情報は、ゥヱブページとして表示されなくとも、その他の適切な表示方法であっても良い。

[0144] そして、本実施形態では、情報 901、情報 902及び情報 903などの CG映像は、端末 801の計算負荷を削減するため、予めサーバによって作成される。そして、本実施形態の端末 801は、情報 901、情報 902及び情報 903などの CG映像を受信する。そして、図 9の（a)に示されるように、本実施形態の端末 801は、情報 901、情報 902 及び情報 903などの CG映像を現実の風景の映像と重ねて表示する。この場合、情報 901、情報 902及び情報 903などの CG映像と、現実の風景の映像との位置関係は、ラベルに対するカメラの向きと、カメラとラベルとの間の距離力計算される。また、本実施形態の端末は、サーノから受信した情報を用いて表示する映像を作成するとしても良い。また、本実施形態の端末は、ラベルに対するカメラの向きとカメラとラベルとの間の距離とに基づいて、情報 901、情報 902及び情報 903などの CG映像を表示する位置及び大きさを決定するとしても良い。

[0145] 本実施形態では、図 9の（a)に示されるように、 CGによる情報 901、情報 902及び情報 903が、現実の風景の映像に重ねて表示される。本実施形態は、カメラの撮影範囲内にラベル 904を収める。そして、本実施形態は、ラベル 904のキヤリブレーションパターンから、ラベルに対するカメラの向きと、ラベル 904とカメラとの間を計算する。もちろん、前述の第 5の実施形態の端末のように、サーバに、ラベルに対するカメラの向きと、ラベルとカメラとの間を計算させても良い。本実施形態が、ラベル 904のキヤリブレーシヨンパターンから、カメラの向きと、ラベル 904とカメラとの間を計算する方法は、前述の第 1の実施形態の端末と同様の方法による。そして、本実施形態は、従来技術よりも高精度に CGの映像と現実の風景の映像とを重ねあわせることが可能である。 [0146] つまり、本実施形態の端末 801は、サーバ 803に情報を問い合わせる。ここで、本実施形態の端末 801は、サーバ 803に対して、無線ネットワークや有線ネットワーク、もしくは両方を経由してアクセス可能である。そして、本実施形態の端末 801は、サーバ 803から情報を受信する。そして、本実施形態の端末 801は、 CGによる情報 90 1、情報 902及び情報 903のような情報の映像を、風景の映像に合成して表示する。そのため、本実施形態の端末 801は、前述の本発明の端末の第 1の実施形態、第 3 の実施形態、第 4の実施形態及び第 5の実施形態と同様の効果を得ることができると共に、ユーザに有益な情報を提供することができる。

[0147] (端末の第 7の実施形態）

次に、本発明の端末の第 7の実施形態について図 10を参照して説明する。図 10 は、本発明の端末の第 7の実施形態が使用される情報提供システムの概略図である

[0148] 図 10に示されるように、本発明の端末の第 7の実施形態が使用される情報提供システムは、本発明の端末の第 7の実施形態である端末 1001と、ネットワーク 1002と、サーバ 1003とを備える。また、本実施形態の端末 1001が映像を取得するラベルは、図 2に示されるラベルであっても、前述の本発明の端末の第 4の実施形態の説明のように図 6に示される ID601が付与されたラベルであっても良い。

[0149] そして、本実施形態の端末 1001の内部構成は、図 8に示される端末 801の内部構成に加えて、映像追随部 1013が追加されている。そのため、映像取得部 1004は、図 3に示される映像取得部 301と同様の機能を有する。キャリブレーション計算部 10 05は、図 3に示されるキャリブレーション計算部 302と同様の機能を有する。キヤリブレーシヨン問合わせ部 1006は、図 8に示されるキャリブレーション問合わせ部 806と同様の機能を有する。地理的位置測定部 1007は、図 8に示される地理的位置測定部 807と同様の機能を有する。サーバ問合わせ部 1008は、図 8に示されるサーバ問合わせ部 808と同様の機能を有する。問合わせ結果受信手段 1009は、図 8に示される問合わせ結果受信手段 809と同様の機能を有する。表示部 1011は、図 8に示される表示部 811と同様の機能を有する。

[0150] 映像合成部 1010は、映像追随部 1013が取得した、端末が移動した向き及び端末の移動した距離とに基づいて、風景の映像に合成する映像、合成する映像の位置及び合成する映像の大きさを変化させる。

[0151] 本実施形態の構成は、前述の第 6の実施形態の構成に、映像追随部 1013が追加される構成である。映像追随部 1013は図 3、 4、 5、 7に示される各実施形態の端末内にそれぞれ追加されてもよい。映像追随部 1013は、例えば MPEGなどの圧縮方式で用いられる動き推定（Motion Estimation)を用いる。ただし、本発明は、動き推定以外の映像の動きを推定する手段を用いることもできる。

[0152] 図 10に示される映像追随部 1013の動作について図 11及び図 12を参照して説明する。図 11及び図 12は、本発明の端末の第 7の実施形態における映像追随部の動作を説明するための概念図である。

[0153] キャリブレーション計算部 1005は、図 11の（a)の画面で写されていたラベルでカメラの向きと、ラベルとカメラとの間の距離を検出する。その後、図 11の（b)に示されるように、ユーザがラベルが画面から外れる領域に端末を移動させる。

[0154] この場合、映像追随部 1013は、図 12の（a)、（b)及び (c)で示されているように、画像の一部あるいは全体を矩形ブロックで区切る。そして、映像追随部 1013は、同一輝度パターンをもつ矩形がカメラの移動と共にどのように動、て、くかを検出する。この検出結果により、本実施形態の端末の映像追随部 1013は、カメラの向きの変化と、ラベルとカメラとの間の距離の変化を検出する。

[0155] そして、映像合成部 1010は、端末が移動する前にラベルを撮影することによって得られた、ラベルに対するカメラの向き及びラベルとカメラとの間の距離の情報と、力メラの向きの変化の情報及びラベルとカメラとの間の距離の変化の情報とに基づいて、 CG映像を更新する。このようにして、本実施形態の端末は、 CGの映像と実世界の映像とが適切に重ね合わされた状態を維持する。

[0156] ここで、図 10に示される映像追随部 1013は、例えば、端末の向きの変化や移動距離を、オプティカルフローを用いて測定する。ただし、本発明の端末は、端末の向きの変化や移動距離を、磁気センサによって測定しても良い。

[0157] このように、本実施形態の端末では、前述の第 6の実施形態の端末と同様の効果を得ることができると共に、端末の動きにあわせて CGの映像を更新することができる。そして、本実施形態の端末は、 CGの映像と実世界の映像とを適切に重ね合わせて表示する状態を維持することができる。

[0158] (サーバの第 1の実施形態）

次に、本発明のサーバの第 1の実施形態について図 13を参照して説明する。図 13 は、本発明のサーバの第 1の実施形態の内部構成のブロック図である。

[0159] 本実施形態は、前述の本発明の端末の第 6の実施形態又は第 7の実施形態から情報の送信の要求を受けるサーバである。本実施形態のサーバは、図 13に示すように、キャリブレーション問合わせ受信部 1301、キャリブレーション計算部 1302、サーバ問合せ受信部 1303、問合せ結果送信部 1304、リンク情報管理部 1305、データ記憶部 1306及びネットワーク通信部 1307を有する。

[0160] キャリブレーション問合わせ受信部 1301は、端末からキャリブレーションパターンを含む映像の情報を受信する。また、キャリブレーション問合わせ受信部 1301は、端末力も送信されたキャリブレーションにより得られたカメラのパラメータを受信する。

[0161] キャリブレーション問合わせ受信部 1301が映像の情報及びパラメータを受信した場合、キャリブレーション計算部 1302は、受信したキャリブレーションパターンの映像の情報とパラメータとから、ラベルに対するカメラの向き、カメラとラベルとの間の距離を計算する。

[0162] サーバ問合せ受信部 1303は端末から、ラベルに対するカメラの向き、カメラとラベルとの間の距離、及び、キャリブレーションパターンを含むラベルの映像の情報及びキャリブレーションにより計算されたパラメータの少なくともいずれか一方を受信する。

[0163] また、このサーバ問合わせ受信部 1303は、さらに、端末の存在する地理的位置及びラベル IDのうちの少なくとも一方を受信するとしても良い。そして、リンク情報管理部 1305は、これら受信した情報に基づ、てデータ記憶部 1306から情報を抽出する

[0164] すなわち、データ記憶部 1306に記憶されている情報は、少なくとも、ラベルに対するカメラの向き及びラベルとカメラとの間の距離とに基づいて分類されている。そして、リンク情報管理部 1305は、サーバ問合わせ受信部 1303が受信した情報から、ラベルに対するカメラの向き及びカメラとラベルとの間の距離の情報を抽出する。そして、リンク情報管理部 1305は、ラベルに対するカメラの向き、カメラとラベルとの間の距離の情報に基づいて、データ記憶部 1306から情報を抽出する。

[0165] そして、問合せ結果送信部 1304は、リンク情報管理部 1305によりデータ記憶部 1 306から抽出された情報を端末に送信する。ここで、問合わせ結果送信部 1304は、ラベルに対するカメラの向き、カメラとラベルとの間の距離に基づいて、データ記憶部 1306から抽出された情報が表示される位置、大きさに関する情報を計算する。そして、問合わせ結果送信部 1304は、情報が表示される位置及び大きさに関する情報を端末に送信する。問合わせ結果送信部 1304から端末に送信される情報は、例えば、図 9の（a)に示される情報 901、情報 902及び情報 903のような情報である。

[0166] ラベルに対するカメラの向き及びラベルとカメラとの間の距離が端末力もサーバに送信されない場合、キャリブレーション計算部 1302は、ラベルに対するカメラの向き及びラベルとカメラとの間の距離を計算する。

[0167] 例えば、端末がキャリブレーション計算部を持たな、場合、キャリブレーション問合わせ受信部 1301は、キャリブレーションラベルの映像とパラメータとを端末力も受信する。

[0168] そして、キャリブレーション計算部 1302は、ラベルに対するカメラの向きと、カメラとラベルとの間の距離を、キャリブレーションパターンとパラメータとから計算する。この計算は、前述の本発明の端末の第 1の実施形態で説明した計算と同じである。そして、リンク情報管理部 1305が、キャリブレーション計算部 1302の計算結果を用いて、データ記憶部 1306から情報を抽出する。

[0169] データ記憶部 1306には、ラベルに対するカメラの向き及びカメラとラベルとの間の距離と、端末に表示される情報とが対応付けられて格納されている。また、データ記憶部 1306に格納されている情報は、さらに、 GPSなどによって得られる地理的位置情報などの位置情報及びラベル IDの少なくとも一方と対応付けられて格納されているとしても良い。

[0170] このように、本実施形態のサーバは、端末力も情報の取得要求を受ける。そして、本実施形態のサーバは、端末から送信される、ラベルに対するカメラの向き、カメラとラベルとの間の距離、 GPSなどによって得られる地理的位置、ラベル IDなどの情報に対応した情報を、端末に送信することができる。

[0171] (サーバの第 2の実施形態）

次に、本発明のサーバの第 2の実施形態について図 14を参照して説明する。図 14 は、本発明のサーバの第 2の実施形態の内部構成のブロック図である。

[0172] 本実施形態のサーバは、図 14に示すように、キャリブレーション問合わせ受信部 1 401と、キャリブレーション計算部 1402と、サーバ問合せ受信部 1403と、問合わせ結果送信部 1404と、時刻取得部 1405と、時刻リンク情報管理部 1406と、データ記憶部 1407と、ネットワーク通信部 1408とを有する。

[0173] キャリブレーション問合わせ受信部 1401は、図 13に示されるキャリブレーション問合わせ受信部 1301と同様の機能を有する。キャリブレーション計算部 1402は、図 1 3に示されるキャリブレーション計算部 1302と同様の機能を有する。サーバ問合わせ受信部 1403は、図 13に示されるサーバ問合わせ受信部 1303と同様の機能を有する。問合わせ結果送信部 1404は、図 13に示される問合わせ結果送信部 1304と同様の機能を有する。

[0174] 本実施形態は、データ記憶部 1407に格納される情報に、時刻の概念を取り入れている。前述の本発明のサーバの第 1の実施形態では、データ記憶部 1306に格納される情報は、時刻に関係なく一定である。一方、本施形態では、データ記憶部 140 7に記憶される情報は、時刻に基づいて分類される。

[0175] 時刻取得部 1405は、サーバ問合わせ受信部 1403が情報を受信した時の時刻を取得する。時刻取得部 1405は、取得した時刻を時刻リンク情報管理部 1406に送信する。時刻リンク情報管理部 1406は、データ記憶部 1407に格納されている情報を管理する。そして、時刻リンク情報管理部 1406は、一定の時刻に対応する情報をデータ記憶部 1407から抽出する。

[0176] また、時刻リンク情報管理部 1406は、サーバ問合わせ受信部 1403が受信した情報と、時刻取得部 1405が取得した時刻とに基づいて、データ記憶部 1407から情報を抽出する。ここで、サーバ問合わせ受信部 1403は、ラベルに対するカメラの向き及びカメラとラベルとの間の距離、及び、キャリブレーションパターンを含むラベルの映像及びキャリブレーションにより計算されたカメラのパラメータのうちの少なくとも一方を受信する。また、このサーバ問合わせ受信部 1403は、さらに、端末の存在する地理的位置及びラベル IDのうちの少なくとも一方を受信するとしても良い。

[0177] ここで、図 14に示されるデータ記憶部 1407に記憶される情報について図 15を参照して説明する。図 15は、本発明のサーバの第 2の実施形態のデータ記憶部に記憶される情報の概念図である。

[0178] 図 15の（a)に示されるように、所定のラベル ID、カメラの位置、向きに対応して、 0 時には情報 Aが対応し、 1時には情報 Bが対応している。また、図 15の (b)に示されるように、所定のラベル ID、端末の位置、向きに対応して、 0時には情報 Xが対応し、 1時には情報 Yが対応している。もちろん、本発明の時間と情報の対応は、図 15に示される例に限定されるものではない。例えば、時間範囲などは、例えば図 15に示される以外にも、分単位で変えるとしても良い。なお、図 15に示される位置には、少なくとも、ラベルに対するカメラの向き及びカメラとラベルとの間の距離を含む。

[0179] このように、本実施形態のサーバは、時刻毎に、端末に送信する情報を変更する。

例えば、本実施形態のサーバは、お昼と夜ではレストランのメニューも変わるため、時刻によって、端末に提供するメニューも変化させる。また、本実施形態のサーバは、時刻によって、デパートの食料品が安くなる場合があるため、端末に提供する価格情報を変化させる。

[0180] このように、本実施形態のサーバは、前述の本発明のサーバの第 1の実施形態と同様の効果を得ることができると共に、時刻によって、端末に送信する情報を変更することができる。

Claims

請求の範囲

[1] 撮影対象を撮影した向き及び撮影対象との間の距離を計算するためのパターンを有する撮影対象の映像を取得する映像取得手段と、

前記パターンの映像から、前記撮影対象を撮影した向きと前記撮影対象との間の距離とを計算する計算手段とを備える端末。

[2] 前記パターンは、前記端末のキャリブレーションを行うためのキャリブレーションパターンと同じパターンであり、

前記計算手段は、前記パターンの映像と前記キャリブレーションにより得られたパラメータとから、前記撮影対象を撮影した向きと前記撮影対象との間の距離とを計算する請求項 1記載の端末。

[3] 前記撮影対象との間の距離を測定する距離測定手段を備える請求項 1記載の端末

[4] 前記端末の位置を測定する位置測定手段を備える請求項 1記載の端末。

[5] 前記撮影対象が、複数の撮影対象を互いに識別するための識別情報を備える請求項 1記載の端末。

[6] 前記撮影対象を撮影した向き及び撮影対象との間の距離を撮影対象が備えるバターンに基づき計算するサーバとネットワークにより接続され、

前記映像取得手段により取得されたパターンの映像及び予め行われたキヤリブレーシヨンにより得られたパラメータを前記サーバに送信すると共に、前記サーバが前記パターンの映像とパラメータとに基づいて計算した前記撮影対象を撮影した向き及び撮影対象までの距離を、該サーバから受信する問合わせ手段を備える請求項 1 記載の端末。

[7] 前記端末力受信した情報に基づいて端末に送信する情報を選択するサーバとネットワークにより接続され、

前記サーバから送信された情報を受信する受信手段とを備える請求項 1記載の端末。

[8] 前記送信手段は、

前記端末の位置及び前記撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方を前記サーバに送信する請求項 7記載の端末。

[9] 前記映像取得手段が取得した映像と、前記受信手段が受信した情報に基づく映像とを合成する合成手段を備える請求項 7記載の端末。

[10] 前記合成手段が合成した映像を、コンピュータグラッフィックス画像として表示する表示手段を備える請求項 9記載の端末。

[11] 前記受信手段が受信した情報を、ウェブページとして表示する表示手段を備える請求項 7記載の端末。

[12] 端末の移動に伴って発生する、端末が取得する映像の変化に基づいて、前記端末が移動した距離及び前記端末が移動した向きを検知する映像追随手段を備え、前記合成手段は、前記映像取得手段が取得した映像と、該映像に表示する情報とを、前記映像追随手段が検知した前記端末が移動した距離及び前記端末が移動した向きとに基づいて合成する請求項 9記載の端末。

[13] 前記撮影対象を撮影した向き及び撮影対象との間の距離、及び、前記パターンを含む撮影対象の映像及び予め行われたキャリブレーションにより得られたパラメータのうちの少なくともいずれか一方を端末力受信する受信手段と、

前記情報管理手段が抽出した情報を前記端末に送信する送信手段とを備えるサーバ。

[14] 前記受信手段は、前記端末の位置及び前記撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方を受信し、

前記情報管理手段は、前記受信手段が受信した、前記端末から送信された情報と、前記端末の位置及び前記撮影対象が備える複数の撮影対象を互いに識別するための識別情報の少なくともいずれか一方とを用いて、前記データ記憶手段から情報を抽出する請求項 13記載のサーバ。

前記データ記憶手段に記憶されている情報は、

前記情報管理手段は、前記受信手段が受信した情報と、該情報を受信した時刻とに基づいて前記データ記憶手段から情報を抽出する請求項 13記載のサーバ。