JP4046664B2

JP4046664B2 - 携帯情報端末に対する情報提供システム、情報提供方法、情報提供プログラム、および、情報提供プログラムを記録した記録媒体

Info

Publication number: JP4046664B2
Application number: JP2003284851A
Authority: JP
Inventors: 健人宮奥; 豪東野; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-08-01
Filing date: 2003-08-01
Publication date: 2008-02-13
Anticipated expiration: 2023-08-01
Also published as: JP2005056054A

Description

本発明は、携帯情報端末に対して携帯情報端末外部のディスプレイに提示される画像情報に関する情報を提供するシステム、方法、プログラム、および、プログラムを記録した記録媒体に関する。

従来、ディスプレイの表示領域中の任意の位置をポインティングする方法として、マウス、トラックボール、ライトペン、タッチパネルなどのポインティングデバイスを用いる方法がある。

マウスは平面の上に置いて、前後左右に滑らせ、その動きに連動して、表示領域上のカーソルを移動し、ボタンを押すことでカーソルの指示する位置をポインティングするデバイスである。同様に、トラックボールは、操作面に露出したボールを手で回転させることでカーソルを移動し、ボタンを押すことでカーソルの指示する位置をポインティングするデバイスである。

ライトペンは、表示領域上の任意の位置をタッチすることによりポインティングするデバイスである。ライトペンでは、ライトペンによりディスプレイがタッチされるとタッチセンサーがそのことを制御部に伝え、表示領域全面を走査点だけを発光させるようにして瞬時に走査する。ライトペンがペン先の走査点の発光を検知した時点で、そのことを制御部に知らせることにより、該時点で発光している走査点位置を、ライトペンの指している位置として検出する仕組みになっている。

ライトペンと同等の仕組みを用いた銃型のポインティングデバイスもある。このデバイスは銃口（光センサ）をディスプレイに向けトリガーを引くことで、任意の位置をポインティングする。

タッチパネルは、ディスプレイの表示領域を覆う形で装備されるポインティングデバイスであり、ライトペンと同様に表示領域上の任意の位置を指先やペンなどで直接タッチすることでポインティングするものである。

ポインティングデバイスを使用して情報を提供する方法として、例えば、第１情報端末に表示されているアイコン(何らかの情報を格納している)をペン型ポインティングディバイスでタッチして、前記アイコンを一時的に前記ペン型ポインティングディバイスに格納し、前記ペン型ポインティングディバイスを第２情報端末にタッチすることで、前記アイコンを第２情報端末に送信する発明が開示されている(例えば、特許文献１参照。)。
特開２００３−１７７８６４号公報

マウス、トラックボール、ライトペンにおいて用いられるポインティング方法では、ポインティング位置を指示するために用いるデバイスそのものがディスプレイとともにコンピュータに接続されている必要がある。したがって、利用者が携帯している携帯情報端末によって、任意の街頭ディスプレイに対するポインティングを行い携帯情報端末に情報を取得するという用途には適用できない。

タッチパネル方式であれば、利用者がポインティングのための専用のデバイスを利用する必要が無い。したがって、携帯情報端末そのものをタッチパネル用のペンとして用いることで、携帯情報端末を用いたポインティングは実現可能である。

しかし、タッチパネル方式は、利用者がディスプレイそのものに手が届く距離まで接近し直接タッチする必要がある。ショーウィンドウなどに設置される大画面の街頭ディスプレイでは、利用者は街頭ディスプレイから距離をおいた位置からこれを視聴するため、取得したい情報を見つけた瞬間に即座に該情報の提示領域をポインティング（タッチ）することが難しい。また、天井など利用者の手の届かない位置に設置された街頭ディスプレイをポインティングすることが不可能である。

本発明はかかる事情に鑑みなされたもので、利用者が携帯している携帯情報端末を用いて、利用者から距離を置いた位置に設置されるディスプレイの表示領域の任意の位置をポインティングし、該位置に提示される画像に関する情報を取得できる情報提供システム、情報提供方法、情報提供プログラム、および、情報提供プログラムを記録した記録媒体の提供を目的とする。具体的には、市街地や電車内などに設置された街頭ディスプレイなどによって提供される画像または映像情報の任意の部分を、利用者が携帯している携帯情報端末を用いて指定し、該部分に表示されていた情報コンテンツを携帯情報端末に取得するという用途に適用できる情報提供システム、情報提供方法、情報提供プログラム、および、情報提供プログラムを記録した記録媒体の実現を目的とする。

上述した課題を解決するために、請求項１に係る携帯情報端末に対する情報提供システムは、ビデオカメラが撮影する撮影映像と情報提供手段が供給する情報映像または情報画像とを重畳した重畳映像をディスプレイに表示し、携帯情報端末が前記ディスプレイに表示される重畳映像に対して行うポインティングから、前記重畳映像中のポインティング位置をポインティング装置が決定し、前記ポインティング位置に表示されている情報映像または情報画像に関連する情報を前記情報提供手段が前記携帯情報端末に提供するシステムであって、前記ポインティング装置は、前記撮影映像と前記情報映像または情報画像とを重畳した重畳映像を生成する映像重畳手段と、前記映像重畳手段が生成した重畳映像を前記ディスプレイにて再生する映像再生手段と、前記撮影映像中に写っている前記携帯情報端末が発信する光信号を検出する信号検出手段と、前記検出された光信号を用いてポインティング位置を決定するポインティング位置決定手段と、前記情報提供手段から供給される情報映像または情報画像を前記ポインティング位置決定手段と前記映像重畳手段とに入力し、前記ポインティング位置決定手段が決定したポインティング位置を前記情報提供手段に入力するインターフェースとからなり、前記情報提供手段は前記情報映像または情報画像を前記インターフェースに供給し、前記インターフェースより入力されるポインティング位置に表示されている情報映像または情報画像に関する情報を前記携帯情報端末に送信することを特徴とする。

請求項２に係る携帯情報端末に対する情報提供システムは、前記請求項１に記載の携帯情報端末に対する情報提供システムにおいて、前記ポインティング装置が、撮影映像中に写っている携帯情報端末が光信号として送信するデータを受信する信号データ受信手段を具備し、前記情報提供手段は前記信号データにより情報を送信する携帯情報端末を特定して、この特定した携帯情報端末に情報を送信することを特徴とする。

請求項３に係る携帯情報端末に対する情報提供システムは、前記請求項１または請求項２に記載の携帯情報端末に対する情報提供システムにおいて、前記ポインティング装置が、前記ビデオカメラより入力される撮影映像の左右を変換した映像を生成して、この映像を前記映像重畳手段と前記信号検出手段とに入力する画像加工手段を具備し、前記映像重畳手段と前記信号検出手段とは前記撮影映像の左右を変換した映像に基づいて前記処理を行うことを特徴とする。

請求項４に係る携帯情報端末に対する情報提供システムは、前記請求項１〜請求項３いずれかに記載の携帯情報端末に対する情報提供システムにおいて、前記ポインティング装置が、前記ディスプレイに表示される重畳映像の一時停止と再生の再開とをおこなう映像再生制御手段と、ポインティングの発生を通知するアニメーションを提供するポインティング検出通知手段と具備し、前記映像再生制御手段は前記信号検出手段から光信号の検出が入力されることで前記ディスプレイの映像再生を一時停止し、前記ポインティング検出通知手段から映像再生開始要求が入力されることで前記映像の再生を再開し、前記ポインティング検出通知手段はポインティングの発生を通知するアニメーションを前記映像再生手段に入力し、ポインティングの発生を通知するアニメーションが表示された後に前記映像再生制御手段に映像再生開始要求を入力することを特徴とする。

請求項５に係る携帯情報端末に対する情報提供システムは、請求項１〜請求項４いずれかに記載の携帯情報端末に対する情報提供システムにおいて、前記光信号は、携帯情報端末に具備されるディスプレイを用いて発信されることを特徴とする。

請求項６に係る携帯情報端末に対する情報提供方法は、ビデオカメラが映像重畳手段と信号検出手段とに撮影映像を入力する第１ステップと、情報提供手段がポインティング位置決定手段と映像重畳手段とに情報映像または情報画像を入力する第２ステップと、映像重畳手段が撮影映像と情報映像または情報画像とに対してサイズ変換処理を行う第３ステップと、映像重畳手段が撮影映像と情報映像または情報画像とを重畳した重畳映像を生成して映像再生手段に入力する第４ステップと、映像再生手段が入力された重畳映像をディスプレイに再生する第５ステップと、信号検出手段が撮影映像に対して光信号の検出処理を行い、撮影映像中に写っている携帯情報端末が発信する光信号を検出して、信号が検出された範囲を特定するデータをポインティング位置決定手段に入力する第６ステップと、ポインティング位置決定手段が入力されたデータを用いて情報映像または情報画像のポインティング位置を決定する第７ステップと、ポインティング位置決定手段が決定したポインティング位置データを情報提供手段に入力する第８ステップと、ポインティングされた情報映像または情報画像に関する情報を情報提供手段が携帯情報端末に送信する第９ステップとからなることを特徴とする。

請求項７に係る携帯情報端末に対する情報提供方法は、ビデオカメラが映像加工手段に撮影映像を入力する第１ステップと、映像加工手段が入力された撮影映像の左右を変換した映像を生成する第２ステップと、映像加工手段が変換した撮影映像を映像重畳手段と信号検出手段とに入力する第３ステップと、情報提供手段がポインティング位置決定手段と映像重畳手段とに情報映像または情報画像を入力する第４ステップと、映像重畳手段が撮影映像と情報映像または情報画像とに対してサイズ変換処理を行う第５ステップと、映像重畳手段が撮影映像と情報映像または情報画像とを重畳した重畳映像を生成して映像再生手段に入力する第６ステップと、映像再生手段が入力された重畳映像をディスプレイに再生する第７ステップと、信号検出手段が撮影映像に対して光信号の検出処理を行い、撮影映像中に写っている携帯情報端末が発信する光信号を検出して、信号が検出された範囲を特定するデータをポインティング位置決定手段に入力する第８ステップと、ポインティング位置決定手段が入力されたデータを用いて情報映像または情報画像のポインティング位置を決定する第９ステップと、ポインティング位置決定手段が決定したポインティング位置データを情報提供手段に入力する第１０ステップと、ポインティングされた情報映像または情報画像に関する情報を情報提供手段が携帯情報端末に送信する第１１ステップとからなることを特徴とする。

請求項８に係る携帯情報端末に対する情報提供方法は、ビデオカメラが映像加工手段に撮影映像を入力する第１ステップと、映像加工手段が入力された撮影映像の左右を変換した映像を生成する第２ステップと、映像加工手段が変換した撮影映像を映像重畳手段と信号検出手段とに入力する第３ステップと、情報提供手段がポインティング位置決定手段と映像重畳手段とに情報映像または情報画像を入力する第４ステップと、映像重畳手段が撮影映像と情報映像または情報画像とに対してサイズ変換処理を行う第５ステップと、映像重畳手段が撮影映像と情報映像または情報画像とを重畳した重畳映像を生成して映像再生手段へ入力する第６ステップと、映像再生手段が入力された重畳映像をディスプレイに再生する第７ステップと、信号検出手段が撮影映像に対して光信号の検出処理を行い、撮影映像中に写っている携帯情報端末が発信する光信号を検出して、信号が検出された範囲を特定するデータをポインティング位置決定手段に入力し、映像再生制御手段に再生位置停止要求を入力する第８ステップと、映像再生制御手段が再生位置停止要求が入力された時点でディスプレイ中に再生されている映像を一時停止する第９ステップと、ポインティング位置決定手段が入力されたデータを用いて撮影映像のポインティング位置と情報映像または情報画像のポインティング位置とを決定する第１０ステップと、ポインティング位置決定手段が前記決定したポインティング位置データをポインティング検出通知手段と情報提供手段とに入力する第１１ステップと、ポインティング検出通知手段がポインティングの発生を通知するアニメーションを映像再生手段に入力して、アニメーションをディスプレイ中に提示されている映像に重畳する形で再生する第１２ステップと、ポインティングの発生を通知するアニメーションの再生が完了した時点で、ポインティング検出通知手段が映像再生開始要求を映像再生制御手段に入力して、映像再生制御手段が映像再生を再開する第１３ステップと、ポインティングされた情報映像または情報画像に関する情報を情報提供手段が携帯情報端末に送信する第１４ステップとからなることを特徴とする。

請求項９に係るプログラムは、前記請求項１〜８いずれかに記載の、携帯情報端末に対する情報提供システム、または、携帯情報端末に対する情報提供方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。

請求項１０に係る記録媒体は、前記請求項１〜８いずれかに記載の、携帯情報端末に対する情報提供システム、または、携帯情報端末に対する情報提供方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。

請求項１等の発明によって、利用者はビデオカメラで撮影されディスプレイに再生される撮影映像中の携帯情報端末の位置を参照してポインティング位置を決定し、携帯情報端末から光信号を発信することでポインティング（クリック）を行えるようになる。ディスプレイには、ビデオカメラで撮影された利用者自身を映す撮影映像に情報提供手段から入力された情報映像または情報画像を重畳した重畳映像が再生される。このため、利用者は、情報映像または情報画像中で所望の情報が表示されている位置に合うように、重畳映像中に映る手元の携帯情報端末の位置を動かし、ポインティングを行うことにより、所望の情報映像または情報画像をポインティングできる。結果として、利用者は手元の携帯情報端末を用いることによって、利用者の手の届かない距離に位置するディスプレイの任意の位置に提示される情報映像または情報画像をポインティングし、情報映像または情報画像に関する情報を前記携帯情報端末に取得できるようになる。

請求項２等の発明による携帯情報端末に対する情報提供システムを用いる場合、ポインティングに用いる携帯情報端末ヘデータ送信するのに必要なアドレス情報、または、アドレス情報の特定に必要な情報を、携帯情報端末から発信すれば、ディスプレイシステム側に前記携帯情報端末のアドレス情報を取得するための特別な仕組みを具備する必要がなくなる。結果、携帯情報端末によってポインティングされた情報映像または情報画像に関する情報を、前記携帯情報端末自身が取得可能なディスプレイシステムの実現が容易になる。

請求項３等の発明によれば、ビデオカメラで撮影されディスプレイに再生される撮影映像は、丁度、利用者を映す鏡に相当する映像になる。したがって、利用者が手元の携帯情報端末を右方向に動かすと、表示領域に再生される重畳映像中の携帯情報端末も利用者から見て右方向に動く。この結果、利用者は表示領域に再生される重畳映像中の携帯情報端末の位置を参照してポインティング位置を決定する際、より直感的にその位置を定める動作を行えるようになる。

請求項４等の発明よれば、ポインティングの発生を利用者に通知するアニメーション提示時には、光信号が検出された時点の重畳映像が提示されている。すなわち、ポインティング発生位置には携帯情報端末が映った状態になっている。この結果、ポインティングの対象となっている情報映像または情報画像がポインティング発生位置に向かって縮小しながら消滅するようなアニメーションを提示すると、映像中に提示されている携帯情報端末に情報映像または情報画像が吸い込まれていくようなアニメーションとして再生される。したがって、利用者に対して、情報映像または情報画像が手元の携帯情報端末に取り込まれた感覚を演出できる。

請求項５等の発明によれば、上記全ての発明による携帯情報端末に対する情報提供システムは、ディスプレイを具備するあらゆる既存の携帯情報端末を利用できる。

請求項１等の発明によれば、利用者は手元の携帯情報端末を用いることによって、利用者の手の届かない距離に位置するディスプレイの任意の位置に提示される情報映像または情報画像をポインティングし、情報映像または情報画像に関する情報を前記携帯情報端末に取得できるようになる。

請求項２等の発明による携帯情報端末に対する情報提供システムを用いる場合、携帯情報端末によってポインティングされた情報映像または情報画像に関する情報を、前記携帯情報端末自身が取得可能なディスプレイシステムの実現が容易になる。

請求項３等の発明によれば、利用者は表示領域に再生される重畳映像中の携帯情報端末の位置を参照してポインティング位置を決定する際、より直感的にその位置を定める動作を行えるようになる。

請求項４等の発明よれば、利用者に対して、情報映像または情報画像が手元の携帯情報端末に取り込まれた感覚を演出できる。

請求項６の発明によれば、請求項１の発明と同様の効果が得られる。

請求項７の発明によれば、請求項３の発明と同様の効果が得られる。

請求項８の発明によれば、請求項４の発明と同様の効果が得られる。

請求項９の発明によれば、請求項１〜８いずれかに記載の発明による効果を有するプログラムを実現することができる。

請求項１０の発明によれば、請求項１〜８いずれかに記載の発明による効果を有するプログラムの記録媒体を実現することができる。

図１は、本発明の携帯情報端末に対する情報提供システムの構成を示すブロック図である。図１に示すように、本発明のシステムは、ディスプレイ１０１およびディスプレイ１０１に隣接して具備されたビデオカメラ１０２、ポインティング装置１０３、および、ネットワークに接続される情報提供のための装置である情報提供手段１０４を接続して構成できる。

ポインティング装置１０３は、ビデオカメラ１０２から入力される第１映像信号などを前記ディスプレイ１０１上の表示領域に再生するための映像再生手段１０５と第１映像信号の映像中に写っている携帯情報端末(図示省略)が発信する光信号を検出する信号検出手段１０６と、第１映像信号の映像中で前記光信号が検出された範囲を用いて、ポインティング位置を決定するポインティング位置決定手段１０７を具備する。さらに、ＰＣなどの情報提供手段１０４から画像、映像データを入力するための所定の画像情報入力手段１０８と、情報提供手段１０４に対して、検出されたポインティング位置データを出力するためのデータ出力手段１０９を含むデータ入出カインタフェース１１０を有する。加えて、第１映像信号と前記所定の画像情報入力手段１０８より入力される第２映像信号とを重畳した表示映像信号を生成する映像重畳手段１１１を具備する。

さらに、前記第１映像信号の映像中に写っている携帯情報端末が光信号として送信するデータを受信する信号データ受信手段１１２、ビデオカメラ１０２より入力される第１映像信号を加工し、第１映像信号の左右を変換した新たな第１映像信号を生成する映像加工手段１１３、信号検出手段１０６により第１映像信号から光信号が検出された時点で、ディスプレイ１０１の表示領域における映像再生を一時停止する映像再生制御手段１１４、該時点に前記光信号が検出された範囲を用いて決定される表示領域中のポインティング位置においてポインティングの発生を通知するアニメーション画像を提示するポインティング検出通知手段１１５をポインティング装置１０３が具備することが可能である。

なお、ポインティング装置１０３は、従来のＰＣなどの汎用計算機の構成をべ一スとし、上記各手段の全てまたはその一部を該計算機のＯＳ上で動作するソフトウェアプログラムとして構成し、上記各手段の一部を該計算機にもともと具備されているグラフィックスエンジン、画像出力デバイス、ＵＳＢ，ＰＳ／２その他の規格に基づくデータ入出力インタフェースデバイスなどのハードウェアデバイスを利用する形でも構成できる。

ディスプレイ１０１はＰＣなどに接続して利用可能な表示デバイスであれば、ブラウン管、液晶ディスプレイ、プラズマディスプレイなど何であっても良い。ビデオカメラ１０２も、デジタル化された映像信号が入力可能な入力デバイスまたはシステムであれば何でも良い。ただし、後述するように光信号として赤外線信号などの特殊な信号を用いる場合には、これを撮影できるビデオカメラである必要がある。

情報提供手段１０４は、マウスなどのポインティング装置に入力された情報に基づいて、対応する情報データを選択し、該データをインターネットに接続される所定のアドレス（ＩＰアドレス）にデータを送信する機能を有するものである。本発明のシステムの一般的な構成では、情報提供手段１０４が、第２映像信号に相当する映像・画像データを生成し、画像情報入力手段１０８に入力するとともに、ディスプレイ１０１に表示される映像・画像の内容を管理している。したがって、情報提供手段１０４において、図中のポインティング装置１０３により入力された情報に基づいて指定された画像情報とそれに関連する情報を特定し、携帯情報端末に送信できる。なお、前記情報提供手段１０４は、既存のＰＣ上で、前述の機能を有するアプリケーションを実行することで構成できる。

携帯情報端末としては、基本的に後述する所定の光信号を発信できる端末、デバイスであればなんでも良い（本発明の説明においては、携帯情報端末と記載するが、任意のタイミングに光信号を発信できるものであれば、いわゆる小型の携帯情報端末ではなくても利用可能である）。例えば、携帯電話、ＰＤＡその他の汎用的な携帯機器が利用可能である。携帯電話やＰＤＡなどの汎用機器の場合、該機器に具備されている液晶ディスプレイなどの表示装置を用いて光信号を発信することができる。

光信号としては、所定の形状の幾何学模様、バーコード、二次元バーコード、カラーバーコードなどの可視コード、および、その他の画像を液晶ディスプレイに提示することによる画像信号が利用可能である。さらに、液晶ディスプレイやイルミネーションランプの点滅により生成される点滅信号や、カラー液晶ディスプレイによって、複数の異なる色を連続的に提示することによる色点滅信号などを用いても良い。また、前述した信号生成方法を組み合わせて構成される可視な光信号が利用可能である。さらに、携帯情報端末に特殊な光信号発信デバイスを具備し、かつ、ビデオカメラ１０２として前記特殊な光信号を撮影できるデバイスを用いることもできる。この場合には、光信号として赤外線信号などの非可視な信号を用いることができる。

映像再生手段１０５は、入力された映像信号をディスプレイ１０１の表示領域に再生するものであるが、ディスプレイ１０１の表示領域全体を用いて映像信号を再生するため、映像信号の画像サイズを変換する機構を具備してよい。

信号検出手段１０６は、上述した各種の光信号を第１映像信号より検出する機能を有する手段である。具体的には、信号検出手段１０６は、画像信号を検出する場合には、第１映像信号中の映像フレーム（映像を構成する一枚分の画像情報）毎に、検出の対象となる所定の画像信号が含まれているかどうかを検出する。一方、点滅信号、色点滅信号を検出する場合には、第１映像信号中の連続する複数の映像フレームに対して、検出の対象となる所定の点滅信号または色点滅信号が含まれているかどうかを検出する。これらの信号検出処理は、第１映像信号に対してリアルタイムに遂行する。ただし、装置の処理能力（ＣＰＵの性能）などに起因して、信号検出処理がリアルタイムに遂行できない場合には、数１０msecから１秒程度のスパンで定期的に処理しても良い。

さらに、信号検出手段１０６は、検出の対象となる所定の画像信号、または、点滅信号が検出された場合には、それが検出された映像中の範囲を特定する。前記範囲とは、第１映像信号の各映像フレームを構成する複数の画素の中で、所定の画像信号が検出された画素集合の形状を示すデータである。これは、前記画素集合の形状を近似した矩形の形状を示すデータであってもよい。各映像フレームが、横６４０画素、縦４８０画素の画素サイズを有し、各画素をその画像フレームの左上隅の画素の座標を（０，０）とした時の座標値で特定するものとすると、前記範囲を指示する矩形の形状データは、該矩形の左上隅の頂点の座標（例えば、（２００，１００））と、右下隅の頂点の座標（例えば、（２２０，１２０））を用いて、“（２００，１００）・（２２０，１２０）”などと記述されるデータとなる。

ポインティング位置決定手段１０７は、信号検出手段１０６により所定の光信号が検出されると、その信号検出範囲から、ポインティングの対象となる座標位置を決定する。上述の例のように、第１映像信号が横６４０画素、縦４８０画素の画像から構成されており、かつ、光信号が検出された矩形範囲が、その左上隅の頂点の座標と、右下隅の頂点の座標により“（２００，１００）・（２２０，１２０）”と定義される範囲であったとする。この場合、ポインティング位置決定手段１０７は前記矩形範囲の重心の座標（２１０，１１０）を第１映像信号におけるポインティング位置として決定する。さらに、表示領域上のポインティング位置を、第１映像信号の画素サイズとディスプレイの表示領域の画素サイズ（あるいは解像度）の縦横のサイズ比に基づいて決定する。例えば、表示領域を構成する画素サイズが、横１２８０画素、縦９６０画素である場合、第１映像信号における座標（２１０，１１０）上がポインティング位置であれば、表示領域の画素サイズに対応する座標系では、座標（４２０，２２０）がポインティング位置となる。前記ポインティング位置決定手段１０７は、決定された第１映像信号におけるポインティング位置に基づいて、第２映像信号におけるポインティング位置をも決定する。この場合は、第２映像信号に対するポインティング位置を、第１映像信号の画素サイズと第２映像信号の画素サイズ（あるいは解像度）の縦横のサイズ比に基づいて決定する。例えば、第２映像信号を構成する画像の画素サイズが、横１２８０画素、縦９６０画素である場合、第１映像信号における座標（２１０，１１０）上がポインティング位置であれば、第２映像信号に対応する座標系では、座標（４２０，２２０）がポインティング位置となる。さらに、ポインティング位置決定手段１０７は、第２映像信号に対するポインティング位置が決定されると、その情報を、データ出力手段１０９を介して情報提供手段１０４に通知する。

信号データ受信手段１１２は、前述した光信号に埋め込まれて送信されるデータを受信する手段である。光信号が、バーコード、二次元バーコード、カラーバーコードなどの可視コードとして発信される場合において、信号データ受信手段１１２は、これらの画像コードに埋め込まれたデータ情報を読み取るための従来のバーコードリーダデバイスに相当する。光信号が点滅信号である場合には、信号データ受信手段１１２は、発光パターンに埋め込まれたデータ情報を検出する手段である。

以下、図面を参照して、本発明のシステムを構成するポインティング装置の動作を説明する。

(第１の動作例) 図３は第１の動作例のフローチャートである。図１に示す携帯情報端末に対する情報提供システムにおいて、ディスプレイ１０１に具備されたビデオカメラ１０２より入力される第１映像信号は、まず映像加工手段１１３に入力される(Ｓ３０１)。

映像加工手段１１３は、リアルタイムに入力された第１映像信号の左右を変換した映像を生成する(Ｓ３０２)。

これを新たな第１映像信号として映像重畳手段１１１、信号検出手段１０６に入力し、これと平行して前記所定の画像情報入力手段１０８を介して情報提供手段１０４より第２映像信号がポインティング位置決定手段１０７、及び、映像重畳手段１１１に入力される(Ｓ３０３)。

重畳処理を行うにあたっては、第１映像信号と第２映像信号の画素サイズ（解像度）が一致している必要があるので、映像重畳手段１１１は重畳の前処理として、各映像信号に対して画素サイズをあわせるために必要な画像サイズ変換処理を行う(Ｓ３０４)。

その後、映像重畳手段１１１では、第１映像信号と、第２映像信号を重畳した表示映像信号をリアルタイムに生成し、映像再生手段１０５へ入力する(Ｓ３０５)。なお、映像重畳手段１１１により映像の重畳は、ルミナンスキー、クロマキーといった技術を用いることによって、図２に示す例のように、第１映像信号と第２映像信号の映像全体を多重化する形で重畳する。

映像再生手段１０５は、入力された前記表示映像信号をディスプレイ１０１の表示領域にリアルタイムにライブ再生する(Ｓ３０６)。

さらに、信号検出手段１０６は、前記第１映像信号に対して、所定の光信号を検出する処理をリアルタイムに遂行する。信号検出手段１０６は、第１映像信号中から、該映像中に写っている携帯情報端末が発信する所定の光信号を検出すると、信号が検出された範囲を示すデータをポインティング位置決定手段１０７に通知する(Ｓ３０７)。

ポインティング位置決定手段１０７は、通知された信号が検出された範囲を示すデータを用いて、前記表示領域中のポインティング位置、及び、第２映像信号に対するポインティング位置を決定し、同時に、決定されたポインティング位置データは、ポインティング検出通知手段１１５に通知され、また、決定された第２映像信号に対するポインティング位置データと、ポインティングの発生が、データ出力手段１０９を介して情報提供手段１０４に通知される(Ｓ３０８)。

ポインティング検出通知手段１１５は、該時点に表示領域に提示されている画像に重畳する形で、表示領域中の該当する位置にポインティングの発生を通知するアニメーション画像を提示する(Ｓ３０９)。

(第２の動作例) 図４は第２の動作例のフローチャートである。図１に示す携帯情報端末に対する情報提供システムにおいて、ディスプレイ１０１に具備されたビデオカメラ１０２より入力される第１映像信号は、まず映像加工手段１１３に入力される(Ｓ４０１)。

映像加工手段１１３は、リアルタイムに入力された第１映像信号の左右を変換した映像を生成する(Ｓ４０２)。

これを新たな第１映像信号として映像重畳手段１１１、信号検出手段１０６に入力し、これと平行して前記画像情報入力手段１０８を介して情報提供手段１０４より第２映像信号がポインティング位置決定手段１０７、及び、映像重畳手段１１１に入力される(Ｓ４０３)。

重畳処理を行うにあたっては、第１映像信号と第２映像信号の画素サイズ（解像度）が一致している必要があるので、映像重畳手段１１１は重畳の前処理として、各映像信号に対して画素サイズをあわせるために必要な画像サイズ変換処理を行う(Ｓ４０４)。

その後、映像重畳手段１１１では、第１映像信号と、第２映像信号を重畳した表示映像信号をリアルタイムに生成し、映像再生手段１１４へ入力する(Ｓ４０５)。

映像再生手段１０５は、入力された前記表示映像信号をディスプレイ１０１の表示領域にリアルタイムにライブ再生する(Ｓ４０６)。

さらに、信号検出手段１０６は、前記第１映像信号に対して、所定の光信号を検出する処理をリアルタイムに遂行する。信号検出手段１０６は、第１映像信号中から、該映像中に写っている携帯情報端末が発信する所定の光信号を検出すると、信号が検出された範囲を示すデータをポインティング位置決定手段１０７に通知し、同時に、信号検出手段１０６は、映像再生制御手段１１４に再生位置停止要求を通知する(Ｓ４０７)。

映像再生制御手段１１４は、再生位置停止要求が通知された時点で再生している画像を表示領域に提示している状態で一時停止する(Ｓ４０８)。

ポインティング位置決定手段１０７は、通知された信号が検出された範囲を示すデータを用いて、前記表示領域中のポインティング位置、及び、第２映像信号に対するポインティング位置を決定し、同時に、決定されたポインティング位置データは、ポインティング検出通知手段１１５に通知され、また、決定された第２映像信号に対するポインティング位置データと、ポインティングの発生が、データ出力手段１０９を介して情報提供手段１０４に通知される(Ｓ４０９)。

ポインティング検出通知手段１１５は、該時点に表示領域に提示されている画像に重畳する形で、表示領域中の該当する位置にポインティングの発生を通知するアニメーション画像を提示する(Ｓ４１０)。

さらに、その後、ポインティング検出通知手段１１５はポインティングの発生を通知するアニメーション画像の提示が完了した時点で、映像再生開始要求を映像再生制御手段１１４に通知し、映像再生制御手段１１４が映像再生を再開する(Ｓ４１１)。

図５には、前述したポインティング装置１０３を含む本発明の携帯情報端末１２０に対する情報提供システムの構成例を示す。以下の図５を参照して、発明によって携帯情報端末１２０によるポインティング及び提示される画像情報に関する情報の取得が可能となったディスプレイシステムの利用方法とその動作を説明する。

ディスプレイ１０１とその上部に具備されたビデオカメラ１０２は、ポインティング装置１０３に接続されている。そして、通常時、ビデオカメラ１０２より撮影されたディスプレイ１０１正面の映像がディスプレイ１０１の表示領域にリアルタイムにライブ再生されている。ディスプレイ１０１正面に、携帯情報端末１２０を保持した利用者がいる場合、その利用者自身の姿が、表示領域に再生されることになる。表示領域に再生される映像は、図示したように、前記ビデオカメラ１０２から入力された映像の左右を反転した映像、すなわち、丁度、利用者自身を映す鏡に相当する映像であってよい。

さらに、表示領域に再生される映像は前記ビデオカメラ１０２から入力された第１映像信号に、ＰＣなどの情報提供手段１０４から出力された第２映像信号を重畳した映像が再生されてもよい。図５では、ディスプレイ１０１の表示領域内に、利用者を撮影した第１映像信号に第２映像信号である四角枠の画像が重畳された映像が再生されている状態を示している。該ディスプレイシステムを街頭ディスプレイとして利用する実際的な情報提供サービスヘの応用においては、この四角枠の位置に広告画像情報や、ニュース画像情報などが提示されることになる。

また、図中の携帯情報端末１２０そのものが携帯電話回線や、無線ＬＡＮなどの無線ネットワークを介して情報を取得するための通信手段を具備している。同様に、携帯情報端末１２０に対して情報を送信するサービスを行う情報提供手段１０４そのものもネットワークに接続された構成になる。

さらに、携帯情報端末１２０に対して、該携帯情報端末１２０によってポインティングされた位置に依存する情報を送信するためには、情報送信の対象となる携帯情報端末１２０を特定できる必要がある。このために、図５の実施例では、携帯情報端末１２０にＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩＤｅｎｔｉｔｆｉｃａｔｉｏｎ）タグ１２１を具備するとともに、街頭ディスプレイシステム側にＲＦＩＤタグセンサ１２２を具備している。携帯情報端末１２０に具備されたＲＦＩＤタグ１２１には、ＲＦＩＤ信号として該携帯情報端末１２０へ情報を送付する際のアドレス情報が含まれるものとする。前記アドレス情報とは、該携帯情報端末に割り当てられたＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）アドレスや、該携帯情報端末ヘメールを送信するためのメールアドレス（例えば、“０９０１２３４５６７＠ｄｏｃｏｍｏ．ｎｅ.ｊｐ”）などであって良い。また、ＲＦＩＤ信号そのものにアドレス情報を含める仕組みに代えて、ＲＦＩＤ信号に含まれるＩＤを所定のデータベースにネットワークを介して間い合わせることにより、前記アドレス情報を取得できる仕組みを情報提供手段１０４に有してもよい。

一方、ＲＦＩＤを用いない携帯情報端末１２０への情報送信アドレス情報の取得方法として、前記ビデオカメラ１０２に撮影される第１映像信号を情報提供手段１０４に取り込み、該第１映像信号に写っている人物（利用者）の顔を認識することにより、利用者を特定し、特定された利用者の所有する携帯情報端末１２０に対応するアドレス情報を取得することも可能である。このような手法を用いる場合には、情報提供手段１０４自体が、利用者の顔情報と、対応する携帯情報端末１２０のアドレス情報を管理したデータベースを保有するか、ネットワークを介して該データベースにアクセスできる仕組みを有する。

上述の仕組みを用いることによって、ディスプレイシステムは、ディスプレイシステムの前に存在する携帯情報端末１２０のアドレス情報を把握できる。なお、図５中の情報提供手段１０４では、ＲＦＩＤタグセンサ１２２より取得されるＲＦＩＤ信号をリアルタイムにモニタリングしており、常に、ディスプレイシステムの前に存在する携帯情報端末１２０のアドレス情報を把握している。

該ディスプレイシステムヘの利用者のポインティング動作の例を図６に示すフローチャートを用いて説明する。

まず、利用者は、自分自身の姿が提示された表示領域を参照しつつ、手元の携帯情報端末１２０の光信号発信部１２３が、表示領域中のポインティングしたい位置に提示されるように手の位置を動かす(Ｓ６０１)。

なお、この時、ビデオカメラ１０２で撮影されディスプレイ１０１の表示領域に再生される第１映像信号は、丁度、利用者を映す鏡に相当する映像になる。したがって、利用者が手元の携帯情報端末を右方向に動かすと、表示領域に再生される映像中の携帯情報端末も利用者から見て右方向に動く。この結果、利用者は、表示領域に再生される映像中の携帯情報端末１２０の位置を参照してポインティング位置を決定する際、より直感的にその位置を定める動作を行える。

次に、携帯情報端末１２０の所定のボタンを押すことにより、携帯情報端末１２０より光信号を発信する(Ｓ６０２)。

ポインティング装置１０３は、前記第１映像信号から、携帯情報端末１２０より発信された光信号を検出し、その映像中におけるその位置範囲からポインティングされた位置を決定する(Ｓ６０３)。

ここで検出されるポインティング位置は、すなわち、光信号を発信した時点で、映像中に携帯情報端末１２０が映っていた位置である。

ポインティング位置が決定された結果、ディスプレイ１０１の表示領域においては、該当する位置にポインティングの発生を通知するアニメーション画像が提示される(Ｓ６０４)。

同時に、ポインティング装置１０３より情報提供手段１０４に対して、ポインティングの発生とその位置を通知するポインティング位置データが送信される(Ｓ６０５)。

なお、ディスプレイ１０１の表示領域に示された四角枠の画像情報（すなわち、情報提供手段１０４より入力された第２映像信号の画像の一部分）をポインティングすることで、該画像情報に関する情報を携帯情報端末１２０へ取得したというイメージを利用者に印象付けるため、ポインティング発生時に提示される前記アニメーション画像として、ポインティングされた前記四角枠の画像情報が、ポインティング発生位置に向かって縮小しながら消滅するといったアニメーションを用いることができる。この際、請求項４の発明によれば、アニメーション画像提示時には、光信号が検出された時点の映像が提示されている。すなわち、ポインティング発生位置には携帯情報端末１２０が映っている状態になっている。この結果、前記四角枠の画像情報がポインティング発生位置に向かって縮小しながら消滅するアニメーションは、図５に示すように、映像中に提示されている携帯情報端末１２０に前記四角枠の画像情報が吸い込まれていくアニメーションとして再生される。

また、ポインティングがなされると、情報提供手段１０４は、ポインティング装置１０３より受信されるポインティング位置データを用いて、ディスプレイ１０１の表示領域のどの位置に提示されていた画像情報に対するポインティングがなされたかを検出し、該当する画像情報に対応する情報データを、ディスプレイシステムの前に存在する携帯情報端末１２０のアドレス宛にネットワークを介して送信する。これにより、前記画像情報をポインティングした携帯情報端末１２０は、該画像情報に対応する情報データを取得する(Ｓ６０６)。

上述の図５、図６を用いて説明した動作例においては、情報提供手段１０４は、ＲＦＩＤタグセンサ１２２より取得されるＲＦＩＤ情報をリアルタイムにモニタリングし、常に、ディスプレイシステムの前に存在する携帯情報端末１２０のアドレス情報を把握しているものとした。

しかし、上述の動作例では、ディスプレイシステムの前に複数の携帯情報端末１２０が存在する場合に、情報提供手段１０４が、ポインテンインク位置データを受信した後、ポインティング対象に対応する情報データの送信先を確認する過程で、該情報データを送信すべき携帯情報端末１２０のアドレスを一つに特定できなくなる問題がある。

この問題を回避する本発明のシステムの動作の例を以下に説明する。

この場合、携帯情報端末１２０に具備されるＲＦＩＤタグ１２１として、能動的にＲＦＩＤ信号を発信するアクティブタグを用いる。さらに、携帯情報端末１２０には、利用者が所定のボタンを押すことにより、光信号を発信すると同時に、ＲＦＩＤタグ１２１によるＲＦＩＤ信号を発信する仕組みを具備する。一方、ＲＦＩＤタグセンサ１２２は、アクティブタグを対象としたセンサであり、能動的に発信されたＲＦＩＤ信号のみを取得するものとする。

そして、図６を用いて説明した上述の動作フローにおける、Ｓ６０２のステップにおいて、利用者が携帯情報端末１２０の所定のボタンを押すと、携帯情報端末１２０より光信号を発信すると同時に、携帯情報端末１２０に具備されたＲＦＩＤタグ１２１よりＲＦＩＤ信号を発信する。

さらに、Ｓ６０６のステップを達成する過程において、情報提供手段１０４は、ポインティング装置１０３よりポインテンィング位置データを受信した時点に、ＲＦＩＤタグセンサ１２２より受信されるＲＦＩＤ信号を用いて特定されるアドレス情報を、前記ポインテンィング位置データに対応する携帯情報端末１２０のアドレス情報として決定する。

この手順を用いることで、ディスプレイシステムの前に複数の携帯情報端末１２０が存在する場合にも、ポインティング対象に対応する情報データの送信先を一つに特定できる。

前記の図５を用いて説明したディスプレイシステムでは、ポインティングを行った携帯情報端末１２０を特定するためにＲＦＩＤタグ１２１とＲＦＩＤタグセンサ１２２を用いる構成とした。一方、携帯情報端末１２０が発信する光信号そのものに、該携帯情報端末１２０ヘデータ送信するのに必要なアドレス情報、または、アドレス情報の特定に必要な情報を埋め込み、これを検出することで、ＲＦＩＤタグセンサ１２２などのデバイスや顔認識などの仕組みをディスプレイシステム側に具備することなく、ポインティングを行った携帯情報端末１２０への情報データ送信が可能になる。

すなわち、第１映像信号中に撮影された光信号として送信されるデータを受信する信号データ受信手段１１２を具備した請求項２の発明によるシステムを用いれば、携帯情報端末１２０によるポインティングおよび提示される画像情報に関する情報の取得が可能となったディスプレイシステムは、図７に示すように構成できる。図７に示すディスプレイシステムに対する利用者のポインティング動作は、図５に示すディスプレイシステムに対する利用者のポインティング動作と同様である。ただし、ポインティングの際に携帯情報端末１２０の光信号発信部１２３が発信する光信号には、該携帯情報端末１２０ヘデータ送信するのに必要なアドレス情報、または、アドレス情報の特定に必要な情報が信号データとして埋め込まれている。

利用者によりポインティングがなされると、ポインティング装置１０３は、ポインティング位置データと、光信号として受信された信号データを外部装置に送信する。情報提供手段１０４では、受信されたポインティング位置データを用いて、ディスプレイの表示領域のどの位置に提示されていた画像情報に対するポインティングがなされたかを検出する。また、前記信号データからディスプレイシステムの前に存在する携帯情報端末１２０のアドレス情報を特定する。そして、ポインティングの対象となった画像情報に対応する情報データを、ディスプレイシステムの前に存在する携帯情報端末１２０のアドレス宛にネットワークを介して送信する。これにより、前記画像情報をポインティングした携帯情報端末１２０は、該画像情報に対応する情報データを取得する。

また、請求項２の発明によるポインティング装置を用いた上述のディスプレイシステムでは、第１映像信号中に複数の携帯情報端末１２０が映っている場合にも対応できる。この場合、複数の携帯情報端末１２０が同時に光信号を発信した場合、信号検出手段１０６では、複数個の信号検出範囲が抽出される。ここで、前記信号データ検出手段１１２が前記複数個の信号検出範囲ごとに対応する信号データを検出し、検出された信号データと、これに対応する信号検出範囲により決定されたポインティング位置データをセットにして情報提供手段１０４に送信する。情報提供手段１０４は、セットで受信される信号データとポインティング位置データに用い、前述した手順でポインティングされた画像情報に対応する情報データを携帯情報端末１２０へ送信する。

なお、本発明は図１、図５、図７に示したシステムの一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、または図３、図４、図６で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、またはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

本発明の携帯端末に対する情報提供システムの構成を示すブロック図。第１映像信号と第２映像信号の重畳方法を説明する図。第１の動作例のフローチャート。第２の動作例のフローチャート。実施例１における携帯端末に対する情報提供システムを実施するシステムの構成図。実施例１の動作例のフローチャート。実施例２における携帯端末に対する情報提供システムを実施するシステムの構成図。

符号の説明

１０１…ディスプレイ
１０２…ビデオカメラ
１０３…ポインティング装置
１０４…情報提供手段
１０５…映像再生手段
１０６…信号検出手段
１０７…ポインティング位置決定手段
１０８…画像情報入力手段
１０９…データ出力手段
１１０…インターフェース
１１１…映像重畳手段
１１２…信号データ受信手段
１１３…映像加工手段
１１４…映像再生制御手段
１１５…ポインティング検出通知手段
１２０…携帯情報端末
１２１…ＲＦＩＤタグ
１２２…ＲＦＩＤタグセンサ
１２３…光信号発発信部

Claims

ビデオカメラが撮影する撮影映像と情報提供手段が供給する情報映像または情報画像とを重畳した重畳映像をディスプレイに表示し、
携帯情報端末が前記ディスプレイに表示される重畳映像に対して行うポインティングから、前記重畳映像中のポインティング位置をポインティング装置が決定し、
前記ポインティング位置に表示されている情報映像または情報画像に関連する情報を前記情報提供手段が前記携帯情報端末に提供するシステムであって、
前記ポインティング装置は、
前記撮影映像と前記情報映像または情報画像とを重畳した重畳映像を生成する映像重畳手段と、
前記映像重畳手段が生成した重畳映像を前記ディスプレイにて再生する映像再生手段と、
前記撮影映像中に写っている前記携帯情報端末が発信する光信号を検出する信号検出手段と、
前記検出された光信号を用いてポインティング位置を決定するポインティング位置決定手段と、
前記情報提供手段から供給される情報映像または情報画像を前記ポインティング位置決定手段と前記映像重畳手段とに入力し、前記ポインティング位置決定手段が決定したポインティング位置を前記情報提供手段に入力するインターフェースとからなり、
前記情報提供手段は前記情報映像または情報画像を前記インターフェースに供給し、前記インターフェースより入力されるポインティング位置に表示されている情報映像または情報画像に関する情報を前記携帯情報端末に送信することを特徴とする携帯情報端末に対する情報提供システム。
前記請求項１に記載の携帯情報端末に対する情報提供システムにおいて、
前記ポインティング装置が、
撮影映像中に写っている携帯情報端末が光信号として送信するデータを受信する信号データ受信手段を具備し、
前記情報提供手段は前記信号データにより情報を送信する携帯情報端末を特定して、この特定した携帯情報端末に情報を送信することを特徴とする携帯情報端末に対する情報提供システム。
前記請求項１または請求項２に記載の携帯情報端末に対する情報提供システムにおいて、
前記ポインティング装置が、
前記ビデオカメラより入力される撮影映像の左右を変換した映像を生成して、この映像を前記映像重畳手段と前記信号検出手段とに入力する画像加工手段を具備し、
前記映像重畳手段と前記信号検出手段とは前記撮影映像の左右を変換した映像に基づいて前記処理を行うことを特徴とする携帯情報端末に対する情報提供システム。
前記請求項１〜請求項３いずれかに記載の携帯情報端末に対する情報提供システムにおいて、
前記ポインティング装置が、
前記ディスプレイに表示される重畳映像の一時停止と再生の再開とをおこなう映像再生制御手段と、
ポインティングの発生を通知するアニメーションを提供するポインティング検出通知手段と具備し、
前記映像再生制御手段は前記信号検出手段から光信号の検出が入力されることで前記ディスプレイの映像再生を一時停止し、前記ポインティング検出通知手段から映像再生開始要求が入力されることで前記映像の再生を再開し、
前記ポインティング検出通知手段はポインティングの発生を通知するアニメーションを前記映像再生手段に入力し、ポインティングの発生を通知するアニメーションが表示された後に前記映像再生制御手段に映像再生開始要求を入力することを特徴とする携帯情報端末に対する情報提供システム。
請求項１〜請求項４いずれかに記載の携帯情報端末に対する情報提供システムにおいて、
前記光信号は、前記携帯情報端末に具備されるディスプレイを用いて発信されることを特徴とする携帯情報端末に対する情報提供システム。
ビデオカメラが映像重畳手段と信号検出手段とに撮影映像を入力する第１ステップと、
情報提供手段がポインティング位置決定手段と映像重畳手段とに情報映像または情報画像を入力する第２ステップと、
映像重畳手段が撮影映像と情報映像または情報画像とに対してサイズ変換処理を行う第３ステップと、
映像重畳手段が撮影映像と情報映像または情報画像とを重畳した重畳映像を生成して映像再生手段に入力する第４ステップと、
映像再生手段が入力された重畳映像をディスプレイに再生する第５ステップと、
信号検出手段が撮影映像に対して光信号の検出処理を行い、撮影映像中に写っている携帯情報端末が発信する光信号を検出して、信号が検出された範囲を特定するデータをポインティング位置決定手段に入力する第６ステップと、
ポインティング位置決定手段が入力されたデータを用いて情報映像または情報画像のポインティング位置を決定する第７ステップと、
ポインティング位置決定手段が決定したポインティング位置データを情報提供手段に入力する第８ステップと、
ポインティングされた情報映像または情報画像に関する情報を情報提供手段が携帯情報端末に送信する第９ステップとからなることを特徴とする携帯情報端末に対する情報提供方法。
ビデオカメラが映像加工手段に撮影映像を入力する第１ステップと、
映像加工手段が入力された撮影映像の左右を変換した映像を生成する第２ステップと、
映像加工手段が変換した撮影映像を映像重畳手段と信号検出手段とに入力する第３ステップと、
情報提供手段がポインティング位置決定手段と映像重畳手段とに情報映像または情報画像を入力する第４ステップと、
映像重畳手段が撮影映像と情報映像または情報画像とに対してサイズ変換処理を行う第５ステップと、
映像重畳手段が撮影映像と情報映像または情報画像とを重畳した重畳映像を生成して映像再生手段に入力する第６ステップと、
映像再生手段が入力された重畳映像をディスプレイに再生する第７ステップと、
信号検出手段が撮影映像に対して光信号の検出処理を行い、撮影映像中に写っている携帯情報端末が発信する光信号を検出して、信号が検出された範囲を特定するデータをポインティング位置決定手段に入力する第８ステップと、
ポインティング位置決定手段が入力されたデータを用いて情報映像または情報画像のポインティング位置を決定する第９ステップと、
ポインティング位置決定手段が決定したポインティング位置データを情報提供手段に入力する第１０ステップと、
ポインティングされた情報映像または情報画像に関する情報を情報提供手段が携帯情報端末に送信する第１１ステップとからなることを特徴とする携帯情報端末に対する情報提供方法。
ビデオカメラが映像加工手段に撮影映像を入力する第１ステップと、
映像加工手段が入力された撮影映像の左右を変換した映像を生成する第２ステップと、
映像加工手段が変換した撮影映像を映像重畳手段と信号検出手段とに入力する第３ステップと、
情報提供手段がポインティング位置決定手段と映像重畳手段とに情報映像または情報画像を入力する第４ステップと、
映像重畳手段が撮影映像と情報映像または情報画像とに対してサイズ変換処理を行う第５ステップと、
映像重畳手段が撮影映像と情報映像または情報画像とを重畳した重畳映像を生成して映像再生手段へ入力する第６ステップと、
映像再生手段が入力された重畳映像をディスプレイに再生する第７ステップと、
信号検出手段が撮影映像に対して光信号の検出処理を行い、撮影映像中に写っている携帯情報端末が発信する光信号を検出して、信号が検出された範囲を特定するデータをポインティング位置決定手段に入力し、映像再生制御手段に再生位置停止要求を入力する第８ステップと、
映像再生制御手段が再生位置停止要求が入力された時点でディスプレイ中に再生されている映像を一時停止する第９ステップと、
ポインティング位置決定手段が入力されたデータを用いて撮影映像のポインティング位置と情報映像または情報画像のポインティング位置とを決定する第１０ステップと、
ポインティング位置決定手段が前記決定したポインティング位置データをポインティング検出通知手段と情報提供手段とに入力する第１１ステップと、
ポインティング検出通知手段がポインティングの発生を通知するアニメーションを映像再生手段に入力して、アニメーションをディスプレイ中に提示されている映像に重畳する形で再生する第１２ステップと、
ポインティングの発生を通知するアニメーションの再生が完了した時点で、ポインティング検出通知手段が映像再生開始要求を映像再生制御手段に入力して、映像再生制御手段が映像再生を再開する第１３ステップと、
ポインティングされた情報映像または情報画像に関する情報を情報提供手段が携帯情報端末に送信する第１４ステップとからなることを特徴とする携帯情報端末に対する情報提供方法。
前記請求項１〜８いずれかに記載の、携帯情報端末に対する情報提供システム、または、携帯情報端末に対する情報提供方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
前記請求項１〜８いずれかに記載の、携帯情報端末に対する情報提供システム、または、携帯情報端末に対する情報提供方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。