以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
図1は、実施形態に係る携帯電子機器を備える通信システムの概略構成を示す模式図である。図1に示す通信システム1は、サーバ2と、インターネット通信網3と、データベース4と、サーバ5と、無線通信装置6と、GPS衛星7と、携帯電子機器10とを有する。なお、通信システム1を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、携帯電子機器10は、1つのサーバ2に対して複数設けられていてもよい。
サーバ2は、各通信装置を特定する情報(電話番号、アドレス)等の種々のデータを有し、通信網を介して携帯電子機器10と通信し、種々の情報を供給する。なお、サーバ2と携帯電子機器10は、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ2と携帯電子機器10との間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
また、サーバ2は、携帯電子機器10から情報を受信し、その情報に基づいて、インターネット通信網3を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ2は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給(提供)する。なお、サーバ2は、集約した情報を加工(処理)して通信装置に供給することもできる。
インターネット通信網(以下「インターネット」ともいう。)3は、交換機や、有線・無線の通信回線で構成されている。インターネット通信網3は、有線、無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、インターネット3は、サーバ2とサーバ5との間での情報通信や、サーバ2とデータベース4との間での情報通信を行う。
データベース4は、記憶装置であり、地図情報、画像加工情報等、携帯電子機器10での処理に必要な種々のデータを記憶している。データベース4は、インターネット3を介して、記憶している各種情報をサーバ2またはサーバ5に供給する。
サーバ5は、無線通信装置6を介して携帯電子機器10と通信し、種々の情報を受信し、供給する。なお、サーバ5は、携帯電子機器10との通信方法が異なるのみで、他の構成は、基本的にサーバ2と同様である。
無線通信装置6は、携帯電子機器10と直接無線通信を行う通信機器である。無線通信装置6としては、例えば、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部を用いることができる。なお、近距離無線通信技術としては、赤外線通信(IrDA(登録商標)、IrMC(登録商標)、IrSimple(登録商標))や、可視光通信や、Bluetooth(登録商標)や、磁界通信(RFID、Radio Frequency Identification)技術を用いることができる。
GPS衛星7は、GPS(Global Positioning System、全地球測位システム)の通信機能を備える通信装置(通信端末、通信機器)に、該通信機器の位置情報を送信(提供)する衛星である。なお、図1でGPS衛星7を1つのみ示したが、GPS衛星7は、通信装置の位置を特定するために必要な数(主として3つ、4つ)が配置されている。複数のGPS衛星7は、それぞれ携帯電子機器10に位置情報を送信する。
携帯電子機器10は、画像を撮影する機能及び画像を表示する機能を備える携帯通信機器である。携帯電子機器10は、撮影対象である地図9の画像を取得し、取得した地図9の画像に基づいて処理を行い、生成した画像を表示させる。なお、表示方法としては、表示部に表示させる方法と、画像を投影する方法がある。以下、携帯電子機器10について、詳細に説明する。
図2は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図3は、図2に示す携帯電子機器の側面図である。図2、図3に示す携帯電子機器10は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器10は、筺体10Cが複数の筐体で構成される。具体的には、筺体10Cは、第1筺体10CAと第2筺体10CBとで開閉可能に構成される。すなわち、携帯電子機器10は、折り畳み式の筐体を有する。なお、携帯電子機器10の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器10の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筺体10CAと第2筺体10CBとは、連結部であるヒンジ機構18で連結されている。ヒンジ機構18で第1筺体10CAと第2筺体10CBとを連結することにより、第1筺体10CA及び第2筺体10CBは、ヒンジ機構18を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図3の矢印Rで示す方向)に回動できるように構成される。第1筺体10CAと第2筺体10CBとが互いに遠ざかる方向に回動すると携帯電子機器10が開き、第1筺体10CAと第2筺体10CBとが互いに接近する方向に回動すると携帯電子機器10が閉じて、折り畳まれた状態となる(図3の点線で示す状態)。
第1筺体10CAには、表示部として、図2に示すディスプレイ12が設けられる。ディスプレイ12は、携帯電子機器10が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器10の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筺体10CAには、携帯電子機器10の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第2筺体10CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ12に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向キー及び決定キー(方向及び決定キー)13Bが設けられる。操作キー13A及び方向キー及び決定キー13Bは、携帯電子機器10の操作部13を構成する。また、第2筺体10CBには、携帯電子機器10の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図3に示す、第2筺体10CBの操作面10PCに設けられる。操作面10PCとは反対側の面が、携帯電子機器10の背面10PBである。
第2筺体10CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器10と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筺体10CBには、マイク15が設けられる。マイク15は、図3に示す、携帯電子機器10の操作面10PC側に配置される。
第1筺体10CAのヒンジ機構18とは反対側には、画像投影部であるプロジェクタ34、及び、画像が投影される面の画像を撮影(取得)するカメラ40が設けられる。なお、プロジェクタ34の光出射部、カメラ40の撮影窓は、第1筺体10CAの外部に露出している。このような構成により、プロジェクタ34によって画像を投影対象物に投影することができる。また、カメラ40により画像を投影する領域の画像との距離を取得することで、プロジェクタ34が投影する画像の焦点を自動的に合わせたりすることができる。なお、カメラ40により画像を投影する領域の画像を取得することで、投影する画像の大きさ、焦点距離を調整することもできる。
図4は、図2、図3に示す携帯電子機器の機能の概略構成を示すブロック図である。図4に示すように、携帯電子機器10は、処理部22と、記憶部24と、外部記憶部25と、送受信部26と、操作部13と、音声処理部30と、表示部32と、プロジェクタ34と、近距離通信部36と、カメラ40と、を有する。処理部22は、携帯電子機器10の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器10の各種の処理が、操作部13の操作や携帯電子機器10の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32、近距離通信部36、位置情報取得部42等の動作を制御する。
携帯電子機器10の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器10の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムや、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させたりプロジェクタ34に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、プロジェクタ34の動作を制御するプロジェクタ制御部22a、カメラ40の動作を制御するカメラ制御部22b、カメラ40で取得した画像や、操作部13からの入力に基づいて投影領域の条件を判定する条件判定部22c、投影面に対する筺体10Cの姿勢、位置を演算して算出する姿勢・位置演算部22d、表示部32に表示させる画像や、プロジェクタ34に表示させる画像を加工し、生成する画像処理部22e、を有する。プロジェクタ制御部22a、カメラ制御部22b、条件判定部22c、姿勢・位置演算部22d、画像処理部22eがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
外部記憶部25は、外部メモリと、接続端子で構成され、外部メモリが筺体10Cに対して着脱可能な記憶装置である。外部メモリには、記憶部24と同様に各種ソフトウェアやデータが記憶されている。外部記憶部25は、接続端子を介して外部メモリと処理部22とを接続させることで、記憶部24と同様に、外部メモリに対して、情報の書き込み、読み取りを行う。なお、外部記憶部25は、外部メモリが着脱可能であるため、処理部22に接続する外部メモリを交換することができる。なお、外部メモリとしては、SDカード(登録商標)、メモリースティック(登録商標)、スマートメディア、USBメモリ等の各種記憶媒体を用いることができる。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向キー及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器10の筺体10C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ12を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ12は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ12に加え、サブディスプレイを有していてもよい。
プロジェクタ34は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ34は、光源である可視光照射装置(可視光照射手段)31と、光学系である描画装置35と、焦点調整装置39とを含んで構成される。可視光照射装置31は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が360nm以上400nm以下、長波長側が760nm以上830nm以下の光であり、本実施形態において、可視光照射装置31は、R(Red)、G(Green)、B(Blue)の3色の光を照射する。
描画装置35は、可視光照射装置31から照射される3色の光を合成するとともに、画像投影対象に照射する。描画装置35は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置35は、ミラーによって可視光照射装置31から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
前記ミラーとしては、例えば、MEMS(Micro Electro Mechanical System)ミラーが用いられる。MEMSミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置31から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ34は、スキャン方式のプロジェクタである。なお、プロジェクタ34の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ34は、ハロゲンライトや、LED光源、LD光源を光源とし、LCD(Liquid Crystal Display)や、DMD(Digital Micro-mirror Device)を光学系に備える構成のプロジェクタを用いてもよい。
焦点調整装置39は、プロジェクタ制御部22aからの指令により、描画装置35から投影される可視画像が画像投影対象上で結像させる機能(焦点調整機能)を有する。焦点調整装置39は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置39は、プロジェクタ34が投影する画像のデータに対して画像処理部22eによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置39は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。
上述したように、携帯電子機器10のプロジェクタ34は、画像を投影する画像投影部であり、画像投影面が携帯電子機器10の筺体10Cの外部に露出している。携帯電子機器10は、プロジェクタ34から画像を投影することで、図5に示すように、プロジェクタ34の画像投影面と対向する位置の画像投影対象(例えば、壁面やスクリーン等)のうち、所定の領域(投影領域)PAに画像を投影させることができる。なお、プロジェクタ34は、処理部22により動作が制御され、処理部22から送られる種々の映像、例えば静止画や動画等を投影し、投影領域PAに表示させる。また、図5に示す例は、例えば、地図案内表示等の地図100が表示されている領域を投影領域PAとした場合である。
次に、近距離通信部36は、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部である。なお、近距離無線通信技術としては、赤外線通信(IrDA(登録商標)、IrMC(登録商標)、IrSimple(登録商標))や、可視光通信や、Bluetooth(登録商標)や、磁界通信(RFID、Radio Frequency Identification)技術を用いることができる。例えば、近距離通信部36は、磁界通信を用いる場合、自身を特定するICタグと、他の通信装置が有するICタグを読み取る読取部とを有する。
また、位置情報取得部42は、GPS衛星7から発信されるGPS信号を受信する通信部である。また、位置情報取得部42は、受信したGPS信号から携帯電子機器10の緯度経度を算出し、算出した緯度経度の情報を処理部22に送る。
カメラ40は、上述したようにプロジェクタ34の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ40は、プロジェクタ34が光を射出する方向の画像を取得する。なお、カメラ40は、プロジェクタ34により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ34により画像が投影される投影領域よりも広い領域の画像を撮影することができる。携帯電子機器10は、基本的に以上のような構成である。
次に、図6から図9を用いて、携帯電子機器の動作を説明する。図6は、地図の一例を示す模式図である。図7は、地図上に投影する画像の一例を示す模式図である。図8は、携帯電子機器のプロジェクタで画像を表示させている状態の一例を示す説明図である。また、図9は、携帯電子機器のプロジェクタで画像を表示させている状態の他の例を示す説明図である。
まず、携帯電子機器10は、カメラ40により、図6に示す地図100を撮影し、取得する。携帯電子機器10は、地図100の画像を取得したら、地図100の画像を解析し、撮影した地図100がどの領域を示す地図であるかを特定する。その後、携帯電子機器10は、地図100が示す領域を特定したら、その地図100に対応する特定画像を取得する。例えば、図7に示す特定画像102は、指標104が表示された画像である。ここで、指標104は、地図100内にあるカフェの位置を示す指標104aと、本屋の位置を示す指標104bとで構成される。なお、後述するが地図100のどの位置にカフェと本屋があるかの情報は、データベース4に記憶されており、携帯電子機器10は、これらの情報を送受信部26、近距離通信部36、サーバ2またはサーバ5を介してデータベース4から取得する。
携帯電子機器10は、図8に示すように、特定画像102を取得したら、取得した特定画像102をプロジェクタ34により、地図100に重ねて投影させる。これにより、地図100上に指標104を表示させることができ、地図上のどの位置にカフェや本屋があるか表示することができる。
また、携帯電子機器10は、図7及び図8に示す特定画像102よりも情報量が多い、図9に示す特定画像102aを表示させるようにしてもよい。ここで、特定画像102aは、指標104a、104bに加え、付加情報106a、106bを表示させている。ここで、付加情報106aは、カフェに空席があるかを示す情報であり、付加情報106bは、本屋に所定の書籍の在庫があるかを示す情報である。なお、これら付加情報106a、106bも指標104の情報と共に外部のデータベース4に記憶されている。また、付加情報106bの対象となる書籍は、ユーザが入力した書籍としても、任意に設定された条件に基づいて検索した書籍としてもよい。携帯電子機器10は、特定画像102aを地図100に重ねて表示させることで、どこにカフェと本屋があるかに加え、各カフェに空席があるか、本屋に対象の書籍の在庫があるかを知ることができる。
以下、図10から図18を用いて携帯電子機器の動作を説明する。ここで、図10は、携帯電子機器の動作の一例を示すフロー図である。また、図11から図18は、それぞれ携帯電子機器の動作を説明するための説明図である。なお、図10に示す動作は、プロジェクタ34またはカメラ40が起動されたら常に行うようにしても、図10に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図10に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図10に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。また、携帯電子機器10は、一部の処理情報をサーバ2またはサーバ5に送り、サーバ2またはサーバ5で処理を行うようにしてもよい。
まず、携帯電子機器10の処理部22は、ステップS12として、地図画像を撮影する。つまり、処理部22は、カメラ40により、案内表示板等の地図を含む画像を撮影する。なお、撮影領域の調整はユーザが行っても、自動で行ってもよい。処理部22は、ステップS12で地図画像を撮影したら、ステップS14として、画像の解析処理、つまり、ステップS12で取得した地図画像の解析を行う。具体的には、撮影した地図画像から、地図上の道路の形状や、区画の形状を抽出する。処理部22は、ステップS14で画像の解析を行ったら、ステップS16として、解析した地図画像に対してモデル化処理を行う。
具体的には、処理部22は、ステップS12で、図11に示すような地図109の画像を撮影し取得したら、ステップS14で地図109の画像を解析、例えば2値化処理を行うことで、図11の画像110に示すように、地図109の画像から道111を抽出することができる。なお、この時、処理部22は、図12に示すカラーヒストグラムのうち、道111の色に対応する色の範囲114の色を黒、それ以外の色を白として2値化する。さらに、2値化した画像データから、道に相当する領域を抽出することで、画像110のように、道111を抽出することができる。その後、処理部22は図11の画像112に示すように、画像110の道111を細線化して道113とする。次に、処理部22は、画像112に示すように、細線化した道113から特徴点を抽出する。具体的には、図13の画像120に示すように、道122と道122との接続点や、道122の端点を特徴点124として抽出する。
処理部22は、画像120に示すように、画像を解析して特徴点を抽出したら、ステップS16としてモデル化を行う。具体的には、処理部22は、画像126に示すように、画像120で抽出した特徴点124のモデル化を行う。つまり、特徴点128ごとに分岐の数を算出する。なお、特徴点128の丸の中に示す数字は分岐点の数である。その後、処理部22は、画像130に示すように特徴点128にそれぞれインデックス(識別番号)132を割り振る。その後、処理部22は、図14に示すように各特徴点をリスト化する。なお、リストの項目としては、インデックス(Index)、分岐数、当該インデックスと接続するインデックス、インデックスの座標(画像内での相対座標)がある。なお、処理部22は、図11及び図12に画像で示した処理を画像データに対する演算処理で行う。
次に、処理部22は、ステップS18としてエリアデータの抽出を行う。つまり、地図画像が示す地図に対応するエリア(領域)のデータの抽出を行う。なお、本実施形態の処理部22は、位置情報取得部42によりGPS衛星7から携帯電子機器10の位置情報を取得し、取得した位置情報に基づいて、地図に対応するエリアの絞込みを行う。つまり、取得した位置情報を中心としたエリアを抽出する。また、処理部22は、抽出したエリアに対応する地図のデータ(エリアデータ)を抽出する。また、エリアデータは、送受信部26を介して、または近距離通信部36を介して、サーバ2,5と通信を行うことで、データベース4から取得しても、自身の記憶部24、外部記憶部25に記憶されている地図のデータから抽出してもよい。
処理部22は、ステップS18でエリアデータを抽出したら、ステップS20として、エリアデータに対してモデル化処理を行う。つまり、処理部22は、抽出したエリアに対応する地図データをモデル化する。具体的には、処理部22は、地図データの道を細線化する。なお、地図データは、取得時点で細線化したデータとしてもよい。その後、処理部22は、図15の画像140に示すように、道142から特徴点144を抽出し、特徴点144ごとに分岐の数を算出する。なお、特徴点144の丸の中に示す数字も、分岐点の数である。その後、処理部22は、画像145に示すように特徴点144にそれぞれインデックス(識別番号)146を割り振る。その後、処理部22は、図16に示すように各特徴点をリスト化する。なお、リストの項目としては、インデックス(Index)、分岐数、当該インデックスと接続するインデックス、インデックスの座標がある。なお、エリアデータから抽出した特徴点には、座標として、緯度、経度が対応付けられている。
処理部22は、ステップS20でモデル化処理を行ったら、ステップS22として、データ照合処理を行う。つまり、処理部22は、ステップS16でモデル化した地図の画像のデータと、ステップS20でモデル化したエリアデータとを照合し、地図の画像がエリアデータ内のどの位置を示す地図であるかを特定する。具体的には、処理部22は、図14に示す地図画像の各特徴点のリストと、図16に示すエリアデータの各特徴点のリストとの比較を行い、各特徴点の相対関係が一致する特徴点を検出する。つまり、地図の画像と、エリアデータとの間で、モデル化した道の形状が一致する領域を検出する。ここで、本実施形態では、両者のインデックスが1から9の特徴点がそれぞれ対応している。
処理部22は、ステップS22でデータ照合処理を行ったら、ステップS24として、座標変換テーブルを作成する。具体的には、処理部22は、地図の画像の座標とエリアデータの座標とを対応付けて、エリアデータの座標を地図の画像の座標に変換する変換規則を算出する。具体的には、処理部22は、図17に示すように、地図の画像のインデックスとエリアデータのインデックスとを対応付け、同一特徴点を示すインデックスの地図の画像の座標とエリアデータの座標とを対応付けたリストを作成する。なお、図17に示すリストでは、枠150で囲われたデータで地図の画像の座標とエリアデータの座標とが対応付けられたデータとなる。処理部22は、枠150で囲われたデータに基づいて、座標変換テーブルを作成する。
処理部22は、ステップS24で座標変換テーブルを作成したら、ステップS26として、加工処理を行う。つまり、処理部22は、作成した変換テーブルに基づいて、エリアデータを加工する処理を行う。具体的には、処理部22は、送受信部26、サーバ2、5を介して、データベース4から、地図の画像に含まれる領域の対応付けられた情報を抽出する。なお、この時、処理部22は、予め設定されているまたはユーザによって入力された検索条件に基づいて、データベース4の情報に対して検索を行い必要な情報を抽出する。なお、本実施形態では、目的地Aまでの経路において、目印となる地点の情報が検索対象となり、検索によりランドマークA、ランドマークBが抽出される。また、目的地Aの情報も抽出される。その後、処理部22は、図18のリストに示すように、抽出した所定の対象物(対象地点)の座標を地図の画像の座標に変換する。ここで、図18に示すリストでは、上述したように目的地A、ランドマークA、ランドマークBを地図の画像に表示させる場合の表示位置の座標を算出している。つまり、枠152に示すように、エリアデータの座標を、地図の画像の座標に変換している。
処理部22は、ステップS26で加工処理を行ったら、ステップS28として、地図に投影するか、つまり、プロジェクタ34により撮影対象の地図上に画像を投影するかを判定する。処理部22は、ステップS28で、地図に投影させない(ステップS28でNo)と判定したら、ステップS34に進む。また、処理部22は、ステップS28で地図に投影する(ステップS28でYes)と判定したら、ステップS30として投影画像を作成する。つまり、処理部22は、投影画像として、ステップS26で加工処理を行い、生成した画像に基づいて、地図に重ねて表示させる画像(つまり、地図に足し合わせて表示可能な画像)を作成する。処理部22は、ステップS30で投影画像を作成したら、ステップS32として、プロジェクタ34により作成した画像を投影する。なお、処理部22は、画像を投影する領域をカメラ40により撮影して、地図の所定位置に投影画像が重なるように画像を投影する。
処理部22は、ステップS28でNoと判定したら、または、ステップS32の処理を行ったら、ステップS34として、画像を表示するか、つまり、画像を表示部32に表示させるかを判定する。処理部22は、ステップS34で、画像を表示させない(ステップS34でNo)と判定したら、処理を終了する。また、処理部22は、ステップS34で画像を表示させる(ステップS34でYes)と判定したら、ステップS36として合成画像を作成する。つまり、処理部22は、合成画像として、ステップS26で加工処理を行い、生成した画像に基づいて、ステップS12で撮影した地図の画像に、所定の加工した画像を重ねた画像を作成する。処理部22は、ステップS36で合成画像を作成したら、ステップS38として、表示部32に作成した合成画像を投影する。処理部22は、ステップS38で画像を表示させたら、処理を終了する。
通信システム1及び携帯電子機器10は、以上のようにして、カメラ40で取得した地図画像を解析し、解析した地図画像と、予め保存されている基準(例えば緯度経度が対応付けられた)となる地図のデータとを比較する。さらに、通信システム1及び携帯電子機器10は、カメラ40で取得した地図画像の位置を特定し、かつ、カメラ40で取得した地図画像の各部と基準となる地図のデータの各部との対応関係を算出する。これにより、カメラ40で取得した地図の画像に対する加工画像を容易に作成することができる。
また、通信システム1及び携帯電子機器10は、特定画像として、カメラ40で取得した地図に含まれる領域の所定の情報を取得し、加工した画像を表示させる。このように、地図に含まれる領域の情報を取得し画像として表示させることで、地図に含まれる領域内のユーザにとって必要な情報を、確実に地図上に表示させることができる。例えば、図7から図9に示す例では、地図に含まれる領域内の、カフェや本屋の位置を的確に知ることができる。
また、所定の検索条件に基づいて、外部のデータベースから情報を抽出することで、適宜更新されるリアルタイムの情報を取得することができる。言い換えれば、通信システム1及び携帯電子機器10は、情報が更新される外部のデータベースから特定画像の作成に必要な情報を抽出することが好ましい。これにより、通信システム1及び携帯電子機器10は、図9に示すような画像を表示することができ、ユーザは、すぐに入れるカフェがあるか、所望の書籍の在庫があるか等を的確に知ることができる。これにより、ユーザが各店舗に入って状況を確認する必要がなくなり、必要な情報を予め知ることができる。
また、通信システム1及び携帯電子機器10は、地図上に必要な情報を選択して、表示させることができる。これにより、地図上の情報が多くなりすぎ、情報の判別に係る時間を少なくすることができ、短時間で必要な情報を効率よく知ることができる。
また、カメラ40で取得した地図の画像に対応して、基準となる地図のデータを加工することができるため、カメラ40で取得した地図の画像の表示規則(縮尺、抽象化の程度)に対応した加工画像を作成することができる。これにより、カメラ40で取得した地図に画像を重ねても、見やすく、理解しやすい画像とすることができる。
また、通信システム1及び携帯電子機器10は、プロジェクタにより画像を取得した地図に対して画像を投影することで、大きな表示の地図に対して、また、実際に目視で確認している地図に対して、目的地の情報等を表示させることができる。さらに、通信システム1及び携帯電子機器10は、取得した地図に加工した画像を重ねた画像を表示部32に表示させることで、地図を撮影した場所から離れた位置でも地図と目的地を確認することができる。また、この場合も一度確認している地図(撮影した地図の画像)を用いた画像で目的地や現在位置を確認することができる。このため、ユーザは、地図を簡単に理解することができる。
ここで、通信システム1及び携帯電子機器10が特定画像を作成するために情報をフィルタリングする方法(つまり、抽出する方法、検索する方法)としては、特に限定されず種々の方法を用いることができる。また、フィルタリングにより抽出し、表示させる情報(特に付加情報)は、店舗の情報(検索条件に一致する店舗の情報)や、在庫状態(特定の対象物の有無)、混雑状態(空席の有無)に限定されない。例えば、時間に関連する情報を表示させるようにしてもよく、抽出した店の営業時刻を表示させたり、現在時刻で営業している店のみを抽出して表示させたりしてもよい。また、距離に関する情報、つまり、現在地から店までの距離や、徒歩での所要時間を表示させてもよい。なお、この場合は、現在位置の情報を入力したり、取得したりする必要がある。また、契約している電子マネーが使用できる店があるかを表示させたり、契約している電子マネーを使用できる店のみを抽出して表示させたりしてもよい。また、店の混雑状態を表示させる場合は、空席の有無に加え、または代えて待ち時間を表示させてもよい。また、過去に利用したことのある店のみ表示させるようにしてもよいし、電子マネーの使用履歴を用いて、利用したことのない店のみを表示させるようにしてもよい。なお、これらの情報は、自身の記憶部24、外部記憶部25に記憶されている情報や、入力した検索条件と、データベース4、記憶部24、外部記憶部25に記憶されているデータとを用いることで、抽出することができる。
ここで、上記実施形態では、画像処理、演算処理を携帯電子機器10で行ったが、本発明はこれに限定されない。例えば、一部の画像処理、演算処理をサーバ2またはサーバ5で行うようにしてもよい。この場合、携帯電子機器10は、画像データや、演算処理に必要なデータをサーバ2またはサーバ5に送り、処理を行った結果をサーバ2またはサーバ5から受け取るようにしてもよい。つまり、携帯電子機器10は、上述した図10の処理のうち、ステップS14からステップS26、ステップS30、ステップS36の処理の一部または全部をサーバ2またはサーバ5で行うようにしてもよい。例えば、携帯電子機器10は、撮影した画像をサーバ2またはサーバ5に送り、サーバ2またはサーバ5から画像データを受信し、その受信した画像を表示、または投影してもよい。また、携帯電子機器10は、撮影した画像のモデル化処理を行った後、モデル化した画像データをサーバ2またはサーバ5に送り、加工処理を行った画像データを受信するようにしてもよい。さらに、携帯電子機器10は、位置情報をサーバ2またはサーバ5に送り、サーバ2またはサーバ5からモデル化したエリアデータを受信するようにしてもよい。なお、携帯電子機器10は、上述したように、最新の情報を適切に表示させることができるため、特定画像の作成に用いる、地図画像に含まれる領域の情報を、外部のデータベース4から取得することが好ましい。しかしながら、本発明はこれに限定されず、携帯電子機器10の記憶部24、外部記憶部25に記憶されているデータから、地図画像に含まれる領域の情報を取得してもよい。この場合でも、必要な情報を選択的に表示することができるため、地図画像を効率よく利用することができる。
また、上記実施形態では、GPS衛星7との通信により取得した情報に基づいて位置情報を取得したが、本発明はこれに限定されない。例えば、基地局との通信で取得する情報に基づいて位置情報を取得してもよい。基地局との通信によって位置情報を取得することでも、対象の範囲を一定範囲に絞ることができる。また、このように基地局との通信を用いることで、GPS衛星を用いなくとも、地図を特定することができ、目的地の位置を的確に把握することができる。また、通信システム1は、位置情報を取得して、地図の対象範囲を限定することが好ましいが、本発明はこれに限定されず、エリアデータを抽出せずに、基準となる地図のデータと地図の画像とを比較し、地図の画像が示す領域を特定するようにしてもよい。また、通信システム1は、ユーザが文字入力等により指示した情報に基づいて、エリアデータを抽出するようにしてもよい。
また、カメラ40で取得した地図の画像と、エリアデータとの比較方法、また、カメラ40で取得した地図の画像の特定方法は、上記実施形態に限定されない。以下、図19から図22を用いて、エリアデータとの比較方法、また、カメラ40で取得した地図の画像の特定方法の他の例を説明する。ここで、図19から図22は、それぞれ、携帯電子機器の動作の他の例を説明するための説明図である。なお、図19から図22に示す例も、地図の画像として、図11に示す地図109を撮影した場合の例である。
まず、携帯電子機器10は、撮影した地図の画像を解析して、図19の画像200に示すように、道204を抽出する。その後、携帯電子機器10は、画像200から起点202となる点を抽出し、その起点202を基準として、道204のベクトル情報を抽出する。なお、ベクトル情報としては、各ベクトルの起点となる座標、角度、長さ、幅、また、連結している他のベクトルの情報を抽出する。携帯電子機器10は、さらに、抽出した道204のベクトル情報に対して、インデックス206を対応付ける。携帯電子機器10は、抽出したベクトル情報を、インデックス206ごとに整理し、図20に示すように、リスト化する。
また、携帯電子機器10は、基準となる地図のデータから一定の領域を抜き出したエリアデータを抽出する。その後、携帯電子機器10は、抽出したエリアデータも、図21に示すように道210をベクトルとして、抽出する。その後、携帯電子機器10は、図19に示す地図の画像から抽出したベクトル情報と、図21に示すエリアデータのベクトル情報とを比較する。これにより、携帯電子機器10は、図22に示すように、エリアデータの道210から、地図の画像に含まれる領域212を抽出し、特定することができる。
また、エリアデータとの比較方法、また、カメラ40で取得した地図の画像の特定方法としては、道で区画されるブロックの形状を抽出し、そのブロックの形状を比較し、地図の画像の位置を特定するようにすることもできる。また、地図の画像に含まれる文字(ビル名、駅名、地名、道路名)を抽出し、その名称に基づいて地図の画像の位置を特定するようにしてもよい。また、上述した各種方法を組み合わせてもよい。
また、通信システム1及び携帯電子機器10は、地図の画像を特定した後に行う加工処理としては、種々の加工を行うことができる。つまり、地図の画像に重畳して表示させる画像としては、種々の画像を作成することができる。例えば、目的地を表示する画像や、経路を示す画像等種々の画像を作成することができる。
また、撮影対象の地図としては、駅等に設定されている案内表示の地図(看板に表示された地図)や、ガイドブック等の本に印刷された地図を用いることができる。なお、本に印刷された地図を用いる場合は、撮影画像を解析して、地図が表示されている頁に記載されている電話番号や、住所の情報を取得し、エリアデータを特定したり、特定画像として表示させる目的地を特定したりしてもよい。