JPWO2019106847A1 - カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器 - Google Patents

Abstract

従来、カメラ撮影画像を用いて位置検出を行うには、位置情報システムの構築として大掛かりなものとなっていた。それを解決するために、本発明は、カメラ付き情報機器のカメラによる撮影画像を用いる位置情報システムであって、屋内施設内の物体をマークオブジェクトとして、該マークオブジェクトの画像データと設置データからなるデータセットのマークオブジェクトＤＢを作成し、保持する施設マップサービス装置を有し、カメラ付き情報機器は、ユーザが撮影するカメラ画像から物体抽出を行い、抽出した物体をマークオブジェクトＤＢの画像データと照合してマークオブジェクトを特定する。さらに、特定した複数個のマークオブジェクトの位置データからカメラ付き情報機器の位置を検知し、検知した位置情報を表示する。

Description

本発明は、カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器に関する。特に、空港、駅、スタジアム、ショッピングモールなど複数のサービス施設、店舗、レストラン、イベント会場などを備える複合施設において用いるのに好適な位置情報システムに関する。

ＣＰＵ（Central Processing Unit）とメモリ等で構成する情報機器に、無線ネットワーク、カメラ、ディスプレイ、位置センサ等を一体化した情報機器が広く利用されている。具体的には、スマートフォン、タブレットＰＣ（Personal Computer）であり、地図データを無線ネットワークでダウンロードし、ディスプレイに表示した地図上に位置センサで得る現在位置を重畳表示させることができる。

位置センサとしては、ＧＰＳ（Global Positioning System）センサが用いられる。ＧＰＳセンサは、ＧＰＳ衛星から送信される電波を受信して、受信端末の位置を求める。一方、ＧＰＳ衛星からの電波は、屋内施設内で受信が不安定になる場合があり、補助的にモバイル基地局やIEEE802.11規格の無線ＬＡＮ（Local Area Network）のアクセスポイントからの推定距離を用いる場合もある。しかし、モバイル基地局や無線ＬＡＮのアクセスポイントを利用する場合でも、所詮位置計測を主目的とはしない電波での計測であり、周囲環境の影響により、その精度はせいぜい１０ｍ〜２００ｍ程度であるとされている。

このため屋内施設である複合施設において、個別のサービス施設や店舗等を検索するために現在位置を把握するといった用途には不向きで、各複合施設が提供する印刷物であるガイドマップに頼らざるを得ない。

一方、カメラの撮影画像を用いて現在位置を検知する方法が、特許文献１で開示されている。特許文献１で開示されている第一の方法では、住所が記載されている街区情報をカメラで撮影し、現在位置を把握する。この方法を屋内施設に適用するには、街区情報に相当する標識を新たに設置することが必要であり、高い精度を得るには、標識を多数設置する必要があるという課題がある。

特許文献１で開示する第二の方法は、各地点からの風景画像をデータベースとして保持し、カメラの撮影画像とデータベースの風景画像とを照合し、現在位置を把握する。この方法によれば、風景画像のデータベースを作成し、保持する必要があるが、高い精度を得るためには、膨大なデータベースとなってしまうという課題がある。

特開２００４−２２６１７０号公報

前記特許文献１では、街区情報に相当する標識を新たに設置する、もしくは膨大な風景画像のデータベースを作成し、保持する必要があり、位置情報システムの構築は、大掛かりなものとなる。

本発明は、上記の点を鑑みてなされたものであり、その目的は、屋内施設において、新たな標識を設置することなく、さらに莫大な風景データベースを必要としない、カメラ撮影画像を用いる位置情報システム、及びカメラ付き情報機器を提供することにある。

本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、カメラ付き情報機器のカメラによる撮影画像を用いる位置情報システムであって、屋内施設内の物体をマークオブジェクトとして、マークオブジェクトの画像データと設置データからなるデータセットのデータベースを保持し、データベースの一部、もしくは全部をカメラ付き情報機器に送信する手段とを備えた施設マップサービス装置を有し、カメラ付き情報機器は、カメラで撮影するカメラ画像から有意の大きさを持つ物体を抽出して、データベースの画像データと比較してカメラ画像に写っているマークオブジェクトを特定する手段と、カメラ画像に写っている複数のマークオブジェクトを組み合わせて用いカメラ付き情報機器の現在位置とカメラの方向を検知する手段とを備える。

本発明によれば、新たに標識等を屋内施設内に設置する必要がなく、また膨大なデータベースを必要としないカメラ撮影画像を用いる位置情報システム、及び該システムに用いるカメラ付き情報機器を提供することができる。

実施例１におけるカメラ撮影画像を用いる位置情報システムの概要を示す図である。 実施例１における施設マップサービス装置のブロック図である。 実施例１におけるカメラ付き情報機器のブロック図である。 実施例１におけるマークオブジェクトデータベースである。 実施例１におけるカメラ撮影画像である。 実施例１における２つのマークオブジェクトから位置及び方向を検出する方法の説明図である。 実施例１における３つのマークオブジェクトから位置及び方向を検出する方法の説明図である。 実施例１における２つのマークオブジェクトから位置及び方向を検出する他の方法の説明図である。 実施例１におけるカメラ撮影画像を用いる位置情報システムのカメラ付き情報機器の処理フロー図である。 実施例２におけるカメラ付き情報機器のカメラの変形例である。 実施例３における施設マップサービス装置のブロック図である。 実施例３におけるカメラ付き情報機器のブロック図である。 実施例４における複合施設の印刷ガイドマップである。 実施例４おけるガイドマップデータベースである。 実施例４におけるカメラ撮影画像を用いる位置情報システムの処理フロー図である。 実施例４におけるカメラ付き情報機器に現在位置を表示する例である。

以下、図面を参照しながら本発明の実施例について説明する。

図１は、本実施例におけるカメラ撮影画像を用いる位置情報システムの概要を示す図である。図１において、１は施設マップサービス装置、２はネットワーク、３は屋内施設である複合施設、４はアクセスポイント、３１１、３１２、３１３は、それぞれ複合施設３の１階〜３階のフロア、３２１〜３３０は、屋内施設内の目印となる特徴的な物体であるマークオブジェクトである。具体的には、サービス施設の案内標識、店舗等の店名、ロゴが表示されている看板あるいはパネル、ウインドウに飾った商品等である。さらに、５はカメラ付き情報機器、６はユーザである。

マークオブジェクト３２１〜３３０において、３２１、３２６は店舗のロゴのパネルであり、３２２、３２７は店舗のショーウィンドウに展示されている商品、３２３、３２５、３２９は施設サービスのピクトグラムのパネル、３２８、３３０は店舗の看板等であり、３２４は施設設備である（図１では、防犯カメラを例としてあげている）。これらの物体の実体の大きさと配置されている位置データを組み合わせたデータセットでマークオブジェクトデータベースを構成する（以降データベースをＤＢ（Data Base）と称する）。なお、図１では、図示の混雑を避けるため、図中の全てのマークオブジェクトを採番しているものではなく、さらには、図示したマークオブジェクトは、実際の複合施設３に存在するものの一例に過ぎない。

図１において、３階フロア３１１にいるユーザ６は、カメラ付き情報機器５を保持し、カメラ付き情報機器５に内蔵するカメラで、複合施設３内を撮影し、カメラ撮影画像を用いてマークオブジェクトＤＢと照合し現在位置を検知する。

また、カメラ付き情報機器５に内蔵する無線ネットワーク機能で、施設マップサービス装置１のサービスの提供を受け、例えば、複合施設のガイドマップをダウンロードして、カメラ付き情報機器５に内蔵するディスプレイに表示する。該ディスプレイには、検知した現在位置情報に対応したポインタ等を重畳表示させ、ユーザ６は複合施設３内のどこにいるのかを知ることができる。

図２は、本実施例における施設マップサービス装置１のブロック図である。図２において、施設マップサービス装置１は、施設マップサービスサーバ１０と外部ストレージ１１で構成され、施設マップサービスサーバ１０は、ネットワークＩＦ（Interface）１０１、ＣＰＵ１０２、ＲＡＭ１０３、内部ストレージ１０４、外部ストレージＩＦ１０６から成る。さらに、内部ストレージ１０４は、施設マップサービスプログラム１０５を保持し、該施設マップサービスプログラム１０５は、ＲＡＭ１０３に展開され、ＣＰＵ１０２で実行される。

また、外部ストレージ１１には、施設マップＤＢ１２とマークオブジェクトＤＢ１３を保持する。該施設マップＤＢ１２とマークオブジェクトＤＢ１３の一部は、必要に応じて施設マップサービスプログラム１０５から読み出され、ネットワークＩＦ１０１を介して、前記カメラ付情報機器５へダウンロードされる。

図３は、本実施例におけるカメラ付き情報機器５のブロック図である。図３において、カメラ付き情報機器５は、カメラ５０１、ＧＰＳセンサ５０２、ジャイロセンサ５０３、加速度センサ５０４、方位センサ５０５、ビデオプロセッサ５０６、グラフィックプロセッサ５０７、タッチパネル付ディスプレイ５０８、マイク・スピーカ５０９、モバイル通信ＩＦ５１０、無線ＬＡＮＩＦ５１１、ＣＰＵ５１２、ＲＡＭ５１３、ＦＲＯＭ（Flash ROM）５１４、ＥＸＴＩＦ（外部IF）５２１、外部端子５２２より構成される。モバイル通信ＩＦ５１０は、４Ｇに代表されるモバイル通信用のインタフェースであり、無線ＬＡＮＩＦ５１１は、前記IEEE802.11規格の無線ＬＡＮ用インタフェースである。この２つのインタフェースは、用途や通信環境に適した１つが選択され、外部のアクセスポイント４、ネットワーク２を介して、施設マップサービス装置１から、施設マップＤＢ１２とマークオブジェクトＤＢ１３のダウンロード等のサービスの提供を受ける。

さらに、ＦＲＯＭ５１４は、プログラムとして、施設マップサービスアプリ５１５、その下位階層にカメラ連携プロセス５１６、マークオブジェクト抽出プロセス５１７、位置・方向検出プロセス５１８、マップ情報連携プロセス５１９、及びダウンロードＤＢ５２０を含む。これらのプログラムは、ＲＡＭ５１３に展開され、ＣＰＵ５１２で実行される。

施設マップサービスアプリ５１５では、はじめに対象とする複合施設に関する施設マップＤＢ１２とマークオブジェクトＤＢ１３をダウンロードし、ダウンロードＤＢ５２０に格納する。カメラ連携プロセス５１６は、カメラ５０１で撮影を行い、カメラ撮影画像を取り込む。マークオブジェクト抽出プロセス５１７は、該カメラ撮影画像からマークオブジェクトである可能性のある物体（有意の大きさを持つ塊）を抽出し、ダウンロードＤＢ５２０に格納しているマークオブジェクトＤＢの画像データと照合し、カメラ撮影画像に映っているマークオブジェクトを特定する。

該特定したマークオブジェクトを複数個用い、位置・方向検出プロセス５１８では、カメラ付き情報機器５の現在位置、及びカメラを向けている方向を検出する。検出する方法については、図５〜図７にて後述する。

マップ情報連携プロセス５１９は、ダウンロードＤＢ５２０に格納している施設マップＤＢを読み出し、地図データをタッチパネル付ディスプレイ５０８のディスプレイ部に表示させる。さらに、検出した現在位置、及びカメラの方向をポインタ等のグラフィックデータとして、地図データに重畳する。

図４は、本実施例におけるマークオブジェクトＤＢ１３である。なお、データベースとしては図示した形式にとらわれるものでなく、同等の機能を有するものであればいかなる形式のものであっても良い。

図４において、マークオブジェクトＤＢ１３は、施設名１３１と施設内の基準点１３２のデータを参照データとして含み、１３３に示す項目に対応して、マークオブジェクトのデータが記載されている。

図４では、No.0001からNo.0012のマークオブジェクトを例として記載しているが、これに限るものでない。No.0001は、図１のマークオブジェクト３２９であり、マークオブジェクト３２９の、画像データ、実体サイズ、Ｎ（北）−Ｓ（南）軸での位置、Ｅ（東）−Ｗ（西）軸での位置、Ｈ（高さ）の位置データ、がひとつのマークオブジェクトを構成する。画像データは、例えばビットマップデータや、ＪＰＥＧデータである。実体が商品のような立体的なものである場合には、複数の方向から写した画像データを記載しても良い。実体サイズはマークオブジェクトの実体の大きさを示すデータであり、ｍ（メートル）をユニットとして、Ｈ（縦）×Ｗ（横）で記している。Ｎ−Ｓ軸での位置、Ｅ−Ｗ軸での位置、Ｈの位置データは、前記基準点１３２からの相対位置を、ｍ（メートル）をユニットとして記している。

マークオブジェクト３２５、３２４、３２１は、施設名１３１の複合施設３に複数個存在するマークオブジェクトである。画像データやサイズデータは共通であっても、取り付け位置が異なるため、存在する数の分、位置データがある。

図５は、本実施例におけるカメラ撮影画像である。カメラ撮影画像は、前記タッチパネル付ディスプレイ５０８に表示する。図５において、背景は本実施例に係るものではないため省略している。カメラ撮影画像内には、マークオブジェクト３２４、３２３、３２２、３２１が撮影されている。

マークオブジェクトの画像データは、複合施設３内の複数個所で使われている場合があり、ひとつのマークオブジェクトを照合するだけでは、カメラ付き情報機器５の現在位置を特定できない。このため本実施例では、複数個のマークオブジェクトの組み合わせで現在位置の特定を行う。図５に示した例では、マークオブジェクト３２４、３２３、３２２、３２１が撮影されており、図１に示した複合施設３において、３階フロア３１１で、エレベータの右側に位置し、左方向を撮影した画像であることがわかる。カメラで撮影した画像は、複数枚撮影して、変化があったものはマークオブジェクトから除く処理や、所定の高さより低い位置に撮影されたマークオブジェクトを除く処理などを加えることで、抽出の精度を向上させることが可能となる。また、現在位置を複数回検出した結果から、正しく位置検出したマークオブジェクトを記憶しておき、優先的にそのマークオブジェクトを使用するようにすると、検出精度を向上させることが出来る。

なお、カメラ付き情報機器５の方向については、後述する図６や図７の方法で求める前に、カメラ撮影時のカメラ付き情報機器５の方位センサ５０５を用い、図５のカメラ撮影画像の現在位置の特定をするのに方位情報を用いてもよい。

図６は、本実施例におけるマークオブジェクトから現在位置、及びカメラの方向を検出する方法の説明図である。図６では、２つのマークオブジェクト、ＭＯ１、ＭＯ２を用いる。マークオブジェクトＭＯ１の中心は、例えばカメラ撮影画像の中心を原点とする座標位置（Ｘ１、Ｙ１）にあり、撮影された大きさは面積でＳ１（＝Ｈ１×Ｗ１）である。マークオブジェクトＭＯ２についても同様、図中に中心座標位置、大きさを記している。

マークオブジェクトＭＯ１（３３１）の実体の大きさは、マークオブジェクトＤＢの実体サイズの項目から導出される。これをＳＯ１とすると、面積ＳＯ１の物体が、既知であるカメラ倍率から面積Ｓ１で撮影される条件として、カメラ付き情報機器５とマークオブジェクトＭＯ１の距離ｒ１が算出できる。カメラ付き情報機器５とマークオブジェクトＭＯ１の距離ｒ１である地点は１点ではなく、集合として曲面Ｑ１となる。

同様に、カメラ付き情報機器５とマークオブジェクトＭＯ２の距離がｒ２である曲面Ｑ２が求められる。曲面Ｑ１とＱ２が交差する線がカメラ付き情報機器５の位置の候補である。該線上の地点で、カメラ撮影画像内で、マークオブジェクトＭＯ１とＭＯ２の距離がＬ１２となる地点Ａを探索することにより、カメラ付き情報機器５の位置Ａを決定することができる。

また、カメラ付き情報機器５のカメラの向きに関しては、現在位置Ａからカメラ撮影画像の原点を向いたベクトルｖとして決定する。

図７は、本実施例における３つのマークオブジェクトから現在位置、及びカメラの方向を検出する方法の説明図である。図７では、図６に対して、マークオブジェクトＭＯ３が追加されている。マークオブジェクトＭＯ３に対しても、前述のマークオブジェクトＭＯ１、ＭＯ２と同様に、実体の面積とカメラで撮影した画像の面積Ｓ３との対比により距離ｒ３を求め、さらに距離ｒ３から曲面Ｑ３を求める。曲面Ｑ１、Ｑ２と曲面Ｑ３の交差する点をカメラ付き情報機器５の位置Ａとして求めることができる。

また、カメラ付き情報機器５のカメラの向きに関しては、図６と同様、現在位置Ａからカメラ撮影画像の原点を向いたベクトルｖとして決定する。

図６および図７の方法によれば、設置位置が既知のマークオブジェクトからカメラ付き情報機器５の距離、方向を知ることができるため、カメラ付き情報機器５の位置を精度よく検知できる。

図８は、図６および図７に記した方法とは異なる処理でカメラ付き情報機器５の位置を検知する一例である。図８において、カメラ撮影画像からマークオブジェクトＭＯ４とマークオブジェクトＭＯ５が抽出されたとする。そして、カメラ付き情報機器５に搭載されたカメラ５０1は、どのようなレンズが装着されているか、どのようなフォーカス設定で撮影したかは、カメラ付き情報機器が把握することが出来る。すなわち、画角がわかるため撮影された画像内の対象物の角度がわかる。そのため、カメラ５０１によって撮影された画像において、画像のどの位置に映った対象物がカメラ付き情報機器に対してどの方向にあるかは、カメラ付き情報機器５が検知することが可能である。

図８では、カメラ撮影画像からマークオブジェクトＭＯ４とマークオブジェクトＭＯ５の角度がθ１２であると検知できる。また、カメラ付き情報機器５の方位センサにより、カメラが撮影した画像の方向を知ることができる。そのため、２つのマークオブジェクトの角度とその方位から、カメラ付き情報機器５の位置を求めることが出来る。ここで、方位センサの方位ではなく、３つ以上のマークオブジェクトを用いて位置を求めても構わないし、方位センサの方位と複数のマークオブジェクトの角度の組合せにより、位置を求めても構わない。なお、カメラ５０１の設定と、撮影された画像の対象物の位置の関係は、カメラ付き情報機器５のメモリ(図示しない)に記憶しておいても構わない。

図９は、本実施例におけるカメラ撮影画像を用いる位置情報システムのカメラ付き情報機器５の処理フロー図である。図９において、カメラ付き情報機器５は、複合施設３の外にあるときには、施設マップサービスアプリ５１５は停止しており、ＧＰＳセンサ５０２よって、現在位置が把握されている。この状態で、ＧＰＳセンサ５０２が複合施設３に来たことを検知すると（Ｓ１０）、施設マップサービスアプリ５１５を起動する（Ｓ１１）。なお、施設マップサービスアプリ５１５は、手動で行っても良い。

起動されると、施設マップサービスアプリ５１５は、施設マップサービス装置１の施設マップＤＢ１２、マークオブジェクトＤＢ１３（図中ではマークオブジェクトをＭＯと記載している）から、複合施設３に対応するデータをダウンロードする（Ｓ１２）。

次に、カメラ５０１で複合施設３内の周辺の撮影を行い（Ｓ１３）、カメラ撮影画像の中から、有意の大きさの物体を検知し（Ｓ１４）、検知した物体をダウンロードＤＢ５２０にダウンロードしたマークオブジェクトＤＢの画像データと照合し、所定の誤差範囲で一致した物体をマークオブジェクトとして認識する（Ｓ１５）。

認識されたマークオブジェクトは、図５〜図８で説明した方法によって、カメラ付き情報機器５とマークオブジェクトの距離により現在位置、及びカメラの方向を求める（Ｓ１６）。

Ｓ１６で求められた現在位置が複合施設内であるかを確認する（Ｓ１７）。確認は、ＧＰＳによる測位結果を併用しても良い。現在位置が複合施設外であれば、施設マップサービスアプリ５１５を終了する（Ｓ１８）。

現在位置が複合施設内であれば、ダウンロードＤＢ５２０にダウンロードした施設マップＤＢから施設ガイドマップの地図データをカメラ付き情報機器のディスプレイ５０８に表示する（Ｓ１９）。さらに、Ｓ１６で求めた現在位置とカメラの方向を表すポインタ等のグラフィックデータを、施設ガイドマップに重畳表示する（Ｓ２０）。

カメラ付き情報機器５の移動軌跡を表示する場合（Ｓ２１のＹｅｓ）には、前回検知した位置情報から、前記加速度センサ５０４、方位センサ５０５等で移動軌跡を保持しておき、現在位置までの移動軌跡も重畳表示する（Ｓ２２）。

Ｓ２１のＮｏもしくはＳ２２からは、再び位置検知を行う前の待機状態として、Ｓ１３の前に戻る。

以上、本実施例によれば、カメラ付き情報機器５で撮影するカメラ画像を用いて、既知の位置データを持つマークオブジェクトからの距離、方向を検知することにより、精度の良い位置検知が可能となる。また、マークオブジェクトとしては、既設の標識、看板等の応用が可能であり、位置検知のための専用物を設置する必要がないという利点がある。

本実施例は、カメラ付き情報機器のカメラの形態について説明する。

図１０は、本実施例におけるカメラ付き情報機器のカメラの変形例である。図１０（ａ）は、カメラ付き情報機器５の外部端子５２２に外部カメラ５１を接続して、カメラ撮影を行う。外部カメラ５１は広角撮影が可能なカメラで、マークオブジェクトを捉えるのに好適である。３６０°周囲を撮影可能なカメラも外部カメラ５１として使用可能である。

図１０（ｂ）は、ＯＵＴカメラ５０１ｂとＩＮカメラ５０１ａの２つのカメラを備えるカメラ付き情報機器５を用いる。ＯＵＴカメラ５０１ｂとＩＮカメラ５０１ａは、１８０°異なる方向を向いて備えられており、両方のカメラからの撮影画像を用いることにより、マークオブジェクトの広い範囲での捕捉を可能とする。

図１０（ｃ）は、２つのカメラで同じ被写体を撮影し、２つのカメラの視差によって被写体とカメラとの距離測定が可能なステレオカメラ５０１ｃを備えるカメラ付き情報機器５を用いる。マークオブジェクトの距離を精度高く測定可能となる。

以上、本実施例によれば、マークオブジェクトの捕捉が容易になり、また、マークオブジェクトからの距離の測定精度が向上するなどの効果がある。

本実施例は、位置情報の検出に係るプロセスを、カメラ付き情報機器５ではなく、施設マップサービス装置１で実行する例について説明する。

図１１は、本実施例における施設マップサービス装置のブロック図である。図１１において、図２と同じ機能については同一の符号を付し、その説明は省略する。図１１において図２と異なる点は、施設マップサービスプログラム１０５の下位層に、カメラ画像受信プロセス１０７、マークオブジェクト抽出プロセス１０８、位置・方向検出プロセス１０９、位置情報送信プロセス１１０、マップ情報送信プロセス１１１を有する点である。

図１１において、カメラ画像受信プロセス１０７では、後述する図１２のカメラ付き情報機器５が撮影するカメラ画像を受信する。受信したカメラ画像から、マークオブジェクト抽出プロセス１０８は、有意の物体を抽出し、マークオブジェクトＤＢ１１と照合して、マークオブジェクトを抽出する。位置・方向検出プロセス１０９は、抽出したマークオブジェクトを用い、前記図５〜図８で説明した検知方法で、カメラ付き情報機器５の位置、及びカメラの向きを検出する。検出したカメラ付き情報機器５の位置、及びカメラの向きは、位置情報送信プロセス１１０で、カメラ付き情報機器５に送信する。さらに、検出したカメラ付き情報機器５の位置の周辺のマップデータを、施設マップＤＢ１２からマップ情報送信プロセス１１１で、カメラ付き情報機器５に送信する。

図１２は、本実施例におけるカメラ付き情報機器のブロック図である。図１２において、図３と同じ機能については同一の符号を付し、その説明は省略する。図１２において図３と異なる点は、施設マップサービスアプリ５１５の下位層に、カメラ画像送信プロセス５２３、位置情報受信プロセス５２４、マップ情報連携プロセス５２５、マップ情報ダウンロードＤＢ５２６を有する点である。

ユーザ６は、現在位置を検出しようとすると、カメラ５０１で周辺を撮影し、カメラ画像をカメラ画像送信プロセス５２３で、施設マップサービス装置１に送信する。また、位置情報受信プロセス５２４では、前記施設マップサービス装置１で検出した位置情報を受信する。さらに、マップ情報ダウンロードＤＢ５２６は、検出したカメラ付き情報機器５の位置の周辺のマップデータとして、施設マップＤＢ１２の一部をダウンロードして保持し、該マップデータと現在位置情報をマップ情報連携プロセス５２５で重畳表示処理して、タッチパネル付ディスプレイ５０８に表示させる。

以上説明したように、本実施例においても、実施例１と同様の効果がある。さらに、施設マップサービス装置１で、位置検出に係る処理プロセスを担っているので、カメラ付き情報機器５の処理負荷を軽減させ、消費電力を抑えたいという要求に対して好適なカメラ付き情報機器を提供できる。

本実施例では、施設マップの地図データとして、施設ガイドマップ等の印刷物をカメラ付き情報機器５で撮影して得る画像を用いる点について説明する。

図１３は、本実施例における複合施設のガイドマップ（以下印刷ガイドマップと記す）である。印刷ガイドマップ７は、例えば複合施設３のインフォメーションコーナで配布されているものである。図１３において、７０ａは、印刷ガイドマップ７のフロア図の左上のかど、７０ｂは、印刷ガイドマップ７のフロア図の右下のかどを示すフロア参照点であり、７１は二次元型バーコードのＱＲコード（登録商標）である。ＱＲコード７１には、施設マップサービス装置１の接続情報である、施設マップサービス装置１のＵＲＩへのアクセス方法が記してある。

一般に、ユーザ６は、印刷ガイドマップ７を見て、印刷ガイドマップ７に書かれている店舗名と視認する周辺の店舗の看板等とを対比させて、自分の現在位置を類推しながら、目的地への移動を行う。これに対して、本実施例では、印刷ガイドマップをカメラで撮影するとともに、ＱＲコード７１が示す施設マップサービス装置１にアクセスする。施設マップサービス装置１には、前述のマークオブジェクトＤＢ１３のほか、下記するガイドマップＤＢ１４を保持している。

図１４は、本実施例におけるガイドマップＤＢ１４である。本実施例においては、前述の図２の施設マップサービス装置１で、施設マップＤＢ１２とガイドマップＤＢ１４を置換して用いられる。なお、データベースとしては図示した形式にとらわれるものでなく、同等の機能を有するものであればいかなる形式のものであっても良い。

図１４において、ガイドマップＤＢ１４は、施設名１４１、基準点１４２を参照データとして含み、１４３の項目の内、印刷ガイドマップ７の左上のかど７０ａ、及び、印刷ガイドマップ７の右下のかど７０ｂ、のフロア参照点の実際の位置データが、基準点からの差として記載されている。施設名１４１、基準点１４２はマークオブジェクトＤＢ１３の施設名１３１、基準点１３２と同じであり、同じ複合施設３のＤＢであることを示している。

図１５に、本実施例におけるカメラ付き情報機器５の処理フローを示す。図１５において、図９と同じ機能については同一の符号を付し、その説明は省略する。また、本実施例に用いられるカメラ付き情報機器５は、基本的に図３に示したカメラ付き情報機器５と同一であるが、マップ情報連携プロセス５１９、ダウンロードＤＢ５２０の処理内容が若干異なる。

図１５の処理フローにて、Ｓ１１で施設マップサービスアプリ５１５を起動し、ガイドマップ（印刷物）７をカメラ５０で撮影し（Ｓ３１）、撮影画像に含まれるＱＲコード７１に記載の施設マップサービスアプリ１にアクセスし（Ｓ３２）、関連するマークオブジェクトＤＢ１３をダウンロードし、ダウンロードＤＢ５２０に保存する（Ｓ３３）。以降、Ｓ１３からＳ１６は、図９と同じなので、その説明は省略する。なお、ガイドマップ（印刷物）７をカメラ５０で撮影したときにマークオブジェクトの配置情報を抽出し、マークオブジェクトＤＢ１３をダウンロードする代わりとしてもよい。

Ｓ３４において、Ｓ１６で求められた現在位置がマップ内であるかを確認する。確認は、ＧＰＳによる測位結果を併用しても良い。現在位置がマップ外であれば、施設マップサービスアプリ５１５は終了する（Ｓ１８）。

現在位置がマップ内であれば、カメラ付き情報機器５で撮影し、ディスプレイ５０８に表示しているガイドマップ（印刷物）７のフロア参照点７０ａ、７０ｂを読み取り、表示の参照位置を決める（Ｓ３５）。以降、Ｓ２０からＳ２２は、図９と同じなので、その説明は省略する。

図１６は、本実施例におけるカメラ付き情報機器に現在位置を表示する例である。図１６において、５はカメラ付き情報機器、５０８はタッチパネル付ディスプレイ、７ａはカメラで撮影されている印刷ガイドマップ、７０ｃ、７０ｄは、同様カメラで撮影されている印刷ガイドマップの参照点である。また７１ａはカメラで撮影されているＱＲコードである。

図１６は、Ｓ２０で、現在位置とカメラの方向を表すポインタ等のグラフィックデータをディスプレイ５０８の画面上の印刷ガイドマップ７ａに重畳表示した例を示しており、ここで、印刷ガイドマップ７ａは、カメラで撮影を継続していて、ディスプレイに表示している画像である。図１６においては、現在位置、及びカメラの方向を示すポインタ７２が、ＡＲ（Argument Reality）のように、重畳表示される。

なお、本実施例では、印刷ガイドマップ７のフロア図の左上のかど７０ａ、印刷ガイドマップ７のフロア図の右下のかど７０ｂは、二次元型バーコードのＱＲコード７１により、マークオブジェクトＤＢ１３をダウンロードして用いる例により示したが、マークオブジェクトの配置関係を取り込む方法はこれに限定されず、例えば、印刷ガイドマップをスキャンして、看板の文字やマークを抽出し、それらの相対的な配置関係を求めることによっても、同様の処理が可能となる。

以上、本実施例よれば、カメラ付き情報機器５で撮影するカメラ画像を用いて、既知の位置データを持つマークオブジェクトからの距離、方向を検知することにより、精度の良い位置検知が可能となる。また、マークオブジェクトとしては、既設の標識、看板等の応用が可能であり、位置検知のための専用物を設置する必要がない。さらに、施設マップＤＢを必要とせず、ガイドマップ（印刷物）をカメラで撮影した画像を地図データと同等に扱うことができ、システムの構築がさらに簡易化される。もちろん、ガイドマップは印刷物に限定されることはなく、施設に設置されたフロアマップをカメラで撮影したものでも同様の操作が可能である。

以上、実施例について説明したが、本発明はこれらに限るものでなく、例えば、ある実施例の構成の一部を他の実施例に置き換えることが可能である。また、ある実施例の構成に、他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに、文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。

また、発明の機能等は、それらの一部または全部を、ハードウェアで実装してもよいし、ソフトウェアで実装してもよい。また、ハードウェアとソフトウェアを併用しても良い。

１：施設マップサービス装置、２：ネットワーク、３：複合施設、４：アクセスポイント、５、カメラ付き情報機器、６：ユーザ、７：印刷ガイドマップ、３２１〜３３０：マークオブジェクト、１０：施設マップサービスサーバ、１２：施設マップＤＢ、１３：マークオブジェクトＤＢ、７０ａ、７０ｂ：フロア参照点、７１：ＱＲコード、１４；ガイドマップＤＢ、７２：ポインタ、１０５：施設マップサービスプログラム、１０７：カメラ画像受信プロセス、１０８：マークオブジェクト抽出プロセス、１０９：位置・方向検出プロセス、１１０：位置情報送信プロセス、１１１：マップ情報送信プロセス、５０１：カメラ、５０２：ＧＰＳセンサ、５０５：方位センサ５０８：タッチパネル付ディスプレイ、５１０：モバイル通信ＩＦ、５１１：無線ＬＡＮＩＦ、５１２：ＣＰＵ、５１３：ＲＡＭ、５１５：ＦＲＯＭ、５１６：カメラ連携プロセス、５１７：マークオブジェクト抽出プロセス、５１８：位置・方向検出プロセス、５１９：マップ情報連携プロセス、５２０：ダウンロードＤＢ、５２１：ＥＸＴＩＦ、５２２：外部端子、５２３：カメラ画像送信プロセス、５２４：位置情報受信プロセス、５２５：マップ情報連携プロセス、５２６：マップ情報ダウンロードＤＢ

また、外部ストレージ１１には、施設マップＤＢ１２とマークオブジェクトＤＢ１３を保持する。該施設マップＤＢ１２とマークオブジェクトＤＢ１３の一部は、必要に応じて施設マップサービスプログラム１０５から読み出され、ネットワークＩＦ１０１を介して、前記カメラ付き情報機器５へダウンロードされる。

現在位置が複合施設内であれば、ダウンロードＤＢ５２０にダウンロードした施設マップＤＢから施設ガイドマップの地図データをカメラ付き情報機器のタッチパネル付ディスプレイ５０８に表示する（Ｓ１９）。さらに、Ｓ１６で求めた現在位置とカメラの方向を表すポインタ等のグラフィックデータを、施設ガイドマップに重畳表示する（Ｓ２０）。

図１１において、カメラ画像受信プロセス１０７では、後述する図１２のカメラ付き情報機器５が撮影するカメラ画像を受信する。受信したカメラ画像から、マークオブジェクト抽出プロセス１０８は、有意の物体を抽出し、マークオブジェクトＤＢ１３と照合して、マークオブジェクトを抽出する。位置・方向検出プロセス１０９は、抽出したマークオブジェクトを用い、前記図５〜図８で説明した検知方法で、カメラ付き情報機器５の位置、及びカメラの向きを検出する。検出したカメラ付き情報機器５の位置、及びカメラの向きは、位置情報送信プロセス１１０で、カメラ付き情報機器５に送信する。さらに、検出したカメラ付き情報機器５の位置の周辺のマップデータを、施設マップＤＢ１２からマップ情報送信プロセス１１１で、カメラ付き情報機器５に送信する。

図１５の処理フローにて、Ｓ１１で施設マップサービスアプリ５１５を起動し、印刷ガイドマップ７をカメラ５０で撮影し（Ｓ３１）、撮影画像に含まれるＱＲコード７１に記載の施設マップサービス装置１にアクセスし（Ｓ３２）、関連するマークオブジェクトＤＢ１３をダウンロードし、ダウンロードＤＢ５２０に保存する（Ｓ３３）。以降、Ｓ１３からＳ１６は、図９と同じなので、その説明は省略する。なお、印刷ガイドマップ７をカメラ５０で撮影したときにマークオブジェクトの配置情報を抽出し、マークオブジェクトＤＢ１３をダウンロードする代わりとしてもよい。

現在位置がマップ内であれば、カメラ付き情報機器５で撮影し、ディスプレイ５０８に表示している印刷ガイドマップ７のフロア参照点７０ａ、７０ｂを読み取り、表示の参照位置を決める（Ｓ３５）。以降、Ｓ２０からＳ２２は、図９と同じなので、その説明は省略する。

以上、本実施例よれば、カメラ付き情報機器５で撮影するカメラ画像を用いて、既知の位置データを持つマークオブジェクトからの距離、方向を検知することにより、精度の良い位置検知が可能となる。また、マークオブジェクトとしては、既設の標識、看板等の応用が可能であり、位置検知のための専用物を設置する必要がない。さらに、施設マップＤＢを必要とせず、印刷ガイドマップをカメラで撮影した画像を地図データと同等に扱うことができ、システムの構築がさらに簡易化される。もちろん、ガイドマップは印刷物に限定されることはなく、施設に設置されたフロアマップをカメラで撮影したものでも同様の操作が可能である。

１：施設マップサービス装置、２：ネットワーク、３：複合施設、４：アクセスポイント、５、カメラ付き情報機器、６：ユーザ、７：印刷ガイドマップ、３２１〜３３０：マークオブジェクト、１０：施設マップサービスサーバ、１２：施設マップＤＢ、１３：マークオブジェクトＤＢ、７０ａ、７０ｂ：フロア参照点、７１：ＱＲコード、１４；ガイドマップＤＢ、７２：ポインタ、１０５：施設マップサービスプログラム、１０７：カメラ画像受信プロセス、１０８：マークオブジェクト抽出プロセス、１０９：位置・方向検出プロセス、１１０：位置情報送信プロセス、１１１：マップ情報送信プロセス、５０１：カメラ、５０２：ＧＰＳセンサ、５０５：方位センサ、５０８：タッチパネル付ディスプレイ、５１０：モバイル通信ＩＦ、５１１：無線ＬＡＮＩＦ、５１２：ＣＰＵ、５１３：ＲＡＭ、５１４：ＦＲＯＭ、５１６：カメラ連携プロセス、５１７：マークオブジェクト抽出プロセス、５１８：位置・方向検出プロセス、５１９：マップ情報連携プロセス、５２０：ダウンロードＤＢ、５２１：ＥＸＴＩＦ、５２２：外部端子、５２３：カメラ画像送信プロセス、５２４：位置情報受信プロセス、５２５：マップ情報連携プロセス、５２６：マップ情報ダウンロードＤＢ

Claims (12)

1. カメラ付き情報機器のカメラによる撮影画像を用いる位置情報システムであって、
   屋内施設内の物体をマークオブジェクトとして、該マークオブジェクトの画像データと設置データからなるデータセットのデータベースを保持し、該データベースの一部、もしくは全部を前記カメラ付き情報機器に送信する手段とを備えた施設マップサービス装置を有し、
   前記カメラ付き情報機器は、前記カメラで撮影するカメラ画像から有意の大きさを持つ物体を抽出して、前記データベースの画像データと比較して、前記カメラ画像に写っているマークオブジェクトを特定する手段と、前記カメラ画像に写っている複数のマークオブジェクトを組み合わせて用い前記カメラ付き情報機器の現在位置と前記カメラの方向を検知する手段とを備えることを特徴とする位置情報システム。
2. 請求項１に記載の位置情報システムであって、
   前記屋内施設は、サービス施設、店舗などを有する複合施設であって、
   前記マークオブジェクトは、前記複合施設において、サービス施設の案内標識、施設設備、店舗の名前やロゴを表したパネル、展示されている商品であることを特徴とする位置情報システム。
3. 請求項１または２に記載の位置情報システムであって、
   前記施設マップサービス装置は、前記屋内施設内の地図データのデータベースを保持し、該データベースの一部、もしくは全部を前記カメラ付き情報機器に送信する手段を備え、
   前記カメラ付き情報機器は、前記屋内施設内の地図データと、前記検知したカメラ付き情報機器の現在位置と前記カメラの方向を表すグラフィックスデータを重畳表示する手段とを備えることを特徴とする位置情報システム。
4. 請求項３に記載の位置情報システムであって、
   前記施設マップサービス装置は、前記地図データ内の位置の参照点のデータベースを保持する手段と、該データベースの一部、もしくは全部をカメラ付き情報機器に送信する手段とを備え、
   前記カメラ付き情報機器は、前記屋内施設内の地図を撮影して、前記検知したカメラ付き情報機器の現在位置と前記カメラの方向を表すグラフィックスデータを、撮影している地図に重畳表示する手段とを備えることを特徴とする位置情報システム。
5. 請求項１または２に記載の位置情報システムであって、
   前記カメラ付き情報機器の現在位置と前記カメラの方向を検知する手段は、前記カメラ画像に写っているマークオブジェクトの実体と前記カメラ付き情報機器との距離を求める手段を含むことを特徴とする位置情報システム。
6. 請求項５に記載の位置情報システムであって、
   前記カメラ画像に写っているマークオブジェクトの実体と前記カメラ付き情報機器との距離を求める手段は、前記カメラ画像内のマークオブジェクトの大きさと、該マークオブジェクトの実体の大きさとの比率を用いて計算するものであること特徴とする位置情報システム。
7. カメラ付き情報機器であって、
   ＣＰＵと、プログラムを実行するメモリと、ネットワーク接続手段と、カメラと、ディスプレイと、さらにプログラムを格納するメモリを備え、
   該プログラムを格納するメモリは、ネットワーク接続手段を介し、屋内施設内の物体をマークオブジェクトとして該マークオブジェクトの画像データと設置データからなるデータセットのデータベースをダウンロードするプロセスと、前記カメラを撮影制御するプロセスと、前記カメラで撮影する画像から有意の大きさを持つ物体を抽出して、前記マークオブジェクトの画像データと比較して、カメラ画像に写っているマークオブジェクトを特定するプロセスと、該カメラ画像内の複数のマークオブジェクトを組み合わせて用いカメラ付き情報機器の現在位置と前記カメラの方向を検知するプロセスと、地図データと検知したカメラ付き情報機器の現在位置と前記カメラの方向を表すグラフィックスデータを重畳表示するプロセスと、を有するプログラムを格納することを特徴とするカメラ付き情報機器。
8. カメラ付き情報機器であって、
   ＣＰＵと、プログラムを実行するメモリ、ネットワーク接続手段と、カメラと、ディスプレイと、さらにプログラムを格納するメモリを備え、
   該プログラムを格納するメモリは、ネットワーク手段制御を介してカメラ撮影する画像を送信するプロセスと、カメラ付き情報機器の位置情報を受信するプロセスと、前記位置情報の周辺の地図データを受信するプロセスと、該地図データと前記受信したカメラ付き情報機器の現在位置を重畳表示するプロセスと、を有するプログラムを格納することを特徴とするカメラ付き情報機器。
9. 請求項７に記載のカメラ付き情報機器であって、
   前記地図データは、前記カメラで撮影する地図データであって、
   該地図データは、位置の参照点マークとネットワーク手段で接続する施設マップサービスの接続情報を含むマークとを含むことを特徴とするカメラ付き情報機器。
10. 請求項７または８に記載のカメラ付き情報機器であって、
    外部接続端子を備え、該外部接続端子に広角カメラを接続して用いることを特徴とするカメラ付き情報機器。
11. 請求項７に記載のカメラ付き情報機器であって、
    複数個のカメラを備え、該複数個のカメラの撮影画像から前記マークオブジェクトを特定することを特徴とするカメラ付き情報機器。
12. 請求項７または８に記載のカメラ付き情報機器であって、
    カメラ撮影している被写体とカメラとの距離測定可能なカメラを備え、該カメラで測定する距離を用いて、カメラ付き情報機器の現在位置とカメラの方向を検知することを特徴とするカメラ付き情報機器。

Images