JP4369326B2 - 施設内情報提供システム及び施設内情報提供方法 - Google Patents

Description

本発明は、不特定の多数の利用者が訪れる施設において、施設内における利用者の位置および振舞いなどに応じて、適切な情報を提供する情報提供システム及び施設内情報提供方法に関するものである。

近年、都市再開発に伴い、様々な大規模商業施設が新たに開発されており、その中に属する店舗数は１００を超えるものも存在する。このように多様化する店舗あるいは商品の情報を、如何に利用者に対して伝達するかという点が問題となっている。このために提案されているシステムとしては、例えば特許文献１あるいは特許文献２にあるような無線端末を用いた施設内情報管理システムなどがある。特許文献１においては、固有の識別情報を有する無線携帯端末と無線基地局により、ユーザの位置および移動履歴を検出／蓄積し、これを基に例えば目的地までの経路情報を無線携帯端末に提供するシステムを提案している。

特開２０００-２３６５７１号公報 特開２００２-０２６８０４号公報

従来の発明のように、携帯電話あるいはＩＣタグといった無線端末を利用して、利用者の位置を検出するためには、情報提供を受けたい利用者全てが当該無線端末を所持する必要がある。したがって、当該機器を所持しない若年者あるいは機器の操作が不得手な人に対して、情報提供サービスを行うことができないといった課題がある。

また、単に無線端末を所持しているだけでは、情報提供を受けたい利用者の「振舞い」、例えば、迷っている、疲れている、などの情報を得ることはできないため、利用者のその場の状況に応じた情報提供サービスを行うことができないといった、別の課題も生じる。

さらには、情報提供を受けたい利用者にとって有効な情報である、施設内の現在の状況、例えば、行きたい店舗の混雑度あるいは注目度といった状況をリアルタイムで捕捉するためには、従来技術では施設内の全ての利用者が無線端末を所持している必要があり、その普及率が低い場合、こういった施設内の現在の状況をリアルタイムで利用者に対して伝達することは困難である。

本発明の目的は、不特定の利用者が施設内の目的店舗を利用するに当り、特別な端末等を携帯することなしに、利用者自身のそのときの状況、また利用対象となる目的地の店舗や途中経路の状況に応じた、的確な情報のサービスを受けられる施設内情報提供システム及び施設内情報提供方法を提供することにある。

上述の課題を解決するために本願において開示される発明のうち代表的なものの概要を簡単に説明すれば以下の通りである。
施設を訪れる不特定の利用者を対象とした情報を生成し出力する情報処理システムであって、前記施設は、空間認識ノードが複数個設置され、該各空間認識ノードに配置されたセンサを含む認識手段及び情報処理装置を有しており、前記施設内で利用者が置かれる複数の場を想定し、予め該利用者の前記各場に対応する認識動作とシステム応答をプロファイルとして定義したプロファイル情報を備え、前記センサで取得された情報と前記プロファイル情報とにより前記施設内における特定の前記利用者を把握しかつその振舞いを認識する機能と、該認識結果に基づいて、前記利用者に対する応答動作を決定する機能と、該応答動作に対応した前記利用者向けの情報を生成し出力する機能を有する施設内情報提供システム。

本発明により、施設を訪れる不特定の利用者に対して、該利用者の位置や振舞いに応じて、端末などの操作なしに、施設内での情報提供を可能とする情報システムが構築可能となる。

本発明の実施形態の代表例として、大規模商業施設における案内システムを挙げ、以下説明する。まず、システムの一般構成について説明する。図１に本システムの全体構成図を示す。商業施設内における店舗や休憩スペース、通路、施設出入口といった複数の場所（１ａ、１ｂ）に、カメラなどのセンサ、及び情報処理装置を具備した空間認識ノードＨＡＮ（１０ａ〜１０ｃ）を、当該場所内の何れの場所においても最低３台以上のＨＡＮがサービス利用者（１３）を捕捉することができる位置に設置し、各ＨＡＮをネットワークＨＡ−ＮＥＴ（１１）を介して相互に接続する。なお、一つのＨＡ−ＮＥＴがカバーする範囲は、例えば店舗、休憩場所、階段、通路など、一定の空間範囲に限定し、複数のＨＡ−ＮＥＴで施設内のサービス対象空間全域を連続でカバーする。なお、ＨＡ−ＮＥＴがカバーする一場所に設置するＨＡＮの個数は、認識対象空間となる当該場所の広さ、サービス利用者（１３）の人数、またサービス実現に必要な認識機能、ＨＡＮが備えるセンサの種類と性能、によって任意の個数を取りうる。また、ネットワーク接続手段は有線、無線、何れでも良い。

当該ＨＡ−ＮＥＴは構内ネットワークＬＡＮ（１４）に接続する。また、サーバＳＲＶ（１５）をＬＡＮに接続する。サーバの個数は、施設の規模、利用者の数、提供サービスの種類によって異なるが、本実施例では施設に１台設置するとする。ＳＲＶ（１５）は、各ＨＡＮの動作制御と動作手順プログラムの配信、利用者の位置と状況管理、利用者の来店履歴や嗜好といった個人情報の管理、及び商業施設の施設情報と来店人数などの状況管理を行う。ＳＲＶには、上述機能を実現するために、施設内の地図情報、ＨＡＮの位置、複数の認識プログラムモジュール、店舗・施設情報、利用者プロファイル情報、利用者の行動履歴、利用者の位置と状況、当該場所の人数、といった情報が登録され、ＨＡＮに対し当該情報を適宜配信することができる。また、各場所内の代表的なポイント、例えばエレベータの乗降口、エスカレータの乗降口、通路の分岐、店舗の入口等に情報表示装置ＤＳＰ（１２）を設置し、ＬＡＮに接続することで、ＳＲＶやＨＡＮから利用者（１３）に対し各種情報を提示する。なお、本発明では、ＨＡ−ＮＥＴと構内ネットワークＬＡＮを合わせて、単に通信ネットワークと呼ぶ。

次に、空間認識ノードＨＡＮ（１０）の構成について説明する。図２Ａに、ＨＡＮの構成図を示す。ＨＡＮ１０は、カメラＣＡＭ（１０３）、演算処理装置ＰＥ（１０２）、読み出し専用メモリＲＯＭ（１０５）、メモリＲＡＭ（１０４）、ネットワーク接続装置ＮＩＦ（１０１）で構成する。ＣＡＭ（１０３）は、空間状況を画像により捉えるが、ＣＡＭ（１０３）の他にも、認識目的に合わせ、マイクロフォン、温度、湿度、圧力、振動、などの各種センサのいずれの組み合わせで構成しても良い。

次に、本システムにおける位置検出手段について説明する。本実施例では、不特定利用者が多数訪れる施設において、例えば、” 利用者（１３）が道に迷った”などの施設内での特定利用者の行動や振舞いを認識することを一つの目的としている。即ち、利用者の顔部やジェスチャ等は、施設内のいずれかで把握し認識する必要がある。そこで、施設内を複数の場所１ａ、１ｂ、１ｎに区分し、各場で空間認識ノードＨＡＮ（１０a〜１０c）を３点に配置する。なお、ノードの数は４つ以上でも差し支えない。

そして、図２Ｂに示すように各場所のすべての空間認識ノードＨＡＮ（１０ａ〜１０ｃ）において、カメラの中心線が、各場所の空間内の中心点（６０）と一致するように、カメラ方向を決定する。これら複数のノードによる協調認識処理により、本システムでは、認識内容である特定の利用者（１３）の位置、その利用者の顔部等の外見的特徴、及び振舞い等を検出し、その結果に基づき、特定の利用者（１３）に対する情報表示装置ＤＳＰ（１２）による情報提供等の制御を行う。これにより各ＨＡＮ内の一つのノードに必要な機能が制限されるため各ノード（１０a〜１０c）の処理負担を軽減することが可能となる。

図２Ａに戻り、ＣＡＭ（１０３）で捉えた画像は一旦ＲＡＭ（１０４）に格納され、演算処理装置ＰＥ（１０２）は当該画像を逐次読み出し、ＲＯＭ（１０５）やＲＡＭ（１０４）に格納されている処理手順に従って当該画像を処理し、その結果をＲＡＭ１０４に格納する。また、演算処理装置ＰＥ（１０２）はネットワーク接続装置ＮＩＦ（１０１）を介して他のＨＡＮ（１０）やＳＲＶ（１５）と通信することで、ＲＡＭに格納された当該結果を送信する。またさらに、ＰＥ（１０２）はＮＩＦを介して、他のＨＡＮからの処理結果また、ＳＲＶからの制御情報やプログラムを受信し、ＲＡＭに格納する。

例えば、ＲＡＭ（１０４）にはプログラムとして、位置検出モジュール、体部位認識モジュール、動線追跡モジュール、状況判断モジュール、応答動作決定モジュール、等を格納する。なおこれらのプログラムは、ＳＲＶ（１５）からＬＡＮ（１４）、ＨＡ−ＮＥＴ（１１）を介して配信を受ける。

図２Ｃに本システムにおける空間認識ノードＨＡＮ（１０ａ〜１０ｃ）と情報表示装置ＤＳＰ（１２）の関係を示す。各センシングノード（認識処理装置）ＨＡＮ（１０a〜１０c）は、カメラＣＡＭ（１０３）等のセンサSFNSOR（１０３）及び、当該カメラにて撮影した動画像に対し認識処理を行う情報処理装置PE１（１０２）で構成される。また、これらの複数のセンシングノードＨＡＮは、ネットワーク接続装置ＮＩＦ（１０１）や通信ネットワークを介して相互に接続され、情報表示装置ＤＳＰ（１２）やサーバ（１５）にも接続される。なお、通信ネットワークはUSBやイーサーネット等の有線のネットワークであっても、無線LANやBlue Tooth等の無線のネットワークであっても構わない。自立応答機器としての情報表示装置ＤＳＰ（１２）は、ディスプレイやスピーカ、モータ、LED、といったユーザに対し情報提示を行いあるいは受け付ける手段となるヒューマン・インタフエースHIF（１２２）と、コマンドのデコード並びに当該ヒューマン・インタフエースHIFの自律制御を行う情報処理装置PE２（１２４）、から構成される。これらの情報処理装置PE１，PE２（１０２、１２４）は、夫々、センシングノードであるＨＡＮ及び情報表示装置ＤＳＰの中に内蔵されるのが好ましい。センシングノードであるＨＡＮ（１０a〜１０c）や情報表示装置ＤＳＰ（１２）の中に内蔵することにより一つのセンシングノードを小さく構成することができ、一つの空間内により多くのセンシングノードを配置することが可能となる。但し、内蔵させることが処理性能等のため困難な場合には、パーソナルコンピュータ等の既存の情報処理装置を利用しても構わない。また、情報表示装置ＤＳＰ（１２）はロボットと組み合わせた応答機器として構成し、表示画面による案内などのほか、音声によるガイドや手の動きなどによる方向指示等と組み合わせるようにしても良い。

本システムでは、センシングノードＨＡＮ（１０a〜１０c）及び情報表示装置ＤＳＰ（１２）を制御するサーバは別途設けず、当該複数のセンシングノード及び自律応答機器間で、統合制御処理を行うマスタを動的に決定し、マスタとなったノードまたは機器は統合制御処理も同時に行う。また、例えば各々対象ユーザに一番近い機器をマスタにし、周辺ノードとの通信ネットワークを動的に構成することで、対象ユーザに対して必要な情報を他のセンシングノードから受取ることが可能となり、当該ユーザが所望のサービスを別個に受けることが可能となる。

続いて、図２Ｄに本システムのマスタ処理部MSP（４１）、スレーブ処理部SLPの処理概要を示す。各センシングノード（１０a〜１０c）はスレーブ処理部として認識処理を行う。また、マスタとして割り当てられたセンシングノードは、マスタ処理部としても働く。即ち、各センシングノード（１０a〜１０c）は、マスタ処理部MSP（４１）、スレーブ処理部SLPの両方の動作が可能とされ、実際には、マスタとして割り当てられたセンシングノードがマスタ処理部MSP（４１）として動作する。スレーブ処理部SLPにおいて、カメラCAM（４０Ａ）により得た画像データはA／D変換ADC（４０Ｂ）され、マスタ制御データ（４２）に基き制御テーブルCTBL（４０Ｆ）を介してYUV−RGB色変換及びフィルタ処理CCR（４０Ｃ）が行われ、動物体検出、顔部検出、特定色検出、といった特徴点抽由FPE（４０Ｄ）が行われる。その後、求められた特徴点から動物体の重心点や、顔部のカメラ上の座標、ジェスチャの種別認識処理RP（４０Ｅ）が行われ、マスタ処理部の制御テーブルSTBL（４１Ａ）にその動作モジュール情報（４３）が随時更新される形で書き込まれていく。スレーブ側で行われる補正、特徴点抽出、認識処理の各処理モジュールはプロファイルとして予め制御テーブルに格納されており、その動作はマスタ側から制御され、マスタが当該制御テーブルSTBL（４１Ａ）に書き込んだ動作モジュール情報を元に、動作モジュールの設定や、不必要なモジュールの停止制御が可能となる。また、各センシングノード（１０a〜１０b）で特徴点の抽出を行っているためマスタ処理部へのデータ転送量が画像データそのものを転送する場合と比較して少なくてすむ。更に、比較的処理量の多い画像処理を各センシングノード（１０a〜１０c）に分散しているため、画像データをそのままマスタ処理部に転送する場合と比較してマスタ処理部における負荷の軽減をすることができる。

マスタ処理部MSP（４１）では各センシングノード（１０a〜１０c）からの認識処理結果を制御テーブルSTBL（４１Ａ）に保持し、当該テーブルから結果を引き出すことで所望の認識処理を行う。例えば、各ノードから得られた利用者の位置情報から利用者の間内における位置決定PDを行う（４１Ｂ）。また決定された位置情報及び、当該ノードにて振舞い認識により識別された振舞い情報、また当該ノードにて行われた顔部検出結果を元に、状況データベースSDB（４１Ｃ）のルールデータに基づいて、場の変化や空間内での状況変化の検知といった状況判断SJGを行い（４１Ｄ）、その結果を元に情報表示装置ＤＳＰ（１２）に対しアクションコマンドACT(４１Ｅ)の発行（４４）を行う。アクションコマンドは、当該自律応答機器に対応した行動ルールデータベースADB（４１Ｆ）の情報を元に、当該応答機器ＤＳＰでの表示などの詳細な動作が定義されたオブジェクトとして構築される。

図２Ｅに、前記各空間認識ノードＨＡＮのＲＡＭ（１０４）やサーバ１５のメモリに格納されコンピュータ上で実行されるプログラムによりもたらされる、代表的な機能を示す。これらの機能は１つ又は複数のプログラムで実現される。まず、ＨＡＮの有する機能は、大きく分けて、利用者を識別する利用者認識機能１１０と、空間認識機能１２０、及び案内表示機能１３０がある。

利用者認識機能１１０は、大規模商業施設へ来場した利用者を認識するもので、利用者識別モジュール１１２を有している。

空間認識機能１２０は、商業施設内のいずれかの場所における利用者の位置及び、“疲れた”、“迷った”、等の当該利用者が置かれている状況を複数の空間認識ノードＨＡＮの連携によって認識するものであり、利用者位置捕捉機能１２１と、利用者の振舞い認識機能１２２と、利用者の状況判断機能１２３とが含まれる。利用者位置捕捉機能１２１には、位置検出モジュール１２１１、位置算出モジュール１２１２、利用者捕捉モジュール１２１３がある。また、利用者の振舞い認識機能１２２には、動物体抽出モジュール１２２１、動線追跡モジュール１２２２、及び体部位認識モジュール１２２３がある。さらに、利用者の状況判断機能１２３には状況判断モジュール１２３１及び応答動作決定モジュール１２３２がある。

案内表示機能１３０は、店舗紹介、休憩所案内、道案内等、利用者へのサービス提供のための入力情報を受付、あるいは出力情報を表示する機能を有する。店舗紹介のために、例えば店舗紹介モジュール１３０１、道案内モジュール１３０２がある。

また、サーバ１５は、空間認識ノードＨＡＮの認識結果に基づいて当該利用者に対しシステム応答を行うことで、利用者毎にその状況に応じた最適な情報提供行う。それを実現する機能として、前記ＨＡＮと同様の利用者認識機能１５１、空間認識機能１５２、及び利用者への情報提供機能１５３を有している。また、施設内の空間認識ノードＨＡＮ群の全体の動作を管理する機能１５４、施設内の各施設や機器などの状況を把握し管理する機能１５５、及び施設内店舗へのサービス提供機能１７０が含まれる。施設内店舗へのサービス提供機能１７０には、利用者の行動情報提供機能１７１１と広告機能１７１２が含まれる。

本実施例では、空間認識機能１２０により、商業施設内における利用者の位置及び、“疲れた”、“迷った”、等の当該利用者が置かれている状況を複数の空間認識ノードＨＡＮ（１０ａ〜１０ｃ）の連携によって認識することを一つの目的とする。そこで、当該利用者の物理的な位置、及び「疲れた」「迷った」など置かれている状況といった、当該利用者を中心とした時間軸方向で分割される状況を「場」と定義する。本システムでは、当該利用者が置かれる様々な「場」を想定し、あらかじめ当該利用者の「場」に合わせた認識動作とシステム応答をプロファイルとして定義する。ＨＡＮが当該プロファイルをＳＲＶから受信し、当該プロファイルに応じて動作することで、利用者を様々な状況を識別することが可能となる。

なお「場」は利用者毎に異なるため、当該利用者を捕捉しているＨＡＮが常に当該利用者の「場」を識別し、対応するプロファイルをＳＲＶから受ける。そのため当該ＨＡＮは、当該プロファイル上で指定された必要な機能のみを実行すれば良い。よって、すべてのＨＡＮが同じ認識動作を行う必要がなく、また当該プロファイルを実行する各ＨＡＮが当該利用者の状況を判断するため、システム全体の負荷を分散、低減できる。なお、ＨＡＮが捕捉する利用者が複数の場合は、当該ＨＡＮ上で複数のプロファイルを同時に管理する。または、当該利用者を捕らえる他のＨＡＮで、その時の処理負荷が低いＨＡＮに対し、当該処理を移管する。

続いて、「場」の切り替えについて説明する。利用者の場所の移動や、特定の動作など、当該利用者の行動によっては、「場」の切り替えが生じる。例えば、当該利用者が施設通路から店舗に移動した場合は、店舗内向けのプロファイルを適用し、認識手段、動作、応答を変更することとなる。例えば、店舗内では当該利用者の動線や首の動きを見るプログラムを実行し、首を頻繁に左右に振る動作を認識した場合は、当該利用者は商品を探していると判断し、システムは店員を呼び出す。また、当該利用者が施設内通路で立ち止まるなど、行動の変化が生じた場合も同様にその動作に応じたプロファイルに変更し、例えば当該利用者の頭や手など体の動きを認識する体部位認識モジュールを実行する。このとき首を反映に左右に振る場合は、道に迷っていると判断し、当該利用者に対しＤＳＰを通じて行き先を指示する。

このように、本システムでは利用者の位置や状況によって、あらかじめ定義した複数の「場」プロファイルから、その場の状況に適したプロファイルを選択し、切り替えることによって、その「場」に適した認識動作を行う。そして、当該認識結果に基づいて当該利用者に対しシステム応答を行うことで、利用者毎にその状況に応じた最適な情報提供が可能となる。

次に、利用者識別モジュール等により利用者を識別する利用者認識機能について説明する。システムは利用者の識別を、施設の入口などに設置した利用者情報入力端末を用いて、当該利用者の能動的な操作、例えばＩＣカードの挿入など、にて行い、当該利用者固有のＩＤ番号をシステム内に生成する。また端末入力時に、当該端末付近に設置したＨＡＮにより、システムは当該利用者の顔や服装などの特徴情報も捉え、ＩＤ番号との対応付けを行い、ＳＲＶに当該特徴情報を保持しておく。

一度対応付けが済むと、複数のＨＡＮにより当該利用者を連続的に捕捉していく利用者位置検出及び捕捉機能により、常に利用者とＩＤの対応付けを行い、システムが当該利用者を識別可能となる。すなわち、ＨＡＮは利用者の移動に伴い、移動方向を認識し、さらに、移動方向に存在する他のＨＡＮにＨＡＮ−ＮＥＴを介して当該利用者のＩＤ番号を通知し、位置検出処理の切り替えを連続して行うことで、空間内における当該利用者の動きを常に捉えることが可能となる。

また、利用者の捕捉には、入口で捕らえた特徴情報も加味し、万が一捕捉に失敗した場合も、特徴情報によって当該利用者を再捕捉する。なお、それでも捕捉が不可能な場合は、システムは利用者に対し再認証を通知するとともに一時的にサービス提供を停止し、当該利用者が最寄りの端末にてＩＣカード等を用いて再認証することで、利用者の捕捉とサービスを再開する。従って利用者は、システムが位置を認識するために必要となる特別な装置、例えば無線によって個人ＩＤを常に発信する無線タグや光ビーコン等、を所持する必要がない。ただし、これらの装置を、当該利用者捕捉の補助的手段（位置検出精度の向上）として利用することも可能である。

続いて、図３を用いて、空間認識機能に基く処理、空間（ＨＡＮ）の認識に関する基本処理のフローを説明する。なお、ここでは、理解しやすくするために一人の想定ユーザに対するＨＡＮの処理フローについて説明する。処理開始（２００）と共にＨＡＮ（１０ａ〜１０ｃ）は初期状態における動作手順を示した初期プロファイルを設定（２０１）する。本システムの初期状態は、「利用者未検出」に当る。なお、ここで「利用者未検出」とは、認識対象空間に来会者がいない、即ち、対象ユーザがいない状況とする。当該プロファイルにはＨＡＮの位置、認識対象空間に存在する他のＨＡＮ及びＤＳＰなどの応答機器の位置、動作手順、認識プログラム本体が定義されている。続いて当該利用者に対し「場」のプロファイル処理を司るマスタの決定（２０２）を行う。なお、処理開始時の初期状態では、認識対象空間の出入口を見渡せるＨＡＮをマスタとする。マスタ決定後、当該プロファイルに定義されている認識動作に必要な周辺ＨＡＮ及びＤＳＰなどの応答機器の利用予約を行い（２０３）、当該複数ＨＡＮでアドホックネットワークを構成する（２０４）。

以上で初期設定は終了し、空間認識機能に基く処理を開始（２０５）する。ここでは、位置検出モジュール（１２１）を起動し、空間内の利用者の位置を検出する利用者位置検出、捕捉機能の処理を行う。「利用者未検出」の状況においては、ＨＡＮは、当該空間に入場する利用者（１３）の検出を行う。当該利用者が認識対象空間に入場する際、当該利用者が当該対象空間に入場する方向に存在する、隣接する他の認識対象空間のＨＡＮから、利用者認識機能により、当該利用者が当該空間に入場する旨の通知を、当該利用者を識別するＩＤ番号とともに受ける。そして利用者が入場すると、「利用者未検出」から、「利用者捕捉」の「場」に変化し、次のアクションとして（２０９）、マスタであるＨＡＮは当該利用者の捕捉を開始すると同時に、当該ＨＡＮは当該利用者のＩＤ番号をサーバに通知し、当該利用者に関する「場」のプロファイルを受信することで、プロファイルの更新を行う（２１０）。

ここで、動作フローをわかり易く説明するために、認識対象空間は施設内通路で、一人の利用者がある店舗に目指して移動しているとする。つまり、利用者位置検出、捕捉機能により現在当該利用者を捕捉しているＨＡＮは、「目的地移動中」のプロファイルを受信する（２１０）。この時点では当該利用者は当該空間を移動中であり、「場」は終了していない（２１１）。

次に、利用者の振舞い認識機能で当該プロファイルにて定義された認識動作、つまり「疲れた」「迷った」を認識するための、位置検出と動線抽出処理を実行するＨＡＮの手配を行い（２０３）、再び空間認識動作を開始する（２０５）。これらの処理は、動物体抽出モジュール、動線追跡モジュール及び体部位認識モジュールを用いてなされる。「場」の変化はないが、当該利用者の行動に変化があった場合、例えば既に説明したように、当該利用者が「立ち止まった」場合には、利用者の状況判断を行って、プロファイルを管理するマスタＨＡＮは、必要な場合ＤＳＰなどの応答機器に対して応答コマンドを送付し（２０７）、システム応答動作を利用者に対し行う。利用者の状況判断には状況判断モジュールが使用される。さらに、次に行うべき認識動作（体部位動き検出）を決定し、また当該認識動作を行うために必要なＨＡＮを手配し（２０８）、再び当該利用者に対して認識処理を行う（２０５）。もし、システムが持つ「場」が当該利用者の「場」と一致しない場合は、一定の時間を持って初期の「目的地移動中」のプロファイルに戻す。

利用者が当該認識対象空間から他の空間へ移動する場合、各々の認識空間において「場」の変化を、近接した認識空間対象としたシステムに引き継ぐ必要がある。つまり「場」を、当該人物を中心とした物理的空間とした場合、「場」の引継ぎ（ハンドオーバー）（２１２）が必要となる。当該人物が移動したことで、当該認識対象空間における「場」が終了した場合（２１１）、即ち、認識対象（来会者）が対象空間から隣接の空間に移動した場合、当該空間のマスタは、隣接空間のシステムのマスタに対し、「場」の引継ぎを行うことで、広大な空間における複数システムの連携による利用者の追尾を可能とする。

以上、利用者が一人の場合について説明したが、利用者が複数になったとしても同様に処理することが可能である。例えば、施設内通路に利用者が複数存在した場合、図３のように対応した処理フロー（２０ａ、２０ｂ）を並行して実行すればよい。なお、各ノードの情報処理装置ＰＵ１が複数のプロセッサを有するマルチプロセッサであれば処理フロー（２０ａ、２０ｂ）を異なるプロセッサに割り当てることで並列処理をすることが可能である。また、各ノードの情報処理装置ＰＵ１がプロセッサを一つしか有していない場合は、夫々の処理フロー（２０ａ、２０ｂ）を一つのタスクとし、時分割的に切り換えて処理を行えばよい。

次に、応用システムである大規模商業施設における店舗案内システムの構成について説明する。本システムは、商業施設利用者に対し、当該利用者が希望する最適な店舗の検索を支援し、当該施設の入口から、目的地となる店舗までを案内するシステムである。本システムでは、店舗案内システムの情報入力端末ＴＥＲＭにより利用者からの情報を受け付け、利用者認識機能１１０により特定された利用者に関して各ＨＡＮが具備する案内表示機能１４０及びＳＲＶ１５の応答動作決定機能１５０に基く情報が情報表示装置ＤＳＰや店舗内のＤＳＰに表示される。利用者には、店舗紹介機能、休憩所案内機能及び道案内機能に基いたサービスが情報表示装置ＤＳＰを通じて提供される。また、施設内の店舗のＤＳＰには、施設内店舗へのサービス提供機能１７０の利用者の行動情報提供機能による情報が提供され、また、広告機能によるＰＲ情報が提供される。

図４に、この店舗案内システムの全体構成図を示す。施設内の入口（３０）、通路（３１）、店舗（３２）、等の場所に複数のＨＡＮを配置する。さらに、当該ＨＡＮをＨＡＮ−ＮＥＴに接続し、また複数の当該場所のＨＡＮ−ＮＥＴと、ＳＲＶをＬＡＮに接続する。施設入口（３０）には、利用者の認証とＩＤ番号特定、店舗検索、サービス選択を行うための情報入力端末ＴＥＲＭ（３０２）を設置する。途中経路には、当該利用者に対し店舗や経路情報を提示する情報表示装置ＤＳＰを複数台設置する。また、当該利用者が携帯電話ＴＥＬ（３１３）を所持していた場合は、これも活用し電子メールの配信や案内プログラムの起動により、ＤＳＰと同様に店舗や経路情報を提示する。

また、店舗（３２）にもＤＳＰ（３２２）が設置されており、利用者（３２３）に対し商品情報等を提示する他に、施設内店舗へのサービス提供機能により、店舗従業員（３２１）に対しても、これから来客する顧客のプロフィール情報、予想来店時間、等の情報を提示する。また、利用者へ店舗をＰＲするための広告を受け付ける機能もある。

店舗案内システムの全体動作を、図５にフローチャートで示す。図中、４００は開始点、４０１は合流点を示す。利用者が施設の入口に設置してある端末ＴＥＲＭ（３０２）にて、ＩＣカードや携帯電話（３１３）等を利用して、利用者自身の認証を行い（４０２）、システムが当該利用者を特定するためのＩＤ番号を発行する。続いて、端末付近に設置されたＨＡＮは、認証を済ませた利用者の位置を捕捉する（４０３）。次に、利用者は当該端末上で利用するサービスの選択（店舗検索と案内）を行う。まず、利用者は端末ＴＥＲＭ上で希望する店舗種別等の基本情報を入力する。端末ＴＥＲＭは当該希望情報に基づき、データベース（ＤＢ）に登録されている、メニューや席数などの店舗データに加え、店舗側に設置してあるＨＡＮによって得られる、混雑しているといったそのときの状況も反映させ、利用者に店舗のリストアップを行う（４０４）。例えば、当該利用者がすぐに利用できる店舗を希望した場合は、混雑している店はリストから除外する。また、さらに当該利用者がグループで来場しているか、など施設来場時の当該利用者の状況もＨＡＮが認識し、来場形態に合わせた店舗の絞込みや、お勧め店舗の提示を行うこともできる。そして、店舗の検索と選択が終了すると、システムは案内を開始するかを当該利用者に尋ねる（４０５）。当該利用者が案内開始を選択すると、システムは経路上に設置されたディスプレイＤＳＰや利用者が所持する携帯電話ＴＥＬに行き先を配信し、目的地までの道順案内を行う。なお、情報提供対象となる利用者が複数人いた場合は、夫々に対応した情報を複数同時にＤＳＰ上に表示する。

さらに、利用者の移動に伴い、経路に設置されたＨＡＮは利用者を捕捉し、その位置を逐次ＳＲＶに通知する。ＳＲＶはＨＡＮの空間認識機能の出力を用いて逐次、利用者や店舗の状況判断を行う（４０８）。例えば、途中、当該目的地が混雑していることを当該目的地に設置されたＨＡＮが認識した場合（４１０）、ＴＥＬまたはＤＳＰに対し目的地が混雑している旨のアラートを表示する（４１１）。なお、店舗内の混雑度は店舗来場者の位置と動きを見ればよく、店舗内のある位置に一定時間留まっている来場者数を数え、席数や店舗の単位面積に占める割合が一定以上の場合に、混雑していると判断する。そして利用者に対し、システムは目的地を変更するかの判断を求め（４１２）、目的地を変更する場合は再び店舗リストアップ（４０４）と、目的地の再設定を行う。また、目的地を変更しない場合は、案内を継続する。なお、利用者の意思を伝える手段として、携帯電話ＴＥＬのインタフェースを用いる他に、当該利用者のＹｅｓまたはＮｏに対応付けた振舞い、例えば手を横に振る、首を振る、の認識で実現する。つまり、一時的にサービスを中断する、再開するといった希望も、経路中のＨＡＮにより、身振りですぐにシステム側に指示できる。

また、案内途中で、利用者が疲れたことを経路中のＨＡＮが認識し疲れたという状況判断（４２０）を行った場合は、ＴＥＬまたはＤＳＰに対して、当該利用者の近辺にある、休憩可能な施設や店舗の一覧を提示し（４２１）、利用者に対し休憩所を利用するかの判断を求める。利用者が休憩所を選択した場合は（４２２）、目的地を当該休憩所に再設定し（４２３）、新たに案内を開始する。また、休憩所を利用しないという選択をした場合は、当初の目的地に向けた案内を継続する。またさらに、利用者が迷ったという状況をＨＡＮが認識した場合は迷ったという状況判断に基き（４３０）、利用者の進行方向近辺にある表示端末ＤＳＰを探し出し（４３１）、利用者が当該表示端末に近づいた時点で正しい進行方向を表示し（４３２）、目的地に向けた案内を継続する（４０６）。なお、迷った、疲れたといった状況を認識し状況判断する方法については、後述する。また、上記状況判断の項目は、あくまでも一例であり、施設の状況に応じた適切な項目を設定し、判断処理するようにすればよい。

次に、店舗検索モジュールに基く店舗検索手順について説明する。図６に店舗検索フローチャートを示す。入口（２０）に設置された端末ＴＥＲＭ（２０２）によって、利用者の認証とＩＤ番号の特定・付与が行われ、プロファイル情報のダウンロードが行われる（５０１）。なお、プロファイル情報は、年齢や性別、趣味や嗜好といった個人情報であり、当該利用者によってあらかじめ入力され、ＩＣカードや携帯電話に保存されている。またその他にも、当該利用者の過去の施設来場履歴、商品購入履歴といった、システムが保持するＤＢ情報もプロファイル情報となりうる。なお、利用者の認証は、ＩＣカードや携帯電話の他に、顔、指紋、指静脈等を利用した生体認証技術など、個人を特定・認証できるいずれの手段を用いても良い。

プロファイル受付が完了すると、当該利用者プロファイル情報を元に、ＳＲＶに登録されている店舗ＤＢから、プロファイルや履歴から利用者の嗜好、グループでの来店といった利用者の利用時の状況、に基づいて店舗検索を行う（５０２）。そして、抽出された店舗に設置されたＨＡＮに対して混雑度を問い合わせ（５０３）、当該店舗が混雑していない場合にはその店舗を候補リストに加える（５０４）。また、混雑している場合には、次の候補を検索し、同様に混雑度の問い合わせを行う。以上で構築された店舗リストの件数が、あらかじめ指定した件数を超えた場合は、検索を終了する。また、当該件数に達していない場合は、店舗ＤＢ検索（５０２）を続ける。そして、以上の店舗検索動作終了後、ＨＡＮにより当該利用者の位置と進行方向を検出し、検索結果を利用者に提示するために、表示端末ＤＳＰまたは当該利用者の携帯電話ＴＥＬの検索を行う（５０６）。その後、当該ＤＳＰまたはＴＥＬに対し、検索結果である店舗推薦リストを表示する（５０７）。

次に、利用者へのサービス提供機能により上記サービスを提供する時のサーバＳＲＶ（１５）の処理を説明する。図７にＳＲＶの処理フローを示す。ＳＲＶはまず、利用者が端末ＴＥＲＭ（２０２）にて認証を開始した時点で、ＴＥＲＭからサービス開始の通知を受ける（４５０）。当該利用者の認証が終わると、ＴＥＲＭはＳＲＶにＩＤ番号を通知し、それを元にＳＲＶは利用者の個人情報をＴＥＲＭに送信する（４５１）。続いて、上述した通り、利用者は店舗紹介機能を利用してＴＥＲＭ上で店舗検索を行い、当該利用者が希望するサービスを選択する。ＳＲＶはＴＥＲＭより当該サービス情報を受信し、ＨＡＮの動作を定義する「場」のプロファイルを作成する。そして、当該利用者を捕捉するＨＡＮに対し、当該プロファイルの配信を行う（４５３）。ＳＲＶは、当該ＨＡＮから一定時間ごと、または当該利用者の状況変化が生じたときに、その位置と状況の通知を受ける（４５４）。状況の変化が生じた場合（４５５）、例えば店舗に入った、「迷った」と検出された場合は、必要であればＳＲＶは利用者に対し、例えば店舗情報や経路情報などを表示する応答コマンドを、ＤＳＰ（３１２）やＴＥＬ（３１３）に対し送信する（４５６）。サービスが継続する場合は、状況の変化に対して次の動作を定義したプロファイルを再びＨＡＮに送信（４５３）し、以上の動作を繰り返す。また、目的地に達した、また施設から退出したなど、当該利用者が希望したサービスが終了した場合は、再び新たなサービス通知を待つ。なお、サービス対象者が複数の場合は、以上の処理フローを一つのタスクとして、対象者分の複数タスクをＳＲＶ上で実行する。なお、ＳＲＶのタスクは状況管理のみであるため、タスク当りの負荷は非常に小さい。

続いて、利用者位置捕捉機能に関して、複数施設来場者の位置検出を、来場者の動きに着目し、複数ＨＡＮの連携処理により求める手順を説明する。これらの処理は、動物体抽出モジュール、動線追跡モジュール及び、体部位認識モジュールを用いてなされる。

まず、図８に単位空間（３ｍ×３ｍ）におけるＨＡＮ（１０ａ、１０ｂ、１０ｃ）の配置図を示す。また、図９に、空間位置検出すなわち当該ＨＡＮにおける動物体抽出機能の処理フローを示す。

各ＨＡＮはその中心線が、単位空間内の中心点（６０）と一致するように、カメラ方向を決定する。なお、動物体抽出モジュール・プログラムは、ＳＲＶよりＨＡＮに事前に配信されており、ＳＲＶの指示により位置検出動作を開始する（６１１）。まずカメラＣＡＭから画像を取得し（６１２）、ＹＵＶ→ＲＧＢ色変換、フィルタ（ぼかし）補正（６１３）を掛け、メモリＲＡＭに画像を一時的に格納する（６１４）。続いてフレーム間の差分を取ることで動き検出を（６１５）、動きオブジェクトとして切り出し、カメラとオブジェクトの中心点の水平方向における角度θを求め（６１６）、角度情報は位置算出処理モジュールを実行するＨＡＮ（ここでは１０ａとする）へ送信される（６１７）。なお、当該位置算出処理モジュール・プログラムは、当該単位空間の何れか１台のＨＡＮ（１０ａ）に対し、ＳＲＶから配信される。

図１０は、動物体抽出機能、すなわちフレーム差分による動き検出から角度算出までのフロー（６２）の詳細を示している。フレームメモリ上に保持されている、現フレーム画像をフレームＡ、前フレーム画像をフレームＢ、前々フレーム画像をフレームＣとすると、まずフレームＡ及びフレームＢの対応する各画素の差分と、フレームＢ及びフレームＣの対応する各画素の差分を求める（６２１）。次に、各差分値が定められた閾値よりも下回っている場合、つまり前後フレームの対応する画素が同一とみなされる場合、黒でマスクし、差分値が閾値を上回っている場合、つまり動きがあるとみなすことができる画素は白でマスクし、動きの２値画像を生成（６２２）する。続いて、フレームＡ、Ｂ及びフレームＢ、Ｃそれぞれの差分画像のＡＮＤを取る（６２３）ことで、動きを持つオブジェクトが形として抽出される。

抽出されたオブジェクトの輪郭抽出（６２４）を行い、当該オブジェクトの面積を算出（６２５）する。前記面積がある一定以上のオブジェクトのみ、角度算出対象とする（６２６）ことで、ノイズによって生じた動きオブジェクトを取り除くことができる。動きオブジェクトの輪郭座標から、中心点を算出し、カメラの中心線とオブジェクトの中心点が水平方向でなす角θを算出する。オブジェクトが複数ある場合は、動きオブジェクトがなくなる（６２９）まで、上記の処理を繰り返す。最終的に、検出された面積一定以上のオブジェクトの数及び、当該オブジェクトのθを算出し、図１１のフォーマットに従って位置算出処理モジュール（１０ａ）へ送信される。

図１１は、各ＨＡＮで検出された動きオブジェクトの角度情報を送信する際のフォーマットである。（６３０）は位置算出処理モジュールを実行しているＨＡＮ（１０ａ）のアドレス、（６３１）は当該各ＨＡＮのアドレス、（６３２）はＨＡＮ間のデータ送信方向を示すフラグ、（６３３）はデータの種類（ここでは角度情報であるというフラグ）、（６３４）は検出された動きオブジェクト数、（６３５ａ〜）はオブジェクトのθである。動きオブジェクトの個数及び各々の角度情報及びは、ＨＡＮ（１０ａ）に送られ、当該ＨＡＮ内のＲＡＭに保持される。

次に、ＨＡＮ（１０ａ、１０ｂ、１０ｃ）から送信されたθから、複数人物の位置を算出する方法について説明する。図１２はＨＡＮ（１０ａ）における空間位置算出動作フローを示している。ＨＡＮ（１０ａ）は、各ＨＡＮからの角度情報θを受信し（６４１）、ＲＡＭに格納する（６４２）。各カメラからθが到着した時点（６４３）で３点測位の原理で利用者（動物体）の位置決定（６４４）を行う。

動物体（６０１）の位置決定は、以下のように行われる。まず、ＨＡＮ（１０ａ）から得る角度情報（６０２）をθ１、ＨＡＮ（１０ｂ）から得る角度情報（６０３）をθ２とし、ＨＡＮ（１０ａ）の空間位置を原点とし、ＨＡＮ（１０ａ）と同（１０ｂ）間の距離（６０６）をｄとする。当該ノードと直線（６０６）の成す角（６０５）θ’、及びｄは既知であるため、θ１、θ２により動物体（６０１）の位置は三角関数にて決定される。

しかしながら、上記方法による位置検出では対象となる動物体（６０１）が２体以上となると、対応点が最大４点以上表れることになり、複数動物体の位置同時決定はできない。そこで、上記θ１、θ２による位置決定の後に、ＨＡＮ（１０ｃ）で得られる角度情報（６０４）θ３を用いることで、複数対応点から、当該動物体の位置を絞り込み決定する。つまり、当該対応点の座標データ、ＨＡＮ（１０ｃ）の空間位置、角度θ３により、当該座標データの整合性を確認することで、位置を算出する。位置情報は、３０ｃｍ精度のグリッド単位で算出し、ＳＲＶに通知する。なお、前記３台のＨＡＮに加え、第４、第５と複数のＨＡＮを、障害物などで死角となる領域をカバーするように配置することで、位置認識精度を高めることができる。本位置決定方式では、フレーム差分動き抽出を用いているが、近隣３フレームのみに注目した処理であるため環境変化に対しロバスト性が高く、また３台以上のカメラを用いることで複数動物体の位置検出を同時に行うことができる。さらに、本方式の位置検出に加え、服装の色や模様といったパタン及び顔のパタン認識により、本人を同定し、利用者を追跡することも可能である。

次に疲れた、迷ったかを判断する手段すなわち利用者の状況判断機能を説明する。図１３に、「疲れた」「迷った」状況を判断するフローを示す。まず、当該利用者の位置検出結果から動線を観測し、大略的な動きから状況の変化を判断する。例えば、当該利用者が指定時間以上、一定の場所に留まったことを認識すると（６５０）、ＨＡＮは利用者の頭や腕などの体の動きを捉えるために、体部位認識モジュールを起動する（６５２）。なお、体部位認識方法については後述する。当該利用者が立ち止まった状況で、指定回数以上首を左右に振ったことを認識した場合（６５３）、ＨＡＮは当該利用者が、立ち止まって当りを繁栄に見回しているため「迷っている」と判断する（６５５）。また、当該利用者がベンチ等休憩エリアで腰を下ろす動作を認識した場合（６５４）、ＨＡＮは当該利用者が、疲れて座り込んだため「疲れている」と判断する（６５６）。次に、動線追跡モジュールにより動線追跡を行い施設内における当該利用者の累積移動距離が一定以上で、移動速度が一定度合いで遅くなってきた場合（６５１）、同様に体部位認識モジュールを起動し（６７７）、指定回数以上首を振ったことを認識した場合は、休憩所を探しているとして「疲れている」と判断する（６７９）。

続いて利用者の振舞い認識、例えば指定回数以上首を左右に振ったことを認識するために必要な、体部位の認識を行う方法について説明する。図１４に体部位認識モジュールの処理フローを示す。処理開始とともに、既に定義された体部位（頭、腕、手）の３次元モデルを内部に生成する（６９１）。当該３次元モデルは体部位の標準的な形を３次元座標データとして定義される。次に、カメラから画像を取り込み（６９２）、肌色検出、図１０で説明した動き抽出を行うことで人の輪郭を抽出する（６９３）。続いて、生成した複数の３次元モデルを連続的に縮小・回転させ、抽出された輪郭と比較する（６９４）。３次元モデルの縮小・回転方法としては、アフィン変換が知られており、これを用いて実現する。そして、縮小・回転したモデルの投射輪郭と、当該画像から抽出された輪郭を比較し一致するかを判断する体部位認識を行い、体部位、例えば頭、を特定する（６９５）。一致判断には、双方の輪郭間のユークリッド距離をもとめ、当該距離が一定以下であれば、一致すると判断できる。さらに、体部位の動線抽出を行い（６９６）、当該部位の動きの方向や加速度を求め、体部位の動作状況を判断する。例えば、頭を水平に一定以上の加速度で同一線上を往復する動きが検出された場合は、首を振ったと判断する。

このように、本発明によれば、施設を訪れる不特定の利用者に対して、この利用者の位置や振舞いに応じて、端末などの操作なしに、施設内での情報提供を可能とする情報システムを構築可能となる。すなわち、施設利用者が目的店舗を利用するに当り、当該利用者や他の施設来場者が特別な端末を持つことなしに、当該店舗までの経路案内を、利用者自身のそのときの状況、また利用対象となる目的地の店舗や途中経路の状況によって、適宜経路変更を可能とし、適切な案内を行う。

また、本発明により、施設内のリアルタイムな状況を、利用者に対して提供できる、情報システムを構築可能となる。

以下に、本発明の幾つかの特徴を列挙する。
（１）カメラを含むセンサと、情報処理装置を具備する、多数個の空間認識ノードで構成する情報処理システムであって、前記複数の認識ノードの夫々は、複数の認識手段により、所定の空間内にある利用者の位置、振舞いを認識することで、当該利用者に対し目的地までの経路案内を、当該認識結果に基づき当該目的地に至る案内経路を適宜変更することで、適切な案内を行う。
（２）または、前記複数の認識ノードの夫々は、複数の認識手段により、利用者が利用対象とする空間内にある人物の位置、振舞いを認識することで、当該利用対象の状況に基づき、当該状況に対応して目的地や当該目的地に至る経路を適宜変更し、適切な案内を行う。
（３）または、施設利用者が施設入口において利用者自身の特定と個人情報、及びサービスの選択を行い、さらに前記複数の認識ノードの夫々によって、当該利用者の位置を管理することで、当該利用者が特別な携帯端末を所持しなくても良い。
（４）または、案内情報を前記利用者に対し配信する情報表示装置を複数備え、前記複数の認識ノードの夫々によって、当該利用者に最近の情報表示端末を選択し、当該利用者が当該情報表示端末に再接近したときに情報を表示する。

（５）または、案内情報を、当該利用者が携帯電話などの無線端末を持つ場合、当該端末に案内情報を配信する。
（６）または、施設内の店舗などの商品サービス提供者が、顧客となる前記利用者が当該店舗に来店することを事前に当該提供者に対し通知することで、当該提供者が事前に顧客情報を得る。
（７）または、前記複数の認識ノードの夫々によって、施設や店舗における前記利用者の行動履歴を蓄積する。
以上述べたように、本発明は、従来から提供されている、目的地までの経路案内を行う機能に加え、経路途中で利用者の疲れた、迷ったなどの利用者の状況と、目的地や行き先経路など利用先の混雑度などの状況を認識することで、利用者の状況に応じたきめ細かな案内を行うことが可能となる。本発明を応用することで、実施例として説明した案内機能の他にも、顧客の動向調査によるマーケティング情報収集、物品管理、防犯監視などのセキュリティ、等、様々な分野に応用が可能である。

本発明のシステム全体構成図である。 図１のシステムの基本構成となる空間認識ノードの構成図である。 図１のシステムにおける空間認識ノードＨＡＮのカメラの位置関係を示す図である。 図１のシステムにおける空間認識ノードＨＡＮと情報表示装置ＤＳＰの関係を示す図である。 図１のシステムにおけるマスタ処理部MSP及びスレーブ処理部SLPの処理概要を示す図である。 図１のシステムにおける各空間認識ノードＨＡＮのＲＡＭやサーバのメモリに格納され実行されるプログラムによりもたらされる、代表的な機能を示す図である。 空間認識ノードＨＡＮの動作のフローチャートを説明する図である。 本発明の代表応用例である大規模商業施設向け案内システムの構成図である。 案内サービスの動作のフローチャートを説明する図である。 店舗の検索動作のフローチャートを説明する図である。 サーバＳＲＶの動作のフローチャートを説明する図である。 位置検出を行うための、単位空間のノード配置と、位置算出方法を説明する図である。 ノードにおける空間位置検出動作のフローチャートを説明する図である。 ノードにおける動物体抽出のフローチャートを説明する図である。 空間位置検出結果を位置算出部に送信するデータ・フォーマットを示す図である。 ノードにおける空間位置算出動作のフローチャートを説明する図である。 利用者の「疲れた」「迷った」の状況を判断するフローチャートを説明する図である。 体部位の認識を行う動作のフローチャートを説明する図である。

符号の説明

１ａ、１ｂ…サービス対象エリア、１０ａ、１０ｂ、１０ｃ…空間認識ノード、１１…ノード間ネットワーク、１２…情報表示端末、１３…利用者、１４…施設内ネットワーク、１５…サーバ、１０…空間認識ノード、１０１…ネットワーク接続装置、１０２…演算処理装置、１０３…カメラ、１０４…記憶素子、１０５…読み出し専用記憶素子、２００…開始点、２０１、２０２、２０３、２０４、２０５、２０７、２０８、２０９、２１０、２１２…処理、２０６、２１１…判別処理、２１４…合流点、３０…商業施設入口、３０１…利用者、３０２…情報入力端末、３１…経路途中、３１１…利用者、３１２…情報表示装置、３１３…携帯電話、３２…店舗、３２１…利用者、３２２…情報表示装置、３２３…店舗利用者、４００…開始点、４０１…合流点、４０２、４０３、４０４…処理、４０５、４１０、４２０、４３０…判別処理、４１１、４２１、４３１、４３２、４２３…処理、４１２、４２２、４０６…判別処理、５０１、５０２、５０４、５０６、５０７…処理、５０３、５０５…判別処理、４５０、４５５、４５７…判別処理、４５１、４５２、４５３、４５４、４５６…処理、６０…空間中央点、６０１…人物（動物体）、６０２、６０３、６０４、６０５…角度、６０６…直線距離、６１０…終了点、６１１…判別処理、６１２、６１３、６１４、６１５、６１６、６１７…処理、６２…動物体オブジェクト抽出処理、６２１、６２２、６２３、６２４、６２５…処理、６２６、６２９…判別処理、６２７、６２８…処理、６３０…マスタのＩＰアドレス、６３１…自身のＩＰアドレス、６３２…マスタ方向へのデータの流れを示すフラグ、６３３…処理の種別、６３４…抽出された動物体の数、６３５ａ、６３５ｂ、６３５ｃ…角度、６４１、６４２、６４４、６４５…処理、６４３…判別処理、６５０、６５１、６５３、６５４、６７８…判別処理、６５２、６５５、６５６、６７７、６７９…処理、６９１、６９２、６９３、６９４、６９５、６９６…処理。

Claims (16)

1. 施設を訪れる不特定の利用者を対象とした情報を生成し出力する情報処理システムを備えた施設内情報提供システムであって、
   前記情報処理システムは、通信ネットワークを介して、前記施設の複数の場所に夫々複数個設置された空間認識ノードと、複数の情報表示装置とに接続されており、
   前記各空間認識ノードは、センサを含む複数の認識手段と、前記複数の認識手段により当該空間内における前記利用者の位置及び振舞いを認識し当該利用者の状況を取得する空間認識手段を有しており、
   前記情報処理システムは、
   前記施設内で不特定の利用者が置かれる複数の場を想定し、予め前記不特定の利用者の前記各場に対応する認識動作とシステム応答をプロファイルとして定義したプロファイル情報と、前記施設内の地図情報と、前記各空間認識ノード及び前記複数の情報表示装置の位置情報と、前記施設内の状況の情報を保持する情報保持手段と、
   前記空間認識ノードの前記空間認識手段で取得された情報と前記地図情報と前記各空間認識ノードの位置情報により、前記施設内における前記不特定の利用者から特定の利用者を抽出して位置及び振舞いを認識し前記特定の利用者の状況の情報を生成する利用者認識手段と、
   前記特定の利用者の位置や状況によって前記予め定義した複数のプロファイル情報からその場の状況に適した前記プロファイル情報を選択し、前記空間認識手段の前記認識手段を切替えることによって、当該場に適した認識動作を行い、該認識結果に基づいて、前記特定の利用者に対する前記施設におけるシステム応答動作を決定するシステム応答動作決定手段と、
   前記決定されたシステム応答動作に対応した前記特定の利用者向けの情報を生成し、前記特定の利用者向けの情報を、前記複数の情報表示装置の位置情報に基づいて前記特定の利用者の位置に対応する前記情報表示装置に出力する情報提供手段とを有することを特徴とする施設内情報提供システム。
2. 請求項１において、前記空間認識ノードの夫々は、前記複数の認識手段により、利用対象とする空間内における人の位置、振舞いを認識し当該利用対象の状況を取得する機能と、
   当該利用対象の状況に基づき、当該状況に対応して目的地や当該目的地に至る経路を適宜変更し、案内を行う機能とを備えていることを特徴とする施設内情報提供システム。
3. 請求項１において、前記施設の入口において前記施設利用者が自身の特定と個人情報を設定し、サービスの選択を行う手段と、
   前記複数の空間認識ノードの夫々によって、前記設定された情報に基き当該利用者の位置を管理し、選択されたサービスの提供を行う手段とを備えていることを特徴とする施設内情報提供システム。
4. 請求項１において、前記入口、通路及び前記各店舗には、前記通信ネットワークを介して前記各空間認識ノードに接続され当該利用者に対し店舗や経路情報を提示する前記情報表示装置が複数設置され、
   前記複数のノードによる協調認識処理により、特定の前記利用者を検出し、該検出結果に基づき、該利用者に対する情報を該利用者が前記複数の前記情報表示装置のいずれかに接近したときに表示するように構成したことを特徴とする、施設内情報提供システム。
5. 請求項１において、当該利用者が携帯電話などの無線端末を持つ場合、当該端末に案内情報を配信する機能を有することを特徴とする、施設内情報提供システム。
6. 請求項１において、前記施設内の店舗などの商品サービス提供者が、顧客となる前記利用者が当該店舗に来店することを事前に当該提供者に対し通知することで、当該提供者が前記利用者の来店前に顧客情報を取得し得るようにしたことを特徴とする、施設内情報提供システム。
7. 請求項１において、前記複数の空間認識ノードの夫々によって、前記施設や店舗における前記利用者の行動履歴を蓄積することを特徴とする、施設内情報提供システム。
8. 請求項１において、前記施設内の少なくとも入口、通路及び各店舗の各場所に、当該場所内の何れの場所においても前記利用者を捕捉することができる位置に最低３台以上の前記空間認識ノードが設置され、前記空間認識ノードは通信ネットワークを介して相互に接続され、前記複数の空間認識ノード及び前記情報表示装置間で統合制御処理を行うマスタを動的に決定し、マスタとなったノードまたは前記情報表示装置は統合制御処理も同時に行うことを特徴とする、施設内情報提供システム。
9. 請求項８において、認識対象の利用者が対象空間から隣接の空間に移動した場合、当該空間のマスタは、隣接空間のシステムのマスタに対し、前記場の引継ぎを行うことで前記利用者の追尾を行うことを特徴とする、施設内情報提供システム。
10. 施設を訪れる不特定の利用者を対象とした情報を生成し出力する当該施設内の複数の情報処理システムに通信ネットワークを介して接続され、前記複数の情報処理システムを統括するサーバであって、
    前記各情報処理システムは、通信ネットワークを介して、前記施設の複数の場所に夫々複数個設置された空間認識ノードと、複数の情報表示装置とに接続されており、
    前記各空間認識ノードは、センサを含む複数の認識手段と、前記複数の認識手段により当該空間内における前記利用者の位置及び振舞いを認識し当該利用者の状況を取得する空間認識手段を有しており、
    前記サーバは、前記施設内で不特定の利用者が置かれる複数の場を想定し、予め前記不特定の利用者の前記各場に対応する認識動作とシステム応答をプロファイルとして定義したプロファイル情報と、前記施設内の地図情報と、前記各空間認識ノード及び前記複数の情報表示装置の位置情報と、前記施設内の状況の情報を保持する情報保持手段を備え、
    前記各情報処理システムは、
    前記空間認識ノードの前記空間認識手段で取得された情報と前記地図情報と前記各空間認識ノードの位置情報により、前記施設内における前記不特定の利用者から特定の利用者を抽出して位置及び振舞いを認識し前記特定の利用者の状況の情報を生成する利用者認識手段と、
    前記特定の利用者の位置や状況によって前記予め定義した複数のプロファイル情報からその場の状況に適した前記プロファイル情報を選択し、前記空間認識手段の前記認識手段を切替えることによって、当該場に適した認識動作を行い、該認識結果に基づいて、前記特定の利用者に対する前記施設におけるシステム応答動作を決定するシステム応答動作決定手段と、
    前記決定されたシステム応答動作に対応した前記特定の利用者向けの情報を生成し、前記特定の利用者向けの情報を、前記複数の情報表示装置の位置情報に基づいて前記特定の利用者の位置に対応する前記情報表示装置に出力する情報提供手段とを有し、
    前記サーバは、さらに
    前記施設の複数の場所に各々複数個設置された複数の空間認識ノードを管理する手段と、
    前記空間認識ノードで認識された前記施設内における特定の利用者に関する前記認識結果を受け取り、当該利用者の状況を把握する手段と、
    前記認識結果に基づいて、前記特定の利用者向けの情報を、前記施設内に設置されたいずれかの前記情報表示装置に当該利用者が接近した時点で表示する手段、とを備えたことを特徴とする施設内情報提供システム用のサーバ。
11. 施設の複数の場所に夫々複数個設置され夫々センサを含む認識手段を有する複数の空間認識ノードに設けられた情報処理装置であって、
    センサを含む複数の認識手段と、前記複数の認識手段により当該空間内における前記利用者の位置及び振舞いを認識し当該利用者の状況を取得する空間認識手段を有しており、
    前記施設内で不特定の利用者が置かれる複数の場を想定し、予め前記不特定の利用者の前記各場に対応する認識動作とシステム応答をプロファイルとして定義したプロファイル情報と、前記施設内の地図情報と、前記各空間認識ノードの位置情報と、前記施設内の状況の情報を保持する情報保持手段と、
    前記空間認識ノードの前記空間認識手段で取得された情報と前記地図情報と前記各空間認識ノードの位置情報により、前記施設内における前記不特定の利用者から特定の利用者を抽出して位置及び振舞いを認識し前記特定の利用者の状況の情報を生成する利用者認識手段と、
    前記特定の利用者の位置や状況によって前記予め定義した複数のプロファイル情報からその場の状況に適した前記プロファイル情報を選択し、前記空間認識手段の前記認識手段を切替えることによって、当該場に適した認識動作を行い、該認識結果に基づいて、前記特定の利用者に対する前記施設におけるシステム応答動作を決定するシステム応答動作決定手段と、
    前記決定されたシステム応答動作に対応した前記特定の利用者向けの情報を生成し、出力する情報提供手段とを有することを特徴とする情報処理装置。
12. 情報処理システムにより施設を訪れる不特定の利用者を対象とした情報を生成し出力する施設内情報提供方法であって、
    前記情報処理システムは、通信ネットワークを介して、前記施設の複数の場所に夫々複数個設置された空間認識ノードと、複数の情報表示装置とに接続されており、
    前記各空間認識ノードは、センサを含む複数の認識手段と、前記複数の認識手段により当該空間内における前記利用者の位置及び振舞いを認識し当該利用者の状況を取得する空間認識手段を有しており、
    前記情報処理システムは、
    前記施設内で不特定の利用者が置かれる複数の場を想定し、予め前記不特定の利用者の前記各場に対応する認識動作とシステム応答をプロファイルとして定義したプロファイル情報と、前記施設内の地図情報と、前記各空間認識ノード及び前記複数の情報表示装置の位置情報と、前記施設内の状況の情報を保持する情報保持手段を備えており、
    前記空間認識ノードの前記空間認識手段で取得された情報と前記地図情報と前記各空間認識ノードの位置情報により、前記施設内における前記不特定の利用者から特定の利用者を抽出して位置及び振舞いを認識し前記特定の利用者の状況の情報を生成し、
    前記特定の利用者の位置や状況によって前記予め定義した複数のプロファイル情報からその場の状況に適した前記プロファイル情報を選択し、前記空間認識手段の前記認識手段を切替えることによって、当該場に適した認識動作を行い、該認識結果に基づいて、前記特定の利用者に対する前記施設におけるシステム応答動作を決定し、
    前記決定されたシステム応答動作に対応した前記特定の利用者向けの情報を生成し、前記特定の利用者向けの情報を、前記複数の情報表示装置の位置情報に基づいて前記特定の利用者の位置に対応する前記情報表示装置に出力する、ことを特徴とする施設内情報提供方法。
13. 請求項１２において、前記施設の複数の空間認識ノードの夫々で、前記複数の認識手段により、利用対象とする空間内における人の位置、振舞いを認識し当該利用対象の状況を取得し、
    当該利用対象の状況に基づき、当該状況に対応して目的地や当該目的地に至る経路を適宜変更し、案内を行うことを特徴とする施設内情報提供方法。
14. 請求項１２おいて、案内情報を前記利用者に対し配信する前記情報表示装置を前記施設内に複数備えており、
    前記複数の空間認識ノードの夫々によって、当該利用者に最近の前記情報表示装置を選択し、当該利用者が当該情報表示装置に再接近したときに情報を表示することを特徴とする、施設内情報提供方法。
15. 施設の複数の場所に夫々空間認識ノードが複数個設置され、該各空間認識ノードはセンサを含む認識手段及びコンピュータを含む情報処理装置を有する施設内情報提供システムにおいて、前記施設を訪れる不特定の利用者を対象とした情報を生成し出力するためのプログラムであって、
    前記情報処理システムは、通信ネットワークを介して、前記施設の複数の場所に夫々複数個設置された空間認識ノードと、複数の情報表示装置とに接続されており、前記施設内で不特定の利用者が置かれる複数の場を想定し、予め前記不特定の利用者の前記各場に対応する認識動作とシステム応答をプロファイルとして定義したプロファイル情報と、前記施設内の地図情報と、前記各空間認識ノード及び前記複数の情報表示装置の位置情報と、前記施設内の状況の情報を備えており、
    前記各空間認識ノードは、センサを含む複数の認識手段と、前記複数の認識手段により当該空間内における前記利用者の位置及び振舞いを認識し当該利用者の状況を取得する空間認識手段を有しており、
    前記コンピュータ・プログラムは、前記コンピュータに、
    前記空間認識ノードの前記空間認識手段で取得された情報と前記地図情報と前記各空間認識ノードの位置情報により、前記施設内における前記不特定の利用者から特定の利用者を抽出して位置及び振舞いを認識し前記特定の利用者の状況の情報を生成する機能と、
    前記特定の利用者の位置や状況によって前記予め定義した複数のプロファイル情報からその場の状況に適した前記プロファイル情報を選択し、前記空間認識手段の前記認識手段を切替えることによって、当該場に適した認識動作を行い、該認識結果に基づいて、前記特定の利用者に対する前記施設におけるシステム応答動作を決定する機能と、
    前記決定されたシステム応答動作に対応した前記特定の利用者向けの情報を生成し、前記特定の利用者向けの情報を、前記複数の情報表示装置の位置情報に基づいて前記特定の利用者の位置に対応する前記情報表示装置に出力する機能、とを実現させることを特徴とするコンピュータ・プログラム。
16. 請求項１５において、前記コンピュータ・プログラムは、前記コンピュータに、
    特定の前記利用者に対して最も近い前記情報表示装置を選択する機能と、
    前記システム応答動作に対応した前記利用者向けの情報を、当該選択された情報表示装置に表示する機能、とを実現させることを特徴とするコンピュータ・プログラム。

Images