JP6774041B2 - 案内システム - Google Patents

Description

本発明は、ユーザ端末にユーザの移動を助ける案内を提供する案内システムに関する。

昨今、様々なサービスがクラウド基盤等を利用してユーザに提供されている。各ユーザは、その好みに応じて様々なサービスを利用している。本発明に関連する経路探索に係るサービスシステムは、多くの場合、ネットワークに接続したユーザ端末とネットワーク上のサーバで構成されている。

経路探索に係るシステムは、例えば特許文献１に記載されている。特許文献１には、地点ごとの名称（駅名や建物名など）を示した名称情報を多数含む地図データを記憶した地図データデータベースと 地点ごとの案内情報を記憶した案内情報データベースと を備えた経路案内システムが開示されている。またこの文献の第２実施形態には、経路案内システム（サーバ）が画像識別手段を備え、ネットワークを介してユーザ端末で撮影された地図の画像を受け付けて、その地図の画像を画像解析して 描写されている地図内容に合った地図データを識別することが記載されている。またこの経路案内システム（サーバ−端末）は、識別した地図データ中の各名称情報をユーザに対して選択可能に提示して、選択された名称情報をナビゲーションの『出発地』若しくは『目的地』に設定可能に構成されている。この機能を用いることで、ＧＰＳ（Global Positioning System）等で取得した『現在地』から ユーザが選択した『目的地』まで の経路案内や、名称情報の紐付いた案内情報の提示が可能になる。またこの文献には、地図データ（データベース）等を適時アップデートするためにアクセスする外部機器（外部サーバ）も開示されている。

国際公開第２０１１／１５８３３６号

発明者は、新たな観点から経路探索システムと連携可能な機能を検討した。そして、公共交通機関などの乗物の利用に関して、例えば外国人旅行者など現地に不慣れな人間への一つの利便性が高い情報を提供することを検討した。

多くの人間は、土地勘のないところで、初めて若しくは数回しか乗ったこととない乗物に関して、乗降時に不安を抱いているもの、と想像される。この不安内容を想像すると、乗物の乗降に関して、目前に電車やバスの車両が有ったとしても、目的地にこの車両が本当に止まるか否かの要素が大きいものと考える。更に関連する不安要素とすれば、車両の利用方法や代金の支払い方法などの、利用ルールが不知であることと想像する。

既存の経路探索システムは、例えばバス停まで案内して、且つバスが来る時間（時刻表の時間）、目的地までの所要時間、到着時間を提示しても、上記した利用者の不安については解消できない。例示した特許文献１に開示されている経路探索システムに関しても、上記した利用者の不安については解消できない。

本発明は、上記事柄を踏まえて成されたものであり、利用者の乗物を利用する幾つかの不安要素を低減し得る案内システムを提供する。

本発明の一実施形態に係る案内システムは、ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、前記画像データから画像認識により認識された乗物の乗物情報に基づいて、該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部と、を含み、前記案内部は、前記受付部から受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知することを特徴とする。
また、本発明の一実施形態に係る案内システムは、ユーザ端末から、目的地、及び画像データを少なくとも含む案内要求を取得する受付部と、前記画像データから画像認識により写っていた前記乗物をユニークに区別する最終粒度まで認識できなかった際にも、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを乗物情報として画像認識によって取得し、画像認識された前記乗物情報に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部と、を含むことを特徴とする。

本発明の一実施形態に係る情報処理システムによる案内方法は、ユーザ端末から目的地及び画像データを少なくとも含む案内要求を受け付け、前記画像データに写っていた乗物の乗物情報を画像認識すると共に、画像認識により認識した乗物情報に基づいて該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出し、前記ユーザ端末に導出した少なくとも乗車適否を含む応答を通知する、この際、受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知することを特徴とする。
また、本発明の一実施形態に係る情報処理システムによる案内方法は、ユーザ端末から目的地及び画像データを少なくとも含む案内要求を受け付け、前記画像データに写っていた乗物の乗物情報を画像認識すると共に、画像認識により写っていた前記乗物をユニークに区別する最終粒度まで認識できなかった際にも、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを乗物情報として画像認識によって取得し、画像認識した前記乗物情報に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出し、前記ユーザ端末に導出した少なくとも乗車適否を含む応答を通知することを特徴とする。

本発明の一実施形態に係るプログラムは、サーバシステムを、ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、前記画像データから画像認識により認識された乗物の乗物情報に基づいて該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部、として動作させ、また、前記案内部が、前記受付部から受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知させるよう動作させることを特徴とする。
また、本発明の一実施形態に係るプログラムは、サーバシステムを、ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、前記画像データから画像認識により写っていた前記乗物をユニークに区別する最終粒度まで認識できなかった際にも、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを乗物情報として画像認識によって取得し、画像認識された前記乗物情報に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部、として動作させることを特徴とする。

また、本発明の一実施形態に係る記録媒体は、上記プログラムをコンピュータ読み取り可能に非一時的に記録した記録媒体であって、サーバシステムを案内システムとして動作させる。

本発明によれば、利用者の乗物を利用する幾つかの不安要素を低減し得る案内システムを提供できる。

本発明の一実施形態に係る案内システム１を示すブロック図である。 案内システム１を利用するユーザ端末に表示される案内要求を送信するユーザインタフェース例を示した説明図である。 案内システム１を利用するユーザ端末に表示される応答結果を表示したユーザインタフェース例を示した説明図である。 案内システム１の案内導出部１３に係る動作例を示したフローチャートである。 案内導出部１３で用いる情報収集パターンテーブルを可視化して示した説明図である。 案内導出部１３で用いる案内要求−乗物関連情報テーブルを可視化して示した説明図である。 乗物関連情報の取得元となる情報データベース１を示した説明図である。 乗物関連情報の取得元となる情報データベース２を示した説明図である。 乗物関連情報の取得元となる情報データベース３を示した説明図である。 案内システム１に係る一動作例を示したシーケンス図である。 一実施形態に係る案内システム１の構成例を示すブロック図である。 一実施形態に係る案内システム１の別の構成例を示すブロック図である。

以下、本発明の実施形態を図面に基づいて説明する。

［実施形態］
図１は、本発明の一実施形態に係る案内システム１を示すブロック図である。

案内システム１は、ユーザ端末から案内要求を受け付ける受付部１１と、案内要求の応答をユーザ端末に通知する応答部１２と、案内内容を導出する案内導出部１３とを含み構成されている。案内システム１とユーザ端末とは、一般的な通信手段で接続する。その接続形態は特に限定しないものの、移動体通信やＷｉ‐Ｆｉ（登録商標）、Bluetooth（登録商標）等の通信ネットワークを介して接続すればよい。

案内システム１には、後述するように各種データベースが利用可能に構築されている。案内システム１は、必要に応じて外部データベースと連携して動作するように構成されてもよい。この各種データベースには、利用者に提示する乗物案内の素となる各種情報（後述する乗物関連情報）、画像認識エンジンで利用する照合データなどが格納されている。また、案内システム１は、様々な連携可能なシステムやデータベースから各種情報を適宜取得して各種情報を適宜最新の情報にアップデートする仕組みを具備することが望ましい。

受付部１１は、ユーザ端末から、少なくとも１つの目的地を含む目的地情報と 乗物が撮影されている画像データとを含む案内要求を取得可能に構成されている。ユーザ端末は特に限定しないものの、スマートフォンやタブレットなどの通信端末を想定する。なお、ユーザ端末は要件を満たせばどのような端末でもよく、例えば通信機能を有するカメラやミュージックプレイヤー、スマートウォッチ、スマートグラス、汎用パソコンであったとしても、画像データと目的地情報を送ることができ、応答結果を表示できれば特にどのような端末であっても構わない。

受付部１１が受け付ける案内要求は、例えば案内システム１がインターネット上や専用ネットワーク上に設けたサービスサイト（Ｗｅｂサイト）に、ユーザ端末がＷｅｂブラウザを介して接続して、ユーザの入力や撮影画像を登録するようにして取得すればよい。

また、このサイトの一部の機能をアプリ（アプリケーションプログラム）化して、ユーザ端末側にインストールして案内要求を案内システム１（受付部１１）に通知させるようにしてもよい。換言すれば、ユーザ端末に導入されるアプリを介してユーザ端末のプロセッサーに一部の処理を実行させるようにして、案内要求を取得するように案内システム１を構築してもよい。また、受付部１１は、ユーザ端末から多言語で目的地を受け付け可能に構築されてもよい。また、受付部１１は、ユーザ端末から音声入力で目的地を受け付け可能に構築されてもよい。また、受付部１１は、必要に応じて利用者の言語設定を受け付けてその言語で表示したり、翻訳する仕組みを設けることとしてもよい。この設定言語による表示や翻訳は、ユーザ端末用アプリにその機能を組み入れて、ユーザ端末側で行うこととしてもよい。

また、案内要求は一度に目的地情報と画像データの両方を必ずしも含む必要はなく、一方の情報／画像を含む要求を受け付けた後に、他方の情報／画像を受け付けてもよい。また、登録される画像データは静止画と動画の何れでもよい。同様に、受付部１１は、ユーザ端末からの１つの案内要求に対して、１ファイルの静止画画像もしくは動画画像に限定せずに、複数の画像データを受け付可能に構成してもよい。同様に、受付部１１は、静止画像と動画画像の両方を一つの案内要求に対して受け付けるように構成されてもよい。また、受付部１１は、案内要求と共に、ユーザが入力や選択した、出発地を示す出発地情報や現在地を示す現在地情報、ユーザ端末がＧＰＳ等から取得した現在地情報を、ユーザ端末から案内要求に連携させて自動的に取得可能に構成してもよい。

なお、現在地情報は、画像データに関連付けられている位置情報を取り出して用いるように、受付部１１を構成してもよい。

スマートフォンで案内要求を生成するためのユーザインタフェース例を図２に記載する。図２（ａ）はタッチ操作で写真と目的地とを入力する前のイメージであり、図２（ｂ）はタッチ操作で写真と目的地とを入力した後のイメージである。ユーザインタフェースは、この例に限らず、端末種別、ブラウザ種別などに適宜合わせて、必要に応じて出発地情報などの入力欄を追加で組み込みつつ、使用しやすいように作成すればよい。

応答部１２は、受付部１１が受け付けた案内要求に対する応答をユーザ端末に送信するように構成されている。この応答には案内導出部１３で収集された乗物関連情報に含まれていた各種所望情報が含まれる。また、この応答には少なくとも案内導出部１３で導出された乗車適否が含まれる。なお、応答部１２は、目的地情報を含まない案内要求に対する応答については、乗車適否を含まない内容（案内情報）を利用者端末に応答することとしてもよい。

応答部１２は、受付部１１に対応させて、Ｗｅｂサイトに構築してもよいし、ユーザ端末に導入されるアプリを介してユーザ端末のプロセッサーに一部の処理を実行させるように構築してもよい。

また、応答部１２は、必要に応じて利用者の設定言語や要求情報に応じてユーザ端末に応答を通知すればよく、必要に応じて翻訳したり、経路案内を探索したりする仕組みを設けることとしてもよい。なお、この翻訳や経路案内は、外部システムの既存の翻訳システムや経路探索エンジン（プログラム、サービス）に委ねるように構成してもよい。また、設定言語による表示や経路探索、翻訳は、ユーザ端末用アプリにその機能を組み入れて、ユーザ端末側で行うこととしてもよい。

スマートフォンで応答を受け付けた際の表示例を図３に記載する。図３（ａ）は乗車適否と共に乗物関連情報に基づく乗物案内を想定した画面イメージであり、図３（ｂ）は図３（ａ）に続くスクロール若しくは次ページの表示画面の画面イメージである。

案内導出部１３は、受付部１１から案内要求に含まれていた画像データと目的地情報を受けて、各種データベースを参照して、画像データに写っていた乗物に関連する乗物情報を画像認識すると共に、その乗物情報をキーにして乗物関連情報の収集を実施するように構成されている。また、案内導出部１３は、乗物関連情報で特定した乗物が目的地に行くことに適するか否かを示す乗車適否を導出し、応答に含ませる乗車適否等を応答部１２に通知するように構成されている。なお、案内導出部１３は、目的地情報を受けつけていなければ、乗車適否を導出するプロセスを省略して各種データベースを参照して、画像データに写っていた乗物に関連する乗物情報と乗物関連情報の収集を実施して、応答部１２に通知するように構成すればよい。

案内システム１は、画像認識で取得を試みる乗物情報として、例えば、乗物種別、路線、運行会社、乗物位置、乗物固有番号を組み合わせて使用できる。

特徴量を用いた画像認識を行う場合、各乗物情報は、画像認識用データベースに予め準備されている画像認識用照合データとして、乗物種別を識別する特徴、路線を識別する特徴、運行会社を識別する特徴、乗物位置を識別する特徴、乗物固有番号を識別する特徴の照合データを準備することで利用できる。また、画像認識用データベースに乗物個体を識別する特徴の照合データを含めてもよい。画像認識用照合データは、採用する画像認識技術及び認識対象の乗物情報に合わせて適宜準備すればよい。

乗物種別を識別する照合データの内容は、限定しないものの、バスや電車などの一般物体認識に使用する照合データを使用してもよいし、サービスを展開する範囲で実際に運営されている公共交通機関の車両に限定した照合データを採用してもよい。同様に、限定しないものの、路線を識別する照合データには、例えば車体電光掲示板の文字や、車両ペイントが使用できる。運行会社を識別する照合データには、例えば車体に記載された文字やマークが使用できる。乗物位置を識別する照合データには、例えば背景構造物や、乗場構造物、乗場構造物に描かれている固有番号が使用できる。乗物固有番号を識別する照合データには、例えば電車やバスの車両番号や、バスのナンバープレートが使用できる。

なお、各照合データ相互も実際に運営されている各公共交通機関の運用実車両と同一に関連付けられていることが望ましい。このことで、例えば、早期に乗物種別と路線が確定した際に、乗物固有番号の照合データを該当乗物種別と路線のみに限定することができる。また、現在地情報が取得できていれば、この現在地情報を用いて、照合データを絞り込むことができる。例えば、案内システム１（案内導出部１３）は、画像認識を行う際に位置情報を参照できる場合に、画像認識用照合データを、周囲を通過する路線から順に、若しくは、周囲を通過する路線に限定して、画像認識を実施ように構成すればよい。

現在地情報が取得できていなければ、案内導出部１３は、位置情報も画像認識で取得することを試みてもよい。例えば、案内導出部１３は、画像データの背景の画像認識に基づいて、画像データから乗物の位置を算出することができる。背景に特徴的な構造物や、乗降場所を示す看板、目印などがあれば有効な位置特定手段となる。

また、案内導出部１３は、受付部１１から受け付けた現在地情報に対して画像データの画像解析に基づいて、画像データから乗物の位置を算出するように構成してもよい。例えば遠方の乗物の撮影画像であれば乗物の位置と現在地情報にズレが生じる。このような場合、案内導出部１３は、現在地情報と共に紐付けされている撮影条件や撮影対象の乗物の大きさから乗物の位置を導き出して、乗物関連情報として収集することを行ってもよい。

画像認識で取得を試みる乗物情報は、乗物種別を含めて少なくとも２つ以上を組み合わせて用いることが望ましい。なお、画像認識で取得できる一次的情報を増やすこと、照合データを実在する乗物に限定すること、認識できた乗物情報で他の照合データを絞ること、などで画像認識結果の精度や全体の応答速度が高まることが期待できる。

このように、案内導出部１３は、まず、画像認識で認識できた乗物情報を取得する。その後、案内導出部１３は、画像認識結果で得た乗物情報に基づいて該乗物に関する乗物関連情報を収集し、乗物関連情報に含まれる路線上の駅や停留所などの乗降可能場所と目的地を参照して乗車適否を導出する。

なお、乗物関連情報は、応答を受けた利用者端末が表示するデータそのもの、若しくは利用者に表示する情報の演算用データが含められる。また必要に応じて、案内システム１側でマイニング等で使用するデータを含めてもよい。乗物関連情報としては、例えば、乗物情報と同じ乗物種別、路線、運行会社、乗物固有番号が挙げられ、追加で、乗物の現在位置、乗物自体の案内情報を含める。乗物関連情報には、該当する乗物に関する経路などの様々な所要な情報を、画像認識結果の一次的情報をキーとして各種データベースから関連付ける。また、乗物関連情報には、関連付けた乗物関連情報を二次的情報やｎ次的情報として各種データベースから更に所要な情報を関連付ける。

案内導出部１３で行う乗物情報に基づく乗物関連情報の収集、及び乗物関連情報に基づく更なる乗物関連情報の収集は、収集する項目が予め纏められた情報収集パターンを予め複数種類準備しておき、各々の案内要求に対して何れかの情報収集パターンを選定して用いるようにしてもよい。

例えば、案内導出部１３は、該当案内要求で用いる情報収集パターンを画像認識により認識した乗物情報に基づいて選定することを行えばよい。また、例えば、案内導出部１３は、該当案内要求で用いる情報収集パターンを画像認識により認識した乗物情報と現在地情報に基づいて選定することを行ってもよい。このことで、例えば乗物情報として取得された乗物種別が電車であるかバスであるか、現在地情報が取得済みであるか否かなどで、使用する情報収集パターンを変更できる。

この選定した情報収集パターンと現在地情報に基づいて乗物関連情報を収集することで、乗物の正確な同定や、応答速度の向上が見込める。

案内システム１は、乗物関連情報として、例えば、乗物の時刻表データや、行先情報、運行状態、別経路の有無、料金表、支払可能方法、所要時間、混雑状態、遅延情報、データベース上の位置情報を使用できる。

この乗物関連情報は、例えば公共交通機関が逐次蓄積している最新の情報データベースに適宜アクセスして取り込むこととしてもよいし、時刻表や料金表などのように変化が少ないデータについては案内システム１内に予め取り込んでそのデータにアクセスするようにしてもよい。また、公共交通機関がキーとなる乗物情報と乗物関連情報とを関連付けたデータベースをネットワーク上に提供して、案内導出部１３がそのデータベースに所要にアクセスするようにしてもよい。

なお、案内導出部１３は、乗物が目的地に行く経路として適するか否かを示す乗車適否を導出するように構成してもよい。この乗物が目的地に行く経路として適するか否かは、画像データから画像認識した一次情報から特定された乗物が目的地に行く経路として 他の経路に比較して 適するか否かを相対的に示すこととしてもよい。比較基準は、移動総時間や移動後の歩行距離を用いて任意に定めればよい。

また、案内導出部１３は、複数の画像データから一つの乗物に関する乗物情報を画像認識で取得するように構成することが望ましい。このように構成することで、複数の画角の静止画や、静止画と動画のように、入力画像を増やすことで、乗物をより正確に誤りなく特定することが可能になる。

なお、案内システム１は、画像認識結果として、乗物情報（例えば乗物種別、路線、運行会社、乗物位置、乗物固有番号の何れも）を取得できなかった場合、利用者にエラー応答や画像の再送信を要求する応答をすればよい。

また、案内システム１（案内導出部１３）は、受付部１１から受け付けた画像データからキーとする乗物情報を得られない場合に、ユーザ端末に、乗物情報を得られやすい見本画像を通知するようにしてもよい。例えば、車両に近づきすぎている画像や特徴があまり無い部分の画像からは、乗物情報を取得することは困難である。このため、利用者に撮ってもらいたい画角見本（例えば斜め正面画像、斜め後方画像、車両電光掲示板画像）を提示可能に案内システム１を構築することが望ましい。また、この際、認識できていない乗物情報を得る事に適した見本画像を案内システム１が選定して通知することが望ましい。例えば、乗物固有番号を認識したければ、乗物固有番号が写った１ないし複数の画像をユーザに提示すれば、ユーザから画像認識に適した画像を得られる可能性が高まる。

また、案内システム１（案内導出部１３）は、導出した乗車適否で認識された乗物が目的地に行く経路として適していない場合、代替え経路をユーザ端末に通知することを行ってもよい。この代替え経路は、案内システム１内に設けられた経路案内部や、案内システム１と連携する経路案内システムから取得すればよく、特に代替え経路の取得方法については限定しない。

次に、案内導出部１３に係る動作例を説明する。図４は、案内導出部１３に係る一動作例を示すフローチャートである。

まず、案内導出部１３は、画像データと目的地情報を取得する（Ｓ１０１）。なお、目的地情報を受けつけていなければ、案内導出部１３は、以下の動作を乗車適否を導出するＳ１０５を飛ばすように動作させればよい。

次に、案内導出部１３は、取得した画像データに写っていた乗物情報を画像認識する（Ｓ１０２）。案内導出部１３は、画像認識で乗物情報を認識できなければ利用者に追加情報／画像や不足情報／画像を照会する（Ｓ１０７）。

この画像認識では、バスや電車が写っている画像データから目的の認識対象の乗物情報を少なくとも１つ以上認識する。なお、照合データが充実していれば、車体模様や車体形状、特徴部分などを参照することで、画像認識のみによっても一般名称（乗物種別）に留まらず、例えば、路線、運行会社、車両位置、乗物固有番号を取得できる。

次に、案内導出部１３は、画像認識により認識した乗物情報に基づいて、案内要求された乗物に関する乗物関連情報を収集する（Ｓ１０３）。この乗物関連情報を収集する際に、案内導出部１３は、図５に例示するような情報収集パターンテーブル（情報収集パターン一覧）から 認識した乗物情報に基づいて選択された情報収集パターンを読み込むと共に、現在地情報を用いて収集対象の各種情報を特定して収集する。

案内導出部１３は、図６に例示するような案内要求−乗物関連情報テーブルに、収集した乗物関連情報を案内要求毎に管理する。そして、案内導出部１３は、この案内要求毎に収集した乗物関連情報を応答部１２に通知する。この応答部１２への乗物関連情報の通知は、纏めて通知してもよいし、項目ごとに通知することとしてもよく、特に限定しない。

案内導出部１３は、乗物関連情報の収集を進めて乗物を同定できれば次のステップに進み（Ｓ１０４）、乗物関連情報の収集を進めても乗物を同定できなければ利用者に追加情報／画像や不足情報／画像を照会する（Ｓ１０７）。ここでの乗物関連情報は、認識済みの乗物情報、乗物情報から導出した情報、導出した情報を使用して更に導出した情報を用いて、対象をユニークに識別できる情報とする。個々の乗物は、多くの場合、乗物の形状や模様、色彩の特徴と車両の位置情報に基づいて対象をユニークに識別できる。なお、車両の現在地情報はどのように取得してもよく、特に取得手法を限定しない。例えば、車両の現在地情報は、画像データの撮影位置座標を使用すればよい。また、画像データに位置座標が付与されていなければ、別途ユーザ端末の位置情報の取得を要求するようにしてもよい。

なお、乗物関連情報を取得する各種データベースは、図７から図９に例示するようなテーブル形式の乗物関連情報にアクセスしてもよいし、他の形式の乗物関連情報にアクセスするようにしてもよく、特に限定しない。また、データベースの位置も、システム内外に混在していてもよく、特に限定しない。各種データベースは、例示したものに限定されず、最新且つ正確な情報を提供するデータベースを用いればよい。例えば、イベント名とイベント会場目を紐付けるデータベースや、各言語で目的地や乗降場所を示したデータベース、遅延状況を提供するデータベース、電車の車両毎の混雑度を提供するデータベース、後続バスの混雑度と到着予定時刻を提供するデータベースなどを参照可能に設けることとしてもよい。また、データベース内容も固定せず、適宜新たな内容を追加できるように構築することが望ましい。

次に、案内導出部１３は、乗物関連情報と目的地情報を参照して、当該乗物が目的地に行くことに適するか否か、すなわち、乗車適否を判定する（Ｓ１０５）。この乗車適否は、例えば、経路案内によって目的地への経路として優先的に採用される乗物であるか否かを参照して判別すればよい。またこの乗車適否については、目的地への経路として優先的に採用されない乗物であっても、目的地に着くか否かを判断基準としてもよい。この目的地へ行くことに適する度合を示す情報も利用者に提供することとしてもよい。なお、目的地へ行くことに適する度合を示す情報は、利用者から時間優先／料金優先／分かり易さ優先などの項目の登録を１ないし複数受け付けて、その優先事項及び優先順位に合わせて導き出せるようにしてもよい。

最後に、案内導出部１３は、判定した乗車適否に関する情報と共に、到着時間、移動経路、乗車ルール等の未通知である乗物関連情報があれば応答部１２に通知する（Ｓ１０６）。なお、乗物関連情報の受け渡しは、応答部１２に通知する形態を取らずに、応答部１２が図６に例示した案内要求−乗物関連情報テーブルを参照する態様としてもよい。

この後、応答部１２は、受付部１１が受け付けた案内要求に対する、少なくとも乗車適否が含まれる応答をユーザ端末に送信することとなる。

この応答を受けたユーザ端末は、利用者に撮影した乗物に乗れば目的地に行けるか判断の助けになる有益な乗車適否に関する情報を提示できる。すなわち、案内システム１は、乗車適否に関する情報を利用者に提供できる。

［実施形態の動作説明］
ここで、ユーザ端末に対する案内システム１の乗車案内方法について、事例を想定しながら説明する。

図１０は、案内システム１に係る一動作例を示すシーケンス図である。なお、案内システム１には、内部データベースに画像認識用照合データと乗物関連情報となる各交通機関の最新且つ詳細な情報（路線図や時刻表、運行情報、混雑状況など）が逐次収集されて逐次更新されている。またデータベースに登録されている目的地情報には、予め駅名・停留所名などの乗降位置の他にホテル名や、観光地、イベント（会場）名などが含まれている。各目的地情報は、可能な限り多くの言語で登録されており、各目的地にユニークな識別子が付与されている。また、未登録の言語で入力された目的地や、外国語表記の住所で指定された場合は、日本語に翻訳して案内システム１で使用する。

ユーザ端末は、撮影部（カメラ機能）、入力部（タッチインタフェース）、測位部（ＧＰＳ機能）を有する一般的なスマートフォンを想定して説明する。また、ユーザ端末は、カメラ機能を用いて撮影した際に位置情報を画像データに付与する機能を有効に設定されていることとする。

また、このユーザ端末には案内システム１用のアプリプログラムが導入され、利用者に図２で例示したシンプルな案内要求送信用ユーザインタフェースを提供する。このアプリプログラムは、例えば外国人観光客やイベント利用者などに、公共交通機関やシャトルバスを利用する手助け用アプリとして紹介して利用してもらう。このアプリプログラムは、各言語で各項目や説明を表示可能に作られている。

まず、利用者による準備過程で、案内システム１用のアプリプログラムが使用するスマートフォンにインストールされ、言語設定がされる。

利用者は、目的地（ここでは『○×ホテル』とする）へ行く際に、スマートフォンを操作して、案内アプリを起動し、『○×ホテル』（目的地情報）を自国語で入力し、目前の公共バス（乗物）の写真（画像データ）を撮り、案内開始（案内システム１への案内要求）をタップ（送信）する。この際、ユーザ端末（スマートフォン）は、通信ネットワークを介して、位置情報付き画像データと 日本語に変換された目的地情報か目的地情報のユニークＩＤが含まれる案内要求を案内システム１（受付部１１）に送信する（Ｓ１００１）。

案内システム１（受付部１１）は、ユーザ端末から送信された案内要求を受け付け、当該案内要求に含まれていた画像データ及び目的地情報を案内導出部１３に通知する（Ｓ１００２）。

案内システム１（案内導出部１３）は、受け付けた画像データ及び目的地情報を受け付けて、データベースの照合データを参照して、画像データ内の１ないし複数の乗物情報を画像認識し（Ｓ１００３）、認識できた乗物情報をキーにして乗物関連情報を収集し、乗物関連情報を応答部１２に通知する（Ｓ１００４）。なお、この時点の乗物関連情報には、認識できた乗物種別や路線情報が含まれることとする。

次に、案内システム１（案内導出部１３）は、画像認識で取得した乗物関連情報（乗物種別，系統情報など）と、データベースにある同一路線を走行する車両それぞれの位置情報、画像データに付与されていた位置情報 等を照合して、特定した路線を走行する車両内から 利用者によって撮影された乗物を識別する。合わせて、案内導出部１３は、応答に含める関連情報をデータベースから取得して、乗物関連情報を応答部１２に通知する（Ｓ１００５）。なお、応答部１２がデータベースを参照して応答に利用する関連情報を取得するように構成されてもよい。

次に、案内システム１（案内導出部１３）は、確定した乗物関連情報と目的地情報を参照して乗物が目的地に行くことに適しているか否かを示す乗車適否を判定し、乗車適否の判定結果を応答部１２に通知する（Ｓ１００６）。

次に、案内システム１（応答部１２）は、案内要求に対する応答として、収集した関連情報と共に、撮影された乗物が目的地に行くことに適しているか否かを示した乗車適否の判定結果を、ユーザ端末に通知する（Ｓ１００６）。

この応答を受けたユーザ端末は、画面上に図３に例示した乗車適否と乗物案内（乗物関連情報）を 設定されている言語で表示する（Ｓ１００７）。

利用者は、自国の言語で目前の乗物が目的地に行くことに適しているか容易に判別がつく情報を得られる。また、乗物案内を参照することで、目前の乗物に関連する多くの事項を同時的に得られる。この結果、利用者が乗物を利用する不安要素の幾つかを解決し、不安を低減できる。

図２と図３に例示したユーザインタフェースでは、利用者は、目前のバスに乗れば目的地に周辺に行けること、他の交通機関より最適であること、乗車後の経路、料金の支払い方法、などの様々な情報を、目的地の入力と写真撮影の動作と案内要求を送信する動作で得られる。

このため、例えば外国人観光客は、自国言語による案内表示が無い場合でも、目前のバス停に停車したバスに乗ることが適当であるか判断材料が得られて、不安を和らげられる。このような判断材料は、バス停までの経路を案内してくれる既存の経路案内アプリは提供されない。

以上説明したように、本発明によれば、利用者の乗物を利用する幾つかの不安要素を低減し得る案内システムを提供できる。
尚、案内システムの各部は、図１１や図１２に例示するように、コンピュータシステム（サーバシステム）のハードウェアとソフトウェア、仮想化技術の組み合わせを適宜用いて実現すればよい。このコンピュータシステムは、所望形態に合わせた、１ないし複数のプロセッサーとメモリーを含む。また、このコンピュータシステムの形態では、各部は、上記メモリーに案内システム用のプログラムが展開され、このプログラムに基づいて１ないし複数のプロセッサー等のハードウェアを実行命令群やコード群で動作させることによって、実現すればよい。この際、必要に応じて、このプログラムは、オペーレティングシステムや、マイクロプログラム、ドライバなどのソフトウェアが提供する機能と協働して、各部を実現することとしてもよい。

メモリーに展開されるプログラムデータは、プロセッサーを１ないし複数の上述した各部として動作させる実行命令群やコード群、テーブルファイル、コンテンツデータなどを適宜含む。

また、コンピュータシステムの一部／全ての各部をハードウェアやファームウェア（例えば、一ないし複数のLSI：Large-Scale Integration，FPGA：Field Programmable Gate Array，電子素子の組み合わせ）で置換することとしてもよい。同様に、各部の一部のみをハードウェアやファームウェアで置換することとしてもよい。

また、このプログラムは、記録媒体に非一時的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介してメモリーに読込まれ、プロセッサー等を動作させる。

尚、本明細書では、記録媒体には、類似するタームの記憶媒体やメモリー装置、ストレージ装置なども含むこととする。この記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリー装置、ハードディスク装置、テープメディアなどが挙げられる。また、記録媒体は、不揮発性であることが望ましい。また、記録媒体は、揮発性モジュール（例えばRAM：Random Access Memory）と不揮発性モジュール（例えばROM：Read Only Memory）の組み合わせを用いることとしてもよい。

上記形態を別の表現で説明すれば、案内システムとして動作させるサーバシステムを、メモリーに展開された上記プログラム（群）に基づき、受付部、案内部、応答部などとして動作させることで、案内システムを実現できる。

なお、実施形態を例示して本発明を説明した。しかし、本発明の具体的な構成は前述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。例えば、上述した実施形態のブロック構成の分離併合、手順の入れ替えなどの変更は本発明の趣旨および説明される機能を満たせば自由であり、上記説明が本発明を限定するものではない。

また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、
前記画像データから画像認識により認識された乗物の乗物情報に基づいて、該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部と、
を含むことを特徴とする案内システム。

［付記２］
前記案内部は、前記乗物関連情報と目的地を参照して乗車適否を導出する際に、前記乗物が 目的地に行く経路として 他の経路に比較して 適するか否かを示す乗車適否を導出することを特徴とする付記１に記載の案内システム。

［付記３］
前記受付部は、前記ユーザ端末からの１つの案内要求に対して複数の画像データを受け付け可能に構成され、
前記案内部は、前記複数の画像データから一つの乗物に関する乗物情報を画像認識で取得する
ことを特徴とする付記１又は２に記載の案内システム。

［付記４］
前記案内部は、前記受付部から受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知することを特徴とする付記１から３の何れか一項に記載の案内システム。

［付記５］
前記案内部は、公共交通機関が提供した乗物情報と乗物関連情報とを関連付けたデータベースを参照して、乗物情報をキーとして乗物関連情報を取得することを特徴とする付記１から３の何れか一項に記載の案内システム。

［付記６］
前記案内部は、画像認識により認識した乗物情報に基づいて、案内要求に対して収集する項目を予め纏めた情報収集パターンを選定し、選定した情報収集パターンと現在地情報に基づいて、該乗物に関する乗物関連情報を収集することを特徴とする付記１から３の何れか一項に記載の案内システム。

［付記７］
前記案内部は、前記画像データをテンプレートマッチングによる画像認識によって、写っていた乗物をユニークに区別する最終粒度まで認識できなかった場合に、画像認識結果として、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを取得し、画像認識結果に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して前記乗物が目的地に行くことに適するか否かを示す乗車適否を導出することを特徴とする付記１から６の何れか一項に記載の案内システム。

［付記８］
前記受付部は、ユーザ端末から多言語で目的地を受け付け可能に構築され、
前記応答部は、応答に含める情報を利用者によって設定されている言語で通知する、
ことを特徴とする付記１から７の何れか一項に記載の案内システム。

［付記９］
ユーザ端末から目的地及び画像データを少なくとも含む案内要求を受け付け、
前記画像データに写っていた乗物の乗物情報を画像認識すると共に、画像認識により認識した乗物情報に基づいて該乗物に関する乗物関連情報を取得し、
前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出し、
前記ユーザ端末に導出した少なくとも乗車適否を含む応答を通知する
ことを特徴とする情報処理システムによる案内方法。

［付記１０］
サーバシステムを、
ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、
前記画像データから画像認識により認識された乗物の乗物情報に基づいて、該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部、
として動作させることを特徴とする案内プログラム。

［付記１１］
案内プログラムをコンピュータ読み取り可能に非一時的に記録した記録媒体であって、
サーバシステムのメモリーに展開された前記案内プログラムに基づき少なくとも一つのプロセッサーを、
ユーザ端末から目的地及び画像データを少なくとも含む案内要求を通信ネットワークを介して取得する受付部と、
前記受付部で受け付けた前記画像データを画像認識して乗物情報を取得し、取得された該乗物情報に基づいて、当該乗物に関する乗物関連情報をデータベースから取得し、前記乗物関連情報と 前記案内要求に含まれていた目的地と を参照して、該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通信ネットワークを介して通知する応答部、
として動作させることを特徴とする記録媒体。

上記発明の説明では、既存の経路案内システムと連携する案内システムを説明したが案内システムと経路案内システムを統合した態様とすることも可能である。この場合、例えば、既存の経路案内システムの要求入力画面上にカメラアイコン等を追加し、案内結果画面上に乗車適否を表示する態様とすればよい。

この出願は、２０１７年４月２６日に出願された日本出願特願２０１７−０８７３０５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 案内システム
１１ 受付部
１２ 応答部
１３ 案内導出部

Claims (12)

1. ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、
   前記画像データから画像認識により認識された乗物の乗物情報に基づいて、該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
   前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部と、
   を含み、
   前記案内部は、前記受付部から受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知する
   ことを特徴とする案内システム。
2. ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、
   前記画像データから画像認識により写っていた前記乗物をユニークに区別する最終粒度まで認識できなかった際にも、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを乗物情報として画像認識によって取得し、画像認識された前記乗物情報に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
   前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部と、
   を含むことを特徴とする案内システム。
3. 前記受付部は、前記ユーザ端末からの１つの案内要求に対して複数の画像データを受け付け可能に構成され、
   前記案内部は、前記複数の画像データから一つの乗物に関する乗物情報を画像認識で取得する
   ことを特徴とする請求項１又は２に記載の案内システム。
4. 前記案内部は、前記乗物関連情報と目的地を参照して乗車適否を導出する際に、前記乗物が 目的地に行く経路として 他の経路に比較して 適するか否かを示す乗車適否を導出することを特徴とする請求項１から３の何れか一項に記載の案内システム。
5. 前記案内部は、公共交通機関が提供した乗物情報と乗物関連情報とを関連付けたデータベースを参照して、乗物情報をキーとして乗物関連情報を取得することを特徴とする請求項１から４の何れか一項に記載の案内システム。
6. 前記案内部は、画像認識により認識した乗物情報に基づいて、案内要求に対して収集する項目を予め纏めた情報収集パターンを選定し、選定した情報収集パターンと現在地情報に基づいて、該乗物に関する乗物関連情報を収集することを特徴とする請求項１から５の何れか一項に記載の案内システム。
7. 前記受付部は、ユーザ端末から多言語で目的地を受け付け可能に構築され、
   前記応答部は、応答に含める情報を利用者によって設定されている言語で通知する、
   ことを特徴とする請求項１から６の何れか一項に記載の案内システム。
8. 前記案内部は、前記画像データをテンプレートマッチングによる画像認識によって、写っていた乗物をユニークに区別する最終粒度まで認識できなかった場合に、画像認識結果として、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを取得し、画像認識結果に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して前記乗物が目的地に行くことに適するか否かを示す乗車適否を導出することを特徴とする請求項１に記載の案内システム。
9. ユーザ端末から目的地及び画像データを少なくとも含む案内要求を受け付け、
   前記画像データに写っていた乗物の乗物情報を画像認識すると共に、画像認識により認識した乗物情報に基づいて該乗物に関する乗物関連情報を取得し、
   前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出し、
   前記ユーザ端末に導出した少なくとも乗車適否を含む応答を通知する、
   この際、受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知する
   ことを特徴とする情報処理システムによる案内方法。
10. ユーザ端末から目的地及び画像データを少なくとも含む案内要求を受け付け、
    前記画像データに写っていた乗物の乗物情報を画像認識すると共に、画像認識により写っていた前記乗物をユニークに区別する最終粒度まで認識できなかった際にも、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを乗物情報として画像認識によって取得し、画像認識した前記乗物情報に基づいて該乗物に関する乗物関連情報を収集し、
    前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出し、
    前記ユーザ端末に導出した少なくとも乗車適否を含む応答を通知する
    ことを特徴とする情報処理システムによる案内方法。
11. サーバシステムを、
    ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、
    前記画像データから画像認識により認識された乗物の乗物情報に基づいて、該乗物に関する乗物関連情報を取得し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
    前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部、
    として動作させ、
    また、前記案内部が、前記受付部から受け付けた画像データから乗物情報を認識できない場合に、前記ユーザ端末に、乗物情報を認識可能な画像の見本を示す見本画像を通知させるよう動作させる
    ことを特徴とする案内プログラム。
12. サーバシステムを、
    ユーザ端末から目的地及び画像データを少なくとも含む案内要求を取得する受付部と、
    前記画像データから画像認識により写っていた前記乗物をユニークに区別する最終粒度まで認識できなかった際にも、乗物種別、路線、運行会社、乗物位置、乗物固有番号の少なくとも一つを乗物情報として画像認識によって取得し、画像認識された前記乗物情報に基づいて該乗物に関する乗物関連情報を収集し、前記乗物関連情報と目的地を参照して該乗物が目的地に行くことに適するか否かを示す乗車適否を導出する、案内部と、
    前記ユーザ端末に前記案内部で導出した少なくとも乗車適否を含む応答を通知する応答部、
    として動作させることを特徴とする案内プログラム。

Images