JP6833472B2 - 車載装置、及び情報処理システム - Google Patents

Description

本発明は、車載装置、及び情報処理システムに関する。

従来、車両に撮像部（カメラ）を搭載し、撮像部により取得した画像を解析し、解析結果に基づいて処理を行う車載装置（車載カメラ装置）が知られている（例えば、特許文献１参照）。

特開２０１６−１３９１９７号公報

上述した特許文献１に記載の車載装置のように、車両に撮像部を搭載し、撮像部により取得した画像を解析することが可能な装置では、解析結果を用いてより有益な処理を実行できるようにしたとするニーズがある。
本発明は、上述した事情に鑑みてなされたものであり、車両に搭載された撮像部により取得した画像に基づいて有益な処理を実行できるようにすることを目的とする。

上記目的を達成するために、本発明は、車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列の先頭の位置に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記施設に関する情報と前記行列に関する情報を対応付けし、所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを表示パネルへ出力する制御部を備えることを特徴とする。
また、本発明は、前記制御部は、前記撮像部により取得した画像に人物の顔が含まれているかどうかを判断し、前記画像に基づいて前記行列の先頭の位置を算出することを特徴とする。

また、本発明は、前記制御部は、行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力することを特徴とする。

また、本発明は、前記制御部は、前記撮像部により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識することを特徴とする。

また、本発明は、前記制御部は、画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別することを特徴とする。

また、上記目的を達成するために、本発明は、車載装置と、前記車載装置と通信可能なサーバとを備える情報処理システムであって、前記車載装置は、車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記検索した施設に関する情報及び認識した行列の先頭の位置に関する情報と前記先頭の位置に対応する施設とを前記サーバに送信し、所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを出力し、前記サーバは、施設に関する情報、及び、行列に関する情報を受信し、前記施設に関する情報と前記行列に関する情報を対応付けして記憶し、前記車載装置が前記所定の検索条件に基づいて検索した結果として抽出された施設に対応する前記施設に関する情報と前記行列に関する情報を前記車載装置へ送信することを特徴とする。

本発明によれば、車両に搭載された撮像部により取得した画像に基づいて有益な処理を実行できる。

本実施形態に係る情報処理システムの構成を示す図。 車載装置、及び、制御サーバの機能的構成を示すブロック図。 車載装置、及び、制御サーバの動作を示すフローチャート。 車載装置の動作を示すフローチャート。 撮影画像データを示す図。 撮影画像データを示す図。 車載装置の動作を示すフローチャート。 撮影画像データを示す図。 タッチパネルに表示される情報の一例を示す図。 車載装置、及び、制御サーバの動作を示すフローチャート。 検索結果表示画面の一例を示す図。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る情報処理システム１の構成を示す図である。
図１に示すように、情報処理システム１は、インターネットや電話網を含んで構成されたネットワークＮに接続された制御サーバ１０（サーバ）を備える。また、情報処理システム１は、車両Ｓに搭載された車載装置１２を備える。制御サーバ１０、及び、車載装置１２は、ネットワークＮを介して通信可能である。これら装置の構成、機能、及び、機能に基づく処理については後述する。
なお、図１では、制御サーバ１０を１つのブロックで表すが、これは制御サーバ１０が単一のサーバ装置により構成されることを意味するものではない。制御サーバ１０は、複数のサーバ装置を含んで構成されたものでもよく、所定のシステムの一部であってもよい。すなわち、制御サーバ１０は、以下で説明する機能を有していれば、その形態はどのようなものであってもよい。また、詳細は省略するが、制御サーバ１０と車載装置１２との間では、所定の暗号化技術、その他のセキュリティーに関する技術により、セキュアな通信が行われる。

図２は、車載装置１２、及び、制御サーバ１０の機能的構成を示すブロック図である。

車載装置１２は、車両Ｓに搭載された装置である。車載装置１２は、車両Ｓの現在位置を検出する自車位置検出を行う機能や、地図上に車両Ｓの現在位置を表示する車両位置表示を行う機能、目的地までの経路を探索する経路探索を行う機能、及び、地図を表示して、地図上に目的地までの経路を表示し目的地までの経路を案内する経路案内を行う機能等を備える。

図２に示すように、車載装置１２は、制御部２０と、記憶部２１と、操作部２２と、通信部２３と、ＧＰＳユニット２４と、相対方位検出ユニット２５と、タッチパネル２６と、撮像部２７と、を備える。

制御部２０は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他周辺回路等を備え、車載装置１２の各部を制御する。制御部２０は、例えば、ＣＰＵが、ＲＯＭが記憶する制御プログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により、車載装置１２の各部を制御する。

記憶部２１は、不揮発性メモリーを備え、各種データを記憶する。
記憶部２１は、地図データ２１１を記憶する。
地図データ２１１は、道路の形状の描画に係る道路描画データや、地形等の背景の描画に係る背景描画データ、行政区画等の文字列の描画に係る文字列描画データ等の地図の表示に係る描画データを含む。また、地図データ２１１は、交差点等の道路網における結線点に対応するノードに関する情報を有するノード情報や、ノードとノードとの間に形成される道路に対応するリンクに関する情報を有するリンク情報等の経路の探索、及び、経路の案内に係る情報を含む。なお、地図データ２１１は、地図に関する他の情報を含んでもよい。
記憶部２１は、施設データ２１２を記憶する。
施設データ２１２は、地図上の施設ごとに、施設識別情報と、施設位置情報と、施設カテゴリー情報と、施設関連情報と、施設名称情報とを対応付けて記憶する。
施設識別情報は、施設を識別する識別情報である。施設位置情報は、施設の位置を、経度、及び緯度の組み合わせによって表す情報である。施設カテゴリー情報は、施設のカテゴリーを示す情報である。施設名称情報は、施設の名称を示す情報である。
なお、施設データ２１２は、施設に関する他の情報を含んでもよい。

操作部２２は、車載装置１２の筐体に設けられた操作スイッチ２２１を備え、操作スイッチ２２１に対する操作を検出し、操作に対応する信号を制御部２０に出力する。制御部２０は、操作部２２から入力された信号に基づいて、操作に対応する処理を実行する。

通信部２３は、制御部２０の制御に従って、所定の通信規格に従って、ネットワークＮにアクセスし、ネットワークＮと接続する機器（制御サーバ１０を含む。）と通信する。車載装置１２と制御サーバ１０との間での通信に用いられる通信規格は、何でもよい。通信規格は、例えば、ＨＴＴＰや、ＷｅｂＳｏｃｋｅｔである。
なお、本実施形態では、車載装置１２が、ネットワークＮにアクセスする機能を有する。しかしながら、車載装置１２が当該機能を有さず、ネットワークＮにアクセスする機能を有する外部の装置と通信し、当該外部の装置を介してネットワークＮにアクセスする構成でもよい。例えば、車載装置１２は、車両Ｓに搭乗するユーザが所有する携帯機器（例えば、いわゆるスマートフォンや、タブレット型のコンピューター。）と、近距離無線通信し、当該携帯機器を介してネットワークＮにアクセスしてもよい。

ＧＰＳユニット２４は、図示しないＧＰＳアンテナを介してＧＰＳ衛星からのＧＰＳ電波を受信し、ＧＰＳ電波に重畳されたＧＰＳ信号から、車両Ｓの現在位置と進行方向とを演算により検出する。ＧＰＳユニット２４は、検出結果を制御部２０に出力する。

相対方位検出ユニット２５は、ジャイロセンサと、加速度センサとを備える。ジャイロセンサは、例えば振動ジャイロにより構成され、車両Ｓの相対的な方位（例えば、ヨー軸方向の旋回量）を検出する。加速度センサは、車両Ｓに作用する加速度（例えば、進行方向に対する車両Ｓの傾き）を検出する。相対方位検出ユニット２５は、検出結果を制御部２０に出力する。

タッチパネル２６は、表示パネル２６１と、タッチセンサ２６２とを備える。
表示パネル２６１は、液晶表示パネルや有機ＥＬ表示パネル等の表示装置である。制御部２０は、表示パネル２６１を駆動して、表示パネル２６１に画像を表示する。
タッチセンサ２６２は、タッチパネル２６が接触操作された場合、接触操作された位置（以下、「接触位置」という。）を示す信号を制御部２０に出力する。制御部２０は、タッチセンサ２６２から入力された接触位置を示す信号に基づいて、接触操作に対応する処理を実行する。

撮像部２７は、車両Ｓに搭載され、車両Ｓの進行方向に向かって左方を撮影するカメラを有する。撮像部２７は、制御部２０の制御で、所定の周期で撮影を実行する。撮像部２７は、撮影の結果に基づいて撮影画像データを生成し、生成した撮影画像データを、制御部２０に出力する。撮影画像データは、色に関する情報（例えば、ＲＧＢの各色の色成分を所定階調の階調値で表す情報）を有するドットが、所定の解像度に対応してドットマトリックス状に配置されたビットマップデータである。
なお、本実施形態では、撮像部２７は、車両Ｓの左方を撮影する。これは、本実施形態に係る車両Ｓが左側通行することを前提とし、後述するように、撮像部２７の撮影結果に基づく撮影画像データを、行列が発生しているか否かの判別に利用するためである。ただし、車両Ｓが右側通行する場合は、撮像部２７が車両Ｓの右方を撮影する構成でもよい。また、撮像部２７は、車両Ｓの進行方向に向かって左方を撮影するカメラ、右方を撮影するカメラを有し、左方、右方のそれぞれを撮影する構成でもよい。この場合、制御部２０は、後述する行列の検出に係る処理を、左方のカメラの撮影に基づく撮影画像データ、及び、右方のカメラの撮影に基づく撮影画像データのそれぞれに基づいて実行する。また、撮像部２７は、車両Ｓの前方を撮影する広角カメラを有し、当該広角カメラによって車両Ｓの前方を撮影する構成でもよい。

上述したように、車載装置１２は、車両Ｓの現在位置を検出する自車位置検出を行う機能、地図上に車両Ｓの現在位置を表示する車両位置表示を行う機能、目的地までの経路を探索する経路探索を行う機能、及び、地図を表示して、地図上に目的地までの経路を表示し目的地までの経路を案内する経路案内を行う機能を備える。自車位置検出に際し、制御部２０は、ＧＰＳユニット２４及び相対方位検出ユニット２５からの入力、及び、地図データ２１１に基づいて、車両Ｓの現在位置を検出する。なお、車両Ｓの現在位置を検出する方法はどのような方法であってもよく、また、検出に際し、車速を示す情報等の本実施形態で例示する情報以外の情報を用いてもよい。また、車両位置表示に際し、制御部２０は、地図データ２１１に基づいて、検出した現在位置を中心とした所定のスケールの地図をタッチパネル２６に表示すると共に、検出した車両Ｓの現在位置を示すマークを地図に表示する。また、経路探索に際し、制御部２０は、地図データ２１１に基づいて、検出した現在位置から、ユーザに設定された目的地に至る経路を探索する。また、経路案内に際し、制御部２０は、目的地までの経路を地図上に表示すると共に、検出した車両Ｓの現在位置を地図上に表示し、目的地に至るまでの経路を案内する。

制御サーバ１０は、車載装置１２と通信可能なサーバである。
図２に示すように、制御サーバ１０は、サーバ制御部４０と、サーバ記憶部４１と、サーバ通信部４２とを備える。

サーバ制御部４０は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他周辺回路等を備え、制御サーバ１０の各部を制御する。サーバ制御部４０は、例えば、ＣＰＵが、ＲＯＭが記憶する制御プログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により、制御サーバ１０の各部を制御する。
サーバ記憶部４１は、不揮発性メモリーを備え、各種データを記憶する。
サーバ通信部４２は、サーバ制御部４０の制御に従って、所定の通信規格に従って、ネットワークＮにアクセスし、ネットワークＮと接続する機器（車載装置１２を含む。）と通信する。

なお、図２は、本願発明を理解容易にするために、情報処理システム１の各装置の機能構成を主な処理内容に応じて分類して示した概略図である。車載装置１２、及び、制御サーバ１０の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

ところで、施設に対応して、施設を利用することを望む人物により、行列ができる場合がある。施設に対応して行列が発生している場合、その施設の人気があると想定でき、また、その施設を利用する場合は、施設を利用するまでに待ち時間が発生すると想定できる。このことを踏まえると、施設に対応して発生した行列に関する情報は、その施設に関する有益な情報と言える。
以上を踏まえ、車載装置１２、及び、制御サーバ１０は、以下の処理を実行する。

図３は、車載装置１２、及び、制御サーバ１０の動作を示すフローチャートである。図３のフローチャートＦＡは車載装置１２の動作を示し、フローチャートＦＢは制御サーバ１０の動作を示す。

ここで、車載装置１２は、動作モードとして、第１モードを備える。ユーザは、所定の手段により、動作モードを第１モードとすることができる。車載装置１２は、動作モードが第１モードの場合に、図３のフローチャートＦＡで示す処理を実行する。

図３のフローチャートＦＡに示すように、車載装置１２の制御部２０は、撮像部２７から入力された撮影画像データを取得する（ステップＳＡ１）。
上述したように、撮像部２７は、所定の周期で車両Ｓの左方を撮影し、撮影の結果に基づく撮影画像データを制御部２０に出力する。この結果、車両Ｓの走行中、撮像部２７は、走行する車両Ｓの左方を所定の周期で撮影し、所定の周期で撮影画像データを制御部２０に出力する。制御部２０は、撮像部２７が撮影画像データを出力する周期に対応する周期でステップＳＡ１の処理を実行し、ステップＳＡ１の処理の実行（撮影画像データの取得。）をトリガーとして、ステップＳＡ２以下の処理を実行する。なお、制御部２０は、撮像部２７が撮影画像データを出力する周期とは異なる周期でステップＳＡ１の処理を実行してもよい。例えば、撮像部２７が１０ｍｓ周期で撮影画像データを出力する一方、制御部２０が１ｓ周期でステップＳＡ１の処理を実行する構成でもよい。

次いで、制御部２０は、ステップＳＡ１で取得した撮影画像データを分析し、撮影画像データが表す画像（以下、「撮影画像」という。）に、人物が含まれているか否かを判別する（ステップＳＡ２）。
ステップＳＡ２において、制御部２０は、撮影画像データに基づいて、パターンマッチングを用いた既存の技術で顔認識処理（人物の顔を認識する処理。）を実行し、当該処理の結果に基づいて、撮影画像に、人物が含まれているか否かを判別する。ステップＳＡ２の処理は、どのような方法で行なわれてもよい。
撮影画像に、人物が含まれていない場合（ステップＳＡ２：ＮＯ）、撮影された現実の空間において行列は発生していないため、制御部２０は、処理を終了する。
撮影画像に、人物が含まれている場合（ステップＳＡ２：ＹＥＳ）、制御部２０は、撮影画像に含まれる人物の人数が、第１閾値を上回るか否かを判別する（ステップＳＡ３）。第１閾値は、その第１閾値を、撮影画像に含まれる人物の人数が上回る場合に、撮影された現実の空間において行列が発生している可能性があるような値とされる。第１閾値は、例えば、「７人」である。

撮影画像に含まれる人物の数が、第１閾値を上回らない場合（ステップＳＡ３：ＮＯ）、撮影された現実の空間において行列は発生していないか、発生している可能性が非常に低いため、制御部２０は、処理を終了する。
撮影画像に含まれる人物の数が、第１閾値を上回る場合（ステップＳＡ３：ＹＥＳ）、制御部２０は、行列検出処理を実行する（ステップＳＡ４）。

図４のフローチャートＦＣは、行列検出処理の詳細を示すフローチャートである。
行列検出処理は、撮影された現実の空間に、行列が発生しているか否かを判別する処理である。
行列検出処理において、制御部２０は、撮影画像データを、所定の仮想座標系に展開する（ステップＳＣ１）。上述したように、撮影画像データは、色に関する情報を保持するドットがドットマトリックス状に配置されたビットマップデータである。このため、ステップＳＣ１の処理により、撮影画像データを構成する全てのドットについて、所定の仮想座標系における座標により、ドットの位置を表すことが可能となる。
次いで、制御部２０は、撮影画像データに含まれる、人物の顔の領域に対応するデータ（以下、「顔領域データＫＤ」という。）を特定する（ステップＳＣ２）。

図５は、撮影画像データを所定の仮想座標系に展開した様子を、説明に適した態様で模式的に示す図である。図５では、後述する顔中心ドットＫＰも併せて表示している。
図５に示す撮影画像データにおいて、点線で囲んだ領域が、人物の顔の領域である。この場合、点線で囲まれた領域に含まれるデータ（ドット群）が、顔領域データＫＤに相当する。

次いで、制御部２０は、ステップＳＣ２で特定した顔領域データＫＤのそれぞれについて、データの中心部のドット（以下、「顔中心ドットＫＰ」という。図５参照。）を特定し、特定した顔中心ドットＫＰの座標を取得する（ステップＳＣ３）。
次いで、制御部２０は、顔中心ドットＫＰのそれぞれについて、顔中心ドットＫＰを中心とする半径が第１距離の領域ＡＲを算出し、領域ＡＲに重なった部分が存在する一群の顔中心ドットＫＰを１つのグループとする方法で、顔中心ドットＫＰのそれぞれをグルーピングする（ステップＳＣ４）。
図６は、ステップＳＣ４の処理を説明するため、図５の撮影画像データと同一の撮影画像データを、所定の仮想座標系に展開した様子を示す図である。
図６において、顔中心ドットＫＰ１に係る領域ＡＲ１と、顔中心ドットＫＰ２に係る領域ＡＲ２とは、重なった部分が存在する。従って、制御部２０は、顔中心ドットＫＰ１と、顔中心ドットＫＰ２とは同一のグループに属すると判別する。さらに、顔中心ドットＫＰ２に係る領域ＡＲ２と、顔中心ドットＫＰ３に係る領域ＡＲ３とは、重なった部分が存在する。従って、制御部２０は、顔中心ドットＫＰ２と、顔中心ドットＫＰ３とは同一のグループに属すると判別する。また、顔中心ドットＫＰ１に係る領域ＡＲ１と、顔中心ドットＫＰ３に係る領域ＡＲ３とは重なった部分が存在しないが、これら顔中心ドットＫＰについては、それぞれ、共通する顔中心ドットＫＰ２が属するグループに属する。このため、制御部２０は、顔中心ドットＫＰ１〜ＫＰ３は、共通する同一のグループに属すると判別する。この結果、図６の例では、制御部２０は、顔中心ドットＫＰ１〜ＫＰ１０を、共通する同一のグループＧＰ１に属すると判別する。また、制御部２０は、顔中心ドットＫＰ２１〜ＫＰ２３を、共通する同一のグループＧＰ２に属すると判別する。
ここで、行列が発生している場合、行列を構成する複数の人物は、隣り合う人物同士が近接した状態で並んでいると想定される。そして、上述した第１距離の値は、行列が発生している場合に、行列において隣り合う人物の離間距離として想定される距離を反映して設定される。これを踏まえ、各グループは、行列が発生している場合に、行列を構成する人物の顔中心ドットＫＰ３の集合である可能性がある。

次いで、制御部２０は、グルーピングしたグループのうち、グループに属する顔中心ドットＫＰの数が、上述した第１閾値を上回るものがあるか否かを判別する（ステップＳＣ５）。
全てのグループについて、グループに属する顔中心ドットＫＰの数が、第１閾値を上回らない場合（ステップＳＣ５：ＮＯ）、撮影された現実の空間において行列が発生していないか、又は、行列が発生している可能性が非常に低いため、制御部２０は、行列が発生していないと判別し（ステップＳＣ６）、行列検出処理を終了する。

グループに属する顔中心ドットＫＰの数が第１閾値を上回るグループが１つでもある場合（ステップＳＣ５：ＹＥＳ）、制御部２０は、グループに属する顔中心ドットＫＰの数が第１閾値を上回るグループのそれぞれを、以下で説明するグループ分析処理の対象のグループと決定する（ステップＳＣ７）。以下、グループ分析処理の対象のグループとして決定したグループを、「処理対象グループ」という。図６の例では、制御部２０は、グループＧＰ１を処理対象グループとして決定する一方、グループＧＰ２は処理対象グループとしない。

次いで、制御部２０は、処理対象グループであって、ステップＳＣ９のグループ分析処理の対象としていないグループのうち、１つの処理対象グループを、ステップＳＣ９のグループ分析処理の対象として決定する（ステップＳＣ８）。
以下、ステップＳＣ８で、ステップＳＣ９のグループ分析処理の対象として決定したグループを、「分析対象グループ」という。
次いで、制御部２０は、分析対象グループに基づいて、グループ分析処理を実行する（ステップＳＣ９）。

図７のフローチャートＦＤは、グループ分析処理の詳細を示すフローチャートである。
グループ分析処理は、画像に含まれる複数の人物の位置関係を解析し、行列を認識する処理に相当する。
図７のフローチャートＦＤに示すように、制御部２０は、分析対象グループに属する顔中心ドットＫＰについて、互いに隣り合う顔中心ドットＫＰのｘ軸方向における離間距離を取得する（ステップＳＤ１）。図６の例では、制御部２０は、グループＧＰ１について、顔中心ドットＫＰ１と顔中心ドットＫＰ２とのｘ軸方向における離間距離（｜（ｘ２）−（ｘ１）｜）、顔中心ドットＫＰ２と顔中心ドットＫＰ３とのｘ軸方向における離間距離（｜（ｘ３）−（ｘ２）｜）、顔中心ドットＫＰ３と顔中心ドットＫＰ４とのｘ軸方向における離間距離（｜（ｘ４）−（ｘ３）｜）、顔中心ドットＫＰ４と顔中心ドットＫＰ５とのｘ軸方向における離間距離（｜（ｘ５）−（ｘ４）｜）、顔中心ドットＫＰ５と顔中心ドットＫＰ６とのｘ軸方向における離間距離（｜（ｘ６）−（ｘ５）｜）、顔中心ドットＫＰ６と顔中心ドットＫＰ７とのｘ軸方向における離間距離（｜（ｘ７）−（ｘ６）｜）、顔中心ドットＫＰ８と顔中心ドットＫＰ９とのｘ軸方向における離間距離（｜（ｘ９）−（ｘ８）｜）、及び顔中心ドットＫＰ９と顔中心ドットＫＰ１０とのｘ軸方向における離間距離（｜（ｘ１０）−（ｘ９）｜）を取得する。
以下の説明では、処理対象グループにおいて、互いに隣り合う顔中心ドットＫＰのｘ軸方向における離間距離を「ｘ軸方向離間距離」という。

次いで、制御部２０は、ステップＳＤ１で取得したｘ軸方向離間距離のそれぞれに基づいて、標準偏差を算出する（ステップＳＤ２）。
ここで、複数の人物が行列を構成している場合、隣り合う人物の離間距離は、略一定であると推定される。行列は、複数の人物が等間隔で並んで構成されるという規則性（特徴）があるからである。これを踏まえ、グループに属する顔中心ドットＫＰのそれぞれに対応する人物のそれぞれが、行列を構成している場合、ｘ軸方向離間距離のばらつきが小さく（＝ｘ軸方向離間距離のそれぞれが略一定の値となる。）、かつ、後述するｙ軸方向離間距離のばらつきが小さい、という規則性（特徴）がある。

次いで、制御部２０は、ステップＳＤ２で算出した標準偏差が、予め定められた第２閾値を下回るか否かを判別する（ステップＳＤ３）。
第２閾値は、グループに属する顔中心ドットＫＰのそれぞれに対応する人物のそれぞれが行列を構成している場合に、ｘ軸方向離間距離に基づく標準偏差が、当該第２閾値を下回るような値に設定される。
標準偏差が、第２閾値を下回らない場合（ステップＳＤ３：ＮＯ）、制御部２０は、分析対象グループに対応する行列は発生していないと判別し（ステップＳＤ４）、グループ分析処理を終了する。

標準偏差が、第２閾値を下回る場合（ステップＳＤ３：ＹＥＳ）、制御部２０は、分析対象グループに属する顔中心ドットＫＰについて、互いに隣り合う顔中心ドットＫＰのｙ軸方向における離間距離を取得する（ステップＳＤ５）。図６の例では、制御部２０は、グループＧＰ１について、顔中心ドットＫＰ１と顔中心ドットＫＰ２とのｙ軸方向における離間距離（｜（ｙ２）−（ｙ１）｜）、顔中心ドットＫＰ２と顔中心ドットＫＰ３とのｙ軸方向における離間距離（｜（ｙ３）−（ｙ２）｜）、顔中心ドットＫＰ３と顔中心ドットＫＰ４とのｙ軸方向における離間距離（｜（ｙ４）−（ｙ３）｜）、顔中心ドットＫＰ４と顔中心ドットＫＰ５とのｙ軸方向における離間距離（｜（ｙ５）−（ｙ４）｜）、顔中心ドットＫＰ５と顔中心ドットＫＰ６とのｙ軸方向における離間距離（｜（ｙ６）−（ｙ５）｜）、顔中心ドットＫＰ６と顔中心ドットＫＰ７とのｙ軸方向における離間距離（｜（ｙ７）−（ｙ６）｜）、顔中心ドットＫＰ８と顔中心ドットＫＰ９とのｙ軸方向における離間距離（｜（ｙ９）−（ｙ８）｜）、及び顔中心ドットＫＰ９と顔中心ドットＫＰ１０とのｙ軸方向における離間距離（｜（ｙ１０）−（ｙ９）｜）を取得する。
以下の説明では、処理対象グループにおいて、互いに隣り合う顔中心ドットＫＰのｙ軸方向における離間距離を「ｙ軸方向離間距離」という。

次いで、制御部２０は、ステップＳＤ５で取得したｙ軸方向離間距離のそれぞれに基づいて、標準偏差を算出する（ステップＳＤ６）。
上述したように、グループに属する顔中心ドットＫＰのそれぞれに対応する人物のそれぞれが、行列を構成している場合、ｘ軸方向離間距離のばらつきが小さく、かつ、ｙ軸方向離間距離のばらつきが小さい、という規則性（特徴）がある。
次いで、制御部２０は、ステップＳＤ６で算出した標準偏差が、予め定められた第３閾値を下回るか否かを判別する（ステップＳＤ７）。
第３閾値は、グループに属する顔中心ドットＫＰのそれぞれに対応する人物のそれぞれが行列を構成している場合に、ｙ軸方向離間距離に基づく標準偏差が、当該第３閾値を下回るような値に設定される。
標準偏差が、第３閾値を下回らない場合（ステップＳＤ７：ＮＯ）、制御部２０は、分析対象グループに対応する行列は発生していないと判別し（ステップＳＤ４）、グループ分析処理を終了する。
標準偏差が、第３閾値を下回る場合（ステップＳＤ７：ＹＥＳ）、制御部２０は、分析対象グループに対応する行列が発生していると判別し（ステップＳＤ８）、グループ分析処理を終了する。

図４のフローチャートＦＣに示すように、グループ分析処理を実行した後、制御部２０は、全ての処理対象グループについて、グループ分析処理が完了したか否かを判別する（ステップＳＣ１０）。
１つでもグループ分析処理が完了していない処理対象グループがある場合（ステップＳＣ１０：ＮＯ）、制御部２０は、処理手順をステップＳＣ８へ移行する。
全ての処理対象グループについて、グループ分析処理が完了した場合（ステップＳＣ１０：ＹＥＳ）、制御部２０は、行列が発生していると判別した処理対象グループが１つでもあるか否かを判別する（ステップＳＣ１１）。

行列が発生していると判別した処理対象グループが１つもない場合（ステップＳＣ１１：ＮＯ）、制御部２０は、行列が発生していないと判別し（ステップＳＣ６）、行列検出処理を終了する。
行列が発生していると判別した処理対象グループが少なくとも１つある場合（ステップＳＣ１１：ＹＥＳ）、制御部２０は、行列が発生していると判別し（ステップＳＣ１２）、行列検出処理を終了する。
以下、行列が発生していると判別した処理対象グループを、「行列グループ」という。

なお、行列は、１列の場合もあれば、２列以上の複数の「列」により構成される場合がある。行列が複数の「列」で構成されている場合であっても、行列を構成する複数の人物に対応する顔中心ドットＫＰについて、Ｘ軸方向離間距離、及び、ｙ軸方向離間距離のばらつきが小さいという規則性（特徴）が適用できるため、上述したグループ分析処理で的確に行列を検出することができる。
ただし、複数の「列」により行列が構成されている場合、グループ分析処理において、以下の処理を実行して、さらに的確に行列を検出する構成でもよい。

図８は、２列により構成される行列が撮影されることによって生成される撮影画像データを、説明に適した態様で模式的に示す図である。
図８では、撮影画像データにおいて、顔中心ドットＫＰを明示する。また、図８では、グループＧＰ３に属する顔中心ドットＫＰのそれぞれは、２列に係る行列を構成する複数の人物のそれぞれに対応するドットである。
以下の説明において、ｎ個（ｎは正の整数。）の「列」により構成される行列は、ｎ人の人物により構成される「行」が、行列が延びる方向に、複数並んで構成されるものとする。例えば、行列が、第１列と、第２列との２つの「列」により構成される場合において、第１列の先頭の人物、及び、第２列の先頭の人物により、１つの「行」が構成され、また、第１列の先頭から２番目の人物、及び、第２列の先頭から２番目の人物により、１つの「行」が構成される。

ここで、行列が、複数の列により構成される場合、行列には、以下の規則性（特徴）がある。すなわち、各「行」において、互いに隣り合う人物の離間距離が近接する、という規則性（特徴）がある。
これを踏まえ、制御部２０は、グループ分析処理において、分析対象グループに属する顔中心ドットＫＰのそれぞれについて、顔中心ドットＫＰを中心とする半径が第２距離（ただし、第２距離＜第１距離。）の領域ＢＲを算出し、領域ＢＲに重なった部分が存在する一群の顔中心ドットＫＰを１つのグループとする方法で、顔中心ドットＫＰのそれぞれをグルーピングする。第２距離の値は、複数の「列」からなる行列が発生している場合に、行列を構成する「行」において隣り合う人物の離間距離として想定される距離を反映して設定される。これを踏まえ、各グループは、複数の「列」からなる行列が発生している場合に、「行」を構成する人物の顔中心ドットＫＰ３の集合である可能性がある。
図８の例では、制御部２０は、顔中心ドットＫＰ３１ａ及び顔中心ドットＫＰ３１ｂを同一のグループとし、顔中心ドットＫＰ３２ａ及び顔中心ドットＫＰ３２ｂを同一のグループとし、顔中心ドットＫＰ３３ａ及び顔中心ドットＫＰ３３ｂを同一のグループとし、顔中心ドットＫＰ３４ａ及び顔中心ドットＫＰ３４ｂを同一のグループとし、顔中心ドットＫＰ３５ａ及び顔中心ドットＫＰ３５ｂを同一のグループとし、顔中心ドットＫＰ３６ａ及び顔中心ドットＫＰ３６ｂを同一のグループとし、顔中心ドットＫＰ３７ａ及び顔中心ドットＫＰ３７ｂを同一のグループとし、顔中心ドットＫＰ３８ａ及び顔中心ドットＫＰ３８ｂを同一のグループとし、顔中心ドットＫＰ３９ａ及び顔中心ドットＫＰ３８ｂを同一のグループとし、顔中心ドットＫＰ４０ａ及び顔中心ドットＫＰ４０ｂを同一のグループとする。

次いで、制御部２０は、各グループに属する顔中心ドットＫＰの中心部に位置するドットの座標を算出する。例えば、制御部２０は、グループに属する顔中心ドットＫＰが２つの場合は、２つの顔中心ドットＫＰを端点とする直線の中心部に位置するドットの座標を算出する。また例えば、制御部２０は、グループに属する顔中心ドットＫＰが３つ以上の場合は、顔中心ドットＫＰのそれぞれを頂点とする多角形の重心部に位置するドットの座標を算出する。図８の例では、制御部２０は、グループＧＰ３１について顔中心ドットＫＰ３１ｃの座標を算出し、グループＧＰ３２について顔中心ドットＫＰ３２ｃの座標を算出し、グループＧＰ３３について顔中心ドットＫＰ３３ｃの座標を算出し、グループＧＰ３４について顔中心ドットＫＰ３４ｃの座標を算出し、グループＧＰ３５について顔中心ドットＫＰ３５ｃの座標を算出し、グループＧＰ３６について顔中心ドットＫＰ３６ｃの座標を算出し、グループＧＰ３７について顔中心ドットＫＰ３７ｃの座標を算出し、グループＧＰ３８について顔中心ドットＫＰ３８ｃの座標を算出し、グループＧＰ３９について顔中心ドットＫＰ３９ｃの座標を算出し、グループＧＰ４０について顔中心ドットＫＰ４０ｃの座標を算出する。
以下、各グループに属する顔中心ドットＫＰの中心部に位置するドットのことを、「行中心ドットＧＴ」という。

次いで、制御部２０は、分析対象グループに属する行中心ドットＧＴについて、ｘ軸方向離間距離に基づく標準偏差、及び、ｙ軸方向離間距離に基づく標準偏差を算出し、これら標準偏差に基づいて、上述した方法と同様の方法で行列が発生しているか否かを判別する。
以上説明した方法によれば、複数の「列」により構成される行列が発生している場合に、そのことをより的確に検出できる。

図３のフローチャートＦＡに示すように、ステップＳＡ４の行列検出処理を実行した後、制御部２０は、行列検出処理において、行列が発生していると判別したか否かを判別する（ステップＳＡ５）。
行列検出処理において行列が発生していないと判別した場合（ステップＳＡ５：ＮＯ）、制御部２０は、処理を終了する。

以下の説明では、説明の便宜を考慮して、行列グループが１つであるものとして説明を行う。行列検出処理において、複数の行列グループを検出した場合は、制御部２０は、行列グループごとに、以下の処理を実行する。

行列検出処理において行列が発生していると判別した場合（ステップＳＡ５：ＹＥＳ）、制御部２０は、行列発生日時情報、及び、行列規模情報を取得する（ステップＳＡ６）。
行列発生日時情報は、撮像部２７により撮影が行われた日時を示す情報である。行列発生日時情報が示す日時は、行列が撮影された日時に相当する。
行列規模情報は、行列の規模を示す情報である。本実施形態では、行列の規模の概念として、行列を構成する人物の多寡に応じて、「大規模」、「中規模」、及び「小規模」がある。ステップＳＡ６において、行列グループに属する顔中心ドットと、「大規模」に対応する閾値、「中規模」に対応する閾値とを比較し、比較結果に基づいて、行列規模情報を取得する。

次いで、制御部２０は、撮影画像データを分析し、行列グループに対応する行列の先頭の位置を示す情報を取得する（ステップＳＡ７）。行列の先頭の位置を示す情報は、行列の先頭の位置を、経度、及び緯度の組み合わせによって表す情報である。
例えば、制御部２０は、ＧＰＳユニット２４からの入力、相対方位検出ユニット２５からの入力、地図データ２１１に基づいて、撮像部２７により撮影が実行されたときの車両Ｓの位置を取得する。次いで、制御部２０は、取得した車両Ｓの位置、撮像部２７の撮影の方向、及び、撮影画像データにおける行列グループに属する顔中心ドットＫＰの位置に基づいて、行列グループに対応する行列の先頭の位置を取得する。
行列グループに対応する行列の先頭の位置を取得する方法は、例示した方法に限らず、どのような方法であってもよい。
以下、ステップＳＡ７で制御部２０が取得した行列の先頭の位置を示す情報を「行列位置情報」という。

次いで、制御部２０は、施設データ２１２に基づいて、行列位置情報が示す位置に対応する位置に位置する施設を検索する（ステップＳＡ８）。ここで、上述したように、施設データ２１２は、地図上の施設ごとに、施設を識別する施設識別情報と、施設の位置を示す施設位置情報とを有する。ステップＳＡ８において、制御部２０は、施設データ２１２に基づいて、行列の先頭の位置との離間距離が所定の距離の範囲内にある施設が存在する場合は、当該範囲内の施設のうち、行列の先頭の位置から最も近い位置に位置する施設を特定する。一方、制御部２０は、行列の先頭の位置との離間距離が所定の距離の範囲内にある施設が存在しない場合は、行列位置情報が示す位置に対応する位置に位置する施設が存在しないと判別する。
行列位置情報が示す位置に対応する位置に位置する施設は、行列が発生している施設と装置される。

次いで、制御部２０は、ステップＳＡ８の処理において、行列位置情報が示す位置に対応する位置に位置する施設が特定できたか否かを判別する（ステップＳＡ９）。
施設が特定できなかった場合（ステップＳＡ９：ＮＯ）、制御部２０は、処理を終了する。
施設が特定できた場合（ステップＳＡ９：ＹＥＳ）、制御部２０は、施設データ２１２に基づいて、特定した施設の施設識別情報を取得する（ステップＳＡ１０）。
次いで、制御部２０は、通信部２３を制御して、ステップＳＡ１０で取得した施設識別情報、ステップＳＡ６で取得した行列発生日時情報、及び行列規模情報を制御サーバ１０に送信する。
なお、制御サーバ１０のアドレスや、通信に使用する通信規格、制御サーバ１０に送信するデータのフォーマット等の、制御サーバ１０と通信して制御サーバ１０に情報を送信するために必要な情報は、事前に登録される。

図３のフローチャートＦＢに示すように、制御サーバ１０のサーバ制御部４０は、サーバ通信部４２を制御して、施設識別情報、行列発生日時情報、及び行列規模情報を受信する（ステップＳＢ１）。
次いで、サーバ制御部４０は、受信した情報に基づいて、行列関連データベース４１１を更新する（ステップＳＢ２）。
行列関連データベース４１１は、地図上の施設ごとにレコードを有し、各レコードにおいて施設識別情報と、行列発生日時情報と、行列規模情報とを対応付けて記憶するデータベースである。ステップＳＢ２において、サーバ制御部４０は、行列関連データベース４１１のレコードのうち、受信した施設識別情報の値と同一の値の施設識別情報を有するレコードを特定する。次いで、サーバ制御部４０は、特定したレコードの行列発生日時情報と、行列規模情報とを、それぞれ、受信した行列発生日時情報と、行列規模情報とにより更新する。

ここで、本実施形態に係る車載装置１２が搭載された車両Ｓは、複数、存在する。複数の車載装置１２は、適宜、撮影画像データを分析し、制御サーバ１０に対して、施設識別情報、行列発生日時情報、及び行列規模情報を送信する。この結果、行列関連データベース４１１の各レコードの行列発生日時情報の値、及び、行列規模情報の値は、それぞれ、いずれかの車載装置１２から受信した最新の行列発生日時情報、及び、行列規模情報に基づく値となる。

図３のフローチャートＦＡに示すように、制御サーバ１０に情報を送信した後、制御部２０は、取得した施設識別情報、行列発生日時情報、及び行列規模情報に基づいて、対応する処理を実行する（ステップＳＡ１２）。ステップＳＡ１２において制御部２０が実行する処理は、例えば、ユーザにより事前に登録される。
ステップＳＡ１２において、例えば、制御部２０は、以下の処理を実行する。
例えば、制御部２０は、所定のタイミングで、タッチパネル２６に、行列が発生している施設に関する情報を表示する。所定のタイミングは、例えば、車両Ｓが停車したタイミングであり、また例えば、ユーザから所定の指示があったタイミングである。
図９は、ステップＳＡ１２の処理によりタッチパネル２６に表示される情報の一例を示す図である。
図９の例では、左半分の領域に、行列が発生している施設の名称を示す情報、当該施設のカテゴリーを示す情報、及び、行列の規模を示す情報が表示される。ユーザは、これら情報を参照することにより、行列が発生している施設について、施設の名称、施設のカテゴリー、及び、発生した行列の規模を簡易に、的確に認識できる。ここで、行列が発生している施設は、人気がある施設と想定され、ユーザが興味を持つ可能性があるものと想定される。本実施形態によれば、ユーザが興味を持つ可能性がある施設について、ユーザが、例えば、インターネットを利用して調べる等の煩雑な作業を行うことなく、施設に関する情報を取得することができ、ユーザの利便性が高い。
図９の例では、右半分の領域に、地図が表示されると共に、地図上に車両Ｓの現在位置を示すマークＭ１と、行列が発生した施設を示すマークＭ２とが表示される。ユーザは、地図を参照することにより、車両Ｓと、行列が発生している施設との位置関係を簡易に、的確に認識できる。

ステップＳＡ１２の処理について、一例を挙げて説明したが、ステップＳＡ１２において、制御部２０が、例示した処理とは異なる処理を実行する構成でもよい。例えば、車載装置１２が音声を出力する機能を有する場合は、音声により、行列が発生した施設に関する情報や、行列に関する情報を出力する構成でもよい。

次いで、車載装置１２が実行可能な施設検索処理について説明する。
施設検索処理は、ユーザの指示に応じて、施設を検索する処理である。以下で説明するとおり、車載装置１２の制御部２０は、施設の検索にあたり、行列に関する有益な情報を併せてユーザに提供する。

図１０のフローチャートＦＥは、施設検索処理を実行するときの車載装置１２の動作を示し、フローチャートＦＦは、制御サーバ１０の動作を示す。

図１０のフローチャートＦＥに示すように、車載装置１２の制御部２０は、ユーザにより、施設の検索の開始の指示が行われたか否かを監視する（ステップＳＥ１）。ユーザは、操作スイッチ２２１を操作して、また、タッチパネル２６をタッチ操作して、指示を行う。
施設の検索の開始の指示があったことを検出した場合（ステップＳＥ１：ＹＥＳ）、制御部２０は、検索する施設のカテゴリー、及び、検索条件を入力するユーザーインターフェースをタッチパネル２６に表示する（ステップＳＥ２）。
検索条件は、検索する施設の範囲を表す条件である。例えば、検索条件は、「車両Ｓの現在位置の近辺（例えば、車両Ｓを中心とする所定の範囲内。）に位置する施設」である。また例えば、検索条件は、「目的地の近辺（例えば、目的地を中心とする所定の範囲内。）に位置する施設」である。また例えば、検索条件は、「車両Ｓの現在位置から目的地までの経路沿いに位置する施設」である。

制御部２０は、ユーザーインターフェースにカテゴリー、及び、検索条件の入力があり、入力が確定されたか否かを監視する（ステップＳＥ３）。
入力が確定されたことを検出した場合（ステップＳＥ３：ＹＥＳ）、制御部２０は、入力されたカテゴリー、及び、検索条件を取得する（ステップＳＥ４）。
次いで、制御部２０は、地図データ２１１、施設データ２１２を参照し、ステップＳＥ４で取得したカテゴリー、及び、検索条件に基づいて、カテゴリー、及び、検索条件に合致した施設を検索し、特定する（ステップＳＥ５）。
以下では、説明の便宜のため、ステップＳＥ４の処理により、ステップＳＥ４で取得したカテゴリー、及び、検索条件に合致する施設として、複数の施設が特定されたものとして制御部２０の処理について説明する。

次いで、制御部２０は、通信部２３を制御して、応答要求データを制御サーバ１０に送信する（ステップＳＥ６）。応答要求データは、ステップＳＥ５で特定した複数の施設のそれぞれの施設識別情報を含み、各施設について、行列発生日時情報、及び行列規模情報の送信を要求するデータである。

図１０のフローチャートＦＦに示すように、制御サーバ１０のサーバ制御部４０は、サーバ通信部４２を制御して、応答要求データを受信する（ステップＳＦ１）。
次いで、サーバ制御部４０は、行列関連データベース４１１を参照し、応答要求データに含まれる施設識別情報のそれぞれについて、施設識別情報に対応付けられた行列発生日時情報、及び行列規模情報を取得する（ステップＳＦ２）。
次いで、サーバ制御部４０は、サーバ通信部４２を制御して、ステップＳＦ２で取得した行列発生日時情報、及び行列規模情報を車載装置１２に送信する（ステップＳＦ３）。
なお、行列関連データベース４１１において、行列発生日時情報、及び行列規模情報のデフォルト値はヌル値である。従って、１の施設に対応する行列発生日時情報、及び行列規模情報が１度も更新されていない場合、当該１の施設に対応する行列発生日時情報、及び行列規模情報の値は、ヌル値である。
なお、サーバ制御部４０が、１の施設の行列発生日時情報が示す日時から現在日時が、一定期間以上、乖離した場合、当該１の施設の行列発生日時情報、及び行列規模情報をデフォルト値に更新する構成でもよい。

図１０のフローチャートＦＦに示すように、車載装置１２の制御部２０は、通信部２３を制御して、施設ごと（施設識別情報ごと）の行列発生日時情報、及び行列規模情報を受信する（ステップＳＥ７）。
次いで、制御部２０は、受信した行列発生日時情報、及び行列規模情報を用いて、検索結果表示画面Ｇ１をタッチパネル２６に表示する（ステップＳＥ８）。

図１１は、検索結果表示画面Ｇ１の一例を示す図である。
図１１は、検索条件が「車両Ｓの現在位置の近辺に位置する施設」であり、カテゴリーが「ラーメン屋」の場合の検索結果表示画面Ｇ１を示す。
図１１で例示する検索結果表示画面Ｇ１には、車両Ｓの位置を中心部とする所定のスケールの地図が表示されると共に、地図上に車両Ｓを表すマークＭ２が表示される。さらに、検索結果表示画面Ｇ１において、地図上に表示された施設のうち、ステップＳＥ５で特定した施設については、アルファベットからなる符号が付され、ユーザが指定したカテゴリー及び検索条件に合致する施設であることが明示される。以下、検索結果表示画面Ｇ１に表示された施設のうち、ステップＳＥ５で特定した施設を、「特定施設」という。

図１１に示すように、検索結果表示画面Ｇ１に表示された地図において、特定施設のそれぞれには、吹き出しが対応付けて表示され、吹き出しの中には、行列発生日時情報、及び行列規模情報が表示される。なお、行列発生日時情報、及び、行列規模情報がヌル値の場合には、行列に関する情報が無い旨の情報が表示される。
ユーザは、吹き出しの中に表示された情報を参照することにより、特定施設の行列の状況を推定することができる。また、ユーザは、吹き出しの中に表示された行列に関する情報を、実際に利用する特定施設を選択する際に、有益な情報として使用することができる。例えば、待ち時間が発生した場合であっても、人気のある施設を利用することを望むユーザは、行列の規模が「大規模」である施設を優先的に選択する、といった処理を行うことができる。

図１１に示すように、検索結果表示画面Ｇ１において、地図の左方には、特定施設ごとにブロックＢＫが一覧的に表示される。ブロックＢＫには、対応する施設に付された符号と、施設の名称を示す情報と、車両Ｓが施設まで走行した場合における走行距離を示す情報とが表示される。ブロックＢＫは、タッチ操作可能なボタンである。ユーザは、利用することを望む施設に対応するブロックＢＫをタッチ操作する。制御部２０は、いずれかのブロックＢＫがタッチ操作されたことを検出すると、タッチ操作されたブロックＢＫに対応する施設（特定施設）を目的地として、経路案内を開始する。

以上説明したように、本実施形態に係る車載装置１２の制御部２０は、車両Ｓに搭載する撮像部２７により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、検索した施設に関する情報を表示（出力）する。
ここで、上述したように、施設に対応して行列が発生している場合、その施設の人気があると想定でき、また、その施設を利用する場合は、施設を利用するまでに待ち時間が発生すると想定できる。従って、行列が発生している施設に関する情報は、その施設を知るにあたって、有益な情報である。このことを踏まえ、上記構成によれば、車両Ｓに搭載された撮像部２７により取得した画像を分析することにより、行列に対応する施設に関する情報を出力する、という有益な処理を実行できる。
なお、上述したように、情報を出力する方法は、表示でもよく、音声出力でもよい。

また、本実施形態では、制御部２０は、行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力する。
ここで、施設に対応して発生した行列の規模は、施設を利用する場合の待ち時間に影響するため、施設を利用するか否かを判断する際に、有益な情報である。このことを踏まえ、上記構成によれば、制御部２０は、行列の規模を示す情報という有益な情報を出力できる。

また、本実施形態では、制御部２０は、撮像部２７により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識する。
この構成によれば、制御部２０は、行列の特徴を反映して、画像を分析することにより的確に行列を認識できる。

また、本実施形態では、制御部２０は、画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別する。
この構成によれば、制御部２０は、行列の特徴を反映して、画像を分析することにより的確に行列を認識できる。

また、本実施形態に係る情報処理システム１は、車載装置１２と、車載装置１２と通信可能な制御サーバ１０とを備える。
車載装置１２は、車両Ｓに搭載する撮像部２７により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、検索した施設に関する情報（施設識別情報）及び認識した行列に関する情報（行列発生日時情報、行列規模情報。）を制御サーバ１０に送信する。
制御サーバ１０は、車載装置１２から受信した施設に関する情報、及び、行列に関する情報を記憶する。
この構成によれば、制御サーバ１０は、車載装置１２から受信し、記憶した施設に関する情報、及び、行列に関する情報を用いた処理を実行できる。

また、本実施形態では、制御サーバ１０は、外部の装置（本実施形態では、車載装置１２。）からの問い合わせに応じて、特定の施設についての行列に関する情報を応答する。
この構成によれば、外部の装置が、特定の施設について、行列に関する情報を取得することが可能となる。

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、図で示したフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理が行えれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。

１ 情報処理システム
１０ 制御サーバ（サーバ）
１２ 車載装置
２０ 制御部
２１ 記憶部
２２ 操作部
２３ 通信部
２４ ＧＰＳユニット
２５ 相対方位検出ユニット
２６ タッチパネル
２７ 撮像部
４０ サーバ制御部
４１ サーバ記憶部
４２ サーバ通信部
２１１ 地図データ
２１２ 施設データ
２２１ 操作スイッチ
２６２ タッチセンサ
４１１ 行列関連データベース

Claims (6)

1. 車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列の先頭の位置に対応する施設を検索し、
   複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記施設に関する情報と前記行列に関する情報を対応付けし、
   所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを表示パネルへ出力する制御部を備えることを特徴とする車載装置。
2. 前記制御部は、前記撮像部により取得した画像に人物の顔が含まれているかどうかを判断し、前記画像に基づいて前記行列の先頭の位置を算出することを特徴とする請求項１に記載の車載装置。
3. 前記制御部は、
   行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力することを特徴とする請求項１または２に記載の車載装置。
4. 前記制御部は、
   前記撮像部により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識することを特徴とする請求項１から３のいずれかに記載の車載装置。
5. 前記制御部は、
   画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別することを特徴とする請求項４に記載の車載装置。
6. 車載装置と、前記車載装置と通信可能なサーバとを備える情報処理システムであって、
   前記車載装置は、
   車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記検索した施設に関する情報及び認識した行列の先頭の位置に関する情報と前記先頭の位置に対応する施設とを前記サーバに送信し、
   所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを出力し、
   前記サーバは、
   施設に関する情報、及び、行列に関する情報を受信し、前記施設に関する情報と前記行列に関する情報を対応付けして記憶し、
   前記車載装置が前記所定の検索条件に基づいて検索した結果として抽出された施設に対応する前記施設に関する情報と前記行列に関する情報を前記車載装置へ送信する
   ことを特徴とする情報処理システム。

Images