JP6833472B2 - 車載装置、及び情報処理システム - Google Patents

車載装置、及び情報処理システム Download PDF

Info

Publication number
JP6833472B2
JP6833472B2 JP2016225217A JP2016225217A JP6833472B2 JP 6833472 B2 JP6833472 B2 JP 6833472B2 JP 2016225217 A JP2016225217 A JP 2016225217A JP 2016225217 A JP2016225217 A JP 2016225217A JP 6833472 B2 JP6833472 B2 JP 6833472B2
Authority
JP
Japan
Prior art keywords
matrix
facility
information
control unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016225217A
Other languages
English (en)
Other versions
JP2018081052A (ja
Inventor
孝信 長島
孝信 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2016225217A priority Critical patent/JP6833472B2/ja
Publication of JP2018081052A publication Critical patent/JP2018081052A/ja
Application granted granted Critical
Publication of JP6833472B2 publication Critical patent/JP6833472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Description

本発明は、車載装置、及び情報処理システムに関する。
従来、車両に撮像部(カメラ)を搭載し、撮像部により取得した画像を解析し、解析結果に基づいて処理を行う車載装置(車載カメラ装置)が知られている(例えば、特許文献1参照)。
特開2016−139197号公報
上述した特許文献1に記載の車載装置のように、車両に撮像部を搭載し、撮像部により取得した画像を解析することが可能な装置では、解析結果を用いてより有益な処理を実行できるようにしたとするニーズがある。
本発明は、上述した事情に鑑みてなされたものであり、車両に搭載された撮像部により取得した画像に基づいて有益な処理を実行できるようにすることを目的とする。
上記目的を達成するために、本発明は、車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列の先頭の位置に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記施設に関する情報と前記行列に関する情報を対応付けし、所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを表示パネルへ出力する制御部を備えることを特徴とする。
また、本発明は、前記制御部は、前記撮像部により取得した画像に人物の顔が含まれているかどうかを判断し、前記画像に基づいて前記行列の先頭の位置を算出することを特徴とする。
また、本発明は、前記制御部は、行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力することを特徴とする。
また、本発明は、前記制御部は、前記撮像部により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識することを特徴とする。
また、本発明は、前記制御部は、画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別することを特徴とする。
また、上記目的を達成するために、本発明は、車載装置と、前記車載装置と通信可能なサーバとを備える情報処理システムであって、前記車載装置は、車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記検索した施設に関する情報及び認識した行列の先頭の位置に関する情報と前記先頭の位置に対応する施設とを前記サーバに送信し、所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを出力し、前記サーバは、施設に関する情報、及び、行列に関する情報を受信し、前記施設に関する情報と前記行列に関する情報を対応付けして記憶し、前記車載装置が前記所定の検索条件に基づいて検索した結果として抽出された施設に対応する前記施設に関する情報と前記行列に関する情報を前記車載装置へ送信することを特徴とする。
本発明によれば、車両に搭載された撮像部により取得した画像に基づいて有益な処理を実行できる。
本実施形態に係る情報処理システムの構成を示す図。 車載装置、及び、制御サーバの機能的構成を示すブロック図。 車載装置、及び、制御サーバの動作を示すフローチャート。 車載装置の動作を示すフローチャート。 撮影画像データを示す図。 撮影画像データを示す図。 車載装置の動作を示すフローチャート。 撮影画像データを示す図。 タッチパネルに表示される情報の一例を示す図。 車載装置、及び、制御サーバの動作を示すフローチャート。 検索結果表示画面の一例を示す図。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本実施形態に係る情報処理システム1の構成を示す図である。
図1に示すように、情報処理システム1は、インターネットや電話網を含んで構成されたネットワークNに接続された制御サーバ10(サーバ)を備える。また、情報処理システム1は、車両Sに搭載された車載装置12を備える。制御サーバ10、及び、車載装置12は、ネットワークNを介して通信可能である。これら装置の構成、機能、及び、機能に基づく処理については後述する。
なお、図1では、制御サーバ10を1つのブロックで表すが、これは制御サーバ10が単一のサーバ装置により構成されることを意味するものではない。制御サーバ10は、複数のサーバ装置を含んで構成されたものでもよく、所定のシステムの一部であってもよい。すなわち、制御サーバ10は、以下で説明する機能を有していれば、その形態はどのようなものであってもよい。また、詳細は省略するが、制御サーバ10と車載装置12との間では、所定の暗号化技術、その他のセキュリティーに関する技術により、セキュアな通信が行われる。
図2は、車載装置12、及び、制御サーバ10の機能的構成を示すブロック図である。
車載装置12は、車両Sに搭載された装置である。車載装置12は、車両Sの現在位置を検出する自車位置検出を行う機能や、地図上に車両Sの現在位置を表示する車両位置表示を行う機能、目的地までの経路を探索する経路探索を行う機能、及び、地図を表示して、地図上に目的地までの経路を表示し目的地までの経路を案内する経路案内を行う機能等を備える。
図2に示すように、車載装置12は、制御部20と、記憶部21と、操作部22と、通信部23と、GPSユニット24と、相対方位検出ユニット25と、タッチパネル26と、撮像部27と、を備える。
制御部20は、CPUや、ROM、RAM、その他周辺回路等を備え、車載装置12の各部を制御する。制御部20は、例えば、CPUが、ROMが記憶する制御プログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により、車載装置12の各部を制御する。
記憶部21は、不揮発性メモリーを備え、各種データを記憶する。
記憶部21は、地図データ211を記憶する。
地図データ211は、道路の形状の描画に係る道路描画データや、地形等の背景の描画に係る背景描画データ、行政区画等の文字列の描画に係る文字列描画データ等の地図の表示に係る描画データを含む。また、地図データ211は、交差点等の道路網における結線点に対応するノードに関する情報を有するノード情報や、ノードとノードとの間に形成される道路に対応するリンクに関する情報を有するリンク情報等の経路の探索、及び、経路の案内に係る情報を含む。なお、地図データ211は、地図に関する他の情報を含んでもよい。
記憶部21は、施設データ212を記憶する。
施設データ212は、地図上の施設ごとに、施設識別情報と、施設位置情報と、施設カテゴリー情報と、施設関連情報と、施設名称情報とを対応付けて記憶する。
施設識別情報は、施設を識別する識別情報である。施設位置情報は、施設の位置を、経度、及び緯度の組み合わせによって表す情報である。施設カテゴリー情報は、施設のカテゴリーを示す情報である。施設名称情報は、施設の名称を示す情報である。
なお、施設データ212は、施設に関する他の情報を含んでもよい。
操作部22は、車載装置12の筐体に設けられた操作スイッチ221を備え、操作スイッチ221に対する操作を検出し、操作に対応する信号を制御部20に出力する。制御部20は、操作部22から入力された信号に基づいて、操作に対応する処理を実行する。
通信部23は、制御部20の制御に従って、所定の通信規格に従って、ネットワークNにアクセスし、ネットワークNと接続する機器(制御サーバ10を含む。)と通信する。車載装置12と制御サーバ10との間での通信に用いられる通信規格は、何でもよい。通信規格は、例えば、HTTPや、WebSocketである。
なお、本実施形態では、車載装置12が、ネットワークNにアクセスする機能を有する。しかしながら、車載装置12が当該機能を有さず、ネットワークNにアクセスする機能を有する外部の装置と通信し、当該外部の装置を介してネットワークNにアクセスする構成でもよい。例えば、車載装置12は、車両Sに搭乗するユーザが所有する携帯機器(例えば、いわゆるスマートフォンや、タブレット型のコンピューター。)と、近距離無線通信し、当該携帯機器を介してネットワークNにアクセスしてもよい。
GPSユニット24は、図示しないGPSアンテナを介してGPS衛星からのGPS電波を受信し、GPS電波に重畳されたGPS信号から、車両Sの現在位置と進行方向とを演算により検出する。GPSユニット24は、検出結果を制御部20に出力する。
相対方位検出ユニット25は、ジャイロセンサと、加速度センサとを備える。ジャイロセンサは、例えば振動ジャイロにより構成され、車両Sの相対的な方位(例えば、ヨー軸方向の旋回量)を検出する。加速度センサは、車両Sに作用する加速度(例えば、進行方向に対する車両Sの傾き)を検出する。相対方位検出ユニット25は、検出結果を制御部20に出力する。
タッチパネル26は、表示パネル261と、タッチセンサ262とを備える。
表示パネル261は、液晶表示パネルや有機EL表示パネル等の表示装置である。制御部20は、表示パネル261を駆動して、表示パネル261に画像を表示する。
タッチセンサ262は、タッチパネル26が接触操作された場合、接触操作された位置(以下、「接触位置」という。)を示す信号を制御部20に出力する。制御部20は、タッチセンサ262から入力された接触位置を示す信号に基づいて、接触操作に対応する処理を実行する。
撮像部27は、車両Sに搭載され、車両Sの進行方向に向かって左方を撮影するカメラを有する。撮像部27は、制御部20の制御で、所定の周期で撮影を実行する。撮像部27は、撮影の結果に基づいて撮影画像データを生成し、生成した撮影画像データを、制御部20に出力する。撮影画像データは、色に関する情報(例えば、RGBの各色の色成分を所定階調の階調値で表す情報)を有するドットが、所定の解像度に対応してドットマトリックス状に配置されたビットマップデータである。
なお、本実施形態では、撮像部27は、車両Sの左方を撮影する。これは、本実施形態に係る車両Sが左側通行することを前提とし、後述するように、撮像部27の撮影結果に基づく撮影画像データを、行列が発生しているか否かの判別に利用するためである。ただし、車両Sが右側通行する場合は、撮像部27が車両Sの右方を撮影する構成でもよい。また、撮像部27は、車両Sの進行方向に向かって左方を撮影するカメラ、右方を撮影するカメラを有し、左方、右方のそれぞれを撮影する構成でもよい。この場合、制御部20は、後述する行列の検出に係る処理を、左方のカメラの撮影に基づく撮影画像データ、及び、右方のカメラの撮影に基づく撮影画像データのそれぞれに基づいて実行する。また、撮像部27は、車両Sの前方を撮影する広角カメラを有し、当該広角カメラによって車両Sの前方を撮影する構成でもよい。
上述したように、車載装置12は、車両Sの現在位置を検出する自車位置検出を行う機能、地図上に車両Sの現在位置を表示する車両位置表示を行う機能、目的地までの経路を探索する経路探索を行う機能、及び、地図を表示して、地図上に目的地までの経路を表示し目的地までの経路を案内する経路案内を行う機能を備える。自車位置検出に際し、制御部20は、GPSユニット24及び相対方位検出ユニット25からの入力、及び、地図データ211に基づいて、車両Sの現在位置を検出する。なお、車両Sの現在位置を検出する方法はどのような方法であってもよく、また、検出に際し、車速を示す情報等の本実施形態で例示する情報以外の情報を用いてもよい。また、車両位置表示に際し、制御部20は、地図データ211に基づいて、検出した現在位置を中心とした所定のスケールの地図をタッチパネル26に表示すると共に、検出した車両Sの現在位置を示すマークを地図に表示する。また、経路探索に際し、制御部20は、地図データ211に基づいて、検出した現在位置から、ユーザに設定された目的地に至る経路を探索する。また、経路案内に際し、制御部20は、目的地までの経路を地図上に表示すると共に、検出した車両Sの現在位置を地図上に表示し、目的地に至るまでの経路を案内する。
制御サーバ10は、車載装置12と通信可能なサーバである。
図2に示すように、制御サーバ10は、サーバ制御部40と、サーバ記憶部41と、サーバ通信部42とを備える。
サーバ制御部40は、CPUや、ROM、RAM、その他周辺回路等を備え、制御サーバ10の各部を制御する。サーバ制御部40は、例えば、CPUが、ROMが記憶する制御プログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により、制御サーバ10の各部を制御する。
サーバ記憶部41は、不揮発性メモリーを備え、各種データを記憶する。
サーバ通信部42は、サーバ制御部40の制御に従って、所定の通信規格に従って、ネットワークNにアクセスし、ネットワークNと接続する機器(車載装置12を含む。)と通信する。
なお、図2は、本願発明を理解容易にするために、情報処理システム1の各装置の機能構成を主な処理内容に応じて分類して示した概略図である。車載装置12、及び、制御サーバ10の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
ところで、施設に対応して、施設を利用することを望む人物により、行列ができる場合がある。施設に対応して行列が発生している場合、その施設の人気があると想定でき、また、その施設を利用する場合は、施設を利用するまでに待ち時間が発生すると想定できる。このことを踏まえると、施設に対応して発生した行列に関する情報は、その施設に関する有益な情報と言える。
以上を踏まえ、車載装置12、及び、制御サーバ10は、以下の処理を実行する。
図3は、車載装置12、及び、制御サーバ10の動作を示すフローチャートである。図3のフローチャートFAは車載装置12の動作を示し、フローチャートFBは制御サーバ10の動作を示す。
ここで、車載装置12は、動作モードとして、第1モードを備える。ユーザは、所定の手段により、動作モードを第1モードとすることができる。車載装置12は、動作モードが第1モードの場合に、図3のフローチャートFAで示す処理を実行する。
図3のフローチャートFAに示すように、車載装置12の制御部20は、撮像部27から入力された撮影画像データを取得する(ステップSA1)。
上述したように、撮像部27は、所定の周期で車両Sの左方を撮影し、撮影の結果に基づく撮影画像データを制御部20に出力する。この結果、車両Sの走行中、撮像部27は、走行する車両Sの左方を所定の周期で撮影し、所定の周期で撮影画像データを制御部20に出力する。制御部20は、撮像部27が撮影画像データを出力する周期に対応する周期でステップSA1の処理を実行し、ステップSA1の処理の実行(撮影画像データの取得。)をトリガーとして、ステップSA2以下の処理を実行する。なお、制御部20は、撮像部27が撮影画像データを出力する周期とは異なる周期でステップSA1の処理を実行してもよい。例えば、撮像部27が10ms周期で撮影画像データを出力する一方、制御部20が1s周期でステップSA1の処理を実行する構成でもよい。
次いで、制御部20は、ステップSA1で取得した撮影画像データを分析し、撮影画像データが表す画像(以下、「撮影画像」という。)に、人物が含まれているか否かを判別する(ステップSA2)。
ステップSA2において、制御部20は、撮影画像データに基づいて、パターンマッチングを用いた既存の技術で顔認識処理(人物の顔を認識する処理。)を実行し、当該処理の結果に基づいて、撮影画像に、人物が含まれているか否かを判別する。ステップSA2の処理は、どのような方法で行なわれてもよい。
撮影画像に、人物が含まれていない場合(ステップSA2:NO)、撮影された現実の空間において行列は発生していないため、制御部20は、処理を終了する。
撮影画像に、人物が含まれている場合(ステップSA2:YES)、制御部20は、撮影画像に含まれる人物の人数が、第1閾値を上回るか否かを判別する(ステップSA3)。第1閾値は、その第1閾値を、撮影画像に含まれる人物の人数が上回る場合に、撮影された現実の空間において行列が発生している可能性があるような値とされる。第1閾値は、例えば、「7人」である。
撮影画像に含まれる人物の数が、第1閾値を上回らない場合(ステップSA3:NO)、撮影された現実の空間において行列は発生していないか、発生している可能性が非常に低いため、制御部20は、処理を終了する。
撮影画像に含まれる人物の数が、第1閾値を上回る場合(ステップSA3:YES)、制御部20は、行列検出処理を実行する(ステップSA4)。
図4のフローチャートFCは、行列検出処理の詳細を示すフローチャートである。
行列検出処理は、撮影された現実の空間に、行列が発生しているか否かを判別する処理である。
行列検出処理において、制御部20は、撮影画像データを、所定の仮想座標系に展開する(ステップSC1)。上述したように、撮影画像データは、色に関する情報を保持するドットがドットマトリックス状に配置されたビットマップデータである。このため、ステップSC1の処理により、撮影画像データを構成する全てのドットについて、所定の仮想座標系における座標により、ドットの位置を表すことが可能となる。
次いで、制御部20は、撮影画像データに含まれる、人物の顔の領域に対応するデータ(以下、「顔領域データKD」という。)を特定する(ステップSC2)。
図5は、撮影画像データを所定の仮想座標系に展開した様子を、説明に適した態様で模式的に示す図である。図5では、後述する顔中心ドットKPも併せて表示している。
図5に示す撮影画像データにおいて、点線で囲んだ領域が、人物の顔の領域である。この場合、点線で囲まれた領域に含まれるデータ(ドット群)が、顔領域データKDに相当する。
次いで、制御部20は、ステップSC2で特定した顔領域データKDのそれぞれについて、データの中心部のドット(以下、「顔中心ドットKP」という。図5参照。)を特定し、特定した顔中心ドットKPの座標を取得する(ステップSC3)。
次いで、制御部20は、顔中心ドットKPのそれぞれについて、顔中心ドットKPを中心とする半径が第1距離の領域ARを算出し、領域ARに重なった部分が存在する一群の顔中心ドットKPを1つのグループとする方法で、顔中心ドットKPのそれぞれをグルーピングする(ステップSC4)。
図6は、ステップSC4の処理を説明するため、図5の撮影画像データと同一の撮影画像データを、所定の仮想座標系に展開した様子を示す図である。
図6において、顔中心ドットKP1に係る領域AR1と、顔中心ドットKP2に係る領域AR2とは、重なった部分が存在する。従って、制御部20は、顔中心ドットKP1と、顔中心ドットKP2とは同一のグループに属すると判別する。さらに、顔中心ドットKP2に係る領域AR2と、顔中心ドットKP3に係る領域AR3とは、重なった部分が存在する。従って、制御部20は、顔中心ドットKP2と、顔中心ドットKP3とは同一のグループに属すると判別する。また、顔中心ドットKP1に係る領域AR1と、顔中心ドットKP3に係る領域AR3とは重なった部分が存在しないが、これら顔中心ドットKPについては、それぞれ、共通する顔中心ドットKP2が属するグループに属する。このため、制御部20は、顔中心ドットKP1〜KP3は、共通する同一のグループに属すると判別する。この結果、図6の例では、制御部20は、顔中心ドットKP1〜KP10を、共通する同一のグループGP1に属すると判別する。また、制御部20は、顔中心ドットKP21〜KP23を、共通する同一のグループGP2に属すると判別する。
ここで、行列が発生している場合、行列を構成する複数の人物は、隣り合う人物同士が近接した状態で並んでいると想定される。そして、上述した第1距離の値は、行列が発生している場合に、行列において隣り合う人物の離間距離として想定される距離を反映して設定される。これを踏まえ、各グループは、行列が発生している場合に、行列を構成する人物の顔中心ドットKP3の集合である可能性がある。
次いで、制御部20は、グルーピングしたグループのうち、グループに属する顔中心ドットKPの数が、上述した第1閾値を上回るものがあるか否かを判別する(ステップSC5)。
全てのグループについて、グループに属する顔中心ドットKPの数が、第1閾値を上回らない場合(ステップSC5:NO)、撮影された現実の空間において行列が発生していないか、又は、行列が発生している可能性が非常に低いため、制御部20は、行列が発生していないと判別し(ステップSC6)、行列検出処理を終了する。
グループに属する顔中心ドットKPの数が第1閾値を上回るグループが1つでもある場合(ステップSC5:YES)、制御部20は、グループに属する顔中心ドットKPの数が第1閾値を上回るグループのそれぞれを、以下で説明するグループ分析処理の対象のグループと決定する(ステップSC7)。以下、グループ分析処理の対象のグループとして決定したグループを、「処理対象グループ」という。図6の例では、制御部20は、グループGP1を処理対象グループとして決定する一方、グループGP2は処理対象グループとしない。
次いで、制御部20は、処理対象グループであって、ステップSC9のグループ分析処理の対象としていないグループのうち、1つの処理対象グループを、ステップSC9のグループ分析処理の対象として決定する(ステップSC8)。
以下、ステップSC8で、ステップSC9のグループ分析処理の対象として決定したグループを、「分析対象グループ」という。
次いで、制御部20は、分析対象グループに基づいて、グループ分析処理を実行する(ステップSC9)。
図7のフローチャートFDは、グループ分析処理の詳細を示すフローチャートである。
グループ分析処理は、画像に含まれる複数の人物の位置関係を解析し、行列を認識する処理に相当する。
図7のフローチャートFDに示すように、制御部20は、分析対象グループに属する顔中心ドットKPについて、互いに隣り合う顔中心ドットKPのx軸方向における離間距離を取得する(ステップSD1)。図6の例では、制御部20は、グループGP1について、顔中心ドットKP1と顔中心ドットKP2とのx軸方向における離間距離(|(x2)−(x1)|)、顔中心ドットKP2と顔中心ドットKP3とのx軸方向における離間距離(|(x3)−(x2)|)、顔中心ドットKP3と顔中心ドットKP4とのx軸方向における離間距離(|(x4)−(x3)|)、顔中心ドットKP4と顔中心ドットKP5とのx軸方向における離間距離(|(x5)−(x4)|)、顔中心ドットKP5と顔中心ドットKP6とのx軸方向における離間距離(|(x6)−(x5)|)、顔中心ドットKP6と顔中心ドットKP7とのx軸方向における離間距離(|(x7)−(x6)|)、顔中心ドットKP8と顔中心ドットKP9とのx軸方向における離間距離(|(x9)−(x8)|)、及び顔中心ドットKP9と顔中心ドットKP10とのx軸方向における離間距離(|(x10)−(x9)|)を取得する。
以下の説明では、処理対象グループにおいて、互いに隣り合う顔中心ドットKPのx軸方向における離間距離を「x軸方向離間距離」という。
次いで、制御部20は、ステップSD1で取得したx軸方向離間距離のそれぞれに基づいて、標準偏差を算出する(ステップSD2)。
ここで、複数の人物が行列を構成している場合、隣り合う人物の離間距離は、略一定であると推定される。行列は、複数の人物が等間隔で並んで構成されるという規則性(特徴)があるからである。これを踏まえ、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが、行列を構成している場合、x軸方向離間距離のばらつきが小さく(=x軸方向離間距離のそれぞれが略一定の値となる。)、かつ、後述するy軸方向離間距離のばらつきが小さい、という規則性(特徴)がある。
次いで、制御部20は、ステップSD2で算出した標準偏差が、予め定められた第2閾値を下回るか否かを判別する(ステップSD3)。
第2閾値は、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが行列を構成している場合に、x軸方向離間距離に基づく標準偏差が、当該第2閾値を下回るような値に設定される。
標準偏差が、第2閾値を下回らない場合(ステップSD3:NO)、制御部20は、分析対象グループに対応する行列は発生していないと判別し(ステップSD4)、グループ分析処理を終了する。
標準偏差が、第2閾値を下回る場合(ステップSD3:YES)、制御部20は、分析対象グループに属する顔中心ドットKPについて、互いに隣り合う顔中心ドットKPのy軸方向における離間距離を取得する(ステップSD5)。図6の例では、制御部20は、グループGP1について、顔中心ドットKP1と顔中心ドットKP2とのy軸方向における離間距離(|(y2)−(y1)|)、顔中心ドットKP2と顔中心ドットKP3とのy軸方向における離間距離(|(y3)−(y2)|)、顔中心ドットKP3と顔中心ドットKP4とのy軸方向における離間距離(|(y4)−(y3)|)、顔中心ドットKP4と顔中心ドットKP5とのy軸方向における離間距離(|(y5)−(y4)|)、顔中心ドットKP5と顔中心ドットKP6とのy軸方向における離間距離(|(y6)−(y5)|)、顔中心ドットKP6と顔中心ドットKP7とのy軸方向における離間距離(|(y7)−(y6)|)、顔中心ドットKP8と顔中心ドットKP9とのy軸方向における離間距離(|(y9)−(y8)|)、及び顔中心ドットKP9と顔中心ドットKP10とのy軸方向における離間距離(|(y10)−(y9)|)を取得する。
以下の説明では、処理対象グループにおいて、互いに隣り合う顔中心ドットKPのy軸方向における離間距離を「y軸方向離間距離」という。
次いで、制御部20は、ステップSD5で取得したy軸方向離間距離のそれぞれに基づいて、標準偏差を算出する(ステップSD6)。
上述したように、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが、行列を構成している場合、x軸方向離間距離のばらつきが小さく、かつ、y軸方向離間距離のばらつきが小さい、という規則性(特徴)がある。
次いで、制御部20は、ステップSD6で算出した標準偏差が、予め定められた第3閾値を下回るか否かを判別する(ステップSD7)。
第3閾値は、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが行列を構成している場合に、y軸方向離間距離に基づく標準偏差が、当該第3閾値を下回るような値に設定される。
標準偏差が、第3閾値を下回らない場合(ステップSD7:NO)、制御部20は、分析対象グループに対応する行列は発生していないと判別し(ステップSD4)、グループ分析処理を終了する。
標準偏差が、第3閾値を下回る場合(ステップSD7:YES)、制御部20は、分析対象グループに対応する行列が発生していると判別し(ステップSD8)、グループ分析処理を終了する。
図4のフローチャートFCに示すように、グループ分析処理を実行した後、制御部20は、全ての処理対象グループについて、グループ分析処理が完了したか否かを判別する(ステップSC10)。
1つでもグループ分析処理が完了していない処理対象グループがある場合(ステップSC10:NO)、制御部20は、処理手順をステップSC8へ移行する。
全ての処理対象グループについて、グループ分析処理が完了した場合(ステップSC10:YES)、制御部20は、行列が発生していると判別した処理対象グループが1つでもあるか否かを判別する(ステップSC11)。
行列が発生していると判別した処理対象グループが1つもない場合(ステップSC11:NO)、制御部20は、行列が発生していないと判別し(ステップSC6)、行列検出処理を終了する。
行列が発生していると判別した処理対象グループが少なくとも1つある場合(ステップSC11:YES)、制御部20は、行列が発生していると判別し(ステップSC12)、行列検出処理を終了する。
以下、行列が発生していると判別した処理対象グループを、「行列グループ」という。
なお、行列は、1列の場合もあれば、2列以上の複数の「列」により構成される場合がある。行列が複数の「列」で構成されている場合であっても、行列を構成する複数の人物に対応する顔中心ドットKPについて、X軸方向離間距離、及び、y軸方向離間距離のばらつきが小さいという規則性(特徴)が適用できるため、上述したグループ分析処理で的確に行列を検出することができる。
ただし、複数の「列」により行列が構成されている場合、グループ分析処理において、以下の処理を実行して、さらに的確に行列を検出する構成でもよい。
図8は、2列により構成される行列が撮影されることによって生成される撮影画像データを、説明に適した態様で模式的に示す図である。
図8では、撮影画像データにおいて、顔中心ドットKPを明示する。また、図8では、グループGP3に属する顔中心ドットKPのそれぞれは、2列に係る行列を構成する複数の人物のそれぞれに対応するドットである。
以下の説明において、n個(nは正の整数。)の「列」により構成される行列は、n人の人物により構成される「行」が、行列が延びる方向に、複数並んで構成されるものとする。例えば、行列が、第1列と、第2列との2つの「列」により構成される場合において、第1列の先頭の人物、及び、第2列の先頭の人物により、1つの「行」が構成され、また、第1列の先頭から2番目の人物、及び、第2列の先頭から2番目の人物により、1つの「行」が構成される。
ここで、行列が、複数の列により構成される場合、行列には、以下の規則性(特徴)がある。すなわち、各「行」において、互いに隣り合う人物の離間距離が近接する、という規則性(特徴)がある。
これを踏まえ、制御部20は、グループ分析処理において、分析対象グループに属する顔中心ドットKPのそれぞれについて、顔中心ドットKPを中心とする半径が第2距離(ただし、第2距離<第1距離。)の領域BRを算出し、領域BRに重なった部分が存在する一群の顔中心ドットKPを1つのグループとする方法で、顔中心ドットKPのそれぞれをグルーピングする。第2距離の値は、複数の「列」からなる行列が発生している場合に、行列を構成する「行」において隣り合う人物の離間距離として想定される距離を反映して設定される。これを踏まえ、各グループは、複数の「列」からなる行列が発生している場合に、「行」を構成する人物の顔中心ドットKP3の集合である可能性がある。
図8の例では、制御部20は、顔中心ドットKP31a及び顔中心ドットKP31bを同一のグループとし、顔中心ドットKP32a及び顔中心ドットKP32bを同一のグループとし、顔中心ドットKP33a及び顔中心ドットKP33bを同一のグループとし、顔中心ドットKP34a及び顔中心ドットKP34bを同一のグループとし、顔中心ドットKP35a及び顔中心ドットKP35bを同一のグループとし、顔中心ドットKP36a及び顔中心ドットKP36bを同一のグループとし、顔中心ドットKP37a及び顔中心ドットKP37bを同一のグループとし、顔中心ドットKP38a及び顔中心ドットKP38bを同一のグループとし、顔中心ドットKP39a及び顔中心ドットKP38bを同一のグループとし、顔中心ドットKP40a及び顔中心ドットKP40bを同一のグループとする。
次いで、制御部20は、各グループに属する顔中心ドットKPの中心部に位置するドットの座標を算出する。例えば、制御部20は、グループに属する顔中心ドットKPが2つの場合は、2つの顔中心ドットKPを端点とする直線の中心部に位置するドットの座標を算出する。また例えば、制御部20は、グループに属する顔中心ドットKPが3つ以上の場合は、顔中心ドットKPのそれぞれを頂点とする多角形の重心部に位置するドットの座標を算出する。図8の例では、制御部20は、グループGP31について顔中心ドットKP31cの座標を算出し、グループGP32について顔中心ドットKP32cの座標を算出し、グループGP33について顔中心ドットKP33cの座標を算出し、グループGP34について顔中心ドットKP34cの座標を算出し、グループGP35について顔中心ドットKP35cの座標を算出し、グループGP36について顔中心ドットKP36cの座標を算出し、グループGP37について顔中心ドットKP37cの座標を算出し、グループGP38について顔中心ドットKP38cの座標を算出し、グループGP39について顔中心ドットKP39cの座標を算出し、グループGP40について顔中心ドットKP40cの座標を算出する。
以下、各グループに属する顔中心ドットKPの中心部に位置するドットのことを、「行中心ドットGT」という。
次いで、制御部20は、分析対象グループに属する行中心ドットGTについて、x軸方向離間距離に基づく標準偏差、及び、y軸方向離間距離に基づく標準偏差を算出し、これら標準偏差に基づいて、上述した方法と同様の方法で行列が発生しているか否かを判別する。
以上説明した方法によれば、複数の「列」により構成される行列が発生している場合に、そのことをより的確に検出できる。
図3のフローチャートFAに示すように、ステップSA4の行列検出処理を実行した後、制御部20は、行列検出処理において、行列が発生していると判別したか否かを判別する(ステップSA5)。
行列検出処理において行列が発生していないと判別した場合(ステップSA5:NO)、制御部20は、処理を終了する。
以下の説明では、説明の便宜を考慮して、行列グループが1つであるものとして説明を行う。行列検出処理において、複数の行列グループを検出した場合は、制御部20は、行列グループごとに、以下の処理を実行する。
行列検出処理において行列が発生していると判別した場合(ステップSA5:YES)、制御部20は、行列発生日時情報、及び、行列規模情報を取得する(ステップSA6)。
行列発生日時情報は、撮像部27により撮影が行われた日時を示す情報である。行列発生日時情報が示す日時は、行列が撮影された日時に相当する。
行列規模情報は、行列の規模を示す情報である。本実施形態では、行列の規模の概念として、行列を構成する人物の多寡に応じて、「大規模」、「中規模」、及び「小規模」がある。ステップSA6において、行列グループに属する顔中心ドットと、「大規模」に対応する閾値、「中規模」に対応する閾値とを比較し、比較結果に基づいて、行列規模情報を取得する。
次いで、制御部20は、撮影画像データを分析し、行列グループに対応する行列の先頭の位置を示す情報を取得する(ステップSA7)。行列の先頭の位置を示す情報は、行列の先頭の位置を、経度、及び緯度の組み合わせによって表す情報である。
例えば、制御部20は、GPSユニット24からの入力、相対方位検出ユニット25からの入力、地図データ211に基づいて、撮像部27により撮影が実行されたときの車両Sの位置を取得する。次いで、制御部20は、取得した車両Sの位置、撮像部27の撮影の方向、及び、撮影画像データにおける行列グループに属する顔中心ドットKPの位置に基づいて、行列グループに対応する行列の先頭の位置を取得する。
行列グループに対応する行列の先頭の位置を取得する方法は、例示した方法に限らず、どのような方法であってもよい。
以下、ステップSA7で制御部20が取得した行列の先頭の位置を示す情報を「行列位置情報」という。
次いで、制御部20は、施設データ212に基づいて、行列位置情報が示す位置に対応する位置に位置する施設を検索する(ステップSA8)。ここで、上述したように、施設データ212は、地図上の施設ごとに、施設を識別する施設識別情報と、施設の位置を示す施設位置情報とを有する。ステップSA8において、制御部20は、施設データ212に基づいて、行列の先頭の位置との離間距離が所定の距離の範囲内にある施設が存在する場合は、当該範囲内の施設のうち、行列の先頭の位置から最も近い位置に位置する施設を特定する。一方、制御部20は、行列の先頭の位置との離間距離が所定の距離の範囲内にある施設が存在しない場合は、行列位置情報が示す位置に対応する位置に位置する施設が存在しないと判別する。
行列位置情報が示す位置に対応する位置に位置する施設は、行列が発生している施設と装置される。
次いで、制御部20は、ステップSA8の処理において、行列位置情報が示す位置に対応する位置に位置する施設が特定できたか否かを判別する(ステップSA9)。
施設が特定できなかった場合(ステップSA9:NO)、制御部20は、処理を終了する。
施設が特定できた場合(ステップSA9:YES)、制御部20は、施設データ212に基づいて、特定した施設の施設識別情報を取得する(ステップSA10)。
次いで、制御部20は、通信部23を制御して、ステップSA10で取得した施設識別情報、ステップSA6で取得した行列発生日時情報、及び行列規模情報を制御サーバ10に送信する。
なお、制御サーバ10のアドレスや、通信に使用する通信規格、制御サーバ10に送信するデータのフォーマット等の、制御サーバ10と通信して制御サーバ10に情報を送信するために必要な情報は、事前に登録される。
図3のフローチャートFBに示すように、制御サーバ10のサーバ制御部40は、サーバ通信部42を制御して、施設識別情報、行列発生日時情報、及び行列規模情報を受信する(ステップSB1)。
次いで、サーバ制御部40は、受信した情報に基づいて、行列関連データベース411を更新する(ステップSB2)。
行列関連データベース411は、地図上の施設ごとにレコードを有し、各レコードにおいて施設識別情報と、行列発生日時情報と、行列規模情報とを対応付けて記憶するデータベースである。ステップSB2において、サーバ制御部40は、行列関連データベース411のレコードのうち、受信した施設識別情報の値と同一の値の施設識別情報を有するレコードを特定する。次いで、サーバ制御部40は、特定したレコードの行列発生日時情報と、行列規模情報とを、それぞれ、受信した行列発生日時情報と、行列規模情報とにより更新する。
ここで、本実施形態に係る車載装置12が搭載された車両Sは、複数、存在する。複数の車載装置12は、適宜、撮影画像データを分析し、制御サーバ10に対して、施設識別情報、行列発生日時情報、及び行列規模情報を送信する。この結果、行列関連データベース411の各レコードの行列発生日時情報の値、及び、行列規模情報の値は、それぞれ、いずれかの車載装置12から受信した最新の行列発生日時情報、及び、行列規模情報に基づく値となる。
図3のフローチャートFAに示すように、制御サーバ10に情報を送信した後、制御部20は、取得した施設識別情報、行列発生日時情報、及び行列規模情報に基づいて、対応する処理を実行する(ステップSA12)。ステップSA12において制御部20が実行する処理は、例えば、ユーザにより事前に登録される。
ステップSA12において、例えば、制御部20は、以下の処理を実行する。
例えば、制御部20は、所定のタイミングで、タッチパネル26に、行列が発生している施設に関する情報を表示する。所定のタイミングは、例えば、車両Sが停車したタイミングであり、また例えば、ユーザから所定の指示があったタイミングである。
図9は、ステップSA12の処理によりタッチパネル26に表示される情報の一例を示す図である。
図9の例では、左半分の領域に、行列が発生している施設の名称を示す情報、当該施設のカテゴリーを示す情報、及び、行列の規模を示す情報が表示される。ユーザは、これら情報を参照することにより、行列が発生している施設について、施設の名称、施設のカテゴリー、及び、発生した行列の規模を簡易に、的確に認識できる。ここで、行列が発生している施設は、人気がある施設と想定され、ユーザが興味を持つ可能性があるものと想定される。本実施形態によれば、ユーザが興味を持つ可能性がある施設について、ユーザが、例えば、インターネットを利用して調べる等の煩雑な作業を行うことなく、施設に関する情報を取得することができ、ユーザの利便性が高い。
図9の例では、右半分の領域に、地図が表示されると共に、地図上に車両Sの現在位置を示すマークM1と、行列が発生した施設を示すマークM2とが表示される。ユーザは、地図を参照することにより、車両Sと、行列が発生している施設との位置関係を簡易に、的確に認識できる。
ステップSA12の処理について、一例を挙げて説明したが、ステップSA12において、制御部20が、例示した処理とは異なる処理を実行する構成でもよい。例えば、車載装置12が音声を出力する機能を有する場合は、音声により、行列が発生した施設に関する情報や、行列に関する情報を出力する構成でもよい。
次いで、車載装置12が実行可能な施設検索処理について説明する。
施設検索処理は、ユーザの指示に応じて、施設を検索する処理である。以下で説明するとおり、車載装置12の制御部20は、施設の検索にあたり、行列に関する有益な情報を併せてユーザに提供する。
図10のフローチャートFEは、施設検索処理を実行するときの車載装置12の動作を示し、フローチャートFFは、制御サーバ10の動作を示す。
図10のフローチャートFEに示すように、車載装置12の制御部20は、ユーザにより、施設の検索の開始の指示が行われたか否かを監視する(ステップSE1)。ユーザは、操作スイッチ221を操作して、また、タッチパネル26をタッチ操作して、指示を行う。
施設の検索の開始の指示があったことを検出した場合(ステップSE1:YES)、制御部20は、検索する施設のカテゴリー、及び、検索条件を入力するユーザーインターフェースをタッチパネル26に表示する(ステップSE2)。
検索条件は、検索する施設の範囲を表す条件である。例えば、検索条件は、「車両Sの現在位置の近辺(例えば、車両Sを中心とする所定の範囲内。)に位置する施設」である。また例えば、検索条件は、「目的地の近辺(例えば、目的地を中心とする所定の範囲内。)に位置する施設」である。また例えば、検索条件は、「車両Sの現在位置から目的地までの経路沿いに位置する施設」である。
制御部20は、ユーザーインターフェースにカテゴリー、及び、検索条件の入力があり、入力が確定されたか否かを監視する(ステップSE3)。
入力が確定されたことを検出した場合(ステップSE3:YES)、制御部20は、入力されたカテゴリー、及び、検索条件を取得する(ステップSE4)。
次いで、制御部20は、地図データ211、施設データ212を参照し、ステップSE4で取得したカテゴリー、及び、検索条件に基づいて、カテゴリー、及び、検索条件に合致した施設を検索し、特定する(ステップSE5)。
以下では、説明の便宜のため、ステップSE4の処理により、ステップSE4で取得したカテゴリー、及び、検索条件に合致する施設として、複数の施設が特定されたものとして制御部20の処理について説明する。
次いで、制御部20は、通信部23を制御して、応答要求データを制御サーバ10に送信する(ステップSE6)。応答要求データは、ステップSE5で特定した複数の施設のそれぞれの施設識別情報を含み、各施設について、行列発生日時情報、及び行列規模情報の送信を要求するデータである。
図10のフローチャートFFに示すように、制御サーバ10のサーバ制御部40は、サーバ通信部42を制御して、応答要求データを受信する(ステップSF1)。
次いで、サーバ制御部40は、行列関連データベース411を参照し、応答要求データに含まれる施設識別情報のそれぞれについて、施設識別情報に対応付けられた行列発生日時情報、及び行列規模情報を取得する(ステップSF2)。
次いで、サーバ制御部40は、サーバ通信部42を制御して、ステップSF2で取得した行列発生日時情報、及び行列規模情報を車載装置12に送信する(ステップSF3)。
なお、行列関連データベース411において、行列発生日時情報、及び行列規模情報のデフォルト値はヌル値である。従って、1の施設に対応する行列発生日時情報、及び行列規模情報が1度も更新されていない場合、当該1の施設に対応する行列発生日時情報、及び行列規模情報の値は、ヌル値である。
なお、サーバ制御部40が、1の施設の行列発生日時情報が示す日時から現在日時が、一定期間以上、乖離した場合、当該1の施設の行列発生日時情報、及び行列規模情報をデフォルト値に更新する構成でもよい。
図10のフローチャートFFに示すように、車載装置12の制御部20は、通信部23を制御して、施設ごと(施設識別情報ごと)の行列発生日時情報、及び行列規模情報を受信する(ステップSE7)。
次いで、制御部20は、受信した行列発生日時情報、及び行列規模情報を用いて、検索結果表示画面G1をタッチパネル26に表示する(ステップSE8)。
図11は、検索結果表示画面G1の一例を示す図である。
図11は、検索条件が「車両Sの現在位置の近辺に位置する施設」であり、カテゴリーが「ラーメン屋」の場合の検索結果表示画面G1を示す。
図11で例示する検索結果表示画面G1には、車両Sの位置を中心部とする所定のスケールの地図が表示されると共に、地図上に車両Sを表すマークM2が表示される。さらに、検索結果表示画面G1において、地図上に表示された施設のうち、ステップSE5で特定した施設については、アルファベットからなる符号が付され、ユーザが指定したカテゴリー及び検索条件に合致する施設であることが明示される。以下、検索結果表示画面G1に表示された施設のうち、ステップSE5で特定した施設を、「特定施設」という。
図11に示すように、検索結果表示画面G1に表示された地図において、特定施設のそれぞれには、吹き出しが対応付けて表示され、吹き出しの中には、行列発生日時情報、及び行列規模情報が表示される。なお、行列発生日時情報、及び、行列規模情報がヌル値の場合には、行列に関する情報が無い旨の情報が表示される。
ユーザは、吹き出しの中に表示された情報を参照することにより、特定施設の行列の状況を推定することができる。また、ユーザは、吹き出しの中に表示された行列に関する情報を、実際に利用する特定施設を選択する際に、有益な情報として使用することができる。例えば、待ち時間が発生した場合であっても、人気のある施設を利用することを望むユーザは、行列の規模が「大規模」である施設を優先的に選択する、といった処理を行うことができる。
図11に示すように、検索結果表示画面G1において、地図の左方には、特定施設ごとにブロックBKが一覧的に表示される。ブロックBKには、対応する施設に付された符号と、施設の名称を示す情報と、車両Sが施設まで走行した場合における走行距離を示す情報とが表示される。ブロックBKは、タッチ操作可能なボタンである。ユーザは、利用することを望む施設に対応するブロックBKをタッチ操作する。制御部20は、いずれかのブロックBKがタッチ操作されたことを検出すると、タッチ操作されたブロックBKに対応する施設(特定施設)を目的地として、経路案内を開始する。
以上説明したように、本実施形態に係る車載装置12の制御部20は、車両Sに搭載する撮像部27により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、検索した施設に関する情報を表示(出力)する。
ここで、上述したように、施設に対応して行列が発生している場合、その施設の人気があると想定でき、また、その施設を利用する場合は、施設を利用するまでに待ち時間が発生すると想定できる。従って、行列が発生している施設に関する情報は、その施設を知るにあたって、有益な情報である。このことを踏まえ、上記構成によれば、車両Sに搭載された撮像部27により取得した画像を分析することにより、行列に対応する施設に関する情報を出力する、という有益な処理を実行できる。
なお、上述したように、情報を出力する方法は、表示でもよく、音声出力でもよい。
また、本実施形態では、制御部20は、行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力する。
ここで、施設に対応して発生した行列の規模は、施設を利用する場合の待ち時間に影響するため、施設を利用するか否かを判断する際に、有益な情報である。このことを踏まえ、上記構成によれば、制御部20は、行列の規模を示す情報という有益な情報を出力できる。
また、本実施形態では、制御部20は、撮像部27により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識する。
この構成によれば、制御部20は、行列の特徴を反映して、画像を分析することにより的確に行列を認識できる。
また、本実施形態では、制御部20は、画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別する。
この構成によれば、制御部20は、行列の特徴を反映して、画像を分析することにより的確に行列を認識できる。
また、本実施形態に係る情報処理システム1は、車載装置12と、車載装置12と通信可能な制御サーバ10とを備える。
車載装置12は、車両Sに搭載する撮像部27により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、検索した施設に関する情報(施設識別情報)及び認識した行列に関する情報(行列発生日時情報、行列規模情報。)を制御サーバ10に送信する。
制御サーバ10は、車載装置12から受信した施設に関する情報、及び、行列に関する情報を記憶する。
この構成によれば、制御サーバ10は、車載装置12から受信し、記憶した施設に関する情報、及び、行列に関する情報を用いた処理を実行できる。
また、本実施形態では、制御サーバ10は、外部の装置(本実施形態では、車載装置12。)からの問い合わせに応じて、特定の施設についての行列に関する情報を応答する。
この構成によれば、外部の装置が、特定の施設について、行列に関する情報を取得することが可能となる。
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、図で示したフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理が行えれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
1 情報処理システム
10 制御サーバ(サーバ)
12 車載装置
20 制御部
21 記憶部
22 操作部
23 通信部
24 GPSユニット
25 相対方位検出ユニット
26 タッチパネル
27 撮像部
40 サーバ制御部
41 サーバ記憶部
42 サーバ通信部
211 地図データ
212 施設データ
221 操作スイッチ
262 タッチセンサ
411 行列関連データベース

Claims (6)

  1. 車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列の先頭の位置に対応する施設を検索し、
    複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記施設に関する情報と前記行列に関する情報を対応付けし、
    所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを表示パネルへ出力する制御部を備えることを特徴とする車載装置。
  2. 前記制御部は、前記撮像部により取得した画像に人物の顔が含まれているかどうかを判断し、前記画像に基づいて前記行列の先頭の位置を算出することを特徴とする請求項1に記載の車載装置。
  3. 前記制御部は、
    行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力することを特徴とする請求項1または2に記載の車載装置。
  4. 前記制御部は、
    前記撮像部により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識することを特徴とする請求項1から3のいずれかに記載の車載装置。
  5. 前記制御部は、
    画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別することを特徴とする請求項に記載の車載装置。
  6. 車載装置と、前記車載装置と通信可能なサーバとを備える情報処理システムであって、
    前記車載装置は、
    車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記検索した施設に関する情報及び認識した行列の先頭の位置に関する情報と前記先頭の位置に対応する施設とを前記サーバに送信し、
    所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを出力し、
    前記サーバは、
    施設に関する情報、及び、行列に関する情報を受信し、前記施設に関する情報と前記行列に関する情報を対応付けして記憶し、
    前記車載装置が前記所定の検索条件に基づいて検索した結果として抽出された施設に対応する前記施設に関する情報と前記行列に関する情報を前記車載装置へ送信する
    ことを特徴とする情報処理システム。
JP2016225217A 2016-11-18 2016-11-18 車載装置、及び情報処理システム Active JP6833472B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016225217A JP6833472B2 (ja) 2016-11-18 2016-11-18 車載装置、及び情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016225217A JP6833472B2 (ja) 2016-11-18 2016-11-18 車載装置、及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2018081052A JP2018081052A (ja) 2018-05-24
JP6833472B2 true JP6833472B2 (ja) 2021-02-24

Family

ID=62198832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016225217A Active JP6833472B2 (ja) 2016-11-18 2016-11-18 車載装置、及び情報処理システム

Country Status (1)

Country Link
JP (1) JP6833472B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7093268B2 (ja) * 2018-08-23 2022-06-29 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206422B2 (ja) * 2009-01-07 2013-06-12 カシオ計算機株式会社 構図選択装置及びプログラム
JP5932850B2 (ja) * 2012-02-10 2016-06-08 パイオニア株式会社 情報処理システム、情報処理方法、情報処理装置、情報処理端末、情報処理用プログラム、および、記録媒体
JP2015158866A (ja) * 2014-02-25 2015-09-03 株式会社Nttドコモ 混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法

Also Published As

Publication number Publication date
JP2018081052A (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
CN106663338A (zh) 信息处理装置、信息处理方法和程序
JP2008309530A (ja) 位置検出装置、それにおける位置の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP7088136B2 (ja) 標示物認識システム及び標示物認識方法
JP4339178B2 (ja) 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
JP2020086659A (ja) 情報処理システム、プログラム、及び情報処理方法
US10586107B2 (en) Information processing server, client, and information processing system
JP2019125113A (ja) 情報処理装置、情報処理方法
JP6833472B2 (ja) 車載装置、及び情報処理システム
JP6269421B2 (ja) 情報取得プログラム、情報提供装置及び情報提供システム
JP6360405B2 (ja) 情報処理システム、及び、情報処理方法
JP2018072069A (ja) 地図データ構造、送信装置及び地図表示装置
JP2020143950A (ja) 情報提供システム
JP2007309823A (ja) 車載用ナビゲーション装置
JP2020013382A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4220354B2 (ja) 他車位置表示装置及び他車情報提示方法
JP4993712B2 (ja) 簡略地図の表示制御装置及び方法
JP6040804B2 (ja) 対象物識別システム、対象物識別方法
EP3343892B1 (en) Image forming system
JP2011113127A (ja) オブジェクト位置決め装置及びオブジェクト位置決め方法
WO2014174648A1 (ja) 情報記録システム、情報取得装置、情報処理方法および情報処理プログラム
JP6564190B2 (ja) 端末装置、情報処理方法、およびプログラム
JP2016158077A (ja) 安否情報登録システム、安否情報登録装置、及びプログラム
WO2018179312A1 (ja) 画像生成装置及び画像生成方法
JP6240057B2 (ja) 電子機器、ナビゲーション方法、及びナビゲーションプログラム
JP2018124293A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150