JP6833472B2 - In-vehicle device and information processing system - Google Patents

In-vehicle device and information processing system Download PDF

Info

Publication number
JP6833472B2
JP6833472B2 JP2016225217A JP2016225217A JP6833472B2 JP 6833472 B2 JP6833472 B2 JP 6833472B2 JP 2016225217 A JP2016225217 A JP 2016225217A JP 2016225217 A JP2016225217 A JP 2016225217A JP 6833472 B2 JP6833472 B2 JP 6833472B2
Authority
JP
Japan
Prior art keywords
matrix
facility
information
control unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016225217A
Other languages
Japanese (ja)
Other versions
JP2018081052A (en
Inventor
孝信 長島
孝信 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2016225217A priority Critical patent/JP6833472B2/en
Publication of JP2018081052A publication Critical patent/JP2018081052A/en
Application granted granted Critical
Publication of JP6833472B2 publication Critical patent/JP6833472B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Description

本発明は、車載装置、及び情報処理システムに関する。 The present invention relates to an in-vehicle device and an information processing system.

従来、車両に撮像部(カメラ)を搭載し、撮像部により取得した画像を解析し、解析結果に基づいて処理を行う車載装置(車載カメラ装置)が知られている(例えば、特許文献1参照)。 Conventionally, there is known an in-vehicle device (in-vehicle camera device) in which an imaging unit (camera) is mounted on a vehicle, an image acquired by the imaging unit is analyzed, and processing is performed based on the analysis result (see, for example, Patent Document 1). ).

特開2016−139197号公報Japanese Unexamined Patent Publication No. 2016-139197

上述した特許文献1に記載の車載装置のように、車両に撮像部を搭載し、撮像部により取得した画像を解析することが可能な装置では、解析結果を用いてより有益な処理を実行できるようにしたとするニーズがある。
本発明は、上述した事情に鑑みてなされたものであり、車両に搭載された撮像部により取得した画像に基づいて有益な処理を実行できるようにすることを目的とする。
In a device such as the in-vehicle device described in Patent Document 1 described above, in which an imaging unit is mounted on a vehicle and an image acquired by the imaging unit can be analyzed, more useful processing can be executed using the analysis results. There is a need to do so.
The present invention has been made in view of the above circumstances, and an object of the present invention is to enable useful processing to be executed based on an image acquired by an image pickup unit mounted on a vehicle.

上記目的を達成するために、本発明は、車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列の先頭の位置に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記施設に関する情報と前記行列に関する情報を対応付けし、所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを表示パネルへ出力する制御部を備えることを特徴とする。
また、本発明は、前記制御部は、前記撮像部により取得した画像に人物の顔が含まれているかどうかを判断し、前記画像に基づいて前記行列の先頭の位置を算出することを特徴とする。
In order to achieve the above object, the present invention detects whether an image acquired by an imaging unit mounted on a vehicle includes a plurality of persons, and when a plurality of persons are detected, the positional relationship of the plurality of persons is determined. When it is analyzed and it can be recognized as a matrix , the facility corresponding to the head position of the recognized matrix is searched, and when a plurality of the matrix is recognized, the head position of each matrix is calculated and the head position is calculated. The corresponding facility is searched for each position, the information about the facility is associated with the information about the matrix, the search for the facility according to the predetermined search conditions is accepted, and the facility extracted as a result of the search is the information about the matrix. when There has been added, to a control unit which output the data related to map the matrix information about the overlap added to the information and the facility relating to the extracted facilities as a result of the search to the display panel It is characterized by.
Further, the present invention is characterized in that the control unit determines whether or not the image acquired by the imaging unit includes a person's face, and calculates the position of the head of the matrix based on the image. To do.

また、本発明は、前記制御部は、行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力することを特徴とする。 Further, the present invention is characterized in that, when the control unit can recognize that it is a matrix, it acquires the scale of the recognized matrix and outputs information indicating the scale of the matrix.

また、本発明は、前記制御部は、前記撮像部により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識することを特徴とする。 Further, in the present invention, the control unit determines whether or not a plurality of persons included in the image are lined up with a predetermined regularity based on the image acquired by the imaging unit, and the plurality of persons included in the image. When the characters are lined up with a predetermined regularity, it is recognized as a matrix.

また、本発明は、前記制御部は、画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別することを特徴とする。 Further, in the present invention, the control unit has a plurality of persons included in the image having a predetermined regularity when the variation in the separation distance between the adjacent persons in a predetermined direction is small for the plurality of persons included in the image. It is characterized in that it is determined that it is in a lined state.

また、上記目的を達成するために、本発明は、車載装置と、前記車載装置と通信可能なサーバとを備える情報処理システムであって、前記車載装置は、車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記検索した施設に関する情報及び認識した行列の先頭の位置に関する情報と前記先頭の位置に対応する施設とを前記サーバに送信し、所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを出力し、前記サーバは、施設に関する情報、及び、行列に関する情報を受信し、前記施設に関する情報と前記行列に関する情報を対応付けして記憶し、前記車載装置が前記所定の検索条件に基づいて検索した結果として抽出された施設に対応する前記施設に関する情報と前記行列に関する情報を前記車載装置へ送信することを特徴とする。 Further, in order to achieve the above object, the present invention is an information processing system including an in-vehicle device and a server capable of communicating with the in-vehicle device, and the in-vehicle device is acquired by an imaging unit mounted on a vehicle. Detects whether the image contains multiple people, and if multiple people are detected, analyzes the positional relationship of the multiple people, and if it can be recognized as a matrix, searches for facilities corresponding to the recognized matrix. Then, when a plurality of the said matrixes are recognized, the head position of each matrix is calculated, the corresponding facility is searched for each of the head positions, and the information about the searched facility and the head position of the recognized matrix are related. When the information and the facility corresponding to the head position are transmitted to the server, the search for the facility based on the predetermined search conditions is accepted, and the information related to the matrix is added to the facility extracted as a result of the search. , The server outputs the data related to the map in which the information about the facility extracted as a result of the search and the information about the matrix added to the facility overlap , and the server outputs the information about the facility and the information about the matrix. The information about the facility and the matrix corresponding to the facility extracted as a result of receiving, storing the information about the facility and the information about the matrix in association with each other and searching based on the predetermined search condition by the in-vehicle device. The information is transmitted to the in-vehicle device .

本発明によれば、車両に搭載された撮像部により取得した画像に基づいて有益な処理を実行できる。 According to the present invention, useful processing can be executed based on an image acquired by an image pickup unit mounted on a vehicle.

本実施形態に係る情報処理システムの構成を示す図。The figure which shows the structure of the information processing system which concerns on this embodiment. 車載装置、及び、制御サーバの機能的構成を示すブロック図。The block diagram which shows the functional configuration of an in-vehicle device and a control server. 車載装置、及び、制御サーバの動作を示すフローチャート。The flowchart which shows the operation of an in-vehicle device and a control server. 車載装置の動作を示すフローチャート。A flowchart showing the operation of the in-vehicle device. 撮影画像データを示す図。The figure which shows the photographed image data. 撮影画像データを示す図。The figure which shows the photographed image data. 車載装置の動作を示すフローチャート。A flowchart showing the operation of the in-vehicle device. 撮影画像データを示す図。The figure which shows the photographed image data. タッチパネルに表示される情報の一例を示す図。The figure which shows an example of the information displayed on a touch panel. 車載装置、及び、制御サーバの動作を示すフローチャート。The flowchart which shows the operation of an in-vehicle device and a control server. 検索結果表示画面の一例を示す図。The figure which shows an example of the search result display screen.

以下、図面を参照して本発明の実施形態について説明する。
図1は、本実施形態に係る情報処理システム1の構成を示す図である。
図1に示すように、情報処理システム1は、インターネットや電話網を含んで構成されたネットワークNに接続された制御サーバ10(サーバ)を備える。また、情報処理システム1は、車両Sに搭載された車載装置12を備える。制御サーバ10、及び、車載装置12は、ネットワークNを介して通信可能である。これら装置の構成、機能、及び、機能に基づく処理については後述する。
なお、図1では、制御サーバ10を1つのブロックで表すが、これは制御サーバ10が単一のサーバ装置により構成されることを意味するものではない。制御サーバ10は、複数のサーバ装置を含んで構成されたものでもよく、所定のシステムの一部であってもよい。すなわち、制御サーバ10は、以下で説明する機能を有していれば、その形態はどのようなものであってもよい。また、詳細は省略するが、制御サーバ10と車載装置12との間では、所定の暗号化技術、その他のセキュリティーに関する技術により、セキュアな通信が行われる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of an information processing system 1 according to the present embodiment.
As shown in FIG. 1, the information processing system 1 includes a control server 10 (server) connected to a network N configured including the Internet and a telephone network. Further, the information processing system 1 includes an in-vehicle device 12 mounted on the vehicle S. The control server 10 and the in-vehicle device 12 can communicate with each other via the network N. The configuration, functions, and processing based on the functions of these devices will be described later.
In FIG. 1, the control server 10 is represented by one block, but this does not mean that the control server 10 is composed of a single server device. The control server 10 may be configured to include a plurality of server devices, or may be a part of a predetermined system. That is, the control server 10 may have any form as long as it has the functions described below. Further, although details are omitted, secure communication is performed between the control server 10 and the in-vehicle device 12 by a predetermined encryption technique or other security-related techniques.

図2は、車載装置12、及び、制御サーバ10の機能的構成を示すブロック図である。 FIG. 2 is a block diagram showing a functional configuration of the in-vehicle device 12 and the control server 10.

車載装置12は、車両Sに搭載された装置である。車載装置12は、車両Sの現在位置を検出する自車位置検出を行う機能や、地図上に車両Sの現在位置を表示する車両位置表示を行う機能、目的地までの経路を探索する経路探索を行う機能、及び、地図を表示して、地図上に目的地までの経路を表示し目的地までの経路を案内する経路案内を行う機能等を備える。 The in-vehicle device 12 is a device mounted on the vehicle S. The in-vehicle device 12 has a function of detecting the current position of the vehicle S, a function of displaying the current position of the vehicle S on a map, and a route search for searching a route to the destination. It also has a function to display a map, display a route to the destination on the map, and perform route guidance to guide the route to the destination.

図2に示すように、車載装置12は、制御部20と、記憶部21と、操作部22と、通信部23と、GPSユニット24と、相対方位検出ユニット25と、タッチパネル26と、撮像部27と、を備える。 As shown in FIG. 2, the in-vehicle device 12 includes a control unit 20, a storage unit 21, an operation unit 22, a communication unit 23, a GPS unit 24, a relative orientation detection unit 25, a touch panel 26, and an imaging unit. 27 and.

制御部20は、CPUや、ROM、RAM、その他周辺回路等を備え、車載装置12の各部を制御する。制御部20は、例えば、CPUが、ROMが記憶する制御プログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により、車載装置12の各部を制御する。 The control unit 20 includes a CPU, ROM, RAM, other peripheral circuits, and the like, and controls each unit of the in-vehicle device 12. The control unit 20 controls each part of the in-vehicle device 12 in cooperation with hardware and software, for example, the CPU reads and executes a control program stored in the ROM.

記憶部21は、不揮発性メモリーを備え、各種データを記憶する。
記憶部21は、地図データ211を記憶する。
地図データ211は、道路の形状の描画に係る道路描画データや、地形等の背景の描画に係る背景描画データ、行政区画等の文字列の描画に係る文字列描画データ等の地図の表示に係る描画データを含む。また、地図データ211は、交差点等の道路網における結線点に対応するノードに関する情報を有するノード情報や、ノードとノードとの間に形成される道路に対応するリンクに関する情報を有するリンク情報等の経路の探索、及び、経路の案内に係る情報を含む。なお、地図データ211は、地図に関する他の情報を含んでもよい。
記憶部21は、施設データ212を記憶する。
施設データ212は、地図上の施設ごとに、施設識別情報と、施設位置情報と、施設カテゴリー情報と、施設関連情報と、施設名称情報とを対応付けて記憶する。
施設識別情報は、施設を識別する識別情報である。施設位置情報は、施設の位置を、経度、及び緯度の組み合わせによって表す情報である。施設カテゴリー情報は、施設のカテゴリーを示す情報である。施設名称情報は、施設の名称を示す情報である。
なお、施設データ212は、施設に関する他の情報を含んでもよい。
The storage unit 21 includes a non-volatile memory and stores various data.
The storage unit 21 stores the map data 211.
The map data 211 relates to the display of a map such as road drawing data related to drawing the shape of a road, background drawing data related to drawing a background such as terrain, and character string drawing data related to drawing a character string such as an administrative division. Includes drawing data. Further, the map data 211 includes node information having information on nodes corresponding to connection points in a road network such as intersections, link information having information on links corresponding to roads formed between nodes, and the like. Includes information related to route search and route guidance. The map data 211 may include other information about the map.
The storage unit 21 stores the facility data 212.
The facility data 212 stores facility identification information, facility location information, facility category information, facility-related information, and facility name information in association with each facility on the map.
The facility identification information is identification information that identifies the facility. The facility location information is information that represents the location of the facility by a combination of longitude and latitude. The facility category information is information indicating the category of the facility. The facility name information is information indicating the name of the facility.
The facility data 212 may include other information about the facility.

操作部22は、車載装置12の筐体に設けられた操作スイッチ221を備え、操作スイッチ221に対する操作を検出し、操作に対応する信号を制御部20に出力する。制御部20は、操作部22から入力された信号に基づいて、操作に対応する処理を実行する。 The operation unit 22 includes an operation switch 221 provided in the housing of the vehicle-mounted device 12, detects an operation on the operation switch 221 and outputs a signal corresponding to the operation to the control unit 20. The control unit 20 executes a process corresponding to the operation based on the signal input from the operation unit 22.

通信部23は、制御部20の制御に従って、所定の通信規格に従って、ネットワークNにアクセスし、ネットワークNと接続する機器(制御サーバ10を含む。)と通信する。車載装置12と制御サーバ10との間での通信に用いられる通信規格は、何でもよい。通信規格は、例えば、HTTPや、WebSocketである。
なお、本実施形態では、車載装置12が、ネットワークNにアクセスする機能を有する。しかしながら、車載装置12が当該機能を有さず、ネットワークNにアクセスする機能を有する外部の装置と通信し、当該外部の装置を介してネットワークNにアクセスする構成でもよい。例えば、車載装置12は、車両Sに搭乗するユーザが所有する携帯機器(例えば、いわゆるスマートフォンや、タブレット型のコンピューター。)と、近距離無線通信し、当該携帯機器を介してネットワークNにアクセスしてもよい。
The communication unit 23 accesses the network N according to a predetermined communication standard under the control of the control unit 20, and communicates with a device (including the control server 10) connected to the network N. The communication standard used for communication between the in-vehicle device 12 and the control server 10 may be anything. Communication standards are, for example, HTTP and WebSocket.
In the present embodiment, the in-vehicle device 12 has a function of accessing the network N. However, the in-vehicle device 12 may be configured to communicate with an external device that does not have the function and has a function of accessing the network N, and access the network N via the external device. For example, the in-vehicle device 12 performs short-range wireless communication with a mobile device (for example, a so-called smartphone or a tablet-type computer) owned by a user boarding the vehicle S, and accesses the network N via the mobile device. You may.

GPSユニット24は、図示しないGPSアンテナを介してGPS衛星からのGPS電波を受信し、GPS電波に重畳されたGPS信号から、車両Sの現在位置と進行方向とを演算により検出する。GPSユニット24は、検出結果を制御部20に出力する。 The GPS unit 24 receives GPS radio waves from GPS satellites via GPS antennas (not shown), and detects the current position and traveling direction of the vehicle S from the GPS signals superimposed on the GPS radio waves by calculation. The GPS unit 24 outputs the detection result to the control unit 20.

相対方位検出ユニット25は、ジャイロセンサと、加速度センサとを備える。ジャイロセンサは、例えば振動ジャイロにより構成され、車両Sの相対的な方位(例えば、ヨー軸方向の旋回量)を検出する。加速度センサは、車両Sに作用する加速度(例えば、進行方向に対する車両Sの傾き)を検出する。相対方位検出ユニット25は、検出結果を制御部20に出力する。 The relative orientation detection unit 25 includes a gyro sensor and an acceleration sensor. The gyro sensor is composed of, for example, a vibrating gyro, and detects a relative orientation of the vehicle S (for example, a turning amount in the yaw axis direction). The acceleration sensor detects the acceleration acting on the vehicle S (for example, the inclination of the vehicle S with respect to the traveling direction). The relative direction detection unit 25 outputs the detection result to the control unit 20.

タッチパネル26は、表示パネル261と、タッチセンサ262とを備える。
表示パネル261は、液晶表示パネルや有機EL表示パネル等の表示装置である。制御部20は、表示パネル261を駆動して、表示パネル261に画像を表示する。
タッチセンサ262は、タッチパネル26が接触操作された場合、接触操作された位置(以下、「接触位置」という。)を示す信号を制御部20に出力する。制御部20は、タッチセンサ262から入力された接触位置を示す信号に基づいて、接触操作に対応する処理を実行する。
The touch panel 26 includes a display panel 261 and a touch sensor 262.
The display panel 261 is a display device such as a liquid crystal display panel or an organic EL display panel. The control unit 20 drives the display panel 261 to display an image on the display panel 261.
When the touch panel 26 is touch-operated, the touch sensor 262 outputs a signal indicating the contact-operated position (hereinafter, referred to as “contact position”) to the control unit 20. The control unit 20 executes a process corresponding to the contact operation based on the signal indicating the contact position input from the touch sensor 262.

撮像部27は、車両Sに搭載され、車両Sの進行方向に向かって左方を撮影するカメラを有する。撮像部27は、制御部20の制御で、所定の周期で撮影を実行する。撮像部27は、撮影の結果に基づいて撮影画像データを生成し、生成した撮影画像データを、制御部20に出力する。撮影画像データは、色に関する情報(例えば、RGBの各色の色成分を所定階調の階調値で表す情報)を有するドットが、所定の解像度に対応してドットマトリックス状に配置されたビットマップデータである。
なお、本実施形態では、撮像部27は、車両Sの左方を撮影する。これは、本実施形態に係る車両Sが左側通行することを前提とし、後述するように、撮像部27の撮影結果に基づく撮影画像データを、行列が発生しているか否かの判別に利用するためである。ただし、車両Sが右側通行する場合は、撮像部27が車両Sの右方を撮影する構成でもよい。また、撮像部27は、車両Sの進行方向に向かって左方を撮影するカメラ、右方を撮影するカメラを有し、左方、右方のそれぞれを撮影する構成でもよい。この場合、制御部20は、後述する行列の検出に係る処理を、左方のカメラの撮影に基づく撮影画像データ、及び、右方のカメラの撮影に基づく撮影画像データのそれぞれに基づいて実行する。また、撮像部27は、車両Sの前方を撮影する広角カメラを有し、当該広角カメラによって車両Sの前方を撮影する構成でもよい。
The imaging unit 27 is mounted on the vehicle S and has a camera that photographs the left side in the traveling direction of the vehicle S. The imaging unit 27 executes shooting at a predetermined cycle under the control of the control unit 20. The imaging unit 27 generates captured image data based on the shooting result, and outputs the generated captured image data to the control unit 20. The captured image data is a bitmap in which dots having information on colors (for example, information representing the color components of each color of RGB by gradation values of predetermined gradations) are arranged in a dot matrix corresponding to a predetermined resolution. It is data.
In this embodiment, the imaging unit 27 photographs the left side of the vehicle S. This is based on the premise that the vehicle S according to the present embodiment travels on the left side, and as will be described later, the captured image data based on the imaging result of the imaging unit 27 is used to determine whether or not a matrix is generated. Because. However, when the vehicle S passes on the right side, the imaging unit 27 may take a picture of the right side of the vehicle S. Further, the imaging unit 27 may have a camera for photographing the left side and a camera for photographing the right side in the traveling direction of the vehicle S, and may be configured to photograph the left side and the right side respectively. In this case, the control unit 20 executes the process related to the detection of the matrix, which will be described later, based on the captured image data based on the shooting of the left camera and the captured image data based on the shooting of the right camera. .. Further, the imaging unit 27 may have a wide-angle camera for photographing the front of the vehicle S, and the wide-angle camera may be used to photograph the front of the vehicle S.

上述したように、車載装置12は、車両Sの現在位置を検出する自車位置検出を行う機能、地図上に車両Sの現在位置を表示する車両位置表示を行う機能、目的地までの経路を探索する経路探索を行う機能、及び、地図を表示して、地図上に目的地までの経路を表示し目的地までの経路を案内する経路案内を行う機能を備える。自車位置検出に際し、制御部20は、GPSユニット24及び相対方位検出ユニット25からの入力、及び、地図データ211に基づいて、車両Sの現在位置を検出する。なお、車両Sの現在位置を検出する方法はどのような方法であってもよく、また、検出に際し、車速を示す情報等の本実施形態で例示する情報以外の情報を用いてもよい。また、車両位置表示に際し、制御部20は、地図データ211に基づいて、検出した現在位置を中心とした所定のスケールの地図をタッチパネル26に表示すると共に、検出した車両Sの現在位置を示すマークを地図に表示する。また、経路探索に際し、制御部20は、地図データ211に基づいて、検出した現在位置から、ユーザに設定された目的地に至る経路を探索する。また、経路案内に際し、制御部20は、目的地までの経路を地図上に表示すると共に、検出した車両Sの現在位置を地図上に表示し、目的地に至るまでの経路を案内する。 As described above, the in-vehicle device 12 has a function of detecting the current position of the vehicle S, a function of displaying the current position of the vehicle S on the map, and a route to the destination. It has a function to search for a route to be searched, and a function to display a map, display a route to a destination on the map, and guide a route to the destination. When detecting the position of the own vehicle, the control unit 20 detects the current position of the vehicle S based on the input from the GPS unit 24 and the relative direction detection unit 25 and the map data 211. The current position of the vehicle S may be detected by any method, and at the time of detection, information other than the information exemplified in the present embodiment such as information indicating the vehicle speed may be used. Further, when displaying the vehicle position, the control unit 20 displays a map of a predetermined scale centered on the detected current position on the touch panel 26 based on the map data 211, and also displays a mark indicating the detected current position of the vehicle S on the touch panel 26. Is displayed on the map. Further, when searching for a route, the control unit 20 searches for a route from the detected current position to the destination set by the user based on the map data 211. Further, at the time of route guidance, the control unit 20 displays the route to the destination on the map, displays the current position of the detected vehicle S on the map, and guides the route to the destination.

制御サーバ10は、車載装置12と通信可能なサーバである。
図2に示すように、制御サーバ10は、サーバ制御部40と、サーバ記憶部41と、サーバ通信部42とを備える。
The control server 10 is a server capable of communicating with the in-vehicle device 12.
As shown in FIG. 2, the control server 10 includes a server control unit 40, a server storage unit 41, and a server communication unit 42.

サーバ制御部40は、CPUや、ROM、RAM、その他周辺回路等を備え、制御サーバ10の各部を制御する。サーバ制御部40は、例えば、CPUが、ROMが記憶する制御プログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により、制御サーバ10の各部を制御する。
サーバ記憶部41は、不揮発性メモリーを備え、各種データを記憶する。
サーバ通信部42は、サーバ制御部40の制御に従って、所定の通信規格に従って、ネットワークNにアクセスし、ネットワークNと接続する機器(車載装置12を含む。)と通信する。
The server control unit 40 includes a CPU, ROM, RAM, other peripheral circuits, and the like, and controls each unit of the control server 10. The server control unit 40 controls each part of the control server 10 in cooperation with hardware and software, for example, the CPU reads and executes a control program stored in the ROM.
The server storage unit 41 has a non-volatile memory and stores various data.
The server communication unit 42 accesses the network N according to a predetermined communication standard under the control of the server control unit 40, and communicates with a device (including an in-vehicle device 12) connected to the network N.

なお、図2は、本願発明を理解容易にするために、情報処理システム1の各装置の機能構成を主な処理内容に応じて分類して示した概略図である。車載装置12、及び、制御サーバ10の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。 Note that FIG. 2 is a schematic diagram showing the functional configurations of each device of the information processing system 1 classified according to the main processing contents in order to facilitate understanding of the present invention. The configurations of the in-vehicle device 12 and the control server 10 can be further classified into more components according to the processing content. It can also be categorized so that one component performs more processing. Further, the processing of each component may be executed by one hardware or may be executed by a plurality of hardware. Further, the processing of each component may be realized by one program or may be realized by a plurality of programs.

ところで、施設に対応して、施設を利用することを望む人物により、行列ができる場合がある。施設に対応して行列が発生している場合、その施設の人気があると想定でき、また、その施設を利用する場合は、施設を利用するまでに待ち時間が発生すると想定できる。このことを踏まえると、施設に対応して発生した行列に関する情報は、その施設に関する有益な情報と言える。
以上を踏まえ、車載装置12、及び、制御サーバ10は、以下の処理を実行する。
By the way, depending on the facility, there may be a line depending on the person who wants to use the facility. If a line is generated corresponding to a facility, it can be assumed that the facility is popular, and if the facility is used, it can be assumed that a waiting time will occur before using the facility. Based on this, the information about the matrix generated in response to the facility can be said to be useful information about the facility.
Based on the above, the in-vehicle device 12 and the control server 10 execute the following processes.

図3は、車載装置12、及び、制御サーバ10の動作を示すフローチャートである。図3のフローチャートFAは車載装置12の動作を示し、フローチャートFBは制御サーバ10の動作を示す。 FIG. 3 is a flowchart showing the operation of the in-vehicle device 12 and the control server 10. The flowchart FA of FIG. 3 shows the operation of the in-vehicle device 12, and the flowchart FB shows the operation of the control server 10.

ここで、車載装置12は、動作モードとして、第1モードを備える。ユーザは、所定の手段により、動作モードを第1モードとすることができる。車載装置12は、動作モードが第1モードの場合に、図3のフローチャートFAで示す処理を実行する。 Here, the in-vehicle device 12 includes a first mode as an operation mode. The user can set the operation mode to the first mode by a predetermined means. The in-vehicle device 12 executes the process shown in the flowchart FA of FIG. 3 when the operation mode is the first mode.

図3のフローチャートFAに示すように、車載装置12の制御部20は、撮像部27から入力された撮影画像データを取得する(ステップSA1)。
上述したように、撮像部27は、所定の周期で車両Sの左方を撮影し、撮影の結果に基づく撮影画像データを制御部20に出力する。この結果、車両Sの走行中、撮像部27は、走行する車両Sの左方を所定の周期で撮影し、所定の周期で撮影画像データを制御部20に出力する。制御部20は、撮像部27が撮影画像データを出力する周期に対応する周期でステップSA1の処理を実行し、ステップSA1の処理の実行(撮影画像データの取得。)をトリガーとして、ステップSA2以下の処理を実行する。なお、制御部20は、撮像部27が撮影画像データを出力する周期とは異なる周期でステップSA1の処理を実行してもよい。例えば、撮像部27が10ms周期で撮影画像データを出力する一方、制御部20が1s周期でステップSA1の処理を実行する構成でもよい。
As shown in the flowchart FA of FIG. 3, the control unit 20 of the vehicle-mounted device 12 acquires the captured image data input from the imaging unit 27 (step SA1).
As described above, the imaging unit 27 photographs the left side of the vehicle S at a predetermined cycle, and outputs captured image data based on the shooting result to the control unit 20. As a result, while the vehicle S is traveling, the imaging unit 27 photographs the left side of the traveling vehicle S at a predetermined cycle, and outputs the captured image data to the control unit 20 at a predetermined cycle. The control unit 20 executes the process of step SA1 at a cycle corresponding to the cycle in which the image pickup unit 27 outputs the captured image data, and is triggered by the execution of the process of step SA1 (acquisition of captured image data) in step SA2 or lower. Execute the processing of. The control unit 20 may execute the process of step SA1 at a cycle different from the cycle in which the imaging unit 27 outputs the captured image data. For example, the imaging unit 27 may output the captured image data in a cycle of 10 ms, while the control unit 20 may execute the process of step SA1 in a cycle of 1 s.

次いで、制御部20は、ステップSA1で取得した撮影画像データを分析し、撮影画像データが表す画像(以下、「撮影画像」という。)に、人物が含まれているか否かを判別する(ステップSA2)。
ステップSA2において、制御部20は、撮影画像データに基づいて、パターンマッチングを用いた既存の技術で顔認識処理(人物の顔を認識する処理。)を実行し、当該処理の結果に基づいて、撮影画像に、人物が含まれているか否かを判別する。ステップSA2の処理は、どのような方法で行なわれてもよい。
撮影画像に、人物が含まれていない場合(ステップSA2:NO)、撮影された現実の空間において行列は発生していないため、制御部20は、処理を終了する。
撮影画像に、人物が含まれている場合(ステップSA2:YES)、制御部20は、撮影画像に含まれる人物の人数が、第1閾値を上回るか否かを判別する(ステップSA3)。第1閾値は、その第1閾値を、撮影画像に含まれる人物の人数が上回る場合に、撮影された現実の空間において行列が発生している可能性があるような値とされる。第1閾値は、例えば、「7人」である。
Next, the control unit 20 analyzes the captured image data acquired in step SA1 and determines whether or not a person is included in the image represented by the captured image data (hereinafter, referred to as “captured image”) (step). SA2).
In step SA2, the control unit 20 executes a face recognition process (a process of recognizing a person's face) by an existing technique using pattern matching based on the captured image data, and based on the result of the process, the control unit 20 executes the face recognition process. It is determined whether or not a person is included in the captured image. The process of step SA2 may be performed by any method.
When the captured image does not include a person (step SA2: NO), the control unit 20 ends the process because no matrix is generated in the captured actual space.
When the captured image includes a person (step SA2: YES), the control unit 20 determines whether or not the number of persons included in the captured image exceeds the first threshold value (step SA3). The first threshold value is set to a value such that when the number of people included in the captured image exceeds the first threshold value, a matrix may occur in the captured actual space. The first threshold is, for example, "7 people".

撮影画像に含まれる人物の数が、第1閾値を上回らない場合(ステップSA3:NO)、撮影された現実の空間において行列は発生していないか、発生している可能性が非常に低いため、制御部20は、処理を終了する。
撮影画像に含まれる人物の数が、第1閾値を上回る場合(ステップSA3:YES)、制御部20は、行列検出処理を実行する(ステップSA4)。
If the number of people included in the captured image does not exceed the first threshold value (step SA3: NO), it is very unlikely that a matrix has occurred or has occurred in the captured real space. , The control unit 20 ends the process.
When the number of people included in the captured image exceeds the first threshold value (step SA3: YES), the control unit 20 executes the matrix detection process (step SA4).

図4のフローチャートFCは、行列検出処理の詳細を示すフローチャートである。
行列検出処理は、撮影された現実の空間に、行列が発生しているか否かを判別する処理である。
行列検出処理において、制御部20は、撮影画像データを、所定の仮想座標系に展開する(ステップSC1)。上述したように、撮影画像データは、色に関する情報を保持するドットがドットマトリックス状に配置されたビットマップデータである。このため、ステップSC1の処理により、撮影画像データを構成する全てのドットについて、所定の仮想座標系における座標により、ドットの位置を表すことが可能となる。
次いで、制御部20は、撮影画像データに含まれる、人物の顔の領域に対応するデータ(以下、「顔領域データKD」という。)を特定する(ステップSC2)。
The flowchart FC of FIG. 4 is a flowchart showing the details of the matrix detection process.
The matrix detection process is a process of determining whether or not a matrix is generated in the photographed real space.
In the matrix detection process, the control unit 20 develops the captured image data in a predetermined virtual coordinate system (step SC1). As described above, the captured image data is bitmap data in which dots holding information about colors are arranged in a dot matrix. Therefore, by the process of step SC1, the positions of the dots can be represented by the coordinates in the predetermined virtual coordinate system for all the dots constituting the captured image data.
Next, the control unit 20 identifies the data (hereinafter, referred to as “face area data KD”) corresponding to the face area of the person included in the captured image data (step SC2).

図5は、撮影画像データを所定の仮想座標系に展開した様子を、説明に適した態様で模式的に示す図である。図5では、後述する顔中心ドットKPも併せて表示している。
図5に示す撮影画像データにおいて、点線で囲んだ領域が、人物の顔の領域である。この場合、点線で囲まれた領域に含まれるデータ(ドット群)が、顔領域データKDに相当する。
FIG. 5 is a diagram schematically showing a state in which captured image data is developed in a predetermined virtual coordinate system in a mode suitable for explanation. In FIG. 5, the face center dot KP, which will be described later, is also displayed.
In the captured image data shown in FIG. 5, the area surrounded by the dotted line is the area of the human face. In this case, the data (dot group) included in the area surrounded by the dotted line corresponds to the face area data KD.

次いで、制御部20は、ステップSC2で特定した顔領域データKDのそれぞれについて、データの中心部のドット(以下、「顔中心ドットKP」という。図5参照。)を特定し、特定した顔中心ドットKPの座標を取得する(ステップSC3)。
次いで、制御部20は、顔中心ドットKPのそれぞれについて、顔中心ドットKPを中心とする半径が第1距離の領域ARを算出し、領域ARに重なった部分が存在する一群の顔中心ドットKPを1つのグループとする方法で、顔中心ドットKPのそれぞれをグルーピングする(ステップSC4)。
図6は、ステップSC4の処理を説明するため、図5の撮影画像データと同一の撮影画像データを、所定の仮想座標系に展開した様子を示す図である。
図6において、顔中心ドットKP1に係る領域AR1と、顔中心ドットKP2に係る領域AR2とは、重なった部分が存在する。従って、制御部20は、顔中心ドットKP1と、顔中心ドットKP2とは同一のグループに属すると判別する。さらに、顔中心ドットKP2に係る領域AR2と、顔中心ドットKP3に係る領域AR3とは、重なった部分が存在する。従って、制御部20は、顔中心ドットKP2と、顔中心ドットKP3とは同一のグループに属すると判別する。また、顔中心ドットKP1に係る領域AR1と、顔中心ドットKP3に係る領域AR3とは重なった部分が存在しないが、これら顔中心ドットKPについては、それぞれ、共通する顔中心ドットKP2が属するグループに属する。このため、制御部20は、顔中心ドットKP1〜KP3は、共通する同一のグループに属すると判別する。この結果、図6の例では、制御部20は、顔中心ドットKP1〜KP10を、共通する同一のグループGP1に属すると判別する。また、制御部20は、顔中心ドットKP21〜KP23を、共通する同一のグループGP2に属すると判別する。
ここで、行列が発生している場合、行列を構成する複数の人物は、隣り合う人物同士が近接した状態で並んでいると想定される。そして、上述した第1距離の値は、行列が発生している場合に、行列において隣り合う人物の離間距離として想定される距離を反映して設定される。これを踏まえ、各グループは、行列が発生している場合に、行列を構成する人物の顔中心ドットKP3の集合である可能性がある。
Next, the control unit 20 identifies a dot at the center of the data (hereinafter, referred to as “face center dot KP”; see FIG. 5) for each of the face region data KDs specified in step SC2, and identifies the face center. Acquire the coordinates of the dot KP (step SC3).
Next, the control unit 20 calculates a region AR having a radius of the first distance centered on the face center dot KP for each of the face center dot KPs, and a group of face center dot KPs in which a portion overlapping the region AR exists. Each of the face center dot KPs is grouped by a method of forming a group (step SC4).
FIG. 6 is a diagram showing a state in which the same captured image data as the captured image data of FIG. 5 is developed in a predetermined virtual coordinate system in order to explain the process of step SC4.
In FIG. 6, the region AR1 related to the face center dot KP1 and the region AR2 related to the face center dot KP2 have overlapping portions. Therefore, the control unit 20 determines that the face center dot KP1 and the face center dot KP2 belong to the same group. Further, the region AR2 related to the face center dot KP2 and the region AR3 related to the face center dot KP3 have overlapping portions. Therefore, the control unit 20 determines that the face center dot KP2 and the face center dot KP3 belong to the same group. Further, although there is no overlapping portion between the region AR1 related to the face center dot KP1 and the region AR3 related to the face center dot KP3, these face center dot KPs belong to the group to which the common face center dot KP2 belongs. Belongs. Therefore, the control unit 20 determines that the face center dots KP1 to KP3 belong to the same common group. As a result, in the example of FIG. 6, the control unit 20 determines that the face center dots KP1 to KP10 belong to the same common group GP1. Further, the control unit 20 determines that the face center dots KP21 to KP23 belong to the same common group GP2.
Here, when a matrix is generated, it is assumed that the plurality of people forming the matrix are lined up in a state where adjacent people are close to each other. Then, the value of the first distance described above is set to reflect the distance assumed as the separation distance of the adjacent persons in the matrix when the matrix is generated. Based on this, each group may be a set of face center dots KP3 of the persons forming the matrix when the matrix is generated.

次いで、制御部20は、グルーピングしたグループのうち、グループに属する顔中心ドットKPの数が、上述した第1閾値を上回るものがあるか否かを判別する(ステップSC5)。
全てのグループについて、グループに属する顔中心ドットKPの数が、第1閾値を上回らない場合(ステップSC5:NO)、撮影された現実の空間において行列が発生していないか、又は、行列が発生している可能性が非常に低いため、制御部20は、行列が発生していないと判別し(ステップSC6)、行列検出処理を終了する。
Next, the control unit 20 determines whether or not the number of face center dot KPs belonging to the group exceeds the above-mentioned first threshold value among the grouped groups (step SC5).
For all groups, if the number of face center dot KPs belonging to the group does not exceed the first threshold value (step SC5: NO), no matrix is generated or a matrix is generated in the photographed real space. Since it is very unlikely that the procession has occurred, the control unit 20 determines that no matrix has been generated (step SC6), and ends the matrix detection process.

グループに属する顔中心ドットKPの数が第1閾値を上回るグループが1つでもある場合(ステップSC5:YES)、制御部20は、グループに属する顔中心ドットKPの数が第1閾値を上回るグループのそれぞれを、以下で説明するグループ分析処理の対象のグループと決定する(ステップSC7)。以下、グループ分析処理の対象のグループとして決定したグループを、「処理対象グループ」という。図6の例では、制御部20は、グループGP1を処理対象グループとして決定する一方、グループGP2は処理対象グループとしない。 When there is at least one group in which the number of face center dot KPs belonging to the group exceeds the first threshold value (step SC5: YES), the control unit 20 controls the group in which the number of face center dot KPs belonging to the group exceeds the first threshold value. Each of the above is determined as a group to be subjected to the group analysis process described below (step SC7). Hereinafter, the group determined as the target group for group analysis processing is referred to as a “processing target group”. In the example of FIG. 6, the control unit 20 determines the group GP1 as the processing target group, while the group GP2 is not the processing target group.

次いで、制御部20は、処理対象グループであって、ステップSC9のグループ分析処理の対象としていないグループのうち、1つの処理対象グループを、ステップSC9のグループ分析処理の対象として決定する(ステップSC8)。
以下、ステップSC8で、ステップSC9のグループ分析処理の対象として決定したグループを、「分析対象グループ」という。
次いで、制御部20は、分析対象グループに基づいて、グループ分析処理を実行する(ステップSC9)。
Next, the control unit 20 determines one processing target group among the processing target groups that are not the target of the group analysis processing of step SC9 as the target of the group analysis processing of step SC9 (step SC8). ..
Hereinafter, the group determined as the target of the group analysis process in step SC9 in step SC8 is referred to as an “analysis target group”.
Next, the control unit 20 executes the group analysis process based on the analysis target group (step SC9).

図7のフローチャートFDは、グループ分析処理の詳細を示すフローチャートである。
グループ分析処理は、画像に含まれる複数の人物の位置関係を解析し、行列を認識する処理に相当する。
図7のフローチャートFDに示すように、制御部20は、分析対象グループに属する顔中心ドットKPについて、互いに隣り合う顔中心ドットKPのx軸方向における離間距離を取得する(ステップSD1)。図6の例では、制御部20は、グループGP1について、顔中心ドットKP1と顔中心ドットKP2とのx軸方向における離間距離(|(x2)−(x1)|)、顔中心ドットKP2と顔中心ドットKP3とのx軸方向における離間距離(|(x3)−(x2)|)、顔中心ドットKP3と顔中心ドットKP4とのx軸方向における離間距離(|(x4)−(x3)|)、顔中心ドットKP4と顔中心ドットKP5とのx軸方向における離間距離(|(x5)−(x4)|)、顔中心ドットKP5と顔中心ドットKP6とのx軸方向における離間距離(|(x6)−(x5)|)、顔中心ドットKP6と顔中心ドットKP7とのx軸方向における離間距離(|(x7)−(x6)|)、顔中心ドットKP8と顔中心ドットKP9とのx軸方向における離間距離(|(x9)−(x8)|)、及び顔中心ドットKP9と顔中心ドットKP10とのx軸方向における離間距離(|(x10)−(x9)|)を取得する。
以下の説明では、処理対象グループにおいて、互いに隣り合う顔中心ドットKPのx軸方向における離間距離を「x軸方向離間距離」という。
The flowchart FD of FIG. 7 is a flowchart showing the details of the group analysis process.
The group analysis process corresponds to a process of analyzing the positional relationship of a plurality of people included in an image and recognizing a matrix.
As shown in the flowchart FD of FIG. 7, the control unit 20 acquires the distance between the face center dots KPs belonging to the analysis target group in the x-axis direction of the face center dots KPs adjacent to each other (step SD1). In the example of FIG. 6, the control unit 20 sets the distance between the face center dot KP1 and the face center dot KP2 in the x-axis direction (| (x2)-(x1) |), the face center dot KP2 and the face for the group GP1. Separation distance from the center dot KP3 in the x-axis direction (| (x3)-(x2) |), separation distance between the face center dot KP3 and the face center dot KP4 in the x-axis direction (| (x4)-(x3) |) ), The distance between the face center dot KP4 and the face center dot KP5 in the x-axis direction (| (x5)-(x4) |), and the distance between the face center dot KP5 and the face center dot KP6 in the x-axis direction (| (X6)-(x5) |), distance between face center dot KP6 and face center dot KP7 in the x-axis direction (| (x7)-(x6) |), face center dot KP8 and face center dot KP9 The separation distance in the x-axis direction (| (x9)-(x8) |) and the separation distance between the face center dot KP9 and the face center dot KP10 in the x-axis direction (| (x10)-(x9) |) are acquired. ..
In the following description, in the processing target group, the separation distance of the face center dots KP adjacent to each other in the x-axis direction is referred to as “x-axis direction separation distance”.

次いで、制御部20は、ステップSD1で取得したx軸方向離間距離のそれぞれに基づいて、標準偏差を算出する(ステップSD2)。
ここで、複数の人物が行列を構成している場合、隣り合う人物の離間距離は、略一定であると推定される。行列は、複数の人物が等間隔で並んで構成されるという規則性(特徴)があるからである。これを踏まえ、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが、行列を構成している場合、x軸方向離間距離のばらつきが小さく(=x軸方向離間距離のそれぞれが略一定の値となる。)、かつ、後述するy軸方向離間距離のばらつきが小さい、という規則性(特徴)がある。
Next, the control unit 20 calculates the standard deviation based on each of the x-axis direction separation distances acquired in step SD1 (step SD2).
Here, when a plurality of people form a matrix, it is estimated that the distance between adjacent people is substantially constant. This is because the matrix has a regularity (characteristic) that a plurality of people are arranged side by side at equal intervals. Based on this, when each of the persons corresponding to each of the face center dot KPs belonging to the group constitutes a matrix, the variation in the x-axis direction separation distance is small (= each of the x-axis direction separation distances is substantially constant). There is a regularity (characteristic) that the variation in the separation distance in the y-axis direction, which will be described later, is small.

次いで、制御部20は、ステップSD2で算出した標準偏差が、予め定められた第2閾値を下回るか否かを判別する(ステップSD3)。
第2閾値は、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが行列を構成している場合に、x軸方向離間距離に基づく標準偏差が、当該第2閾値を下回るような値に設定される。
標準偏差が、第2閾値を下回らない場合(ステップSD3:NO)、制御部20は、分析対象グループに対応する行列は発生していないと判別し(ステップSD4)、グループ分析処理を終了する。
Next, the control unit 20 determines whether or not the standard deviation calculated in step SD2 is below a predetermined second threshold value (step SD3).
The second threshold value is a value such that the standard deviation based on the x-axis direction separation distance is lower than the second threshold value when each of the persons corresponding to each of the face center dot KPs belonging to the group constitutes a matrix. Is set to.
When the standard deviation does not fall below the second threshold value (step SD3: NO), the control unit 20 determines that the matrix corresponding to the analysis target group has not occurred (step SD4), and ends the group analysis process.

標準偏差が、第2閾値を下回る場合(ステップSD3:YES)、制御部20は、分析対象グループに属する顔中心ドットKPについて、互いに隣り合う顔中心ドットKPのy軸方向における離間距離を取得する(ステップSD5)。図6の例では、制御部20は、グループGP1について、顔中心ドットKP1と顔中心ドットKP2とのy軸方向における離間距離(|(y2)−(y1)|)、顔中心ドットKP2と顔中心ドットKP3とのy軸方向における離間距離(|(y3)−(y2)|)、顔中心ドットKP3と顔中心ドットKP4とのy軸方向における離間距離(|(y4)−(y3)|)、顔中心ドットKP4と顔中心ドットKP5とのy軸方向における離間距離(|(y5)−(y4)|)、顔中心ドットKP5と顔中心ドットKP6とのy軸方向における離間距離(|(y6)−(y5)|)、顔中心ドットKP6と顔中心ドットKP7とのy軸方向における離間距離(|(y7)−(y6)|)、顔中心ドットKP8と顔中心ドットKP9とのy軸方向における離間距離(|(y9)−(y8)|)、及び顔中心ドットKP9と顔中心ドットKP10とのy軸方向における離間距離(|(y10)−(y9)|)を取得する。
以下の説明では、処理対象グループにおいて、互いに隣り合う顔中心ドットKPのy軸方向における離間距離を「y軸方向離間距離」という。
When the standard deviation is lower than the second threshold value (step SD3: YES), the control unit 20 acquires the distance between the face center dots KPs belonging to the analysis target group in the y-axis direction of the face center dots KPs adjacent to each other. (Step SD5). In the example of FIG. 6, the control unit 20 sets the distance between the face center dot KP1 and the face center dot KP2 in the y-axis direction (| (y2)-(y1) |), the face center dot KP2 and the face for the group GP1. Distance from the center dot KP3 in the y-axis direction (| (y3)-(y2) |), distance between the face center dot KP3 and the face center dot KP4 in the y-axis direction (| (y4)-(y3) |) ), The separation distance between the face center dot KP4 and the face center dot KP5 in the y-axis direction (| (y5)-(y4) |), and the separation distance between the face center dot KP5 and the face center dot KP6 in the y-axis direction (| (Y6)-(y5) |), the distance between the face center dot KP6 and the face center dot KP7 in the y-axis direction (| (y7)-(y6) |), the face center dot KP8 and the face center dot KP9. The separation distance in the y-axis direction (| (y9)-(y8) |) and the separation distance between the face center dot KP9 and the face center dot KP10 in the y-axis direction (| (y10)-(y9) |) are acquired. ..
In the following description, in the processing target group, the separation distance of the face center dots KP adjacent to each other in the y-axis direction is referred to as “y-axis direction separation distance”.

次いで、制御部20は、ステップSD5で取得したy軸方向離間距離のそれぞれに基づいて、標準偏差を算出する(ステップSD6)。
上述したように、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが、行列を構成している場合、x軸方向離間距離のばらつきが小さく、かつ、y軸方向離間距離のばらつきが小さい、という規則性(特徴)がある。
次いで、制御部20は、ステップSD6で算出した標準偏差が、予め定められた第3閾値を下回るか否かを判別する(ステップSD7)。
第3閾値は、グループに属する顔中心ドットKPのそれぞれに対応する人物のそれぞれが行列を構成している場合に、y軸方向離間距離に基づく標準偏差が、当該第3閾値を下回るような値に設定される。
標準偏差が、第3閾値を下回らない場合(ステップSD7:NO)、制御部20は、分析対象グループに対応する行列は発生していないと判別し(ステップSD4)、グループ分析処理を終了する。
標準偏差が、第3閾値を下回る場合(ステップSD7:YES)、制御部20は、分析対象グループに対応する行列が発生していると判別し(ステップSD8)、グループ分析処理を終了する。
Next, the control unit 20 calculates the standard deviation based on each of the y-axis direction separation distances acquired in step SD5 (step SD6).
As described above, when each of the persons corresponding to each of the face center dot KPs belonging to the group constitutes a matrix, the variation in the x-axis direction separation distance is small and the variation in the y-axis direction separation distance is small. There is a regularity (characteristic) that it is small.
Next, the control unit 20 determines whether or not the standard deviation calculated in step SD6 is below a predetermined third threshold value (step SD7).
The third threshold value is a value such that the standard deviation based on the y-axis direction separation distance is lower than the third threshold value when each of the persons corresponding to each of the face center dot KPs belonging to the group constitutes a matrix. Is set to.
When the standard deviation does not fall below the third threshold value (step SD7: NO), the control unit 20 determines that the matrix corresponding to the analysis target group has not been generated (step SD4), and ends the group analysis process.
When the standard deviation is less than the third threshold value (step SD7: YES), the control unit 20 determines that a matrix corresponding to the analysis target group is generated (step SD8), and ends the group analysis process.

図4のフローチャートFCに示すように、グループ分析処理を実行した後、制御部20は、全ての処理対象グループについて、グループ分析処理が完了したか否かを判別する(ステップSC10)。
1つでもグループ分析処理が完了していない処理対象グループがある場合(ステップSC10:NO)、制御部20は、処理手順をステップSC8へ移行する。
全ての処理対象グループについて、グループ分析処理が完了した場合(ステップSC10:YES)、制御部20は、行列が発生していると判別した処理対象グループが1つでもあるか否かを判別する(ステップSC11)。
As shown in the flowchart FC of FIG. 4, after executing the group analysis process, the control unit 20 determines whether or not the group analysis process is completed for all the processing target groups (step SC10).
If there is a processing target group for which even one group analysis processing has not been completed (step SC10: NO), the control unit 20 shifts the processing procedure to step SC8.
When the group analysis process is completed for all the processing target groups (step SC10: YES), the control unit 20 determines whether or not there is at least one processing target group that has been determined to have a matrix (step SC10: YES). Step SC11).

行列が発生していると判別した処理対象グループが1つもない場合(ステップSC11:NO)、制御部20は、行列が発生していないと判別し(ステップSC6)、行列検出処理を終了する。
行列が発生していると判別した処理対象グループが少なくとも1つある場合(ステップSC11:YES)、制御部20は、行列が発生していると判別し(ステップSC12)、行列検出処理を終了する。
以下、行列が発生していると判別した処理対象グループを、「行列グループ」という。
When there is no processing target group determined to have a matrix (step SC11: NO), the control unit 20 determines that no matrix has been generated (step SC6), and ends the matrix detection process.
When there is at least one processing target group determined to have a matrix (step SC11: YES), the control unit 20 determines that a matrix has been generated (step SC12), and ends the matrix detection process. ..
Hereinafter, the processing target group determined to have generated a matrix is referred to as a "matrix group".

なお、行列は、1列の場合もあれば、2列以上の複数の「列」により構成される場合がある。行列が複数の「列」で構成されている場合であっても、行列を構成する複数の人物に対応する顔中心ドットKPについて、X軸方向離間距離、及び、y軸方向離間距離のばらつきが小さいという規則性(特徴)が適用できるため、上述したグループ分析処理で的確に行列を検出することができる。
ただし、複数の「列」により行列が構成されている場合、グループ分析処理において、以下の処理を実行して、さらに的確に行列を検出する構成でもよい。
The matrix may be one column or may be composed of a plurality of "columns" having two or more columns. Even when the matrix is composed of a plurality of "columns", the X-axis direction separation distance and the y-axis direction separation distance vary with respect to the face center dot KP corresponding to the plurality of persons forming the matrix. Since the regularity (feature) of being small can be applied, the matrix can be accurately detected by the group analysis process described above.
However, when the matrix is composed of a plurality of "columns", the following processing may be executed in the group analysis process to detect the matrix more accurately.

図8は、2列により構成される行列が撮影されることによって生成される撮影画像データを、説明に適した態様で模式的に示す図である。
図8では、撮影画像データにおいて、顔中心ドットKPを明示する。また、図8では、グループGP3に属する顔中心ドットKPのそれぞれは、2列に係る行列を構成する複数の人物のそれぞれに対応するドットである。
以下の説明において、n個(nは正の整数。)の「列」により構成される行列は、n人の人物により構成される「行」が、行列が延びる方向に、複数並んで構成されるものとする。例えば、行列が、第1列と、第2列との2つの「列」により構成される場合において、第1列の先頭の人物、及び、第2列の先頭の人物により、1つの「行」が構成され、また、第1列の先頭から2番目の人物、及び、第2列の先頭から2番目の人物により、1つの「行」が構成される。
FIG. 8 is a diagram schematically showing photographed image data generated by photographing a matrix composed of two columns in an embodiment suitable for explanation.
In FIG. 8, the face center dot KP is clearly shown in the captured image data. Further, in FIG. 8, each of the face center dot KPs belonging to the group GP3 is a dot corresponding to each of a plurality of persons forming a matrix related to the two columns.
In the following description, a matrix composed of n (n is a positive integer) "columns" is composed of a plurality of "rows" composed of n people arranged side by side in the direction in which the matrix extends. Shall be. For example, in the case where the matrix is composed of two "columns", the first column and the second column, one "row" is formed by the first person in the first column and the first person in the second column. , And one "row" is composed of the second person from the beginning of the first column and the second person from the beginning of the second column.

ここで、行列が、複数の列により構成される場合、行列には、以下の規則性(特徴)がある。すなわち、各「行」において、互いに隣り合う人物の離間距離が近接する、という規則性(特徴)がある。
これを踏まえ、制御部20は、グループ分析処理において、分析対象グループに属する顔中心ドットKPのそれぞれについて、顔中心ドットKPを中心とする半径が第2距離(ただし、第2距離<第1距離。)の領域BRを算出し、領域BRに重なった部分が存在する一群の顔中心ドットKPを1つのグループとする方法で、顔中心ドットKPのそれぞれをグルーピングする。第2距離の値は、複数の「列」からなる行列が発生している場合に、行列を構成する「行」において隣り合う人物の離間距離として想定される距離を反映して設定される。これを踏まえ、各グループは、複数の「列」からなる行列が発生している場合に、「行」を構成する人物の顔中心ドットKP3の集合である可能性がある。
図8の例では、制御部20は、顔中心ドットKP31a及び顔中心ドットKP31bを同一のグループとし、顔中心ドットKP32a及び顔中心ドットKP32bを同一のグループとし、顔中心ドットKP33a及び顔中心ドットKP33bを同一のグループとし、顔中心ドットKP34a及び顔中心ドットKP34bを同一のグループとし、顔中心ドットKP35a及び顔中心ドットKP35bを同一のグループとし、顔中心ドットKP36a及び顔中心ドットKP36bを同一のグループとし、顔中心ドットKP37a及び顔中心ドットKP37bを同一のグループとし、顔中心ドットKP38a及び顔中心ドットKP38bを同一のグループとし、顔中心ドットKP39a及び顔中心ドットKP38bを同一のグループとし、顔中心ドットKP40a及び顔中心ドットKP40bを同一のグループとする。
Here, when the matrix is composed of a plurality of columns, the matrix has the following regularity (characteristics). That is, in each "row", there is a regularity (characteristic) that the distances between adjacent persons are close to each other.
Based on this, in the group analysis process, the control unit 20 has a radius centered on the face center dot KP for each of the face center dot KPs belonging to the analysis target group as a second distance (however, the second distance <first distance). The area BR of.) Is calculated, and each of the face center dot KPs is grouped by a method of forming a group of face center dot KPs in which a portion overlapping the area BR exists as one group. The value of the second distance is set to reflect the distance assumed as the separation distance of adjacent people in the "rows" constituting the matrix when a matrix consisting of a plurality of "columns" is generated. Based on this, each group may be a set of face center dots KP3 of people constituting the "row" when a matrix composed of a plurality of "columns" is generated.
In the example of FIG. 8, the control unit 20 has the face center dot KP31a and the face center dot KP31b in the same group, the face center dot KP32a and the face center dot KP32b in the same group, and the face center dot KP33a and the face center dot KP33b. The face center dot KP34a and the face center dot KP34b are in the same group, the face center dot KP35a and the face center dot KP35b are in the same group, and the face center dot KP36a and the face center dot KP36b are in the same group. , Face center dot KP37a and face center dot KP37b are in the same group, face center dot KP38a and face center dot KP38b are in the same group, face center dot KP39a and face center dot KP38b are in the same group, and face center dot KP40a. And the face center dot KP40b are in the same group.

次いで、制御部20は、各グループに属する顔中心ドットKPの中心部に位置するドットの座標を算出する。例えば、制御部20は、グループに属する顔中心ドットKPが2つの場合は、2つの顔中心ドットKPを端点とする直線の中心部に位置するドットの座標を算出する。また例えば、制御部20は、グループに属する顔中心ドットKPが3つ以上の場合は、顔中心ドットKPのそれぞれを頂点とする多角形の重心部に位置するドットの座標を算出する。図8の例では、制御部20は、グループGP31について顔中心ドットKP31cの座標を算出し、グループGP32について顔中心ドットKP32cの座標を算出し、グループGP33について顔中心ドットKP33cの座標を算出し、グループGP34について顔中心ドットKP34cの座標を算出し、グループGP35について顔中心ドットKP35cの座標を算出し、グループGP36について顔中心ドットKP36cの座標を算出し、グループGP37について顔中心ドットKP37cの座標を算出し、グループGP38について顔中心ドットKP38cの座標を算出し、グループGP39について顔中心ドットKP39cの座標を算出し、グループGP40について顔中心ドットKP40cの座標を算出する。
以下、各グループに属する顔中心ドットKPの中心部に位置するドットのことを、「行中心ドットGT」という。
Next, the control unit 20 calculates the coordinates of the dots located at the center of the face center dot KP belonging to each group. For example, when there are two face center dot KPs belonging to the group, the control unit 20 calculates the coordinates of the dots located at the center of the straight line having the two face center dot KPs as end points. Further, for example, when the number of face center dot KPs belonging to the group is three or more, the control unit 20 calculates the coordinates of the dots located at the center of gravity of the polygon having each of the face center dot KPs as vertices. In the example of FIG. 8, the control unit 20 calculates the coordinates of the face center dot KP31c for the group GP31, calculates the coordinates of the face center dot KP32c for the group GP32, and calculates the coordinates of the face center dot KP33c for the group GP33. Calculate the coordinates of the face center dot KP34c for the group GP34, calculate the coordinates of the face center dot KP35c for the group GP35, calculate the coordinates of the face center dot KP36c for the group GP36, and calculate the coordinates of the face center dot KP37c for the group GP37. Then, the coordinates of the face center dot KP38c are calculated for the group GP38, the coordinates of the face center dot KP39c are calculated for the group GP39, and the coordinates of the face center dot KP40c are calculated for the group GP40.
Hereinafter, the dot located at the center of the face center dot KP belonging to each group is referred to as "row center dot GT".

次いで、制御部20は、分析対象グループに属する行中心ドットGTについて、x軸方向離間距離に基づく標準偏差、及び、y軸方向離間距離に基づく標準偏差を算出し、これら標準偏差に基づいて、上述した方法と同様の方法で行列が発生しているか否かを判別する。
以上説明した方法によれば、複数の「列」により構成される行列が発生している場合に、そのことをより的確に検出できる。
Next, the control unit 20 calculates the standard deviation based on the x-axis direction separation distance and the standard deviation based on the y-axis direction separation distance for the row center dot GT belonging to the analysis target group, and based on these standard deviations, Whether or not a matrix is generated is determined by the same method as described above.
According to the method described above, when a matrix composed of a plurality of "columns" is generated, it can be detected more accurately.

図3のフローチャートFAに示すように、ステップSA4の行列検出処理を実行した後、制御部20は、行列検出処理において、行列が発生していると判別したか否かを判別する(ステップSA5)。
行列検出処理において行列が発生していないと判別した場合(ステップSA5:NO)、制御部20は、処理を終了する。
As shown in the flowchart FA of FIG. 3, after executing the matrix detection process of step SA4, the control unit 20 determines whether or not it is determined that the matrix is generated in the matrix detection process (step SA5). ..
When it is determined in the matrix detection process that no matrix has been generated (step SA5: NO), the control unit 20 ends the process.

以下の説明では、説明の便宜を考慮して、行列グループが1つであるものとして説明を行う。行列検出処理において、複数の行列グループを検出した場合は、制御部20は、行列グループごとに、以下の処理を実行する。 In the following description, for convenience of explanation, it is assumed that there is one matrix group. When a plurality of matrix groups are detected in the matrix detection process, the control unit 20 executes the following process for each matrix group.

行列検出処理において行列が発生していると判別した場合(ステップSA5:YES)、制御部20は、行列発生日時情報、及び、行列規模情報を取得する(ステップSA6)。
行列発生日時情報は、撮像部27により撮影が行われた日時を示す情報である。行列発生日時情報が示す日時は、行列が撮影された日時に相当する。
行列規模情報は、行列の規模を示す情報である。本実施形態では、行列の規模の概念として、行列を構成する人物の多寡に応じて、「大規模」、「中規模」、及び「小規模」がある。ステップSA6において、行列グループに属する顔中心ドットと、「大規模」に対応する閾値、「中規模」に対応する閾値とを比較し、比較結果に基づいて、行列規模情報を取得する。
When it is determined in the matrix detection process that a matrix has been generated (step SA5: YES), the control unit 20 acquires the matrix generation date and time information and the matrix scale information (step SA6).
The procession generation date and time information is information indicating the date and time when the imaging unit 27 took a picture. The date and time indicated by the matrix generation date and time information corresponds to the date and time when the matrix was taken.
The matrix scale information is information indicating the scale of the matrix. In the present embodiment, the concept of the scale of the matrix includes "large scale", "medium scale", and "small scale" depending on the number of persons forming the matrix. In step SA6, the face center dot belonging to the matrix group is compared with the threshold value corresponding to the “large scale” and the threshold value corresponding to the “medium scale”, and the matrix scale information is acquired based on the comparison result.

次いで、制御部20は、撮影画像データを分析し、行列グループに対応する行列の先頭の位置を示す情報を取得する(ステップSA7)。行列の先頭の位置を示す情報は、行列の先頭の位置を、経度、及び緯度の組み合わせによって表す情報である。
例えば、制御部20は、GPSユニット24からの入力、相対方位検出ユニット25からの入力、地図データ211に基づいて、撮像部27により撮影が実行されたときの車両Sの位置を取得する。次いで、制御部20は、取得した車両Sの位置、撮像部27の撮影の方向、及び、撮影画像データにおける行列グループに属する顔中心ドットKPの位置に基づいて、行列グループに対応する行列の先頭の位置を取得する。
行列グループに対応する行列の先頭の位置を取得する方法は、例示した方法に限らず、どのような方法であってもよい。
以下、ステップSA7で制御部20が取得した行列の先頭の位置を示す情報を「行列位置情報」という。
Next, the control unit 20 analyzes the captured image data and acquires information indicating the position of the head of the matrix corresponding to the matrix group (step SA7). The information indicating the position of the head of the matrix is information indicating the position of the head of the matrix by a combination of longitude and latitude.
For example, the control unit 20 acquires the position of the vehicle S when shooting is executed by the imaging unit 27 based on the input from the GPS unit 24, the input from the relative direction detection unit 25, and the map data 211. Next, the control unit 20 heads the matrix corresponding to the matrix group based on the acquired position of the vehicle S, the shooting direction of the imaging unit 27, and the position of the face center dot KP belonging to the matrix group in the captured image data. Get the position of.
The method of acquiring the position of the head of the matrix corresponding to the matrix group is not limited to the illustrated method, and any method may be used.
Hereinafter, the information indicating the head position of the matrix acquired by the control unit 20 in step SA7 is referred to as "matrix position information".

次いで、制御部20は、施設データ212に基づいて、行列位置情報が示す位置に対応する位置に位置する施設を検索する(ステップSA8)。ここで、上述したように、施設データ212は、地図上の施設ごとに、施設を識別する施設識別情報と、施設の位置を示す施設位置情報とを有する。ステップSA8において、制御部20は、施設データ212に基づいて、行列の先頭の位置との離間距離が所定の距離の範囲内にある施設が存在する場合は、当該範囲内の施設のうち、行列の先頭の位置から最も近い位置に位置する施設を特定する。一方、制御部20は、行列の先頭の位置との離間距離が所定の距離の範囲内にある施設が存在しない場合は、行列位置情報が示す位置に対応する位置に位置する施設が存在しないと判別する。
行列位置情報が示す位置に対応する位置に位置する施設は、行列が発生している施設と装置される。
Next, the control unit 20 searches for a facility located at a position corresponding to the position indicated by the matrix position information based on the facility data 212 (step SA8). Here, as described above, the facility data 212 has facility identification information for identifying the facility and facility location information indicating the location of the facility for each facility on the map. In step SA8, based on the facility data 212, if there is a facility whose distance from the head position of the matrix is within a predetermined distance range, the matrix 20 is among the facilities within the range. Identify the facility located closest to the beginning of the. On the other hand, when the control unit 20 does not have a facility whose distance from the head position of the matrix is within a predetermined distance range, the control unit 20 does not have a facility located at a position corresponding to the position indicated by the matrix position information. Determine.
The facility located at the position corresponding to the position indicated by the matrix position information is set as the facility where the matrix is generated.

次いで、制御部20は、ステップSA8の処理において、行列位置情報が示す位置に対応する位置に位置する施設が特定できたか否かを判別する(ステップSA9)。
施設が特定できなかった場合(ステップSA9:NO)、制御部20は、処理を終了する。
施設が特定できた場合(ステップSA9:YES)、制御部20は、施設データ212に基づいて、特定した施設の施設識別情報を取得する(ステップSA10)。
次いで、制御部20は、通信部23を制御して、ステップSA10で取得した施設識別情報、ステップSA6で取得した行列発生日時情報、及び行列規模情報を制御サーバ10に送信する。
なお、制御サーバ10のアドレスや、通信に使用する通信規格、制御サーバ10に送信するデータのフォーマット等の、制御サーバ10と通信して制御サーバ10に情報を送信するために必要な情報は、事前に登録される。
Next, in the process of step SA8, the control unit 20 determines whether or not the facility located at the position corresponding to the position indicated by the matrix position information can be specified (step SA9).
If the facility cannot be specified (step SA9: NO), the control unit 20 ends the process.
When the facility can be specified (step SA9: YES), the control unit 20 acquires the facility identification information of the specified facility based on the facility data 212 (step SA10).
Next, the control unit 20 controls the communication unit 23 to transmit the facility identification information acquired in step SA10, the matrix occurrence date / time information acquired in step SA6, and the matrix scale information to the control server 10.
Information necessary for communicating with the control server 10 and transmitting information to the control server 10, such as the address of the control server 10, the communication standard used for communication, and the format of the data to be transmitted to the control server 10, can be obtained. Registered in advance.

図3のフローチャートFBに示すように、制御サーバ10のサーバ制御部40は、サーバ通信部42を制御して、施設識別情報、行列発生日時情報、及び行列規模情報を受信する(ステップSB1)。
次いで、サーバ制御部40は、受信した情報に基づいて、行列関連データベース411を更新する(ステップSB2)。
行列関連データベース411は、地図上の施設ごとにレコードを有し、各レコードにおいて施設識別情報と、行列発生日時情報と、行列規模情報とを対応付けて記憶するデータベースである。ステップSB2において、サーバ制御部40は、行列関連データベース411のレコードのうち、受信した施設識別情報の値と同一の値の施設識別情報を有するレコードを特定する。次いで、サーバ制御部40は、特定したレコードの行列発生日時情報と、行列規模情報とを、それぞれ、受信した行列発生日時情報と、行列規模情報とにより更新する。
As shown in the flowchart FB of FIG. 3, the server control unit 40 of the control server 10 controls the server communication unit 42 to receive facility identification information, matrix generation date / time information, and matrix scale information (step SB1).
Next, the server control unit 40 updates the matrix relational database 411 based on the received information (step SB2).
The matrix-related database 411 is a database that has a record for each facility on the map and stores facility identification information, matrix occurrence date / time information, and matrix scale information in each record in association with each other. In step SB2, the server control unit 40 identifies a record having the facility identification information having the same value as the received facility identification information value among the records of the matrix relational database 411. Next, the server control unit 40 updates the matrix occurrence date / time information and the matrix scale information of the specified record with the received matrix occurrence date / time information and the matrix scale information, respectively.

ここで、本実施形態に係る車載装置12が搭載された車両Sは、複数、存在する。複数の車載装置12は、適宜、撮影画像データを分析し、制御サーバ10に対して、施設識別情報、行列発生日時情報、及び行列規模情報を送信する。この結果、行列関連データベース411の各レコードの行列発生日時情報の値、及び、行列規模情報の値は、それぞれ、いずれかの車載装置12から受信した最新の行列発生日時情報、及び、行列規模情報に基づく値となる。 Here, there are a plurality of vehicles S on which the in-vehicle device 12 according to the present embodiment is mounted. The plurality of vehicle-mounted devices 12 appropriately analyze the captured image data, and transmit the facility identification information, the matrix generation date / time information, and the matrix scale information to the control server 10. As a result, the value of the matrix occurrence date and time information and the value of the matrix scale information of each record of the matrix relational database 411 are the latest matrix occurrence date and time information and the matrix scale information received from any of the in-vehicle devices 12, respectively. It is a value based on.

図3のフローチャートFAに示すように、制御サーバ10に情報を送信した後、制御部20は、取得した施設識別情報、行列発生日時情報、及び行列規模情報に基づいて、対応する処理を実行する(ステップSA12)。ステップSA12において制御部20が実行する処理は、例えば、ユーザにより事前に登録される。
ステップSA12において、例えば、制御部20は、以下の処理を実行する。
例えば、制御部20は、所定のタイミングで、タッチパネル26に、行列が発生している施設に関する情報を表示する。所定のタイミングは、例えば、車両Sが停車したタイミングであり、また例えば、ユーザから所定の指示があったタイミングである。
図9は、ステップSA12の処理によりタッチパネル26に表示される情報の一例を示す図である。
図9の例では、左半分の領域に、行列が発生している施設の名称を示す情報、当該施設のカテゴリーを示す情報、及び、行列の規模を示す情報が表示される。ユーザは、これら情報を参照することにより、行列が発生している施設について、施設の名称、施設のカテゴリー、及び、発生した行列の規模を簡易に、的確に認識できる。ここで、行列が発生している施設は、人気がある施設と想定され、ユーザが興味を持つ可能性があるものと想定される。本実施形態によれば、ユーザが興味を持つ可能性がある施設について、ユーザが、例えば、インターネットを利用して調べる等の煩雑な作業を行うことなく、施設に関する情報を取得することができ、ユーザの利便性が高い。
図9の例では、右半分の領域に、地図が表示されると共に、地図上に車両Sの現在位置を示すマークM1と、行列が発生した施設を示すマークM2とが表示される。ユーザは、地図を参照することにより、車両Sと、行列が発生している施設との位置関係を簡易に、的確に認識できる。
As shown in the flowchart FA of FIG. 3, after transmitting the information to the control server 10, the control unit 20 executes the corresponding processing based on the acquired facility identification information, the matrix occurrence date / time information, and the matrix scale information. (Step SA12). The process executed by the control unit 20 in step SA12 is registered in advance by the user, for example.
In step SA12, for example, the control unit 20 executes the following processing.
For example, the control unit 20 displays information on the facility where the queue is generated on the touch panel 26 at a predetermined timing. The predetermined timing is, for example, the timing at which the vehicle S has stopped, and for example, the timing at which a predetermined instruction has been given by the user.
FIG. 9 is a diagram showing an example of information displayed on the touch panel 26 by the process of step SA12.
In the example of FIG. 9, in the left half area, information indicating the name of the facility where the matrix is generated, information indicating the category of the facility, and information indicating the scale of the matrix are displayed. By referring to this information, the user can easily and accurately recognize the name of the facility, the category of the facility, and the scale of the generated matrix for the facility where the matrix is generated. Here, the facility where the queue is generated is assumed to be a popular facility, and it is assumed that the user may be interested in it. According to the present embodiment, the user can acquire information about the facility that the user may be interested in without performing complicated work such as searching using the Internet. Highly convenient for users.
In the example of FIG. 9, a map is displayed in the right half area, and a mark M1 indicating the current position of the vehicle S and a mark M2 indicating the facility where the procession has occurred are displayed on the map. By referring to the map, the user can easily and accurately recognize the positional relationship between the vehicle S and the facility where the queue is generated.

ステップSA12の処理について、一例を挙げて説明したが、ステップSA12において、制御部20が、例示した処理とは異なる処理を実行する構成でもよい。例えば、車載装置12が音声を出力する機能を有する場合は、音声により、行列が発生した施設に関する情報や、行列に関する情報を出力する構成でもよい。 The process of step SA12 has been described with an example, but in step SA12, the control unit 20 may execute a process different from the illustrated process. For example, when the in-vehicle device 12 has a function of outputting voice, it may be configured to output information about the facility where the matrix is generated and information about the matrix by voice.

次いで、車載装置12が実行可能な施設検索処理について説明する。
施設検索処理は、ユーザの指示に応じて、施設を検索する処理である。以下で説明するとおり、車載装置12の制御部20は、施設の検索にあたり、行列に関する有益な情報を併せてユーザに提供する。
Next, the facility search process that can be executed by the in-vehicle device 12 will be described.
The facility search process is a process of searching for a facility according to a user's instruction. As described below, the control unit 20 of the vehicle-mounted device 12 also provides the user with useful information about the matrix when searching for a facility.

図10のフローチャートFEは、施設検索処理を実行するときの車載装置12の動作を示し、フローチャートFFは、制御サーバ10の動作を示す。 The flowchart FE of FIG. 10 shows the operation of the in-vehicle device 12 when executing the facility search process, and the flowchart FF shows the operation of the control server 10.

図10のフローチャートFEに示すように、車載装置12の制御部20は、ユーザにより、施設の検索の開始の指示が行われたか否かを監視する(ステップSE1)。ユーザは、操作スイッチ221を操作して、また、タッチパネル26をタッチ操作して、指示を行う。
施設の検索の開始の指示があったことを検出した場合(ステップSE1:YES)、制御部20は、検索する施設のカテゴリー、及び、検索条件を入力するユーザーインターフェースをタッチパネル26に表示する(ステップSE2)。
検索条件は、検索する施設の範囲を表す条件である。例えば、検索条件は、「車両Sの現在位置の近辺(例えば、車両Sを中心とする所定の範囲内。)に位置する施設」である。また例えば、検索条件は、「目的地の近辺(例えば、目的地を中心とする所定の範囲内。)に位置する施設」である。また例えば、検索条件は、「車両Sの現在位置から目的地までの経路沿いに位置する施設」である。
As shown in the flowchart FE of FIG. 10, the control unit 20 of the in-vehicle device 12 monitors whether or not the user has instructed to start the search for the facility (step SE1). The user operates the operation switch 221 and touch-operates the touch panel 26 to give an instruction.
When it is detected that there is an instruction to start the facility search (step SE1: YES), the control unit 20 displays the category of the facility to be searched and the user interface for inputting the search conditions on the touch panel 26 (step). SE2).
The search condition is a condition that represents the range of facilities to be searched. For example, the search condition is "a facility located in the vicinity of the current position of the vehicle S (for example, within a predetermined range centered on the vehicle S)". Further, for example, the search condition is "a facility located in the vicinity of the destination (for example, within a predetermined range centered on the destination)". Further, for example, the search condition is "a facility located along the route from the current position of the vehicle S to the destination".

制御部20は、ユーザーインターフェースにカテゴリー、及び、検索条件の入力があり、入力が確定されたか否かを監視する(ステップSE3)。
入力が確定されたことを検出した場合(ステップSE3:YES)、制御部20は、入力されたカテゴリー、及び、検索条件を取得する(ステップSE4)。
次いで、制御部20は、地図データ211、施設データ212を参照し、ステップSE4で取得したカテゴリー、及び、検索条件に基づいて、カテゴリー、及び、検索条件に合致した施設を検索し、特定する(ステップSE5)。
以下では、説明の便宜のため、ステップSE4の処理により、ステップSE4で取得したカテゴリー、及び、検索条件に合致する施設として、複数の施設が特定されたものとして制御部20の処理について説明する。
The control unit 20 has input of the category and the search condition in the user interface, and monitors whether or not the input is confirmed (step SE3).
When it is detected that the input is confirmed (step SE3: YES), the control unit 20 acquires the input category and the search condition (step SE4).
Next, the control unit 20 refers to the map data 211 and the facility data 212, and searches for and identifies the category and the facility that matches the search condition based on the category acquired in step SE4 and the search condition (). Step SE5).
In the following, for convenience of explanation, the processing of the control unit 20 will be described assuming that a plurality of facilities are specified as the categories acquired in step SE4 and the facilities that match the search conditions by the processing of step SE4.

次いで、制御部20は、通信部23を制御して、応答要求データを制御サーバ10に送信する(ステップSE6)。応答要求データは、ステップSE5で特定した複数の施設のそれぞれの施設識別情報を含み、各施設について、行列発生日時情報、及び行列規模情報の送信を要求するデータである。 Next, the control unit 20 controls the communication unit 23 and transmits the response request data to the control server 10 (step SE6). The response request data includes facility identification information of each of the plurality of facilities identified in step SE5, and is data for requesting transmission of matrix generation date / time information and matrix scale information for each facility.

図10のフローチャートFFに示すように、制御サーバ10のサーバ制御部40は、サーバ通信部42を制御して、応答要求データを受信する(ステップSF1)。
次いで、サーバ制御部40は、行列関連データベース411を参照し、応答要求データに含まれる施設識別情報のそれぞれについて、施設識別情報に対応付けられた行列発生日時情報、及び行列規模情報を取得する(ステップSF2)。
次いで、サーバ制御部40は、サーバ通信部42を制御して、ステップSF2で取得した行列発生日時情報、及び行列規模情報を車載装置12に送信する(ステップSF3)。
なお、行列関連データベース411において、行列発生日時情報、及び行列規模情報のデフォルト値はヌル値である。従って、1の施設に対応する行列発生日時情報、及び行列規模情報が1度も更新されていない場合、当該1の施設に対応する行列発生日時情報、及び行列規模情報の値は、ヌル値である。
なお、サーバ制御部40が、1の施設の行列発生日時情報が示す日時から現在日時が、一定期間以上、乖離した場合、当該1の施設の行列発生日時情報、及び行列規模情報をデフォルト値に更新する構成でもよい。
As shown in the flowchart FF of FIG. 10, the server control unit 40 of the control server 10 controls the server communication unit 42 to receive the response request data (step SF1).
Next, the server control unit 40 refers to the matrix relational database 411 and acquires the matrix generation date and time information and the matrix scale information associated with the facility identification information for each of the facility identification information included in the response request data ( Step SF2).
Next, the server control unit 40 controls the server communication unit 42 to transmit the matrix generation date / time information and the matrix scale information acquired in step SF2 to the in-vehicle device 12 (step SF3).
In the matrix relational database 411, the default values of the matrix occurrence date and time information and the matrix scale information are null values. Therefore, when the matrix occurrence date / time information corresponding to one facility and the matrix scale information have never been updated, the values of the matrix occurrence date / time information and the matrix scale information corresponding to the one facility are null values. is there.
When the server control unit 40 deviates from the date and time indicated by the matrix occurrence date and time information of one facility by a certain period or more, the matrix occurrence date and time information and the matrix scale information of the one facility are set as default values. It may be a configuration to be updated.

図10のフローチャートFFに示すように、車載装置12の制御部20は、通信部23を制御して、施設ごと(施設識別情報ごと)の行列発生日時情報、及び行列規模情報を受信する(ステップSE7)。
次いで、制御部20は、受信した行列発生日時情報、及び行列規模情報を用いて、検索結果表示画面G1をタッチパネル26に表示する(ステップSE8)。
As shown in the flowchart FF of FIG. 10, the control unit 20 of the in-vehicle device 12 controls the communication unit 23 to receive the matrix generation date / time information and the matrix scale information for each facility (for each facility identification information) (step). SE7).
Next, the control unit 20 displays the search result display screen G1 on the touch panel 26 using the received matrix generation date and time information and the matrix scale information (step SE8).

図11は、検索結果表示画面G1の一例を示す図である。
図11は、検索条件が「車両Sの現在位置の近辺に位置する施設」であり、カテゴリーが「ラーメン屋」の場合の検索結果表示画面G1を示す。
図11で例示する検索結果表示画面G1には、車両Sの位置を中心部とする所定のスケールの地図が表示されると共に、地図上に車両Sを表すマークM2が表示される。さらに、検索結果表示画面G1において、地図上に表示された施設のうち、ステップSE5で特定した施設については、アルファベットからなる符号が付され、ユーザが指定したカテゴリー及び検索条件に合致する施設であることが明示される。以下、検索結果表示画面G1に表示された施設のうち、ステップSE5で特定した施設を、「特定施設」という。
FIG. 11 is a diagram showing an example of the search result display screen G1.
FIG. 11 shows a search result display screen G1 when the search condition is “a facility located near the current position of the vehicle S” and the category is “ramen shop”.
On the search result display screen G1 illustrated in FIG. 11, a map of a predetermined scale centered on the position of the vehicle S is displayed, and a mark M2 representing the vehicle S is displayed on the map. Further, among the facilities displayed on the map on the search result display screen G1, the facilities specified in step SE5 are given a code consisting of alphabets and match the category and search conditions specified by the user. Is clearly stated. Hereinafter, among the facilities displayed on the search result display screen G1, the facility specified in step SE5 is referred to as a “specific facility”.

図11に示すように、検索結果表示画面G1に表示された地図において、特定施設のそれぞれには、吹き出しが対応付けて表示され、吹き出しの中には、行列発生日時情報、及び行列規模情報が表示される。なお、行列発生日時情報、及び、行列規模情報がヌル値の場合には、行列に関する情報が無い旨の情報が表示される。
ユーザは、吹き出しの中に表示された情報を参照することにより、特定施設の行列の状況を推定することができる。また、ユーザは、吹き出しの中に表示された行列に関する情報を、実際に利用する特定施設を選択する際に、有益な情報として使用することができる。例えば、待ち時間が発生した場合であっても、人気のある施設を利用することを望むユーザは、行列の規模が「大規模」である施設を優先的に選択する、といった処理を行うことができる。
As shown in FIG. 11, in the map displayed on the search result display screen G1, balloons are displayed in association with each of the specific facilities, and the matrix occurrence date and time information and the matrix scale information are displayed in the balloons. Is displayed. If the matrix occurrence date / time information and the matrix scale information are null values, information indicating that there is no information about the matrix is displayed.
The user can estimate the status of the queue of a specific facility by referring to the information displayed in the balloon. In addition, the user can use the information about the matrix displayed in the balloon as useful information when selecting a specific facility to be actually used. For example, even if there is a waiting time, a user who wants to use a popular facility may preferentially select a facility whose queue size is "large". it can.

図11に示すように、検索結果表示画面G1において、地図の左方には、特定施設ごとにブロックBKが一覧的に表示される。ブロックBKには、対応する施設に付された符号と、施設の名称を示す情報と、車両Sが施設まで走行した場合における走行距離を示す情報とが表示される。ブロックBKは、タッチ操作可能なボタンである。ユーザは、利用することを望む施設に対応するブロックBKをタッチ操作する。制御部20は、いずれかのブロックBKがタッチ操作されたことを検出すると、タッチ操作されたブロックBKに対応する施設(特定施設)を目的地として、経路案内を開始する。 As shown in FIG. 11, on the search result display screen G1, block BKs are collectively displayed for each specific facility on the left side of the map. In the block BK, a code attached to the corresponding facility, information indicating the name of the facility, and information indicating the mileage when the vehicle S travels to the facility are displayed. The block BK is a touch-operable button. The user touch-operates the block BK corresponding to the facility to be used. When the control unit 20 detects that any of the block BKs has been touch-operated, the control unit 20 starts route guidance with the facility (specific facility) corresponding to the touch-operated block BK as the destination.

以上説明したように、本実施形態に係る車載装置12の制御部20は、車両Sに搭載する撮像部27により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、検索した施設に関する情報を表示(出力)する。
ここで、上述したように、施設に対応して行列が発生している場合、その施設の人気があると想定でき、また、その施設を利用する場合は、施設を利用するまでに待ち時間が発生すると想定できる。従って、行列が発生している施設に関する情報は、その施設を知るにあたって、有益な情報である。このことを踏まえ、上記構成によれば、車両Sに搭載された撮像部27により取得した画像を分析することにより、行列に対応する施設に関する情報を出力する、という有益な処理を実行できる。
なお、上述したように、情報を出力する方法は、表示でもよく、音声出力でもよい。
As described above, the control unit 20 of the vehicle-mounted device 12 according to the present embodiment detects whether the image acquired by the image pickup unit 27 mounted on the vehicle S includes a plurality of people, and detects the plurality of people. In that case, the positional relationship of the plurality of persons is analyzed, and if it can be recognized as a matrix, the facility corresponding to the recognized matrix is searched, and the information about the searched facility is displayed (output).
Here, as described above, if a line is generated corresponding to a facility, it can be assumed that the facility is popular, and when using the facility, there is a waiting time before using the facility. It can be assumed that it will occur. Therefore, the information about the facility where the queue is generated is useful information for knowing the facility. Based on this, according to the above configuration, it is possible to execute a useful process of outputting information about the facility corresponding to the matrix by analyzing the image acquired by the image pickup unit 27 mounted on the vehicle S.
As described above, the method of outputting information may be display or audio output.

また、本実施形態では、制御部20は、行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力する。
ここで、施設に対応して発生した行列の規模は、施設を利用する場合の待ち時間に影響するため、施設を利用するか否かを判断する際に、有益な情報である。このことを踏まえ、上記構成によれば、制御部20は、行列の規模を示す情報という有益な情報を出力できる。
Further, in the present embodiment, when the control unit 20 can recognize that it is a matrix, it acquires the scale of the recognized matrix and outputs information indicating the scale of the matrix.
Here, the scale of the queue generated in response to the facility affects the waiting time when the facility is used, and is therefore useful information when deciding whether or not to use the facility. Based on this, according to the above configuration, the control unit 20 can output useful information such as information indicating the scale of the matrix.

また、本実施形態では、制御部20は、撮像部27により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識する。
この構成によれば、制御部20は、行列の特徴を反映して、画像を分析することにより的確に行列を認識できる。
Further, in the present embodiment, the control unit 20 determines whether or not a plurality of persons included in the image are lined up with a predetermined regularity based on the image acquired by the imaging unit 27, and is included in the image. When a plurality of people are lined up with a predetermined regularity, it is recognized as a matrix.
According to this configuration, the control unit 20 can accurately recognize the matrix by analyzing the image, reflecting the characteristics of the matrix.

また、本実施形態では、制御部20は、画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別する。
この構成によれば、制御部20は、行列の特徴を反映して、画像を分析することにより的確に行列を認識できる。
Further, in the present embodiment, the control unit 20 has a plurality of persons included in the image having predetermined regularity when the variation in the separation distance between the adjacent persons in a predetermined direction is small. It is determined that they are lined up with.
According to this configuration, the control unit 20 can accurately recognize the matrix by analyzing the image, reflecting the characteristics of the matrix.

また、本実施形態に係る情報処理システム1は、車載装置12と、車載装置12と通信可能な制御サーバ10とを備える。
車載装置12は、車両Sに搭載する撮像部27により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、検索した施設に関する情報(施設識別情報)及び認識した行列に関する情報(行列発生日時情報、行列規模情報。)を制御サーバ10に送信する。
制御サーバ10は、車載装置12から受信した施設に関する情報、及び、行列に関する情報を記憶する。
この構成によれば、制御サーバ10は、車載装置12から受信し、記憶した施設に関する情報、及び、行列に関する情報を用いた処理を実行できる。
Further, the information processing system 1 according to the present embodiment includes an in-vehicle device 12 and a control server 10 capable of communicating with the in-vehicle device 12.
The in-vehicle device 12 detects whether or not the image acquired by the imaging unit 27 mounted on the vehicle S includes a plurality of persons, and when the plurality of persons are detected, analyzes the positional relationship of the plurality of persons in a matrix. If it can be recognized, the facility corresponding to the recognized matrix is searched, and the information about the searched facility (facility identification information) and the information about the recognized matrix (matrix occurrence date / time information, matrix scale information) are sent to the control server 10. Send.
The control server 10 stores information about the facility and information about the matrix received from the in-vehicle device 12.
According to this configuration, the control server 10 can execute processing using the information about the facility received and stored from the in-vehicle device 12 and the information about the matrix.

また、本実施形態では、制御サーバ10は、外部の装置(本実施形態では、車載装置12。)からの問い合わせに応じて、特定の施設についての行列に関する情報を応答する。
この構成によれば、外部の装置が、特定の施設について、行列に関する情報を取得することが可能となる。
Further, in the present embodiment, the control server 10 responds to an inquiry from an external device (in the present embodiment, the in-vehicle device 12) with information regarding a matrix for a specific facility.
This configuration allows an external device to obtain information about the matrix for a particular facility.

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、図で示したフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理が行えれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
It should be noted that the above-described embodiment shows only one aspect of the present invention, and can be arbitrarily modified and applied within the scope of the present invention.
For example, the processing unit of the flowchart shown in the figure is divided according to the main processing contents in order to make the processing of each device easy to understand. The present invention is not limited by the method of dividing the processing unit and the name. The processing of each device can be divided into more processing units according to the processing content. Further, one processing unit can be divided so as to include more processing. Further, if the same processing can be performed, the processing order of the above flowchart is not limited to the illustrated example.

1 情報処理システム
10 制御サーバ(サーバ)
12 車載装置
20 制御部
21 記憶部
22 操作部
23 通信部
24 GPSユニット
25 相対方位検出ユニット
26 タッチパネル
27 撮像部
40 サーバ制御部
41 サーバ記憶部
42 サーバ通信部
211 地図データ
212 施設データ
221 操作スイッチ
262 タッチセンサ
411 行列関連データベース
1 Information processing system 10 Control server (server)
12 In-vehicle device 20 Control unit 21 Storage unit 22 Operation unit 23 Communication unit 24 GPS unit 25 Relative orientation detection unit 26 Touch panel 27 Imaging unit 40 Server control unit 41 Server storage unit 42 Server communication unit 211 Map data 212 Facility data 221 Operation switch 262 Touch sensor 411 matrix-related database

Claims (6)

車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列の先頭の位置に対応する施設を検索し、
複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記施設に関する情報と前記行列に関する情報を対応付けし、
所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを表示パネルへ出力する制御部を備えることを特徴とする車載装置。
When it is detected whether or not the image acquired by the image pickup unit mounted on the vehicle contains a plurality of people, and when a plurality of people are detected, the positional relationship of the plurality of people is analyzed and it can be recognized as a matrix. Search for the facility corresponding to the position at the beginning of the recognized matrix,
When a plurality of the matrices are recognized, the head position of each matrix is calculated, the corresponding facility is searched for each head position, and the information about the facility is associated with the information about the matrix.
When a search for a facility based on a predetermined search condition is accepted and information about the matrix is added to the facility extracted as a result of the search, the information about the facility extracted as a result of the search and the facility are added to the facility. further comprising a control unit which forces out the information about it has the matrix data relating to the overlapping maps the display panel-vehicle apparatus according to claim.
前記制御部は、前記撮像部により取得した画像に人物の顔が含まれているかどうかを判断し、前記画像に基づいて前記行列の先頭の位置を算出することを特徴とする請求項1に記載の車載装置。The first aspect of claim 1, wherein the control unit determines whether or not the image acquired by the imaging unit includes a person's face, and calculates the position of the head of the matrix based on the image. In-vehicle device. 前記制御部は、
行列であると認識できた場合、認識した行列の規模を取得し、行列の規模を示す情報を出力することを特徴とする請求項1または2に記載の車載装置。
The control unit
The vehicle-mounted device according to claim 1 or 2 , wherein when it can be recognized as a matrix, the scale of the recognized matrix is acquired and information indicating the scale of the matrix is output.
前記制御部は、
前記撮像部により取得した画像に基づいて、画像に含まれる複数の人物が所定の規則性をもって並んだ状態か否かを判別し、画像に含まれる複数の人物が所定の規則性をもって並んだ状態の場合、行列であると認識することを特徴とする請求項1から3のいずれかに記載の車載装置。
The control unit
Based on the image acquired by the imaging unit, it is determined whether or not a plurality of persons included in the image are lined up with a predetermined regularity, and a state in which the plurality of persons included in the image are lined up with a predetermined regularity. The vehicle-mounted device according to any one of claims 1 to 3, wherein the vehicle-mounted device is recognized as a matrix.
前記制御部は、
画像に含まれる複数の人物について、隣り合う人物同士の所定方向における離間距離のばらつきが小さい場合に、画像に含まれる複数の人物が所定の規則性をもって並んだ状態であると判別することを特徴とする請求項に記載の車載装置。
The control unit
A feature of a plurality of persons included in an image is that when the variation in the separation distance between adjacent persons in a predetermined direction is small, it is determined that the plurality of persons included in the image are arranged side by side with a predetermined regularity. The in-vehicle device according to claim 4.
車載装置と、前記車載装置と通信可能なサーバとを備える情報処理システムであって、
前記車載装置は、
車両に搭載する撮像部により取得した画像に複数の人物が含まれるかを検出し、複数の人物を検出した場合、その複数の人物の位置関係を解析し、行列であると認識できた場合、認識した行列に対応する施設を検索し、複数の前記行列が認識されたとき、各行列の先頭の位置を算出し、前記先頭の位置ごとに対応する施設を検索し、前記検索した施設に関する情報及び認識した行列の先頭の位置に関する情報と前記先頭の位置に対応する施設とを前記サーバに送信し、
所定の検索条件による施設の検索を受け付けて、当該検索の結果として抽出された施設に前記行列に関する情報が付加されていたとき、前記検索の結果として抽出された施設に関する情報と当該施設に付加されている前記行列に関する情報とが重なった地図に係るデータを出力し、
前記サーバは、
施設に関する情報、及び、行列に関する情報を受信し、前記施設に関する情報と前記行列に関する情報を対応付けして記憶し、
前記車載装置が前記所定の検索条件に基づいて検索した結果として抽出された施設に対応する前記施設に関する情報と前記行列に関する情報を前記車載装置へ送信する
ことを特徴とする情報処理システム。
An information processing system including an in-vehicle device and a server capable of communicating with the in-vehicle device.
The in-vehicle device is
When it is detected whether or not the image acquired by the imaging unit mounted on the vehicle contains a plurality of people, and when a plurality of people are detected, the positional relationship of the plurality of people is analyzed and it can be recognized as a matrix. The facility corresponding to the recognized matrix is searched, and when a plurality of the matrix is recognized, the head position of each matrix is calculated, the corresponding facility is searched for each head position, and the information about the searched facility is searched. And the information about the recognized head position of the matrix and the facility corresponding to the head position are transmitted to the server.
When a search for a facility based on a predetermined search condition is accepted and information about the matrix is added to the facility extracted as a result of the search, the information about the facility extracted as a result of the search and the facility are added to the facility. Outputs the data related to the map that overlaps with the information about the above matrix.
The server
Receives information about the facility and information about the matrix, and stores the information about the facility and the information about the matrix in association with each other .
An information processing system characterized in that information about the facility corresponding to the facility extracted as a result of the search based on the predetermined search condition and information about the matrix are transmitted to the vehicle-mounted device.
JP2016225217A 2016-11-18 2016-11-18 In-vehicle device and information processing system Active JP6833472B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016225217A JP6833472B2 (en) 2016-11-18 2016-11-18 In-vehicle device and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016225217A JP6833472B2 (en) 2016-11-18 2016-11-18 In-vehicle device and information processing system

Publications (2)

Publication Number Publication Date
JP2018081052A JP2018081052A (en) 2018-05-24
JP6833472B2 true JP6833472B2 (en) 2021-02-24

Family

ID=62198832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016225217A Active JP6833472B2 (en) 2016-11-18 2016-11-18 In-vehicle device and information processing system

Country Status (1)

Country Link
JP (1) JP6833472B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7093268B2 (en) * 2018-08-23 2022-06-29 ヤフー株式会社 Information processing equipment, information processing methods, and information processing programs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206422B2 (en) * 2009-01-07 2013-06-12 カシオ計算機株式会社 Composition selection device and program
JP5932850B2 (en) * 2012-02-10 2016-06-08 パイオニア株式会社 Information processing system, information processing method, information processing apparatus, information processing terminal, information processing program, and recording medium
JP2015158866A (en) * 2014-02-25 2015-09-03 株式会社Nttドコモ Congestion state grasping device, congestion state grasping system and congestion state grasping method

Also Published As

Publication number Publication date
JP2018081052A (en) 2018-05-24

Similar Documents

Publication Publication Date Title
CN106663338A (en) Information processing device, information processing method, and program
JP2008309530A (en) Position detecting apparatus, program for making computer perform positional detection therein, and computer readable recording medium storing the program
JP7088136B2 (en) Marking object recognition system and marking object recognition method
JP4339178B2 (en) Parking space empty space guidance device and parking space empty space guidance method
JP2020086659A (en) Information processing system, program, and information processing method
US10586107B2 (en) Information processing server, client, and information processing system
JP2019125113A (en) Information processing device and information processing method
JP6833472B2 (en) In-vehicle device and information processing system
JP6269421B2 (en) Information acquisition program, information providing apparatus, and information providing system
JP6360405B2 (en) Information processing system and information processing method
JP2018072069A (en) Map data structure, transmitter, and map display device
JP2020143950A (en) Information provision system
JP2007309823A (en) On-board navigation device
JP2020013382A (en) Information processing device, information processing method, and program
JP4220354B2 (en) Other vehicle position display device and other vehicle information presentation method
JP4993712B2 (en) Simple map display control apparatus and method
JP6040804B2 (en) Object identification system and object identification method
EP3343892B1 (en) Image forming system
JP2011113127A (en) Object positioning device and object positioning method
WO2014174648A1 (en) Information recording system, information acquisition device, information processing method, and information processing program
JP6564190B2 (en) Terminal device, information processing method, and program
JP2016158077A (en) Safety information registration system, safety information registration device and program
WO2018179312A1 (en) Image generating device and image generating method
JP6240057B2 (en) Electronic device, navigation method, and navigation program
JP2018124293A (en) Information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150