JP6838522B2 - 画像収集システム、画像収集方法、画像収集装置、および記録媒体 - Google Patents

画像収集システム、画像収集方法、画像収集装置、および記録媒体 Download PDF

Info

Publication number
JP6838522B2
JP6838522B2 JP2017155304A JP2017155304A JP6838522B2 JP 6838522 B2 JP6838522 B2 JP 6838522B2 JP 2017155304 A JP2017155304 A JP 2017155304A JP 2017155304 A JP2017155304 A JP 2017155304A JP 6838522 B2 JP6838522 B2 JP 6838522B2
Authority
JP
Japan
Prior art keywords
image
vehicle
traveling
imaging
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017155304A
Other languages
English (en)
Other versions
JP2019036013A (ja
Inventor
功一 鈴木
功一 鈴木
純一郎 井川
純一郎 井川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017155304A priority Critical patent/JP6838522B2/ja
Priority to US16/634,210 priority patent/US11410429B2/en
Priority to DE112018004108.5T priority patent/DE112018004108T5/de
Priority to PCT/JP2018/029916 priority patent/WO2019031582A1/ja
Priority to CN201880051060.2A priority patent/CN110998684B/zh
Publication of JP2019036013A publication Critical patent/JP2019036013A/ja
Application granted granted Critical
Publication of JP6838522B2 publication Critical patent/JP6838522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像収集システム、画像収集方法、画像収集装置、記録媒体、および車両用通信装置に関する。
従来より、ナビゲーション装置において、目的地までのルート案内中に、自車両が案内交差点から所定の距離手前の地点に到達すると、その案内交差点の周辺に設置されている看板を目印として用いて、交差点案内を行う技術が知られている。
また、下記特許文献１には、ナビゲーション装置において、車載カメラによって撮像された車両の前方の看板や表示式の映像データを、正面から見た画像データに補正して、当該画像データをディスプレイに表示する技術が開示されている。
特開２０１６−０９５６８８号公報
ところで、ナビゲーション装置により、目印対象物（看板等）を用いた交差点案内等を行うためには、例えば、車載カメラによって撮像された画像から、目印対象物を画像認識し、当該目印対象物の画像を、センタに設けられたデータベースに、予め保存しておく必要がある。
しかしながら、従来、車載カメラによって撮像される画像は、目印対象物の撮像角度が様々であるため、画像毎に目印対象物の画像認識精度が異なるといった問題が生じていた。
本発明は、上述した従来技術の課題を解決するため、データベースに保存される目印対象物の画像の画像認識精度を高めることができるようにすることを目的とする。
本開示の一態様の画像収集システムは、車両に搭載された撮像装置によって撮像された、目印対象物の画像を取得する画像取得部と、前記画像が撮像された際の前記目印対象物と前記車両との位置関係を表す位置関係情報を取得する位置関係情報取得部と、前記画像取得部によって取得された前記画像を、前記位置関係情報取得部によって取得された前記位置関係情報と対応付けて、データベースに保存する保存処理部と、を備える。
本構成によれば、撮像装置によって撮像された画像を、当該画像が撮像された際の目印対象物と車両との位置関係を識別可能に、データベースに保存することができる。これにより、例えば、目標対象物の画像認識処理を行う際に、目印対象物と車両とが特定の位置関係にある画像のみをデータベースから読み出すことで、目標対象物の画像認識処理を、一定の画像認識精度で行うことができる。
本開示の一態様の画像収集システムにおいて、前記位置関係情報は、前記車両が走行中の走行レーンを示す情報、および、前記車両の進行方向に対する前記目印対象物の方向がなす角度を示す情報の、少なくともいずれか一方を含むようにしてもよい。
本構成によれば、撮像装置によって撮像された画像を、当該画像が撮像された際の、車両が走行中の走行レーン、および、車両の進行方向に対する目印対象物の方向がなす角度の少なくともいずれか一方を識別可能に、データベースに保存することができる。これにより、例えば、目標対象物の画像認識処理を行う際に、特定の走行レーンが対応付けられている画像、または、特定の角度が対応付けられている画像のみを、データベースから読み出すことで、目標対象物の画像認識処理を、一定の画像認識精度で行うことができる。
本開示の一態様の画像収集システムにおいて、前記車両が走行中の道路が有する複数の走行レーンの各々について、前記目印対象物を所定の角度から撮像可能な前記車両の進行方向における撮像位置を算出する撮像位置算出部と、前記撮像位置算出部によって算出された複数の撮像位置の各々において、前記撮像装置に前記画像を撮像させる撮像制御を行う撮像制御部と、をさらに備え、前記画像取得部は、前記撮像位置算出部によって算出された前記複数の撮像位置の各々において前記撮像制御部が撮像制御を行うことによって前記撮像装置によって撮像された複数の画像を取得するようにしてもよい。
本構成によれば、車両がいずれの走行レーンを走行していたとしても、目印対象物が所定の角度から撮像された画像を得ることができる。すなわち、撮像装置によって撮像された複数の画像のうちのいずれか一つを、目印対象物が所定の角度から撮像された画像とすることができる。また、本構成によれば、画像の撮像枚数を最小限（＝走行レーン数）とすることができるため、撮像された複数の画像に係る通信容量や記憶容量を軽減することができる。
本開示の一態様の画像収集システムにおいて、前記位置関係情報取得部は、前記位置関係情報として、前記車両が走行中の走行レーンを示す情報を、前記画像取得部によって取得された画像から前記車両が走行中の走行レーンを特定することによって取得し、前記保存処理部は、前記画像取得部によって取得された複数の画像のうち、前記位置関係情報取得部によって特定された前記車両が走行中の走行レーンに対応する撮像位置で撮像された画像を、前記データベースに優先的に保存するようにしてもよい。
本構成によれば、車両が走行中の走行レーンを特定するという、比較的簡単な画像認識処理を行うことにより、画像が撮像された際の、目印対象物と車両との位置関係を特定することができる。そして、特定された走行レーンに対応する撮像位置で撮像された画像を優先的にデータベースに保存することで、実際に、目印対象物を所定の角度から撮像することができた画像を、データベースに優先的に保存することができる。したがって、本構成によれば、データベースに保存される目印対象物の画像の画像認識精度を高めることができ、且つ、データベースの記憶領域の利用効率の低下を抑制することができる。
本開示の一態様の画像収集システムにおいて、前記位置関係情報取得部は、前記位置関係情報として、前記車両の進行方向に対する前記目印対象物の方向がなす角度を示す情報を、前記画像取得部によって取得された画像における前記車両と前記目印対象物との位置関係から算出することによって取得し、前記保存処理部は、前記画像取得部によって取得された複数の画像のうち、前記位置関係情報取得部によって算出された角度が前記所定の角度である画像を、前記データベースに優先的に保存するようにしてもよい。
本構成によれば、撮像条件（例えば、ＧＰＳ精度等）の変化等によって、目印対象物の撮像方向が所定の角度からずれるといった事態が生じ得る場合であっても、実際に、目印対象物を所定の角度から撮像することができた画像を、データベースに優先的に保存することができる。したがって、本構成によれば、データベースに保存される目印対象物の画像の画像認識精度を高めることができ、且つ、データベースの記憶領域の利用効率の低下を抑制することができる。
本開示の一態様の画像収集システムにおいて、前記画像取得部、前記撮像位置算出部、および前記撮像制御部は、前記車両に搭載された車載機器に設けられ、前記位置関係情報取得部および前記保存処理部は、センタに設けられ、前記車載機器は、前記画像取得部によって取得された複数の前記画像を、前記センタに送信する画像送信部と、前記車両が走行中の走行レーンが変更されたことを検知するレーン変更検知部と、をさらに備え、前記画像送信部は、前記撮像装置によって前記複数の撮像位置の全てにおいて前記画像が撮像されるまでの間に、前記レーン変更検知部によって前記走行レーンの変更が検知された場合、前記撮像装置によって撮像されたいずれの前記画像も、前記センタに送信しないようにしてもよい。
または、本開示の一態様の画像収集システムにおいて、前記車両が走行中の走行レーンが変更されたことを検知するレーン変更検知部をさらに備え、前記保存処理部は、前記撮像装置によって前記複数の撮像位置の全てにおいて前記画像が撮像されるまでの間に、前記レーン変更検知部によって前記走行レーンの変更が検知された場合、前記撮像装置によって撮像されたいずれの前記画像も前記データベースに保存しないようにしてもよい。
本構成によれば、車両が走行中の走行レーンが変更されてしまうと、想定された走行レーンとは異なる走行レーンにおいて、想定された走行レーン用の画像（すなわち、目印対象物の撮像方向が所定の角度とならない画像）が撮像されてしまう可能性があり、このような場合において、目印対象物の撮像方向が所定の角度とならない画像が、データベースに保存されてしまうことを回避することができる。
データベースに保存される目印対象物の画像の画像認識精度を高めることができる。
実施形態に係る画像収集システムの機能構成を示す図である。 実施形態に係るナビゲーション装置（ＥＣＵ）による処理の手順の一例を示すフローチャートである。 実施形態に係るセンタ（ＥＣＵ）による処理の手順の一例を示すフローチャートである。 実施形態に係るナビゲーション装置（ＥＣＵ）によって算出される走行レーン毎の撮像位置の一例を説明するための図である。 実施形態に係るカメラによって走行レーン毎に撮像される画像の一例を示す図である。 実施形態に係るセンタ（ＥＣＵ）による処理の手順の変形例を示すフローチャートである。
以下、図面を参照して、本発明の実施形態の画像収集システムについて説明する。
（画像収集システム１０の機能構成）
図１は、実施形態に係る画像収集システム１０の機能構成を示す図である。図１に示す画像収集システム１０は、センタ１５０およびナビゲーション装置１００を備えて構成されており、センタ１５０からナビゲーション装置１００に対して、ネットワーク１４０を介して、各種情報や各種サービスの提供ができるようになされたシステムである。
また、画像収集システム１０は、車両に搭載されたカメラ１０２によって撮像された、看板を目印対象物とする画像を、ナビゲーション装置１００からセンタ１５０へ送信し、センタ１５０において、ナビゲーション装置１００から収集された複数の画像に基づいて、看板案内ＤＢ（Data Base）１５３を構築することができるようになされている。
なお、図１では、１台のナビゲーション装置１００を示しているが、実際には、画像収集システム１０は、複数のナビゲーション装置１００（いずれも、図１に示すナビゲーション装置１００と同様の構成を有する）を備えている。すなわち、センタ１５０は、複数のナビゲーション装置１００に対して、各種情報や各種サービスの提供が可能であり、且つ、複数のナビゲーション装置１００から、画像を収集することが可能である。
（センタ１５０）
センタ１５０は、「画像収集装置」の一例であり、車両の外部の施設（例えば、サービス提供会社が管理する施設）内に設置される装置である。センタ１５０は、ネットワーク１４０に接続されている。ネットワーク１４０としては、例えば、インターネット、公衆無線回線等が挙げられる。センタ１５０は、ネットワーク１４０を介して、ナビゲーション装置１００に対して各種サービス（例えば、ナビゲーションシステムのサーバ機能等）を提供することが可能である。
図１に示すように、センタ１５０は、通信Ｉ／Ｆ（Inter Face）１５１、走行ＤＢ１５２、看板案内ＤＢ１５３、地図ＤＢ１５４、およびＥＣＵ１６０を備える。
通信Ｉ／Ｆ１５１は、ネットワーク１４０を介したナビゲーション装置１００との通信を制御することにより、ナビゲーション装置１００との間で各種データの送受信を行う。
走行ＤＢ１５２は、ナビゲーション装置１００から送信されたプローブデータを記憶する。各プローブデータは、例えば、カメラ１０２によって走行レーン毎に撮像された複数の画像と、撮像対象の看板を特定するための情報（例えば、ＩＤ、位置情報等）と、各画像の撮像位置の位置情報と、を含んでいる。
看板案内ＤＢ１５３は、「データベース」の一例である。看板案内ＤＢ１５３は、複数の看板案内データを記憶する。「看板案内データ」とは、看板を目印に用いた交差点案内を行うことが可能な交差点について、看板を目印に用いた交差点案内に必要なデータを含むものである。例えば、看板案内データは、看板の名称（例えば、店舗名）、位置情報（経度および緯度）、画像等を含んでいる。
地図ＤＢ１５４は、地図データを記憶する。地図データは、複数のノードデータと複数のリンクデータとを含んでいる。ノードデータは、交差点に相当するデータである。リンクデータは、ノードとノードの間の道路区間に相当するデータである。
ＥＣＵ１６０は、センタ１５０の全体を制御する装置である。図１に示すように、ＥＣＵ１６０は、プローブ保存処理部１６１を備える。また、ＥＣＵ１６０は、看板案内データ作成機能として、看板画像認識部１６２、位置関係情報取得部１６３、および看板案内データ保存処理部１６４を備える。また、ＥＣＵ１６０は、ナビサーバ機能として、ルート探索部１６５およびルート案内部１６６を備える。
プローブ保存処理部１６１は、ナビゲーション装置１００から送信されたプローブデータを、通信Ｉ／Ｆ１５１を介して受信すると、当該プローブデータを、走行ＤＢ１５２へ保存する。ナビゲーション装置１００から送信されたプローブデータは、少なくとも、カメラ１０２によって走行レーン毎に撮像された複数の画像と、撮像対象の看板を特定するための情報（例えば、ＩＤ、位置情報等）と、各画像の撮像位置の位置情報と、を含んでいる。
看板画像認識部１６２は、走行ＤＢ１５２にプローブデータが保存されると、当該プローブデータに含まれている複数の画像から、公知の画像認識処理を行うことにより、看板を画像認識する。
位置関係情報取得部１６３は、プローブデータに含まれている複数の画像の各々について、看板画像認識部１６２によって画像認識された看板と、車両との位置関係を特定することにより、当該位置関係を表す位置関係情報を取得する。本実施形態では、位置関係情報取得部１６３は、プローブデータに含まれている複数の画像に対して、画像認識処理を行って、車両が走行中の走行レーンを特定することにより、看板画像認識部１６２によって画像認識された看板と、車両との位置関係を表す位置関係情報として、車両が走行中の走行レーンを示す位置関係情報を取得する。画像から走行レーンを特定する方法としては、公知の方法を用いることができるが、例えば、複数の白線を画像認識することによって、複数の走行レーンを特定し、画像におけるこれら複数の走行レーンの表示位置と、車両におけるカメラの設置位置との関係に基づいて、車両が走行中の走行レーンを特定することができる。例えば、車両の横幅方向における中央にカメラが設置されている場合、画像の横幅方向における中央に写し出されている走行レーンが、車両が走行中の走行レーンであると特定することができる。
看板案内データ保存処理部１６４は、位置関係情報取得部１６３によって取得された位置関係情報に基づいて、プローブデータに含まれている複数の画像のうち、撮像対象の看板（看板画像認識部１６２によって画像認識された看板）が所定の角度から撮像された画像を抽出し、当該画像を看板案内ＤＢ１５３に保存する。本実施形態では、看板案内データ保存処理部１６４は、プローブデータに含まれている複数の画像のうち、位置関係情報取得部１６３によって特定された走行レーンに対応する撮像位置で撮像された画像を、看板案内ＤＢ１５３に優先的に保存する。例えば、図４に示すように、車両４０２が走行中の道路４００が、３つの走行レーンＬ１，Ｌ２，Ｌ３を有する場合、プローブデータには、３つの走行レーンＬ１，Ｌ２，Ｌ３の各々の画像が含まれる。ここで、位置関係情報取得部１６３によって、車両４０２が第２の走行レーンＬ２を走行していると特定されたとする。プローブデータに含まれている複数の画像のうち、第２の走行レーンＬ２に対応する撮像位置で撮像された画像は、車両４０２が第２の走行レーンＬ２を走行しているときに、撮像対象の看板の撮像方向が所定の角度（例えば、４５°）となる画像である。一方、プローブデータに含まれている複数の画像のうち、第１の走行レーンＬ１，第３の走行レーンＬ３に対応する撮像位置で撮像された画像は、車両４０２が第２の走行レーンＬ２を走行しているときには、撮像対象の看板の撮像方向が所定の角度とならない画像である。そこで、この場合、看板案内データ保存処理部１６４は、プローブデータに含まれている複数の画像のうち、第２の走行レーンＬ２に対応する撮像位置で撮像された画像を、看板案内ＤＢ１５３に優先的に保存する。一方、看板案内データ保存処理部１６４は、プローブデータに含まれている複数の画像のうち、第１の走行レーンＬ１，第３の走行レーンＬ３に対応する撮像位置で撮像された画像を、看板案内ＤＢ１５３に保存しない。これにより、看板案内ＤＢ１５３には、撮像対象の看板の撮像方向が所定の角度（例えば、４５°）となる画像が優先的に保存されることとなる。
ルート探索部１６５は、ナビゲーション装置１００からルート探索要求を受信すると、地図ＤＢ１５４に記憶されている地図データに基づいて、当該ルート探索要求に含まれている現在地情報によって特定されるナビゲーション装置１００の現在地から、当該ルート探索要求に含まれている目的地情報によって特定される目的地までのルートを探索する。ルート探索部１６５によって探索されるルートは、目的地までの経路を構成するリンク列、ルート上の各交差点の交差点案内データを含んでいる。ここで、周辺に設置されている看板を目印に用いた交差点案内を行うことが可能な交差点については、その交差点案内データに、看板案内ＤＢ１５３から取得した看板案内データ（例えば、看板の名称（例えば、店舗名）、位置情報（経度および緯度）、画像等）を含んでいる。
ルート案内部１６６は、ルート探索部１６５によって探索されたルートに基づいて、当該ルートの出発地から目的地までのルート案内を行う。ルート案内部１６６によるルート案内は、ナビゲーション装置１００が備えるディスプレイ１０４によるルート案内画面の表示、および、ナビゲーション装置１００が備えるスピーカ１０５によるルート案内音声の出力を伴う。ここで、ルート案内部１６６は、ルート探索部１６５によって探索されたルートにおいて、看板案内データが含まれている交差点については、その看板案内データに基づいて、看板を目印に用いた交差点案内（例えば、「○○の看板が見えたら左折です」等）を行う。このとき、ルート案内部１６６は、看板案内データに含まれている画像（すなわち、看板案内ＤＢ１５３から取得した看板の画像）を、ディスプレイ１０４に表示させる。これにより、車両の運転者は、どの看板を目印にすればよいのかを、ディスプレイ１０４に表示された画像から容易に把握することができる。
なお、ＥＣＵ１６０は、ＣＰＵ（Central Processing Unit）、主記憶装置（例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等）、補助記憶装置（例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等）等のハードウェアを備えて構成されている。図１に示したＥＣＵ１６０の各機能は、例えば、ＥＣＵ１６０において、主記憶装置または補助記憶装置に記憶されているプログラムをＣＰＵ（コンピュータ）が実行することによって実現される。
ＣＰＵが実行するプログラムは、予めＥＣＵ１６０に導入された状態で提供されてもよく、外部から提供されてＥＣＵ１６０に導入されるようにしてもよい。後者の場合、このプログラムは、コンピュータ読み取り可能な記憶媒体（例えば、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ等）によって提供されてもよく、ネットワーク（例えば、インターネット等）上のサーバからダウンロードすることによって提供されるようにしてもよい。
また、センタ１５０は、物理的に１台の情報処理装置（例えば、サーバ装置等）によって構成されてもよく、物理的に複数台の情報処理装置によって構成されてもよい。後者の場合、複数台の情報処理装置は、ネットワークを介して互いに接続されたものであってもよい。
（ナビゲーション装置１００）
ナビゲーション装置１００は、「車載機器」の一例であり、自動車等の車両に搭載される装置である。ナビゲーション装置１００は、ネットワーク１４０を介して、センタ１５０によって提供される各種サービス（例えば、ナビゲーションシステムのサーバ機能等）を利用することが可能である。
図１に示すように、ナビゲーション装置１００は、通信Ｉ／Ｆ１０１、カメラ１０２、ＧＰＳ（Global Positioning System）１０３、ディスプレイ１０４、スピーカ１０５、地図データ記憶部１０６、およびＥＣＵ１１０を備える。
通信Ｉ／Ｆ１０１は、ネットワーク１４０を介したセンタ１５０との通信を制御することにより、センタ１５０との間で各種データの送受信を行う。通信Ｉ／Ｆ１０１としては、例えば、ＤＣＭ（Data Communication Module）用の通信Ｉ／Ｆ等を用いることができる。カメラ１０２は、「撮像装置」の一例である。カメラ１０２は、車両の前方を撮像方向とする、一定の画角（但し、後述する「所定の角度」の２倍以上）の画像を撮像する。ＧＰＳ（Global Positioning System）１０３は、ＧＰＳ衛星から受信したＧＰＳ信号に基づいて、車両の現在位置（経度および緯度）を検知する。
ディスプレイ１０４は、各種情報（例えば、地図画面、ルート案内画面等）を表示する装置である。ディスプレイ１０４としては、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。スピーカ１０５は、各種音声（例えば、ルート案内音声等）を出力する。
地図データ記憶部１０６は、地図データを記憶する。例えば、地図データ記憶部１０６は、センタ１５０から提供された地図データを保存する。これにより、地図データ記憶部１０６は、一度表示した地図画面については、当該地図データ記憶部１０６に保存されている地図データに基づいて、当該地図画面を再表示することができる。したがって、地図データ記憶部１０６との通信頻度を抑制することができ、地図画面の表示速度向上などの効果を得ることができる。
ＥＣＵ１１０は、ナビゲーション装置１００の全体を制御する装置である。図１に示すように、ＥＣＵ１１０は、画像送信機能として、道路判定部１１１、撮像位置算出部１１２、撮像制御部１１３、画像取得部１１４、画像送信部１１５、およびレーン変更検知部１１６を備える。また、ＥＣＵ１１０は、ナビクライアント機能部１１７を備える。
道路判定部１１１は、車両が所定の道路を走行中であるか否かを判定する。本実施形態において、「所定の道路」とは、以下４つの条件を満たす道路である。
（１）車両の進行方向において、撮像対象の看板から所定の距離範囲内である。
（２）車両の進行方向と直交する方向において、撮像対象の看板から所定の距離範囲内である。
（３）複数の走行レーンを有する。
（４）道路の曲率が所定値以下である（概ね、直線道路である）。
上記条件（１）および条件（２）は、例えば、撮像対象の看板の位置情報と、ＧＰＳ１０３によって検知された車両の現在位置を示す情報とに基づいて、判定することができる。また、上記条件（３）および条件（４）は、例えば、地図データ記憶部１０６に記憶されている、車両が走行中の道路のリンクデータに基づいて、判定することができる。
撮像位置算出部１１２は、車両が走行中の道路が有する複数の走行レーンの各々について、撮像対象の看板を所定の角度から撮像可能な、車両の進行方向における撮像位置を算出する。例えば、車両の進行方向における撮像対象の看板の位置から撮像位置までの距離をＸとし、車両の進行方向と直交する方向における撮像対象の看板の位置から撮像位置までの距離をＹとし、上記所定の角度をθとした場合、距離Ｙおよび所定の角度θは固定であるから、撮像位置算出部１１２は、下記数式（１）によって、距離Ｘを算出すればよい。
tanθ＝Ｘ／Ｙ・・・（１）
例えば、図４に示すように、車両４０２が走行中の道路４００が、３つの走行レーンＬ１，Ｌ２，Ｌ３を有し、且つ、上記所定の角度θを４５°とした場合において、車両４０２の進行方向と直交する方向（図中Ｙ軸方向）における、第１の走行レーンＬ１から看板４０１の位置までの距離Ｙ１が、３０ｍである場合、車両４０２の進行方向（図中Ｘ軸方向）における、撮像位置Ｐ１から看板４０１の位置までの距離Ｘ１は、３０ｍとなる。
同様に、車両４０２の進行方向と直交する方向における、第２の走行レーンＬ２から看板４０１の位置までの距離Ｙ２が、３５ｍである場合、車両４０２の進行方向における、撮像位置Ｐ２から看板４０１の位置までの距離Ｘ２は、３５ｍとなる。
さらに同様に、車両４０２の進行方向と直交する方向における、第３の走行レーンＬ３から看板４０１の位置までの距離Ｙ３が、４０ｍである場合、車両４０２の進行方向における、撮像位置Ｐ３から看板４０１の位置までの距離Ｘ３は、４０ｍとなる。
撮像制御部１１３は、撮像位置算出部１１２によって算出された、走行レーン毎の複数の撮像位置の各々において、カメラ１０２に撮像対象の看板の画像を撮像させる撮像制御を行う。
画像取得部１１４は、カメラ１０２によって撮像された画像（走行レーン毎の画像）を取得し、一の画像を取得する毎に、当該一の画像を、ナビゲーション装置１００が備えるメモリに一時的に記憶させる。
レーン変更検知部１１６は、車両が走行中の走行レーンが変更されたことを検知する。例えば、レーン変更検知部１１６は、車両のハンドルの操舵角信号、車両に搭載されている車線逸脱検知システムによる車線逸脱検知信号等に基づいて、車両が走行中の走行レーンが変更されたことを検知することができる。また、例えば、カメラ１０２によって撮像された車両前方の画像から、走行レーンを区分する道路の白線を画像認識した結果に基づいて、車両が走行中の走行レーンが変更されたことを検知することができる。
画像送信部１１５は、カメラ１０２による全ての走行レーンの画像の撮像が終了すると、当該全ての走行レーンの画像を、メモリから読み出し、通信Ｉ／Ｆ１０１を介して、センタ１５０へ送信する。但し、画像送信部１１５は、カメラ１０２によって全ての走行レーンの画像が撮像されるまでの間に、レーン変更検知部１１６によって走行レーンの変更が検知された場合、カメラ１０２によって撮像されたいずれの画像も、センタ１５０へ送信しない。
ナビクライアント機能部１１７は、ナビゲーションシステムにおけるクライアント機能を実現する。例えば、ナビクライアント機能部１１７は、センタ１５０に対して、目的地までのルート探索およびルート案内を要求することによって、当該ルート探索およびルート案内をセンタ１５０に行わせることが可能である。そして、ナビクライアント機能部１１７は、センタ１５０による目的地までのルートを案内に応じて、ディスプレイ１０４による地図画面やルート案内画面の表示、スピーカ１０５によるルート案内音声の出力等を行う。
なお、ＥＣＵ１１０は、ＣＰＵ、主記憶装置（例えば、ＲＯＭ、ＲＡＭ等）、補助記憶装置（例えば、ＨＤＤ、フラッシュメモリ等）等のハードウェアを備えて構成されている。図１に示したＥＣＵ１１０の各機能は、例えば、ＥＣＵ１１０において、主記憶装置または補助記憶装置に記憶されているプログラムをＣＰＵが実行することによって実現される。
（ナビゲーション装置１００による処理の手順）
図２は、実施形態に係るナビゲーション装置１００（ＥＣＵ１１０）による処理の手順の一例を示すフローチャートである。図２の処理は、例えば、車両が走行している間、当該車両が撮像対象の看板から所定の距離手前の位置に到達する毎に、ＥＣＵ１１０によって実行される。
例えば、ナビゲーション装置１００は、撮像対象の複数の看板のリストを、センタ１５０から予め取得しておく。当該リストには、撮像対象の複数の看板の各々の位置情報が示されている。ＥＣＵ１１０は、撮像対象の複数の看板の各々の位置情報と、車両の現在位置情報とに基づいて、車両が撮像対象のいずれかの看板から所定の距離手前の位置に到達したか否かを判断する。そして、ＥＣＵ１１０は、車両が撮像対象のいずれかの看板から所定の距離手前の位置に到達したと判断した場合、以下の処理を行うことにより、その看板の画像を取得する。
まず、道路判定部１１１が、車両が所定の道路を走行中であるか否かを判定する（ステップＳ２０１）。ステップＳ２０１において、車両が所定の道路を走行中ではないと判定された場合（ステップＳ２０１：Ｎｏ）、道路判定部１１１は、ステップＳ２０１の処理を再度実行する。
一方、ステップＳ２０１において、車両が所定の道路を走行中であると判定された場合（ステップＳ２０１：Ｙｅｓ）、撮像位置算出部１１２が、車両が走行中の道路が有する複数の走行レーンの各々について、撮像対象の看板を所定の角度から撮像可能な、車両の進行方向における位置を、撮像位置Ｐとして算出する（ステップＳ２０２）。例えば、図４に示すように、車両４０２が走行中の道路４００が、３つの走行レーンＬ１，Ｌ２，Ｌ３を有する場合、撮像位置算出部１１２は、これら３つの走行レーンＬ１，Ｌ２，Ｌ３に対応する、３つの撮像位置Ｐ１，Ｐ２，Ｐ３を算出する。
その後、撮像制御部１１３が、ステップＳ２０２で算出されたいずれかの撮像位置に、車両が到達したか否かを判定する（ステップＳ２０３）。例えば、ステップＳ２０２において、３つの撮像位置Ｐ１，Ｐ２，Ｐ３が算出された場合、撮像制御部１１３は、これら３つの撮像位置Ｐ１，Ｐ２，Ｐ３のいずれかに、車両４０２が到達したか否かを判定する。この判定は、各撮像位置の位置情報と、車両４０２の現在位置の位置情報とに基づいて行うことができる。ステップＳ２０３において、いずれかの撮像位置に車両が到達していないと判定された場合（ステップＳ２０３：Ｎｏ）、撮像制御部１１３は、ステップＳ２０３の処理を再度実行する。
一方、ステップＳ２０３において、いずれかの撮像位置に車両が到達したと判定された場合（ステップＳ２０３：Ｙｅｓ）、撮像制御部１１３は、カメラ１０２に撮像対象の看板の画像を撮像させる（ステップＳ２０４）。そして、画像取得部１１４が、ステップＳ２０４で撮像された画像を取得し、当該画像を、ナビゲーション装置１００が備えるメモリに一時的に記憶させる（ステップＳ２０５）。ステップＳ２０３〜Ｓ２０５の処理が繰り返し実行されることにより、ステップＳ２０２で算出された複数の撮像位置の各々の画像が、メモリに記憶されることとなる。例えば、ステップＳ２０２において、３つの撮像位置Ｐ１，Ｐ２，Ｐ３が算出された場合、ステップＳ２０３〜Ｓ２０５の処理が３回繰り返し実行されることにより、これら３つの撮像位置Ｐ１，Ｐ２，Ｐ３の各々の画像が、メモリに記憶されることとなる。
その後、撮像制御部１１３が、ステップＳ２０２で算出された全ての撮像位置において、画像が撮像されたか否かを判定する（ステップＳ２０６）。ステップＳ２０６において、全ての撮像位置において画像が撮像されていないと判定された場合（ステップＳ２０６：Ｎｏ）、ＥＣＵ１１０は、ステップＳ２０３へ処理を戻す。
一方、ステップＳ２０６において、全ての撮像位置において画像が撮像されたと判定された場合（ステップＳ２０６：Ｙｅｓ）、画像送信部１１５が、カメラ１０２によって全ての走行レーンの画像が撮像されるまでの間に、レーン変更検知部１１６によって走行レーンの変更が検知されたか否かを判定する（ステップＳ２０７）。
ステップＳ２０７において、走行レーンの変更が検知されたと判定された場合（ステップＳ２０７：Ｙｅｓ）、ＥＣＵ１１０は、それまでにカメラ１０２によって撮像された全ての画像をメモリから破棄し、図２に示す一連の処理を終了する。車両が走行中の走行レーンが変更された場合、目印対象物の撮像方向が所定の角度とならない画像が撮像されてしまう可能性がある。そこで、ＥＣＵ１１０は、車両が走行中の走行レーンが変更された場合、カメラ１０２によって撮像された全ての画像をメモリから破棄する。これにより、目印対象物の撮像方向が所定の角度とならない画像が、データベースに保存されてしまうことを回避することができる。
一方、ステップＳ２０７において、走行レーンの変更が検知されていないと判定された場合（ステップＳ２０７：Ｎｏ）、画像送信部１１５は、全ての走行レーンの画像を、メモリから読み出し、これらの画像を含むプローブデータを、通信Ｉ／Ｆ１０１を介して、センタ１５０へ送信する（ステップＳ２０８）。そして、ＥＣＵ１１０は、図２に示す一連の処理を終了する。
（センタ１５０による処理の手順の一例）
図３は、実施形態に係るセンタ１５０（ＥＣＵ１６０）による処理の手順の一例を示すフローチャートである。図３の処理は、例えば、センタ１５０が稼働している間、ＥＣＵ１６０によって繰り返し実行される。
まず、プローブ保存処理部１６１が、ナビゲーション装置１００から送信されたプローブデータを受信したか否かを判定する（ステップＳ３０１）。ステップＳ３０１において、プローブデータを受信していないと判定された場合（ステップＳ３０１：Ｎｏ）、プローブ保存処理部１６１は、ステップＳ３０１の処理を再度実行する。
一方、ステップＳ３０１において、プローブデータを受信したと判定された場合（ステップＳ３０１：Ｙｅｓ）、プローブ保存処理部１６１は、当該プローブデータを、走行ＤＢ１５２へ保存する（ステップＳ３０２）。
続いて、看板画像認識部１６２が、ステップＳ３０２で走行ＤＢ１５２に保存されたプローブデータに含まれている複数の画像から、公知の画像認識処理を行うことにより、撮像対象の看板を画像認識する（ステップＳ３０３）。そして、看板画像認識部１６２が、ステップＳ３０３の画像認識処理により、交差点案内すべき看板が画像認識されたか否かを判定する（ステップＳ３０４）。例えば、ＥＣＵ１６０は、交差点案内すべき看板のリストを、予めメモリに保持しておく。看板画像認識部１６２は、ステップＳ３０３で画像認識された看板が、このリストに含まれている場合、「交差点案内すべき看板が画像認識された」と判定する。
ステップＳ３０４において、交差点案内すべき看板が画像認識されていないと判定された場合（ステップＳ３０４：Ｎｏ）、ＥＣＵ１６０は、図３に示す一連の処理を終了する。
一方、ステップＳ３０４において、交差点案内すべき看板が画像認識されたと判定された場合（ステップＳ３０４：Ｙｅｓ）、位置関係情報取得部１６３が、プローブデータに含まれている複数の画像に基づいて、車両が走行中の走行レーンを特定する（ステップＳ３０５）。例えば、図４に示すように、車両４０２が走行中の道路４００が、３つの走行レーンＬ１，Ｌ２，Ｌ３を有する場合、これら３つの走行レーンＬ１，Ｌ２，Ｌ３の中から、車両４０２が走行中の走行レーンを特定する。
そして、看板案内データ保存処理部１６４が、プローブデータに含まれている複数の画像のうち、ステップＳ３０５で特定された走行レーンに対応する撮像位置で撮像された画像を、看板案内ＤＢ１５３に優先的に保存する。例えば、車両４０２が走行中の走行レーンが走行レーンＬ２であると特定された場合、看板案内データ保存処理部１６４は、プローブデータに含まれている複数の画像の中から、この走行レーンＬ２に対応する撮像位置Ｐ２で撮像された画像を抽出し、当該画像を看板案内ＤＢ１５３に優先的に保存する。その後、ＥＣＵ１６０は、図３に示す一連の処理を終了する。
このように、車両が走行中の走行レーンを特定し、当該走行レーンに対応する撮像位置で撮像された画像を、看板案内ＤＢ１５３に保存することで、看板案内ＤＢ１５３には、常に、撮像対象の看板の撮像方向が所定の角度（例えば、４５°）である画像が、優先的に保存されることとなる。
（走行レーン毎の撮像位置の一例）
図４は、実施形態に係るナビゲーション装置１００（ＥＣＵ１１０）によって算出される、走行レーン毎の撮像位置の一例を説明するための図である。図４に示す道路４００は、走行レーンＬ１，Ｌ２，Ｌ３を有する３車線の直線道路である。ここで、各走行レーンにおいて、看板４０１の撮像方向が４５°となる画像を撮像する例を説明する。
例えば、図４の例において、車両４０２の進行方向（図中Ｘ軸方向）と直交する方向（図中Ｙ軸方向）における、第１の走行レーンＬ１から看板４０１の位置までの距離Ｙ１が、３０ｍである場合、撮像位置算出部１１２は、車両４０２の進行方向（図中Ｘ軸方向）における、看板４０１から３０ｍ手前の位置を、撮像位置Ｐ１に設定する。この撮像位置Ｐ１は、第１の走行レーンＬ１において、看板４０１の撮像方向が４５°となる位置である。
また、図４の例において、車両４０２の進行方向と直交する方向における、第２の走行レーンＬ２から看板４０１の位置までの距離Ｙ２が、３５ｍである場合、撮像位置算出部１１２は、車両４０２の進行方向における、看板４０１から３５ｍ手前の位置を、撮像位置Ｐ２に設定する。この撮像位置Ｐ２は、第２の走行レーンＬ２において、看板４０１の撮像方向が４５°となる位置である。
また、図４の例において、車両４０２の進行方向と直交する方向における、第３の走行レーンＬ３から看板４０１の位置までの距離Ｙ３が、４０ｍである場合、撮像位置算出部１１２は、車両４０２の進行方向における、看板４０１から４０ｍ手前の位置を、撮像位置Ｐ３に設定する。この撮像位置Ｐ３は、第３の走行レーンＬ３において、看板４０１の撮像方向が４５°となる位置である。
撮像制御部１１３は、撮像位置算出部１１２によって算出された、複数の撮像位置Ｐ１，Ｐ２，Ｐ３の各々において、カメラ１０２に看板４０１の画像を撮像させる。もし、車両４０２が第１の走行レーンＬ１を走行していれば、撮像位置Ｐ１で撮像された画像が、看板４０１の撮像方向が４５°となる画像となる。また、車両４０２が第２の走行レーンＬ２を走行していれば、撮像位置Ｐ２で撮像された画像が、看板４０１の撮像方向が４５°となる画像となる。また、車両４０２が第３の走行レーンＬ３を走行していれば、撮像位置Ｐ３で撮像された画像が、看板４０１の撮像方向が４５°となる画像となる。すなわち、撮像位置Ｐ１，Ｐ２，Ｐ３の各々で画像を撮像することにより、車両４０２がいずれの走行レーンを走行していたとしても、看板４０１が所定の角度（４５°）から撮像された画像を得ることができる。
（走行レーン毎に撮像された画像の一例）
図５は、実施形態に係るカメラ１０２によって走行レーン毎に撮像される画像の一例を示す図である。図５（ａ）に示す画像５０１は、車両４０２が道路４００の第２の走行レーンＬ２を走行しているときに、看板４０１から４０ｍ手前の位置である撮像位置Ｐ３にて、カメラ１０２によって撮像された画像の一例である。
また、図５（ｂ）に示す画像５０２は、車両４０２が道路４００の第２の走行レーンＬ２を走行しているときに、看板４０１から３５ｍ手前の位置である撮像位置Ｐ２にて、カメラ１０２によって撮像された画像の一例である。
また、図５（ｃ）に示す画像５０３は、車両４０２が道路４００の第２の走行レーンＬ２を走行しているときに、看板４０１から３０ｍ手前の位置である撮像位置Ｐ１にて、カメラ１０２によって撮像された画像の一例である。
ここで、図４で説明したとおり、車両４０２が第２の走行レーンＬ２を走行している場合、撮像位置Ｐ２で撮像された画像が、看板４０１の撮像方向が４５°となる画像となる。したがって、図５（ｂ）に示す画像５０２が、看板４０１の撮像方向が４５°となるため、看板案内ＤＢ１５３に優先的に保存されることとなる。
一方、図５（ａ）に示す画像５０１は、看板４０１の撮像方向が４５°よりも狭角となるため、看板案内ＤＢ１５３に保存されない。同様に、図５（ｃ）に示す画像５０３は、看板４０１の撮像方向が４５°よりも広角となるため、看板案内ＤＢ１５３に保存されない。
このように、車両が走行中の走行レーンを特定し、当該走行レーンに対応する撮像位置で撮像された画像を、看板案内ＤＢ１５３に優先的に保存することで、看板案内ＤＢ１５３には、常に、撮像対象の看板の撮像方向が所定の角度（例えば、４５°）である画像が、優先的に保存されることとなる。
以上説明したように、本実施形態の画像収集システム１０によれば、車両に搭載されたカメラ１０２によって撮像された複数の画像のうち、撮像対象の看板が所定の角度から撮像された画像が、センタ１５０に設けられた看板案内ＤＢ１５３に優先的に保存されることとなる。これにより、看板案内ＤＢ１５３に保存された複数の画像の間で、看板の画像認識精度を、比較的高い精度で統一することができるようになる。また、画像認識精度が比較的低い画像が、無駄に看板案内ＤＢ１５３に保存されてしまうことを防ぐことができる。したがって、本構成によれば、看板案内ＤＢ１５３に保存される看板の画像の画像認識精度を高めることができ、看板案内ＤＢ１５３の記憶領域の利用効率の低下を抑制することができる。
また、本実施形態の画像収集システム１０によれば、車両が走行中の道路が有する複数の走行レーンの各々について、撮像対象の看板が所定の角度から撮像された画像を取得することができる。このため、車両側で走行レーンを特定することができない場合において、車両がいずれの走行レーンを走行していたとしても、センタ１５０は、撮像対象の看板が所定の角度から撮像された画像を得ることができる。また、本構成によれば、画像の撮像枚数を最小限（＝走行レーン数）とすることができるため、撮像された複数の画像に係る通信容量や記憶容量を軽減することができる。
また、本実施形態の画像収集システム１０によれば、カメラ１０２によって複数の撮像位置の全てにおいて画像が撮像されるまでの間に、車両が走行中の走行レーンの変更が検知された場合、カメラ１０２によって撮像されたいずれの画像も、センタ１５０へ送信しないようにしている。本構成によれば、車両が走行中の走行レーンが変更されてしまうと、想定された走行レーンとは異なる走行レーンにおいて、想定された走行レーン用の画像（すなわち、撮像対象の看板の撮像方向が所定の角度とならない画像）が撮像されてしまう可能性があり、このような場合において、撮像対象の看板の撮像方向が所定の角度とならない画像が、看板案内ＤＢ１５３に保存されてしまうことを回避することができる。
また、本実施形態の画像収集システム１０によれば、撮像対象の看板の画像が撮像された際の、看板と車両との位置関係として、車両が走行中の走行レーンを、画像から特定することができる。このため、本構成によれば、車両が走行中の走行レーンを特定するという、比較的簡単な画像認識処理により、画像が撮像された際の、目印対象物と車両との位置関係を特定することができる。
（センタ１５０による処理の手順の変形例）
図６は、実施形態に係るセンタ１５０（ＥＣＵ１６０）による処理の手順の変形例を示すフローチャートである。図６の処理は、図３の処理の変形例である。図６の処理は、例えば、センタ１５０が稼働している間、ＥＣＵ１６０によって繰り返し実行される。
まず、プローブ保存処理部１６１が、ナビゲーション装置１００から送信されたプローブデータを受信したか否かを判定する（ステップＳ６０１）。ステップＳ６０１において、プローブデータを受信していないと判定された場合（ステップＳ６０１：Ｎｏ）、プローブ保存処理部１６１は、ステップＳ６０１の処理を再度実行する。
一方、ステップＳ６０１において、プローブデータを受信したと判定された場合（ステップＳ６０１：Ｙｅｓ）、プローブ保存処理部１６１は、当該プローブデータを、走行ＤＢ１５２へ保存する（ステップＳ６０２）。
続いて、看板画像認識部１６２が、ステップＳ６０２で走行ＤＢ１５２に保存されたプローブデータに含まれている複数の画像から、公知の画像認識処理を行うことにより、撮像対象の看板を画像認識する（ステップＳ６０３）。そして、看板画像認識部１６２が、ステップＳ６０３の画像認識処理により、交差点案内すべき看板が画像認識されたか否かを判定する（ステップＳ６０４）。
ステップＳ６０４において、交差点案内すべき看板が画像認識されていないと判定された場合（ステップＳ６０４：Ｎｏ）、ＥＣＵ１６０は、図６に示す一連の処理を終了する。
一方、ステップＳ６０４において、交差点案内すべき看板が画像認識されたと判定された場合（ステップＳ６０４：Ｙｅｓ）、位置関係情報取得部１６３が、プローブデータに含まれている複数の画像の各々について、当該画像における車両と看板との位置関係に基づいて、車両の進行方向に対する看板の撮像方向がなす角度を特定する（ステップＳ６０５）。例えば、図５に示す画像５０１，５０２，５０３がプローブデータに含まれている場合、位置関係情報取得部１６３は、画像５０１における看板の撮像方向の角度として、４５°よりも狭角な角度を算出する。また、位置関係情報取得部１６３は、画像５０２における看板の撮像方向の角度として、４５°を算出する。また、位置関係情報取得部１６３は、画像５０３における看板の撮像方向の角度として、４５°よりも広角な角度を算出する。
そして、看板案内データ保存処理部１６４が、プローブデータに含まれている複数の画像のうち、ステップＳ６０５で特定された角度が所定の角度である画像を、看板案内ＤＢ１５３に優先的に保存する。例えば、所定の角度が４５°である場合、看板案内データ保存処理部１６４は、位置関係情報取得部１６３によって算出された角度が４５°である画像５０１を、看板案内ＤＢ１５３に優先的に保存する。その後、ＥＣＵ１６０は、図６に示す一連の処理を終了する。
このように、本変形例の画像収集システム１０によれば、撮像対象の看板の画像が撮像された際の、看板と車両との位置関係として、車両の進行方向に対する撮像対象の看板の方向がなす角度を、画像における車両と看板との位置関係から特定することができる。このため、本構成によれば、撮像条件の変化（例えば、ＧＰＳ精度等）によって、撮像対象の看板の撮像方向が所定の角度からずれてしまうような場合であっても、実際に、撮像対象の看板の撮像方向が所定の角度となっている画像を、看板案内ＤＢ１５３に優先的に保存することができる。したがって、本構成によれば、看板案内ＤＢ１５３に保存される看板の画像の画像認識精度をより高めることができる。
以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
例えば、実施形態では、「目印対象物」の一例として看板を用いているが、これに限らない。例えば、「目印対象物」は、標識、銅像、建造物等、交差点案内等の目印として用いることが可能なものであれば、如何なるものであってもよい。
また、例えば、実施形態において、ナビゲーション装置１００が備える機能の一部を、センタ１５０、または、ナビゲーション装置１００と接続可能な他の情報処理装置に設けるようにしてもよい。
また、例えば、実施形態において、センタ１５０が備える機能の一部を、ナビゲーション装置１００、または、センタ１５０と接続可能な他の情報処理装置に設けるようにしてもよい。
また、上記実施形態では、レーン変更検知部１１６によって、車両が走行中の走行レーンが変更されたことが検知された場合、カメラ１０２によって撮像された複数の画像を、全てセンタ１５０へ送信せずに破棄するようにしているが、これに限らない。例えば、レーン変更検知部１１６によって、車両が走行中の走行レーンが変更されたことが検知された場合、カメラ１０２によって撮像された複数の画像を、全てセンタ１５０へ送信し、センタ１５０において、看板案内データ保存処理部１６４が、いずれの画像も看板案内ＤＢ１５３に保存しない（すなわち、破棄する）ようにしてもよい。
また、上記実施形態では、カメラ１０２によって撮像された画像のうち、目印対象物（看板）が所定の角度から撮像された画像を、看板案内ＤＢ１５３に優先的に保存するようにしているが、これに限らない。
例えば、カメラ１０２によって撮像された全ての画像を、車両が走行中の走行レーンを示す情報と対応付けて、看板案内ＤＢ１５３に保存するようにしてもよい。これにより、例えば、目標対象物の画像認識処理を行う際に、特定の走行レーンが対応付けられている画像のみを、看板案内ＤＢ１５３から読み出すことで、目標対象物の画像認識処理を、一定の画像認識精度で行うことができるようになる。この場合、車両が走行中の走行レーンを示す情報は、外部（例えば、車両）から取得してもよく、画像から車両が走行中の走行レーンを特定することによって取得してもよい。また、この場合、車両の進行方向に対する目印対象物の方向がなす角度を算出する必要はない。
また、例えば、カメラ１０２によって撮像された全ての画像を、車両の進行方向に対する目印対象物の方向がなす角度を示す情報と対応付けて、看板案内ＤＢ１５３に保存するようにしてもよい。これにより、例えば、目標対象物の画像認識処理を行う際に、特定の角度が対応付けられている画像のみを、看板案内ＤＢ１５３から読み出すことで、目標対象物の画像認識処理を、一定の画像認識精度で行うことができるようになる。この場合、車両の進行方向に対する目印対象物の方向がなす角度を示す情報は、外部（例えば、車両）から取得してもよく、画像における車両と目印対象物との位置関係から算出することによって取得してもよい。また、この場合、車両が走行中の走行レーンを特定する必要はない。
また、例えば、カメラ１０２によって撮像された全ての画像を、車両が走行中の走行レーンを示す情報と、車両の進行方向に対する目印対象物の方向がなす角度を示す情報との双方に対応付けて、看板案内ＤＢ１５３に保存するようにしてもよい。これにより、例えば、目標対象物の画像認識処理を行う際に、特定の走行レーンが対応付けられている画像のみ、または、特定の角度が対応付けられている画像のみを、看板案内ＤＢ１５３から読み出すことで、目標対象物の画像認識処理を、一定の画像認識精度で行うことができるようになる。この場合、車両が走行中の走行レーンを示す情報は、外部（例えば、車両）から取得してもよく、画像から車両が走行中の走行レーンを特定することによって取得してもよい。また、車両の進行方向に対する目印対象物の方向がなす角度を示す情報は、外部（例えば、車両）から取得してもよく、画像における車両と目印対象物との位置関係から算出することによって取得してもよい。
また、上記実施形態の他に、例えば、車両に搭載された撮像装置によって撮像された、目印対象物の画像を取得する画像取得部と、画像取得部によって取得された画像のうち、目印対象物が所定の角度で撮像された画像を、センタへ送信する画像送信部と、を備える車両用通信装置を、画像収集システムに含めるようにしてもよい。この場合、各画像における目印対象物の撮像方向は、車両用通信装置（例えば、「撮像方向特定部」）が行うようにしてもよい。例えば、車両用通信装置は、目印対象物の位置情報（経度および緯度）と車両の現在位置情報（経度および緯度）とに基づいて、画像における目印対象物の撮像方向を特定してもよい。また、例えば、車両用通信装置は、画像における車両と目印対象物との位置関係に基づいて、画像における目印対象物の撮像方向を特定してもよい。本構成によっても、目印対象物を所定の角度から撮像することができた画像を、データベースに優先的に保存することができる。したがって、本構成によれば、データベースに保存される目印対象物の画像の画像認識精度を高めることができ、且つ、データベースの記憶領域の利用効率の低下を抑制することができる。
１０ 画像収集システム
１００ ナビゲーション装置（車載機器）
１０１ 通信Ｉ／Ｆ
１０２ カメラ（撮像装置）
１０３ ＧＰＳ
１０４ ディスプレイ
１０５ スピーカ
１０６ 地図データ記憶部
１１０ ＥＣＵ
１１１ 道路判定部
１１２ 撮像位置算出部
１１３ 撮像制御部
１１４ 画像取得部
１１５ 画像送信部
１１６ レーン変更検知部
１１７ ナビクライアント機能部
１４０ ネットワーク
１５０ センタ（画像収集装置）
１５１ 通信Ｉ／Ｆ
１５２ 走行ＤＢ
１５３ 看板案内ＤＢ（データベース）
１５４ 地図ＤＢ
１６０ ＥＣＵ
１６１ プローブ保存処理部
１６２ 看板画像認識部
１６３ 位置関係情報取得部
１６４ 看板案内データ保存処理部
１６５ ルート探索部
１６６ ルート案内部
４００ 道路
４０１ 看板
４０２ 車両

Claims (9)

  1. 車両に搭載された撮像装置によって撮像された、目印対象物の画像を取得する画像取得部と、
    前記画像が撮像された際の前記目印対象物と前記車両との位置関係を表す位置関係情報を取得する位置関係情報取得部と、
    前記画像取得部によって取得された前記画像を、前記位置関係情報取得部によって取得された前記位置関係情報と対応付けて、データベースに保存する保存処理部と、
    前記車両が走行中の道路が有する複数の走行レーンの各々について、前記目印対象物を所定の角度から撮像可能な前記車両の進行方向における撮像位置を算出する撮像位置算出部と、
    前記撮像位置算出部によって算出された複数の撮像位置の各々において、前記撮像装置に前記画像を撮像させる撮像制御を行う撮像制御部と、
    を備え、
    前記画像取得部は、前記撮像位置算出部によって算出された前記複数の撮像位置の各々において前記撮像制御部が撮像制御を行うことによって前記撮像装置によって撮像された複数の画像を取得する
    画像収集システム。
  2. 前記位置関係情報は、前記車両が走行中の走行レーンを示す情報、および、前記車両の進行方向に対する前記目印対象物の方向がなす角度を示す情報の、少なくともいずれか一方を含む、
    請求項１に記載の画像収集システム。
  3. 前記位置関係情報取得部は、前記位置関係情報として、前記車両が走行中の走行レーンを示す情報を、前記画像取得部によって取得された画像から前記車両が走行中の走行レーンを特定することによって取得し、
    前記保存処理部は、前記画像取得部によって取得された複数の画像のうち、前記位置関係情報取得部によって特定された前記車両が走行中の走行レーンに対応する撮像位置で撮像された画像を、前記データベースに優先的に保存する
    請求項１または２に記載の画像収集システム。
  4. 前記位置関係情報取得部は、前記位置関係情報として、前記車両の進行方向に対する前記目印対象物の方向がなす角度を示す情報を、前記画像取得部によって取得された画像における前記車両と前記目印対象物との位置関係から算出することによって取得し、
    前記保存処理部は、前記画像取得部によって取得された複数の画像のうち、前記位置関係情報取得部によって算出された角度が前記所定の角度である画像を、前記データベースに優先的に保存する
    請求項１または２に記載の画像収集システム。
  5. 前記画像取得部、前記撮像位置算出部、および前記撮像制御部は、前記車両に搭載された車載機器に設けられ、
    前記位置関係情報取得部および前記保存処理部は、センタに設けられ、
    前記車載機器は、
    前記画像取得部によって取得された複数の前記画像を、前記センタに送信する画像送信部と、
    前記車両が走行中の走行レーンが変更されたことを検知するレーン変更検知部と、をさらに備え、
    前記画像送信部は、前記撮像装置によって前記複数の撮像位置の全てにおいて前記画像が撮像されるまでの間に、前記レーン変更検知部によって前記走行レーンの変更が検知された場合、前記撮像装置によって撮像されたいずれの前記画像も、前記センタに送信しない、
    請求項１から４のいずれか一項に記載の画像収集システム。
  6. 前記車両が走行中の走行レーンが変更されたことを検知するレーン変更検知部をさらに備え、
    前記保存処理部は、前記撮像装置によって前記複数の撮像位置の全てにおいて前記画像が撮像されるまでの間に、前記レーン変更検知部によって前記走行レーンの変更が検知された場合、前記撮像装置によって撮像されたいずれの前記画像も前記データベースに保存しない、
    請求項１から４のいずれか一項に記載の画像収集システム。
  7. 車両に搭載された撮像装置によって撮像された、目印対象物の画像を取得する画像取得工程と、
    前記画像が撮像された際の前記目印対象物と前記車両との位置関係を表す位置関係情報を取得する位置関係情報取得工程と、
    前記画像取得工程にて取得された前記画像を、前記位置関係情報取得工程にて取得された前記位置関係情報と対応付けて、データベースに保存する保存処理工程と、
    前記車両が走行中の道路が有する複数の走行レーンの各々について、前記目印対象物を所定の角度から撮像可能な前記車両の進行方向における撮像位置を算出する撮像位置算出工程と、
    前記撮像位置算出工程にて算出された複数の撮像位置の各々において、前記撮像装置に前記画像を撮像させる撮像制御を行う撮像制御工程と、
    を含み、
    前記画像取得工程では、前記撮像位置算出工程にて算出された前記複数の撮像位置の各々において前記撮像制御工程にて撮像制御を行うことによって前記撮像装置によって撮像された複数の画像を取得する
    画像収集方法。
  8. 車両に搭載された撮像装置によって撮像された、目印対象物の画像を取得する画像取得部と、
    前記画像が撮像された際の前記目印対象物と前記車両との位置関係を表す位置関係情報を取得する位置関係情報取得部と、
    前記画像取得部によって取得された前記画像を、前記位置関係情報取得部によって取得された前記位置関係情報と対応付けて、データベースに保存する保存処理部と、
    前記車両が走行中の道路が有する複数の走行レーンの各々について、前記目印対象物を所定の角度から撮像可能な前記車両の進行方向における撮像位置を算出する撮像位置算出部と、
    前記撮像位置算出部によって算出された複数の撮像位置の各々において、前記撮像装置に前記画像を撮像させる撮像制御を行う撮像制御部と、
    を備え、
    前記画像取得部は、前記撮像位置算出部によって算出された前記複数の撮像位置の各々において前記撮像制御部が撮像制御を行うことによって前記撮像装置によって撮像された複数の画像を取得する
    画像収集装置。
  9. コンピュータを、
    車両に搭載された撮像装置によって撮像された、目印対象物の画像を取得する画像取得部、
    前記画像が撮像された際の前記目印対象物と前記車両との位置関係を表す位置関係情報を取得する位置関係情報取得部、
    前記画像取得部によって取得された前記画像を、前記位置関係情報取得部によって取得された前記位置関係情報と対応付けて、データベースに保存する保存処理部、
    前記車両が走行中の道路が有する複数の走行レーンの各々について、前記目印対象物を所定の角度から撮像可能な前記車両の進行方向における撮像位置を算出する撮像位置算出部、および、
    前記撮像位置算出部によって算出された複数の撮像位置の各々において、前記撮像装置に前記画像を撮像させる撮像制御を行う撮像制御部
    として機能させ、
    前記画像取得部が、前記撮像位置算出部によって算出された前記複数の撮像位置の各々において前記撮像制御部が撮像制御を行うことによって前記撮像装置によって撮像された複数の画像を取得する
    ためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2017155304A 2017-08-10 2017-08-10 画像収集システム、画像収集方法、画像収集装置、および記録媒体 Active JP6838522B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017155304A JP6838522B2 (ja) 2017-08-10 2017-08-10 画像収集システム、画像収集方法、画像収集装置、および記録媒体
US16/634,210 US11410429B2 (en) 2017-08-10 2018-08-09 Image collection system, image collection method, image collection device, recording medium, and vehicle communication device
DE112018004108.5T DE112018004108T5 (de) 2017-08-10 2018-08-09 Bildsammelsystem, bildsammelverfahren, bildsammelvorrichtung, aufzeichnungsmedium und fahrzeugkommunikationsvorrichtung
PCT/JP2018/029916 WO2019031582A1 (ja) 2017-08-10 2018-08-09 画像収集システム、画像収集方法、画像収集装置、記録媒体、および車両用通信装置
CN201880051060.2A CN110998684B (zh) 2017-08-10 2018-08-09 图像收集系统、图像收集方法、图像收集装置、记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017155304A JP6838522B2 (ja) 2017-08-10 2017-08-10 画像収集システム、画像収集方法、画像収集装置、および記録媒体

Publications (2)

Publication Number Publication Date
JP2019036013A JP2019036013A (ja) 2019-03-07
JP6838522B2 true JP6838522B2 (ja) 2021-03-03

Family

ID=65272276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017155304A Active JP6838522B2 (ja) 2017-08-10 2017-08-10 画像収集システム、画像収集方法、画像収集装置、および記録媒体

Country Status (5)

Country Link
US (1) US11410429B2 (ja)
JP (1) JP6838522B2 (ja)
CN (1) CN110998684B (ja)
DE (1) DE112018004108T5 (ja)
WO (1) WO2019031582A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113396104A (zh) * 2019-02-13 2021-09-14 索尼集团公司 移动体、通信方法和程序
US11854402B2 (en) * 2020-07-10 2023-12-26 Here Global B.V. Method, apparatus, and system for detecting lane departure events based on probe data and sensor data
JP7415852B2 (ja) * 2020-08-25 2024-01-17 トヨタ自動車株式会社 制御装置、システム、プログラム、及び広告表示方法
CN112537302B (zh) * 2020-11-30 2022-06-17 南通路远科技信息有限公司 一种无人驾驶交通载具车道保持方法、装置及交通载具
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
JP7309310B1 (ja) * 2023-03-07 2023-07-18 株式会社ファンクリエイト 逆走検出装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232135A (ja) * 1997-02-20 1998-09-02 Sony Corp 画像データ収集方法、画像データ提供方法、地図作成方法、位置データ提供方法、ナビゲーション装置及び車両
KR20000025578A (ko) * 1998-10-13 2000-05-06 윤종용 차로의 모델링 방법 및 그를 이용한 차선 인식 방법
JP4352389B2 (ja) * 2003-12-24 2009-10-28 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーションシステム
JP4377284B2 (ja) * 2004-06-02 2009-12-02 株式会社ザナヴィ・インフォマティクス 車載ナビゲーション装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP4946238B2 (ja) 2006-07-25 2012-06-06 株式会社デンソー 車両周辺撮影送信装置および車両周辺撮影送信プログラム
JP2008045893A (ja) 2006-08-11 2008-02-28 Denso Corp カーナビゲーション装置
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
WO2010026695A1 (ja) * 2008-09-03 2010-03-11 三菱電機株式会社 車両用撮影システム
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
JP5625987B2 (ja) * 2011-02-16 2014-11-19 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
CN102184535B (zh) * 2011-04-14 2013-08-14 西北工业大学 一种车辆所在车道边界检测方法
JP2013036930A (ja) 2011-08-10 2013-02-21 Alpine Electronics Inc ナビゲーション装置およびこれを備えたナビゲーションシステム
US9393961B1 (en) * 2012-09-19 2016-07-19 Google Inc. Verifying a target object with reverse-parallax analysis
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
EP2983153B1 (en) * 2013-04-04 2018-12-19 Nissan Motor Co., Ltd Signal recognition device
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
JP2016095688A (ja) 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
KR101769807B1 (ko) * 2016-02-03 2017-08-21 (주)한양정보통신 관심 영역 설정 장치 및 방법
JP2017155304A (ja) 2016-03-03 2017-09-07 株式会社東芝 二酸化炭素電解装置
JP6649191B2 (ja) * 2016-06-29 2020-02-19 クラリオン株式会社 車載処理装置
US11086334B2 (en) * 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US11761790B2 (en) * 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection
CN111902694A (zh) * 2018-04-03 2020-11-06 御眼视觉技术有限公司 用于确定导航参数的系统和方法
GB2620695A (en) * 2019-02-14 2024-01-17 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation
JP2022532695A (ja) * 2019-05-24 2022-07-19 モービルアイ ビジョン テクノロジーズ リミテッド 画像分析に基づく車両ナビゲーションのためのシステム及び方法

Also Published As

Publication number Publication date
JP2019036013A (ja) 2019-03-07
US11410429B2 (en) 2022-08-09
CN110998684A (zh) 2020-04-10
WO2019031582A1 (ja) 2019-02-14
CN110998684B (zh) 2022-02-01
US20200210725A1 (en) 2020-07-02
DE112018004108T5 (de) 2020-05-20

Similar Documents

Publication Publication Date Title
JP6838522B2 (ja) 画像収集システム、画像収集方法、画像収集装置、および記録媒体
JP4847090B2 (ja) 位置測位装置、および位置測位方法
JP6325806B2 (ja) 車両位置推定システム
US9064155B2 (en) Guidance device, guidance method, and guidance program
JP6175846B2 (ja) 車両追跡プログラム、サーバ装置および車両追跡方法
JPWO2015129045A1 (ja) 画像取得システム、端末、画像取得方法および画像取得プログラム
US11990041B2 (en) Moving body tracking system, moving body tracking method, and program
JP4902575B2 (ja) 道路標示認識装置、および道路標示認識方法
US20180224296A1 (en) Image processing system and image processing method
JP2018195227A (ja) 運転支援システム
JP6224344B2 (ja) 情報処理装置、情報処理方法並びに情報処理システム及び情報処理プログラム
US11938945B2 (en) Information processing system, program, and information processing method
JP2020095565A (ja) 情報処理システム、プログラム、及び情報処理方法
JP6165422B2 (ja) 情報処理システム、情報処理装置、サーバ、端末装置、情報処理方法、及びプログラム
JP2017188164A (ja) 画像取得装置、端末および画像取得システム
JP2009037062A (ja) 地図データ更新装置、及び地図データ更新システム
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP2005227035A (ja) ナビゲーション装置
JP2018010320A (ja) サーバ装置、端末装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP6224343B2 (ja) サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP2010181265A (ja) ナビゲーション装置及びナビゲーション用プログラム
JP2019168985A (ja) 制御装置、制御方法、プログラム及び記憶媒体
JP2021060337A (ja) 位置推定システム、位置推定方法、及び位置推定プログラム
JP2012007983A (ja) 運転支援装置
CN116124157A (zh) 信息处理装置及程序

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R151 Written notification of patent or utility model registration

Ref document number: 6838522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151