JP6787243B2 - 画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム - Google Patents

画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム Download PDF

Info

Publication number
JP6787243B2
JP6787243B2 JP2017089695A JP2017089695A JP6787243B2 JP 6787243 B2 JP6787243 B2 JP 6787243B2 JP 2017089695 A JP2017089695 A JP 2017089695A JP 2017089695 A JP2017089695 A JP 2017089695A JP 6787243 B2 JP6787243 B2 JP 6787243B2
Authority
JP
Japan
Prior art keywords
image
unit
vehicle
intersection
illuminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017089695A
Other languages
English (en)
Other versions
JP2018190037A (ja
Inventor
功一 鈴木
功一 鈴木
純一郎 井川
純一郎 井川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017089695A priority Critical patent/JP6787243B2/ja
Priority to US15/964,920 priority patent/US10885359B2/en
Publication of JP2018190037A publication Critical patent/JP2018190037A/ja
Application granted granted Critical
Publication of JP6787243B2 publication Critical patent/JP6787243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システムに関する。
従来より、車両の進行方向前方に案内交差点が有る場合に、案内交差点の案内を行う場合に目印とする目印対象物の候補である目印対象物候補を取得し、過去に目印対象物候補が目印対象物に用いられた際における、案内交差点の通過に伴う乗員の該目印対象物候補への視認態様に基づいて、該目印対象物候補の目印としての適正度を判定し、案内交差点にある目印対象物候補の内、適正度が基準値以上の目印対象物候補を目印対象物として用いて案内交差点の案内を行うように構成する走行案内システムがある（例えば、特許文献１参照）。
特開２０１４−１６３８１４号公報
ところで、従来の走行案内システムには、目印対象物候補のデータを効率的に収集する方法についての開示はない。特に収集が不要である交差点における効率的なデータ収集については開示がない。
そこで、交差点において効率的に画像を収集できる画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システムを提供することを目的とする。
本発明の実施の形態の画像送信プログラムは、
車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部とを有する車両に搭載される車載器に実行させる画像送信プログラムであって、
前記車載器に、
交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を交差点に関する画像として取得する画像取得ステップと、
前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信ステップと
を含む処理を実行させる。
このため、照度に基づいて撮像されて取得された画像が取得される。
従って、交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の他の実施の形態の画像送信プログラムでは、
前記画像取得ステップは、交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度が所定の閾値以上の場合、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する処理を含んでもよい。
このため、照度が所定の閾値以上の場合に撮像させた画像が取得される。
従って、照度が所定の閾値以上の場合に撮像させた画像を取得することにより、交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の他の実施の形態の画像送信プログラムでは、
前記画像取得ステップは、交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度が前記所定の閾値未満の場合には、前記撮像部に撮像させた画像から輝度が所定値以上の部分である高輝度部分を含む高輝度部分画像を抽出して前記交差点に関する画像として取得する処理を含んでもよい。
このため、照度が所定の閾値未満の場合には、撮像された画像のうちの高輝度部分画像が抽出される。
従って、照度が所定の閾値未満の場合には、高輝度部分画像を抽出することにより、交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の他の実施の形態の画像送信プログラムでは、
前記照度が前記所定の閾値未満の場合、前記送信ステップは前記交差点に関する画像を取得しないことを表すメッセージを前記通信部に前記センタへ送信させる処理を含んでもよい。
このため、画像が取得されなかったことをメッセージで確認できる。このようなメッセージのデータ容量は画像に比べて非常に小さい。
従って、画像が取得されなかったことを通知しつつ、交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の他の実施の形態の画像送信プログラムでは、
前記画像取得ステップは、前記車両のヘッドライドがオンの場合、取得した前記交差点に関する画像から、前記ヘッドライドの照射範囲を含む部分を抽出した照射範囲画像を抽出して前記交差点に関する画像として取得する処理を含んでもよい。
このため、ヘッドライドがオンのときには、ヘッドライドの照射範囲を含む部分にデータ容量が低減される。
従って、取得した画像のうちのヘッドライドの照射範囲に限ることにより、交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の他の実施の形態の画像送信プログラムでは、
前記送信ステップは、前記車両のヘッドライドがオンのときに、前記高輝度部分画像から地面と地面から所定高さ位置との間の範囲の部分である部分照射範囲画像を表すデータを前記画像データとして前記通信部に前記サーバへ送信させるステップであってもよい。
このため、ヘッドライドがオンのときには、地面と地面から所定高さ位置との間の部分の部分照射範囲画像にデータ容量が低減される。
従って、取得した画像のうちのヘッドライドの部分照射範囲画像に限ることにより、交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の他の実施の形態の画像送信プログラムでは、
前記画像取得ステップは、前記所定距離手前の位置から前記交差点までの間の１又は複数の場所において前記交差点に関する画像を前記撮像部に取得させてもよい。
このため、所定距離手前の位置から交差点までの間における１又は複数の場所で交差点に関する画像が取得される。
従って、所定距離の区間内の１又は複数の交差点において効率的に画像を収集できる画像送信プログラムを提供することができる。
本発明の実施の形態の画像送信方法では、
車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部とを有する車両に搭載される車載器が、
交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得し、
前記通信部に前記取得した画像を表す画像データを前記センタへ送信させてもよい。
このため、照度に基づいて撮像されて取得された画像が取得される。
従って、交差点において効率的に画像を収集できる画像送信方法を提供することができる。
本発明の実施の形態の車載器は、
車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部とを有する車両に搭載される車載器であって、
交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する画像取得部と、
前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信部と、
を含む
このため、照度に基づいて撮像されて取得された画像が取得される。
従って、交差点において効率的に画像を収集できる車載器を提供することができる。
本発明の実施の形態の車両は、
車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部と、車載器とを含む車両であって、
前記車載器は、
交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する画像取得部と、
前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信部と
を含む。
このため、照度に基づいて撮像されて取得された画像が取得される。
従って、交差点において効率的に画像を収集できる車両を提供することができる。
本発明の実施の形態の画像処理システムは、
車両の周囲における照度を検出する照度検出部、車両の周囲を撮影して画像を取得する撮像部、及び、センタと通信を行う通信部を有する車両に搭載される車載器と、前記センタに設置される画像処理装置とを含む画像処理システムであって、
前記車載器は、
交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する画像取得部と、
前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信部と、
を有し、
前記画像処理装置は、
前記画像データを受信する受信制御部と、
前記受信した画像データに基づいて案内情報を構築する構築部と
を有する。
このため、照度に基づいて撮像されて取得された画像が取得される。
従って、交差点において効率的に画像を収集できる画像処理システムを提供することができる。
交差点において効率的に画像を収集できる画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システムを提供することができる。
車両１０とプローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂとを含む経路案内システムの構成を示す図である。 道路、交差点、及びガソリンスタンドの位置関係を示す図である。 撮像制御部１７０が取得する画像の一例を示す図である。 画像送信装置１００に関連するデータを示す図である。 画像送信装置１００が実行する処理を示すフローチャートである。 プローブ保存サーバ５００Ａのプローブ制御部５１２Ａが実行する処理を示すフローチャートである。 プローブ保存サーバ５００Ａの看板案内作成部５１３Ａが実行する処理を示すフローチャートである。
以下、画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システムを適用した実施の形態について説明する。
＜実施の形態＞
図１は、車両１０とプローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂとを含む経路案内システムの構成を示す図である。車両１０には、ナビゲーションＥＣＵ(Electric Control Unit：電子制御装置)１００、カメラ２００、ＤＣＭ(Data Communication Module)３００、ヘッドライトＥＣＵ３５０、及びヘッドライト３５０Ａが搭載される。ナビゲーションＥＣＵ１００、カメラ２００、ＤＣＭ３００、及びヘッドライトＥＣＵ３５０は、一例としてＣＡＮ(Controller Area Network)５０によって互いに通信可能に接続される。ナビゲーションＥＣＵ１００は、ＤＣＭ３００及びネットワーク４００を介してプローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂと無線データ通信が可能である。プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂは、経路案内に必要なセンタ又はデータセンタの一例である。
なお、ここでは車両１０内のネットワークとしてＣＡＮプロトコルによるＣＡＮ５０を用いる形態について説明するが、ＣＡＮ５０の代わりに、Ethernet（登録商標）プロトコルを採用したバス等のＣＡＮ以外のバスを用いてもよい。また、車両１０には、これら以外にも様々な装置や機器が搭載されるが、図１には、本実施の形態に特に関連する構成要素を抜き出して示す。
車両１０は、例えば、ＨＶ(Hybrid Vehicle)車、ＰＨＶ(Plug-in Hybrid Vehicle)車、ＥＶ(Electric Vehicle)車、ガソリン車、又はディーゼル車等である。車両１０にはナビゲーションＥＣＵ１００が搭載される。
ナビゲーションＥＣＵ１００は、車両１０に搭載されるナビゲーションシステムの制御を行う。ナビゲーションＥＣＵ１００は、ここでは、ナビゲーションＥＣＵ１００のうちの画像送信装置に関する部分を中心に説明する。実施の形態の画像送信装置を含む。ここで、実施の形態の画像送信装置は、車載器の一例である。プローブ保存サーバ５００Ａは、画像処理装置の一例である。実施の形態の画像送信装置（車載器）とプローブ保存サーバ５００Ａとは、画像処理システムを構築する。
ナビゲーションＥＣＵ１００は、一例として、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、ＨＤＤ(Hard Disk Drive)、入出力インターフェース、通信インターフェース、及び内部バス等を含むコンピュータによって実現される。
ナビゲーションＥＣＵ１００としてのコンピュータに画像送信装置としての機能を持たせるプログラムは、コンピュータが読み取り可能な記憶媒体を介してコンピュータにインストールされる、又は、インターネット等のネットワーク４００に接続されるモデム等を介して他のコンピュータシステムからダウンロードされてコンピュータにインストールされる。
ナビゲーションＥＣＵ１００は、主制御部１１０、位置検出部１２０、交差点検知部１３０、ルート探索部１４０、照度取得部１５０、取得要否判定部１６０、撮像制御部１７０、通信制御部１８０、及びメモリ１９０を含む。主制御部１１０、位置検出部１２０、交差点検知部１３０、照度取得部１５０、取得要否判定部１６０、撮像制御部１７０、通信制御部１８０は、ナビゲーションＥＣＵ１００が実行するプログラムの機能（ファンクション）を機能ブロックとして表したものである。また、メモリ１９０は、ナビゲーションＥＣＵ１００が含むＲＡＭ、ＲＯＭ、及びＨＤＤのようにデータを格納する部分を機能的に表したものである。また、情報取得部１５０、取得要否判定部１６０、及び撮像制御部１７０は、画像取得部１０１を構成する。
ナビゲーションＥＣＵ１００のうち、少なくとも、照度取得部１５０、取得要否判定部１６０、撮像制御部１７０、通信制御部１８０、及びメモリ１９０は、画像送信装置を構成する。画像送信装置は、さらに、主制御部１１０、位置検出部１２０、又は交差点検知部１３０を含んでもよい。
主制御部１１０は、位置検出部１２０、交差点検知部１３０、照度取得部１５０、取得要否判定部１６０、撮像制御部１７０、通信制御部１８０が行う処理以外の処理を実行し、ナビゲーションＥＣＵ１００の処理を統括する処理部である。
位置検出部１２０は、ＧＰＳ(Global Positioning System)アンテナに接続されており、ＧＰＳ信号から位置データと時刻データを取得する。位置検出部２２によって取得される位置データは、車両１０の現在位置（緯度及び経度）を表すデータであり、時刻データは、現在時刻を表すデータである。位置データ及び時刻データは、制御部２１が行う処理に利用されるとともに、ＣＡＮ６０に出力される。
交差点検知部１３０は、車両の現在位置と地図データ（電子地図）とに基づいて、車両の進行方向にある交差点を検知する。より具体的には、交差点検知部１３０は、ナビゲーションシステムから入手する車両の現在位置を取得し、地図データの中で現在位置を含む道路を表すリンク上において進行方向にあるノードが表す交差点を検知する。
また、交差点検知部１３０は、ナビゲーションシステムから入手する車両の現在位置（緯度及び経度）と、地図データの中で車両が現在走行している道路を表すリンク上において進行方向にあるノードが表す交差点の位置（緯度及び経度）とに基づいて、交差点までの距離を算出する。
ルート探索部１４０は、車両１０の利用者がナビゲーションシステムに入力する目的地等の情報を受け付け、目的地等の情報と車両１０の現在位置を表す位置データをナビゲーションサーバ５００Ｂに送信する。また、ルート探索部１４０は、ナビゲーションサーバ５００Ｂから受信するルート案内のデータを地図データにフィットさせてナビゲーションシステムのディスプレイに表示する。このときに、ルート探索部１４０は、ナビゲーションサーバ５００Ｂから受信する看板案内画像をディスプレイ内の交差点の画像の脇に表示するとともに、「○○交差点を左折です」というような案内表示をディスプレイに表示させる。このように、ナビゲーションサーバ５００Ｂがルートを探索するので、より正確なルートとより正確な到着時刻を案内することができる。
照度取得部１５０は、カメラ２００の照度計（露出計）２００Ａによって検出される現在位置及び車両１０の前方の照度を表すデータを取得する。
取得要否判定部１６０は、照度取得部１５０によって取得される現在位置及び車両１０の前方の照度に基づいて、カメラ２００に交差点の手前の画像の取得要否を判定する。具体的には、取得要否判定部１６０は、検出される照度が閾値Ｔｈ１未満であれば、画像の取得は必要と判定し、検出される照度が閾値Ｔｈ１以上であれば、画像の取得は必要と判定する。閾値Ｔｈ１は、カメラ２００で取得される画像に、所定値以上の輝度の画素が含まれるかどうかを判定基準とする値であり、画像が暗くても何かが写っていることを判別できる最小限の値である。換言すれば、閾値Ｔｈ１は、画像が黒潰れにならない最小限の値である。このような閾値Ｔｈ１は、後述する閾値Ｔｈ２よりも低い値である。閾値Ｔｈ２は、昼間と夜間の照度の境界値である。
このように画像の取得要否を判定するのは、次のような理由による。交差点の手前の画像の取得要否を判定せずにナビゲーションＥＣＵ１００のプローブ交通情報収集機能によって交差点の手前の画像を取得すると、取得する画像の数が膨大となり、ナビゲーションＥＣＵ１００からプローブ保存サーバ５００Ａにアップロードする画像データのデータ容量が膨大になり、プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂに蓄積される画像データの容量も膨大になるからである。このようにアップロードする画像データのデータ容量や、プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂに蓄積される画像データの容量が膨大になることを抑制するために、画像の取得要否を判定する。そして、本実施の形態では、照度が閾値Ｔｈ１未満の場合には、画像を取得しても何も写っていない可能性が高いため、画像を取得しないこととする。
取得要否判定部１６０は、検出される照度が閾値Ｔｈ１未満である場合には、カメラ２００による交差点の手前の画像の取得を不要と判定し、プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂにアップロードする画像を厳選し、アップロードする画像データのデータ容量と、プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂに蓄積される画像データの容量とが膨大になることを抑制する。
撮像制御部１７０は、取得要否判定部１６０によって交差点の手前の画像の取得が必要と判定されると、カメラ２００に撮影を行わせ、交差点の手前の画像を取得する。交差点の手前の画像とは、プローブ交通情報収集機能によって収集されるプローブデータ（車両が実際に走行して得る、位置データ、渋滞の程度、車速、画像等のデータ）のうち、交差点の手前に位置する標識や看板等の画像である。
また、撮像制御部１７０は、照度計２００Ａによって検出される照度が閾値Ｔｈ２未満である場合には、カメラ２００から取得した画像のうち輝度が所定値以上の画素の部分を含む高輝度部分画像を抽出する。
また、撮像制御部１７０は、高輝度部分画像を抽出した場合に、カメラ２００が画像を撮像したときにヘッドライト３５０Ａがオンである場合（点灯している場合）には、カメラ２００の視野の中におけるヘッドライト３５０Ａの照射範囲を表すデータを用いて、高輝度部分画像からヘッドライト３５０Ａが照射されている部分をマスク画像として抽出する。
このため、本実施の形態では、撮像制御部１７０が通信制御部１８０に出力する画像データは、カメラ２００から取得された画像そのもの（抽出等の加工なしの）の画像を表す画像データ、高輝度部分画像を表す画像データ、及び、マスク画像を表す画像データのうちのいずれか１つである。
通信制御部１８０は、撮像制御部１７０によって取得される交差点の手前の画像をＤＣＭ３００にプローブ保存サーバ５００Ａへと送信させる。通信制御部１８０は、送信制御部の一例である。
メモリ１９０は、地図データ、画像送信プログラム、画像送信方法、画像送信プログラム及び画像送信方法の実行に必要なデータ等を格納する。メモリ１９０は、格納部の一例である。
カメラ２００は、車両１０の周囲を撮影して画像を取得する撮像部の一例である。カメラ２００は、照度計２００Ａを有する。カメラ２００は、車両１０の前方の画像を取得できるものであれば、１つであっても複数であってもよい。
ＤＣＭ３００は、車両１０に搭載される通信部又は無線通信装置の一例であり、例えば、３Ｇ、ＬＴＥ、４Ｇ、又は５Ｇ等の通信回線を介して無線通信を行う。ＤＣＭ３００は、これらの通信回線を介してインターネット等のネットワーク４００に接続することができる。これにより、ナビゲーションＥＣＵ１００は、ネットワーク４００を通じたデータ通信を行うことができる。なお、一例として、以下では、ＤＣＭ３００は、４Ｇで無線通信を行うものとする。
ヘッドライトＥＣＵ３５０は、照度計２００Ａから取得する照度に応じて、ヘッドライト３５０Ａの点灯／消灯の制御、ハイビーム／ロービームの制御を行う。照度計２００Ａから取得する照度は、昼間であれば（荒天等でない限り）高く、夜間であれば低い。また、照度計２００Ａから取得する照度は、トンネル内や屋内駐車場のような場所であれば、照明や他車のヘッドライト等による照度になる。
ここでは、ヘッドライトＥＣＵ３５０は、照度計２００Ａから取得する照度に応じてヘッドライト３５０Ａの点灯／消灯の制御、ハイビーム／ロービームの制御を自動的に行う形態について説明するが、自動的に行う機能を有していなくてもよい。この場合には、ヘッドライトＥＣＵ３５０は、車両１０の利用者の操作によって、ヘッドライト３５０Ａの点灯／消灯の切り替えと、ハイビーム／ロービームの切り替えを行う。なお、ヘッドライト３５０Ａは、ＬＥＤ(Light Emitting Diode)を用いたタイプのもの、キセノンヘッドライト、ハロゲンヘッドライト等のあらゆる形式のものであってよい。
プローブ保存サーバ５００Ａは、車両１０のナビゲーションＥＣＵ１００からＤＣＭ３００を介してアップロードされるプローブデータを収集し、保存するサーバである。プローブ保存サーバ５００Ａは、制御部５１０Ａ、通信部５１１Ａ、プローブ制御部５１２Ａ、看板案内作成部５１３Ａを有する。プローブ保存サーバ５００Ａは、走行ＤＢ(Data Base)６００Ａに接続されている。プローブ保存サーバ５００Ａは、画像処理装置の一例である。
制御部５１０Ａは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、入出力インターフェース、通信インターフェース、及び内部バス等を含むコンピュータによって実現される。制御部５１０Ａの通信部５１１Ａ、プローブ制御部５１２Ａ、看板案内作成部５１３Ａは、制御部５１０Ａが実行するプログラムの機能（ファンクション）を機能ブロックとして示したものである。
通信部５１１Ａは、ネットワーク４００に接続する通信インターフェースである。プローブ保存サーバ５００Ａは、通信部５１１Ａを介してネットワーク４００に接続し、車両１０のナビゲーションＥＣＵ１００と無線データ通信を行う。図１には、１台の車両１０を示すが、実際には多数あるため、通信部５１１Ａは、多数の車両１０のナビゲーションＥＣＵ１００と無線データ通信を行う。
プローブ制御部５１２Ａは、車両１０のナビゲーションＥＣＵ１００からアップロードされるプローブデータ（車両１０が実際に走行して得る、位置データ、渋滞の程度、車速、画像等のデータ）を走行ＤＢ６００Ａに保存する。
看板案内作成部５１３Ａは、プローブ制御部５１２Ａによって走行ＤＢ６００Ａに保存されるプローブデータのうち、交差点の手前の画像を画像処理によって認識し、看板案内ＤＢ６００Ｂに保存する。看板案内作成部５１３Ａは、例えば、図４（Ｂ）、（Ｃ）に示すようなデータベースにデータを蓄積する。
また、看板案内作成部５１３Ａは、照度が閾値Ｔｈ２以上のとき（昼間又は昼間のように明るいとき）に取得された画像データを含むデータベースと、照度が閾値Ｔｈ２未満のとき（夜間又は夜間のように暗いとき）に取得された画像データを含むデータベースとを分けて作成する。また、看板案内作成部５１３Ａは、照度が閾値Ｔｈ２未満のとき（夜間又は夜間のように暗いとき）に取得された画像データを含むデータベースにのみ含まれる画像を照度が閾値Ｔｈ２以上のとき（昼間又は昼間のように明るいとき）に取得された画像データを含むデータベースにも保存する。このような看板案内作成部５１３Ａの機能については、図7を用いて後述する。
ナビゲーションサーバ５００Ｂは、車両１０のナビゲーションＥＣＵ１００からの要求に応じてルートの探索と到着予想時刻の演算を行い、探索したルート、到着予想時刻、及び、探索したルートに含まれる交差点の手前の画像のデータを車両１０のナビゲーションＥＣＵ１００に送信するサーバである。
ナビゲーションサーバ５００Ｂは、制御部５１０Ｂ、通信部５１１Ｂ、ルート探索部５１２Ｂ、ルート案内部５１３Ｂを有する。
制御部５１０Ｂは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、入出力インターフェース、通信インターフェース、及び内部バス等を含むコンピュータによって実現される。制御部５１０Ｂの通信部５１１Ｂ、ルート探索部５１２Ｂ、ルート案内部５１３Ｂは、制御部５１０Ｂが実行するプログラムの機能（ファンクション）を機能ブロックとして示したものである。
通信部５１１Ｂは、ネットワーク４００に接続する通信インターフェースである。ナビゲーションサーバ５００Ｂは、通信部５１１Ｂを介してネットワーク４００に接続し、ナビゲーションサーバ５００Ｂと、車両１０のナビゲーションＥＣＵ１００と無線データ通信を行う。図１には、１台の車両１０を示すが、実際には多数あるため、通信部５１１Ｂは、多数の車両１０のナビゲーションＥＣＵ１００と無線データ通信を行う。
ルート探索部５１２Ｂは、車両１０のナビゲーションＥＣＵ１００と通信し、ルート探索部１４０から送信される目的地等の情報と位置データとに基づいて、ルートを探索するとともに到着予想時刻を演算し、探索したルートと演算した到着予想時刻を表すデータを車両１０のナビゲーションＥＣＵ１００に送信する。
また、ルート案内部５１３Ｂは、探索したルートに含まれるノードに関連付けられている交差点の手前の画像のデータを看板案内ＤＢ６００Ｂから読み出し、探索したルートと演算した到着予想時刻を表すデータとともに車両１０のナビゲーションＥＣＵ１００に送信する。
次に、交差点の手前の画像の取得の仕方について説明する。図２は、道路、交差点、及びガソリンスタンドの位置関係を示す図である。図２には、ナビゲーションシステムのディスプレイの表示を簡略化して示す。なお、ここでは一例として、車両１０は左側通行の国又は領域において走行していることとする。
図２において、車両１０は、道路１に沿って矢印で示す方向（図中上方向）に進行している。車両１０の進行方向において、道路１と交差する道路２、３、４がある。道路１と道路２、３、４とは交差点１Ａ、１Ｂ、１Ｃで交差している。道路１、２、３、４は、地図データのリンクによって表され、それぞれ固有のＩＤを有する。また、交差点１Ａ、１Ｂ、１Ｃは、地図データのノードによって表され、それぞれ固有のＩＤを有する。
車両１０の画像送信装置１００は、一例として、交差点の３００ｍ手前に差し掛かると、交差点を表すノードの緯度及び経度と車両１０の現在位置を表す緯度及び経度とに基づいて、交差点までの距離を演算する。交差点の検知と距離の演算は、交差点検知部１３０が行う。なお、ここでは、画像送信装置１００が交差点１Ｂの手前で画像取得の要否を判定する場合について説明するが、交差点１Ａ、１Ｃについても同様である。
図３は、撮像制御部１７０が取得する画像の一例を示す図である。図３（Ａ）には、夜間に道路１を交差点１Ｂに向かって走行する際に取得された画像を示す。図３（Ａ）の画像は、照度が閾値Ｔｈ１未満の場合に取得された画像である。ここでは、説明の便宜上、照度が閾値Ｔｈ１未満の場合に取得された画像を図３（Ａ）に示すが、撮像制御部１７０は、照度が閾値Ｔｈ１未満の場合には画像を取得しないため、図３（Ａ）に示すような暗い画像は取得されないことになる。
また、図３（Ｂ）には、夜間に道路１を交差点１Ｂに向かって走行する際に取得された画像を示す。図３（Ｂ）の画像は、照度が閾値Ｔｈ１以上の場合に取得された画像である。このため、画像の中の右上側には市街地の街灯やネオン等に照射された町並みが写っている。撮像制御部１７０は、例えば、図３（Ｂ）に示すような画像を取得する。なお、図３（Ｂ）に示す画像は、閾値Ｔｈ２未満の状態で取得された画像である。
また、図３（Ｃ）には、図３（Ｂ）に示す画像について、輝度が所定値以上の画素の部分を含む高輝度部分を抽出した高輝度部分画像を示す。高輝度部分画像は、枠１７０Ｃで囲まれた部分であり、枠１７０Ｃの外側を切り取ってもよいし、枠１７０Ｃの外側の画素値をゼロ（黒）にしてもよい。
また、図３（Ｄ）には、図３（Ｃ）に示す高輝度部分画像（枠１７０Ｃの内部の画像）から得たマスク画像を示す。図３（Ｄ）に示すマスク画像は、カメラ２００の視野の中におけるヘッドライト３５０Ａの照射範囲を表すデータを用いて、図３（Ｃ）に示す高輝度部分画像（枠１７０Ｃの内部の画像）のうちヘッドライト３５０Ａの照射範囲に含まれる部分（枠１７０Ｄの内部）をマスク画像として抽出したものである。このようなマスク画像は、照射範囲画像の一例である。枠１７０Ｄの外側を切り取ってもよいし、枠１７０Ｄの外側の画素値をゼロ（黒）にしてもよい。
また、図３（Ｅ）には、図３（Ｃ）に示す高輝度部分画像（枠１７０Ｃの内部の画像）から得た他のマスク画像を示す。図３（Ｅ）に示すマスク画像は、高輝度部分画像（枠１７０Ｃの内部の画像）のうちのカメラ２００の視野の中における地面と地面から所定高さ位置との間の範囲の部分をマスク画像として抽出したものである。このため、図３（Ｅ）に示すマスク画像は、図３（Ｃ）に示す高輝度部分画像（枠１７０Ｃの内部の画像）から所定高さ位置よりも上側を切り取ったものであり、枠１７０Ｅによって囲まれる部分である。このようなマスク画像は、部分照射範囲画像の一例である。枠１７０Ｅの外側を切り取ってもよいし、枠１７０Ｅの外側の画素値をゼロ（黒）にしてもよい。
所定高さ位置とは、地面からの鉛直方向の高さが所定の高さの位置であり、所定の高さは例えば、３ｍである。３ｍに設定するのは、標識や看板が存在する高さとして考えられるからである。地面と地面から所定高さ位置との間の範囲の部分をマスク画像として抽出には、カメラ２００の視野の中における地面と地面から所定高さ位置との間の範囲の部分を表すデータを用いればよい。
図４は、画像送信装置１００に関連するデータを示す図である。図４（Ａ）には、カメラ２００の視野の中におけるヘッドライト３５０Ａの照射範囲を表すデータを示す。図４（Ａ）に示すデータは、画像送信装置１００のメモリ１９０に格納される。図４（Ｂ）、（Ｃ）は、看板案内ＤＢ６００Ｂに格納されるデータベースのデータ構造を示している。
図４（Ａ）に示すヘッドライト３５０Ａの照射範囲を表すデータＧ（Ｓ，Ｔ）は、車両１０のＩＤ（００１）と関連付けられている。データＧ（Ｓ，Ｔ）は、カメラ２００の視野の中におけるヘッドライト３５０Ａの照射範囲を表す。データＧ（Ｓ，Ｔ）は、図３（Ｄ）に示す枠１７０Ｄの範囲を示す。
図４（Ｂ）、（Ｃ）に示すように、看板案内ＤＢ６００Ｂに格納されるデータベースは、交差点ＩＤ、リンクＩＤ、緯度・経度、画像ＩＤ、高輝度部分フラグ、及びマスク画像フラグを関連付けたデータベースである。
交差点ＩＤは、地図データに含まれる交差点（ノード）のＩＤである。リンクＩＤは、地図データに含まれる道路（リンク）のＩＤである。緯度・経度は、各交差点の緯度及び経度を表す。画像ＩＤは、各交差点について取得された画像のＩＤを示す。
高輝度部分フラグは、画像が高輝度部分画像であることを示すフラグであり、高輝度部分画像であれば１に設定され、高輝度部分画像でなければ０に設定される。マスク画像フラグは、画像がマスク画像であることを示すフラグであり、マスク画像であれば１に設定され、マスク画像でなければ０に設定される。
ここで、図４（Ｂ）に示すデータベースは、照度が閾値Ｔｈ２以上のとき（昼間又は昼間のように明るいとき）に取得された画像データを含み、図４（Ｃ）に示すデータベースは、照度が閾値Ｔｈ２未満のとき（夜間又は夜間のように暗いとき）に取得された画像データを含む。
このため、図４（Ｂ）に示す画像ＩＤがＩＭ００１とＩＭ００２の画像は、カメラ２００から取得された画像そのもの（抽出等の加工なし）の画像である。また、図４（Ｃ）に示す画像ＩＤがＩＭ０１１の画像は、高輝度部分画像であり、画像ＩＤがＩＭ０１２の画像は、マスク画像である。このように、照度が閾値Ｔｈ２以上のとき（昼間又は昼間のように明るいとき）に取得された画像データを含むデータベース（図４（Ｂ））と、照度が閾値Ｔｈ２未満のとき（夜間又は夜間のように暗いとき）に取得された画像データを含むデータベース（図４（Ｃ））とは分けられている。
画像送信装置１００によって画像の取得が必要と判定された結果、取得された画像を表す画像データは、プローブデータの一部としてメモリ１９０に格納され、プローブ保存サーバ５００Ａにアップロードされ、ナビゲーションサーバ５００Ｂに蓄積される。
図５は、画像送信装置１００が実行する処理を示すフローチャートである。図５に示すフローチャートは、本実施の形態の画像送信プログラム及び画像送信方法の処理を表す。
主制御部１１０は、一例として、イグニッションスイッチがオンにされると、処理を開始する（スタート）。
位置検出部１２０は、車両１０の現在位置を取得する（ステップＳ１）。
主制御部１１０は、車両１０の現在位置を含むリンク（道路）のデータを取得する（ステップＳ２）。
交差点検知部１３０は、車両１０の進行方向にある交差点に接近しているかどうかを判定する（ステップＳ３）。接近しているかどうかは、地図データから進行方向にある交差点（ノード）の位置（緯度、経度）を取得し、車両１０の現在位置から交差点までの距離を演算し、現在位置から交差点までの距離が３００ｍ以下であるかどうかを判定することによって行われる。
取得要否判定部１６０は、交差点検知部１３０によって交差点に接近している（Ｓ３：ＹＥＳ）と判定されると、照度取得部１５０から取得する照度が閾値Ｔｈ１以上であるかどうかを判定する（ステップＳ４）。
取得要否判定部１６０は、照度が閾値Ｔｈ１以上ではない（Ｓ４：ＮＯ）と判定すると、画像の取得は不要と判定する（ステップＳ５）。主制御部１１０は、ステップＳ５の処理が終了すると、フローをステップＳ１にリターンする。これにより、照度が閾値Ｔｈ１未満の場合には画像が取得されなくなり、プローブ保存サーバ５００Ａにアップロードするデータ量を抑制することができる。なお、ここでは、ステップＳ５のように判定する処理を設けているが、ステップＳ５の処理を行わずにフローをステップＳ１にリターンするようにしてもよい。
一方、取得要否判定部１６０は、照度が閾値Ｔｈ１以上である（Ｓ４：ＹＥＳ）と判定すると、画像の取得は必要と判定し、撮像制御部１７０に画像を取得させる（ステップＳ６）。これにより、カメラ２００が車両１０の前方を撮影する。
次いで、撮像制御部１７０は、照度取得部１５０から取得する照度が閾値Ｔｈ２未満であるかどうかを判定する（ステップＳ７）。閾値Ｔｈ２は、昼間と夜間の照度の境界値である。また、ステップＳ７では、撮像制御部１７０は、ステップＳ６で取得された画像（元画像）に、１に設定した高輝度部分画像フラグと、０に設定したマスク画像フラグとを添付する。
撮像制御部１７０は、照度が閾値Ｔｈ２未満である（Ｓ７：ＹＥＳ）と判定すると、ステップＳ６で取得された画像（元画像）から輝度が所定値以上の画素の部分を含む高輝度部分画像を抽出する（ステップＳ８）。
ステップＳ８では、撮像制御部１７０は、元画像に添付された高輝度部分画像フラグを１に書き換える。これにより、ステップＳ８で生成される高輝度部分画像には、１に設定された高輝度部分画像フラグと０に設定されたマスク画像フラグとが添付される。
次いで、撮像制御部１７０は、ヘッドライト３５０Ａがオンかどうかを判定する（ステップＳ９）。マスク画像を作成するかどうかを判定するためである。
撮像制御部１７０は、ヘッドライト３５０Ａがオンである（Ｓ９：ＹＥＳ）と判定すると、ステップＳ８で抽出された高輝度部分画像からマスク画像を抽出する（ステップＳ１０）。なお、マスク画像は、一例として、図３（Ｄ）に示すヘッドライト３５０Ａの照射範囲に含まれるマスク画像である。ステップＳ１０では、撮像制御部１７０は、高輝度部分画像からマスク画像を抽出する際に、高輝度部分画像に添付された高輝度部分画像フラグを０に書き換えるとともに、高輝度部分画像に添付されたマスク画像フラグを１に書き換える。これにより、ステップＳ１０で生成されるマスク画像には、０に設定した高輝度部分画像フラグと１に設定したマスク画像フラグとが添付される。
主制御部１１０は、通信制御部１８０に画像をプローブ保存サーバ５００Ａにアップロードさせる（ステップＳ１１）。ステップＳ１１の処理では、画像とともに、画像以外のプローブデータもプローブ保存サーバ５００Ａにアップロードされる。これにより、プローブ保存サーバ５００Ａは、画像送信装置１００からプローブデータを受信する。
主制御部１１０は、処理を終了するかどうかを判定する（ステップＳ１２）。処理を終了するとは、例えば、イグニッションスイッチがオフにされたときである。処理を終了しない場合には、主制御部１１０は、フローをステップＳ１にリターンする。以上のような処理を繰り返し実行することにより、撮像制御部１７０によって交差点の３００ｍ手前から複数の画像データが取得される。
なお、ステップＳ３で交差点検知部１３０によって交差点に接近していない（Ｓ３：ＮＯ）と判定されると、主制御部１１０は、フローをステップＳ１にリターンする。
また、ステップＳ７において、撮像制御部１７０によって照度が閾値Ｔｈ２未満ではない（Ｓ７：ＮＯ）と判定されると、主制御部１１０は、フローをステップＳ１１に進行させる。この場合は、ステップＳ６で取得された画像そのものを表す画像データがステップＳ１１においてプローブ保存サーバ５００Ａにアップロードされる。この画像データには、０に設定した高輝度部分画像フラグと０に設定したマスク画像フラグとが添付される。
また、ステップＳ９において、撮像制御部１７０によってヘッドライト３５０Ａがオンではない（Ｓ９：ＮＯ）と判定されると、主制御部１１０は、フローをステップＳ１１に進行させる。この場合は、ステップＳ８で取得された高輝度部分画像を表す画像データがステップＳ１１においてプローブ保存サーバ５００Ａにアップロードされる。
また、ステップＳ５で画像を取得不要と判定した後に、画像を取得しなかったことを表すメッセージ（例えば、「照度が足りなかったため画像を取得できませんでした」というようなテキストのメッセージ）を生成し、ステップＳ１１でプローブ保存サーバ５００Ａにアップロードさせてもよい。
また、ここでは、図３（Ｄ）に示すヘッドライト３５０Ａの照射範囲に含まれるマスク画像を作成する処理について説明したが、図３（Ｅ）に示すカメラ２００の視野の中における地面と地面から所定高さ位置との間の範囲のマスク画像であってもよい。この場合には、図４（Ａ）に示すカメラ２００の視野の中におけるヘッドライト３５０Ａの照射範囲を表すデータの代わりに、カメラ２００の視野の中における地面と地面から所定高さ位置との間の範囲表すデータを用いればよい。
図６は、プローブ保存サーバ５００Ａのプローブ制御部５１２Ａが実行する処理を示すフローチャートである。プローブ制御部５１２Ａは、処理を開始（スタート）すると、プローブデータを画像送信装置１００から受信したかどうかを判定する（ステップＳ９１）。
プローブ制御部５１２Ａは、プローブデータを受信した（Ｓ９１：ＹＥＳ）と判定すると、プローブデータを走行ＤＢ６００Ａに保存する（ステップＳ９２）。なお、プローブ制御部５１２Ａは、プローブデータを受信していない（Ｓ９１：ＮＯ）と判定すると、ステップＳ９１の処理を繰り返し実行する。以上で制御周期の１周期分の処理が終了する（エンド）。プローブ制御部５１２Ａは、スタートからエンドまでの処理を所定の制御周期で繰り返し実行する。
図７は、プローブ保存サーバ５００Ａの看板案内作成部５１３Ａが実行する処理を示すフローチャートである。看板案内作成部５１３Ａは、処理を開始（スタート）すると、走行ＤＢ６００Ａにプローブデータが追加されたかどうかを判定する（ステップＳ１０１）。
看板案内作成部５１３Ａは、プローブデータが追加された（Ｓ１０１：ＹＥＳ）と判定すると、追加されたデータに高輝度部分画像又はマスク画像が含まれるかどうかを判定する（ステップＳ１０２）。高輝度部分画像又はマスク画像が含まれるかどうかは、プローブデータに含まれる画像データに添付される高輝度部分画像フラグ又はマスク画像フラグが１であるかどうかで判定すればよい。
看板案内作成部５１３Ａは、高輝度部分画像又はマスク画像が含まれる（Ｓ１０２：ＹＥＳ）と判定すると、追加されたプローブデータに含まれる高輝度部分画像又はマスク画像に対して看板の画像認識を行う（ステップＳ１０３）。看板の画像認識は、画像送信装置１００から送信された画像データに対して、文字や数字等が含まれているかどうかの認知処理（画像処理）を行う処理である。ステップＳ１０３では、夜間のように暗い状態で取得された画像に基づく高輝度部分画像又はマスク画像に対して画像認識が行われる。
看板案内作成部５１３Ａは、ステップＳ１０３の処理において、看板が含まれている画像があるかどうかを判定する（ステップＳ１０４）。
看板案内作成部５１３Ａは、看板が含まれている画像がある（Ｓ１０４：ＹＥＳ）と判定すると、当該画像の画像データを交差点ＩＤ、リンクＩＤ、緯度・経度、画像ＩＤ、高輝度部分画像フラグ、及びマスク画像フラグとともに看板案内ＤＢ６００Ｂに保存する（ステップＳ１０６）。これにより、図４（Ｃ）に示すデータベースに新たなデータが追加される。
次いで、看板案内作成部５１３Ａは、ステップＳ１０６で看板案内ＤＢ６００Ｂに登録した画像が高輝度部分画像又はマスク画像である場合に、交差点ＩＤとリンクＩＤが等しい元画像が看板案内ＤＢ６００Ｂの図４（Ｂ）に示すデータベースに存在するかどうかを判定する（ステップＳ１０７）。
ステップＳ１０７の処理は、ステップＳ１０６で高輝度部分画像又はマスク画像を看板案内ＤＢ６００Ｂに登録した後に、高輝度部分画像又はマスク画像に含まれる看板と同じ看板が、元画像についての図４（Ｂ）に示すデータベースに存在するかどうかを判定するステップである。
換言すれば、ステップＳ１０７の処理は、夜間のように暗い状況で見つかった看板と同じ看板が元画像の看板についての図４（Ｂ）のデータベースに存在しない場合は、夜間に目立つ自発光式の看板である可能性があるため、自発光式の看板のように暗い状況で目立つ看板を見つけるステップである。
看板案内作成部５１３Ａは、ステップＳ１０７で存在する（Ｓ１０７：ＹＥＳ）と判定すると、ステップＳ１０６で看板案内ＤＢ６００Ｂの図４（Ｃ）に示すデータベースに登録した高輝度部分画像又はマスク画像を図４（Ｂ）に示すデータベースに登録する（ステップＳ１０８）。
これにより、自発光式の看板のように暗い状況で目立つ看板を含む高輝度部分画像又はマスク画像が元画像についての図４（Ｂ）に示すデータベースに登録される。このため、昼間のように明るい状況で走行する車両１０に、自発光式の看板のように暗い状況で目立つ看板の案内を追加することができる。
看板案内作成部５１３Ａは、ステップＳ１０８の処理を終えると、制御周期の１周期分の処理が終了する（エンド）。看板案内作成部５１３Ａは、スタートからエンドまでの処理を所定の制御周期で繰り返し実行する。
一方、ステップＳ１０２において、看板案内作成部５１３Ａは、高輝度部分画像又はマスク画像が含まれない（Ｓ１０２：ＮＯ）と判定すると、追加されたプローブデータに含まれ画像に対して看板の画像認識を行う（ステップＳ１０５）。ステップＳ１０５では、昼間のように明るい状態で取得された元画像に対して画像認識が行われる。ステップＳ１０５の処理を終えると、フローをステップＳ１０４に進行する。
また、ステップＳ１０５で元画像に対して画像認識を行った後にステップＳ１０４で看板が含まれている画像がある（Ｓ１０４：ＹＥＳ）と判定すると、看板案内作成部５１３Ａは、ステップＳ１６で当該元画像を図４（Ｂ）に示すデータベースに登録する。そして、看板案内作成部５１３Ａは、続くステップＳ１０７ではＮＯと判定する。高輝度部分画像又はマスク画像ではないからである。
また、看板案内作成部５１３Ａは、ステップＳ１０４で看板が含まれている画像がない（Ｓ１０４：ＮＯ）と判定した場合は、制御周期の１周期分の処理が終了する（エンド）。
以上、実施の形態によれば、車両１０の進行方向における交差点の手前で照度が閾値Ｔｈ１未満である場合には、画像を取得不要と判定する。このため、照度が不十分な状況では画像の取得を抑制するため、アップロードする画像データのデータ容量や、プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂに蓄積される画像データの容量が膨大になることを抑制することができる。
従って、交差点において効率的に画像を収集できる画像送信プログラム、及び、画像送信装置１００を提供することができる。
また、交差点の手前で照度が閾値Ｔｈ１以上である場合に画像を取得し、照度が昼間と夜間の照度の境界値である閾値Ｔｈ２未満である場合（夜間のように暗い場合）には、元画像のうちの高輝度部分画像又はマスク画像にデータ容量を低減した上でアップロードするので、アップロードする画像データのデータ容量や、プローブ保存サーバ５００Ａ及びナビゲーションサーバ５００Ｂに蓄積される画像データの容量が膨大になることを抑制することができる。
従って、夜間のように暗い状況で取得された画像のデータ容量を低減してアップロードすることにより、交差点において効率的に画像を収集できる画像送信プログラム、及び、画像送信装置１００を提供することができる。
また、自発光式の看板のように暗い状況で目立つ看板を含む高輝度部分画像又はマスク画像を元画像についての図４（Ｂ）に示すデータベースに登録するため、昼間のように明るい状況で走行する車両１０に、自発光式の看板のように暗い状況で目立つ看板の案内を追加することができ、車両１０の走行における安全性をより向上させることができる。
なお、以上では、ルート探索部１４０が、ナビゲーションサーバ５００Ｂから受信する看板案内画像をナビゲーションシステムのディスプレイ内の交差点の画像の脇に表示させる形態について説明したが、看板案内画像を表示させる代わりに、あるいは、看板案内画像を表示することに加えて、次のことを行ってもよい。ナビゲーションサーバ５００Ｂが、看板案内画像に対して画像処理及び／又は文字認識処理を行うことにより、看板案内画像が表す施設名等を識別し、識別した施設名等をディスプレイに表示してもよいし、音声案内で施設名を読み上げるようにしてもよい。
以上、本発明の例示的な実施の形態の画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システムについて説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
１０ 車両
１００ 画像送信装置
１０１ 画像取得部
１１０ 主制御部
１２０ 位置検出部
１３０ 交差点検知部
１４０ ルート探索部
１５０ 照度取得部
１６０ 取得要否判定部
１７０ 撮像制御部
１８０ 通信制御部
１９０ メモリ
２００ カメラ
２００Ａ 照度計
３００ ＤＣＭ
４００ ネットワーク
５００Ａ プローブ保存サーバ
５１０Ａ 制御部
５１１Ａ 通信部
５１２Ａ プローブ制御部
５１３Ａ 看板案内作成部
５００Ｂ ナビゲーションサーバ
５１０Ｂ 制御部
５１１Ｂ 通信部
５１２Ｂ ルート探索部
５１３Ｂ ルート案内部
６００Ａ 走行ＤＢ
６００Ｂ 看板案内ＤＢ

Claims (11)

  1. 車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部とを有する車両に搭載される車載器に実行させる画像送信プログラムであって、
    前記車載器に、
    交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を交差点に関する画像として取得する画像取得ステップと、
    前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信ステップと
    を含む処理を実行させる、画像送信プログラム。
  2. 前記画像取得ステップは、交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度が所定の閾値以上の場合、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する処理を含む、
    請求項１記載の画像送信プログラム。
  3. 前記画像取得ステップは、交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度が前記所定の閾値未満の場合には、前記撮像部に撮像させた画像から輝度が所定値以上の部分である高輝度部分を含む高輝度部分画像を抽出して前記交差点に関する画像として取得する処理を含む、
    請求項２記載の画像送信プログラム。
  4. 前記照度が前記所定の閾値未満の場合、前記送信ステップは前記交差点に関する画像を取得しないことを表すメッセージを前記通信部に前記センタへ送信させる処理を含む、
    請求項２又は３記載の画像送信プログラム。
  5. 前記画像取得ステップは、前記車両のヘッドライドがオンの場合、取得した前記交差点に関する画像から、前記ヘッドライドの照射範囲を含む部分を抽出した照射範囲画像を抽出して前記交差点に関する画像として取得する処理を含む、
    請求項１ないし４のいずれか1項記載の画像送信プログラム。
  6. 前記画像取得ステップは、前記車両のヘッドライドがオンの場合、取得した前記交差点に関する画像から、地面と地面から所定高さ位置との間の範囲の部分である部分照射範囲画像を抽出して前記交差点に関する画像データとして取得する処理を含む、
    請求項１ないし５のいずれか1項記載の画像送信プログラム。
  7. 前記画像取得ステップは、前記所定距離手前の位置から前記交差点までの間の１又は複数の場所において前記交差点に関する画像を前記撮像部に取得させる、
    請求項１ないし６のいずれか1項記載の画像送信プログラム。
  8. 車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部とを有する車両に搭載される車載器が、
    交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得し、
    前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる、
    画像送信方法。
  9. 車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部とを有する車両に搭載される車載器であって、
    交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する画像取得部と、
    前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信部と、
    を含む、車載器。
  10. 車両の周囲における照度を検出する照度検出部と、車両の周囲を撮影して画像を取得する撮像部と、センタと通信を行う通信部と、車載器とを含む車両であって、
    前記車載器は、
    交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する画像取得部と、
    前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信部と
    を含む、車両。
  11. 車両の周囲における照度を検出する照度検出部、車両の周囲を撮影して画像を取得する撮像部、及び、センタと通信を行う通信部を有する車両に搭載される車載器と、前記センタに設置される画像処理装置とを含む画像処理システムであって、
    前記車載器は、
    交差点の所定距離手前の位置において前記照度検出部によって検出される車両の周囲における照度に基づいて、前記撮像部に撮像させた画像を前記交差点に関する画像として取得する画像取得部と、
    前記通信部に前記取得した画像を表す画像データを前記センタへ送信させる送信部と、
    を有し、
    前記画像処理装置は、
    前記画像データを受信する受信制御部と、
    前記受信した画像データに基づいて案内情報を構築する構築部と
    を有する、画像処理システム。
JP2017089695A 2017-04-28 2017-04-28 画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム Active JP6787243B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017089695A JP6787243B2 (ja) 2017-04-28 2017-04-28 画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム
US15/964,920 US10885359B2 (en) 2017-04-28 2018-04-27 Non-transitory storage medium storing image transmission program, image transmission method, in-vehicle device, vehicle, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017089695A JP6787243B2 (ja) 2017-04-28 2017-04-28 画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム

Publications (2)

Publication Number Publication Date
JP2018190037A JP2018190037A (ja) 2018-11-29
JP6787243B2 true JP6787243B2 (ja) 2020-11-18

Family

ID=63917318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017089695A Active JP6787243B2 (ja) 2017-04-28 2017-04-28 画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム

Country Status (2)

Country Link
US (1) US10885359B2 (ja)
JP (1) JP6787243B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6704890B2 (ja) * 2017-11-08 2020-06-03 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10691957B2 (en) * 2018-02-12 2020-06-23 ITS Plus, Inc. Method for increasing the accuracy of traffic cameras using optical masking technology
US11280625B2 (en) * 2018-09-07 2022-03-22 Waymo Llc Ambient lighting conditions for autonomous vehicles
JPWO2023286810A1 (ja) * 2021-07-16 2023-01-19
KR102471542B1 (ko) * 2022-01-04 2022-11-28 재단법인 서울특별시 서울기술연구원 Cctv 개방정보를 이용한 야간 도로 안개감지 시스템 및 그 감지 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
JP4773080B2 (ja) * 2004-12-17 2011-09-14 株式会社デンソー 視認力向上支援装置
JP2006228004A (ja) * 2005-02-18 2006-08-31 Fuji Photo Film Co Ltd 運転支援システム
JP2008262467A (ja) * 2007-04-13 2008-10-30 Honda Motor Co Ltd 運転支援装置
JP2012032284A (ja) * 2010-07-30 2012-02-16 Hitachi Automotive Systems Ltd ナビゲーションシステム
JP5747549B2 (ja) * 2011-02-18 2015-07-15 株式会社豊田中央研究所 信号機検出装置及びプログラム
JP5564524B2 (ja) * 2012-03-19 2014-07-30 ヤマハ発動機株式会社 リーン姿勢で旋回する車両用のサブヘッドライトユニット及びサブヘッドライトシステム、並びにリーン姿勢で旋回する車両
JP5910241B2 (ja) * 2012-03-29 2016-04-27 富士通株式会社 映像抽出装置、方法及びプログラム
JP2014024411A (ja) * 2012-07-25 2014-02-06 Denso Corp 自発光光源検出装置、ライト制御装置、および自発光光源検出プログラム
JP2014163814A (ja) 2013-02-26 2014-09-08 Aisin Aw Co Ltd 走行案内システム、走行案内方法及びコンピュータプログラム
JP5971619B2 (ja) * 2013-03-27 2016-08-17 アイシン・エィ・ダブリュ株式会社 経路案内装置、及び経路案内プログラム
KR20180072983A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 디스플레이 장치 및 방법
US10691968B2 (en) * 2018-02-08 2020-06-23 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image

Also Published As

Publication number Publication date
US20180314902A1 (en) 2018-11-01
US10885359B2 (en) 2021-01-05
JP2018190037A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6787243B2 (ja) 画像送信プログラム、画像送信方法、車載器、車両、及び画像処理システム
DK180774B1 (en) Automatic annotation of environmental features in a map during navigation of a vehicle
CN112639918B (zh) 地图系统、车辆侧装置、方法和存储介质
JP6794918B2 (ja) 画像送信プログラム、及び、画像送信装置
CN109073404A (zh) 用于基于地标和实时图像生成导航方向的系统和方法
JP6456838B2 (ja) ストリートデバイスの稼働状態の監視
CN110085055A (zh) 用于车辆自高估计的车辆间合作
CA2704638A1 (en) Method and system for the use of probe data from multiple vehicles to detect real world changes for use in updating a map
CN103287339A (zh) 停车支援系统
JP7409257B2 (ja) 信号機認識装置、信号機認識方法、車両制御装置
JP6819448B2 (ja) 画像送信プログラム、及び、画像送信装置
JP2015535106A5 (ja)
US11774258B2 (en) Server apparatus and information processing method for providing vehicle travel guidance that is generated based on an image of a specific point
KR20090090049A (ko) 실시간 교통정보 서비스 장치 및 그 방법
CN111323041B (zh) 信息处理系统、存储介质和信息处理方法
JP2007322283A (ja) 描画システム
JP7484716B2 (ja) 情報提供装置、情報提供方法、情報提供システムおよびコンピュータプログラム
WO2022070426A1 (ja) 情報処理装置、画像送信システム、及び情報処理方法
JP2020173600A (ja) 経路予測装置、それを備えた車載装置、経路予測システム、経路予測方法、及びコンピュータプログラム
JP7347502B2 (ja) 渋滞情報提供装置、渋滞情報処理方法及びプログラム
CN115843348A (zh) 用于提供信息以支持超车动作的车辆控制系统和方法
LT6815B (lt) Vykimo į darbą ir atgal miesto maršruto atpažinimo būdas ir įrenginys
KR102496824B1 (ko) 항공 촬영 영상을 이용한 지도 정보 구축 방법
JP2024051501A (ja) 情報処理装置
JP2018204975A (ja) 経路案内装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R151 Written notification of patent or utility model registration

Ref document number: 6787243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151