JP6596736B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6596736B2
JP6596736B2 JP2016066683A JP2016066683A JP6596736B2 JP 6596736 B2 JP6596736 B2 JP 6596736B2 JP 2016066683 A JP2016066683 A JP 2016066683A JP 2016066683 A JP2016066683 A JP 2016066683A JP 6596736 B2 JP6596736 B2 JP 6596736B2
Authority
JP
Japan
Prior art keywords
image processing
vehicle
processing apparatus
signal source
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016066683A
Other languages
English (en)
Other versions
JP2017183940A (ja
Inventor
千秋 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016066683A priority Critical patent/JP6596736B2/ja
Priority to US15/459,663 priority patent/US10284795B2/en
Publication of JP2017183940A publication Critical patent/JP2017183940A/ja
Application granted granted Critical
Publication of JP6596736B2 publication Critical patent/JP6596736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
従来、光を用いた光通信システムが提案されている。光通信システムでは、送信装置はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：発光ダイオード）等の発光素子を備え、強度変調された光を発光素子によって発することによって情報を送信する。受信装置は、フォトダイオードを備え、送信装置によって発せられた光を受光し復調することによって情報を受信する。具体的には、受信装置は、強度変調された光によって構成される搬送波の１周期の間に、フォトダイオードにおける光電変換によって生じた電荷を複数回読み出すことによって、強度変調に応じた復調を行う。
光通信システムにおける受光装置においては、撮像部で撮像された撮像領域のうち、全画角を撮像するモードから１つの部分的な領域を撮像するモードに撮像モードを切り換えて、１つの部分的な領域において情報を送信している光源の位置を特定し、光源から送信される情報を所得する装置がある（例えば、特許文献１を参照）。
特開２０１０−１３０４３８号公報
しかしながら、全画角を撮像するモードから１つの部分的な領域を撮像するモードに撮像モードを切り換える従来の装置においては、１つの部分的な領域を撮像するモードに撮像モードに切替った後には、全画角において撮像される他の光源の位置を特定して情報を取得することが困難であったり、複数の光源を同時に追跡することが必要になる場合があった。
本発明は、上記の問題点に鑑みてなされたものであって、動的に数や位置や優先度等が変わる複数の信号元から送信される情報を取得する、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
（１）上記目的を達成するため、本発明の一態様に係る画像処理装置は、撮像部の領域のスキャン頻度を制御する制御部と、前記撮像部において撮像された撮像画像を解析する解析部とを備える画像処理装置であって、前記解析部は、前記撮像画像を解析して、信号元から送信された光信号を検出し、検出した光信号に含まれる情報に基づき、前記信号元の属性を識別し、前記撮像画像における前記信号元を含む領域を前記スキャン頻度が異なる領域に設定し、前記制御部は、前記撮像画像に設定される領域毎に前記撮像部のスキャン頻度を制御する。
（２）また、本発明の一態様に係る画像処理装置において、前記制御部は、前記撮像画像に設定される第１の領域を第１の頻度でスキャンし、前記撮像画像に設定される第２の領域を第２の頻度でスキャンし、さらに、前記信号元を含む第３の領域を、識別された前記信号元の属性に基づく第３の頻度でスキャンする。
（３）また、本発明の一態様に係る画像処理装置において、前記制御部は、前記第１の領域を前記撮像画像の上方に設定する。
（４）また、本発明の一態様に係る画像処理装置において、前記制御部は、前記第２の領域を前記第３の領域が出現する可能性の高い領域に設定する。
（５）また、本発明の一態様に係る画像処理装置において、前記解析部は、前記信号元の属性に基づき優先度を算出し、算出した前記優先度に基づき前記第３の頻度を設定する。
（６）また、本発明の一態様に係る画像処理装置において、前記解析部は、前記撮像画像を解析して前記撮像画像に含まれる第４の領域を識別し、識別した前記信号元の属性が第１の属性であるときに、前記第３の領域が前記第４の領域にあるか否かを判断し、前記制御部は、前記第３の領域が前記第４の領域にあると判断されたときの前記第３の頻度を前記第３の領域が前記第４の領域にないと判断されたときの前記第３の頻度より高頻度とする。
（７）また、本発明の一態様に係る画像処理装置において、前記解析部は、前記撮像画像を解析して、複数の信号元から送信された光信号を検出し、前記撮像画像において複数の第３の領域に設定し、前記制御部は、前記複数の第３の領域のそれぞれが前記第４の領域にないと判断されたときに、前記第３の頻度を、前記複数の第３の領域の前記撮像画像におけるそれぞれの位置に応じて変更する。
（８）また、本発明の一態様に係る画像処理装置において、前記解析部は、自車両が走行する道路上の車線と同じ車線を前記第４の領域として識別して、前記第１の属性が他車両であるときに、前記他車両の信号元を含む第３の領域が自車両と同じ車線を走行しているか否かを判断する。
（９）また、本発明の一態様に係る画像処理装置において、前記解析部は、識別した前記信号元の属性が第２の属性であるときに、検出した光信号に含まれる座標情報に基づき、自車両の位置を算出する。
（１０）また、本発明の一態様に係る画像処理装置において、前記信号元の属性は、信号元がインフラであるか又は車両であるか、並びに自車両に対する信号元の位置の情報である。
（１１）上記目的を達成するため、本発明の一態様に係る画像処理方法は、撮像部の領域のスキャン頻度を制御する制御ステップと、前記撮像部において撮像された撮像画像を解析する解析ステップとを含む画像処理方法であって、前記解析ステップにおいて、前記撮像画像を解析して、信号元から送信された光信号を検出し、検出した光信号に含まれる情報に基づき、前記信号元の属性を識別し、前記撮像画像における前記信号元を含む領域を前記スキャン頻度が異なる領域に設定し、前記制御ステップにおいて、前記撮像画像に設定される領域毎に前記撮像部のスキャン頻度を制御する。
（１２）上記目的を達成するため、本発明の一態様に係る画像処理プログラムは、撮像部の領域のスキャン頻度を制御する制御処理と、前記撮像部において撮像された撮像画像を解析する解析処理とをコンピュータに実行させるための画像処理プログラムであって、前記解析処理において、前記撮像画像を解析して、信号元から送信された光信号を検出し、検出した光信号に含まれる情報に基づき、前記信号元の属性を識別し、前記撮像画像における前記信号元を含む領域を前記スキャン頻度が異なる領域に設定し、前記制御処理において、前記撮像画像に設定される領域毎に前記撮像部のスキャン頻度を制御する。
上述した（１）〜（１２）の構成によれば、動的に数や位置や優先度等が変わる複数の信号元から送信される情報を取得する、画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
上述した（２）の構成によれば、第１の領域と第２の領域を異なる頻度でスキャンするので、動的に数が変わる信号元から送信された光信号を検出しやすくなる。
上述した（３）の構成によれば、信号元に応じた頻度で撮像画像をスキャンすることが可能となる。すなわち、撮像画像の上方で撮像される街灯や信号機（交通信号機）等、固定された信号元を第１の頻度でスキャンすることができるとともに、撮像画像の上方で撮像されにくい他車両等の移動する信号元を、第１の頻度でスキャンしないようにすることができる。これにより、本実施形態における画像処理装置をＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）に適用したときに好適な信号元のスキャンを実施することができる。
上述した（４）の構成によれば、出現する信号元の検出をしやすくなる。
上述した（５）又は（１０）の構成によれば、信号元の属性に応じて優先度を算出することにより、信号元に適したスキャン頻度とすることができる。
上述した（６）の構成によれば、第４の領域にある信号元の情報を高精度で取得することができるとともに、第４の領域以外にある信号元に適した精度で情報を取得することが可能となる。例えば、第４の領域を自車両に対する影響が大きい領域に設定することにより、自車両に対する影響が大きい他車両の情報を高精度に取得することができるとともに、自車両に対する影響が小さい他車両の情報を適切な精度で取得することが可能となる。
上述した（７）の構成によれば、第４の領域以外にある信号元について、信号元の位置に応じた精度で情報を取得することが可能となる。例えば、自車両に対する影響が小さい他車両においても、他車両の位置に適した精度で情報を取得することが可能となる。
上述した（８）の構成によれば、自車両と同じ車線で走行している前方車両等の情報を高精度に取得することができる。
上述した（９）の構成によれば、自車両の位置を正確に算出することが可能となる。
実施形態に係る画像処理システムの構成の一例を示すブロック図である。 実施形態に係る画像処理装置を有する自車両の構成の一例を示すブロック図である。 実施形態に係る撮像部の構成の一例を示す図である。 実施形態に係る撮像画像に設定される領域とスキャン動作の一例を示す図である。 実施形態に係る撮像画像に設定される領域と信号元の属性の一例を示す図である。 実施形態に係る画像処理の一例を示すフローチャートである。 実施形態に係る画像処理における属性判定及び登録処理の一例を示すフローチャートである。 実施形態に係る画像処理におけるＲＯＩ設定処理の一例を示すフローチャートである。 実施形態に係る画像処理における先行車両のＲＯＩ設定処理の一例を示すフローチャートである。 実施形態に係る画像処理におけるインフラのＲＯＩ設定処理の一例を示すフローチャートである。 実施形態に係る画像処理における左周辺車両のＲＯＩ設定処理の一例を示すフローチャートである。 実施形態に係る画像処理における右周辺車両のＲＯＩ設定処理の一例を示すフローチャートである。 実施形態に係る画像処理におけるＲＯＩ更新処理の一例を示すフローチャートである。 実施形態に係る画像処理におけるＲＯＩの優先度更新処理の一例を示すフローチャートである。 実施形態に係る画像処理におけるインフラのＲＯＩの優先度計算処理の一例を示すフローチャートである。 実施形態に係る画像処理における先行車両のＲＯＩの優先度計算処理の一例を示すフローチャートである。 実施形態に係る画像処理における左周辺車両のＲＯＩの優先度計算処理の一例を示すフローチャートである。 実施形態に係る画像処理における右周辺車両のＲＯＩの優先度計算処理の一例を示すフローチャートである。 実施形態に係る画像処理におけるインフラ処理の一例を示すフローチャートである。 実施形態に係る画像処理における車両処理の一例を示すフローチャートである。 実施形態に係る画像処理に用いるインフラリスト項目の一例を示す図である。 実施形態に係る画像処理に用いる車両リスト項目の一例を示す図である。 図２１におけるインフラリストの一例を示す図である。 実施形態に係る画像処理におけるスキャン頻度の設定の一例を示す図である。 実施形態に係る画像処理におけるスキャン頻度の設定の他の一例を示す図である。 本実施形態に係る２つの車両間の相互通信を示す図である。
以下、図面を参照して本発明の一実施形態における画像処理装置、画像処理方法及び画像処理プログラムを説明する。
先ず、図１を用いて、画像処理システムの概略を説明する。図１は、実施形態に係る画像処理システムの構成の一例を示すブロック図である。
図１において、画像処理システムは、画像処理装置を有する自車両１を含む。自車両１は、四輪車両（以下、「四輪」と略す。）、鞍乗型二輪車両（以下、「二輪」と略す。）、軽車両等の車両であるが、歩行者やヒューマノイドロボットなどの移動体を含んでもよい。自車両１は、他の車両（他車両）と光信号を用いた光通信を行う。図１は、他車両２として、四輪の他車両２Ａと二輪の他車両２Ｂの２台を例示しているが他車両２の数はこれに限定されるものではない。図１に図示する自車両１と他車両２Ａ又は他車両２Ｂの間の矢印は、光信号の送信方向を示している。自車両１は、他車両２Ａ又は他車両２Ｂと送信及び受信の双方向にて光通信を行うことができるものとする。光信号には、光源の識別情報（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）が含まれる。光信号には、光源の種別、光源の移動速度、光源の位置、光源の進行方向、光源の状態等の情報を含めることができる。本実施形態において、車両等が有して移動する光源（信号元）は「車両」として説明する。光源が車両である場合における光源の種別は、例えば四輪、二輪、軽車両等である。また、光源の移動速度は車両の速度（車速）である。また、光源の位置は車両の位置であり、光源の進行方向は車両の進行方向である。また、光源の状態は、車両の運動状態（停止、加速、減速、定速、車線変更等）である。自車両１と他車両２Ａ又は他車両２Ｂは、光信号の情報を送受信することにより、お互いの位置関係、相対速度等を把握することが可能となる。
自車両１は、街灯３Ａ、街灯３Ｂ、及び信号機４から光信号を受信する。図１は、街灯として街灯３Ａ及び街灯３Ｂの２機、信号機として信号機４の１機を例示しているが、街灯及び信号機の数はこれに限定されるものではない。本実施形態では、街灯又は信号機等、位置が固定された光源を「インフラ」と言う。インフラが送信する光信号には、光源のＩＤが含まれる。また、光信号には、インフラの種別（街灯、信号機、標識等）、インフラの座標（経度、緯度、高度等）、インフラの状態（信号機の点灯状態（青、黄、赤、点灯又は点滅、停止中等））等の情報を含めることができる。自車両１は、インフラが送信する光信号を受信することにより、走行中に上記のような情報を取得することが可能となる。
なお、図１においては、自車両１は、他車両２との光通信においては双方向の通信を行い、インフラとの光通信においてはインフラからの単方向の通信（受信）を行う場合を示したが、自車両１が行う光通信の通信方向はこれに限定されるものでない。例えば、自車両１は、他車両２が軽車両である場合には、軽車両からの単方向の光通信（受信）を行うものであってもよい。また、自車両１は、インフラとの光通信において双方向の通信を行うものであってもよい。また、自車両１は、複数の変調を用いた多重化した光通信を行うものであってもよい。
自車両１は、データサーバ９と通信を行う。データサーバ９は、例えば、光源の識別情報と、光源の種別、光源の位置等を対応付けた情報を保存するものであり、固定されているとは限らず、自車両や他車両等の移動体に存在することもある。データサーバ９は、自車両１に対して、保存した情報を通信によって提供することが出来るものとする。例えば、自車両１は、光源から取得した光源の識別情報に基づき、識別情報に対応した光源の種別、光源の位置等の情報をデータサーバ９から取得するようにしてもよい。自車両１とデータサーバ９と通信は、例えば、携帯電話の基地局を介した通信、無線ＬＡＮアクセスポイントを介した通信、光通信を介した通信等の通信方式とすることができる。自車両１は、データサーバ９との通信を行うことにより、インフラや車両から取得する情報に対応した情報をデータサーバ９から取得することができるので、光源から取得する光通信のデータを短くすることができ、光通信の処理の負荷を軽減することが可能となる。
次に、図２を用いて、図１で説明した自車両１の詳細を説明する。図２は、実施形態に係る画像処理装置を有する自車両１の構成の一例を示すブロック図である。
図２において、自車両１は、画像処理装置１０、発振器１１は、撮像部１２、復調器１３、復号器１４、符号器１５、変調器１６、投光部１７、記憶部１８、表示部１９、操作部２０、及び通信部２１の機能を有する。画像処理装置１０は、解析部１０１、制御部１０２の機能を有する。画像処理装置１０の上記各機能は、ハードウェアで実現する機能モジュールである。
発振器１１は、画像処理装置１０、復調器１３及び変調器１６で用いるクロック信号を生成し、生成したクロック信号を画像処理装置１０、復調器１３及び変調器１６に出力する。
撮像部１２は、自車両１に固定されて、自車両１の進行方向を撮像する装置である。撮像部１２は、焦点方向を自車両１の前後左右方向に対して所定の立体角で固定するものとする。撮像部１２は、図示しないレンズが集光した所定の画角の光に基づき撮像画像を生成する。撮像部１２は、後述するように複数の画素を二次元に配列した構造を有する。撮像部１２は、画素が受光した光に応じた電荷を発生させて蓄積し、所定のタイミングで蓄積した電荷を復調器１３へ出力することにより撮像画像を生成する。また、撮像部１２は、受光する光の波長に合わせた撮像素子を用いたり、画像を取り込む周期に合わせて複数のレンズ、フィルター、撮像素子等を配置したり、立体視による距離計測ができるように配置したり、異なる解像度の撮像素子を組み合わせて使用したりしてもよい。
復調器１３は、撮像部１２から取得した撮像画像の受信信号に対して、信号元において変調した変調方式に応じた復調を行い、復調した受信信号を復号器１４に出力する。光通信において送信側は、符号化した所定の情報を変調して光パルスとし送信する。受信側は、送信側が送信した光パルスを受信して、復調及び復号して所定の情報を取得する。光通信において、送信側において用いる変調方式は、例えば、２π／３−ＤＢＰＳＫ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｂｉｎａｒｙ Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）等の方式である。
復号器１４は、復調器１３が復調した撮像画像の受信信号を復号し、復号した受信信号を画像処理装置１０に出力する。
画像処理装置１０は、復調器１３及び復号器１４を介して、撮像部１２が撮像した撮像画像を取得する。画像処理装置１０は、解析部１０１及び制御部１０２を有する。
解析部１０１は、撮像部１２が撮像し、復調器１３が復調処理し、さらに復号器１４が復号処理した撮像画像を解析する。解析部１０１は、撮像画像を解析し、信号元が送信した光信号を検出する。解析部１０１は、検出した光信号に基づき、光信号に含まれる信号元の情報を読み出す。解析部１０１は、読み出した信号元の情報から信号元の属性を取得して識別する。信号元の属性とは、例えば、信号元がインフラであるか又は車両であるか、並びに自車両に対する信号元の位置の情報である。信号元の属性は、光源のＩＤ、光源の種別、光源の移動速度、光源の位置、光源の進行方向、光源の状態等の情報であってもよい。
信号元が車両の場合、信号元の属性は、例えば、自車両に対する車両の位置の情報である。車両の位置の情報とは、例えば、車両が自車両に対する先行車両であるか、左周辺車両であるか、又は右周辺車両であるかの情報である。信号元が車両である場合、信号元の属性は、車両の種別、車速、車両の位置、進行方向、運動状態等の情報であってもよい。
また、信号元がインフラの場合、信号元の属性は、自車両に対するインフラの位置の情報である、インフラの位置の情報とは、例えば、自車両からインフラまでの距離の情報である。信号元がインフラの場合、信号元の属性は、インフラの種別、インフラの座標、インフラの状態等であってもよい。
解析部１０１は、信号元の属性に応じて優先度を算出して、算出した優先度に基づきＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ；関心領域）を設定する。本実施形態におけるＲＯＩとは、追跡する信号元を含む撮像画像における領域であり、上述したインフラ又は車両の信号元を含む領域である。本実施形態においてＲＯＩは、「第３の領域」として図５を用いて後述する。なお、優先度の算出方法及び優先度に基づくＲＯＩの設定方法の詳細は、図８〜図１８、図２４及び図２５を用いて後述する。
また、解析部１０１は、撮像部１２が撮像した撮像画像に基づき、車線を検出する。車線の検出は、撮像画像に含まれる白線（又は黄色線）、アスファルト、路側帯等を認識することによって行うことができる。解析部１０１は、片側１車線以下の道路の場合、走行車線を認識する。解析部１０１は、片側２車線以上の道路の場合、走行車線と他の車線を認識する。なお、白線の検出は、例えば、特開平１１−２１９４３５号公報に記載されているように、撮像画像を明度レベルで２値化して白線の境界を検出し、検出した境界に基づく形状が所定の形状であるか否かを判断することにより行うことができる。
制御部１０２は、撮像部１２の領域のスキャン頻度を制御する。制御部１０２は、撮像部１２が撮像する撮像画像が有する第１の領域を第１の頻度でスキャンする。第１の領域とは、後述する第２の領域において撮像部１２が最初に検出する（出現する）街灯や信号機等、位置が固定されたインフラの光源を追跡して検出する可能性が高い領域であって、本実施形態においては、第１の領域を撮像画像の上方に設定する。上述の通り、撮像部１２は自車両１において自車両１の前方を撮像する。自車両１の前方を撮像した場合、撮像部１２は、街灯や信号機等のインフラの信号元を第２の領域で最初に検出する。しかし、自車両１が自車両１より高い位置にあるインフラに接近した場合、インフラに対する仰角（後述）が大きくなるため、撮像部１２は、インフラを第１の領域で撮像することとなる。また、第１の頻度とは、第２の頻度より低頻度であるものとする。本実施形態におけるスキャンの頻度とは、所定の時間内に実行するスキャンの回数である。スキャン頻度の詳細は図５を用いて後述する。
また、制御部１０２は、撮像部１２が撮像した撮像画像が有する第２の領域を第２の頻度でスキャンする。第２の領域とは、撮像部１２が他車両２等移動する車両の光源又は遠くのインフラの光源を最初に検出する（第３の領域が出現する）可能性が高い領域である。第２の頻度を第１の頻度より高くすることにより、信号元の検出及び追跡が容易になる。
また、制御部１０２は、第３の領域を第３の頻度でスキャンする。第３の領域は、ＲＯＩを含む領域であり、撮像部１２が撮像した撮像画像における、インフラの信号元又は車両の信号元を含む領域である。制御部１０２は、解析部１０１が算出した優先順位に基づく頻度において第３の領域を部分的にスキャンして追尾する。第３の領域のスキャンは、信号元の位置に基づき、その周辺を部分的にスキャンするようにしてもよい。例えば、解析部１０１が最後に検出した信号元の位置に対して、解析部１０１が予測する移動位置を部分的スキャンする。信号元がインフラである場合、解析部１０１は、自車両１の進行方向及び速度に対して第３の領域が所定の方向に移動すると予測することができる。具体的には、解析部１０１は、インフラの第３の領域が撮像画像の中心から離れる方向に移動することを予想することができる。制御部１０２は、解析部１０１が予測した第３の領域を部分的にスキャンすることによって、撮像画像の全画面をスキャンする場合に比べて、スキャン頻度の向上とスキャンした撮像画像の処理の負荷の低減を図ることができる。なお、第３の領域の部分的なスキャンは、制御部１０２が、図３で説明したい垂直走査回路１２２と水平走査回路１２３を入力部１２５及び入力部１２６から制御することによって行うことができる。但し、第３の領域の部分的なスキャンは、撮像画像を一旦記憶部１８等に記憶しておき、記憶した撮像画像の当該部分のみを解析部１０１が読み出して行うようにしてもよい。
記憶部１８は、インフラの信号元のリストであるインフラリスト、車両の信号元のリストである車両リスト、優先度に基づくスキャン頻度を設定するためのテーブル等を記憶する。記憶部１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等によって実現することができる。記憶部１８は、画像処理装置１０の図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が読み出すプログラムやデータを記憶して、画像処理装置１０の機能を実現してもよい。記憶部１８は、例えば、画像処理装置１０の解析部１０１及び制御部１０２の機能を実現するプログラムをＣＰＵから実行可能に記憶することができる。
表示部１９は、自車両１が装備するディスプレイ、ランプ等の表示装置である。表示部１９は、信号元に含まれる情報等に基づく表示をしてもよい。また、表示部１９は、画像処理装置１０における設定を表示するものであってもよい。
操作部２０は、自車両１が装備する、スイッチ、ジョイスティック等の操作装置である。操作部２０は、画像処理装置１０における設定を入力するものであってもよい。
通信部２１は、データサーバ９との通信を行う。通信部２１は、例えば無線通信のプロトコルに基づきデータサーバ９との通信回線を確立して、データサーバ９に対して情報を送信し、データサーバ９から情報を取得する。
なお、図２においては、画像処理装置１０が有する、解析部１０１及び制御部の各機能がソフトウェアによって実現する場合を説明した。しかし、画像処理装置１０が有する上記１つ以上の機能は、ソフトウェアによって実現するものであってもよいものとする。また、画像処理装置１０が有する上記各機能は、１つの機能を複数の機能に分割して実施してもよい。また、画像処理装置１０が有する上記各機能は、２つ以上の機能を１つの機能に集約して実施してもよい。
次に、図３を用いて、撮像部１２の構成を説明する。図３は、実施形態に係る撮像部の構成の一例を示す図である。
図３において、撮像部１２は、複数の画素１２１、垂直走査回路１２２、水平走査回路１２３、読み出し回路１２４を備える。画素１２１の配置は、所定の画面解像度（例えば、６４０×４８０、１２８０×７２０等）における二次元マトリックス状である。画素１２１は、レンズを通過した光を受けて電荷を生成し蓄積する。各画素１２１が蓄積した電荷に応じた電圧レベルは、垂直走査回路１２２及び水平走査回路１２３による制御に応じて、読み出し回路１２４が読み出す。読み出し回路１２４は、読み出した電圧レベルを復調器１３に対して出力部１２７から出力する。垂直走査回路１２２は、入力部１２５を有する。水平走査回路１２３は、入力部１２６を有する。制御部１０２は、入力部１２５に対して垂直走査用の制御信号を出力し、入力部１２６に対して水平走査用の制御信号を出力する。制御部１０２は、垂直走査用の制御信号と水平走査用の制御信号によって、撮像部１２が撮像する撮像画像のスキャン範囲を指定することが可能となる。
次に、図４を用いて、制御部１０２が制御する、撮像画像に対する領域の設定とスキャン動作について説明する。図４は、実施形態に係る撮像画像に設定する領域とスキャン動作の一例を示す図である。
図４において、撮像部１２が撮像した撮像画像５００は、第１の領域５０１、第２の領域５０２、及び第１の領域５０３を含む。第１の領域５０１及び第１の領域５０３は、撮像部１２が第１の頻度でスキャンを実行する領域である。第２の領域５０２は、撮像部１２が第２の頻度でスキャンを実行する領域である。図４において、紙面に対して横方向をｘ軸方向、ｘ軸に対して垂直な方向をｙ軸方向とする。また、図４において、撮像画像５００は、図３で説明した撮像部１２の全ての画素１２１をｘ軸方向及びｙ軸方向に並べて示した画像である。
［第１の領域のスキャン］
図４において、第１の領域５０１の左上に図示する矩形の領域は、第１の領域５０１における読出領域５１１である。読出領域５１１は、光源からの光信号を検出する（探索する）領域である。読出領域５１１は、図３で説明した画素の配列によって撮像部１２が読み取る領域であり、例えば画素数が６×６の領域である。制御部１０２は、第１の領域５０１の図４図示左上の位置を読出し開始位置として、矢印で示す方向に読出領域５１１を移動させて第１の領域５０１をスキャンする。制御部１０２は、読出領域５１１が第１の領域５０１の右下まで移動すると、読出領域５１１を第１の領域５０３の左上に移動させて、第１の領域５０３をスキャンする。制御部１０２は、読出領域５１１が第１の領域５０３の右下まで移動すると、読出領域５１１を第１の領域５０１の左上に再び移動させて、第１の領域５０１をスキャンする。
［第２の領域のスキャン］
第２の領域５０２の左上に図示する矩形の領域は、第２の領域５０２における読出領域５１２である。制御部１０２は、第２の領域５０２の図４図示左上の位置を読出し開始位置として、矢印で示す方向に読出領域５１２を移動させて第２の領域５０２をスキャンする。制御部１０２は、読出領域５１２が第２の領域５０２の右下まで移動すると、読出領域５１２を第２の領域５０２の左上に再び移動させて、第２の領域５０２をスキャンする。
ここで、第１の領域のスキャンの頻度は、第１の領域の読出領域５１１が移動する距離と読出領域５１１の移動速度（クロック周波数）によって求めることができる。同様に、第２の領域のスキャンの頻度は、第２の領域の読出領域５１２が移動する距離と読出領域５１２の移動速度によって求めることができる。本実施形態においては、読出領域５１１の移動速度と読出領域５１２の移動速度は同じであるとする。従って、第１の領域のスキャンの頻度（第１の頻度）と第２の領域のスキャンの頻度（第２の頻度）は、読出領域５１１が移動する第１の領域の距離と読出領域５１２が移動する第２の領域の距離に応じて決定することになる。すなわち、第２の領域を第１の領域より狭くすることにより、第２の領域のスキャンの頻度を第１の領域に比べて高くすることが可能となる。
なお、本実施形態においては、読出領域５１１の移動速度と読出領域５１２の移動速度は同じであるものとして説明したいが、制御部１０２は、読出領域５１２の移動速度を読出領域５１１の移動速度より速くすることにより、第２の領域のスキャンの頻度を第１の領域に比べて高くしてもよい。読出領域５１１の移動速度を速く方法としては、例えば、第２の領域のＲＯＩのサイズを大きくして一回の移動量を大きくしたり、スキャンするときの発振器１１のクロック周波数を上げることにより実現することができる。
なお、本実施形態においては、第１の領域と第２の領域とを、撮像画像の上下３段で区分する場合を示したが、第１の領域と第２の領域の区分方法はこれに限定されるものではない。例えば、自車両１からの距離によって第１の領域と第２の領域を区分するようにしてもよい。また、自車両１の前方のみならず、自車両１の側方又は後方において領域を設定するものであってもよい。また、第１の領域と第２の領域を撮像画像の上下方向に区分する代わりに、左右方向に区分してもよい。
次に、図５を用いて、撮像画像５００に設定する領域と信号元の属性について説明する。図５は、実施形態に係る撮像画像に設定する領域と信号元の属性の一例を示す図である。
図５において、撮像画像５００は、図４と同様に、第１の領域５０１、第２の領域５０２、及び第１の領域５０３を含む。
図５に図示するＷＬ１及びＷＬ２は、解析部１０１が認識した、自車両１が走行する車線を示す道路上の白線（黄線）の位置を示している。ＷＬ１及びＷＬ２は、例えば、白線又は黄線における、実線又は破線である。解析部１０１は、ＷＬ１及びＷＬ２の間を、自車両１が走行する走行車線として認識する。本実施形態においては、ＷＬ１及びＷＬ２の間の領域を「第４の領域」とする。
撮像画像５００の、２Ｌ１、２Ｌ２、２Ｌ３、２Ｃ１、２Ｒ１及び２Ｒ２は、解析部１０１が検出した他車両２の信号元を含む第３の領域を示している。他車両２の中で、２Ｃ１は、上記第４の領域にある、すなわち自車両１と同じ車線にある他車両２、すなわち先行車両の属性を示す。また、２Ｌ１、２Ｌ２及び２Ｌ３は、第４の領域になく、左側車線にある他車両２、すなわち左周辺車両の属性を示す。また、２Ｒ１及び２Ｒ２は、第４の領域になく、右側車線にある他車両２、すなわち右周辺車両の属性を示す。各車線にある他車両２については、自車両１からの距離において近い順番に１から番号を付している。例えば、２Ｌ１は、左側車線において一番近くに解析部１０１が検出した車両の信号元の属性を示す。同様に、左側車線において、２Ｌ２は２番目の車両の属性、２Ｌ３は３番目の車両の属性を示す。走行する他車両２においては、自車両１に近い程、加減速、車線変更等の運動状態によって自車両１に対する影響が大きい。従って、属性が２Ｌ１の光源は、属性が２Ｌ２の光源に比べて運動状態を頻繁に確認する必要がある追跡対象である。また、自車線（第４の領域）にある属性が２Ｃの他車両２は、属性が２Ｌ又は２Ｒである他の車線にある他車両２に比べて、加減速、車線変更等の運動状態による影響が大きいために運動状態を頻繁に確認する必要がある追跡対象である。
なお、本実施形態においては、第４の領域を自車線に設定する場合を説明したが、第４の領域の設定はこれに限定されるものではない。例えば、解析部１０１は、第４の領域を自車両１からの距離において設定するようにしてもよい。第４の領域を自車両１からの距離において設定した場合の属性は、例えば自車両１からの距離によって定められるものであってもよい。
撮像画像５００の、３１、３２、３３及び３４は、解析部１０１が検出したインフラの１種別である街灯の信号元を含む第３の領域を示している。また、４１は、解析部１０１が検出したインフラの１種別である信号機の信号元を含む第３の領域を示している。解析部１０１は、３１、３２、３３、３４及び４１を第１の検出領域で検出している。
次に、図６及び図７を用いて、画像処理の動作について説明する。図６は、実施形態に係る画像処理の動作の一例を示すフローチャートである。図７は、実施形態に係る画像処理における属性判定及び登録処理の一例を示すフローチャートである。なお、図６〜図２０のフローチャートに示す動作は、画像処理装置１０が実行するものとする。
図６において、画像処理装置１０は、読出し領域をスキャンする（ステップＳ１１）。読出し領域は、第１の領域又は第２の領域である。ステップＳ１１を実行した後、画像処理装置１０は、位相検出を実行する（ステップＳ１２）。画像処理装置１０は、変調器が位相を変調した光信号がスキャンした領域に存在するか否かを検出する。ステップＳ１２の処理を実行した後、画像処理装置１０は、光信号が検出したか否かを判断する（ステップＳ１３）。
光信号を検出したと判断した場合（ステップＳ１３：ＹＥＳ）、画像処理装置１０は、光信号に含まれる情報を取得する（ステップＳ１４）。ステップＳ１４の処理を実行した後、画像処理装置１０は、信号元の属性を判定し、判定した属性を登録する判定登録処理を行う（ステップＳ１５）。ステップＳ１５の属性判定処理については、図７を用いて後述するする。
ステップＳ１３の処理において、光信号を検出していないと判断した場合（ステップＳ：ＮＯ）、又はステップＳ１５の処理を実行した後、画像処理装置１０は、読出し領域を移動する（ステップＳ１６）。読出し領域の移動は、図４で説明した通り、撮像画像５００を横方向に順次スキャンすることによって実行することができる。
次に、図７を用いて、図６のステップＳ１５の属性判定処理について説明する。図７において、画像処理装置１０は、光信号から取得した属性に基づき、信号元がインフラであるか否かを判断する（ステップＳ１５１）。信号元がインフラであると判断した場合（ステップＳ１５１：ＹＥＳ）、画像処理装置１０は、インフラの優先度を計算する（ステップＳ１５２）。優先度の計算方法については、図１５を用いて後述する。ステップＳ１５２の処理実行した後、画像処理装置１０は、インフラリストに信号元（光源）を登録する（ステップＳ１５３）。なお、インフラリストの詳細は、図２１を用いて後述する。一方、信号元がインフラでないと判断した場合（ステップＳ１５１：ＮＯ）、画像処理装置１０は、信号元が先行車両（先行車という場合がある）であるか否かを判断する（ステップＳ１５４）。信号元が先行車両であるか否かの判断は、先行車両の第３の領域が第４の領域に含まれているか否かによって判断したり、データサーバに問い合わせることで先行車両の属する車線から判断することができる。信号元が先行車両であると判断した場合（ステップＳ１５４：ＹＥＳ）、画像処理装置１０は、先行車両の優先度を計算する（ステップＳ１５５）。ステップＳ１５５の処理実行した後、画像処理装置１０は、車両リストに先行車両として信号元（光源）を登録する（ステップＳ１５６）。車両リストの詳細は、図２２を用いて後述する。車両リストには、先行車両リスト、左周辺車両リスト及び右周辺車両リストを含む。
一方、信号元が先行車両でないと判断した場合（ステップＳ１５４：ＮＯ）、画像処理装置１０は、信号元が左車線の左周辺車両であるか否かを判断する（ステップＳ１５７）。信号元が左周辺車両であると判断した場合（ステップＳ１５７：ＹＥＳ）、画像処理装置１０は、左周辺車両の優先度を計算する（ステップＳ１５８）。ステップＳ１５８の処理実行した後、画像処理装置１０は、車両リストに左周辺車両として信号元を登録する（ステップＳ１５９）。一方、信号元が左周辺車両でないと判断した場合（ステップＳ１５７：ＮＯ）、画像処理装置１０は、右周辺車両の優先度を計算する（ステップＳ１６０）。ステップＳ１６０の処理実行した後、画像処理装置１０は、車両リストに右周辺車両として信号元を登録する（ステップＳ１６１）。
ステップＳ１５３、ステップＳ１５６、ステップＳ１５９又はステップＳ１６１の処理を実行した後、画像処理装置１０は、図７のフローチャートにおける処理を終了する。
次に、図８〜図１２を用いて、ＲＯＩの設定処理について説明する。図８は、実施形態に係る画像処理におけるＲＯＩ設定処理の一例を示すフローチャートである。図９は、実施形態に係る画像処理における先行車両のＲＯＩ設定処理の一例を示すフローチャートである。図１０は、実施形態に係る画像処理におけるインフラのＲＯＩ設定処理の一例を示すフローチャートである。図１１は、実施形態に係る画像処理における左周辺車両のＲＯＩ設定処理の一例を示すフローチャートである。図１２は、実施形態に係る画像処理における右周辺車両のＲＯＩ設定処理の一例を示すフローチャートである。なお、図８〜図１２に示すＲＯＩの設定処理は、図６〜図７における処理と非同期に行うことができる。すなわち、本実施形態においては、信号元の登録処理とＲＯＩの設定処理はそれぞれ独立に行うものとする。
図８において、画像処理装置１０は、先行車両用のＲＯＩを設定する（ステップＳ２１）。ステップＳ２１の処理を実行した後、画像処理装置１０は、インフラ用のＲＯＩを設定する（ステップＳ２２）。ステップＳ２２の処理を実行した後、画像処理装置１０は、左周辺車両用のＲＯＩを設定する（ステップＳ２３）。ステップＳ２３の処理を実行した後、画像処理装置１０は、右周辺車両用のＲＯＩを設定する（ステップＳ２４）。ステップＳ２４の処理を実行した後、画像処理装置１０は、ステップＳ２１の処理に戻り、ステップＳ２１〜ステップＳ２４の処理を繰り返して実行する。
図９は、図８のステップＳ２１における先行車両用のＲＯＩを設定する処理のサブルーチンである。図９において、画像処理装置１０は、先行車両リストを読み出す（ステップＳ２１１）。ステップＳ２１１の処理を実行した後、画像処理装置１０は、先行車両リストにＲＯＩの候補があるか否かを判断する（ステップＳ２１２）。先行車両リストにＲＯＩの候補がないと判断した場合（ステップＳ２１２：ＮＯ）、画像処理装置１０は、ステップＳ２１の処理を終了する。
一方、先行車両リストにＲＯＩの候補があると判断した場合（ステップＳ２１２：ＹＥＳ）、画像処理装置１０は、ＲＯＩに空きがあるか否かを判断する（ステップＳ２１３）。画像処理装置１０においては、ＲＯＩとして一度にスキャンする（読み出す）信号元の最大数を予め設定しておくことができる。ＲＯＩに空きがあるか否かの判断は、検出した信号元の数が設定可能な最大値に達しているか否かによって判断することができる。ＲＯＩに空きがあると判断した場合（ステップＳ２１３：ＹＥＳ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定して（ステップＳ２１４）、ステップＳ２１の処理を終了する。一方、ＲＯＩに空きがないと判断した場合（ステップＳ２１３：ＮＯ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定しないで、ステップＳ２１の処理を終了する。
図１０は、図８のステップＳ２２におけるインフラ用のＲＯＩを設定する処理のサブルーチンである。図１０において、画像処理装置１０は、インフラリストを読み出す（ステップＳ２２１）。ステップＳ２２１の処理を実行した後、画像処理装置１０は、インフラリストにＲＯＩの候補があるか否かを判断する（ステップＳ２２２）。インフラリストにＲＯＩの候補がないと判断した場合（ステップＳ２２２：ＮＯ）、画像処理装置１０は、ステップＳ２２の処理を終了する。
一方、インフラリストにＲＯＩの候補があると判断した場合（ステップＳ２２２：ＹＥＳ）、画像処理装置１０は、ＲＯＩに空きがあるか否かを判断する（ステップＳ２２３）。ＲＯＩに空きがあると判断した場合（ステップＳ２２３：ＹＥＳ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定して（ステップＳ２２４）、ステップＳ２２の処理を終了する。一方、ＲＯＩに空きがないと判断した場合（ステップＳ２２３：ＮＯ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定しないで、ステップＳ２２の処理を終了する。
図１１は、図８のステップＳ２３における左周辺車両用のＲＯＩを設定する処理のサブルーチンである。図１１において、画像処理装置１０は、左周辺車両リストを読み出す（ステップＳ２３１）。ステップＳ２３１の処理を実行した後、画像処理装置１０は、左周辺車両リストにＲＯＩの候補があるか否かを判断する（ステップＳ２３２）。左周辺車両リストにＲＯＩの候補がないと判断した場合（ステップＳ２３２：ＮＯ）、画像処理装置１０は、ステップＳ２３の処理を終了する。
一方、左周辺車両リストにＲＯＩの候補があると判断した場合（ステップＳ２３２：ＹＥＳ）、画像処理装置１０は、ＲＯＩに空きがあるか否かを判断する（ステップＳ２３３）。ＲＯＩに空きがあると判断した場合（ステップＳ２３３：ＹＥＳ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定して（ステップＳ２３４）、ステップＳ２３の処理を終了する。一方、ＲＯＩに空きがないと判断した場合（ステップＳ２３３：ＮＯ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定しないで、ステップＳ２３の処理を終了する。
図１２は、図８のステップＳ２４における右周辺車両用のＲＯＩを設定する処理のサブルーチンである。図１２において、画像処理装置１０は、右周辺車両リストを読み出す（ステップＳ２４１）。ステップＳ２４１の処理を実行した後、画像処理装置１０は、右周辺車両リストにＲＯＩの候補があるか否かを判断する（ステップＳ２４２）。右周辺車両リストにＲＯＩの候補がないと判断した場合（ステップＳ２４２：ＮＯ）、画像処理装置１０は、ステップＳ２４の処理を終了する。
一方、右周辺車両リストにＲＯＩの候補があると判断した場合（ステップＳ２４２：ＹＥＳ）、画像処理装置１０は、ＲＯＩに空きがあるか否かを判断する（ステップＳ２４３）。ＲＯＩに空きがあると判断した場合（ステップＳ２４３：ＹＥＳ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定して（ステップＳ２４４）、ステップＳ２４の処理を終了する。一方、ＲＯＩに空きがないと判断した場合（ステップＳ２４３：ＮＯ）、画像処理装置１０は、リストから読み出したＲＯＩの候補をＲＯＩに設定しないで、ステップＳ２４の処理を終了する。
なお、図８〜図１２においては、先行車両、インフラ、左周辺車両及び右周辺車両毎に所定の最大値までＲＯＩを設定する場合を説明したがＲＯＩの設定方法はこれに限定されるものではない。例えば、先行車両、インフラ、左周辺車両及び右周辺車両の全ての車両及びインフラにおいて優先順位を設けて、優先順位に基づきＲＯＩを選択できるようにしてもよい。
次に、図１３を用いて、図８〜図１２において設定したＲＯＩの更新処理を説明する。図１３は、実施形態に係る画像処理におけるＲＯＩ更新処理の一例を示すフローチャートである。図１３において、画像処理装置１０は、検出した信号元に対して優先度を更新してＲＯＩの設定を更新する。画像処理装置１０は、ＲＯＩを更新するときに、信号元をスキャンして（読み出して）、信号元が追跡できなくなったり、一定回数信号を読み出したときにＲＯＩとしての信号元を未使用とする。なお、図１３に示すＲＯＩの更新処理は、図６〜図７における処理又は図８〜図１２におけるＲＯＩの設定処理と非同期に行うことができる。すなわち、本実施形態においては、信号元の登録処理、ＲＯＩの設定処理、及びＲＯＩの更新処理はそれぞれ独立に行うものとする。
図１３において、ステップＳ３１〜ステップＳ３３の処理は、図６におけるステップＳ１１〜ステップＳ１３の処理と同様であるので説明を省略する。光信号を検出したと判断した場合（ステップＳ３３：ＹＥＳ）、画像処理装置１０は、光信号に含まれる情報を解読する（ステップＳ３４）。光信号に含まれる情報の解読は、例えば、ノイズ等によって情報が正しく取得しないときに失敗する。ステップＳ３４の処理を実行した後、画像処理装置１０は、解読が正しくできたか否かを判断する（ステップＳ３５）。解読が正しくできて解読した回数が所定の回数以下であると判断した場合（ステップＳ３５：ＹＥＳ）、画像処理装置１０は、位置を変更する（ステップＳ３６）。位置の変更は図５で説明した撮像画面上のＲＯＩの位置を変更する処理である。ステップＳ３６の処理を実行した後、画像処理装置１０は、ステップＳ３７の優先度更新処理を実行して（ステップＳ３７）、ステップＳ３１の処理に戻る。優先度更新処理の詳細は、図１４を用いて後述する。
一方、ステップＳ３３の処理において、光信号を検出しなかったと判断した場合（ステップＳ３３：ＮＯ）、画像処理装置１０は、光信号を連続して検出できず、途絶えたか否かを判断する（ステップＳ３８）。光信号が途絶えていないと判断した場合（ステップＳ３８：ＮＯ）、画像処理装置１０は、ステップＳ３１の処理に戻る。
一方、光信号が途絶えたと判断した場合（ステップＳ３８：ＹＥＳ）、又は、ステップＳ３５の処理において解読回数が所定の回数を超えていたり解読が正しく出来ないと判断した場合（ステップＳ３５：ＮＯ）、画像処理装置１０は、ＲＯＩを未使用にする（ステップＳ３９）。ＲＯＩを未使用にすることにより、検出できなくなった信号元を検出できなかった回数や相対距離によってリストから削除することが可能となる。ステップＳ３９の処理を実行した後、画像処理装置１０は、図１３のフローチャートで示したＲＯＩの更新処理を終了する。すなわち、画像処理装置１０は、検出した全ての信号元について、未使用となるまで図１３のＲＯＩの更新処理を繰り返すことになる。
次に、図１４を用いて、図１３のステップＳ３７におけるＲＯＩの優先度更新処理を説明する。図１４は、実施形態に係る画像処理におけるＲＯＩの優先度更新処理の一例を示すフローチャートである。
図１４において、画像処理装置１０は、光信号から取得した属性に基づき、信号元がインフラであるか否かを判断する（ステップＳ３７１）。信号元の属性がインフラであると判断した場合（ステップＳ１７１：ＹＥＳ）、画像処理装置１０は、インフラの優先度を再計算する（ステップＳ３７２）。一方、信号元の属性がインフラでないと判断した場合（ステップＳ３７１：ＮＯ）、画像処理装置１０は、信号元の属性が先行車両であるか否かを判断する（ステップＳ３７３）。信号元の属性が先行車両であるか否かの判断は、先行車両の第３の領域が第４の領域に含まれているか否かによって判断することができる。信号元の属性が先行車両であると判断した場合（ステップＳ３７３：ＹＥＳ）、画像処理装置１０は、先行車両の優先度を再計算する（ステップＳ３７４）。
一方、信号元の属性が先行車両でないと判断した場合（ステップＳ３７３：ＮＯ）、画像処理装置１０は、信号元の属性が左車線の左周辺車両であるか否かを判断する（ステップＳ３７５）。信号元の属性が左周辺車両であると判断した場合（ステップＳ３７５：ＹＥＳ）、画像処理装置１０は、左周辺車両の優先度を再計算する（ステップＳ３７６）。一方、信号元の属性が左周辺車両でないと判断した場合（ステップＳ３７５：ＮＯ）、画像処理装置１０は、信号元の属性が右周辺車両であるとして、右周辺車両の優先度を再計算する（ステップＳ３７７）。
ステップＳ３７２、ステップＳ３７４、ステップＳ３７６又はステップＳ３７７の処理を実行した後、画像処理装置１０は、図１４のフローチャートにおける処理を終了する。
次に、図１５〜図１８を用いて、図１４のステップＳ３７２、ステップＳ３７４、ステップＳ３７６及びステップＳ３７７ＲＯＩの優先度計算処理について説明する。
図１５は、実施形態に係る画像処理におけるインフラのＲＯＩの優先度計算処理の一例を示すフローチャートである。図１５において、画像処理装置１０は、自車両１とインフラとの相対距離が既知であるか否かを判断する（ステップＳ７２１）。自車両１とインフラとの相対距離の算出方法は、図２０を用いて後述する。相対距離が既知であると判断した場合（ステップＳ７２１：ＹＥＳ）、画像処理装置１０は、優先度を相対距離の２乗に反比例させた値として設定する（ステップＳ７２２）。例えば、優先度は式（１）で算出する。
優先度＝１００００／（相対距離（ｍ））２ （１）
式（１）においては、例えば自車両１と街灯３との距離が１００ｍである場合、優先度は１となる。
一方、相対距離が既知でないと判断した場合（ステップＳ７２１：ＮＯ）、画像処理装置１０は、優先度を仰角と比例した値として設定する（ステップＳ７２３）。仰角とは、撮像部１２からインフラまでの仰角である。画像処理装置１０は、仰角を、後述する撮像部１２のカメラキャリブレーションデータから算出する。優先度は、例えば、式（２）で算出する。
優先度＝１０×仰角（ｒａｄ） （２）
式（２）においては、例えば、仰角が０．１（ｒａｄ）（≒５．７３°）のときに優先度が１になる。街灯や信号機等、自車両１より高い位置にあるインフラの信号元においては、自車両１がインフラに近付く程仰角が大きくなる。したがって、図１５において、画像処理装置１０は、相対距離が既知ではない場合に仰角を相対距離に代替して優先度を算出する。
ステップＳ７２２又はステップＳ７２３の処理を実行した後、画像処理装置１０はステップＳ３７２の処理を終了する。
図１６は、実施形態に係る画像処理における先行車両のＲＯＩの優先度計算処理の一例を示すフローチャートである。図１６において、画像処理装置１０は、自車両１と先行車両２Ｃとの相対距離が既知であるか否かを判断する（ステップＳ７４１）。自車両１と先行車両２Ｃとの相対距離の算出方法は、図２０を用いて後述する。相対距離が既知であると判断した場合（ステップＳ７４１：ＹＥＳ）、画像処理装置１０は、優先度を相対距離の２乗に反比例させた値として設定する（ステップＳ７４２）。例えば、優先度は式（１）で算出する。
優先度＝１００００／（相対距離（ｍ））２ （１）
式（１）においては、例えば自車両１と先行車両２Ｃとの距離が５０ｍである場合、優先度は４となる。
一方、相対距離が既知でないと判断した場合（ステップＳ７４１：ＮＯ）、画像処理装置１０は、優先度を１とする（ステップＳ７４３）。
ステップＳ７４２又はステップＳ７４３の処理を実行した後、画像処理装置１０はステップＳ３７４の処理を終了する。
図１７は、実施形態に係る画像処理における左周辺車両のＲＯＩの優先度計算処理の一例を示すフローチャートである。図１７において、画像処理装置１０は、左周辺車両の水平位置を右順にソートする（ステップＳ７６１）。例えば、図５で示した左周辺車両、２Ｌ１、２Ｌ２、２Ｌ３を右順にソートすると、２Ｌ３→２Ｌ２→２Ｌ１となる。ステップＳ７６１の処理を実行した後、画像処理装置１０は、右順に優先度を加算する（ステップＳ７６２）。従って、それぞれの優先度は、２Ｌ３＝１、２Ｌ２＝２、２Ｌ１＝３となる。すなわち、図１７で示す優先度の算出方法においては、左車線において検出した他車両について、遠い順に優先度が１ずつ高くなる。
図１８は、実施形態に係る画像処理における右周辺車両のＲＯＩの優先度計算処理の一例を示すフローチャートである。図１８において、画像処理装置１０は、右周辺車両の水平位置を左順にソートする（ステップＳ７７１）。例えば、図５で示した右周辺車両、２Ｒ１、２Ｒ２を左順にソートすると、２Ｒ２→２Ｒ１となる。ステップＳ７７１の処理を実行した後、画像処理装置１０は、左順に優先度を加算する（ステップＳ７７２）。従って、それぞれの優先度は、２Ｒ２＝１、２Ｒ１＝２となる。すなわち、図１８で示す優先度の算出方法においては、右側車線において検出した他車両について、遠い順に優先度が１ずつ高くなる。
次に、図１９を用いて、インフラ処理を説明する。図１９は、実施形態に係る画像処理におけるインフラ処理の一例を示すフローチャートである。図１９においては、インフラの光信号から取得した情報に基づき、自車両１の位置を算出する処理を示す。なお、図１９における処理及び後述する図２０における処理は、図６等における処理のタイミングと非同期の任意のタイミングで行うことができる。
図１９において、画像処理装置１０は、インフラ処理を実行するか否かを判断する（ステップＳ４１）。インフラ処理を実行するか否かは、例えば、運転者からの操作の有無等によって判断してもよい。インフラ処理を実行しないと判断した場合（ステップＳ４１：ＮＯ）、画像処理装置１０は、処理を実行すると判断するまでステップＳ４１の処理を繰り返して待機する。
一方、インフラ処理を実行すると判断した場合（ステップＳ４１：ＹＥＳ）、画像処理装置１０は、インフラリストを読み出す（ステップＳ４２）。ステップＳ４２の処理を実行した後、画像処理装置１０は、読み出した信号元のリストの優先度に基づきＲＯＩを設定する（ステップＳ４３）。ここで、設定するＲＯＩの数は、ステップＳ４６の自己位置を算出するときに用いる数とする。後述する後方交会法においては、３つ以上のＲＯＩが用いられる。ステップＳ４３を実行した後、画像処理装置１０は、光信号に含まれる情報を解析する（ステップＳ４４）。情報の解析は、例えば、ＲＯＩを設定した信号元のＩＤ、座標等の情報を解析する。ステップＳ４４の処理を実行した後、画像処理装置１０は、情報を解析した信号が目的の信号であるか否かを判断する（ステップＳ４５）。図１９の処理においては、処理の目的が自己位置の算出であるため、自己位置の算出に必要な情報が取得したか否かで判断することができる。目的の信号でないと判断した場合は（ステップＳ４５：ＮＯ）、画像処理装置１０は、ステップＳ４２の処理に戻り、再びインフラリストの読出しを実行する。
一方、目的の信号であると判断した場合は（ステップＳ４５：ＹＥＳ）、画像処理装置１０は、自己位置を算出する（ステップＳ４６）。自己位置の算出は後方交会法によって行うことができる。後方交会法とは、測量に用いる位置の算出法である。後方交会法においては、算出する自己位置から３点以上の既知点を視準して位置を定める方法である。例えば、３点以上のインフラの座標情報を取得して、撮像部１２から視準したとき角度を算出することにより自己位置を算出することができる。画像処理装置１０は、撮像部１２から視準したときの角度を、撮像した撮像画像の位置と、撮像部１２のカメラキャリブレーションデータから算出する。カメラキャリブレーションとは、撮像画像上の座標位置と入射光線の方向とを事前に対応付けておく作業である。カメラキャリブレーションデータとは、カメラキャリブレーションによって対応付けた撮像画像上の座標情報と、それに対応した入射光線の方向の極座標（パン角，チルト角）の情報である。なお、カメラキャリブレーションは、例えば、特開２００４−４８３９９号公報又は特開２００４−３０９３１号公報に記載されている手法を用いる。ステップＳ４６の処理を実行した後、画像処理装置１０は、再びステップＳ５１の処理を実行する。
次に、図２０を用いて、車両処理を説明する。図２０は、実施形態に係る画像処理における車両処理の一例を示すフローチャートである。図２０においては、車両の光信号から取得した情報に基づき、他車両２に対する自車両１の相対位置を算出する処理を示す。
図２０において、画像処理装置１０は、車両処理を実行するか否かを判断する（ステップＳ５１）。車両処理を実行するか否かは、例えば、運転者からの操作の有無等によって判断してもよい。車両処理を実行しないと判断した場合（ステップＳ５１：ＮＯ）、画像処理装置１０は、処理を実行すると判断するまでステップＳ５１の処理を繰り返して待機する。
一方、車両処理を実行すると判断した場合（ステップＳ５１：ＹＥＳ）、画像処理装置１０は、車両リストを読み出す（ステップＳ５２）。ステップＳ５２の処理を実行した後、画像処理装置１０は、読み出した信号元のリストの優先度に基づきＲＯＩを設定する（ステップＳ５３）。ステップＳ５３を実行した後、画像処理装置１０は、光信号に含まれる情報を解析する（ステップＳ５４）。情報の解析は、例えば、ＲＯＩを設定した信号元のＩＤ、座標等の情報を解析する。ステップＳ５４の処理を実行した後、画像処理装置１０は、情報を解析した信号が目的の信号であるか否かを判断する（ステップＳ５５）。図２０の処理においては、処理の目的が相対位置の算出であるため、相対位置の算出に必要な情報が取得したか否かで判断することができる。目的の信号でないと判断した場合は（ステップＳ５５：ＮＯ）、画像処理装置１０は、ステップＳ５２の処理に戻り、再び車両リストの読出しを実行する。
一方、目的の信号であると判断した場合は（ステップＳ５５：ＹＥＳ）、画像処理装置１０は、相対位置を算出する（ステップＳ５６）。相対位置の算出は立体視によって行たり、データサーバに問い合わせて絶対座標から算出したり、ミリ波レーダ等の距離センサ情報を受け取ることでできる。また、画像処理装置１０は、相対位置を、他車両２が送信する送信信号の遅延時間によって求めるようにしてもよい。相対位置を、他車両２が送信する送信信号の遅延時間によって求める具体的な方法は、図２６を用いて後述する。
次に、図２１を用いて、図７のステップＳ１５３で、画像処理装置１０によって登録するインフラリストの項目を説明する。図２１は、実施形態に係る画像処理に用いるインフラリスト項目の一例を示す図である。図２１に示すインフラリストの項目は、それぞれの光源に対して保存するインフラリストの項目である。
図２１において、インフラリスト項目には、ＩＤ、時刻、種別、相対座標、座標、アドレス、状態、優先度、優先状態、処理状態の項目を有する。インフラリストは、それぞれの項目に対する情報を有するものとする。
ＩＤは、光源が一意に有する識別情報である。ＩＤの情報には、光源を一意に識別する情報としては、英数字、名称等のテキストデータ等を用いることができるが、例えば後述する座標の情報、又はアドレスの情報等を用いてもよい。
時刻は、インフラリストの情報を最後に更新した時刻である。例えば、時刻の情報によって、その光源のインフラリストの保存期限を決めるようにしてもよい。自車両１が走行している場合、固定のインフラの１つの光源に対して撮像部１２において撮像できる時間は数秒程度であるため、走行速度から所定の保存期限を超えたり、車両位置から不可視領域になった光源のインフラリストは破棄（未使用に）するようにしてもよい。
種別は、インフラの光源の種別の情報である。光源の種別は、例えば、街灯、信号機、標識等である。画像処理装置１０は、光源の種類によって処理内容を変更することができる。例えば、画像処理装置１０は、種別が信号機であるインフラの場合、後述する状態の項目において、信号機の現在の「色」を入力するようにしてもよい。また、種別が標識である場合、撮像部１２で撮像した撮像画像に対して文字認識の処理を行い、標識に表示している文字情報を認識するようにしてもよい。なお、標識には、文字情報を表示しない光情報を発信する光源を含む。
相対座標は、自車両１と光源との相対的な座標の情報である。相対座標は、例えば、自車両１（撮像部１２）から光源に対する方向、距離等である。光源に対する方向とは、撮像部１２から光源に対する車両の姿勢で補正した方位角及び仰角（俯角を含む）である。方向は、上述のように、撮像部１２が撮像した撮像画像の位置によって取得することができる。距離は、光源から送信する光信号の位相（到達時間）から直接求めることができ、車両の移動に伴って内界センサによる車両の位置姿勢推定結果を利用して方向とともに変更する。また、距離は、方向と後述する座標の情報に基づき、上述した後方交会法によって算出してもよい。
座標は、インフラの光源の絶対座標である。絶対座標には、経度、緯度、高度の情報を含む。座標の情報は、光信号に含まれる情報によって光源から直接取得しても、上述のようにデータサーバ９から取得してもよい。
アドレスは、光源のネットワークアドレスである。図２１において例示している光源は、インターネット通信におけるネットワークアドレスを有しているものとする。ネットワークアドレスは、インターネットを用いた通信において通信部２１が利用する。
状態は、光源の状態の情報である。状態の情報とは、例えば、インフラが信号機である場合、青、黄及び赤の信号機の色の状態であり、それぞれの状態の継続可能時間と現在の状態の滞在時間である。光信号に信号機の色の状態を含めることにより、自車両１に対して運転の支援を行うことが可能となる。
優先度は、図２４及び図２５で説明する優先度の重みの値である。本実施形態においては、優先度が高い程数値が大きくものとする。また、優先状態は、優先度をフレーム毎に（読出回数によって）加算したときの積分値（合計値）である。ＲＯＩは優先状態の値が高い順から設定する。優先度は検出する頻度を高くしたい対象ほど高い値を設定する。例えば、優先度は、左車線であれば左に映るものほど近い可能性が高いので高くする。インフラであれば仰角が大きいものほど近い可能性が高いので優先度を高くする。優先状態は、待ち状態になるとリセットする。
処理状態は、光源の追跡状態を示す情報である。追跡状態とは、待ちの状態、又は追跡中の状態のいずれかである。待ちの状態とは、ある読出回数においてＲＯＩに設定しなかったときの状態であり、追跡中の状態とは、ある読出回数においてＲＯＩに設定したときの状態である。
なお、インフラリストの情報は図１に示したデータサーバ９と共有することができる。例えば、信号元から取得できる情報が光源のＩＤの情報であった場合、画像処理装置１０は、ＩＤの情報をデータサーバ９に送信し、ＩＤの情報に基づきデータサーバ９が検索した、光源の名称、種別の情報、座標の情報等をデータサーバ９から取得するようにしてもよい。インフラリストの情報は、インフラリストに予め設定する情報、信号元から取得する情報、データサーバ９から取得する情報、又はそれらの情報に基づき算出等する情報を含むことができる。
また、図２１においては、それぞれの項目に１の情報を入力する場合を説明したが、それぞれの項目には複数の情報を入力するようにしてもよい。例えば、ＩＤの項目には、英数の情報と、名称のテキスト情報の２つの情報を入力してもよい。また、座標の項目には、世界測地系の座標と日本測地系の座標の２つの情報を入力してもよい。
次に、図２２を用いて、図７のステップＳ１５６で登録する先行車両リスト、ステップＳ１５９で登録される左周辺車両リスト、又はステップＳ１６１で登録する右周辺車両リストに共通して用いる車両リスト項目を説明する。図２２は、実施形態に係る画像処理に用いる車両リスト項目の一例を示す図である。
図２２において、車両リスト項目には、ＩＤ、時刻、種別、相対座標、座標、アドレス、道路ＩＤ、走行車線、車速、方位、状態、優先度、優先状態、処理状態の項目を有する。車両リスト項目における、ＩＤ、時刻、相対座標、座標、アドレス、優先度、優先状態、及び処理状態の項目については、図２１のインフラリスト項目と同様であるため説明を省略する。
車両リスト項目における種別の項目は、例えば、四輪、二輪、軽車両、人等の情報である。種別は、普通自動車、小型自動車等の法的な区分に基づくものであってもよい。なお、信号元は車両以外に、人又は動物等に取付けられるものであってもよい。図２２では、便宜上、人を車両リスト項目の一種別として例示している。また、種別は、トラック、乗用車等の車種の情報であってもよい。
道路ＩＤは、自車両及び他車両が走行中の道路のＩＤである。道路ＩＤは、走行中の道路を一意に特定するための情報である。道路ＩＤは、例えば、街灯や信号機の信号元から送信する情報に含めるようにしてもよい。
走行車線、他車両が走行中の車線の情報である。走行車線は、車両の走行車線を表す情報であって、左車線、中央車線、右車線、又は反対車線等の情報である。先行車両リスト、左周辺車両リスト及び右周辺車両リストは、走行車線の情報によって分類することができる。従って、先行車両リスト、左周辺車両リスト及び右周辺車両リストは、同じ車両リストに登録するものであってもよい。走行車線の情報は、自車両又は他車両が車線変更したとき、又は、走行している道路の車線の状況が変化したときに更新するものであってもよい。
車速は、他車両の走行速度又は自車両との速度差の情報である。方位は、他車両の進行方向の方位である。また、状態は、他車両の運動状態の情報である。運動状態とは、停止中、加速中、減速中、定速走行中、車線変更中等の状態であり、重力加速度などの数値で示してもよい。車速、方位又は状態の情報は、例えば他車両の信号元を追尾するときにスキャン範囲を予測するときに用いるようにしてもよい。
なお、図２１又は図２２で説明した項目は一例であり、項目の種類やその内容を限定するものではない。
次に、図２３を用いて、インフラリストの具体例を説明する。図２３は、図２１におけるインフラリストの一例を示す図である。図２３は、図２１で説明したインフラリスト項目についての、光源Ａ、光源Ｂ、光源Ｃにおける具体例である。ＩＤ、時刻、種別、相対座標、座標、アドレス、状態、優先度、優先状態、処理状態の項目は、図２１で説明したインフラリスト項目と同様である。図２３において、相対座標は、カメラキャリブレーションによって算出される座標値である。
次に、図２４及び図２５を用いて、図８等において設定するＲＯＩに基づくスキャン頻度の設定を説明する。図２４は、実施形態に係る画像処理におけるスキャン頻度の設定の一例を示す図である。実施形態に係る画像処理におけるスキャン頻度の設定の他の一例を示す図である。図２４は、設定するＲＯＩが１つの場合を示している。図２５は、設定するＲＯＩが２つの場合を示している。
図２４及びにおいて、読出回数は、ステップＳ２１１、ステップＳ２２１、ステップＳ２３１又はステップＳ２４１において実行するインフラリスト又は車両リストの読み出し処理の実行回数である。図２４では、登録している光源が、光源Ａ、光源Ｂ及び光源Ｃの３つである場合を例示している。光源Ａの優先度は４、光源Ｂの優先度は２、光源Ｃの優先度は１に設定しているものとする。また、図２５では、登録している光源が、光源Ａ、光源Ｂ、光源Ｃ、光源Ｄ及び光源Ｅの５つである場合を例示している。図２４において、光源Ａの優先度は４、光源Ｂの優先度は２、光源Ｃの優先度は１に設定しているものとする。また、図２５において、光源Ａの優先度は５、光源Ｂの優先度は４、光源Ｃの優先度は３、光源Ｄの優先度は２、光源Ｅの優先度は１に設定しているものとする。
図２４及び図２５において、画像処理装置１０は、優先状態を読出回数毎に優先度の値だけ加算する。画像処理装置１０は、優先状態が同じ場合、優先度が高い光源がＲＯＩに設定する。図２４及び図２５に図示する塗りつぶし箇所は、画像処理装置１０がＲＯＩに設定した優先状態を示している。画像処理装置１０は、ＲＯＩに設定した光源の優先状態を次の読出回数においてリセットして０に戻す。図２４においては、画像処理装置１０は、それぞれの読出回数において優先状態が最も高い１の光源をＲＯＩに設定するものとする。また、図２５においては、画像処理装置１０は、それぞれの読出回数において優先状態が高い２の光源をＲＯＩに設定するものとする。
例えば、図２４において、読出回数１において、それぞれの優先状態は０であるため、画像処理装置１０は、優先度の一番高い光源Ａ（優先度：４）をＲＯＩに設定する。読出回数２において、画像処理装置１０は、光源Ａの優先状態をリセットして０とし、光源Ｂの優先状態に優先度の２を加算して２とし、また、光源Ｃの優先状態に優先度の１を加算して１とする。画像処理装置１０は、読出回数２においては、優先状態が２で一番高い光源ＢをＲＯＩに設定する。画像処理装置１０は、以下、読出回数毎に同様の処理を繰り返して１のＲＯＩを設定する。また、図２５において、読出回数１において、それぞれの優先状態は０であるため、画像処理装置１０は、優先度の高い光源Ａ（優先度：５）と光源Ｂ（優先度：４）の２つをＲＯＩに設定する。読出回数２において、画像処理装置１０は、光源Ａ及び光源Ｂの優先状態をリセットして０とし、光源Ｃの優先状態に優先度の３が加算し３とし、光源Ｄの優先状態に優先度の２を加算して２とし、さらに光源Ｅの優先状態に優先度の１を加算して１とする。読出回数２においては、画像処理装置１０は、優先状態が高い光源Ｃと光源ＤをＲＯＩに設定する。以下、画像処理装置１０は、読出回数毎に同様の処理を繰り返して２のＲＯＩを設定していく。
次に、図２６を用いて、２つの車両間の相互通信と車間距離の算出方法について説明する。
図２６は、本実施形態に係る２つの車両間の相互通信を示す図である。図２６において、縦軸は信号がＨ（ハイ）レベルであるかＬ（ロー）レベルであるかを表し、横軸は時刻を表す。また、図２６に示す例は、下方に移動する車両Ａの進行方向に対して車両Ｂが走行しているとする。
波形ｇ１は、車両Ａが発光した送信信号を表す。波形ｇ２は、車両Ａが発光した送信信号を、車両Ｂが受信した受信信号を表す。波形ｇ３は、車両Ｂが発光した送信信号を表す。波形ｇ４は、車両Ｂが発光した送信信号を、車両Ａが受信した受信信号を表す。
時刻ｔ１は、車両Ａが光を発光したタイミングを表す。時刻ｔ２は、車両Ａが発光した光を、車両Ｂが受光したタイミングを表す。時刻ｔ３は、車両Ｂが光を発光したタイミングを表す。時刻ｔ２は、車両Ｂが発光した光を、車両Ａが受光したタイミングを表す。
また、ｔは、真の遅れ時間を表す。ｂは、車両Ｂの基準時刻を用いて測定した遅れ時間を表す。ｄは、同期誤差を表す。なお、本実施形態では、同期誤差を位相誤差ともいう。ａは、車両Ａの基準時刻を用いて測定した遅れ時間を表す。なお、本実施形態では、ａとｂを見かけの遅れ時間ともいう。
図５に示すように、真の遅れ時間ｔは、次式（１１）、次式（１２）のように表される。
ｂ＋ｄ＝ｔ …（１１）
ａ−ｄ＝ｔ …（１２）
式（１１）、式（１２）より、ａ＋ｂ＝２ｔとなり、真の遅れ時間ｔは、次式（１３）のように表される。また、同期誤差ｄは、式（１１）、式（１２）より、次式（１４）のように表される。
ｔ＝（ａ＋ｂ）／２ …（１３）
ｄ＝（ａ−ｂ）／２ …（１４）
なお、送信信号は光信号であるため、車両Ａと車両Ｂとの車間距離Ｌは、次式（１５）を用いて、変換することができる。なお、式（１５）において、ｃは光速（２９９，７９２，４５８［ｍ／ｓ］）である。
Ｌ＝ｔ・ｃ …（１５）
このように、車両間で、見かけの遅れ時間（ａ、ｂ）を計測して互いに送信することで、車両Ａおよび車両Ｂは、車両Ａと車両Ｂの車間距離を算出することができる。車間距離の算出は、何回か測定した見かけの遅れ時間（ａ、ｂ）の平均値に基づき算出してもよい。そして、車両は、算出した同期誤差ｄと、光通信毎に求めた見かけの遅れ時間とを用いて、式（１１）または式（１２）によって、真の遅れ時間ｔを算出することができる。なお、車両は、見かけの遅れ時間を、送受信部１１２を介して無線通信で送受信する。車両は、同期誤差を、送受信部１１２を介して無線通信で送信する。なお、車両は、用いる基準信号の周波数に応じて、見かけの遅れ時間、同期誤差を光通信で送信するようにしてもよい。
以上説明したように、本実施形態の画像処理装置は、制御部と、解析部とを有することにより、動的に数や位置や優先度等が変わる複数の信号元から送信される情報を取得することが可能となる。
また、上記画像処理装置によれば、信号元に応じた頻度で撮像画像をスキャンすることが可能となる。すなわち、上記画像処理装置によれば、撮像画像の上方で撮像される街灯や信号機等、固定された信号元を第１の頻度でスキャンすることができるとともに、撮像画像の上方で撮像されにくい他車両等の移動する信号元を、第１の頻度でスキャンしないようにすることができる。これにより、本実施形態によれば画像処理装置をＩＴＳに適用したときに好適な信号元のスキャンを実施することができる。
また、上記画像処理装置によれば、出現する信号元の検出をしやすくなる。
また、上記画像処理装置によれば、信号元の属性に応じて優先度を算出することにより、信号元に適したスキャン頻度とすることができる。
また、上記画像処理装置によれば、第４の領域にある信号元の情報を高精度で取得することができるとともに、第４の領域以外にある信号元に適した精度で情報を取得することが可能となる。上記画像処理装置によれば、例えば、第４の領域を自車両に対する影響が大きい領域に設定することにより、自車両に対する影響が大きい他車両の情報を高精度に取得することができるとともに、自車両に対する影響が小さい他車両の情報を適切な精度で取得することが可能となる。
また、上記画像処理装置によれば、第４の領域以外にある信号元について、信号元の位置に応じた精度で情報を取得することが可能となる。上記画像処理装置によれば、例えば、自車両に対する影響が小さい他車両においても、他車両の位置に適した精度で情報を取得することが可能となる。
また、上記画像処理装置によれば、自車両と同じ車線で走行している前方車両等の情報を高精度に取得することができる。
また、上記画像処理装置によれば、自車両の位置を正確に算出することが可能となる。
なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
１…自車両、１０…画像処理装置、１０１…解析部、１０２…制御部、１１…発振器、１２…撮像部、１２１…画素、１２２…垂直走査回路、１２３…水平走査回路、１２４…読み出し回路、１２５、１２６…入力部、１２７…出力部、１３…復調器、１４…復号器、１５…符号器、１６…変調器、１７…投光部、１８…記憶部、１９…表示部、２０…操作部、２１…通信部、５００…撮像画像、５０１、５０３…第１の領域、５０２…第２の領域、５０４…第４の領域、５１１、５１２…読出領域、ＷＬ１、ＷＬ２…白線、２Ｃ１…先行車両、２Ｌ１、２Ｌ２、２Ｌ３…左周辺車両、２Ｒ１、２Ｒ２…右周辺車両

Claims (12)

  1. 撮像部の領域のスキャン頻度を制御する制御部と、
    前記撮像部において撮像された撮像画像を解析する解析部と
    を備える画像処理装置であって、
    前記解析部は、
    前記撮像画像を解析して、信号元から送信された光信号を検出し、
    検出した光信号に含まれる情報に基づき、前記信号元の属性を識別し、
    前記撮像画像における前記信号元を含む領域を前記スキャン頻度が異なる領域に設定し、
    前記制御部は、前記撮像画像に設定される領域毎に前記撮像部のスキャン頻度を制御する、画像処理装置。
  2. 前記制御部は、
    前記撮像画像に設定される第１の領域を第１の頻度でスキャンし、
    前記撮像画像に設定される第２の領域を第２の頻度でスキャンし、さらに、
    前記信号元を含む第３の領域を、識別された前記信号元の属性に基づく第３の頻度でスキャンする、請求項１に記載の画像処理装置。
  3. 前記制御部は、前記第１の領域を前記撮像画像の上方に設定する、請求項２に記載の画像処理装置。
  4. 前記制御部は、前記第２の領域を前記第３の領域が出現する可能性の高い領域に設定する、請求項２から３のいずれか一項に記載の画像処理装置。
  5. 前記解析部は、
    前記信号元の属性に基づき優先度を算出し、
    算出した前記優先度に基づき前記第３の頻度を設定する、請求項２から４のいずれか一項に記載の画像処理装置。
  6. 前記解析部は、
    前記撮像画像を解析して前記撮像画像に含まれる第４の領域を識別し、
    識別した前記信号元の属性が第１の属性であるときに、前記第３の領域が前記第４の領域にあるか否かを判断し、
    前記制御部は、前記第３の領域が前記第４の領域にあると判断されたときの前記第３の頻度を前記第３の領域が前記第４の領域にないと判断されたときの前記第３の頻度より高頻度とする、請求項２から５のいずれか一項に記載の画像処理装置。
  7. 前記解析部は、
    前記撮像画像を解析して、複数の信号元から送信された光信号を検出し、
    前記撮像画像において複数の第３の領域に設定し、
    前記制御部は、前記複数の第３の領域のそれぞれが前記第４の領域にないと判断されたときに、前記第３の頻度を、前記複数の第３の領域の前記撮像画像におけるそれぞれの位置に応じて変更する、請求項６に記載の画像処理装置。
  8. 前記解析部は、
    自車両が走行する道路上の車線と同じ車線を前記第４の領域として識別して、
    前記第１の属性が他車両であるときに、前記他車両の信号元を含む第３の領域が自車両と同じ車線を走行しているか否かを判断する、請求項６又は７に記載の画像処理装置。
  9. 前記解析部は、
    識別した前記信号元の属性が第２の属性であるときに、検出した光信号に含まれる座標情報に基づき、自車両の位置を算出する、請求項１から８のいずれか一項に記載の画像処理装置。
  10. 前記信号元の属性は、信号元がインフラであるか又は車両であるか、並びに自車両に対する信号元の位置の情報である、請求項１から９のいずれか一項に記載の画像処理装置。
  11. 撮像部の領域のスキャン頻度を制御する制御ステップと、
    前記撮像部において撮像された撮像画像を解析する解析ステップと
    を含む画像処理方法であって、
    前記解析ステップにおいて、
    前記撮像画像を解析して、信号元から送信された光信号を検出し、
    検出した光信号に含まれる情報に基づき、前記信号元の属性を識別し、
    前記撮像画像における前記信号元を含む領域を前記スキャン頻度が異なる領域に設定し、
    前記制御ステップにおいて、前記撮像画像に設定される領域毎に前記撮像部のスキャン頻度を制御する、画像処理方法。
  12. 撮像部の領域のスキャン頻度を制御する制御処理と、
    前記撮像部において撮像された撮像画像を解析する解析処理と
    をコンピュータに実行させるための画像処理プログラムであって、
    前記解析処理において、
    前記撮像画像を解析して、信号元から送信された光信号を検出し、
    検出した光信号に含まれる情報に基づき、前記信号元の属性を識別し、
    前記撮像画像における前記信号元を含む領域を前記スキャン頻度が異なる領域に設定し、
    前記制御処理において、前記撮像画像に設定される領域毎に前記撮像部のスキャン頻度を制御する、画像処理プログラム。
JP2016066683A 2016-03-29 2016-03-29 画像処理装置、画像処理方法及び画像処理プログラム Active JP6596736B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016066683A JP6596736B2 (ja) 2016-03-29 2016-03-29 画像処理装置、画像処理方法及び画像処理プログラム
US15/459,663 US10284795B2 (en) 2016-03-29 2017-03-15 Image processing device, image processing method, and image processing program which control a scan frequency of an imaging unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016066683A JP6596736B2 (ja) 2016-03-29 2016-03-29 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017183940A JP2017183940A (ja) 2017-10-05
JP6596736B2 true JP6596736B2 (ja) 2019-10-30

Family

ID=59962160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016066683A Active JP6596736B2 (ja) 2016-03-29 2016-03-29 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
US (1) US10284795B2 (ja)
JP (1) JP6596736B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3612858A4 (en) * 2017-04-21 2021-05-26 TLC Millimeter Wave Products, Inc. ADVANCED MILLIMETER WAVE SYSTEM NETWORK FOR THREAT DETECTION
KR20200133920A (ko) * 2019-05-21 2020-12-01 현대자동차주식회사 인공신경망 기반의 투사정보 인식 장치 및 그 방법
US11678074B2 (en) 2019-06-27 2023-06-13 Sony Interactive Entertainment Inc. Sensor control apparatus, sensor control method, and program
GB2598078B (en) * 2020-06-17 2022-12-21 Jaguar Land Rover Ltd Vehicle control system using a scanning system
CN113012237A (zh) * 2021-03-31 2021-06-22 武汉大学 一种毫米波雷达与视频监控摄像头联合标定方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5100018B2 (ja) * 2006-03-06 2012-12-19 キヤノン株式会社 光走査装置及びそれを用いた画像形成装置
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
JP2009290860A (ja) * 2008-04-28 2009-12-10 Panasonic Corp 撮像装置
JP5017204B2 (ja) * 2008-07-25 2012-09-05 本田技研工業株式会社 光受信機
JP5339049B2 (ja) 2008-11-28 2013-11-13 カシオ計算機株式会社 情報復元装置、情報復元方法、及び、プログラム
JP2010183152A (ja) * 2009-02-03 2010-08-19 Panasonic Corp 車両用光通信装置
JP5648866B2 (ja) * 2012-10-02 2015-01-07 カシオ計算機株式会社 撮影システム、撮影方法、撮影装置、及びプログラム
US9380198B2 (en) * 2012-09-28 2016-06-28 Casio Computer Co., Ltd. Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
CN109256404B (zh) * 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备
EP3054664B1 (en) * 2013-09-30 2022-06-29 Nikon Corporation Electronic device, method for controlling electronic device, and control program
JPWO2015050118A1 (ja) * 2013-10-01 2017-03-09 株式会社ニコン 電子機器
JP5915720B2 (ja) * 2014-11-21 2016-05-11 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
JP2017183940A (ja) 2017-10-05
US10284795B2 (en) 2019-05-07
US20170289474A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6596736B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US20210108927A1 (en) Real-time updates to maps for autonomous navigation
US20170317748A1 (en) Vehicle positioning by visible light communication
US6911642B2 (en) Object presence detection method and device
US20200310995A1 (en) Writing messages in a shared memory architecture for a vehicle
KR101999993B1 (ko) 레이더 및 카메라를 이용한 무인 단속시스템
US20080088707A1 (en) Image processing apparatus, image processing method, and computer program product
US10747597B2 (en) Message buffer for communicating information between vehicle components
JP4577655B2 (ja) 地物認識装置
US20120327188A1 (en) Vehicle-Mounted Environment Recognition Apparatus and Vehicle-Mounted Environment Recognition System
JP2007241469A (ja) 画像処理システム
US20210006514A1 (en) Reading messages in a shared memory architecture for a vehicle
JP2008293277A (ja) 信号機検出装置、信号機検出方法及びプログラム
US20220020271A1 (en) Method and system for vehicle navigation using information from smart node
US11327489B2 (en) Shared memory architecture for a vehicle
US20220185313A1 (en) Puddle occupancy grid for autonomous vehicles
US11443529B2 (en) Method and apparatus for detecting surroundings, and vehicle with such an apparatus
JP2008164384A (ja) 地物位置認識装置及び地物位置認識方法
EP4182765A1 (en) Method and system for augmenting autonomous vehicle perception using smart nodes
US20170276766A1 (en) Self-position estimation apparatus and self-position estimation method
JP2014194698A (ja) 道路端検出システム、方法およびプログラム
JP7136138B2 (ja) 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両
US20230222681A1 (en) Positioning system and calibration method of object location
JP2007010515A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190910

R150 Certificate of patent or registration of utility model

Ref document number: 6596736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150