JPWO2014203658A1 - Ranging device and ranging method - Google Patents
Ranging device and ranging method Download PDFInfo
- Publication number
- JPWO2014203658A1 JPWO2014203658A1 JP2015522667A JP2015522667A JPWO2014203658A1 JP WO2014203658 A1 JPWO2014203658 A1 JP WO2014203658A1 JP 2015522667 A JP2015522667 A JP 2015522667A JP 2015522667 A JP2015522667 A JP 2015522667A JP WO2014203658 A1 JPWO2014203658 A1 JP WO2014203658A1
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- state
- image
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
Abstract
本発明にかかる測距装置および測距方法では、撮像部によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と参照情報記憶部に記憶された参照画像とに基づいて前記最新撮像画像に含まれる所定の物体までの距離が求められる。ここで、前記撮像部の撮像状態が取得され、この取得された撮像状態が所定の条件を満たすか否かが判定され、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かが判定される。In the distance measuring apparatus and the distance measuring method according to the present invention, the latest imaging based on the latest latest captured image of the time-series captured images captured by the imaging unit and the reference image stored in the reference information storage unit. A distance to a predetermined object included in the image is obtained. Here, the imaging state of the imaging unit is acquired, it is determined whether or not the acquired imaging state satisfies a predetermined condition, and the reference stored in the reference information storage unit based on the determination result It is determined whether or not to discard the image.
Description
本発明は、画像から所定の物体までの距離を測定する測距装置および測距方法に関する。 The present invention relates to a distance measuring device and a distance measuring method for measuring a distance from an image to a predetermined object.
近年、安全性を高める取り組みとして、例えば車両やロボット等の移動体に搭載されたカメラによって、前記移動体の移動方向に存在する所定の物体までの距離を測定し、前記物体までの距離に応じて前記移動体を制御するシステムが研究、開発されている。このようなシステムに用いられる測距装置として、例えば、特許文献1に開示の装置がある。
In recent years, as an effort to improve safety, for example, a camera mounted on a moving body such as a vehicle or a robot is used to measure the distance to a predetermined object existing in the moving direction of the moving body, and according to the distance to the object A system for controlling the moving body has been researched and developed. As a distance measuring device used in such a system, for example, there is a device disclosed in
この特許文献1に開示の前方車両追跡システムでは、次のように他車両までの距離が求められている。まず、自車両に搭載されたカメラによって撮像された画像中から他車両が検出され、この検出された他車両の画像が参照テンプレートとして定義され、記憶される。次に、前記カメラによって新たに撮像された入力画像と前記参照テンプレートとの相関が、前記入力画像または前記参照テンプレートを拡大縮小しつつ求められ、これによって、前記入力画像中における他車両の新たな位置および大きさが検出される。そして、この検出した他車両の位置および大きさに基づいて自車両と他車両との距離が求められる。
In the forward vehicle tracking system disclosed in
ところで、前記特許文献1に開示の測距手法では、距離を求める際に、前記カメラによって新たに撮像された入力画像と当該入力画像よりも以前に前記カメラによって撮像された画像から得られた前記参照テンプレートとが用いられている。このため、前記カメラの撮像方向や露光条件等の撮像状態が比較的大きく変化すると、前記入力画像と前記参照テンプレートとが食い違うこととなり、この結果、前記入力画像中における他車両の新たな位置および大きさを誤検出あるいは未検出となる虞がある。
By the way, in the distance measuring method disclosed in
本発明は、上述の事情に鑑みて為された発明であり、その目的は、前記撮像状態が変化した場合でも検出精度を向上できる測距装置および測距方法を提供することである。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a distance measuring device and a distance measuring method capable of improving detection accuracy even when the imaging state changes.
本発明にかかる測距装置および測距方法では、撮像部によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と参照情報記憶部に記憶された参照画像とに基づいて前記最新撮像画像に含まれる所定の物体までの距離が求められる。ここで、前記撮像部の撮像状態が取得され、この取得された撮像状態が所定の条件を満たすか否かが判定され、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かが判定される。このため、このような測距装置および測距方法は、前記撮像状態が変化した場合でも検出精度を向上できる。 In the distance measuring apparatus and the distance measuring method according to the present invention, the latest imaging based on the latest latest captured image of the time-series captured images captured by the imaging unit and the reference image stored in the reference information storage unit. A distance to a predetermined object included in the image is obtained. Here, the imaging state of the imaging unit is acquired, it is determined whether or not the acquired imaging state satisfies a predetermined condition, and the reference stored in the reference information storage unit based on the determination result It is determined whether or not to discard the image. For this reason, such a distance measuring apparatus and distance measuring method can improve detection accuracy even when the imaging state changes.
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。 The above and other objects, features and advantages of the present invention will become apparent from the following detailed description and the accompanying drawings.
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 Hereinafter, an embodiment according to the present invention will be described with reference to the drawings. In addition, the structure which attached | subjected the same code | symbol in each figure shows that it is the same structure, The description is abbreviate | omitted suitably. Further, in this specification, when referring generically, it is indicated by a reference symbol without a suffix, and when referring to an individual configuration, it is indicated by a reference symbol with a suffix.
図1は、実施形態における測距装置の構成を示すブロック図である。図2は、実施形態の測距装置における距離算出方法を説明するための図である。図2Aは、撮像画像から抽出される参照画像を説明するための図であり、図2Bは、パターンマッチング処理(相関処理)によって、最新の最新撮像画像中における前記参照画像に一致した領域を説明するための図である。 FIG. 1 is a block diagram illustrating a configuration of a distance measuring apparatus according to the embodiment. FIG. 2 is a diagram for explaining a distance calculation method in the distance measuring apparatus according to the embodiment. FIG. 2A is a diagram for describing a reference image extracted from a captured image, and FIG. 2B illustrates a region that matches the reference image in the latest latest captured image by pattern matching processing (correlation processing). It is a figure for doing.
実施形態における測距装置は、移動体に搭載された撮像部によって撮像された撮像画像に基づいて、当該移動体から前記撮像画像に含まれる所定の物体までの距離を測定する装置である。前記移動体は、例えば自動車や列車等の車両、移動機能を備えたロボットおよび視覚障害者の移動支援装置等である。前記移動体は、自走可能であってもよい。 The distance measuring device in the embodiment is a device that measures a distance from the moving body to a predetermined object included in the captured image based on a captured image captured by an imaging unit mounted on the moving body. The moving body is, for example, a vehicle such as an automobile or a train, a robot having a moving function, a movement support device for a visually impaired person, or the like. The mobile body may be capable of self-propelled.
このような本実施形態の測距装置DMは、例えば、図1に示すように、撮像部1と、処理部2と、記憶部3と、報知部4とを備える。
Such a distance measuring apparatus DM of the present embodiment includes, for example, an
撮像部1は、図略の前記移動体に搭載され、被写体を時間的に連続して撮像する装置である。好ましくは、撮像部1は、その撮像方向(光軸方向)と前記移動体の移動方向とを一致させて前記移動体に配設される。例えば、撮像部1は、車両に搭載される場合、撮像方向(光軸方向)を前方に向けて例えばダッシュボード上に配設される。撮像部1は、例えば、撮像光学系と、カラーまたはモノクロのイメージセンサと、画像処理部とを備え、撮像光学系によってイメージセンサの撮像面(受光面)上に被写体の光学像が結像され、イメージセンサによって前記被写体の光学像が光電変換され、この光電変換によって得られた信号から画像処理部の画像処理によって前記被写体の撮像画像が生成される。撮像部1は、被写体を所定の時間間隔で連続的に撮像する。例えば、撮像部1は、15フレーム/秒、24フレーム/秒および30フレーム/秒等の所定のフレームレートになるように、被写体を時間的に連続して撮像する。撮像部1は、処理部2に接続され、この生成した撮像画像を順次に処理部2へ出力する。
The
記憶部3は、処理部2に接続され、処理部2によって実行される種々のプログラムやその実行に必要なデータ等を予め記憶するROM(Read Only Memory)やEEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性記憶素子、処理部2のいわゆるワーキングメモリとなるRAM(Random Access Memory)等の揮発性記憶素子およびその周辺回路を備えて構成される。そして、記憶部3には、機能的に、後述の参照画像を記憶する参照情報記憶部31が構成される。
The
処理部2は、当該移動体から前記撮像画像に含まれる所定の物体までの距離を測定するべく、測距装置DMの各部を当該各部の機能に応じてそれぞれ制御するものである。処理部2は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。処理部2には、当該移動体から前記撮像画像に含まれる所定の物体までの距離を測定するための測距プログラムを実行することによって、機能的に、制御部21、距離演算部22、状態取得部23、破棄判定部24および通知部25が構成される。制御部21は、測距装置DM全体の制御を司るものである。
The
距離演算部22は、撮像部1によって時間的に連続して撮像された時系列な撮像画像のうちの1つを参照画像として参照情報記憶部31に記憶し、撮像部1によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と参照情報記憶部31に記憶された参照画像とに基づいて最新撮像画像に含まれる所定の物体までの距離を求めるものである。
The
参照画像は、前記距離を求める際に、予め設定された所定の物体の画像を撮像画像から抽出するように、前記撮像画像全体であってもよいが、本実施形態では、参照画像は、撮像画像から抽出された、予め設定された所定の物体の画像であり、前記撮像画像の一部である。このため、本実施形態の距離演算部22は、予め設定された所定のタイミング(例えば測距開始時や参照情報記憶部31に参照画像が未保存である場合等)で、予め設定された所定の物体の画像(対象物画像)を撮像画像から抽出し、この抽出した対象物画像を参照画像として参照情報記憶部31に記憶する。より具体的には、距離演算部22は、図2Aに示すように、最新撮像画像よりも時間的に前に撮像された撮像画像Ppから予め設定された所定の物体Obを検出し、この検出した前記所定の物体Ob全体を囲む矩形領域の画像(対象物画像)を参照画像TPとして撮像画像Ppから取り出し、この取り出した対象物画像を参照画像TPとして参照情報記憶部31に記憶する。なお、前記所定の物体が画像中にない場合には、参照画像TPを抽出せずに処理が最初に戻される。前記所定の物体Obは、例えば、車両(自動車および列車等)、二輪車(自転車および自動二輪車等)、人、動物および人工物等の、移動体の移動に対して障害となる可能性があるものである。前記所定の物体Obが自動車である場合には、前記特許文献1に開示されているように、画像処理による車両検出には、例えば、(1)道路上に引かれた白線の間に挟まれる第1の水平エッジ(横エッジ)を、画像の下から上に向けて検出し、(2)第1の水平エッジより上方にある第2の水平エッジを検出し、そして、(3)第1の水平エッジと第2の水平エッジとに挟まれる領域にある一対の第1および第2の垂直エッジを検出する等の公知の常套手段(従来方法)が用いられる。すなわち、画像処理による車両検出には、白線の間に挟まれるエッジのヒストグラム(柱状図)から上下のペアとなる第1および第2の水平エッジまたは左右のペアとなる第1および第2の垂直エッジを検出する等の公知の常套手段(従来方法)が用いられる。
The reference image may be the entire captured image so that a predetermined image of a predetermined object is extracted from the captured image when the distance is obtained. In this embodiment, the reference image is captured. This is an image of a predetermined object extracted from the image and is a part of the captured image. For this reason, the
そして、距離演算部22は、前記最新撮像画像Ptから前記所定の物体Obを、参照画像TPまたは前記最新撮像画像Ptを拡大や縮小しつつ、参照画像TPをテンプレートとするテンプレートマッチングによって検出する。これによって距離演算部22は、前記最新撮像画像Pt上における前記所定の物体Obの新たな位置および大きさが検出される。そして、距離演算部22は、この検出した前記新たな位置および大きさに基づいて当該移動体と前記所定の物体Obとの間の距離を求める。前記距離zは、前記特許文献1に開示されているように、次の式(1)および式(2)によって与えられる。
θ=atan(f/xc) ・・・(1)
z=f・w/wc ・・・(2)
ここで、θは、画像上の物体Obにおける幅方向の中心xcで検出された位置の物体Obの存在する方位であり、fは、撮像部1の焦点距離であり、wは、実際の物体Obの幅であり、そして、wcは、画像上の物体Obの幅である。The
θ = atan (f / xc) (1)
z = f · w / wc (2)
Here, θ is the direction in which the object Ob at the position detected at the center xc in the width direction of the object Ob on the image is present, f is the focal length of the
状態取得部23は、撮像部1の撮像状態を取得するものである。より具体的には、状態取得部23は、撮像部1によって撮像された前記最新撮像画像Ptにおける所定の特徴量に基づいて撮像部1の撮像状態を取得するものである。例えば、好ましくは、状態取得部23は、前記所定の特徴量として、画素値または輝度値の統計量(例えば平均値や中央値等)を取得するものである。また例えば、好ましくは、状態取得部23は、前記所定の特徴量として、前記最新撮像画像における周波数特性を取得するものである。前記所定の特徴量を算出する際に、状態取得部23は、前記最新撮像画像の一部を用いてもよい。
The
状態取得部23は、撮像部1の撮像状態として撮像部1の撮像方向を取得するものであってもよい。
The
破棄判定部24は、状態取得部23によって取得された前記撮像状態が所定の条件を満たすか否かを判定し、前記判定の結果に基づいて参照情報記憶部31に記憶された参照画像TPを破棄するか否かを判定するものである。破棄判定部24は、状態取得部23によって取得された前記撮像状態が所定の条件を満たすと判定した場合に、参照情報記憶部31に記憶された参照画像TPを破棄するものである。すなわち、破棄判定部24は、参照情報記憶部31の参照画像TPを破棄させる。
The discard
より具体的には、破棄判定部24は、機能的に、状態判定部241と、保持可否判定部242と、破棄制御部243とを備える。状態判定部241は、状態取得部23によって取得された前記撮像状態が所定の条件を満たすか否かを判定するものである。保持可否判定部242は、状態判定部241によって判定された判定の結果に基づいて参照情報記憶部31に記憶された参照画像TPを破棄するか否かを判定するものである。破棄制御部243は、状態取得部23によって取得された前記撮像状態が所定の条件を満たすと判定された場合に、参照情報記憶部31の参照画像TPを破棄させるものである。
More specifically, the discard
通知部25は、状態取得部23によって取得された前記撮像状態が所定の条件を満たすと破棄判定部24によって連続的に判定された連続判定回数nが閾値Thn以上である場合に、状態取得部23によって取得された前記撮像状態が所定の条件を満たす旨を報知部4によって外部に通知するものである。
When the imaging state acquired by the
報知部4は、処理部2に接続され、通知部25の制御に従って状態取得部23によって取得された前記撮像状態が所定の条件を満たす旨を外部に報知する装置である。報知部4は、例えば、光を発光する発光ダイオードを備えて構成され、通知部25の制御に従って点灯(点滅する場合を含む)することによって前記旨を外部に知らせる。また例えば、報知部4は、音を発するブザーまたはスピーカを備えて構成され、通知部25の制御に従って警告音を発することによって前記旨を外部に知らせる。また例えば、報知部4は、例えばCRTディスプレイや液晶ディスプレイ等の表示装置を備えて構成され、通知部25の制御に従って前記旨を表すメッセージを表示することによって前記旨を外部に知らせる。
The
次に、本実施形態における測距装置DMの動作について、撮像条件に応じた参照画像の取捨を中心に、以下に説明する。図3は、実施形態における測距装置の動作を示すフローチャートである。 Next, the operation of the distance measuring apparatus DM in the present embodiment will be described below with a focus on discarding reference images according to the imaging conditions. FIG. 3 is a flowchart showing the operation of the distance measuring apparatus in the embodiment.
本実施形態における測距装置DMでは、図略の起動スイッチの入力や測距開始指示スイッチの入力等によって測距が開始されると、撮像部1は、処理部2の制御部21の制御に従って、被写体の撮像画像を所定のフレームレートで撮像し、時系列な撮像画像を順次に処理部2へ出力する。
In the distance measuring device DM according to the present embodiment, when the distance measurement is started by an input of an unillustrated start switch, an input of a distance measurement start instruction switch, or the like, the
処理部2の距離演算部22は、撮像画像(入力画像)Ptが入力されると、図3において、まず、参照画像TPが記憶部3の参照情報記憶部31に記憶されているか否か(有るか否か)を判定する(S1)。この判定の結果、参照画像TPが参照情報記憶部31に記憶されていない(無い)場合(N)には、距離演算部22は、次の処理S3を実行する。一方、この処理S1における判定の結果、参照画像TPが参照情報記憶部31に記憶されている(有る)場合(Y)には、この撮像画像(入力画像)Ptに対し、テンプレートマッチングを行うために、参照画像TPを取得し(S2)、そして、処理S3を実行する。
When the captured image (input image) Pt is input, the
この処理S3では、距離演算部22は、所定の物体Obを検出する。より具体的には、処理S1で参照画像TPが無いと判定された場合には、距離演算部22は、撮像画像(入力画像)Ptに対し、例えば上述した公知技術によって新たに所定の物体Obを検出する。一方、処理S1で参照画像TPが有ると判定された場合には、距離演算部22は、撮像画像(入力画像)に対し、処理S2で取得した参照画像TPをテンプレートに用いたテンプレートマッチングによって、所定の物体Obを検出し、撮像画像(入力画像)Pt上の新たな前記所定の物体Obの位置および大きさを検出する。
In this process S3, the
次に、処理部2の状態取得部23は、撮像部1の撮像状態を取得し、この取得した撮像部1の撮像状態を破棄判定部24の状態判定部241に通知する(S4)。次に、状態判定部241は、撮像部1の撮像状態の通知を受けると、撮像部1の撮像状態が所定の条件を満たすか否かを判定し、判定結果を保持可否判定部242に通知する(S5)。これら処理S4における前記撮像状態の取得および処理S5における前記撮像状態の判定については、後述する。
Next, the
この処理S5における判定の結果、撮像部1の撮像状態が所定の条件を満たさない場合(N)には、状態判定部241は、その旨を距離演算部22に通知し、これによって距離演算部22は、処理S3で検出した前記所定の物体Obを含む画像を新たな参照画像TPとして参照情報記憶部31に記憶し、保存する(S6)。なお、処理S1で参照画像TPが参照情報記憶部31に記憶されていると判断されていた場合には、距離演算部22は、処理S3で求めた像画像(入力画像)Pt上の新たな前記所定の物体Obの位置および大きさに基づいて、当該移動体と前記所定の物体Obとの間の距離を求める。そして、距離演算部22は、時系列で順次に入力される次の撮像画像(次の入力画像)を処理するために、処理を処理S1に戻す。
As a result of the determination in step S5, when the imaging state of the
一方、処理S5における判定の結果、撮像部1の撮像状態が所定の条件を満たす場合(Y)には、状態判定部241は、その旨を破棄判定部24の保持可否判定部242に通知し、これによって保持可否判定部242は、状態判定部241によって判定された判定の結果に基づいて参照情報記憶部31に記憶された参照画像TPを破棄するか否かを判定する。すなわち、保持可否判定部242は、参照画像TPが参照情報記憶部31に記憶されているか否か(有るか否か)を判定する(S7)。
On the other hand, as a result of the determination in step S5, when the imaging state of the
この処理S7における判定の結果、参照画像TPが参照情報記憶部31に記憶されている(有る)場合(Y)には、保持可否判定部242は、その旨を破棄判定部24の破棄制御部243に通知し、破棄制御部243は、参照情報記憶部31に記憶されている参照画像TPを、参照情報記憶部31に破棄させ(S9)、次の撮像画像(次の入力画像)を処理するために、処理を処理S1に戻す。この処理S9において、参照画像TPは、例えば、参照画像TPのデータ自体を参照情報記憶部31から消去することで放棄されてよく、また例えば、参照画像TPは、参照画像TPのデータを記憶していた記憶領域を開放することで放棄されてよい。
When the reference image TP is stored (present) in the reference
一方、前記処理S7における判定の結果、参照画像TPが参照情報記憶部31に記憶されていない(無い)場合(N)には、保持可否判定部242は、撮像部1の撮像状態が所定の条件を満たす旨を通知部25に通知し、通知部25は、撮像部1の撮像状態が所定の条件を満たす旨を連続的に通知された場合に、その通知回数を連続判定回数nとして計数し、この計数した連続判定回数nが閾値Thn以上であるか否かを判定する(S8)。
On the other hand, when the reference image TP is not stored (is not stored) in the reference information storage unit 31 (N) as a result of the determination in the process S7, the holdability determination unit 242 determines that the imaging state of the
この処理S8における判定の結果、連続判定回数nが閾値Thn未満である場合(N)には、通知部25は、時系列で順次に入力される次の撮像画像(次の入力画像)を処理するために、処理を処理S1に戻す。
As a result of the determination in step S8, when the number of consecutive determinations n is less than the threshold value Thn (N), the
一方、この処理S8における判定の結果、連続判定回数nが閾値Thn以上である場合(N)には、通知部25は、状態取得部23によって取得された前記撮像状態が所定の条件を満たす旨を報知部4によって外部に通知する(S10)。通知部25は、時系列で順次に入力される次の撮像画像(次の入力画像)を処理するために、処理を処理S1に戻す。
On the other hand, if the result of determination in step S8 is that the number of consecutive determinations n is equal to or greater than the threshold value Thn (N), the
なお、図3に示す処理S1ないし処理S10は、上述のように、時系列で順次に入力される撮像画像(入力画像)Ptごとに実行される。したがって、処理S8において、撮像部1の撮像状態が所定の条件を満たす旨を連続的に通知される場合は、これら時系列で順次に入力される撮像画像(入力画像)Ptが、連続して前記所定の条件を満たす撮像状態で連続して撮像される場合である。
Note that the processes S1 to S10 shown in FIG. 3 are executed for each captured image (input image) Pt sequentially input in time series as described above. Therefore, when it is continuously notified in the process S8 that the imaging state of the
ここで、上述の処理S4における前記撮像状態の取得および処理S5における前記撮像状態の判定について、以下に説明する。図4は、撮像部を搭載した車両がトンネルに入る際に、実施形態の測距装置における撮像部の撮像状態として画像の輝度値の中央値を用いた場合における前記撮像状態の判定手法を説明するための図である。図5は、撮像部を搭載した車両がトンネルを出る際に、実施形態の測距装置における撮像部の撮像状態として画像の輝度値の中央値を用いた場合における前記撮像状態の判定手法を説明するための図である。図4Aおよび図5Aは、時系列な撮像画像(各フレーム)における輝度値の中央値の時間変化を示す図であり、その横軸は、フレーム(時間)であり、その縦軸は、輝度値の中央値である。図4Bおよび図5Bは、前記中央値の変化量の時間変化を示す図であり、その横軸は、フレーム(時間)であり、その縦軸は、輝度値の変化量である。図6は、実施形態の測距装置における撮像部に水滴が付着する前後における前記撮像部によって撮像される各撮像画像を模式的に示す図である。図6Aは、前記撮像部に水滴が付着する前に前記撮像部によって撮像される撮像画像を模式的に示し、図6Bは、前記撮像部に水滴が付着した後に前記撮像部によって撮像される撮像画像を模式的に示す。図7は、実施形態の測距装置における撮像部の撮像状態として画像の周波数特性を用いた場合における前記撮像状態の判定手法を説明するための図である。図7Aは、前記撮像部に水滴が付着する前後における各撮像画像の各周波数特性を示し、図7Bは、前記撮像部に水滴が付着したか否かを判定する第1態様の判定手法を説明するための図であり、そして、図7Cは、前記撮像部に水滴が付着したか否かを判定する第2態様の判定手法を説明するための図である。図7A、BおよびCの横軸は、周波数であり、その縦軸は、強度である。図8は、実施形態の測距装置における状態取得部によって用いられる画像領域を説明するための図である。図8Aは、状態取得部によって用いられる第1態様の画像領域を説明するための図であり、図8Bは、状態取得部によって用いられる第2態様の画像領域を説明するための図である。図9は、実施形態の測距装置における撮像部の撮像状態として、前記撮像部を搭載した車両の操舵角を用いた場合における前記撮像状態の判定手法を説明するための図である。図9Aは、操舵角の時間変化を示す図であり、その横軸は、時間であり、その縦軸は、操舵角である。図9Bは、操舵角の変化量の時間変化を示す図であり、その横軸は、時間であり、その縦軸は、操舵角の変化量である。 Here, the acquisition of the imaging state in the above-described process S4 and the determination of the imaging state in the process S5 will be described below. FIG. 4 illustrates the determination method of the imaging state when the vehicle luminance value of the image is used as the imaging state of the imaging unit in the distance measuring apparatus according to the embodiment when the vehicle equipped with the imaging unit enters the tunnel. It is a figure for doing. FIG. 5 illustrates the determination method of the imaging state when the vehicle luminance value of the image is used as the imaging state of the imaging unit in the distance measuring device of the embodiment when the vehicle equipped with the imaging unit exits the tunnel. It is a figure for doing. 4A and 5A are diagrams showing temporal changes in the median luminance value in a time-series captured image (each frame), the horizontal axis is a frame (time), and the vertical axis is the luminance value. Is the median of FIG. 4B and FIG. 5B are diagrams showing the time change of the change amount of the median value, the horizontal axis is the frame (time), and the vertical axis is the change amount of the luminance value. FIG. 6 is a diagram schematically illustrating captured images captured by the imaging unit before and after water droplets adhere to the imaging unit in the distance measuring apparatus according to the embodiment. 6A schematically illustrates a captured image captured by the imaging unit before water droplets adhere to the imaging unit, and FIG. 6B illustrates an image captured by the imaging unit after water droplets adhere to the imaging unit. An image is shown typically. FIG. 7 is a diagram for describing a method for determining the imaging state when the frequency characteristics of the image are used as the imaging state of the imaging unit in the distance measuring apparatus according to the embodiment. FIG. 7A shows each frequency characteristic of each captured image before and after water droplets adhere to the imaging unit, and FIG. 7B illustrates a determination method according to the first aspect for determining whether or not water droplets have adhered to the imaging unit. FIG. 7C is a diagram for explaining a determination method of the second mode for determining whether or not water droplets have adhered to the imaging unit. In FIGS. 7A, 7B, and 7C, the horizontal axis represents frequency, and the vertical axis represents intensity. FIG. 8 is a diagram for explaining an image region used by the state acquisition unit in the distance measuring apparatus according to the embodiment. FIG. 8A is a diagram for explaining an image area of the first mode used by the state acquisition unit, and FIG. 8B is a diagram for explaining an image region of the second mode used by the state acquisition unit. FIG. 9 is a diagram for explaining a method for determining the imaging state when the steering angle of a vehicle equipped with the imaging unit is used as the imaging state of the imaging unit in the distance measuring apparatus according to the embodiment. FIG. 9A is a diagram showing the time change of the steering angle, the horizontal axis is time, and the vertical axis is the steering angle. FIG. 9B is a diagram showing the change over time in the change amount of the steering angle, the horizontal axis is time, and the vertical axis is the change amount of the steering angle.
上述の状態取得部23は、撮像部1によって撮像された時系列な撮像画像のうちの最新の最新撮像画像Ptにおける所定の特徴量に基づいて撮像部1の撮像状態を取得する状態取得部23aであってもよい。このような測距装置DMは、撮像部1によって撮像された最新の撮像画像(入力画像)Ptを用いるので、撮像部1の撮像状態を取得するための装置を別途に必要としない。
The
前記所定の特徴量は、最新撮像画像Ptにおける種々の属性値を用いることができる。例えば、前記所定の特徴量は、最新撮像画像Ptにおける各画素の各画素値の平均値、最新撮像画像Ptにおける各画素の各画素値の中央値、最新撮像画像Ptにおける各画素の各輝度値の平均値および最新撮像画像Ptにおける各画素の各輝度値の中央値等の、最新撮像画像Ptにおける各画素の所定の統計量である。なお、外乱の影響を少なくするために、前記所定の特徴量は、中央値であることが好ましい。より具体的には、最新撮像画像Ptにおける各画素の各画素値の中央値は、時系列な各撮像画像P(各フレーム、時間経過)に対し、移動体がトンネルに入る場合には図4Aに示すように、トンネルに入る前(トンネル外)では相対的に大きな値で推移し、トンネルに差し掛かると漸減し、そして、トンネルに入った後(トンネル内)では相対的に小さな値で推移するように変化する。また、最新撮像画像Ptにおける各画素の各画素値の中央値は、時系列な各撮像画像P(各フレーム、時間経過)に対し、移動体がトンネルから出る場合には図5Aに示すように変化する。前記中央値は、トンネルから出る前(トンネル内)では相対的に小さな値で推移し、トンネルに差し掛かると漸増し、そして、トンネルから出た後(トンネル外)では相対的に大きな値で推移するように変化する。このように最新撮像画像Ptにおける各画素の各画素値の中央値は、変化するので、その変化量(最新撮像画像Ptの中央値と、1つ前の撮像画像Pの中央値との差)は、図4Aの場合では図4Bに示すように、そして、図5Aの場合では図5Bに示すように、トンネルに差し掛かかっている場合のみに、相対的に大きな値となる。このように中央値の変化量は、変化するため、破棄判定部24は、状態取得部23aによって取得された、最新撮像画像Ptの中央値における変化量が所定の閾値Th1以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの中央値における変化量が所定の閾値Th1以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、最新撮像画像Ptの中央値における変化量が所定の閾値Th1未満であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たさないと判定する。前記所定の閾値Th1は、例えば複数のサンプルを測定することによって統計的に適宜に設定される。
As the predetermined feature amount, various attribute values in the latest captured image Pt can be used. For example, the predetermined feature amount includes an average value of each pixel value of each pixel in the latest captured image Pt, a median value of each pixel value of each pixel in the latest captured image Pt, and each luminance value of each pixel in the latest captured image Pt. And a predetermined statistic of each pixel in the latest captured image Pt, such as a median value of each luminance value of each pixel in the latest captured image Pt. In order to reduce the influence of disturbance, the predetermined feature amount is preferably a median value. More specifically, the median value of each pixel value of each pixel in the latest captured image Pt is shown in FIG. 4A when the moving body enters the tunnel with respect to each time-series captured image P (each frame, time elapsed). As shown in Fig. 2, it changes at a relatively large value before entering the tunnel (outside the tunnel), gradually decreases when it reaches the tunnel, and changes at a relatively small value after entering the tunnel (inside the tunnel). To change. Further, the median value of each pixel value of each pixel in the latest captured image Pt is as shown in FIG. 5A when the moving body exits the tunnel with respect to each time-series captured image P (each frame, time elapsed). Change. The median value is relatively small before exiting the tunnel (inside the tunnel), gradually increasing when reaching the tunnel, and relatively large after exiting the tunnel (outside the tunnel). To change. Thus, since the median value of each pixel value of each pixel in the latest captured image Pt changes, the amount of change (the difference between the median value of the latest captured image Pt and the median value of the previous captured image P). As shown in FIG. 4B in the case of FIG. 4A and as shown in FIG. 5B in the case of FIG. 5A, the value is relatively large only when the tunnel is approaching. Since the change amount of the median value changes in this way, the discard
なお、図4および図5に示す前記中央値の変化および前記中央値の変化量の変化は、トンネルの出入りの場合だけでなく、比較的長いガード下を出入りする場合や、順光から逆光になった場合および逆光から順光になった場合や、対向車のライトに撮像部1が照射された場合等の、明るさが変化した場合に生じ得る。
Note that the change in the median value and the change in the median value shown in FIGS. 4 and 5 are not only in the case of entering / exiting the tunnel, but also when entering / exiting a relatively long guard, or from normal light to backlight. This may occur when the brightness changes, such as when the image is changed, when the backlight changes to the forward light, or when the
また、このような撮像状態が変化した場合には、図4および図5に示すように、例えば撮像部1のAE(Automatic Exposure、自動露出)が機能するまでのように、変化後の撮像状態に撮像部1が対処して撮像画像が安定するまで、通常、所定の時間を要する(AEの不安定な期間Tu)。このため、上述の測距装置DMにおいて、図1に破線で示すように、参照情報記憶部31に記憶された参照画像TPを破棄した場合に、この破棄を判定した処理S1ないし処理S10の処理に用いられた撮像画像(入力画像、上記最新撮像画像)Ptを撮像した以後で所定枚数を撮像した後(所定時間経過した後)に、撮像部1によって撮像された撮像画像Pを新たな参照画像TPとして参照情報記憶部31に記憶する参照情報更新部をさらに備えるように、測距装置DMが構成されてもよい。このような参照情報更新部を備えることによって、この不安定な状態で撮像された撮像画像を参照情報記憶部31に記憶することが低減され、測距装置DMは、検出精度を向上することができる。
When such an imaging state changes, as shown in FIGS. 4 and 5, for example, until the AE (Automatic Exposure) of the
また例えば、前記所定の特徴量は、最新撮像画像Ptにおける周波数特性である。例えば撮像部1に虫や水滴等の異物が付着した場合、前方の一部が不明瞭となり、前記異物の前後で最新撮像画像Ptの周波数特性が変化する。この撮像画像Pの周波数特性は、撮像画像Pに含まれる周波数成分(強度)の分布である周波数スペクトルであり、周波数に対する強度である。例えば、撮像部1に水滴Dpが付着する場合、水滴Dpの付着前では、撮像画像P1は、図6Aに模式的に示すように、全体に亘って比較的鮮明であるが、水滴Dpの付着後では、撮像画像P2は、図6Bに模式的に示すように、一部分が比較的不鮮明となる。このため、水滴Dpの付着後における撮像画像P2は、水滴Dpの付着前における撮像画像P1に較べて高周波成分が減少する。したがって、図7Aに示すように、水滴Dpの付着前における撮像画像P1の周波数特性αと、水滴Dpの付着後における撮像画像P2の周波数特性βとは、異なり、水滴Dpの付着後における撮像画像P2の周波数特性βは、水滴Dpの付着前における撮像画像P1の周波数特性αに対し、低周波側(例えば周波数fL以下の周波数範囲)の強度が大きい一方、高周波側(例えば周波数fH以上の周波数範囲)の強度が小さいプロファイルとなる。
For example, the predetermined feature amount is a frequency characteristic in the latest captured image Pt. For example, when a foreign matter such as an insect or a water droplet adheres to the
このように異物の付着の前後において撮像画像の周波数特性は、変化するため、破棄判定部24は、例えば、図7Bに示すように、状態取得部23aによって取得された、最新撮像画像Ptの周波数特性における低周波数fLの変化量が所定の閾値Th21以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの周波数特性における低周波数fLの変化量が所定の閾値Th21以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、前記変化量が所定の閾値Th21未満であると判定した場合には、前記撮像状態が所定の条件を満たさないと判定する。また例えば、破棄判定部24は、図7Bに示すように、状態取得部23aによって取得された、最新撮像画像Ptの周波数特性における高周波数fHの変化量が所定の閾値Th22以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの周波数特性における高周波数fHの変化量が所定の閾値Th22以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、前記変化量が所定の閾値Th22未満であると判定した場合には、前記撮像状態が所定の条件を満たさないと判定する。また例えば、破棄判定部24は、状態取得部23によって取得された、最新撮像画像Ptの周波数特性における低周波数fLの変化量が所定の閾値Th21以上であってその高周波数fHの変化量が所定の閾値Th22以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの周波数特性における低周波数fLの変化量が所定の閾値Th21以上であって前記高周波数fHの変化量が所定の閾値Th22以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定し、これ以外の場合には、前記撮像状態が所定の条件を満たさないと判定する。
Thus, since the frequency characteristics of the captured image change before and after the attachment of the foreign matter, the discard
あるいは、破棄判定部24は、例えば、図7Cに示すように、状態取得部23aによって取得された、最新撮像画像Ptの周波数特性における低周波数fLの強度が所定の閾値Th31以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの周波数特性における低周波数fLの強度が所定の閾値Th31以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、前記強度が所定の閾値Th31未満であると判定した場合には、前記撮像状態が所定の条件を満たさないと判定する。また例えば、破棄判定部24は、図7Cに示すように、状態取得部23aによって取得された、最新撮像画像Ptの周波数特性における高周波数fHの強度量が所定の閾値Th32以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの周波数特性における高周波数fHの強度量が所定の閾値Th32以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、前記強度が所定の閾値Th32未満であると判定した場合には、前記撮像状態が所定の条件を満たさないと判定する。また例えば、破棄判定部24は、状態取得部23によって取得された、最新撮像画像Ptの周波数特性における低周波数fLの変化量が所定の閾値Th21以上であってその高周波数fHの変化量が所定の閾値Th22以上であるか否かを判定することによって、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、最新撮像画像Ptの周波数特性における低周波数fLの変化量が所定の閾値Th21以上であってその高周波数fHの変化量が所定の閾値Th22以上であると判定した場合には、状態取得部23aによって取得された前記撮像状態が所定の条件を満たすと判定し、これ以外の場合には、前記撮像状態が所定の条件を満たさないと判定する。
Alternatively, for example, as illustrated in FIG. 7C, the discard
これら前記所定の閾値Th21、Th22、Th31、Th32は、例えば複数のサンプルを測定することによって統計的に適宜に設定される。 These predetermined threshold values Th21, Th22, Th31, Th32 are statistically appropriately set by measuring, for example, a plurality of samples.
なお、上述では、状態取得部23は、1つの特徴量を取得し、破棄判定部24は、この状態取得部23によって取得された1つの特徴量に基づいて撮像状態を判定したが、状態取得部23は、複数の特徴量をそれぞれ取得し、破棄判定部24は、この状態取得部23によって取得されたこれら複数の特徴量に基づいて撮像状態を判定してもよい。
In the above description, the
また、このような撮像画像Pから特徴量を検出する場合に、状態取得部23aは、最新撮像画像Ptの一部を用いることが好ましい。このように最新撮像画像(入力画像)Ptの一部を用いて撮像部1の撮像状態を取得するので、情報処理の負荷が低減される。最新撮像画像Ptの一部は、例えば、図9Aに示すように、最新撮像画像Pt1における移動体に最も近接する下端から消失点までの矩形領域Pt11であってよい。一般に、撮像画像Pにおける例えば路面の消失点よりも上側の領域は、空が描画されている場合が多く、移動体の移動に対する障害物を判定する領域から除外可能である。このため、最新撮像画像Ptの一部を消失点よりも下側の領域に設定することによって、移動体の移動に対する障害物を判定する観点から、測距装置DMは、撮像画像Pから特徴量を検出する画像領域を適切に設定できる。また、移動体の移動に対する障害物は、移動体の走行領域内に存在するものが重要であるから、また例えば、最新撮像画像Ptの一部は、図9Bに示すように、移動体の走行領域Pt21であってよい。移動体の走行領域Pt21は、例えば、最新撮像画像Pt2における移動体に最も近接する下端の両端と消失点とによって囲まれる三角形領域(仮想の走行領域)であってよく、また例えば、移動体の走行領域Pt21は、最新撮像画像Pt2における移動体に最も近接する下端と路面の両端に描画される一対の白線とによって囲まれる三角形領域(実際の走行領域)であってよい。図9Bに示す例では、路面の両端に描画される一対の白線は、消失点で交差している。消失点は、実際には平行である平行線が画像中で交わる点であり、撮像画像が遠近法を用いたように形成されるために生じる。このように最新撮像画像Ptの一部を移動体の走行領域Pt21に設定することによって、その面積が図9Aに示す矩形領域Pt11の面積よりも狭くなるので、情報処理の負荷がより低減される。
Moreover, when detecting a feature-value from such a captured image P, it is preferable that the
また、上述の状態取得部23は、撮像部1の撮像状態として撮像部1の撮像方向を取得する状態取得部23bであってもよい。このような測距装置DMは、撮像部1の撮像方向を撮像部1の撮像状態とするので、移動体の移動方向を撮像部1の撮像状態に流用することができ、また、例えば左折や右折等の、移動体の移動方向の変更に対処できる。
The
撮像部1の撮像方向は、移動体に搭載される撮像部1が、通常、上述したように、移動体の移動方向に一致するように配設されるため、移動体の移動方向を取得することによって取得可能である。より具体的には、例えば、上述の測距装置DMは、移動体に搭載され、移動体の移動方向を検出するジャイロセンサをさらに備え、状態取得部23bは、前記ジャイロセンサの検出結果に基づいて移動体の移動方向、すなわち、撮像部1の撮像方向を取得する。また例えば、移動体が車両である場合には、状態取得部23bは、操舵角情報をいわゆるCAN(Controller Area Network)を伝送する車両情報から取得し、この取得した操舵角情報に基づいて移動体の移動方向、すなわち、撮像部1の撮像方向を取得する。前記車両情報は、操舵角情報の他に、横加速度、ヨーレートおよび横滑り防止装置の動作情報等も含まれ、状態取得部23bは、これらの情報に基づいて、あるいは、これらの情報も考慮することで移動体の移動方向、すなわち、撮像部1の撮像方向を取得してもよい。このように状態取得部23bが撮像部1の撮像方向を取得する場合には、破棄判定部24は、状態取得部23bによって取得された撮像部1の撮像方向が所定の条件を満たすか否かを判定することによって、前記撮像状態が所定の条件を満たすか否かを判定できる。例えば、撮像部1の撮像方向として状態取得部23bが操舵角を用いる場合には、ドライバーが操舵することによって、操舵角は、時間経過に従って、例えば、図9Aに示すように、操舵の開始(ハンドルの回転開始)に応じて増加を始め、移動体の方向転換中では操舵が維持されるので(ハンドルが固定されるので)、略一定となり、そして、移動体の方向がドライバーの所望の方向に略転換すると操舵が戻されるので(ハンドルが戻されるので)、減少を始めるプロファイルとなる。このため、破棄判定部24は、例えば、図9Aに示すように、状態取得部23bによって取得された操舵角が所定の閾値Th41以上であるか否かを判定することによって、状態取得部23bによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、状態取得部23bによって取得された操舵角が所定の閾値Th41以上であると判定した場合には、状態取得部23bによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、前記操舵角が所定の閾値Th41未満であると判定した場合には、前記撮像状態が所定の条件を満たさないと判定する。また、操舵角は、上述のように変化するので、その変化量(最新撮像画像Ptを撮像した際の操舵角と、1つ前の撮像画像Pを撮像した際の操舵角との差)は、図9Bに示すように、操舵している場合(ハンドルの回転中の場合)のみに、相対的に大きな値となる。このように操舵角の変化量は、変化するため、また例えば、破棄判定部24は、図9Bに示すように、状態取得部23bによって取得された操舵角の変化量が所定の閾値Th42以上であるか否かを判定することによって、状態取得部23bによって取得された前記撮像状態が所定の条件を満たすか否かを判定できる。すなわち、破棄判定部24は、状態取得部23bによって取得された操舵角の変化量(絶対値)が所定の閾値Th42以上であると判定した場合には、状態取得部23bによって取得された前記撮像状態が所定の条件を満たすと判定する。そして、破棄判定部24は、前記操舵角の変化量(絶対値)が所定の閾値Th42未満であると判定した場合には、前記撮像状態が所定の条件を満たさないと判定する。これら前記所定の閾値Th41、Th42は、例えば複数のサンプルを測定することによって統計的に適宜に設定される。
As for the imaging direction of the
このように本実施形態における測距装置DMおよびこれに実装された測距方法では、前記撮像状態が所定の条件を満たすか否かが判定され、この判定の結果に基づいて参照情報記憶部31に記憶された参照画像TPを破棄するか否かが判定される。このため、本実施形態における測距装置DMおよび測距方法は、前記破棄の判定結果に基づいて参照情報記憶部31に記憶された参照画像TPを破棄すべきか否かが分かるので、前記撮像状態が変化した場合でも上述した誤検出や未検出を低減し、検出精度を向上できる。
As described above, in the distance measuring device DM and the distance measuring method implemented in the present embodiment, it is determined whether or not the imaging state satisfies a predetermined condition, and the reference
また、本実施形態における測距装置DMおよび測距方法は、前記撮像状態が所定の条件を満たすと判定した場合に、参照情報記憶部31に記憶された参照画像TPを破棄するので、前記誤検出や未検出を確実に防止できる。
In addition, the distance measuring device DM and the distance measuring method in the present embodiment discard the reference image TP stored in the reference
また、本実施形態における測距装置DMおよび測距方法では、ユーザは、報知部4を用いた通知部25の通知によって、前記撮像状態が所定の条件を満たすと連続的に判定されたことを認識することができる。前記撮像状態が所定の条件を満たすと連続的に判定された場合では、撮像部1における異物の固着や測距装置DMの故障等の一時的ではない異常が生じているものと推察される。したがって、本実施形態における測距装置DMおよび測距方法は、通知部25を備えるので、例えば撮像部1を点検する等の適宜な措置をユーザに促すことができる。このため、前記閾値Thnは、この観点から、フレームレートに応じた適宜な回数、例えば、15回や30回等に設定される。
Further, in the distance measuring device DM and the distance measuring method according to the present embodiment, the user continuously determines that the imaging state satisfies a predetermined condition by the notification of the
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。 The present specification discloses various aspects of the technology as described above, and the main technologies are summarized below.
一態様にかかる測距装置は、移動体に搭載され、被写体を時間的に連続して撮像する撮像部と、前記撮像部によって撮像された時系列な撮像画像のうちの1つを参照画像として記憶する参照情報記憶部と、前記撮像部によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と前記参照情報記憶部に記憶された前記参照画像とに基づいて前記最新撮像画像に含まれる所定の物体までの距離を求める距離演算部と、前記撮像部の撮像状態を取得する状態取得部と、前記状態取得部によって取得された前記撮像状態が所定の条件を満たすか否かを判定し、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かを判定する破棄判定部とを備える。そして、他の一態様にかかる測距方法は、移動体に搭載され、被写体を時間的に連続して撮像する撮像工程と、前記撮像工程によって撮像された時系列な撮像画像のうちの1つを参照画像として参照情報記憶部に記憶する記憶工程と、前記撮像工程によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と前記参照情報記憶部に記憶された前記参照画像とに基づいて前記最新撮像画像に含まれる所定の物体までの距離を求める距離演算工程と、前記撮像部の撮像状態を取得する状態取得工程と、前記状態取得工程によって取得された前記撮像状態が所定の条件を満たすか否かを判定し、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かを判定する破棄判定工程とを備える。 A distance measuring apparatus according to an aspect is mounted on a moving body, and an imaging unit that continuously images a subject in time and one of time-series captured images captured by the imaging unit as a reference image Based on the reference information storage unit to be stored, the latest latest captured image of the time-series captured images captured by the imaging unit, and the reference image stored in the reference information storage unit, A distance calculation unit that obtains a distance to a predetermined object included, a state acquisition unit that acquires an imaging state of the imaging unit, and whether or not the imaging state acquired by the state acquisition unit satisfies a predetermined condition And a discard determination unit that determines whether to discard the reference image stored in the reference information storage unit based on the determination result. The distance measuring method according to another aspect is mounted on a moving body and is one of an imaging process for imaging a subject continuously in time, and a time-series captured image captured by the imaging process. A reference image stored in the reference information storage unit, a latest latest captured image of the time-series captured images captured in the imaging step, and the reference image stored in the reference information storage unit A distance calculation step for obtaining a distance to a predetermined object included in the latest captured image, a state acquisition step for acquiring an imaging state of the imaging unit, and the imaging state acquired by the state acquisition step are predetermined. A discard determination step of determining whether or not a condition is satisfied and determining whether or not to discard the reference image stored in the reference information storage unit based on the determination result.
このような測距装置および測距方法では、前記撮像状態が所定の条件を満たすか否かが判定され、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かが判定される。このため、このような測距装置および測距方法は、前記破棄の判定結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄すべきか否かが分かるので、前記撮像状態が変化した場合でも検出精度を向上できる。 In such a distance measuring apparatus and distance measuring method, it is determined whether or not the imaging state satisfies a predetermined condition, and the reference image stored in the reference information storage unit is discarded based on the determination result. It is determined whether or not. For this reason, since the distance measuring apparatus and the distance measuring method can determine whether or not the reference image stored in the reference information storage unit should be discarded based on the determination result of the discard, the imaging state changes. Even in this case, the detection accuracy can be improved.
また、他の一態様では、上述の測距装置において、前記破棄判定部は、前記状態取得部によって取得された前記撮像状態が所定の条件を満たすと判定した場合に、前記参照情報記憶部に記憶された前記参照画像を破棄する。そして、好ましくは、この測距装置は、前記参照情報記憶部に記憶された前記参照画像を破棄した場合に、前記最新撮像画像を撮像した以後で所定枚数を撮像した後に前記撮像部によって撮像された撮像画像を新たな参照画像として前記参照情報記憶部に記憶する参照情報更新部をさらに備える。 In another aspect, in the distance measuring device described above, when the discard determination unit determines that the imaging state acquired by the state acquisition unit satisfies a predetermined condition, the discard determination unit stores the reference information storage unit. The stored reference image is discarded. Preferably, when the reference image stored in the reference information storage unit is discarded, the distance measuring device is captured by the imaging unit after capturing a predetermined number of images after capturing the latest captured image. And a reference information update unit that stores the captured image as a new reference image in the reference information storage unit.
このような測距装置は、前記撮像状態が所定の条件を満たすと判定した場合に、前記参照情報記憶部に記憶された前記参照画像を破棄するので、上述した誤検出や未検出を確実に防止できる。 Since such a distance measuring device discards the reference image stored in the reference information storage unit when it is determined that the imaging state satisfies a predetermined condition, the above-described erroneous detection and non-detection are ensured. Can be prevented.
また、他の一態様では、これら上述の測距装置において、前記状態取得部は、前記撮像部によって撮像された前記最新撮像画像における所定の特徴量に基づいて前記撮像部の撮像状態を取得する。そして、好ましくは、この測距装置において、前記状態取得部は、前記所定の特徴量として、画素値または輝度値の統計量(例えば平均値や中央値等)を取得するものである。また、好ましくは、この測距装置において、前記状態取得部は、前記所定の特徴量として、前記最新撮像画像における周波数特性を取得するものである。 In another aspect, in the above-described distance measuring device, the state acquisition unit acquires the imaging state of the imaging unit based on a predetermined feature amount in the latest captured image captured by the imaging unit. . Preferably, in the distance measuring apparatus, the state acquisition unit acquires a statistic (for example, an average value or a median value) of a pixel value or a luminance value as the predetermined feature amount. Preferably, in the distance measuring apparatus, the state acquisition unit acquires a frequency characteristic in the latest captured image as the predetermined feature amount.
このような測距装置は、前記撮像部によって撮像された前記最新撮像画像における所定の特徴量に基づいて前記撮像部の撮像状態を取得するので、前記撮像部の撮像状態を取得するための装置を別途に必要としない。 Since such a distance measuring device acquires the imaging state of the imaging unit based on a predetermined feature amount in the latest captured image captured by the imaging unit, an apparatus for acquiring the imaging state of the imaging unit Is not required separately.
また、他の一態様では、上述の測距装置において、前記状態取得部は、前記最新撮像画像の一部を用いる。 According to another aspect, in the distance measuring device described above, the state acquisition unit uses a part of the latest captured image.
このような測距装置は、前記最新撮像画像の一部を用いて前記撮像部の撮像状態を取得するので、情報処理の負荷を低減できる。 Since such a distance measuring device acquires the imaging state of the imaging unit using a part of the latest captured image, the load of information processing can be reduced.
また、他の一態様では、これら上述の測距装置において、前記状態取得部は、前記撮像部の撮像状態として前記撮像部の撮像方向を取得する。 According to another aspect, in the above-described distance measuring device, the state acquisition unit acquires an imaging direction of the imaging unit as an imaging state of the imaging unit.
通常、前記撮像部は、その撮像方向と移動体の移動方向とを一致させて移動体に配設される。したがって、このような測距装置は、前記撮像部の撮像方向を前記撮像部の撮像状態とするので、移動体の移動方向を前記撮像部の撮像状態に流用することができ、また、例えば左折や右折等の、移動体の移動方向の変更に対処できる。 Usually, the imaging unit is arranged on the moving body with its imaging direction and the moving direction of the moving body being matched. Therefore, since such a distance measuring device sets the imaging direction of the imaging unit to the imaging state of the imaging unit, the moving direction of the moving body can be diverted to the imaging state of the imaging unit. It is possible to cope with changes in the moving direction of the moving body, such as turning right or turning.
また、他の一態様では、これら上述の測距装置において、前記状態取得部によって取得された前記撮像状態が所定の条件を満たすと前記破棄判定部によって連続的に判定された連続判定回数が閾値以上である場合に、前記状態取得部によって取得された前記撮像状態が所定の条件を満たす旨を外部に通知する通知部をさらに備える。 In another aspect, in the above-described distance measuring device, the number of continuous determinations continuously determined by the discard determination unit when the imaging state acquired by the state acquisition unit satisfies a predetermined condition is a threshold value. In the case described above, the information processing apparatus further includes a notification unit that notifies the outside that the imaging state acquired by the state acquisition unit satisfies a predetermined condition.
このような測距装置では、ユーザは、前記通知部の通知によって、前記撮像状態が所定の条件を満たすと連続的に判定されたことを認識することができる。したがって、このような測距装置は、前記通知部を備えるので、例えば撮像部を点検する等の適宜な措置をユーザに促すことができる。 In such a distance measuring apparatus, the user can recognize that the imaging state is continuously determined to satisfy a predetermined condition by the notification of the notification unit. Therefore, since such a distance measuring device includes the notification unit, it is possible to prompt the user to take appropriate measures such as checking the imaging unit.
この出願は、2013年6月21日に出願された日本国特許出願特願2013−130709を基礎とするものであり、その内容は、本願に含まれるものである。 This application is based on Japanese Patent Application No. 2013-130709 filed on June 21, 2013, the contents of which are included in the present application.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 In order to express the present invention, the present invention has been properly and fully described through the embodiments with reference to the drawings. However, those skilled in the art can easily change and / or improve the above-described embodiments. It should be recognized that this is possible. Therefore, unless the modifications or improvements implemented by those skilled in the art are at a level that departs from the scope of the claims recited in the claims, the modifications or improvements are not covered by the claims. To be construed as inclusive.
本発明によれば、測距装置および測距方法を提供することができる。 According to the present invention, a distance measuring device and a distance measuring method can be provided.
Claims (7)
前記撮像部によって撮像された時系列な撮像画像のうちの1つを参照画像として記憶する参照情報記憶部と、
前記撮像部によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と前記参照情報記憶部に記憶された前記参照画像とに基づいて前記最新撮像画像に含まれる所定の物体までの距離を求める距離演算部と、
前記撮像部の撮像状態を取得する状態取得部と、
前記状態取得部によって取得された前記撮像状態が所定の条件を満たすか否かを判定し、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かを判定する破棄判定部とを備えること
を特徴とする測距装置。An imaging unit that is mounted on a moving body and continuously images a subject; and
A reference information storage unit that stores one of time-series captured images captured by the imaging unit as a reference image;
The distance to a predetermined object included in the latest captured image based on the latest latest captured image of the time-series captured images captured by the imaging unit and the reference image stored in the reference information storage unit A distance calculation unit for obtaining
A state acquisition unit for acquiring an imaging state of the imaging unit;
It is determined whether or not the imaging state acquired by the state acquisition unit satisfies a predetermined condition, and whether or not to discard the reference image stored in the reference information storage unit based on the determination result A ranging device comprising: a discard determination unit for determining.
を特徴とする請求項1に記載の測距装置。The discard determination unit discards the reference image stored in the reference information storage unit when it is determined that the imaging state acquired by the state acquisition unit satisfies a predetermined condition. Item 3. The distance measuring device according to Item 1.
を特徴とする請求項1または請求項2に記載の測距装置。The measurement state according to claim 1, wherein the state acquisition unit acquires an imaging state of the imaging unit based on a predetermined feature amount in the latest captured image captured by the imaging unit. Distance device.
を特徴とする請求項3に記載の測距装置。The distance measuring device according to claim 3, wherein the state acquisition unit uses a part of the latest captured image.
を特徴とする請求項1または請求項2に記載の測距装置。The distance measuring device according to claim 1, wherein the state acquisition unit acquires an imaging direction of the imaging unit as an imaging state of the imaging unit.
を特徴とする請求項1ないし請求項5のいずれか1項に記載の測距装置。When the imaging state acquired by the state acquisition unit satisfies a predetermined condition, the imaging acquired by the state acquisition unit when the number of continuous determinations continuously determined by the discard determination unit is greater than or equal to a threshold value The distance measuring apparatus according to any one of claims 1 to 5, further comprising a notification unit that notifies the outside that the state satisfies a predetermined condition.
前記撮像工程によって撮像された時系列な撮像画像のうちの1つを参照画像として参照情報記憶部に記憶する記憶工程と、
前記撮像工程によって撮像された時系列な撮像画像のうちの最新の最新撮像画像と前記参照情報記憶部に記憶された前記参照画像とに基づいて前記最新撮像画像に含まれる所定の物体までの距離を求める距離演算工程と、
前記撮像部の撮像状態を取得する状態取得工程と、
前記状態取得工程によって取得された前記撮像状態が所定の条件を満たすか否かを判定し、前記判定の結果に基づいて前記参照情報記憶部に記憶された前記参照画像を破棄するか否かを判定する破棄判定工程とを備えること
を特徴とする測距方法。An imaging process that is mounted on a moving body and images a subject continuously in time,
A storage step of storing one of the time-series captured images captured by the imaging step as a reference image in a reference information storage unit;
A distance to a predetermined object included in the latest captured image based on the latest latest captured image of the time-series captured images captured in the imaging step and the reference image stored in the reference information storage unit A distance calculation step for obtaining
A state acquisition step of acquiring an imaging state of the imaging unit;
It is determined whether or not the imaging state acquired by the state acquisition step satisfies a predetermined condition, and whether or not to discard the reference image stored in the reference information storage unit based on the determination result And a discard determination step for determining.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013130709 | 2013-06-21 | ||
JP2013130709 | 2013-06-21 | ||
PCT/JP2014/062897 WO2014203658A1 (en) | 2013-06-21 | 2014-05-14 | Distance measurement device and distance measurement method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2014203658A1 true JPWO2014203658A1 (en) | 2017-02-23 |
Family
ID=52104400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015522667A Pending JPWO2014203658A1 (en) | 2013-06-21 | 2014-05-14 | Ranging device and ranging method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2014203658A1 (en) |
WO (1) | WO2014203658A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3345995B2 (en) * | 1993-11-12 | 2002-11-18 | トヨタ自動車株式会社 | Road white line detector |
JP3861781B2 (en) * | 2002-09-17 | 2006-12-20 | 日産自動車株式会社 | Forward vehicle tracking system and forward vehicle tracking method |
JP3906210B2 (en) * | 2004-02-13 | 2007-04-18 | 株式会社東芝 | Vehicle tracking device and program |
JP5011049B2 (en) * | 2007-09-28 | 2012-08-29 | 日立オートモティブシステムズ株式会社 | Image processing system |
-
2014
- 2014-05-14 JP JP2015522667A patent/JPWO2014203658A1/en active Pending
- 2014-05-14 WO PCT/JP2014/062897 patent/WO2014203658A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014203658A1 (en) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4631096B2 (en) | Vehicle periphery monitoring device | |
JP6257792B2 (en) | Camera covering state recognition method, camera system, and automobile | |
JP5887219B2 (en) | Lane departure warning device | |
JP6364797B2 (en) | Image analysis apparatus and image analysis method | |
JP6220327B2 (en) | Traveling lane marking recognition device, traveling lane marking recognition program | |
US10127460B2 (en) | Lane boundary line information acquiring device | |
JP2007257449A (en) | Road division line detector | |
JP2008301342A (en) | Vehicle exterior monitoring apparatus | |
JP2007164636A (en) | Lane line detection device | |
JP4528283B2 (en) | Vehicle periphery monitoring device | |
JP2008027309A (en) | Collision determination system and collision determination method | |
JP5759950B2 (en) | In-vehicle camera device | |
JP2014160322A (en) | Lane boundary deviation suppression device | |
JP2009219555A (en) | Drowsiness detector, driving support apparatus, drowsiness detecting method | |
JP2007128460A (en) | Collision determination system, collision determination method, computer program, and determination device | |
JP2010108182A (en) | Vehicle driving support apparatus | |
JP2010093569A (en) | Vehicle periphery monitoring device | |
WO2014203658A1 (en) | Distance measurement device and distance measurement method | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
JP2009193130A (en) | Vehicle surrounding monitoring device, vehicle, program for vehicle surrounding monitoring and vehicle surrounding monitoring method | |
JP2008042759A (en) | Image processing apparatus | |
JP5957315B2 (en) | In-vehicle lane recognition system | |
JP5742676B2 (en) | Lane boundary recognition device | |
JP2006107000A (en) | Method and device for deciding image abnormality | |
JP6564682B2 (en) | Object detection device, object detection method, and object detection program |