WO2022163224A1 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
WO2022163224A1
WO2022163224A1 PCT/JP2021/047387 JP2021047387W WO2022163224A1 WO 2022163224 A1 WO2022163224 A1 WO 2022163224A1 JP 2021047387 W JP2021047387 W JP 2021047387W WO 2022163224 A1 WO2022163224 A1 WO 2022163224A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
reliability
signal amount
measuring device
image
Prior art date
Application number
PCT/JP2021/047387
Other languages
English (en)
French (fr)
Inventor
繁 齋藤
信三 香山
佑亮 湯浅
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2022578157A priority Critical patent/JPWO2022163224A1/ja
Priority to CN202180091972.4A priority patent/CN116783510A/zh
Publication of WO2022163224A1 publication Critical patent/WO2022163224A1/ja
Priority to US18/220,958 priority patent/US20230350068A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present disclosure relates to a distance measuring device that generates distance image data using interval images generated in multiple distance zones.
  • Patent Document 1 as a distance measuring device, a TOF (Time Of Flight) distance image and a distance image estimated from luminance are acquired, and when the distance variation of the TOF distance image is larger than a predetermined threshold, the distance image estimated from luminance is obtained. is disclosed.
  • TOF Time Of Flight
  • Patent Document 1 simply has a function of selecting a range image with low variation.
  • the distance variation is calculated from the TOF range image, for example, when there is actually a small object or the object is moving between frames, the true distance value and the distance variation can be calculated. Difficult to separate. If possible, it is preferable to be able to appropriately evaluate the reliability of the distance value for each area of the distance image.
  • the present disclosure has been made in view of this point, and aims to appropriately evaluate the reliability of distance values in a distance image in a distance measurement device that generates a distance image from a plurality of interval images.
  • a distance image generation unit that generates a distance image based on a plurality of interval images obtained by dividing an imaging region by distance, and a signal amount in the plurality of interval images for each pixel of the distance image Among them, the largest signal amount or the average value of a plurality of largest signal amounts is obtained as the maximum signal amount, and among the signal amounts in the plurality of section images, the signal used to obtain the maximum signal amount a reliability calculation unit that obtains an average value of the signal amount excluding the amount as a background signal amount, and obtains a difference between the maximum signal amount and the background signal amount as a distance determination reliability.
  • Configuration example of the entire system of the distance measuring device according to the embodiment (a) and (b) are methods for deriving the distance determination reliability in the embodiment.
  • a distance measurement device includes: a distance image generation unit that generates a distance image based on a plurality of segment images obtained by dividing an imaging region by distance; Among the signal amounts in the section images, the largest signal amount or the average value of the largest signal amounts is obtained as the maximum signal amount, and the maximum signal amount is obtained among the signal amounts in the plurality of section images.
  • a reliability calculation unit that obtains the average value of the signal amount excluding the signal amount used for as the background signal amount, and obtains the difference between the maximum signal amount and the background signal amount as the distance determination reliability, is configured as
  • the reliability calculation unit obtains the maximum signal amount and the background signal amount from the signal amounts in the plurality of interval images for each pixel of the distance image, and calculates the difference between the maximum signal amount and the background signal amount as the distance determination reliability. Calculate as a degree. Therefore, as the distance determination reliability, it is possible to obtain an analog quantity that serves as an index of the reliability of the distance value indicated by the distance image.
  • the reliability calculation unit may generate a reliability map representing the distance determination reliability corresponding to the area of the distance image.
  • the reliability calculation unit recognizes an object attribute for a predetermined region in the reliability map based on patterns of signal amounts in the plurality of interval images. It may be provided with a part.
  • the object attribute recognized by the object recognition unit may include at least a retroreflective object or a high-brightness light irradiation object.
  • a distance measurement device includes: a distance image generation unit that generates a distance image based on a plurality of interval images obtained by dividing an imaging area by distance; and an object recognition unit that recognizes a retroreflective object by comparing a signal amount pattern in the interval image with a signal amount distance change pattern in the diffuse reflectance limit.
  • the object recognition unit can accurately detect the retroreflective object.
  • FIG. 1 is a block diagram showing a configuration example of the entire system of the distance measuring device according to the embodiment.
  • the space to be imaged that is, the imaging region is divided into a plurality of distance zones (referred to as sections) based on the distance from a reference point in the depth direction.
  • a section image is generated based on the amount of light.
  • a range image and a luminance image are generated based on the plurality of interval images (referred to as an interval image set).
  • the distance measuring device according to the embodiment may be configured so as not to generate a luminance image.
  • the detection unit 10 generates a set of interval images based on the so-called TOF (Time Of Flight) method. and a pulse controller 13 for controlling the light emission timing of the light source 11 and the light reception timing of the light receiver 12 .
  • TOF Time Of Flight
  • the storage unit 20 includes an image storage memory 21 for storing the segment image set generated by the detection unit 10 .
  • the storage unit 20 stores object attribute feature data 22 for use in object recognition processing, which will be described later.
  • the image processing unit 30 includes a distance image generation unit 31, a luminance image generation unit 32, a reliability map generation unit 33, and an object recognition unit 34.
  • the distance image generation unit 31 uses the interval image set stored in the image storage memory 21 to generate a distance image in which a distance value is indicated for each pixel.
  • the luminance image generation unit 32 uses the segment image set stored in the image storage memory 21 to generate a luminance image in which a luminance value is indicated for each pixel.
  • a reliability map generation unit 33 as a reliability calculation unit obtains a distance determination reliability, which will be described later, for each pixel, and generates a reliability map indicating the distance determination reliability corresponding to the region of the distance image.
  • the object recognition unit 34 uses the object attribute feature data 22 stored in the storage unit 20 based on the interval image set and the distance determination reliability obtained by the reliability map generation unit 33 to determine the attribute of the object in the target space. to recognize Note that the reliability calculation unit in the present disclosure may include the reliability map generation unit 33 and the object recognition unit 34 .
  • FIG. 2 shows a method of deriving the distance determination reliability in the embodiment.
  • N is 15, for example.
  • the position of the segment image MAX is estimated as the distance value of the object located at the pixel (x,y).
  • a value obtained by subtracting the BG amount (background signal amount), which is the signal amount of background light, from the maximum value of the reflected light signal amount is defined as the distance determination reliability.
  • Fig. 3 is an image diagram showing an example of a reliability map.
  • the area corresponding to the distance image is divided into areas with "high”, “medium”, and “low” distance determination reliability.
  • the area A1 is an area corresponding to, for example, road signs
  • the areas A2 and A3 are areas corresponding to, for example, white lines on the road.
  • Areas C1 and C2 are areas corresponding to, for example, vehicle headlights.
  • the distance determination reliability is divided into three stages, but the method of representing the distance determination reliability in the reliability map is not limited to this.
  • Object attributes that can be specified in this embodiment include, for example, a retroreflective object, a high-intensity light irradiation object, and the like.
  • retroreflection occurs on road signs and white lines.
  • a retroreflective object reflects a signal amount exceeding the diffuse reflectance limit (100%) even at a distance.
  • the signal amount pattern in a plurality of interval images is compared with the signal amount distance change pattern at the diffuse reflectance limit. Specifically, a line indicating the diffuse reflectance limit is plotted with respect to the signal amount pattern in each section.
  • the diffuse reflectance limit is expressed by the following equation.
  • I (const) is the irradiation intensity of light
  • R (object) is the maximum diffuse reflectance
  • D is the distance.
  • the object attribute feature data 22 stored in the storage unit 20 includes, for example, data representing the line indicating the diffuse reflectance limit, a threshold value for the divergence between the signal amount at the object position and the line indicating the diffuse reflectance limit, etc. Stored.
  • the headlights of a vehicle are objects that emit high-brightness light.
  • An object irradiated with high-intensity light has a small difference between the maximum amount of reflected light and the amount of BG, making it difficult to identify the position of the object, but the amount of BG is remarkably high. Therefore, for example, when the distance determination reliability described above is low and the BG amount is significantly high, the object is identified as an object irradiated with high-intensity light.
  • the object attribute feature data 22 stored in the storage unit 20 for example, a threshold value on the side of low distance determination reliability and a threshold value on the side of high BG amount are stored.
  • FIG. 5 is a flowchart showing an operation example of the distance measuring device in this embodiment.
  • the detection unit 10 repeats an operation in which the light source 11 emits irradiation light and the light receiving unit 12 receives reflected light, thereby generating a section image set (S11).
  • the generated segment image set is stored in the image storage memory 21 in the storage unit 20 .
  • the distance image generation unit 31 calculates the signal amount and BG amount in the entire section for each pixel (S12), and generates a distance image based on the calculated signal amount and BG amount (S13).
  • the luminance image generator 32 performs luminance synthesis based on the section image set to generate a luminance image (S14).
  • the reliability map generator 33 calculates the above-described distance determination reliability for each pixel based on the signal amount and the BG amount (S15), and generates a reliability map as shown in FIG. S16).
  • the object recognizing unit 34 determines a retroreflective object for an area with high distance determination reliability in the reliability map (S17).
  • areas A1, A2, and A3 are recognized as retroreflective objects.
  • the object recognition unit 34 determines an object irradiated with high-brightness light for a region with low distance determination reliability in the reliability map (S18).
  • areas C1 and C2 are specified as high-brightness light irradiation objects.
  • the distance measuring device includes the reliability map generator 33 as a reliability calculator.
  • the reliability map generation unit 33 obtains the maximum signal amount and the background signal amount from the signal amounts in a plurality of interval images for each pixel of the distance image, and uses the difference between the maximum signal amount and the background signal amount as the distance determination reliability. Ask. Therefore, as the distance determination reliability, it is possible to obtain an analog quantity that serves as an index of the reliability of the distance value indicated by the distance image. Further, the object recognition unit 34 can recognize object attributes that cannot be recognized only by the distance image.
  • the method of deriving the distance determination reliability is not limited to the one described above.
  • the maximum value of the signal amount of all sections the average value of the signal amounts of the largest sections may be used as the maximum signal amount to derive the distance determination reliability.
  • the background signal amount may be obtained by excluding the signal amount used to obtain the maximum signal amount among the signal amounts in the plurality of interval images.
  • retroreflective object determination may be performed for the entire area of the distance image or for a predetermined area of the distance image.
  • the distance determination reliability can also be used for other purposes. For example, it can be used for scene recognition and environment recognition of a space to be imaged. For example, distance determination reliability can be used to distinguish between areas inside and outside a tunnel, between sunny and shaded areas, and the like.
  • the determination of retroreflective objects can also be used, for example, to detect the helmets of road construction workers. By using this, for example, detection accuracy of human identification can be improved.
  • the distance measurement device can evaluate the reliability of the distance value in the distance image, so it is useful for improving the accuracy of distance measurement, for example.
  • detection unit 10 detection unit 20 storage unit 30 image processing unit 31 distance image generation unit 32 luminance image generation unit 33 reliability map generation unit (reliability calculation unit) 34 object recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

複数の区間画像から距離画像を生成する距離測定装置において、距離画像における距離値の信頼度を評価可能にする。信頼度算出部（３３）は、距離画像の各画素について、複数の区間画像における信号量から、最大信号量と、背景信号量とを求め、最大信号量と背景信号量との差を、距離判定信頼度として求める。距離判定信頼度として、距離画像が示す距離値の信頼度の指標となるアナログ量を得ることができる。

Description

距離測定装置
　本開示は、複数の距離ゾーンで生成される区間画像を用いて距離画像データを生成する距離測定装置に関する。
　特許文献１では、測距装置として、ＴＯＦ（Time Of Flight）距離画像と、輝度から推定した距離画像を取得し、ＴＯＦ距離画像の距離ばらつきが所定閾値より大きい場合は、輝度から推定した距離画像を出力する構成が開示されている。
特許第６４２７９９８号明細書
　特許文献１の構成では、単に、ばらつきの低い距離画像を選択する機能を有しているのみである。また、ＴＯＦ距離画像から距離ばらつきを計算しているため、例えば、実際に小さな物体があったり、あるいは、物体がフレーム間で移動していたりする場合には、真の距離値と距離ばらつきとを分離することが困難である。できれば、距離画像の領域毎に、距離値の信頼度を適切に評価できることが好ましい。
　本開示は、かかる点に鑑みてなされたもので、複数の区間画像から距離画像を生成する距離測定装置において、距離画像における距離値の信頼度を適切に評価することを目的とする。
　本開示の一態様に係る、撮像領域を距離毎に分割した複数の区間画像に基づいて距離画像を生成する距離画像生成部と、前記距離画像の各画素について、前記複数の区間画像における信号量のうち、最も大きい信号量、または、最も大きい複数個の信号量の平均値を、最大信号量として求め、前記複数の区間画像における信号量のうち、前記最大信号量を求めるのに用いた信号量を除く信号量の平均値を、背景信号量として求め、前記最大信号量と前記背景信号量との差を、距離判定信頼度として求める信頼度算出部と、を備えるように構成されている。
　本開示によって、距離画像における距離値の信頼度を適切に評価することができる。
実施形態に係る距離測定装置の全体システムの構成例 （ａ），（ｂ）は実施形態における距離判定信頼度の導出方法 信頼度マップの一例 実施形態において認識可能な物体属性の例 実施形態における距離測定装置の動作例
　（概要）
　本開示の第１態様に係る距離測定装置は、撮像領域を距離毎に分割した複数の区間画像に基づいて距離画像を生成する距離画像生成部と、前記距離画像の各画素について、前記複数の区間画像における信号量のうち、最も大きい信号量、または、最も大きい複数個の信号量の平均値を、最大信号量として求め、前記複数の区間画像における信号量のうち、前記最大信号量を求めるのに用いた信号量を除く信号量の平均値を、背景信号量として求め、前記最大信号量と前記背景信号量との差を、距離判定信頼度として求める信頼度算出部と、を備える、ように構成されている。
　この構成により、信頼度算出部は、距離画像の各画素について、複数の区間画像における信号量から最大信号量および背景信号量を求め、最大信号量と背景信号量との差を、距離判定信頼度として求める。したがって、距離判定信頼度として、距離画像が示す距離値の信頼度の指標となるアナログ量を得ることができる。
　第１態様に係る距離測定装置において、前記信頼度算出部は、前記距離画像の領域に対応する前記距離判定信頼度を表す、信頼度マップを生成する、としてもよい。
　これにより、距離画像の領域に対応する、信頼度マップが生成される。
　さらに、第１態様に係る距離測定装置において、前記信頼度算出部は、前記信頼度マップにおける所定領域について、前記複数の区間画像における信号量のパターンを基にして、物体属性を認識する物体認識部を備える、としてもよい。
　これにより、距離画像のみでは認識できない物体属性を認識することができる。
　さらに、前記物体認識部が認識する物体属性は、少なくとも、再帰性反射物体、または、高輝度光照射物体を含む、としてもよい。
　これにより、再帰性反射物体、または、高輝度光照射物体の検出精度を向上させることができる。
　本開示の第２態様に係る距離測定装置は、撮像領域を距離毎に分割した複数の区間画像に基づいて距離画像を生成する距離画像生成部と、前記距離画像における所定領域について、前記複数の区間画像における信号量のパターンと、拡散反射率限界における信号量の距離変化パターンとを対比して、再帰性反射物体を認識する物体認識部と、を備える、ように構成されている。
　この構成により、物体認識部は、再帰性反射物体を精度よく検出することができる。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施形態）
　図１は実施形態に係る距離測定装置の全体システムの構成例を示すブロック図である。具体的には、撮像の対象となる空間、すなわち撮像領域を、奥行き方向における基準点からの距離に基づいて複数の距離ゾーン（区間と称する）に分割し、各距離ゾーンについて、照射光の反射光量に基づく区間画像を生成する。これら複数の区間画像（区間画像セットと称する）を基にして、距離画像および輝度画像を生成する。なお、実施形態に係る距離測定装置は、輝度画像を生成しない構成としてもかまわない。
　検出部１０は、いわゆるＴＯＦ（Time Of Flight）方式に基づき、区間画像セットを生成するものであり、対象空間にパルス状の照射光を発光する光源１１と、各距離ゾーンにおける照射光の反射光を受ける受光部１２と、光源１１の発光タイミングおよび受光部１２の受光タイミングを制御するパルス制御部１３とを備える。
　記憶部２０は、検出部１０によって生成された区間画像セットを格納するための画像記憶メモリ２１を備える。記憶部２０は、後述する物体認識処理に利用するための物体属性特徴データ２２を記憶する。
　画像処理部３０は、距離画像生成部３１、輝度画像生成部３２、信頼度マップ生成部３３、および、物体認識部３４を備える。距離画像生成部３１は、画像記憶メモリ２１に格納された区間画像セットを用いて、各画素に距離値が示された距離画像を生成する。輝度画像生成部３２は、画像記憶メモリ２１に格納された区間画像セットを用いて、各画素に輝度値が示された輝度画像を生成する。
　信頼度算出部としての信頼度マップ生成部３３は、各画素について、後述するような距離判定信頼度を求め、距離画像の領域に対応する距離判定信頼度が示された信頼度マップを生成する。物体認識部３４は、区間画像セットや、信頼度マップ生成部３３によって求められた距離判定信頼度に基づき、記憶部２０に記憶された物体属性特徴データ２２を用いて、対象空間における物体の属性を認識する。なお、本開示における信頼度算出部は、信頼度マップ生成部３３および物体認識部３４を備えたものであってもよい。
　図２は実施形態における距離判定信頼度の導出方法を示す。ここで、検出部１０によってＮ個の区間画像１～Ｎが生成されるものとし、画素（ｘ,ｙ）における各区間画像の値（反射光の信号量）をＳｉ（ｘ，ｙ）（ｉ＝１～Ｎ）とする。Ｎは例えば１５である。Ｓｉ（ｘ，ｙ）（ｉ＝１～Ｎ）は、ｉ＝ＭＡＸのとき最大となり、最大値ＳＭＡＸ（ｘ，ｙ）になるものとする。区間画像ＭＡＸの位置が、画素（ｘ，ｙ）の位置にある物体の距離値として推定される。
Figure JPOXMLDOC01-appb-M000001
なお本実施形態では、反射光信号量の最大値から、背景光の信号量であるＢＧ量（背景信号量）を減じた値を、距離判定信頼度として定義する。ｎはＢＧ量を算出するために用いる信号量の個数であり、ここでは、ｎ＝Ｎ－１である。
　図２（ａ）に示すように、物体位置における信号量ＳＭＡＸ（ｘ，ｙ）と、ＢＧ量との差が大きい場合は、距離判定信頼度が高いと判断される。一方、図２（ｂ）に示すように、物体位置における信号量ＳＭＡＸ（ｘ，ｙ）と、ＢＧ量との差が小さい場合は、距離判定信頼度が低いと判断される。
　図３は信頼度マップの例を示すイメージ図である。図３の信頼度マップでは、距離画像に対応する領域について、距離判定信頼度が「高」「中」「低」の領域に分けて示している。ここで、領域Ａ１は例えば道路標識に対応している領域であり、領域Ａ２，Ａ３は例えば道路の白線に対応している領域である。領域Ｃ１，Ｃ２は例えば車両のヘッドライトに対応している領域である。なお、図３では、距離判定信頼度を３段階に分けて示しているが、信頼度マップにおける距離判定信頼度の表し方は、これに限られるものではない。
　本実施形態では、距離判定信頼度と、各区間の信号量のパターンに基づいて、距離画像のみでは分からない物体情報を取得する。本実施形態で特定できる物体属性としては、例えば、再帰性反射物体、高輝度光照射物体等がある。
　図４に示すように、例えば、道路標識や白線等では再帰性反射が行われる。再帰性反射物体は、遠方であっても拡散反射率の限界（１００％）を超える信号量が反射される。再帰性反射物体を検出する場合は、複数の区間画像における信号量のパターンと、拡散反射率限界における信号量の距離変化パターンとを対比する。具体的には、各区間における信号量のパターンに対して、拡散反射率限界を示すラインをプロットする。拡散反射率限界は次式で表される。
Figure JPOXMLDOC01-appb-M000002
ここで、Ｉ(const)は光の照射強度、Ｒ(object)は拡散反射率の最大値、Ｄは距離である。物体位置における信号量がこのラインを大きく上回るとき、当該物体は再帰性反射物体であると特定する。記憶部２０に格納される物体属性特徴データ２２としては、例えば、拡散反射率限界を示すラインを表すデータや、物体位置における信号量と拡散反射率限界を示すラインとの乖離に対する閾値などが、格納される。
　例えば車両のヘッドライトは、高輝度光照射物体となる。高輝度光照射物体は、反射光光量の最大値とＢＧ量との差が小さく、物体位置を特定することが困難であるが、ＢＧ量が著しく高い。そこで例えば、上述した距離判定信頼度が低く、かつ、ＢＧ量が著しく高いとき、当該物体は高輝度光照射物体であると特定する。記憶部２０に格納される物体属性特徴データ２２としては、例えば、距離判定信頼度の低い側の閾値や、ＢＧ量の高い側の閾値などが、格納される。
　図５は本実施形態における距離測定装置の動作例を示すフローチャートである。まず、検出部１０は、光源１１が照射光を発光し、受光部１２が反射光を受光する動作を繰り返し行い、区間画像セットを生成する（Ｓ１１）。生成された区間画像セットは、記憶部２０における画像記憶メモリ２１に格納される。
　次に距離画像生成部３１は、各画素について、全区間における信号量とＢＧ量を算出し（Ｓ１２）、算出した信号量およびＢＧ量を基にして、距離画像を生成する（Ｓ１３）。輝度画像生成部３２は、区間画像セットを基にして輝度合成を行い、輝度画像を生成する（Ｓ１４）。
　次に、信頼度マップ生成部３３は、各画素について、信号量およびＢＧ量を基にして、上述した距離判定信頼度を算出し（Ｓ１５）、図３のような信頼度マップを生成する（Ｓ１６）。
　次に、物体認識部３４は、信頼度マップにおいて距離判定信頼度が高い領域について、再帰性反射物体の判定を行う（Ｓ１７）。ここでは例えば、図３の信頼度マップにおいて、領域Ａ１，Ａ２，Ａ３が、再帰性反射物体として認識される。また、物体認識部３４は、信頼度マップにおいて距離判定信頼度が低い領域にについて、高輝度光照射物体の判定を行う（Ｓ１８）。ここでは例えば、図３の信頼度マップにおいて、領域Ｃ１，Ｃ２が、高輝度光照射物体として特定される。
　以上のように本実施形態によると、距離測定装置は、信頼度算出部としての信頼度マップ生成部３３を備える。信頼度マップ生成部３３は、距離画像の各画素について、複数の区間画像における信号量から最大信号量および背景信号量を求め、最大信号量と背景信号量との差を、距離判定信頼度として求める。したがって、距離判定信頼度として、距離画像が示す距離値の信頼度の指標となるアナログ量を得ることができる。また、物体認識部３４は、距離画像のみでは認識できない物体属性を認識することができる。
　なお、距離判定信頼度の導出方法は、上述したものに限られるものではない。例えば、全区間の信号量の最大値に代えて、最も大きい複数個の区間の信号量の平均値を、最大信号量として用いて、距離判定信頼度を導出してもよい。この場合は、複数の区間画像における信号量のうち、最大信号量を求めるのに用いた信号量を除く信号量の平均値を、背景信号量として求めればよい。
　なお、距離判定信頼度を用いないで、上述したような物体認識処理を行うことも可能である。例えば、距離判定信頼度に関係なく、距離画像の全領域について、あるいは、距離画像の所定領域について、再帰性反射物体の判定を行ってもよい。
　なお、距離判定信頼度は、他の用途にも利用することができる。例えば、撮像対象となる空間のシーン認識や環境認識に利用することができる。例えば、トンネルの中と外の領域の区別や、日向と日陰の区別等のために、距離判定信頼度を用いることができる。
　なお、再帰性反射物体の判定は、例えば道路工事を行う人等のヘルメットの検出にも利用できる。これを利用して、例えば、人の識別の検出精度を向上させることができる。
　本発明に係る距離測定装置は、距離画像における距離値の信頼度を評価できるので、例えば、距離測定の精度向上に有用である。
１０　検出部
２０　記憶部
３０　画像処理部
３１　距離画像生成部
３２　輝度画像生成部
３３　信頼度マップ生成部（信頼度算出部）
３４　物体認識部

Claims (5)

  1. 　撮像領域を距離毎に分割した複数の区間画像に基づいて距離画像を生成する距離画像生成部と、
    　前記距離画像の各画素について、
    　前記複数の区間画像における信号量のうち、最も大きい信号量、または、最も大きい複数個の信号量の平均値を、最大信号量として求め、
    　前記複数の区間画像における信号量のうち、前記最大信号量を求めるのに用いた信号量を除く信号量の平均値を、背景信号量として求め、
    　前記最大信号量と前記背景信号量との差を、距離判定信頼度として求める信頼度算出部と、を備える
    ことを特徴とする距離測定装置。
  2. 　請求項１記載の距離測定装置において、
    　前記信頼度算出部は、
    　前記距離画像の領域に対応する前記距離判定信頼度を表す、信頼度マップを生成する
    ことを特徴とする距離測定装置。
  3. 　請求項２記載の距離測定装置において、
    　前記信頼度算出部は、
    　前記信頼度マップにおける所定領域について、前記複数の区間画像における信号量のパターンを基にして、物体属性を認識する物体認識部を備える
    ことを特徴とする距離測定装置。
  4. 　請求項３記載の距離測定装置において、
    　前記物体認識部が認識する物体属性は、少なくとも、再帰性反射物体、または、高輝度光照射物体を含む
    ことを特徴とする距離測定装置。
  5. 　撮像領域を距離毎に分割した複数の区間画像に基づいて距離画像を生成する距離画像生成部と、
    　前記距離画像における所定領域について、前記複数の区間画像における信号量のパターンと、拡散反射率限界における信号量の距離変化パターンとを対比して、再帰性反射物体を認識する物体認識部と、を備える
    ことを特徴とする距離測定装置。
PCT/JP2021/047387 2021-01-27 2021-12-21 距離測定装置 WO2022163224A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022578157A JPWO2022163224A1 (ja) 2021-01-27 2021-12-21
CN202180091972.4A CN116783510A (zh) 2021-01-27 2021-12-21 距离测量装置
US18/220,958 US20230350068A1 (en) 2021-01-27 2023-07-12 Distance measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-011369 2021-01-27
JP2021011369 2021-01-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/220,958 Continuation US20230350068A1 (en) 2021-01-27 2023-07-12 Distance measuring device

Publications (1)

Publication Number Publication Date
WO2022163224A1 true WO2022163224A1 (ja) 2022-08-04

Family

ID=82654393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047387 WO2022163224A1 (ja) 2021-01-27 2021-12-21 距離測定装置

Country Status (4)

Country Link
US (1) US20230350068A1 (ja)
JP (1) JPWO2022163224A1 (ja)
CN (1) CN116783510A (ja)
WO (1) WO2022163224A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527761A (ja) * 2012-05-29 2015-09-17 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
WO2020196087A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 距離測定装置および画像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527761A (ja) * 2012-05-29 2015-09-17 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
WO2020196087A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 距離測定装置および画像生成方法

Also Published As

Publication number Publication date
JPWO2022163224A1 (ja) 2022-08-04
CN116783510A (zh) 2023-09-19
US20230350068A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
KR101550474B1 (ko) 양안을 찾아내어 추적하는 방법 및 장치
JP3861781B2 (ja) 前方車両追跡システムおよび前方車両追跡方法
US7859652B2 (en) Sight-line end estimation device and driving assist device
US10339405B2 (en) Image recognition device and image recognition method
JP2000357233A (ja) 物体認識装置
JP2007114831A (ja) 物体検出装置
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
JP6782433B2 (ja) 画像認識装置
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
JPWO2009110082A1 (ja) 画像撮影装置、画像撮影方法および画像撮影プログラム
CN111783573B (zh) 一种远光灯检测方法、装置及设备
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
JP2018116004A (ja) データ圧縮装置、制御方法、プログラム及び記憶媒体
WO2022163224A1 (ja) 距離測定装置
CN114467111B (zh) 物体识别方法及物体识别装置
US11899113B2 (en) Vehicle position estimation apparatus
JP2010074362A (ja) 距離画像生成装置
US20220058421A1 (en) System for extracting outline of static object and method thereof
CN116299496A (zh) 估计对象反射率的方法、处理装置和存储介质
JPH10187974A (ja) 物流計測装置
JP6443747B2 (ja) 計測データ処理装置と方法
JP4475060B2 (ja) 人検出装置
US20230237812A1 (en) Traffic sign recognition device and traffic sign recognition method
KR102617591B1 (ko) 인공지능 기반 영상 센서와 레이더 센서를 이용한 스마트객체 정보 정합 시스템 및 방법
KR102297836B1 (ko) 딥 러닝 기반 가상 환경 점 군 데이터의 반사도 정보 검출 방법 및 그를 수행하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923227

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578157

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180091972.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21923227

Country of ref document: EP

Kind code of ref document: A1