JP7290104B2 - 自己位置推定装置、方法及びプログラム - Google Patents

自己位置推定装置、方法及びプログラム Download PDF

Info

Publication number
JP7290104B2
JP7290104B2 JP2019231733A JP2019231733A JP7290104B2 JP 7290104 B2 JP7290104 B2 JP 7290104B2 JP 2019231733 A JP2019231733 A JP 2019231733A JP 2019231733 A JP2019231733 A JP 2019231733A JP 7290104 B2 JP7290104 B2 JP 7290104B2
Authority
JP
Japan
Prior art keywords
landmark
radar
observation point
positional relationship
error region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019231733A
Other languages
English (en)
Other versions
JP2021099275A (ja
Inventor
存也 寺二
元気 千葉
直広 藤原
真 大門
啓介 蜂須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019231733A priority Critical patent/JP7290104B2/ja
Priority to US17/129,343 priority patent/US11976929B2/en
Publication of JP2021099275A publication Critical patent/JP2021099275A/ja
Application granted granted Critical
Publication of JP7290104B2 publication Critical patent/JP7290104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、自車両の自己位置を推定する自己位置推定装置、方法及びプログラムに関する。
従来、カメラ画像等のカメラ情報を用いて自車両の自己位置を推定する自己位置推定が行われている（例えば、特許文献１参照）。このような自己位置推定では、カメラ情報から、ランドマークを検出すると共に、当該ランドマークと自車両との間の位置関係を算出する。また、検出したランドマークと地図情報上のランドマークとのマッチングを行う。そして、算出されたランドマークと自車両との間の位置関係と、マッチングされた地図情報上のランドマークとに基づいて、地図上の自車両の自己位置を推定する。
米国特許出願公開第２０１８／００２４５６２Ａ１号明細書
しかしながら、カメラ情報のみを用いた自車両の自己位置推定では、ランドマークと自車両との間の位置関係の算出精度が低く、自己位置推定の精度も低くなってしまう。
本発明は上記課題に鑑みてなされたものであり、その目的は、ランドマークと自車両との間の位置関係の算出精度を向上し、自己位置推定の精度を向上することが可能な自己位置推定装置、方法及びプログラムを提供することにある。
本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、一つの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
本発明の第１実施態様は、カメラ情報（Ｉ）からランドマーク（Ｌ）を検出するランドマーク検出部（２３）と、前記ランドマーク検出部によって検出された前記ランドマークにレーダ情報群を関連付けるアソシエーション部（２４）と、前記アソシエーション部によって前記ランドマークに関連付けられた前記レーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する位置関係算出部（２５）と、を具備し、前記アソシエーション部は、前記ランドマーク検出部によって検出された前記ランドマークが存在し得る誤差領域（Ｅ）を設定する誤差領域設定部（３１）と、レーダ観測点群の内から前記誤差領域設定部によって設定された前記誤差領域に含まれるレーダ観測点群を選択する観測点選択部（３２）と、前記ランドマークに前記観測点選択部によって選択された前記レーダ観測点群に対応するレーダ情報群を対応付けるレーダ情報対応付部（３３）と、を有する、自己位置推定装置（２０）である。
本発明の第２実施態様は、カメラ情報からランドマークを検出するランドマーク検出ステップと、前記ランドマーク検出ステップにおいて検出された前記ランドマークにレーダ情報群を関連付けるアソシエーションステップと、前記アソシエーションステップにおいて前記ランドマークに関連付けられた前記レーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する位置関係算出ステップと、を含み、前記アソシエーションステップは、前記ランドマーク検出ステップにおいて検出された前記ランドマークが存在し得る誤差領域を設定する誤差領域設定ステップと、レーダ観測点群の内から前記誤差領域設定ステップにおいて設定された前記誤差領域に含まれるレーダ観測点群を選択する観測点選択ステップと、前記ランドマークに前記観測点選択ステップにおいて選択された前記レーダ観測点群に対応するレーダ情報群を対応付けるレーダ情報対応付ステップと、を含む、自己位置推定方法である。
本発明の第３実施態様は、コンピュータに、カメラ情報からランドマークを検出するランドマーク検出機能と、前記ランドマーク検出機能によって検出された前記ランドマークにレーダ情報群を関連付けるアソシエーション機能と、前記アソシエーション機能によって前記ランドマークに関連付けられた前記レーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する位置関係算出機能と、を実現させ、前記アソシエーション機能は、前記ランドマーク検出機能によって検出された前記ランドマークが存在し得る誤差領域を設定する誤差領域設定機能と、レーダ観測点群の内から前記誤差領域設定機能によって設定された前記誤差領域に含まれるレーダ観測点群を選択する観測点選択機能と、前記ランドマークに前記観測点選択機能によって選択された前記レーダ観測点群に対応するレーダ情報群を対応付けるレーダ情報対応付機能と、を備える、自己位置推定プログラムである。
本発明では、ランドマークと自車両との間の位置関係の算出精度を向上し、自己位置推定の精度を向上することが可能となっている。
本発明の一実施形態の自己位置推定システムを示すブロック図。 本発明の一実施形態の自己位置推定方法を示すフロー図。 本発明の一実施形態のランドマーク検出ステップを示す模式図。 本発明の一実施形態の誤差領域設定ステップの内の位置推定ステップを示す模式図。 本発明の一実施形態の誤差領域設定ステップの内の領域設定ステップを示す模式図。 本発明の一実施形態の観測点選択ステップの内の近傍観測点選択ステップを示す模式図。 本発明の一実施形態の観測点選択ステップの内の静的観測点選択ステップ及び高尤度観測点選択ステップを示す模式図。
図１乃至図７を参照して、本発明の一実施形態について説明する。
本実施形態では、カメラ画像から、ランドマークを検出すると共に、ランドマークが存在し得る誤差領域を設定する。そして、レーダ観測点群の内から、設定された誤差領域に含まれるレーダ観測点である近傍観測点群を選択し、近傍観測点群の内から静的なレーダ観測点である静的観測点群を選択し、静的観測点群の内からランドマークらしさを示すランドマーク尤度の高いレーダ観測点である高尤度観測点群を選択して、選択されたレーダ観測点群に対応するレーダ情報群をランドマークに関連付ける。さらに、ランドマークに関連付けられたレーダ情報群から、レーダ観測点についてのランドマークらしさを示すランドマーク尤度に基づいてレーダ観測点群に対応するレーダ情報群を重み付けしたうえで、ランドマークと自車両との間の位置関係を算出する。
図１を参照して、本実施形態の自己位置推定システムについて説明する。
以下では、自己位置推定システムについて概説したうえで、アソシエーション部２４及び位置関係算出部２５について説明する。なお、レーダ情報群、レーダ観測点群には、単一のレーダ情報、単一のレーダ観測点も含むものとする。
図１に示されるように、自己位置推定装置２０では、カメラ情報取得部２１は、自車両に搭載されたカメラ１１からカメラ情報としてのカメラ画像を取得する。レーダ情報取得部２２は、自車両に搭載されたミリ波レーダ等のレーダ１２からレーダ情報群を取得する。ランドマーク検出部２３は、カメラ情報取得部２１によって取得されたカメラ画像からランドマークを検出する。アソシエーション部２４は、ランドマーク検出部２３によって検出されたランドマークに、レーダ情報取得部２２によって取得されたレーダ情報群を関連付ける。位置関係算出部２５は、アソシエーション部２４によってランドマークに関連付けられたレーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する。また、ランドマークマッチング部２６は、ランドマーク検出部２３によって検出されたランドマークと、地図情報記憶部２７に記憶された地図情報上のランドマークとのマッチングを行う。そして、自己位置推定部２８は、位置関係算出部２５によって算出されたランドマークと自車両との間の位置関係と、ランドマークマッチング部２６によってマッチングされた地図情報上のランドマークとに基づいて、地図上の自車両の自己位置を推定する。
アソシエーション部２４では、誤差領域設定部３１は、カメラ情報取得部２１によって取得された二次元カメラ画像を三次元空間情報に変換し、ランドマーク検出部２３によって検出されたランドマークの三次元空間内における位置を推定する。さらに、誤差領域設定部３１は、三次元空間内においてランドマークが存在し得る誤差領域を設定する。観測点選択部３２は、レーダ情報取得部２２によって取得されたレーダ情報群に対応するレーダ観測点群の内から、誤差領域に含まれるレーダ観測点群を選択する。さらに、観測点選択部３２は、誤差領域に含まれるレーダ観測点群の内から、静的なレーダ観測点である静的観測点群を選択し、静的観測点群の内から、レーダ情報群に含まれるランドマークらしさを示すランドマーク尤度に基づいて、ランドマーク尤度の高いレーダ観測点である高尤度観測点群を選択する。レーダ情報対応付部３３は、ランドマーク検出部２３によって検出されたランドマークに、観測点選択部３２によって選択されたレーダ観測点群に対応するレーダ情報群を対応付ける。
位置関係算出部２５は、ランドマークに対応付けられたレーダ情報群から、ランドマーク尤度に基づいてレーダ情報群を重み付けしたうえで、ランドマークと自車両との間の位置関係を算出する。
図２乃至図７を参照して、本実施形態の自己位置推定方法について説明する。
図２に示されるように、自己位置推定方法では、以下の各ステップを実行する。
情報取得ステップＳ１
情報取得ステップＳ１では、自車両に搭載されたカメラからカメラ情報としてのカメラ画像Ｉを取得し、自車両に搭載されたミリ波レーダ等のレーダからレーダ情報群を取得する。本実施形態では、レーダ情報には、レーダ観測点の自車両に対する距離、方位角及び相対速度、並びに、ランドマークらしさを示すランドマーク尤度としてのレー反射強度及びレーダ反射断面積（RADAR Cross Section，ＲＣＳ）が含まれる。
ランドマーク検出ステップＳ２
ランドマーク検出ステップＳ２では、情報取得ステップＳ１において取得したカメラ画像Ｉからランドマークを検出する。ランドマークの検出には、深層学習等の適宜の機械学習に基づく画像認識方法を用いることが可能であり、例えば、ＳＳ（Semantic Segmentation）を用いることが可能である。
図３に示される一実施例では、カメラ画像Ｉには、交通標識Ｓ、停止中の歩行者Ｗ、左側縁石ＣＬ、走行中のバイクＢ、走行中の車両Ｖ、右側縁石ＣＲ等が含まれており、交通標識ＳがランドマークＬとして検出される。
アソシエーションステップＳ３
アソシエーションステップＳ３では、以下の誤差領域設定ステップＳ３－１、観測点選択ステップＳ３－２、レーダ情報対応付けステップＳ３－３を実行して、ランドマーク検出ステップＳ２において検出したランドマークＬに、情報取得ステップＳ１において取得したレーダ情報群を関連付ける。
誤差領域設定ステップＳ３－１
誤差領域設定ステップＳ３－１では、以下の位置推定ステップＳ３－１－１及び領域設定ステップＳ３－１－２を実行して、三次元空間内において、ランドマーク検出ステップＳ２で検出したランドマークが存在し得る誤差領域を設定する。
位置推定ステップＳ３－１－１
位置推定ステップＳ３－１－１では、情報取得ステップＳ１において取得した二次元カメラ画像を三次元空間情報に変換し、ランドマーク検出ステップＳ２において検出したランドマークの三次元空間内における位置を推定する。二次元カメラ画像から三次元空間情報への変換には、適宜の変換方法を用いることが可能であり、例えば、ＳＦＭ（Structure From Motion）を用いることが可能である。
本実施形態では、図４に示されるように、自車両Ｏの前後方向及び左右方向を夫々Ｘ軸及びＹ軸とする座標系において、ランドマークＬのｘ座標及びｙ座標（ｘｌ，ｙｌ）を算出する。
領域設定ステップＳ３－１－２
領域設定ステップＳ３－１－２では、位置推定ステップＳ３－１－１において推定されたランドマークの推定位置に基づいて、三次元空間内においてランドマークが存在し得る誤差領域を設定する。誤差領域については、様々な誤差要因により決定される。誤差要因には、カメラ画像から取得された自車両からランドマークまでの距離、ランドマークのサイズ、運転環境等が含まれる。
ここで、カメラ画像においては、自車両からの距離が遠く、サイズの小さいランドマークほど小さく表されるのに対して、カメラ画像の解像度は一定であるから、自車両からランドマークまでの距離が遠く、ランドマークのサイズが小さくなるほど、ランドマークの三次元空間内における位置推定の精度が低下するため、ランドマークが存在し得る誤差領域を大きく設定する必要がある。運転環境については、夜間、荒天、逆光等、運転環境が悪化するほど、カメラ画像における識別精度が低下し、ランドマークが存在し得る誤差領域を大きく設定する必要がある。
このようなカメラ画像からの位置推定の特性から、カメラ画像からの位置推定の精度については、レーダ情報群からの位置推定の精度よりも劣ることになり、特に、自車両の前後方向の誤差長については、左右方向の誤差長よりも大きくなる。
本実施形態では、図５（ａ）に示されるように、ＸＹ座標系において、算出されたランドマークＬのｘ座標及びｙ座標（ｘｌ，ｙｌ）を中心として、Ｘ軸方向にΔｘ、Ｙ軸方向にΔｙの誤差長の楕円状の誤差領域Ｅを設定する。誤差長Δｘ及びΔｙについては、次の式（１）により示される。
Figure 0007290104000001
 ここで、ｄ、ｓ、ｕは、夫々、カメラ画像Ｉから算出された自車両ＯからランドマークＬまでの距離、ランドマークＬのサイズ、運転環境の悪さを示す指数であり、Δｄ、Δｓ、Δｕは、夫々、当該各誤差要因に起因する誤差長である。また、α（ｄ）は図５（ｂ）に示されるようなｄの単調増加関数であり、β（ｓ）及びγ（ｕ）も同様な単調増加関数である。
観測点選択ステップＳ３－２
観測点選択ステップＳ３－２では、以下の近傍観測点選択ステップＳ３－２－１、静的観測点選択ステップＳ３－２－２、高尤度観測点選択ステップＳ３－２－３を実行して、情報取得ステップＳ１において取得したレーダ情報群に対応するレーダ観測点群の内から、ランドマークに起因する可能性の高いレーダ観測点群を選択する。
近傍観測点選択ステップＳ３－２－１
近傍観測点選択ステップＳ３－２－１では、情報取得ステップＳ１において取得したレーダ情報群に対応するレーダ観測点群の内から、誤差領域設定ステップＳ３－１－２において設定された誤差領域Ｅに含まれるレーダ観測点である近傍観測点群を選択する。
即ち、ランドマークが存在し得る誤差領域に含まれるレーダ観測点である近傍観測点については、ランドマークに起因するレーダ観測点である可能性が高いためこれを選択する。一方、ランドマークが存在し得る誤差領域に含まれないレーダ観測点である離隔観測点については、ランドマークに起因するレーダ観測点である可能性が低いためこれを排除する。
本実施形態では、図６に示されるように、各レーダ観測点の自車両Ｏに対する距離及び方位角に基づいて、ＸＹ座標系における各レーダ観測点のｘ座標及びｙ座標を算出する。そして、ＸＹ座標系において、誤差領域Ｅに含まれるレーダ観測点を選択する。
上述したように、図３に示される一実施例では、カメラ画像Ｉには、交通標識Ｓ、停止中の歩行者Ｗ、左側縁石ＣＬ、走行中のバイクＢ、走行中の車両Ｖ、右側縁石ＣＲ等が含まれており、交通標識ＳがランドマークＬとして検出される。そして、図６に示される一実施例では、ランドマークＬとしての交通標識Ｓが存在し得る誤差領域Ｅには、交通標識Ｓ、停止中の歩行者Ｗ、左側縁石ＣＬの一部分、走行中のバイクＢの一部分に起因するレーダ観測点群が含まれ、当該レーダ観測点群については近傍観測点として選択される。一方、誤差領域Ｅには、左側縁石ＣＬの他部分、走行中のバイクＢの他部分、走行中の車両Ｖ及び右側縁石ＣＲに起因するレーダ観測点群は含まれず、当該レーダ観測点群については離隔観測点として排除される。
静的観測点選択ステップＳ３－２－２
静的観測点選択ステップＳ３－２－２では、近傍点選択ステップＳ３－２－１において選択された近傍観測点群の内から、静的なレーダ観測点である静的観測点群を選択する。
即ち、ランドマークについては、地図上において静止した静止物体であり、移動する移動物体ではない。このため、レーダ観測点が静的観測点である場合には、ランドマークに起因するレーダ観測点である可能性が高いためこれを選択する。一方、レーダ観測点が静的観測点ではなく動的観測点である場合には、ランドマークに起因するレーダ観測点である可能性が低いためこれを排除する。
レーダ観測点が静的観測点か否かの判断については、様々な判断方法を用いることが可能である。本実施形態では、レーダ観測点の自車両に対する相対速度νと自車両の速度μとに基づき算出されるレーダ観測点の速さｖ（＝｜ν＋μ｜）が所定の閾値ε（＝０近傍の正定数）以下である場合には、レーダ観測点が静的観測点であると判断する。一方、レーダ観測点の速さｖが所定の閾値ε以下ではない場合には、レーダ観測点が静的観測点ではなく動的観測点であると判断する。
上述したように、図６に示される一実施例では、ランドマークＬとしての交通標識Ｓが存在し得る誤差領域Ｅには、交通標識Ｓ、停止中の歩行者Ｗ、左側縁石ＣＬの一部分、走行中のバイクＢの一部分に起因するレーダ観測点群が含まれ、当該レーダ観測点群が近傍観測点として選択される。さらに、図７に示される一実施例では、ランドマークＬとしての交通標識Ｓ、停止中の歩行者Ｗ及び左側縁石ＣＬの一部分に起因するレーダ観測点が静的観測点であると判断されて選択され、走行中のバイクＢの一部分に起因するレーダ観測点は静的観測点ではなく動的観測点であると判断されて排除される。
高尤度観測点選択ステップＳ３－２－３
高尤度観測点選択ステップＳ３－２－３では、静的観測点選択ステップＳ３－２－２において選択された静的観測点群の内から、ランドマークらしさを示すランドマーク尤度の高いレーダ観測点である高尤度観測点群を選択する。
即ち、レーダ観測点がランドマーク尤度の高い高尤度観測点である場合には、ランドマークに起因するレーダ観測点である可能性が高いためこれを選択する。一方、レーダ観測点がランドマーク尤度の低い低尤度観測点である場合には、ランドマークに起因するレーダ観測点である可能性が低いためこれを排除する。
ランドマークらしさを示すランドマーク尤度としては、様々な判断指数を用いることが可能である。ランドマークを形成する物体については、一般的にレーダ反射強度ないしレーダ反射断面積が大きくなる特性を有することから、本実施形態では、ランドマーク尤度としてレーダ反射強度及びレーダ反射断面積を用いる。そして、レーダ観測点のレーダ反射強度又はレーダ反射断面積が所定の閾値以上となる場合には、レーダ観測点が高尤度観測点であると判断してこれを選択する。一方、レーダ観測点のレーダ反射強度又はレーダ反射断面積が所定の閾値以上とはならない場合には、レーダ観測点が低尤度観測点であると判断してこれを排除する。
上述したように、図７に示される一実施例では、ランドマークＬとしての交通標識Ｓ、停止中の歩行者Ｗ及び左側縁石ＣＬの一部分に起因するレーダ観測点が静的観測点であると判断されて選択される。さらに、図７に示される一実施例では、ランドマークＬとしての交通標識Ｓ及び歩行者Ｗの一部分に起因するレーダ観測点については、レーダ反射強度ないしレーダ反射断面積が所定の閾値以上であり、高尤度観測点であると判断されて選択される。一方、歩行者Ｗの他部分及び左側縁石ＣＬの一部分に起因するレーダ観測点については、レーダ反射強度ないしレーダ反射断面積が所定の閾値以上ではなく、低尤度観測点であると判断されて排除される。
レーダ情報対応付けステップＳ３－３
レーダ情報対応付けステップＳ３－３では、ランドマーク検出ステップＳ２において検出されたランドマークに、観測点選択ステップＳ３－２において選択されたレーダ観測点群に対応するレーダ情報群を対応付ける。
上述したように、図７に示される一実施例では、ランドマークＬとしての交通標識Ｓ及び歩行者Ｗの一部分に起因するレーダ観測点群Ｐ１～Ｐ６が選択されており、ランドマークＬとしての交通標識Ｓに、選択されたレーダ観測点群Ｐ１～Ｐ６に対応するレーダ情報群が対応付けられる。
位置関係算出ステップＳ４
位置関係算出ステップＳ４では、ランドマーク検出ステップＳ２において検出されたランドマークにアソシエーションステップＳ３で関連付けられたレーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する。
位置関係算出ステップＳ４では、ランドマークと自車両との間の様々な位置関係を算出することが可能である。本実施形態では、ランドマークに関連付けられたレーダ情報群に対応する全てのレーダ観測点の自車両に対する距離に基づいて、当該ランドマークと自車両との間の距離を算出する。
位置関係の算出においては、レーダ観測点についてのランドマーク尤度に基づいて、レーダ観測点群に対応するレーダ情報群を重み付けして位置関係を算出する。ランドマーク尤度の高いレーダ観測点に対応するレーダ情報については重み付けを重くし、ランドマーク尤度の低いレーダ観測点に対応するレーダ情報については重み付けを軽くする。
ランドマーク尤度に基づくレーダ情報群の重み付けについては、様々な重み付け方法を用いることが可能である。本実施形態では、次の式（２）に示されるように、ランドマーク尤度としてレーダ反射強度ないしレーダ反射断面積を用い、ランドマークに関連付けられたレーダ情報群に対応する全てのレーダ観測点の自車両に対する距離の重み付け平均を算出することにより、当該ランドマークと自車両との間の距離を算出する。
Figure 0007290104000002
 ここで、Ｒはランドマークと自車両との間の距離、ｊはレーダ観測点を示す指数、ｒはレーダ観測点の自車両に対する距離、ｗはランドマークＬ尤度としてのレーダ反射強度ないしレーダ反射断面積、ω（ｗ）は重み付け係数であってｗの単調増加関数である。
図７に示される一実施例では、ランドマークＬとしての交通標識Ｓに起因するレーダ観測点Ｐ１～Ｐ５に対応するレーダ情報については、当該レーダ観測点Ｐ１～Ｐ５についてのランドマーク尤度であるレーダ反射強度ないしレーダ反射断面積が大きくなるため、重み付けが重くなる。一方、歩行者Ｗの一部分に起因するレーダ観測点Ｐ６に対応するレーダ情報については、当該レーダ観測点Ｐ６についてのランドマーク尤度であるレーダ反射強度ないしレーダ反射断面積が小さくなるため、重み付けが軽くなる。
ランドマークマッチングステップＳ５
ランドマークマッチングステップＳ５では、ランドマーク検出ステップＳ２において検出されたランドマークと、地図情報上のランドマークとのマッチングを行う。
自己位置推定ステップＳ６
自己位置推定ステップＳ６では、位置関係算出ステップＳ４によって算出されたランドマークと自車両との間の位置関係と、ランドマークマッチングステップＳ５によってマッチングされた地図情報上のランドマークとに基づいて、地図上における自車両の自己位置を推定する。
本実施形態の自己位置推定システム及び方法は以下の効果を奏する。
本実施形態の自己位置推定システム及び方法では、カメラ画像からランドマークを検出してランドマークが存在し得る誤差領域を設定し、レーダ観測点群の内から誤差領域に含まれるレーダ観測点群を選択してレーダ観測点群に対応するレーダ情報群をランドマークに関連付け、ランドマークに関連付けられたレーダ情報群から当該ランドマークと自車両との間の位置関係を算出している。レーダ情報群からの位置関係の算出精度については、カメラ画像からの位置関係の算出精度よりも高いところ、特にカメラ画像のみから位置関係を算出する場合と比較して、ランドマークと自車両との間の位置関係の算出精度を向上し、自己位置推定の精度を向上することが可能となっている。
さらに、カメラ画像からの三次元空間内におけるランドマークの位置推定では、カメラ画像から取得された自車両からランドマークまでの距離、ランドマークのサイズ及び運転環境が主な誤差要因となる。そして、カメラ画像からランドマークが存在し得る誤差領域を設定する際には、当該主な誤差要因に基づいて誤差領域を設定しているため、誤差領域を適切に設定することが可能となっている。
さらにまた、ランドマークへのレーダ情報群の関連付けにおいては、ランドマークが存在し得る誤差領域に含まれるレーダ観測点群の内から、ランドマークについては地図上において静止した静止物体であるところ、静的なレーダ観測点である静的観測点群を選択し、さらに、静的観測点群の内から、ランドマークらしさを示すランドマーク尤度の高いレーダ観測点である高尤度観測点群を選択したうえで、選択されたレーダ観測点群に対応するレーダ情報群をランドマークに対応付けている。このため、ランドマークに起因する可能性の高いレーダ観測点群に対応するレーダ情報群をランドマークに関連付けることが可能となっており、ランドマークへのレーダ情報群の関連付けを適切に行うことが可能となっている。
加えて、レーダ情報群に基づくランドマークと自車両との間の位置関係の算出においては、レーダ観測点についてのランドマークらしさを示すランドマーク尤度に基づいて、レーダ観測点群に対応するレーダ情報群を重み付けして位置関係を算出している。このため、ランドマークに起因する可能性の高いレーダ観測点群に対応するレーダ情報群については重み付けを重くし、ランドマークに起因する可能性の低いレーダ観測点群に対応するレーダ情報群については重み付けを軽くしたうえで、位置関係を算出することができ、ランドマークと自車両との間の位置関係の算出精度を充分に向上することが可能となっている。
以上の各実施形態では、自己位置推定システム及び方法について述べたが、コンピュータに当該システムの各機能を実現させるプログラム、又は、コンピュータに当該方法の各ステップを実行させるプログラムについても、本発明の範囲に含まれる。
２０…自己位置推定装置 ２３…ランドマーク検出部 ２４…アソシエーション部
２５…位置関係算出部 ３１…誤差領域設定部 ３２…観測点選択部
３３…レーダ情報対応付部 Ｉ…カメラ情報 Ｌ…ランドマーク Ｅ…誤差領域

Claims (6)

  1. カメラ情報（Ｉ）からランドマーク（Ｌ）を検出するランドマーク検出部（２３）と、
    前記ランドマーク検出部によって検出された前記ランドマークにレーダ情報群を関連付けるアソシエーション部（２４）と、
    前記アソシエーション部によって前記ランドマークに関連付けられた前記レーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する位置関係算出部（２５）と、
    を具備し、
    前記アソシエーション部は、
    前記ランドマーク検出部によって検出された前記ランドマークが存在し得る誤差領域（Ｅ）を設定する誤差領域設定部（３１）と、
    レーダ観測点群の内から前記誤差領域設定部によって設定された前記誤差領域に含まれるレーダ観測点群を選択する観測点選択部（３２）と、
    前記ランドマークに前記観測点選択部によって選択された前記レーダ観測点群に対応するレーダ情報群を対応付けるレーダ情報対応付部（３３）と、
    を有し、
    前記位置関係算出部は、前記レーダ観測点についてのランドマークらしさを示すランドマーク尤度に基づいて、前記レーダ観測点群に対応する前記レーダ情報群を重み付けして位置関係を算出する、
    自己位置推定装置（２０）。
  2. 前記誤差領域設定部は、前記カメラ情報から取得された自車両から前記ランドマークまでの距離、前記ランドマークのサイズ及び運転環境の内の少なくとも１つの誤差要因に基づいて前記誤差領域を設定する、
    請求項１に記載の自己位置推定装置。
  3. 前記観測点選択部は、前記誤差領域に含まれる前記レーダ観測点群の内から静的なレーダ観測点群をさらに選択する、
    請求項１に記載の自己位置推定装置。
  4. 前記観測点選択部は、前記誤差領域に含まれる前記レーダ観測点群の内から、前記レーダ観測点についてのランドマークらしさを示すランドマーク尤度に基づいて、レーダ観測点群をさらに選択する、
    請求項１に記載の自己位置推定装置。
  5. カメラ情報からランドマークを検出するランドマーク検出ステップと、
    前記ランドマーク検出ステップにおいて検出された前記ランドマークにレーダ情報群を関連付けるアソシエーションステップと、
    前記アソシエーションステップにおいて前記ランドマークに関連付けられた前記レーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する位置関係算出ステップと、
    を含み、
    前記アソシエーションステップは、
    前記ランドマーク検出ステップにおいて検出された前記ランドマークが存在し得る誤差領域を設定する誤差領域設定ステップと、
    レーダ観測点群の内から前記誤差領域設定ステップにおいて設定された前記誤差領域に含まれるレーダ観測点群を選択する観測点選択ステップと、
    前記ランドマークに前記観測点選択ステップにおいて選択された前記レーダ観測点群に対応するレーダ情報群を対応付けるレーダ情報対応付ステップと、
    を含み、
    前記位置関係算出ステップでは、前記レーダ観測点についてのランドマークらしさを示すランドマーク尤度に基づいて、前記レーダ観測点群に対応する前記レーダ情報群を重み付けして位置関係を算出する、
    自己位置推定方法。
  6. コンピュータに、
    カメラ情報からランドマークを検出するランドマーク検出機能と、
    前記ランドマーク検出機能によって検出された前記ランドマークにレーダ情報群を関連付けるアソシエーション機能と、
    前記アソシエーション機能によって前記ランドマークに関連付けられた前記レーダ情報群に基づいて、当該ランドマークと自車両との間の位置関係を算出する位置関係算出機能と、
    を実現させ、
    前記アソシエーション機能は、
    前記ランドマーク検出機能によって検出された前記ランドマークが存在し得る誤差領域を設定する誤差領域設定機能と、
    レーダ観測点群の内から前記誤差領域設定機能によって設定された前記誤差領域に含まれるレーダ観測点群を選択する観測点選択機能と、
    前記ランドマークに前記観測点選択機能によって選択された前記レーダ観測点群に対応するレーダ情報群を対応付けるレーダ情報対応付機能と、
    を備え、
    前記位置関係算出機能は、前記レーダ観測点についてのランドマークらしさを示すランドマーク尤度に基づいて、前記レーダ観測点群に対応する前記レーダ情報群を重み付けして位置関係を算出する、
    自己位置推定プログラム。
JP2019231733A 2019-12-23 2019-12-23 自己位置推定装置、方法及びプログラム Active JP7290104B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019231733A JP7290104B2 (ja) 2019-12-23 2019-12-23 自己位置推定装置、方法及びプログラム
US17/129,343 US11976929B2 (en) 2019-12-23 2020-12-21 Localization apparatus and method for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019231733A JP7290104B2 (ja) 2019-12-23 2019-12-23 自己位置推定装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021099275A JP2021099275A (ja) 2021-07-01
JP7290104B2 true JP7290104B2 (ja) 2023-06-13

Family

ID=76439182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019231733A Active JP7290104B2 (ja) 2019-12-23 2019-12-23 自己位置推定装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US11976929B2 (ja)
JP (1) JP7290104B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915488B2 (en) * 2021-07-02 2024-02-27 Continental Autonomous Mobility US, LLC Automotive localization and mapping in low-light environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061567A (ja) 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
JP2017111054A (ja) 2015-12-17 2017-06-22 株式会社デンソー 物体検出装置
JP2018097574A (ja) 2016-12-13 2018-06-21 株式会社Ｓｏｋｅｎ 認識装置及び自己位置推定装置
JP2018106511A (ja) 2016-12-27 2018-07-05 株式会社デンソー 物体検出装置、物体検出方法
WO2019039279A1 (ja) 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
JP2019532292A (ja) 2016-09-29 2019-11-07 ザ・チャールズ・スターク・ドレイパー・ラボラトリー・インコーポレイテッド 車両位置特定の自律走行車両

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321142B2 (ja) 2003-07-02 2009-08-26 日産自動車株式会社 標識認識装置
JP2008286566A (ja) 2007-05-16 2008-11-27 Omron Corp 車載装置
JP5255595B2 (ja) * 2010-05-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、及び端末位置特定方法
MY188558A (en) * 2016-01-22 2021-12-22 Nissan Motor Vehicle driving assist control method and control device
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
JP2020034472A (ja) * 2018-08-31 2020-03-05 株式会社デンソー 自律的ナビゲーションのための地図システム、方法および記憶媒体
US11507789B2 (en) * 2019-05-31 2022-11-22 Lg Electronics Inc. Electronic device for vehicle and method of operating electronic device for vehicle
US11734473B2 (en) * 2019-09-27 2023-08-22 Zoox, Inc. Perception error models
JP2021056764A (ja) * 2019-09-30 2021-04-08 日本電産株式会社 移動体
EP3819663A1 (en) * 2019-11-07 2021-05-12 Aptiv Technologies Limited Method for determining a position of a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061567A (ja) 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
JP2017111054A (ja) 2015-12-17 2017-06-22 株式会社デンソー 物体検出装置
JP2019532292A (ja) 2016-09-29 2019-11-07 ザ・チャールズ・スターク・ドレイパー・ラボラトリー・インコーポレイテッド 車両位置特定の自律走行車両
JP2018097574A (ja) 2016-12-13 2018-06-21 株式会社Ｓｏｋｅｎ 認識装置及び自己位置推定装置
JP2018106511A (ja) 2016-12-27 2018-07-05 株式会社デンソー 物体検出装置、物体検出方法
WO2019039279A1 (ja) 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Also Published As

Publication number Publication date
US11976929B2 (en) 2024-05-07
JP2021099275A (ja) 2021-07-01
US20210190507A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US9607227B2 (en) Boundary detection apparatus and boundary detection method
WO2016129646A1 (ja) 走行軌跡選定装置、および走行軌跡選定方法
US8340896B2 (en) Road shape recognition device
JP5251800B2 (ja) 対象物追跡装置及びプログラム
JP5145585B2 (ja) 物標検出装置
EP2767927A2 (en) Face information detection apparatus, vehicle device control system employing face information detection apparatus, and carrier medium of face information detection program
JP2002352225A (ja) 障害物検出装置及びその方法
CN107909047B (zh) 一种汽车及其应用的车道检测方法及系统
JP2011511281A (ja) センサにより検出されたオブジェクトとマップマッチングする方法
US10165246B2 (en) Method and device for processing stereoscopic data
JP2006018751A (ja) 車両用画像処理装置
CN111443704B (zh) 用于自动驾驶系统的障碍物定位方法及装置
JP2015179368A (ja) 走行区画線認識装置及び走行区画線認識プログラム
WO2008009966A2 (en) Determining the location of a vehicle on a map
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR101645322B1 (ko) 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법
JP7290104B2 (ja) 自己位置推定装置、方法及びプログラム
JP2003281552A (ja) 画像処理装置及びその方法
US10982967B2 (en) Method and device for fast detection of repetitive structures in the image of a road scene
JP2010055340A (ja) 走行路推定装置及びプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN114140659B (zh) 一种基于无人机视角下人体检测的社交距离监控方法
CN110488320A (zh) 一种利用立体视觉检测车辆距离的方法
JP2007272461A (ja) 運動推定装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R151 Written notification of patent or utility model registration

Ref document number: 7290104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151