JP6661748B2 - 自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両 - Google Patents

自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両 Download PDF

Info

Publication number
JP6661748B2
JP6661748B2 JP2018504280A JP2018504280A JP6661748B2 JP 6661748 B2 JP6661748 B2 JP 6661748B2 JP 2018504280 A JP2018504280 A JP 2018504280A JP 2018504280 A JP2018504280 A JP 2018504280A JP 6661748 B2 JP6661748 B2 JP 6661748B2
Authority
JP
Japan
Prior art keywords
image
captured
motor vehicle
stationary
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018504280A
Other languages
English (en)
Other versions
JP2018524741A (ja
Inventor
ニコライ、サーゲーブ
Original Assignee
ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー filed Critical ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Publication of JP2018524741A publication Critical patent/JP2018524741A/ja
Application granted granted Critical
Publication of JP6661748B2 publication Critical patent/JP6661748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、自動車両の周辺区域内の物体を静止物体として識別するための方法であって、車両側取込装置を用いて周辺区域が画像内に取り込まれ、画像処理装置を用いて、取り込まれた画像のうち少なくとも1つにおいて物体が検出される方法に関する。本発明は加えて、運転者支援システム、および自動車両に関する。
取込装置(例えば、カメラ)を自動車両に取り付け、それにより自動車両の周辺区域を画像内に取り込むことは、先行技術より既に知られている。例えば画像処理装置を用いて画像内の物体を認識することによって、当該画像から情報を抽出することができる。例えば特許文献1(DE 10 2008 063 328 A1)は、取り込まれた物体に基づいて自動車両の縦揺れ(ピッチ)角の変化を測定することを提案している。
前記の情報は、自動車両の運転者支援システム、例えば自動化フルビーム調節システムへともたらすことができる。画像から抽出された情報は、例えば、一方では自動車両の周辺区域(特に、自動車両の道路)ができるだけ照らされるように、他方では他の道路使用者(例えば、対向車両)が眩惑されないように、自動車両によって発せられるフルビームを調節するのに用いることができる。この目的のために、取り込まれた自動車両の周辺区域内の物体は、例えば対向車両がまず第一にそのように認識されるよう、最初に分類ないしは識別される必要がある。
独国特許出願公開第102008063328号明細書
本発明の目的は、自動車両の周辺区域内の物体を確実かつ簡単に識別できるようにすることである。
この目的は、本発明によれば、各独立請求項に記載された諸特徴を有する方法、運転者支援システム、および自動車両によって達成される。
本発明による方法は、自動車両の周辺区域内の物体を静止物体として識別するのに役立つ。その方法内では、車両側取込装置を用いて周辺区域が画像内に取り込まれ、画像処理装置を用いて、取り込まれた画像のうちの少なくとも1つにおいて物体が認識される。さらに、少なくとも1つの取り込まれた第1画像に基づいて、周辺区域内の物体の自動車両に対する相対的な第1位置が推定され、第1画像と、少なくとも1つの取り込まれた第2画像とに基づいて、画像座標における物体の移動経路が決定され、周辺区域内の推定された第1位置に由来して画像座標における静止物体を特徴付ける第1移動経路が決定され、取り込まれた物体の移動経路と、特徴付ける第1移動経路との比較に基づいて、取り込まれた物体が静止物体として識別される。
本方法は従って、周辺区域内の物体が静止物体であるか非静止物体であるかの間を区別するのに用いられる。ある物体が本方法を用いて非静止的であるとして識別される場合には、当該物体は動的物体であると想定される。本方法においては、自動車両の推進方向での前方、特に左右前方に位置する周辺区域が、例えば少なくとも1つのカメラを備えた車両側取込装置を用いて画像内に取り込まれる。カメラは特に、ここでは周辺区域を二次元的に取り込むように設計されている。画像処理装置は、少なくとも1つの取り込まれた画像の画像データから、少なくとも1つの取り込まれた画像内での物体の二次元投影を認識し、かくして周辺区域内の物体を認識するように設計されている。
本発明によれば今や、周辺区域内の物体(即ち、現実の物体)の自動車両に対する相対的な第1位置が、取り込まれた第1画像に基づいて推定されることへの備えがなされる。第1画像は、その中で画像処理装置により物体の認識された画像とすることができる。周辺区域内における現実の物体の第1位置は、第1画像上での物体の二次元投影に基づいて(例えば、画像上における物体の二次元の幾何学的な計測に基づいて)推定することができる。第1位置は、ここでは特にワールド座標系において決定され、取り込まれた物体の自動車両からの第1の考え得る距離を表す。ワールド座標系は例えば、車両横方向に沿う第1軸と、車両縦方向に沿う第2軸と、車両高さ方向軸線に沿う第3軸とを有した車両座標系とすることができる。物体の自動車両からの距離はかくして、特に取り込まれた画像のみに基づいて決定される。その距離は特に、直接的にではなく計測されるのである。従ってカメラは、特に簡単な設計を有することができ、例えば高価な飛行時間型カメラである必要がないのである。
第1画像と、少なくとも第2画像とに基づいて、画像座標における物体(即ち、物体の投影)の移動経路が決定される。画像座標は、ここでは第1の(例えば、水平方向の)画像軸と第2の(例えば、垂直方向の)画像軸とを有した二次元画像座標系において決定される。この場合、第1画像において、画像座標における物体の画像位置(例えば、物体の投影点の画像位置)が決められ、少なくとも1つの第2画像において、画像座標における物体の画像位置(例えば、第2画像における物体の投影点の画像位置)が決められるように、画像座標における移動経路が決定される。2つの画像同士の間における物体の画像位置の変化が、ここでは物体の移動経路を与えるのである。物体の画像位置の変化、即ち記録された各画像における物体の投影の移動は、道路上を進行する自動車両を通じて得られる。自動車両が進行することによって、画像内での物体の画像位置が変化し、かくして少なくとも2つの画像同士の間で物体の画像座標が変化するのである。画像座標における取り込まれた物体の移動経路は、ここでは画像座標における物体の投影の、当面の移動経路(即ち、実際の移動経路)に対応している。逐次記録された2つの画像同士の間の時間は、例えば50msから80msの間、特に60msとすることができる。その結果、物体の画像位置を、例えば60ms毎に決定することができる。
また、それから画像座標における静止物体を特徴付ける第1移動経路が決定される。特徴付ける第1移動経路はこの場合、物体が推定された第1位置にある静止物体であるときに当該物体の投影の有する、予め決められた第1移動経路に相当する。特徴付ける第1移動経路を決定するために、例えば推定された第1位置にある指定された静止基準物体の画像位置を、少なくとも2つの画像について決定することができる。取り込まれた物体の移動経路と、特徴付ける第1移動経路とは、それぞれ1つの軌道として決定することができ、例えば取り込まれた画像のうちの1つにおいて表すことができる。
そして、物体を静止物体として識別するために、当面の移動経路と、予め決められた第1移動経路とを比較することができる。この目的のために、例えば軌道同士の間の距離を画像内で決定することができる。例えば、当面の移動経路が予め決められた第1移動経路と一致する場合や、当面の移動経路が予め決められた第1移動経路から多くとも指定された閾値だけ逸れている場合には、取り込まれた物体を静止物体として識別することができる。但し、当面の移動経路が予め決められた第1移動経路から指定された閾値よりも大きく逸れている場合には、取り込まれた物体は動的物体として識別される。
従って、本発明による方法は、取り込まれた周辺区域の画像から、周辺区域内の物体を特に簡単なやり方で分類ないし識別するのに用いることができるのである。
また、少なくとも1つの取り込まれた第1画像に基づいて、周辺区域内の物体の自動車両に対する相対的な第2位置が推定されることが好ましく、周辺区域内の推定された第2位置に由来して画像座標における静止物体を特徴付ける第2移動経路が決定され、取り込まれた物体の移動経路と、特徴付ける第2移動経路との比較に基づいて、取り込まれた物体が識別される。換言すれば、物体の自動車両からの第1の考え得る距離に加えて、物体の自動車両からの第2の考え得る距離が推定されるのである。第2の距離もまた、ワールド座標系内で決定される。
本発明はこの場合、取込装置によって二次元的に取り込まれた画像に基づいて物体の距離を正確に決定することは不可能であり、特にカメラの軸線に沿って変化し得るものである、という所見に基づいている。そこで、物体の自動車両からの2つの考え得る、妥当と思われる距離が推定されるのである。その結果、ワールド座標での第1位置にある基準物体について決定される、画像座標における特徴付ける第1移動経路に加えて、ワールド座標での第2位置にある基準物体について、画像座標における特徴付ける第2移動経路を決定することが可能となる。特徴付ける第2移動経路はこの場合、物体が推定された第2位置にある静止物体であるときに当該物体の有する、予め決められた第2移動経路に相当する。特徴付ける第2移動経路も同様に、軌道として決定することができ、取り込まれた画像において表すことができる。また、当面の移動経路が、予め決められた第2移動経路と比較される。そして、当面の移動経路が予め決められた第2移動経路と一致する場合や、当面の移動経路が予め決められた第2移動経路から多くとも更に指定された閾値だけ逸れている場合には、取り込まれた物体を静止したものとして識別することができる。予め決められた第2移動経路を決定することによって、また当面の移動経路と予め決められた2つの移動経路との比較によって、取り込まれた物体を静止物体として、特に確実に分類したり識別したりすることができる。
取り込まれた物体の移動経路が、特徴付ける第1および第2移動経路によって形成される通路内にある場合に、取り込まれた物体が静止物体として識別されることが特に優先される。換言すれば、取り込まれた物体が静止物体である場合には、画像座標における特徴付ける第1および第2移動経路が、通路(即ち、取り込まれた物体がその中を移動する移動区域)を形成するのである。この場合、公差区域によって通路が拡張されることへの備えをなすこともできる。その結果、取り込まれた物体の移動経路が通路の外側にあるが公差区域内にはある場合であっても、取り込まれた物体が静止物体として識別される。画像のうちの1つにて全ての移動経路を軌道として表すことによって、取り込まれた物体の軌道が通路の範囲内にあるかどうかを、特に簡単なやり方で決定することが可能となる。
静止物体の特徴である第1高さが取り込まれた物体について指定され、少なくとも1つの第1画像と、物体について指定された第1高さとに基づいて、周辺区域内での自動車両に対する相対的な第1位置が決定されると共に、静止物体の特徴である第2高さが取り込まれた物体について指定され、少なくとも1つの第2画像と、物体について指定された第2高さとに基づいて、周辺区域内での自動車両に対する相対的な第2位置が決定されれば有利であると証明されている。そして、各二次元画像に基づいてワールド座標における物体の各位置を妥当に推定するために、物体についての異なる2つの妥当な高さが指定される。第1高さはこの場合、例えば所定の静止基準物体が有することのできる最大高さに相当し、第2高さは、所定の静止基準物体が有することのできる最小高さに相当する。最小および最大高さは、例えば画像処理装置のために記憶されることができる。その結果、ワールド座標における物体の位置を、記憶された高さを用いて、少なくとも1つの取り込まれた第1画像に基づいて簡単かつ迅速に決定することができる。従って、物体の自動車両からの距離を、特に当該距離を直接的に計測する必要なく、妥当かつ迅速に決定することができる。かくして、距離計測用の別個のセンサ装置および/または飛行時間型カメラとしてのカメラの構成を不要とすることが可能となる。
車両速度および/または自動車両の車両高さ方向軸線回りの角速度が、特徴付ける移動経路を決定するために取り込まれることへの備えがなされてもよい。かくして、車両速度および/または角速度に基づいて、画像の取り込まれる各時点についての推定された第1位置および推定された第2位置に由来して、ワールド座標系内での静止物体の場合における物体の位置(即ち、例えば周辺区域内の基準物体の自動車両に対する相対的な位置)を決定し、その位置を、その時点で取り込まれた画像の対応する画像座標における画像位置へと変換することが可能となる。従って、各画像について、基準物体の画像位置を決定し、かくして取り込まれた物体が静止している場合に画像内の取り込まれた物体が有する所定の画像位置を決定することが可能となる。2つの画像同士の間における所定の画像位置の変化が、所定の移動経路、即ち静止物体を特徴付ける移動経路を与える。
また、平坦な道路は、ここでは隆起も窪みも有していない道路である。それは、自動車両が進行中に縦揺れ運動(即ち、車両横方向軸線回りの回動運動)を行わないものと想定されることを意味する。換言すれば、進行中に自動車両の縦揺れ角が変化しないのである。その結果、特徴付ける移動経路を、自動車両の縦揺れ角を取り込もうとする取組みに至る必要なく決定することができるのである。
ある実施形態によれば、取り込まれた物体の移動経路と、特徴付ける移動経路との比較中に、予め決められた方向の画像座標のみが比較される。水平方向の画像座標のみが互いに比較されることが好ましい。本発明はここでは、取り込まれた物体が静止物体であっても、取り込まれた物体の垂直方向の画像座標は、隆起を有した平坦でない道路上を自動車両が進行する場合における特徴付ける移動経路の垂直方向の画像座標とは大きく異なるであろう、という所見に基づいている。平坦でない道路のせいで、自動車両は進行中に縦揺れ運動を行い、その結果として取り込まれた物体が画像内で垂直方向に動くように見えるのである。取り込まれた物体の、画像座標におけるこの見かけ上の垂直運動は、取り込まれた物体の投影の各画像位置に基づいて決定される当該物体の移動経路が、2つの特徴付ける移動経路によって形成される通路の外側にあるという結果を生じさせ得る。特徴付ける移動経路は、特に隆起を有していない平坦な道路に沿って自動車両が移動するという想定の下で、明確に決定されるのである。これは、静止物体の見かけ上の垂直運動が、特徴付ける移動経路には反映されないということを意味する。この理由で、取り込まれた物体の移動経路が通路内にあるかどうかについての検査中には、水平方向の画像座標のみが考慮される。垂直方向の画像座標は、考慮されないのである。その結果、(例えば、窪みのせいで)自動車両が縦揺れ運動を行う道路の場合であっても、特に縦揺れ角を別個に取り込む必要なく、物体を静止物体として確実に識別することができる。
本発明の発展形においては、現時点で取り込まれた第1画像に基づいて、取り込まれた物体の位置が推定され、現時点よりも前の時点で取り込まれた少なくとも1つの第2画像に基づいて、取り込まれた物体の移動経路決定される。それは、ワールド座標における物体の現在位置が推定され、その現在位置に由来して、取り込まれた物体の既に行われた移動が決定される、ということを意味する。換言すれば、取り込まれた物体の移動経路が遡及的に、即ち記録された画像座標の履歴に基づいて決定されるのである。特徴付ける移動経路も、それにより遡及的に決定され、即ち取り込まれた物体が静止物体であったならば行っていたであろう動きとなる。その結果、物体を静止物体または動的物体として、特に迅速に分類することができるのである。
静止した光反射性物体、特に視線誘導標柱または道路標識としての物体が、予め決められた物体として識別されることが好ましい。光反射性物体は、ここでは光を反射する反応性の要素を有した物体を意味するものと理解されたい。そのような要素は、例えば光を反射する反射器(例えば、キャッツアイのようなものなど)であり得る。当該物体は、例えば、一般的に自動車両の道路の側方に設置されて、特に暗所や夜間や視認性に劣るときに自動車両の運転者のための方向付けを容易にする、支線誘導標柱や反射柱であり得る。当該物体はまた、視認性を向上させるために反応的に光を反射する道路標識でもあり得る。反応的に光を反射する物体のせいで、例えば自動車両のヘッドライトによって道路を照らすように発せられた光が、当該物体によって、方向付けられたように、或いは画定されたようにして反射されて自動車両へと戻り、それ故に画像処理装置によって誤って(特に夜間には、光を発している対向車両として)検出される可能性がある。本発明による、物体を静止したものや動的なものとして識別することのできる方法を用いれば、そのような混同が起きるのを防止することが可能となる有利さがある。
この場合、少なくとも1つの取り込まれた第1画像および/または第2画像に基づいて、取り込まれた物体が自動車両の方向へ方向付けられたり画定されたりしたように光を発していることが検出されている場合であって、かつ、取り込まれた光を発している物体の移動経路と、静止物体に特徴的な移動経路との比較に基づいて、取り込まれた物体が静止していることが検出されている場合に、当該物体が、静止した光反射性物体、特に視線誘導標柱および/または道路標識として識別されることができる。換言すれば、例えば検出された第1画像に基づいて、物体が自動車両の方向へ方向付けられたように光を発しているかどうかが決定される。また、この画像に基づいて物体の位置を推定することもできる。その後に、取り込まれた発光物体の移動経路を決定することができ、特徴付ける移動経路との比較に基づいて、物体を静止しているものとして識別することができるのである。
物体が反応的に光を反射する静止物体として識別された場合には、自動車両の道路を照らすための当該自動車両のヘッドライトによって放出される光の調節がブロックされることが好ましい。換言すれば、取り込まれた物体が対向車両ではなく、例えば支線誘導標柱や道路標識であると見出されている場合には、自動的なフルビーム調節(例えば、減光)は行われない。かくして、自動的なフルビーム調節が不必要に行われるのを防止することが可能となる。
本発明は加えて、自動車両の周辺区域内の物体を静止物体として識別するための、特にフルビーム調節用の運転者支援システムに関する。その運転者支援システムは、周辺区域を画像内に取り込むための車両側取込装置(例えば、カメラ)と、取り込まれた画像のうち少なくとも1つにおいて物体を認識するための画像処理装置とを備えている。さらに、画像処理装置は、少なくとも1つの取り込まれた第1画像に基づいて、周辺区域内の物体の自動車両に対する相対的な第1位置を推定し、第1画像と、少なくとも1つの取り込まれた第2画像とに基づいて、画像座標における物体の移動経路を決定し、周辺区域内の推定された第1位置に由来して画像座標における静止物体を特徴付ける第1移動経路を決定し、取り込まれた物体の移動経路と、特徴付ける第1移動経路との比較に基づいて、取り込まれた物体を静止物体として識別するように構成されている。
本発明による自動車両は、本発明による運転者支援システムを備える。その自動車両は、特に乗用車として構成される。運転者支援システムはこの場合、例えば自動車両のヘッドライトによって放出される光を調節するようにヘッドライトを制御することができる。
本発明による方法に関して導入される好適な諸実施形態は、本発明による運転者支援システムおよび本発明による自動車両に然るべく当て嵌まる。
用語「上」、「下」、「前」、「後」、「水平」(a方向)、「垂直」(b方向)などは、取り込まれた画像の適切な観測に基づいた位置および向きを示すものである。用語「内」、「外」、「横方向(左右)」、「右」、「左」、「上」、「下」、「車両高さ方向軸線」(z方向)、「車両縦方向軸線」(y方向)、「車両横方向軸線」(x方向)などは、車両の前方に立って車両縦方向軸線の方向に見ていてる観測者に基づいた位置および向きを示すものである。
本発明の更なる諸特徴は、特許請求の範囲、図面、および図面の説明から知得することができる。本明細書において前述した諸特徴および特徴同士の組合わせ、並びに、図面の説明でこれから述べることになっている、および/または図面に単独で示される諸特徴および特徴同士の組合わせは、それぞれの場合に示される組合せだけでなく、その他の組合せや、単独でも、本発明の範囲から逸脱することなく用いることができる。かくして、図面には明示も説明もされていないが、説明された構成とは別の特徴同士の組合わせを通じて知得したり実現したりすることのできる本発明の諸構成もまた、包含されたり開示されたりしていると見做すべきものである。従って、当初の文言における独立請求項の全ての特徴を有してはいない諸構成や特徴同士の組合わせもまた、開示されていると見做すべきものである。
本発明は以下、好適な実施形態に基づき、添付図面を参照して、より詳細に説明されることとなる。
本発明による自動車両の実施形態を模式的に示す図。 車両側取込装置によって記録されていた画像を模式的に示す図。 車両側取込装置によって記録されていた画像を模式的に示す図。 車両側取込装置によって記録されていた画像を模式的に示す図。 取り込まれた物体の位置を決定するための実施形態を模式的に示す図。
同一の要素や同一の機能を有した要素には、図面において同じ参照符号が与えられる。
図1は、運転者支援システム2を有した自動車両1を示している。運転者支援システム2は、少なくとも1つのカメラを備え得る車両側取込装置3を具備している。取込装置3は、自動車両1の周辺区域4を二次元画像12,14(図2a、図2b、図2c参照)内に取り込む役目をする。取込装置は特に、自動車両1が道路9上を進行する際に(進行方向(y方向)で)自動車両1の前方および左右前方に位置する周辺区域4の画像12,14を取り込む。
運転者支援システム2は、加えて画像処理装置5を備えている。その画像処理装置5は、取込装置3によって取り込まれた周辺区域4の画像12,14を処理して、取り込まれた画像12,14から、例えば情報を抽出するように構成されている。運転者支援システム2(特に、フルビーム調節に役立つもの)は、自動車両1のヘッドライト11から放出される光に調節を加えたり影響を及ぼしたりするために、画像12,14から抽出された情報に基づいてヘッドライト11を制御することができる。また、運転者支援システム2は、道路9上を進行する自動車両1の速度を取り込むための速度センサ6と、自動車両1の車両高さ方向軸線(z方向)回りにおける自動車両1の角速度を取り込むための角速度センサ7とを有することができる。
画像処理装置5は、取込装置3によって取り込まれた画像12,14のうち少なくとも1つにおいて物体8を認識できるように構成されている。物体8は、周辺区域4内において、自動車両1に対する相対的な位置P(x,y,z)を有している。その位置Pはこの場合、(ここでは車両座標系として規定される)ワールド座標系x,y,z内での位置である。この場合、ワールド座標系のx軸は車両横方向に沿って伸び、y軸は車両縦方向に沿って伸び、z軸は車両高さ方向に沿って伸びている。
画像処理装置5は、物体8を分類するように、即ち物体8が、周辺区域4内で位置的に固定された静止物体であるか、動的物体であるかを識別するように構成されている。取り込まれた物体8が(例えば、対向車両の形態の)動的物体である場合には、運転者支援システム2の制御装置10が、例えば自動車両1のヘッドライト11によって放出される光を減光するようにヘッドライト11を制御し、かくして対向車両の運転者を眩惑するのを防ぐことができる。但し、このようにしてヘッドライト11によって放出される光を調節することは、物体8が(例えば、視線誘導標柱13や道路標識の形態の)静止物体であることを画像処理装置5が検出している場合には、ブロックされる(行わないようにされる)べきである。
物体8を静止物体(特に、視線誘導標柱13)として識別することは、図2a、図2b、および図2cを参照して説明されることとなる。図2aは、取込装置3によって第1時点で記録された周辺区域4の画像12を示している。第1画像12は、第1時点(特に、現時点)における、周辺区域4の二次元投影としての周辺区域4’と、道路9の二次元投影としての道路9’と、物体8の二次元投影としての物体8’とを示している。物体8’の画像位置P’が、二次元画像座標系の画像座標a,bを用いて表示されている。物体8’は、画像12内で第1画像位置P’(a1,b1)を有している。二次元の第1画像12に基づいて、自動車両1に対する現実の物体8(図3参照)の第1位置P1(x1,y1,z1)、即ち物体8の自動車両1からの第1の考え得る距離と、自動車両1に対する現実の物体8の第2位置P2(x2,y2,z2)、即ち物体8の自動車両1からの第2の考え得る距離とが推定される。各位置P1,P2は、ここではワールド座標系(x,y,z)において決定される。
図3に示すように、第1位置P1を決定するため、物体8についての第1の最大高さh1が指定され、ないしは想定される。第2位置P2を決定するためには、物体8についての第2の最小高さh2が想定される。そして、画像12および高さh1,h2に基づいて、現実の物体8の考え得る位置P1,P2を決定することができる。物体8の実際の位置P(x,y,z)はこの場合、カメラの軸線20に沿った2つの位置P1,P2同士の間に置かれている。高さh1,h2は、ここでは例えば、視線誘導標柱13の典型的な指定最大高さと典型的な指定最小高さとすることができる。
取り込まれた物体8を静止物体として識別するために、物体8’,8”の第1移動経路15(図2c参照)、即ち、取り込まれた物体8の投影の画像座標a,bにおける移動経路15が決定される。この目的のために、例えば第1画像12における物体8’の画像位置P’と、第2時点で記録された第2画像14における物体8”の画像位置P”(a2,b2)とを決定することができる。第2画像14は、第2時点における、周辺区域4の二次元投影としての周辺区域4”と、道路9の二次元投影としての道路9”と、物体8の二次元投影としての物体8”とを示している。第2時点は、ここでは特に、第1の、現時点よりも前に発生する。画像位置P’,P”の変化を、移動経路15を特徴付ける軌道として決定し、例えば第1画像12内に描写することができる(図2c参照)。
また、第1推定位置P1および第2推定位置P2に由来して、静止物体の特徴であるところの、画像座標a,bにおける移動経路16,17が決定される。特徴付ける第1移動経路16は、ここでは第1推定位置P1での静止物体の特徴であり、特徴付ける第2移動経路17は、第2推定位置P2での静止物体の特徴である。例えば、画像12,14内の静止基準物体の画像座標a,bにおける画像位置を決めることによって、特徴付ける移動経路16,17が決定される。この目的のために、第1画像12内での静止基準物体の各画像位置を得るべく、第1位置P1および第2位置P2が画像座標a,bへと変換される。第2画像14内での静止基準物体の各画像位置を決定するために、第2の時点で静止基準物体の有している、ワールド座標x,y,zにおける静止基準物体の更なる第1位置と、ワールド座標x,y,zにおける静止基準物体の更なる第2位置とが、画像座標a,bへと変換される。更なる第1位置および更なる第2位置は、例えば(速度センサ6および/または角速度センサ7を用いて取り込まれる)自動車両1の速度および/または角速度に基づいて決定することができる。また、特徴付ける移動経路16,17は、自動車両1がその上を進行する道路9が平坦であって窪みも隆起も有していない、という想定の下で決定される。移動経路16,17(これらは、第1画像12内の軌道として表すこともできる(図2c参照))は、通路18を形成する。そして取り込まれた物体8は、取り込まれた物体8’,8”の移動経路15が通路18の範囲内にある場合に、静止物体として識別される。
図2cは、移動経路15の水平座標aは通路18内に位置しているが、移動経路15の垂直座標bはそうではないことを示している。移動経路15は、ここでは自動車両1が隆起を有した道路9上を進行する際の、その自動車両1に対する物体8’,8”の移動経路を示している。これらの隆起のせいで、自動車両1は、車両横方向軸線回りの縦揺れ運動、即ちz軸に沿った縦揺れ運動を行う。当該縦揺れ運動のせいで、物体8’,8”は、画像座標a,bにおいて高さ方向(b方向)に動くように見えるのである。縦揺れ運動にかかわらず、そして縦揺れ運動を取り込まねばならぬことなく、取り込まれた物体8を静止物体として識別できるようにするために、移動経路15が通路18の範囲内にあるかどうかについての検査中には、水平画像座標aのみが検討され、或いは考慮される。垂直画像座標bは考慮されないのである。
移動経路15と、特徴付ける移動経路16,17との比較に基づいて、取り込まれた物体8が静止物体として識別される。物体8を視線誘導標柱13として識別するためには、加えて物体8が自動車両1の方向へ反応的に光を反射するかどうかを検査することが可能である。反応的に光を反射するために、視線誘導標柱13は反射器19を有している。画像処理装置5は、例えば第1画像12に基づいて、物体8’,8”が自動車両1の方向へ光を発していることを検出する。最終的に、画像処理装置5は、移動経路15,16,17に基づいて物体8を静止物体として捕らえ、かくして物体8を視線誘導標柱13として正確に識別することができるのである。物体8が一旦、視線誘導標柱13として識別されてしまったならば、制御装置10は、不必要にフルビームを調節するようヘッドライト11が制御されるのを防止することができる。

Claims (12)

  1. 自動車両(1)の周辺区域(4)内の物体(8)を静止物体として識別するための方法であって、車両側取込装置(3)を用いて前記周辺区域(4)が画像(12,14)内に取り込まれ、画像処理装置(5)を用いて、前記取り込まれた画像(12,14)のうちの少なくとも1つにおいて前記物体(8)が検出される方法において、
    少なくとも1つの取り込まれた第1画像(12)に基づいて、前記周辺区域(4)内の物体(8)の前記自動車両(1)に対する相対的な第1位置(P1)であって、取り込まれた前記物体(8)の前記自動車両(1)からの第1の考え得る距離を表す第1位置(P1)が推定され、前記第1画像(12)と、少なくとも1つの取り込まれた第2画像(14)とに基づいて、画像座標(a,b)における前記物体(8’,8”)の移動経路(15)が決定され、前記周辺区域(4)内の前記推定された第1位置(P1)に由来して前記画像座標(a,b)における第1の静止物体を特徴付ける第1移動経路(16)が決定され、前記取り込まれた物体(8’,8”)の前記移動経路(15)と、前記特徴付ける第1移動経路(16)との比較に基づいて、前記取り込まれた物体(8)が静止物体として識別され
    前記少なくとも1つの第1画像(12)に基づいて、前記周辺区域(4)内の物体(8)の前記自動車両(1)に対する相対的な第2位置(P2)であって、前記物体(8)の前記自動車両(1)からの第2の考え得る距離を表す第2位置が追加的に推定され、前記周辺区域(4)内の前記推定された第2位置(P2)に由来して画像座標(a,b)における静止物体を特徴付ける第2移動経路(17)が決定され、前記取り込まれた物体(8’,8”)の前記移動経路(15)と、前記特徴付ける第1及び第2移動経路(17)との比較に基づいて、前記取り込まれた物体(8)が識別される
    ことを特徴とする方法。
  2. 前記取り込まれた物体(8’,8”)の前記移動経路(15)が、前記特徴付ける第1および第2移動経路(16,17)によって形成される通路(18)内にある場合に、前記取り込まれた物体(8)が静止物体として識別されることを特徴とする請求項1記載の方法。
  3. 前記静止物体の特徴である第1高さ(h1)が前記取り込まれた物体(8)について指定され、前記少なくとも1つの第1画像(12)と、前記物体(8)について指定された前記第1高さ(h1)とに基づいて、前記周辺区域(4)内での前記第1位置(P1)が決定されると共に、前記静止物体の特徴である第2高さ(h2)が前記取り込まれた物体(8)について指定され、前記少なくとも1つの第1画像(12)と、前記物体(8)について指定された前記第2高さ(h2)とに基づいて、前記周辺区域(4)内での前記第2位置(P2)が決定されることを特徴とする請求項1または請求項2記載の方法。
  4. 車両速度および/または前記自動車両(1)の車両高さ方向軸線回りの角速度が、特徴付ける移動経路(16,17)を決定するために取り込まれることを特徴とする請求項1から請求項3のうちのいずれか一項に記載の方法。
  5. 前記自動車両(1)が平坦な道路(9)上を進行するという想定の下で、特徴付ける移動経路(16,17)が決定されることを特徴とする請求項1から請求項4のうちのいずれか一項に記載の方法。
  6. 前記取り込まれた物体(8’,8”)の前記移動経路(15)と、前記特徴付ける移動経路(16,17)とが比較される際に、予め決められた方向の画像座標(a,b)のみが比較されることを特徴とする請求項1から請求項5のうちのいずれか一項に記載の方法。
  7. 前記取り込まれた物体(8’,8”)の前記移動経路(15)と、特徴付ける移動経路(16,17)とが比較される際に、前記画像座標(a,b)として前記予め決められた方向の水平画像座標(a)のみが比較されることを特徴とする請求項6記載の方法。
  8. 現時点で取り込まれた第1画像(12)に基づいて、前記取り込まれた物体(8)の位置(P1,P2)が推定され、現時点よりも前に発生した時点で取り込まれた少なくとも1つの第2画像(14)に基づいて、前記取り込まれた物体(8’,8”)の前記移動経路(15)が決定されることを特徴とする請求項1から請求項7のうちのいずれか一項に記載の方法。
  9. 静止した光反射性物体、特に視線誘導標柱(13)および/または道路標識としての前記物体(8)が、前記静止物体として識別されることを特徴とする請求項1から請求項8のうちのいずれか一項に記載の方法。
  10. 前記物体(8)が静止した光反射性物体として識別されている場合には、自動的なフルビーム調節が行われないように、前記自動車両(1)の道路(9)を照らすための当該自動車両(1)のヘッドライト(11)によって放出される光の調節がブロックされることを特徴とする請求項9記載の方法。
  11. 自動車両(1)の周辺区域(4)内の物体(8)を静止物体として識別するための、特にフルビーム調節用の運転者支援システム(2)であって、前記周辺区域(4)を画像(12,14)内に取り込むための車両側取込装置(3)を有すると共に、前記取り込まれた画像(12,14)のうち少なくとも1つにおいて前記物体(8)を認識するための画像処理装置(5)を有している運転者支援システム(2)において、
    少なくとも1つの第1画像(12)に基づいて、前記周辺区域(4)内の物体(8)の前記自動車両(1)に対する相対的な第1位置(P1)であって、取り込まれた前記物体(8)の前記自動車両(1)からの第1の考え得る距離を表す第1位置(P1)を推定し、前記第1画像(12)と、少なくとも1つの取り込まれた第2画像(14)とに基づいて、画像座標(a,b)における前記物体(8’,8”)の移動経路(15)を決定し、前記周辺区域(4)内の前記推定された第1位置(P1)に由来して前記画像座標(a,b)における静止物体を特徴付ける第1移動経路(16)を決定し、前記取り込まれた物体(8’,8”)の前記移動経路(15)と、前記特徴付ける第1移動経路(16)との比較に基づいて、前記取り込まれた物体(8)を静止物体として識別するように、前記画像処理装置(5)が構成され、
    少なくとも1つの第1画像(12)に基づいて、前記周辺区域(4)内の物体(8)の前記自動車両(1)に対する相対的な第2位置(P2)であって、前記物体(8)の前記自動車両(1)からの第2の考え得る距離を表す第2位置を推定し、前記周辺区域(4)内の前記推定された第2位置(P2)に由来して前記画像座標(a,b)における静止物体を特徴付ける第2移動経路(17)を決定し、前記取り込まれた物体(8’,8”)の前記移動経路(15)と、前記特徴付ける第1及び第2移動経路(17)との比較に基づいて、前記取り込まれた物体(8)を静止物体として識別するように、前記画像処理装置(5)が構成されている
    ことを特徴とする運転者支援システム(2)。
  12. 請求項11記載の運転者支援システム(2)を有した自動車両(1)。
JP2018504280A 2015-07-28 2016-07-26 自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両 Active JP6661748B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015112289.8 2015-07-28
DE102015112289.8A DE102015112289A1 (de) 2015-07-28 2015-07-28 Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
PCT/EP2016/067715 WO2017017077A1 (de) 2015-07-28 2016-07-26 Verfahren zum identifizieren eines objekts in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug

Publications (2)

Publication Number Publication Date
JP2018524741A JP2018524741A (ja) 2018-08-30
JP6661748B2 true JP6661748B2 (ja) 2020-03-11

Family

ID=56511587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018504280A Active JP6661748B2 (ja) 2015-07-28 2016-07-26 自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両

Country Status (7)

Country Link
US (1) US10685447B2 (ja)
EP (1) EP3329462B1 (ja)
JP (1) JP6661748B2 (ja)
KR (1) KR102052840B1 (ja)
CN (1) CN108027971B (ja)
DE (1) DE102015112289A1 (ja)
WO (1) WO2017017077A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016118538A1 (de) 2016-09-29 2018-03-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017217008A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren zum Ermitteln der Steigung einer Fahrbahn
DE102018215136B4 (de) * 2018-09-06 2021-03-25 Robert Bosch Gmbh Verfahren zum Auswählen eines Bildausschnitts eines Sensors
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
KR20200119419A (ko) * 2019-03-29 2020-10-20 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
CN110223511A (zh) * 2019-04-29 2019-09-10 合刃科技(武汉)有限公司 一种汽车路边违停智能监测方法及系统
DE102019210300A1 (de) * 2019-07-11 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum kamerabasierten Bestimmen eines Abstandes eines bewegten Objektes im Umfeld eines Kraftfahrzeugs
CN111353453B (zh) * 2020-03-06 2023-08-25 北京百度网讯科技有限公司 用于车辆的障碍物检测方法和装置
DE102020111471A1 (de) 2020-04-27 2021-10-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Bilderkennung für ein automatisiert fahrendes Fahrzeug
KR20220026154A (ko) * 2020-08-25 2022-03-04 현대자동차주식회사 차량 및 그 제어방법
JP2022053086A (ja) * 2020-09-24 2022-04-05 トヨタ自動車株式会社 自己位置推定システム及び自己位置推定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
JP4244887B2 (ja) * 2004-08-31 2009-03-25 日産自動車株式会社 移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法
DE102005017422A1 (de) * 2005-04-15 2006-10-19 Robert Bosch Gmbh Fahrerassistenzsystem mit Einrichtung zur Erkennung von stehenden Objekten
JP4743037B2 (ja) * 2006-07-28 2011-08-10 株式会社デンソー 車両検出装置
DE102007054048A1 (de) 2007-11-13 2009-05-14 Daimler Ag Verfahren und Vorrichtung für eine Fahrlichtsteuerung eines Fahrzeugs
DE102008025457A1 (de) 2008-05-28 2009-12-03 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Fahrzeugs
DE102008063328A1 (de) 2008-12-30 2010-07-01 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer Änderung des Nickwinkels einer Kamera eines Fahrzeugs
JP5310235B2 (ja) * 2009-04-27 2013-10-09 株式会社豊田中央研究所 車載用照明制御装置及びプログラム
JP5152144B2 (ja) 2009-10-07 2013-02-27 株式会社デンソーアイティーラボラトリ 画像処理装置
JP5320331B2 (ja) * 2010-03-17 2013-10-23 日立オートモティブシステムズ株式会社 車載用環境認識装置及び車載用環境認識システム
EP2418123B1 (en) * 2010-08-11 2012-10-24 Valeo Schalter und Sensoren GmbH Method and system for supporting a driver of a vehicle in manoeuvring the vehicle on a driving route and portable communication device
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP2014081831A (ja) * 2012-10-17 2014-05-08 Denso Corp 画像情報を用いた車両用運転支援システム
JP6071422B2 (ja) * 2012-10-29 2017-02-01 日立オートモティブシステムズ株式会社 画像処理装置
JP6316161B2 (ja) * 2014-09-29 2018-04-25 クラリオン株式会社 車載用画像処理装置
EP3315359B1 (en) * 2016-10-28 2022-03-02 Volvo Car Corporation Road vehicle turn signal assist system and method

Also Published As

Publication number Publication date
WO2017017077A1 (de) 2017-02-02
CN108027971A (zh) 2018-05-11
US20180211394A1 (en) 2018-07-26
JP2018524741A (ja) 2018-08-30
EP3329462A1 (de) 2018-06-06
KR102052840B1 (ko) 2019-12-05
EP3329462B1 (de) 2019-06-26
US10685447B2 (en) 2020-06-16
CN108027971B (zh) 2022-03-01
KR20180035851A (ko) 2018-04-06
DE102015112289A1 (de) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6661748B2 (ja) 自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
US10509973B2 (en) Onboard environment recognition device
JP4993322B2 (ja) 車両周辺にある光点のカメラによる識別及び分類
US8310662B2 (en) Method for detecting misalignment of a vehicle headlight using a camera
US8270676B2 (en) Method for automatic full beam light control
JP5962850B2 (ja) 信号認識装置
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
JP5363085B2 (ja) 前照灯制御装置
JP4879189B2 (ja) 安全走行支援装置
US10339805B2 (en) Traffic light recognition device and traffic light recognition method
US20130027511A1 (en) Onboard Environment Recognition System
US9922258B2 (en) On-vehicle image processing apparatus
CA2987373A1 (en) Position estimation device and position estimation method
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
DE102006055906A1 (de) Verfahren zur Erkennung von Reflektoren, Schildern und Fahrzeuglichtern
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
US8965142B2 (en) Method and device for classifying a light object located ahead of a vehicle
KR101739163B1 (ko) 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치
KR101180676B1 (ko) 차량의 영상인식 기반 상향등 자동 제어 방법
JP2008026933A (ja) 周辺環境認識装置
WO2024047777A1 (ja) ヘッドライト制御装置、および、ヘッドライト制御方法
JP2019091327A (ja) 立体物検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200212

R150 Certificate of patent or registration of utility model

Ref document number: 6661748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250