JP5855272B2 - ブレーキ状況を認識する方法および装置 - Google Patents

ブレーキ状況を認識する方法および装置 Download PDF

Info

Publication number
JP5855272B2
JP5855272B2 JP2014543815A JP2014543815A JP5855272B2 JP 5855272 B2 JP5855272 B2 JP 5855272B2 JP 2014543815 A JP2014543815 A JP 2014543815A JP 2014543815 A JP2014543815 A JP 2014543815A JP 5855272 B2 JP5855272 B2 JP 5855272B2
Authority
JP
Japan
Prior art keywords
vehicle
image
red component
brake
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014543815A
Other languages
English (en)
Other versions
JP2015506014A (ja
Inventor
ヨハネス・フォルティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2015506014A publication Critical patent/JP2015506014A/ja
Application granted granted Critical
Publication of JP5855272B2 publication Critical patent/JP5855272B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17Using electrical or electronic regulation means to control braking
    • B60T8/171Detecting parameters used in the regulation; Measuring values used in the regulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Description

本発明は、交通路にある車両のブレーキ状況を認識する方法、ならびにこれに対応する装置に関する。
車両に適したレーダベースのさまざまな距離コントロールシステムが存在している。その幅は、警告機能(FCW、フォワード・コリジョン・ウォーニング)から快適性領域で速度コントロールをするシステム(ACC、アダプティブ・クルーズ・コントロール)、さらには完全減速で介入をするシステム(PBA、プレディクティブ・ブレーキ・アシスト)にまで及ぶ。
こうしたシステムすべてに共通するのは、レーダセンサが1つまたは複数の先行車両との距離や相対速度を直接的に測定できるという点にある。
特許文献1は、自動車で少なくとも2つの情報源の情報処理をする方法を示している。
ドイツ特許出願公開第10254806B4号明細書
以上を背景としたうえで、本発明により、それぞれ主請求項に記載されている、交通路にある車両のブレーキ状況を認識する方法、さらにはこの方法を適用する装置、ならびに最後に、これに対応するコンピュータプログラム製品が提供される。好ましい実施形態は、それぞれの従属請求項および以下の説明から明らかとなる。
本発明が踏まえている知見は、交通事象を結像している画像の赤色成分を評価することで、車両または車両のブレーキランプが画像によって結像されていない場合であっても、交通事象に関与している車両の減速を画像をベースとして認識することができるというものである。このようにして、渋滞の最後尾や、ブレーキをかけている車両の集団を、画像または画像部分の赤色成分を通じて認識することができる。
このように、車両集団がブレーキをかけているかどうかを認識することができるという利点がある。車両集団がブレーキをかけているか、それともブレーキをかけていないかに依存して、「集団ブレーキ信号」を生成することができる。それによって状況検知がもたらされる。FCWやACCのような機能が集団ブレーキ信号を受信すると、この機能は集団ブレーキ信号に基づき、適用するパラメータを適合化することができる。たとえば、機能によって適用される警告閾値を引き下げることができ、あるいは、先行車両との距離を広げることができる。
このようにして、たとえば車両のビデオカメラを機能やシステムのために利用して、先行車両がブレーキプロセスを開始する以前から、ブレーキをかける車両に対して予測式に反応できるようにすることができる。このときシステムは、必ずしも純粋なビデオシステムである必要はない。ビデオカメラにより生成される集団ブレーキ信号は、たとえばレーダシステム、ライダーシステム、PMDシステム(PMD、Photonic Mixer device)、あるいは超音波システムなどでも利用することができる。
本発明は、交通路にある車両のブレーキ状況を認識する方法を提供するものであり、次の各ステップを含んでいる:
交通路の少なくとも1つの区域を結像している画像の少なくとも1つの画像領域の赤色成分を判定し;
赤色成分に基づいてブレーキ状況を決定する。
交通路とは、1つまたは複数の車線を有する道路である。車両とは、交通路の区域上で走行または停止している、たとえば乗用車やトラックである。車両は集団で走行している場合があり、それにより、車両の走行方向で交通路の前記区域を観察すると、遠くの前方を走っている車両は、その後ろを走っている車両によって全面的または部分的に隠される。ブレーキ状況は、前記区域にある全部、一部、または1つの車両のブレーキプロセスに関する情報を含んでいる。ブレーキプロセスとは、車両のブレーキ装置を用いた、車両のブレーキランプにより表示される車両の能動的な制動であると理解することができる。したがってブレーキ状況は、たとえば、交通路の区域にあるどの車両もブレーキプロセスを行っていない状況を特徴づけることができ、あるいは、走行路の区域にある少なくとも1つの車両がブレーキプロセスを行っている状況を特徴づけることができる。ブレーキ状況に関する情報は、インターフェースを介して出力することができる。たとえばブレーキ状況に関する情報は警告を発することができ、あるいは、運転者アシストシステムを利用することができる。ブレーキプロセスを行っている少なくとも1つの車両は、少なくとも2つの相前後して走る車両からなる集団において、集団の最後尾の車両よりも前に存在していてよい。画像は、たとえばビデオカメラのような画像検出装置によって記録された画像を表すことができる。画像検出装置は、交通路の区域を前記区域にある車両の走行方向で検出するようにアライメントされていてよい。画像検出装置は車両に配置されていてよく、走行方向で見て車両の前に延びる、車両がある交通路の区域を検出するようにアライメントされていてよい。別案として画像検出装置は、交通路のインフラストラクチャーの一部であってよい。画像検出装置は、交通路の区域の完全な後姿の図像を、または区域の後姿の図像の1つまたは複数の事前設定された部分を、画像が結像するようにアライメントされていてよい。少なくとも1つの画像領域は、事前設定された、または最新に判定された画像の部分を含むことができる。画像領域が最新に判定されるとき、画像は画像評価部により、たとえば交通路や車両を対象とすることができる事前設定された指標に関して評価することができ、この画像評価の結果に依存して画像領域を選択することができる。画像領域は複数の画点を含むことができる。赤色成分は、ある程度の強度を有する赤い画点の数が画像領域に多くなるほど、増えていく可能性がある。赤色成分は、一方では赤い色の面状の分布に左右され、他方では、画像領域における赤い色の強度に左右される。赤色成分は、感光性の面に対して長波長の光が多く当たるほど、増えていく可能性がある。入射する光全体の強度を、長波長の光の割合と比較することで、相対的な赤色成分を同様に判定することができる。この実施形態における利点は、入射する光の全強度に対する赤色成分の非依存性である。
1つの実施形態では、前記区域は車両の前方区域にある交通路の区域を表すことができる。このケースでは、画像は車両のカメラによって記録されたものであってよく、本方法は、車両の適当な装置で実施することができる。ブレーキ状況に関する情報に依存して、車両の運転者に警告を出力することができる。ブレーキ状況に関する情報は、たとえば車両の運転者アシストシステムのようなシステムのアルゴリズムにも取り入れることができる。
判定のステップでは、交通路の車道表面を結像している画像の画像領域の赤色成分を判定することができる。車道表面では、車両のブレーキランプから放射された赤い光が反射される。したがって、車道表面で反射される光の赤色成分を評価することで、車道表面の評価される領域の近傍にある、ブレーキランプを作動させている車両を推定することができる。反射光の検出と評価によって、隠れているブレーキランプの光もブレーキ状況の決定のために利用することができる。隠れているブレーキランプとは、たとえばブレーキランプから画像検出装置までの直接的な光路に別の車両や物体があるために、画像によって結像されないブレーキランプであると理解することができる。
その代替または補足として、判定のステップで、交通路の車道仕切を結像している画像の画像領域の赤色成分が判定される。車道仕切はたとえばガードレール、建設現場のコンクリート仕切、壁、縁石、路側帯、または隣接する走行車線、ならびに隣接する走行車線にある車両であってよい。車両表面についてと同様に車道仕切でも、ブレーキランプから放射される光が反射され、これを画像検出装置で検出することができる。
本方法は、車両を結像している画像の画像部分を決定するステップを含むことができる。少なくとも1つの画像領域を選択するステップでは、車両を結像している画像部分の範囲外にある画像の領域として、少なくとも1つの画像領域を選択することができる。この車両は、画像検出装置の前の事前設定された最大距離に直接存在している、またはその範囲内に存在している車両であってよい。これは特に、ブレーキランプが画像検出装置の視界の中にある車両であってよい。この車両を結像している画像領域は除外するのが有意義であり得る。ここには、この車両の前にある車両からのブレーキランプの反射があると見込まれないからである。たとえばリヤガラスやフロントガラスを通して車両の向こうを見ることができるときには、赤色成分に関する相応の画像領域の評価が逆に有意義であり得る。そのような画像領域は、さらに前方にある車両のブレーキランプの光情報を含んでいる可能性があるからである。
判定のステップでは、少なくとも1つの画像領域の絶対的な赤色成分および/または相対的な赤色成分として赤色成分を判定することができる。たとえば、ただ1つの画像の画像領域の赤色成分を評価することができる。赤色成分が閾値を上回っているときには、ブレーキ状況として、少なくとも1つのブレーキをかけている車両がある状況を決定することができる。それに対して赤色成分が閾値を下回っていれば、ブレーキ状況として、ブレーキをかけている車両のない状況を決定することができる。閾値は調整可能であってよく、たとえば周囲の明るさや気象のような環境条件に依存して調整することができる。ブレーキ状況をいっそう正確に特徴づけることができるようにするため、赤色成分を複数の異なる閾値と比較することもできる。絶対的な赤色成分とまったく同様に、たとえば画像領域の明るさに関して正規化された相対的な赤色成分を利用することもできる。
本方法は、別の画像の少なくとも1つの画像領域の別の赤色成分の判定のステップを含むことができる。別の画像は、前記画像とは異なる時点で交通路の少なくとも1つの区域を結像することができる。決定のステップでは、前記赤色成分と、別の赤色成分とに基づいてブレーキ状況を決定することができる。このように、たとえば同一の画像検出装置によって時間的に相前後して撮影された2つの画像における赤色成分の変化を評価することができる。後から撮影された画像で、その前に撮影された画像よりも赤色成分が高いとき、このことは、車両のブレーキ操作を示唆している。後から撮影された画像で、その前に撮影された画像よりも赤色成分が低いとき、このことは、ブレーキ操作の終了を示唆している。2つまたはそれ以上の画像を通じての赤色成分の変化に基づいてブレーキ状況を決定するために、同じく適当な閾値を適用することができる。画像領域として、さまざまに異なる画像領域、または常に同じ画像領域を選択することができる。特に、道路の形状や、自分の車両に対して相対的に走行している車両が変化していないときには、同じ画像領域を選択することができる。したがって、2つの画像の赤色成分が相互に比較されるとき、これらは画像中の同じ部分であってよい。同様に、それぞれ異なる交通区域または同じ交通区域であってよい。
本方法は、画像により結像されている車両のブレーキランプを認識するステップを含むことができる。決定のステップで、ブレーキランプに依存して、別のブレーキ状況を決定することができる。ブレーキランプが能動的に点灯するブレーキランプとして認識されたとき、この別のブレーキ状況は、画像検出装置を装備している車両の直前にある車両がブレーキ操作を行ったことに関する情報を含んでいる可能性がある。ブレーキランプが能動的でないブレーキランプとして認識されたとき、別のブレーキ状況は、画像検出装置を装備している車両の直前にある車両がブレーキ操作を行っていないことに関する情報を含んでいる可能性がある。ブレーキ状況と、別のブレーキ状況とは互いに相違している可能性がある。たとえばブレーキ状況は、集団の中でさらに前方にある車両のブレーキ操作をすでに示しているのに対して、別のブレーキ状況はまだブレーキ操作を示していない可能性がある。ブレーキランプが直接検出される、さらに後方にある車両は、まだブレーキ操作を行っていないからである。別のブレーキ状況に関する情報は、ブレーキ状況に関する情報に準じて、警告を発するために利用することができ、または運転者アシストシステムによって利用することができる。このとき別のブレーキ状況に関する情報と、ブレーキ状況に関する情報とを相互に組み合わせることができる。
さらに本発明は、上に述べた本方法の実施形態の各ステップを相応のデバイスで実施ないし具体化するために構成された、交通路にある車両のブレーキ状況を認識する装置を提供する。本発明のこのような装置の形態での実施態様によっても、本発明の根底にある課題を迅速かつ効率的に解決することができる。
本件において装置とは、センサ信号を処理し、これに依存して制御信号を出力する電気機器を意味することができる。装置は、ハードウェアおよび/またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成の場合、インターフェースは、たとえば装置の多種多様な機能を含むいわゆるシステムASICの一部であってよい。しかしながら、インターフェースが独自の集積回路であり、または、少なくとも部分的に離散したコンポーネントで構成されていることも可能である。ソフトウェアとしての構成の場合、インターフェースは、たとえばマイクロコントローラに他のソフトウェアモジュールと並んで存在しているソフトウェアモジュールであってよい。
半導体メモリ、ハードディスクメモリ、または光学メモリのような機械で読取り可能な媒体に保存されていてよく、プログラムがコンピュータまたは装置で実行されたときに、上に説明した各実施形態のうちの1つに基づいて本方法を実施するために利用されるプログラムコードを有するコンピュータプログラム製品も好ましい。
次に、添付の図面を参照しながら本発明を一例として詳しく説明する。図面は次のものを示している:
交通状況を示す模式図である。 交通状況を示す模式図である。 交通状況を示す模式図である。 交通路の1つの区域を示す図である。 交通路の1つの区域を示す図である。 交通路の1つの区域を示す図である。 ブレーキ状況を認識する装置を備えた車両を示す模式図である。 ブレーキ状況を認識する方法のフローチャートである。
本発明の好ましい実施例についての以下の説明では、異なる図面に示されていて類似の作用をする部材には、同一または類似の符号が使われており、そのような部材について繰返し説明することはしない。
図1は、交通路にある車両100,102,104を含む交通状況の模式図を示している。車両100,102,104は相前後して同じ方向に走行している。走行方向は左から右である。車両102は、車両104の後をわずかな間隔をおいて走っている。車両100は、比較的大きい間隔をおいて車両102に後続している。車両100は、距離測定をするデバイスを装備している。このデバイスは、先行車両102に対する距離測定を行い、場合により先行車両104に対する距離測定を行うために構成されている。距離測定をするデバイス、たとえばレーダセンサは、先行車両102に対する距離と相対速度を直接測定することができ、低い取付位置により、部分的にこの車両102の下を通って、さらに前方を走っている車両104の距離も測定することができる。
図2は、本発明の一実施例に基づく、交通路にある車両100,102,104を含む別の交通状況の模式図を示している。交通状況は、図1に示す交通状況に呼応している。この実施例では、車両100は、たとえばカメラのような画像検出装置を装備している。これに加えて車両は、図1を参照して説明した距離測定をするデバイスを有することができる。
たとえば、ハイビームアシストおよび/または車線維持アシストなどのように車両のビデオカメラの普及度は増していく一方なので、もともとはレーダで具体化されていた前後方向案内機能をビデオカメラによって具合化することができ、または少なくとも補助することができる。
ビデオカメラは画像変換器またはイメージャにより、いわゆる「グレー値」のような明るさ情報に加えて、特に赤色の色情報も評価することができる車両前方のシーンを撮影する。これは、いわゆるR3Iイメージャであってよい。この場合、それぞれ4つの画点またはピクセルのうち3つのピクセルは色フィルタが施されない強度ピクセル、いわゆる「Iピクセル」であり、1つのピクセルは赤色フィルタが施されている。赤色フィルタが施されるピクセルを評価することで、カメラで検出された車両周辺の赤色の領域を結像している画像面を認識することができる。このようにして、適当な評価により、イメージャから提供される画像における赤色成分を判定することができる。測定された強度に対して相対的な赤色成分の判定も好ましいことが判明しており、この場合、正規化された、または相対的な赤色成分を判定することができる。相対的な赤色成分により、周囲の明るさに対する絶対的な赤色成分の依存性を低減することができる。
ビデオカメラはバックミラーの後側で、前方を見るように車両100に組み込まれていてよく、図2に示すような車両100の前方のシーンを撮影する。カメラはたとえば他の車両102を、典型的な後姿を参照したうえで認識する。後姿のスケーリング変化を通じてたとえば距離を見積ることができ、これは、物理量から正確に測定することができるレーダとの違いである。先行車両102の前を走っている車両104との距離は、車両102で隠れている場合には測定することができない。レーダであれば、このような測定はたとえば低い取付位置によって部分的に可能である。
距離の見積もりを踏まえたうえで、レーダの場合と同様に、たとえば警告もしくは介入をするたとえばFCWのような機能を具体化することができる。
距離の見積もりに基づいてこのように機能が具体化されるとき、ある程度の遅延時間が生じる。距離の見積もりは、レーダ測定に比べて比較的不正確だからである。この場合、早期に警告を発し、誤警告を少なく抑えるために、良好な状況解釈が重要となる。
車両100,102,104が集団で固まって走行しているときには、事故の危険性が高くなる。距離が十分な場合よりも、ブレーキ介入がしばしば重大な結果をもたらすからである。同様のことは、たとえば渋滞の最後尾がよく見えなかったために、高い速度から思いがけず強く制動をかけざるを得ないケースにも当てはまる。
さらに車両100の運転者は、夜間には距離やブレーキ介入の強度を見積るのが難しくなる。車両102のランプやシグナルランプしか見ることができず、ランプの距離変化を通じてしか、ブレーキ介入の強度を知覚することができないためである。昼間には、人間はブレーキ介入の強度を推定するために、他の車両のピッチング運動の強度も利用している。
カメラは夜間、距離を見積るのに困難がある。物体が暗闇の中に「消える」からである。同様に、悪天候も視界条件を引き下げる。
図2では、カメラを装備した車両100は集団の内部または後方を走っている。車両100のカメラは走行方向を見ており、車両前方区域を撮影する。カメラの視野角度は、車両100から離れるように延びる外側の線で図示されている。カメラは、直線コースの場合、最後の車両102だけしか認識することができない。その前を走っている車両104は隠れているからである。走行路の区域210では、カメラは「ブラインド」になっている。この区域210は車両102で隠れているからである。
それが意味するのは、区域210にある車両104は、カメラによって撮影された画像では認識可能でないということである。
車両104がブレーキをかけると、車両102もブレーキをかけることが予想される。これを受けて車両100は、自己速度と距離に応じてブレーキをかけ、車両102との衝突を回避しなければならない。
車両100にある距離制御システムまたは距離警告システムは、適当な方法が適用されなければ、車両102の挙動に対して反応することしかできない。車両104は、車両100の視界からは隠れているからである。しかし、車両102の挙動は車両104の挙動に左右されるのであるから、車両104の挙動を車両100のシステムのシステム挙動に取り入れるのが有益である。
各々の車両100,102,104は、ブレーキの操作時に作動する赤色のブレーキランプを装備している。車両104のブレーキランプは車両102で隠れているものの、図3に示すように、車両104のブレーキランプの赤い光は周囲に反射されて、車両100にあるカメラにより検出することができる。
図3は、本発明の一実施例に基づく、交通路にある車両100,102,104を含む別の交通状況の模式図を示している。この交通状況は、図2に示す交通状況に呼応している。車両100は、たとえばカメラなどの画像検出装置を同じく装備している。車両104は同じく車両102で隠された交通路の区域210にある。
図3には、車両104のブレーキライト314の赤色の反射312が示されている。車両104の赤色のブレーキライト314の反射312は、集団走行時における典型的な反射に相当している。車両102の側方にある反射312のうちのいくらかは、車両100の運転者の視野またはカメラによって見ることが可能である。
反射312は、車両104のブレーキプロセスに基づくブレーキライト314の作動によって引き起こされる。車両104のブレーキプロセスは、ブレーキライト314の反射312によって、車両102が車両104のブレーキプロセスに対して反応するよりも前に、車両100のカメラで検出することができる。車両100のカメラで撮影された画像を評価することで、車両104のブレーキプロセスに関する情報、もしくは一般に、集団の中で車両102の前にある車両104のブレーキ状況に関する情報を得ることができる。この情報は、車両100のアシストシステムにより利用することができる。それにより、車両100のアシストシステムは、車両102の潜在的なブレーキプロセスに対して予測的に反応することができる。
車両100のカメラのカメラ結像の評価は、反射312がもっとも高い確率で発生する個々の領域だけに限定することができる。そのような領域は、たとえば車両102の周辺の車道に直接配置されていてよく、または車道の周辺建築物に配置されていてよい。
図4から図6は、本発明の実施例に基づく、車両の運転者または車両の予測式のカメラから見た交通路の区域の図像を示している。図示されているのは、道路420を走行する先行車両200の後姿である。道路420は、高くなった側方の車道仕切422によって両側で区切られている。車両102は、3つのブレーキライト314と2つのテールライト416とを有している。この車両102は、図3に示す先行車両104のブレーキプロセスに基づき、同じくブレーキプロセスを行うように強いられる図1から図3に示す車両102であってよい。車両102の前にある先行車両は、図4から図6では示されていない。図4から図6に示す図面は、図2と図3に示す車両100の運転者またはカメラの視野に相当していてよい。車両100は、図4から図6では見ることができない。このように図4から図6は、車両100の運転者の視界またはカメラの視界から見た図2および図3に示す交通事象の経過を表している。これらの図は、車両100のカメラで撮影される画像にそれぞれ対応しており、そのつどの交通事象のブレーキ状況を決定するために、これらの画像を評価することができる。
図4では、車両102および車両102の前にある車両の状況が示されており、いずれの車両もブレーキプロセスを行っていない。したがって、図4に示す画像の赤色成分は非常に少ない。車両102のテールライト416だけが赤く点灯している。テールライト416の赤い色の誤解釈を防ぐために、画像の赤色成分を評価するのに適した閾値を援用することができる。テールライト416を結像している画像領域を、赤色成分の評価から除外することもできる。そのために、適当な画像評価または物体認識を画像で行うことができる。それにより一方では、ブレーキ状況を決定するのに適した画像領域を判定することができ、他方では、ブレーキ状況を決定するのに適していない画像領域を判定することができる。
図5には、車両102の前にある車両がブレーキプロセスを行っている、車両102および車両102の前にある車両のブレーキ状況が示されている。すぐ前を走る車両102は(まだ)ブレーキをかけていないが、その前の車両のブレーキライト光312は見えるようになっている。それにより、先行車両102もブレーキをかけることになる確率が高い。
車両102の前にある車両のブレーキライトから放射される光は、道路420や車道仕切422の表面に当たって反射される。図5に示す画像における反射312の結像は、図4の画像に比べて高い赤色成分を生じさせる。特に、車両102の横や後ろの道路420の表面ならびに車道仕切が赤色を帯びている。ブレーキ状況を決定するために、図5に示す画像の赤色成分を評価することができる。別案として1つの画像領域だけ、たとえば道路420の表面や車道仕切422を結像している画像領域だけを評価することもできる。ブレーキ状況を決定するために、図5に示す画像をそれ自体単独で評価することができる。その追加または代替として、図5に示す画像を、時間的にそれ以前に検出された図4に示す画像と比較して、各画像の赤色成分の変化に関する情報を取得することもできる。この場合、図4と図5に示すそれぞれの画像の間では、特に車両102の近傍にある道路420および車道仕切422の領域で、赤色成分の急激な上昇が生じている。
図6には、車両102の前にある車両だけでなく車両102もブレーキプロセスを行っている、車両102および車両102の前にある車両のブレーキ状況が示されている。車両102のブレーキプロセスに基づき、車両102のブレーキライト314が点灯している。車両102のブレーキプロセスは、たとえば図1を参照して説明したように直接的な測定を通じて、または、たとえば連続する画像中での車両102の大きさ変化やブレーキライト416の点灯を評価する適当な画像評価を通じて、別のブレーキ状況として別個に認識することができる。
たとえば画像部分または画像領域の、たとえば図4から図6に示すような画像の、絶対的な赤色成分と赤色成分変化を評価することによって、集団の中で動いている車両のブレーキ状況に関する情報を含む集団ブレーキ信号を生成することができる。
赤色成分を評価することで、たとえば流れている交通における渋滞の最後尾を認識することもできる。距離が十分に大きいとき、ブレーキライトをそれ自体として分類することは難しい。しかし渋滞の最後尾では、すべての先行車両がほぼ同時に、または短い間に相前後して減速をする。画像または画像部分における赤色成分がそれによって高くなる。
本発明による取り組みは、たとえばFCWや(ビデオ)ACCのような距離制御または距離警告をするシステムで、状況認識をするために利用することができる。そのために相応のシステムに、集団ブレーキ信号またはブレーキ状況に関する情報を供給し、システムにより決定を下すために利用することができる。集団ブレーキ信号またはブレーキ状況に関する情報を、AHC(=アダプティブハイビームコントロール;ロービームとハイビームの間の明暗境界の流動的な移行、ヘッドライト光軸調整と類縁)のようなライトシステムで、安全間隔または安全角度を予測的に適合化するために利用することもできる。
特に夜間および/または濡れた道路では、反射を特別に良好に検出することができる。夜間には周囲の明るさが少なく、それにより、低い光度(−反射)をより良く解像することができる。濡れた車道では道路が良好な反射特性を有しており、それにより、道路が乾いているときよりも多くの赤い光をカメラで記録することができる。同様に、ガードレールや建設現場のコンクリート仕切などでの反射も良好に認識可能である。
図7は、本発明の一実施例に基づく、交通路420にある車両のブレーキ状況を認識する装置を有する車両100の模式図を示している。この車両100は、たとえば図1から図3に示す車両であってよい。
車両100は、車両100の前にある交通路420の区域732を画像として結像するために構成されたカメラ730を有している。この画像は、図4から図6に示す画像に呼応していてよい。ブレーキ状況を認識する装置は、赤色成分を判定するデバイス734と、ブレーキ状況を決定するデバイス736とを有している。デバイス734は、カメラ730により撮影された画像または画像の画像部分を適当なインターフェースを介して受信し、画像または画像の画像領域の赤色成分を判定するために構成されている。デバイス734は、赤色成分に関する情報を、ブレーキ状況を決定するデバイス736へ提供するために構成されている。デバイス736は、赤色成分に基づいて、画像に結像されている交通事象のブレーキ状況に関する情報を決定するために構成されている。車両100は、運転者アシストシステム738を有することができる。運転者アシストシステム738は、ブレーキ状況に関する情報をデバイス736から適当なインターフェースを介して受信し、ブレーキ状況に関する情報を利用したうえで運転者アシスト機能を実行するため、もしくは適合化するために構成されていてよい。
図8は、本発明の一実施例に基づく、交通路にある車両のブレーキ状況を認識する方法のフローチャートを示している。この方法は、たとえば図7に示す車両の各デバイスによって実施することができる。ステップ830では、カメラによる画像の検出、またはカメラによってすでに検出されている画像の提供が行われる。ステップ834では、画像の少なくとも1つの画像領域の赤色成分の判定が行われる。ステップ836では、赤色成分に基づいてブレーキ状況の決定が行われる。ステップ838では、ブレーキ状況に関する情報を出力することができる。
図面に示す上述した実施例は、一例として選択されたものにすぎない。それぞれ異なる実施例は全面的に、または個々の構成要件に関して、相互に組み合わせることができる。1つの実施例に、別の実施例の構成要件を補足することもできる。さらに本発明による方法ステップは、反復して、ならびに上述した順序とは別の順序で実施することができる。1つの実施例が第1の構成要件と第2の構成要件との間に「および/または」の結合を含んでいるとき、このことは、その実施例が1つの実施形態では第1の構成要件と第2の構成要件を両方とも有しており、別の実施形態では、第1の構成要件か第2の構成要件のいずれかだけを有しているものと解釈すべきである。
100 車両
102 車両
104 車両
314 ブレーキランプ
420 交通路
422 車道仕切
834 判定のステップ
836 決定のステップ

Claims (8)

  1. 交通路(420)にある車両(102,104)のブレーキ状況を認識する方法において、次の各ステップを含んでおり、すなわち、
    交通路(420)の少なくとも1つの区域を結像している画像の少なくとも1つの画像領域の赤色成分を判定し(834)、
    前記赤色成分に基づいてブレーキ状況を決定する(836)方法であって、
    判定のステップ(834)で、交通路(420)の車道表面又は車道仕切(422)のうち、一方又は両方を結像している画像の画像領域の赤色成分が判定される方法。
  2. 前記区域は車両(100)の前方領域にある交通路(420)の区域を表している請求項1に記載の方法。
  3. 車両(102)を結像している画像の画像部分が決定されるステップと、少なくとも1つの画像領域が、車両を結像している画像部分の範囲外にある画像領域として選択されるステップとを有している請求項1又は2に記載の方法。
  4. 判定のステップ(834)で、少なくとも1つの画像領域の絶対的な赤色成分および/または相対的な赤色成分として赤色成分が判定される請求項1〜3の何れか一項に記載の方法。
  5. 交通路(420)の少なくとも1つの区域を前記画像とは別の時点で結像した別の画像の少なくとも1つの画像領域の別の赤色成分が判定されるステップ(834)を有しており、決定のステップで、赤色成分と別の赤色成分とに基づいてブレーキ状況が決定される請求項1〜4の何れか一項に記載の方法。
  6. 画像により結像された車両(102)のブレーキランプ(314)が認識されるステップと、ブレーキランプに依存して別のブレーキ状況が決定されるステップとを有している請求項1〜5の何れか一項に記載の方法。
  7. 請求項1からのいずれか1項に記載の方法の各ステップを実行するために構成されている交通路(420)にある車両(102,104)のブレーキ状況を認識する装置。
  8. プログラムが装置で実行されたときに請求項1からのいずれか1項に記載の方法を実施するためのプログラム。
JP2014543815A 2011-12-09 2012-10-09 ブレーキ状況を認識する方法および装置 Expired - Fee Related JP5855272B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011088130.1A DE102011088130B4 (de) 2011-12-09 2011-12-09 Verfahren und Vorrichtung zur Erkennung einer Bremssituation
DE102011088130.1 2011-12-09
PCT/EP2012/069965 WO2013083313A1 (de) 2011-12-09 2012-10-09 Verfahren und vorrichtung zur erkennung einer bremssituation

Publications (2)

Publication Number Publication Date
JP2015506014A JP2015506014A (ja) 2015-02-26
JP5855272B2 true JP5855272B2 (ja) 2016-02-09

Family

ID=47080472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014543815A Expired - Fee Related JP5855272B2 (ja) 2011-12-09 2012-10-09 ブレーキ状況を認識する方法および装置

Country Status (7)

Country Link
US (1) US9827956B2 (ja)
EP (1) EP2788224A1 (ja)
JP (1) JP5855272B2 (ja)
KR (1) KR20140104954A (ja)
CN (1) CN103987575A (ja)
DE (1) DE102011088130B4 (ja)
WO (1) WO2013083313A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221356A1 (de) * 2012-06-20 2013-12-24 Robert Bosch Gmbh Sensor und Verfahren zur Erfassung von Licht und Verfahren und Vorrichtung zur Ermittlung einer Farbinformation
US20140218530A1 (en) * 2013-02-01 2014-08-07 Eric Sinclair Traffic Event Detection System for Vehicles
US9975482B2 (en) * 2013-02-01 2018-05-22 Eric Sinclair Systems and methods for traffic event detection for vehicles using rolling averages
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
DE102013207113A1 (de) * 2013-04-19 2014-10-23 Continental Teves Ag & Co. Ohg Verfahren und System zur Vermeidung eines Auffahrens eines Folgefahrzeugs auf ein unmittelbares Vorausfahrzeug sowie Verwendung des Systems
RU2631543C1 (ru) * 2013-08-29 2017-09-25 Ниссан Мотор Ко., Лтд. Устройство и способ для управления движением транспортного средства
JP2015123831A (ja) * 2013-12-26 2015-07-06 富士重工業株式会社 車両の制御装置及び制御方法
EP2983152A1 (en) * 2014-08-04 2016-02-10 Eric Sinclair Traffic event detection system for vehicles
DE102014216159B4 (de) 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
JP6181678B2 (ja) * 2015-01-29 2017-08-16 トヨタ自動車株式会社 車両制動制御装置
US9908468B2 (en) 2016-01-12 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for providing an extended forward collision warning
EP3696039B1 (en) 2017-10-12 2022-11-30 Nissan Motor Co., Ltd. Method and apparatus for controlling automated vehicle
JP6844714B2 (ja) * 2017-10-26 2021-03-17 日産自動車株式会社 自動運転車両の制御方法および制御装置
KR101851189B1 (ko) 2018-01-26 2018-04-24 찬 서 이 자동차도로 및 터널 내 자동차 추돌 방지 시스템
US11017671B2 (en) * 2018-07-02 2021-05-25 Nio Usa, Inc. Precautionary visual perception by detection of rear stop light of vehicle that is two vehicles ahead
DE102018216983B3 (de) 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung
DE102020109542A1 (de) 2020-04-06 2021-10-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Kraftfahrzeugs, Fahrassistenzsystem und Kraftfahrzeug
CN111994077B (zh) * 2020-08-31 2021-10-29 安徽江淮汽车集团股份有限公司 队列行驶方法、车辆及系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0312799A (ja) * 1989-06-12 1991-01-21 Akio Kato 車載用運転操作支援報知装置
JPH07267024A (ja) * 1994-03-31 1995-10-17 Souji Kobayashi 追突防止装置
JPH08241500A (ja) * 1995-03-07 1996-09-17 Hitachi Ltd 前方車両認識装置および車載警報装置
FR2742284B1 (fr) 1995-12-08 1998-01-02 Thomson Csf Systeme de communication optique pour vehicules automobiles et retroviseur de vehicule
JP3872179B2 (ja) * 1997-07-17 2007-01-24 富士重工業株式会社 車両の衝突防止装置
US6577334B1 (en) * 1998-02-18 2003-06-10 Kabushikikaisha Equos Research Vehicle control
DE29917296U1 (de) * 1999-10-01 2000-01-13 Benkhardt Axel Personenwagen mit dritter Bremsleuchte
US6335682B1 (en) * 2000-07-05 2002-01-01 International Business Machines Corporation Method and system for enhanced system automotive brake light control
US7365769B1 (en) * 2000-07-06 2008-04-29 Donald Mager Activating a vehicle's own brake lights and/or brakes when brake lights are sensed in front of the vehicle, including responsively to the proximity of, and/or rate of closure with, a forward vehicle
JP2002175522A (ja) * 2000-12-05 2002-06-21 Hitachi Ltd 車両の運転支援装置
GB0208423D0 (en) 2002-04-12 2002-05-22 Ford Global Tech Inc A safety system for a motor vehicle
DE10254806B4 (de) 2002-11-22 2008-07-24 Robert Bosch Gmbh Verfahren zur Informationsverarbeitung
DE10335189A1 (de) * 2003-07-30 2005-03-03 Daimlerchrysler Ag Vorrichtung zur Sichtverbesserung bei Kraftfahrzeugen
US20050128063A1 (en) * 2003-11-28 2005-06-16 Denso Corporation Vehicle driving assisting apparatus
JP2005182306A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP2006001369A (ja) * 2004-06-16 2006-01-05 Denso Corp 運転状況判定装置
DE102004029985B4 (de) * 2004-06-21 2017-08-31 Harman Becker Automotive Systems Gmbh Verfahren und Vorrichtung zum Ausgeben eines Anfahrsignals
US6985073B1 (en) * 2004-12-20 2006-01-10 Duc Doan Apparatus for monitoring traffic signals and alerting drivers
DE502006007631D1 (de) * 2005-02-22 2010-09-23 Adc Automotive Dist Control Verfahren zur erkennung der aktivierung von bremsleuchten vorausfahrender fahrzeuge
JP4984915B2 (ja) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
JP4232794B2 (ja) * 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4783431B2 (ja) * 2006-09-28 2011-09-28 パイオニア株式会社 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
KR100793627B1 (ko) * 2006-11-29 2008-01-10 팅크웨어(주) 주행안내시스템 및 주행안내방법
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
WO2008146304A2 (en) * 2007-05-25 2008-12-04 Ananya Innovations Limited A forward brake indicate device and method thereof
JP4466701B2 (ja) * 2007-09-10 2010-05-26 株式会社デンソー ライト制御装置
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
CN101758822A (zh) * 2008-12-19 2010-06-30 曹淑兰 自动刹车系统
US9253505B2 (en) * 2009-04-08 2016-02-02 Newrow, Inc. System and method for image compression
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP5437855B2 (ja) * 2010-03-02 2014-03-12 パナソニック株式会社 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
DE102011009483A1 (de) * 2011-01-26 2012-07-26 Audi Ag Verfahren zum Betrieb eines längsführenden Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data

Also Published As

Publication number Publication date
KR20140104954A (ko) 2014-08-29
JP2015506014A (ja) 2015-02-26
CN103987575A (zh) 2014-08-13
US20150120160A1 (en) 2015-04-30
US9827956B2 (en) 2017-11-28
DE102011088130B4 (de) 2023-03-02
DE102011088130A1 (de) 2013-06-13
EP2788224A1 (de) 2014-10-15
WO2013083313A1 (de) 2013-06-13

Similar Documents

Publication Publication Date Title
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
CN108263279B (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN113998034B (zh) 骑乘者辅助系统和方法
CN107021096B (zh) 驾驶辅助设备和驾驶辅助方法
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
US9020747B2 (en) Method for recognizing a turn-off maneuver
JP6332384B2 (ja) 車両用物標検出システム
US9250063B2 (en) Method and device for ascertaining a position of an object in the surroundings of a vehicle
US20080007429A1 (en) Visibility condition determining device for vehicle
KR20180078986A (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
EP2302412A1 (en) System and method for evaluation of an automotive vehicle forward collision threat
JP4900211B2 (ja) 走行支援装置、車間距離設定方法
JP2013147112A (ja) 車両の走行環境認識装置
JP3872179B2 (ja) 車両の衝突防止装置
JP2018055427A (ja) 車両用物標検出システム
WO2010050095A1 (ja) 前照灯制御装置
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
JP2008052320A (ja) 周辺監視システム
JP2009116394A (ja) 車両の警報装置
US20230415734A1 (en) Vehicular driving assist system using radar sensors and cameras
KR20170030816A (ko) 신호등 감지기능을 갖는 자동 순항 제어장치 및 제어방법
WO2015190052A1 (ja) 前方状況判定装置
US20240105058A1 (en) Calibration of time to collision threshold in low light conditions
US11195029B2 (en) Driver assistance system
JP2024016501A (ja) 車載カメラ遮蔽状態判定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151208

R150 Certificate of patent or registration of utility model

Ref document number: 5855272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees