JP6413474B2 - Parking support device and parking frame horizontal line detection method - Google Patents
Parking support device and parking frame horizontal line detection method Download PDFInfo
- Publication number
- JP6413474B2 JP6413474B2 JP2014168280A JP2014168280A JP6413474B2 JP 6413474 B2 JP6413474 B2 JP 6413474B2 JP 2014168280 A JP2014168280 A JP 2014168280A JP 2014168280 A JP2014168280 A JP 2014168280A JP 6413474 B2 JP6413474 B2 JP 6413474B2
- Authority
- JP
- Japan
- Prior art keywords
- horizontal line
- image
- vehicle
- parking
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
この発明は駐車支援装置及び駐車枠の横線検出方法に係り、特に駐車枠後端の横白線の検出精度の向上を図る駐車支援装置及び駐車枠の横線検出方法に関するものである。 The present invention relates to a parking support device and a horizontal line detection method for a parking frame, and more particularly to a parking support device and a parking frame horizontal line detection method for improving the detection accuracy of a horizontal white line at the rear end of the parking frame.
車両に搭載されるバックカメラを用いて、車両の後方画像を俯瞰画像（車両を真上から見た画像）に切り換え、後ろ向き駐車を支援する技術がある。
例えば、駐車支援装置としては、駐車枠へ後進する車両に対し、駐車枠の適切な位置で後方画像を俯瞰画像に切り換える機能を提案している（図３、図４参照。）。
また、後述の特許文献１に開示される駐車枠の横線検出方法及び駐車支援装置では、駐車枠後端の横白線を白線と路面の輝度差から検出し、車両と横白線との距離に基づき後方画像から俯瞰画像へ自動で切り換える方法を提案している。
このとき、適切な位置で車両の後方画像を俯瞰画像へ切り換えるためには、駐車枠後端を精度良く検出することが重要となる。
There is a technology that uses a back camera mounted on a vehicle to switch a rear image of the vehicle to a bird's-eye view image (an image when the vehicle is viewed from directly above) and supports backward parking.
For example, as a parking assistance device, a function of switching a rear image to an overhead image at an appropriate position of the parking frame for a vehicle moving backward to the parking frame is proposed (see FIGS. 3 and 4).
Further, in the parking frame horizontal line detection method and parking assist device disclosed in Patent Document 1 described later, the horizontal white line at the rear end of the parking frame is detected from the luminance difference between the white line and the road surface, and based on the distance between the vehicle and the horizontal white line. A method for automatically switching from a rear image to a bird's-eye view image has been proposed.
At this time, it is important to accurately detect the rear end of the parking frame in order to switch the rear image of the vehicle to the overhead image at an appropriate position.
ところで、従来の特許文献１に開示される駐車枠の横線検出方法及び駐車支援装置では、駐車枠後端の横白線を白線と路面の輝度差から検出し、車両と横白線との距離に基づき後方画像から俯瞰画像へ自動で切り換える方法を提案していた。
しかしながら、特許文献１に開示されるものは、夜間に後ろ向き駐車をする際に、車両によってはバックランプのリフレクタやレンズにより、路面に横白線状の配光縞（単に「縞」ともいう。）が描かれることとなってしまい、この配光縞を駐車枠後端の横白線と誤検知する場合があり、本来の横白線が所定の位置（例えば、車両後端から１．６ｍ近傍）に接近していないにも関わらず俯瞰画像に切り換わるという不都合がある。
By the way, in the parking frame horizontal line detection method and parking assist device disclosed in the conventional patent document 1, the horizontal white line at the rear end of the parking frame is detected from the luminance difference between the white line and the road surface, and based on the distance between the vehicle and the horizontal white line. A method of automatically switching from the rear image to the overhead image has been proposed.
However, as disclosed in Patent Document 1, when parking backwards at night, depending on the vehicle, depending on the reflector or lens of the back lamp, the light distribution stripes in the form of horizontal white lines on the road surface (also simply referred to as “stripes”). May be erroneously detected as a horizontal white line at the rear end of the parking frame, and the original horizontal white line is at a predetermined position (for example, near 1.6 m from the rear end of the vehicle). There is an inconvenience of switching to a bird's-eye view image even though it is not approaching.
本来、駐車枠後端の横白線は、白線と路面の輝度差が所定のしきい値を超えると検出されるものであるが、配光縞の明暗の輝度差がしきい値を超える場合には、上述の問題が発生してしまう。
この問題を回避する単純な対処法としては、横白線検出のしきい値を配光縞の輝度差より大きい値に設定する方法があるが、これでは配光縞により俯瞰する誤動作を抑えることはできても、「配光縞より薄い実際の横白線を検出できない」という不都合がある。
Originally, the horizontal white line at the rear edge of the parking frame is detected when the luminance difference between the white line and the road surface exceeds a predetermined threshold value, but the brightness difference between the light distribution stripes exceeds the threshold value. Causes the above-mentioned problems.
A simple way to avoid this problem is to set the horizontal white line detection threshold value to a value greater than the luminance difference of the light distribution stripes. Even if it is possible, there is an inconvenience that “the actual horizontal white line thinner than the light distribution stripe cannot be detected”.
この発明は、駐車枠後端の横白線を精度よく検出する駐車支援装置及び駐車枠の横線検出方法を提案することを目的とする。 It is an object of the present invention to propose a parking assist device and a parking frame horizontal line detection method for accurately detecting a horizontal white line at the rear end of a parking frame.
そこで、この発明は、上述不都合を除去するために、車両の後方を撮像する撮像手段と、この撮像手段により撮像された画像上で横線を検出する横線検出手段とを備えた駐車支援装置であって、車両の移動を検出する車両移動検出手段と、前記横線検出手段が画像上で検出した横線が駐車枠の横線であるか否かを判定する横線判定手段と、を備え、前記横線判定手段において画像上の横線が駐車枠の横線であると判定される条件には、少なくとも、前記車両移動検出手段により検出された車両の移動に伴って、前記横線検出手段により検出された横線が画像上で移動したことが含まれることを特徴とする。
また、車両の後方を撮像する撮像手段と、この撮像手段により撮像された画像上で横線を検出する横線検出手段と、配光縞が車体横方向とほぼ平行となるように車体に設置されたバックランプと、を備えた駐車支援装置であって、前記バックランプから出射される光に起因する縞は、車体横方向になるように設定されており、前記横線検出手段は、前記画像上の前記横線の輝度が予め設定されたしきい値よりも大きい場合に駐車枠の横線と判定し、前記しきい値は、前記バックランプから出射される光に起因する縞の輝度に予め設定された輝度を加算したものであることを特徴とする。
更に、本発明に係る駐車枠の横線検出方法は、駐車支援装置の制御部が、車両の後方を撮像する撮像手段により撮像された画像上で横線を検出するステップと、前記制御部が、前記車両の移動を検出するステップと、を含み、前記制御部が、前記車両の移動に伴い横線の移動を検出したことを条件として、前記画像上で検出された横線は駐車枠の横線であると判定することを特徴とする。
In view of the above, the present invention is a parking assist apparatus including an imaging unit that captures an image of the rear of a vehicle and a horizontal line detection unit that detects a horizontal line on an image captured by the imaging unit in order to eliminate the inconvenience described above. Vehicle movement detection means for detecting movement of the vehicle, and horizontal line determination means for determining whether or not the horizontal line detected on the image by the horizontal line detection means is a horizontal line of a parking frame, the horizontal line determination means In the condition that the horizontal line on the image is determined to be the horizontal line of the parking frame at least, the horizontal line detected by the horizontal line detection means on the image is accompanied by at least the movement of the vehicle detected by the vehicle movement detection means. It is characterized in that it has been moved by.
Also, an image pickup means for picking up the rear of the vehicle, a horizontal line detection means for detecting a horizontal line on the image picked up by the image pickup means, and a light distribution fringe are installed on the vehicle body so as to be substantially parallel to the vehicle body lateral direction. A back lamp, and a stripe caused by the light emitted from the back lamp is set to be in a lateral direction of the vehicle body, and the horizontal line detecting means is on the image. When the luminance of the horizontal line is larger than a preset threshold value, the horizontal line of the parking frame is determined, and the threshold value is preset to the luminance of the stripe caused by the light emitted from the back lamp . characterized in that it is a sum of the luminance.
Furthermore, in the method for detecting a horizontal line of a parking frame according to the present invention, the control unit of the parking assistance device detects a horizontal line on an image captured by an imaging unit that captures the rear of the vehicle, and the control unit includes: wherein detecting movement of the vehicle, wherein the control unit is, as before Symbol condition that has been detected the movement of the horizontal line with the movement of the vehicle, horizontal lines detected on the image is a horizontal line of the parking space It is characterized by determining.
この発明によれば、駐車枠後端の横線を精度よく検出することができる。バックランプのリフレクタやレンズを介して出射される光に、縞として認識される輝度ムラが含まれていても、駐車枠後端の横線を検出することができる。 According to this invention, the horizontal line at the rear end of the parking frame can be detected with high accuracy. The horizontal line at the rear end of the parking frame can be detected even if the light emitted through the reflector or the lens of the back lamp includes luminance unevenness recognized as a stripe.
以下図面に基づいてこの発明の実施例を詳細に説明する。 Embodiments of the present invention will be described below in detail with reference to the drawings.
図１〜図５はこの発明の実施例１を示すものである。
図２において、１は車両に搭載される駐車支援装置である。
この駐車支援装置１は、車両の後方を撮像する撮像手段２と、この撮像手段２により撮像された画像上で横線を検出する横線検出手段３とを備えている。
そして、前記駐車支援装置１は、図２に示す如く、入力側に、前記撮像手段２と、シフトレバー（図示せず）のシフトレンジを検出するシフトレンジ検出手段４と、車速を検出する車速検出手段５と、ステアリング（図示せず）の操作状態を検出するステアリング操作検出手段６とを備えている。
また、上述した入力側の各手段２、４〜６からの検出信号などを入力する前記駐車支援装置１は、制御部７を有している。
この駐車支援装置１の制御部７は、前記横線検出手段３と、車両の移動を検出する車両移動検出手段８と、駐車枠の横線であるか否かという判定条件に、少なくとも、前記車両移動検出手段８により検出された車両の移動に伴って、前記横線検出手段３により検出された横線が画像上で移動したことを含む横線判定手段９とを備えている。
詳述すれば、この横線判定手段９は、前記駐車支援装置１の動作中に車両と同じ動きをする白線候補（画像上は動かない配光縞等）を検出対象から除外するものである。
追記すれば、前記駐車支援装置１の駐車枠の横線検出方法おいて、予め設定された条件を満たす場合に駐車枠の横線であると判定する駐車枠の横線検出方法を実現するものであって、車両の移動に伴って、画像上で横線の移動が検出されたことを条件として含んでいるものである。
これにより、駐車枠後端の横線を精度よく検出することができる。
また、バックランプのリフレクタやレンズを介して出射される光に、縞として認識される輝度ムラが含まれていても、駐車枠後端の横線を検出することができる。
1 to 5 show Embodiment 1 of the present invention.
In FIG. 2, reference numeral 1 denotes a parking assistance device mounted on the vehicle.
The parking assist apparatus 1 includes an imaging unit 2 that captures an image of the rear of the vehicle, and a horizontal line detection unit 3 that detects a horizontal line on an image captured by the imaging unit 2.
As shown in FIG. 2, the parking assist device 1 has, on the input side, the image pickup means 2, a shift range detection means 4 for detecting the shift range of a shift lever (not shown), and a vehicle speed for detecting the vehicle speed. A detection means 5 and a steering operation detection means 6 for detecting an operation state of a steering (not shown) are provided.
Further, the parking assist apparatus 1 that inputs detection signals from the above-described input-side means 2, 4 to 6 has a control unit 7.
The control unit 7 of the parking assist device 1 includes at least the vehicle movement based on the horizontal line detection unit 3, the vehicle movement detection unit 8 that detects the movement of the vehicle, and a determination condition as to whether the parking frame is a horizontal line. A horizontal line determination means 9 including that the horizontal line detected by the horizontal line detection means 3 has moved on the image in accordance with the movement of the vehicle detected by the detection means 8 is provided.
More specifically, the horizontal line determination means 9 excludes white line candidates (such as light distribution stripes that do not move on the image) that move in the same manner as the vehicle during the operation of the parking assist apparatus 1 from the detection target.
If it adds, the horizontal line detection method of the parking frame of the parking assistance device 1 realizes the horizontal line detection method of the parking frame that is determined to be the horizontal line of the parking frame when a preset condition is satisfied. In addition, it includes that the movement of the horizontal line is detected on the image as the vehicle moves.
Thereby, the horizontal line at the rear end of the parking frame can be detected with high accuracy.
Moreover, even if the brightness | luminance unevenness recognized as a fringe is contained in the light radiate | emitted via the reflector and lens of a back lamp, the horizontal line of a parking frame rear end is detectable.
また、前記駐車支援装置１は、前記撮像手段２により撮像した後方画像を俯瞰画像に変換する画像変換手段１０と、画像を表示する表示手段１１と、駐車枠の横線と車両との距離に基づいて、前記表示手段１１に表示する画像を俯瞰画像に切り換える表示切換制御手段１２とを備えている。
つまり、前記駐車支援装置１において、制御部７は、図２に示す如く、前記画像変換手段１０と、表示切換制御手段１２とを備えている。
また、前記駐車支援装置１は、出力側に、前記表示手段１１を備えている。
これにより、俯瞰画像表示の誤切り換えを抑制することができる。
Further, the parking assist device 1 is based on an image conversion means 10 that converts a rear image captured by the imaging means 2 into a bird's-eye view image, a display means 11 that displays an image, and a distance between the horizontal line of the parking frame and the vehicle. Display switching control means 12 for switching the image displayed on the display means 11 to an overhead image.
That is, in the parking assist apparatus 1, the control unit 7 includes the image conversion means 10 and the display switching control means 12 as shown in FIG.
Moreover, the parking assist device 1 includes the display unit 11 on the output side.
Thereby, erroneous switching of the overhead image display can be suppressed.
追記すれば、この実施例１においては、前記駐車支援装置１の動作中に車両と同じ動きをする白線候補（画像上は動かない配光縞等）を検出対象から除外する機能を実現するものである。
ここで、具体的に説明すると、夜間にバックランプが路面を明るく照らすようになると、バックランプのレンズカットにより、路面に明暗のムラ、縞が描かれることとなる。
このとき、図３に示すように、車両の後方画像を自動で俯瞰画像に切り換わる機能は、横白線が車両後端からの距離が、例えば１．６ｍ付近に近づいたタイミングで作動する。
つまり、車両が後進して駐車枠へ接近し、予想軌跡が表示された状態から、図３（ａ）のように駐車枠と平行な状態となり、図３（ｂ）のように車両が駐車枠内へ侵入した際に後方画像が仮想視点からの俯瞰画像に自動的に切り換えられる。
このときの画像遷移は、図４（ａ）に示す車両が駐車枠に入っていない状態から、図４（ｂ）に示す如く、車両が後進して車両後端が駐車枠に入った状態となり、その後に図４（ｃ）に示す如く、車両が車両後端からの距離が、例えば１．６ｍの位置に到達した状態で自動的に後方画像を俯瞰画像に切り換えている。
そのため、図４（ａ）〜（ｃ）に示す如く、この縞、ムラが車両後端からの距離が、例えば１．６ｍ内に相当する位置に映った場合、明暗のコントラストの大きさによって、予め定めたしきい値を超え、前記画像変換手段１０によって後方画像から俯瞰画像への切り換えが行われる。
そこで、
（１）「配光縞は車両の移動とともに移動することはない」
（２）「俯瞰画像への切り換えは、横白線が車両後端からの距離が、例えば１．６ｍ近傍にさしかかった時に動作」
という特徴と条件を利用し、以下のような判断を加える。
つまり、前記駐車支援装置１は、
「車両後端からの距離が、例えば１．６ｍ近傍に映るパターンに注目し、このエリアで横白線状のパターンが検出され、それが車両の移動にも関わらず画像上で移動しない場合には、当該パターンは路面に描かれた白線ではない。」
と判断するものである。
このような判断を加えることにより、当該白線とその位置を俯瞰画像への切り換え判断に使用しないという選択が可能となり、誤検知による誤動作を抑制できる。
図５（ａ）に配光縞が誤検知による俯瞰画像への切り換えを誘発し易いシーンを示し、図５（ｂ）には配光縞によってできる偽の横白線候補の発生を監視するエリアとを示す。
If it adds, in this Example 1, the function which excludes the white line candidate (light distribution stripe etc. which does not move on an image) which moves the same as a vehicle during operation of the parking assistance device 1 from a detection object is realized. It is.
More specifically, when the back lamp illuminates the road surface brightly at night, light and dark unevenness and stripes are drawn on the road surface due to the lens cut of the back lamp.
At this time, as shown in FIG. 3, the function of automatically switching the rear image of the vehicle to the overhead view image operates at a timing when the distance from the rear end of the horizontal white line approaches, for example, 1.6 m.
That is, the vehicle moves backward and approaches the parking frame, and from the state in which the predicted trajectory is displayed, the vehicle becomes parallel to the parking frame as shown in FIG. 3A, and the vehicle is parked as shown in FIG. The rear image is automatically switched to a bird's-eye view image from a virtual viewpoint when entering.
The image transition at this time is from the state where the vehicle shown in FIG. 4A is not in the parking frame to the state where the vehicle moves backward and the rear end of the vehicle enters the parking frame as shown in FIG. 4B. Thereafter, as shown in FIG. 4 (c), the rear image is automatically switched to the bird's-eye view image in a state where the vehicle has reached a position of 1.6 m from the rear end of the vehicle.
Therefore, as shown in FIGS. 4A to 4C, when the stripes and unevenness appear at a position corresponding to the distance from the rear end of the vehicle within 1.6 m, for example, depending on the magnitude of contrast between light and dark, When a predetermined threshold value is exceeded, switching from the rear image to the overhead image is performed by the image conversion means 10.
there,
(1) “Light distribution stripes do not move with the movement of the vehicle”
(2) “Switching to a bird's-eye view image works when the horizontal white line approaches the distance from the rear end of the vehicle, for example, near 1.6 m”
The following judgments are made using the characteristics and conditions.
That is, the parking assist device 1
“If the distance from the rear end of the vehicle is, for example, a pattern reflected in the vicinity of 1.6 m, a horizontal white line pattern is detected in this area, and it does not move on the image despite the movement of the vehicle. The pattern is not a white line drawn on the road. "
It is to be judged.
By making such a determination, it is possible to select not to use the white line and its position for the determination of switching to the overhead image, and it is possible to suppress malfunction due to erroneous detection.
FIG. 5 (a) shows a scene where the light distribution stripes are likely to induce switching to an overhead image due to erroneous detection, and FIG. 5 (b) shows an area for monitoring the occurrence of false horizontal white line candidates generated by the light distribution stripes. Indicates.
次に、図１の前記駐車支援装置１及び駐車枠の横線検出方法の制御用フローチャートに沿って作用を説明する。 Next, the operation will be described along the control flowchart of the parking assist device 1 and the horizontal line detection method of the parking frame in FIG.
この駐車支援装置１及び駐車枠の横線検出方法の制御用プログラムがスタート（１０１）すると、撮像した画像を記録する処理（１０２）に移行する。
この処理（１０２）においては、前記撮像手段２によって車両の後方を撮像した後に、撮像した画像を前記駐車支援装置１が記録している。
上述の撮像した画像を記録する処理（１０２）の後には、横線検出の処理（１０３）に移行する。
この処理（１０３）においては、前記横線検出手段３が前記撮像手段２により撮像されて記録された画像上で横線を検出している。
そして、横線検出の処理（１０３）の後には、監視エリアに横線有りか否かの判断（１０４）に移行する。
この判断（１０４）においては、前記横線検出手段３によって、車両後端からの距離が、例えば１．６ｍ付近までを確認し、この距離内における横線の有無を判断している。
監視エリアに横線有りか否かの判断（１０４）において、この判断（１０４）がＮＯの場合には、後述する前記駐車支援装置１及び駐車枠の横線検出方法の制御用プログラムのリターン（１１２）に移行する。
上述の監視エリアに横線有りか否かの判断（１０４）がＹＥＳの場合には、車両移動検出の処理（１０５）に移行する。
この処理（１０５）においては、前記駐車支援装置１の制御部７に前記シフトレンジ検出手段４や車速検出手段５、ステアリング操作検出手段６などからの各種検出信号を入力し、前記車両移動検出手段８によって車両の移動状態を検出している。
また、車両移動検出の処理（１０５）の後には、車両移動有りか否かの判断（１０６）に移行する。
この判断（１０６）においては、前記駐車支援装置１の制御部７に入力される前記シフトレンジ検出手段４や車速検出手段５、ステアリング操作検出手段６などからの各種検出信号に基づいて、前記車両移動検出手段８によって、車両が移動しているか否かを判断している。
車両移動有りか否かの判断（１０６）において、この判断（１０６）がＮＯの場合には、前記駐車支援装置１及び駐車枠の横線検出方法の制御用プログラムのリターン（１１２）に移行する。
上述の車両移動有りか否かの判断（１０６）がＹＥＳの場合には、車両移動に伴い横線移動か否かの判断（１０７）に移行する。
この判断（１０７）においては、前記車両移動検出手段８により検出された車両の移動に伴って、前記横線検出手段３により検出された横線が画像上で移動しているか否かを前記横線判定手段９によって判断している。
車両移動に伴い横線移動か否かの判断（１０７）において、この判断（１０７）がＮＯの場合には、車両の移動に伴って、横線が画像上で移動していないため、駐車枠の横線ではないと判定する処理（１０８）に移行し、その後に、前記駐車支援装置１及び駐車枠の横線検出方法の制御用プログラムのリターン（１１２）に移行する。
また、車両移動に伴い横線移動か否かの判断（１０７）がＹＥＳの場合には、車両の移動に伴って、横線が画像上で移動しているため、駐車枠の横線であると判定する処理（１０９）に移行する。
この駐車枠の横線であると判定する処理（１０９）の後には、俯瞰画像に変換する処理（１１０）に移行する。
この処理（１１０）においては、前記撮像手段２により撮像した後方画像を前記画像変換手段１０によって俯瞰画像に変換している。
そして、俯瞰画像に変換する処理（１１０）の後には、俯瞰画像に表示切換する処理（１１１）に移行する。
この処理（１１１）においては、前記表示切換制御手段１２によって、前記表示手段１１に表示される画像を、後方画像から俯瞰画像に切り換えている。
俯瞰画像に表示切換する処理（１１１）の後には、前記駐車支援装置１及び駐車枠の横線検出方法の制御用プログラムのリターン（１１２）に移行する。
When the control program for the parking assist device 1 and the horizontal line detection method of the parking frame starts (101), the process proceeds to processing (102) for recording a captured image.
In this process (102), after the rear of the vehicle is imaged by the imaging means 2, the parking assist device 1 records the captured image.
After the process (102) for recording the captured image, the process proceeds to the horizontal line detection process (103).
In this process (103), the horizontal line detecting means 3 detects a horizontal line on the image captured and recorded by the imaging means 2.
After the horizontal line detection process (103), the process proceeds to determination (104) of whether or not there is a horizontal line in the monitoring area.
In this determination (104), the horizontal line detecting means 3 confirms the distance from the rear end of the vehicle to, for example, near 1.6 m, and determines the presence or absence of a horizontal line within this distance.
If the determination (104) is NO in the determination of whether there is a horizontal line in the monitoring area (104), if the determination (104) is NO, a return (112) of the control program for the parking assist device 1 and the horizontal line detection method of the parking frame described later. Migrate to
If the determination (104) on whether or not there is a horizontal line in the monitoring area is YES, the process proceeds to the vehicle movement detection process (105).
In this process (105), various detection signals from the shift range detecting means 4, the vehicle speed detecting means 5, the steering operation detecting means 6 and the like are inputted to the control unit 7 of the parking assist device 1, and the vehicle movement detecting means. 8, the moving state of the vehicle is detected.
After the vehicle movement detection process (105), the process proceeds to determination (106) of whether or not there is a vehicle movement.
In this determination (106), based on various detection signals from the shift range detection means 4, vehicle speed detection means 5, steering operation detection means 6 and the like input to the control unit 7 of the parking assistance apparatus 1, the vehicle The movement detecting means 8 determines whether or not the vehicle is moving.
If the determination (106) is NO in the determination (106) of whether or not there is a vehicle movement, the process proceeds to the return (112) of the control program for the parking assist device 1 and the horizontal line detection method of the parking frame.
If the determination (106) of whether or not there is a vehicle movement is YES, the process proceeds to the determination (107) of whether or not the movement is a horizontal line as the vehicle moves.
In this determination (107), it is determined whether or not the horizontal line detected by the horizontal line detection means 3 is moving on the image with the movement of the vehicle detected by the vehicle movement detection means 8. 9 is judged.
If the determination (107) is NO in the determination (107) as to whether or not the vehicle is moving along the horizontal line, the horizontal line is not moved on the image as the vehicle moves. It shifts to the process (108) which determines that it is not, and it transfers to the return (112) of the control program of the said parking assistance apparatus 1 and the horizontal line detection method of the parking frame after that.
If the determination (107) regarding whether or not the vehicle is moving along the horizontal line is YES, since the horizontal line is moving on the image as the vehicle moves, it is determined that it is a horizontal line of the parking frame. The processing shifts to (109).
After the process (109) for determining that the parking frame is a horizontal line, the process proceeds to a process (110) for converting to a bird's-eye view image.
In this process (110), the rear image captured by the imaging unit 2 is converted into an overhead image by the image conversion unit 10.
And after the process (110) which converts into a bird's-eye view image, it transfers to the process (111) which switches a display to a bird's-eye view image.
In this process (111), the display switching control means 12 switches the image displayed on the display means 11 from a rear image to an overhead image.
After the process of switching the display to the overhead image (111), the process proceeds to the return (112) of the control program for the parking assist device 1 and the horizontal line detection method of the parking frame.
図６〜図９はこの発明の実施例２を示すものである。
この実施例２において、上述実施例１のものと同一機能を果たす箇所には、同一符号を付して説明する。
6 to 9 show Embodiment 2 of the present invention.
In the second embodiment, portions having the same functions as those in the first embodiment will be described with the same reference numerals.
この実施例２の特徴とするところは、図７の駐車支援装置２１において、横線検出手段２２に横線の輝度が予め設定されたしきい値よりも大きい場合に横線と判定する機能を付加した点にある。 The feature of the second embodiment is that, in the parking assist device 21 of FIG. 7, a function for determining a horizontal line when the luminance of the horizontal line is larger than a preset threshold is added to the horizontal line detecting means 22. It is in.
すなわち、前記駐車支援装置２１は、車両の後方を撮像する撮像手段２と、この撮像手段２により撮像された画像上で横線を検出する横線検出手段２２とを備えている。
また、前記駐車支援装置２１は、図７に示す如く、入力側に前記撮像手段２を備える一方、この入力側の撮像手段２から検出信号を入力する制御部２３を有している。
この駐車支援装置２１の制御部２３は、前記横線検出手段２２を備えている。
That is, the parking assist device 21 includes an imaging unit 2 that captures an image of the rear of the vehicle, and a horizontal line detection unit 22 that detects a horizontal line on an image captured by the imaging unit 2.
Further, as shown in FIG. 7, the parking assist device 21 includes the imaging unit 2 on the input side, and has a control unit 23 that inputs a detection signal from the imaging unit 2 on the input side.
The control unit 23 of the parking assist device 21 includes the horizontal line detection unit 22.
そして、横線検出手段２２は、バックランプから出射される光に起因する縞が車体横方向になるように設定され、横線の輝度が予め設定されたしきい値よりも大きい場合に横線と判定する。
このとき、しきい値は、バックランプから出射される光に起因する縞の輝度よりも大きい値であるとともに、検出するように設定された駐車枠の横線の中で最も薄い横線の輝度と前記縞の輝度とを加算した輝度よりも小さい値とする。
これにより、駐車枠後端の横線を精度よく検出することができる。
また、バックランプのリフレクタやレンズを介して出射される光に、縞として認識される輝度ムラが含まれていても、駐車枠後端の横線を検出することができる。
更に、バックランプから出射される光に起因する縞の輝度よりも駐車枠の横線の輝度が小さい場合であっても、駐車枠の横線を検出することができる。
The horizontal line detection means 22 determines that the horizontal line is a horizontal line when the stripes caused by the light emitted from the back lamp are set in the horizontal direction of the vehicle body and the luminance of the horizontal line is larger than a preset threshold value. .
At this time, the threshold value is larger than the luminance of the stripe caused by the light emitted from the back lamp, and the luminance of the thinnest horizontal line among the horizontal lines of the parking frame set to be detected The value is smaller than the luminance obtained by adding the luminance of the stripes.
Thereby, the horizontal line at the rear end of the parking frame can be detected with high accuracy.
Moreover, even if the brightness | luminance unevenness recognized as a fringe is contained in the light radiate | emitted via the reflector and lens of a back lamp, the horizontal line of a parking frame rear end is detectable.
Furthermore, the horizontal line of the parking frame can be detected even when the luminance of the horizontal line of the parking frame is smaller than the luminance of the stripe caused by the light emitted from the back lamp.
また、前記駐車支援装置２１は、前記撮像手段２により撮像した後方画像を俯瞰画像に変換する画像変換手段１０と、画像を表示する表示手段１１と、駐車枠の横線と車両との距離に基づいて、前記表示手段１１に表示する画像を俯瞰画像に切り換える表示切換制御手段１２とを備えている。
つまり、前記駐車支援装置２１において、制御部２３は、図７に示す如く、前記画像変換手段１０と、表示切換制御手段１２とを備えている。
また、前記駐車支援装置１は、出力側に、前記表示手段１１を備えている。
これにより、俯瞰画像表示の誤切り換えを抑制することができる。
Further, the parking assist device 21 is based on the image conversion means 10 that converts the rear image captured by the imaging means 2 into a bird's-eye view image, the display means 11 that displays the image, and the distance between the horizontal line of the parking frame and the vehicle. Display switching control means 12 for switching the image displayed on the display means 11 to an overhead image.
That is, in the parking assist device 21, the control unit 23 includes the image conversion means 10 and the display switching control means 12 as shown in FIG.
Moreover, the parking assist device 1 includes the display unit 11 on the output side.
Thereby, erroneous switching of the overhead image display can be suppressed.
追記すれば、この実施例２においては、車両後端からの距離が、例えば１．６ｍ後方の路面に配光縞の明るいところが横一線になるようにバックランプの光学系を設計する一方、横白線検出の輝度のしきい値は、検出したい薄い横白線と配光縞とが重なってできる輝度差より小さく、かつ、配光縞の輝度差より大きい値に設定するものである。
ここで、具体的に説明すると、図８に１．６ｍ近傍に配光縞を投影した時の画像とその時の輝度を示す。
路面は輝度が小さく、白線部は輝度が大きい。
配光縞はその中間である。
このとき、図８（ａ）に、横白線と配光縞とが重ならない場合の輝度分布を示し、図８（ｂ）には、横白線と配光縞とが重なる場合の輝度分布を示す。
この図８（ａ）及び（ｂ）においては、輝度のしきい値を設定することで、範囲内に示すような配光縞そのものを検知しない動作を実現することができる。
このとき、しきい値は、配光縞の輝度では検知されないような水準とする。
こうすることで、配光縞の影響を抑制できる。
しかし、配光縞と同程度の薄い横白線を検知できなくなる問題が残る。
そこで、検知したい横白線のうち最も薄いものの輝度をあらかじめ測定し、輝度のしきい値は、
配光縞の輝度 ＜ 輝度のしきい値 ＜ 配光縞の輝度＋薄い横白線の輝度
の範囲に設定する。
こうすることで、薄い横白線が配光縞に重なった時点で検知することが可能になり、従来方法では検知できなかった、配光縞よりも薄い横白線も確実に検知することができる。
図９には、上述の輝度としきい値の関係をまとめて開示した。
追記すれば、図９（ａ）及び（ｂ）に示す如く、配光縞の輝度や配光縞の輝度＋薄い横白線の輝度、そして、明瞭な横白線の輝度は、
配光縞の輝度 ＜ 配光縞の輝度＋薄い横白線の輝度 ＜ 明瞭な横白線の輝度
の関係となっている。
このため、配光縞の輝度と配光縞の輝度＋薄い横白線の輝度との間に輝度のしきい値を設定することで、配光縞の誤認識抑制と薄い横白線の検知とを両立させることが可能である。
In addition, in Example 2, the optical system of the back lamp is designed so that the distance from the rear end of the vehicle is, for example, 1.6 m behind the road surface so that the bright portions of the light distribution stripes are in a horizontal line. The brightness threshold for white line detection is set to a value smaller than the brightness difference formed by overlapping the thin horizontal white line to be detected and the light distribution fringe and larger than the brightness difference of the light distribution fringe.
More specifically, FIG. 8 shows an image when a light distribution fringe is projected in the vicinity of 1.6 m and the luminance at that time.
The road surface has low luminance, and the white line portion has high luminance.
The light distribution fringe is in the middle.
At this time, FIG. 8A shows the luminance distribution when the horizontal white line and the light distribution stripe do not overlap, and FIG. 8B shows the luminance distribution when the horizontal white line and the light distribution stripe overlap. .
In FIGS. 8A and 8B, by setting a luminance threshold value, it is possible to realize an operation that does not detect a light distribution fringe itself as shown in the range.
At this time, the threshold is set to a level that is not detected by the brightness of the light distribution stripes.
By carrying out like this, the influence of a light distribution fringe can be suppressed.
However, there remains a problem that it becomes impossible to detect a thin horizontal white line as large as the light distribution stripe.
Therefore, measure the brightness of the thinnest horizontal white line you want to detect in advance.
Luminance of light distribution fringe <Luminance threshold <Luminance of light distribution fringe + Brightness of thin horizontal white line.
By doing so, it becomes possible to detect when the thin horizontal white line overlaps the light distribution fringe, and it is possible to reliably detect the horizontal white line thinner than the light distribution fringe, which could not be detected by the conventional method.
FIG. 9 collectively discloses the relationship between the above-described luminance and threshold value.
If added, as shown in FIGS. 9A and 9B, the luminance of the light distribution stripes, the luminance of the light distribution stripes + the luminance of the thin horizontal white line, and the luminance of the clear horizontal white line are
Luminance of light distribution stripe <Luminance of light distribution stripe + Luminance of thin horizontal white line <Clear luminance of horizontal white line.
For this reason, by setting a luminance threshold between the luminance of the light distribution stripe and the luminance of the light distribution stripe + the luminance of the thin horizontal white line, it is possible to suppress erroneous recognition of the light distribution stripe and to detect the thin horizontal white line. It is possible to achieve both.
次に、図６の前記駐車支援装置２１の制御用フローチャートに沿って作用を説明する。 Next, the operation will be described along the control flowchart of the parking assist device 21 of FIG.
この駐車支援装置２１の制御用プログラムがスタート（２０１）すると、撮像した画像を記録する処理（２０２）に移行する。
この処理（２０２）においては、前記撮像手段２によって車両の後方を撮像した後に、撮像した画像を前記駐車支援装置２１が記録している。
上述の撮像した画像を記録する処理（２０２）の後には、駐車枠の横線検出の処理（２０３）に移行する。
この処理（２０３）においては、前記横線検出手段２２が前記撮像手段２により撮像されて記録された画像上で横線を検出している。
そして、駐車枠の横線検出の処理（２０３）の後には、駐車枠の横線有りか否かの判断（２０４）に移行する。
この判断（２０４）においては、バックランプから出射される光に起因する縞が車体横方向になるように設定されているため、横線の輝度が予め設定されたしきい値よりも大きい場合に、前記横線検出手段２２によって横線と判定している。
なお、このときのしきい値は、バックランプから出射される光に起因する縞の輝度よりも大きい値とするとともに、検出するように設定された駐車枠の横線の中で最も薄い横線の輝度と前記縞の輝度とを加算した輝度よりも小さい値としている。
駐車枠の横線有りか否かの判断（２０４）において、この判断（２０４）がＮＯの場合には、後述する前記駐車支援装置２１の制御用プログラムのリターン（２０７）に移行する。
上述の駐車枠の横線有りか否かの判断（２０４）がＹＥＳの場合には、俯瞰画像に変換する処理（２０５）に移行する。
この処理（２０５）においては、前記撮像手段２により撮像した後方画像を前記画像変換手段１０によって俯瞰画像に変換している。
そして、俯瞰画像に変換する処理（２０５）の後には、俯瞰画像に表示切換する処理（２０６）に移行する。
この処理（２０６）においては、前記表示切換制御手段１２によって、前記表示手段１１に表示される画像を、後方画像から俯瞰画像に切り換えている。
俯瞰画像に表示切換する処理（２０６）の後には、前記駐車支援装置２１の制御用プログラムのリターン（２０７）に移行する。
When the control program of the parking assist device 21 starts (201), the process proceeds to a process (202) for recording a captured image.
In this process (202), after the rear of the vehicle is imaged by the imaging means 2, the parking assist device 21 records the captured image.
After the process (202) for recording the captured image, the process proceeds to the process (203) for detecting the horizontal line of the parking frame.
In this process (203), the horizontal line detecting means 22 detects a horizontal line on the image captured and recorded by the imaging means 2.
Then, after the process (203) of detecting the horizontal line of the parking frame, the process proceeds to the determination (204) of whether there is a horizontal line of the parking frame.
In this determination (204), since the stripe caused by the light emitted from the back lamp is set to be in the vehicle body lateral direction, when the luminance of the horizontal line is larger than a preset threshold value, The horizontal line detecting means 22 determines that it is a horizontal line.
The threshold value at this time is set to a value larger than the luminance of the stripe caused by the light emitted from the back lamp, and the luminance of the thinnest horizontal line among the horizontal lines of the parking frame set to be detected. And the brightness of the stripes are set to a value smaller than the brightness.
In the determination (204) of whether or not there is a horizontal line of the parking frame, if this determination (204) is NO, the process proceeds to the return (207) of the control program of the parking assist device 21 described later.
If the above determination (204) of whether or not there is a horizontal line of the parking frame is YES, the process proceeds to processing (205) for converting to a bird's-eye view image.
In this process (205), the rear image captured by the imaging unit 2 is converted into an overhead image by the image conversion unit 10.
And after the process (205) which converts into a bird's-eye view image, it transfers to the process (206) which carries out display switching to a bird's-eye view image.
In this process (206), the display switching control means 12 switches the image displayed on the display means 11 from a rear image to an overhead image.
After the process of switching the display to the overhead image (206), the process proceeds to the return (207) of the control program of the parking assist device 21.
なお、この発明は上述実施例１及び２に限定されるものではなく、種々の応用改変が可能である。 The present invention is not limited to the first and second embodiments described above, and various application modifications can be made.
例えば、この発明の実施例２においては、横線検出手段２２によって横線を判定する際に、横線の輝度が予め設定されたしきい値よりも大きいか否かを判断する構成としたが、しきい値の設定を明暗の輝度差によって増減するように変化させる特別構成とすることも可能である。
すなわち、配光縞が作る明るい部分の輝度のしきい値は、絶対値ではなく明暗の輝度差をとるのが望ましい。
このため、セレクトレバーを「Ｒ」レンジにシフトしたタイミングで配光縞の明暗の輝度差をバックカメラの画像から計測して置くロジックを組み込み、明るさの条件に対するロバスト性を向上する方法との併用を図るものである。
For example, in the second embodiment of the present invention, when the horizontal line is determined by the horizontal line detecting means 22, it is determined whether or not the luminance of the horizontal line is larger than a preset threshold value. It is also possible to adopt a special configuration in which the value setting is changed so as to increase or decrease depending on the brightness difference between light and dark.
That is, it is desirable that the brightness threshold value of the bright part formed by the light distribution stripes is not an absolute value but a brightness difference between light and dark.
For this reason, there is a method for improving the robustness against the brightness condition by incorporating a logic to measure and place the brightness difference of the light distribution fringes from the back camera image at the timing when the select lever is shifted to the “R” range. It is intended to be used together.
更に、配光縞が描かれる部分をマスクして横白線検知の対象エリアとしない、という特別構成とすることも可能である。
なお、このような特別構成とした際には、配光縞の影響を抑える効能は高いものであるが、本来の横白線も検知しないこととなってしまうため、俯瞰画像に切り換える距離を、「車両後端から１．６ｍ近傍」ではない数値に変更するという、改善が必要である。
Furthermore, it is possible to adopt a special configuration in which a portion where a light distribution stripe is drawn is masked so as not to be a target area for detecting a horizontal white line.
In addition, when such a special configuration is used, the effect of suppressing the influence of light distribution fringes is high, but the original horizontal white line will not be detected, so the distance to switch to the overhead image is `` It is necessary to improve by changing to a value that is not “around 1.6 m from the rear end of the vehicle”.
更にまた、バックランプの灯体表面に、光を拡散するシートを貼付して配光縞の影響を抑える特別構成とすることも可能である。
なお、バックランプの路面に対する配光量を減少させてしまうので、路面の照度は低くなってしまうため、この点の改善は必要である。
Furthermore, it is also possible to make a special configuration that suppresses the influence of light distribution fringes by sticking a light diffusing sheet on the surface of the lamp body of the back lamp.
In addition, since the light distribution amount with respect to the road surface of the back lamp is reduced, the illuminance on the road surface is lowered, and this point needs to be improved.
１ 駐車支援装置
２ 撮像手段
３ 横線検出手段
４ シフトレンジ検出手段
５ 車速検出手段
６ ステアリング操作検出手段
７ 制御部
８ 車両移動検出手段
９ 横線判定手段
１０ 画像変換手段
１１ 表示手段
１２ 表示切換制御手段
DESCRIPTION OF SYMBOLS 1 Parking assistance apparatus 2 Imaging means 3 Horizontal line detection means 4 Shift range detection means 5 Vehicle speed detection means 6 Steering operation detection means 7 Control part 8 Vehicle movement detection means 9 Horizontal line determination means 10 Image conversion means 11 Display means 12 Display switching control means
Claims (4)
車両の移動を検出する車両移動検出手段と、
前記横線検出手段が画像上で検出した横線が駐車枠の横線であるか否かを判定する横線判定手段と、
を備え、
前記横線判定手段において画像上の横線が駐車枠の横線であると判定される条件には、少なくとも、前記車両移動検出手段により検出された車両の移動に伴って、前記横線検出手段により検出された横線が画像上で移動したことが含まれることを特徴とする駐車支援装置。 A parking assistance device comprising an imaging means for imaging the rear of a vehicle, and a horizontal line detection means for detecting a horizontal line on an image captured by the imaging means,
Vehicle movement detection means for detecting movement of the vehicle;
Horizontal line determination means for determining whether the horizontal line detected on the image by the horizontal line detection means is a horizontal line of a parking frame;
With
The condition that the horizontal line on the image is determined to be the horizontal line of the parking frame by the horizontal line determination means is detected by the horizontal line detection means at least along with the movement of the vehicle detected by the vehicle movement detection means. A parking assistance device including a movement of a horizontal line on an image.
前記バックランプから出射される光に起因する縞は、車体横方向になるように設定されており、
前記横線検出手段は、前記画像上の前記横線の輝度が予め設定されたしきい値よりも大きい場合に駐車枠の横線と判定し、
前記しきい値は、前記バックランプから出射される光に起因する縞に予め設定された輝度を加算したものであることを特徴とする駐車支援装置。 Imaging means for imaging the rear of the vehicle, horizontal line detection means for detecting a horizontal line on the image captured by the imaging means, and a back lamp installed on the vehicle body so that the light distribution fringes are substantially parallel to the lateral direction of the vehicle body A parking assistance device comprising:
The stripes resulting from the light emitted from the back lamp are set to be in the lateral direction of the vehicle body,
The horizontal line detection means determines that the horizontal line of the parking frame is a horizontal line when the luminance of the horizontal line on the image is greater than a preset threshold value,
The threshold of the parking assist system is characterized in that a sum of the preset luminance fringes due to light emitted from the back lamps.
前記制御部が、前記車両の移動を検出するステップと、を含み、
前記制御部が、前記車両の移動に伴い横線の移動を検出したことを条件として、前記画像上で検出された横線は駐車枠の横線であると判定することを特徴とする駐車枠の横線検出方法。 A step of detecting a horizontal line on an image captured by an image capturing unit that captures the rear of the vehicle;
The controller detects the movement of the vehicle, and
Wherein the control unit is, as a pre-Symbol condition that has been detected the movement of the horizontal line with the movement of the vehicle, the horizontal line of the parking frame where the horizontal line detected on the image and judging that the horizontal line of the parking space Detection method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014168280A JP6413474B2 (en) | 2014-08-21 | 2014-08-21 | Parking support device and parking frame horizontal line detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014168280A JP6413474B2 (en) | 2014-08-21 | 2014-08-21 | Parking support device and parking frame horizontal line detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016043756A JP2016043756A (en) | 2016-04-04 |
| JP6413474B2 true JP6413474B2 (en) | 2018-10-31 |
Family
ID=55634737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014168280A Active JP6413474B2 (en) | 2014-08-21 | 2014-08-21 | Parking support device and parking frame horizontal line detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6413474B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7000980B2 (en) * | 2018-05-08 | 2022-01-19 | トヨタ自動車株式会社 | Parking support device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4730589B2 (en) * | 2005-04-28 | 2011-07-20 | アイシン精機株式会社 | Vehicle perimeter monitoring system |
| JP4802769B2 (en) * | 2006-03-07 | 2011-10-26 | アイシン・エィ・ダブリュ株式会社 | Parking support method and parking support device |
| JP2012025261A (en) * | 2010-07-22 | 2012-02-09 | Stanley Electric Co Ltd | Parking assist device |
| JP5510900B2 (en) * | 2010-08-06 | 2014-06-04 | スズキ株式会社 | Parking assistance device |
| JP2012096585A (en) * | 2010-10-29 | 2012-05-24 | Suzuki Motor Corp | Parking support device |
| JP5981322B2 (en) * | 2012-11-27 | 2016-08-31 | クラリオン株式会社 | In-vehicle image processing device |
-
2014
- 2014-08-21 JP JP2014168280A patent/JP6413474B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016043756A (en) | 2016-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4248558B2 (en) | Road marking line detection device | |
| US9378425B2 (en) | On-vehicle image processing device | |
| JP5846872B2 (en) | Image processing device | |
| JP4702426B2 (en) | Vehicle detection device, vehicle detection program, and light control device | |
| EP2637150B1 (en) | Vehicle peripheral area observation system | |
| JP4603970B2 (en) | Road marking line detection device | |
| JP5637302B2 (en) | Driving support apparatus and adjacent vehicle detection method | |
| WO2019026785A1 (en) | Attached object detection device, and vehicle system provided with same | |
| JP6227898B2 (en) | Image processing device | |
| JP6948243B2 (en) | Traffic light recognition device | |
| JP2012032921A (en) | Obstacle detection system and method, and obstacle detector | |
| JP5632811B2 (en) | Vehicle driving support device | |
| JP6413474B2 (en) | Parking support device and parking frame horizontal line detection method | |
| JP2013025568A (en) | Approaching obstacle detecting device and program | |
| JP6642280B2 (en) | Image display system | |
| JP6177632B2 (en) | Vehicle position detection device and vehicle rear side warning device | |
| JP2014013452A (en) | Image processor | |
| JP2012118929A (en) | Outside environment determination device and outside environment determination program | |
| JP5310162B2 (en) | Vehicle lighting judgment device | |
| JP6362945B2 (en) | In-vehicle image processing device | |
| KR20150076884A (en) | Device and method for alarming start of preceding-vehicle to rewarding-vehicle | |
| JP6644509B2 (en) | Vehicle detection alarm device and vehicle detection alarm method | |
| JP2003174642A (en) | Smear detecting method and image processor employing the smear detecting method | |
| JP2015058747A (en) | Vehicle lamp body control device | |
| CN111327834B (en) | Method and apparatus for object detection in camera blind zones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170525 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170619 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6413474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |