JP6459226B2 - In-vehicle image processing device - Google Patents
In-vehicle image processing device Download PDFInfo
- Publication number
- JP6459226B2 JP6459226B2 JP2014114205A JP2014114205A JP6459226B2 JP 6459226 B2 JP6459226 B2 JP 6459226B2 JP 2014114205 A JP2014114205 A JP 2014114205A JP 2014114205 A JP2014114205 A JP 2014114205A JP 6459226 B2 JP6459226 B2 JP 6459226B2
- Authority
- JP
- Japan
- Prior art keywords
- parking frame
- detection unit
- parking
- straight line
- straight lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 148
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 32
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 22
- 240000004050 Pentaglottis sempervirens Species 0.000 description 21
- 230000010354 integration Effects 0.000 description 10
- 238000003708 edge detection Methods 0.000 description 2
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車載画像処理装置に関する。 The present invention relates to an in-vehicle image processing apparatus.
従来、車両に搭載された撮像装置から画像を取得し、その画像に対して画像処理を行うことで、直線を検出する車載画像処理装置が知られている。そして、車載画像処理装置は、検出した直線から駐車区間を構成する駐車枠を検出する。 2. Description of the Related Art Conventionally, an in-vehicle image processing apparatus that detects a straight line by acquiring an image from an imaging device mounted on a vehicle and performing image processing on the image is known. And a vehicle-mounted image processing apparatus detects the parking frame which comprises a parking area from the detected straight line.
しかしながら、上記に示した車載画像処理装置では、具体的に駐車区間を構成する駐車枠を検出する方法に関して記載がない。そこで、本発明者らは、検出された直線から任意の２本の直線を組み合わせ、その２本の直線の組が駐車枠かどうかを検出する方法を試みた。その結果、２本の直線の組を検出するだけの方法では、道路に描かれた矢印や横断歩道などを、駐車枠として誤検出してしまう場合があることを本発明者は新たに見出した。 However, in the above-described in-vehicle image processing apparatus, there is no description regarding a method for detecting a parking frame that specifically configures a parking section. Therefore, the inventors tried a method of combining arbitrary two straight lines from the detected straight lines and detecting whether the set of the two straight lines is a parking frame. As a result, the present inventor has newly found that an arrow or a pedestrian crossing drawn on a road may be erroneously detected as a parking frame by a method that only detects a pair of two straight lines. .
そこで、本発明は、上記問題を鑑みてなされたもので、その目的は、より正確に駐車枠を検出することが出来る、車載画像処理装置を提供することである。 Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide an in-vehicle image processing apparatus that can detect a parking frame more accurately.
上記課題を解決するために、本発明者らは、駐車区間が自車両の走行経路に対して、略直交する線によって構成されることに新たに着目し、以下の発明を創作した。 In order to solve the above-mentioned problems, the present inventors have newly paid attention to the fact that the parking section is constituted by a line substantially orthogonal to the traveling route of the host vehicle, and created the following invention.
以下に説明する第１、第２および第３の発明は、自車両の周辺を撮影する撮像装置から取得した画像を用いて、駐車区間を構成する駐車枠を検出する車載画像処理装置であって、撮像装置から画像を取得する画像取得部と、画像取得部が取得した画像から直線を検出する直線検出部と、直線検出部が検出した複数の直線から選択された２つの直線によって構成される直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部と、過去の時刻（Ｔ−１）から現在の時刻（Ｔ）までの自車両の走行経路と、駐車枠候補を構成する直線とのなす角の直交度が所定の範囲内となる駐車枠候補を、駐車枠として検出する駐車枠検出部とを備えている。
その上で、第１の発明では、駐車枠検出部は、駐車枠候補のうち、自車両の現在又は過去の走路上に位置する駐車枠候補については、駐車枠として検出することを禁止する。
また、第２の発明では、走行経路は、駐車枠検出部が駐車枠の検出を前回行ったタイミングから現在迄に、自車両が進んだ走行経路であって、駐車枠検出部が過去に検出した駐車枠を記憶する駐車枠記憶部（１２）を備え、駐車枠検出部は、直交度が所定の範囲内となる駐車枠候補に加え、駐車枠記憶部が記憶している駐車枠と対応する駐車枠候補を、直交度が所定の範囲内となっているか否かに拘らず駐車枠として検出する。
また、第３の発明では、所定の条件は、直線同士の幅の長さが所定の範囲内に属することと、直線同士のなす角の平行の程度が所定の範囲内に属することを満たすことであって、駐車枠検出部は、幅の長さに基づいて設定される駐車枠らしさの確率と、平行の程度に基づいて設定される駐車枠らしさの確率と、直交度に基づいて設定される駐車枠らしさの確率とを統合した確率に基づき、駐車枠を検出する。
1st, 2nd and 3rd invention demonstrated below is a vehicle-mounted image processing apparatus which detects the parking frame which comprises a parking area using the image acquired from the imaging device which image | photographs the periphery of the own vehicle. An image acquisition unit that acquires an image from the imaging device, a straight line detection unit that detects a straight line from the image acquired by the image acquisition unit, and two straight lines selected from a plurality of straight lines detected by the straight line detection unit When a set of straight lines satisfies a predetermined condition, a parking frame candidate detection unit that detects the set of straight lines as a parking frame candidate , and traveling of the host vehicle from the past time (T-1) to the current time (T) a path, orthogonality of the angle between the straight lines constituting the parking frame candidates and a parking frame detecting unit that the parking frame candidate falls within a predetermined range is detected as the parking frame.
On top of that, in the first aspect, the parking space detecting section, of the parking frame candidate, the parking frame candidate that is located on the current or past track of the vehicle is prohibited from being detected as the parking frame.
In the second invention, the travel route is a travel route on which the host vehicle has traveled from the timing when the parking frame detection unit previously detected the parking frame to the present time, and the parking frame detection unit detected in the past. The parking frame storage unit (12) for storing the parking frame is provided, and the parking frame detection unit corresponds to the parking frame stored in the parking frame storage unit in addition to the parking frame candidate whose orthogonality is within a predetermined range. The parking frame candidate to be detected is detected as a parking frame regardless of whether or not the orthogonality is within a predetermined range .
In the third invention, the predetermined condition satisfies that the lengths of the widths of the straight lines belong to a predetermined range and that the degree of parallelism of the angles formed by the straight lines belongs to the predetermined range. The parking frame detection unit is set based on the probability of the parking frame set based on the width length, the probability of the parking frame set based on the degree of parallelism, and the orthogonality. The parking frame is detected based on the probability that the probability of the parking frame is integrated.
上記第１、第２および第３の発明によれば、自車両の走行経路に対して略直交する可能性が低い、道路の矢印や横断歩道などを駐車枠として誤検出してしまうことが低減される。一方、自車両の走行経路に対して略直交する可能性が高い駐車区間を形成する駐車枠をより正確に検出することが出来る。 According to the first, second, and third inventions, the possibility of erroneously detecting road arrows, pedestrian crossings, and the like as parking frames that are less likely to be substantially orthogonal to the travel route of the host vehicle is reduced. Is done. On the other hand, it is possible to more accurately detect a parking frame that forms a parking section that is highly likely to be substantially orthogonal to the travel route of the host vehicle.
以下、図面を参照しながら発明を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。 Hereinafter, a plurality of modes for carrying out the invention will be described with reference to the drawings. In each embodiment, portions corresponding to the matters described in the preceding embodiment may be denoted by the same reference numerals and redundant description may be omitted. In each embodiment, when only a part of the configuration is described, the other configurations described above can be applied to other portions of the configuration.
（第１実施形態）
図１に示すように、本実施形態における撮像装置であるリアカメラ２１は、自車両１の後部に設置される。また、リアカメラ２１は、車両左右方向の中央部に設置される。
(First embodiment)
As shown in FIG. 1, a
図２に示すように、本実施形態における、車載画像処理装置は、ＥＣＵ１０である。
As shown in FIG. 2, the in-vehicle image processing apparatus in the present embodiment is an
ＥＣＵ１０は、リアカメラ２１、車速センサ２３、舵角センサ２４、及び表示装置３０と接続されている。
The ECU 10 is connected to the
リアカメラ２１にはＣＣＤカメラが用いられ、自車両１の後方の景色を撮影する。
A CCD camera is used as the
車速センサ２３は、自車両１の車速を検出するセンサである。そして、舵角センサ２４は、自車両１の前輪の舵角を検出するセンサである。
The
表示装置３０は、液晶等のディスプレイと制御部とを有している。そのため、制御部はＥＣＵ１０から画像信号を受信し、受信した画像信号に応じた画像をディスプレイに表示する。
The
ＥＣＵ１０は、マイクロコンピュータ１１とメモリ１２とを備えている。ＥＣＵ１０は、リアカメラ２１、車速センサ２３、及び舵角センサ２４から各種情報を取得する。そして、ＥＣＵ１０は、取得した情報に基づいて演算処理を行う。具体的な処理の内容については、後述する。
The ECU 10 includes a
また、ＥＣＵ１０は、表示装置３０に画像信号を出力する。そして、表示装置３０は、ＥＣＵ１０から受信した画像信号に基づいて、画像を表示する。
In addition, the
メモリ１２は、マイクロコンピュータ１１と接続されている。メモリ１２は、不揮発性メモリなどから構成されており、マイクロコンピュータ１１が演算した処理の結果等を記憶することが出来る。本実施形態における駐車枠記憶部は、メモリ１２に相当する。
The
マイクロコンピュータ１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。ＣＰＵは、ＲＡＭやＲＯＭに記憶されたプログラムに基づいて、各種演算処理を行う。
The
本実施形態において、マイクロコンピュータ１１は、画像取得部１１０、直線検出部１１１、駐車枠候補検出部１１２、及び駐車枠検出部１１３の役割を担っている。
In the present embodiment, the
画像取得部１１０は、リアカメラ２１から所定の時間間隔で画像を取得する。所定の時間間隔は適宜設定することが出来る。また、画像取得部１１０は、取得した画像を鳥の視点から見た鳥瞰座標に変換し、鳥瞰画像を生成する。
The
直線検出部１１１は、画像取得部１１０が生成した鳥瞰画像に対してハフ変換を行うことで直線検出を行う。具体的に、直線検出部１１１は、まず画像取得部１１０が生成した鳥瞰画像に対して、エッジ検出を行う。エッジ検出は、画像内において、輝度が鋭く変化する点であるエッジ点を検出するものである。そして、直線検出部１１１は、検出した複数のエッジ点のそれぞれを対象として、画像内の位置座標（ｘ、ｙ）について、ハフ変換式ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθを満たす（ρ、θ）の組を抽出する。ここで、ハフ変換式の値θは、位置座標（ｘ、ｙ）を通る直線がｘ軸に対してなす角度に相当し、値ρは、位置座標（ｘ、ｙ）を通る直線に原点から下した垂線の長さに相当する。そして、（ρ、θ）に基づいて、直線が検出される。
The straight
駐車枠候補検出部１１２は直線検出部１１１が取得した複数の直線から、任意の２本の直線を選択する。そして、その２本の直線によって構成される直線の組が所定の条件を満たす場合、駐車枠候補検出部１１２は、その直線の組を駐車枠候補として検出する。本実施形態における所定の条件は、上記直線の組における２つの直線のなす角の平行の程度が所定の範囲内に属しているかどうかである。具体的な、平行の程度の所定の範囲の値は、角度０°〜４５°または、１３５°〜１８０°である。また、所定の条件は、上記直線の組における直線間の幅が、所定の範囲内かどうかである。本実施形態における、具体的な幅の範囲は、１．８ｍから３．０ｍである。そして、駐車枠候補検出部１１２は、直線検出部１１１が検出した複数の直線の全ての組み合わせについて、上記所定の条件を満たすかどうかを判定し、駐車枠候補を検出する。
The parking frame
駐車枠検出部１１３は、駐車枠候補検出部１１２が検出した駐車枠候補から、駐車枠を検出する。具体的に、駐車枠検出部１１３は、駐車枠候補検出部１１２が検出した駐車枠候補から、任意の駐車枠候補を選択する。そして、その駐車枠候補検出部１１２を構成する直線と自車両１の走行経路とのなす角の直交度が所定の範囲内に属するかどうかを検出する。そして、駐車枠検出部１１３は上記なす角が所定の範囲内に属していると判定した場合、その駐車枠候補を駐車枠として検出する。本実施形態における、直交度の所定の範囲の具体的な値は角度４５°〜１３５°である。
The parking
車両を駐車するための駐車領域は、自車両１の走行経路に対して、側面に位置することが多い。そして、その駐車領域における、車両１台分の駐車区間は、車両の走行経路に対して略直交する２本の直線によって駐車枠として区切られていることが多い。本実施形態におけるＥＣＵ１０は、自車両１の走行経路と駐車区間を構成する駐車枠の直線とのなす角の直交度が所定の範囲に属するかどうかを判定するため、駐車枠をより正確に検出することが出来る。
The parking area for parking the vehicle is often located on the side with respect to the travel route of the
本実施形態における、自車両１の走行経路の決定の方法について説明する。駐車枠検出部１１３は、あるタイミング時刻Ｔにおける自車両１の車速を車速センサ２３から検出する。また、駐車枠検出部１１３は、上記時刻Ｔにおける自車両１の舵角を、舵角センサ２４から検出する。そして、駐車枠検出部１１３が前回駐車枠を行ったタイミングである時刻Ｔ−１は既知である。従って、駐車枠検出部１１３は、ある時刻Ｔ−１からある時刻Ｔの間の自車両１の進行方向及び移動量を含んだ走行経路を検出することが出来る。そして、その走行経路に対して直交する方向に、所定の幅を持たせたものが、間隔ΔＴにおける自車両１の走路となる。この走路は、時刻Ｔにおいて画像取得部１１０が取得する画像と重畳することができ、その例を図３に示す。
A method for determining the travel route of the
図３は、ある時刻Ｔにおいて画像取得部１１０が取得した画像である。
FIG. 3 is an image acquired by the
走路７０は、時刻Ｔ−１から時刻Ｔの間における、自車両１の走路を示している。そして、走路７１は、時刻Ｔ−２から時刻Ｔ−１の間における、自車両１の走路を示している。走路７２は、時刻Ｔ−３から時刻Ｔ−２の間における、自車両１の走路を示している。そして、走行経路７０１は、時刻Ｔ−１から時刻Ｔの間における、自車両１の進行方向及び移動量を示している。所定の幅７０２は、走行経路７０１と直交し、所定の幅を持つ。
A
また、走行経路７１１は、時刻Ｔ−２から時刻Ｔ−１の間における、自車両１の進行方向及び移動量を示している。所定の幅７１２は、走行経路７１１と直交し、所定の幅を持つ。
The
また、走行経路７２１は、時刻Ｔ−３から時刻Ｔ−２の間における、自車両１の進行方向及び移動量を示している。所定の幅７２２は、走行経路７２１と直交し、所定の幅を持つ。
The
次に、図４を用いて、ＥＣＵ１０が、駐車枠を検出する具体的な様子を説明する。
Next, a specific state in which the
図４は、あるタイミングである時刻Ｔにおけるリアカメラ２１が撮影した画像を用いて画像取得部１１０が生成した、鳥瞰画像を示している。まず、鳥瞰画像には矢印４０が存在している。また、鳥瞰画像には、横断歩道５０が存在している。また、鳥瞰画像には、駐車区間６０及び駐車区間６１が存在している。この中から、ＥＣＵ１０は、駐車区間６０及び駐車区間６１を構成する駐車枠を検出する。
FIG. 4 shows a bird's-eye view image generated by the
また、この鳥瞰画像には、時刻Ｔ−１から時刻Ｔの間における、自車両１の走路７０及び走行経路７０１の情報が含まれている。また、過去のタイミングである時刻Ｔ−２から時刻Ｔ−１の間における、自車両１の走路７１及び走行経路７１１の情報が含まれている。また、過去のタイミングである時刻Ｔ−３から時刻Ｔ−２の間における自車両１の、走路７２及び走行経路７２１の情報が含まれている。
In addition, the bird's-eye view image includes information on the
まず、直線検出部１１１は、上記で説明した方法を用いて、生成された鳥瞰画像から直線を検出する。すると、直線検出部１１１は、矢印４０を構成する直線である、直線４０ａと直線４０ｂとを検出する。また、直線検出部１１１は、横断歩道５０を構成する直線である直線５０ａと直線５０ｂとを検出する。また、直線検出部１１１は、駐車区間６０を構成する直線である、直線６０ａと直線６０ｂとを検出する。また、直線検出部１１１は駐車区間６１を構成する直線６１ａと６１ｂとを検出する。直線検出部１１１は、画像から他の直線も検出するが、説明の簡略化のために省略する。そのため、直線検出部１１１は、画像から８本の直線を検出する。
First, the straight
なお、直線６０ａと６０ｂとの間の幅は２．５ｍである。また、直線６１ａと６１ｂとの間の幅は２．５ｍである。また、直線５０ａと５０ｂとの間の幅は２．０ｍである。そして、直線４０ａと直線４０ｂとの間の幅は２．０ｍである。
The width between the
次に、駐車枠候補検出部１１２が、駐車枠候補を検出する様子を説明する。
Next, how the parking frame
まず、直線６０ａと直線６０ｂとを直線の組とした場合の例に、駐車枠候補検出部１１２が駐車枠候補を検出する様子を説明する。この時、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの平行の程度を判定する。すると、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとのなす角の平行の程度が所定の範囲内に属しているかどうかを判定する。すると、直線６０ａと直線６０ｂとのなす角の平行の程度は所定の範囲内に属している。また、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの間の幅が所定の範囲内に属しているかどうかを判定する。すると、この幅は２．５ｍであるため、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの直線間の幅が、所定の範囲を満たしていると判定する。このように、所定の条件を満たしているため、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの直線の組を、駐車枠候補として検出する。
First, the manner in which the parking frame
次に、駐車枠候補検出部１１２が、直線４０ａと直線６０ａとを直線の組とした場合の例に、駐車枠候補として検出されない様子を説明する。この時、駐車枠候補検出部１１２は、直線４０ａと直線６０ａとの平行の程度を判定する。すると、直線４０ａと直線６０ａとのなす角はほぼ直交であり、平行の程度は所定の範囲内に属していない。そのため、直線４０ａと直線６０ａとの組は、駐車枠候補として検出されない。
Next, how the parking frame
同様にその他の直線の組み合わせに、上記処理を行った結果、今回、駐車枠候補として検出される直線の組は４組である。１つ目は、直線４０ａと直線４０ｂとの組である。２つ目は、直線６０ａと直線６０ｂとの組である。３つ目は直線６１ａと直線６１ｂとの組である。４つ目は、直線５０ａと直線５０ｂとの組である。
Similarly, as a result of performing the above processing on other straight line combinations, there are four straight line groups detected as parking frame candidates this time. The first is a set of
次に、いくつかの例を説明することで、本実施形態におけるＥＣＵ１０が駐車区間を構成する駐車枠を検出する様子を説明する。
Next, by describing some examples, the manner in which the
１つ目の例として、駐車枠検出部１１３が、直線６０ａと直線６０ｂとによって構成される駐車枠候補が、駐車区間を構成する駐車枠かどうかを判定する様子を示す。駐車枠検出部１１３は、自車両１の走行経路７０１と直線６０ａとのなす角を検出する。この時、なす角はほぼ９０°であり、なす角の直交度は所定の範囲である４５°〜１３５°に属している。そのため、駐車枠検出部１１３は、直線６０ａと直線６０ｂとによって構成される駐車枠候補を、駐車枠として検出する。
As a first example, a state is shown in which the parking
また、駐車枠検出部１１３が、直線４０ａと直線４０ｂとによって構成される駐車枠候補が駐車枠かどうかを検出する様子を示す。駐車枠検出部１１３は、走行経路７０１と直線４０ａとのなす角を検出する。すると、そのなす角は、ほぼ０°となり、所定の範囲である４５°〜１３５°を満たさない。従って、駐車枠検出部１１３は、直線４０ａと直線４０ｂとによって構成される駐車枠候補を駐車枠として検出しない。
Moreover, a mode that the parking
また、駐車枠検出部１１３が、直線５０ａと直線５０ｂとによって構成される駐車枠候補が駐車枠かどうかを検出する様子を示す。駐車枠検出部１１３は、走行経路７０１と直線５０ａとのなす角を検出する。すると、そのなす角は、ほぼ０°となり、所定の範囲である４５°〜１３５°を満たさない。従って、駐車枠検出部１１３は、直線５０ａと直線５０ｂとによって構成される駐車枠候補を駐車枠として検出しない。
Moreover, a mode that the parking
以上のように、本実施形態におけるＥＣＵ１０は、検出された駐車枠候補を構成する直線と自車両１の走行経路７０１とのなす角の直交度が、所定の範囲内に属するかどうかを判定する。そのため、矢印４０や横断歩道５０を駐車枠として誤検出してしまうことを防ぐことが出来る。
As described above, the
なお、走行経路７１１や走行経路７２１に基づいた駐車枠の検出は、過去のタイミングにてすでに行われている。すなわち、時刻Ｔ−１に画像取得部１１０が生成した鳥瞰画像上における駐車枠は、走行経路７１１と駐車枠候補とのなす角の直交度が所定の範囲内に属するかどうかに基づいて検出される。また、時刻Ｔ−２に画像取得部１１０が生成した鳥瞰画像上における駐車枠は、走行経路７２１と駐車枠候補とのなす角の直交度が所定の範囲内に属するかどうかに基づいて検出される。
Note that the detection of the parking frame based on the
次に、図５〜図７を用いて、本実施形態におけるＥＣＵ１０が行う処理の流れを説明する。
Next, the flow of processing performed by the
図５に示すように、ステップＳ１０において、ＥＣＵ１０は駐車枠候補を検出する。そして、ステップＳ１１において、ＥＣＵ１０は、検出した駐車枠候補の中から、駐車枠を検出する。ステップＳ１２において、ＥＣＵ１０は、検出した駐車枠をユーザに通知する。
As shown in FIG. 5, in step S10, the
図６は、ＥＣＵ１０が駐車枠候補を検出する具体的な処理の流れを示している。まず、ステップＳ１０１において、画像取得部１１０は、リアカメラ２１から画像を取得する。また、画像取得部１１０は、取得した画像を鳥の視点から見た画像である鳥瞰画像を生成する。その後、ステップＳ１０２に進む。
FIG. 6 shows a specific processing flow in which the
ステップＳ１０２において、直線検出部１１１は、上記にて説明した方法で、生成された鳥瞰画像から直線を検出する。検出された直線は、メモリ１２に記憶される。このステップは鳥瞰画像上における、全ての直線が検出されるまで、行われる。その後、ステップＳ１０３に進む。
In step S102, the straight
ステップＳ１０３において、駐車枠候補検出部１１２は、直線検出部１１１が検出した直線から、任意の２本の直線を選択し直線の組とする。その後、ステップＳ１０４に進む。
In step S103, the parking frame
ステップＳ１０４において、駐車枠候補検出部１１２は、直線の組が所定の条件を満たすかどうかを検出する。具体的に駐車枠候補検出部１１２は、直線の組の直線の間が１．８ｍ〜３．０ｍの範囲内に属しているかを判定する。また、駐車枠候補検出部１１２は、直線の組の直線同士の平行の程度が所定の範囲である、０°〜４５°または１３５°〜１８０°に属しているかどうかを判定する。直線の組が所定の条件を満たしている場合ステップＳ１０５に進み、そうでなければステップＳ１０６に進む。
In step S104, the parking frame
ステップＳ１０５において、駐車枠候補検出部１１２は、選択した直線の組を駐車枠候補としてメモリ１２に書き込む。その後、ステップＳ１０６に進む
ステップＳ１０６において、駐車枠候補検出部１１２は、メモリ１２に記憶された直線の、全ての組み合わせについて駐車枠候補かどうかを調べたかどうかを検出する。すべての組み合わせについて判定した場合、この処理を終了し、そうでなければステップＳ１０３に戻る。
In step S105, the parking frame
図７は、ＥＣＵ１０が、検出した駐車枠候補の中から、駐車枠を検出する具体的な処理の流れを示している。ステップＳ１１１において、駐車枠検出部１１３は、上記で説明した方法にて自車両１の走行経路７０１を検出する。その後、ステップＳ１１２に進む。
FIG. 7 shows a flow of specific processing in which the
ステップＳ１１２において、駐車枠検出部１１３は、メモリ１２に記憶されている任意の駐車枠候補を選択する。その後、ステップＳ１１３に進む
ステップＳ１１３において、駐車枠検出部１１３は、駐車枠候補を構成する直線の内少なくとも一方の直線と自車両１の走行経路７０１とのなす角の直交度が所定の範囲に属しているかどうかを判定する。所定の範囲内に属している場合ステップＳ１１４に進み、そうでなければステップＳ１１５に進む。
In step S <b> 112, the parking
ステップＳ１１４において、駐車枠検出部１１３は、選択している駐車枠候補を駐車枠としてメモリ１２に書き込む。また、駐車枠検出部１１３は、この駐車枠を検出した際の時刻をメモリ１２に書き込む。その後、ステップＳ１１５に進む。
In step S114, the parking
ステップＳ１１５において、駐車枠検出部１１３は、メモリ１２に記憶されている全ての駐車枠候補に対して、駐車枠検出処理を行ったかどうかを判定する。全ての駐車枠候補に対して処理を行った場合処理を終了し、そうでなければ、ステップＳ１１２に戻る。
In step S <b> 115, the parking
図８は、駐車枠検出部１１３が検出した駐車枠をユーザに通知する様子を示すフローチャートである。
FIG. 8 is a flowchart showing how the parking frame detected by the parking
ステップＳ１２１において、ＥＣＵ１０は、メモリ１２から駐車枠を取得する。そして、取得した駐車枠を強調表示した状態で、自車両１の周辺画像を示す画像を生成する。具体的には、駐車枠を色つきマーカで囲う。そして、ＥＣＵ１０は、その画像を表示装置３０に送信する。そして、表示装置３０は、その画像を表示する。その後、ステップＳ１２２に進む。
In step S <b> 121, the
ステップＳ１２２において、ユーザはその画像において強調表示された駐車枠のうち、１つの駐車枠を選択する。その時に、ＥＣＵ１０は、ユーザが選択した駐車枠の情報を表示装置３０から受信する。その後、ステップＳ１２３に進む。
In step S122, the user selects one parking frame among the parking frames highlighted in the image. At that time, the
ステップＳ１２３において、ＥＣＵ１０は、ユーザが選択した駐車枠のみを強調表示した画像を生成し、表示装置３０に送信する。そして、表示装置３０は、ユーザが選択した駐車枠のみを強調表示した画像を表示する。その後、処理を終了する。
In step S <b> 123, the
以下、第１実施形態におけるＥＣＵ１０の効果について説明する。
Hereinafter, effects of the
本実施形態におけるＥＣＵ１０は、自車両１の周辺を撮影するリアカメラ２１から取得した画像を用いて、駐車区間を構成する駐車枠を検出するＥＣＵ１０である。そして、ＥＣＵ１０は、リアカメラ２１から画像を取得する画像取得部１１０を備えている。また、ＥＣＵ１０は、画像取得部１１０が取得した画像から直線を検出する直線検出部１１１を備えている。また、ＥＣＵ１０は、直線検出部１１１が検出した複数の直線から選択された２つの直線によって構成される直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部１１２を備えている。また、ＥＣＵ１０は、駐車枠候補を構成する直線と自車両１の走行経路７０１とのなす角の直交度が所定の範囲内となる駐車枠候補を、駐車枠として検出する駐車枠検出部１１３を備えている。
ECU10 in this embodiment is ECU10 which detects the parking frame which comprises a parking area using the image acquired from the
このため、自車両１の走行経路７０１に対して直交する可能性が低い、道路の矢印４０や横断歩道５０などを駐車枠として誤検出してしまうことが低減される。一方、自車両１の走行経路７０１に対して直交する可能性が高い駐車区間を構成する駐車枠をより正確に検出することが出来る。
For this reason, it is possible to reduce erroneous detection of a
（第２実施形態）
第１実施形態において、駐車枠検出部１１３は、自車両１の走行経路と駐車枠候補とのなす角の直交度が所定の範囲内に属しているかどうかに基づいて、駐車枠を検出していた。
(Second Embodiment)
In 1st Embodiment, the parking
第２実施形態における駐車枠検出部１１３は、自車両１の走行経路に対しての直交度が所定の範囲内に属する駐車枠候補でも、自車両１の過去または現在の走路上に位置している駐車枠候補は、駐車枠として検出することを禁止する。
The parking
なお、本実施形態におけるＥＣＵ１０の構成は、第１実施形態と同様であるので説明を省略する。
Note that the configuration of the
図９は、あるタイミング時刻Ｔにおいて、本実施形態における画像取得部１１０が生成した鳥瞰画像を示している。
FIG. 9 shows a bird's-eye view image generated by the
第１実施形態と異なる点は、横断歩道５０の長手方向に直線５０１と直線５０２とが存在している所である。そして、直線５０１と５０２との幅は、２．５ｍである。
A difference from the first embodiment is that a
この状況において、本実施形態におけるＥＣＵ１０は、以下の処理を行う。
In this situation, the
まず、直線検出部１１１は、直線５０１と直線５０２とを検出する。そして、駐車枠候補検出部１１２は、直線５０１と直線５０２とによって構成される直線の組を、駐車枠候補として検出する。
First, the straight
次に駐車枠検出部１１３は、直線５０１と直線５０２との直線の組により構成される駐車枠候補と自車両１の走行経路７０１とのなす角の直交度が、所定の範囲に属するかどうかを判定する。
Next, the parking
具体的に、駐車枠検出部１１３は、直線５０１と自車両１の走行経路７０１とのなす角の直交度が４５°〜１３５°に属しているかどうかを判定する。すると、なす角は９０°であるため、所定の範囲内に属している。そのため、この時点において駐車枠検出部１１３は、直線５０１と直線５０２とによって構成される駐車枠候補を駐車枠として検出してしまう可能性がある。
Specifically, the parking
本実施形態の駐車枠検出部１１３は、更に直線５０１が自車両１の過去または現在の走路上に位置しているかどうかを検出する。すなわち、駐車枠検出部１１３は、直線５０１が走路７０、走路７１または走路７２に位置しているかどうかを判定する。そして、直線５０１がいずれかの走路に位置している場合、駐車枠検出部１１３は、直線５０１と直線５０２とによって構成される駐車枠候補を、駐車枠として検出することを禁止する。今回の場合、直線５０１は、走路７２上に位置している。そのため、駐車枠検出部１１３は、直線５０１と直線５０２とによって構成される駐車枠候補を駐車枠として検出することを禁止する。
The parking
このように、本実施形態における駐車枠検出部１１３は、自車両１の走路上に位置している駐車枠候補を駐車枠として検出することを禁止する。
As described above, the parking
横断歩道５０のように、自車両１の走路上には、自車両１の走行経路と略直交する駐車枠候補が出現することがある。しかし、駐車区間を構成する駐車枠が、自車両１の走路上に出現することは、実際にはほとんどありえない。
Like the
本実施形態のＥＣＵ１０は、仮に自車両１の走路上に、自車両１の走行経路と直交する駐車枠候補が検出されたとしても、そのような駐車枠候補を駐車枠として誤検出してしまうことを防ぐことが出来る。
Even if a parking frame candidate orthogonal to the traveling route of the
以下、第２実施形態におけるＥＣＵ１０の効果について説明する。
Hereinafter, effects of the
駐車枠検出部１１３は、駐車枠候補のうち、走行経路に対して所定の幅を持つ走路上に位置する駐車枠候補を駐車枠として検出することを禁止すること。
The parking
駐車区間が自車両１の走路上に出現することはほとんどない。仮に自車両１の走行経路とのなす角がする駐車枠候補が自車両１の走路上に検出されても、本実施形態のＥＣＵ１０は上記特徴的な構成により、その駐車枠候補を駐車枠として誤検出してしまうことを防ぐことが出来る。
The parking section rarely appears on the track of the
（第３実施形態）
第３実施形態におけるＥＣＵ１０は、あるタイミングにおいて駐車枠を検出する際に、あるタイミングより過去のタイミングに検出した駐車枠を参照する。そして、現在画像上に存在する駐車枠候補とメモリ１２から取得した過去に検出された駐車枠とが対応している場合、その駐車枠候補を駐車枠として検出する。
(Third embodiment)
When detecting the parking frame at a certain timing, the
現在の駐車枠候補とメモリ１２から取得した駐車枠とが対応しているかどうかは、以下のような処理を行うことで検出される。
Whether or not the current parking frame candidate corresponds to the parking frame acquired from the
まず、駐車枠検出部１１３は、メモリ１２から駐車枠と、過去に検出された際の画像上の位置座標を取得する。そして、現在のタイミングと駐車枠が検出された過去のタイミングと間に、自車両１が走行した走行経路を検出する。そして、駐車枠検出部１１３は、メモリ１２から取得した駐車枠の過去の位置座標と上記走行経路とに基づいて、現在の画像上において駐車枠が存在するはずの位置座標を特定することが出来る。
First, the parking
そして、特定された位置座標に駐車枠候補が存在する場合、駐車枠検出部１１３は、その駐車枠候補を駐車枠として検出する。
When there is a parking frame candidate at the specified position coordinates, the parking
具体的な例を、図１０、図１１、図１２を用いて説明を行う。 A specific example will be described with reference to FIGS. 10, 11, and 12.
図１０の破線が示す自車両１は、時刻Ｔ−１における自車両１を示している。そして、実線の自車両１は、時刻Ｔにおける自車両１を示している。自車両１は、時刻Ｔ−１から時刻Ｔの間に、走行経路７０１のように進行する。
The
図１１は、時刻Ｔ−１における画像取得部１１０が生成する鳥瞰画像を示している。そして、図１２は、時刻Ｔにおける画像取得部１１０が生成する鳥瞰画像を示している。
FIG. 11 shows a bird's-eye view image generated by the
まず、図１１に示すように時刻Ｔ−１において、駐車枠検出部１１３は、直線６１ａと直線６１ｂとの組を駐車枠として検出する。そして、その駐車枠はメモリ１２に記憶される。
First, as shown in FIG. 11, at time T-1, the parking
次に、図１２に示すように時刻Ｔにおいて、駐車枠候補検出部１１２は、直線６１ａと直線６１ｂとの組を駐車枠候補として検出する。そして、駐車枠検出部１１３は、その駐車枠候補が駐車枠かどうかを判定する。すると、その駐車枠候補と自車両１の現在の走行経路７０１との直交度が所定の範囲に属していないので、駐車枠検出部１１３は、その駐車枠候補を駐車枠として検出しない。
Next, as shown in FIG. 12, at time T, the parking frame
本実施形態の駐車枠検出部１１３は、更に以下の処理を行う。まず、駐車枠検出部１１３は、メモリ１２に記憶されている駐車枠を検出する。つまり、駐車枠検出部１１３は、直線６１ａと直線６１ｂとの組を検出する。次に、駐車枠検出部１１３は、直線６１ａと直線６１ｂとの組が駐車枠として検出された時刻Ｔ−１から、現在の時刻Ｔまでの走行経路を検出する。つまり、今回の場合、走行経路７０１である。そして、駐車枠検出部１１３は、過去の時刻Ｔ−１において、駐車枠が検出された位置座標と走行経路７０１とに基づいて、現在の駐車枠が存在するはずの位置座標を特定する。
The parking
そして、駐車枠検出部１１３は、現在の時刻Ｔにおいて検出された駐車枠候補のうち、上記の方法で特定した駐車枠が存在するはずの位置座標と一致する駐車枠候補を、駐車枠として検出する。すなわち、時刻Ｔ−１において、駐車枠として検出された直線６１ａと６１ｂとの組は、時刻Ｔにおいても駐車枠として検出されることになる。
And the parking
このように、本実施形態における駐車枠検出部１１３は、過去に一旦駐車枠として検出された駐車枠候補については、その駐車枠候補と現在の走行経路との直交度が所定の範囲を満たさなくても、駐車枠として検出することが出来る。
As described above, the parking
以下に第３実施形態におけるＥＣＵ１０の効果について説明する。 Below, the effect of ECU10 in 3rd Embodiment is demonstrated.
走行経路は、駐車枠検出部１１３が駐車枠の検知を前回行ったタイミングから現在迄に、自車両が進んだ走行経路であって、ＥＣＵ１０は駐車枠検出部１１３が過去に検出した駐車枠を記憶するメモリ１２を備えている。駐車枠検出部１１３は、直交度が所定の範囲内となる駐車枠候補に加え、メモリ１２が記憶している駐車枠と対応する駐車枠候補を駐車枠として検出する。
The travel route is a travel route on which the host vehicle has traveled from the timing when the parking
自車両１の進行方向が変化すると、自車両１の走行経路は変化する。そのため、あるタイミングにおいて、駐車枠として検出された駐車枠候補が、次のタイミングでは、自車両１の走行経路対するなす角の直交度が所定の範囲内に属さず、駐車枠として検出されない可能性がある。本実施形態におけるＥＣＵ１０は、一旦駐車枠として検出された駐車枠候補は、その後走行経路に対するなす角の直交度が所定の範囲内に属さなくなっても、駐車枠として検出することが出来る。
When the traveling direction of the
（第４実施形態）
上記実施形態においては、直線の組が所定の幅を満たし、かつ平行の程度が所定の範囲内に属する直線の組が、駐車枠候補として検出される。そして、駐車枠候補のうち、少なくとも一方の直線と走路との直交度が所定の範囲内に属しているものを全て同じ駐車枠として扱った。
(Fourth embodiment)
In the above-described embodiment, a straight line set that satisfies a predetermined width and whose parallel degree falls within a predetermined range is detected as a parking frame candidate. And among the parking frame candidates, all the ones in which the orthogonality between at least one straight line and the running road belong within a predetermined range were treated as the same parking frame.
本実施形態では、検出された駐車枠の内、より駐車枠の可能性が高いかどうかを判定するために、検出された駐車枠には駐車枠らしさの確率が設定される。 In this embodiment, in order to determine whether the possibility of a parking frame is higher among the detected parking frames, a probability of a parking frame is set in the detected parking frame.
具体的には、図１３〜図１５に示すように、各パラメータに対して確率が設定される。 Specifically, as shown in FIGS. 13 to 15, the probability is set for each parameter.
まず、図１３は、上記直線の組の直線同士の幅と駐車枠らしさの確率との関係を示している。直線同士の幅が、１．８ｍから３．０ｍの範囲内の場合、駐車枠らしさの確率は１と設定される。そして、１．５ｍ以下及び３．５ｍ以上は、駐車枠らしさの確率が０と設定される。そして、枠幅をｘ１、駐車枠らしさの確率をＡとした時、１．５ｍ〜１．８ｍの範囲内での確率は、Ａ＝（１／０．３）×（ｘ１−１．５）となる。そして、３．０ｍから３．５ｍの範囲での確率は、Ａ＝２×（ｘ１−３．０）となる。 First, FIG. 13 shows a relationship between the width of the straight lines of the above-described straight line set and the probability of the parking frame. When the width between the straight lines is in the range of 1.8 m to 3.0 m, the probability of the parking frame is set to 1. And the probability of a parking frame is set to 0 for 1.5 m or less and 3.5 m or more. When the frame width is x1 and the probability of the parking frame is A, the probability within the range of 1.5 m to 1.8 m is A = (1 / 0.3) × (x1−1.5) It becomes. And the probability in the range of 3.0 m to 3.5 m is A = 2 × (x1−3.0).
図１４は、直線の組の直線同士の平行の程度と駐車枠らしさの確率との関係を示している。平行の程度をｘ２、駐車枠らしさの確率をＢとした時、平行の程度０°から４５°の範囲における確率Ｂは、Ｂ＝（１／４５）×（４５−ｘ２）となる。そして、平行の程度４５°から１３５°の範囲においては、駐車枠らしさの確率Ｂは０となる。そして、平行の程度１３５°から１８０°の範囲における駐車枠らしさの確率Ｂは、Ｂ＝（１／４５）×（ｘ２−１３５）となる。
FIG. 14 shows the relationship between the degree of parallelism between the straight lines of the set of straight lines and the probability of parking frame. When the parallel degree is x2 and the probability of the parking frame is B, the probability B in the parallel degree range of 0 ° to 45 ° is B = (1/45) × (45−x2). And in the range of the
図１５は、直線の組の少なくとも一方の直線と自車両１の走行経路７０１との直交度と、駐車枠らしさの確率との関係を示している。直交度をｘ３とし、駐車枠らしさの確率をＣとすると、直交度０°から４５°の範囲内において、駐車枠らしさの確率Ｃ＝０となる。そして、直交度４５°から９０°の範囲内において、駐車枠らしさの確率Ｃ＝（１／４５）×（ｘ３―４５）となる。直交度９０°から１３５°の範囲内において、駐車枠らしさの確率Ｃ＝（１／４５）×（１３５−ｘ３）となる。
FIG. 15 shows the relationship between the degree of orthogonality between at least one straight line of the set of straight lines and the
そして、確率Ａ、Ｂ及びＣは、以下の計算式に基づいて統合され、最終的な駐車枠らしさの統合確率Ｅが検出される。 Then, the probabilities A, B, and C are integrated based on the following calculation formula, and the final integrated probability E of the parking frame is detected.
２つの確率を統合する、確率統合演算式を以下に示す。まず、上記確率ＡとＢとの統合確率をＤとした場合、Ｄ＝（Ａ×Ｂ）／（Ａ×Ｂ＋（１−Ａ）×（１−Ｂ））となる。そして、上記確率統合演算式を、統合確率Ｄと直交度の確率Ｃとにも同様に適用し、ＤとＣとの統合確率をＥとすると、Ｅ＝（Ｄ×Ｃ）／（Ｄ×Ｃ＋（１−Ｄ）×（１−Ｃ））となる。この統合確率Ｅが、ＡとＢとＣとの統合確率である。 A probability integration formula that integrates two probabilities is shown below. First, when the integrated probability of the probabilities A and B is D, D = (A × B) / (A × B + (1−A) × (1−B)). Then, the above probability integration arithmetic expression is similarly applied to the integration probability D and the probability C of orthogonality, and E = (D × C) / (D × C +) where E is the integration probability of D and C. (1-D) × (1-C)). This integration probability E is the integration probability of A, B, and C.
上記確率統合演算式を用いることで、駐車枠検出部１１３は、駐車枠候補同士のうち、どちらがより駐車枠らしいかどうかを判断できると共に、計算された駐車枠らしさの確率を用いて、駐車枠らしさの確率が閾値を超えたかどうかを判定することが出来る。例えば、駐車枠検出部１１３は、駐車枠らしさが５０％以上であるもののうち、より駐車枠らしい駐車枠候補を検出することが出来る。
By using the probability integration calculation formula, the parking
仮に、単純な確率の掛け合わせにした場合は、駐車枠検出部１１３は、駐車枠らしさの確率を掛け合わせるほど、最終的な駐車枠らしさの確率は減少してしまう。すなわち、駐車枠候補同士のうち、どちらがより駐車枠らしいかどうかのみしか判断できない。
If a simple probability is multiplied, the parking
具体的な例を示す。直線同士の枠幅が２．３ｍ、平行の程度０°であり、直線の組の直線と走路との直交度が９０°となる直線の組のそれぞれの確率は、Ａ＝１、Ｂ＝１、Ｃ＝１となる。そのため、統合確率Ｅ＝１となる。 A specific example is shown. The frame width between the straight lines is 2.3 m, the degree of parallelism is 0 °, and the probability of each of the straight line sets in which the orthogonality between the straight lines and the runway is 90 ° is A = 1, B = 1 , C = 1. Therefore, the integration probability E = 1.
そして、直線同士の枠幅が１．６ｍ、平行の程度３０°であり、直線の組の直線と走路との直交度が７０°の場合、直線の組のそれぞれの確率は、Ａ＝１／３、Ｂ＝３／７、Ｃ＝５／９となり、統合確率Ｅ＝１５／４７となる。そして、検出された駐車枠の中でも、統合確率Ｅが高い方がより、駐車枠の可能性がある。 When the frame width between the straight lines is 1.6 m and the degree of parallelism is 30 °, and the orthogonality between the straight lines and the runway is 70 °, the probability of each of the straight line sets is A = 1 / 3, B = 3/7, C = 5/9, and the integration probability E = 15/47. And among the detected parking frames, the one with the higher integration probability E is more likely to be a parking frame.
以下に第４実施形態におけるＥＣＵ１０の効果について説明する。 Below, the effect of ECU10 in 4th Embodiment is demonstrated.
所定の条件は、直線同士の幅の長さが所定の範囲内に属することと、直線同士のなす角の平行の程度が所定の範囲内に属することである。そして、駐車枠検出部１１３は、幅の長さに基づいて設定される駐車枠らしさの確率と、平行の程度に基づいて設定される駐車枠らしさの確率と、直交度に基づいて設定される駐車枠らしさの確率とを統合した確率に基づき、駐車枠を検出する。
The predetermined condition is that the length of the width of the straight lines belongs to a predetermined range, and the degree of parallelism of the angles formed by the straight lines belongs to the predetermined range. And the parking
このように、本実施形態のＥＣＵ１０は、検出する駐車枠に対して、駐車枠の可能性を示す確率を設定する。このため、本実施形態におけるＥＣＵ１０は、駐車区間を構成する駐車枠である可能性がより高い駐車枠を検出することが出来る。 Thus, ECU10 of this embodiment sets the probability which shows the possibility of a parking frame with respect to the parking frame to detect. For this reason, ECU10 in this embodiment can detect the parking frame with higher possibility of being the parking frame which comprises a parking area.
（他の実施形態）
以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。
(Other embodiments)
The preferred embodiments of the present invention have been described above, but the present invention is not limited to the above-described embodiments, and various modifications can be made as illustrated below. Not only combinations of parts that clearly show that combinations are possible in each embodiment, but also combinations of the embodiments even if they are not explicitly stated unless there is a problem with the combination. Is also possible.
上記第１実施形態において、駐車枠候補との直交度の判定が行われるのは、現在の走行経路だけであるが、過去の走行経路との比較も行うようにしてもよい。具体的には、第１実施形態において、時刻Ｔに画像取得部１１０が取得した画像における駐車枠候補と走行経路７１１とのなす角の直交度が所定の範囲に属しているかどうかを判定するようにしてもよい。更に、時刻Ｔに画像取得部１１０が取得した画像における駐車枠候補と走行経路７２１とのなす角の直交度が所定の範囲に属しているかどうかを判定するようにしてもよい。
In the first embodiment, the degree of orthogonality with the parking frame candidate is determined only for the current travel route, but it may be compared with a past travel route. Specifically, in the first embodiment, it is determined whether or not the orthogonality of the angle between the parking frame candidate and the
また、上記第３実施形態において、直進する走行経路、および舵角を変化させる走行経路の両経路において、ＥＣＵ１０は、走行経路と駐車枠候補との直交度に基づいて駐車枠の検知を行っていた。本発明はこれに限るものではなく、自車両１が直進している際の走行経路と駐車枠候補との直交度に基づいて駐車枠を検知されるようにし、自車両１が直進していない場合の走行経路に基づいて駐車枠の検知を行なわれないようにしてもよい。駐車枠を探す必要がある状況は、自車両１が直進している場合がほとんどである。一方、自車両１のステアリングの舵角が切られている状態で、駐車枠を探す必要がある状況はほとんどない。そのため、自車両１のステアリングの舵角が切られた状態における走行経路に対して、直交度が所定の範囲を満たす駐車枠候補の直線は、駐車区間を形成する駐車枠ではない可能性が高い。そのため、上記の構成にすると、自車両１のステアリング舵角が切られている際に、ＥＣＵ１０が駐車枠を誤検出してしまうことを防ぐことが出来る。
In the third embodiment, the
上記実施形態において、駐車枠候補が検出される際の所定の条件として、直線同士の平行の程度及び直線同士の幅を用いたが、これに限るものではない。 In the above embodiment, the degree of parallelism between the straight lines and the width between the straight lines are used as the predetermined conditions when the parking frame candidate is detected. However, the present invention is not limited to this.
例えば、直線同士の平行の程度または直線同士の幅のうち、どちらか一方のみを採用して、駐車枠候補が検出されるようにしてもよい。 For example, only one of the degree of parallelism between the straight lines or the width between the straight lines may be adopted to detect the parking frame candidate.
例えば、２本の直線の内、片方の直線の付近に、別の直線が存在しているかどうかを検出するようにしてもよい。 For example, it may be detected whether another straight line exists in the vicinity of one of the two straight lines.
また、２本の直線同士の線の一致度を比較するようにしてもよい。具体的に直線同士の一致度に関するパラメータとして、色、輝度、長さ、太さ、形状、コントラストなどである。上記パラメータを少なくとも１つ採用するようにしてもよい。更に言うと、各パラメータに対しても、上記第４実施形態で示したような駐車枠らしさを設定し、直線同士の幅、平行度及び直交度の駐車枠らしさに加えて、各パラメータの駐車枠らしさに基づいて、最終的な駐車枠らしさを計算するようにしてもよい。 Further, the degree of coincidence between two straight lines may be compared. Specifically, parameters relating to the degree of coincidence between straight lines include color, brightness, length, thickness, shape, and contrast. At least one of the above parameters may be adopted. Furthermore, for each parameter, the parking frame-likeness as shown in the fourth embodiment is set, and in addition to the parking frame-likeness of the width, parallelism and orthogonality between the straight lines, the parking of each parameter is set. The final likelihood of parking frame may be calculated based on the likelihood of frame.
また、直線同士の幅や色が同じような、直線の組が複数個、所定方向に連続して出現しているかどうかを考慮して、駐車枠を検出するようにしてもよい。更に言うと、直線同士の幅や色が同じものが連続しているかどうかについて、駐車枠らしさを設定し、最終的な駐車枠らしさの計算に用いるようにしてもよい。 In addition, a parking frame may be detected in consideration of whether or not a plurality of sets of straight lines having the same width and color between the straight lines appear in a predetermined direction. Furthermore, it may be possible to set the likelihood of a parking frame and use it for the final calculation of the likelihood of a parking frame as to whether or not straight lines having the same width and color are continuous.
また、駐車枠検出部１１３は、上記直線同士の幅や平行度などに基づき、駐車枠候補が横断歩道かどうかを判定する処理を行い、横断歩道と判定された駐車枠候補は、駐車枠として検出しないようにしてもよい。
In addition, the parking
あるいは、駐車枠検出部１１３は、上記直線同士の幅や平行度などに基づき、駐車枠候補が文字かどうかを判定する処理を行い、文字と判定された駐車枠候補は、駐車枠として検出しないようにしてもよい。
Or the parking
また、自車両１の走行経路の検出方法は上記実施形態に限るものではない。例えば、ＧＰＳに基づいて、各タイミングにおける自車両１の位置を特定し、その差分を利用して走行経路を求めるようにしてもよい。また、各タイミング間における任意のエッジ点の座標変化量に基づいて、自車両１の走行経路を計算するようにしてもよい。
The method for detecting the travel route of the
また、上記実施形態において、直交度の所定の範囲として４５°〜１３５°としたが、当然これに限るものではなく、適宜設定することが出来る。例えば、８０°〜１２０°としてもよい。同様に平行の程度や幅の長さの所定の範囲についても、適宜設定することが出来る。 In the above embodiment, the predetermined range of the orthogonality is 45 ° to 135 °. However, the present invention is not limited to this and can be set as appropriate. For example, it is good also as 80 degrees-120 degrees. Similarly, a predetermined range of the degree of parallelism and the length of the width can be set as appropriate.
なお、上記実施形態において、走行経路は移動方向とその移動量との両方を含んでいたが、移動方向だけの情報を含むようにしてもよい。 In the above embodiment, the travel route includes both the movement direction and the movement amount, but may include information only on the movement direction.
なお、上記実施形態における駐車枠検出部１１３は、画像取得部１１０が鳥瞰画像を生成する毎に駐車枠の検出を行っていたが、画像取得部１１０が所定回数鳥瞰画像を生成した後に、駐車枠の検出を行うようにしてもよい。
The parking
なお、上記実施形態において、駐車枠記憶部はＥＣＵ１０内に設けられるメモリ１２としたが、ＥＣＵ１０とは別の装置の記憶媒体としてもよい。
In the above embodiment, the parking frame storage unit is the
また、上記実施形態において、撮像装置はリアカメラ２１としたが、複数のカメラを自車両１に取り付けて、画像取得部１１０は複数のカメラから鳥瞰画像を生成するようにしてもよい。
In the above embodiment, the imaging device is the
また、上記実施形態において、直線検出部１１１は画像取得部１１０が生成した鳥瞰画像に対して直線の検出を行った。これに限るものではなく、直線検出部１１１は、画像取得部１１０がリアカメラ２１から取得した画像に対して、歪処理を行った後の画像に対して直線検出を行うようにしてもよい。
In the above embodiment, the straight
１ 自車両、１０ ＥＣＵ、１１ マイクロコンピュータ、１１０ 画像取得部、１１１ 直線検出部、１１２ 駐車枠候補検出部、１１３ 駐車枠検出部、１２ メモリ、２１ リアカメラ、２３ 車速センサ、２４ 舵角センサ、３０ 表示装置、７０ 走路、７０１ 走行経路 ７０２ 所定の幅。
DESCRIPTION OF
Claims (6)
前記撮像装置から画像を取得する画像取得部（１１０）と、
前記画像取得部が取得した前記画像から直線を検出する直線検出部（１１１）と、
前記直線検出部が検出した複数の前記直線から選択された２つの直線によって構成される前記直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部（１１２）と、
過去の時刻（Ｔ−１）から現在の時刻（Ｔ）までの前記自車両の走行経路と、前記駐車枠候補を構成する前記直線とのなす角の直交度が所定の範囲内となる前記駐車枠候補を、前記駐車枠として検出する駐車枠検出部（１１３）とを備え、
前記駐車枠検出部は、前記駐車枠候補のうち、前記自車両の現在又は過去の走路上に位置する前記駐車枠候補については、前記駐車枠として検出することを禁止することを特徴とする車載画像処理装置。 An in-vehicle image processing device that detects a parking frame that constitutes a parking section using an image acquired from an imaging device that captures the periphery of the host vehicle,
An image acquisition unit (110) for acquiring an image from the imaging device;
A straight line detection unit (111) for detecting a straight line from the image acquired by the image acquisition unit;
A parking frame candidate detection unit that detects a set of straight lines as a parking frame candidate when the set of straight lines configured by two straight lines selected from the plurality of straight lines detected by the straight line detection unit satisfies a predetermined condition. (112),
The parking in which the degree of orthogonality between the travel route of the host vehicle from the past time (T-1) to the current time (T) and the straight line constituting the parking frame candidate is within a predetermined range. A parking frame detection unit (113) for detecting a frame candidate as the parking frame;
The said parking frame detection part prohibits detecting the said parking frame candidate located on the present or past runway of the said vehicle among the said parking frame candidates as the said parking frame. Image processing device.
前記駐車枠検出部が過去に検出した前記駐車枠を記憶する駐車枠記憶部（１２）を備え、
前記駐車枠検出部は、前記直交度が所定の範囲内となる前記駐車枠候補に加え、前記駐車枠記憶部が記憶している前記駐車枠と対応する前記駐車枠候補を、前記直交度が所定の範囲内となっているか否かに拘らず前記駐車枠として検出することを特徴とする、請求項１に記載の車載画像処理装置。 The travel route is a travel route traveled by the host vehicle from the timing when the parking frame detection unit previously detected the parking frame to the present time,
A parking frame storage unit (12) for storing the parking frame detected by the parking frame detection unit in the past;
In addition to the parking frame candidate in which the orthogonality is within a predetermined range, the parking frame detection unit determines the parking frame candidate corresponding to the parking frame stored in the parking frame storage unit as the orthogonality The in-vehicle image processing apparatus according to claim 1, wherein the on-vehicle image processing device is detected as the parking frame regardless of whether it is within a predetermined range .
前記撮像装置から画像を取得する画像取得部（１１０）と、
前記画像取得部が取得した前記画像から直線を検出する直線検出部（１１１）と、
前記直線検出部が検出した複数の前記直線から選択された２つの直線によって構成される前記直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部（１１２）と、
過去の時刻（Ｔ−１）から現在の時刻（Ｔ）までの前記自車両の走行経路と、前記駐車枠候補を構成する前記直線とのなす角の直交度が所定の範囲内となる前記駐車枠候補を、前記駐車枠として検出する駐車枠検出部（１１３）とを備え、
前記走行経路は、前記駐車枠検出部が前記駐車枠の検出を前回行ったタイミングから現在迄に、前記自車両が進んだ走行経路であって、
前記駐車枠検出部が過去に検出した前記駐車枠を記憶する駐車枠記憶部（１２）を備え、
前記駐車枠検出部は、前記直交度が所定の範囲内となる前記駐車枠候補に加え、前記駐車枠記憶部が記憶している前記駐車枠と対応する前記駐車枠候補を、前記直交度が所定の範囲内となっているか否かに拘らず前記駐車枠として検出することを特徴とする車載画像処理装置。 An in-vehicle image processing device that detects a parking frame that constitutes a parking section using an image acquired from an imaging device that captures the periphery of the host vehicle,
An image acquisition unit (110) for acquiring an image from the imaging device;
A straight line detection unit (111) for detecting a straight line from the image acquired by the image acquisition unit;
A parking frame candidate detection unit that detects a set of straight lines as a parking frame candidate when the set of straight lines configured by two straight lines selected from the plurality of straight lines detected by the straight line detection unit satisfies a predetermined condition. (112),
The parking in which the degree of orthogonality between the travel route of the host vehicle from the past time (T-1) to the current time (T) and the straight line constituting the parking frame candidate is within a predetermined range. A parking frame detection unit (113) for detecting a frame candidate as the parking frame;
The travel route is a travel route traveled by the host vehicle from the timing when the parking frame detection unit previously detected the parking frame to the present time,
A parking frame storage unit (12) for storing the parking frame detected by the parking frame detection unit in the past;
In addition to the parking frame candidate in which the orthogonality is within a predetermined range, the parking frame detection unit determines the parking frame candidate corresponding to the parking frame stored in the parking frame storage unit as the orthogonality An in-vehicle image processing apparatus that detects the parking frame regardless of whether or not it is within a predetermined range .
前記駐車枠検出部は、前記幅の長さに基づいて設定される駐車枠らしさの確率と、前記平行の程度に基づいて設定される駐車枠らしさの確率と、前記直交度に基づいて設定される駐車枠らしさの確率とを統合した確率に基づき、前記駐車枠を検出することを特徴とする、請求項１ないし３のいずれか１項に記載の車載画像処理装置。 The predetermined condition is that the length of the width between the straight lines belongs to a predetermined range and that the degree of parallelism of the angles formed by the straight lines belongs to the predetermined range,
The parking frame detection unit is set based on the probability of the parking frame set based on the length of the width, the probability of the parking frame set based on the degree of parallelism, and the orthogonality. The in-vehicle image processing apparatus according to any one of claims 1 to 3, wherein the parking frame is detected based on a probability obtained by integrating a probability of a parking frame.
前記撮像装置から画像を取得する画像取得部（１１０）と、
前記画像取得部が取得した前記画像から直線を検出する直線検出部（１１１）と、
前記直線検出部が検出した複数の前記直線から選択された２つの直線によって構成される前記直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部（１１２）と、
過去の時刻（Ｔ−１）から現在の時刻（Ｔ）までの前記自車両の走行経路と、前記駐車枠候補を構成する前記直線とのなす角の直交度が所定の範囲内となる前記駐車枠候補を、前記駐車枠として検出する駐車枠検出部（１１３）とを備え、
前記所定の条件は、前記直線同士の幅の長さが所定の範囲内に属することと、前記直線同士のなす角の平行の程度が所定の範囲内に属することを満たすことであって、
前記駐車枠検出部は、前記幅の長さに基づいて設定される駐車枠らしさの確率と、前記平行の程度に基づいて設定される駐車枠らしさの確率と、前記直交度に基づいて設定される駐車枠らしさの確率とを統合した確率に基づき、前記駐車枠を検出することを特徴とする車載画像処理装置。 An in-vehicle image processing device that detects a parking frame that constitutes a parking section using an image acquired from an imaging device that captures the periphery of the host vehicle,
An image acquisition unit (110) for acquiring an image from the imaging device;
A straight line detection unit (111) for detecting a straight line from the image acquired by the image acquisition unit;
A parking frame candidate detection unit that detects a set of straight lines as a parking frame candidate when the set of straight lines configured by two straight lines selected from the plurality of straight lines detected by the straight line detection unit satisfies a predetermined condition. (112),
The parking in which the degree of orthogonality between the travel route of the host vehicle from the past time (T-1) to the current time (T) and the straight line constituting the parking frame candidate is within a predetermined range. A parking frame detection unit (113) for detecting a frame candidate as the parking frame;
The predetermined condition is that the length of the width between the straight lines belongs to a predetermined range and that the degree of parallelism of the angles formed by the straight lines belongs to the predetermined range,
The parking frame detection unit is set based on the probability of the parking frame set based on the length of the width, the probability of the parking frame set based on the degree of parallelism, and the orthogonality. A vehicle-mounted image processing apparatus, wherein the parking frame is detected based on a probability obtained by integrating a probability of a parking frame.
前記駐車枠検出部は、更に、前記輝度の一致度に基づいて設定される駐車枠らしさの確率、前記コントラストの一致度に基づいて設定される駐車枠らしさの確率、前記長さの一致度に基づいて設定される駐車枠らしさの確率、前記太さの一致度に基づいて設定される駐車枠らしさの確率、前記色の一致度に基づいて設定される駐車枠らしさの確率、及び前記直線同士の幅の長さが所定の範囲内に属する直線の組が連続している度合に基づいて設定される駐車枠らしさの確率のうち、少なくとも１つの駐車枠らしさの確率を統合した確率に基づき、前記駐車枠を検出することを特徴とする請求項４または５に記載の車載画像処理装置。 The predetermined conditions further include: the brightness of the straight lines matches, the contrast matches, the length matches, the thickness matches, the colors match, and the widths of the lines match each other. Satisfying at least one of a set of straight lines belonging to the range of
The parking frame detection unit further determines the probability of parking frame set based on the degree of coincidence of luminance, the probability of parking frame set based on the degree of coincidence of contrast, and the degree of coincidence of length. The probability of the parking frame set based on the probability of the parking frame set based on the matching degree of the thickness, the probability of the parking frame set based on the matching degree of the color, and the straight lines Based on the probability of integrating at least one probability of parking frame out of the probability of parking frame that is set based on the degree to which a set of straight lines belonging to a predetermined range of the length of the width is continuous, vehicle image processing apparatus according to claim 4 or 5, characterized in that detecting the parking space.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014114205A JP6459226B2 (en) | 2014-06-02 | 2014-06-02 | In-vehicle image processing device |
| DE112015002593.6T DE112015002593T5 (en) | 2014-06-02 | 2015-05-08 | VEHICLE-MOUNTED IMAGE PROCESSING DEVICE |
| PCT/JP2015/002349 WO2015186294A1 (en) | 2014-06-02 | 2015-05-08 | Vehicle-mounted image-processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014114205A JP6459226B2 (en) | 2014-06-02 | 2014-06-02 | In-vehicle image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015227139A JP2015227139A (en) | 2015-12-17 |
| JP6459226B2 true JP6459226B2 (en) | 2019-01-30 |
Family
ID=54766381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014114205A Active JP6459226B2 (en) | 2014-06-02 | 2014-06-02 | In-vehicle image processing device |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6459226B2 (en) |
| DE (1) | DE112015002593T5 (en) |
| WO (1) | WO2015186294A1 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201116958D0 (en) * | 2011-09-30 | 2011-11-16 | Bae Systems Plc | Use of synthetic overhead images for vehicle localisation |
| JP6642906B2 (en) * | 2016-02-18 | 2020-02-12 | 三菱重工業株式会社 | Parking position detection system and automatic parking system using the same |
| US10481609B2 (en) * | 2016-12-09 | 2019-11-19 | Ford Global Technologies, Llc | Parking-lot-navigation system and method |
| JP6958117B2 (en) | 2017-08-29 | 2021-11-02 | 株式会社アイシン | Parking support device |
| JP2019196075A (en) * | 2018-05-09 | 2019-11-14 | 株式会社デンソーテン | Parking frame detection device and parking frame detection method |
| JP7188916B2 (en) * | 2018-06-26 | 2022-12-13 | フォルシアクラリオン・エレクトロニクス株式会社 | parking assist device |
| CN109299686A (en) * | 2018-09-14 | 2019-02-01 | 深圳市灵动飞扬科技有限公司 | A kind of parking stall recognition methods, device, equipment and medium |
| DE102018123393A1 (en) * | 2018-09-24 | 2020-03-26 | Denso Corporation | Detection of parking areas |
| JP2020095631A (en) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
| CN113792601B (en) * | 2021-08-10 | 2024-01-12 | 武汉光庭信息技术股份有限公司 | Parking space line fitting method and system based on Hough straight line detection result |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3991731B2 (en) * | 2002-03-14 | 2007-10-17 | 日産自動車株式会社 | Parking direction setting device for vehicles |
| JP4449701B2 (en) * | 2004-10-28 | 2010-04-14 | 株式会社デンソー | Parking assistance system |
| JP4207935B2 (en) * | 2005-08-19 | 2009-01-14 | トヨタ自動車株式会社 | Travel path recognition device |
| JP4844323B2 (en) * | 2006-09-27 | 2011-12-28 | アイシン・エィ・ダブリュ株式会社 | Parking assistance device and parking assistance method |
| JP2009202610A (en) * | 2008-02-26 | 2009-09-10 | Hitachi Ltd | Parking assist system |
| JP4952637B2 (en) * | 2008-04-04 | 2012-06-13 | トヨタ自動車株式会社 | Parking assistance device |
| JP2010183234A (en) * | 2009-02-04 | 2010-08-19 | Panasonic Corp | Drawing apparatus |
| JP5035284B2 (en) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | Vehicle periphery display device |
| JP5397321B2 (en) * | 2009-06-09 | 2014-01-22 | 株式会社デンソー | Parking assistance system |
| CN102549630A (en) * | 2009-10-02 | 2012-07-04 | 三菱电机株式会社 | Parking assistance device |
| JP2011207383A (en) * | 2010-03-30 | 2011-10-20 | Denso Corp | Backward parking assist control device and program for the same |
| JP5574235B2 (en) * | 2010-10-06 | 2014-08-20 | スズキ株式会社 | Parking frame detection device and parking frame detection method |
| JP2012136206A (en) * | 2010-12-28 | 2012-07-19 | Fujitsu Ten Ltd | System and method for parking control |
| JP2013018406A (en) * | 2011-07-12 | 2013-01-31 | Fujitsu Ten Ltd | Recognizing device of parking frame, recognizing method of parking frame and program |
| JP2013186663A (en) * | 2012-03-07 | 2013-09-19 | Toyota Motor Corp | Crosswalk recognition device and crosswalk recognition method |
| JP2014106739A (en) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | In-vehicle image processing device |
-
2014
- 2014-06-02 JP JP2014114205A patent/JP6459226B2/en active Active
-
2015
- 2015-05-08 WO PCT/JP2015/002349 patent/WO2015186294A1/en active Application Filing
- 2015-05-08 DE DE112015002593.6T patent/DE112015002593T5/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015227139A (en) | 2015-12-17 |
| DE112015002593T5 (en) | 2017-04-06 |
| WO2015186294A1 (en) | 2015-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6459226B2 (en) | In-vehicle image processing device | |
| JP5594246B2 (en) | Lane recognition device | |
| JP6747269B2 (en) | Object recognition device | |
| RU2597066C2 (en) | Method and device for identification of road signs | |
| JP4950858B2 (en) | Image recognition apparatus and image recognition program | |
| JP5968064B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
| CN110858405A (en) | Attitude estimation method, device and system of vehicle-mounted camera and electronic equipment | |
| JP2011180982A (en) | Lane marker detecting apparatus | |
| US20220371583A1 (en) | Systems and Methods for Selectively Decelerating a Vehicle | |
| JP2016206776A (en) | Road surface detector | |
| JP4761156B2 (en) | Feature position recognition apparatus and feature position recognition method | |
| JP2016046556A (en) | Traveling partition line recognition device, traveling partition line recognition program | |
| JP7255345B2 (en) | Driving lane recognition device, driving lane recognition method and program | |
| US20220136853A1 (en) | Reducing stored parameters for a navigation system | |
| JP2018097431A (en) | Driving support apparatus, driving support system and driving support method | |
| JP2020067698A (en) | Partition line detector and partition line detection method | |
| JP7095559B2 (en) | Bound line detection device and lane marking method | |
| US20230106644A1 (en) | Systems and methods for detecting vehicle wheel slips | |
| JP5097681B2 (en) | Feature position recognition device | |
| JP5888275B2 (en) | Road edge detection system, method and program | |
| KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
| JP5974923B2 (en) | Road edge detection system, method and program | |
| JP6993205B2 (en) | Compartment line identification device | |
| JP6185327B2 (en) | Vehicle rear side warning device, vehicle rear side warning method, and other vehicle distance detection device | |
| JP6908439B2 (en) | Road marking device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6459226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |