JP5083254B2 - Parking result display system - Google Patents

Parking result display system Download PDF

Info

Publication number
JP5083254B2
JP5083254B2 JP2009066503A JP2009066503A JP5083254B2 JP 5083254 B2 JP5083254 B2 JP 5083254B2 JP 2009066503 A JP2009066503 A JP 2009066503A JP 2009066503 A JP2009066503 A JP 2009066503A JP 5083254 B2 JP5083254 B2 JP 5083254B2
Authority
JP
Japan
Prior art keywords
parking
frame
vehicle
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009066503A
Other languages
Japanese (ja)
Other versions
JP2010215170A (en
Inventor
耕司 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009066503A priority Critical patent/JP5083254B2/en
Publication of JP2010215170A publication Critical patent/JP2010215170A/en
Application granted granted Critical
Publication of JP5083254B2 publication Critical patent/JP5083254B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、駐車場に設けられた駐車枠に対する車両の駐車結果を表示する駐車結果表示システムに関する。   The present invention relates to a parking result display system for displaying a parking result of a vehicle with respect to a parking frame provided in a parking lot.

従来、この種の技術として、例えば特許文献１に記載の技術が知られている。この文献に記載の技術では、車両に搭載された複数の撮像装置によって車両後方の画像を取得し、その取得した画像を鳥瞰画像に変換し、駐車場に設けられた駐車枠を表示している。   Conventionally, as this type of technology, for example, the technology described in Patent Document 1 is known. In the technique described in this document, an image behind the vehicle is acquired by a plurality of imaging devices mounted on the vehicle, the acquired image is converted into a bird's-eye view image, and a parking frame provided in the parking lot is displayed. .

また、従来、例えば特許文献２に記載の技術も知られている。この特許文献２に記載の技術では、車両に搭載された１台の撮像装置によって車両後方の画像を演算タイミングごとに取得し、その取得した画像を鳥瞰画像に変換する。そして、ハンドル角信号、車速信号、ヨーレート信号等のセンサ出力値に基づいて、車両の動き（車両の回転中心位置及び回転角等）を算出し、この車両の動きに基づいて、演算タイミングごとに取得される複数の鳥瞰画像を合成する。そして、駐車場に設けられた駐車枠を表示している。   Conventionally, for example, a technique described in Patent Document 2 is also known. In the technique described in Patent Document 2, an image behind the vehicle is acquired at each calculation timing by a single imaging device mounted on the vehicle, and the acquired image is converted into a bird's-eye view image. Then, based on sensor output values such as a steering wheel angle signal, a vehicle speed signal, a yaw rate signal, etc., the vehicle movement (vehicle rotation center position, rotation angle, etc.) is calculated. A plurality of bird's-eye images acquired are synthesized. And the parking frame provided in the parking lot is displayed.

特開２００３−２８１５０５号公報JP 2003-281505 A 特開２００７−１０２７９８号公報JP 2007-102798 A

上記特許文献１に記載の技術では、車両の後方を撮像するための撮像装置、車両の左方を撮像するための撮像装置、及び車両の右方を撮像するための撮像装置の最低３台の撮像装置を車両に搭載する必要がある。そのため、コスト面で不利になってしまう。   In the technique described in Patent Document 1, at least three imaging devices for imaging the rear of the vehicle, an imaging device for imaging the left side of the vehicle, and an imaging device for imaging the right side of the vehicle are provided. It is necessary to mount the imaging device on the vehicle. This is disadvantageous in terms of cost.

また、上記特許文献２に記載の技術では、演算タイミングごとに取得する鳥瞰画像を合成するため、最低１台の撮像装置を車両に搭載すれば済むものの、車速センサやヨーレートセンサ等のセンサ出力値に基づいて鳥瞰画像を合成するため、これらセンサが搭載されていなければ、そもそも実現することができない。   In addition, in the technique described in Patent Document 2, a bird's-eye image acquired at each calculation timing is synthesized, and at least one imaging device may be mounted on the vehicle. However, sensor output values such as a vehicle speed sensor and a yaw rate sensor are required. Since the bird's-eye view image is synthesized based on the above, if these sensors are not mounted, it cannot be realized in the first place.

本発明は、上記実情に鑑みてなされたものであって、その目的は、合計２台の撮像装置を使用して、駐車結果を表示することのできる駐車結果表示システムを提供することにある。   This invention is made | formed in view of the said situation, The objective is to provide the parking result display system which can display a parking result using a total of two imaging devices.

こうした目的を達成するため、請求項１に記載の発明は、車両に搭載される撮像装置によって撮像される画像に基づいて、駐車場に設けられるとともに１台の車両に対して少なくとも２本の枠線からなる駐車枠に対する車両の駐車状態である駐車結果を表示する駐車結果表示システムであって、前記２本の枠線を含む車両の後方の画像である後方画像を取得する後方撮像装置と、前記２本の枠線のうちいずれか一方を含む車両の一側方の画像である側方画像を取得する側方撮像装置と、前記後方画像に基づいて、前記２本の枠線間の距離である駐車枠幅を算出する駐車枠幅算出部と、前記側方画像に基づいて、前記２本の枠線のうち側方撮像装置によって撮像される枠線から車体側面までの距離及びその枠線に対する車体側面の平行度を算出する駐車枠位置算出部と、前記駐車枠幅、前記距離、及び前記平行度に基づいて、車両の駐車状態を示すイラストを作成するイラスト作成部と、前記イラスト作成部によって作成されたイラストを表示する表示部とを備えることを特徴とする。   In order to achieve such an object, the invention according to claim 1 is provided in a parking lot based on an image captured by an imaging device mounted on a vehicle and includes at least two frames for one vehicle. A parking result display system for displaying a parking result of a vehicle being parked with respect to a parking frame made of a line, and a rear imaging device that acquires a rear image that is an image behind the vehicle including the two frame lines; A side imaging device that acquires a side image that is an image of one side of the vehicle including one of the two frame lines, and a distance between the two frame lines based on the rear image A parking frame width calculation unit that calculates a parking frame width, and a distance from the frame line to the side of the vehicle body that is imaged by the side imaging device of the two frame lines and the frame based on the side image Calculates the parallelism of the side of the car body A parking frame position calculation unit, an illustration creation unit for creating an illustration showing a parking state of the vehicle based on the parking frame width, the distance, and the parallelism, and an illustration created by the illustration creation unit And a display unit to be provided.

駐車結果表示システムとしての上記構成では、イラスト作成部は、駐車枠を構成する２本の枠線のうち側方撮像装置によって撮像される枠線を作成し、駐車枠幅算出部によって算出された駐車枠幅に基づいて、駐車枠を構成する２本の枠線のうち他方の枠線を作成する。駐車枠を作成すると、イラスト作成部は、駐車枠位置算出部によって算出された距離及び平行度に基づいて、作作成済みの駐車枠に対し車両のイラストを作成する。そして、その作成されたイラストが表示部に表示される。このようにして、後方撮像装置及び側方撮像装置の合計２台の撮像装置を使用して、駐車結果を表示することができるようになる。   In the above configuration as the parking result display system, the illustration creation unit creates a frame line imaged by the side imaging device among the two frame lines constituting the parking frame, and is calculated by the parking frame width calculation unit. Based on the parking frame width, the other one of the two frame lines constituting the parking frame is created. When the parking frame is created, the illustration creation unit creates an illustration of the vehicle with respect to the created parking frame based on the distance and parallelism calculated by the parking frame position calculation unit. Then, the created illustration is displayed on the display unit. In this manner, the parking result can be displayed using a total of two imaging devices, the rear imaging device and the side imaging device.

上記請求項１に記載の構成において、請求項２に記載の発明では、車両を後退させる旨を示す後退位置にシフト位置が設定されることに基づいて、前記後方画像を取得するとともに前記駐車枠幅を算出し、車両を駐車させる旨を示す駐車位置にシフト位置が設定されることに基づいて、前記側方画像を取得するとともに前記距離及び前記平行度を算出し、これら駐車枠幅、距離及び平行度に基づいて、イラストを作成するとともに表示することとした。   In the configuration according to claim 1, in the invention according to claim 2, the rear image is acquired and the parking frame is set based on a shift position being set at a reverse position indicating that the vehicle is to be moved backward. Based on the fact that the width is calculated and the shift position is set to the parking position indicating that the vehicle is parked, the side image is acquired and the distance and the parallelism are calculated. Based on the parallelism, an illustration was created and displayed.

駐車結果表示システムとしてのこのような構成では、イラスト作成部は、後方画像及び側方画像を同時に画像処理するのではなく、シフト位置の設定位置に基づき画像処理を行なう対象画像を切り換えることができるようになる。そのため、画像処理の負荷を低減することができるようになり、ひいては、イラスト作成部に高い処理能力が要求されなくなるため、コスト面で有利とすることができるようになる。   In such a configuration as the parking result display system, the illustration creation unit can switch the target image to be subjected to image processing based on the set position of the shift position, instead of simultaneously processing the rear image and the side image. It becomes like this. For this reason, it is possible to reduce the load of image processing, and as a result, high processing capability is not required for the illustration creating unit, which can be advantageous in terms of cost.

上記請求項２に記載の構成において、請求項３に記載の発明のように、シフト位置が後退位置に設定されて以後に前進位置または中立位置に設定された時点を起点とする経過時間を計時する計時部をさらに備え、前記駐車枠幅算出部は、前記経過時間が判定時間を経過する前にシフト位置が後退位置に設定されることに基づいて、前記後方画像を再度取得し、再度取得した後方画像に基づいて駐車枠幅を算出することとしてもよい。駐車結果表示システムとしてのこのような構成によれば、ユーザが車両を切り返して駐車枠に駐車する場合でも、その駐車結果をイラストにて表示することができるようになる。   In the configuration described in claim 2, as in the invention described in claim 3, the elapsed time starting from the time when the shift position is set to the reverse position and then set to the forward position or the neutral position is counted. And the parking frame width calculation unit acquires the rear image again based on the fact that the shift position is set to the reverse position before the elapsed time has passed the determination time, and acquires the rear image again. The parking frame width may be calculated based on the rear image. According to such a configuration as the parking result display system, even when the user turns over the vehicle and parks in the parking frame, the parking result can be displayed as an illustration.

上記請求項１〜３のいずれか一項に記載の構成において、請求項４に記載の発明のように、車両の周囲に位置する障害物までの距離である障害物距離を検出する超音波センサをさらに備え、前記駐車枠位置算出部は、前記側方撮像装置によって撮像された側方画像のうち前記障害物距離以内の部分を使用して、前記距離及び前記平行度を算出してもよい。これにより、駐車枠位置算出部にかかる画像処理負荷をより低減することができるようになるため、より高速に距離及び平行度を算出することができるようになる。   In the configuration according to any one of claims 1 to 3, as in the invention according to claim 4, an ultrasonic sensor that detects an obstacle distance that is a distance to an obstacle located around the vehicle. The parking frame position calculation unit may calculate the distance and the parallelism using a portion within the obstacle distance in the side image captured by the side imaging device. . As a result, the image processing load applied to the parking frame position calculation unit can be further reduced, so that the distance and the parallelism can be calculated at a higher speed.

なお、後方撮像装置による後方画像の撮像状態あるいは側方撮像装置による側方画像の撮像状態によっては、駐車枠幅、あるいは、距離及び平行度を算出することができない場合もある。その場合、請求項５に記載の発明のように、前記駐車枠幅算出部によって前記駐車枠幅が算出できないことに基づいて、その旨を表示部に表示したり、請求項６に記載の発明のように、前記駐車枠位置算出部によって前記距離及び前記平行度を算出できないことに基づいて、その旨を表示部に表示したりするのが望ましい。   The parking frame width or the distance and the parallelism may not be calculated depending on the rear image capturing state by the rear image capturing device or the side image capturing state by the side image capturing device. In that case, as in the invention described in claim 5, based on the fact that the parking frame width cannot be calculated by the parking frame width calculator, the fact is displayed on the display unit, or the invention described in claim 6. As described above, based on the fact that the distance and the parallelism cannot be calculated by the parking frame position calculation unit, it is desirable to display that fact on the display unit.

本発明に係る駐車結果表示システムの一実施の形態について、その構成を示すブロック図である。It is a block diagram which shows the structure about one Embodiment of the parking result display system which concerns on this invention. 本実施の形態を構成する後方カメラによって取得される後方画像の一例を示す図である。It is a figure which shows an example of the back image acquired by the back camera which comprises this Embodiment. 本実施の形態を構成するサイドカメラによって取得される側方画像の一例を示す図である。It is a figure which shows an example of the side image acquired by the side camera which comprises this Embodiment. 本実施の形態を構成するサイドカメラによって取得される側方画像の一例を示す図である。It is a figure which shows an example of the side image acquired by the side camera which comprises this Embodiment. 本実施の形態によってイラストにて表示される表示結果の一例を示す図である。It is a figure which shows an example of the display result displayed with an illustration by this Embodiment. 本実施の形態によって実行される駐車結果表示処理について、その処理手順を示すフローチャートである。It is a flowchart which shows the process sequence about the parking result display process performed by this Embodiment. 図６に示す駐車結果表示処理中に実行される駐車枠幅算出処理について、その詳しい処理手順を示すフローチャートである。It is a flowchart which shows the detailed process sequence about the parking frame width calculation process performed during the parking result display process shown in FIG. 図６に示す駐車結果表示処理中に実行される駐車枠位置算出処理について、その詳しい処理手順を示すフローチャートである。It is a flowchart which shows the detailed process sequence about the parking frame position calculation process performed during the parking result display process shown in FIG.

以下、本発明に係る駐車結果表示システムの一実施の形態について、図１〜図８を参照して説明する。なお、図１は、駐車結果表示システム１の構成を示すブロック図である。   Hereinafter, an embodiment of a parking result display system according to the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the parking result display system 1.

この図１に示されるように、駐車結果表示システム１は、図示しない車両に搭載されており、後方カメラ１０、サイドカメラ２０、シフト位置センサ３０、表示部４０、及び判断制御装置５０を備えている。   As shown in FIG. 1, the parking result display system 1 is mounted on a vehicle (not shown) and includes a rear camera 10, a side camera 20, a shift position sensor 30, a display unit 40, and a determination control device 50. Yes.

後方カメラ１０は、例えばＣＣＤカメラ等の公知の撮像装置１台によって構成されており、車両の後退側の適宜の箇所に取り付けられ、判断制御装置５０に接続されている。そして、後方カメラ１０は、車両の後方の画像である後方画像を取得し、その取得した後方画像を判断制御装置５０に出力する。   The rear camera 10 is composed of a known imaging device such as a CCD camera, for example, and is attached to an appropriate location on the reverse side of the vehicle and connected to the determination control device 50. Then, the rear camera 10 acquires a rear image that is an image behind the vehicle, and outputs the acquired rear image to the determination control device 50.

後方画像Ｐ１の一例を図２に示す。この図２に示されるように、駐車場に設けられる車両１台分の駐車枠は、車両の後輪が接触する駐車ブロック２個と２本１組の枠線２組によって区画形成されている。そして、後方画像Ｐ１には、当該システム１が搭載される車両が駐車しようとする駐車枠を形成する駐車ブロック２個と２組の枠線が含まれている。ちなみに、後方カメラ１０が特許請求の範囲に記載の後方撮像装置に相当する。   An example of the rear image P1 is shown in FIG. As shown in FIG. 2, the parking frame for one vehicle provided in the parking lot is partitioned and formed by two parking blocks in contact with the rear wheels of the vehicle and two sets of two frame lines. . The rear image P1 includes two parking blocks and two sets of frame lines that form a parking frame on which the vehicle on which the system 1 is mounted is to be parked. Incidentally, the rear camera 10 corresponds to the rear imaging device described in the claims.

サイドカメラ２０は、例えばＣＣＤカメラ等の公知の撮像装置１台によって構成されており、例えば助手席側の車両ドアのドアミラー等に取り付けられ、判断制御装置５０に接続されている。そして、サイドカメラ２０は、車両の一側方の側方画像を取得し、その取得した側方画像を判断制御装置５０に出力する。サイドカメラ２０は、この側方画像に、車両側面の下部が含まれるように撮像範囲が設定されている。なお、本実施の形態では、サイドカメラ２０は、助手席側の車両ドアのドアミラーに取付けられていたが、これに限らない。運転席側の車両ドアのドアミラーに取付けられていてもよく、車両の一側方の側方画像が得られれば、サイドカメラ２０の取付位置は任意である。   The side camera 20 is configured by a known imaging device such as a CCD camera, for example, and is attached to, for example, a door mirror of a vehicle door on the passenger seat side and connected to the determination control device 50. Then, the side camera 20 acquires a side image on one side of the vehicle, and outputs the acquired side image to the determination control device 50. The imaging range of the side camera 20 is set so that the side image includes the lower part of the side surface of the vehicle. In the present embodiment, the side camera 20 is attached to the door mirror of the vehicle door on the passenger seat side, but is not limited thereto. It may be attached to the door mirror of the vehicle door on the driver's seat side, and the side camera 20 can be attached at any position as long as a side image on one side of the vehicle is obtained.

サイドカメラ２０によって取得される側方画像の一例を図３及び図４に示す。図３は、当該システム１を搭載する車両が駐車枠内に駐車される途中過程において取得される側方画像Ｐ２であり、図４は、車両が駐車枠内に駐車された状態において取得される側方画像Ｐ３である。これら図３及び図４に示されるように、側方画像Ｐ２及びＰ３には、当該システム１が搭載される車両が駐車しようとする駐車枠を区画形成する１組の枠線が少なくとも含まれている。ちなみに、サイドカメラ２０が特許請求の範囲に記載の側方撮像装置に相当する。   An example of a side image acquired by the side camera 20 is shown in FIGS. FIG. 3 is a side image P2 acquired in the course of parking the vehicle on which the system 1 is mounted in the parking frame, and FIG. 4 is acquired in a state where the vehicle is parked in the parking frame. It is a side image P3. As shown in FIGS. 3 and 4, the side images P2 and P3 include at least one set of frame lines that define a parking frame on which the vehicle on which the system 1 is mounted is to be parked. Yes. Incidentally, the side camera 20 corresponds to the side imaging device described in the claims.

シフト位置センサ３０は、図示しない車両のシフト位置を検出し、その検出したシフト位置に対応する信号を判断制御装置５０へ出力する。なお、シフト位置には、パーキング位置（駐車位置）、リバース位置（後退位置）、ニュートラル位置（中立位置）、及びドライブ位置（前進位置）があり、シフト位置がパーキング位置にあるときはパーキング信号Ｐを、リバース位置にあるときはリバース信号Ｒを、ニュートラル位置にあるときはニュートラル信号Ｎを、ドライブ位置にあるときはドライブ信号Ｄを、判断制御装置５０に対しそれぞれ出力する。   Shift position sensor 30 detects a shift position of a vehicle (not shown) and outputs a signal corresponding to the detected shift position to determination control device 50. The shift position includes a parking position (parking position), a reverse position (reverse position), a neutral position (neutral position), and a drive position (forward position). When the shift position is at the parking position, the parking signal P , The reverse signal R is output to the determination control device 50, the neutral signal N is output to the neutral position, and the drive signal D is output to the determination position.

表示部４０は、例えばＬＣＤ等の公知の表示装置によって構成されているとともに、車室内の適宜の箇所に取り付けられ、判断制御装置５０に接続されている。そして、表示部４０は、判断制御装置５０によって作成されるイラストを表示する。表示部４０に表示されるイラストＩ１の一例を図５に示す。この図５に示されるように、駐車枠に対する車両Ｃの駐車状態である駐車結果が車両Ｃの上方から描いたイラストにて表示部４０に表示される。なお、ユーザはこのイラストを見ることで、車両と駐車枠との位置関係を把握することができる。ちなみに、図２〜図４に示される画像Ｐ１〜Ｐ３では、駐車枠は、駐車ブロックと２本１組の枠線２組によって区画形成されているが、図５に示されるイラストＩ１では、駐車枠は、枠線２本によって区画形成されている。   The display unit 40 is configured by a known display device such as an LCD, for example, and is attached to an appropriate location in the vehicle cabin and connected to the determination control device 50. Then, the display unit 40 displays an illustration created by the determination control device 50. An example of the illustration I1 displayed on the display unit 40 is shown in FIG. As shown in FIG. 5, the parking result indicating the parking state of the vehicle C with respect to the parking frame is displayed on the display unit 40 as an illustration drawn from above the vehicle C. In addition, the user can grasp | ascertain the positional relationship of a vehicle and a parking frame by seeing this illustration. Incidentally, in the images P1 to P3 shown in FIG. 2 to FIG. 4, the parking frame is defined by a parking block and two sets of two frame lines, but in the illustration I1 shown in FIG. The frame is partitioned by two frame lines.

判断制御装置５０は、公知のＣＰＵ及び例えばフラッシュメモリ等の内蔵メモリ（いずれも図示略）を有して構成される公知のコンピュータであり、後方カメラ１０、サイドカメラ２０、シフト位置センサ３０、及び表示部４０に接続されている。そして、判断制御装置５０は、内蔵メモリに記憶されているプログラムを実行することによって、各種機能を実現している。以下では、判断制御装置５０は、駐車枠幅算出部５１、駐車枠位置算出部５２、及びイラスト作成部５３を有するものとして説明する。   The determination control device 50 is a known computer having a known CPU and a built-in memory (not shown) such as a flash memory, and includes a rear camera 10, a side camera 20, a shift position sensor 30, and It is connected to the display unit 40. And the judgment control apparatus 50 implement | achieves various functions by running the program memorize | stored in the internal memory. Hereinafter, the determination control device 50 will be described as having a parking frame width calculation unit 51, a parking frame position calculation unit 52, and an illustration creation unit 53.

駐車枠幅算出部５１は、後方カメラ１０によって取得される後方画像に基づいて、「駐車枠幅」を算出する。「駐車枠幅」とは、車両の駐車領域を挟んで対向する２本の枠線間の距離である。したがって、後方画像Ｐ１のように、２本の枠線によって互いに隣接する駐車領域が区切られている場合には、車両Ｃが駐車枠内に駐車された状態において車両Ｃにより近い側（内側）の２本の枠線間の距離である。なお、この「２本の枠線」が特許請求の範囲の駐車枠幅算出部における「２本の枠線」に相当する。また、具体的な駐車枠幅の算出方法については、図７を参照して後述する。   The parking frame width calculation unit 51 calculates the “parking frame width” based on the rear image acquired by the rear camera 10. The “parking frame width” is a distance between two frame lines facing each other across the parking area of the vehicle. Therefore, when the parking areas adjacent to each other are divided by two frame lines as in the rear image P1, the side closer to the vehicle C (inside) when the vehicle C is parked in the parking frame. This is the distance between the two frame lines. The “two frame lines” correspond to “two frame lines” in the parking frame width calculation unit in the claims. Further, a specific method for calculating the parking frame width will be described later with reference to FIG.

駐車枠位置算出部５２は、サイドカメラ２０によって取得される側方画像に基づいて、車両Ｃの車体側面から枠線までの距離である枠線距離を算出するとともに、その枠線距離を用いて、枠線に対する車体側面の平行度を算出する。枠線距離として算出対象とする「枠線」とは、サイドカメラ２０が取り付けられている側の枠線であり、後方画像Ｐ１に示されているように、隣接する駐車領域が２本の枠線によって区切られている場合には、車両Ｃにより近い側（内側）の１本の枠線である。そして、「枠線距離」とは、車両Ｃが駐車枠内に駐車された状態において、車両Ｃの前輪が位置する部分の車体側面から「枠線」までの第１最短距離、及び、車両Ｃの後輪が位置する部分の車体側面から「枠線」までの第２最短距離である。また、「平行度」とは、車両Ｃの上方から見た「枠線」に対する車体側面の傾き度合であり、第１最短距離及び第２最短距離に基づいて算出される。なお、駐車枠位置算出部５２が特許請求の範囲に記載の駐車枠位置算出部に相当し、この「第１最短距離」及び「第２最短距離」が特許請求の範囲に記載の「距離」に相当し、「平行度」が特許請求の範囲に記載の「平行度」に相当する。また、駐車枠位置とは、これら「距離」及び「平行度」を意味し、具体的な駐車枠位置の算出方法については、図８を参照して後述する。   The parking frame position calculation unit 52 calculates a frame line distance that is a distance from the vehicle body side surface of the vehicle C to the frame line based on the side image acquired by the side camera 20, and uses the frame line distance. The parallelism of the side surface of the vehicle body with respect to the frame line is calculated. The “frame line” to be calculated as the frame line distance is the frame line on the side where the side camera 20 is attached, and as shown in the rear image P1, the adjacent parking area has two frames. In the case of being separated by a line, it is one frame line closer to the vehicle C (inner side). The “frame line distance” refers to the first shortest distance from the side of the vehicle body where the front wheels of the vehicle C are located to the “frame line” in the state where the vehicle C is parked in the parking frame, and the vehicle C This is the second shortest distance from the side of the vehicle body where the rear wheel is located to the “frame line”. The “parallelism” is the degree of inclination of the vehicle body side with respect to the “frame line” viewed from above the vehicle C, and is calculated based on the first shortest distance and the second shortest distance. The parking frame position calculation unit 52 corresponds to the parking frame position calculation unit described in the claims, and the “first shortest distance” and the “second shortest distance” are “distance” described in the claims. “Parallelity” corresponds to “Parallelity” recited in the claims. The parking frame position means these “distance” and “parallelism”, and a specific method for calculating the parking frame position will be described later with reference to FIG.

イラスト作成部５３は、駐車枠幅算出部５１によって算出された駐車枠幅及び駐車枠位置算出部５２によって算出された枠線距離及び平行度に基づいて、車両の駐車状態を示すイラストを作成する。詳しくは、イラスト作成部５３は、まず、駐車枠を構成する２本の枠線のうちサイドカメラ２０が取り付けられている側の枠線を作成する。その枠線を作成すると、イラスト作成部５３は、その作成した枠線及び駐車枠幅算出部５１によって算出された駐車枠幅を用いて、駐車枠を構成する２本の枠線のうちサイドカメラ２０が取り付けられていない側の枠線を作成する。なお、イラスト作成部５３によって作成されるイラストでは、駐車ブロックは割愛されている。そして、サイドカメラ２０が取り付けられている側の枠線及びサイドカメラ２０が取付けられていない側の枠線が駐車枠幅をもって対向するように作成すると、イラスト作成部５３は、駐車枠位置算出部５２によって算出された枠線距離及び平行度を用いて、その作成済みの駐車枠に対し車両Ｃのイラストを作成する。また、イラスト作成部５３が特許請求の範囲に記載のイラスト作成部に相当する。   The illustration creation unit 53 creates an illustration indicating the parking state of the vehicle based on the parking frame width calculated by the parking frame width calculation unit 51 and the frame distance and parallelism calculated by the parking frame position calculation unit 52. . Specifically, the illustration creation unit 53 first creates a frame line on the side where the side camera 20 is attached, out of the two frame lines constituting the parking frame. When the frame line is created, the illustration creating unit 53 uses the created frame line and the parking frame width calculated by the parking frame width calculating unit 51 to use the side camera of the two frame lines constituting the parking frame. A frame line on the side where 20 is not attached is created. In the illustration created by the illustration creation unit 53, the parking block is omitted. When the frame line on the side to which the side camera 20 is attached and the frame line on the side to which the side camera 20 is not attached are created so as to face each other with a parking frame width, the illustration creation unit 53 generates a parking frame position calculation unit. Using the frame distance and parallelism calculated by 52, an illustration of the vehicle C is created for the created parking frame. The illustration creation unit 53 corresponds to the illustration creation unit described in the claims.

以上のように構成された駐車結果表示システム１によって実行される駐車結果表示処理について図６〜図８を併せ参照して説明する。なお、判断制御装置５０には、後方カメラ１０から後方画像が入力され、サイドカメラ２０から側方画像が入力される。これら後方画像及び側方画像を同時に画像処理しようとすると、処理負荷が高くなることに起因して、判断制御装置５０を構成するＣＰＵには高い処理能力が要求される。そして、ひいては、コスト面で不利になる可能性がある。そのため、本実施の形態では、シフト位置センサ３０によって検出されるシフト位置の設定位置に基づいて、後方画像に対する画像処理及び側方画像に対する画像処理を切り換えている。   Parking result display processing executed by the parking result display system 1 configured as described above will be described with reference to FIGS. Note that the determination control device 50 receives a rear image from the rear camera 10 and a side image from the side camera 20. If an attempt is made to perform image processing on the rear image and the side image at the same time, a high processing capability is required for the CPU constituting the determination control device 50 due to an increase in processing load. As a result, it may be disadvantageous in terms of cost. Therefore, in the present embodiment, the image processing for the rear image and the image processing for the side image are switched based on the set position of the shift position detected by the shift position sensor 30.

判断制御装置５０は、シフト位置がリバース位置に設定されると、駐車結果表示処理Ｓ１を実行開始し、この駐車結果表示処理Ｓ１を実行開始すると、判断制御装置５０は、まず、ステップＳ１０の処理として、駐車枠幅算出処理を実行する。   When the shift position is set to the reverse position, the determination control device 50 starts executing the parking result display process S1. When the execution of the parking result display process S1 is started, the determination control apparatus 50 first performs the process of step S10. As described above, a parking frame width calculation process is executed.

この駐車枠幅算出処理では、いわゆるハフ変換を用いる投票に基づく直線検出を行なう。具体的には、図７に示すように、判断制御装置５０は、まず、ステップＳ１０１の処理として、後方カメラ１０から入力される後方画像を２値画像に変換する。詳しくは、判断制御装置５０は、後方画像を構成する画素のうち輝度が所定輝度以下である画素を抽出し、その画素の輝度を最も暗い輝度に置換する一方、後方画像を構成する画素のうち輝度が所定輝度を上回る画素を抽出し、その画素の輝度を最も明るい輝度に置換する。   In this parking frame width calculation process, straight line detection based on voting using so-called Hough transform is performed. Specifically, as illustrated in FIG. 7, the determination control device 50 first converts the rear image input from the rear camera 10 into a binary image as the process of step S <b> 101. Specifically, the determination control device 50 extracts a pixel whose luminance is equal to or lower than a predetermined luminance from among pixels constituting the rear image, and replaces the luminance of the pixel with the darkest luminance, while out of the pixels constituting the rear image. A pixel whose luminance exceeds a predetermined luminance is extracted, and the luminance of the pixel is replaced with the brightest luminance.

後方画像を２値画像に変換すると、判断制御装置５０は、続くステップＳ１０２の処理として、その２値画像に対し公知のハフ変換を行なうことで、２値画像に含まれる直線を検出する。ただし、このステップＳ１０２の処理においては、駐車枠を構成する枠線が直線として検出されることはもちろんのこと、駐車ブロックが直線として検出されたり、車両の陰が直線として検出されたりすることもある。   When the rear image is converted into a binary image, the determination control device 50 detects a straight line included in the binary image by performing a known Hough transform on the binary image as the processing of the subsequent step S102. However, in the process of step S102, the frame lines constituting the parking frame are detected as straight lines, the parking blocks are detected as straight lines, and the shade of the vehicle is detected as straight lines. is there.

２値画像から直線を検出すると、判断制御装置５０は、続くステップＳ１０３の処理として、その直線の投票数に基づいて枠線の候補を抽出する。詳しくは、上記ステップＳ１０２の処理では、枠線、駐車ブロック、及び車両の陰が直線として検出され、区別が付かないようにも思われる。しかしながら、駐車ブロックや車両の陰は枠線と比較して短いことから、直線として検出された枠線の投票数は多くなり、直線として検出された駐車ブロックや車両の陰の投票数は少なくなる。そのため、判断制御装置５０は、判定投票数を予め定めておき、その判定投票数以下である直線を「枠線の候補」から除外するとともに、その判定投票数を上回る直線を「枠線の候補」として抽出する。   When a straight line is detected from the binary image, the determination control device 50 extracts frame line candidates based on the number of votes of the straight line in the subsequent process of step S103. Specifically, in the process of step S102, it seems that the frame line, the parking block, and the shadow of the vehicle are detected as straight lines and cannot be distinguished. However, since the shadow of the parking block or vehicle is shorter than the frame line, the number of votes of the frame line detected as a straight line increases, and the number of votes of the parking block or vehicle detected as a straight line decreases. . Therefore, the determination control device 50 determines the number of determination votes in advance, excludes a straight line that is equal to or less than the determination vote number from the “frame line candidates”, and determines a straight line that exceeds the determination vote number as a “frame line candidate”. ".

「枠線の候補」を抽出すると、判断制御装置５０は、続くステップＳ１０４の処理として、枠線の候補間の最短距離である駐車枠幅を算出する。詳しくは、ステップＳ１０１〜Ｓ１０４の処理においては、後方画像は内部的に鳥瞰画像に変換されている。この鳥瞰画像は、後方画像の各画素を周知の座標変換式を用いて鳥瞰座標系に変換した画像であり、後方カメラ１０の設置高さから定まる鳥瞰視点からの画像である。したがって、鳥瞰画像中の距離は実際の距離とは対応関係を有する。そのため、枠線の候補間の画素数を算出することで、駐車枠幅を算出することが可能である。   When the “frame line candidate” is extracted, the determination control device 50 calculates the parking frame width that is the shortest distance between the frame line candidates as the process of the subsequent step S104. Specifically, in the processes of steps S101 to S104, the rear image is internally converted into a bird's-eye view image. This bird's-eye view image is an image obtained by converting each pixel of the rear image into a bird's-eye coordinate system using a known coordinate conversion formula, and is an image from a bird's-eye viewpoint determined from the installation height of the rear camera 10. Therefore, the distance in the bird's-eye view image has a correspondence relationship with the actual distance. Therefore, it is possible to calculate the parking frame width by calculating the number of pixels between frame line candidates.

こうして駐車枠幅算出処理を実行すると、判断制御装置５０は、続くステップＳ２０の判断処理として、シフト位置がリバース位置に設定されているか否かを判定する。シフト位置がリバース位置に設定されている場合（ステップＳ２０の判断処理で「Ｙｅｓ」）、判断制御装置５０は、先の駐車枠幅算出処理Ｓ１０を継続して実行する一方、シフト位置がリバース位置から切り換えられた場合（ステップＳ２０の判断処理で「Ｎｏ」）、判断制御装置５０は、続くステップＳ３０の判断処理に移行する。なお、ステップＳ２０の判断処理で「Ｙｅｓ」となる場合には、駐車枠幅算出処理Ｓ１０を継続することから、駐車枠幅は、車両Ｃの駐車位置が確定する直前まで更新されることになる。また、ステップＳ１０の駐車枠幅算出処理は、車両Ｃの一部が駐車枠内に入ったことを（後方画像から）検出できた後に初めて行なってもよい。   When the parking frame width calculation processing is thus executed, the determination control device 50 determines whether or not the shift position is set to the reverse position as the determination processing in the subsequent step S20. When the shift position is set to the reverse position (“Yes” in the determination process of step S20), the determination control device 50 continues to execute the previous parking frame width calculation process S10, while the shift position is the reverse position. Is switched (“No” in the determination process of step S20), the determination control device 50 proceeds to the subsequent determination process of step S30. In addition, when it becomes "Yes" by the judgment process of step S20, since parking frame width calculation process S10 is continued, a parking frame width will be updated until just before the parking position of the vehicle C is decided. . In addition, the parking frame width calculation process in step S10 may be performed for the first time after it is detected (from the rear image) that a part of the vehicle C has entered the parking frame.

ステップＳ３０の判断処理では、シフト位置がニュートラル位置あるいはドライブ位置に設定されている（切り換えられた）か否かを判断する。ここで、シフト位置がニュートラル位置あるいはドライブ位置に設定されていると判断される場合（ステップＳ３０の判断処理で「Ｙｅｓ」）、ユーザは車両Ｃを駐車枠内に駐車することを中断した、あるいは、切り返して車両Ｃを駐車枠内に駐車しようとしていることを意味する。そこで、判断制御装置５０は、続くステップＳ４０の判断処理として、シフト位置がニュートラル位置あるいはドライブ位置に切り換えられた時点を起点とする経過時間を計時し、その経過時間が判定時間を経過するか否かを判断するとともに、続くステップＳ５０の判断処理として、シフト位置が後退位置に再設定されるか否かを判断する。なお、判断制御装置５０が特許請求の範囲に記載の計時部に相当する。   In the determination process of step S30, it is determined whether or not the shift position is set to the neutral position or the drive position (switched). Here, when it is determined that the shift position is set to the neutral position or the drive position (“Yes” in the determination process of step S30), the user has stopped parking the vehicle C within the parking frame, or This means that the vehicle C is going to be turned back and parked in the parking frame. Therefore, the determination control device 50 counts the elapsed time starting from the time when the shift position is switched to the neutral position or the drive position as the determination processing in step S40, and whether or not the elapsed time has passed the determination time. In addition, as a determination process in subsequent step S50, it is determined whether or not the shift position is reset to the reverse position. Note that the judgment control device 50 corresponds to a time measuring unit described in the claims.

上記ステップＳ４０の判断処理において、上記経過時間が判定時間を経過した場合（ステップＳ４０の判断処理で「Ｙｅｓ」）、ユーザは車両Ｃを駐車枠内に駐車することを中断したことを意味する。そのため、この駐車結果表示処理Ｓ１自体を一旦終了する。一方、上記ステップＳ４０の判断処理において、上記経過時間が判定時間を経過しておらず、続くステップＳ５０の判断処理において、シフト位置が後退位置に再設定された場合（ステップＳ４０の判断処理で「Ｎｏ」、且つ、ステップＳ５０の判断処理で「Ｙｅｓ」）、ユーザは切り返して車両Ｃを駐車枠内に駐車しようとしていることを意味する。そのため、判断制御装置５０は、上記ステップＳ１０の処理を再度実行する。   In the determination process of step S40, if the elapsed time has passed the determination time ("Yes" in the determination process of step S40), it means that the user has stopped parking the vehicle C within the parking frame. Therefore, this parking result display process S1 itself is once ended. On the other hand, in the determination process of step S40, the elapsed time has not passed the determination time, and in the subsequent determination process of step S50, the shift position is reset to the reverse position (in the determination process of step S40, “ No "and" Yes "in the determination process of step S50) means that the user is turning back and trying to park the vehicle C within the parking frame. Therefore, the judgment control device 50 executes the process of step S10 again.

なお、上記ステップＳ５０の判断処理において、シフト位置が後退位置に設定されていないと判断する場合（ステップＳ５０の判断処理で「Ｎｏ」）、判断制御装置５０は、続くステップＳ６０の判断処理として、シフト位置が駐車位置に設定されているか否かを判断する。ここで、シフト位置が駐車位置に設定されていないと判断される場合（ステップＳ６０の判断処理で「Ｎｏ」）、判断制御装置５０は、上記ステップＳ４０の判断処理〜ステップＳ５０の判断処理を再度実行する。   In the determination process of step S50, when it is determined that the shift position is not set to the reverse position (“No” in the determination process of step S50), the determination control device 50 performs the determination process of subsequent step S60. It is determined whether or not the shift position is set to the parking position. Here, when it is determined that the shift position is not set to the parking position (“No” in the determination process of step S60), the determination control device 50 performs the determination process of step S40 to the determination process of step S50 again. Run.

一方、上記ステップＳ６０の判断処理において、シフト位置が駐車位置に設定されたと判断される場合（ステップＳ６０の判断処理で「Ｙｅｓ」）、あるいは、先のステップＳ３０の判断処理において、シフト位置がニュートラル位置あるいはドライブ位置に設定されていると判断されない場合（ステップＳ３０の判断処理で「Ｎｏ」）、ユーザが切り返して車両Ｃを駐車枠内に駐車した、あるいは、ユーザが切り返さずに車両Ｃを駐車枠内に駐車したことを意味する。そこで、判断制御装置５０は、続くステップＳ７０の判断処理として、先のステップＳ１０の駐車枠幅算出処理を通じて、駐車枠幅が算出済みであるか否かを判断する。   On the other hand, when it is determined in the determination process of step S60 that the shift position is set to the parking position (“Yes” in the determination process of step S60), or in the determination process of the previous step S30, the shift position is neutral. If it is not determined that the position or drive position is set (“No” in the determination process in step S30), the user turns back and parks the vehicle C in the parking frame, or parks the vehicle C without turning back. It means that you parked in the frame. Accordingly, the determination control device 50 determines whether or not the parking frame width has been calculated through the parking frame width calculation process of the previous step S10 as the determination process of step S70.

ここで、駐車枠幅が算出済みであると判断される場合（ステップＳ７０の判断処理で「Ｙｅｓ」）、判断制御装置５０は、続くステップＳ８０の処理として、駐車枠位置算出処理を実行する。   Here, when it is determined that the parking frame width has been calculated (“Yes” in the determination process of step S70), the determination control device 50 executes a parking frame position calculation process as the subsequent process of step S80.

この駐車枠位置算出処理でも、先の駐車枠幅算出処理Ｓ１０と同様に、いわゆるハフ変換を用いる投票に基づく直線検出を行なう。具体的には、図８に示すように、判断制御装置５０は、まず、ステップＳ８０１の処理として、サイドカメラ２０から入力される側方画像を２値画像に変換する。詳しくは、判断制御装置５０は、側方画像を構成する画素のうち輝度が所定輝度以下である画素を抽出し、その画素の輝度を最も暗い輝度に置換する一方、側方画像を構成する画素のうち輝度が所定輝度を上回る画素を抽出し、その画素の輝度を最も明るい輝度に置換する。   Also in this parking frame position calculation process, straight line detection based on voting using so-called Hough transform is performed as in the previous parking frame width calculation process S10. Specifically, as illustrated in FIG. 8, the determination control device 50 first converts the side image input from the side camera 20 into a binary image as a process of step S801. Specifically, the determination control device 50 extracts a pixel whose luminance is equal to or lower than a predetermined luminance from the pixels constituting the side image and replaces the luminance of the pixel with the darkest luminance, while the pixel constituting the side image A pixel whose luminance exceeds a predetermined luminance is extracted, and the luminance of the pixel is replaced with the brightest luminance.

側方画像を２値画像に変換すると、判断制御装置５０は、続くステップＳ８０２の処理として、その２値画像に対し公知のハフ変換を行なうことで、２値画像に含まれる直線を検出する。ただし、このステップＳ８０２の処理においては、駐車枠を構成する枠線が直線として検出されることはもちろんのこと、駐車ブロックが直線として検出されたり、車両の陰が直線として検出されたりすることもある。   When the side image is converted into a binary image, the determination control device 50 detects a straight line included in the binary image by performing a known Hough transform on the binary image as a process of subsequent step S802. However, in the process of step S802, the frame line constituting the parking frame is detected as a straight line, the parking block is detected as a straight line, or the shadow of the vehicle is detected as a straight line. is there.

２値画像から直線を検出すると、判断制御装置５０は、続くステップＳ８０３の処理として、その直線の投票数に基づいて枠線の候補を抽出する。詳しくは、上記ステップＳ８０２の処理では、枠線、駐車ブロック、及び車両の陰が直線として検出され、区別が付かないようにも思われる。しかしながら、駐車ブロックや車両の陰は枠線と比較して短いことから、直線として検出された枠線の投票数は多くなり、直線として検出された駐車ブロックや車両の陰の投票数は少なくなる。そのため、判断制御装置５０は、判定投票数を予め定めておき、その判定投票数以下である直線を「枠線の候補」から除外するとともに、その判定投票数を上回る直線を「枠線の候補」として抽出する。   When a straight line is detected from the binary image, the determination control device 50 extracts frame line candidates based on the number of votes of the straight line in the subsequent step S803. Specifically, in the process of step S802, it seems that the frame line, the parking block, and the shadow of the vehicle are detected as straight lines and cannot be distinguished. However, since the shadow of the parking block or vehicle is shorter than the frame line, the number of votes of the frame line detected as a straight line increases, and the number of votes of the parking block or vehicle detected as a straight line decreases. . Therefore, the determination control device 50 determines the number of determination votes in advance, excludes a straight line that is equal to or less than the determination vote number from the “frame line candidates”, and determines a straight line that exceeds the determination vote number as a “frame line candidate”. ".

「枠線の候補」を抽出すると、判断制御装置５０は、続くステップＳ８０４の処理として、車両Ｃの前輪が位置する部分の車体側面から枠線までの第１最短距離及び車両Ｃの後輪が位置する部分の車体側面から枠線までの第２最短距離を算出し、これら第１最短距離及び第２最短距離を用いて枠線に対する車体の平行度を算出する。なお、ステップＳ８０１〜Ｓ８０４の処理においては、後方画像は内部的に鳥瞰画像に変換されている。そのため、車体の側面から枠線の画素数を算出することで、第1最短距離及び第２最短距離を算出し、ひいては、駐車枠に対する車両の平行度を算出することが可能である。   When the “frame line candidate” is extracted, the determination control device 50 determines whether the first shortest distance from the side surface of the vehicle body where the front wheel of the vehicle C is located to the frame line and the rear wheel of the vehicle C are the same as the process of step S804. A second shortest distance from the side surface of the vehicle body to the frame line is calculated, and the parallelism of the vehicle body with respect to the frame line is calculated using the first shortest distance and the second shortest distance. In the processes in steps S801 to S804, the rear image is internally converted to a bird's-eye view image. Therefore, by calculating the number of pixels of the frame line from the side surface of the vehicle body, it is possible to calculate the first shortest distance and the second shortest distance, and thus the parallelism of the vehicle with respect to the parking frame.

こうして駐車枠位置算出処理を実行すると、判断制御装置５０は、続くステップＳ９０の判断処理として、先のステップＳ８０の駐車枠位置算出処理を通じて、駐車枠位置が算出済みであるか否かを判断する。ここで、駐車枠位置が算出済みであると判断される場合（ステップＳ９０の判断処理で「Ｙｅｓ」）、判断制御装置５０は、続くステップＳ１００の処理として、駐車枠、枠線距離、及び平行度を用いて車両の駐車結果を示すイラストを作成するとともに、続くステップＳ１１０の処理として、その作成したイラストを表示部４０に表示し、駐車結果表示処理Ｓ１を一旦終了する。   When the parking frame position calculation process is thus executed, the determination control device 50 determines whether the parking frame position has been calculated through the parking frame position calculation process of the previous step S80 as the determination process of the subsequent step S90. . Here, when it is determined that the parking frame position has been calculated (“Yes” in the determination process of step S90), the determination control device 50 performs the subsequent process of step S100 as the parking frame, the frame line distance, and the parallel. An illustration showing the parking result of the vehicle is created using the degree, and the created illustration is displayed on the display unit 40 as the processing of the subsequent step S110, and the parking result display processing S1 is once ended.

一方、先のステップＳ７０の判断処理において、駐車枠幅が算出済みでないと判断される場合（ステップＳ７０の判断処理で「Ｎｏ」）、あるいは、先のステップＳ９０の判断処理において、駐車枠位置が算出済みでないと判断される場合（ステップＳ９０の判断処理で「Ｙｅｓ」）、判断制御装置５０は、続くステップＳ１２０の判断処理として、駐車枠幅を算出することができなかった旨、あるいは、駐車枠位置を算出することができなかった旨を示す警告画面を作成する。そして、判断制御装置５０は、続くステップＳ１１０の処理として、その作成した警告が面を表示部４０に表示し、駐車結果表示処理Ｓ１を一旦終了する。   On the other hand, when it is determined that the parking frame width has not been calculated in the determination process of the previous step S70 (“No” in the determination process of step S70), or the parking frame position is determined in the determination process of the previous step S90. When it is determined that it has not been calculated (“Yes” in the determination process of step S90), the determination control device 50 indicates that the parking frame width could not be calculated as the determination process of the subsequent step S120, or parking. Create a warning screen indicating that the frame position could not be calculated. And judgment control device 50 displays the created warning on display part 40 as processing of the following step S110, and ends parking result display processing S1 once.

以上説明した実施の形態では、後方カメラ１０によって取得される後方画像に基づいて、駐車枠幅を算出し、サイドカメラ２０によって取得される側方画像に基づいて、枠線距離及び平行度を算出する。そして、これら駐車枠幅、枠線距離及び平行度に基づいて、車両の駐車状態を示すイラストを作成し、表示部４０に表示することとした。これにより、車速センサやヨーレートセンサ等のセンサ出力値等を用いることなく、後方カメラ１０及びサイドカメラ２０の合計２台の撮像装置を使用して、駐車結果を表示することができるようになる。   In the embodiment described above, the parking frame width is calculated based on the rear image acquired by the rear camera 10, and the frame line distance and the parallelism are calculated based on the side image acquired by the side camera 20. To do. And based on these parking frame width, frame line distance, and parallelism, the illustration which shows the parking state of a vehicle was created, and it was decided to display on the display part 40. FIG. As a result, the parking result can be displayed using a total of two imaging devices including the rear camera 10 and the side camera 20 without using sensor output values such as a vehicle speed sensor and a yaw rate sensor.

また、上記実施の形態では、判断制御装置５０は、シフト位置がリバース位置に設定されることに基づいて、後方カメラ１０によって後方画像を取得し、その取得した後方画像に基づいて駐車枠幅を算出するとともに、シフト位置がパーキング位置に設定されることに基づいて、サイドカメラ２０によって側方画像を取得し、その取得した側方画像に基づいて、枠線距離及び平行度を算出することとした。このように、判断制御装置５０は、後方画像及び側方画像を同時に画像処理するのではなく、シフト位置の設定位置に基づき画像処理を行なう対象画像を切り換えるため、画像処理の負荷を低減することができるようになる。そして、ひいては、判断制御装置５０に高い処理能力が要求されないため、コスト面で有利となる。   Moreover, in the said embodiment, the judgment control apparatus 50 acquires a rear image with the rear camera 10 based on the shift position being set to a reverse position, and sets parking frame width based on the acquired rear image. And calculating a side image by the side camera 20 based on the fact that the shift position is set to the parking position, and calculating a frame distance and parallelism based on the acquired side image. did. In this way, the determination control device 50 does not perform image processing of the rear image and the side image at the same time, but switches the target image to be subjected to image processing based on the set position of the shift position, thereby reducing the load of image processing. Will be able to. As a result, the judgment control device 50 is not required to have a high processing capacity, which is advantageous in terms of cost.

また、上記実施の形態では、判断制御装置５０は、シフト位置がリバース位置に設定された以後にドライブ位置またはニュートラル位置に設定された時点を起点とする経過時間を計時し、その経過時間が判定時間を経過する前にシフト位置がリバース位置に再設定されることに基づいて、後方画像を再度取得し、駐車枠幅を算出することとした。これにより、ユーザが車両Ｃを切り返して駐車枠に駐車する場合であっても、その駐車結果をイラストにて表示することができるようになる。   In the above embodiment, the determination control device 50 measures the elapsed time starting from the time when the shift position is set to the reverse position and then the drive position or the neutral position, and determines the elapsed time. Based on the fact that the shift position is reset to the reverse position before the time has elapsed, the rear image is acquired again and the parking frame width is calculated. Thereby, even when the user turns over the vehicle C and parks in the parking frame, the parking result can be displayed as an illustration.

なお、上記実施の形態では、判断制御装置５０は、シフト位置の設定位置に基づいて
、画像処理を行なう対象画像を後方画像及び側方画像との間で切り換えていたが、この構成に限らず、後方画像及び側方画像を同時に画像処理することの可能な構成としてもよい。具体的には、判断制御装置５０は、まず、後方カメラ１０によって取得される後方画像に基づいて上記「枠線の候補」を抽出し、駐車枠幅を逐次算出する。次に、判断制御装置５０は、上記判定投票数を上回る直線が抽出されないことに基づいて、サイドカメラ２０によって取得される側方画像に基づいて上記「枠線の候補」を抽出し、枠線距離及び平行度を逐次算出する。そして、判断制御装置５０は、シフト位置がパーキング位置に設定されることに基づいて、駐車結果を示すイラストを作成し、表示部４０に表示することとしてもよい。 In the above-described embodiment, the determination control device 50 switches the target image to be subjected to image processing between the rear image and the side image based on the set position of the shift position. The rear image and the side image may be processed simultaneously. Specifically, the determination control device 50 first extracts the “frame line candidates” based on the rear image acquired by the rear camera 10 and sequentially calculates the parking frame width. Next, the determination control device 50 extracts the “frame line candidate” based on the side image acquired by the side camera 20 based on the fact that the straight line exceeding the number of determination votes is not extracted. The distance and parallelism are calculated sequentially. And the judgment control apparatus 50 is good also as creating the illustration which shows a parking result based on that a shift position is set to a parking position, and displaying it on the display part 40. FIG.

また、上記実施の形態では、判断制御装置５０は、サイドカメラ２０によって取得される側方画像全体について画像処理を行なっていたが、これに限らない。他に例えば、車両の周囲に位置する障害物までの距離である障害物距離を検出する超音波センサをさらに備え、判断制御装置５０は、サイドカメラ２０によって取得された側方画像のうち障害物距離以内の部分を画像処理して、枠線距離及び平行度を算出することとしてもよい。これにより、判断制御装置５０に係る画像処理負荷をより低減することができるようになるため、より高速に枠線距離及び平行度を算出することができ、ひいては、駐車結果を示すイラストをより高速に作成することができるようにもなる。   Moreover, in the said embodiment, although the judgment control apparatus 50 performed the image process about the whole side image acquired by the side camera 20, it is not restricted to this. In addition, for example, an ultrasonic sensor that detects an obstacle distance that is a distance to an obstacle located around the vehicle is further provided, and the determination control device 50 includes an obstacle in the side image acquired by the side camera 20. The frame distance and parallelism may be calculated by performing image processing on a portion within the distance. As a result, the image processing load related to the judgment control device 50 can be further reduced, so that the frame line distance and the parallelism can be calculated at a higher speed. Can also be created.

１…駐車結果表示システム、１０…後方カメラ（後方撮像装置）、２０…サイドカメラ（側方撮像装置）、３０…シフト位置センサ、４０…表示部、５０…判断制御装置（計時部）、５１…駐車枠幅算出部、５２…駐車枠位置算出部、５３…イラスト作成部 DESCRIPTION OF SYMBOLS 1 ... Parking result display system, 10 ... Back camera (rear imaging device), 20 ... Side camera (side imaging device), 30 ... Shift position sensor, 40 ... Display part, 50 ... Judgment control apparatus (time measuring part), 51 ... Parking frame width calculation unit, 52 ... Parking frame position calculation unit, 53 ... Illustration creation unit

Claims (6)

車両に搭載される撮像装置によって撮像される画像に基づいて、駐車場に設けられるとともに１台の車両に対して少なくとも２本の枠線からなる駐車枠に対する車両の駐車状態である駐車結果を表示する駐車結果表示システムであって、
前記２本の枠線を含む車両の後方の画像である後方画像を取得する後方撮像装置と、
前記２本の枠線のうちいずれか一方を含む車両の一側方の画像である側方画像を取得する側方撮像装置と、
前記後方画像に基づいて、前記２本の枠線間の距離である駐車枠幅を算出する駐車枠幅算出部と、
前記側方画像に基づいて、前記２本の枠線のうち側方撮像装置によって撮像される枠線から車体側面までの距離及びその枠線に対する車体側面の平行度を算出する駐車枠位置算出部と、
前記駐車枠幅、前記距離、及び前記平行度に基づいて、車両の駐車状態を示すイラストを作成するイラスト作成部と、
前記イラスト作成部によって作成されたイラストを表示する表示部とを備えることを特徴とする駐車結果表示システム。 Based on an image picked up by an image pickup device mounted on a vehicle, a parking result that is provided in a parking lot and is a parking state of the vehicle with respect to a parking frame that includes at least two frame lines for one vehicle is displayed. A parking result display system,
A rear imaging device that acquires a rear image that is an image behind the vehicle including the two frame lines;
A side imaging device that acquires a side image that is an image of one side of the vehicle including any one of the two frame lines;
A parking frame width calculation unit that calculates a parking frame width that is a distance between the two frame lines based on the rear image;
Based on the side image, a parking frame position calculation unit that calculates a distance from the frame line imaged by the side imaging device of the two frame lines to the side surface of the vehicle body and parallelism of the vehicle body side surface with respect to the frame line When,
Based on the parking frame width, the distance, and the parallelism, an illustration creating unit that creates an illustration showing a parking state of the vehicle;
A parking result display system, comprising: a display unit that displays an illustration created by the illustration creation unit. 請求項１に記載の駐車結果表示システムにおいて、
車両を後退させる旨を示す後退位置にシフト位置が設定されることに基づいて、前記後方画像を取得するとともに前記駐車枠幅を算出し、車両を駐車させる旨を示す駐車位置にシフト位置が設定されることに基づいて、前記側方画像を取得するとともに前記距離及び前記平行度を算出し、これら駐車枠幅、距離及び平行度に基づいて、イラストを作成するとともに表示することを特徴とする駐車結果表示システム。 In the parking result display system according to claim 1,
Based on the fact that the shift position is set at the reverse position indicating that the vehicle is to be moved backward, the rear image is acquired, the parking frame width is calculated, and the shift position is set at the parking position that indicates that the vehicle is parked. The lateral image is acquired based on the calculation, the distance and the parallelism are calculated, and an illustration is created and displayed based on the parking frame width, the distance and the parallelism. Parking result display system. 請求項２に記載の駐車結果表示システムにおいて、
シフト位置が後退位置に設定されて以後に前進位置または中立位置に設定された時点を起点とする経過時間を計時する計時部をさらに備え、
前記駐車枠幅算出部は、前記経過時間が判定時間を経過する前にシフト位置が後退位置に設定されることに基づいて、前記後方画像を再度取得し、再度取得した後方画像に基づいて駐車枠幅を算出することを特徴とする駐車結果表示システム。 In the parking result display system according to claim 2,
It further includes a timekeeping unit that measures an elapsed time starting from the time when the shift position is set to the reverse position and then set to the forward position or the neutral position,
The parking frame width calculation unit acquires the rear image again based on the fact that the shift position is set to the reverse position before the elapsed time has passed the determination time, and parks based on the acquired rear image. A parking result display system characterized by calculating a frame width. 請求項１〜３のいずれか一項に記載の駐車結果表示システムにおいて、
車両の周囲に位置する障害物までの距離である障害物距離を検出する超音波センサをさらに備え、
前記駐車枠位置算出部は、前記側方撮像装置によって撮像された側方画像のうち前記障害物距離以内の部分を使用して、前記距離及び前記平行度を算出することを特徴とする駐車結果表示システム。 In the parking result display system according to any one of claims 1 to 3,
An ultrasonic sensor that detects an obstacle distance that is a distance to an obstacle located around the vehicle;
The parking frame position calculation unit calculates the distance and the parallelism using a portion within the obstacle distance in the side image captured by the side imaging device. Display system. 請求項１〜４のいずれか一項に記載の駐車結果表示システムにおいて、
前記駐車枠幅算出部によって前記駐車枠幅が算出できないことに基づいて、その旨を表示部に表示することを特徴とする駐車結果表示システム。 In the parking result display system according to any one of claims 1 to 4,
Based on the fact that the parking frame width cannot be calculated by the parking frame width calculation unit, the fact is displayed on the display unit. 請求項１〜５のいずれか一項に記載の駐車結果表示システムにおいて、
前記駐車枠位置算出部によって前記距離及び前記平行度の少なくとも一方を算出できないことに基づいて、その旨を表示部に表示することを特徴とする駐車結果表示システム。 In the parking result display system according to any one of claims 1 to 5,
Based on the fact that at least one of the distance and the parallelism cannot be calculated by the parking frame position calculation unit, the parking result display system displays the fact on the display unit.
JP2009066503A 2009-03-18 2009-03-18 Parking result display system Expired - Fee Related JP5083254B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009066503A JP5083254B2 (en) 2009-03-18 2009-03-18 Parking result display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009066503A JP5083254B2 (en) 2009-03-18 2009-03-18 Parking result display system

Publications (2)

Publication Number Publication Date
JP2010215170A JP2010215170A (en) 2010-09-30
JP5083254B2 true JP5083254B2 (en) 2012-11-28

Family

ID=42974464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009066503A Expired - Fee Related JP5083254B2 (en) 2009-03-18 2009-03-18 Parking result display system

Country Status (1)

Country Link
JP (1) JP5083254B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5776533B2 (en) * 2011-12-13 2015-09-09 三菱自動車工業株式会社 Driving assistance device
EP2927077B1 (en) 2012-11-27 2017-09-06 Nissan Motor Co., Ltd Vehicular acceleration suppression device
JP5987948B2 (en) * 2015-04-22 2016-09-07 三菱自動車工業株式会社 Driving assistance device
KR101633501B1 (en) * 2015-06-01 2016-06-24 (주)캠시스 AVM system for providing information of side distance and method thereof
JP7398196B2 (en) * 2019-03-11 2023-12-14 フォルシアクラリオン・エレクトロニクス株式会社 Parking support device and parking support method
JP7221788B2 (en) * 2019-05-16 2023-02-14 国立大学法人北海道大学 Information processing device, information processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4003513B2 (en) * 2002-04-11 2007-11-07 三菱自動車工業株式会社 Vehicle rear image display device
JP4193780B2 (en) * 2004-09-22 2008-12-10 トヨタ自動車株式会社 Parking assistance device
JP4432930B2 (en) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 Parking assistance device and parking assistance method
JP2008143430A (en) * 2006-12-12 2008-06-26 Toyota Motor Corp Parking support device
JP2008279875A (en) * 2007-05-10 2008-11-20 Alpine Electronics Inc Parking support device

Also Published As

Publication number Publication date
JP2010215170A (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP5003946B2 (en) Parking assistance device
US9902323B2 (en) Periphery surveillance apparatus and program
JP4639753B2 (en) Driving assistance device
US8305204B2 (en) Vehicle surrounding confirmation apparatus
JP5440867B2 (en) Parking assistance device
JP4952765B2 (en) Vehicle night vision support device
JP5729158B2 (en) Parking assistance device and parking assistance method
JP5083254B2 (en) Parking result display system
JP4945177B2 (en) Vehicle driving support device
JP6789010B2 (en) Driving support device, driving support method, imaging device, and vehicle
JP6477562B2 (en) Information processing device
JP2018136695A (en) Parking support device
JP5136256B2 (en) Parking assist device and image display method
JP5253017B2 (en) Perimeter monitoring device, obstacle detection method, and computer program
JP2008285083A (en) Parking support device
US11017245B2 (en) Parking assist apparatus
JP2010006129A (en) Vehicle rear information display and vehicle rear information display method
JP4092479B2 (en) Vehicle driving support device
JP2007081932A (en) Visual recognition device for vehicle periphery
JP2010184606A (en) Vehicle surroundings display device
JP5395373B2 (en) Perimeter monitoring device
JP2019133445A (en) Section line detection device, section line detection system, and section line detection method
JP2008030704A (en) Parking support apparatus
JP7454177B2 (en) Peripheral monitoring device and program
JP2019135620A (en) Traveling support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R151 Written notification of patent or utility model registration

Ref document number: 5083254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees