JP5776995B2 - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP5776995B2 JP5776995B2 JP2014047362A JP2014047362A JP5776995B2 JP 5776995 B2 JP5776995 B2 JP 5776995B2 JP 2014047362 A JP2014047362 A JP 2014047362A JP 2014047362 A JP2014047362 A JP 2014047362A JP 5776995 B2 JP5776995 B2 JP 5776995B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- distance
- virtual image
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、車両に設置され、車両の周辺を撮影した画像を表示する車両用周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that is installed in a vehicle and displays an image of the periphery of the vehicle.
近年、車両にカメラを設置し、運転者に対して死角になりやすい車両周辺の画像を撮影して表示するシステムが一般的になってきている。 2. Description of the Related Art In recent years, a system in which a camera is installed in a vehicle and an image around the vehicle that tends to be a blind spot for a driver is captured and displayed.
特に、最近では、車両に複数のカメラを設置し、真上から見下ろすように座標変換して俯瞰画像を生成し、車両周辺に障害物がないときにはこの俯瞰画像を表示し、車両周辺に障害物が検出されたときには障害物を撮影した画像を表示する発明が提案されている（特許文献１）。 In particular, recently, a plurality of cameras are installed on a vehicle, coordinate conversion is performed so as to look down from above, an overhead image is generated, and when there are no obstacles around the vehicle, the overhead image is displayed, and obstacles around the vehicle are displayed. An invention has been proposed in which an image obtained by photographing an obstacle is displayed when an object is detected (Patent Document 1).
しかしながら、特許文献１に開示された発明では、障害物が検出される度に、表示される画像の形態が大きく変化してしまうため、使用者は、その都度、画像の意味を考えながら内容を理解する必要がある。したがって、瞬読性が阻害されてしまうという課題がある。 However, in the invention disclosed in Patent Document 1, every time an obstacle is detected, the form of the displayed image changes greatly. Therefore, each time the user considers the contents of the image while considering the meaning of the image. Need to understand. Therefore, there is a problem that the instantaneous readability is hindered.
本発明は上記事情に鑑みなされたもので、画像の形態を変えることなしに、障害物を歪みなく表示することができる車両用周辺監視装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a vehicle periphery monitoring device capable of displaying an obstacle without distortion without changing the form of an image.
本発明に係る車両用周辺監視装置は、車両から車両に取り付けた障害物検出手段によって検出された障害物までの距離の範囲は、この車両を上空から俯瞰した俯瞰画像とし、その距離よりも離れた範囲は、車両から撮影された画像を合成して表示することで、画像の形態を変えることなしに、障害物を歪みなく表示するものである。 In the vehicle periphery monitoring device according to the present invention, the range of the distance from the vehicle to the obstacle detected by the obstacle detecting means attached to the vehicle is an overhead image obtained by bird's-eye view of the vehicle from above. The range is to display the obstacle without distortion without changing the form of the image by combining and displaying the images taken from the vehicle.
すなわち、本発明に係る第１の車両用周囲監視装置は、車両に設置され、前記車両の周辺を撮影して画像を出力する撮影手段と、前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、前記車両の周辺に亘って前記車両からの距離が互いに異なる複数の位置に第１距離マーカを設定する、第１距離マーカ設定手段と、前記画像の中で、前記複数の位置のうち、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両に近い範囲を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第１仮想画像に変換する第１仮想画像生成手段と、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両より遠い範囲を、前記第１仮想画像の、前記車両から遠方側の辺縁において、前記第１仮想画像と連続するように座標変換した第２仮想画像に変換する第２仮想画像生成手段と、前記第１仮想画像と前記第２仮想画像とを１枚の画像に合成する第１画像合成手段と、前記第１画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする That is, the first vehicle surrounding monitoring apparatus according to the present invention is installed in a vehicle, and shoots the periphery of the vehicle to output an image, and the vehicle is directed toward the shooting range of the shooting unit. The first distance marker is installed and outputs a distance from the vehicle to the obstacle, and a first distance marker is set at a plurality of positions at different distances from the vehicle around the vehicle. Marker setting means, and the vehicle from the position of the first distance marker set at a position farthest from the vehicle that does not exceed the distance from the vehicle to the obstacle among the plurality of positions in the image A first virtual image generating means for converting a range close to the first virtual image overlooking the vehicle from a virtual viewpoint installed at a predetermined position above the vehicle, and does not exceed a distance from the vehicle to the obstacle, The vehicle The farther range than the vehicle from the position of the first distance marker which is set to al farthest, of the first virtual image, at the far side of edge from the vehicle, so as to continue with the first virtual image Second virtual image generation means for converting the coordinate-converted second virtual image; first image composition means for combining the first virtual image and the second virtual image into one image; and the first image composition. Image display means for displaying an image synthesized by the means
このように構成された本発明に係る第１の車両用周辺監視装置によれば、撮影手段が撮影した車両周辺の画像のうち、第１距離マーカ設定手段が設定した、前記車両からの距離が互いに異なる複数の位置に設定された複数の第１距離マーカのうち、障害物検出手段が出力した車両から障害物までの距離を超えない、車両から最も遠い位置に設定された第１距離マーカの位置よりも車両に近い領域が、第１仮想画像生成手段によって車両上空の所定位置に設定した仮想視点から前記車両を見下ろした第１仮想画像に変換され、前記以外の領域が第１仮想画像と連続するように、第２仮想画像生成手段によって第２仮想画像に座標変換され、第１画像合成手段が、第２仮想画像と、第１仮想画像とを１枚の画像に合成し、画像表示手段が合成された画像を表示することによって、画像の表示形態を変えることなく、障害物を歪みなく表示することができる。 According to the first vehicle periphery monitoring device according to the present invention configured as described above, the distance from the vehicle set by the first distance marker setting unit among the images around the vehicle captured by the imaging unit is the distance from the vehicle. Of the first distance markers set at a plurality of different positions, the first distance marker set at the farthest position from the vehicle that does not exceed the distance from the vehicle to the obstacle output by the obstacle detection means . A region closer to the vehicle than the position is converted into a first virtual image looking down on the vehicle from a virtual viewpoint set at a predetermined position above the vehicle by the first virtual image generation means, and the other region is referred to as the first virtual image. The coordinates are transformed into a second virtual image by the second virtual image generating means so as to be continuous, and the first image synthesizing means synthesizes the second virtual image and the first virtual image into one image and displays the image. Means are synthesized By displaying an image, without changing the display form of the image can be displayed without distortion obstacles.
また、本発明に係る第２の車両用周囲監視装置は、車両に設置され、前記車両の周辺を撮影して画像を出力する撮影手段と、前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、前記画像を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第３仮想画像に変換する第３仮想画像生成手段と、前記第３仮想画像の内部に前記車両の周辺に亘って前記車両からの距離が互いに異なる複数の位置に第１距離マーカを設定する、第１距離マーカ設定手段と、前記複数の位置のうち、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両より遠い範囲を、前記第３仮想画像と連続するように座標変換した第４仮想画像に変換する第４仮想画像生成手段と、前記第３仮想画像の上に、前記第４仮想画像を上書きする第２画像合成手段と、前記第２画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする。 According to the second aspect of the present invention, there is provided a second vehicle surrounding monitoring apparatus that is installed in a vehicle, shoots the periphery of the vehicle and outputs an image, and directs the vehicle toward the shooting range of the shooting unit. An obstacle detection means that outputs a distance from the vehicle to the obstacle; and converts the image into a third virtual image looking down on the vehicle from a virtual viewpoint installed at a predetermined position above the vehicle. Three virtual image generation means ; first distance marker setting means for setting a first distance marker at a plurality of positions having different distances from the vehicle across the periphery of the vehicle inside the third virtual image; among the plurality of positions does not exceed the distance from the vehicle to the obstacle, the farther range than the vehicle from the position of the first distance marker set in the position farthest from the vehicle, the third virtual image image so that is continuous with the A fourth virtual image generating means for converting the fourth virtual image coordinate conversion, on the third virtual image, the second image combining means for overwriting the fourth virtual image, by the second image combining means An image display means for displaying the synthesized image is provided.
このように構成された本発明に係る第２の車両用周辺監視装置によれば、撮影手段が撮影した車両周辺の画像が、第３仮想画像生成手段によって車両上空の所定位置に設定した仮想視点から前記車両を見下ろした第３仮想画像に変換され、変換された第３仮想画像の内部に、第１距離マーカ設定手段が、車両の周辺に亘って車両からの距離が互いに異なる複数の位置に第１距離マーカを設定して、車両から障害物検出手段によって検出された障害物までの距離を超えない、最も遠い位置に設定された第１距離マーカの位置から、車両より遠い範囲を、第４仮想画像生成手段が第４仮想画像に座標変換して、第２画像合成手段が、第３仮想画像に第４仮想画像を上書きすることによって、画像の表示形態を変えることなく、障害物を歪みなく表示することができる。 According to the second vehicle periphery monitoring apparatus according to the present invention configured as described above, the virtual viewpoint in which the image around the vehicle photographed by the photographing unit is set at a predetermined position above the vehicle by the third virtual image generating unit. Is converted into a third virtual image looking down at the vehicle , and the first distance marker setting means is located at a plurality of positions at different distances from the vehicle around the periphery of the vehicle in the converted third virtual image. A first distance marker is set, and a range farther from the vehicle than the position of the first distance marker set at the farthest position that does not exceed the distance from the vehicle to the obstacle detected by the obstacle detection means is The 4 virtual image generating means converts the coordinates to the fourth virtual image, and the second image synthesizing means overwrites the third virtual image with the fourth virtual image, so that the obstacle is displayed without changing the display form of the image. Table without distortion It can be.
本発明に係る車両用周辺監視装置によれば、障害物の有無に拘わらず、画像の表示形態を変えることなく、障害物を歪みなく表示することができる。 According to the vehicle periphery monitoring apparatus according to the present invention, an obstacle can be displayed without distortion without changing the display form of an image regardless of the presence or absence of the obstacle.
以下、本発明に係る車両用周辺監視装置の実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of a vehicle periphery monitoring device according to the present invention will be described with reference to the drawings.
本実施例は、本発明を、車両１周辺の画像をよりわかりやすい形態に変換して、車内に設置されたモニタに提示することができる、車両用周辺監視装置２に適用したものである。特に、本実施例は、車両１周辺に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両１周辺の画像をよりわかりやすい形態に変換して、車内のモニタに表示するものである。 In this embodiment, the present invention is applied to a vehicle periphery monitoring device 2 that can convert an image around the vehicle 1 into a more easily understandable form and present it on a monitor installed in the vehicle. In particular, the present embodiment is provided with obstacle detection means around the vehicle 1, and based on the output of the obstacle detection means, the image around the vehicle 1 is converted into a more easily understandable form and displayed on a monitor inside the vehicle. It is.
図１は、本発明の実施形態に係る車両用周辺監視装置２の構成を示すブロック図である。本実施例に係る車両用周辺監視装置２は、図１に示す通り、車両１（図２に示す）に設置され、車両用周辺監視装置２の起動操作、終了操作を検出する起動・終了検出手段２０と、車両１の進行方向を検出する進行方向検出手段１０と、車両周辺の画像を撮影する複数のカメラで構成された撮影手段３０と、車両１の周辺の障害物の有無を検出し、その障害物までの距離に対応する値を出力する障害物検出手段４０と、撮影された車両周辺のうち、障害物検出手段４０で検出された障害物までの距離よりも車両１に近い領域を、車両１の上空から見下ろした仮想画像に変換する第１仮想画像生成手段５０と、撮影手段３０で撮影した画像の中の、障害物検出手段４０で検出した障害物までの距離よりも遠方にある領域に対して、障害物までの距離に対応する位置において、前記第１仮想画像と連続するように座標変換を行う第２仮想画像生成手段６０と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第１距離マーカ設定手段７０と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第２距離マーカ設定手段８０と、第１仮想画像と第２仮想画像とを、１枚の画像に合成する第１画像合成手段９０と、第１画像合成手段９０によって合成された画像を表示する画像表示手段１００とからなる。 FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device 2 according to an embodiment of the present invention. The vehicle periphery monitoring device 2 according to the present embodiment is installed in the vehicle 1 (shown in FIG. 2) as shown in FIG. 1, and the start / end detection for detecting the start operation and the end operation of the vehicle periphery monitoring device 2. Means 20, traveling direction detection means 10 for detecting the traveling direction of the vehicle 1, photographing means 30 composed of a plurality of cameras for photographing images around the vehicle, and the presence or absence of obstacles around the vehicle 1 are detected. The obstacle detection means 40 for outputting a value corresponding to the distance to the obstacle, and a region closer to the vehicle 1 than the distance to the obstacle detected by the obstacle detection means 40 in the periphery of the photographed vehicle The first virtual image generating means 50 for converting the image into a virtual image looking down from the sky of the vehicle 1 and farther than the distance to the obstacle detected by the obstacle detecting means 40 in the image taken by the photographing means 30 Up to obstacles A second virtual image generating means 60 that performs coordinate transformation so as to be continuous with the first virtual image at a position corresponding to the separation, and a plurality of distances from the vehicle 1 that are different from each other at a predetermined distance from the vehicle 1. A first distance marker setting means 70 for setting a distance marker; a second distance marker setting means 80 for setting a plurality of distance markers whose distances from the vehicle 1 are different from each other at a predetermined distance from the vehicle 1; The image forming apparatus includes a first image combining unit 90 that combines the virtual image and the second virtual image into a single image, and an image display unit 100 that displays the image combined by the first image combining unit 90.
ここで、進行方向検出手段１０は、詳しくは、車両１のシフトポジションを検出するシフトポジション検出部１２と、車両１の操舵角を検出する操舵角検出部１４とからなる。 Here, the traveling direction detection means 10 includes a shift position detection unit 12 that detects the shift position of the vehicle 1 and a steering angle detection unit 14 that detects the steering angle of the vehicle 1.
起動・終了検出手段２０は、詳しくは、車両１のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断部２２と、車両用周辺監視装置２の起動を指示する起動スイッチ２４と、車両用周辺監視装置２の動作終了を指示する終了スイッチ２６と、車両１の車速を検出する車速検出部２８とからなる。 Specifically, the start / end detection means 20 includes an ignition switch state determination unit 22 that determines the state of the ignition switch of the vehicle 1, a start switch 24 that instructs the start of the vehicle periphery monitoring device 2, and the vehicle periphery monitoring device. 2 and an end switch 26 for instructing the end of the operation, and a vehicle speed detecting unit 28 for detecting the vehicle speed of the vehicle 1.
撮影手段３０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両１周辺の画像情報を得る、隣り合う撮影領域が互いに重複するように配置された第１カメラ３１と、第２カメラ３２と、第３カメラ３３と、第４カメラ３４とからなる。
図２（ａ）に示すように、第１カメラ３１は車両１のフロントバンパに、第２カメラ３２は車両１の左ドアミラーに、第３カメラ３３は車両１のリアバンパにそれぞれ設置されており、図２（ａ）には図示しないが、第４カメラ３４は車両１の右ドアミラーに設置される。
Specifically, the photographing means 30 is installed around the vehicle as shown in FIGS. 2A and 2B, and obtains image information around the vehicle 1 so that adjacent photographing regions overlap each other. 1 camera 31, second camera 32, third camera 33, and fourth camera 34.
As shown in FIG. 2A, the first camera 31 is installed on the front bumper of the vehicle 1, the second camera 32 is installed on the left door mirror of the vehicle 1, and the third camera 33 is installed on the rear bumper of the vehicle 1. Although not shown in FIG. 2A, the fourth camera 34 is installed on the right door mirror of the vehicle 1.
また、各カメラは、図２（ｂ）に示すように配置される。すなわち、第１カメラ３１の撮影範囲と路面とは、交線１５０によって交わるように設置される。同様に、第２カメラ３２は路面と交線１５２で交わるように、第３カメラ３３は路面と交線１５４で交わるように、第４カメラ３４は路面と交線１５６で交わるように、各々が設置される。 Each camera is arranged as shown in FIG. That is, the imaging range of the first camera 31 and the road surface are installed so as to intersect with the intersection line 150. Similarly, the second camera 32 intersects the road surface at the intersection line 152, the third camera 33 intersects the road surface at the intersection line 154, and the fourth camera 34 intersects the road surface at the intersection line 156. Installed.
なお、隣り合うカメラは、図２（ｂ）に示す通り、各々の撮影範囲が互いに重複し、第１カメラ３１と第２カメラ３２とは第１重複領域Ｅ１をなし、第２カメラ３２と第３カメラ３３とは第２重複領域Ｅ２をなし、第３カメラ３３と第４カメラ３４とは第３重複領域Ｅ３をなし、第４カメラ３４と第１カメラ３１とは第４重複領域Ｅ４をなすように設置される。 As shown in FIG. 2B, adjacent cameras have mutually different shooting ranges, the first camera 31 and the second camera 32 form a first overlapping area E1, and the second camera 32 and the second camera 32 are adjacent to each other. The third camera 33 forms the second overlapping area E2, the third camera 33 and the fourth camera 34 form the third overlapping area E3, and the fourth camera 34 and the first camera 31 form the fourth overlapping area E4. Installed.
障害物検出手段４０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両周辺の障害物までの距離を測定して出力する、第１測距部４１と、第２測距部４２と、第３測距部４３と、第４測距部４４と、進行方向検出手段１０の出力に基づいて、これらの測距部４１−４４の中から、１つまたは複数の測距部を選択する測距範囲選択部４５と、測距範囲選択部４５で選択した測距部からの出力の最小値（最小距離値）を特定する最小距離値検出部４６と、最小距離値検出部４６で検出された最小値が、予め設定された所定値よりも小さい（近い）か否かを判定するしきい値処理部４７とからなる。 Specifically, the obstacle detection means 40 is installed in the vicinity of the vehicle as shown in FIGS. 2A and 2B, and measures and outputs the distance to the obstacle around the vehicle. Based on the outputs of the second distance measuring section 42, the third distance measuring section 43, the fourth distance measuring section 44, and the traveling direction detecting means 10, one of these distance measuring sections 41-44 is 1 A distance measurement range selection unit 45 that selects one or a plurality of distance measurement units, and a minimum distance value detection unit 46 that specifies a minimum value (minimum distance value) output from the distance measurement unit selected by the distance measurement range selection unit 45 And a threshold processing unit 47 that determines whether or not the minimum value detected by the minimum distance value detection unit 46 is smaller (closer) than a predetermined value set in advance.
ここで、各測距部４１−４４は、図２（ｂ）に示すように、第１測距部４１は車両１のフロントバンパに、第３測距部４３は車両１のリアバンパに、第２測距部４２および第４測距部４４は車両１のサイドシルにそれぞれ取り付けられている。
また、測距範囲Ｒ１を有する第１測距部４１は、第１カメラ３１の撮影範囲に向けて、測距範囲Ｒ２を有する第２測距部４２は、第２カメラ３２の撮影範囲に向けて、測距範囲Ｒ３を有する第３測距部４３は、第３カメラ３３の撮影範囲に向けて、測距範囲Ｒ４を有する第４測距部４４は、第４カメラ３４の撮影範囲に向けて、それぞれ設置されている。図２（ｂ）は、各カメラ３１−３４の撮影範囲と、各測距部４１−４４の測距範囲との関係を示す。
Here, as shown in FIG. 2B, each of the distance measuring sections 41-44 includes a first distance measuring section 41 for the front bumper of the vehicle 1, a third distance measuring section 43 for the rear bumper of the vehicle 1, The second distance measuring section 42 and the fourth distance measuring section 44 are respectively attached to the side sill of the vehicle 1.
Further, the first distance measuring unit 41 having the distance measuring range R1 is directed toward the photographing range of the first camera 31, and the second distance measuring unit 42 having the distance measuring range R2 is directed toward the photographing range of the second camera 32. The third distance measuring unit 43 having the distance measuring range R3 is directed toward the photographing range of the third camera 33, and the fourth distance measuring unit 44 having the distance measuring range R4 is directed toward the photographing range of the fourth camera 34. Are installed. FIG. 2B shows the relationship between the shooting range of each camera 31-34 and the distance measurement range of each distance measurement unit 41-44.
また、各測距部４１−４４は、１つ、もしくは複数の距離センサによって構成される。距離センサとしては、一般に超音波センサが用いられるが、その他、光学式センサや他の種類のセンサを用いても構わない。 Each distance measuring unit 41-44 is configured by one or a plurality of distance sensors. An ultrasonic sensor is generally used as the distance sensor, but other optical sensors or other types of sensors may be used.
第１仮想画像生成手段５０は、第１仮想画像の描画範囲を決定する第１仮想画像描画範囲決定部５１と、第１仮想画像を生成するための座標変換用テーブルが格納された第１座標変換データ格納部５２と、第１座標変換データ格納部５２に格納されたテーブルに基づいて、第１仮想画像を生成する第１仮想画像生成部５３とからなる。 The first virtual image generation means 50 includes a first virtual image drawing range determination unit 51 that determines a drawing range of the first virtual image, and first coordinates in which a coordinate conversion table for generating the first virtual image is stored. A conversion data storage unit 52 and a first virtual image generation unit 53 that generates a first virtual image based on a table stored in the first coordinate conversion data storage unit 52 are included.
第２仮想画像生成手段６０は、第２仮想画像を生成するための座標変換用テーブルが格納された第２座標変換データ格納部６２と、第２座標変換データ格納部６２に格納されたテーブルに基づいて、第２仮想画像を生成する第２仮想画像生成部６４とからなる。 The second virtual image generation means 60 includes a second coordinate conversion data storage unit 62 storing a coordinate conversion table for generating a second virtual image, and a table stored in the second coordinate conversion data storage unit 62. The second virtual image generation unit 64 generates a second virtual image based on the second virtual image generation unit 64.
次に、本実施例に係る車両用周辺監視装置２の作用について、図１０のフローチャートに基づいて説明する。本実施例に係る車両用周辺監視装置２は、車両１の駐車時や狭い場所での切り返し時に利用され、車両１周辺の画像をわかりやすい形態に変換して運転者に呈示し、運転動作を補助するものである。 Next, the operation of the vehicle periphery monitoring device 2 according to the present embodiment will be described based on the flowchart of FIG. The vehicle periphery monitoring device 2 according to the present embodiment is used when the vehicle 1 is parked or turned back in a narrow place, and an image around the vehicle 1 is converted into an easy-to-understand form and presented to the driver to assist driving operation. To do.
ここで、車両１が駐車のために前方に向かって前進している場面について、本実施例の車両用周辺監視装置２の動作を説明する。 Here, the operation | movement of the vehicle periphery monitoring apparatus 2 of a present Example is demonstrated about the scene where the vehicle 1 is moving ahead for parking.
車両１は、図３に示すように、２本のレーンマーカ２００ａ、２００ｂの間にあり、かつ、車両１の左前方に、アルファベットのＡの形状を模した障害物２００ｃが置かれているものする。そして、車両１の運転者は、矢印２００ｅ（車両１の進行方向を示す）で示すように、障害物２００ｃを回避して、車両１を前方の駐車スペース２００ｄまで誘導しているものとする。
イグニッションスイッチ状態判断部２２によって、車両１のイグニッションがＯＮになっていることが確認されると（図１０のＳ１がＹｅｓのとき）、以下の一連の処理が開始される。
運転者は、車両１周辺の画像を監視したいとき、車内に設置された起動スイッチ２４を操作する。起動スイッチ２４が操作されると（図１０のＳ２がＹｅｓのとき）、第１カメラ３１から第４カメラ３４で撮影された画像は、それぞれ、図１に図示しない、各カメラ３１−３４の後段に接続されたデコーダによって、コンポジット信号からコンポーネント信号に変換され、さらに、コンポーネント信号のうち輝度信号は、図１に図示しないＡ／Ｄ変換器を通して、ディジタル化されたディジタル画像に変換される（図１０のＳ３）。第１カメラ３１から第４カメラ３４で撮影されたディジタル画像を、それぞれＩ1（ｘ、ｙ）、Ｉ2（ｘ、ｙ）、Ｉ3（ｘ、ｙ）、Ｉ4（ｘ、ｙ）とする。
As shown in FIG. 3, the vehicle 1 is located between two lane markers 200 a and 200 b, and an obstacle 200 c simulating the shape of an alphabet A is placed on the left front side of the vehicle 1. . And the driver | operator of the vehicle 1 shall guide the vehicle 1 to the front parking space 200d avoiding the obstruction 200c, as shown by the arrow 200e (indicating the advancing direction of the vehicle 1).
When the ignition switch state determination unit 22 confirms that the ignition of the vehicle 1 is ON (when S1 in FIG. 10 is Yes), the following series of processes is started.
When the driver wants to monitor an image around the vehicle 1, the driver operates an activation switch 24 installed in the vehicle. When the start switch 24 is operated (when S2 in FIG. 10 is Yes), the images taken by the first camera 31 to the fourth camera 34 are respectively subsequent to the cameras 31-34 not shown in FIG. The composite signal is converted into a component signal by a decoder connected to the signal, and the luminance signal among the component signals is converted into a digitized digital image through an A / D converter not shown in FIG. 10 S3). Digital images taken by the first camera 31 to the fourth camera 34 are respectively represented as I 1 (x, y), I 2 (x, y), I 3 (x, y), I 4 (x, y), and To do.
なお、起動スイッチ２４が操作されると、障害物検出手段４０によって、車両１周辺の測距が開始される。 When the activation switch 24 is operated, the obstacle detection means 40 starts distance measurement around the vehicle 1.
この時、進行方向検出手段１０によって、車両の進行方向の検出が行われる。車両の進行方向は、シフトポジション検出部１２で検出されたシフトポジションと、操舵角検出部１４で検出された操舵角とによって決定される（図１０のＳ４）。 At this time, the traveling direction detection means 10 detects the traveling direction of the vehicle. The traveling direction of the vehicle is determined by the shift position detected by the shift position detection unit 12 and the steering angle detected by the steering angle detection unit 14 (S4 in FIG. 10).
例えば、シフトポジションが前進位置であり、操舵角が所定値以上左に向いていることが確認されると、車両の進行方向は左前方であると判断されるし、また、シフトポジションが後退位置であり、操舵角が所定値以上右に向いていることが確認されると、車両の進行方向は右後方であると判断される。 For example, when it is confirmed that the shift position is the forward position and the steering angle is directed to the left by a predetermined value or more, the traveling direction of the vehicle is determined to be the left front, and the shift position is the reverse position. When it is confirmed that the steering angle is directed to the right by a predetermined value or more, it is determined that the traveling direction of the vehicle is right rear.
このようにして検出された進行方向の情報は、障害物検出手段４０に送られ、測距範囲選択部４５において、測距部４１−４４の中から、検出された進行方向の範囲を測距している、１つもしくは複数の測距部が選択される（図１０のＳ５）。ここで選択された測距部を測距部Ｋと呼ぶことにする。 Information on the direction of travel detected in this manner is sent to the obstacle detection means 40, and the distance measurement range selection unit 45 measures the range of the detected direction of travel from the distance measurement units 41-44. One or a plurality of distance measuring units are selected (S5 in FIG. 10). The distance measuring unit selected here will be referred to as a distance measuring unit K.
続いて、測距範囲選択部４５において選択された測距部Ｋから、その測距部Ｋを構成する測距部に備えられた、全ての距離センサの出力Ｄが読み出され（図１０のＳ６）、最小距離値検出部４６にて、距離センサの出力の最小値Ｄmin（以下、単に最小値Ｄminと呼ぶ）が算出される（図１０のＳ７）。 Subsequently, the outputs D of all the distance sensors provided in the distance measuring section constituting the distance measuring section K are read from the distance measuring section K selected by the distance measuring range selecting section 45 (FIG. 10). S6) The minimum distance value detection unit 46 calculates the minimum value Dmin of the distance sensor (hereinafter simply referred to as the minimum value Dmin) (S7 in FIG. 10).
次に、しきい値処理部４７において、最小値Ｄminが、距離の所定値Ｄ0（以下、単に所定値Ｄ0と呼ぶ）より小さい（近い）か否かが判断される（図１０のＳ８）。ここで、距離の所定値Ｄ0は、運転者に対して、障害物の存在を注意喚起する必要がある最小距離を示す値であり、装置の設計パラメータとして、予め設定されたものである。最小値Ｄminが所定値Ｄ0より小さいとき（図１０のＳ８がＹｅｓのとき）は、最小値Ｄminの値が、第１仮想画像生成手段５０に対して出力され、処理は図１０のＳ９に進む。一方、最小値Ｄminが所定値Ｄ0以上であるとき（図１０のＳ８がＮｏのとき）は、図１０のＳ１０に進む。 Next, the threshold value processing unit 47 determines whether or not the minimum value Dmin is smaller (closer) than a predetermined distance value D 0 (hereinafter simply referred to as a predetermined value D 0 ) (S8 in FIG. 10). ). Here, the predetermined value D 0 of the distance is a value indicating a minimum distance that needs to alert the driver to the presence of an obstacle, and is set in advance as a design parameter of the device. When the minimum value Dmin is smaller than the predetermined value D 0 (when S8 in FIG. 10 is Yes), the value of the minimum value Dmin is output to the first virtual image generation unit 50, the process in S9 in FIG. 10 move on. On the other hand, when the minimum value Dmin is the predetermined value D 0 or more (when S8 in FIG. 10 is No), the process proceeds to S10 in FIG. 10.
例えば、図３の状態にあるときは、車両１の進行方向は前方であると判定され、測距範囲選択部４５において、測距部Ｋとして第１測距部４１が選択される。そして、第１測距部４１を構成する、１つもしくは複数の距離センサの出力の最小値Ｄminが、所定値Ｄ0より小さいとき、最小値Ｄminが、第１仮想画像生成手段５０に送られる。 For example, when the vehicle 1 is in the state of FIG. 3, it is determined that the traveling direction of the vehicle 1 is forward, and the first ranging unit 41 is selected as the ranging unit K in the ranging range selection unit 45. Then, when the minimum value Dmin of the output of one or a plurality of distance sensors constituting the first distance measuring unit 41 is smaller than the predetermined value D 0 , the minimum value Dmin is sent to the first virtual image generating means 50. .
次に、図１０のＳ９では、第１仮想画像描画範囲決定部５１において、第１距離マーカ設定手段７０で設定された、車両１からの距離が互いに異なる複数の第１距離マーカＬｉのうち、最小値Ｄminを超えない、最大の距離を表す第１距離マーカＬｊが選択される。 Next, in S <b> 9 of FIG. 10, in the first virtual image drawing range determination unit 51, among the plurality of first distance markers Li set by the first distance marker setting unit 70 and having different distances from the vehicle 1, A first distance marker Lj representing the maximum distance that does not exceed the minimum value Dmin is selected.
第１距離マーカＬｊを選択する手順を図４にて説明する。 The procedure for selecting the first distance marker Lj will be described with reference to FIG.
例えば、第１測距部４１から、最小値Ｄminとして、１．３ｍという値が出力されたとする。最小値Ｄmin＝１．３ｍが表す位置を、車両１の周辺に描画すると、図４の破線のようになる。 For example, it is assumed that a value of 1.3 m is output from the first distance measuring unit 41 as the minimum value Dmin. When the position represented by the minimum value Dmin = 1.3 m is drawn around the vehicle 1, the broken line in FIG. 4 is obtained.
一方、第１距離マーカ設定手段７０においては、例えば、車両１からの距離が０．５ｍ、１ｍ、１．５ｍ、２ｍ、２．５ｍ、３ｍであることを示す複数の第１距離マーカＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６が設定される。これらの第１距離マーカＬｉを、車両１の全周囲に描画すると、図４に示す６本の閉曲線のようになる。 On the other hand, in the first distance marker setting means 70, for example, a plurality of first distance markers L1 indicating that the distance from the vehicle 1 is 0.5 m, 1 m, 1.5 m, 2 m, 2.5 m, 3 m, L2, L3, L4, L5, and L6 are set. When these first distance markers Li are drawn on the entire periphery of the vehicle 1, six closed curves shown in FIG. 4 are obtained.
このとき、第１仮想画像描画範囲決定部５１において、最小値Ｄmin＝１．３ｍを超えない、最大距離を表す第１距離マーカＬｉが選択される。図４の場合、車両１から１ｍ離れた位置に設定された第１距離マーカＬ２が選択される。 At this time, the first virtual image drawing range determination unit 51 selects the first distance marker Li that represents the maximum distance that does not exceed the minimum value Dmin = 1.3 m. In the case of FIG. 4, the first distance marker L2 set at a position 1 m away from the vehicle 1 is selected.
次に、第１仮想画像生成部５３において、画像Ｉ1（ｘ、ｙ）、画像Ｉ2（ｘ、ｙ）、画像Ｉ3（ｘ、ｙ）、画像Ｉ4（ｘ、ｙ）の各々の中で、車両１から、第１距離マーカＬ２が表す１ｍまでの範囲が、車両１の真上に設置した仮想視点から見下ろした（俯瞰した）第１仮想画像に変換される（図１０のＳ１１）。 Next, in the first virtual image generation unit 53, each of the image I 1 (x, y), the image I 2 (x, y), the image I 3 (x, y), and the image I 4 (x, y) is displayed. Among them, a range from the vehicle 1 to 1 m represented by the first distance marker L2 is converted into a first virtual image looking down (overlooking) from a virtual viewpoint installed directly above the vehicle 1 (S11 in FIG. 10). ).
この変換は、車両の周辺を画像化する手法として、昨今、一般的に行われているため、その詳細な説明は割愛するが、予め、座標変換テーブルを準備しておき、この座標変換テーブルを参照して、入力された画像の座標値を置き換えることによって行われる。 Since this conversion is generally performed as a technique for imaging the periphery of the vehicle in recent years, a detailed description thereof is omitted, but a coordinate conversion table is prepared in advance, and this coordinate conversion table is This is done by referring to the coordinate values of the input image.
すなわち、第１座標変換データ格納部５２に、予め作成した、仮想視点の位置と、画像を観測する方向と、観測する範囲とによって決定する第１座標変換テーブルを格納しておき、第１仮想画像生成部５３において、撮影手段３０で撮影された各々の画像の座標値を、第１座標変換テーブルによって示された座標値に置き換えることによって第１仮想画像
が生成される。
この座標変換は、予め用意されたた第１座標変換テーブルに対して、車両１から第１距離マーカＬ２の範囲にマスクＣをかけ、このマスクＣがかかっている範囲に対応する第１座標変換テーブルを使って行われる。座標変換の結果、図５に示すＭ１の領域に画像Ｉ1（ｘ、ｙ）を座標変換した結果が格納され、Ｍ２の領域に画像Ｉ2（ｘ、ｙ）を座標変換した結果が格納され、Ｍ３の領域に画像Ｉ3（ｘ、ｙ）を座標変換した結果が格納され、Ｍ４の領域に画像Ｉ4（ｘ、ｙ）を座標変換した結果が格納される。
ここで、隣り合った撮影手段は、お互いの撮影範囲が重複するように配置されているため、隣り合った撮影手段で撮影した画像には、特定の領域が一部重複して含まれる。
That is, the first coordinate conversion data storage unit 52 stores a first coordinate conversion table, which is determined in advance based on the position of the virtual viewpoint, the direction in which the image is observed, and the observation range. In the image generation unit 53, the first virtual image is generated by replacing the coordinate value of each image photographed by the photographing means 30 with the coordinate value indicated by the first coordinate conversion table.
In this coordinate conversion, a mask C is applied to the range of the first distance marker L2 from the vehicle 1 to a first coordinate conversion table prepared in advance, and the first coordinate conversion corresponding to the range covered by the mask C is applied. This is done using a table. As a result of the coordinate conversion, the result of coordinate conversion of the image I 1 (x, y) is stored in the area M1 shown in FIG. 5, and the result of the coordinate conversion of the image I 2 (x, y) is stored in the area M2. , The result of coordinate transformation of the image I 3 (x, y) is stored in the region of M3, and the result of coordinate transformation of the image I 4 (x, y) is stored in the region of M4.
Here, since the adjacent photographing means are arranged so that their photographing ranges overlap with each other, a part of the specific area is included in the image photographed by the adjacent photographing means.
そのため、本実施例の場合は、図５の斜めに引いた４本の線分のように、隣り合った撮影手段で撮影した画像同士の繋ぎ目を設定し、それぞれの繋ぎ目によって区切られた各領域には、その領域の方向を撮影した撮影手段３０によって得られた画像が描画されるものとし、各領域からはみ出した画像は切り捨てるという規則に則って、隣り合った撮影手段３０によって撮影された画像の繋ぎ目が処理されるものとする。もちろん、繋ぎ目の処理は、これに留まらず、他の規則を用いて行ってもよい。
また、車両１の直近は、撮影手段３０の死角になるため、画像情報を得ることができない。したがって、黒く塗りつぶす処理を行うとともに、車両１の存在位置には、車両１を俯瞰したアイコンを表示することによって、車両１と周辺との位置関係を、より明確に表現する。
Therefore, in the case of the present embodiment, as shown by the four line segments diagonally drawn in FIG. 5, joints between images photographed by adjacent photographing means are set and separated by the respective joints. In each area, an image obtained by the photographing means 30 that has photographed the direction of the area is drawn, and an image protruding from each area is photographed by the adjacent photographing means 30 in accordance with the rule of discarding. It is assumed that the joints of the captured images are processed. Of course, the joint process is not limited to this, and may be performed using other rules.
In addition, since the nearest position of the vehicle 1 is a blind spot of the photographing means 30, image information cannot be obtained. Therefore, the process of painting out in black is performed, and an icon overlooking the vehicle 1 is displayed at the position where the vehicle 1 is present, thereby expressing the positional relationship between the vehicle 1 and the surroundings more clearly.
次に、第２仮想画像生成手段６０において、撮影手段３０で撮影された画像Ｉ1（ｘ、ｙ）、Ｉ2（ｘ、ｙ）、Ｉ3（ｘ、ｙ）、Ｉ4（ｘ、ｙ）を、図４の第１距離マーカＬ２の位置で第１仮想画像と連続するように、それぞれ座標変換することによって、第２仮想画像が生成される（図１０のＳ１２）。 Next, in the second virtual image generating means 60, the images I 1 (x, y), I 2 (x, y), I 3 (x, y), I 4 (x, y) taken by the photographing means 30 are displayed. ) Are respectively coordinate-transformed so as to be continuous with the first virtual image at the position of the first distance marker L2 in FIG. 4 to generate a second virtual image (S12 in FIG. 10).
第２仮想画像は、具体的には、以下のようにして生成される。 Specifically, the second virtual image is generated as follows.
まず、本車両用周辺監視装置２を動作させる前に、撮影手段３０に使用する光学系のパラメータと、撮影手段３０の取り付け位置のパラメータと、図４に記載した第１距離マーカの位置情報とを用いて、座標変換前後の座標値の関係を計算によって算出し、その結果を格納した第２座標変換テーブルを作成し、作成した第２座標変換テーブルを第２座標変換データ格納部６２に格納しておく。 First, before operating the vehicle periphery monitoring device 2, the parameters of the optical system used for the imaging unit 30, the parameters of the mounting position of the imaging unit 30, and the position information of the first distance marker shown in FIG. Is used to calculate a relationship between coordinate values before and after coordinate conversion, create a second coordinate conversion table storing the result, and store the generated second coordinate conversion table in the second coordinate conversion data storage unit 62 Keep it.
次に、第２座標変換テーブルに対して、車両１から第１距離マーカＬ２の範囲にマスクＣをかけ、このマスクＣがかかっていない範囲に対応する第２座標変換テーブルを使って、第２仮想画像生成部６４において、座標変換を行う。
座標変換の結果、図６に示すＮ１の領域に画像Ｉ1（ｘ、ｙ）を座標変換した結果が格納され、Ｎ２の領域に画像Ｉ2（ｘ、ｙ）を座標変換した結果が格納され、Ｎ３の領域に画像Ｉ3（ｘ、ｙ）を座標変換した結果が格納され、Ｎ４の領域に画像Ｉ4（ｘ、ｙ）を座標変換した結果が格納される。
Next, a mask C is applied to the range of the first distance marker L2 from the vehicle 1 to the second coordinate conversion table, and the second coordinate conversion table corresponding to the range where the mask C is not applied is used to set the second coordinate conversion table. The virtual image generation unit 64 performs coordinate conversion.
As a result of the coordinate conversion, the result of coordinate conversion of the image I 1 (x, y) is stored in the area N1 shown in FIG. 6, and the result of the coordinate conversion of the image I 2 (x, y) is stored in the area N2. , The result of coordinate transformation of the image I 3 (x, y) is stored in the region N3, and the result of coordinate transformation of the image I 4 (x, y) is stored in the region N4.
なお、隣り合った撮影手段で撮影した画像の繋ぎ目は、第１仮想画像と同様に処理される。 In addition, the joint of the image image | photographed with the adjacent imaging | photography means is processed similarly to a 1st virtual image.
次に、第１画像合成手段９０において、先に生成された第１仮想画像と、第２仮想画像とが、１枚の画像に合成される（図１０のＳ１３）。 Next, in the first image synthesis means 90, the previously generated first virtual image and second virtual image are synthesized into one image (S13 in FIG. 10).
一方、図１０のＳ８において、最小値Ｄminが所定値Ｄ0以上であると判断されたとき（図１０のＳ８がＮｏのとき）は、第１仮想画像生成手段５０において、画像Ｉ1（ｘ、ｙ）、画像Ｉ2（ｘ、ｙ）、画像Ｉ3（ｘ、ｙ）、画像Ｉ4（ｘ、ｙ）が、それぞれ第１仮想画像に変換される（図１０のＳ１０）。ここでは、図１０のＳ１１のように、車両１から第１距離マーカＬ２の範囲に限定することなく、第１仮想画像が生成される。 On the other hand, in S8 in FIG. 10, when the minimum value Dmin is determined to be the predetermined value D 0 or more (when S8 in FIG. 10 is No), the first virtual image generation unit 50, the image I 1 (x , Y), the image I 2 (x, y), the image I 3 (x, y), and the image I 4 (x, y) are each converted into a first virtual image (S10 in FIG. 10). Here, the first virtual image is generated without being limited to the range of the first distance marker L2 from the vehicle 1 as in S11 of FIG.
次に、図１０のＳ１３で生成された、第１仮想画像と第２仮想画像の合成画像、もしくは、図１０のＳ１０で生成された第１仮想画像に対して、第２距離マーカ設定手段８０によって予め作成された、車両１から互いに異なる複数の所定距離の位置に設けた第２距離マーカＰｉのうち、第１仮想画像の中に位置する第２距離マーカＰｊが、第１画像合成手段９０によって合成される（図１０のＳ１４）。
第２距離マーカＰｉは、図８に示すように、車両１からの距離が、Ｐ１＝０．５ｍ、Ｐ２＝１ｍ、Ｐ３＝１．５ｍ、Ｐ４＝２ｍ、Ｐ５＝２．５ｍ、Ｐ６＝３ｍの位置に設置されているものとし、各マーカが表す距離に応じて、その表示色や表示形態（線の太さや線の種類）が異なるものとする。
本実施例の場合、第１仮想画像と第２仮想画像の合成画像に対して、車両１からの距離が０．５ｍの位置に設置された第２距離マーカＰ１と、車両１からの距離が１ｍの位置に設置された第２距離マーカＰ２とが合成される。このように、第２距離マーカを合成することによって、画像を見た運転者は、障害物までの距離を直感的に把握できる。
一方、図１０のＳ１０で生成された第１仮想画像に対しては、その全体に第２距離マーカＰｉが合成される。
なお、本実施例では、車両１から同じ距離を表す位置に第１距離マーカＬｉと第２距離マーカＰｉとを設定したが、これは、異なる距離の位置に設定しても構わない。
このようにして、図７に示す合成画像が得られる。この合成画像は、図１に図示しないＤ／Ａ変換器にてコンポーネント信号に再構成され、さらに、図示しないエンコーダによってコンポジット信号に変換されて、車両１に設置された、液晶モニタから構成された画像表示手段１００に表示される（図１０のＳ１５）。運転者は、画像表示手段１００に表示された画像を確認しながら、障害物２００ｃを回避して駐車操作を継続する。
Next, the second distance marker setting means 80 is applied to the composite image of the first virtual image and the second virtual image generated in S13 of FIG. 10 or the first virtual image generated in S10 of FIG. The second distance marker Pj located in the first virtual image among the second distance markers Pi provided in advance at a plurality of predetermined distance positions different from the vehicle 1 is the first image composition means 90. (S14 in FIG. 10).
As shown in FIG. 8, the second distance marker Pi has distances from the vehicle 1 of P1 = 0.5 m, P2 = 1 m, P3 = 1.5 m, P4 = 2 m, P5 = 2.5 m, P6 = 3 m. It is assumed that the display color and display form (line thickness and line type) differ according to the distance represented by each marker.
In the case of the present embodiment, the distance from the vehicle 1 and the second distance marker P1 installed at a position where the distance from the vehicle 1 is 0.5 m with respect to the composite image of the first virtual image and the second virtual image is The second distance marker P2 installed at the position of 1 m is synthesized. Thus, by synthesizing the second distance marker, the driver who has seen the image can intuitively grasp the distance to the obstacle.
On the other hand, the second distance marker Pi is combined with the first virtual image generated in S10 of FIG.
In the present embodiment, the first distance marker Li and the second distance marker Pi are set at positions representing the same distance from the vehicle 1, but they may be set at different distance positions.
In this way, the composite image shown in FIG. 7 is obtained. This composite image is composed of a liquid crystal monitor that is reconstructed into a component signal by a D / A converter (not shown in FIG. 1), converted into a composite signal by an encoder (not shown), and installed in the vehicle 1. It is displayed on the image display means 100 (S15 in FIG. 10). While confirming the image displayed on the image display means 100, the driver avoids the obstacle 200c and continues the parking operation.
なお、上記の処理を行っている間も、車速検出部２８により、車両１の車速は常に検出されており、車速が所定値を上回ったとき（図１０のＳ１６がＹｅｓのとき）は、運転者が表示用モニタに気をとられないよう、画像を非表示にして（図１０のＳ１８）、イグニッションスイッチ状態判断部２２によってイグニッションスイッチがＯＮであることを確認して（図１０のＳ１９がＮｏのとき）、図１０のＳ２に戻る。 During the above processing, the vehicle speed detection unit 28 always detects the vehicle speed of the vehicle 1 and when the vehicle speed exceeds a predetermined value (when S16 in FIG. 10 is Yes) The image is not displayed (S18 in FIG. 10) so that the user is not distracted by the display monitor (S18 in FIG. 10), and the ignition switch state determination unit 22 confirms that the ignition switch is ON (S19 in FIG. 10). When No), the process returns to S2 of FIG.
さらに、終了スイッチ２６が操作されたとき（図１０のＳ１７がＹｅｓのとき）も、画像を非表示にして（図１０のＳ１８）、イグニッションスイッチ状態判断部２２によってイグニッションスイッチがＯＮであることを確認して（図１０のＳ１９がＮｏのとき）、図１０のＳ２に戻る。 Furthermore, when the end switch 26 is operated (when S17 in FIG. 10 is Yes), the image is not displayed (S18 in FIG. 10), and the ignition switch state determination unit 22 confirms that the ignition switch is ON. After confirming (when S19 in FIG. 10 is No), the process returns to S2 in FIG.
また、イグニッションスイッチ状態判断部２２によってイグニッションスイッチがＯＦＦであることが確認されたとき（図１０のＳ１９がＹｅｓのとき）は、処理を終了する。 When the ignition switch state determination unit 22 confirms that the ignition switch is OFF (when S19 in FIG. 10 is Yes), the process ends.
なお、本実施例において、距離センサの出力であるＤ＝１．３ｍの位置ではなく、Ｄ＝１．３ｍを超えない最大距離を示す第１距離マーカＬ２の位置で、第１仮想画像と第２仮想画像を合成したが、これは、時間とともに障害物までの距離が変化したとき、それに伴って、第１仮想画像と第２仮想画像との繋ぎ目の位置が頻繁に変化してしまうと、運転者に提示される合成画像がちらついて、運転者が目障りに感じるためである。 In this embodiment, the first virtual image and the first virtual image are not located at the position of D = 1.3 m, which is the output of the distance sensor, but at the position of the first distance marker L2 indicating the maximum distance not exceeding D = 1.3 m. Two virtual images were synthesized. This is because when the distance to the obstacle changes with time, the position of the joint between the first virtual image and the second virtual image changes frequently. This is because the composite image presented to the driver flickers and the driver feels uncomfortable.
本実施例のような構成をとることによって、隣り合う２つの第１距離マーカに挟まれたゾーンが形成され、障害物までの距離が、あるゾーンに属しているときは、そのゾーンと１対１に対応する第１距離マーカの位置で、第１仮想画像と第２仮想画像とが繋ぎ合わされるため、車両１や障害物が多少移動しても、第１仮想画像と第２仮想画像の繋ぎ目の位置は即座には変更されない。したがって、表示画像の安定性が向上し、見やすい画像を提供することができる。 By adopting the configuration as in the present embodiment, a zone sandwiched between two adjacent first distance markers is formed, and when the distance to an obstacle belongs to a certain zone, a pair with that zone is formed. Since the first virtual image and the second virtual image are connected at the position of the first distance marker corresponding to 1, even if the vehicle 1 or an obstacle moves slightly, the first virtual image and the second virtual image The position of the seam is not changed immediately. Therefore, the stability of the display image is improved and an easy-to-see image can be provided.
以上説明したように、このように構成された第１実施形態に係る車両用周辺監視装置２によれば、車両１周辺に障害物が検出されたとき、車両１から、検出された障害物までの距離に応じた位置で、車両１を俯瞰した画像と、撮影手段によって撮影された画像とが連続するように合成して表示する構成としたため、障害物を歪みなく表示することができるようになる。 As described above, according to the vehicle periphery monitoring device 2 according to the first embodiment configured as described above, when an obstacle is detected around the vehicle 1, from the vehicle 1 to the detected obstacle. Since an image obtained by looking down at the vehicle 1 at a position corresponding to the distance and an image photographed by the photographing means are combined and displayed so that the obstacle can be displayed without distortion. Become.
ちなみに、車両１の全周囲に亘って、第１仮想画像のみで１枚の画像を生成すると、図９のような画像が得られる。図９に示すように、路面から高さがある障害物２００ｃは、車両１から遠方に倒れ込んだ、歪みを有する変換像Ｏ２として画像化される。 Incidentally, when one image is generated only by the first virtual image over the entire periphery of the vehicle 1, an image as shown in FIG. 9 is obtained. As shown in FIG. 9, the obstacle 200 c having a height from the road surface is imaged as a transformed image O <b> 2 having a distortion that has fallen far away from the vehicle 1.
これ対し、本発明によって生成した車両周囲の画像は、図７のように、障害物２００ｃが、歪みのない変換像Ｏ１として画像化される。 On the other hand, in the image around the vehicle generated by the present invention, the obstacle 200c is imaged as a transformed image O1 without distortion as shown in FIG.
なお、本実施例では、車両周囲に４台のカメラ３１−３４と、４つの測距部４１−４４を有する構成にて説明を行ったが、カメラと測距部は、車両の一部にのみ設置されていても構わない。即ち、車両１の前部に第１カメラ３１と第１測距部４１を有し、車両１の後部に第３カメラ３３と第３測距部４３を有する構成でも、車両１の前方と後方について、本実施例と同様の効果を得ることが可能である。 In the present embodiment, the description has been made with the configuration having the four cameras 31-34 and the four distance measuring units 41-44 around the vehicle. However, the camera and the distance measuring unit are part of the vehicle. It may be installed only. That is, even in the configuration in which the first camera 31 and the first distance measuring unit 41 are provided in the front part of the vehicle 1 and the third camera 33 and the third distance measuring part 43 are provided in the rear part of the vehicle 1, The same effects as in the present embodiment can be obtained.
また、本実施例では、測距範囲選択部４５において、障害物までの距離を用いて、使用する測距部が選択される構成で説明したが、これは、測距範囲選択部４５において、各測距部から出力される障害物までの距離の時間変化を用いて判断してもよい。すなわち、障害物までの距離が、時間とともに近づいていることが検出されたときには、その方向を観測している測距部を選択するようにしてもよい。 In the present embodiment, the distance measurement range selection unit 45 has been described with the configuration in which the distance measurement unit to be used is selected using the distance to the obstacle. You may judge using the time change of the distance to the obstruction output from each ranging part. That is, when it is detected that the distance to the obstacle is approaching with time, the distance measuring unit observing the direction may be selected.
これにより、例えば、縦列駐車を行うために後退しているとき、進行方向である後方のみならず、車両の後退とともに障害物が接近してくる、車両の左前方、もしくは右前方も測距範囲とすることができるため、車両周辺の必要な領域を、漏れなく画像化することができる。 Thus, for example, when reversing to perform parallel parking, not only the rear that is the direction of travel, but also obstacles approach as the vehicle retreats. Therefore, a necessary area around the vehicle can be imaged without omission.
本実施例は、本発明を、車両１に設置された複数のカメラで撮影した車両１周辺の状況を、運転者に見やすい形態で表示することができる、車両用周辺監視装置３に適用したものである。特に、本実施例は、車両１周辺に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両１周辺の画像を、よりわかりやすい形態に変換して、車内のモニタに表示するものである。 In this embodiment, the present invention is applied to a vehicle periphery monitoring device 3 that can display the situation around the vehicle 1 captured by a plurality of cameras installed in the vehicle 1 in a form that is easy for the driver to see. It is. In particular, the present embodiment includes obstacle detection means around the vehicle 1, and based on the output of the obstacle detection means, an image around the vehicle 1 is converted into a more easily understood form and displayed on a monitor inside the vehicle. Is.
図１１は、本発明の実施形態に係る車両用周辺監視装置３の構成を示すブロック図である。本実施例に係る車両用周辺監視装置３は、図１１に示す通り、車両１（図２に示す）に設置され、車両用周辺監視装置２の起動操作、終了操作を検出する起動・終了検出手段２０と、車両１の進行方向を検出する進行方向検出手段１０と、車両周辺の画像を撮影する複数のカメラで構成された撮影手段３０と、車両１の周辺の障害物の有無を検出し、その障害物までの距離に対応する値を出力する障害物検出手段４０と、撮影手段３０で撮影された画像を、車両１の上空から見下ろした仮想画像に変換する第３仮想画像生成手段５５と、撮影手段３０で撮影した画像の中の、障害物検出手段４０で検出した障害物までの距離よりも遠方にある領域について、障害物までの距離に対応する位置において、前記第１仮想画像と連続するように座標変換を行う第４仮想画像生成手段６５と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第１距離マーカ設定手段７０と、車両１から所定距離の位置に、車両１からの距離が互いに異なる、複数の距離マーカを設定する第２距離マーカ設定手段８０と、第３仮想画像と第４仮想画像とを１枚の画像に合成する第２画像合成手段９５と、前記第２画像合成手段９５によって合成された画像を表示する画像表示手段１００とからなる。ここで、進行方向検出手段１０は、詳しくは、車両１のシフトポジションを検出するシフトポジション検出部１２と、車両１の操舵角を検出する操舵角検出部１４とからなる。 FIG. 11 is a block diagram showing a configuration of the vehicle periphery monitoring device 3 according to the embodiment of the present invention. The vehicle periphery monitoring device 3 according to the present embodiment is installed in the vehicle 1 (shown in FIG. 2) as shown in FIG. 11, and the start / end detection for detecting the start operation and the end operation of the vehicle periphery monitoring device 2 is performed. Means 20, traveling direction detection means 10 for detecting the traveling direction of the vehicle 1, photographing means 30 composed of a plurality of cameras for photographing images around the vehicle, and the presence or absence of obstacles around the vehicle 1 are detected. The obstacle detection means 40 for outputting a value corresponding to the distance to the obstacle, and the third virtual image generation means 55 for converting the image photographed by the photographing means 30 into a virtual image looking down from above the vehicle 1. And the first virtual image at a position corresponding to the distance to the obstacle in an area farther than the distance to the obstacle detected by the obstacle detection means 40 in the image photographed by the photographing means 30. Coordinates to be continuous with A fourth virtual image generating means 65 for performing a change, a first distance marker setting means 70 for setting a plurality of distance markers having different distances from the vehicle 1 at a predetermined distance from the vehicle 1, and a predetermined distance from the vehicle 1. Second distance marker setting means 80 for setting a plurality of distance markers whose distances from the vehicle 1 are different from each other at the position of the distance, and a second image for combining the third virtual image and the fourth virtual image into one image. The image synthesizing unit 95 and the image display unit 100 for displaying the image synthesized by the second image synthesizing unit 95 are provided. Here, the traveling direction detection means 10 includes a shift position detection unit 12 that detects the shift position of the vehicle 1 and a steering angle detection unit 14 that detects the steering angle of the vehicle 1.
起動・終了検出手段２０は、詳しくは、車両１のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断部２２と、車両用周辺監視装置３の起動を指示する起動スイッチ２４と、車両用周辺監視装置３の動作終了を指示する終了スイッチ２６と、車両１の車速を検出する車速検出部２８とからなる。 Specifically, the start / end detection means 20 includes an ignition switch state determination unit 22 that determines the state of the ignition switch of the vehicle 1, a start switch 24 that instructs the start of the vehicle periphery monitoring device 3, and the vehicle periphery monitoring device. 3 and an end switch 26 for instructing the end of the operation, and a vehicle speed detection unit 28 for detecting the vehicle speed of the vehicle 1.
撮影手段３０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両周辺の画像情報を得る、隣り合う撮影領域が互いに重複するように配置された第１カメラ３１と、第２カメラ３２と、第３カメラ３３と、第４カメラ３４とからなる。 More specifically, the photographing means 30 is installed in the vicinity of the vehicle as shown in FIGS. 2A and 2B, and obtains image information around the vehicle, and is arranged such that adjacent photographing regions overlap each other. The camera 31, the second camera 32, the third camera 33, and the fourth camera 34 are included.
障害物検出手段４０は、詳しくは、図２（ａ）、（ｂ）のように車両の周辺に設置され、車両周辺の障害物までの距離を測定して出力する、第１測距部４１と、第２測距部４２と、第３測距部４３と、第４測距部４４と、進行方向検出手段１０の出力に基づいて使用する測距部を選択する測距範囲選択部４５と、測距範囲選択部４５で決定した測距部からの出力の最小値（最短距離値）を特定する最小距離値検出部４６と、最小距離値検出部４６で検出された最小値が、予め設定された所定値よりも小さい（近い）か否かを判定するしきい値処理部４７とからなる。 Specifically, the obstacle detection means 40 is installed in the vicinity of the vehicle as shown in FIGS. 2A and 2B, and measures and outputs the distance to the obstacle around the vehicle. A second distance measuring section 42, a third distance measuring section 43, a fourth distance measuring section 44, and a distance measuring range selecting section 45 for selecting a distance measuring section to be used based on the output of the traveling direction detecting means 10. A minimum distance value detecting unit 46 for specifying a minimum value (shortest distance value) of the output from the distance measuring unit determined by the distance measuring range selecting unit 45, and a minimum value detected by the minimum distance value detecting unit 46 are The threshold processing unit 47 determines whether or not the predetermined value is smaller (closer) than a predetermined value.
なお、撮影手段３０を構成するカメラ３１−３４、および、障害物検出手段４０を構成する測距部４１−４４は、図２（ａ）、（ｂ）に示すように、車両１に取り付けられている。その具体的なレイアウトは、第１実施例の通りである。 The cameras 31-34 constituting the photographing means 30 and the distance measuring parts 41-44 constituting the obstacle detecting means 40 are attached to the vehicle 1 as shown in FIGS. 2 (a) and 2 (b). ing. The specific layout is as in the first embodiment.
第３仮想画像生成手段５５は、第３仮想画像を生成するための座標変換用テーブルが格納された第１座標変換データ格納部５２と、第１座標変換データ格納部５２に格納されたテーブルに基づいて、第３仮想画像を生成する第３仮想画像生成部５４とからなる。 The third virtual image generation means 55 includes a first coordinate conversion data storage unit 52 in which a coordinate conversion table for generating a third virtual image is stored, and a table stored in the first coordinate conversion data storage unit 52. The third virtual image generation unit 54 generates a third virtual image based on the third virtual image.
第４仮想画像生成手段６５は、第４仮想画像を生成するための座標変換用テーブルが格納された第２座標変換データ格納部６２と、第２座標変換データ格納部６２に格納されたテーブルに基づいて、第４仮想画像を生成する第４仮想画像生成部６６と、第４仮想画像の描画範囲を決定する第４仮想画像描画範囲決定部６８とからなる。 The fourth virtual image generation unit 65 includes a second coordinate conversion data storage unit 62 that stores a coordinate conversion table for generating a fourth virtual image, and a table stored in the second coordinate conversion data storage unit 62. Based on the fourth virtual image generation unit 66 that generates the fourth virtual image, and a fourth virtual image drawing range determination unit 68 that determines the drawing range of the fourth virtual image.
次に、本実施例に係る車両用周辺監視装置３の作用について、図１２のフローチャートに基づいて説明する。本実施例に係る車両用周辺監視装置３は、車両の駐車時や狭い場所での切り返し時に利用され、車両周辺の画像をわかりやすい形態に変換して運転者に呈示し、運転動作を補助するものである。 Next, the operation of the vehicle periphery monitoring device 3 according to the present embodiment will be described based on the flowchart of FIG. The vehicle periphery monitoring device 3 according to the present embodiment is used when a vehicle is parked or turned back in a narrow place, converts an image around the vehicle into an easy-to-understand form, presents it to the driver, and assists the driving operation. It is.
ここで、車両１が駐車のために前方に向かって前進している場面について、本実施例の車両用周辺監視装置３の動作を説明する。 Here, the operation | movement of the vehicle periphery monitoring apparatus 3 of a present Example is demonstrated about the scene where the vehicle 1 is moving ahead for parking.
車両１は、図３に示すように、２本のレーンマーカ２００ａ、２００ｂの間にあり、かつ、車両１の左前方に、アルファベットのＡの形状を模した障害物２００ｃが置かれているものとする。そして、車両１の運転者は、矢印２００ｅで示すように、障害物２００ｃを回避して、車両１を前方の駐車スペース２００ｄまで誘導しているものとする。
イグニッションスイッチ状態判断部２２によって、車両１のイグニッションがＯＮになっていることが確認されると（図１２のＳ１がＹｅｓのとき）、以下の一連の処理が開始される。
運転者は、車両１周辺の画像を監視したいとき、車内に設置された起動スイッチ２４を操作する。起動スイッチ２４が操作されると（図１２のＳ２がＹｅｓのとき）、第１カメラ３１から第４カメラ３４で撮影された画像は、それぞれ、図１１に図示しない、各カメラ３１−３４の後段に接続されたデコーダによって、コンポジット信号からコンポーネント信号に変換され、さらに、コンポーネント信号のうち輝度信号は、図１１に図示しないＡ／Ｄ変換器を通して、ディジタル化されたディジタル画像に変換される（図１２のＳ３）。第１カメラ３１から第４カメラ３４で撮影されたディジタル画像を、各々Ｉ1（ｘ、ｙ）、Ｉ2（ｘ、ｙ）、Ｉ3（ｘ、ｙ）、Ｉ4（ｘ、ｙ）とする。
As shown in FIG. 3, the vehicle 1 is between two lane markers 200 a and 200 b, and an obstacle 200 c simulating the shape of the alphabet A is placed on the left front side of the vehicle 1. To do. And the driver | operator of the vehicle 1 shall guide the vehicle 1 to the front parking space 200d avoiding the obstruction 200c, as shown by the arrow 200e.
When the ignition switch state determination unit 22 confirms that the ignition of the vehicle 1 is ON (when S1 in FIG. 12 is Yes), the following series of processes is started.
When the driver wants to monitor an image around the vehicle 1, the driver operates an activation switch 24 installed in the vehicle. When the start switch 24 is operated (when S2 in FIG. 12 is Yes), the images taken by the first camera 31 to the fourth camera 34 are respectively subsequent to the cameras 31-34 not shown in FIG. A composite signal is converted into a component signal by a decoder connected to the signal, and a luminance signal among the component signals is converted into a digitized digital image through an A / D converter not shown in FIG. 12 S3). Digital images taken by the first camera 31 to the fourth camera 34 are respectively represented as I 1 (x, y), I 2 (x, y), I 3 (x, y), I 4 (x, y). To do.
なお、起動スイッチ２４が操作されると、障害物検出手段４０によって、車両周辺の測距が開始される。 When the activation switch 24 is operated, the obstacle detection means 40 starts distance measurement around the vehicle.
この時、まず、第３仮想画像生成手段５５によって、画像Ｉ1（ｘ、ｙ）、Ｉ2（ｘ、ｙ）、Ｉ3（ｘ、ｙ）、Ｉ4（ｘ、ｙ）の各々が、車両１の真上に設置した仮想視点から、車両１を見下ろした第３仮想画像に変換される（図１２のＳ４）。 At this time, first, each of the images I 1 (x, y), I 2 (x, y), I 3 (x, y), I 4 (x, y) is converted by the third virtual image generating means 55. The virtual viewpoint installed directly above the vehicle 1 is converted into a third virtual image looking down at the vehicle 1 (S4 in FIG. 12).
この変換は、予め、座標変換テーブルを準備しておき、この座標変換テーブルを参照して、入力された画像の座標値を置き換えることによって行われる。 This conversion is performed by preparing a coordinate conversion table in advance and replacing the coordinate value of the input image with reference to this coordinate conversion table.
すなわち、第１座標変換データ格納部５２に、予め作成した、仮想視点の位置と、画像を観測する方向と、観測する範囲とによって決定する第１座標変換テーブルを格納しておき、第３仮想画像生成部５４において、撮影手段３０で撮影された各々の画像の座標値を、第１座標変換テーブルによって示された座標値に置き換えることによって、第３仮想画像が生成される。 In other words, the first coordinate conversion data storage unit 52 stores a first coordinate conversion table that is determined in advance based on the position of the virtual viewpoint, the direction in which the image is observed, and the range to be observed. In the image generation unit 54, the third virtual image is generated by replacing the coordinate value of each image photographed by the photographing means 30 with the coordinate value indicated by the first coordinate conversion table.
なお、この時、進行方向検出手段１０によって、車両の進行方向の検出が開始される。車両の進行方向は、シフトポジション検出部１２で検出されたシフトポジションと、操舵角検出部１４で検出された操舵角とによって決定される（図１２のＳ５）。 At this time, the traveling direction detection means 10 starts detecting the traveling direction of the vehicle. The traveling direction of the vehicle is determined by the shift position detected by the shift position detection unit 12 and the steering angle detected by the steering angle detection unit 14 (S5 in FIG. 12).
このようにして検出された進行方向の情報は、障害物検出手段４０に送られ、測距範囲選択部４５において、測距部４１−４４の中から、検出された進行方向の範囲を測距している、１つもしくは複数の測距部が選択される（図１２のＳ６）。ここで選択された測距部を測距部Ｋと呼ぶことにする。 Information on the direction of travel detected in this manner is sent to the obstacle detection means 40, and the distance measurement range selection unit 45 measures the range of the detected direction of travel from the distance measurement units 41-44. One or a plurality of distance measuring units are selected (S6 in FIG. 12). The distance measuring unit selected here will be referred to as a distance measuring unit K.
続いて、測距範囲選択部４５において選択された測距部Ｋから、その測距部Ｋを構成する測距部に備えられた、全ての距離センサの出力Ｄが読み出され（図１２のＳ７）、最小距離値検出部４６にて、距離センサの出力の最小値Ｄmin（以下、単に最小値Ｄminと呼ぶ）が算出される（図１２のＳ８）。 Subsequently, the outputs D of all the distance sensors provided in the distance measuring section constituting the distance measuring section K are read from the distance measuring section K selected by the distance measuring range selecting section 45 (FIG. 12). In S7), the minimum distance value detector 46 calculates the minimum value Dmin of the distance sensor (hereinafter simply referred to as the minimum value Dmin) (S8 in FIG. 12).
次に、しきい値処理部４７において、最小値Ｄminが、距離の所定値Ｄ0（以下、単に所定値Ｄ0と呼ぶ）より小さい（近い）か否かが判断される（図１２のＳ９）。ここで、所定値Ｄ0は、運転者に対して、障害物の存在を注意喚起する必要がある最小距離を示す値であり、装置の設計パラメータとして、予め設定されたものである。
最小値Ｄminが所定値Ｄ0より小さいとき（図１２のＳ９がＹｅｓのとき）は、最小値Ｄminの値が、第４仮想画像生成手段６５に対して出力され、処理は図１２のＳ１０に進む。一方、最小値Ｄminが所定値Ｄ0以上であるとき（図１２のＳ９がＮｏのとき）は、図１２のＳ１３に進む。
例えば、図３の状態にあるときは、車両１の進行方向は前方であると判定され、測距範囲選択部４５において、測距部Ｋとして第１測距部４１が選択される。そして、図１２のＳ１０において、第１測距部４１を構成する１つもしくは複数の距離センサの出力の最小値Ｄminが、所定値Ｄ0より小さいとき、最小値Ｄminが、第４仮想画像生成手段６５に送られる。さらに、第４仮想画像描画範囲決定部６８において、第１距離マーカ設定手段７０で設定された、車両１からの距離が互いに異なる複数の第１距離マーカＬｉのうち、最小値Ｄminを超えない、最大の距離を表す第１距離マーカＬｊが選択される。
Next, the threshold processing unit 47 determines whether or not the minimum value Dmin is smaller (closer) than a predetermined distance value D 0 (hereinafter simply referred to as a predetermined value D 0 ) (S9 in FIG. 12). ). Here, the predetermined value D 0 is a value indicating the minimum distance that needs to alert the driver to the presence of an obstacle, and is set in advance as a device design parameter.
When the minimum value Dmin is smaller than the predetermined value D 0 (when S9 in FIG. 12 is Yes), the value of the minimum value Dmin is output to the fourth virtual image generation means 65, and the process proceeds to S10 in FIG. move on. On the other hand, when the minimum value Dmin is the predetermined value D 0 or more (when S9 in FIG. 12 is No), the process proceeds to S13 in FIG. 12.
For example, when the vehicle 1 is in the state of FIG. 3, it is determined that the traveling direction of the vehicle 1 is forward, and the first ranging unit 41 is selected as the ranging unit K in the ranging range selection unit 45. Then, in S10 of FIG. 12, when the minimum value Dmin of the output of the one or more distance sensors constituting the first distance measuring unit 41 is smaller than the predetermined value D 0, the minimum value Dmin is, the fourth virtual image generation Sent to means 65. Further, in the fourth virtual image drawing range determination unit 68, the minimum value Dmin is not exceeded among the plurality of first distance markers Li set by the first distance marker setting means 70 and having different distances from the vehicle 1. A first distance marker Lj representing the maximum distance is selected.
第１距離マーカＬｊを選択する手続きは、第１実施例と同様であるため、ここでは説明を割愛する。 Since the procedure for selecting the first distance marker Lj is the same as that in the first embodiment, the description is omitted here.
本実施例の場合、第１測距部４１から、最小値Ｄminとして、１．３ｍという値が出力されたとすると、車両１から１ｍ離れた位置に設定された第１距離マーカＬ２が選択される。 In the case of the present embodiment, if a value of 1.3 m is output from the first distance measuring unit 41 as the minimum value Dmin, the first distance marker L2 set at a position 1 m away from the vehicle 1 is selected. .
次に、第４仮想画像生成手段６５において、撮影手段３０で撮影された画像Ｉ1（ｘ、ｙ）、Ｉ2（ｘ、ｙ）、Ｉ3（ｘ、ｙ）、Ｉ4（ｘ、ｙ）の中で、図４の第１距離マーカＬ２よりも車両１に対して遠方にある領域を、図４の第１距離マーカＬ２の位置で第３仮想画像と連続するように、それぞれ座標変換して、第４仮想画像が生成される（図１２のＳ１１）。 Next, in the fourth virtual image generating means 65, the images I 1 (x, y), I 2 (x, y), I 3 (x, y), I 4 (x, y) taken by the photographing means 30 are displayed. ), The coordinates of the region farther from the vehicle 1 than the first distance marker L2 in FIG. 4 are converted so as to be continuous with the third virtual image at the position of the first distance marker L2 in FIG. Then, a fourth virtual image is generated (S11 in FIG. 12).
第４仮想画像の生成は、具体的には、以下のようにして行われる。 Specifically, the generation of the fourth virtual image is performed as follows.
まず、本実施例を動作させる前に、撮影手段３０に使用する光学系のパラメータと、撮影手段３０の取り付け位置のパラメータと、図４に記載した第１距離マーカの位置情報とを用いて、座標変換前後の座標値の関係を計算によって算出し、その結果を格納した第２座標変換テーブルを作成し、作成した第２座標変換テーブルを第２座標変換データ格納部６２に格納しておく。 First, before operating the present embodiment, using the parameters of the optical system used for the imaging means 30, the parameters of the attachment position of the imaging means 30, and the position information of the first distance marker described in FIG. A relationship between coordinate values before and after coordinate conversion is calculated, a second coordinate conversion table storing the result is created, and the created second coordinate conversion table is stored in the second coordinate conversion data storage unit 62.
次に、第２座標変換テーブルに対して、車両１から第１距離マーカＬ２の範囲にマスクＣをかけ、このマスクＣがかかっていない範囲に対応する第２座標変換テーブルを使って、第４仮想画像生成部６６において、座標変換を行う。
座標変換の結果、図６に示すＮ１の領域に画像Ｉ1（ｘ、ｙ）を座標変換した結果が格納され、Ｎ２の領域に画像Ｉ2（ｘ、ｙ）を座標変換した結果が格納され、Ｎ３の領域に画像Ｉ3（ｘ、ｙ）を座標変換した結果が格納され、Ｎ４の領域に画像Ｉ4（ｘ、ｙ）を座標変換した結果が格納される。
Next, a mask C is applied to the range of the first distance marker L2 from the vehicle 1 to the second coordinate conversion table, and the second coordinate conversion table corresponding to the range where the mask C is not applied is used to The virtual image generation unit 66 performs coordinate conversion.
As a result of the coordinate conversion, the result of coordinate conversion of the image I 1 (x, y) is stored in the area N1 shown in FIG. 6, and the result of the coordinate conversion of the image I 2 (x, y) is stored in the area N2. , The result of coordinate transformation of the image I 3 (x, y) is stored in the region N3, and the result of coordinate transformation of the image I 4 (x, y) is stored in the region N4.
なお、隣り合ったカメラで、互いに重複して撮影された領域は、第１実施例で説明した通り、予め設定された所定の繋ぎ目の位置で合成され、そこからはみ出した画像は切り捨てられる。 Note that, as described in the first embodiment, the areas that have been photographed by the cameras adjacent to each other are combined at a predetermined joint position, and the image protruding from the area is discarded.
次に、第２画像合成手段９５において、先に生成された第３仮想画像の中の対応する位置に、第４仮想画像が上書きされて、１枚の画像に合成される（図１２のＳ１２）。 Next, in the second image synthesizing unit 95, the fourth virtual image is overwritten at the corresponding position in the previously generated third virtual image and synthesized into one image (S12 in FIG. 12). ).
さらに、図１０のＳ１２で生成された、第３仮想画像と第４仮想画像の合成画像に、第２距離マーカ設定手段８０によって予め作成された、車両１から互いに異なる複数の所定距離の位置に設けた第２距離マーカＰｉのうち、第３仮想画像の中に位置する第２距離マーカＰｊが、第２画像合成手段９５によって合成される（図１２のＳ１３）。 Furthermore, the composite image of the third virtual image and the fourth virtual image generated in S12 of FIG. 10 is created in advance at a plurality of predetermined distance positions different from the vehicle 1 created by the second distance marker setting means 80 in advance. Among the provided second distance markers Pi, the second distance marker Pj located in the third virtual image is synthesized by the second image synthesis means 95 (S13 in FIG. 12).
第２距離マーカ設定手段８０によって、第１実施例で説明した第２距離マーカＰｉと同じもの（図８参照）が設定されているとすると、車両１からの距離が０．５ｍを表す第２距離マーカＰ１と、車両１からの距離が１ｍを表す第２距離マーカＰ２とが合成される。なお、図１２のＳ９において、最小値Ｄminが所定値Ｄ0以上であると判断されたとき（図１２のＳ９がＮｏのとき）は、図１２のＳ１３において、第３仮想画像の全体に第２距離マーカＰｉが合成される。
このようにして得られた図７に示す合成画像は、図１１に図示しないＤ／Ａ変換器にてコンポーネント信号に再構成され、さらに、図示しないエンコーダによってコンポジット信号に変換されて、車両１に設置された、液晶モニタから構成された画像表示手段１００に表示される（図１２のＳ１４）。運転者は、画像表示手段１００に表示された画像を確認しながら、障害物２００ｃを回避して駐車操作を継続する。
If the second distance marker setting means 80 sets the same distance marker Pi as that described in the first embodiment (see FIG. 8), the second distance from the vehicle 1 represents 0.5 m. The distance marker P1 and the second distance marker P2 that represents a distance of 1 m from the vehicle 1 are combined. Incidentally, in S9 in FIG. 12, when the minimum value Dmin is determined to be the predetermined value D 0 or more (when S9 in FIG. 12 is No), in S13 in FIG. 12, first the whole of the third virtual image A two-distance marker Pi is synthesized.
The composite image shown in FIG. 7 obtained in this way is reconstructed into a component signal by a D / A converter (not shown in FIG. 11), and further converted into a composite signal by an encoder (not shown). The image is displayed on the installed image display means 100 composed of a liquid crystal monitor (S14 in FIG. 12). While confirming the image displayed on the image display means 100, the driver avoids the obstacle 200c and continues the parking operation.
以後、車速の高さや終了スイッチ２６の操作、また、イグニッションスイッチの状態をモニタして、処理の流れが制御されるが、これは、第１実施例で説明した通りであるため、説明は割愛する。 Thereafter, the flow of processing is controlled by monitoring the height of the vehicle speed, the operation of the end switch 26, and the state of the ignition switch, but this is as described in the first embodiment, so the description is omitted. To do.
このように構成された第２実施形態に係る車両用周辺監視装置３によれば、車両１周辺に障害物が検出されたとき、車両１から、検出された障害物までの距離に応じた位置で、車両１を俯瞰した画像と、撮影手段によって撮影された画像とが連続するように合成して表示する構成としたため、障害物を歪みなく表示することができるようになる。 According to the vehicle periphery monitoring device 3 according to the second embodiment configured as described above, when an obstacle is detected around the vehicle 1, the position according to the distance from the vehicle 1 to the detected obstacle. Thus, since the image obtained by overlooking the vehicle 1 and the image photographed by the photographing means are combined and displayed so as to be continuous, the obstacle can be displayed without distortion.
特に、第２実施例によると、第３仮想画像と第４仮想画像の繋ぎ目の位置の計算が、第４仮想画像を生成する際に行う１回だけで済むため、画像の合成をより一層短時間で行うことができる。 In particular, according to the second embodiment, the calculation of the position of the joint between the third virtual image and the fourth virtual image only needs to be performed once when the fourth virtual image is generated. It can be done in a short time.
１０ 進行方向検出手段
２０ 起動・終了検出手段
３０ 撮影手段
４０ 障害物検出手段
５０ 第１仮想画像生成手段
６０ 第２仮想画像生成手段
７０ 第１距離マーカ設定手段
８０ 第２距離マーカ設定手段
９０ 第１画像合成手段
１００ 画像表示手段
DESCRIPTION OF SYMBOLS 10 Advancing direction detection means 20 Start / end detection means 30 Imaging means 40 Obstacle detection means 50 First virtual image generation means 60 Second virtual image generation means 70 First distance marker setting means 80 Second distance marker setting means 90 First Image composition means 100 Image display means
Claims (10)
前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、
前記車両の周辺に亘って前記車両からの距離が互いに異なる複数の位置に第１距離マーカを設定する、第１距離マーカ設定手段と、
前記画像の中で、前記複数の位置のうち、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両に近い範囲を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第１仮想画像に変換する第１仮想画像生成手段と、
前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両より遠い範囲を、前記第１仮想画像の、前記車両から遠方側の辺縁において、前記第１仮想画像と連続するように座標変換した第２仮想画像に変換する第２仮想画像生成手段と、
前記第１仮想画像と前記第２仮想画像とを１枚の画像に合成する第１画像合成手段と、
前記第１画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする車両用周辺監視装置。 Photographing means installed in a vehicle, photographing the periphery of the vehicle and outputting an image;
Obstacle detection means installed in the vehicle toward the photographing range of the photographing means and outputting the distance from the vehicle to the obstacle;
First distance marker setting means for setting a first distance marker at a plurality of positions at different distances from the vehicle around the vehicle;
In the image , a range close to the vehicle from the position of the first distance marker set at a position farthest from the vehicle that does not exceed the distance from the vehicle to the obstacle among the plurality of positions . A first virtual image generating means for converting the virtual viewpoint installed at a predetermined position above the vehicle into a first virtual image looking down on the vehicle;
A range farther from the vehicle than the position of the first distance marker set at a position farthest from the vehicle that does not exceed the distance from the vehicle to the obstacle is located on the far side of the first virtual image from the vehicle. A second virtual image generating means for converting into a second virtual image coordinate-converted so as to be continuous with the first virtual image at an edge;
First image synthesizing means for synthesizing the first virtual image and the second virtual image into one image;
A vehicle periphery monitoring apparatus comprising: an image display unit that displays an image synthesized by the first image synthesis unit.
前記車両に、前記撮影手段の撮影範囲に向けて設置され、前記車両から障害物までの距離を出力する障害物検出手段と、
前記画像を、前記車両上空の所定の位置に設置した仮想視点から前記車両を見下ろした第３仮想画像に変換する第３仮想画像生成手段と、
前記第３仮想画像の内部に前記車両の周辺に亘って前記車両からの距離が互いに異なる複数の位置に第１距離マーカを設定する、第１距離マーカ設定手段と、
前記複数の位置のうち、前記車両から障害物までの距離を超えない、前記車両から最も遠い位置に設定された前記第１距離マーカの位置から前記車両より遠い範囲を、前記第３仮想画像と連続するように座標変換した第４仮想画像に変換する第４仮想画像生成手段と、
前記第３仮想画像の上に、前記第４仮想画像を上書きする第２画像合成手段と、
前記第２画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする車両用周辺監視装置。 Photographing means installed in a vehicle, photographing the periphery of the vehicle and outputting an image;
Obstacle detection means installed in the vehicle toward the photographing range of the photographing means and outputting the distance from the vehicle to the obstacle;
A third virtual image generating means for converting the image into a third virtual image looking down on the vehicle from a virtual viewpoint installed at a predetermined position above the vehicle;
A first distance marker setting means for setting a first distance marker at a plurality of positions at different distances from the vehicle around the vehicle in the third virtual image;
Among the plurality of positions does not exceed the distance from the vehicle to the obstacle, the farther range than the vehicle from the position of the first distance marker set in the position farthest from the vehicle, the third virtual image image a fourth virtual image generating means for converting the fourth virtual image coordinate conversion so as to be continuous with,
Second image composition means for overwriting the fourth virtual image on the third virtual image;
A vehicle periphery monitoring apparatus comprising: an image display unit that displays an image synthesized by the second image synthesis unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014047362A JP5776995B2 (en) | 2014-03-11 | 2014-03-11 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014047362A JP5776995B2 (en) | 2014-03-11 | 2014-03-11 | Vehicle periphery monitoring device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010138931A Division JP2012001126A (en) | 2010-06-18 | 2010-06-18 | Vehicle surroundings monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014129093A JP2014129093A (en) | 2014-07-10 |
| JP5776995B2 true JP5776995B2 (en) | 2015-09-09 |
Family
ID=51407905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014047362A Active JP5776995B2 (en) | 2014-03-11 | 2014-03-11 | Vehicle periphery monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5776995B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016063390A (en) * | 2014-09-18 | 2016-04-25 | 富士通テン株式会社 | Image processing system and image display system |
| JP6224029B2 (en) | 2015-05-21 | 2017-11-01 | 富士通テン株式会社 | Image processing apparatus and image processing method |
| JP6444835B2 (en) | 2015-09-07 | 2018-12-26 | 株式会社東芝 | Image processing apparatus, image processing program, and image processing system |
| KR101740566B1 (en) * | 2015-10-12 | 2017-05-31 | 아진산업(주) | Equipment for installing stereo camera in car |
| JP6715205B2 (en) * | 2017-03-29 | 2020-07-01 | 日立建機株式会社 | Work machine surrounding image display device |
| DE102018102047A1 (en) | 2018-01-30 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | A method of representing a surrounding area of a motor vehicle with virtual, elongated distance markings in an image, computer program product, and display system |
| JP7183121B2 (en) * | 2019-06-25 | 2022-12-05 | 株式会社クボタ | work vehicle |
| CN113513984B (en) * | 2021-06-30 | 2024-01-09 | 广州小鹏自动驾驶科技有限公司 | Parking space recognition precision detection method and device, electronic equipment and storage medium |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3886376B2 (en) * | 2001-12-26 | 2007-02-28 | 株式会社デンソー | Vehicle perimeter monitoring system |
| JP3961969B2 (en) * | 2003-02-27 | 2007-08-22 | 株式会社日本自動車部品総合研究所 | Vehicle periphery image processing system |
| JP4590962B2 (en) * | 2004-07-21 | 2010-12-01 | 日産自動車株式会社 | Vehicle periphery monitoring device |
| JP4693561B2 (en) * | 2005-02-02 | 2011-06-01 | 株式会社オートネットワーク技術研究所 | Vehicle periphery monitoring device |
| JP4677847B2 (en) * | 2005-08-01 | 2011-04-27 | 日産自動車株式会社 | Vehicle surrounding monitoring apparatus and vehicle surrounding monitoring method |
| JP4769631B2 (en) * | 2006-05-16 | 2011-09-07 | アルパイン株式会社 | Vehicle driving support device and vehicle driving support method |
| JP2007336230A (en) * | 2006-06-15 | 2007-12-27 | Calsonic Kansei Corp | Onboard display system for displaying surrounding blind spot |
| JP5217152B2 (en) * | 2006-11-14 | 2013-06-19 | アイシン精機株式会社 | Vehicle periphery display device |
| JP2008271308A (en) * | 2007-04-23 | 2008-11-06 | Sanyo Electric Co Ltd | Image processor and method, and vehicle |
| JP5292874B2 (en) * | 2007-12-17 | 2013-09-18 | 富士通株式会社 | VEHICLE IMAGE PROCESSING DEVICE, VEHICLE IMAGE PROCESSING PROGRAM, AND VEHICLE IMAGE PROCESSING METHOD |
| JP5369465B2 (en) * | 2008-03-25 | 2013-12-18 | 富士通株式会社 | VEHICLE IMAGE PROCESSING DEVICE, VEHICLE IMAGE PROCESSING METHOD, AND VEHICLE IMAGE PROCESSING PROGRAM |
-
2014
- 2014-03-11 JP JP2014047362A patent/JP5776995B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014129093A (en) | 2014-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5776995B2 (en) | Vehicle periphery monitoring device | |
| EP2739050B1 (en) | Vehicle surroundings monitoring system | |
| JP5454934B2 (en) | Driving assistance device | |
| US11528413B2 (en) | Image processing apparatus and image processing method to generate and display an image based on a vehicle movement | |
| US9156402B2 (en) | Wide view vehicle periphery image generation apparatus | |
| JP4807104B2 (en) | Vehicle surrounding monitoring system and image display method | |
| JP4904997B2 (en) | Parking support method and parking support device | |
| WO2009151053A1 (en) | Parking assist apparatus and parking assist method | |
| JP5495071B2 (en) | Vehicle periphery monitoring device | |
| JP5724446B2 (en) | Vehicle driving support device | |
| JP2011188335A (en) | Vehicle surroundings monitoring device | |
| JP5251804B2 (en) | Driving assistance device | |
| JP2012001126A (en) | Vehicle surroundings monitoring device | |
| JP2006252389A (en) | Circumference-monitoring device | |
| JP5549235B2 (en) | Driving assistance device | |
| JP2019529242A (en) | Method of providing rearview mirror scene around vehicle | |
| JP6352797B2 (en) | Work machine ambient monitoring device | |
| JP2009065483A (en) | Parking support system | |
| JP2016063390A (en) | Image processing system and image display system | |
| WO2017038123A1 (en) | Device for monitoring area around vehicle | |
| JP5617396B2 (en) | Driving assistance device | |
| JP2014199677A (en) | Driving supporting device | |
| JP2012065225A (en) | In-vehicle image processing apparatus, periphery monitoring apparatus, and vehicle | |
| JP4059309B2 (en) | In-vehicle camera image display control method and apparatus | |
| JP2011211432A (en) | In-vehicle imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150625 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5776995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |