JP5273068B2 - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP5273068B2
JP5273068B2 JP2010042230A JP2010042230A JP5273068B2 JP 5273068 B2 JP5273068 B2 JP 5273068B2 JP 2010042230 A JP2010042230 A JP 2010042230A JP 2010042230 A JP2010042230 A JP 2010042230A JP 5273068 B2 JP5273068 B2 JP 5273068B2
Authority
JP
Japan
Prior art keywords
vehicle
image
viewpoint
periphery monitoring
detection means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010042230A
Other languages
Japanese (ja)
Other versions
JP2011182059A (en
Inventor
貴士 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2010042230A priority Critical patent/JP5273068B2/en
Publication of JP2011182059A publication Critical patent/JP2011182059A/en
Application granted granted Critical
Publication of JP5273068B2 publication Critical patent/JP5273068B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle periphery monitoring device which is advantageous in simply and smoothly performing the driving operation of a vehicle by appropriately displaying an image in the periphery of the vehicle. <P>SOLUTION: An image hand projection means 32 projects picked up image obtained from the respective cameras 12, 14, 16, 18 on an image projection surface 50 consisting of a virtual three-dimensional solid surface extending over the surrounding of the vehicle 2. A viewpoint conversion image generation means 38 generates a viewpoint converted image to be obtained by viewing the projected image in a direction D specified from a virtual viewpoint P located at a specified part by applying viewpoint conversion processing to the projected image projected on the image projection surface 50 by the image hand projection means 32. The viewpoint converted image is displayed on the display screen of the monitor 32. A viewpoint position direction determination means 44 determines the position and the direction D of the virtual viewpoint P on the basis of the detection result of a driving situation detection means 40 and the detection result of an approaching object detection means 42. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

本発明は、車両に設けられた複数のカメラによって得た撮像画像に基づいて生成した車両の周辺の画像を、車両の状況に応じてより適切な視点から見た画像として表示する車両周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that displays an image around a vehicle generated based on captured images obtained by a plurality of cameras provided in the vehicle, as an image viewed from a more appropriate viewpoint according to the situation of the vehicle. About.

従来、自動車に複数のカメラを設け、各カメラにより撮像した撮像画像を合成することで、自動車の周囲全周の俯瞰画像を生成し運転席の表示装置に表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある（特許文献１参照）。
例えば、複数のカメラとして、車両の前方を撮像する前方カメラと、車両の後方を撮像する後方カメラと、車両の左側方および右側方を撮像する左方カメラおよび右方カメラが設けられている場合を考える。
この場合、表示装置には、４つのカメラで撮像した前方、後方、左方、右方の４つの撮像画像を車両の前方、後方、左右の側方に配置した俯瞰画像が表示される。 Conventionally, driving in a parking lot or the like by providing a plurality of cameras in a car and combining the captured images taken by each camera to generate a bird's-eye view of the entire circumference of the car and displaying it on the display device of the driver's seat There is a vehicle periphery monitoring device that can be operated easily and safely (see Patent Document 1).
For example, when a plurality of cameras are provided, a front camera that captures the front of the vehicle, a rear camera that captures the rear of the vehicle, and a left camera and a right camera that capture the left and right sides of the vehicle think of.
In this case, a bird's-eye view image in which four captured images of front, rear, left, and right captured by four cameras are arranged on the front, rear, and left and right sides of the vehicle is displayed on the display device.

特開２００９−２３９６７４号公報JP 2009-239664 A

ところで、上記従来装置の場合、前方、後方、左方、右方の４つの撮像画像を地面（路面）の高さに位置する水平面に投影した俯瞰画像として合成することから、４つの撮像画像のつなぎ目の部分に死角が生じる場合がある。
そのため、運転者が俯瞰画像に違和感を感じたり、あるいは、死角に障害物が入ることにより、表示装置に表示されている俯瞰画像から障害物が一時的にあるいは部分的に消失するといった不都合が生じてしまう。
また、表示装置に表示される俯瞰画像は、車両上方に位置する仮想的な視点から車両およびその周辺を俯瞰した画像に相当するものである。そのため、例えば、駐車場の指定の場所が境界線で仕切られている場合、俯瞰画像で表示される境界線を目標として運転操作を行うことで車両を指定の場所に移動させることができる。
しかしながら、このような俯瞰画像は、通常、人が見ることができない視点から見た画像であることから、俯瞰画像だけを見て車両の移動方向を直感的に予測することはそれほど簡単ではない。
そのため、俯瞰画像だけ見ながら駐車する場合に、ステアリングの切り返し操作が多くなってしまうなど、俯瞰画像を見ながらの運転操作には、ある程度の訓練や慣れが要求されるものとなっている。
本発明は、このような事情に鑑みてなされたものであり、車両周辺の画像を適切に表示することで車両の運転操作を簡単かつ円滑に行う上で有利な車両周辺監視装置を提供することを目的とする。 By the way, in the case of the above-described conventional apparatus, the four captured images of the front, rear, left, and right are synthesized as an overhead image projected on a horizontal plane located at the height of the ground (road surface). There may be a blind spot at the joint.
As a result, the driver feels uncomfortable in the overhead view image, or an obstacle enters the blind spot, resulting in inconvenience that the obstacle disappears temporarily or partially from the overhead view image displayed on the display device. End up.
Further, the bird's-eye view image displayed on the display device corresponds to an image obtained by bird's-eye view of the vehicle and its surroundings from a virtual viewpoint located above the vehicle. Therefore, for example, when the designated place of the parking lot is partitioned by the boundary line, the vehicle can be moved to the designated place by performing the driving operation with the boundary line displayed in the overhead image as a target.
However, since such a bird's-eye view image is usually an image viewed from a viewpoint that cannot be seen by humans, it is not so easy to intuitively predict the moving direction of the vehicle by looking only at the bird's-eye view image.
Therefore, a certain amount of training and familiarity is required for the driving operation while looking at the bird's-eye view image. For example, when the vehicle is parked while looking only at the bird's-eye view image, the steering turning operation increases.
The present invention has been made in view of such circumstances, and provides a vehicle periphery monitoring device that is advantageous for easily and smoothly driving a vehicle by appropriately displaying an image around the vehicle. With the goal.

上述の目的を達成するため、本発明の車両周辺監視装置は、車両の周囲を互いに異なる前記車両の箇所から撮像して撮像画像を生成する複数のカメラと、前記各カメラから得られた前記撮像画像を前記車両の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影する画像投影手段と、前記画像投影面に投影された投影画像を視点変換処理することによって、指定された箇所に位置する仮想的な視点から指定された方向で前記投影画像を見ることによって得られる視点変換画像を生成する視点変換画像生成手段と、前記視点変換画像を表示画面に表示する表示装置と、前記車両の運転状況を検出する運転状況検出手段と、前記車両に物体が接近したことを検出する接近物体検出手段と、前記運転状況検出手段の検出結果と前記接近物体検出手段の検出結果とに基づいて、前記仮想的な視点の位置および方向を決定する視点位置方向決定手段とを備え、前記複数のカメラは前記車両の前部から前方を撮像する前方カメラを含み、前記車両が駐車場内に位置しているか、駐車場外に位置しているかを判定する位置検出手段と、前記位置検出手段により前記車両が前記駐車場外に位置していると判定されたときに前記前カメラで撮像された撮像画像を前記表示装置に表示させ、前記位置検出手段により前記車両が前記駐車場内に位置していると判定されたときに前記視点変換画像を表示画面に表示させる表示制御手段とをさらに備え、前記運転状況検出手段によって検出される前記車両の運転状況は前記車両の進行方向を含み、前記検出された前記進行方向に前記接近物体検出手段によって物体が位置していることが検出された場合に、前記視点位置方向決定手段は、前記仮想的な視点の位置を、前記車両の進行方向の前方でかつ上方の箇所に決定すると共に、前記方向を、前記仮想的な視点から前記画像投影面に投影された投影画像のうち前記車両および前記物体を含む部分を見下ろす方向に決定する、ことを特徴とする。 In order to achieve the above-described object, the vehicle periphery monitoring device of the present invention includes a plurality of cameras that capture images of the periphery of the vehicle from different locations of the vehicle and generate captured images, and the imaging obtained from the cameras. An image projecting means for projecting an image onto an image projection surface composed of a virtual three-dimensional solid surface extending over the periphery of the vehicle, and designation by performing a viewpoint conversion process on the projection image projected on the image projection surface Viewpoint conversion image generation means for generating a viewpoint conversion image obtained by viewing the projection image in a specified direction from a virtual viewpoint located at a specified location, and a display device for displaying the viewpoint conversion image on a display screen Driving status detection means for detecting the driving status of the vehicle, approaching object detection means for detecting that an object has approached the vehicle, and detection results of the driving status detection means, And a viewpoint position / direction determining unit that determines the position and direction of the virtual viewpoint based on the detection result of the approaching object detecting unit, and the plurality of cameras capture a front from the front of the vehicle. A position detecting means for determining whether the vehicle is located inside the parking lot or outside the parking lot, and the position detecting means determines that the vehicle is located outside the parking lot. Sometimes, the captured image captured by the front camera is displayed on the display device, and the viewpoint conversion image is displayed on the display screen when the position detecting means determines that the vehicle is located in the parking lot. further comprising a display control means for the operating conditions of the vehicle detected by said driving condition detecting means includes a traveling direction of the vehicle, the closer to the said detected traveling direction When it is detected by the body detection means that the object is located, the viewpoint position direction determination means determines the position of the virtual viewpoint at a position in front of and above the traveling direction of the vehicle. In addition, the direction is determined to be a direction in which a portion including the vehicle and the object is looked down in the projection image projected onto the image projection plane from the virtual viewpoint .

本発明によれば、運転状況および車両に接近する物体の有無に応じて車両の運転操作を行う上で適切な視点と方向から見た画像を表示させることができるので、車両の運転操作を簡単かつ円滑に行う上で有利となる。   According to the present invention, it is possible to display an image viewed from an appropriate viewpoint and direction in performing a driving operation of the vehicle according to the driving situation and the presence or absence of an object approaching the vehicle. In addition, it is advantageous for smooth execution.

本発明の実施の形態である車両周辺監視装置１０の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle periphery monitoring apparatus 10 which is embodiment of this invention. 車両周辺監視装置１０を構成する各カメラの配置とそれらカメラの撮像範囲を示す説明図である。It is explanatory drawing which shows arrangement | positioning of each camera which comprises the vehicle periphery monitoring apparatus 10, and the imaging range of these cameras. 画像投影面５０の説明図である。It is explanatory drawing of the image projection surface. 上方視点モードにおける各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係を示す説明図である。FIG. 6 is an explanatory diagram showing a correspondence relationship between imaging ranges A1, A2, A3, and A4 of cameras 12, 14, 16, and 18 in an upper viewpoint mode and a viewpoint conversion image displayed on a display screen 3202 of a monitor 32. 後方視点モードにおける各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係を示す説明図である。4 is an explanatory diagram showing a correspondence relationship between imaging ranges A1, A2, A3, and A4 of cameras 12, 14, 16, and 18 in a rear viewpoint mode and a viewpoint conversion image displayed on a display screen 3202 of a monitor 32. FIG. 前方視点モードにおける各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係を示す説明図である。6 is an explanatory diagram showing a correspondence relationship between imaging ranges A1, A2, A3, and A4 of cameras 12, 14, 16, and 18 in a forward viewpoint mode and a viewpoint conversion image displayed on a display screen 3202 of a monitor 32. FIG. 上方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in upper viewpoint mode. 上方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in upper viewpoint mode. 上方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in upper viewpoint mode. 後方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in back viewpoint mode. 後方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in back viewpoint mode. 後方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in back viewpoint mode. 前方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in front viewpoint mode. 前方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in front viewpoint mode. 前方視点モードにおいて表示される画面例を示す説明図である。It is explanatory drawing which shows the example of a screen displayed in front viewpoint mode. 車両２が駐車場で駐車する場合における車両周辺監視装置１０の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the vehicle periphery monitoring apparatus 10 in case the vehicle 2 parks in a parking lot. 第２の実施の形態における車両周辺監視装置１０の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle periphery monitoring apparatus 10 in 2nd Embodiment. 第２の実施の形態における車両周辺監視装置１０の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the vehicle periphery monitoring apparatus 10 in 2nd Embodiment. 前方カメラ画像モード時に表示される画像の説明図である。It is explanatory drawing of the image displayed at the time of a front camera image mode.

（第１の実施の形態）
次に本発明の実施の形態について説明する。
図１は本発明の実施の形態である車両周辺監視装置１０の構成を示すブロック図、図２は車両周辺監視装置１０を構成する各カメラの配置とそれらカメラの撮像範囲を示す説明図である。 (First embodiment)
Next, an embodiment of the present invention will be described.
FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device 10 according to an embodiment of the present invention, and FIG. 2 is an explanatory diagram showing an arrangement of cameras constituting the vehicle periphery monitoring device 10 and an imaging range of these cameras. .

車両周辺監視装置１０は、図１に示すように、前方カメラ１２、後方カメラ１４、左方カメラ１６、右方カメラ１８、ＥＣＵ（電子制御ユニット）２０、表示装置２２、シフト位置センサ２４、車速センサ２６、操舵角センサ２８などを含んで構成されている。   As shown in FIG. 1, the vehicle periphery monitoring device 10 includes a front camera 12, a rear camera 14, a left camera 16, a right camera 18, an ECU (electronic control unit) 20, a display device 22, a shift position sensor 24, a vehicle speed. The sensor 26 and the steering angle sensor 28 are included.

本実施の形態では、ＥＣＵ２０は、車両２（図２）に搭載されたナビゲーション装置３０との間でデータの授受が可能に構成されている。
ナビゲーション装置３０は、測位部３００２と、データベース３００４とを含んで構成されている。
測位部３００２は、ＧＰＳ衛星から送られてくるＧＰＳ信号を受信し、自車両の現在位置を検出するものであり、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づいて動作するものである。
データベース３００４は、道路、地形、施設形状などの地図情報の他、駐車場を含むさまざまな施設情報が格納されている。
ナビゲーション装置３０は、測位部３００２で測位された自車両の現在地に対応する地図情報や施設情報をデータベース３００４から読み出してＥＣＵ２０に供給する。
なお、車両周辺監視装置１０は、単独の装置として構成してもよく、あるいは、前記のナビゲーション装置３０に組み込むなど任意である。 In the present embodiment, ECU 20 is configured to be able to exchange data with navigation device 30 mounted on vehicle 2 (FIG. 2).
The navigation device 30 includes a positioning unit 3002 and a database 3004.
The positioning unit 3002 receives a GPS signal transmitted from a GPS satellite, detects the current position of the host vehicle, and operates based on GPS (Global Positioning System).
The database 3004 stores various facility information including parking lots in addition to map information such as roads, topography, and facility shapes.
The navigation device 30 reads map information and facility information corresponding to the current location of the host vehicle measured by the positioning unit 3002 from the database 3004 and supplies the map information to the ECU 20.
Note that the vehicle periphery monitoring device 10 may be configured as a single device, or may be arbitrarily incorporated into the navigation device 30 described above.

前方カメラ１２は、図２に示すように、例えば車両２前部のフロントグリル中央に取り付けられて車両２の前方を撮像するカメラである。
後方カメラ１４は、例えばリアウィンドウが設けられた車両２後部に取り付けられて車両２の後方を撮像するカメラである。
左方カメラ１６は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両２の左側方を撮像するカメラである。
右方カメラ１８は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両２の右側方を撮像するカメラである。
すなわち、これら４つのカメラ１２、１４、１６、１８は、車両２の周囲を互いに異なる車両２の箇所から撮像して撮像画像を生成するものである。
図２において、符号Ａ１乃至Ａ４は、それぞれ前方カメラ１２、後方カメラ１４、左方カメラ１６、右方カメラ１８で撮像される撮像範囲を示す。
なお、前方カメラ１２はノーズビューカメラ、後方カメラ１４はリアビューカメラ、左方カメラ１６および右方カメラ１８はサイドビューカメラともいう。 As shown in FIG. 2, the front camera 12 is a camera that is attached to, for example, the center of the front grill of the front portion of the vehicle 2 and images the front of the vehicle 2.
The rear camera 14 is a camera that is attached to the rear portion of the vehicle 2 provided with a rear window, for example, and images the rear of the vehicle 2.
The left camera 16 is a camera that images the left side of the vehicle 2 by being attached to, for example, a protruding end of a door mirror support that supports the left door mirror.
The right camera 18 is a camera that is attached to a protruding end of a door mirror support portion that supports a right door mirror, for example, and images the right side of the vehicle 2.
That is, these four cameras 12, 14, 16, and 18 generate the captured image by capturing the periphery of the vehicle 2 from different locations of the vehicle 2.
In FIG. 2, reference signs A <b> 1 to A <b> 4 indicate imaging ranges captured by the front camera 12, the rear camera 14, the left camera 16, and the right camera 18, respectively.
The front camera 12 is also called a nose view camera, the rear camera 14 is also called a rear view camera, and the left camera 16 and the right camera 18 are also called side view cameras.

表示装置２２は、運転者が視認可能かつ操作可能な車室内の箇所、例えば、車室内の運転席と助手席との中間箇所に臨むインストルメントパネルの部分に組み込まれている。
表示装置２２は、モニタ３２と、タッチパネル３４とを備えている。
モニタ３２は、ＥＣＵ２０から供給される種々の情報に基づいてさまざまな画像や文字などを表示画面３２０２（図４）に表示するものであり、モニタ３２としては液晶表示装置など従来公知のさまざまなディスプレイ装置が採用可能である。
本実施の形態では、表示画面３２０２は左右に横長の矩形状を呈している。
タッチパネル３４は、モニタ３２の表示画面３２０２に設けられ、タッチパネル３４に指でタッチすることにより、タッチパネル３４で生成された操作信号がＥＣＵ２０に供給されるように構成されている。 The display device 22 is incorporated in a portion of the instrument panel that faces a location in the vehicle cabin that is visible and operable by the driver, for example, an intermediate location between the driver seat and the passenger seat in the vehicle cabin.
The display device 22 includes a monitor 32 and a touch panel 34.
The monitor 32 displays various images, characters, and the like on the display screen 3202 (FIG. 4) based on various information supplied from the ECU 20, and the monitor 32 includes various conventionally known displays such as a liquid crystal display device. A device can be employed.
In this embodiment mode, the display screen 3202 has a horizontally long rectangular shape on the left and right.
The touch panel 34 is provided on the display screen 3202 of the monitor 32, and is configured such that an operation signal generated by the touch panel 34 is supplied to the ECU 20 by touching the touch panel 34 with a finger.

シフト位置センサ２４は、車両２のシフトレバーの位置を検出し、検出したシフト位置をＥＣＵ２０に供給するものである。
車速センサ２６は、車両２の速度を検出し、検出した速度をＥＣＵ２０に供給するものである。
操舵角センサ２８は、車両２のステアリングの操舵角を検出し、検出した操舵角をＥＣＵ２０に供給するものである。 The shift position sensor 24 detects the position of the shift lever of the vehicle 2 and supplies the detected shift position to the ECU 20.
The vehicle speed sensor 26 detects the speed of the vehicle 2 and supplies the detected speed to the ECU 20.
The steering angle sensor 28 detects the steering angle of the steering of the vehicle 2 and supplies the detected steering angle to the ECU 20.

ＥＣＵ２０は各部を制御するマイクロコンピュータにより構成されている。
すなわち、ＥＣＵ２０は、例えば、ＣＰＵ、制御プログラムなどを格納するＲＯＭ、ワーキングエリアを提供するＲＡＭ、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものである。
ＥＣＵ２０は、画像投影手段３６と、視点変換画像生成手段３８と、運転状況検出手段４０と、接近物体検出手段４２と、視点位置方向決定手段４４とを含んで構成されている。これら各手段３６、３８、４０、４２、４４は前記ＣＰＵが前記制御プログラムを実行することにより実現されるものである。
なお、以下に説明する画像手投影手段３２、視点変換画像生成手段３８、視点変換画像生成手段３６を実現する画像処理技術として、例えば特開２００９−２０６７０２号公報（画像処理装置、画像処理方法）などに記載されている従来公知のさまざまな画像処理技術が採用可能である。 ECU20 is comprised by the microcomputer which controls each part.
That is, the ECU 20 is constituted by a microcomputer in which a CPU, a ROM for storing a control program, a RAM for providing a working area, an interface unit for interfacing with peripheral circuits, and the like are connected by a bus.
The ECU 20 includes an image projecting unit 36, a viewpoint conversion image generating unit 38, a driving situation detecting unit 40, an approaching object detecting unit 42, and a viewpoint position / direction determining unit 44. These means 36, 38, 40, 42, 44 are realized by the CPU executing the control program.
As an image processing technique for realizing the image hand projection unit 32, the viewpoint conversion image generation unit 38, and the viewpoint conversion image generation unit 36 described below, for example, Japanese Unexamined Patent Application Publication No. 2009-206702 (image processing apparatus, image processing method) Various conventionally known image processing techniques described in the above can be employed.

画像手投影手段３２は、図３に示すように、各カメラ１２、１４、１６、１８から得られた撮像画像を車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面５０に投影するものである。
本実施の形態では、画像投影面５０は、第１の画像投影面５０Ａと第２の画像投影面５０Ｂとを含んで構成されている。
第１の画像投影面５０Ａは、車両２を中心として車両２の周囲を囲むように地面（路面）に沿って延在する円形あるいは楕円形を呈している。
第２の画像投影面５０Ｂは、第１の画像投影面５０Ａの外周全周に沿って上方に起立し、かつ、上方に至るほど径方向の寸法が拡大する裁頭円錐面上を延在している。
画像投影面５０の大きさは、画像投影面５０に投影された投影画像によって、車両２の周囲の状況が十分に把握できるに足るものであればよい。
言い換えると、第１の画像投影面５０Ａの面積、第２の画像投影面５０Ｂの面積および高さは、それら第１の画像投影面５０Ａ、第２の画像投影面５０Ｂに投影された投影画像によって、車両２の周囲の状況が十分に把握できるに足るものであればよい。
なお、画像投影面５０は、車両２の周囲にわたって延在する仮想的な３次元の立体面であればよく、例えば、円筒面や球面などを含む曲面、あるいは、平面などの従来公知のさまざまな形状が採用可能である。 As shown in FIG. 3, the image hand projecting unit 32 projects an image formed of a virtual three-dimensional solid surface extending from the captured images obtained from the cameras 12, 14, 16, and 18 over the periphery of the vehicle 2. Projecting onto the surface 50.
In the present embodiment, the image projection plane 50 includes a first image projection plane 50A and a second image projection plane 50B.
The first image projection surface 50 </ b> A has a circular or elliptical shape extending along the ground (road surface) so as to surround the periphery of the vehicle 2 with the vehicle 2 as the center.
The second image projection surface 50B stands upward along the entire outer periphery of the first image projection surface 50A, and extends on the truncated conical surface whose radial dimension increases toward the upper side. ing.
The size of the image projection plane 50 may be sufficient as long as the situation around the vehicle 2 can be sufficiently grasped by the projection image projected on the image projection plane 50.
In other words, the area of the first image projection plane 50A and the area and height of the second image projection plane 50B are determined by the projection images projected on the first image projection plane 50A and the second image projection plane 50B. As long as the situation around the vehicle 2 can be sufficiently understood.
The image projection surface 50 may be a virtual three-dimensional solid surface extending over the periphery of the vehicle 2. For example, various conventionally known various surfaces such as a curved surface including a cylindrical surface and a spherical surface, or a flat surface may be used. The shape can be adopted.

視点変換画像生成手段３８は、画像手投影手段３２によって画像投影面５０に投影された投影画像を視点変換処理することによって、図３に示すように、指定された箇所に位置する仮想的な視点Ｐから指定された方向Ｄで投影画像を見ることによって得られる視点変換画像を生成するものである。
この視点変換画像生成手段３８から表示装置２２に供給された視点変換画像は、モニタ３２の表示画面に表示される。
なお、各カメラ１２、１４、１６、１８は、通常、車体２の周囲を撮像するように設けられているため、各カメラ１２、１４、１６、１８で撮像された撮像画像には車体２の画像は含まれない。
したがって、視点変換画像生成手段３８によって生成される視点変換画像においても、実際にカメラで撮像された車両２の撮像画像は含まれない。
そこで、視点変換画像生成手段３８は、視点変換画像のうち車両２の画像に相当する部分に、予め車両２を模って形成された車両モデル画像を合成するようにしてもよい。
このようにすると、視点変換画像に含まれる車両２の位置や方向をわかりやすく表示する上で有利となる。
あるいは、視点変換画像のうち車両２の画像に相当する部分に車両モデル画像を合成することに代えて、車両２の画像に相当する部分を予め定められた色によって一様に塗りつぶした画像を合成してもよいし、車両２の輪郭を示す画像を合成してもよい。 The viewpoint conversion image generation unit 38 performs a viewpoint conversion process on the projection image projected on the image projection plane 50 by the image manual projection unit 32, thereby, as shown in FIG. 3, a virtual viewpoint positioned at a specified location. A viewpoint conversion image obtained by viewing the projection image in the direction D designated from P is generated.
The viewpoint conversion image supplied from the viewpoint conversion image generation means 38 to the display device 22 is displayed on the display screen of the monitor 32.
The cameras 12, 14, 16, and 18 are usually provided so as to capture the periphery of the vehicle body 2. Therefore, the captured images captured by the cameras 12, 14, 16, and 18 are not included in the captured image of the vehicle body 2. Images are not included.
Therefore, even the viewpoint conversion image generated by the viewpoint conversion image generation means 38 does not include the captured image of the vehicle 2 actually captured by the camera.
Therefore, the viewpoint conversion image generation unit 38 may synthesize a vehicle model image formed in advance by imitating the vehicle 2 in a portion corresponding to the image of the vehicle 2 in the viewpoint conversion image.
This is advantageous for easily displaying the position and direction of the vehicle 2 included in the viewpoint conversion image.
Alternatively, instead of synthesizing the vehicle model image with a portion corresponding to the image of the vehicle 2 in the viewpoint conversion image, an image obtained by uniformly painting the portion corresponding to the image of the vehicle 2 with a predetermined color is synthesized. Alternatively, an image showing the outline of the vehicle 2 may be synthesized.

運転状況検出手段４０は、車両２の運転状況を検出するものである。
本実施の形態では、運転状況検出手段４０は、シフト位置センサ２４から供給されるシフト位置と、車速センサ２６から供給される車速と、操舵角センサ２８から供給される操舵角とに基づいて車両２の運転状況を検出する。 The driving situation detection means 40 detects the driving situation of the vehicle 2.
In the present embodiment, the driving condition detection means 40 is based on the shift position supplied from the shift position sensor 24, the vehicle speed supplied from the vehicle speed sensor 26, and the steering angle supplied from the steering angle sensor 28. 2 is detected.

接近物体検出手段４２は、車両２に物体が接近したことを検出するものである。
なお、本明細書において物体とは、車両２の周囲に位置するものであり、他の車両２、建築物、構造物、植栽、あるいは、通行者などを含むものである。
本実施の形態では、接近物体検出手段４２は、画像投影面５０に投影された投影画像から求めたオプティカルフローに基づいて車両２に物体が接近したことを検出する。
なお、オプティカルフローに基づいた移動体の検出方法は、例えば、特許第４２２８２４６号公報、特許第４２５９３６８号公報などに記載されている従来公知のさまざまな検出方法を用いることができる。
また、接近物体検出手段４２は物体の接近を検出できればよいのであり、接近物体検出手段４２として、超音波センサなど従来公知のさまざまな物体検出センサを用いることができる。 The approaching object detection means 42 detects that an object has approached the vehicle 2.
In addition, in this specification, an object is located around the vehicle 2, and includes another vehicle 2, a building, a structure, planting, or a passerby.
In the present embodiment, the approaching object detection unit 42 detects that an object has approached the vehicle 2 based on the optical flow obtained from the projection image projected on the image projection surface 50.
As a method for detecting a moving body based on an optical flow, various conventionally known detection methods described in, for example, Japanese Patent No. 4228246 and Japanese Patent No. 4259368 can be used.
Further, the approaching object detection means 42 only needs to be able to detect the approach of the object, and various conventionally known object detection sensors such as an ultrasonic sensor can be used as the approaching object detection means 42.

視点位置方向決定手段４４は、運転状況検出手段４０の検出結果と、接近物体検出手段４２の検出結果とに基づいて、仮想的な視点Ｐの位置および方向Ｄを決定するものである。
視点位置方向決定手段４４の具体的な動作については後述する。 The viewpoint position / direction determination unit 44 determines the position and direction D of the virtual viewpoint P based on the detection result of the driving situation detection unit 40 and the detection result of the approaching object detection unit 42.
The specific operation of the viewpoint position / direction determining means 44 will be described later.

次に、視点変換画像生成手段３８によって生成される視点変換画像について具体的に説明する。
本実施の形態では、図３に示すように、画像投影面５０に投影された投影画像を見る仮想的な視点Ｐおよび方向Ｄの組み合わせを以下に示す３種類とし、これら３種類の視点Ｐおよび方向Ｄの組み合わせを選択して視点変換画像を生成するものとして説明する。しかしながら、視点Ｐおよび方向Ｄの組み合わせは限定されるものではなく任意である。
１）上方視点画像および上方視点モード：
視点Ｐは車両２を通る鉛直線上で（本実施の形態では車両２の中心を通る鉛直線上で）、車両２の上方の箇所に位置し、方向Ｄは視点Ｐから画像投影面５０に投影された投影画像の全体を俯瞰する方向である場合に生成される視点変換画像を上方視点画像という。
上方視点画像を表示する表示動作を上方視点モードという。
２）後方視点画像および後方視点モード：
視点Ｐは車両２の後方かつ上方の箇所に位置し、方向Ｄは視点Ｐから画像投影面に投影された投影画像のうち車両およびその周囲を見下ろす方向である場合に生成される視点変換画像を後方視点画像という。
後方視点画像を表示する表示動作を後方視点モードという。
３）前方視点画像および前方視点モード：
視点Ｐは車両２の前方かつ上方の箇所に位置し、方向Ｄは視点Ｐから画像投影面に投影された投影画像のうち車両およびその周囲を見下ろす方向である場合に生成される視点変換画像を前方視点画像という。
前方視点画像を表示する表示動作を前方視点モードという。
なお、本実施の形態では、上記３つのモードの何れの場合においても、視点Ｐは、車両２の中心を通り前後方向に延在する仮想線を含む鉛直面上に位置している。 Next, the viewpoint conversion image generated by the viewpoint conversion image generation unit 38 will be specifically described.
In the present embodiment, as shown in FIG. 3, the combination of the virtual viewpoint P and the direction D for viewing the projection image projected on the image projection plane 50 is the following three types, and these three types of viewpoints P and In the following description, it is assumed that a viewpoint conversion image is generated by selecting a combination of directions D. However, the combination of the viewpoint P and the direction D is not limited and is arbitrary.
1) Upper viewpoint image and upper viewpoint mode:
The viewpoint P is located on a vertical line passing through the vehicle 2 (in the present embodiment, on a vertical line passing through the center of the vehicle 2) and is located above the vehicle 2, and the direction D is projected from the viewpoint P onto the image projection plane 50. The viewpoint conversion image generated when the entire projected image is in the direction of bird's-eye view is referred to as an upper viewpoint image.
A display operation for displaying the upper viewpoint image is referred to as an upper viewpoint mode.
2) Rear viewpoint image and rear viewpoint mode:
A viewpoint conversion image generated when the viewpoint P is located at a position behind and above the vehicle 2 and the direction D is a direction looking down on the vehicle and its surroundings from among the projection images projected from the viewpoint P onto the image projection plane. This is called a rear view image.
A display operation for displaying a rear viewpoint image is referred to as a rear viewpoint mode.
3) Front viewpoint image and front viewpoint mode:
A viewpoint conversion image generated when the viewpoint P is located at a location in front of and above the vehicle 2 and the direction D is a direction looking down on the vehicle and its surroundings from among the projection images projected from the viewpoint P onto the image projection plane. This is called a front viewpoint image.
A display operation for displaying the front viewpoint image is referred to as a front viewpoint mode.
In the present embodiment, the viewpoint P is located on a vertical plane including an imaginary line that passes through the center of the vehicle 2 and extends in the front-rear direction in any of the above three modes.

次に、図４、図５、図６を参照して、各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４（図２）と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係について説明する。
なお、図４乃至図１５においては、図面の簡単化を図るために、視点変換画像のうち車両２の画像に相当する部分に合成する車両モデル画像Ｍをハッチングで示している。また、図中、矢印は車両２の前方を示す。
図４は上方視点モード、図５は後方視点モード、図６は前方視点モードをそれぞれ示している。
図４、図５、図６において、横長の矩形状を呈する表示画面３２０２が前方領域Ｂ１、後方領域Ｂ２、左方領域Ｂ３、右方領域Ｂ４に区画されている。
前方領域Ｂ１は前方カメラ１２の撮像範囲Ａ１で撮像された撮像画像が表示される領域である。
後方領域Ｂ２は後方カメラ１４の撮像範囲Ａ２で撮像された撮像画像が表示される領域である。
左方領域Ｂ３は左方カメラ１６の撮像範囲Ａ３で撮像された撮像画像が表示される領域である。
右方領域Ｂ４は右方カメラ１８の撮像範囲Ａ４で撮像された撮像画像が表示される領域である。
図４、図５、図６からわかるように、何れのモードにおいても表示画面３２０２に表示される視点変換画像が見やすくなるように、各モードにおける各領域Ｂ１乃至Ｂ４の配置位置および面積が異なるものとなっている。 Next, referring to FIGS. 4, 5, and 6, the images are displayed on the imaging ranges A <b> 1, A <b> 2, A <b> 3, A <b> 4 (FIG. 2) of each camera 12, 14, 16, 18 and the display screen 3202 of the monitor 32. A correspondence relationship with the viewpoint converted image will be described.
4 to 15, the vehicle model image M to be combined with the portion corresponding to the image of the vehicle 2 in the viewpoint conversion image is hatched to simplify the drawing. In the drawing, the arrow indicates the front of the vehicle 2.
4 shows the upper viewpoint mode, FIG. 5 shows the rear viewpoint mode, and FIG. 6 shows the front viewpoint mode.
4, 5, and 6, a display screen 3202 having a horizontally long rectangular shape is partitioned into a front region B1, a rear region B2, a left region B3, and a right region B4.
The front area B1 is an area in which a captured image captured in the imaging range A1 of the front camera 12 is displayed.
The rear region B2 is a region where a captured image captured in the imaging range A2 of the rear camera 14 is displayed.
The left region B3 is a region in which a captured image captured in the imaging range A3 of the left camera 16 is displayed.
The right area B4 is an area in which a captured image captured in the imaging range A4 of the right camera 18 is displayed.
As can be seen from FIGS. 4, 5, and 6, the arrangement positions and areas of the regions B <b> 1 to B <b> 4 in each mode are different so that the viewpoint conversion image displayed on the display screen 3202 is easy to see in any mode. It has become.

次に、運転者が車両２を駐車場の所定の駐車位置に駐車させる場合における上方視点モード、後方視点モード、前方視点モードについて説明する。   Next, the upper viewpoint mode, the rear viewpoint mode, and the front viewpoint mode when the driver parks the vehicle 2 at a predetermined parking position in the parking lot will be described.

図２に示すように、駐車場の路面に、駐車位置を表す２本のガイド線Ｌ１、Ｌ２が車両２の幅以上の間隔をおいて平行して描かれている。また、ガイド線Ｌ１、Ｌ２の間の路面の箇所に、直方体状を呈する車止め用のブロックＢＬが設置されている。   As shown in FIG. 2, two guide lines L <b> 1 and L <b> 2 representing a parking position are drawn in parallel on the road surface of the parking lot with an interval equal to or larger than the width of the vehicle 2. In addition, a vehicle stop block BL having a rectangular parallelepiped shape is installed at a location on the road surface between the guide lines L1 and L2.

１）上方視点モード
車両２が後退しつつ（バックしつつ）２本のガイド線Ｌ１、Ｌ２の間に駐車する場合について説明する。
図７は車両２がその後部をブロックＢＬに向けた状態で２本のガイド線Ｌ１、Ｌ２の手前に位置している状態を示している。
図７に示すように、表示画面３２０２には、ガイド線Ｌ１、Ｌ２、ブロックＢＬ、駐車場周辺に位置する複数の建築物ａ乃至ｎ、駐車場に駐車している別の車両４などを含んだ視点変換画像である上方視点画像が表示されている。
図７に示した状態からさらに車両２が後退すると、図８に示すように、車両２の移動に追従して視点変換画像が変化する。
やがて、図９に示すように、所望の位置まで車両２が後退して車両２が停車すると、視点変換画像の変化も停止する。 1) Upper viewpoint mode A case where the vehicle 2 is parked between the two guide lines L1 and L2 while moving backward (backing) will be described.
FIG. 7 shows a state in which the vehicle 2 is positioned in front of the two guide lines L1 and L2 with the rear part thereof facing the block BL.
As shown in FIG. 7, the display screen 3202 includes guide lines L1, L2, a block BL, a plurality of buildings a to n located around the parking lot, another vehicle 4 parked in the parking lot, and the like. An upper viewpoint image that is a viewpoint-converted image is displayed.
When the vehicle 2 further moves backward from the state shown in FIG. 7, the viewpoint conversion image changes following the movement of the vehicle 2 as shown in FIG.
Eventually, as shown in FIG. 9, when the vehicle 2 moves backward to a desired position and the vehicle 2 stops, the change of the viewpoint conversion image also stops.

２）後方視点モード
車両２が後退しつつ（バックしつつ）２本のガイド線Ｌ１、Ｌ２の間に駐車する場合について説明する。
図１０は車両２がその後部をブロックＢＬに向けた状態で２本のガイド線Ｌ１、Ｌ２の手前に位置している状態を示している。
図１０に示すように、表示画面３２０２には、ガイド線Ｌ１、Ｌ２、ブロックＢＬ、駐車場周辺に位置する複数の建築物ａ、ｂ、ｃ、ｄ、ｅ、ｋ、ｌ、ｍ、ｎ、駐車場に駐車している別の車両４などを含んだ視点変換画像である後方視点画像が表示されている。
図１０に示した状態からさらに車両２が後退すると、図１１に示すように、車両２の移動に追従して視点変換画像が変化する。
やがて、図１２に示すように、所望の位置まで車両２が後退して車両２が停車すると、視点変換画像の変化も停止する。 2) Back viewpoint mode The case where the vehicle 2 is parked between two guide lines L1 and L2 while moving backward (backing) will be described.
FIG. 10 shows a state in which the vehicle 2 is positioned in front of the two guide lines L1 and L2 with the rear part thereof facing the block BL.
As shown in FIG. 10, the display screen 3202 includes a plurality of buildings a, b, c, d, e, k, l, m, n, guide lines L1, L2, blocks BL, and parking lots. A rear viewpoint image that is a viewpoint conversion image including another vehicle 4 parked in the parking lot is displayed.
When the vehicle 2 further moves backward from the state shown in FIG. 10, the viewpoint conversion image changes following the movement of the vehicle 2 as shown in FIG.
Eventually, as shown in FIG. 12, when the vehicle 2 moves backward to a desired position and the vehicle 2 stops, the change of the viewpoint conversion image also stops.

３）前方視点モード
車両２が前進しつつ２本のガイド線Ｌ１、Ｌ２の間に駐車する場合について説明する。
図１３は車両２がその前部をブロックＢＬに向けた状態で２本のガイド線Ｌ１、Ｌ２の手前に位置している状態を示している。
図１３に示すように、表示画面３２０２には、ガイド線Ｌ１、Ｌ２、ブロックＢＬ、駐車場周辺に位置する複数の建築物ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、駐車場に駐車している別の車両４などを含んだ視点変換画像である前方視点画像が表示されている。
図１３に示した状態からさらに車両２が前進すると、図１４に示すように、車両２の移動に追従して視点変換画像が変化する。
やがて、図１５に示すように、所望の位置まで車両２が前進して車両２が停車すると、視点変換画像の変化も停止する。 3) Front viewpoint mode The case where the vehicle 2 parks between the two guide lines L1 and L2 while moving forward will be described.
FIG. 13 shows a state in which the vehicle 2 is positioned in front of the two guide lines L1 and L2 with the front portion thereof facing the block BL.
As shown in FIG. 13, the display screen 3202 has a plurality of buildings e, f, g, h, i, j, and parking around the guide lines L <b> 1 and L <b> 2, the block BL, and the parking lot. A front viewpoint image that is a viewpoint conversion image including another vehicle 4 that is present is displayed.
When the vehicle 2 further moves forward from the state shown in FIG. 13, the viewpoint conversion image changes following the movement of the vehicle 2 as shown in FIG. 14.
Eventually, as shown in FIG. 15, when the vehicle 2 moves forward to a desired position and the vehicle 2 stops, the change of the viewpoint conversion image also stops.

以上説明したように、本実施の形態では、車両周辺監視装置１０は、視点Ｐおよび方向Ｄを３通りに異ならせることにより、視点変換画像を上方視点画像、後方視点画像、前方視点画像の３通りに変更することができる。言い換えると、表示動作を上方視点モード、後方視点モード、前方視点モードの３通りに切り替えることができる。
そこで、本実施の形態では、車両周辺監視装置１０は、以下に説明するように車両２の走行状況の検出結果と接近物体の検出結果とに応じて、車両２の運転を適切に支援する上で最適な表示動作を選択する。 As described above, in the present embodiment, the vehicle periphery monitoring device 10 changes the viewpoint P and the direction D into three ways, thereby converting the viewpoint conversion image into the upper viewpoint image, the rear viewpoint image, and the front viewpoint image. Can be changed on the street. In other words, the display operation can be switched between three modes: an upper viewpoint mode, a rear viewpoint mode, and a front viewpoint mode.
Therefore, in the present embodiment, the vehicle periphery monitoring device 10 appropriately supports the driving of the vehicle 2 according to the detection result of the traveling state of the vehicle 2 and the detection result of the approaching object as described below. Select the optimum display operation with.

次に図１６のフローチャートを参照して車両２が駐車場で駐車する場合における車両周辺監視装置１０の動作について具体的に説明する。
まず、運転状況検出手段４０は、車速センサ２６の検出結果に基づいて車両２の速度が予め定められた所定の速度以下であるか否かを判定する（ステップＳ１０）。ステップＳ１０が否定ならばステップＳ１０を繰り返して実行する。前記の所定速度は駐車時における車速に基づいて設定すればよい。
ステップＳ１０が肯定ならば、視点位置方向決定手段４４は、視点変換画像生成手段３８によって生成される視点変換画像が上方視点画像となるように視点Ｐの位置と方向Ｄとを決定する。これにより、図７に示すような上方視点画像がモニタ３２の表示画面３２０２に表示される上方視点モードが実行される（ステップＳ１２）。
したがって、車両２の速度が所定の車速以下である場合には、上方視点画像によって車両２の全周にわたる広い範囲が表示されるため、車両２の周囲に位置する物体の有無を漏れなく的確に視認する上で有利となる。
本実施の形態においては、物体は、ブロックＢＬ、あるいは、隣接する他の車両４である。 Next, the operation of the vehicle periphery monitoring apparatus 10 when the vehicle 2 is parked in the parking lot will be specifically described with reference to the flowchart of FIG.
First, the driving state detection means 40 determines whether or not the speed of the vehicle 2 is equal to or lower than a predetermined speed based on the detection result of the vehicle speed sensor 26 (step S10). If step S10 is negative, step S10 is repeatedly executed. The predetermined speed may be set based on the vehicle speed during parking.
If step S10 is affirmative, the viewpoint position / direction determination unit 44 determines the position and direction D of the viewpoint P so that the viewpoint conversion image generated by the viewpoint conversion image generation unit 38 becomes the upper viewpoint image. Thus, the upper viewpoint mode in which the upper viewpoint image as shown in FIG. 7 is displayed on the display screen 3202 of the monitor 32 is executed (step S12).
Accordingly, when the speed of the vehicle 2 is equal to or lower than the predetermined vehicle speed, a wide range over the entire circumference of the vehicle 2 is displayed by the upper viewpoint image. This is advantageous for visual recognition.
In the present embodiment, the object is the block BL or another adjacent vehicle 4.

次に、運転状況検出手段４０は、シフト位置センサ２４によって検出された車両２の走行状態（前進および後退の何れの走行状態であるか）と、操舵角センサ２８によって検出された操舵角とに基づいて車両２の進行方向を検出する（ステップＳ１４）。
次いで、視点位置方向決定手段４４は、接近物体検出手段４２によって物体が検出されたか否かを判定する（ステップＳ１６）。ステップＳ１６が否定であれば、ステップＳ１０に戻る。
ステップＳ１６が肯定であれば、視点位置方向決定手段４４は、検出された物体が車両２の進行方向に位置しているか否かを判定する（ステップＳ１８）。ステップＳ１８が否定であれば、ステップＳ１０に戻る。
ステップＳ１８が肯定であれば、視点位置方向決定手段４４は、シフト位置センサ２４によって検出された車両２の走行状態に基づいて車両２が前進しているか後退しているかを判定する（ステップＳ２０）。 Next, the driving state detection means 40 determines the traveling state of the vehicle 2 detected by the shift position sensor 24 (whether the traveling state is forward or backward) and the steering angle detected by the steering angle sensor 28. Based on this, the traveling direction of the vehicle 2 is detected (step S14).
Next, the viewpoint position direction determination unit 44 determines whether or not an object is detected by the approaching object detection unit 42 (step S16). If step S16 is negative, the process returns to step S10.
If step S16 is affirmative, the viewpoint position direction determination unit 44 determines whether or not the detected object is located in the traveling direction of the vehicle 2 (step S18). If step S18 is negative, the process returns to step S10.
If step S18 is positive, the viewpoint position direction determination unit 44 determines whether the vehicle 2 is moving forward or backward based on the traveling state of the vehicle 2 detected by the shift position sensor 24 (step S20). .

ステップＳ２０で車両２が前進状態と判定されたならば、視点位置方向決定手段４４は、視点変換画像生成手段３８によって生成される視点変換画像が前方視点画像となるように視点Ｐの位置と方向Ｄとを決定する。
言い換えると、視点位置方向決定手段４４は、視点Ｐの位置を、車両２の進行方向の前方でかつ上方の箇所に決定すると共に、方向Ｄを、視点Ｐから画像投影面に投影された投影画像のうち車両２および物体を含む部分を見下ろす方向に決定することになる。
これにより、図１３、図１４、図１５に示すような前方視点画像がモニタ３２の表示画面３２０２に表示される前方視点モードが実行される（ステップＳ２２）。
したがって、車両２が前進しかつ車両２の進行方向に物体が位置している場合には、前方視点モードが実行されることによって車両２の進行方向に位置する物体を含む画像が確実に表示される。そのため、注意を払うべき物体を的確に視認しつつ運転操作を行う上で有利となる。言い換えると、注意を払うべき物体との距離感を得る上で有利な位置の視点Ｐから見た前方視点画像を視認できるため、運転操作を行う上で有利となる。 If it is determined in step S20 that the vehicle 2 is in the forward state, the viewpoint position / direction determination unit 44 determines the position and direction of the viewpoint P so that the viewpoint conversion image generated by the viewpoint conversion image generation unit 38 becomes the front viewpoint image. D is determined.
In other words, the viewpoint position / direction determination unit 44 determines the position of the viewpoint P at a location in front of and above the traveling direction of the vehicle 2 and also projects the direction D from the viewpoint P onto the image projection plane. The direction in which the vehicle 2 and the part including the object are looked down is determined.
Thereby, the forward viewpoint mode in which the forward viewpoint images as shown in FIGS. 13, 14, and 15 are displayed on the display screen 3202 of the monitor 32 is executed (step S22).
Therefore, when the vehicle 2 moves forward and an object is positioned in the traveling direction of the vehicle 2, an image including the object positioned in the traveling direction of the vehicle 2 is reliably displayed by executing the forward viewpoint mode. The Therefore, it is advantageous in performing a driving operation while accurately recognizing an object to which attention should be paid. In other words, the front viewpoint image viewed from the viewpoint P at a position advantageous for obtaining a sense of distance from the object to which attention should be paid can be visually recognized, which is advantageous for driving operation.

また、ステップＳ２０で車両２が後退状態と判定されたならば、視点位置方向決定手段４４は、視点変換画像生成手段３８によって生成される視点変換画像が後方視点画像となるように、視点Ｐの位置と方向Ｄとを決定する。
言い換えると、視点位置方向決定手段４４は、視点Ｐの位置を、車両２の進行方向の前方でかつ上方の箇所に決定すると共に、方向Ｄを、視点Ｐから画像投影面に投影された投影画像のうち車両２および物体を含む部分を見下ろす方向に決定することになる。
これにより、図１０、図１１、図１２に示すような後方視点画像がモニタ３２の表示画面３２０２に表示される後方視点モードが実行される（ステップＳ２４）。
したがって、車両２が後退しかつ車両２の進行方向に物体が位置している場合には、後方視点モードが実行されることによって車両２の進行方向に位置する物体を含む画像が確実に表示される。そのため、注意を払うべき物体を的確に視認しつつ運転操作を行う上で有利となる。言い換えると、注意を払うべき物体との距離感を得る上で有利な位置の視点Ｐから見た後方視点画像を視認できるため、運転操作を行う上で有利となる。 If it is determined in step S20 that the vehicle 2 is in the reverse state, the viewpoint position / direction determination unit 44 sets the viewpoint P so that the viewpoint conversion image generated by the viewpoint conversion image generation unit 38 becomes the rear viewpoint image. The position and direction D are determined.
In other words, the viewpoint position / direction determination unit 44 determines the position of the viewpoint P at a location in front of and above the traveling direction of the vehicle 2 and also projects the direction D from the viewpoint P onto the image projection plane. The direction in which the vehicle 2 and the part including the object are looked down is determined.
Thus, the rear viewpoint mode in which the rear viewpoint images as shown in FIGS. 10, 11, and 12 are displayed on the display screen 3202 of the monitor 32 is executed (step S24).
Therefore, when the vehicle 2 moves backward and an object is positioned in the traveling direction of the vehicle 2, an image including the object positioned in the traveling direction of the vehicle 2 is reliably displayed by executing the rear viewpoint mode. The Therefore, it is advantageous in performing a driving operation while accurately recognizing an object to which attention should be paid. In other words, the rear viewpoint image viewed from the viewpoint P at a position advantageous for obtaining a sense of distance from the object to which attention should be paid can be visually recognized, which is advantageous for driving operation.

また、本実施の形態では、ステップＳ１６において物体が検出されない場合、あるいは、ステップＳ１６で物体が検出されてもステップＳ１８において車両２の進行方向に物体が位置していない場合には、ステップＳ１０、Ｓ１２に移行して上方視点モードに戻る。
このように、注意を払うべき物体が無い場合には、上方視点画像によって車両２の全周にわたる広い範囲が表示されるため、車両２の周囲に位置する物体の有無を漏れなく的確に視認する上で有利となる。 In the present embodiment, if no object is detected in step S16, or if an object is detected in step S16 and no object is located in the traveling direction of the vehicle 2 in step S18, step S10, The process proceeds to S12 to return to the upper viewpoint mode.
As described above, when there is no object to which attention should be paid, the upper viewpoint image displays a wide range over the entire circumference of the vehicle 2, so that the presence or absence of an object located around the vehicle 2 can be accurately and accurately observed. This is advantageous.

本実施の形態によれば、車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影された投影画像を見る仮想的な視点Ｐと方向Ｄとを、運転状況の検出結果と、車両２に接近する物体の検出結果とに基づいて決定するようにした。
したがって、運転状況および車両２に接近する物体の有無に応じて車両２の運転操作を行う上で適切な視点Ｐと方向Ｄから見た画像を表示させることができるので、車両２の運転操作を簡単かつ円滑に行う上で有利となる。
また、本実施の形態では、車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影された投影画像を仮想的な視点Ｐと方向Ｄから見た画像が表示される。そのため、従来装置で表示される俯瞰画像のような死角が発生しにくく、また、従来装置で表示される俯瞰画像を見たときのような違和感が軽減される。
したがって、表示された画像に基づいて車両２の周辺の状況を直感的に認識する上で有利となることから、訓練や慣れを必要とすることなく車両２の運転操作を簡単かつ円滑に行う上で有利となる。 According to the present embodiment, a virtual viewpoint P and a direction D for viewing a projection image projected on an image projection plane composed of a virtual three-dimensional solid surface extending around the periphery of the vehicle 2 are determined based on the driving situation. And the detection result of the object approaching the vehicle 2 are determined.
Therefore, an image viewed from an appropriate viewpoint P and direction D in performing the driving operation of the vehicle 2 according to the driving situation and the presence or absence of an object approaching the vehicle 2 can be displayed. This is advantageous for simple and smooth operation.
Further, in the present embodiment, an image obtained by projecting a projection image projected on an image projection plane composed of a virtual three-dimensional solid surface extending around the vehicle 2 from a virtual viewpoint P and a direction D is displayed. Is done. Therefore, a blind spot such as a bird's-eye view image displayed on a conventional device is unlikely to occur, and a sense of incongruity as seen from a bird's-eye view image displayed on a conventional device is reduced.
Therefore, since it is advantageous for intuitively recognizing the situation around the vehicle 2 based on the displayed image, the driving operation of the vehicle 2 can be performed easily and smoothly without requiring training or habituation. Is advantageous.

（第２の実施の形態）
次に、第２の実施の形態について説明する。
上述した第１の実施の形態では、車両２の速度が所定速度以下である場合に無条件で上方視点画像が表示されることになる。そのため、交差点で車両２が信号待ちしている場合、あるいは、見通しの悪い交差点で車両２がゆっくりと前方に移動するいわゆる頭出しを行う場合であっても上方視点画像が表示されることになる。
しかしながら、信号待ちや頭出しを行うような状況においては、上方視点画像よりも、前方カメラ１２で車両２の前方を撮像した撮像画像を表示させることが運転操作を支援する上でより適切といえる。
そこで、第２の実施の形態では、信号待ちや頭出しを行うような状況と、駐車場内で駐車をするような状況とを的確に判定し、その判定結果に対応して最適な画像を表示させるようにしたものである。 (Second Embodiment)
Next, a second embodiment will be described.
In the first embodiment described above, the upper viewpoint image is unconditionally displayed when the speed of the vehicle 2 is equal to or lower than a predetermined speed. Therefore, the upper viewpoint image is displayed even when the vehicle 2 is waiting for a signal at an intersection or when the vehicle 2 slowly moves forward at an intersection with poor visibility. .
However, in a situation where waiting for a signal or cueing is performed, it can be said that displaying a captured image obtained by capturing the front of the vehicle 2 with the front camera 12 is more appropriate for assisting the driving operation than the upper viewpoint image. .
Therefore, in the second embodiment, a situation in which a signal is waited for or cued and a situation in which parking is performed in a parking lot are accurately determined, and an optimal image is displayed according to the determination result. It is made to let you.

図１７は第２の実施の形態における車両周辺監視装置１０の構成を示すブロック図、図１８は、第２の実施の形態における車両周辺監視装置１０の動作フローチャート、図１９は前カメラ画像モード時に表示される画像の説明図である。なお、以下の実施の形態において第１の実施の形態と同様あるいは同一の部分には同一の符号を付してその説明を省略する。
図１７に示すように、第２の実施の形態においては、車両周辺監視装置１０は、位置検出手段としてのナビゲーション装置３０と、表示制御手段４５とをさらに備えている。
ナビゲーション装置３０は、前述したように測位部３００２と、データベース３００４とを含んで構成されている。
本実施の形態では、ナビゲーション装置３０は、測位部３００２で測位された車両２の現在地に対応する地図情報や施設情報に基づいて、車両２が駐車場内に位置しているか、駐車場外に位置しているかを判定し、その判定結果をＥＣＵ２０に供給する。
表示制御手段４５は、ナビゲーション装置３０により車両２が駐車場外に位置していると判定されたときに前方カメラで撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる。また、ナビゲーション装置３０によりにより車両２が駐車場内に位置していると判定されたときに視点変換画像を表示画面３２０２に表示させる。
なお、ＥＣＵ２０は表示制御手段４５を含んで構成され、表示制御手段４５は、第１の実施の形態と同様に、前記ＣＰＵが前記制御プログラムを実行することにより実現される。 FIG. 17 is a block diagram showing the configuration of the vehicle periphery monitoring device 10 in the second embodiment, FIG. 18 is an operation flowchart of the vehicle periphery monitoring device 10 in the second embodiment, and FIG. 19 is in the front camera image mode. It is explanatory drawing of the image displayed. In the following embodiment, the same reference numerals are given to the same or the same parts as those in the first embodiment, and the description thereof is omitted.
As shown in FIG. 17, in the second embodiment, the vehicle periphery monitoring device 10 further includes a navigation device 30 as a position detection unit and a display control unit 45.
As described above, the navigation device 30 includes the positioning unit 3002 and the database 3004.
In the present embodiment, the navigation device 30 is located in the parking lot or outside the parking lot based on map information and facility information corresponding to the current location of the vehicle 2 measured by the positioning unit 3002. And the determination result is supplied to the ECU 20.
Display control means 45 displays the image captured by the front camera when it is determined that the navigation device 30 vehicle 2 is located outside the parking lot on the display screen 3202 of the monitor 32. Further, the vehicle 2 to display the viewpoint conversion image on a display screen 3202 when it is determined to be located in the parking lot by the navigation device 30.
Note that the ECU 20 includes a display control means 45, and the display control means 45 is realized by the CPU executing the control program, as in the first embodiment.

次に、図１８のフローチャートを参照して動作について説明する。
まず、運転状況検出手段４０は、車速センサ２６の検出結果に基づいて車両２の速度が予め定められた所定の速度以下であるか否かを判定する（ステップＳ５０）。ステップＳ５０が否定ならばステップＳ５０を繰り返して実行する。
ステップＳ５０が肯定ならば、表示制御手段４５は、ナビゲーション装置３０からの判定結果を受け付ける（ステップＳ５２）。
ナビゲーション装置３０により車両２が駐車場内に位置していないと判定されると、表示制御手段４５は、前方カメラ１２で撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる前方カメラ画像モードを実行する（ステップＳ５４）。
この結果、図１９に示すように、前方カメラ１２の撮像範囲Ａ１（図２）に相当する画像が表示画面３２０２に表示される。なお、図１９では、車両２の前方に位置する他の車両６、路面に描かれた停止線およびＳＴＯＰの文字が表示画面３２０２に表示された様子を示している。
したがって、交差点で車両２が信号待ちしている場合、あるいは、見通しの悪い交差点で車両２がゆっくりと前方に移動するいわゆる頭出しを行う場合には、前方カメラ１２で車両２の前方を撮像した撮像画像が表示される。この画像は、車両２の信号待ちあるいは頭出しの場合に、上方視点画像に比較して運転操作を支援する上でより適切なものである。 Next, the operation will be described with reference to the flowchart of FIG.
First, the driving state detection means 40 determines whether or not the speed of the vehicle 2 is equal to or lower than a predetermined speed based on the detection result of the vehicle speed sensor 26 (step S50). If step S50 is negative, step S50 is repeated and executed.
If step S50 is affirmative, the display control means 45 receives the determination result from the navigation apparatus 30 (step S52).
When it is determined by the navigation device 30 that the vehicle 2 is not located in the parking lot, the display control unit 45 displays a front camera image mode in which a captured image captured by the front camera 12 is displayed on the display screen 3202 of the monitor 32. Execute (Step S54).
As a result, as shown in FIG. 19, an image corresponding to the imaging range A1 (FIG. 2) of the front camera 12 is displayed on the display screen 3202. In FIG. 19, another vehicle 6 positioned in front of the vehicle 2, a stop line drawn on the road surface, and characters of STOP are displayed on the display screen 3202.
Therefore, when the vehicle 2 is waiting for a signal at an intersection, or when the vehicle 2 slowly moves forward at an intersection with poor visibility, the front camera 12 images the front of the vehicle 2. A captured image is displayed. This image is more appropriate for assisting the driving operation as compared with the upper viewpoint image when waiting for a signal of the vehicle 2 or when searching for a head.

一方、ステップＳ５２でナビゲーション装置３０により車両２が駐車場内に位置していると判定されると、ステップＳ５６乃至Ｓ６６が実行される。すなわち、第１の実施の形態における図１６のステップＳ１２乃至Ｓ２４の動作が実行され、視点変換画像が表示画面３２０２に表示される。言い換えると、表示制御手段４５は、視点変換画像を表示画面３２０２に表示させる動作を実行する。
なお、ステップＳ５６乃至Ｓ６６のそれぞれは図１６のステップＳ１２乃至Ｓ２４のそれぞれと同一であるため説明を省略する。 On the other hand, if it is determined in step S52 that the vehicle 2 is located in the parking lot by the navigation device 30, steps S56 to S66 are executed. That is, the operations in steps S12 to S24 in FIG. 16 in the first embodiment are executed, and the viewpoint conversion image is displayed on the display screen 3202. In other words, the display control unit 45 performs an operation of displaying the viewpoint conversion image on the display screen 3202.
Note that steps S56 to S66 are the same as steps S12 to S24 in FIG.

第２の実施の形態によれば、第１の実施の形態と同様の効果が奏される。また、信号待ちや頭出しを行うような状況と、駐車場内で駐車をするような状況とを的確に判定し、その判定結果に対応して最適な画像を表示させることができるため、車両２の環境に応じた運転支援をより適切に行う上で一層有利となる。   According to the second embodiment, the same effects as those of the first embodiment can be obtained. In addition, since it is possible to accurately determine the situation of waiting for a signal or finding a head and the situation of parking in a parking lot and displaying an optimal image corresponding to the judgment result, the vehicle 2 This is more advantageous in providing more appropriate driving assistance according to the environment.

さらに、第２の実施の形態の変形例として以下に説明するようなものが考えられる。
すなわち、車両２が駐車した際にシフト位置センサ２４によって検出されたシフト位置をＥＣＵ２０によりメモリ（不図示）に格納しておく。
次に車両２を発進させる際に、前記のメモリのシフト位置に応じて次のような画像を視点変換画像に優先して表示画面３２０２に表示させるようにしてもよい。
１）前記メモリに格納されているシフト位置がＤ（ドライブ：前進）であり次に車両２が発進する際のシフト位置がＲ（リバース：後退）であった場合：
この場合は、車両２がその前部から駐車スペースに入り込んだ状態で駐車しているため、車両２が駐車スペースから発進する際は、車両２が後退することになる。
したがって、表示制御手段４５により後方カメラ１４で撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる後方カメラ画像モードを実行する。
この結果、後方カメラ１４の撮像範囲Ａ２（図２）に相当する画像が表示画面３２０２に表示される。そのため、運転者は、注意を払うべき車両２の後方の画像を視認することができ、車両２を発車させる際の運転支援を適切に行う上で有利となる。
２）前記メモリに格納されているシフト位置がＲであり次に車両２が発進する際のシフト位置がＤであった場合：
この場合は、車両２がその後部から駐車スペースに入り込んだ状態で駐車しているため、車両２が駐車スペースから発進する際は、車両２が前進することになる。
したがって、表示制御手段４５により前方カメラ１２で撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる前方方カメラ画像モードを実行する。
この結果、前方カメラ１２の撮像範囲Ａ１（図２）に相当する画像が表示画面３２０２に表示される。そのため、運転者は、注意を払うべき車両２の前方の画像を視認することができ、車両２を発車させる際の運転支援を適切に行う上で有利となる。
この変形例によれば、駐車場で駐車した状態から車両２を発車させる際の運転支援をより適切に行う上で一層有利となる。 Furthermore, what is described below can be considered as a modification of the second embodiment.
That is, the shift position detected by the shift position sensor 24 when the vehicle 2 is parked is stored in a memory (not shown) by the ECU 20.
Next, when the vehicle 2 is started, the following image may be displayed on the display screen 3202 in preference to the viewpoint conversion image according to the shift position of the memory.
1) When the shift position stored in the memory is D (drive: forward) and the next shift position when the vehicle 2 starts is R (reverse: reverse):
In this case, since the vehicle 2 is parked in a state where it enters the parking space from the front thereof, the vehicle 2 moves backward when the vehicle 2 starts from the parking space.
Therefore, the rear camera image mode in which the captured image captured by the rear camera 14 by the display control unit 45 is displayed on the display screen 3202 of the monitor 32 is executed.
As a result, an image corresponding to the imaging range A2 (FIG. 2) of the rear camera 14 is displayed on the display screen 3202. Therefore, the driver can visually recognize an image behind the vehicle 2 to which attention should be paid, which is advantageous in appropriately performing driving support when starting the vehicle 2.
2) When the shift position stored in the memory is R and the shift position when the vehicle 2 starts next is D:
In this case, since the vehicle 2 is parked in a state where the vehicle 2 enters the parking space from the rear thereof, the vehicle 2 moves forward when the vehicle 2 starts from the parking space.
Therefore, the front camera image mode in which the captured image captured by the front camera 12 by the display control unit 45 is displayed on the display screen 3202 of the monitor 32 is executed.
As a result, an image corresponding to the imaging range A1 (FIG. 2) of the front camera 12 is displayed on the display screen 3202. Therefore, the driver can visually recognize an image ahead of the vehicle 2 to which attention should be paid, which is advantageous in appropriately performing driving support when starting the vehicle 2.
According to this modified example, it is more advantageous to perform driving support more appropriately when starting the vehicle 2 from a state where it is parked in the parking lot.

２……車両、１０……車両周辺監視装置、１２……前方カメラ、１４……後方カメラ、１６……左方カメラ、１８……右方カメラ、２０……ＥＣＵ、２４……シフト位置センサ、２６……車両センサ、２８……操舵角センサ、３０……ナビゲーション装置（位置検出手段）、３２……表示装置２２０２……表示画面、３６……画像投影手段、３８……視点変換画像生成手段、４０……運転状況検出手段、４２……接近物体検出手段、４４……視点位置方向決定手段、４５……表示制御手段、５０……画像投影面、Ｐ……仮想的な視点、Ｄ……方向、Ｍ……車両モデル画像。   2 ... Vehicle, 10 ... Vehicle periphery monitoring device, 12 ... Front camera, 14 ... Rear camera, 16 ... Left camera, 18 ... Right camera, 20 ... ECU, 24 ... Shift position sensor , 26 …… Vehicle sensor, 28 …… Steering angle sensor, 30 …… Navigation device (position detection means), 32 …… Display device 2202 …… Display screen, 36 …… Image projection means, 38 …… Viewpoint conversion image generation Means 40, driving state detecting means 42, approaching object detecting means 44, viewpoint position / direction determining means 45, display control means 50, image projection plane, P, virtual viewpoint, D …… Direction, M …… Vehicle model image.

Claims (6)

車両の周囲を互いに異なる前記車両の箇所から撮像して撮像画像を生成する複数のカメラと、
前記各カメラから得られた前記撮像画像を前記車両の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影する画像投影手段と、
前記画像投影面に投影された投影画像を視点変換処理することによって、指定された箇所に位置する仮想的な視点から指定された方向で前記投影画像を見ることによって得られる視点変換画像を生成する視点変換画像生成手段と、
前記視点変換画像を表示画面に表示する表示装置と、
前記車両の運転状況を検出する運転状況検出手段と、
前記車両に物体が接近したことを検出する接近物体検出手段と、
前記運転状況検出手段の検出結果と前記接近物体検出手段の検出結果とに基づいて、前記仮想的な視点の位置および方向を決定する視点位置方向決定手段とを備え、
前記複数のカメラは前記車両の前部から前方を撮像する前方カメラを含み、
前記車両が駐車場内に位置しているか、駐車場外に位置しているかを判定する位置検出手段と、
前記位置検出手段により前記車両が前記駐車場外に位置していると判定されたときに前記前カメラで撮像された撮像画像を前記表示装置に表示させ、前記位置検出手段により前記車両が前記駐車場内に位置していると判定されたときに前記視点変換画像を表示画面に表示させる表示制御手段とをさらに備え、
前記運転状況検出手段によって検出される前記車両の運転状況は前記車両の進行方向を含み、
前記検出された前記進行方向に前記接近物体検出手段によって物体が位置していることが検出された場合に、前記視点位置方向決定手段は、前記仮想的な視点の位置を、前記車両の進行方向の前方でかつ上方の箇所に決定すると共に、前記方向を、前記仮想的な視点から前記画像投影面に投影された投影画像のうち前記車両および前記物体を含む部分を見下ろす方向に決定する、
ことを特徴とする車両周辺監視装置。 A plurality of cameras that capture images from different locations of the vehicle and generate captured images around the vehicle;
Image projecting means for projecting the captured image obtained from each camera onto an image projecting surface formed of a virtual three-dimensional solid surface extending around the vehicle;
By performing a viewpoint conversion process on the projection image projected on the image projection plane, a viewpoint conversion image obtained by viewing the projection image in a specified direction from a virtual viewpoint positioned at a specified location is generated. Viewpoint-converted image generation means;
A display device for displaying the viewpoint-converted image on a display screen;
Driving status detection means for detecting the driving status of the vehicle;
Approaching object detection means for detecting that an object has approached the vehicle;
Viewpoint position direction determining means for determining the position and direction of the virtual viewpoint based on the detection result of the driving situation detection means and the detection result of the approaching object detection means,
The plurality of cameras includes a front camera that images the front from the front of the vehicle,
Position detecting means for determining whether the vehicle is located inside the parking lot or outside the parking lot;
When the position detection means determines that the vehicle is located outside the parking lot, the image picked up by the front camera is displayed on the display device, and the position detection means causes the vehicle to move inside the parking lot. further comprising a display control means for displaying on the display screen viewpoint conversion image when it is determined to be located in,
The driving situation of the vehicle detected by the driving situation detection means includes the traveling direction of the vehicle,
When the approaching object detection unit detects that the object is located in the detected traveling direction, the viewpoint position direction determination unit determines the virtual viewpoint position as the traveling direction of the vehicle. And a direction in which the vehicle and the object are included in the projected image projected onto the image projection plane from the virtual viewpoint.
The vehicle periphery monitoring apparatus characterized by the above-mentioned. 前記接近物体検出手段による前記接近物体の接近の検出は、前記画像投影面に投影された投影画像に基づいてなされる、
ことを特徴とする請求項１記載の車両周辺監視装置。 Detection of the approach of the approaching object by the approaching object detection means is made based on a projection image projected on the image projection plane.
The vehicle periphery monitoring device according to claim 1. 前記運転状況検出手段によって検出される前記車両の運転状況は前記車両の速度を含み、
前記検出された前記車両の速度が予め定められた速度以下となった場合に、前記視点位置方向決定手段は、前記仮想的な視点の位置を、前記車両を通る鉛直線上で前記車両の上方の箇所に決定する共に、前記方向を、前記仮想的な視点から前記画像投影面に投影された投影画像の全体を俯瞰する方向に決定する、
ことを特徴とする請求項１または２記載の車両周辺監視装置。 The driving situation of the vehicle detected by the driving situation detection means includes the speed of the vehicle,
When the detected speed of the vehicle is equal to or lower than a predetermined speed, the viewpoint position direction determining means determines the position of the virtual viewpoint on the vertical line passing through the vehicle above the vehicle. And determining the direction as a direction for overlooking the entire projected image projected on the image projection plane from the virtual viewpoint,
The vehicle periphery monitoring device according to claim 1 or 2. 前記車両の運転状況は、車両の速度と、ステアリングの操舵角と、シフトレバーのシフト位置との少なくとも１つを含む、
ことを特徴とする請求項１乃至３に何れか１項記載の車両周辺監視装置。 The driving situation of the vehicle includes at least one of a vehicle speed, a steering angle of a steering wheel, and a shift position of a shift lever.
The vehicle periphery monitoring apparatus according to any one of claims 1 to 3 , wherein 前記視点変換画像生成手段は、前記視点変換画像のうち前記車両に相当する部分に、前記車両を模って描かれた車両モデル画像を合成する、
ことを特徴とする請求項１乃至４に何れか１項記載の車両周辺監視装置。 The viewpoint-converted image generating means synthesizes a vehicle model image drawn to resemble the vehicle on a portion corresponding to the vehicle in the viewpoint-converted image.
The vehicle periphery monitoring device according to any one of claims 1 to 4 , wherein the vehicle periphery monitoring device is characterized in that: 前記複数のカメラは、
前記車両の後部に設けられ前記車両の後方を撮像する後方カメラと、
前記車両の左側部に設けられ前記車両の左側方を撮像する左方カメラと、
前記車両の右側部に設けられ前記車両の右側方を撮像する右方カメラとをさらに備える、
ことを特徴とする請求項１乃至５に何れか１項記載の車両周辺監視装置。 The plurality of cameras are:
A rear camera provided at the rear of the vehicle for imaging the rear of the vehicle;
A left camera that is provided on the left side of the vehicle and images the left side of the vehicle;
A right camera provided on the right side of the vehicle for imaging the right side of the vehicle;
The vehicle periphery monitoring device according to any one of claims 1 to 5 , wherein
JP2010042230A 2010-02-26 2010-02-26 Vehicle periphery monitoring device Expired - Fee Related JP5273068B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010042230A JP5273068B2 (en) 2010-02-26 2010-02-26 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010042230A JP5273068B2 (en) 2010-02-26 2010-02-26 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2011182059A JP2011182059A (en) 2011-09-15
JP5273068B2 true JP5273068B2 (en) 2013-08-28

Family

ID=44693140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010042230A Expired - Fee Related JP5273068B2 (en) 2010-02-26 2010-02-26 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP5273068B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789763B2 (en) 2018-01-17 2020-09-29 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6406175B2 (en) * 2015-08-27 2018-10-17 株式会社デンソー In-vehicle display control device, in-vehicle display control method
JP6575445B2 (en) * 2015-09-30 2019-09-18 アイシン精機株式会社 Image processing apparatus for vehicle
JP6769187B2 (en) * 2016-09-05 2020-10-14 日産自動車株式会社 Display method of display device and display device
JP6543313B2 (en) 2017-10-02 2019-07-10 株式会社エイチアイ Image generation record display device and program for mobile object
JP7504015B2 (en) 2020-12-18 2024-06-21 株式会社クボタ Vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (en) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd Apparatus for monitoring vicinity of mobile object
JP2008227646A (en) * 2007-03-09 2008-09-25 Clarion Co Ltd Obstacle detector
JP2008279875A (en) * 2007-05-10 2008-11-20 Alpine Electronics Inc Parking support device
JP5104397B2 (en) * 2008-02-27 2012-12-19 富士通株式会社 Image processing apparatus and image processing method
JP5412979B2 (en) * 2009-06-19 2014-02-12 コニカミノルタ株式会社 Peripheral display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789763B2 (en) 2018-01-17 2020-09-29 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Also Published As

Publication number Publication date
JP2011182059A (en) 2011-09-15

Similar Documents

Publication Publication Date Title
JP4412380B2 (en) Driving support device, driving support method, and computer program
JP4956915B2 (en) Video display device and video display method
JP6801787B2 (en) Parking support method and parking support device
US8035575B2 (en) Driving support method and driving support apparatus
JP5922866B2 (en) System and method for providing guidance information to a vehicle driver
JP4900232B2 (en) Vehicle parking assist device and video display method
JP5471141B2 (en) Parking assistance device and parking assistance method
JP5273068B2 (en) Vehicle periphery monitoring device
JP5741321B2 (en) Driving assistance device
CN104210424A (en) Enhanced front curb viewing system
JP5724446B2 (en) Vehicle driving support device
JP2003300443A (en) Parking assist system
JP2010184607A (en) Vehicle periphery displaying device
JP2012076483A (en) Parking support device
JP7156937B2 (en) Image processing device and image processing method
JP5654284B2 (en) Vehicle display device
JP2008279875A (en) Parking support device
JP2009211624A (en) Driving support device, driving support method, and computer program
JP2007168560A (en) Parking support apparatus
JP4797849B2 (en) Driving support image display system and in-vehicle device
JP2008151507A (en) Apparatus and method for merge guidance
JP2009171129A (en) Parking support device for vehicle and image display method
JP2008148114A (en) Drive assisting device
JP5605764B2 (en) Vehicle display device
JP2010012838A (en) Parking assisting device and parking assisting method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120229

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130429

R151 Written notification of patent or utility model registration

Ref document number: 5273068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees