JP6999761B2 - Vehicle peripheral monitoring device - Google Patents

Vehicle peripheral monitoring device Download PDF

Info

Publication number
JP6999761B2
JP6999761B2 JP2020147954A JP2020147954A JP6999761B2 JP 6999761 B2 JP6999761 B2 JP 6999761B2 JP 2020147954 A JP2020147954 A JP 2020147954A JP 2020147954 A JP2020147954 A JP 2020147954A JP 6999761 B2 JP6999761 B2 JP 6999761B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
door
unit
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020147954A
Other languages
Japanese (ja)
Other versions
JP2021000988A (en
Inventor
弘晃 坂倉
一彦 蟹和
壮 齋藤
輝久 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpha Corp
Original Assignee
Alpha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpha Corp filed Critical Alpha Corp
Priority to JP2020147954A priority Critical patent/JP6999761B2/en
Publication of JP2021000988A publication Critical patent/JP2021000988A/en
Application granted granted Critical
Publication of JP6999761B2 publication Critical patent/JP6999761B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両用周辺監視装置に関する。 The present invention relates to a vehicle peripheral monitoring device.

従来より、自動車などの車両には、ドアミラー等のアウターミラーが設けられている。このアウターミラーは、運転者が車両の後方及び後側方を視認する際に利用されるものであり、車体側面に外方へと膨出するように設けられている。このようなアウターミラーにあっては、車両走行時の空気抵抗を増加させる要因となっており、また、ミラーの形状や大きさには制限があるため、運転者の死角となる領域が発生してしまうことがあった。 Conventionally, vehicles such as automobiles are provided with outer mirrors such as door mirrors. This outer mirror is used when the driver visually recognizes the rear side and the rear side of the vehicle, and is provided on the side surface of the vehicle body so as to bulge outward. In such an outer mirror, it is a factor that increases the air resistance when the vehicle is running, and since the shape and size of the mirror are limited, a region that becomes a blind spot for the driver is generated. There was a case that it ended up.

そこで、近年では、アウターミラーに代えてカメラなどの撮像手段を車両に搭載した電子ミラー装置が提案されている(例えば特許文献1参照)。この電子ミラー装置においては、撮像手段により車両の後方及び後側方が撮像され、撮像した画像は車室内のモニターに表示される。 Therefore, in recent years, an electronic mirror device in which an imaging means such as a camera is mounted on a vehicle instead of an outer mirror has been proposed (see, for example, Patent Document 1). In this electronic mirror device, the rear and rear sides of the vehicle are imaged by the image pickup means, and the captured images are displayed on the monitor in the vehicle interior.

特開2016-124391号公報Japanese Unexamined Patent Publication No. 2016-124391

このように、撮像手段が搭載された車両が増加しており、この撮像手段の機能を有効に活用することが求められている。 As described above, the number of vehicles equipped with the image pickup means is increasing, and it is required to effectively utilize the function of the image pickup means.

一方で、車両から降車する場合、ドアを開放する際には、車両の後方から接近する人物、自転車或いは自動車に注意する必要があるが、これまでは、乗員自身で周囲の安全を確認しているに過ぎなかった。 On the other hand, when getting off the vehicle, when opening the door, it is necessary to pay attention to the person, bicycle or car approaching from the rear of the vehicle, but until now, the occupants themselves have to check the safety of the surroundings. I was just there.

本発明はかかる事情に鑑みてなされたものであり、その目的は、車両に搭載された撮像手段を利用して、車両降車時の安全を支援することができる車両用周辺監視装置を提供することである。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a peripheral monitoring device for a vehicle capable of supporting safety when the vehicle gets off by using an imaging means mounted on the vehicle. Is.

かかる課題を解決するために、本発明は、車両のドアに設けられ車両の後方及び後側方を撮像する撮像部を備える車両に搭載される車両用周辺監視装置を提供する。この車両用周辺監視装置は、撮像部により撮像された対象物の進路を予測する進路予測部と、進路予測部により予測された対象物の進路と、車両の側方に設定されて当該車両のドアが開閉する可動範囲を規定したドア開閉領域とに基づいて、対象物がドア開閉領域に進入するか否かを予測する進入予測部と、当該車両のドアが開いた状態を検知する開放検知部と、進入予測部により対象物がドア開閉領域に進入すると予測され、且つ、開放検知部により当該車両のドアが開いた状態が検知された場合に、閉状態の当該車両のドアが開方向へと回動した瞬間に、当該車両のドアの回動動作を規制する制御を実行する制御部と、を有している。 In order to solve such a problem, the present invention provides a vehicle peripheral monitoring device mounted on a vehicle, which is provided on a door of the vehicle and includes an image pickup unit that images the rear and rear sides of the vehicle. This vehicle peripheral monitoring device is set on the side of the vehicle, the course prediction unit that predicts the course of the object imaged by the image pickup unit, the course of the object predicted by the course prediction unit, and the vehicle. An approach prediction unit that predicts whether or not an object will enter the door opening / closing area based on the door opening / closing area that defines the movable range in which the door opens and closes, and an opening detection that detects the open state of the vehicle door. When it is predicted that the object will enter the door opening / closing area by the unit and the approach prediction unit, and the open detection unit detects that the door of the vehicle is open, the door of the vehicle in the closed state will open in the opening direction. It has a control unit that executes control for restricting the rotation operation of the door of the vehicle at the moment of rotation to .

発明において、開放検知部は、撮像部により撮像された撮像画像の位置ずれに基づいて当該車両のドアが開いた状態を検知することが好ましい
In the present invention, it is preferable that the open detection unit detects a state in which the door of the vehicle is open based on the positional deviation of the image captured by the image pickup unit .

本発明によれば、車両に搭載された撮像部を利用して、対象物がドア開閉領域に進入するか否かを予測することができるので、車両降車時の安全を支援することができる。 According to the present invention, it is possible to predict whether or not an object enters the door opening / closing region by using the image pickup unit mounted on the vehicle, so that it is possible to support the safety when the vehicle gets off.

車両を示す説明図Explanatory drawing showing a vehicle 本実施形態に係る車両用周辺監視装置を含む車両のシステム構成を示すブロック図A block diagram showing a system configuration of a vehicle including a vehicle peripheral monitoring device according to this embodiment. ドア開閉領域への対象物の進入を予測する処理を説明する図A diagram illustrating a process of predicting the entry of an object into a door opening / closing area. 本実施形態に係る車両用周辺監視装置の動作を示すフローチャートA flowchart showing the operation of the vehicle peripheral monitoring device according to the present embodiment.

以下、本実施形態に係る車両用周辺監視装置20が搭載された車両Cについて説明する。ここで、図1は、車両Cを示す説明図である。図2は、本実施形態に係る車両用周辺監視装置20を含む車両Cのシステム構成を示すブロック図である。本実施形態に係る車両Cは、例えば、左右一対のフロントサイドドア2、左右一対のリアサイドドア3を備えるタイプの自動車である。 Hereinafter, the vehicle C equipped with the vehicle peripheral monitoring device 20 according to the present embodiment will be described. Here, FIG. 1 is an explanatory diagram showing the vehicle C. FIG. 2 is a block diagram showing a system configuration of a vehicle C including a vehicle peripheral monitoring device 20 according to the present embodiment. The vehicle C according to the present embodiment is, for example, a type of automobile including a pair of left and right front side doors 2 and a pair of left and right rear side doors 3.

サイドドア2,3は、サイドドア2,3の外側に配置されるアウトサイドハンドル4と、サイドドア2,3の内側(車室側)に配置されるインサイドハンドル32と、を備えている。インサイドハンドル32には、インサイドハンドル32への乗員の接触又は接近を検知する静電容量センサ33が設けられている。 The side doors 2 and 3 include an outside handle 4 arranged outside the side doors 2 and 3 and an inside handle 32 arranged inside the side doors 2 and 3 (on the vehicle interior side). The inside handle 32 is provided with a capacitance sensor 33 for detecting the contact or approach of an occupant to the inside handle 32.

また、サイドドア2,3は、車体に対して係止するラッチ31を備えたドアロック装置30を備えている。ドアロック装置30が備えるラッチ31は、アウトサイドハンドル4又はインサイドハンドル32により解除操作を行うことができる。このドアロック装置30は、ロック状態とアンロック状態とを切り替えるアクチュエータ34と、このアクチュエータ34を制御するドアロック制御部35とを備えている。ドアロック装置30がロック状態である場合、アウトサイドハンドル4又はインサイドハンドル32によるラッチ31の解除操作が禁止される。一方、ドアロック装置30がアンロック状態である場合、アウトサイドハンドル4又はインサイドハンドル32によるラッチ31の解除操作が許容される。 Further, the side doors 2 and 3 are provided with a door lock device 30 provided with a latch 31 that locks to the vehicle body. The latch 31 included in the door lock device 30 can be released by the outside handle 4 or the inside handle 32. The door lock device 30 includes an actuator 34 that switches between a locked state and an unlocked state, and a door lock control unit 35 that controls the actuator 34. When the door lock device 30 is in the locked state, the release operation of the latch 31 by the outside handle 4 or the inside handle 32 is prohibited. On the other hand, when the door lock device 30 is in the unlocked state, the release operation of the latch 31 by the outside handle 4 or the inside handle 32 is permitted.

この車両Cは、電子ミラー装置10を搭載している。電子ミラー装置10は、ドアミラーなどのアウターミラーに代えて、撮像手段を利用して後方視認を行う装置である。電子ミラー装置10は、車両Cに搭載された左右一対の第1カメラ5と、電子ミラー制御部11と、左右の第1カメラ5に対応する一対の表示部12と、を主体に構成されている。 This vehicle C is equipped with an electronic mirror device 10. The electronic mirror device 10 is a device that performs rearward visual recognition by using an image pickup means instead of an outer mirror such as a door mirror. The electronic mirror device 10 is mainly composed of a pair of left and right first cameras 5 mounted on the vehicle C, an electronic mirror control unit 11, and a pair of display units 12 corresponding to the left and right first cameras 5. There is.

第1カメラ5は、左右の車体側面にそれぞれ設けられており、本実施形態では、フロントサイドドアのアウトサイドハンドル4に搭載されている。個々の第1カメラ5は、車両Cの後方視界、すなわち、車両Cの後方及び後側方を撮像する(第1撮像部)。具体的には、右側の第1カメラ5は、車両Cの後方及び右後側方を撮像し、左側の第1カメラ5は、車両Cの後方及び左後側方を撮像する。第1カメラ5としては、CMOS、CCDなどの撮像素子と、広角レンズとを用いたデジタルカメラが好適である。
The first camera 5 is provided on each of the left and right side surfaces of the vehicle body, and is mounted on the outside handle 4 of the front side door 2 in the present embodiment. Each first camera 5 captures the rear view of the vehicle C, that is, the rear and rear sides of the vehicle C (first imaging unit). Specifically, the first camera 5 on the right side captures the rear side and the right rear side of the vehicle C, and the first camera 5 on the left side captures the rear side and the left rear side of the vehicle C. As the first camera 5, a digital camera using an image pickup element such as CMOS or CCD and a wide-angle lens is suitable.

電子ミラー制御部11は、電子ミラー装置10を制御するものであり、これを機能的に捉えた場合、画像取得部11aと、画像処理部11bと、画像表示部11cとで構成されている。電子ミラー制御部11としては、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。 The electronic mirror control unit 11 controls the electronic mirror device 10, and when it is functionally captured, it is composed of an image acquisition unit 11a, an image processing unit 11b, and an image display unit 11c. As the electronic mirror control unit 11, a microcomputer mainly composed of a CPU, ROM, RAM, and an I / O interface can be used.

画像取得部11aは、左右の第1カメラ5に接続されており、左右の第1カメラ5から、車両Cの後方及び後側方を撮像した撮像画像を一定周期で取得する。画像処理部11bは、画像取得部11aが取得した撮像画像を、所定の切り出し範囲に応じて切り出して、表示用画像を生成する。画像処理部11bは、左右の第1カメラ5に対応して、左右の表示用画像をそれぞれ生成する。画像表示部11cは、画像処理部11bから表示用画像を受け取ると、この画像を一対の表示部12に表示する。この際、画像処理部11bは、右側の第1カメラ5から処理した表示用画像を、当該第1カメラ5に対応する表示部12に表示し、左側の第1カメラ5から処理した表示用画像を、当該第1カメラ5に対応する表示部12に表示する。 The image acquisition unit 11a is connected to the left and right first cameras 5, and acquires captured images of the rear and rear sides of the vehicle C from the left and right first cameras 5 at regular intervals. The image processing unit 11b cuts out the captured image acquired by the image acquisition unit 11a according to a predetermined cutting range to generate a display image. The image processing unit 11b generates left and right display images corresponding to the left and right first cameras 5. When the image display unit 11c receives the display image from the image processing unit 11b, the image display unit 11c displays this image on the pair of display units 12. At this time, the image processing unit 11b displays the display image processed from the first camera 5 on the right side on the display unit 12 corresponding to the first camera 5, and the display image processed from the first camera 5 on the left side. Is displayed on the display unit 12 corresponding to the first camera 5.

一対の表示部12は、例えば有機ELディスプレイ又は液晶ディスプレイ等である。各表示部12は、電子ミラー制御部11と接続されている。一対の表示部12は、例えば、車室内において、ウインドシールドの両側に位置する各フロントピラーの基端部に配置されている。右側の第1カメラ5に対応する表示部12は、右側のフロントピラーの基端部に配置され、左側の第1カメラ5に対応する表示部12は、左側のフロントピラーの基端部に配置されている。もっとも、一対の表示部12は、車室内の他の部位、例えばインストルメントパネルに設けられるものであってもよい。 The pair of display units 12 are, for example, an organic EL display or a liquid crystal display. Each display unit 12 is connected to an electronic mirror control unit 11. The pair of display units 12 are arranged at the base ends of the front pillars located on both sides of the windshield, for example, in the vehicle interior. The display unit 12 corresponding to the first camera 5 on the right side is arranged at the base end portion of the front pillar on the right side, and the display unit 12 corresponding to the first camera 5 on the left side is arranged at the base end portion of the front pillar on the left side. Has been done. However, the pair of display units 12 may be provided in other parts of the vehicle interior, for example, an instrument panel.

本実施形態の特徴の一つとして、車両Cは、車両用周辺監視装置20を搭載している。車両用周辺監視装置20は、車両降車時の安全を支援する装置である。車両用周辺監視装置20は、第2カメラ6と、監視制御部21と、報知部24とを主体に構成されている。なお、この車両用周辺監視装置20は、第2カメラ6のみを用いるのではなく、電子ミラー装置10が備えるフロントサイドドアの第1カメラ5も利用する。
As one of the features of this embodiment, the vehicle C is equipped with a vehicle peripheral monitoring device 20. The vehicle peripheral monitoring device 20 is a device that supports safety when the vehicle gets off. The vehicle peripheral monitoring device 20 is mainly composed of a second camera 6, a monitoring control unit 21, and a notification unit 24. The vehicle peripheral monitoring device 20 uses not only the second camera 6 but also the first camera 5 of the front side door 2 included in the electronic mirror device 10.

第2カメラ6は、第1カメラ5と組み合わされてステレオカメラを構成するカメラであり、第1カメラ5を基準とする所要の位置に配置されている。第2カメラ6は、左右の車体側面にそれぞれ設けられており、本実施形態では、リアサイドドアのアウトサイドハンドル4に搭載されている。個々の第2カメラ6は、第1カメラ5と同様、車両Cの後方視界、すなわち、車両Cの後方及び後側方を撮像する(第2撮像部)。具体的には、右側の第2カメラ6は、車両Cの後方及び右後側方を撮像し、左側の第2カメラ6は、車両Cの後方及び左後側方を撮像する。第2カメラ6としては、CMOS、CCDなどの撮像素子と、広角レンズとを用いたデジタルカメラが好適である。
The second camera 6 is a camera that is combined with the first camera 5 to form a stereo camera, and is arranged at a required position with respect to the first camera 5. The second camera 6 is provided on each of the left and right side surfaces of the vehicle body, and is mounted on the outside handle 4 of the rear side door 3 in the present embodiment. Like the first camera 5, each second camera 6 captures the rear view of the vehicle C, that is, the rear and rear sides of the vehicle C (second imaging unit). Specifically, the second camera 6 on the right side captures the rear side and the right rear side of the vehicle C, and the second camera 6 on the left side captures the rear side and the left rear side of the vehicle C. As the second camera 6, a digital camera using an image pickup element such as CMOS or CCD and a wide-angle lens is suitable.

監視制御部21は、画像取得部21aと、画像処理部21bと、制御部21cとで構成されている。監視制御部21は、車両右側の第1カメラ5及び第2カメラ6からなるステレオカメラと、車両左側の第1カメラ5及び第2カメラ6からなるステレオカメラとのそれぞれを対象に後述する処理を行う。ここで、図3は、ドア開閉領域Adへの対象物Oの進入予測を説明する図である。 The monitoring control unit 21 includes an image acquisition unit 21a, an image processing unit 21b, and a control unit 21c. The monitoring control unit 21 performs the processing described later for each of the stereo camera composed of the first camera 5 and the second camera 6 on the right side of the vehicle and the stereo camera composed of the first camera 5 and the second camera 6 on the left side of the vehicle. conduct. Here, FIG. 3 is a diagram illustrating the prediction of entry of the object O into the door opening / closing region Ad.

画像取得部21aは、ステレオカメラをなす第1カメラ5及び第2カメラ6に接続されており、第1カメラ5及び第2カメラ6から撮像画像を一定周期で取得する。 The image acquisition unit 21a is connected to the first camera 5 and the second camera 6 forming a stereo camera, and acquires images captured from the first camera 5 and the second camera 6 at regular intervals.

画像処理部21bは、第1カメラ5及び第2カメラ6から取得した撮像画像を処理するものである。画像処理部21bは、距離検出部21b1と、進路予測部21b2と、進入予測部21b3とで構成されている。 The image processing unit 21b processes the captured images acquired from the first camera 5 and the second camera 6. The image processing unit 21b includes a distance detection unit 21b1, a course prediction unit 21b2, and an approach prediction unit 21b3.

距離検出部21b1は、ステレオ画像処理を用いて、対象物Oまでの距離を検出するものである。ステレオ画像処理は、2つのカメラで同一計測点を撮像した際に2つの撮像画像に生じる視差(位置の違い)を用いて計測点までの距離を求める、ステレオカメラの原理を利用した処理である。距離検出部21b1は、第1カメラ5及び第2カメラ6により取得された一対の撮像画像に基づいて、ステレオ画像処理を行う。このステレオ画像処理を通じて、対象物Oの検出及び車両Cから対象物Oまでの距離が検出される。 The distance detection unit 21b1 detects the distance to the object O by using stereo image processing. Stereo image processing is a process that uses the principle of a stereo camera to determine the distance to a measurement point using the parallax (difference in position) that occurs in the two captured images when the same measurement point is captured by two cameras. .. The distance detection unit 21b1 performs stereo image processing based on the pair of captured images acquired by the first camera 5 and the second camera 6. Through this stereo image processing, the object O is detected and the distance from the vehicle C to the object O is detected.

進路予測部21b2は、距離検出部21b1により検出される対象物Oまでの距離の推移に基づいて、対象物Oの進路を予測する。 The course prediction unit 21b2 predicts the course of the object O based on the transition of the distance to the object O detected by the distance detection unit 21b1.

進入予測部21b3は、進路予測部21b2により予測された対象物Oの進路と、車両Cの側方に設定されるドア開閉領域Adとに基づいて、対象物Oがドア開閉領域Adに進入するか否かを予測する。ここで、ドア開閉領域Adは、車両Cのサイドドア2,3が開閉する可動範囲を規定したものであり、車両Cが備えるフロントサイドドア2及びリアサイドドア3に対応してそれぞれ設定されている。 The approach prediction unit 21b3 causes the object O to enter the door opening / closing area Ad based on the course of the object O predicted by the course prediction unit 21b2 and the door opening / closing area Ad set on the side of the vehicle C. Predict whether or not. Here, the door opening / closing area Ad defines a movable range in which the side doors 2 and 3 of the vehicle C are opened / closed, and is set corresponding to the front side door 2 and the rear side door 3 provided in the vehicle C, respectively. ..

制御部21cは、車両用周辺監視装置20を制御するものである。具体的には、制御部21cは、進入予測部21b3によりドア開閉領域Adへの対象物Oの進入が予測された場合に、所定の制御を行う。本実施形態において、制御部21cが行う所定の制御は、報知部24を用いた報知制御や、ドアロック装置30を用いたロック制御である。 The control unit 21c controls the vehicle peripheral monitoring device 20. Specifically, the control unit 21c performs predetermined control when the approach prediction unit 21b3 predicts the entry of the object O into the door opening / closing area Ad. In the present embodiment, the predetermined control performed by the control unit 21c is a notification control using the notification unit 24 and a lock control using the door lock device 30.

報知部24は、所定の情報を乗員に報知するものである。報知部24としては、インストルメントパネルに配設されたナビゲーション用のディスプレイ7、スピードメータなどが配設されたメータ装置における警報ランプ8、或いは、スピーカ9を用いることができる。 The notification unit 24 notifies the occupant of predetermined information. As the notification unit 24, a navigation display 7 arranged on the instrument panel, an alarm lamp 8 in a meter device provided with a speedometer or the like, or a speaker 9 can be used.

車両Cには、CAN(Controller Area Network)が設けられている。電子ミラー装置10及び車両用周辺監視装置20はCANに接続され、相互に通信可能に構成されている。また、車両用周辺監視装置20は、CANを介して、車両Cに搭載された各種センサや各種制御システムと通信することができる。 The vehicle C is provided with a CAN (Controller Area Network). The electronic mirror device 10 and the vehicle peripheral monitoring device 20 are connected to the CAN and are configured to be able to communicate with each other. Further, the vehicle peripheral monitoring device 20 can communicate with various sensors and various control systems mounted on the vehicle C via the CAN.

具体的には、車両用周辺監視装置20は、CANを通じて、インサイドハンドル32に設けられた静電容量センサ33の検出信号や、アクチュエータ34を制御するドアロック制御部35と通信することができる。また、車両用周辺監視装置20は、CANを通じて、シフトポジション信号を取得することができる。 Specifically, the vehicle peripheral monitoring device 20 can communicate with the detection signal of the capacitance sensor 33 provided on the inside handle 32 and the door lock control unit 35 that controls the actuator 34 through the CAN. Further, the vehicle peripheral monitoring device 20 can acquire a shift position signal through the CAN.

図3は、本実施形態に係る車両用周辺監視装置20の動作を示すフローチャートである。このフローチャートに示す処理は、車両Cのイグニッションスイッチのオンをトリガーとして実行される。 FIG. 3 is a flowchart showing the operation of the vehicle peripheral monitoring device 20 according to the present embodiment. The process shown in this flowchart is executed with the ignition switch of the vehicle C turned on as a trigger.

まず、ステップ1(S1)において、制御部21cは、シフトポジション信号に基づいて、現在のシフトポジションがパーキング(P)であるか否かを判断する。シフトポジションがパーキングである場合には、ステップ1で肯定判定され、ステップ2に進む。一方、シフトポジションがパーキングではない場合には、ステップ1で否定判定され、後述するステップ10(S10)に進む。 First, in step 1 (S1), the control unit 21c determines whether or not the current shift position is parking (P) based on the shift position signal. If the shift position is parking, a positive determination is made in step 1 and the process proceeds to step 2. On the other hand, if the shift position is not parking, a negative determination is made in step 1, and the process proceeds to step 10 (S10) described later.

ステップ2において、制御部21cは、第2カメラ6を起動するとともに、電子ミラー装置10を通じて第1カメラ5を起動する。なお、第1カメラ5及び第2カメラ6が既に起動している場合には、本ステップ2をスキップすることができる。 In step 2, the control unit 21c activates the second camera 6 and also activates the first camera 5 through the electronic mirror device 10. If the first camera 5 and the second camera 6 are already activated, this step 2 can be skipped.

ステップ3(S3)において、画像取得部21aは、第1カメラ5及び第2カメラ6から撮像画像をそれぞれ取得する。これにより、第1カメラ5から取得した撮像画像及び第2カメラ6から取得した撮像画像を含む、一対の撮像画像が取得される。 In step 3 (S3), the image acquisition unit 21a acquires captured images from the first camera 5 and the second camera 6, respectively. As a result, a pair of captured images including the captured image acquired from the first camera 5 and the captured image acquired from the second camera 6 are acquired.

ステップ4(S4)において、距離検出部21b1は、一対の撮像画像に基づいてステレオ画像処理を実施する。ステレオ画像処理は、一方の撮像画像と他方の撮像画像とを比較して、同じ被写体が撮像されている各画像中の位置の差、すなわち視差を算出する。三角測量の原理により、算出された視差に基づいて撮像画像に写し出された被写体までの距離が算出される。そして、算出された被写体までの距離に基づいて、周囲の景色と、人物、二輪車又は自動車などの対象物Oとが切り分けられ、対象物Oが検出される。この対象物Oには、当該対象物Oまでの距離(ステレオカメラを基準とする実空間上の位置)が対応付けられている。これにより、対象物O及び当該対象物Oまでの距離が検出される。 In step 4 (S4), the distance detection unit 21b1 performs stereo image processing based on the pair of captured images. In the stereo image processing, one captured image and the other captured image are compared, and the difference in position in each image in which the same subject is captured, that is, the parallax is calculated. According to the principle of triangulation, the distance to the subject projected on the captured image is calculated based on the calculated parallax. Then, based on the calculated distance to the subject, the surrounding scenery and the object O such as a person, a two-wheeled vehicle, or an automobile are separated, and the object O is detected. The object O is associated with a distance to the object O (a position in real space with respect to the stereo camera). As a result, the object O and the distance to the object O are detected.

ステップ5(S5)において、進路予測部21b2は、対象物Oの進路を予測する。上述した距離検出部21b1では、画像取得部21aによる撮像画像の取得周期と対応して、対象物Oまでの距離が時系列的に算出される。そこで、進路予測部21b2は、距離検出部21b1により検出された対象物Oまでの距離の推移に基づいて、対象物Oの進路を予測する。例えば、進路予測部21b2は、現在の対象物Oについての相対速度及び移動方向を演算し、所定時間後における対象物Oの到達位置Po及びその到達位置Poに至るまでの移動軌跡Toを進路として予測する(図3参照)。 In step 5 (S5), the course prediction unit 21b2 predicts the course of the object O. In the distance detection unit 21b1 described above, the distance to the object O is calculated in time series in correspondence with the acquisition cycle of the captured image by the image acquisition unit 21a. Therefore, the course prediction unit 21b2 predicts the course of the object O based on the transition of the distance to the object O detected by the distance detection unit 21b1. For example, the course prediction unit 21b2 calculates the relative velocity and the moving direction of the current object O, and uses the arrival position Po of the object O and the movement trajectory To up to the arrival position Po after a predetermined time as the course. Predict (see Figure 3).

ステップ6(S6)において、進入予測部21b3は、進路予測部21b2により予測された対象物Oの進路と、車両Cの側方に設定されるドア開閉領域Adとに基づいて、対象物Oがドア開閉領域Adに進入するか否かを予測する。具体的には、進入予測部21b3は、予測された対象物Oの進路、すなわち、到達位置Po又は移動軌跡Toが、ドア開閉領域Adのいずれかに含まれる場合には、対象物Oがドア開閉領域Adに進入すると予測する。一方、予測した到達位置Po又は移動軌跡Toが、ドア開閉領域Adのいずれにも含まれない場合には、対象物Oがドア開閉領域Adに進入しないと予測する。 In step 6 (S6), the approach prediction unit 21b3 determines that the object O is based on the course of the object O predicted by the course prediction unit 21b2 and the door opening / closing area Ad set on the side of the vehicle C. Predict whether or not to enter the door opening / closing area Ad. Specifically, in the approach prediction unit 21b3, when the predicted course of the object O, that is, the arrival position Po or the movement locus To is included in any of the door opening / closing regions Ad, the object O is the door. It is predicted to enter the opening / closing area Ad. On the other hand, when the predicted arrival position Po or the movement locus To is not included in any of the door opening / closing regions Ad, it is predicted that the object O does not enter the door opening / closing region Ad.

ステップ7(S7)において、制御部21cは、ドア開閉領域Adへの対象物Oの進入の有無を判断する。対象物Oの進入がある場合には、ステップ7で肯定判定され、ステップ8(S8)に進む。一方、対象物Oの進入がない場合には、ステップ7で否定判定され、ステップ1に戻る。 In step 7 (S7), the control unit 21c determines whether or not the object O has entered the door opening / closing area Ad. If the object O has entered, a positive judgment is made in step 7, and the process proceeds to step 8 (S8). On the other hand, if the object O does not enter, a negative determination is made in step 7 and the process returns to step 1.

ステップ8において、制御部21cは、静電容量センサ33の検出信号を参照し、インサイドハンドル32に対する人体の接触を検知したか否かを判断する。インサイドハンドル32に対する人体の接触が検知された場合には、ステップ8で肯定判定され、ステップ9(S9)に進む。一方、インサイドハンドル32への人体の接触が検知されない場合には、ステップ8で否定判定され、ステップ1に戻る。 In step 8, the control unit 21c refers to the detection signal of the capacitance sensor 33 and determines whether or not the contact of the human body with the inside handle 32 is detected. When the contact of the human body with the inside handle 32 is detected, a positive determination is made in step 8 and the process proceeds to step 9 (S9). On the other hand, if the contact of the human body with the inside handle 32 is not detected, a negative determination is made in step 8 and the process returns to step 1.

ステップ9において、制御部21cは、以下に示す2つの制御のうち、一方又は両方を実行し、本ルーチンを終了する(RETURN)。 In step 9, the control unit 21c executes one or both of the following two controls and ends this routine (RETURN).

(1)報知制御
制御部21cは、報知部24を制御して、乗員への報知を行う。この報知は、サイドドア2,3の可動範囲に対象物Oが進入することを注意喚起するものである。報知の方法としては、ディスプレイ7又は警報ランプ8を利用した異常状態の表示、或いは、スピーカ9を利用した音声出力又は警報音出力などが挙げられる。
(1) Notification control The control unit 21c controls the notification unit 24 to notify the occupants. This notification alerts the object O to enter the movable range of the side doors 2 and 3. Examples of the notification method include display of an abnormal state using the display 7 or the alarm lamp 8, voice output or alarm sound output using the speaker 9.

また、制御部21cは、第1カメラ5又は第2カメラ6から取得した撮像画像をディスプレイ7に表示してもよい。この際、制御部21cは、進入が予測された対象物Oが強調表示されるように、画像処理を行った上で、撮像画像をディスプレイ7に表示してもよい。 Further, the control unit 21c may display the captured image acquired from the first camera 5 or the second camera 6 on the display 7. At this time, the control unit 21c may display the captured image on the display 7 after performing image processing so that the object O predicted to enter is highlighted.

(2)ロック制御
制御部21cは、ドアロック制御部35を介してドアロック装置30を制御して、当該ドアロック装置30をロック状態へと設定する。このロック状態においては、インサイドハンドル32によるラッチ31の解除操作が禁止される。これにより、サイドドア2,3の開放が規制される。
(2) Lock control The control unit 21c controls the door lock device 30 via the door lock control unit 35 to set the door lock device 30 to the locked state. In this locked state, the release operation of the latch 31 by the inside handle 32 is prohibited. This restricts the opening of the side doors 2 and 3.

ステップ10(S10)において、制御部21cは、第2カメラ6を停止させ、本ルーチンを抜ける(RETURN)。なお、第2カメラ6が起動されていない場合には、本ステップをスキップすることができる。 In step 10 (S10), the control unit 21c stops the second camera 6 and exits this routine (RETURN). If the second camera 6 is not activated, this step can be skipped.

このように本実施形態において、車両用周辺監視装置20は、車両Cの後方及び後側方を撮像する第1カメラ5を備える車両Cに搭載されるものであり、(1)第1カメラ5から出力される撮像画像に基づいて、車両Cの後方及び後側方に存在する対象物Oまでの距離を検出する距離検出部21b1と、(2)距離検出部21b1により検出された対象物Oまでの距離の推移に基づいて、対象物Oの進路を予測する進路予測部21b2と、(3)進路予測部21b2により予測された対象物Oの進路と、車両Cの側方に設定されて当該車両Cのサイドドア2,3が開閉する可動範囲を規定したドア開閉領域Adとに基づいて、対象物Oがドア開閉領域Adに進入するか否かを予測する進入予測部21b3と、を有している。 As described above, in the present embodiment, the vehicle peripheral monitoring device 20 is mounted on the vehicle C including the first camera 5 that captures the rear and rear sides of the vehicle C, and (1) the first camera 5. The distance detection unit 21b1 that detects the distance to the object O existing behind and behind the vehicle C based on the captured image output from the vehicle C, and (2) the object O detected by the distance detection unit 21b1. Based on the transition of the distance to, the course prediction unit 21b2 that predicts the course of the object O, (3) the course of the object O predicted by the course prediction unit 21b2, and the course set to the side of the vehicle C. An approach prediction unit 21b3 that predicts whether or not the object O enters the door opening / closing area Ad based on the door opening / closing area Ad that defines the movable range in which the side doors 2 and 3 of the vehicle C are opened / closed. Have.

この構成によれば、第1カメラ5が撮像した撮像画像を利用することで、車両Cの後方又は後側方に存在する対象物Oまでの距離を検出することができる。そして、この距離から対象物Oの進路を予測することができる。これにより、サイドドア2,3の可動範囲に対象物Oが進入することを予測することができるので、車両降車時の安全を支援することができる。 According to this configuration, the distance to the object O existing behind or behind the vehicle C can be detected by using the captured image captured by the first camera 5. Then, the course of the object O can be predicted from this distance. As a result, it is possible to predict that the object O will enter the movable range of the side doors 2 and 3, so that it is possible to support the safety when the vehicle gets off.

特に、車両Cの後方から現れる対象物Oは、乗員の死角に入りやすく、また、二輪車などは接近するスピードも速いため、乗員が気付かないまま不意に現れることもある。そこで、後方を含む範囲をカバーする電子ミラー装置10の第1カメラ5を利用することで、より注意を払うべき後方の対象物Oを適切に検出することができる。これにより、車両降車時の安全を効果的に支援することができる。 In particular, the object O appearing from the rear of the vehicle C is likely to enter the blind spot of the occupant, and the two-wheeled vehicle or the like has a high approaching speed, so that the object O may appear unexpectedly without being noticed by the occupant. Therefore, by using the first camera 5 of the electronic mirror device 10 that covers the range including the rear, it is possible to appropriately detect the rear object O to be paid more attention to. This can effectively support the safety when the vehicle gets off.

また、本実施形態において、車両用周辺監視装置20は、第1カメラ5と組み合わされてステレオカメラを構成する第2カメラ6をさらに有しており、距離検出部21b1は、第1カメラ5及び第2カメラ6からそれぞれ出力される撮像画像に基づいて、車両Cの後方及び後側方に存在する対象物Oまでの位置を検出している。この場合、第1カメラ5は、車両Cのフロントサイドドアのアウトサイドハンドル4に取り付けられ、第2カメラ6は、車両Cのリアサイドドア3のアウトサイドハンドル4に取り付けられている。
Further, in the present embodiment, the vehicle peripheral monitoring device 20 further includes a second camera 6 that is combined with the first camera 5 to form a stereo camera, and the distance detection unit 21b1 includes the first camera 5 and the first camera 5. Based on the captured images output from the second camera 6, the positions of the objects O located behind and behind the vehicle C are detected. In this case, the first camera 5 is attached to the outside handle 4 of the front side door 2 of the vehicle C, and the second camera 6 is attached to the outside handle 4 of the rear side door 3 of the vehicle C.

この構成によれば、車両Cに搭載されている電子ミラー装置10の第1カメラ5を流用することで、第2カメラ6を備えるのみでステレオカメラを構築することができる。これにより、各カメラ5,6から出力される一対の撮像画像から、対象物Oまでの距離を適切に検出することができる。 According to this configuration, by diverting the first camera 5 of the electronic mirror device 10 mounted on the vehicle C, a stereo camera can be constructed only by providing the second camera 6. As a result, the distance to the object O can be appropriately detected from the pair of captured images output from the cameras 5 and 6.

また、この構成によれば、第1カメラ5を共用することで、車両用周辺監視装置20を安価に構築することができる。また、電子ミラー装置10によれば、車両Cの走行時に第1カメラ5から出力される撮像画像を利用するものであるが、車両用周辺監視装置20は、乗員の降車が可能な車両Cの停車時において第1カメラ5から出力される撮像画像を利用するものである。そのため、走行時と停車時とで第1カメラ5を異なる機能で利用することができ、第1カメラ5及びその撮像画像を有効に活用することができる。 Further, according to this configuration, by sharing the first camera 5, the vehicle peripheral monitoring device 20 can be constructed at low cost. Further, according to the electronic mirror device 10, the captured image output from the first camera 5 when the vehicle C is traveling is used, but the vehicle peripheral monitoring device 20 is a vehicle C capable of getting off the occupant. The captured image output from the first camera 5 when the vehicle is stopped is used. Therefore, the first camera 5 can be used with different functions when the vehicle is running and when the vehicle is stopped, and the first camera 5 and the captured image thereof can be effectively used.

なお、本実施形態では、第1カメラ5とともに、第2カメラ6を利用して対象物Oまでの距離を検出するものである。しかしながら、対象物Oまでの距離の検出方法については、第1カメラ5の撮像画像を利用するものであれば、第2カメラ6以外にも、レーザレーダ又はミリ波レーダ等のレーダを併用するものであってもよい。 In this embodiment, the distance to the object O is detected by using the second camera 6 together with the first camera 5. However, as for the method of detecting the distance to the object O, if the captured image of the first camera 5 is used, a radar such as a laser radar or a millimeter wave radar is used in combination with the second camera 6. May be.

また、本実施形態によれば、第1カメラ5及び第2カメラ6は、車両Cのサイドドア2,3の外側に配設されるアウトサイドハンドル4に取り付けられている。この構成によれば、車体側面にアウターミラーが無いような車両Cであっても、後方視界を得ることができる場所にカメラ5を配置することができる。これにより、後方及び後側方から接近する対象物Oを適切に検出することができる。 Further, according to the present embodiment, the first camera 5 and the second camera 6 are attached to the outside handles 4 arranged on the outside of the side doors 2 and 3 of the vehicle C. According to this configuration, the camera 5 can be arranged in a place where a rear view can be obtained even in the vehicle C having no outer mirror on the side surface of the vehicle body. As a result, the object O approaching from the rear and the rear side can be appropriately detected.

また、本実施形態によれば、電子ミラー装置10の第1カメラ5が、フロントサイドドアのアウトサイドハンドル4に取り付けられている。これにより、電子ミラー装置10においても利用される第1カメラ5を、車体の映り込みが少ない状態で設置することができる。 Further, according to the present embodiment, the first camera 5 of the electronic mirror device 10 is attached to the outside handle 4 of the front side door 2 . As a result, the first camera 5, which is also used in the electronic mirror device 10, can be installed in a state where the reflection of the vehicle body is small.

なお、本実施形態では、第1カメラ5及び第2カメラ6をアウトサイドハンドル4に取り付けたが、後方視界を得ることができ、かつステレオカメラを構成することができるのであれば、どのような場所に配置してもよい。例えば、第1カメラ5をアウトサイドハンドル4に配置し、第2カメラ6を第1カメラ5の上下方向における任意の車体位置に配置するといった如くである。 In the present embodiment, the first camera 5 and the second camera 6 are attached to the outside handle 4, but any method can be used as long as a rear view can be obtained and a stereo camera can be configured. It may be placed in a place. For example, the first camera 5 is arranged on the outside handle 4, and the second camera 6 is arranged at an arbitrary vehicle body position in the vertical direction of the first camera 5.

また、本実施形態において、車両用周辺監視装置20は、進入予測部21b3によりドア開閉領域Adへの対象物Oの進入が予測された場合に、所定の制御を行う制御部21cをさらに有している。 Further, in the present embodiment, the vehicle peripheral monitoring device 20 further includes a control unit 21c that performs predetermined control when the approach of the object O is predicted to enter the door opening / closing region Ad by the approach prediction unit 21b3. ing.

この場合、制御部21cは、ドア開閉領域Adへの対象物Oの進入が予測された場合に、報知部24を制御して、乗員への報知を行うことができる。 In this case, the control unit 21c can control the notification unit 24 to notify the occupant when the entry of the object O into the door opening / closing area Ad is predicted.

この構成によれば、サイドドア2,3の可動範囲への対象物Oの進入が予測されていることを、乗員に注意喚起することができる。その結果、乗員が対象物Oに気付かないままサイドドア2,3を開放してしまうといった事態を抑制することができる。 According to this configuration, it is possible to alert the occupant that the object O is predicted to enter the movable range of the side doors 2 and 3. As a result, it is possible to suppress a situation in which the occupant opens the side doors 2 and 3 without noticing the object O.

また、制御部21cは、ドア開閉領域Adへの対象物Oの進入が予測された場合に、ドアロック装置30を制御して、インサイドハンドル32によるラッチ31の解除操作を禁止することができる。 Further, the control unit 21c can control the door lock device 30 to prohibit the release operation of the latch 31 by the inside handle 32 when the entry of the object O into the door opening / closing area Ad is predicted.

この構成によれば、乗員がインサイドハンドル32を操作しても、サイドドア2,3の開放を規制することができる。これにより、サイドドア2,3の可動範囲へ対象物Oの進入が予測されている状況で、サイドドア2,3が開放されるといった事態を抑制することができる。 According to this configuration, even if the occupant operates the inside handle 32, the opening of the side doors 2 and 3 can be restricted. As a result, it is possible to suppress a situation in which the side doors 2 and 3 are opened in a situation where the object O is predicted to enter the movable range of the side doors 2 and 3.

以上、本実施形態に係る車両用周辺監視装置20について説明したが、この車両用周辺監視装置20については種々の変形が可能である。 Although the vehicle peripheral monitoring device 20 according to the present embodiment has been described above, the vehicle peripheral monitoring device 20 can be modified in various ways.

上述した実施形態では、ドア開閉領域Adへの対象物Oの進入が予測され、かつ、乗員がインサイドハンドル32へ接触したことを条件に、制御部21cが所定の制御を実行している。しかしながら、ドア開閉領域Adへの対象物Oの進入が予測されたことのみをもって、制御部21cによる所定の制御を実行してもよい。もっとも、乗員がインサイドハンドル32へ接触したことを条件に付加することで、乗員に降車する意思がないにも関わらず、制御部21cの制御が実行されてしまうという事態を抑制することができる。 In the above-described embodiment, the control unit 21c executes predetermined control on condition that the entry of the object O into the door opening / closing region Ad is predicted and the occupant comes into contact with the inside handle 32. However, the predetermined control by the control unit 21c may be executed only when the entry of the object O into the door opening / closing region Ad is predicted. However, by adding the condition that the occupant has come into contact with the inside handle 32, it is possible to suppress a situation in which the control of the control unit 21c is executed even though the occupant does not intend to get off.

また、上述した実施形態では、乗員によるサイドドア2,3の開放操作を判断するために、静電容量センサ33によりインサイドハンドル32への接触を判断している。しかしながら、開放操作の検出は、これに限定されるものではない。例えば、インサイドハンドル32の回動操作を検知する、或いは、サイドドア2,3がわずかに開いた状態を検知する開放操作検知部を備えるものであってもよい。 Further, in the above-described embodiment, in order to determine the opening operation of the side doors 2 and 3 by the occupant, the contact with the inside handle 32 is determined by the capacitance sensor 33. However, the detection of the opening operation is not limited to this. For example, it may be provided with an open operation detection unit that detects the rotation operation of the inside handle 32 or detects the state in which the side doors 2 and 3 are slightly opened.

また、カメラ5,6をアウトサイドハンドル4に搭載する本実施形態では、制御部21cは、カメラ5,6からの撮像画像を利用して、サイドドア2,3が開いた状態を検知することもできる。すなわち、サイドドア2,3が開かれた場合には、アウトサイドハンドル4に配設されたカメラ5,6の画角もずれるため、撮像画像に映り込む車体の位置もずれることとなる。そこで、制御部21cは、この位置ずれを判断して、サイドドア2,3が開かれたことを検知してもよい。 Further, in the present embodiment in which the cameras 5 and 6 are mounted on the outside handle 4, the control unit 21c detects the open state of the side doors 2 and 3 by using the images captured from the cameras 5 and 6. You can also. That is, when the side doors 2 and 3 are opened, the angles of view of the cameras 5 and 6 arranged on the outside handle 4 are also displaced, so that the position of the vehicle body reflected in the captured image is also displaced. Therefore, the control unit 21c may determine this positional deviation and detect that the side doors 2 and 3 have been opened.

また、本実施形態では、インサイドハンドル32によるラッチ31の解除操作を禁止することにより、サイドドア2,3が開放されることを無効化している。しかしながら、制御部21cは、閉状態のサイドドア2,3が開方向へと回動した瞬間に、サイドドア2,3の回動動作を規制する制御を行うものであってもよい。 Further, in the present embodiment, the opening of the side doors 2 and 3 is invalidated by prohibiting the release operation of the latch 31 by the inside handle 32. However, the control unit 21c may control to regulate the rotational operation of the side doors 2 and 3 at the moment when the closed side doors 2 and 3 rotate in the opening direction.

上述した実施形態では、乗員が着座しているか否かに関わらず、全てのサイドドア2,3を対象に、ドア開閉領域Adへの対象物Oの進入を予測している。しかしながら、車両用周辺監視装置20は、乗員が着座するシート毎に、乗員の着座を検出する乗員検知部を備えていてもよい。この場合、進入予測部21b3は、乗員検出部により着座が検出されたシートと対応するサイドドア2,3に限定して、ドア開閉領域Adに対して対象物Oが進入するか否かを予測してもよい。 In the above-described embodiment, the entry of the object O into the door opening / closing area Ad is predicted for all the side doors 2 and 3 regardless of whether or not the occupant is seated. However, the vehicle peripheral monitoring device 20 may include an occupant detection unit that detects the seating of the occupant for each seat on which the occupant sits. In this case, the approach prediction unit 21b3 predicts whether or not the object O will enter the door opening / closing area Ad, limited to the side doors 2 and 3 corresponding to the seat whose seating has been detected by the occupant detection unit. You may.

また、このような着座の判断を行わずとも、進入予測部21b3は、リアサイドドア3に限定して、ドア開閉領域Adに対して対象物Oが進入するか否かを予測してもよい。これは、車両用周辺監視装置20が、車両Cの後方から接近する対象物Oを前提としているからである。 Further, the approach prediction unit 21b3 may predict whether or not the object O enters the door opening / closing area Ad only on the rear side door 3 without making such a seating determination. This is because the vehicle peripheral monitoring device 20 is premised on the object O approaching from the rear of the vehicle C.

また、進入予測部21b3は、対象物Oの移動速度に応じて、ドア開閉領域Adに対する対象物Oの進入予測感度を変更してもよい。例えば、対象物Oの移動速度が速い場合には、その移動速度が遅い場合と比較して、報知制御又はロック制御を早期に実行した方が好ましい。したがって、進入予測部21b3は、予測対象となる対象物Oの相対速度が速い場合には、進入予測感度を上げるといった如くである。進入予測感度を上げる方法としては、ドア開閉領域Adの外側に仮想的なドア開閉領域を追加的に設定したり、進路予測部21b2に対して到達位置Poへの設定時間を長くするように指示したりする、といった如くである。 Further, the approach prediction unit 21b3 may change the approach prediction sensitivity of the object O with respect to the door opening / closing area Ad according to the moving speed of the object O. For example, when the moving speed of the object O is high, it is preferable to execute the notification control or the lock control earlier than when the moving speed is slow. Therefore, the approach prediction unit 21b3 increases the approach prediction sensitivity when the relative speed of the object O to be predicted is high. As a method of increasing the approach prediction sensitivity, a virtual door opening / closing area is additionally set outside the door opening / closing area Ad, or the course prediction unit 21b2 is instructed to lengthen the setting time to the arrival position Po. And so on.

また、撮像画像を用いた対象物Oの検出方法では、対象物Oの大きさを認識することができる。そこで、進入予測部21b3は、対象物Oの大きさに応じて、ドア開閉領域Adに対する対象物Oの進入予測感度を変更してもよい。例えば、対象物Oを二輪車、歩行者に分類し、二輪車に対しては歩行者よりも進入予測感度を上げるといった如くである。 Further, in the method of detecting the object O using the captured image, the size of the object O can be recognized. Therefore, the approach prediction unit 21b3 may change the approach prediction sensitivity of the object O with respect to the door opening / closing area Ad according to the size of the object O. For example, the object O is classified into two-wheeled vehicles and pedestrians, and the approach prediction sensitivity for two-wheeled vehicles is higher than that for pedestrians.

また、本実施形態において、制御部21cは、ドア開閉領域Adへの対象物Oの進入が予測された場合に、報知制御及びロック制御のいずれか一方又は双方を行うものである。しかしながら、制御部21cが行う制御は、これ以外のものであってもよい。例えば、制御部21cは、車両Cに搭載される他の制御システム(外部機器)に対して、予測結果を送信してもよい。これにより、予測結果を受けた制御システムでは、当該システムが具備する報知手段を利用して報知を行ったり、当該システムを構成する機器を不作動にしたりする、といった処理を行うことができる。 Further, in the present embodiment, the control unit 21c performs either or both of notification control and lock control when the entry of the object O into the door opening / closing area Ad is predicted. However, the control performed by the control unit 21c may be other than this. For example, the control unit 21c may transmit the prediction result to another control system (external device) mounted on the vehicle C. As a result, the control system that receives the prediction result can perform processing such as performing notification using the notification means provided in the system or deactivating the equipment constituting the system.

以上、本実施形態に係る車両用周辺監視装置について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。 Although the vehicle peripheral monitoring device according to the present embodiment has been described above, it is needless to say that the present invention is not limited to the above-described embodiment and various modifications can be made within the scope of the present invention. ..

例えば、本実施形態では、車両のドアとしてサイドドアを例示しているが、後方に開放されるバックドアであってもよい。 For example, in the present embodiment, a side door is exemplified as a vehicle door, but a back door opened to the rear may be used.

C 車両
2,3 サイドドア
4 アウトサイドハンドル
5 カメラ(第1カメラ)
6 カメラ(第2カメラ)
7 ディスプレイ
8 警報ランプ
9 スピーカ
10 電子ミラー装置
11 電子ミラー制御部
21 表示部
20 車両用周辺監視装置
21 監視制御部
21a 画像取得部
21b 画像処理部
21b1 距離検出部
21b2 進路予測部
21b3 進入予測部
21c 制御部
24 報知部
30 ドアロック装置
31 ラッチ
32 インサイドハンドル
33 静電容量センサ
34 アクチュエータ
35 ドアロック制御部
C Vehicle 2, 3 Side door 4 Outside handle 5 Camera (1st camera)
6 camera (second camera)
7 Display 8 Alarm lamp 9 Speaker 10 Electronic mirror device 11 Electronic mirror control unit 21 Display unit 20 Vehicle peripheral monitoring device 21 Monitoring control unit 21a Image acquisition unit 21b Image processing unit 21b1 Distance detection unit 21b2 Path prediction unit 21b3 Approach prediction unit 21c Control unit 24 Notification unit 30 Door lock device 31 Latch 32 Inside handle 33 Capacitance sensor 34 Actuator 35 Door lock control unit

Claims (2)

車両のドアに設けられ車両の後方及び後側方を撮像する撮像部を備える車両に搭載される車両用周辺監視装置において、
前記撮像部により撮像された対象物の進路を予測する進路予測部と、
前記進路予測部により予測された前記対象物の進路と、車両の側方に設定されて当該車両のドアが開閉する可動範囲を規定したドア開閉領域とに基づいて、前記対象物が前記ドア開閉領域に進入するか否かを予測する進入予測部と、
当該車両のドアが開いた状態を検知する開放検知部と、
前記進入予測部により前記対象物が前記ドア開閉領域に進入すると予測され、且つ、前記開放検知部により当該車両のドアが開いた状態が検知された場合に、閉状態の当該車両のドアが開方向へと回動した瞬間に、当該車両のドアの回動動作を規制する制御を実行する制御部と、
を有することを特徴とする車両用周辺監視装置。
In a vehicle peripheral monitoring device mounted on a vehicle equipped with an image pickup unit that is provided on the door of the vehicle and images the rear and rear sides of the vehicle.
A course prediction unit that predicts the course of an object imaged by the image pickup unit, and a course prediction unit.
The object opens and closes the door based on the path of the object predicted by the course prediction unit and a door opening / closing area set on the side of the vehicle and defining a movable range in which the door of the vehicle opens / closes. An approach prediction unit that predicts whether or not to enter the area,
An open detection unit that detects the open state of the vehicle door, and
When the approach prediction unit predicts that the object will enter the door opening / closing region, and the opening detection unit detects that the door of the vehicle is open, the door of the vehicle in the closed state is opened . A control unit that executes control to regulate the rotation operation of the door of the vehicle at the moment of rotation in the direction .
A vehicle peripheral monitoring device characterized by having.
前記開放検知部は、前記撮像部により撮像された撮像画像の位置ずれに基づいて当該車両のドアが開いた状態を検知することを特徴とする請求項に記載の車両用周辺監視装置。
The peripheral monitoring device for a vehicle according to claim 1 , wherein the open detection unit detects a state in which the door of the vehicle is opened based on the positional deviation of the captured image captured by the image pickup unit.
JP2020147954A 2020-09-03 2020-09-03 Vehicle peripheral monitoring device Active JP6999761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020147954A JP6999761B2 (en) 2020-09-03 2020-09-03 Vehicle peripheral monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147954A JP6999761B2 (en) 2020-09-03 2020-09-03 Vehicle peripheral monitoring device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017028675A Division JP6760867B2 (en) 2017-02-20 2017-02-20 Peripheral monitoring device for vehicles

Publications (2)

Publication Number Publication Date
JP2021000988A JP2021000988A (en) 2021-01-07
JP6999761B2 true JP6999761B2 (en) 2022-01-19

Family

ID=73993746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020147954A Active JP6999761B2 (en) 2020-09-03 2020-09-03 Vehicle peripheral monitoring device

Country Status (1)

Country Link
JP (1) JP6999761B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149283A1 (en) * 2022-02-04 2023-08-10 株式会社デンソー Surroundings monitoring device and program
CN115631553A (en) * 2022-10-11 2023-01-20 中国第一汽车股份有限公司 Vehicle unlocking method, vehicle unlocking device and vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001239832A (en) 2000-02-29 2001-09-04 Matsushita Electric Ind Co Ltd Device for warning in opening vehicle door
JP2007235528A (en) 2006-03-01 2007-09-13 Toyota Motor Corp Image providing device
JP2011105058A (en) 2009-11-13 2011-06-02 Aisin Seiki Co Ltd Multi-function camera system
JP2016219040A (en) 2016-08-03 2016-12-22 三菱自動車工業株式会社 Vehicle-rear monitoring device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001239832A (en) 2000-02-29 2001-09-04 Matsushita Electric Ind Co Ltd Device for warning in opening vehicle door
JP2007235528A (en) 2006-03-01 2007-09-13 Toyota Motor Corp Image providing device
JP2011105058A (en) 2009-11-13 2011-06-02 Aisin Seiki Co Ltd Multi-function camera system
JP2016219040A (en) 2016-08-03 2016-12-22 三菱自動車工業株式会社 Vehicle-rear monitoring device

Also Published As

Publication number Publication date
JP2021000988A (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP6760867B2 (en) Peripheral monitoring device for vehicles
US10435920B2 (en) Safety system for preventing a vehicle door from opening into traffic
EP2579231A1 (en) Image processing apparatus for vehicle
US20160208537A1 (en) Door protection system
JP4517393B2 (en) Driving assistance device
JP4682880B2 (en) Parking assistance device
CN108016353B (en) Door opening pre-detection system for vehicle
JP6999761B2 (en) Vehicle peripheral monitoring device
EP3248839B1 (en) Vehicular display device
JP7215228B2 (en) Control device, control method, control program
JP4792865B2 (en) Vehicle alarm device
JP4984521B2 (en) In-vehicle camera control device
JP2017019419A (en) Vehicle door opening/closing control device and door opening/closing control system, door opening/closing advance notice system
CN111976595A (en) Door opening assist system, vehicle including the same, and corresponding method and medium
KR101427889B1 (en) System and method for preventing collision of vehicle’s door
US11198392B2 (en) Vehicle monitoring device
JP2017224075A (en) Device, method and system for supporting take-out of vehicle
JP6143036B2 (en) Vehicle rearward monitoring device
JP6451390B2 (en) Motion detection system
JP2009121120A (en) Alarm device for vehicle
US20220332309A1 (en) Vehicle exit assist apparatus
JP2007085745A (en) Object monitoring apparatus
KR20240077106A (en) Apparatus and method for automotive mirror
JP2000159054A (en) Occupant crash protection device
JP2012086823A (en) Intrusion detection device and on-vehicle control device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150