JP6774612B2 - Vehicle recording device, vehicle recording method and program - Google Patents

Vehicle recording device, vehicle recording method and program Download PDF

Info

Publication number
JP6774612B2
JP6774612B2 JP2019190954A JP2019190954A JP6774612B2 JP 6774612 B2 JP6774612 B2 JP 6774612B2 JP 2019190954 A JP2019190954 A JP 2019190954A JP 2019190954 A JP2019190954 A JP 2019190954A JP 6774612 B2 JP6774612 B2 JP 6774612B2
Authority
JP
Japan
Prior art keywords
image
camera
vehicle
bird
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019190954A
Other languages
Japanese (ja)
Other versions
JP2020036332A (en
Inventor
広樹 高橋
広樹 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019190954A priority Critical patent/JP6774612B2/en
Publication of JP2020036332A publication Critical patent/JP2020036332A/en
Application granted granted Critical
Publication of JP6774612B2 publication Critical patent/JP6774612B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両用記録装置、車両用記録方法及びプログラムに関する。 The present invention relates to a vehicle recording device, a vehicle recording method and a program.

近年、ドライブレコーダなどの車両用記録装置が普及しつつある。車両用記録装置は、イベントの発生(事故などによる加速度検出)の前後所定期間の映像データを、イベント記録データとして記録するもので、前方または後方の映像を記録するものが一般的である。しかしながら、イベントの発生は、前方や後方に限らず、横方向から衝突される場合などもある。特許文献1には、全周囲カメラを利用したドライブレコーダが開示されている。特許文献2には、車両に複数設けたカメラに対応するセンサの検出により記録を行うドライブレコーダが開示されている。 In recent years, vehicle recording devices such as drive recorders have become widespread. The vehicle recording device records video data for a predetermined period before and after the occurrence of an event (acceleration detection due to an accident or the like) as event recording data, and generally records front or rear video. However, the occurrence of the event is not limited to the front and the rear, and may be a collision from the lateral direction. Patent Document 1 discloses a drive recorder using an omnidirectional camera. Patent Document 2 discloses a drive recorder that records by detecting sensors corresponding to a plurality of cameras provided in a vehicle.

特開2000−128031号公報Japanese Unexamined Patent Publication No. 2000-128031 特開2011−250193号公報Japanese Unexamined Patent Publication No. 2011-250193

しかしながら、特許文献1に開示されたドライブレコーダでは、ドライブレコーダのカメラである全周囲カメラが車室内に設置されるため、横方向や後方の映像は画質が粗く、事故の検証に役立ち得るような鮮明な横方向や後方の映像を記録することはできない。また、特許文献2に開示されたドライブレコーダでは、ドライブレコーダのための複数のカメラと複数のカメラごとに対応するセンサを設ける必要があるため、コストの大幅な増加を招く。 However, in the drive recorder disclosed in Patent Document 1, since the omnidirectional camera, which is the camera of the drive recorder, is installed in the vehicle interior, the image quality in the lateral direction and the rear is rough, and it may be useful for the verification of an accident. It is not possible to record clear lateral or rear images. Further, in the drive recorder disclosed in Patent Document 2, it is necessary to provide a plurality of cameras for the drive recorder and sensors corresponding to each of the plurality of cameras, which causes a significant increase in cost.

本発明は、以上の背景に鑑みなされたものであり、コストの大幅な増加を招くことなく、車両の全周囲において適切に映像を記録することができる車両用記録装置を提供することを目的とする。 The present invention has been made in view of the above background, and an object of the present invention is to provide a vehicle recording device capable of appropriately recording an image in the entire circumference of a vehicle without causing a significant increase in cost. To do.

本発明は、車両用記録装置であって、車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得する映像取得部と、前記車両の走行状態を取得する走行状態取得部と、前記映像取得部が取得した前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行う切出処理部と、前記切出処理部が切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成する俯瞰映像生成部と、前記車両が停止しているときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行しているときは、前記第1カメラの映像を記録対象データとして記録する、記録制御部と、を備える。 The present invention is an image acquisition device for a vehicle, which acquires an image of a first camera that captures the front or rear of a vehicle and an image of a second camera that captures an image of a range including the lower front, rear, left, and right of the vehicle. Cutting process that cuts out the image of the second camera acquired by the unit, the traveling state acquisition unit that acquires the traveling state of the vehicle, and the image acquisition unit within the cutting range used as the bird's-eye view image. A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out by the section and the cutting process unit, and the first unit is located in the center of the generated bird's-eye view image. When the bird's-eye view image generation unit that generates an image obtained by synthesizing the images of the cameras and the bird's-eye view image based on the image of the second camera as the recording target data when the vehicle is stopped, the vehicle is traveling Includes a recording control unit that records the image of the first camera as recording target data.

本発明は、車両用記録方法であって、車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、車両用記録装置が実行する。 The present invention is a recording method for a vehicle, which includes a step of acquiring an image of a first camera that captures the front or rear of the vehicle and an image of a second camera that captures a range including the front, rear, left, and right of the vehicle. By performing a step of cutting out the image of the second camera in the cutout range used as the bird's-eye view image and performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out. It is determined that the vehicle is stopped based on the step of generating the bird's-eye view image and generating the image obtained by synthesizing the image of the first camera at the center of the generated bird's-eye view image and the information on the running state of the vehicle. In this case, the bird's-eye view image based on the image of the second camera is used as the recording target data, and when it is determined that the vehicle is traveling, the image of the first camera is recorded as the recording target data. Performed by the vehicle recording device.

本発明は、車両用記録のための処理手順をコンピュータに実行させるためのプログラムであって、車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、を含む。 The present invention is a program for causing a computer to execute a processing procedure for recording for a vehicle, and includes a range including an image of a first camera that captures the front or rear of the vehicle and the lower front, rear, left, and right sides of the vehicle. The step of acquiring the image of the second camera to be photographed, the step of performing the cutting process on the image of the second camera within the cutout range used as the bird's-eye view image, and the step of performing the cutting process of the second camera. A bird's-eye view image is generated by performing viewpoint conversion processing and composition on the image, and in the center of the generated bird's-eye view image, a step of generating a combined image of the image of the first camera and information on the running state of the vehicle. Therefore, when it is determined that the vehicle is stopped, the bird's-eye view image based on the image of the second camera is used as the recording target data, and when it is determined that the vehicle is running, the first camera Includes a step of recording the video of the camera as data to be recorded.

本発明によれば、コストの大幅な増加を招くことなく、車両の全周囲において適切に映像を記録することができる。 According to the present invention, it is possible to appropriately record an image around the entire circumference of a vehicle without causing a significant increase in cost.

本実施の形態にかかる車両用記録装置が搭載される車両内の運転席の前方の例を模式的に示す図である。It is a figure which shows typically the example in front of the driver's seat in the vehicle which mounts the vehicle recording device which concerns on this embodiment. 本実施の形態にかかる車両用記録装置が搭載される車両におけるカメラの設置位置の一例を示す模式図である。It is a schematic diagram which shows an example of the installation position of the camera in the vehicle which mounts the vehicle recording device which concerns on this embodiment. 本実施の形態にかかる車両用記録装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the vehicle recording apparatus which concerns on this embodiment. 本実施の形態にかかる車両用記録装置の制御部における映像の記録動作の流れを示すフローチャートである。It is a flowchart which shows the flow of the image recording operation in the control part of the vehicle recording apparatus which concerns on this embodiment. 車両が後退している場合に、第2カメラの映像データに対して生成した俯瞰映像を表示部に表示させた一例を示す模式図である。It is a schematic diagram which shows an example which displayed the bird's-eye view image generated with respect to the image data of the 2nd camera on the display part when the vehicle is moving backward. 車両が停止している場合に、第2カメラの映像データに対して生成した俯瞰映像を表示部に表示させた一例を示す模式図である。It is a schematic diagram which shows an example which displayed the bird's-eye view image generated with respect to the image data of a 2nd camera on the display part when a vehicle is stopped. 車両が停止している場合に、第2カメラの映像データに対して生成した俯瞰映像を表示部に表示させた別の一例を示す模式図である。It is a schematic diagram which shows another example which displayed the bird's-eye view image generated with respect to the image data of a 2nd camera on the display part when a vehicle is stopped.

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. Moreover, not all of the configurations described in the embodiments are indispensable as means for solving the problem.

図1は、本実施の形態にかかる車両用記録装置が搭載される車両内の運転席の前方の例を模式的に示す図である。図1に示される車両においては、センターコンソール20に配置された横長形状の表示部11に俯瞰映像を表示する。また、図1に示される車両内の運転席の前方には、表示部11及びセンターコンソール20の他、クラスターパネル30、ステアリングホイール40、ウインドシールド50、ダッシュボード60、及びリヤビューミラー70等が配置されている。 FIG. 1 is a diagram schematically showing an example in front of a driver's seat in a vehicle in which a vehicle recording device according to the present embodiment is mounted. In the vehicle shown in FIG. 1, a bird's-eye view image is displayed on a horizontally long display unit 11 arranged on the center console 20. Further, in front of the driver's seat in the vehicle shown in FIG. 1, in addition to the display unit 11 and the center console 20, a cluster panel 30, a steering wheel 40, a windshield 50, a dashboard 60, a rear view mirror 70, and the like are arranged. Has been done.

表示部11は、上述した俯瞰映像を表示すると共に、俯瞰映像に切り替えられる前は、ナビゲーション画面等を表示する。ステアリングホイール40は、運転者がステアリング操作を行うものである。ステアリングホイール40によるステアリング操作に応じて、車両のステアリング向きが変更される。クラスターパネル30は、ウインドシールド50の下側のダッシュボード60に配置されており、速度計やエンジン回転計等が表示される。リヤビューミラー70は、運転者が車両の後方を確認するためのミラーである。 The display unit 11 displays the above-mentioned bird's-eye view image, and displays a navigation screen or the like before switching to the bird's-eye view image. The steering wheel 40 is for the driver to perform a steering operation. The steering direction of the vehicle is changed according to the steering operation by the steering wheel 40. The cluster panel 30 is arranged on the dashboard 60 below the windshield 50, and displays a speedometer, an engine tachometer, and the like. The rear view mirror 70 is a mirror for the driver to check the rear of the vehicle.

図2は、本実施の形態にかかる車両用記録装置が搭載される車両におけるカメラの設置位置の一例を示す模式図である。図2の上段には車両900の側面視(左側面視)、図2の下段には車両900の上面視を示す。図2に示すように、車両900には、第1カメラ13と第2カメラ14が設置されている。 FIG. 2 is a schematic view showing an example of a camera installation position in a vehicle equipped with the vehicle recording device according to the present embodiment. The upper part of FIG. 2 shows the side view (left side view) of the vehicle 900, and the lower part of FIG. 2 shows the top view of the vehicle 900. As shown in FIG. 2, the vehicle 900 is provided with a first camera 13 and a second camera 14.

第1カメラ13は、車両900の前方または後方を撮影するためのカメラである。すなわち、第1カメラ13は、車両の前方を撮影する前方カメラ13aと、車両の後方を撮影する後方カメラ13bと、を含む。前方カメラ13a及び後方カメラ13bは、ウインドシールド上部、例えば、リヤビューミラー70に設置されている。なお、一般的なドライブレコーダにおいて、車室内に設置する、前方カメラ13a及び後方カメラ13bを含む第1カメラ13が予め装備されている。 The first camera 13 is a camera for photographing the front or the rear of the vehicle 900. That is, the first camera 13 includes a front camera 13a for photographing the front of the vehicle and a rear camera 13b for photographing the rear of the vehicle. The front camera 13a and the rear camera 13b are installed on the upper part of the windshield, for example, the rear view mirror 70. In a general drive recorder, a first camera 13 including a front camera 13a and a rear camera 13b, which is installed in the vehicle interior, is provided in advance.

第2カメラ14は、車両の前後左右の下方を含む範囲を撮影するためのカメラである。すなわち、第2カメラ14は、車両の前方の下方を撮影する前方俯瞰映像カメラ14aと、車両の後方の下方を撮影する後方俯瞰映像カメラ14bと、車両の左側方の下方を撮影する左側方俯瞰映像カメラ14cと、車両の右側方の下方を撮影する右側方俯瞰映像カメラ14dと、を含む。例えば、前方俯瞰映像カメラ14aは車両900の前端に、後方俯瞰映像カメラ14bは車両900の後端に、左側方俯瞰映像カメラ14cは左側サイドミラー71aに、右側方俯瞰映像カメラ14dは右側サイドミラー71bに設置されている。前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dは、広角レンズカメラである。なお、トップビュー、リアビュー、パノラマビュー等の様々な角度からの映像を映し出す車載カメラシステム、いわゆる"サラウンドビューシステム"が搭載された車両では、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dを含む第2カメラ14が予め装備されている。このため、サラウンドビューシステムを搭載した車両では、第2カメラ14を追加設置する必要はない。 The second camera 14 is a camera for photographing a range including the lower front, rear, left, and right of the vehicle. That is, the second camera 14 includes a front bird's-eye view image camera 14a that captures the lower part in front of the vehicle, a rear bird's-eye view image camera 14b that photographs the lower part behind the vehicle, and a left side bird's-eye view that photographs the lower part on the left side of the vehicle. It includes a video camera 14c and a right-side bird's-eye view video camera 14d that captures the lower right side of the vehicle. For example, the front bird's-eye view image camera 14a is at the front end of the vehicle 900, the rear bird's-eye view image camera 14b is at the rear end of the vehicle 900, the left side bird's-eye view image camera 14c is at the left side mirror 71a, and the right side bird's-eye view image camera 14d is at the right side mirror. It is installed at 71b. The front bird's-eye view image camera 14a, the rear bird's-eye view image camera 14b, the left side bird's-eye view image camera 14c, and the right side bird's-eye view image camera 14d are wide-angle lens cameras. In vehicles equipped with an in-vehicle camera system that projects images from various angles such as top view, rear view, and panoramic view, the so-called "surround view system", the front bird's-eye view camera 14a, the rear bird's-eye view camera 14b, and the left side A second camera 14 including a bird's-eye view image camera 14c and a right side bird's-eye view image camera 14d is equipped in advance. Therefore, it is not necessary to additionally install the second camera 14 in the vehicle equipped with the surround view system.

第1カメラ13に含まれる、前方カメラ13a及び後方カメラ13bは、主にレンズ、撮像素子、AFE(アナログフロントエンド)などを備えている。同様に、第2カメラ14に含まれる、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dは、主にレンズ、撮像素子、AFE(アナログフロントエンド)などを備えている。 The front camera 13a and the rear camera 13b included in the first camera 13 mainly include a lens, an image sensor, an AFE (analog front end), and the like. Similarly, the front bird's-eye view image camera 14a, the rear bird's-eye view image camera 14b, the left side bird's-eye view image camera 14c, and the right side bird's-eye view image camera 14d included in the second camera 14 mainly include a lens, an image sensor, and an AFE (analog front end). ) Etc. are provided.

第1カメラ13に含まれる前方カメラ13aで撮影可能な画角は、例えば一点鎖線で示すように、所定の画角αの拡がりを有する。なお、第1カメラ13に含まれる後方カメラ13bの視野についても、前方カメラ13aの視野と同様に所定の画角αの拡がりを有する。第1カメラ13で撮影可能な画角は、例えば水平画角130度、垂直画角70度などである。 The angle of view that can be captured by the front camera 13a included in the first camera 13 has a predetermined angle of view α, as shown by, for example, the alternate long and short dash line. The field of view of the rear camera 13b included in the first camera 13 also has a predetermined angle of view α as in the field of view of the front camera 13a. The angle of view that can be captured by the first camera 13 is, for example, a horizontal angle of view of 130 degrees, a vertical angle of view of 70 degrees, and the like.

第2カメラ14に含まれる前方俯瞰映像カメラ14aで撮影可能な画角は、例えば破線で示すように、所定の画角βの拡がりを有する。前方俯瞰映像カメラ14aの撮影した映像における、第1の切出範囲は、俯瞰映像として用いる範囲であり、垂直方向の切出範囲例としては、車両端部から2m程度車両900から離間する範囲までである。第2の切出範囲は、第1の切出範囲より少なくとも車両900から離間する方向を含む範囲であり、垂直方向の切出範囲は、第1の切出範囲より広く切出してもよく、第1の切出範囲の垂直画角と同様の垂直画角となるように切出してもよい。また、第2の切出範囲は、第1の切出範囲より車両900から離間する方向を含み、水平方向を含む範囲までを切出すことが適切である。図2の上段において、第1の切出範囲の垂直画角は、例えばβ1である。図2の上段において、第2の切出範囲の垂直画角はβ2である。なお、第2カメラ14に含まれる後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dについても、前方俯瞰映像カメラ14aの視野と同様に、第1の切出範囲の垂直画角はβ1、第2の切出範囲の垂直画角はβ2である。第2カメラ14で撮影可能な画角は、例えば水平画角180度、垂直画角150度などである。また、第1の切出範囲の垂直画角は、例えば60度であり、第2の切出範囲の垂直画角は、例えば100度である。 The angle of view that can be captured by the front bird's-eye view image camera 14a included in the second camera 14 has a predetermined spread of the angle of view β, as shown by a broken line, for example. The first cutout range in the image taken by the front bird's-eye view image camera 14a is a range used as a bird's-eye view image, and an example of a vertical cutout range is a range about 2 m away from the vehicle 900 from the vehicle end. Is. The second cutout range is a range including at least a direction away from the vehicle 900 from the first cutout range, and the vertical cutout range may be wider than the first cutout range. It may be cut out so as to have a vertical angle of view similar to the vertical angle of view of the cutting range of 1. Further, it is appropriate that the second cutting range includes a direction away from the vehicle 900 from the first cutting range and cuts out to a range including the horizontal direction. In the upper part of FIG. 2, the vertical angle of view of the first cutting range is, for example, β1. In the upper part of FIG. 2, the vertical angle of view of the second cutting range is β2. The rear bird's-eye view image camera 14b, the left side bird's-eye view image camera 14c, and the right side bird's-eye view image camera 14d included in the second camera 14 are also vertical in the first cutout range, similarly to the field of view of the front bird's-eye view image camera 14a. The angle of view is β1, and the vertical angle of view of the second cutting range is β2. The angle of view that can be captured by the second camera 14 is, for example, a horizontal angle of view of 180 degrees, a vertical angle of view of 150 degrees, and the like. The vertical angle of view of the first cutting range is, for example, 60 degrees, and the vertical angle of view of the second cutting range is, for example, 100 degrees.

図3は、本実施の形態にかかる車両用記録装置10の構成例を示すブロック図である。図3に示すように、車両用記録装置10は、表示部11と、制御部12と、第1カメラ13と、第2カメラ14と、センサ15と、記憶部16と、を備えている。 FIG. 3 is a block diagram showing a configuration example of the vehicle recording device 10 according to the present embodiment. As shown in FIG. 3, the vehicle recording device 10 includes a display unit 11, a control unit 12, a first camera 13, a second camera 14, a sensor 15, and a storage unit 16.

制御部12は、映像取得部31と、走行状態取得部32と、イベント検出部33と、映像生成部34と、記録制御部35と、表示制御部36と、を備えている。制御部12を構成する各構成要素は、プロセッサによって構成されてもよいし、プロセッサがメモリに格納されているプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。 The control unit 12 includes a video acquisition unit 31, a running state acquisition unit 32, an event detection unit 33, a video generation unit 34, a recording control unit 35, and a display control unit 36. Each component constituting the control unit 12 may be configured by a processor, or may be software or a module whose processing is executed by the processor executing a program stored in a memory.

映像取得部31は、車両の前方または後方を撮影する第1カメラ13の映像、および車両の前後左右の下方を含む範囲を撮影する第2カメラ14の映像を取得する。映像取得部31は、第1カメラ13に含まれる、前方カメラ13a及び後方カメラ13bと、有線または無線によって接続されている。映像取得部31は、第2カメラ14に含まれる、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dと、有線または無線によって接続されている。 The image acquisition unit 31 acquires the image of the first camera 13 that captures the front or the rear of the vehicle and the image of the second camera 14 that captures the range including the lower front, rear, left, and right of the vehicle. The image acquisition unit 31 is connected to the front camera 13a and the rear camera 13b included in the first camera 13 by wire or wirelessly. The image acquisition unit 31 is connected to the front bird's-eye view image camera 14a, the rear bird's-eye view image camera 14b, the left side bird's-eye view image camera 14c, and the right side bird's-eye view image camera 14d included in the second camera 14 by wire or wirelessly.

走行状態取得部32は、車両の走行状態を取得する。すなわち、走行状態取得部32は、CAN(Controller Area Network)を介して車両の走行状態を含む様々な情報を取得する。また、走行状態取得部32は、速度計、エンジン回転計等から各種の走行状態に関する情報を取得してもよい。 The traveling state acquisition unit 32 acquires the traveling state of the vehicle. That is, the traveling state acquisition unit 32 acquires various information including the traveling state of the vehicle via CAN (Controller Area Network). Further, the traveling state acquisition unit 32 may acquire information on various traveling states from a speedometer, an engine tachometer, or the like.

イベント検出部33は、車両に対するイベントの発生を検出する。ここで、イベントとは、自車両にまつわる事故などの出来事である。イベント検出部33は、加速度センサなどのセンサ15により自車両が受ける衝撃等を検出することでイベントを検出する。イベント検出部33は、イベントを検出した場合、記録制御部35に検出信号を出力する。 The event detection unit 33 detects the occurrence of an event for the vehicle. Here, the event is an event such as an accident related to the own vehicle. The event detection unit 33 detects an event by detecting an impact or the like received by the own vehicle by a sensor 15 such as an acceleration sensor. When the event detection unit 33 detects an event, the event detection unit 33 outputs a detection signal to the recording control unit 35.

映像生成部34は、映像取得部31が取得した、第1カメラ13または第2カメラ14の映像に対して各種の画像処理を施し、予め定められたフォーマットに即した映像に加工する。映像生成部34は、切出処理部34aを備えている。切出処理部34aは、映像取得部31が取得した第2カメラ14の映像に対して、俯瞰映像として用いる第1の切出範囲、および第1の切出範囲より少なくとも車両から離間する方向に広い第2の切出範囲で切出処理を行う。 The image generation unit 34 performs various image processing on the image of the first camera 13 or the second camera 14 acquired by the image acquisition unit 31, and processes the image into an image conforming to a predetermined format. The image generation unit 34 includes a cutting processing unit 34a. The cutout processing unit 34a is separated from the vehicle by at least the first cutout range used as the bird's-eye view image and the first cutout range with respect to the image of the second camera 14 acquired by the image acquisition unit 31. The cutting process is performed in a wide second cutting range.

映像生成部34は、さらに、俯瞰映像を生成する俯瞰映像生成部34bを備えていてもよい。俯瞰映像生成部34bは、視点変換処理部34bA及び合成処理部34bBを含む。視点変換処理部34bAは、切出処理部34aが切出処理を行った第2カメラ14の映像に対し視点変換処理を行う。合成処理部34bBは、視点変換処理を行った各映像の合成処理を行うことで俯瞰映像を生成する。映像生成部34は、映像取得部31が取得した第2カメラ14の映像に対して、車両が後退している場合には、第1の切出範囲による俯瞰映像を生成し、車両が停止している場合には、第2の切出範囲による俯瞰映像を生成する。また、映像生成部34は、車両が前方に走行している場合には、映像取得部31が取得した第1カメラ13の映像に対して、所定の画像処理を施した映像を生成する。 The image generation unit 34 may further include a bird's-eye view image generation unit 34b that generates a bird's-eye view image. The bird's-eye view image generation unit 34b includes a viewpoint conversion processing unit 34bA and a composition processing unit 34bB. The viewpoint conversion processing unit 34bA performs the viewpoint conversion processing on the image of the second camera 14 that has been cut out by the cutting processing unit 34a. The compositing processing unit 34bB generates a bird's-eye view image by performing a compositing process of each image that has undergone the viewpoint conversion process. When the vehicle is retreating with respect to the image of the second camera 14 acquired by the image acquisition unit 31, the image generation unit 34 generates a bird's-eye view image based on the first cutout range, and the vehicle stops. If so, a bird's-eye view image with the second cutout range is generated. Further, when the vehicle is traveling forward, the image generation unit 34 generates an image obtained by performing predetermined image processing on the image of the first camera 13 acquired by the image acquisition unit 31.

記録制御部35は、走行状態取得部32からの情報より、車両が停止していると判断されるときは、第2の切出範囲で切出した第2カメラ14の映像を記録対象データとする。また、記録制御部35は、走行状態取得部32からの情報より、車両が走行していると判断されるときは、第1カメラ13の映像を記録対象データとする。ここで、車両が停止しているか、車両が走行しているか、の判断は、車速S=0km/hのとき車両が停止している、車速S>0km/hのとき車両が走行している、との判断基準に限らない。車速Sが所定の速度以下の場合に停止していると判断してもよい。例えば、車速S≦5km/hのとき車両が停止している、車速S>5km/hのとき車両が走行している、との判断基準に基づいて判断してもよい。また、記録制御部35は、イベント検出部33がイベントを検出した場合、イベントの検出時の前後所定時間の映像データを、イベント記録データとして記録する。 When it is determined from the information from the traveling state acquisition unit 32 that the vehicle is stopped, the recording control unit 35 sets the image of the second camera 14 cut out in the second cutting range as the recording target data. .. Further, when it is determined from the information from the traveling state acquisition unit 32 that the vehicle is traveling, the recording control unit 35 sets the image of the first camera 13 as the recording target data. Here, the judgment as to whether the vehicle is stopped or the vehicle is running is determined when the vehicle is stopped when the vehicle speed S = 0 km / h and the vehicle is running when the vehicle speed S> 0 km / h. It is not limited to the judgment criteria of. It may be determined that the vehicle is stopped when the vehicle speed S is equal to or less than a predetermined speed. For example, it may be determined based on the determination criteria that the vehicle is stopped when the vehicle speed S ≦ 5 km / h and the vehicle is traveling when the vehicle speed S> 5 km / h. Further, when the event detection unit 33 detects an event, the recording control unit 35 records the video data at a predetermined time before and after the event detection as the event recording data.

記録制御部35は、車両が後退しているときには、第1の切出範囲で切出した第2カメラ14の映像に基づく俯瞰映像を、表示制御部36を介して表示部11に表示させるようにしてもよい。 When the vehicle is moving backward, the recording control unit 35 causes the display unit 11 to display a bird's-eye view image based on the image of the second camera 14 cut out in the first cutting range on the display unit 11 via the display control unit 36. You may.

記録制御部35は、イベント検出部33がイベントを検出しない場合、映像データを記憶部16に一時的に記録する。すなわち、記録制御部35は、イベント検出部33がイベントを検出しない場合、映像データを記憶部16にループ記録(一定時間経過後に上書きされる記録)する。 When the event detection unit 33 does not detect an event, the recording control unit 35 temporarily records the video data in the storage unit 16. That is, when the event detection unit 33 does not detect an event, the recording control unit 35 loop-records the video data in the storage unit 16 (recording that is overwritten after a certain period of time has elapsed).

記録制御部35は、イベント検出部33がイベントを検出した場合、映像データをイベント記録データとして記憶部16に記録する。ここで、イベント記録データとは、事故の状況確認、証拠保全等に用いることができる映像データであり、他の映像データと区別して記録する。例えば、イベント記録データは、記憶部16において、上書きが禁止される記録データとして記録されるようにしてもよい。 When the event detection unit 33 detects an event, the recording control unit 35 records the video data as event recording data in the storage unit 16. Here, the event recording data is video data that can be used for accident situation confirmation, evidence preservation, etc., and is recorded separately from other video data. For example, the event recording data may be recorded in the storage unit 16 as recorded data in which overwriting is prohibited.

記憶部16は、映像データを記録するためのメモリである。記憶部16は、例えばフラッシュメモリなどの不揮発性メモリである。なお、記憶部16が着脱可能なメモリカードである場合、車両用記録装置10にはメモリカードを接続する接続インタフェースを設ける必要がある。記憶部16は、通信回線等を介して映像データを記録する、他の装置であってもよい。 The storage unit 16 is a memory for recording video data. The storage unit 16 is a non-volatile memory such as a flash memory. When the storage unit 16 is a detachable memory card, the vehicle recording device 10 needs to be provided with a connection interface for connecting the memory card. The storage unit 16 may be another device that records video data via a communication line or the like.

表示制御部36は、表示部11を制御して、映像生成部34が生成した俯瞰映像等を表示部11に表示させる。表示部11は、車両内の運転席の前方に配置され、映像生成部34が生成した映像を表示するためのものである。図1の例においては、表示部11を、センターコンソール20に配置している。表示制御部36は、車両が後退している場合には、第1の切出範囲で切出した第2カメラ14の映像に基づく俯瞰映像を表示部11に表示させる。また、表示制御部36は、車両が停止している場合には、第2の切出範囲で切出した第2カメラ14の映像に基づく俯瞰映像を表示部11に表示させる。第2カメラ14の映像に基づく俯瞰映像を表示部11にどのように表示させるかについては後述する。 The display control unit 36 controls the display unit 11 to display the bird's-eye view image or the like generated by the image generation unit 34 on the display unit 11. The display unit 11 is arranged in front of the driver's seat in the vehicle, and is for displaying the image generated by the image generation unit 34. In the example of FIG. 1, the display unit 11 is arranged on the center console 20. When the vehicle is moving backward, the display control unit 36 causes the display unit 11 to display a bird's-eye view image based on the image of the second camera 14 cut out in the first cutout range. Further, when the vehicle is stopped, the display control unit 36 causes the display unit 11 to display a bird's-eye view image based on the image of the second camera 14 cut out in the second cutout range. How to display the bird's-eye view image based on the image of the second camera 14 on the display unit 11 will be described later.

次に、本実施の形態1にかかる車両用記録装置10の制御部12における、映像の記録動作について説明する。図4は、本実施の形態にかかる車両用記録装置10の制御部12における映像の記録動作の流れを示すフローチャートである。図4に示すように、まず、記録制御部35が、車両が後退しているか否かを判断する(ステップS101)。車両が後退しているか否かの判断は、例えば、車両のギヤが後退(リバース)の位置にあるときに後退していると判断してもよい。ステップS101において、車両が後退している場合(YESの場合)、第1切出範囲による俯瞰映像の表示部11での表示を開始、または継続し(ステップS102)、処理を後述のステップS110に進める。すなわち、車両が後退している場合、記録制御部35が、映像生成部34に対し第1切出範囲による俯瞰映像を生成するよう指示し、表示制御部36が、映像生成部34において生成した第1切出範囲による俯瞰映像を表示部11に表示させる。 Next, the video recording operation in the control unit 12 of the vehicle recording device 10 according to the first embodiment will be described. FIG. 4 is a flowchart showing a flow of video recording operation in the control unit 12 of the vehicle recording device 10 according to the present embodiment. As shown in FIG. 4, first, the recording control unit 35 determines whether or not the vehicle is moving backward (step S101). The determination of whether or not the vehicle is reversing may be determined, for example, when the gear of the vehicle is in the reversing (reverse) position. In step S101, when the vehicle is moving backward (YES), the display of the bird's-eye view image by the first cutout range on the display unit 11 is started or continued (step S102), and the process is changed to step S110 described later. Proceed. That is, when the vehicle is moving backward, the recording control unit 35 instructs the image generation unit 34 to generate a bird's-eye view image based on the first cutout range, and the display control unit 36 generates the image generation unit 34. A bird's-eye view image based on the first cutout range is displayed on the display unit 11.

ステップS101において、車両が後退していない場合(NOの場合)、記録制御部35が、車両が停止しているか否かを判断する(ステップS103)。ステップS103において、車両が停止していると判断された場合(YESの場合)、第2の切出範囲による俯瞰映像のループ記録を開始、または継続する(ステップS104)。すなわち、記録制御部35が、映像生成部34に対し第2切出範囲による俯瞰映像を生成するよう指示し、映像生成部34において生成した第1切出範囲による俯瞰映像を記憶部16にループ記録する。 In step S101, when the vehicle is not moving backward (NO), the recording control unit 35 determines whether or not the vehicle is stopped (step S103). If it is determined in step S103 that the vehicle is stopped (YES), loop recording of the bird's-eye view image in the second cutout range is started or continued (step S104). That is, the recording control unit 35 instructs the image generation unit 34 to generate the bird's-eye view image according to the second cutout range, and loops the bird's-eye view image according to the first cutout range generated by the image generation unit 34 to the storage unit 16. Record.

ステップS104に続いて、記録制御部35が、イベント検出部33においてイベントを検出したか否かを判断する(ステップS105)。ステップS105においてイベントを検出した場合(YESの場合)、記録制御部35が、第2の切出範囲による俯瞰映像をイベント記録データとして記録する(ステップS106)。ステップS105においてイベントを検出しない場合(NOの場合)、処理をステップS103に戻す。 Following step S104, the recording control unit 35 determines whether or not the event detection unit 33 has detected an event (step S105). When an event is detected in step S105 (YES), the recording control unit 35 records the bird's-eye view image of the second cutout range as event recording data (step S106). If no event is detected in step S105 (NO), the process returns to step S103.

ステップS106に続き、記録制御部35が、車両動作が終了したか否かを判断する(ステップS110)。ステップS110において、車両動作が終了したと判断した場合(YESの場合)は処理を終了し、車両動作が終了していないと判断した場合(NOの場合)は処理をステップS101に戻す。 Following step S106, the recording control unit 35 determines whether or not the vehicle operation has been completed (step S110). In step S110, if it is determined that the vehicle operation has been completed (YES), the process is terminated, and if it is determined that the vehicle operation has not been completed (NO), the process is returned to step S101.

ステップS103において、車両が停止していないと判断された場合(NOの場合)、記録制御部35が、第1カメラによる映像のループ記録を開始、または継続する(ステップS107)。続いて、イベントを検出したか否かを判断する(ステップS108)。ステップS108においてイベントを検出した場合(YESの場合)、記録制御部35が、第1カメラによる映像をイベント記録データとして記録し(ステップS109)、処理をステップS110に進める。ステップS108においてイベントを検出しない場合(NOの場合)、処理をステップS110に進める。 If it is determined in step S103 that the vehicle is not stopped (NO), the recording control unit 35 starts or continues loop recording of the image by the first camera (step S107). Subsequently, it is determined whether or not an event has been detected (step S108). When an event is detected in step S108 (YES), the recording control unit 35 records the image taken by the first camera as event recording data (step S109), and proceeds to the process in step S110. If no event is detected in step S108 (NO), the process proceeds to step S110.

次に、制御部12(図3参照)の映像生成部34において、映像取得部31が取得した第2カメラ14の映像に対して生成した俯瞰映像が、表示部11においてどのように表示されるかについて説明する。上述したように、第2カメラ14は、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dを含む(図2参照)。 Next, in the image generation unit 34 of the control unit 12 (see FIG. 3), how the bird's-eye view image generated for the image of the second camera 14 acquired by the image acquisition unit 31 is displayed on the display unit 11. Will be explained. As described above, the second camera 14 includes a front bird's-eye view image camera 14a, a rear bird's-eye view image camera 14b, a left side bird's-eye view image camera 14c, and a right-side view image camera 14d (see FIG. 2).

図5は、車両が後退している場合に、第2カメラ14の映像に対して生成した俯瞰映像を表示部11に表示させた一例を示す模式図である。図5に示すように、表示部11において、俯瞰映像XAは、前方映像XAaが上方、後方映像XAbが下方、左側方映像XAcが左側、右側方映像XAdが右側になるように表示される。ここで、前方映像XAaは前方俯瞰映像カメラ14aの映像の第1の切出範囲、後方映像XAbは後方俯瞰映像カメラ14bの映像の第1の切出範囲である。また、左側方映像XAcは左側方俯瞰映像カメラ14cの映像の第1の切出範囲、右側方映像XAdは右側方俯瞰映像カメラ14dの映像の第1の切出範囲である。さらに、俯瞰映像XAの中央には、仮想的な自車両の画像XAeが表示される。車両が後退している時に、車両外部の映像をこのように表示部11に表示させることによって、ドライバーの駐車時の操作をアシストすることができる。 FIG. 5 is a schematic view showing an example in which a bird's-eye view image generated for an image of the second camera 14 is displayed on the display unit 11 when the vehicle is moving backward. As shown in FIG. 5, the bird's-eye view image XA is displayed on the display unit 11 so that the front image XAa is on the upper side, the rear image XAb is on the lower side, the left side image XAc is on the left side, and the right side image XAd is on the right side. Here, the front image XAa is the first cutout range of the image of the front bird's-eye view image camera 14a, and the rear image XAb is the first cutout range of the image of the rear bird's-eye view image camera 14b. Further, the left side image XAc is the first cutout range of the image of the left side bird's-eye view camera 14c, and the right side image XAd is the first cutout range of the image of the right side bird's-eye view camera 14d. Further, a virtual image XAe of the own vehicle is displayed in the center of the bird's-eye view image XA. By displaying the image of the outside of the vehicle on the display unit 11 in this way when the vehicle is moving backward, it is possible to assist the driver's operation when parking.

図6は、車両が停止している場合に、第2カメラ14の映像に対して生成した俯瞰映像を表示部11に表示させた一例を示す模式図である。図6に示すように、表示部11において、俯瞰映像XBは、前方映像XBaが上方、後方映像XBbが下方、左側方映像XBcが左側、右側方映像XBdが右側になるように表示される。ここで、前方映像XBaは前方俯瞰映像カメラ14aの映像の第2の切出範囲、後方映像XBbは後方俯瞰映像カメラ14bの映像の第2の切出範囲である。また、左側方映像XBcは左側方俯瞰映像カメラ14cの映像の第2の切出範囲、右側方映像XBdは右側方俯瞰映像カメラ14dの映像の第2の切出範囲である。さらに、俯瞰映像XBの中央には、仮想的な自車両の画像XBeが表示される。 FIG. 6 is a schematic view showing an example in which the bird's-eye view image generated for the image of the second camera 14 is displayed on the display unit 11 when the vehicle is stopped. As shown in FIG. 6, in the display unit 11, the bird's-eye view image XB is displayed so that the front image XBa is on the upper side, the rear image XBb is on the lower side, the left side image XBc is on the left side, and the right side image XBd is on the right side. Here, the front image XBa is the second cutout range of the image of the front bird's-eye view image camera 14a, and the rear image XBb is the second cutout range of the image of the rear bird's-eye view image camera 14b. Further, the left side image XBc is the second cutout range of the image of the left side bird's-eye view image camera 14c, and the right side image XBd is the second cutout range of the image of the right side bird's-eye view image camera 14d. Further, a virtual image XBe of the own vehicle is displayed in the center of the bird's-eye view image XB.

図2を参照して説明したように、第2カメラ14に含まれる、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dは、車両の外部に設置されている。このため、車両が停止している場合の俯瞰映像XBにおける、前方映像XBa、後方映像XBb、左側方映像XBc及び右側方映像XBdは、鮮明な映像である。また、サラウンドビューシステムが搭載された車両では、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dを含む第2カメラ14が予め装備されている。よって、車両が停止しているときにイベントを検出した場合、この俯瞰映像XBをイベント記録データとして記録することで、コストの大幅な増加を招くことなく、車両の全周囲において、事故の検証に役立ち得るような鮮明な映像を記録することができる。 As described with reference to FIG. 2, the front bird's-eye view image camera 14a, the rear bird's-eye view image camera 14b, the left side bird's-eye view image camera 14c, and the right side bird's-eye view image camera 14d included in the second camera 14 are outside the vehicle. is set up. Therefore, the front image XBa, the rear image XBb, the left side image XBc, and the right side image XBd in the bird's-eye view image XB when the vehicle is stopped are clear images. Further, in the vehicle equipped with the surround view system, a second camera 14 including a front bird's-eye view image camera 14a, a rear bird's-eye view image camera 14b, a left side bird's-eye view image camera 14c, and a right side bird's-eye view image camera 14d is equipped in advance. Therefore, if an event is detected while the vehicle is stopped, by recording this bird's-eye view video XB as event recording data, it is possible to verify the accident in the entire circumference of the vehicle without causing a significant increase in cost. It is possible to record clear images that can be useful.

図6の俯瞰映像XBを図5の俯瞰映像XAと比較すると、前方映像XBa、後方映像XBb、左側方映像XBc、右側方映像XBdは、それぞれ、前方映像XAa、後方映像XAb、左側方映像XAc、右側方映像XAdよりも領域が広がっている。これは、図6に示す俯瞰映像XBの場合、第2カメラ14の各映像データに対して、それぞれ、第1の切出範囲より少なくとも車両から離間する方向に広い範囲である第2の切出範囲で切出し処理を実行しているためである。なお、俯瞰映像XBの中央の仮想的な自車両の画像XBeは、俯瞰映像XAの中央の仮想的な自車両の画像XAeよりも小さくしている。 Comparing the bird's-eye view image XB of FIG. 6 with the bird's-eye view image XA of FIG. , The area is wider than the right side image XAd. In the case of the bird's-eye view image XB shown in FIG. 6, the second cutout is a range wider than the first cutout range at least in the direction away from the vehicle for each video data of the second camera 14. This is because the cutout process is executed in the range. The image XBe of the virtual own vehicle in the center of the bird's-eye view image XB is smaller than the image XAe of the virtual own vehicle in the center of the bird's-eye view image XA.

制御部12の映像生成部34(図3参照)において、合成処理部34bBで生成した俯瞰映像の中央部に第1カメラ13の映像を合成した映像を生成するようにしてもよい。図7は、車両が停止している場合に、第2カメラ14の映像に対して生成した俯瞰映像を表示部11に表示させた別の一例を示す模式図である。図7に示すように、表示部11において、俯瞰映像XCは、前方映像XCaが上方、後方映像XCbが下方、左側方映像XCcが左側、右側方映像XCdが右側になるように表示されるが、各々の映像の切出し範囲を、俯瞰映像として合成した場合に横長の映像となるように切出し合成する。。ここで、前方映像XCaは前方俯瞰映像カメラ14aの映像の第2の切出範囲、後方映像XCbは後方俯瞰映像カメラ14bの映像の第2の切出範囲である。また、左側方映像XCcは左側方俯瞰映像カメラ14cの映像の第2の切出範囲、右側方映像XCdは右側方俯瞰映像カメラ14dの映像の第2の切出範囲である。さらに、俯瞰映像XCの中央には、例えば前方映像XCfまたは後方映像XCg、あるいは前方映像XCfおよび後方映像XCgが合成される。車両が停止しているときにイベントを検出した場合、この俯瞰映像XCをイベント記録データとして記録することで、第1カメラ13の映像に加えて第2カメラの映像14の映像も記録されるため、事故の検証により有用な映像を記録することができる。図7においては、第1カメラ13の映像である前方映像XCfが横長の映像データであるため、俯瞰映像XCを横長の俯瞰映像としたが、図6と同様に縦長の俯瞰映像としてもよい。 The image generation unit 34 (see FIG. 3) of the control unit 12 may generate an image obtained by synthesizing the image of the first camera 13 at the center of the bird's-eye view image generated by the composition processing unit 34bB. FIG. 7 is a schematic view showing another example in which the bird's-eye view image generated for the image of the second camera 14 is displayed on the display unit 11 when the vehicle is stopped. As shown in FIG. 7, the bird's-eye view image XC is displayed on the display unit 11 so that the front image XCa is on the upper side, the rear image XCb is on the lower side, the left side image XCc is on the left side, and the right side image XCd is on the right side. , The cutout range of each image is cut out and combined so that it becomes a horizontally long image when combined as a bird's-eye view image. .. Here, the front image XCa is the second cutout range of the image of the front bird's-eye view image camera 14a, and the rear image XCb is the second cutout range of the image of the rear bird's-eye view image camera 14b. Further, the left side image XCc is the second cutout range of the image of the left side bird's-eye view image camera 14c, and the right side image XCd is the second cutout range of the image of the right side bird's-eye view image camera 14d. Further, for example, the front image XCf or the rear image XCg, or the front image XCf and the rear image XCg are synthesized in the center of the bird's-eye view image XC. When an event is detected while the vehicle is stopped, by recording this bird's-eye view image XC as event recording data, the image of the image 14 of the second camera is recorded in addition to the image of the first camera 13. , It is possible to record useful images by verifying the accident. In FIG. 7, since the front image XCf, which is the image of the first camera 13, is the horizontally long image data, the bird's-eye view image XC is a horizontally long bird's-eye view image, but it may be a vertically long bird's-eye view image as in FIG.

上述した本発明の効果を具体的に説明する。車両が走行中において発生するイベントは、第1カメラ13が撮影する映像で概ね記録可能である。例えば、車両の側面に側方から来た他車両が衝突した場合であっても、車両が走行している場合は、衝突前の他車両は車両の進行方向を撮影している第1カメラ13の撮影範囲に含まれている。これに対し、車両が停止している場合に車両の側面に側方から来た他車両が衝突した場合は、第1カメラ13が撮影する範囲には他車両は記録されない。また、第2カメラ14の映像を後退時に表示する俯瞰映像と同様の第1の切出し範囲として記録した場合、他車両が衝突する直前の映像しか記録されない。これに対し、本発明においては、車両の走行時は、第1カメラ13が撮影する映像を記録対象とし、車両が停止時は、第2カメラ14が撮影する映像であって、第2の切出範囲の映像を記録対象とするため、イベント発生時に、適切にイベントの状況を記録することができる。 The above-mentioned effects of the present invention will be specifically described. Events that occur while the vehicle is running can be generally recorded in the video captured by the first camera 13. For example, even if another vehicle coming from the side collides with the side surface of the vehicle, if the vehicle is traveling, the other vehicle before the collision captures the traveling direction of the vehicle. It is included in the shooting range of. On the other hand, when the vehicle is stopped and another vehicle coming from the side collides with the side surface of the vehicle, the other vehicle is not recorded in the range photographed by the first camera 13. Further, when the image of the second camera 14 is recorded as the first cutout range similar to the bird's-eye view image displayed when reversing, only the image immediately before the collision of another vehicle is recorded. On the other hand, in the present invention, when the vehicle is running, the image taken by the first camera 13 is recorded, and when the vehicle is stopped, the image is taken by the second camera 14, which is the second cut. Since the video of the output range is recorded, the status of the event can be appropriately recorded when the event occurs.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.

本発明にかかる車両用記録装置の各部における処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、車両用記録装置において、プログラムメモリに格納されたプログラムを主記憶装置にロードし、CPUの制御によって当該プログラムを実行して実現する。ここで、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。また、車両用記録装置の各部における処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。 The processing in each part of the vehicle recording device according to the present invention can be realized by causing a computer or the like to execute a program. More specifically, in the vehicle recording device, the program stored in the program memory is loaded into the main storage device, and the program is executed and realized under the control of the CPU. Here, the program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transient computer-readable media include various types of tangible storage media (tangible storage media). Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W, a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)). The program may also be supplied to the computer by various types of temporary computer readable media (transitory computer readable media). Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path. Further, the processing in each part of the vehicle recording device is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.

10 車両用記録装置
11 表示部
12 制御部
13 第1カメラ
13a 前方カメラ
13b 後方カメラ
14 第2カメラ
14a 前方俯瞰映像カメラ
14b 後方俯瞰映像カメラ
14c 左側方俯瞰映像カメラ
14d 右側方俯瞰映像カメラ
15 センサ
16 記憶部
20 センターコンソール
30 クラスターパネル
31 映像取得部
32 走行状態取得部
33 イベント検出部
34 映像生成部
34a 切出処理部
34b 俯瞰映像生成部
34bA 視点変換処理部
34bB 合成処理部
35 記録制御部
36 表示制御部
40 ステアリングホイール
50 ウインドシールド
60 ダッシュボード
70 リヤビューミラー
71a 左側サイドミラー
71b 右側サイドミラー
10 Vehicle recording device 11 Display unit 12 Control unit 13 1st camera 13a Front camera 13b Rear camera 14 2nd camera 14a Front bird's-eye view image camera 14b Rear bird's-eye view image camera 14c Left side bird's-eye view image camera 14d Right side bird's-eye view image camera 15 Sensor 16 Storage unit 20 Center console 30 Cluster panel 31 Video acquisition unit 32 Running state acquisition unit 33 Event detection unit 34 Image generation unit 34a Cutout processing unit 34b Overhead image generation unit 34bA Viewpoint conversion processing unit 34bB Synthesis processing unit 35 Recording control unit 36 Display Control 40 Steering wheel 50 Windshield 60 Dashboard 70 Rear view mirror 71a Left side mirror 71b Right side mirror

Claims (6)

車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得する映像取得部と、
前記車両の走行状態を取得する走行状態取得部と、
前記映像取得部が取得した前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行う切出処理部と、
前記切出処理部が切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成する俯瞰映像生成部と、
前記車両が停止しているときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行しているときは、前記第1カメラの映像を記録対象データとして記録する、記録制御部と、
を備える、車両用記録装置。
An image acquisition unit that acquires an image of the first camera that captures the front or rear of the vehicle and an image of the second camera that captures a range including the front, rear, left, right, and lower parts of the vehicle.
A running state acquisition unit that acquires the running state of the vehicle,
A cutout processing unit that performs cutting processing on the image of the second camera acquired by the image acquisition unit within a cutting range used as a bird's-eye view image, and
A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out by the cutting-out processing unit, and the image of the first camera is placed in the center of the generated bird's-eye view image. A bird's-eye view video generator that generates a composite video of
When the vehicle is stopped, the bird's-eye view image based on the image of the second camera is recorded as the recording target data, and when the vehicle is running, the image of the first camera is recorded as the recording target data. Recording control unit and
A vehicle recording device.
前記車両に対するイベントを検出するイベント検出部をさらに備え、
前記記録制御部は、前記イベント検出部がイベントを検出した場合、前記車両が走行しているときは、前記第1カメラの映像をイベント記録データとして記録し、前記車両が停止しているときは、俯瞰映像として用いる切出範囲で切出した前記第2カメラの映像に基づく俯瞰映像をイベント記録データとして記録する、
請求項1に記載の車両用記録装置。
An event detection unit that detects an event for the vehicle is further provided.
When the event detection unit detects an event, the recording control unit records the image of the first camera as event recording data when the vehicle is traveling, and when the vehicle is stopped, the recording control unit records the image of the first camera as event recording data. , The bird's-eye view image based on the image of the second camera cut out in the cutout range used as the bird's-eye view image is recorded as event recording data.
The vehicle recording device according to claim 1.
前記俯瞰映像生成部は、前記切出処理部が切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで横長形状の俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成する、
請求項1または2に記載の車両用記録装置。
The bird's-eye view image generation unit generates a horizontally long bird's-eye view image by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out by the cutting-out processing unit, and the generated bird's-eye view image. A combined image of the image of the first camera is generated in the central portion.
The vehicle recording device according to claim 1 or 2 .
前記俯瞰映像生成部は、生成した俯瞰映像の中央部に、前記第1カメラの映像である、前方映像または後方映像あるいは前方映像および後方映像を合成した映像を生成する、
請求項1からのいずれか1項に記載の車両用記録装置。
The bird's-eye view image generation unit generates, in the center of the generated bird's-eye view image, an image obtained by synthesizing the front image, the rear image, or the front image and the rear image, which are the images of the first camera.
The vehicle recording device according to any one of claims 1 to 3 .
車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、
前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、
切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、
前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、
を車両用記録装置が実行する車両用記録方法。
A step of acquiring an image of the first camera that captures the front or rear of the vehicle and an image of the second camera that captures a range including the front, rear, left, right, and lower parts of the vehicle.
A step of performing cutting processing on the image of the second camera within the cutting range used as a bird's-eye view image, and
A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out, and an image obtained by combining the image of the first camera is generated in the center of the generated bird's-eye view image. Steps to do and
When it is determined that the vehicle is stopped from the information on the traveling state of the vehicle, it is determined that the vehicle is traveling by using the bird's-eye view image based on the image of the second camera as the recording target data. When the step of recording the image of the first camera as the recording target data,
A vehicle recording method performed by a vehicle recording device.
車両用記録のための処理手順をコンピュータに実行させるためのプログラムであって、
車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、
前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、
切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、
前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、
を含む、プログラム。

A program that allows a computer to perform processing procedures for vehicle recording.
A step of acquiring an image of the first camera that captures the front or rear of the vehicle and an image of the second camera that captures a range including the front, rear, left, right, and lower parts of the vehicle.
A step of cutting out the image of the second camera within the cutout range used as a bird's-eye view image
A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out, and an image obtained by combining the image of the first camera is generated in the center of the generated bird's-eye view image. Steps to do and
When it is determined that the vehicle is stopped from the information on the traveling state of the vehicle, it is determined that the vehicle is traveling by using the bird's-eye view image based on the image of the second camera as the recording target data. When, the step of recording the image of the first camera as the recording target data and
Including the program.

JP2019190954A 2019-10-18 2019-10-18 Vehicle recording device, vehicle recording method and program Active JP6774612B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019190954A JP6774612B2 (en) 2019-10-18 2019-10-18 Vehicle recording device, vehicle recording method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019190954A JP6774612B2 (en) 2019-10-18 2019-10-18 Vehicle recording device, vehicle recording method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018037253A Division JP6607272B2 (en) 2018-03-02 2018-03-02 VEHICLE RECORDING DEVICE, VEHICLE RECORDING METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2020036332A JP2020036332A (en) 2020-03-05
JP6774612B2 true JP6774612B2 (en) 2020-10-28

Family

ID=69668902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019190954A Active JP6774612B2 (en) 2019-10-18 2019-10-18 Vehicle recording device, vehicle recording method and program

Country Status (1)

Country Link
JP (1) JP6774612B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7294267B2 (en) 2020-08-05 2023-06-20 トヨタ自動車株式会社 Vehicle monitoring device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573242B2 (en) * 2004-11-09 2010-11-04 アルパイン株式会社 Driving assistance device
JP5696872B2 (en) * 2010-03-26 2015-04-08 アイシン精機株式会社 Vehicle periphery monitoring device
JP5715778B2 (en) * 2010-07-16 2015-05-13 東芝アルパイン・オートモティブテクノロジー株式会社 Image display device for vehicle
JP2012253609A (en) * 2011-06-03 2012-12-20 Fujitsu Ten Ltd Drive information recording device and vehicle periphery image reproduction system
CN105682446B (en) * 2013-10-01 2018-06-08 洋马株式会社 Combine harvester
JP6607272B2 (en) * 2018-03-02 2019-11-20 株式会社Jvcケンウッド VEHICLE RECORDING DEVICE, VEHICLE RECORDING METHOD, AND PROGRAM

Also Published As

Publication number Publication date
JP2020036332A (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN106853798B (en) System and method for providing image information around vehicle
US20190082123A1 (en) Display control apparatus, method, program, and system
JP2000225970A (en) Image recording system loaded on vehicle
JP2010268343A (en) Photographing device and photographing method
JP2016119526A (en) Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method
JP2018142885A (en) Vehicular display control apparatus, vehicular display system, vehicular display control method, and program
US10999532B2 (en) Vehicle recording device, vehicle recording method and non-transitory computer readable medium
TW201344648A (en) Driving monitoring system and driving monitoring method
WO2018123546A1 (en) Viewing device for vehicles
JP2010195235A (en) Vehicle-mounted camera system
JP6774612B2 (en) Vehicle recording device, vehicle recording method and program
JP2000247265A (en) On-vehicle image recording system
KR20150096868A (en) Apparatus of recording event based image data
JP5226621B2 (en) Image display device for vehicle
JP2007221199A (en) On-vehicle camera display device and image processing unit
JP5114101B2 (en) In-vehicle camera system
EP3923249A1 (en) Vehicle-use recording control device, vehicle-use recording device, vehicle-use recording control method, and program
JP3238606U (en) Backup monitor system and drive recorder
JP6002975B2 (en) Vehicle video recording device, playback device, and program
JP6973590B2 (en) Video control device for vehicles and video control method
JP2002127948A (en) On-vehicle image recording system
WO2021131481A1 (en) Display device, display method, and display program
CN112369014B (en) Vehicle video control device, vehicle video system, video control method, and storage medium
JP6512243B2 (en) Recording control device, recording device, recording control method and recording control program
JP7287010B2 (en) Vehicle display control device, vehicle imaging device, vehicle display control method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20200715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R150 Certificate of patent or registration of utility model

Ref document number: 6774612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150