JP6774612B2 - Vehicle recording device, vehicle recording method and program - Google Patents
Vehicle recording device, vehicle recording method and program Download PDFInfo
- Publication number
- JP6774612B2 JP6774612B2 JP2019190954A JP2019190954A JP6774612B2 JP 6774612 B2 JP6774612 B2 JP 6774612B2 JP 2019190954 A JP2019190954 A JP 2019190954A JP 2019190954 A JP2019190954 A JP 2019190954A JP 6774612 B2 JP6774612 B2 JP 6774612B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- vehicle
- bird
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、車両用記録装置、車両用記録方法及びプログラムに関する。 The present invention relates to a vehicle recording device, a vehicle recording method and a program.
近年、ドライブレコーダなどの車両用記録装置が普及しつつある。車両用記録装置は、イベントの発生(事故などによる加速度検出)の前後所定期間の映像データを、イベント記録データとして記録するもので、前方または後方の映像を記録するものが一般的である。しかしながら、イベントの発生は、前方や後方に限らず、横方向から衝突される場合などもある。特許文献1には、全周囲カメラを利用したドライブレコーダが開示されている。特許文献2には、車両に複数設けたカメラに対応するセンサの検出により記録を行うドライブレコーダが開示されている。 In recent years, vehicle recording devices such as drive recorders have become widespread. The vehicle recording device records video data for a predetermined period before and after the occurrence of an event (acceleration detection due to an accident or the like) as event recording data, and generally records front or rear video. However, the occurrence of the event is not limited to the front and the rear, and may be a collision from the lateral direction. Patent Document 1 discloses a drive recorder using an omnidirectional camera. Patent Document 2 discloses a drive recorder that records by detecting sensors corresponding to a plurality of cameras provided in a vehicle.
しかしながら、特許文献1に開示されたドライブレコーダでは、ドライブレコーダのカメラである全周囲カメラが車室内に設置されるため、横方向や後方の映像は画質が粗く、事故の検証に役立ち得るような鮮明な横方向や後方の映像を記録することはできない。また、特許文献2に開示されたドライブレコーダでは、ドライブレコーダのための複数のカメラと複数のカメラごとに対応するセンサを設ける必要があるため、コストの大幅な増加を招く。 However, in the drive recorder disclosed in Patent Document 1, since the omnidirectional camera, which is the camera of the drive recorder, is installed in the vehicle interior, the image quality in the lateral direction and the rear is rough, and it may be useful for the verification of an accident. It is not possible to record clear lateral or rear images. Further, in the drive recorder disclosed in Patent Document 2, it is necessary to provide a plurality of cameras for the drive recorder and sensors corresponding to each of the plurality of cameras, which causes a significant increase in cost.
本発明は、以上の背景に鑑みなされたものであり、コストの大幅な増加を招くことなく、車両の全周囲において適切に映像を記録することができる車両用記録装置を提供することを目的とする。 The present invention has been made in view of the above background, and an object of the present invention is to provide a vehicle recording device capable of appropriately recording an image in the entire circumference of a vehicle without causing a significant increase in cost. To do.
本発明は、車両用記録装置であって、車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得する映像取得部と、前記車両の走行状態を取得する走行状態取得部と、前記映像取得部が取得した前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行う切出処理部と、前記切出処理部が切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成する俯瞰映像生成部と、前記車両が停止しているときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行しているときは、前記第1カメラの映像を記録対象データとして記録する、記録制御部と、を備える。 The present invention is an image acquisition device for a vehicle, which acquires an image of a first camera that captures the front or rear of a vehicle and an image of a second camera that captures an image of a range including the lower front, rear, left, and right of the vehicle. Cutting process that cuts out the image of the second camera acquired by the unit, the traveling state acquisition unit that acquires the traveling state of the vehicle, and the image acquisition unit within the cutting range used as the bird's-eye view image. A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out by the section and the cutting process unit, and the first unit is located in the center of the generated bird's-eye view image. When the bird's-eye view image generation unit that generates an image obtained by synthesizing the images of the cameras and the bird's-eye view image based on the image of the second camera as the recording target data when the vehicle is stopped, the vehicle is traveling Includes a recording control unit that records the image of the first camera as recording target data.
本発明は、車両用記録方法であって、車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、車両用記録装置が実行する。 The present invention is a recording method for a vehicle, which includes a step of acquiring an image of a first camera that captures the front or rear of the vehicle and an image of a second camera that captures a range including the front, rear, left, and right of the vehicle. By performing a step of cutting out the image of the second camera in the cutout range used as the bird's-eye view image and performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out. It is determined that the vehicle is stopped based on the step of generating the bird's-eye view image and generating the image obtained by synthesizing the image of the first camera at the center of the generated bird's-eye view image and the information on the running state of the vehicle. In this case, the bird's-eye view image based on the image of the second camera is used as the recording target data, and when it is determined that the vehicle is traveling, the image of the first camera is recorded as the recording target data. Performed by the vehicle recording device.
本発明は、車両用記録のための処理手順をコンピュータに実行させるためのプログラムであって、車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、を含む。 The present invention is a program for causing a computer to execute a processing procedure for recording for a vehicle, and includes a range including an image of a first camera that captures the front or rear of the vehicle and the lower front, rear, left, and right sides of the vehicle. The step of acquiring the image of the second camera to be photographed, the step of performing the cutting process on the image of the second camera within the cutout range used as the bird's-eye view image, and the step of performing the cutting process of the second camera. A bird's-eye view image is generated by performing viewpoint conversion processing and composition on the image, and in the center of the generated bird's-eye view image, a step of generating a combined image of the image of the first camera and information on the running state of the vehicle. Therefore, when it is determined that the vehicle is stopped, the bird's-eye view image based on the image of the second camera is used as the recording target data, and when it is determined that the vehicle is running, the first camera Includes a step of recording the video of the camera as data to be recorded.
本発明によれば、コストの大幅な増加を招くことなく、車両の全周囲において適切に映像を記録することができる。 According to the present invention, it is possible to appropriately record an image around the entire circumference of a vehicle without causing a significant increase in cost.
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. Moreover, not all of the configurations described in the embodiments are indispensable as means for solving the problem.
図1は、本実施の形態にかかる車両用記録装置が搭載される車両内の運転席の前方の例を模式的に示す図である。図1に示される車両においては、センターコンソール20に配置された横長形状の表示部11に俯瞰映像を表示する。また、図1に示される車両内の運転席の前方には、表示部11及びセンターコンソール20の他、クラスターパネル30、ステアリングホイール40、ウインドシールド50、ダッシュボード60、及びリヤビューミラー70等が配置されている。
FIG. 1 is a diagram schematically showing an example in front of a driver's seat in a vehicle in which a vehicle recording device according to the present embodiment is mounted. In the vehicle shown in FIG. 1, a bird's-eye view image is displayed on a horizontally
表示部11は、上述した俯瞰映像を表示すると共に、俯瞰映像に切り替えられる前は、ナビゲーション画面等を表示する。ステアリングホイール40は、運転者がステアリング操作を行うものである。ステアリングホイール40によるステアリング操作に応じて、車両のステアリング向きが変更される。クラスターパネル30は、ウインドシールド50の下側のダッシュボード60に配置されており、速度計やエンジン回転計等が表示される。リヤビューミラー70は、運転者が車両の後方を確認するためのミラーである。
The
図2は、本実施の形態にかかる車両用記録装置が搭載される車両におけるカメラの設置位置の一例を示す模式図である。図2の上段には車両900の側面視(左側面視)、図2の下段には車両900の上面視を示す。図2に示すように、車両900には、第1カメラ13と第2カメラ14が設置されている。
FIG. 2 is a schematic view showing an example of a camera installation position in a vehicle equipped with the vehicle recording device according to the present embodiment. The upper part of FIG. 2 shows the side view (left side view) of the
第1カメラ13は、車両900の前方または後方を撮影するためのカメラである。すなわち、第1カメラ13は、車両の前方を撮影する前方カメラ13aと、車両の後方を撮影する後方カメラ13bと、を含む。前方カメラ13a及び後方カメラ13bは、ウインドシールド上部、例えば、リヤビューミラー70に設置されている。なお、一般的なドライブレコーダにおいて、車室内に設置する、前方カメラ13a及び後方カメラ13bを含む第1カメラ13が予め装備されている。
The
第2カメラ14は、車両の前後左右の下方を含む範囲を撮影するためのカメラである。すなわち、第2カメラ14は、車両の前方の下方を撮影する前方俯瞰映像カメラ14aと、車両の後方の下方を撮影する後方俯瞰映像カメラ14bと、車両の左側方の下方を撮影する左側方俯瞰映像カメラ14cと、車両の右側方の下方を撮影する右側方俯瞰映像カメラ14dと、を含む。例えば、前方俯瞰映像カメラ14aは車両900の前端に、後方俯瞰映像カメラ14bは車両900の後端に、左側方俯瞰映像カメラ14cは左側サイドミラー71aに、右側方俯瞰映像カメラ14dは右側サイドミラー71bに設置されている。前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dは、広角レンズカメラである。なお、トップビュー、リアビュー、パノラマビュー等の様々な角度からの映像を映し出す車載カメラシステム、いわゆる"サラウンドビューシステム"が搭載された車両では、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dを含む第2カメラ14が予め装備されている。このため、サラウンドビューシステムを搭載した車両では、第2カメラ14を追加設置する必要はない。
The
第1カメラ13に含まれる、前方カメラ13a及び後方カメラ13bは、主にレンズ、撮像素子、AFE(アナログフロントエンド)などを備えている。同様に、第2カメラ14に含まれる、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dは、主にレンズ、撮像素子、AFE(アナログフロントエンド)などを備えている。
The
第1カメラ13に含まれる前方カメラ13aで撮影可能な画角は、例えば一点鎖線で示すように、所定の画角αの拡がりを有する。なお、第1カメラ13に含まれる後方カメラ13bの視野についても、前方カメラ13aの視野と同様に所定の画角αの拡がりを有する。第1カメラ13で撮影可能な画角は、例えば水平画角130度、垂直画角70度などである。
The angle of view that can be captured by the
第2カメラ14に含まれる前方俯瞰映像カメラ14aで撮影可能な画角は、例えば破線で示すように、所定の画角βの拡がりを有する。前方俯瞰映像カメラ14aの撮影した映像における、第1の切出範囲は、俯瞰映像として用いる範囲であり、垂直方向の切出範囲例としては、車両端部から2m程度車両900から離間する範囲までである。第2の切出範囲は、第1の切出範囲より少なくとも車両900から離間する方向を含む範囲であり、垂直方向の切出範囲は、第1の切出範囲より広く切出してもよく、第1の切出範囲の垂直画角と同様の垂直画角となるように切出してもよい。また、第2の切出範囲は、第1の切出範囲より車両900から離間する方向を含み、水平方向を含む範囲までを切出すことが適切である。図2の上段において、第1の切出範囲の垂直画角は、例えばβ1である。図2の上段において、第2の切出範囲の垂直画角はβ2である。なお、第2カメラ14に含まれる後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dについても、前方俯瞰映像カメラ14aの視野と同様に、第1の切出範囲の垂直画角はβ1、第2の切出範囲の垂直画角はβ2である。第2カメラ14で撮影可能な画角は、例えば水平画角180度、垂直画角150度などである。また、第1の切出範囲の垂直画角は、例えば60度であり、第2の切出範囲の垂直画角は、例えば100度である。
The angle of view that can be captured by the front bird's-eye
図3は、本実施の形態にかかる車両用記録装置10の構成例を示すブロック図である。図3に示すように、車両用記録装置10は、表示部11と、制御部12と、第1カメラ13と、第2カメラ14と、センサ15と、記憶部16と、を備えている。
FIG. 3 is a block diagram showing a configuration example of the vehicle recording device 10 according to the present embodiment. As shown in FIG. 3, the vehicle recording device 10 includes a
制御部12は、映像取得部31と、走行状態取得部32と、イベント検出部33と、映像生成部34と、記録制御部35と、表示制御部36と、を備えている。制御部12を構成する各構成要素は、プロセッサによって構成されてもよいし、プロセッサがメモリに格納されているプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。
The
映像取得部31は、車両の前方または後方を撮影する第1カメラ13の映像、および車両の前後左右の下方を含む範囲を撮影する第2カメラ14の映像を取得する。映像取得部31は、第1カメラ13に含まれる、前方カメラ13a及び後方カメラ13bと、有線または無線によって接続されている。映像取得部31は、第2カメラ14に含まれる、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c及び右側方俯瞰映像カメラ14dと、有線または無線によって接続されている。
The
走行状態取得部32は、車両の走行状態を取得する。すなわち、走行状態取得部32は、CAN(Controller Area Network)を介して車両の走行状態を含む様々な情報を取得する。また、走行状態取得部32は、速度計、エンジン回転計等から各種の走行状態に関する情報を取得してもよい。
The traveling
イベント検出部33は、車両に対するイベントの発生を検出する。ここで、イベントとは、自車両にまつわる事故などの出来事である。イベント検出部33は、加速度センサなどのセンサ15により自車両が受ける衝撃等を検出することでイベントを検出する。イベント検出部33は、イベントを検出した場合、記録制御部35に検出信号を出力する。
The
映像生成部34は、映像取得部31が取得した、第1カメラ13または第2カメラ14の映像に対して各種の画像処理を施し、予め定められたフォーマットに即した映像に加工する。映像生成部34は、切出処理部34aを備えている。切出処理部34aは、映像取得部31が取得した第2カメラ14の映像に対して、俯瞰映像として用いる第1の切出範囲、および第1の切出範囲より少なくとも車両から離間する方向に広い第2の切出範囲で切出処理を行う。
The
映像生成部34は、さらに、俯瞰映像を生成する俯瞰映像生成部34bを備えていてもよい。俯瞰映像生成部34bは、視点変換処理部34bA及び合成処理部34bBを含む。視点変換処理部34bAは、切出処理部34aが切出処理を行った第2カメラ14の映像に対し視点変換処理を行う。合成処理部34bBは、視点変換処理を行った各映像の合成処理を行うことで俯瞰映像を生成する。映像生成部34は、映像取得部31が取得した第2カメラ14の映像に対して、車両が後退している場合には、第1の切出範囲による俯瞰映像を生成し、車両が停止している場合には、第2の切出範囲による俯瞰映像を生成する。また、映像生成部34は、車両が前方に走行している場合には、映像取得部31が取得した第1カメラ13の映像に対して、所定の画像処理を施した映像を生成する。
The
記録制御部35は、走行状態取得部32からの情報より、車両が停止していると判断されるときは、第2の切出範囲で切出した第2カメラ14の映像を記録対象データとする。また、記録制御部35は、走行状態取得部32からの情報より、車両が走行していると判断されるときは、第1カメラ13の映像を記録対象データとする。ここで、車両が停止しているか、車両が走行しているか、の判断は、車速S=0km/hのとき車両が停止している、車速S>0km/hのとき車両が走行している、との判断基準に限らない。車速Sが所定の速度以下の場合に停止していると判断してもよい。例えば、車速S≦5km/hのとき車両が停止している、車速S>5km/hのとき車両が走行している、との判断基準に基づいて判断してもよい。また、記録制御部35は、イベント検出部33がイベントを検出した場合、イベントの検出時の前後所定時間の映像データを、イベント記録データとして記録する。
When it is determined from the information from the traveling
記録制御部35は、車両が後退しているときには、第1の切出範囲で切出した第2カメラ14の映像に基づく俯瞰映像を、表示制御部36を介して表示部11に表示させるようにしてもよい。
When the vehicle is moving backward, the
記録制御部35は、イベント検出部33がイベントを検出しない場合、映像データを記憶部16に一時的に記録する。すなわち、記録制御部35は、イベント検出部33がイベントを検出しない場合、映像データを記憶部16にループ記録(一定時間経過後に上書きされる記録)する。
When the
記録制御部35は、イベント検出部33がイベントを検出した場合、映像データをイベント記録データとして記憶部16に記録する。ここで、イベント記録データとは、事故の状況確認、証拠保全等に用いることができる映像データであり、他の映像データと区別して記録する。例えば、イベント記録データは、記憶部16において、上書きが禁止される記録データとして記録されるようにしてもよい。
When the
記憶部16は、映像データを記録するためのメモリである。記憶部16は、例えばフラッシュメモリなどの不揮発性メモリである。なお、記憶部16が着脱可能なメモリカードである場合、車両用記録装置10にはメモリカードを接続する接続インタフェースを設ける必要がある。記憶部16は、通信回線等を介して映像データを記録する、他の装置であってもよい。
The
表示制御部36は、表示部11を制御して、映像生成部34が生成した俯瞰映像等を表示部11に表示させる。表示部11は、車両内の運転席の前方に配置され、映像生成部34が生成した映像を表示するためのものである。図1の例においては、表示部11を、センターコンソール20に配置している。表示制御部36は、車両が後退している場合には、第1の切出範囲で切出した第2カメラ14の映像に基づく俯瞰映像を表示部11に表示させる。また、表示制御部36は、車両が停止している場合には、第2の切出範囲で切出した第2カメラ14の映像に基づく俯瞰映像を表示部11に表示させる。第2カメラ14の映像に基づく俯瞰映像を表示部11にどのように表示させるかについては後述する。
The
次に、本実施の形態1にかかる車両用記録装置10の制御部12における、映像の記録動作について説明する。図4は、本実施の形態にかかる車両用記録装置10の制御部12における映像の記録動作の流れを示すフローチャートである。図4に示すように、まず、記録制御部35が、車両が後退しているか否かを判断する(ステップS101)。車両が後退しているか否かの判断は、例えば、車両のギヤが後退(リバース)の位置にあるときに後退していると判断してもよい。ステップS101において、車両が後退している場合(YESの場合)、第1切出範囲による俯瞰映像の表示部11での表示を開始、または継続し(ステップS102)、処理を後述のステップS110に進める。すなわち、車両が後退している場合、記録制御部35が、映像生成部34に対し第1切出範囲による俯瞰映像を生成するよう指示し、表示制御部36が、映像生成部34において生成した第1切出範囲による俯瞰映像を表示部11に表示させる。
Next, the video recording operation in the
ステップS101において、車両が後退していない場合(NOの場合)、記録制御部35が、車両が停止しているか否かを判断する(ステップS103)。ステップS103において、車両が停止していると判断された場合(YESの場合)、第2の切出範囲による俯瞰映像のループ記録を開始、または継続する(ステップS104)。すなわち、記録制御部35が、映像生成部34に対し第2切出範囲による俯瞰映像を生成するよう指示し、映像生成部34において生成した第1切出範囲による俯瞰映像を記憶部16にループ記録する。
In step S101, when the vehicle is not moving backward (NO), the
ステップS104に続いて、記録制御部35が、イベント検出部33においてイベントを検出したか否かを判断する(ステップS105)。ステップS105においてイベントを検出した場合(YESの場合)、記録制御部35が、第2の切出範囲による俯瞰映像をイベント記録データとして記録する(ステップS106)。ステップS105においてイベントを検出しない場合(NOの場合)、処理をステップS103に戻す。
Following step S104, the
ステップS106に続き、記録制御部35が、車両動作が終了したか否かを判断する(ステップS110)。ステップS110において、車両動作が終了したと判断した場合(YESの場合)は処理を終了し、車両動作が終了していないと判断した場合(NOの場合)は処理をステップS101に戻す。
Following step S106, the
ステップS103において、車両が停止していないと判断された場合(NOの場合)、記録制御部35が、第1カメラによる映像のループ記録を開始、または継続する(ステップS107)。続いて、イベントを検出したか否かを判断する(ステップS108)。ステップS108においてイベントを検出した場合(YESの場合)、記録制御部35が、第1カメラによる映像をイベント記録データとして記録し(ステップS109)、処理をステップS110に進める。ステップS108においてイベントを検出しない場合(NOの場合)、処理をステップS110に進める。
If it is determined in step S103 that the vehicle is not stopped (NO), the
次に、制御部12(図3参照)の映像生成部34において、映像取得部31が取得した第2カメラ14の映像に対して生成した俯瞰映像が、表示部11においてどのように表示されるかについて説明する。上述したように、第2カメラ14は、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dを含む(図2参照)。
Next, in the
図5は、車両が後退している場合に、第2カメラ14の映像に対して生成した俯瞰映像を表示部11に表示させた一例を示す模式図である。図5に示すように、表示部11において、俯瞰映像XAは、前方映像XAaが上方、後方映像XAbが下方、左側方映像XAcが左側、右側方映像XAdが右側になるように表示される。ここで、前方映像XAaは前方俯瞰映像カメラ14aの映像の第1の切出範囲、後方映像XAbは後方俯瞰映像カメラ14bの映像の第1の切出範囲である。また、左側方映像XAcは左側方俯瞰映像カメラ14cの映像の第1の切出範囲、右側方映像XAdは右側方俯瞰映像カメラ14dの映像の第1の切出範囲である。さらに、俯瞰映像XAの中央には、仮想的な自車両の画像XAeが表示される。車両が後退している時に、車両外部の映像をこのように表示部11に表示させることによって、ドライバーの駐車時の操作をアシストすることができる。
FIG. 5 is a schematic view showing an example in which a bird's-eye view image generated for an image of the
図6は、車両が停止している場合に、第2カメラ14の映像に対して生成した俯瞰映像を表示部11に表示させた一例を示す模式図である。図6に示すように、表示部11において、俯瞰映像XBは、前方映像XBaが上方、後方映像XBbが下方、左側方映像XBcが左側、右側方映像XBdが右側になるように表示される。ここで、前方映像XBaは前方俯瞰映像カメラ14aの映像の第2の切出範囲、後方映像XBbは後方俯瞰映像カメラ14bの映像の第2の切出範囲である。また、左側方映像XBcは左側方俯瞰映像カメラ14cの映像の第2の切出範囲、右側方映像XBdは右側方俯瞰映像カメラ14dの映像の第2の切出範囲である。さらに、俯瞰映像XBの中央には、仮想的な自車両の画像XBeが表示される。
FIG. 6 is a schematic view showing an example in which the bird's-eye view image generated for the image of the
図2を参照して説明したように、第2カメラ14に含まれる、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dは、車両の外部に設置されている。このため、車両が停止している場合の俯瞰映像XBにおける、前方映像XBa、後方映像XBb、左側方映像XBc及び右側方映像XBdは、鮮明な映像である。また、サラウンドビューシステムが搭載された車両では、前方俯瞰映像カメラ14a、後方俯瞰映像カメラ14b、左側方俯瞰映像カメラ14c、右側方俯瞰映像カメラ14dを含む第2カメラ14が予め装備されている。よって、車両が停止しているときにイベントを検出した場合、この俯瞰映像XBをイベント記録データとして記録することで、コストの大幅な増加を招くことなく、車両の全周囲において、事故の検証に役立ち得るような鮮明な映像を記録することができる。
As described with reference to FIG. 2, the front bird's-eye
図6の俯瞰映像XBを図5の俯瞰映像XAと比較すると、前方映像XBa、後方映像XBb、左側方映像XBc、右側方映像XBdは、それぞれ、前方映像XAa、後方映像XAb、左側方映像XAc、右側方映像XAdよりも領域が広がっている。これは、図6に示す俯瞰映像XBの場合、第2カメラ14の各映像データに対して、それぞれ、第1の切出範囲より少なくとも車両から離間する方向に広い範囲である第2の切出範囲で切出し処理を実行しているためである。なお、俯瞰映像XBの中央の仮想的な自車両の画像XBeは、俯瞰映像XAの中央の仮想的な自車両の画像XAeよりも小さくしている。
Comparing the bird's-eye view image XB of FIG. 6 with the bird's-eye view image XA of FIG. , The area is wider than the right side image XAd. In the case of the bird's-eye view image XB shown in FIG. 6, the second cutout is a range wider than the first cutout range at least in the direction away from the vehicle for each video data of the
制御部12の映像生成部34(図3参照)において、合成処理部34bBで生成した俯瞰映像の中央部に第1カメラ13の映像を合成した映像を生成するようにしてもよい。図7は、車両が停止している場合に、第2カメラ14の映像に対して生成した俯瞰映像を表示部11に表示させた別の一例を示す模式図である。図7に示すように、表示部11において、俯瞰映像XCは、前方映像XCaが上方、後方映像XCbが下方、左側方映像XCcが左側、右側方映像XCdが右側になるように表示されるが、各々の映像の切出し範囲を、俯瞰映像として合成した場合に横長の映像となるように切出し合成する。。ここで、前方映像XCaは前方俯瞰映像カメラ14aの映像の第2の切出範囲、後方映像XCbは後方俯瞰映像カメラ14bの映像の第2の切出範囲である。また、左側方映像XCcは左側方俯瞰映像カメラ14cの映像の第2の切出範囲、右側方映像XCdは右側方俯瞰映像カメラ14dの映像の第2の切出範囲である。さらに、俯瞰映像XCの中央には、例えば前方映像XCfまたは後方映像XCg、あるいは前方映像XCfおよび後方映像XCgが合成される。車両が停止しているときにイベントを検出した場合、この俯瞰映像XCをイベント記録データとして記録することで、第1カメラ13の映像に加えて第2カメラの映像14の映像も記録されるため、事故の検証により有用な映像を記録することができる。図7においては、第1カメラ13の映像である前方映像XCfが横長の映像データであるため、俯瞰映像XCを横長の俯瞰映像としたが、図6と同様に縦長の俯瞰映像としてもよい。
The image generation unit 34 (see FIG. 3) of the
上述した本発明の効果を具体的に説明する。車両が走行中において発生するイベントは、第1カメラ13が撮影する映像で概ね記録可能である。例えば、車両の側面に側方から来た他車両が衝突した場合であっても、車両が走行している場合は、衝突前の他車両は車両の進行方向を撮影している第1カメラ13の撮影範囲に含まれている。これに対し、車両が停止している場合に車両の側面に側方から来た他車両が衝突した場合は、第1カメラ13が撮影する範囲には他車両は記録されない。また、第2カメラ14の映像を後退時に表示する俯瞰映像と同様の第1の切出し範囲として記録した場合、他車両が衝突する直前の映像しか記録されない。これに対し、本発明においては、車両の走行時は、第1カメラ13が撮影する映像を記録対象とし、車両が停止時は、第2カメラ14が撮影する映像であって、第2の切出範囲の映像を記録対象とするため、イベント発生時に、適切にイベントの状況を記録することができる。
The above-mentioned effects of the present invention will be specifically described. Events that occur while the vehicle is running can be generally recorded in the video captured by the
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
本発明にかかる車両用記録装置の各部における処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、車両用記録装置において、プログラムメモリに格納されたプログラムを主記憶装置にロードし、CPUの制御によって当該プログラムを実行して実現する。ここで、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。また、車両用記録装置の各部における処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。 The processing in each part of the vehicle recording device according to the present invention can be realized by causing a computer or the like to execute a program. More specifically, in the vehicle recording device, the program stored in the program memory is loaded into the main storage device, and the program is executed and realized under the control of the CPU. Here, the program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transient computer-readable media include various types of tangible storage media (tangible storage media). Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W, a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)). The program may also be supplied to the computer by various types of temporary computer readable media (transitory computer readable media). Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path. Further, the processing in each part of the vehicle recording device is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.
10 車両用記録装置
11 表示部
12 制御部
13 第1カメラ
13a 前方カメラ
13b 後方カメラ
14 第2カメラ
14a 前方俯瞰映像カメラ
14b 後方俯瞰映像カメラ
14c 左側方俯瞰映像カメラ
14d 右側方俯瞰映像カメラ
15 センサ
16 記憶部
20 センターコンソール
30 クラスターパネル
31 映像取得部
32 走行状態取得部
33 イベント検出部
34 映像生成部
34a 切出処理部
34b 俯瞰映像生成部
34bA 視点変換処理部
34bB 合成処理部
35 記録制御部
36 表示制御部
40 ステアリングホイール
50 ウインドシールド
60 ダッシュボード
70 リヤビューミラー
71a 左側サイドミラー
71b 右側サイドミラー
10
Claims (6)
前記車両の走行状態を取得する走行状態取得部と、
前記映像取得部が取得した前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行う切出処理部と、
前記切出処理部が切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成する俯瞰映像生成部と、
前記車両が停止しているときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行しているときは、前記第1カメラの映像を記録対象データとして記録する、記録制御部と、
を備える、車両用記録装置。 An image acquisition unit that acquires an image of the first camera that captures the front or rear of the vehicle and an image of the second camera that captures a range including the front, rear, left, right, and lower parts of the vehicle.
A running state acquisition unit that acquires the running state of the vehicle,
A cutout processing unit that performs cutting processing on the image of the second camera acquired by the image acquisition unit within a cutting range used as a bird's-eye view image, and
A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out by the cutting-out processing unit, and the image of the first camera is placed in the center of the generated bird's-eye view image. A bird's-eye view video generator that generates a composite video of
When the vehicle is stopped, the bird's-eye view image based on the image of the second camera is recorded as the recording target data, and when the vehicle is running, the image of the first camera is recorded as the recording target data. Recording control unit and
A vehicle recording device.
前記記録制御部は、前記イベント検出部がイベントを検出した場合、前記車両が走行しているときは、前記第1カメラの映像をイベント記録データとして記録し、前記車両が停止しているときは、俯瞰映像として用いる切出範囲で切出した前記第2カメラの映像に基づく俯瞰映像をイベント記録データとして記録する、
請求項1に記載の車両用記録装置。 An event detection unit that detects an event for the vehicle is further provided.
When the event detection unit detects an event, the recording control unit records the image of the first camera as event recording data when the vehicle is traveling, and when the vehicle is stopped, the recording control unit records the image of the first camera as event recording data. , The bird's-eye view image based on the image of the second camera cut out in the cutout range used as the bird's-eye view image is recorded as event recording data.
The vehicle recording device according to claim 1.
請求項1または2に記載の車両用記録装置。 The bird's-eye view image generation unit generates a horizontally long bird's-eye view image by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out by the cutting-out processing unit, and the generated bird's-eye view image. A combined image of the image of the first camera is generated in the central portion.
The vehicle recording device according to claim 1 or 2 .
請求項1から3のいずれか1項に記載の車両用記録装置。 The bird's-eye view image generation unit generates, in the center of the generated bird's-eye view image, an image obtained by synthesizing the front image, the rear image, or the front image and the rear image, which are the images of the first camera.
The vehicle recording device according to any one of claims 1 to 3 .
前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、
切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、
前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、
を車両用記録装置が実行する車両用記録方法。 A step of acquiring an image of the first camera that captures the front or rear of the vehicle and an image of the second camera that captures a range including the front, rear, left, right, and lower parts of the vehicle.
A step of performing cutting processing on the image of the second camera within the cutting range used as a bird's-eye view image, and
A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out, and an image obtained by combining the image of the first camera is generated in the center of the generated bird's-eye view image. Steps to do and
When it is determined that the vehicle is stopped from the information on the traveling state of the vehicle, it is determined that the vehicle is traveling by using the bird's-eye view image based on the image of the second camera as the recording target data. When the step of recording the image of the first camera as the recording target data,
A vehicle recording method performed by a vehicle recording device.
車両の前方または後方を撮影する第1カメラの映像、および前記車両の前後左右の下方を含む範囲を撮影する第2カメラの映像を取得するステップと、
前記第2カメラの映像に対して、俯瞰映像として用いる切出範囲で切出処理を行うステップと、
切出処理を行った前記第2カメラの映像に対し視点変換処理および合成を行うことで俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記第1カメラの映像を合成した映像を生成するステップと、
前記車両の走行状態に関する情報より、前記車両が停止していると判断されるときは、前記第2カメラの映像に基づく俯瞰映像を記録対象データとし、前記車両が走行していると判断されるときは、前記第1カメラの映像を記録対象データとして記録するステップと、
を含む、プログラム。
A program that allows a computer to perform processing procedures for vehicle recording.
A step of acquiring an image of the first camera that captures the front or rear of the vehicle and an image of the second camera that captures a range including the front, rear, left, right, and lower parts of the vehicle.
A step of cutting out the image of the second camera within the cutout range used as a bird's-eye view image
A bird's-eye view image is generated by performing viewpoint conversion processing and compositing on the image of the second camera that has been cut out, and an image obtained by combining the image of the first camera is generated in the center of the generated bird's-eye view image. Steps to do and
When it is determined that the vehicle is stopped from the information on the traveling state of the vehicle, it is determined that the vehicle is traveling by using the bird's-eye view image based on the image of the second camera as the recording target data. When, the step of recording the image of the first camera as the recording target data and
Including the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019190954A JP6774612B2 (en) | 2019-10-18 | 2019-10-18 | Vehicle recording device, vehicle recording method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019190954A JP6774612B2 (en) | 2019-10-18 | 2019-10-18 | Vehicle recording device, vehicle recording method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018037253A Division JP6607272B2 (en) | 2018-03-02 | 2018-03-02 | VEHICLE RECORDING DEVICE, VEHICLE RECORDING METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020036332A JP2020036332A (en) | 2020-03-05 |
JP6774612B2 true JP6774612B2 (en) | 2020-10-28 |
Family
ID=69668902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019190954A Active JP6774612B2 (en) | 2019-10-18 | 2019-10-18 | Vehicle recording device, vehicle recording method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6774612B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7294267B2 (en) | 2020-08-05 | 2023-06-20 | トヨタ自動車株式会社 | Vehicle monitoring device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573242B2 (en) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | Driving assistance device |
JP5696872B2 (en) * | 2010-03-26 | 2015-04-08 | アイシン精機株式会社 | Vehicle periphery monitoring device |
JP5715778B2 (en) * | 2010-07-16 | 2015-05-13 | 東芝アルパイン・オートモティブテクノロジー株式会社 | Image display device for vehicle |
JP2012253609A (en) * | 2011-06-03 | 2012-12-20 | Fujitsu Ten Ltd | Drive information recording device and vehicle periphery image reproduction system |
CN105682446B (en) * | 2013-10-01 | 2018-06-08 | 洋马株式会社 | Combine harvester |
JP6607272B2 (en) * | 2018-03-02 | 2019-11-20 | 株式会社Jvcケンウッド | VEHICLE RECORDING DEVICE, VEHICLE RECORDING METHOD, AND PROGRAM |
-
2019
- 2019-10-18 JP JP2019190954A patent/JP6774612B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020036332A (en) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106853798B (en) | System and method for providing image information around vehicle | |
US20190082123A1 (en) | Display control apparatus, method, program, and system | |
JP2000225970A (en) | Image recording system loaded on vehicle | |
JP2010268343A (en) | Photographing device and photographing method | |
JP2016119526A (en) | Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method | |
JP2018142885A (en) | Vehicular display control apparatus, vehicular display system, vehicular display control method, and program | |
US10999532B2 (en) | Vehicle recording device, vehicle recording method and non-transitory computer readable medium | |
TW201344648A (en) | Driving monitoring system and driving monitoring method | |
WO2018123546A1 (en) | Viewing device for vehicles | |
JP2010195235A (en) | Vehicle-mounted camera system | |
JP6774612B2 (en) | Vehicle recording device, vehicle recording method and program | |
JP2000247265A (en) | On-vehicle image recording system | |
KR20150096868A (en) | Apparatus of recording event based image data | |
JP5226621B2 (en) | Image display device for vehicle | |
JP2007221199A (en) | On-vehicle camera display device and image processing unit | |
JP5114101B2 (en) | In-vehicle camera system | |
EP3923249A1 (en) | Vehicle-use recording control device, vehicle-use recording device, vehicle-use recording control method, and program | |
JP3238606U (en) | Backup monitor system and drive recorder | |
JP6002975B2 (en) | Vehicle video recording device, playback device, and program | |
JP6973590B2 (en) | Video control device for vehicles and video control method | |
JP2002127948A (en) | On-vehicle image recording system | |
WO2021131481A1 (en) | Display device, display method, and display program | |
CN112369014B (en) | Vehicle video control device, vehicle video system, video control method, and storage medium | |
JP6512243B2 (en) | Recording control device, recording device, recording control method and recording control program | |
JP7287010B2 (en) | Vehicle display control device, vehicle imaging device, vehicle display control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20200715 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6774612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |