JP5156307B2

JP5156307B2 - In-vehicle camera system

Info

Publication number: JP5156307B2
Application number: JP2007239510A
Authority: JP
Inventors: 敦士山下; 吉孝内田
Original assignee: Clarion Co Ltd; Hitachi Ltd
Current assignee: Hitachi Ltd; Faurecia Clarion Electronics Co Ltd
Priority date: 2007-09-14
Filing date: 2007-09-14
Publication date: 2013-03-06
Anticipated expiration: 2027-09-14
Also published as: JP2009067292A

Description

本発明は、車両に搭載されたカメラを用いて、運転者の安全運転を支援する車載カメラシステムに関する。 The present invention relates to an in-vehicle camera system that supports a driver's safe driving using a camera mounted on a vehicle.

広角カメラで車両後方を撮影し、後方駐車、後方車庫入を容易にする後方駐車補助装置が従来技術として知られている（たとえば、特許文献１）。この後方駐車補助装置では、広角カメラで撮影した広域画像の一部を切り取り、それを拡大することにより狭域画像とし、その狭域画像の歪を除去して、駐車枠や縁石などを距離感に優れて把握できる画像としている。 A rear parking assist device that captures the rear of a vehicle with a wide-angle camera and facilitates rear parking and entering the rear garage is known as a prior art (for example, Patent Document 1). This rear parking assist device cuts out a part of a wide area image taken with a wide-angle camera and enlarges it to make a narrow area image, removes the distortion of the narrow area image, and senses the distance between the parking frame and the curb. It is an image that can be easily grasped.

特開２００３−２１２０４１号公報JP 2003-212041 A

特許文献１に記載されているように車両に設置されている広角カメラを、運転者の安全運転支援に利用することが考えられている。 As described in Patent Document 1, it is considered to use a wide-angle camera installed in a vehicle for assisting the driver in driving safely.

本発明に係る車載カメラシステムは、ナビゲーション装置と、広角カメラと、前記広角カメラにより撮影された映像の一部を切り出す範囲を道路の情報と自車位置の情報とに基づいて決定し、前記広角カメラにより撮影された映像からその範囲の映像を切り出し、前記切り出した映像を出力する制御装置と、前記制御装置から出力された映像を表示する表示モニタとを備え、前記制御装置は、前記ナビゲーション装置から前記道路の情報と前記自車位置の情報とを取得し、自車位置マークを重畳した道路地図の画面を前記表示モニタに表示させるほか、前記表示モニタの表示を、前記道路地図の画面から前記切り出した映像に切り替えて表示させ、前記ナビゲーション装置から交差点接近の情報を取得した場合には、前記切り出した映像を前記表示モニタに表示させると共に、前記広角カメラにより撮影された映像の一部を切り出す範囲を、前記自車位置が前記交差点に接近するにしたがって変化させる、ことを特徴とする。 The in- vehicle camera system according to the present invention determines a range to cut out a part of an image captured by the navigation device, the wide-angle camera, and the wide-angle camera based on road information and vehicle position information, and A control device that cuts out a range of video from a video shot by a camera and outputs the cut-out video, and a display monitor that displays the video output from the control device , the control device including the navigation device The information of the road and the information of the vehicle position are acquired from the above, and a road map screen on which the vehicle position mark is superimposed is displayed on the display monitor, and the display of the display monitor is displayed from the road map screen. When the clipped video is switched to be displayed and information on intersection approach is obtained from the navigation device, the clipped video is Causes display on the display monitor, the range for cutting out a portion of the image captured by the wide-angle camera, the varied according the vehicle position approaches the intersection, characterized in that.

本発明によれば、広角カメラを車両に設置し、道路の情報と車両位置の情報とに基づいて広角カメラが撮影した映像のうちの表示する範囲を決定し、決定した範囲の映像を表示モニタに表示するようにした。したがって、運転者は、この表示モニタに表示された映像を視認することにより安全に運転することができる。 According to the present invention, a wide-angle camera is installed in a vehicle, a range to be displayed is determined from images taken by the wide-angle camera based on road information and vehicle position information, and a video in the determined range is displayed on a display monitor. To be displayed. Therefore, the driver can drive safely by visually recognizing the video displayed on the display monitor.

−第１の実施形態−
図１〜８を参照して、本発明による車載カメラシステムの第１の実施形態を説明する。
図１は、本発明の第１の実施形態におけるカメラシステム１の全体構成を示す図である。カメラシステム１は、映像処理装置１０、フロントカメラ２０Ａ、リアカメラ２０Ｂ、表示モニタ３０、ナビゲーション装置４０を含む。車載カメラシステム１は、車両に搭載され、フロントカメラ２０Ａ、またはリアカメラ２０Ｂにより撮影した映像の一部を表示モニタ３０に表示させて、運転者の安全運転を支援する。 -First embodiment-
A first embodiment of an in-vehicle camera system according to the present invention will be described with reference to FIGS.
FIG. 1 is a diagram showing an overall configuration of a camera system 1 according to the first embodiment of the present invention. The camera system 1 includes a video processing device 10, a front camera 20A, a rear camera 20B, a display monitor 30, and a navigation device 40. The in-vehicle camera system 1 is mounted on a vehicle and displays a part of the image captured by the front camera 20A or the rear camera 20B on the display monitor 30 to support the driver's safe driving.

フロントカメラ２０Ａは、広角の高解像度の映像を得ることができる全方位カメラである。図２（ａ），（ｂ）に示すように、フロントカメラ２０Ａは、車両の前部に設けられる。図２（ｃ）に、フロントカメラ２０Ａの構成を示す。フロントカメラ２０Ａは、凸面鏡２１、撮像装置２２、透明パイプ２３、ケース２４を有する。フロントカメラ２０Ａに対する全方位の景色は凸面鏡２１に反射され、撮像装置２２に入射される。これにより、全方位の景色を撮像装置２２により撮影することができる。また、撮像装置２２の撮像素子に画素数の多いものを採用することにより高解像度の映像を得ることができる。図２（ｂ）に示すように、ケース２４を車体に接合することにより、フロントカメラ２０Ａは車両に設置される。 The front camera 20A is an omnidirectional camera that can obtain a wide-angle, high-resolution image. As shown in FIGS. 2A and 2B, the front camera 20A is provided at the front of the vehicle. FIG. 2C shows the configuration of the front camera 20A. The front camera 20 </ b> A includes a convex mirror 21, an imaging device 22, a transparent pipe 23, and a case 24. The omnidirectional scenery with respect to the front camera 20A is reflected by the convex mirror 21 and is incident on the imaging device 22. As a result, an omnidirectional landscape can be captured by the imaging device 22. In addition, a high-resolution image can be obtained by adopting an image sensor with a large number of pixels as the image sensor of the imaging device 22. As shown in FIG. 2B, the front camera 20A is installed in the vehicle by joining the case 24 to the vehicle body.

リアカメラ２０Ｂも、広角の高解像度の映像を得ることができる全方位カメラである。図２（ａ）に示すように、リアカメラ２０Ｂは、車両の後部に設けられる。リアカメラ２０Ｂの構成は、図２（ｃ）に示すフロントカメラ２０Ａの構成と同様である。 The rear camera 20B is also an omnidirectional camera that can obtain a wide-angle high-resolution image. As shown in FIG. 2A, the rear camera 20B is provided at the rear of the vehicle. The configuration of the rear camera 20B is the same as the configuration of the front camera 20A shown in FIG.

映像処理装置１０は、計算・制御部１１、映像切出部１２、映像合成部１３、記憶装置１４、ひずみ補正部１５，１６を備えている。 The video processing apparatus 10 includes a calculation / control unit 11, a video cutout unit 12, a video synthesis unit 13, a storage device 14, and distortion correction units 15 and 16.

計算・制御部１１は、記憶装置１４から表示設定、切出抑制情報、カメラ仕様、カメラ取付角度などの各種パラメータを取得する。また、ナビゲーション装置４０から道路情報（道幅、交差点の分岐路の数、各分岐路の方位角度など）、自車情報（車両の方位角度など）、ルート案内情報（誘導データなど）などの情報を取得する。そして、これらの情報から、フロントカメラ２０Ａ、リアカメラ２０Ｂが撮影し、ひずみ補正部１５，１６で補正した映像から映像の一部を切り出す範囲を計算し、映像切出部１２にその範囲の映像切出処理を指示する。また、上述の各種パラメータに合わせて、映像合成部１３に映像の合成を指示する。 The calculation / control unit 11 acquires various parameters such as display settings, clipping suppression information, camera specifications, and camera mounting angles from the storage device 14. In addition, information such as road information (road width, number of branch roads at each intersection, azimuth angle of each branch road, etc.), own vehicle information (eg, azimuth angle of the vehicle), route guidance information (guidance data, etc.), etc. get. Then, from this information, a range in which a part of the video is cut out from the video captured by the front camera 20A and the rear camera 20B and corrected by the distortion correction units 15 and 16 is calculated, and the video in the range is displayed in the video cutting unit 12. Instruct cutting process. In addition, the video composition unit 13 is instructed to synthesize video in accordance with the various parameters described above.

映像切出部１２は、ひずみ補正されたカメラ映像の中からカメラ映像の一部を切り出し、切り出した映像を映像合成部１３に出力する。この映像の切り出しは、１箇所に限らず、複数箇所行う場合がある。 The video cutout unit 12 cuts out a part of the camera video from the distortion-corrected camera video and outputs the cut out video to the video synthesis unit 13. This video clipping is not limited to one location but may be performed at multiple locations.

映像合成部１３は、表示モニタ３０に表示する映像が車両に対してどの方向の映像であるかを示す映像方向ガイド作成し、その映像方向ガイドと映像切出部１２から出力された映像とをナビゲーション装置４０から出力されるナビ画面と合成し、表示モニタ３０に出力する。 The video composition unit 13 creates a video direction guide indicating which direction the video to be displayed on the display monitor 30 is relative to the vehicle, and the video direction guide and the video output from the video cutout unit 12 are displayed. It is combined with the navigation screen output from the navigation device 40 and output to the display monitor 30.

記憶装置１４は、上述の表示設定、切出抑制情報、カメラ仕様、カメラ取付角度などの各種パラメータを記憶する。 The storage device 14 stores various parameters such as the above-described display settings, clipping suppression information, camera specifications, and camera mounting angles.

ひずみ補正部１５，１６は、フロントカメラ２０Ａ、リアカメラ２０Ｂが撮影した映像の広角歪みを補正する。フロントカメラ２０Ａ、リアカメラ２０Ｂで撮影された映像における歪みの歪み量は予め算出されており、その歪みを補正するための歪み補正テーブルが、ひずみ補正部１５，１６内の不図示のメモリに記憶されている。ひずみ補正部１５，１６は、その歪み補正テーブルに基づいて、フロントカメラ２０Ａ、リアカメラ２０Ｂが撮影した映像を補正することにより、広角歪みを補正することができる。 The distortion correction units 15 and 16 correct wide-angle distortion of images taken by the front camera 20A and the rear camera 20B. The amount of distortion of the images captured by the front camera 20A and the rear camera 20B is calculated in advance, and a distortion correction table for correcting the distortion is stored in a memory (not shown) in the distortion correction units 15 and 16. Has been. The distortion correction units 15 and 16 can correct wide-angle distortion by correcting images captured by the front camera 20A and the rear camera 20B based on the distortion correction table.

図３（ａ）に示すように、フロントカメラ２０Ａまたはリアカメラ２０Ｂで撮影した映像をそのまま表示すると、全方位の景色が丸画像として表示される。しかし、フロントカメラ２０Ａまたはリアカメラ２０Ｂで撮影した映像をひずみ補正部１５，１６で補正すると、図３（ｂ）に示すように、全方位の景色がパノラマ展開画像として表示される。 As shown in FIG. 3A, when an image captured by the front camera 20A or the rear camera 20B is displayed as it is, a landscape in all directions is displayed as a round image. However, when the images captured by the front camera 20A or the rear camera 20B are corrected by the distortion correction units 15 and 16, an omnidirectional landscape is displayed as a panoramic developed image as shown in FIG.

表示モニタ３０は、映像合成部１３から出力された映像を表示する。 The display monitor 30 displays the video output from the video composition unit 13.

図４は、本実施の形態の車載カメラシステム１を構成するナビゲーション装置４０の全体構成を示す図である。ナビゲーション装置４０は、車両に搭載されて、いわゆるナビゲーションあるいは経路案内などを行う装置である。また、ナビゲーション装置４０は、映像処理装置１０に対して道路情報、自車情報、ルート案内情報などの情報を出力する。以下の説明では、ナビゲーション装置４０を搭載する車両を、単に車両と呼ぶ。ナビゲーション装置４０は、車両位置周辺の道路地図を表示する機能、出発地から目的地までの推奨経路を演算する機能、演算された推奨経路に基づいて経路誘導を行う機能など、車両の走行に関する情報を提示する機能を兼ね備えている。 FIG. 4 is a diagram showing an overall configuration of the navigation device 40 that constitutes the in-vehicle camera system 1 of the present embodiment. The navigation device 40 is a device that is mounted on a vehicle and performs so-called navigation or route guidance. In addition, the navigation device 40 outputs information such as road information, own vehicle information, and route guidance information to the video processing device 10. In the following description, a vehicle equipped with the navigation device 40 is simply referred to as a vehicle. The navigation device 40 is a vehicle driving information such as a function for displaying a road map around the vehicle position, a function for calculating a recommended route from the departure point to the destination, and a function for performing route guidance based on the calculated recommended route. It also has a function to present.

図４において、４２は車両の現在地を検出する現在地検出装置であり、たとえば車両の進行方位の変化量を検出するジャイロセンサ４２ａ、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を検出するＧＰＳセンサ４２ｂ、車速を検出する車速センサ４２ｃなどから成る。 In FIG. 4, reference numeral 42 denotes a current position detection device that detects the current position of the vehicle. For example, a gyro sensor 42a that detects the amount of change in the traveling direction of the vehicle, and a GPS sensor 42b that detects a GPS signal from a GPS (Global Positioning System) satellite. And a vehicle speed sensor 42c for detecting the vehicle speed.

４１は制御装置であり、ＣＰＵ４１０およびその周辺回路から成る。ＣＰＵ４１０およびその周辺回路は互いにバスで接続されている。周辺回路は、パラレルＩ／Ｏ４１１、Ａ／Ｄ変換器４１２、グラフィックコントローラ４１３、シリアルＩ／Ｏ４１４、音声出力回路４１５、カウンタ４１６、画像メモリ４１７、地図記憶装置４１８、メモリ４１９などから成る。４４は車室内の乗員が視認可能な位置に配設されて、地図や各種情報を表示する表示モニタである。 Reference numeral 41 denotes a control device, which includes a CPU 410 and its peripheral circuits. The CPU 410 and its peripheral circuits are connected to each other by a bus. The peripheral circuit includes a parallel I / O 411, an A / D converter 412, a graphic controller 413, a serial I / O 414, an audio output circuit 415, a counter 416, an image memory 417, a map storage device 418, a memory 419, and the like. Reference numeral 44 denotes a display monitor which is disposed at a position where a passenger in the vehicle can visually recognize and displays a map and various types of information.

４３は乗員が車両の目的地等の入力など、各種操作入力を行うためのスイッチ群である。スイッチ群４３は、表示モニタ４４の画面上に設けられたタッチパネルスイッチや、カーソルの移動や画面のスクロールを指示するジョイスティックなどを含む。スイッチ群４３は、リモコンスイッチとして構成しもよく、表示画面周辺に設けられたスイッチであってもよい。４５は、音声出力回路１１１から出力される音声信号を音声として出力するスピーカである。 Reference numeral 43 denotes a switch group for an occupant to input various operations such as input of a destination of the vehicle. The switch group 43 includes a touch panel switch provided on the screen of the display monitor 44, a joystick for instructing movement of the cursor and scrolling of the screen, and the like. The switch group 43 may be configured as a remote control switch, or may be a switch provided around the display screen. Reference numeral 45 denotes a speaker that outputs an audio signal output from the audio output circuit 111 as audio.

制御装置４１のメモリ４１９は、制御プログラムを格納するＲＯＭ、作業エリアのＲＡＭ、および、各種設定値などを記憶する不揮発メモリを含むメモリである。ＣＰＵ４１０は、メモリ４１９にアクセスして制御プログラムを実行し、各種の制御を行う。パラレルＩ／Ｏ４１１は、スイッチ群４３を構成する個別のスイッチ等が接続されるパラレルＩ／Ｏポートである。Ａ／Ｄ変換器４１２は、ジャイロセンサ４２ａのアナログ信号をＡ／Ｄ変換する変換器である。シリアルＩ／Ｏ４１４は、ＧＰＳセンサ４２ｂからのシリアル信号を受信するシリアルＩ／Ｏポートである。カウンタ４１６は、たとえば車軸の回転に伴って車速センサ４２ｃから出力されるパルス信号をカウントするカウンタである。 The memory 419 of the control device 41 is a memory including a ROM that stores a control program, a RAM of a work area, and a nonvolatile memory that stores various setting values. The CPU 410 accesses the memory 419, executes a control program, and performs various controls. The parallel I / O 411 is a parallel I / O port to which individual switches that constitute the switch group 43 are connected. The A / D converter 412 is a converter that A / D converts the analog signal of the gyro sensor 42a. The serial I / O 414 is a serial I / O port that receives a serial signal from the GPS sensor 42b. The counter 416 is a counter that counts a pulse signal output from the vehicle speed sensor 42c with the rotation of the axle, for example.

グラフィックコントローラ４１３は、ＣＰＵ４１０から出力される表示データを、画像データとして画像メモリ（ビデオＲＡＭ）であるメモリ４１７に格納し、メモリ４１７に格納された画像データを表示モニタ４４に表示するための制御を行う。ＣＰＵ４１０から出力される表示データは、各種の文字データや道路地図などの各種の図形データなどから成る。制御装置４１は、表示モニタ４４の表示制御装置として機能する。 The graphic controller 413 stores display data output from the CPU 410 as image data in a memory 417 that is an image memory (video RAM), and performs control for displaying the image data stored in the memory 417 on the display monitor 44. Do. The display data output from the CPU 410 includes various character data, various graphic data such as a road map, and the like. The control device 41 functions as a display control device for the display monitor 44.

地図記憶装置４１８は、ナビゲーション処理に使用する道路地図データやＰＯＩ情報（Point of Interest 観光地や各種施設の情報）など各種の情報を格納する地図記憶装置
であり、ハードディスク装置が用いられている。なお、地図記憶装置４１８は、ハードディスク装置以外にも、道路地図データが格納されたＣＤ−ＲＯＭやＤＶＤ、その他の記録媒体、および、その読み出し装置であってもよい。 The map storage device 418 is a map storage device that stores various types of information such as road map data and POI information (point of interest sightseeing spot and various facility information) used for navigation processing, and uses a hard disk device. In addition to the hard disk device, the map storage device 418 may be a CD-ROM or DVD storing road map data, other recording media, and a reading device thereof.

なお、道路地図データは、地図に関する情報であり、地図表示用データ、経路探索用データ、誘導データ（交差点名称・道路名称・方面名称・方向ガイド・施設情報など）、道路情報（道幅、交差点の分岐路の数、各分岐路の方位角度など）などから成る。地図表示用データは道路や道路地図の背景を表示するためのデータである。経路探索用データは、道路形状とは直接関係しない分岐情報などから成るデータであり、主に推奨経路を演算（経路探索）する際に用いられる。誘導データは、交差点の名称などから成るデータであり、演算された推奨経路に基づき運転者等に推奨経路を案内する際に用いられる。なお、誘導データに基づいて、経路案内を音声で行うための音声データ（以下、経路案内音声データ）が作成される。 The road map data is information related to the map. Map display data, route search data, guidance data (intersection name / road name / direction name / direction guide / facility information, etc.), road information (road width, intersection information) The number of branches, the azimuth angle of each branch, etc.). The map display data is data for displaying the road and the background of the road map. The route search data is data including branch information that is not directly related to the road shape, and is mainly used when calculating (route search) a recommended route. The guidance data is data including names of intersections and the like, and is used when guiding the recommended route to the driver or the like based on the calculated recommended route. Note that voice data for performing route guidance by voice (hereinafter, route guidance voice data) is created based on the guidance data.

このように構成されるナビゲーション装置４０は、現在地検出装置４２により取得した情報および地図記憶装置４１８に格納されている道路地図データに基づき各種のナビゲーションを行う。たとえば、制御装置４１のＣＰＵ４１０は、車両の現在位置近辺の道路地図および車両の現在位置を表示モニタ４４に表示し、経路探索によって得られた経路（推奨経路）に沿ってドライバを案内するように各部を制御する。これにより、ナビゲーション装置４０は、ドライバに対して推奨経路に沿って走行できるように、表示モニタ４４の表示およびスピーカ４５から出力される音声により経路案内を行う。 The navigation device 40 configured as described above performs various types of navigation based on the information acquired by the current location detection device 42 and the road map data stored in the map storage device 418. For example, the CPU 410 of the control device 41 displays a road map near the current position of the vehicle and the current position of the vehicle on the display monitor 44, and guides the driver along the route (recommended route) obtained by the route search. Control each part. As a result, the navigation device 40 provides route guidance using the display on the display monitor 44 and the sound output from the speaker 45 so that the driver can travel along the recommended route.

次に、図５および図６を参照して、本発明の第１の実施形態におけるカメラ映像表示処理について説明する。ここで、ナビゲーション装置４０の表示モニタ４４に、自車位置を表示した自車位置周辺の道路地図を表示させながら、車両は走行しているものとして説明する。 Next, with reference to FIG. 5 and FIG. 6, the camera image display process in the first embodiment of the present invention will be described. Here, it is assumed that the vehicle is traveling while displaying a road map around the vehicle position on the display monitor 44 of the navigation device 40.

図５（ａ）は、ナビゲーション装置４０の表示モニタ４４の表示画面を示す図である。表示画面には、自車位置周辺の道路地図５０とともに、車両の現在地に自車位置マーク５１が表示されている。図５（ａ）に示すように、車両は十字路の交差点５２に進入しようとしている。運転者は、交差点５２を安全に通過するために、交差点５２へ左方向から進入する車両と、交差点５２へ右方向から進入する車両とを確認する必要がある。 FIG. 5A is a diagram showing a display screen of the display monitor 44 of the navigation device 40. On the display screen, a vehicle position mark 51 is displayed at the current location of the vehicle along with a road map 50 around the vehicle position. As shown in FIG. 5A, the vehicle is about to enter an intersection 52 on the crossroad. In order to pass the intersection 52 safely, the driver needs to confirm a vehicle that enters the intersection 52 from the left direction and a vehicle that enters the intersection 52 from the right direction.

このとき、図５（ｂ）に示すように、フロントカメラ２０Ａが撮影する全方位の映像のうちの左方向から進入する車両を確認することができる映像の範囲（以下、映像切出範囲）５３と、右方向から進入する車両を確認することができる映像切出範囲５４とが算出される。そして、図６に示すように、表示モニタ３０に映像切出範囲５３の映像６１と映像切出範囲５４の映像６２とが２画面表示で表示される。図６において、ハッチングで示す領域がそれぞれ左右側方道路を示している。また、映像６１，６２とともに映像方向ガイド６３，６４が表示される。映像方向ガイド６３，６４の中で、図６３ａ，６４ａは車両を示し、図６３ｂ，６４ｂは車両に対する映像の切り出した範囲の方向を表す。 At this time, as shown in FIG. 5B, a video range (hereinafter, video cutout range) 53 in which a vehicle entering from the left direction in the omnidirectional video shot by the front camera 20A can be confirmed. And a video cutout range 54 in which a vehicle entering from the right direction can be confirmed. As shown in FIG. 6, the video 61 in the video cutout range 53 and the video 62 in the video cutout range 54 are displayed on the display monitor 30 in a two-screen display. In FIG. 6, hatched areas indicate left and right side roads, respectively. In addition, video direction guides 63 and 64 are displayed together with the videos 61 and 62. Among the video direction guides 63 and 64, FIGS. 63a and 64a show the vehicle, and FIGS. 63b and 64b show the direction of the cut-out range of the video with respect to the vehicle.

次に、本発明の第１の実施形態におけるカメラ映像表示制御処理について図７のフローチャートを参照して説明する。図７の処理は、車両が進入しようとしている交差点までの距離が所定値に達するとスタートするプログラムを用いて、映像制御装置１０の計算・制御部１１により実行される。この所定値は、車速によって変更される。 Next, camera image display control processing according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. The processing of FIG. 7 is executed by the calculation / control unit 11 of the video control apparatus 10 using a program that starts when the distance to the intersection where the vehicle is about to enter reaches a predetermined value. This predetermined value is changed according to the vehicle speed.

ステップＳ７０１では、記憶装置１４から表示設定、切出抑制情報、カメラ仕様、取付情報などのパラメータを取得する。ステップＳ７０２では、ナビゲーション装置４０から、道幅、交差点の分岐路の数、各分岐路の方位角度および自車の方位角度の情報を取得する。ステップＳ７０３では、映像切出範囲を算出する。 In step S701, parameters such as display settings, clipping suppression information, camera specifications, and mounting information are acquired from the storage device 14. In step S702, information on the road width, the number of branch roads at the intersection, the azimuth angle of each branch road, and the azimuth angle of the host vehicle is acquired from the navigation device 40. In step S703, a video cutout range is calculated.

図８を参照して、ステップ７０３における映像切出範囲の算出方法を説明する。例として、右方向から交差点へ進入する車両を確認するための映像切出範囲５４の算出方法について説明する。 With reference to FIG. 8, the calculation method of the image | video cutout range in step 703 is demonstrated. As an example, a method of calculating the image cutout range 54 for confirming a vehicle entering the intersection from the right direction will be described.

ナビゲーション装置４０の地図記憶装置４１８に記憶されている道路地図データには、道幅の情報が含まれている。したがって、ナビゲーション装置４０から図８（ａ）のＬｗ１およびＬｗ２の値を取得できる。ナビゲーション装置４０の地図記憶装置４１８に記憶されている道路地図データには、地図表示用データが含まれており、その中に、道路の形状を表すための形状データが含まれている。形状データには、道路の表示位置を決定するための道路の中心座標が含まれる。したがって、ナビゲーション装置４０から道路の中心座標のデータを取得し、ＧＰＳセンサ４２ｂで車両の現在地の情報を取得することにより、図８（ａ）のＬｃ１およびＬｃ２の値を算出できる。 The road map data stored in the map storage device 418 of the navigation device 40 includes road width information. Therefore, the values of Lw1 and Lw2 in FIG. 8A can be acquired from the navigation device 40. The road map data stored in the map storage device 418 of the navigation device 40 includes map display data, which includes shape data for representing the shape of the road. The shape data includes the center coordinates of the road for determining the display position of the road. Therefore, the values of Lc1 and Lc2 in FIG. 8A can be calculated by acquiring the data of the center coordinates of the road from the navigation device 40 and acquiring the current location information of the vehicle by the GPS sensor 42b.

また、ナビゲーション装置４０の現在地検出装置４２に含まれるジャイロセンサ４２ａにより車両の進行方位を計測できるので、ナビゲーション装置４０から車両の進行方向の方位角度を取得することができる。この車両の進行方向の方位角度の情報と、ナビゲーション装置４０から取得した道路の情報とから、走行中の道路と車両の進行方向との間の角度θ０（図８（ｂ））を算出することができる。これらの情報から、自車のカメラ中心から各分岐路の角（図８（ａ）の点Ｐ１，Ｐ２，Ｐ３，Ｐ４）の角度を算出する。 Further, since the traveling direction of the vehicle can be measured by the gyro sensor 42a included in the current position detection device 42 of the navigation device 40, the azimuth angle of the traveling direction of the vehicle can be acquired from the navigation device 40. An angle θ0 (FIG. 8B) between the traveling road and the traveling direction of the vehicle is calculated from the information on the azimuth angle in the traveling direction of the vehicle and the information on the road acquired from the navigation device 40. Can do. From these pieces of information, the angles of the branches (points P1, P2, P3, P4 in FIG. 8A) from the camera center of the host vehicle are calculated.

図８（ａ）のＬｒの値は、次式よりを算出することができる。

図８（ａ）のＬｆの値は、次式よりを算出することができる。

図８（ａ）のθ１およびθ２の値は、次式より算出することができる。

したがって、θ１およびθ２の値を、Ｌｃ１、Ｌｃ２、Ｌｗ１、Ｌｗ２およびθ０の値から算出することができる。方位角度θ１と方位角度θ２との間の範囲が、映像切出範囲になる。 The value of Lr in FIG. 8A can be calculated from the following equation.

The value of Lf in FIG. 8A can be calculated from the following equation.

The values of θ1 and θ2 in FIG. 8A can be calculated from the following equations.

Therefore, the values of θ1 and θ2 can be calculated from the values of Lc1, Lc2, Lw1, Lw2, and θ0. A range between the azimuth angle θ1 and the azimuth angle θ2 is a video cutout range.

図７のステップＳ７０４では、ステップＳ７０３で算出した映像切出範囲が切出抑制範囲内であるか否かを判定する。切出抑制範囲とは、車両の進行方向など、フロントカメラ２０Ａを使用しなくても運転者が直接視認できる範囲である。このような範囲の映像を表示モニタ３０に表示すると、運転者が直接視認できない範囲の映像の表示が小さくなり、運転者が見づらくなるので、表示しないようにする。映像切出範囲が切出抑制範囲内である場合はステップＳ７０４が肯定判定され、ステップＳ７０７へ進む。これにより、切出抑制範囲内の映像は表示モニタ３０に表示されない。映像切出範囲が切出抑制範囲外である場合はステップＳ７０４が否定判定され、ステップＳ７０５へ進む。 In step S704 of FIG. 7, it is determined whether or not the video cutout range calculated in step S703 is within the cutout suppression range. The cut-out suppression range is a range in which the driver can directly view the vehicle without using the front camera 20A, such as the traveling direction of the vehicle. When such a range of images is displayed on the display monitor 30, the display of the range of images that cannot be directly viewed by the driver is reduced, making it difficult for the driver to view. If the video cutout range is within the cutout suppression range, an affirmative decision is made in step S704 and the process proceeds to step S707. Thereby, the image within the cut-out suppression range is not displayed on the display monitor 30. If the video cut-out range is outside the cut-out suppression range, a negative determination is made in step S704, and the process proceeds to step S705.

ステップＳ７０５では、映像切出部１２に対して、歪み補正されたカメラ映像の中からステップＳ７０３で算出した映像切出範囲の映像を切り出す映像切出指示を行う。ステップＳ７０６では、映像合成部１３に対して、切り出した映像に映像方向ガイドを合成するなどの映像合成を指示する。 In step S705, the video cutout unit 12 is instructed to cut out the video in the video cutout range calculated in step S703 from the camera video whose distortion has been corrected. In step S706, the video compositing unit 13 is instructed to perform video compositing such as compositing a video direction guide with the cut out video.

ステップＳ７０７では、ステップＳ７０３からステップＳ７０７までの間をループした回数が、車両が進入する交差点における分岐路の数より小さいか否かを判定する。これにより、各分岐路について映像切出範囲を算出し、切り出した映像を表示モニタ３０に表示することができる。ステップＳ７０３からステップＳ７０７までの間をループした回数が、車両が進入する交差点における分岐路の数より小さい場合はステップＳ７０７が肯定判定され、ステップＳ７０３に戻る。ステップＳ７０３からステップＳ７０７までの間をループした回数が、車両が進入する交差点における分岐路の数と等しい場合はステップＳ７０７が肯定判定され、処理を終了する。 In step S707, it is determined whether the number of loops from step S703 to step S707 is smaller than the number of branch roads at the intersection where the vehicle enters. Thereby, the video cutout range can be calculated for each branch path, and the cutout video can be displayed on the display monitor 30. When the number of loops from step S703 to step S707 is smaller than the number of branch roads at the intersection where the vehicle enters, step S707 is affirmed and the process returns to step S703. If the number of loops from step S703 to step S707 is equal to the number of branch roads at the intersection where the vehicle enters, step S707 is affirmed and the process ends.

表示モニタ３０における切り出した映像の表示は、車両が交差点を通過すると終了する。 The display of the clipped video on the display monitor 30 ends when the vehicle passes the intersection.

以上の本発明の第１の実施形態による車載カメラシステム１は次のような作用効果を奏する。
（１）広角映像を撮影できるフロントカメラ２０Ａを車両の前部に設置し、ナビゲーション装置４０から取得した道路の情報と車両位置の情報とに基づいて、フロントカメラ２０Ａが撮影した映像のうちの表示する範囲（映像切出範囲）５３，５４を決定し、映像切出範囲５３，５４の映像６１，６２を表示モニタ３０に表示するようにした。運転者は、この表示モニタ３０に表示された映像６１，６２を視認することにより、交差点５２に進入する他の車両を認識することができ、交差点５２を安全に通過することができる。 The on-vehicle camera system 1 according to the first embodiment of the present invention described above has the following operational effects.
(1) A front camera 20A capable of capturing a wide-angle image is installed at the front of the vehicle, and display of images captured by the front camera 20A based on road information and vehicle position information acquired from the navigation device 40 The range (image cutout range) 53 and 54 to be used is determined, and the images 61 and 62 of the image cutout range 53 and 54 are displayed on the display monitor 30. The driver can recognize other vehicles entering the intersection 52 by visually recognizing the images 61 and 62 displayed on the display monitor 30, and can pass through the intersection 52 safely.

（２）ナビゲーション装置４０から道路の情報と車両位置の情報とを取得するので、映像切出範囲５３，５４を決定するのに、的確な情報を迅速に取得することができる。 (2) Since road information and vehicle position information are acquired from the navigation device 40, accurate information can be quickly acquired to determine the video cutout ranges 53 and 54.

（３）車両が交差点５２に近づいたら、映像切出範囲５３，５４の映像６１，６２を表示モニタ３０に表示するようにした。これにより、交差点５２を進入する際の注意を喚起させることができる。 (3) When the vehicle approaches the intersection 52, the images 61 and 62 of the image cutout ranges 53 and 54 are displayed on the display monitor 30. Thereby, the attention at the time of approaching the intersection 52 can be alerted.

（４）映像切出範囲５３，５４の映像６１，６２とともに映像方向ガイド６３，６４を表示するようにした。これにより、映像切出範囲５３，５４の映像６１，６２が、車両に対してどの方向の映像であるかを容易に認識することができる。 (4) The image direction guides 63 and 64 are displayed together with the images 61 and 62 in the image cutout ranges 53 and 54. Thereby, it is possible to easily recognize in which direction the images 61 and 62 in the image cutout ranges 53 and 54 are images with respect to the vehicle.

以上の第１の実施形態の車載カメラシステム１を次のように変形することができる。
（１）フロントカメラ２０Ａおよびリアカメラ２０Ｂは、広角の画像を取得できる広角カメラであれば、全方位カメラに限定されない。たとえば、魚眼レンズなどの広角レンズを用いたカメラでもよい。 The on-vehicle camera system 1 of the first embodiment described above can be modified as follows.
(1) The front camera 20A and the rear camera 20B are not limited to omnidirectional cameras as long as they are wide-angle cameras that can acquire wide-angle images. For example, a camera using a wide-angle lens such as a fisheye lens may be used.

（２）映像切出範囲の映像をナビゲーション装置４０から取得したナビ画面に重畳して表示するようにしてもよい。これにより、映像切出範囲の映像と分岐路との対応関係がより明確に認識することができる。 (2) The video in the video cutout range may be displayed superimposed on the navigation screen acquired from the navigation device 40. As a result, the correspondence between the video in the video cutout range and the branch path can be recognized more clearly.

図９（ａ）は、ナビゲーション装置４０の表示モニタ４４の表示画面を示す図である。表示画面には、自車位置周辺の道路地図７０とともに、車両の現在地に自車位置マーク７１が表示される。図９（ａ）に示すように、車両は五差路の交差点７２に進入しようとしている。運転者は、交差点７２を安全に通過するために、交差点７２へ左方向から進入する車両と、交差点７２へ左斜め前方向から進入する車両と、交差点７２へ右斜め前方向から進入する車両と、交差点７２へ右方向から進入する車両とを確認する必要がある。 FIG. 9A is a diagram showing a display screen of the display monitor 44 of the navigation device 40. On the display screen, a vehicle position mark 71 is displayed at the current location of the vehicle along with a road map 70 around the vehicle position. As shown in FIG. 9A, the vehicle is about to enter an intersection 72 on a five-way road. In order to pass through the intersection 72 safely, the driver enters the intersection 72 from the left direction, a vehicle enters the intersection 72 from the left diagonally forward direction, and a vehicle enters the intersection 72 from the diagonally right forward direction. It is necessary to confirm the vehicle entering the intersection 72 from the right direction.

このとき、図９（ｂ）に示すように、フロントカメラ２０Ａが撮影する全方位の映像のうちの、交差点７２へ左方向から進入する車両を確認することができる映像切出範囲７３と、交差点７２へ左斜め前方向から進入する車両を確認することができる映像切出範囲７４と、交差点７２へ右斜め前方向から進入する車両を確認することができる映像切出範囲７５と、交差点７２へ右方向から進入する車両を確認することができる映像切出範囲７６とが算出される。 At this time, as shown in FIG. 9B, among the omnidirectional images captured by the front camera 20A, an image cut-out range 73 in which a vehicle entering the intersection 72 from the left direction can be confirmed, and the intersection 72, an image cutout range 74 for confirming a vehicle entering from an obliquely forward left direction, an image cutout range 75 for confirming a vehicle entering the intersection 72 from an obliquely forward forward direction, and an intersection 72 An image cutout range 76 in which a vehicle entering from the right direction can be confirmed is calculated.

そして、図１０に示すように、表示モニタ３０に、ナビゲーション装置４０の表示モニタ４４に表示されていたナビ画面（自車位置マーク７１を表示した自車位置周辺の道路地図７０の画像）に重ねて、映像切出範囲７３〜７６の映像８１〜８４が表示される。映像８１〜８４は、撮影された分岐路との間の対応関係が認識できるようにするため、撮影された分岐路上に表示される。また、映像８１〜８４とともに映像方向ガイド８５〜８８が表示される。なお、各映像８１〜８８中のハッチング領域がそれぞれ注意対象となる道路を示している。 Then, as shown in FIG. 10, the display monitor 30 is overlaid on the navigation screen (image of the road map 70 around the vehicle position displaying the vehicle position mark 71) displayed on the display monitor 44 of the navigation device 40. Thus, the images 81 to 84 in the image cutout ranges 73 to 76 are displayed. The images 81 to 84 are displayed on the taken branch road so that the correspondence relationship with the taken branch road can be recognized. In addition, video direction guides 85 to 88 are displayed together with the videos 81 to 84. In addition, the hatching area | region in each image | video 81-88 has shown the road used as the attention object, respectively.

（３）図１１に示すように、車両が交差点５２に接近するにしたがって、映像切出範囲５３，５４が変化するようにしてもよい。車両が交差点５２に接近するにしたがって、映像切出範囲５３，５４が徐々に広がるので、交差点５２に接近するにしたがって注意の程度を高くすることができる。 (3) As shown in FIG. 11, the image cutout ranges 53 and 54 may change as the vehicle approaches the intersection 52. As the vehicle approaches the intersection 52, the image cutout ranges 53 and 54 gradually increase, so that the degree of attention can be increased as the vehicle approaches the intersection 52.

−第２の実施形態−
第２の実施形態の車載カメラシステム１では、通常走行時、ナビゲーション装置４０から、走行中の道路の道幅、レーン数、道路の方位、自車の方位の情報を取得し、リアカメラ２０Ｂが撮影した映像の中から道路が映されている範囲を計算し、その範囲の映像を切り出して表示モニタ３０に表示させる。これにより、車両の後方を走行している他の車両を認識することができ、車線変更などを安全に行うことができる。 -Second Embodiment-
In the in-vehicle camera system 1 of the second embodiment, during normal driving, the navigation device 40 acquires information on the width of the road on which the vehicle is running, the number of lanes, the direction of the road, and the direction of the host vehicle, and the rear camera 20B takes a picture. The range in which the road is shown is calculated from the video, and the video in the range is cut out and displayed on the display monitor 30. As a result, other vehicles traveling behind the vehicle can be recognized, and lane changes and the like can be performed safely.

図１２（ａ）は、ナビゲーション装置４０の表示モニタ４４の表示画面を示す図である。表示画面には、自車位置周辺の道路地図９０とともに、車両の現在地に自車位置マーク９１が表示される。図１２（ａ）に示すように、車両は片側２車線の道路のうちの左側の車線を走行している。運転者は、右側の車線へ安全に車線変更を行うために、車両後方の右側車線を走行している車両を確認する必要がある。 FIG. 12A is a diagram showing a display screen of the display monitor 44 of the navigation device 40. On the display screen, the vehicle position mark 91 is displayed at the current location of the vehicle along with the road map 90 around the vehicle position. As shown in FIG. 12A, the vehicle travels in the left lane of the two-lane road on one side. The driver needs to check the vehicle traveling in the right lane behind the vehicle in order to safely change the lane to the right lane.

このとき、図１２（ｂ）に示すように、リアカメラ２０Ｂが撮影する全方位の映像のうちの、車両後方の右側車線を走行している車両９４を確認することのできる映像切出範囲９３が算出される。そして、図１３に示すように、表示モニタ３０に、自車位置マーク９１を表示した自車位置周辺の道路地図１００に重ねて、映像切出範囲９３の映像１０１（車両後方右側の映像）が表示される。映像切出範囲９３の映像１０１は、あたかもバックミラーから視認される車両後方の景色と同じように、左右反対にして表示される。これにより、車両後方の右側車線を走行している車両９４を確認することができる。また、映像１０１とともに映像方向ガイド１０２が表示される。 At this time, as shown in FIG. 12B, the image cutout range 93 in which the vehicle 94 traveling in the right lane behind the vehicle in the omnidirectional images captured by the rear camera 20B can be confirmed. Is calculated. Then, as shown in FIG. 13, an image 101 (image on the right side behind the vehicle) of the image cut-out range 93 is superimposed on the road map 100 around the vehicle position where the vehicle position mark 91 is displayed on the display monitor 30. Is displayed. The video 101 in the video cutout range 93 is displayed in the opposite direction, just as in the scenery behind the vehicle viewed from the rearview mirror. As a result, the vehicle 94 traveling in the right lane behind the vehicle can be confirmed. A video direction guide 102 is displayed together with the video 101.

一方、車両が右側車線を走行している場合、リアカメラ２０Ｂが撮影する全方位の映像のうちの、車両後方の左側車線を走行している車両を確認することのできる映像切出範囲が算出される。そして、表示モニタ３０に、算出された映像切出範囲の映像（車両後方左側の映像）が表示される。すなわち、この例においては、自車両が走行している車線に基づいて確認したい後方車線を決定し、映像切出範囲を決定する。なお、車線変更の意図を確認し、意図する方向の車線上を走行する後方車両を撮像するように映像切出範囲を決定してもよい。 On the other hand, when the vehicle is traveling in the right lane, the image cutout range in which the vehicle traveling in the left lane behind the vehicle among the omnidirectional images captured by the rear camera 20B is calculated. Is done. Then, an image of the calculated image cutout range (image on the left side behind the vehicle) is displayed on the display monitor 30. That is, in this example, the rear lane to be confirmed is determined based on the lane in which the host vehicle is traveling, and the image cutout range is determined. Note that the intention of changing the lane may be confirmed, and the image cutout range may be determined so as to capture a rear vehicle traveling on the lane in the intended direction.

第２の実施形態の車載カメラシステム１を次のように変形してもよい。
ナビゲーション装置４０の経路誘導で、誘導交差点を曲がるとき、リアカメラ２０Ｂの映像から、曲がる方向の後側方の映像を含めた範囲を切り出し、切り出した映像を表示モニタ３０に表示させるようにしてもよい。車両が交差点を曲がって横断歩道を横切る前に、横断歩道を通過しようとする人や自転車などを認識することができ、安全に交差点を曲がることができる。 The in-vehicle camera system 1 according to the second embodiment may be modified as follows.
When turning at a guidance intersection by route guidance of the navigation device 40, a range including a rear side image in the direction of turning is cut out from the video of the rear camera 20B, and the cut out video is displayed on the display monitor 30. Good. Before the vehicle turns around the intersection and crosses the pedestrian crossing, it is possible to recognize a person or a bicycle who is about to cross the pedestrian crossing, and to safely turn the intersection.

図１４（ａ）は、ナビゲーション装置４０の表示モニタ４４の表示画面を示す図である。表示画面には、自車位置周辺の道路地図１１０とともに、車両の現在地に自車位置マーク１１１と推奨経路１１２とが表示される。車両は交差点１１３を左折するので、車道の左側の歩道を通過し、交差点１１３を直進する横断歩道を通過する人や自転車などを確認する必要がある。 FIG. 14A is a diagram showing a display screen of the display monitor 44 of the navigation device 40. On the display screen, the vehicle position mark 111 and the recommended route 112 are displayed at the current location of the vehicle along with the road map 110 around the vehicle position. Since the vehicle turns left at the intersection 113, it is necessary to check a person or a bicycle passing through the left sidewalk of the roadway and passing through the pedestrian crossing that goes straight on the intersection 113.

このとき、図１４（ｂ）に示すように、リアカメラ２０Ｂが撮影する全方位の映像のうちの、車両後方の左側歩道を歩いている人や走行している自転車１１４を確認することのできる映像切出範囲１１５が算出される。すなわち、誘導交差点の右左折情報に応じた車両側方後方を注意対象となるように、映像切出範囲が決定される。 At this time, as shown in FIG. 14 (b), it is possible to confirm a person walking on the left sidewalk behind the vehicle or a running bicycle 114 in the omnidirectional images captured by the rear camera 20B. A video cutout range 115 is calculated. In other words, the image cutout range is determined so that the vehicle side rear according to the right / left turn information of the guidance intersection is a caution target.

そして、図１５に示すように、表示モニタ３０に、自車位置マーク１１１を表示した自車位置周辺の道路地図１２０に重ねて、映像切出範囲１１５の映像１２１（左側の後側方の画像）が表示される。映像切出範囲１２１の映像１０１は、あたかもバックミラーから視認される車両後方の景色と同じように、左右反対にして表示される。 Then, as shown in FIG. 15, an image 121 (image on the left rear side of the left side) is superimposed on the road map 120 around the vehicle position where the vehicle position mark 111 is displayed on the display monitor 30. ) Is displayed. The video 101 in the video cut-out range 121 is displayed in the opposite direction, just as in the scenery behind the vehicle viewed from the rearview mirror.

これにより、車道の左側の歩道を通過し、交差点１１３を直進する自転車１１４を確認することができる。また、映像１２１とともに映像方向ガイド１２２が表示される。一方、車両が交差点１１３を右折する場合、右側の後側方の画像が表示される。 As a result, the bicycle 114 passing through the left sidewalk of the roadway and traveling straight through the intersection 113 can be confirmed. A video direction guide 122 is displayed together with the video 121. On the other hand, when the vehicle makes a right turn at the intersection 113, an image on the rear side of the right side is displayed.

経路誘導のほかに、ウインカを点灯させて交差点を曲がるときも、曲がる方向の後側方の映像を含めた範囲を切り出し、切り出した映像を表示モニタ３０に表示させるようにしてもよい。この場合、点灯させるウインカの方向によって車両の曲がる方向を検出する。たとえば、右側に曲がるときに点灯させるウインカが点灯した場合、車両は右側に曲がるものと判断する。 In addition to route guidance, when turning a turn signal and turning an intersection, a range including a rear side image in a turning direction may be cut out, and the cut out image may be displayed on the display monitor 30. In this case, the turning direction of the vehicle is detected based on the direction of the turn signal to be lit. For example, if a turn signal that is turned on when turning to the right side is turned on, the vehicle determines that the vehicle turns to the right side.

第１および第２の実施形態を次のように変形してもよい。
（１）映像切出範囲の映像を表示する表示モニタ３０として、ナビゲーション装置４０の表示モニタ４４を使用するようにしてもよい。この場合、映像切出範囲の映像を表示するとき、ナビ画面から映像切出範囲の映像の画面に切り替わる。表示モニタを車内に２つ設置する必要がないので、表示モニタを設置するスペースを節約することができる。 The first and second embodiments may be modified as follows.
(1) You may make it use the display monitor 44 of the navigation apparatus 40 as the display monitor 30 which displays the image | video of the image | video cutout range. In this case, when displaying a video in the video cutout range, the navigation screen is switched to a video screen in the video cutout range. Since it is not necessary to install two display monitors in the vehicle, the space for installing the display monitor can be saved.

（２）映像切出範囲の映像を表示しないときは、ナビゲーション装置４０から出力される画面（ナビ画面）を表示するようにしてもよい。この場合、映像切出範囲の映像を表示するとき、ナビ画面から映像切出範囲の映像の画面に切り替わる。 (2) When the video of the video cutout range is not displayed, a screen (navigation screen) output from the navigation device 40 may be displayed. In this case, when displaying a video in the video cutout range, the navigation screen is switched to a video screen in the video cutout range.

（３）図１６に示す車載カメラシステム１Ａのように、映像切出部１２から出力される映像データについて、画像認識装置１３０により画像認識を行い、接近する車両の検出を行えるようにしてもよい。接近する車両を検出した場合、運転者に対して、より強く注意を喚起させることができ、より安全に交差点を通過することができる。また、画像認識装置１３０で車両接近を検出したときのみ、映像切出範囲の映像を表示するようにしてもよい。 (3) Like the in-vehicle camera system 1A shown in FIG. 16, the image recognition device 130 may perform image recognition on the video data output from the video cutout unit 12 so that an approaching vehicle can be detected. . When the approaching vehicle is detected, the driver can be alerted more strongly and can pass through the intersection more safely. Further, only when the image recognition device 130 detects approach of the vehicle, the video in the video cutout range may be displayed.

（４）運転者が注意して運転しなくてはならない場所に車両が接近したときであれば、映像切出範囲の映像を表示するタイミングは、車両が交差点に接近したときに限定されない。たとえば、交差点以外の見通しの悪いブラインドコーナ（たとえば、高速道路の合流地点など）に車両が接近したときに、映像切出範囲の映像を表示するようにしてもよい。 (4) If the vehicle approaches a place where the driver must drive with caution, the timing for displaying the image in the image cutout range is not limited to when the vehicle approaches the intersection. For example, when the vehicle approaches a blind corner with a poor view other than an intersection (for example, a junction on an expressway), an image in the image cutout range may be displayed.

（５）ひずみ補正されたカメラ映像を画像認識し、カメラ映像の中から分岐路が撮影されている部分を検出してその部分を切り出し、切り出した映像を映像合成部１３に出力するようにしてもよい。分岐路の認識は、画面奥に延びている道路を認識することによって行うことができる。道路の認識は、道路に描かれた白線、道路のアスファルトの色などに基づいて行う。また、ナビゲーション装置４０から道路の情報を取得することによって、分岐路が延在する方向が概略分るので、分岐路の認識を迅速に行うことができる。 (5) Recognize the image of the camera image after distortion correction, detect the portion where the branch path is photographed from the camera image, cut out the portion, and output the cut-out video to the video composition unit 13 Also good. A branch road can be recognized by recognizing a road extending in the back of the screen. The recognition of the road is performed based on the white line drawn on the road, the color of the asphalt of the road, and the like. In addition, by acquiring road information from the navigation device 40, the direction in which the branch road extends can be roughly determined, so that the branch road can be recognized quickly.

（６）車両が進入する交差点の種別に基づいて、映像切出範囲を予め決定しておいてもよい。たとえば、十字路の場合の映像切出範囲を予め決定しておく。映像切出範囲を計算する必要がないので、映像切出範囲の映像を迅速に表示モニタ３０に表示することができる。 (6) The video cutout range may be determined in advance based on the type of intersection where the vehicle enters. For example, the video cutout range in the case of a crossroad is determined in advance. Since it is not necessary to calculate the video cutout range, the video in the video cutout range can be quickly displayed on the display monitor 30.

（７）車両が進入する交差点の形状のみに基づいて、映像切出範囲を決定しておいてもよい。この場合、車両が進入する交差点の形状に基づいて、車両が交差点に進入する直前の位置における映像切出範囲を算出しておく。車両が交差点から所定距離手前に接近する前に映像切出範囲の計算を開始することができるので、映像切出範囲の映像を迅速に表示モニタ３０に表示することができる。 (7) The video cutout range may be determined based only on the shape of the intersection where the vehicle enters. In this case, an image cutout range at a position immediately before the vehicle enters the intersection is calculated based on the shape of the intersection where the vehicle enters. Since the calculation of the video cutout range can be started before the vehicle approaches a predetermined distance from the intersection, the video of the video cutout range can be quickly displayed on the display monitor 30.

以上の説明はあくまで一例であり、発明は、上記の実施形態に何ら限定されるものではない。 The above description is merely an example, and the present invention is not limited to the above embodiment.

本発明の第１の実施形態の車載カメラシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle-mounted camera system of the 1st Embodiment of this invention. フロントカメラおよびリアカメラを説明するための図である。It is a figure for demonstrating a front camera and a rear camera. ひずみ補正部による歪み補正を説明するための図である。It is a figure for demonstrating the distortion correction by a distortion correction part. ナビゲーション装置の構成を示すブロック図である。It is a block diagram which shows the structure of a navigation apparatus. 十字路における映像切出範囲を説明するための図である。It is a figure for demonstrating the image cut-out range in a crossroad. 表示モニタに表示した、十字路における映像切出範囲の映像を説明するための図である。It is a figure for demonstrating the image | video of the image | video cutout range in a crossroad displayed on the display monitor. 本発明の第１の実施形態におけるカメラ映像表示制御処理を説明するためのフローチャートである。It is a flowchart for demonstrating the camera video display control process in the 1st Embodiment of this invention. 映像切出範囲の算出方法を説明するための図である。It is a figure for demonstrating the calculation method of an image | video cutout range. 五差路における映像切出範囲を説明するための図である。It is a figure for demonstrating the video cutout range in a five-way road. 表示モニタに表示した、五差路における映像切出範囲の映像を説明するための図である。It is a figure for demonstrating the image | video of the image | video cutout range in a five-way road displayed on the display monitor. 車両の移動にともなう映像切出範囲の変化を説明するための図である。It is a figure for demonstrating the change of the video cutout range accompanying the movement of a vehicle. 車両が片側２車線道路の左車線を走行しているときの映像切出範囲を説明するための図である。It is a figure for demonstrating the image | video cutout range when the vehicle is drive | working the left lane of the one-side 2 lane road. 表示モニタに表示した、車両が片側２車線道路の左車線を走行しているときの映像切出範囲の映像を説明するための図である。It is a figure for demonstrating the image | video of the image | video cutout range displayed on the display monitor when the vehicle is drive | working the left lane of the one-sided 2 lane road. 車両が交差点を左折するときの映像切出範囲を説明するための図である。It is a figure for demonstrating the image | video cutout range when a vehicle turns left at an intersection. 表示モニタに表示した、車両が交差点を左折するときの映像切出範囲の映像を説明するための図である。It is a figure for demonstrating the image | video of the image | video cut-out range displayed on a display monitor when a vehicle turns left at an intersection. 画像認識装置を有する車載カメラシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle-mounted camera system which has an image recognition apparatus.

Explanation of symbols

１，１Ａ車載カメラシステム
１０，１０Ａ映像処理装置
１１計算・制御部
１２映像切出部
１３映像合成部
１４記憶装置
１５，１６ひずみ補正部
２０Ａフロントカメラ
２０Ｂリアカメラ
３０，４４表示モニタ
４０ナビゲーション装置
1, 1A In-vehicle camera system 10, 10A Video processing device 11 Calculation / control unit 12 Video cutout unit 13 Video composition unit 14 Storage device 15, 16 Distortion correction unit 20A Front camera 20B Rear camera 30, 44 Display monitor 40 Navigation device

Claims

A navigation device;
With a wide-angle camera,
A range in which a part of the video shot by the wide-angle camera is cut out is determined based on road information and vehicle position information, and the video in the range is cut out from the video shot by the wide-angle camera, and the cut out A control device for outputting video;
A display monitor for displaying the video output from the control device ,
The controller is
In addition to acquiring the road information and the vehicle position information from the navigation device and displaying a road map screen on which the vehicle position mark is superimposed on the display monitor, the display monitor displays the road map. Switch to the clipped video from the screen and display it,
When the intersection approach information is acquired from the navigation device, the cut image is displayed on the display monitor, and the range of the image taken by the wide-angle camera is cut out by the vehicle position Change as you approach the intersection,
In-vehicle camera system characterized by the above.

The in-vehicle camera system according to claim 1 ,
The said control apparatus displays the guide which shows the direction with respect to the vehicle of the range which cut out the image | video on the said display monitor, The vehicle-mounted camera system characterized by the above-mentioned.