JP5164700B2 - Multi-camera image processing apparatus and multi-camera image display apparatus - Google Patents
Multi-camera image processing apparatus and multi-camera image display apparatus Download PDFInfo
- Publication number
- JP5164700B2 JP5164700B2 JP2008177804A JP2008177804A JP5164700B2 JP 5164700 B2 JP5164700 B2 JP 5164700B2 JP 2008177804 A JP2008177804 A JP 2008177804A JP 2008177804 A JP2008177804 A JP 2008177804A JP 5164700 B2 JP5164700 B2 JP 5164700B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- cameras
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
この発明は、移動体上に搭載された複数のカメラから入力される撮像画像を画像処理し、処理画像を作成し表示する複数カメラ画像処理装置及び複数カメラ画像表示装置に関する。 The present invention relates to a multi-camera image processing apparatus and a multi-camera image display apparatus that perform image processing on captured images input from a plurality of cameras mounted on a moving body, and create and display a processed image.
車両等の移動体の複数箇所にカメラを設置し、複数のカメラから得られた撮像画像から、それぞれ有効な領域の切り出しや貼り合わせ等の画像合成を行って死角の少ない合成画像を生成する方法が提案されている。従来の複数カメラ画像合成表示装置においては、車両進行方向に対して異なる方向に設置した複数のカメラを用い、複数カメラの相互配置と車速をもとに、車両後方の合成画像を生成、表示している(例えば、特許文献1参照。)。 A method of generating a composite image with a small number of blind spots by installing cameras at a plurality of locations of a moving body such as a vehicle, and performing image composition such as clipping and pasting of effective regions from captured images obtained from the plurality of cameras. Has been proposed. A conventional multi-camera image composition display device uses a plurality of cameras installed in different directions with respect to the vehicle traveling direction, and generates and displays a composite image of the rear of the vehicle based on the mutual arrangement of the multiple cameras and the vehicle speed. (For example, refer to Patent Document 1).
従来の複数カメラ画像合成表示装置では、単一カメラでは死角となる領域を別のカメラの撮像画像にて補い、それらを1つの合成画像とすることにより、死角の減少と共に違和感の少ない合成表示を可能とし視野を広げているが、動きのなめらかさ、あるいは、低ノイズ、高解像度、画像中の異物といった視認性について問題点があった。 In a conventional multi-camera image composition display device, a single camera compensates for a blind spot area with another camera's captured image and forms a single composite image, thereby reducing the blind spot and reducing the sense of discomfort. Although it is possible and widens the field of view, there are problems with the smoothness of movement, or the visibility of low noise, high resolution, and foreign objects in the image.
この発明は、上述のような問題点を解決するためになされたもので、複数のカメラを用いて撮像した画像から視認性の向上した処理画像を生成、表示する複数カメラ画像処理装置及び複数カメラ画像表示装置を得るものである。 The present invention has been made to solve the above-described problems. A multi-camera image processing apparatus and a multi-camera that generate and display a processed image with improved visibility from images captured using a plurality of cameras. An image display device is obtained.
この発明に係る複数カメラ画像処理装置は、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち1台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、画像一時記憶部又は、画像一時記憶部と前記1台のカメラとから撮像画像を読み込んで画像処理を行う画像処理部とを備え、タイミング制御部は、フレームレートと移動速度を基に、1フレーム分の移動体の移動経路を複数のカメラの台数分に分割する位置から撮像するように複数のカメラのそれぞれの撮像タイミングを制御するものである。
The multi-camera image processing apparatus according to the present invention includes a plurality of cameras or one of a plurality of cameras installed at different positions along the traveling direction of the moving body so that the imaging ranges of the different cameras overlap with each other when the moving body moves. An image temporary storage unit for storing captured images from other cameras excluding one camera, a frame rate of each of the plurality of cameras, respective installation positions, and a moving speed of the moving body, a timing controller for controlling the imaging timing, image temporary storage unit or an image processing unit that performs image processing reads the captured image from the image temporary storing unit and said one camera, the timing control unit includes a frame Based on the rate and moving speed, each of the multiple cameras is picked up from the position where the moving path of the moving body for one frame is divided into the number of multiple cameras. And it controls the imaging timings.
この発明によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように設けられ、撮像タイミングが制御された複数のカメラによる撮像画像を用いて画像処理を行うため、視認性の良好な処理画像が得られる。 According to the present invention, since the imaging ranges of different cameras are overlapped by the movement of the moving body and the image processing is performed using the images captured by the plurality of cameras whose imaging timings are controlled, the visibility is excellent. A processed image is obtained.
実施の形態1.
図1はこの発明を実施するための実施の形態1による複数カメラ画像処理装置1の構成を示すブロック図である。図において、複数カメラ画像処理装置1は、タイミング制御部3と、画像一時記憶部4と、画像処理部5と、入力端子7と、出力端子8とを備える。複数カメラ部2は、N個の画像6a〜6bを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたN個のカメラを有しており、複数カメラ画像処理装置1により撮像タイミングを制御され、複数カメラ画像処理装置1に撮像画像を出力する。なお、Nは2以上の整数である。
FIG. 1 is a block diagram showing a configuration of a multi-camera
入力端子7は、複数カメラ部2を構成するカメラのフレームレートや相互配置などの固定情報の他、移動体の移動速度等の移動体情報が入力される。タイミング制御部3は、入力端子7を介して入力される移動体情報から複数カメラ部2の個々のカメラの撮像タイミングを決定し、第1の撮像制御信号、・・・、第Nの撮像制御信号を複数カメラ部2に出力する。
The input terminal 7 is input with fixed body information such as the frame rate and mutual arrangement of the cameras constituting the plurality of
N個のカメラを有する複数カメラ部2は、N個の画像6a〜6bをタイミング制御部3から入力される各カメラの撮像タイミングで取り込み、各カメラの撮像画像を画像一時記憶部4に出力する。
The
画像一時記憶部4は、複数カメラ部2から出力された撮像画像を一時的に記憶しておき、画像処理部5からの読み出し制御信号に応じて出力する。
The image
画像処理部5は、入力端子7からの移動体情報と、タイミング制御部3からの撮像タイミング情報から各カメラの撮像画像の読み出しタイミングを決定し、画像一時記憶部4に対して読み出し制御信号を出力し、画像一時記憶部4からの各カメラの撮像画像を読み込む。読み込まれた各カメラの撮像画像は補整処理がなされた後、画像処理により連続した1つの処理画像が生成され、出力端子8に出力される。
The image processing unit 5 determines the readout timing of the captured image of each camera from the moving body information from the input terminal 7 and the imaging timing information from the timing control unit 3, and sends a readout control signal to the image
このように構成された複数カメラ画像処理装置の動作について図1〜5を用いて説明をする。図2は、図1の複数カメラ部2の要部構成を示すブロック図である。複数カメラ部2は、第1のカメラ21a〜第Nのカメラ21b、N個の入力端子22a〜22b、N個の出力端子23a〜23bを備えている。第1のカメラ21a〜第Nのカメラ21bには、画像6a〜6bが絶えず入力されている。入力端子22a〜22bには、タイミング制御部3から出力された第1の撮像制御信号〜第Nの撮像制御信号が入力される。
The operation of the multi-camera image processing apparatus configured as described above will be described with reference to FIGS. FIG. 2 is a block diagram showing a main configuration of the
図1に示すタイミング制御部3は、入力端子7から入力される移動体情報から第1のカメラ21a〜第Nのカメラ21bのそれぞれの撮像タイミングを決定し、第1の撮像制御信号〜第Nの撮像制御信号を複数カメラ部2に出力する。これらの情報は、撮像タイミング情報として、画像処理部5にも出力される。ここで、移動体情報とは、複数カメラ部2を構成する個々のカメラ(第1のカメラ21a〜第Nのカメラ21b)の相互配置位置や角度等の固定情報、カメラ設定(光や電荷の蓄積時間やフレームレート)の他、移動体の移動速度、移動方向、移動距離などである。
The timing control unit 3 shown in FIG. 1 determines the imaging timing of each of the
複数カメラ部2では、入力端子22a〜22bを介してタイミング制御部3から入力された第1の撮像制御信号〜第Nの撮像制御信号により、N個の画像6a〜6bを第1のカメラ21a〜第Nのカメラ21bで撮像し取り込み、撮像画像を出力端子23a〜23bを介し画像一時記憶部4に出力する。
In the
図3は、画像一時記憶部4の要部構成を示すブロック図である。画像一時記憶部4は、第1のメモリ41a〜第Nのメモリ41b、N個の入力端子42a〜42b、N個の入力端子43a〜43b、N個の出力端子44a〜44bを備えている。入力端子42a〜42bには、複数カメラ部2から出力された各カメラ21a〜21bの撮像画像が入力される。入力端子43a〜43bには、画像処理部5から出力された第1の読み出し制御信号〜第Nの読み出し制御信号が入力される。
FIG. 3 is a block diagram showing a main configuration of the image
第1のメモリ41a〜第Nのメモリ41bは、入力端子42a〜42bを介して複数カメラ部2から入力された各カメラ21a〜21bの撮像画像が入力され、一時記憶される。入力端子43a〜43bを介して画像処理部5から入力される第1の読み出し制御信号〜第Nの読み出し制御信号により、一時記憶された各カメラ21a〜21bの撮像画像は読み出され、出力端子44a〜44bを介し画像処理部5に出力する。
In the
図4は、図1の画像処理部5の形態の一つとして、フレームレート変換部52aを備えた画像処理部5aの要部構成を示すブロック図である。画像処理部5aは、それぞれのカメラ21a〜21bに対応した第1の画像補整部51a〜第Nの画像補整部51b、フレームレート変換部52a、N個の入力端子53a〜53b、N個の出力端子54a〜54b、出力端子55、入力端子56、57を備えている。
FIG. 4 is a block diagram showing a main configuration of an
画像処理部5aには、入力端子7から入力される移動体情報が入力端子57を介して入力され、タイミング制御部3から出力される撮像タイミング情報が入力端子56を介して入力される。入力端子56を介して入力された撮像タイミング情報と、入力端子57を介して入力された移動体情報は、第1の画像補整部51a〜第Nの画像補整部51bとフレームレート変換部52aに入力される。
Moving body information input from the input terminal 7 is input to the
フレームレート変換部52aでは、入力端子56を介してタイミング制御部3から入力された撮像タイミング情報と、入力端子57を介して入力端子7から入力された移動体情報から、画像一時記憶部4に一時記憶された各カメラ21a〜21bの撮像画像の読み出しタイミングを決定し、第1の読み出し制御信号〜第Nの読み出し制御信号を、出力端子54a〜54bを介して画像一時記憶部4に出力する。
In the frame
出力端子54a〜54bを介して出力された各カメラ21a〜21bの撮像画像の第1の読み出し制御信号〜第Nの読み出し制御信号は、画像一時記憶部4の入力端子43a〜43bを介して第1のメモリ41a〜第Nのメモリ41bに入力される。第1のメモリ41a〜第Nのメモリ41bは、各カメラ21a〜21bの撮像画像を読み出し、出力端子44a〜44bを介して、画像処理部5aに出力する。
The first read control signal to the Nth read control signal of the captured images of the
入力端子53a〜53bを介して画像処理部5aに入力された各カメラ21a〜21bの撮像画像は、第1の画像補整部51a〜第Nの画像補整部51bに入力される。第1の画像補整部51a〜第Nの画像補整部51bは、入力端子56を介してタイミング制御部3から入力された撮像タイミング情報と入力端子57を介して入力端子7から入力された移動体情報により、画像一時記憶部4から入力された各カメラ21a〜21bの撮像画像の補整処理を行う。補整処理としては、回転、拡大縮小、変形、及び切り出し処理等があるが、具体例については、後述する。第1の画像補整部51a〜第Nの画像補整部51bにより補整処理された各カメラ21a〜21bの撮像画像はフレームレート変換部52aに出力され、フレームレート変換処理がなされる。
The captured images of the
移動体としては、自動車や列車のような車両や、航空機等があげられるが、ここでは自動車を例にとって具体的に説明する。図5には、移動速度Vで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ(カメラaがカメラbに対して進行方向前方側)を2個、間隔Dで設置し、車両進行方向に対して、カメラの撮影方向が重なるように配置している。本例では、進行方向に対して垂直方向(横方向)を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラaが撮像した後に車両が曲がると車両の向きに伴って後続のカメラbの向きも変わる。この場合、後続のカメラbは、カメラaと同じ向きを撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラaと撮影方向が重なるように制御されていてもよい。カメラはCCD(Charge Coupled Device)カメラでも、CMOS(Complementary Metal Oxide Semiconductor)カメラでも、また、赤外線カメラ、近赤外線カメラ、遠赤外線カメラでも構わない。 Examples of the moving body include vehicles such as automobiles and trains, airplanes, and the like. Here, automobiles will be specifically described as examples. In FIG. 5, two cameras having the same height and the same characteristics along the traveling direction (camera a is forward in the traveling direction with respect to camera b) are spaced apart from each other on the side surface of the vehicle moving at the moving speed V. It is installed at D and is arranged so that the shooting direction of the camera overlaps the vehicle traveling direction. In this example, it is illustrated that the vertical direction (lateral direction) is taken with respect to the traveling direction, but the same applies to the case of photographing a direction at a certain angle with respect to the traveling direction. These cameras may be provided with a mechanism for changing the direction. In particular, when the vehicle bends after the camera a positioned in the forefront with respect to the traveling direction takes an image, the direction of the subsequent camera b also changes with the direction of the vehicle. In this case, the subsequent camera b is controlled so as to overlap the camera a and the shooting direction in order to correct the direction due to the vehicle being bent in order to capture the same direction as the camera a. Also good. The camera may be a CCD (Charge Coupled Device) camera, a CMOS (Complementary Metal Oxide Semiconductor) camera, an infrared camera, a near infrared camera, or a far infrared camera.
ここでは、CMOSカメラを例に説明する。光(電荷)の蓄積時間をTとする。連続動作をさせた場合、フレームレートは1/Tとなる。現在、フレームレートが15Hzや、30HzのCMOSカメラが存在する。撮影時刻をt、カメラaの撮影位置(移動距離)をposA、カメラbの撮影位置(移動距離)をposBとする。フレームレートと移動速度を基に、1フレーム分の移動体の移動経路(蓄積時間Tあたりの移動距離L=V×T)をカメラの台数で分割した移動体の移動経路上のそれぞれの位置(0、L/2、L、3×L/2、・・・)において、カメラa、カメラbを交互に用いて、同じ方向を撮影する。つまり、t=t0a、posA=0の時カメラaで、t=t0b、posB=L/2の時カメラbで、t=t1a、posA=Lの時カメラaで、t=t1b、posB=3×L/2の時カメラbで撮影を行う。カメラa,bの撮像範囲は、車両の移動中、連続した範囲の一部をほぼ等間隔で切り取るようになる。 Here, a CMOS camera will be described as an example. Let T be the accumulation time of light (charge). When continuous operation is performed, the frame rate is 1 / T. Currently, there are CMOS cameras with a frame rate of 15 Hz or 30 Hz. The shooting time is t, the shooting position (movement distance) of camera a is posA, and the shooting position (movement distance) of camera b is posB. Based on the frame rate and the moving speed, each position on the moving path of the moving object obtained by dividing the moving path of the moving object for one frame (the moving distance L = V × T per accumulation time T) by the number of cameras ( 0, L / 2, L, 3 × L / 2,...), The camera a and the camera b are alternately used to photograph the same direction. That is, the camera a when t = t 0a and posA = 0, the camera b when t = t 0b and posB = L / 2, and the camera a when t = t 1a and posA = L, and t = t 1b When posB = 3 × L / 2, shooting is performed with the camera b. As for the imaging ranges of the cameras a and b, a part of the continuous range is cut out at substantially equal intervals while the vehicle is moving.
カメラaはフレームレートの関係上0、L、2L・・・の位置で撮像を行うが、L/2の位置においてカメラaが撮るべき撮像範囲と重複するようにカメラbはL/2の位置に来たときに撮像する。つまり、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する。これにより、カメラaの画像をカメラbによって補間することができるようになり、フレームレートをあげることが可能となる。
The camera a captures images at
具体的には、カメラaによる撮影からカメラbによる撮影までの時間差を、t0b−t0a=T/2+D/V、カメラbによる撮影からカメラaによる撮影までの時間差を、t1a−t0b=T/2−D/Vとなるように制御する。なお、移動速度がV1に変化した場合は、蓄積時間Tあたりの移動距離はL1=V1×Tに変化するが、この場合も車両の移動経路をカメラの台数分の等間隔の位置(0、L1/2、L1、3×L1/2、・・・)に分割して、上記と同様に撮影すればよい。
Specifically, the time difference from the shooting by the camera a to the shooting by the camera b is t 0b −t 0a = T / 2 + D / V, and the time difference from the shooting by the camera b to the shooting by the camera a is t 1a −t 0b. = T / 2−D / V. When the moving speed changes to V 1 , the moving distance per accumulation time T changes to L 1 = V 1 × T. In this case as well, the moving path of the vehicle is positioned at equal intervals for the number of cameras. (0, L 1/2,
カメラa、カメラbは、複数カメラ部2の第1のカメラ21a、第Nのカメラ21bに相当する。撮影時刻t0a、t0b、t1a、t1bは、タイミング制御部3が入力端子7から入力された移動体情報(複数カメラの相互配置:間隔D、移動体の移動速度V)とカメラ設定(蓄積時間T又は、フレームレート:1/T)をもとに決定する。また、これらの時間に複数カメラ部2に第1の撮像制御信号と第Nの撮像制御信号が出力され、カメラaとカメラbが画像6a、6bを取り込む。
The cameras a and b correspond to the
カメラaとカメラbで撮像された撮像画像は、第1のメモリ41aと第Nのメモリ41bに一時記憶される。画像処理部5aでは、タイミング制御部3から出力された撮像タイミング情報(カメラaの撮像タイミングとカメラbの撮像タイミング)と、入力端子7から入力される移動体情報(複数カメラの相互配置:間隔D、移動体の移動速度V)から各カメラの撮像画像の読み出しタイミングtd0、td1、td2、td3を決定し、そのタイミングにあわせて第1の読み出し制御信号と第Nの読み出し制御信号を第1のメモリ41aと第Nのメモリ41bに出力する。
The captured images captured by the cameras a and b are temporarily stored in the
第1のメモリ41aと第Nのメモリ41bは、画像処理部5aから出力された第1の読み出し制御信号と第Nの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部5aに出力する。画像処理部5aに入力された各カメラの撮像画像は、第1の画像補整部51aと第Nの画像補整部51bに入力される。
The
第1の画像補整部51aと第Nの画像補整部51bでは、タイミング制御部3から入力される撮像タイミング情報と、入力端子7から入力される移動体情報をもとに、各カメラa、bの撮像画像を補整する。具体的には、カメラa、bの相互配置の細かな違いや、移動体の移動方向や移動速度など移動体の移動にともなう画像のズレや歪みを補整する。相互配置の細かな違いによるものとしては、例えば、図6に示すような移動体の形状や取り付け制約からくる、カメラa、bの移動体側面での奥行き方向の取り付け位置の差異ΔXによる撮影倍率の差異、高さ方向の取り付け位置の差異ΔHによる撮像範囲の差異や、取り付け角度の差異Δθによる図形変形の差異がある。同様な影響を及ぼすものとして、移動体が直線的な移動だけなく、ある方向に曲がったり、加速、減速など移動速度を変化したりすることによる撮影位置、撮影タイミングのずれによるものがある。
In the first
補整処理としては、例えば、アフィン変換等を使う。x、y、z軸回りの回転は、それぞれ以下の(1)〜(3)式で表される。 As the correction process, for example, affine transformation or the like is used. The rotations about the x, y, and z axes are expressed by the following equations (1) to (3), respectively.
拡大縮小は以下の(4)式で表され、原点を中心に、x、y、z軸方向にそれぞれ、Sx、Sy、Szだけ伸縮する。 The enlargement / reduction is expressed by the following equation (4), and expands and contracts by Sx, Sy, and Sz, respectively, in the x, y, and z axis directions around the origin.
平行移動は以下の(5)式で表され、x、y、z軸方向にそれぞれ、Tx、Ty、Tzだけ平行移動する。 The parallel movement is expressed by the following equation (5), and is translated by Tx, Ty, and Tz in the x, y, and z axis directions, respectively.
第1の画像補整部51aと第Nの画像補整部51bで補整処理された各カメラの撮像画像は、フレームレート変換部52aに受け渡される。フレームレート変換部52aでは、入力端子57を介して入力された移動体情報と入力端子56を介してタイミング制御部3から入力された撮像タイミング情報とから、第1の画像補整部51aと第Nの画像補整部51bで補整処理された各カメラa、bの撮像画像を順番に選択して、出力端子8から出力する。
The captured images of each camera subjected to the correction processing by the first
具体的には、画像処理等を含めた遅れ時間をtdlya、tdlybとすると、例えば、時刻td0(=t0a+tdlya)には、カメラa(第1のカメラ)による撮像画像を、時刻td1(=t0b+tdlyb)には、カメラb(第Nのカメラ)による撮像画像を、時刻td2(=t1a+tdlya)には、カメラa(第1のカメラ)による撮像画像を、時刻td3(=t1b+tdlyb)には、カメラb(第Nのカメラ)による撮像画像を選択して出力する。このとき、tdlya=tdlyb+D/Vとし、時刻td0、td1、td2、td3が等間隔となるように制御する。 Specifically, if delay times including image processing and the like are t dlya and t dlyb , for example, at time t d0 (= t 0a + t dlya ), an image captured by the camera a (first camera) At time t d1 (= t 0b + t dlyb ), an image captured by the camera b (Nth camera), and at time t d2 (= t 1a + t dlya ), an image captured by the camera a (first camera). At time t d3 (= t 1b + t dlyb ), an image captured by camera b (Nth camera) is selected and output. At this time, t dlya = t dlyb + D / V, and control is performed so that the times t d0 , t d1 , t d2 , and t d3 are equally spaced.
なお、複数カメラの個数は2個に限るものではなく、N個(Nは2以上の整数)の場合にも、同様の考え方を適用することによって、単一カメラを使用したときに比べて、フレームレートをN倍にし、なめらかな動きの処理画像とすることが可能である。 Note that the number of the plurality of cameras is not limited to two, and in the case of N (N is an integer of 2 or more), by applying the same concept, compared to the case of using a single camera, It is possible to increase the frame rate to N times to obtain a processed image with smooth motion.
さらに、フレームレート変換部52aでは、時刻t=td0と時刻t=td1の間の、例えば、時刻t=(td0+td1)/2に、時刻t=td0に出力するカメラa(第1のカメラ)の撮像画像と、時刻t=td1に出力するカメラb(第Nのカメラ)の撮像画像からフレームを補間して作成することにより、フレームレートが更に高く、動きが更になめらか画像を得ることも可能である。なお、フレームの補間に使用する画像(フレーム)は補間位置前後のフレームに限るものではなく、さらにその前後のフレームもあわせて使用してもよい。なお、フレームレート変換の方法は上述したものに限るものではない。
Further, in the frame
なお、第Nのカメラ21bの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第1〜第(N−1)のカメラの画像の読み出し制御をすれば、第Nのカメラ用の第Nのメモリ41bを削減することが可能である。この場合は、第1〜第(N−1)のカメラの撮像画像は、画像一時記憶部4の第1のメモリ〜第(N−1)のメモリから、第Nのカメラの撮像画像は、第Nのカメラから直接読み出すことになる。
Note that if the readout control of the images of the first to (N-1) th cameras from the image temporary storage unit is performed in accordance with the imaging timing and the image readout time of the
また、複数カメラ画像処理装置1と、この複数カメラ画像処理装置1により撮像タイミングを制御され、複数カメラ画像処理装置1に撮像画像を出力し、移動体上に設置された複数のカメラ21a〜21bと、複数カメラ画像処理装置1からの処理画像を記録するドライブレコーダ等の記録部と、複数カメラ画像処理装置と記録部からの画像を表示する表示部とを備えて、複数カメラ画像表示装置を構成しても良い。この場合は、ドライブ途中の風景や建物、標識等を再生することができる。
The multiple camera
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、1フレーム分の移動経路をカメラの台数分で分割する位置とタイミングを使うと、1つのカメラによる撮影と撮影の間を別のカメラの撮影によって適切に補間することができる。そのため、フレームレートが高く、動きのなめらかな処理画像を得ることができ、視認性が向上する。また、撮像画像の間のフレームを補間して生成すると、更にフレームレートの高い処理画像を生成できるので、更に動きが滑らかな画像を得ることができる。 According to the multi-camera image processing apparatus and the multi-camera image display apparatus configured as described above, one frame is used by using a plurality of cameras installed at different positions so that the imaging ranges of different cameras overlap due to the movement of the moving body. If the position and timing at which the movement path of minutes is divided by the number of cameras are used, it is possible to appropriately interpolate between shooting with one camera by shooting with another camera. Therefore, it is possible to obtain a processed image with a high frame rate and a smooth motion, and visibility is improved. In addition, when a frame between captured images is generated by interpolation, a processed image with a higher frame rate can be generated, and thus an image with smoother motion can be obtained.
また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、回転、拡大縮小、変形、切り出し処理等を行って、画像のズレや歪みを補整するため、複数カメラの切り替え、あるいは、複数カメラからの補間処理により生成した連続した1つの処理画像として違和感のない良好なものを得ることができる。 In addition, the image displacement is performed by performing rotation, enlargement / reduction, deformation, clipping processing, etc. on the captured image of each camera based on the moving body information such as the moving direction and moving speed of the moving body and the mutual arrangement of multiple cameras. In order to compensate for distortion and distortion, it is possible to obtain a good image with no sense of incongruity as one continuous processed image generated by switching between a plurality of cameras or interpolation processing from a plurality of cameras.
また、カメラの向きを変更する機構を備えれば、カメラの設置角度の微調整が可能であるとともに、任意の方向の画像を取得できるため、利便性が増す。また、車両が曲がったことによるカメラの方向の補正もできるため、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影でき、視認性が向上する。また、画像一時記憶部の一部のメモリを省略すれば、コストを下げた複数カメラ画像処理装置を得ることができる。また、ドライブレコーダ等に処理画像を記録すれば、視認性に優れた画像を適宜再生することができるため、通り過ぎた建物や標識等を再生して確認でき、ドライブ時の利便性が向上する。 Further, if a mechanism for changing the orientation of the camera is provided, the installation angle of the camera can be finely adjusted, and an image in an arbitrary direction can be acquired, which increases convenience. In addition, since the direction of the camera can be corrected due to the vehicle being bent, it is possible to shoot so that the imaging ranges of different cameras overlap due to the movement of the moving body, thereby improving visibility. Further, if a part of the memory of the temporary image storage unit is omitted, a multi-camera image processing apparatus with reduced cost can be obtained. Further, if the processed image is recorded on a drive recorder or the like, an image with excellent visibility can be appropriately reproduced, so that a building or a sign passed by can be reproduced and confirmed, and convenience during driving is improved.
実施の形態2.
実施の形態1は、複数のカメラを用いてフレーム間の画像を補間することにより動きを滑らかにして視認性を向上させるが、ここでは、ノイズを減少させたり、解像度を向上させたりすることにより視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態2に係る複数カメラ画像処理装置1の要部構成も実施の形態1で示した図1を用いて説明する。なお、本発明の実施の形態2に係る複数カメラ画像処理装置1は、画像処理部5の構成が、実施の形態1の構成と若干異なる。
The first embodiment uses a plurality of cameras to interpolate images between frames to smooth the movement and improve visibility. However, here, by reducing noise or improving resolution, A multi-camera image processing apparatus that improves visibility will be described. The main configuration of the multiple camera
複数カメラ画像処理装置1は、タイミング制御部3と、画像一時記憶部4と、画像処理部5と、入力端子7と、出力端子8を備えている。複数カメラ部2は、N個の同様な画像6a〜6bを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたN個のカメラを有しており、複数カメラ画像処理装置1により撮像タイミングを制御され、複数カメラ画像処理装置1に撮像画像を出力する。図7、8は、図1の画像処理部5の形態の一つとして、それぞれノイズ低減部52bと解像度変換部52cを備えた画像処理部5b、5cの要部構成を示すブロック図である。画像処理部5b、5cは、第1の画像補整部51a〜第Nの画像補整部51b、ノイズ低減部52b又は解像度変換部52c、N個の入力端子53a〜53b、N個の出力端子54a〜54b、出力端子55、入力端子56、57を備えている。
The multi-camera
このように構成された複数カメラ画像処理装置の動作について図1〜3、7〜9を用いて説明をする。図1、2の複数カメラ部2と、図1、3の画像一時記憶部4の動作は実施の形態1と同じである。
The operation of the multi-camera image processing apparatus configured as described above will be described with reference to FIGS. The operations of the
図7、8に示す画像処理部5b、5cには、入力端子7から入力される移動体情報が入力端子57を介して入力され、タイミング制御部3から出力される撮像タイミング情報が入力端子56を介して入力される。入力端子56を介して入力された撮像タイミング情報と、入力端子57を介して入力された移動体情報は、第1の画像補整部51a〜第Nの画像補整部51bと、ノイズ低減部52b又は解像度変換部52cに入力される。
The moving body information input from the input terminal 7 is input to the
ノイズ低減部52b又は解像度変換部52cでは、入力端子56を介してタイミング制御部3から入力された撮像タイミング情報と、入力端子57を介して入力端子7から入力された移動体情報から、画像一時記憶部4に一時記憶された各カメラ21a〜21bの撮像画像の読み出しタイミングを決定し、第1の読み出し制御信号〜第Nの読み出し制御信号を、出力端子54a〜54bを介して画像一時記憶部4に出力する。
In the
出力端子54a〜54bを介して出力された各カメラ21a〜21bの撮像画像の第1の読み出し制御信号〜第Nの読み出し制御信号は、画像一時記憶部4の入力端子43a〜43bを介して第1のメモリ41a〜第Nのメモリ41bに入力される。第1のメモリ41a〜第Nのメモリ41bは、各カメラ21a〜21bの撮像画像を読み出し、出力端子44a〜44bを介して、画像処理部5b、5cに出力する。
The first read control signal to the Nth read control signal of the captured images of the
入力端子53a〜53bを介して画像処理部5b、5cに入力された各カメラ21a〜21bの撮像画像は、第1の画像補整部51a〜第Nの画像補整部51bに入力される。第1の画像補整部51a〜第Nの画像補整部51bは、入力端子56を介してタイミング制御部3から入力された撮像タイミング情報と入力端子57を介して入力端子7から入力された移動体情報により、画像一時記憶部4から入力された各カメラの撮像画像の補整処理を行う。第1の画像補整部51a〜第Nの画像補整部51bにより補整処理された各カメラ21a〜21bの撮像画像は、ノイズ低減部52bに出力されノイズ低減処理、又は、解像度変換部52cに出力され解像度変換処理がなされる。
The captured images of the
図9を用いて、移動速度Vで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ(カメラaがカメラbに対して進行方向前方側)を2個、間隔Dで配置し、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する場合について説明する。本例では、進行方向に対して垂直方向(横方向)を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラaが撮像した後に車両が曲がると車両の向きに伴って後続のカメラbの向きも変わる。この場合、後続のカメラbは、カメラaと同じ向きで同じ画像を撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラaと撮像範囲が重複するように制御されていてもよい。 9, two cameras having the same height and the same characteristics along the traveling direction (camera a is forward in the traveling direction with respect to camera b) are provided on the side surface of the vehicle moving at the moving speed V. A case will be described in which shooting is performed so that the imaging ranges of different cameras overlap with each other by the movement of the moving object, which are arranged at the interval D. In this example, it is illustrated that the vertical direction (lateral direction) is taken with respect to the traveling direction, but the same applies to the case of photographing a direction at a certain angle with respect to the traveling direction. These cameras may be provided with a mechanism for changing the direction. In particular, when the vehicle bends after the camera a positioned in the forefront with respect to the traveling direction takes an image, the direction of the subsequent camera b also changes with the direction of the vehicle. In this case, in order to capture the same image in the same direction as the camera a, the subsequent camera b changes the direction in order to correct the direction due to the turning of the vehicle so that the imaging range overlaps with the camera a. It may be controlled.
CMOSカメラを例に説明する。光(電荷)の蓄積時間をTとする。連続動作をさせた場合、フレームレートは1/Tとなる。撮影時刻をt、カメラaの撮影位置(移動距離)をposA、カメラbの撮影位置(移動距離)をposBとする。フレームレートと移動速度を基にした移動体の移動経路(蓄積時間Tあたりの移動距離L=V×T)上で、複数のカメラのそれぞれが同じ位置(0、L、・・・)の時、カメラa、カメラbを交互に用いて、撮像範囲が重複するように同じ方向を撮影し、同様の撮像画像を得る。つまり、t=t0a、posA=0の時カメラaで、t=t0b、posB=0の時カメラbで、t=t1a、posA=Lの時カメラaで、t=t1b、posB=Lの時カメラbで撮影を行う。このとき、カメラaによる撮影からカメラbによる撮影までの時間差を、t0b−t0a=D/V、カメラbによる撮影からカメラaによる撮影までの時間差を、t1a−t0b=T−D/Vとなるように制御する。なお、移動速度がV1に変化した場合は、蓄積時間Tあたりの移動距離はL1=V1×Tに変化するが、この場合も車両の移動経路上の複数のカメラのそれぞれが同じ位置(0、L1、・・・)で上記と同様に撮影すればよい。 A CMOS camera will be described as an example. Let T be the accumulation time of light (charge). When continuous operation is performed, the frame rate is 1 / T. The shooting time is t, the shooting position (movement distance) of camera a is posA, and the shooting position (movement distance) of camera b is posB. When a plurality of cameras are at the same position (0, L,...) On the moving path of the moving body based on the frame rate and moving speed (moving distance L = V × T per accumulation time T). Using the camera a and the camera b alternately, the same direction is shot so that the imaging ranges overlap, and similar captured images are obtained. That is, the camera a when t = t 0a and posA = 0, the camera b when t = t 0b and posB = 0, and the camera a when t = t 1a and posA = L, and t = t 1b and posB When L = L, the camera b takes a picture. At this time, the time difference from the shooting by the camera a to the shooting by the camera b is t 0b −t 0a = D / V, and the time difference from the shooting by the camera b to the shooting by the camera a is t 1a −t 0b = T−D. Control to be / V. When the moving speed changes to V 1 , the moving distance per accumulation time T changes to L 1 = V 1 × T. In this case as well, each of the plurality of cameras on the moving path of the vehicle is at the same position. (0, L 1 ,...) May be taken in the same manner as described above.
カメラa、カメラbは、複数カメラ部2の第1のカメラ21a、第Nのカメラ21bに相当する。撮影時刻t0a、t0b、t1a、t1bは、タイミング制御部3が入力端子7から入力された移動体情報(複数カメラの相互配置:間隔D、移動体の移動速度V)とカメラ設定(蓄積時間T又は、フレームレート:1/T)をもとに決定する。また、これらの時間に複数カメラ部2に第1の撮像制御信号と第Nの撮像制御信号が出力され、カメラaとカメラbが画像6a、6bを取り込む。
The cameras a and b correspond to the
カメラaとカメラbで撮像された撮像画像は、第1のメモリ41aと第Nのメモリ41bに一時記憶される。画像処理部5bでは、タイミング制御部3から出力された撮像タイミング情報(カメラaの撮像タイミングとカメラbの撮像タイミング)と、入力端子7から入力される移動体情報(複数カメラの相互配置:間隔D、移動体の移動速度V)から各カメラの撮像画像の読み出しタイミングtd0、td1を決定し、そのタイミングにあわせて第1の読み出し制御信号と第Nの読み出し制御信号を第1のメモリ41aと第Nのメモリ41bに出力する。
The captured images captured by the cameras a and b are temporarily stored in the
第1のメモリ41aと第Nのメモリ41bは、画像処理部5b、5cから出力された第1の読み出し制御信号と第Nの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部5b、5cに出力する。画像処理部5b、5cに入力された各カメラの撮像画像は、第1の画像補整部51aと第Nの画像補整部51bに入力される。
The
第1の画像補整部51aと第Nの画像補整部51bでは、タイミング制御部3から入力される撮像タイミング情報と、入力端子7から入力される移動体情報をもとに、各カメラの撮像画像を実施の形態1と同様に補整する。
In the first
第1の画像補整部51aと第Nの画像補整部51bで補整処理された各カメラの撮像画像は、ノイズ低減部52b又は解像度変換部52cに受け渡される。ノイズ低減部52b又は解像度変換部52cは、入力端子57を介して入力された移動体情報と入力端子56を介してタイミング制御部3から入力された撮像タイミング情報とから、第1の画像補整部51aと第Nの画像補整部51bで補整処理された各カメラの撮像画像に対して重ね合わせ処理を行ない、ノイズが低減された処理結果(処理画像)又は、解像度が向上した処理結果(処理画像)を出力端子8から出力する。
The captured images of each camera subjected to the correction processing by the first
具体的には、カメラaとカメラbからの画像処理等を含めた遅れ時間をそれぞれtdlya、tdlybとすると、例えば、時刻td0(=t0a+tdlya=t0b+tdlyb)には、カメラa(第1のカメラ)による撮像画像とカメラb(第Nのカメラ)による撮像画像の処理画像を、時刻td1(=t1a+tdlya=t1b+tdlyb)には、カメラa(第1のカメラ)による撮像画像とカメラb(第Nのカメラ)による撮像画像の処理画像を取得して、重ね合わせ処理を行うことによりノイズ低減や解像度向上を行う。なお、ノイズ低減方法については、例えば、吹抜敬彦著「TV画像の多次元信号処理」日刊工業新聞社、1988年、などに技術の概要が記載されている。また、重ね合わせ処理を行うことにより、解像度が向上できることは超解像技術として知られており、例えば、高木幹雄・下田陽久監修「新編画像解析ハンドブック」東京大学出版会、2004年、などに技術の概要が記載されている。 Specifically, if delay times including image processing from the camera a and the camera b are t dlya and t dlyb , respectively, for example, at time t d0 (= t 0a + t dlya = t 0b + t dlyb ), The processed image of the image captured by the camera a (first camera) and the image captured by the camera b (Nth camera) is displayed at time t d1 (= t 1a + t dlya = t 1b + t dlyb ). The captured image by the first camera) and the processed image of the captured image by the camera b (Nth camera) are acquired, and noise reduction and resolution improvement are performed by performing an overlay process. As for the noise reduction method, an outline of the technique is described in, for example, Takahiko Fukiki, “Multi-dimensional signal processing of TV images”, Nikkan Kogyo Shimbun, 1988. In addition, it is known as a super-resolution technique that resolution can be improved by performing superimposition processing. The outline of is described.
なお、重ね合わせ処理に際して、重ね合わせる複数の撮像画像の位置合わせのため、撮像画像の向きや大きさ、範囲をあわせる必要があるが、これを第1の画像補整部51a、第Nの画像補整部51bでまとめて行なえるように、入力端子53a、53bと第1の画像補整部51a、第Nの画像補整部51bの間に、相互の撮像画像を比較する手段を設け、その比較結果により、第1の画像補整部51a、第Nの画像補整部51bの補整処理を制御するように構成してもよい。
In the superimposition process, it is necessary to match the orientation, size, and range of the captured images in order to align the plurality of captured images to be superimposed. This is the same as the first
また、解像度変換部52cの処理前後で、画像サイズが変化しない場合に適用できるだけでなく、画像サイズが増加する、つまり、拡大処理されるような場合にも、逆に、画像サイズが減少する、つまり、縮小処理されるような場合にも同様に適用できることは言うまでもない。
In addition, not only when the image size does not change before and after the processing of the
また、複数カメラの個数は2個に限るものではなく、N個(Nは2以上の整数)の場合も、同様に撮像画像の重ね合わせ処理をすれば、よりノイズが低減できたり、解像度の高い処理画像が得られたりする。 In addition, the number of cameras is not limited to two, and in the case of N (N is an integer of 2 or more), noise can be further reduced or resolution can be reduced by performing overlapping processing of captured images. Highly processed images can be obtained.
また、第Nのカメラ21bの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第1〜第(N−1)のカメラの画像の読み出し制御をすれば、第Nのカメラ用の第Nのメモリ41bを削減することが可能である。この場合は、第1〜第(N−1)のカメラの撮像画像は、画像一時記憶部4の第1のメモリ〜第(N−1)のメモリから、第Nのカメラの撮像画像は、直接第Nのカメラから読み出すことになる。
In addition, if the readout control of the images of the first to (N-1) th cameras from the image temporary storage unit is performed in accordance with the imaging timing and the image readout time of the
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域(方向、範囲)を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、ノイズの少ない処理画像や、解像度の高い処理画像を得ることができ、視認性が向上する。 According to the multi-camera image processing apparatus and the multi-camera image display apparatus configured as described above, a plurality of cameras installed at different positions are used so that the imaging ranges of different cameras overlap due to the movement of the moving body. When the timing is controlled so as to capture the same direction from the same position on the movement path, a plurality of cameras can capture the same region (direction, range). Therefore, by superimposing the plurality of captured images, a processed image with less noise and a processed image with high resolution can be obtained, and visibility is improved.
また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、画像のズレや歪みを補整した後に、複数カメラの撮像画像による重ね合わせ処理をするので、連続した1つの処理画像として違和感のない良好なものを得ることができる。 In addition, for each captured image of each camera, after correcting the displacement and distortion of the image based on moving body information such as the moving direction and moving speed of the moving body and the mutual arrangement of multiple cameras, it is possible to overlay Since the matching process is performed, a good continuous image can be obtained as a single processed image.
実施の形態3.
実施の形態2は、複数のカメラを用いてノイズを低減させたり、解像度を向上させたりすることにより視認性を向上させるが、ここでは、カメラと背景の間にある移動物(異物)のために背後に隠れて見えなくなる背景の画像を補正して定常画像を作成することにより、背景の視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態3に係る複数カメラ画像処理装置1の要部構成も実施の形態1で示した図1を用いて説明する。なお、本発明の実施の形態3に係る複数カメラ画像処理装置1は、画像処理部5の構成が、実施の形態1、2の構成と若干異なる。
Embodiment 3 FIG.
In the second embodiment, the visibility is improved by reducing noise or improving the resolution by using a plurality of cameras, but here, because of a moving object (foreign matter) between the camera and the background. A multi-camera image processing apparatus that improves the visibility of the background by correcting the background image that is hidden behind and creating a steady image will be described. The main configuration of the multi-camera
複数カメラ画像処理装置1は、タイミング制御部3と、画像一時記憶部4と、画像処理部5と、入力端子7と、出力端子8を備えている。複数カメラ部2は、N個の同様な画像6a〜6bを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたN個のカメラを有しており、複数カメラ画像処理装置1により撮像タイミングを制御され、複数カメラ画像処理装置1に撮像画像を出力する。図10は、図1の画像処理部5の形態の一つとして、定常画像作成部52dを備えた画像処理部5dの要部構成を示すブロック図である。画像処理部5dは、第1の画像補整部51a〜第Nの画像補整部51b、定常画像作成部52d、N個の入力端子53a〜53b、N個の出力端子54a〜54b、出力端子55、入力端子56、57を備えている。
The multi-camera
このように構成された複数カメラ画像処理装置の動作について説明をする。画像処理部5dの動作は、実施の形態2の画像処理部5b、5cとほぼ同じであるが、最後の重ね合わせ処理をする定常画像作成部52dの働きだけが異なる。定常画像作成部52dの動作例を図11を用いて説明する。
The operation of the multi-camera image processing apparatus configured as described above will be described. The operation of the image processing unit 5d is almost the same as that of the
まず、車両の側面にカメラa〜cを設置する。その後、車両の移動に伴い、カメラが移動経路上の同じ位置に来たときに、カメラa、b、cを用い順番に同じ方向を撮像する。その結果、同じ背景の画像が3枚得られる。このとき、カメラと背景の間に移動する異物(混入物)が撮像されることがある。カメラが1台のときは、異物の背後に隠れた例えば建物等の看板や道路標識、大売出し等ののぼりは確認することはできない。ここで、3枚の中のある同じエリアを比較したとき、1枚だけが他の2枚と異なるときは、そこを異物と判断し、異物が写っていない他の撮像画像から補間することにより、異物を消した定常画像を作成することができる。 First, cameras a to c are installed on the side of the vehicle. Thereafter, when the camera comes to the same position on the movement path as the vehicle moves, the same direction is picked up in order using the cameras a, b, and c. As a result, three images with the same background are obtained. At this time, a foreign object (contaminant) moving between the camera and the background may be imaged. When there is only one camera, it is impossible to confirm signs such as billboards, road signs, big sale etc. hidden behind foreign objects. Here, when comparing the same area of three images, if only one image is different from the other two images, it is determined that the image is a foreign object, and is interpolated from another captured image in which no foreign object is shown. It is possible to create a steady image in which foreign matter is erased.
また、別の方法としては、複数の画像を比較したとき、同じ異物が違う位置に写ることにより変化のあるところは、これを移動物と判断し、移動物(異物)が移っていない画像から補間することにより、異物を消した定常画像を作成することができる。 As another method, when a plurality of images are compared, if there is a change due to the same foreign object appearing at a different position, it is determined that this is a moving object, and the moving object (foreign object) is not moved. By performing the interpolation, it is possible to create a steady image from which foreign matter is erased.
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域(方向、範囲)を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、移動物(異物)を消した定常画像を得ることができ、視認性が向上する。 According to the multi-camera image processing apparatus and the multi-camera image display apparatus configured as described above, a plurality of cameras installed at different positions are used so that the imaging ranges of different cameras overlap due to the movement of the moving body. When the timing is controlled so as to capture the same direction from the same position on the movement path, a plurality of cameras can capture the same region (direction, range). Therefore, by performing the overlapping process of the plurality of captured images, a steady image in which the moving object (foreign matter) is eliminated can be obtained, and the visibility is improved.
また、処理画像をドライブレコーダ等の記録部に記録し、それを後で表示部で再生することにより、移動物(異物)の背後の建物等の看板や道路標識や大売出し等ののぼりを確認することができ、また、カーナビゲーション装置には記録されていない大売出し等の限定情報も得ることができるので、ドライブの利便性が増す。 In addition, by recording the processed image in a recording unit such as a drive recorder and playing it back on the display unit later, it is possible to confirm signs such as a building behind a moving object (foreign object), a road sign, a big sale, etc. In addition, since limited information such as a large sale that is not recorded in the car navigation device can be obtained, the convenience of the drive is increased.
1 複数カメラ画像処理装置
2 複数カメラ部
3 タイミング制御部
4 画像一時記憶部
5、5a、5b、5c、5d 画像処理部
6a、6b 画像
21a 第1のカメラ
21b 第Nのカメラ
22a、22b 入力端子
23a、23b 出力端子
41a 第1のメモリ
41b 第Nのメモリ
42a、42b 入力端子
43a、43a 入力端子
44a、44b 出力端子
51a 第1の画像補整部
51b 第Nの画像補整部
52a フレームレート変換部
52b ノイズ低減部
52c 解像度変換部
52d 定常画像作成部
53a、53b 入力端子
54a、54b 出力端子
55 出力端子
56 入力端子
57 入力端子
DESCRIPTION OF
Claims (6)
前記複数のカメラのフレームレートとそれぞれの設置位置及び、前記移動体の移動速度を基にして前記複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、
前記画像一時記憶部又は、前記画像一時記憶部と前記1台のカメラとから前記撮像画像を読み込んで画像処理を行う画像処理部と、を備え、
前記タイミング制御部は、前記フレームレートと前記移動速度を基に、1フレーム分の前記移動体の移動経路を前記複数のカメラの台数分に分割する位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する複数カメラ画像処理装置。 From a plurality of cameras installed at different positions along the traveling direction of the moving body such that the imaging ranges of the different cameras overlap with the movement of the moving body, or from other cameras excluding one camera among the plurality of cameras An image temporary storage unit for storing captured images of
A timing control unit for controlling the imaging timing of each of the plurality of cameras based on the frame rate of each of the plurality of cameras, the respective installation positions, and the moving speed of the movable body;
The image temporary storage unit or, and an image processing unit that performs image processing by reading the captured image from said one camera and the image temporary storage unit,
The timing control unit is configured to capture each of the plurality of cameras based on the frame rate and the moving speed so as to capture an image from a position where the moving path of the moving body for one frame is divided into the number of the plurality of cameras. Multi-camera image processing apparatus for controlling the imaging timing of the camera.
前記複数カメラ画像処理装置からの処理画像を記録する記録部と、
前記複数カメラ画像処理装置と前記記録部からの画像を表示する表示部とを備えた複数カメラ画像表示装置。 A multi-camera image processing apparatus according to any one of claims 1 to 5 ;
A recording unit for recording the processed image from the previous SL multiple cameras image processing apparatus,
A multi-camera image display device comprising the multi-camera image processing device and a display unit for displaying an image from the recording unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177804A JP5164700B2 (en) | 2008-07-08 | 2008-07-08 | Multi-camera image processing apparatus and multi-camera image display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008177804A JP5164700B2 (en) | 2008-07-08 | 2008-07-08 | Multi-camera image processing apparatus and multi-camera image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010021619A JP2010021619A (en) | 2010-01-28 |
JP5164700B2 true JP5164700B2 (en) | 2013-03-21 |
Family
ID=41706119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008177804A Expired - Fee Related JP5164700B2 (en) | 2008-07-08 | 2008-07-08 | Multi-camera image processing apparatus and multi-camera image display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5164700B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101933153B1 (en) * | 2012-11-06 | 2018-12-27 | 에스케이 텔레콤주식회사 | Control Image Relocation Method and Apparatus according to the direction of movement of the Object of Interest |
JP6152738B2 (en) * | 2013-08-06 | 2017-06-28 | 株式会社ニコン | Camera system |
JP6070676B2 (en) * | 2014-02-14 | 2017-02-01 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, control method thereof, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4512690B2 (en) * | 2005-06-16 | 2010-07-28 | 独立行政法人産業技術総合研究所 | Monitoring system and method by image processing |
JP2007110572A (en) * | 2005-10-14 | 2007-04-26 | Alpine Electronics Inc | Multiple camera image synthesized display device |
-
2008
- 2008-07-08 JP JP2008177804A patent/JP5164700B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010021619A (en) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4195966B2 (en) | Image display control device | |
JP4748082B2 (en) | Vehicle periphery monitoring device and vehicle periphery monitoring method | |
JP4509917B2 (en) | Image processing apparatus and camera system | |
JP4762698B2 (en) | Vehicle peripheral image display device | |
CN102387344B (en) | Imaging device, imaging system and formation method | |
JP4596978B2 (en) | Driving support system | |
JP5194679B2 (en) | Vehicle periphery monitoring device and video display method | |
EP0837428A2 (en) | Picture image forming apparatus | |
JP6459016B2 (en) | Imaging system and moving body system | |
JP2006203463A (en) | Image display method, image pick-up method, and image synthesizing method | |
JP4561353B2 (en) | Video signal processing apparatus and method, and in-vehicle camera system | |
JP2008060650A (en) | On-vehicle imaging apparatus and its imaging method | |
JP2007141098A (en) | Image-processing device and image-processing method | |
EP4156125A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
JP5164700B2 (en) | Multi-camera image processing apparatus and multi-camera image display apparatus | |
US10723265B2 (en) | Imaging display system | |
JP2005333565A (en) | Monitoring equipment | |
EP4155817A1 (en) | Camera unit installing method, mobile object, image processing system, image processing method, and storage medium | |
EP4156127A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
JP3446277B2 (en) | Ambient situation display device for vehicles | |
JP7476151B2 (en) | IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM | |
JP2008153882A (en) | Imaging and displaying system | |
US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
WO2023095340A1 (en) | Image processing method, image displaying method, image processing device, and image displaying device | |
WO2023145690A1 (en) | Image processing system, moving body, image capture system, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20120801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |