WO2007010729A1 - 画像合成装置及び画像合成方法 - Google Patents

画像合成装置及び画像合成方法 Download PDF

Info

Publication number
WO2007010729A1
WO2007010729A1 PCT/JP2006/313138 JP2006313138W WO2007010729A1 WO 2007010729 A1 WO2007010729 A1 WO 2007010729A1 JP 2006313138 W JP2006313138 W JP 2006313138W WO 2007010729 A1 WO2007010729 A1 WO 2007010729A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual viewpoint
frame memory
camera
data
Prior art date
Application number
PCT/JP2006/313138
Other languages
English (en)
French (fr)
Inventor
Satoshi Kawakami
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/791,972 priority Critical patent/US20080048848A1/en
Priority to CN2006800013448A priority patent/CN101080741B/zh
Priority to EP06767726A priority patent/EP1906355B1/en
Publication of WO2007010729A1 publication Critical patent/WO2007010729A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention reduces blind spots from a driver of a vehicle and facilitates a driving operation.
  • the present invention also relates to an image composition device that processes and displays an image of a camera installed in a vehicle.
  • an image composition device that composes images obtained from a plurality of cameras installed around a vehicle
  • an image viewed from above centered on the own vehicle is deformed and synthesized, and the synthesized image is displayed inside the vehicle.
  • a display device for example, see Patent Document 1.
  • the one that provides the optimal virtual viewpoint image (synthesized image) according to the driving situation by dynamically changing the position of the virtual viewpoint has been proposed (for example, (See Patent Document 2).
  • FIG. 3 is a block diagram showing a schematic configuration of the vehicle periphery monitoring device disclosed in Patent Document 2.
  • the vehicle periphery monitoring apparatus shown in this figure includes a camera unit 101, an analog / digital (A / D) conversion unit 102, a frame memory unit 103, an image composition unit 104, and a digital Z analog (DZA) conversion unit. 105, a display 106, a conversion table 107, and a viewpoint changing parameter supply unit 108.
  • the camera unit 101 includes a plurality of cameras Cl to Cn, and the analog Z digital conversion unit 102 and the frame memory unit 103 are the same number of analog Z digital converters AD1 to ADn and frame memories as the cameras C1 to C n. It consists of FMl to FMn.
  • Images taken by the cameras Cl to Cn are stored in the frame memories FM1 to FMn.
  • the conversion table 107 is obtained by converting the geometric conversion table for distortion correction into ROM.
  • the viewpoint conversion parameter supply unit 108 supplies viewpoint conversion parameters to the image composition unit 104 so that the viewpoint conversion can be dynamically changed.
  • the image composition unit 104 is composed of a CPU or DSP (Digital Signal Processor), etc., and corrects the distortion of the image obtained from each camera Cl to Cn based on the geometric conversion table of the conversion table 107, as well as the viewpoint. Viewpoint conversion parameters supplied from the conversion parameter supply unit 108 Based on this, address calculation for conversion is performed.
  • the conversion table for distortion correction which is conversion that is invariant to the viewpoint position
  • the viewpoint conversion parameters for the viewpoint conversion composition in which the conversion rule changes according to the start point position are sequentially determined.
  • the supply unit 108 Based on the parameters given by the supply unit 108, it performs address calculation for conversion, etc., dynamically changing the viewpoint position and displaying the optimal composite image on the display 106 in the car according to the driving situation Is possible.
  • Patent Document 1 Japanese Patent Laid-Open No. 58-110334
  • Patent Document 2 Japanese Patent Laid-Open No. 2001-339716
  • the image quality can be improved by interpolating and generating the pixel image as a plurality of pixels, instead of setting the correspondence between the composite image and the input image as 1 pixel to 1 pixel.
  • the input image is considered in two dimensions, the force S required for a total of 4 pixels, 2 pixels each in the X and Y directions, to obtain one pixel of the composite image S, and the amount of access to the frame memory Will increase.
  • the access bandwidth of the frame memory is also related to the manufacturing cost, it is important how to improve the image quality with the limited access bandwidth. Specifically, it is possible to limit the image quality improvement to only a specific part of the composite image, or to read one pixel without interpolation when the interpolation ratio is high.
  • the amount of access to the frame memory varies.
  • the conventional image composition device does not consider the increase or decrease of the memory access amount to the frame memory due to the dynamic change of the virtual viewpoint. Due to the failure to read image data, the image may be lost, and if a line memory is installed, there is a problem that the image read at the previous line is displayed. By the way, in the case of NTS C (National Television Standards Committe e) system, even lines and odd lines are interlaced and the time axis is different. Because there are different images, the image becomes unnatural.
  • NTS C National Television Standards Committe e
  • the present invention has been made in view of such circumstances, and when the virtual viewpoint is dynamically changed
  • a coordinate conversion table storage unit that stores a coordinate conversion table representing a correspondence relationship between an input image and a distortion correction image, and a coordinate conversion table stored in the coordinate conversion table storage unit and a virtual viewpoint position.
  • Virtual viewpoint conversion data generating means for generating virtual viewpoint conversion data indicating a correspondence relationship between the input image and the composite image viewed from the virtual viewpoint based on the parameters, and the virtual viewpoint necessary for generating the composite image
  • the viewpoint conversion parameter supply unit that supplies the position-related parameters to the virtual viewpoint conversion data generation unit, the camera image is written to the frame memory, and the remaining access bandwidth of the frame memory is used to The camera image is read based on the virtual viewpoint conversion data generated by the virtual viewpoint conversion data generation means, and the composite image is obtained.
  • a memory control unit that outputs information indicating a reading failure and information indicating the reading failure of the camera image are output from the memory control unit.
  • a virtual viewpoint image conversion unit that replaces the camera image that could not be read by the memory control unit with another image data.
  • the virtual viewpoint image conversion unit generates a composite image except for a camera image that the memory control unit cannot read.
  • a coordinate conversion table storage unit storing a coordinate conversion table representing a correspondence relationship between an input image and a distortion corrected image, and a coordinate conversion table stored in the coordinate conversion table storage unit and a virtual coordinate conversion table.
  • Virtual viewpoint conversion that generates virtual viewpoint conversion data indicating the correspondence between the input image and the synthesized image viewed from the virtual viewpoint based on the viewpoint position parameters
  • Data generation means viewpoint conversion parameter supply means for supplying the virtual viewpoint conversion data generation means with parameters relating to the virtual viewpoint position necessary for generating a composite image, the number of input camera images, and the virtual image
  • Frame memory access bandwidth calculation means for calculating the memory access amount to the frame memory from the virtual viewpoint conversion data generated by the view conversion data generation means, and based on the memory access amount calculated by the frame memory access bandwidth calculation means
  • Memory access data control means for controlling the memory access data amount of the virtual viewpoint conversion data, and writing a camera image to the frame memory, and using the remaining access bandwidth of the frame memory, Memory access data amount is controlled by memory access data control means.
  • An image composition method comprising a coordinate conversion table representing a correspondence relationship between an input image and a distortion-corrected image, and a parameter relating to a virtual viewpoint position required for generating a composite image, Based on the coordinate conversion table and the parameters related to the virtual viewpoint position, virtual viewpoint conversion data indicating the correspondence between the input image and the synthesized image viewed from the virtual viewpoint is generated, and the camera image is written to the frame memory.
  • the remaining access bandwidth of the frame memory is used to read a camera image based on the virtual viewpoint conversion data to generate a composite image, and the camera image cannot be read due to insufficient access bandwidth of the frame memory In this case, the camera image that could not be read from the frame memory is replaced with another image data to generate a composite image.
  • An image composition method comprising a coordinate conversion table representing a correspondence relationship between an input image and a distortion-corrected image, and a parameter relating to a virtual viewpoint position necessary for generating a composite image, Based on the coordinate conversion table and the parameters related to the virtual viewpoint position.
  • Generates virtual viewpoint conversion data indicating the correspondence between the input image and the composite image viewed from the virtual viewpoint calculates the memory access amount to the frame memory from the generated virtual viewpoint conversion data and the number of input camera images, Based on the calculated memory access amount, the memory access data amount of the virtual viewpoint conversion data is controlled, the camera image is written to the frame memory, and the remaining access bandwidth of the frame memory is used.
  • a camera image is read based on the virtual viewpoint conversion data in which the memory access data amount is controlled to generate a composite image.
  • the camera image that could not be read out due to insufficient access bandwidth to the frame memory is replaced with another image data (for example, specific image data such as bitmap data). Therefore, even if the virtual viewpoint is changed dynamically, the composite image is always displayed correctly without missing the image or displaying the image read during the previous line. can do.
  • another image data for example, specific image data such as bitmap data
  • the memory access data amount of the virtual viewpoint conversion data is controlled within a range that does not exceed the access bandwidth to the frame memory. It is possible to omit the process of replacing with other image data.
  • the camera image that could not be read due to insufficient access bandwidth to the frame memory is replaced with another data (for example, specific image data such as bitmap data).
  • another data for example, specific image data such as bitmap data.
  • the memory access data amount of the virtual viewpoint conversion data is controlled within a range that does not exceed the access bandwidth to the frame memory. It is possible to omit the process of replacing the image data.
  • FIG. 1 is a block diagram showing a schematic configuration of an image composition device according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of an image composition device according to Embodiment 2 of the present invention.
  • FIG. 3 is a block diagram showing a schematic configuration of a conventional image synthesizing apparatus.
  • FIG. 1 is a block diagram showing a schematic configuration of an image composition device according to Embodiment 1 of the present invention.
  • the image composition device of the present embodiment includes a camera unit 10, a coordinate conversion table storage unit 11, a virtual viewpoint conversion data generation unit 12, a viewpoint conversion parameter supply unit 13, a frame memory 15, The memory control unit 14, the virtual viewpoint image conversion unit 16, and the display unit 17 are provided.
  • the camera unit 10 is composed of a plurality of cameras (not shown) as in the prior art, and is used for imaging a subject.
  • the coordinate conversion table storage unit 11 stores a coordinate conversion table representing the correspondence between the input image and the distortion corrected image, that is, the relationship between the image coordinates after conversion and the image coordinates before conversion.
  • the virtual viewpoint conversion data generation unit 12 generates virtual viewpoint conversion data for obtaining an image viewed from the virtual viewpoint by sequentially calculating the correspondence between the distortion corrected image and the composite image.
  • the viewpoint conversion parameter supply unit 13 supplies the virtual viewpoint conversion data generation unit 12 with parameters relating to the virtual viewpoint position necessary for generating a composite image.
  • Frame memory 15 stores camera images.
  • the memory control unit 14 writes and reads camera images to and from the frame memory 15 and generates a composite image.
  • the virtual viewpoint image conversion unit 16 replaces the camera image that could not be read by the memory control unit 14 due to an insufficient access bandwidth of the frame memory 15 with another image data such as bitmap data. In this case, if at least one camera image can be read from the frame memory 15, a composite image based on the actual camera image can be obtained without replacing with another image data such as bitmap data.
  • the display unit 17 visually displays the composite image from the virtual viewpoint image conversion unit 16.
  • the coordinate conversion table stored in the coordinate conversion table storage unit 11 and the parameters regarding the virtual viewpoint position supplied from the viewpoint conversion parameter supply unit 13 are used.
  • Virtual viewpoint conversion data indicating the correspondence between the composite image and the input image viewed from the virtual viewpoint is generated.
  • the virtual viewpoint transformation data contains the input image ⁇ coordinates (Xi, Yi), X-axis interpolation coefficient Xk, and Y-axis interpolation coefficient Yk corresponding to the XY coordinates (Xo, Yo) of the composite image.
  • the composite image is obtained by performing the following calculation.
  • the memory control unit 14 writes the camera image to the frame memory 15 and uses the remaining access bandwidth of the frame memory 15 to generate the virtual viewpoint generated by the virtual viewpoint conversion data generation unit 12.
  • a composite image is generated by reading a camera image based on the converted data. If the camera image cannot be read due to insufficient access bandwidth of the frame memory 15, information indicating a read failure is output. At this time, if the camera image cannot be read due to insufficient access bandwidth of the frame memory 15, the virtual viewpoint image conversion unit 16 is notified of the failure of reading.
  • the virtual viewpoint image conversion unit 16 calculates a composite image based on the above equation (1) based on the camera image read from the frame memory 15 and displays the composite image on the display unit 17. At this time, if the reading of the camera image has failed, the composite image is replaced with arbitrary bitmap data.
  • the coordinate conversion table representing the correspondence relationship between the input image and the distortion corrected image, and the parameters relating to the virtual visual point position necessary for generating the synthesized image.
  • Virtual viewpoint conversion data indicating the correspondence between the input image and the composite image viewed from the virtual viewpoint is generated based on the coordinate conversion table and the parameters regarding the virtual viewpoint position.
  • the camera image is read based on the virtual viewpoint conversion data using the remaining access bandwidth of the frame memory 15 to generate a composite image, and the camera image can be read due to insufficient access bandwidth of the frame memory 15. If it is not possible, replace the camera image with arbitrary bitmap data, the power that cannot be read from the frame memory 15. Because, dynamically the virtual viewpoint By changing, even if the amount of access to the frame memory 15 of the memory control unit 14 exceeds the access bandwidth, images will not be lost or images read during the previous line will not be displayed. A correct composite image can always be displayed.
  • the image composition device according to the present embodiment is used in a vehicle periphery monitoring device, it is possible to reduce blind spots from the driver of the vehicle or to facilitate driving operations. .
  • the virtual viewpoint image conversion unit 16 simply replaces the corresponding composite image with arbitrary bitmap data when the camera image reading has failed, If multiple camera image data are required to calculate a composite image, and at least one camera image data has been successfully read, the composite image can be obtained using that camera image data. Les.
  • FIG. 2 is a block diagram showing a schematic configuration of the image composition device according to Embodiment 2 of the present invention.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
  • the image composition apparatus of the present embodiment includes a camera unit 10, a coordinate conversion table storage unit 11, a virtual viewpoint conversion data generation unit 12, a viewpoint conversion parameter supply unit 13, and a frame memory 15.
  • the number of camera images input and the virtual viewpoint conversion data generation unit 12 The frame memory access bandwidth calculation unit 18 that calculates the memory access amount to the frame memory 15 from the virtual viewpoint conversion data generated by the virtual view conversion unit 12, and the frame memory access bandwidth calculation unit 18 controls the interpolation coefficient of the virtual viewpoint conversion data when the access amount to the frame memory 15 exceeds the access bandwidth of the frame memory 15, and approximates Xk or Yk to 1 to access the frame memory 15
  • the memory access data control unit 19 that controls the camera and the frame memory 15 write camera images and Memory control that uses the remaining access bandwidth of memory 15 to read out the camera image based on the virtual viewpoint conversion data whose memory access data amount is controlled by the memory access data control unit 19 and generates a composite image Unit 14 and a display unit 17 for visually displaying the composite image generated by the memory control unit 14.
  • Virtual viewpoint conversion data generator 1 2 shows the correspondence between the composite image and the input image viewed from the virtual viewpoint based on the coordinate conversion table from the coordinate conversion table storage unit 11 and the parameters related to the virtual viewpoint position from the viewpoint conversion parameter supply unit 13.
  • the virtual viewpoint conversion data shown is generated.
  • the virtual viewpoint transformation data includes the input image XY coordinates (Xi, Yi) and X-axis interpolation coefficients Xk, Y corresponding to the XY coordinates (Xo, Yo) of the composite image, as in the first embodiment.
  • the axis interpolation coefficient Yk is retained.
  • the frame memory access bandwidth calculation unit 18 calculates an access amount necessary for accessing the frame memory 15 based on the camera image and the virtual viewpoint conversion data.
  • the memory access data control unit 19 controls the access amount by approximating to “1” in order from the value close to “1” among the X-axis interpolation coefficient and Y-axis interpolation coefficient. To do. Then, control ends when the access amount falls below the access bandwidth.
  • the memory control unit 14 writes and reads the camera image to and from the frame memory 15, generates a composite image based on the read camera image, and displays the composite image on the display unit 17.
  • the coordinate conversion table representing the correspondence relationship between the input image and the distortion corrected image, and the parameters related to the virtual viewpoint position necessary for generating the composite image are provided.
  • virtual viewpoint conversion data indicating the correspondence between the input image and the composite image viewed from the virtual viewpoint is generated, and the generated virtual viewpoint conversion data and the number of camera inputs are
  • the memory access amount to the frame memory 15 is calculated, the memory access data amount of the virtual viewpoint conversion data is controlled based on the calculated memory access amount, the camera image is written to the frame memory 15, and the frame memory 15 Using the remaining access bandwidth of the camera, the camera is based on virtual viewpoint conversion data in which the amount of memory access data is controlled.
  • the memory access data amount of the virtual viewpoint conversion data is controlled within a range that does not exceed the access bandwidth to the frame memory 15, so that the camera image that could not be read out is another image. Processing to replace with image data can be omitted.
  • the present invention always displays a correct composite image without causing an image to be lost or an image read at the previous line to be displayed even when the virtual viewpoint is dynamically changed. It can be applied to a vehicle periphery monitoring device that processes and displays the image of the camera installed in the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

　本発明の課題は、仮想視点を動的に変更した場合でも合成画像を正しく表示することができる画像合成装置及び画像合成方法を提供することである。 　入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、フレームメモリ（１５）に対してカメラ画像の書き込みを行うとともに、フレームメモリ（１５）の残りのアクセス帯域を使って、仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、フレームメモリ（１５）のアクセス帯域不足によりカメラ画像の読み出しができない場合には、フレームメモリ（１５）から読み出せなかったカメラ画像を任意のビットマップデータに置き換える。

Description

明 細 書
画像合成装置及び画像合成方法
技術分野
[0001] 本発明は、車両の運転者からの死角を低減したり運転操作を容易にしたりするため
、車両に設置したカメラの画像を加工して表示する画像合成装置に関する。
背景技術
[0002] 従来、車両の周囲に設置した複数台のカメラより得られる各画像を合成する画像合 成装置として、例えば自車を中心として上方から見た画像を変形合成し、その合成 画像を車内の表示装置に映し出すようにしたものが提案されている（例えば、特許文 献 1参照）。また、画像の変形合成において、仮想視点の位置を動的に変更して、運 転状況に合わせた最適な仮想視点画像 (合成画像)を提供するようにしたものも提案 されている (例えば、特許文献 2参照）。
[0003] 図 3は、特許文献 2で開示された車両周辺監視装置の概略構成を示すブロック図 である。この図に示す車両周辺監視装置は、カメラ部 101と、アナログ/デジタル (A /D)変換部 102と、フレームメモリ部 103と、画像合成部 104と、デジタル Zアナ口 グ（DZA)変換部 105と、ディスプレイ 106と、変換テーブル 107と、視点変更用パラ メータ供給部 108とから構成される。カメラ部 101は、複数台のカメラ Cl〜Cnから構 成されており、アナログ Zデジタル変換部 102とフレームメモリ部 103もカメラ C1〜C nと同数のアナログ Zデジタル変換器 ADl〜ADn、フレームメモリ FMl〜FMnから 構成されている。
[0004] 各フレームメモリ FMl〜FMnには各カメラ Cl〜Cnで撮像された画像が保存され る。変換テーブル 107は、歪補正のための幾何学変換用テーブルを ROM化したも のである。視点変換用パラメータ供給部 108は、視点変換を動的に変更し得るように するために視点変換用パラメータを画像合成部 104に供給する。画像合成部 104は 、 CPU又は DSP (Digital Signal Processor)等から構成され、変換テーブル 107の幾 何学変換用テーブルに基づいて各カメラ Cl〜Cnから得られた画像の歪を補正する とともに、視点変換用パラメータ供給部 108から供給される視点変換用パラメータに 基づいて変換のためのアドレス計算等を行う。
[0005] このように、視点位置に不変な変換である歪補正のための変換テーブルについて 予め計算して ROM化し、始点位置によって変換規則が変化する視点変換合成につ いて逐次、視点変換用パラメータ供給部 108によつて与えられるパラメータに基づき 変換のためのアドレス計算等を行うものであり、視点位置を動的に変更して、車内の ディスプレイ 106に運転状況に応じて最適な合成画像の表示を可能にしている。
[0006] 特許文献 1 :特開昭 58— 110334号公報
特許文献 2 :特開 2001— 339716号公報
発明の開示
発明が解決しょうとする課題
[0007] ところで、合成画像の画質を考えた場合、合成画像と入力画像の対応を 1画素対 1 画素とせず、 1画素対複数画素として補間生成させることで画質向上が図れる。この 場合、入力画像を 2次元で考えれば合成画像の 1画素を得るのに X方向、 Y方向そ れぞれ 2画素の計 4画素必要となる力 S、その分、フレームメモリへのアクセス量が増大 する。フレームメモリのアクセス帯域は製造コストにも関係するため、限られたアクセス 帯域で如何に画質向上を図るかが重要である。具体的には、合成画像の特定部分 のみに画質向上を限定するやり方や、補間比率が高い場合には補間せずに 1画素 の読み出しを行う等が考えられる力 いずれも仮想視点の位置によって全体のフレー ムメモリへのアクセス量が異なってくる。
[0008] し力しながら、従来の画像合成装置においては、仮想視点を動的に変更することに よるフレームメモリへのメモリアクセス量の増減を考慮していないため、フレームメモリ のアクセス帯域不足による画像データの読出し失敗により、画像が欠落してしまうこと があり、またラインメモリを搭載している場合には前ライン時に読み出された画像が表 示されてしまう問題がある。因みに、 NTS C (National Television Standards Committe e)方式の場合、インターレースで偶数ラインと奇数ラインで時間軸が異なるため、例 えば偶数ラインの 2ラインが同じ画像で出力されたとしても、その間に奇数ラインの異 なる画像が存在するために不自然な画像となってしまう。
[0009] 本発明は、係る事情に鑑みてなされたものであり、仮想視点を動的に変更した場合 でも合成画像を正しく表示することができる画像合成装置及び画像合成方法を提供 することを目的とする。
課題を解決するための手段
[0010] 上記目的は下記構成及び方法により達成される。
(1) 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座 標変換テーブル記憶手段と、前記座標変換テーブル記憶手段に記憶されてレ、る座 標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点か ら見た合成画像との対応関係を示す仮想視点変換データを生成する仮想視点変換 データ生成手段と、合成画像を生成するために必要となる前記仮想視点位置に関す るパラメータを前記仮想視点変換データ生成手段に供給する視点変換用パラメータ 供給手段と、フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレー ムメモリの残りのアクセス帯域を使って、前記仮想視点変換データ生成手段で生成さ れた仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し 、前記フレームメモリのアクセス帯域不足によりカメラ画像の読み出しができない場合 には読み出し失敗を示す情報を出力するメモリ制御手段と、前記メモリ制御手段から 前記カメラ画像の読み出し失敗を示す情報が出力された場合に、前記メモリ制御手 段が読み出せなかったカメラ画像を別の画像データに置き換える仮想視点画像変換 手段と、を備える。
[0011] (2) 上記（1)に記載の画像合成装置において、前記仮想視点画像変換手段は、前 記メモリ制御手段が読み出せなかったカメラ画像を除いて合成画像を生成する。
[0012] (3) 上記（1)に記載の画像合成装置において、前記仮想視点画像変換手段は、複 数画素を合成して 1画素分を生成している場合、前記フレームメモリのアクセス帯域 不足により複数画素の一部が前記メモリ制御手段から読み出せなくても、残りの画素 を使って合成画像を生成する。
[0013] (4) 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座 標変換テーブル記憶手段と、前記座標変換テーブル記憶手段に記憶されてレ、る座 標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点か ら見た合成画像との対応関係を示す仮想視点変換データを生成する仮想視点変換 データ生成手段と、合成画像を生成するために必要となる前記仮想視点位置に関す るパラメータを前記仮想視点変換データ生成手段に供給する視点変換用パラメータ 供給手段と、カメラ画像の入力数と前記仮想視点変換データ生成手段で生成された 仮想視点変換データからフレームメモリへのメモリアクセス量を計算するフレームメモ リアクセス帯域計算手段と、前記フレームメモリアクセス帯域計算手段にて計算され たメモリアクセス量に基づき前記仮想視点変換データのメモリアクセスデータ量を制 御するメモリアクセスデータ制御手段と、前記フレームメモリに対してカメラ画像の書 き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記メモリ アクセスデータ制御手段にてメモリアクセスデータ量が制御された前記仮想視点変 換データに基づくカメラ画像の読み出しを行って合成画像を生成するメモリ制御手段 と、を備える。
[0014] (5) 画像合成方法であって、入力画像と歪み補正画像の対応関係を表す座標変 換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメ ータを持ち、前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基 に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データ を生成し、フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレーム メモリの残りのアクセス帯域を使って、前記仮想視点変換データに基づくカメラ画像 の読み出しを行って合成画像を生成し、前記フレームメモリのアクセス帯域不足によ りカメラ画像の読み出しができない場合には前記フレームメモリから読み出せなかつ たカメラ画像を別の画像データに置き換えて合成画像を生成する。
[0015] (6) 上記（5)に記載の画像合成方法において、前記フレームメモリのアクセス帯域 不足により読み出せなかったカメラ画像を除いて合成画像を生成する。
[0016] (7) 上記（5)に記載の画像合成方法において、 複数画素を合成して 1画素分を生 成している場合、前記フレームメモリのアクセス帯域不足により複数画素の一部が前 記メモリ制御手段から読み出せなくても、残りの画素を使って合成画像を生成する。
[0017] (8) 画像合成方法であって、入力画像と歪み補正画像の対応関係を表す座標変 換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメ ータを持ち、前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基 に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データ を生成し、生成した仮想視点変換データとカメラ画像の入力数とからフレームメモリへ のメモリアクセス量を計算し、計算したメモリアクセス量に基づき前記仮想視点変換デ ータのメモリアクセスデータ量を制御し、前記フレームメモリに対してカメラ画像の書き 込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記メモリア クセスデータ量が制御された前記仮想視点変換データに基づくカメラ画像の読み出 しを行って合成画像を生成する。
発明の効果
[0018] 上記（1)に記載の画像合成装置では、フレームメモリへのアクセス帯域不足により 読み出すことができなかったカメラ画像を別の画像データ（例えばビットマップデータ 等の特定の画像データ）に置き換えて合成画像を生成するので、仮想視点を動的に 変更した場合でも画像が欠落してしまったり前ライン時に読み出された画像が表示さ れてしまったりすることがなぐ合成画像を常に正しく表示することができる。
[0019] 上記（2)に記載の画像合成装置では、合成画像を生成するのに必要な複数のカメ ラ画像のうち、少なくとも 1つのカメラ画像をフレームメモリから読み出すことができれ ば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることな ぐ実際のカメラ画像による合成画像を求めることができる。
[0020] 上記（3)に記載の画像合成装置では、複数のカメラ画素から 1画素の合成画像を 生成する場合、少なくとも 1つのカメラ画像をフレームメモリから読み出すことができれ ば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることな ぐ実際のカメラ画像による合成画像を求めることができる。
[0021] 上記（4)に記載の画像合成装置では、フレームメモリへのアクセス帯域を超えない 範囲で仮想視点変換データのメモリアクセスデータ量を制御するので、読み出すこと ができな力、つたカメラ画像を別の画像データに置き換えたりする処理を省くことができ る。
[0022] 上記（5)に記載の画像合成方法では、フレームメモリへのアクセス帯域不足により 読み出すことができなかったカメラ画像を別のデータ（例えばビットマップデータ等の 特定の画像データ）に置き換えるので、仮想視点を動的に変更した場合でも画像が 欠落してしまったり前ライン時に読み出された画像が表示されてしまったりすることが なぐ合成画像を常に正しく表示することができる。
[0023] 上記（6)に記載の画像合成方法では、合成画像を生成するのに必要な複数のカメ ラ画像のうち、少なくとも 1つのカメラ画像をフレームメモリから読み出すことができれ ば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることな ぐ実際のカメラ画像による合成画像を求めることができる。
[0024] 上記（7)に記載の画像合成方法では、複数のカメラ画素から 1画素の合成画像を 生成する場合、少なくとも 1つのカメラ画像をフレームメモリから読み出すことができれ ば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることな ぐ実際のカメラ画像による合成画像を求めることができる。
[0025] 上記（8)に記載の画像合成方法では、フレームメモリへのアクセス帯域を超えない 範囲で仮想視点変換データのメモリアクセスデータ量を制御するので、読み出すこと ができなかったカメラ画像を別の画像データに置き換えたりする処理を省くことができ る。
図面の簡単な説明
[0026] [図 1]本発明の実施の形態 1に係る画像合成装置の概略構成を示すブロック図
[図 2]本発明の実施の形態 2に係る画像合成装置の概略構成を示すブロック図
[図 3]従来の画像合成装置の概略構成を示すブロック図
符号の説明
[0027] 10 カメラ部
11 座標変換テーブル記憶部
12 仮想視点変換データ生成部
13 視点変換用パラメータ供給部
14 メモリ制御部
15 フレームメモリ
16 仮想視点画像変換部
17 表示部
18 フレームメモリアクセス帯域計算部 19 メモリアクセスデータ制御部
発明を実施するための最良の形態
[0028] 以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細 に説明する。
[0029] (実施の形態 1)
図 1は、本発明の実施の形態 1に係る画像合成装置の概略構成を示すブロック図 である。この図において、本実施の形態の画像合成装置は、カメラ部 10と、座標変換 テーブル記憶部 11と、仮想視点変換データ生成部 12と、視点変換用パラメータ供 給部 13と、フレームメモリ 15と、メモリ制御部 14と、仮想視点画像変換部 16と、表示 部 17とを備えている。
[0030] カメラ部 10は、従来と同様に複数のカメラ（図示略）で構成されており、被写体の撮 像に使用される。座標変換テーブル記憶部 11は、入力画像と歪み補正画像の対応 関係即ち変換後の画像座標と変換前の画像座標との関係を表す座標変換テーブル を記憶する。仮想視点変換データ生成部 12は、歪み補正画像と合成画像の対応関 係を逐次計算して仮想視点から見た画像を得るための仮想視点変換データを生成 する。視点変換用パラメータ供給部 13は、合成画像を生成するために必要となる仮 想視点位置に関するパラメータを仮想視点変換データ生成部 12に供給する。フレー ムメモリ 15はカメラ画像を保存する。
[0031] メモリ制御部 14は、フレームメモリ 15に対してカメラ画像の書き込みと読み出しを行 レ、、合成画像を生成する。仮想視点画像変換部 16は、メモリ制御部 14でフレームメ モリ 15のアクセス帯域不足により読み出せなかったカメラ画像をビットマップデータ等 の別の画像データに置き換える。この場合、少なくとも 1つのカメラ画像がフレームメ モリ 15から読み出すことができれば、ビットマップデータ等の別の画像データに置き 換えることなぐ実際のカメラ画像による合成画像を求めることができる。表示部 17は 、仮想視点画像変換部 16からの合成画像を視覚表示する。
[0032] 次に、上記構成の画像合成装置の動作を説明する。仮想視点変換データ生成部 1 2では、座標変換テーブル記憶部 11に記憶されてレ、る座標変換テーブルと視点変 換用パラメータ供給部 13から供給される仮想視点位置に関するパラメータとを基に 仮想視点から見た合成画像と入力画像との対応関係を示す仮想視点変換データを 生成する。仮想視点変換データの内容としては、合成画像の XY座標 (Xo, Yo)に対 応する入力画像の ΧΥ座標 (Xi, Yi)および X軸補間係数 Xkと Y軸補間係数 Ykを保 持しており、以下の計算をすることで合成画像を求めている。
[0033] (Xo, Yo) =Xk X {Yk X (Xi, Yi) + (1 -Yk) X (Xi, Yi+ 1) } + (1 _Xk) X {Yk
X (Xi+ 1 , Yi) + (1 -Yk) X (Xi+ 1 , Yi+ 1) } - - - (1)
この場合、合成画像の 1画素を、 （Xi, Yi)、（Xi, Yi+ 1)、 (Xi+ 1 , Yi)、 (Xi+ 1 , Yi+ 1)の入力画像 4画素分から求めることになる力 S、Xk= lあるいは Yk= lの場合 を考慮すると、実際に必要な画素は:!〜 4画素と補間係数値によって異なる。
[0034] メモリ制御部 14では、フレームメモリ 15に対してカメラ画像の書き込みを行うととも に、フレームメモリ 15の残りのアクセス帯域を使って、仮想視点変換データ生成部 12 で生成された仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像 を生成し、フレームメモリ 15のアクセス帯域不足によりカメラ画像の読み出しができな い場合には読み出し失敗を示す情報を出力する。この際、フレームメモリ 15のァクセ ス帯域不足によりカメラ画像の読み出しができない場合には、読出し失敗の旨を仮想 視点画像変換部 16に伝える。仮想視点画像変換部 16では、フレームメモリ 15から 読み出されたカメラ画像を基に前述の式（1)に基づいて合成画像を計算し、表示部 17にて合成画像を表示する。この時、カメラ画像の読み出しが失敗していた場合は 合成画像を任意のビットマップデータに置き換える。
[0035] このように本実施の形態の画像合成装置によれば、入力画像と歪み補正画像の対 応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視 点位置に関するパラメータを持ち、座標変換テーブルと仮想視点位置に関するパラ メータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点 変換データを生成し、フレームメモリ 15に対してカメラ画像の書き込みを行うとともに 、フレームメモリ 15の残りのアクセス帯域を使って、仮想視点変換データに基づくカメ ラ画像の読み出しを行って合成画像を生成し、フレームメモリ 15のアクセス帯域不足 によりカメラ画像の読み出しができなレ、場合には、フレームメモリ 15から読み出せな 力、つたカメラ画像を任意のビットマップデータに置き換えるので、仮想視点を動的に 変更することでメモリ制御部 14のフレームメモリ 15へのアクセス量がアクセス帯域を 上回った場合でも、画像が欠落してしまったり前ライン時に読み出された画像が表示 されてしまったりすることがなぐ常に正しい合成画像を表示することができる。
[0036] そして、本実施の形態の画像合成装置を車両周辺監視装置に用いた場合には、 車両の運転者からの死角を低減したり、運転操作を容易にしたりすることが可能とな る。
[0037] なお、本実施の形態では、仮想視点画像変換部 16において、単にカメラ画像の読 み出しが失敗していた場合は該当する合成画像を任意のビットマップデータに置き 換えているが、合成画像を計算するのに複数のカメラ画像データが必要な場合で、 少なくとも 1つのカメラ画像データの読出しが成功していた場合は、そのカメラ画像デ ータを使って合成画像を求めてもょレ、。
[0038] (実施の形態 2)
図 2は、本発明の実施の形態 2に係る画像合成装置の概略構成を示すブロック図 である。なお、この図において、図 1と同じ構成要素については同じ符号を用レ、、そ の説明を省略する。図 2において、本実施の形態の画像合成装置は、カメラ部 10と、 座標変換テーブル記憶部 11と、仮想視点変換データ生成部 12と、視点変換用パラ メータ供給部 13と、フレームメモリ 15と、カメラ画像の入力数と仮想視点変換データ 生成部 12で生成された仮想視点変換データからフレームメモリ 15へのメモリアクセス 量を計算するフレームメモリアクセス帯域計算部 18と、フレームメモリアクセス帯域計 算部 18により、フレームメモリ 15へのアクセス量がフレームメモリ 15のアクセス帯域を 上回った場合に仮想視点変換データの補間係数を制御し、 Xkもしくは Ykを 1に近似 することでフレームメモリ 15へのアクセス量を制御するメモリアクセスデータ制御部 19 と、フレームメモリ 15に対してカメラ画像の書き込みを行うとともに、フレームメモリ 15 の残りのアクセス帯域を使って、メモリアクセスデータ制御部 19にてメモリアクセスデ ータ量が制御された仮想視点変換データに基づくカメラ画像の読み出しを行って合 成画像を生成するメモリ制御部 14と、メモリ制御部 14で生成された合成画像を可視 表示する表示部 17とを備えている。
[0039] 次に、上記構成の画像合成装置の動作を説明する。仮想視点変換データ生成部 1 2では、座標変換テーブル記憶部 11からの座標変換テーブルと視点変換用パラメ一 タ供給部 13からの仮想視点位置に関するパラメータとを基に仮想視点から見た合成 画像と入力画像との対応関係を示す仮想視点変換データを生成する。仮想視点変 換データの内容としては、上述した実施の形態 1と同様に合成画像の XY座標 (Xo, Yo)に対応する入力画像の XY座標 (Xi， Yi)および X軸補間係数 Xk、 Y軸補間係 数 Ykを保持している。フレームメモリアクセス帯域計算部 18では、カメラ画像及び仮 想視点変換データを基にフレームメモリ 15へのアクセスに必要なアクセス量を計算 する。アクセス量がアクセス帯域を上回った場合、メモリアクセスデータ制御部 19で は、 X軸補間係数及び Y軸補間係数のうち「1」に近い値から順に「1」に近似させ、ァ クセス量を制御する。そして、アクセス量がアクセス帯域を下回った時点で制御を終 了する。メモリ制御部 14では、フレームメモリ 15に対してカメラ画像の書き込み及び 読み出しを行い、読み出したカメラ画像を基に合成画像を生成し、表示部 17にて合 成画像を表示する。
このように本実施の形態の画像合成装置によれば、入力画像と歪み補正画像の対 応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視 点位置に関するパラメータを持ち、座標変換テーブルと仮想視点位置に関するパラ メータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点 変換データを生成し、生成した仮想視点変換データとカメラの入力数とからフレーム メモリ 15へのメモリアクセス量を計算し、計算したメモリアクセス量に基づき仮想視点 変換データのメモリアクセスデータ量を制御し、フレームメモリ 15に対してカメラ画像 の書き込みを行うとともに、フレームメモリ 15の残りのアクセス帯域を使って、メモリア クセスデータ量が制御された仮想視点変換データに基づくカメラ画像の読み出しを 行って合成画像を生成するので、仮想視点を動的に変更することでメモリ制御部 14 のフレームメモリ 15へのアクセス量がアクセス帯域を上回った場合でも、画像が欠落 してしまったり前ライン時に読み出された画像が表示されてしまったりすることがなぐ 運転者を混乱させない常に正しい合成画像を表示することができる。特に、本発明で は、フレームメモリ 15へのアクセス帯域を超えない範囲で仮想視点変換データのメモ リアクセスデータ量を制御するので、読み出すことができなかったカメラ画像を別の画 像データに置き換えたりする処理を省くことができる。
[0041] そして、本実施の形態の画像合成装置でも、車両周辺監視装置に用いた場合には 、車両の運転者からの死角を低減したり、運転操作を容易にしたりすることが可能と なる。
[0042] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明ら かである。
[0043] 本出願は、 2005年 7月 15日出願の日本特許出願（特願 2005— 207044)に基づ くものであり、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0044] 本発明は、仮想視点を動的に変更した場合でも画像が欠落してしまったり前ライン 時に読み出された画像が表示されてしまったりすることがなぐ常に正しい合成画像 を表示することができるといった効果を有し、車両に設置したカメラの画像を加工して 表示出力する車両周辺監視装置などへの適用が可能である。

Claims

請求の範囲
[1] 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座標変 換テーブル記憶手段と、
前記座標変換テーブル記憶手段に記憶されてレ、る座標変換テーブルと仮想視点 位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関 係を示す仮想視点変換データを生成する仮想視点変換データ生成手段と、 合成画像を生成するために必要となる前記仮想視点位置に関するパラメータを前 記仮想視点変換データ生成手段に供給する視点変換用パラメータ供給手段と、 フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの 残りのアクセス帯域を使って、前記仮想視点変換データ生成手段で生成された仮想 視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、前記フ レームメモリのアクセス帯域不足によりカメラ画像の読み出しができない場合には読 み出し失敗を示す情報を出力するメモリ制御手段と、
前記メモリ制御手段から前記カメラ画像の読み出し失敗を示す情報が出力された 場合に、前記メモリ制御手段が読み出せなかったカメラ画像を別の画像データに置 き換える仮想視点画像変換手段と、
を備える画像合成装置。
[2] 前記仮想視点画像変換手段は、前記メモリ制御手段が読み出せなかったカメラ画 像を除レ、て合成画像を生成する請求項 1に記載の画像合成装置。
[3] 前記仮想視点画像変換手段は、複数画素を合成して 1画素分を生成している場合 、前記フレームメモリのアクセス帯域不足により複数画素の一部が前記メモリ制御手 段から読み出せなくても、残りの画素を使って合成画像を生成する請求項 1に記載の 画像合成装置。
[4] 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座標変 換テーブル記憶手段と、
前記座標変換テーブル記憶手段に記憶されてレ、る座標変換テーブルと仮想視点 位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関 係を示す仮想視点変換データを生成する仮想視点変換データ生成手段と、 合成画像を生成するために必要となる前記仮想視点位置に関するパラメータを前 記仮想視点変換データ生成手段に供給する視点変換用パラメータ供給手段と、 カメラ画像の入力数と前記仮想視点変換データ生成手段で生成された仮想視点 変換データ力、らフレームメモリへのメモリアクセス量を計算するフレームメモリアクセス 帯域計算手段と、
前記フレームメモリアクセス帯域計算手段にて計算されたメモリアクセス量に基づき 前記仮想視点変換データのメモリアクセスデータ量を制御するメモリアクセスデータ 制御手段と、
前記フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモ リの残りのアクセス帯域を使って、前記メモリアクセスデータ制御手段にてメモリァクセ スデータ量が制御された前記仮想視点変換データに基づくカメラ画像の読み出しを 行って合成画像を生成するメモリ制御手段と、
を備える画像合成装置。
[5] 入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生 成するために必要となる仮想視点位置に関するパラメータを持ち、
前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基に入力画像 と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、 フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの 残りのアクセス帯域を使って、前記仮想視点変換データに基づくカメラ画像の読み出 しを行って合成画像を生成し、前記フレームメモリのアクセス帯域不足によりカメラ画 像の読み出しができない場合には前記フレームメモリから読み出せなかったカメラ画 像を別の画像データに置き換えて合成画像を生成する画像合成方法。
[6] 前記フレームメモリのアクセス帯域不足により読み出せなかったカメラ画像を除いて 合成画像を生成する請求項 4に記載の画像合成方法。
[7] 複数画素を合成して 1画素分を生成している場合、前記フレームメモリのアクセス帯 域不足により複数画素の一部が前記メモリ制御手段から読み出せなくても、残りの画 素を使って合成画像を生成する請求項 5に記載の画像合成方法。
[8] 入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生 成するために必要となる仮想視点位置に関するパラメータを持ち、
前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基に入力画像 と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、生 成した仮想視点変換データとカメラ画像の入力数とからフレームメモリへのメモリァク セス量を計算し、計算したメモリアクセス量に基づき前記仮想視点変換データのメモ リアクセスデータ量を制御し、
前記フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモ リの残りのアクセス帯域を使って、前記メモリアクセスデータ量が制御された前記仮想 視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成する画像合 成方法。
PCT/JP2006/313138 2005-07-15 2006-06-30 画像合成装置及び画像合成方法 WO2007010729A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/791,972 US20080048848A1 (en) 2005-07-15 2006-06-30 Image Composing Device and Image Composing Method
CN2006800013448A CN101080741B (zh) 2005-07-15 2006-06-30 用于图像合成的设备及方法
EP06767726A EP1906355B1 (en) 2005-07-15 2006-06-30 Device and method for composing image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-207044 2005-07-15
JP2005207044A JP4727329B2 (ja) 2005-07-15 2005-07-15 画像合成装置及び画像合成方法

Publications (1)

Publication Number Publication Date
WO2007010729A1 true WO2007010729A1 (ja) 2007-01-25

Family

ID=37668615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/313138 WO2007010729A1 (ja) 2005-07-15 2006-06-30 画像合成装置及び画像合成方法

Country Status (5)

Country Link
US (1) US20080048848A1 (ja)
EP (1) EP1906355B1 (ja)
JP (1) JP4727329B2 (ja)
CN (1) CN101080741B (ja)
WO (1) WO2007010729A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
JP5503259B2 (ja) * 2009-11-16 2014-05-28 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
CN102111621B (zh) * 2009-12-23 2013-03-13 中国移动通信集团公司 一种恢复视频数据的方法、装置和系统
CN101819678A (zh) * 2010-03-16 2010-09-01 昆明理工大学 驾驶模拟系统三维虚拟图像的标定方法
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP6419128B2 (ja) 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10237537B2 (en) 2017-01-17 2019-03-19 Alexander Sextus Limited System and method for creating an interactive virtual reality (VR) movie having live action elements
US20190096041A1 (en) * 2017-09-25 2019-03-28 Texas Instruments Incorporated Methods and system for efficient processing of generic geometric correction engine
JP2020134973A (ja) * 2019-02-12 2020-08-31 キヤノン株式会社 素材生成装置、画像生成装置および画像処理装置
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
US20040260469A1 (en) 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0946055B1 (en) * 1998-03-09 2006-09-06 Sony Deutschland GmbH Method and system for interpolation of digital signals
CA2304605A1 (en) * 1998-07-30 2000-02-10 Matsushita Electric Industrial Co., Ltd. A moving image combining apparatus
JP2000057350A (ja) * 1998-08-10 2000-02-25 Toshiba Corp 画像処理装置と方法及び画像送信装置と方法
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US20050024651A1 (en) * 2003-07-29 2005-02-03 Zhenghua Yu Adaptive complexity scalable post-processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260469A1 (en) 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NELSON: "3D video motion detection and assessment", INT. CONF. ON SECURITY TECHNOLOGY, 2004
See also references of EP1906355A4

Also Published As

Publication number Publication date
EP1906355A4 (en) 2010-05-05
JP4727329B2 (ja) 2011-07-20
US20080048848A1 (en) 2008-02-28
JP2007026071A (ja) 2007-02-01
CN101080741B (zh) 2010-08-18
EP1906355B1 (en) 2011-08-03
EP1906355A1 (en) 2008-04-02
CN101080741A (zh) 2007-11-28

Similar Documents

Publication Publication Date Title
WO2007010729A1 (ja) 画像合成装置及び画像合成方法
JP4470930B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2773354B2 (ja) 特殊効果装置及び特殊効果発生方法
JP6588700B2 (ja) 補正データ生成方法、画像補正装置および画像補正方法、ならびに、画像補正システム
US9245313B2 (en) Semiconductor device, electronic apparatus, and image processing method
US20070252905A1 (en) Image processing apparatus
JP4274238B2 (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP5318225B2 (ja) 画像合成装置及び画像合成プログラム
JP3252986B2 (ja) 画像処理装置
JP5585885B2 (ja) 画像処理装置及び画像処理方法
US9019304B2 (en) Image processing apparatus and control method thereof
JP2005038046A (ja) シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、シェーディング補正装置に用いる補間演算装置、補間演算方法、補間演算プログラム、並びにその応用装置
JP4861962B2 (ja) 画像変形マップデータ補正装置および画像変形マップデータ補正方法
JPH0737079A (ja) 画像歪み補正方法及び装置
JP2683239B2 (ja) 曲線補間生成装置
JP5047915B2 (ja) 車載用画像処理装置及びその画像処理方法
JP6326914B2 (ja) 補間装置及び補間方法
JP4892010B2 (ja) 画像生成プログラム、画像生成装置、画像生成方法
JP3769972B2 (ja) 描画処理装置、描画処理方法及び記録媒体
JP2016100717A (ja) 画像処理装置、画像処理方法及びプログラム
JP2005322959A (ja) 画像処理装置、携帯端末、画像処理プログラム及び画像処理方法
JPH09237337A (ja) 画像表示装置
JP2634810B2 (ja) 情報処理装置
JP4958587B2 (ja) 特殊効果装置
JP2007264866A (ja) グラフィックシステム、破線テクスチャ画像生成装置、及び、破線テクスチャ画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006767726

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200680001344.8

Country of ref document: CN

Ref document number: 11791972

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE