JP5195592B2 - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP5195592B2 JP5195592B2 JP2009088370A JP2009088370A JP5195592B2 JP 5195592 B2 JP5195592 B2 JP 5195592B2 JP 2009088370 A JP2009088370 A JP 2009088370A JP 2009088370 A JP2009088370 A JP 2009088370A JP 5195592 B2 JP5195592 B2 JP 5195592B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video data
- unit
- generated
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 128
- 238000006243 chemical reaction Methods 0.000 claims description 76
- 230000009467 reduction Effects 0.000 claims description 49
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000000872 buffer Substances 0.000 description 46
- 238000007726 management method Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T3/12—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Description
本発明は、複数のカメラで撮影された画像の映像処理装置に関する。特に、本発明は、車両に搭載された複数のカメラからの映像信号を合成処理する映像処理装置に関する。
近年、車両に搭載されたカメラによって運転者の死角となる車両周辺を映し出し、車室内に搭載されたモニタに表示することで運転者の安全運転を支援する装置が提供されている。
特許文献１には、複数のカメラで撮影された撮影画像から合成映像を生成する技術が開示されている。
しかしながら、複数のカメラで撮影された映像から合成される合成映像のパターンは、事前に決められた１つのパターンであった。このため、例えば、運転者の運転状況に応じて、合成映像を切り替えることができなかった。
本発明は、複数の映像を用いた生成映像データを複数パターン生成することができる映像処理装置を提供することを目的とする。
本明細書に開示の映像処理装置は、複数の撮像装置と表示装置と連携可能であり、前記複数の撮像装置で撮像された複数の映像データを入力して、複数種類の生成映像データを生成して前記表示装置に出力可能な映像処理装置であって、前記複数種類の生成映像データのパターン毎にあらかじめ算出しておいた座標変換データを参照して算出された、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報と、前記各映像データの使用部分を結合した結合映像データを座標変換して前記生成映像データを生成する際の、前記各映像データの使用部分の画素の拡大率と、前記各映像データの使用部分を結合する際に、前記結合映像データの予め定義されたサイズ内に収まるように前記各映像データの使用部分の配置パターンと前記各映像データの使用部分の縮小率とを変更した場合の前記縮小率とに基づいて決定された、前記各映像データの使用部分の縮小率情報を含む配置情報とを記憶するパターン情報記憶部と、生成する生成映像データのパターンを選択する生成映像パターン選択部と、前記複数の映像と、選択された生成映像データのパターンに応じた配置情報とに基づいて、前記各映像データの使用部分を縮小して記憶部に記憶させて前記結合映像データを生成する加工部と、生成された前記結合映像データを前記座標変換データを用いて座標変換し、前記生成映像データを生成して前記表示装置に出力する映像出力部とを備えている。
本明細書に開示の映像処理装置によれば、入力した複数の映像から複数種類の生成映像データを生成し、表示装置に表示することができる。
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
まず、図１を参照しながら本実施例の構成の一例を説明する。図１に示すように本実施例の映像処理装置１は、撮影部１００と、映像処理部２００と、操作部３５１と、表示部３５２とを備えている。撮影部１００は、第１撮影部１１０と、第２撮影部１２０と、第３撮影部１３０と、第４撮影部１４０とを備えている。また、映像処理部２００は、映像入力部２１０と、加工処理部２２０と、映像生成部２７０とを備えている。なお、加工処理部２２０のキャプチャ前段処理部２５０と、映像生成部２７０とは１つのボード上に搭載されている。
まず、撮影部１００について説明する。
第１撮影部１１０〜第４撮影部１４０は、車両に搭載されたカメラを備え、各カメラによって撮影した映像を映像入力部２１０にそれぞれ出力する。なお、以下では、第１撮影部１１０〜第４撮影部１４０を単にカメラ１１０〜１４０と呼ぶ。本実施例においては、図２に示すようにカメラ１１０は、車両の前方に配置され、車両前方の映像を撮影する。カメラ１２０は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ１３０は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ１４０は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に４つのカメラを搭載しているが、カメラの数は４つに限定されるものではなく、３つでも５つや６つであってもよい。また、カメラは、最初から車に搭載されているものでも連携動作可能であれば問題ない。
第１撮影部１１０〜第４撮影部１４０は、車両に搭載されたカメラを備え、各カメラによって撮影した映像を映像入力部２１０にそれぞれ出力する。なお、以下では、第１撮影部１１０〜第４撮影部１４０を単にカメラ１１０〜１４０と呼ぶ。本実施例においては、図２に示すようにカメラ１１０は、車両の前方に配置され、車両前方の映像を撮影する。カメラ１２０は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ１３０は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ１４０は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に４つのカメラを搭載しているが、カメラの数は４つに限定されるものではなく、３つでも５つや６つであってもよい。また、カメラは、最初から車に搭載されているものでも連携動作可能であれば問題ない。
操作部３５１は、操作者からの操作入力を受け付ける。表示部３５２には、カメラ１１０〜１４０で撮影された映像から生成される生成映像が表示される。操作者は、表示部３５２に表示させる生成映像のパターンを切り替える操作を操作部３５１から行う。
表示部３２に表示される生成映像の表示例（パターン）を図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ、図５Ｂに示す。また、図６Ａ〜図６Ｈには、カメラ１１０〜１４０で撮影された４つの映像を結合した結合映像のパターンを示す。
例えば、図６Ａ〜図６Ｃに示すように２つの映像を結合した映像や、図６Ｄ、図６Ｅに示すように３つの映像を結合した映像や、図６Ｆ、図６Ｇに示すように４つの映像を結合した映像や、図６Ｈに示すように単体の映像が映像処理部２００で映像処理され、表示部３５２に表示される。表示部３５２に表示される映像は、立体表示となるように加工された生成映像である。カメラ１１０〜１４０で撮影された複数の映像を結合して座標変換することで、立体的な生成映像が生成される（詳細は後述する）。図６Ａ〜図６Ｃに示す結合映像は、例えば左折巻き込み有無を確認するために左方と後方の２つのカメラ映像のみを用いて生成映像を生成する場合などに用いられる。図６Ｄ、図６Ｅに示すように３つの映像を結合した映像は、例えば車線変更時の後側方を確認するため、前方を除く３つのカメラ映像から生成映像を生成する場合などに用いられる。図６Ｆ、図６Ｇに示すように４つの映像を結合した映像は、車両の全周囲を確認できる映像の生成に用いられるが、生成映像を生成する際の視点の位置などにより、生成映像がどのカメラ映像を多く使って生成しているかが異なるため、分割を変更している。
表示部３２に表示される生成映像の表示例（パターン）を図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ、図５Ｂに示す。また、図６Ａ〜図６Ｈには、カメラ１１０〜１４０で撮影された４つの映像を結合した結合映像のパターンを示す。
例えば、図６Ａ〜図６Ｃに示すように２つの映像を結合した映像や、図６Ｄ、図６Ｅに示すように３つの映像を結合した映像や、図６Ｆ、図６Ｇに示すように４つの映像を結合した映像や、図６Ｈに示すように単体の映像が映像処理部２００で映像処理され、表示部３５２に表示される。表示部３５２に表示される映像は、立体表示となるように加工された生成映像である。カメラ１１０〜１４０で撮影された複数の映像を結合して座標変換することで、立体的な生成映像が生成される（詳細は後述する）。図６Ａ〜図６Ｃに示す結合映像は、例えば左折巻き込み有無を確認するために左方と後方の２つのカメラ映像のみを用いて生成映像を生成する場合などに用いられる。図６Ｄ、図６Ｅに示すように３つの映像を結合した映像は、例えば車線変更時の後側方を確認するため、前方を除く３つのカメラ映像から生成映像を生成する場合などに用いられる。図６Ｆ、図６Ｇに示すように４つの映像を結合した映像は、車両の全周囲を確認できる映像の生成に用いられるが、生成映像を生成する際の視点の位置などにより、生成映像がどのカメラ映像を多く使って生成しているかが異なるため、分割を変更している。
次に、映像入力部２１０について説明する。映像入力部２１０は、第１映像入力部２１１、第２映像入力部２１２、第３映像入力部２１３、第４映像入力部２１４を備えている。
第１映像入力部２１１は、カメラ１１０で撮影された映像を入力するブロックである。第１映像入力部２１１は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第１映像加工部２３１に出力する。
同様に、第２映像入力部２１２は、カメラ１２０で撮影された映像を入力するブロックである。第２映像入力部２１２は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第２映像加工部２３５に出力する。
同様に、第３映像入力部２１３は、カメラ１３０で撮影された映像を入力するブロックである。第３映像入力部２１３は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第３映像加工部２４１に出力する。
同様に、第４映像入力部２１４は、カメラ１４０で撮影された映像を入力するブロックである。第４映像入力部２１４は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第４映像加工部２４５に出力する。
第１映像入力部２１１は、カメラ１１０で撮影された映像を入力するブロックである。第１映像入力部２１１は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第１映像加工部２３１に出力する。
同様に、第２映像入力部２１２は、カメラ１２０で撮影された映像を入力するブロックである。第２映像入力部２１２は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第２映像加工部２３５に出力する。
同様に、第３映像入力部２１３は、カメラ１３０で撮影された映像を入力するブロックである。第３映像入力部２１３は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第３映像加工部２４１に出力する。
同様に、第４映像入力部２１４は、カメラ１４０で撮影された映像を入力するブロックである。第４映像入力部２１４は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第４映像加工部２４５に出力する。
次に、図７を参照しながら加工処理部２２０について説明する。加工処理部２２０は、映像加工部２３０と、キャプチャ前段処理部２５０とを備えている。
映像加工部２３０は、第１映像加工部２３１と、第２映像加工部２３５と、第３映像加工部２４１と、第４映像加工部２４５とを備えている。また、第１映像加工部２３１は、第１映像切出部２３２と、第１拡大縮小部２３３とを備えている。第２映像加工部２３５は、第２映像切出部２３６と、第２拡大縮小部２３７とを備えている。第３映像加工部２４１は、第１映像切出部２４２と、第１拡大縮小部２４３とを備えている。第４映像加工部２４５は、第４映像切出部２４６と、第４拡大縮小部２４７とを備えている。なお、第１映像加工部２３１〜第４映像加工部２４５は、同様の構成を備えているので、以下では、代表して第１映像加工部２３１について説明する。
映像加工部２３０は、第１映像加工部２３１と、第２映像加工部２３５と、第３映像加工部２４１と、第４映像加工部２４５とを備えている。また、第１映像加工部２３１は、第１映像切出部２３２と、第１拡大縮小部２３３とを備えている。第２映像加工部２３５は、第２映像切出部２３６と、第２拡大縮小部２３７とを備えている。第３映像加工部２４１は、第１映像切出部２４２と、第１拡大縮小部２４３とを備えている。第４映像加工部２４５は、第４映像切出部２４６と、第４拡大縮小部２４７とを備えている。なお、第１映像加工部２３１〜第４映像加工部２４５は、同様の構成を備えているので、以下では、代表して第１映像加工部２３１について説明する。
第１映像切出部２３２は、第１映像入力部２１１から出力された映像データを入力する。また、第１映像切出部２３２は、キャプチャ映像部分管理部（後述する）２５３から映像の切出位置を指示する指示信号を入力する。第１映像切出部２３２は、指示信号に従って映像の所定領域を切り出し、切り出した映像（以下、部分映像データと呼ぶ）を第１拡大縮小部２３３に出力する。
第１拡大縮小部２３３は、第１映像切出部２３２から出力された部分映像データを入力する。また、第１拡大縮小部２３３は、キャプチャ映像部分管理部２５３から映像の拡大率又は縮小率を指示する指示信号を入力する。第１拡大縮小部２３３は、キャプチャ映像部分管理部２５３から指示された拡大率、又は縮小率で部分映像データを拡大処理、又は縮小処理する。第１拡大縮小部２３３は、拡大処理、又は縮小処理した部分映像データを書き込み制御部２５４に出力する。
なお、本実施例では、映像入力部２１０、映像加工部２３０を車両に搭載されたカメラ１１０〜１４０の数に合わせて４つずつ設けているが、映像入力部２１０、映像加工部２３０の数も４つに限定されるものではない。例えば、６台のカメラを使用するシステムで、６つの映像入力部２１０、映像加工部２３０を備えていても良い。また、１つの映像入力部２１０、映像加工部２３０により４つのカメラ１１０〜１４０で撮影された映像データを順次入力して処理するものであってもよい。
次に、図８を参照しながらキャプチャ前段処理部２５０について説明する。
キャプチャ前段処理部２５０は、ホストＩＦ部２５１、設定保持部２５２、キャプチャ映像部分管理部２５３、書き込み制御部２５４、バッファ切替管理部２５５、結合映像フレームバッファ２５６（本実施例では、結合映像フレームバッファ２５６Ａ〜Ｃの３つを備えている）、読み出し制御部２５７、映像出力ＩＦ部２５８を備えている。なお、図８に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
キャプチャ前段処理部２５０は、ホストＩＦ部２５１、設定保持部２５２、キャプチャ映像部分管理部２５３、書き込み制御部２５４、バッファ切替管理部２５５、結合映像フレームバッファ２５６（本実施例では、結合映像フレームバッファ２５６Ａ〜Ｃの３つを備えている）、読み出し制御部２５７、映像出力ＩＦ部２５８を備えている。なお、図８に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
ホストＩＦ部２５１は、映像生成部２６０とのインターフェースとして機能する。ホストＩＦ部２５１は、部分映像データを結合して生成される結合映像データの生成パターンの変更指示を映像生成部２６０から入力する。ホストＩＦ部２５１は、入力した生成パターンの変更指示をキャプチャ映像部分管理部２５３に出力する。また、ホストＩＦ部２５１は、生成パターンの変更が完了した場合にキャプチャ映像部分管理部２５３から出力される切り替え完了通知を映像生成部２６０（制御部２７１）に出力する。
設定保持部２５２には、カメラ１１０〜カメラ１４０によって撮影された映像を結合して結合映像データを生成するための設定情報が生成パターンごとに複数記録されている。設定情報の一例を図９Ａに示す。カメラ１１０〜１４０の各カメラごとに、映像切出位置情報、縮小率、結合映像フレームバッファ２５６の書き込み開始座標とを記録した設定情報が記録されている。この設定情報は、生成映像データの生成パターンごとに設けられている。
また、設定情報は、図９Ｂに示すように、カメラ１１０〜１４０の各カメラごとに、映像切出位置と、書き込み開始座標とを記録したものであってもよい。図９Ｂに示す設定情報も各生成映像データの生成パターンごとに設けられている。
また、設定情報は、図９Ｂに示すように、カメラ１１０〜１４０の各カメラごとに、映像切出位置と、書き込み開始座標とを記録したものであってもよい。図９Ｂに示す設定情報も各生成映像データの生成パターンごとに設けられている。
キャプチャ映像部分管理部２５３は、ホストＩＦ部２５１から生成パターンの指示情報を取得する。キャプチャ映像部分管理部２５３は、入力した生成パターンの指示情報に応じた設定情報を設定保持部２５２から取り出す。キャプチャ映像部分管理部２５３は取り出した設定情報に基づいて、第１映像切出部２３２〜第４映像切出部２４６に映像の切り出し位置を指示する指示信号を出力する。また、キャプチャ映像部分管理部２５３は、取り出した設定情報に基づいて、第１拡大縮小部２３３〜第４拡大縮小部２４７に部分映像の拡大率、又は縮小率を指示する指示信号を出力する。また、キャプチャ映像部分管理部２５３は、部分映像を書き込む結合映像フレームバッファ２５６Ａ〜２５６Ｃのアドレスを書き込み制御部２５４に指示する。
書き込み制御部２５４は、第１映像加工部２３１〜第４映像加工部２４５から入力した部分映像をキャプチャ映像部分管理部２５３から指示された書き込みアドレスに書き込む。
バッファ切替管理部２５５は、書き込み制御部２５４の制御に従って、部分映像を書き込む結合映像フレームバッファ２５６Ａ〜２５６Ｃを切り替える。また、バッファ切替管理部２５５は、読み出し制御部２５７の制御に従って、結合映像データを読み出す結合映像フレームバッファ２５６Ａ〜２５６Ｃを切り替える。
結合映像フレームバッファ２５６Ａ〜２５６Ｃは、３つのバッファを備えている。第１映像入力部２１１〜第４映像入力部２１４と、第１映像加工部２３１〜第４映像加工部２４５は、各カメラ１１０〜カメラ１４０で撮影された映像を非同期で処理する。このため、書き込み制御部２５４が映像を書き込む結合映像フレームバッファは２つ用意される。
読み出し制御部２５７は、バッファ切替管理部２５５への読み出し要求により、結合映像フレームバッファに書き込みが完了している最新の結合映像データを読み出して映像出力ＩＦ部２５８に出力する。
映像出力ＩＦ部２５８は、映像生成部２７０に接続している。映像出力ＩＦ部２５８は、読み出し制御部２５７によって読み出された部分映像データを映像生成部２７０の映像キャプチャ部２７５に出力する。
ここで、図１０及び図１１を参照しながらキャプチャ映像部分管理部２５３の指示により行われる加工処理部２２０の処理について具体例を挙げて説明する。
図１０Ａに、カメラ１１０〜１４０でそれぞれ撮影された前方映像データ、後方映像データ、左方映像データ、右方映像データを示す。図１０Ｂに、キャプチャ映像部分管理部２５３からの指示信号によって、各映像データに部分映像の切り出し範囲を設定した様子を示す。また、図１０Ｃに、設定した切り出し範囲に従って部分映像データを切り出した様子を示す。さらに、図１１Ｃ〜図１１Ｄに、キャプチャ映像部分管理部２５３からの指示信号に従って、部分映像を縮小した様子を示す。図１１Ｄに示す例では、後方映像のＸ軸方向のサイズを１／２に縮小した様子を示す。図１１Ｅに、４つの部分映像データを結合して結合映像データを生成する様子を示す。書き込み制御部２５４は、キャプチャ映像部分管理部２５３から指示された結合映像フレームバッファ２５６のアドレスに各部分映像データを書き込むことで、図１１Ｅに示す結合映像データが結合映像フレームバッファ２５６内にでき上がる。
図１０Ａに、カメラ１１０〜１４０でそれぞれ撮影された前方映像データ、後方映像データ、左方映像データ、右方映像データを示す。図１０Ｂに、キャプチャ映像部分管理部２５３からの指示信号によって、各映像データに部分映像の切り出し範囲を設定した様子を示す。また、図１０Ｃに、設定した切り出し範囲に従って部分映像データを切り出した様子を示す。さらに、図１１Ｃ〜図１１Ｄに、キャプチャ映像部分管理部２５３からの指示信号に従って、部分映像を縮小した様子を示す。図１１Ｄに示す例では、後方映像のＸ軸方向のサイズを１／２に縮小した様子を示す。図１１Ｅに、４つの部分映像データを結合して結合映像データを生成する様子を示す。書き込み制御部２５４は、キャプチャ映像部分管理部２５３から指示された結合映像フレームバッファ２５６のアドレスに各部分映像データを書き込むことで、図１１Ｅに示す結合映像データが結合映像フレームバッファ２５６内にでき上がる。
次に、図１２を参照しながら映像生成部２７０について説明する。
映像生成部２７０は、制御部２７１、描画処理部２７２、仮生成映像変換パターンデータ保持部２７３、生成映像変換パターンデータ保持部２７４、映像キャプチャ部２７５、映像キャプチャバッファ２７６、バッファ管理部２７７、生成映像バッファ２７８、映像出力部２７９を備えている。なお、図１２に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
映像生成部２７０は、制御部２７１、描画処理部２７２、仮生成映像変換パターンデータ保持部２７３、生成映像変換パターンデータ保持部２７４、映像キャプチャ部２７５、映像キャプチャバッファ２７６、バッファ管理部２７７、生成映像バッファ２７８、映像出力部２７９を備えている。なお、図１２に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
制御部２７１は、図１３に示すようにハードウェアとしてＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、入出力部３０４を備えている。
ＲＯＭ３０２には、ＣＰＵ３０１が制御に使用するプログラムが記録されている。ＣＰＵ３０１は、ＲＯＭ３０２に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、ＲＡＭ３０３には、ＣＰＵ３０１が演算に使用するデータや、演算結果のデータが記憶される。
入出力部３０４は、操作部３１からの入力を受け付けたり、不図示の入出力ポートとして、例えば、後述する仮生成映像変換パターンデータを外部から入力して、ＣＰＵ３０１の制御によって仮生成映像変換パターンデータ保持部２７３に記録する。
ＲＯＭ３０２には、ＣＰＵ３０１が制御に使用するプログラムが記録されている。ＣＰＵ３０１は、ＲＯＭ３０２に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、ＲＡＭ３０３には、ＣＰＵ３０１が演算に使用するデータや、演算結果のデータが記憶される。
入出力部３０４は、操作部３１からの入力を受け付けたり、不図示の入出力ポートとして、例えば、後述する仮生成映像変換パターンデータを外部から入力して、ＣＰＵ３０１の制御によって仮生成映像変換パターンデータ保持部２７３に記録する。
制御部２７１は、キャプチャ前段処理部２５０、描画処理部２７２、バッファ管理部２７７、映像出力部２７９と制御信号線で接続されている。
制御部２７１は、操作部３５１によって生成映像の生成パターンの変更指示を入力すると、描画処理部２７２と、キャプチャ前段処理部２５０とに生成映像の生成パターンの変更を指示する。なお、制御部２７１は、車両情報を入出力部３０４を介して車両側から取得して、取得した車両情報に基づいて生成映像の生成パターンの変更を描画処理部２７２と、キャプチャ前段処理部２５０とに指示してもよい。例えば、ギアがバックに入れられた場合には、後方を広く表示する生成映像に切り替える指示を描画処理部２７２と、キャプチャ前段処理部２５０とに指示して、結合映像における後方画像の面積を大きくし、広く表示された後方の解像度を確保する。
制御部２７１は、操作部３５１によって生成映像の生成パターンの変更指示を入力すると、描画処理部２７２と、キャプチャ前段処理部２５０とに生成映像の生成パターンの変更を指示する。なお、制御部２７１は、車両情報を入出力部３０４を介して車両側から取得して、取得した車両情報に基づいて生成映像の生成パターンの変更を描画処理部２７２と、キャプチャ前段処理部２５０とに指示してもよい。例えば、ギアがバックに入れられた場合には、後方を広く表示する生成映像に切り替える指示を描画処理部２７２と、キャプチャ前段処理部２５０とに指示して、結合映像における後方画像の面積を大きくし、広く表示された後方の解像度を確保する。
また、制御部２７１は、生成映像データの生成タイミングを１フレームごとに管理する。制御部２７１は、１フレーム分の生成映像データが描画処理部２７２によって生成映像バッファ２７８に書き込まれると、描画処理部２７２から１フレーム処理完了通知を受け取る。描画処理部２７２から１フレーム処理完了通知を受け取ると、制御部２７１は、描画処理部２７２に次の１フレームの生成映像データの描画開始を指示する（この処理の詳細については、フローチャートを参照しながら後ほど説明する）。
また、制御部２７１は、生成映像データを書き込む生成映像バッファ２７８の切替え指示信号をバッファ管理部２７７に出力する。本実施例では、生成映像バッファ２７８は、生成映像バッファ２７８Ａと、生成映像バッファ２７８Ｂの２つを備えている。制御部２７１は、描画処理部２７２が生成映像データを書き込む生成映像バッファを選択する。また、制御部２７１は、生成映像データを読み出す生成映像バッファ２７８の切替え指示信号をバッファ管理部２７７に出力する。また、制御部２７１は、映像出力部２７９が１フレーム分の生成映像を出力すると、映像出力部２７９から１フレーム分の生成映像の出力を完了したことを示す１フレーム出力完了通知を入力する。
キャプチャ前段処理部２５０の映像出力ＩＦ部２５８から出力された結合映像データは、映像キャプチャ部２７５に入力される。映像キャプチャ部２７５は、映像出力ＩＦ部２５８から出力された結合映像データを入力して、映像キャプチャバッファ２７６に出力する。
映像キャプチャバッファ２７６は、映像キャプチャ部２７５から出力された結合映像データを格納することで、映像をキャプチャする。映像キャプチャバッファ２７６に格納された結合映像データは、描画処理部２７２の読み出し指示に従って映像キャプチャバッファ２７６から描画処理部２７２に出力される。
仮生成映像変換パターンデータ記憶部２７３には、図１４Ａに示す仮生成映像変換パターンデータ（座標変換データ）が記憶されている。仮生成映像変換パターンは、各カメラ映像を生成映像データに変換するための座標変換のデータである。このデータは、パソコン等の情報処理装置によって作成され、制御部２７１の制御によって仮生成映像変換パターンデータ保持部２７３に記録される。なお、仮生成映像変換パターンデータとは、キャプチャ前段処理部により各カメラ映像を切り出し・縮小・結合する前の映像から生成映像を生成するためのデータであり、制御部２７１により座標値を補正したデータは、生成映像変換パターンデータとして生成映像変換パターンデータ保持部２７４に記録される。仮生成映像変換パターンデータは、例えば、図１４Ａに示すようにポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、各頂点の変換前の座標値情報と、各頂点の変換後の生成映像データの座標値情報とを含む。なお、ポリゴンとは、結合映像データから生成映像データに変換するときの座標変換の処理単位となる映像上の区画であり、ポリゴン番号とは、ポリゴンを識別する番号である。なお、ポリゴン番号と頂点番号は必ずしも必要ではない。
また、仮生成映像変換パターンは、図１４Ｂに示すパターンデータであってもよい。図１４Ｂに示す仮生成映像変換パターンは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、各頂点の変換前の映像データ上での座標値情報と、３次元映像処理空間に定義された映像投影面上の座標値と、３次元映像処理空間の視点ベクトルデータとを含む。視点ベクトルデータとは、映像投影面をどこから見て生成映像データを作成するのかを決定するデータである（図１７参照）。
また、仮生成映像変換パターンは、図１４Ｂに示すパターンデータであってもよい。図１４Ｂに示す仮生成映像変換パターンは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、各頂点の変換前の映像データ上での座標値情報と、３次元映像処理空間に定義された映像投影面上の座標値と、３次元映像処理空間の視点ベクトルデータとを含む。視点ベクトルデータとは、映像投影面をどこから見て生成映像データを作成するのかを決定するデータである（図１７参照）。
描画処理部２７２は、生成映像変換パターンデータ保持部２７４に記憶された生成映像変換パターンを参照して、映像キャプチャバッファ２７６から読み出した結合映像データを生成映像データに変換していく。変換方法には、例えば、テクスチャマッピング等の方法が用いられる。描画処理部２７２は、生成した生成映像データを生成映像バッファ２７８に記録する。
生成映像バッファ２７８に記憶された生成映像データは、映像出力部２７９によって読み出され、表示部３５２に表示される。
次に、結合映像データから生成映像データを生成するための制御部２７１の処理手順について図１５に示すフローチャートを参照しながら説明する。
まず、制御部２７１は、生成映像データの生成パターンの変更指示が操作部３５１より入力されたか否かを判定する（ステップＳ１）。生成パターンの変更指示を入力した場合（ステップＳ１：ＹＥＳ）、制御部２７１は、描画処理部２７２に生成パターンの変更を指示する（ステップＳ２）。次に、制御部２７１は、キャプチャ前段処理部２５０にも結合映像の生成パターンの変更指示を出力する（ステップＳ３）。次に、制御部２７１は、キャプチャ前段処理部２５０から結合映像の生成パターンの変更完了通知があったか否かを判定する（ステップＳ４）。制御部２７１は、キャプチャ前段処理部２５０から変更完了通知を受信するまで次の処理を待機する（ステップＳ４：ＮＯ）。キャプチャ前段処理部２５０のキャプチャ映像部分管理部２５３は、制御部２７１によって指示された生成パターンに該当する設定情報を設定保持部２５２から取り出す。そして、キャプチャ映像部分管理部２５３は、設定情報を参照して、指示された生成パターンに使用される各映像データの使用範囲を第１映像切出部２３２〜第４映像切出部２４６にそれぞれ指示する。また、キャプチャ映像部分管理部２５３は、設定情報を参照して、指示された生成パターンの縮小率を第１拡大縮小部２３３〜第４拡大縮小部２４７にそれぞれ指示する。
まず、制御部２７１は、生成映像データの生成パターンの変更指示が操作部３５１より入力されたか否かを判定する（ステップＳ１）。生成パターンの変更指示を入力した場合（ステップＳ１：ＹＥＳ）、制御部２７１は、描画処理部２７２に生成パターンの変更を指示する（ステップＳ２）。次に、制御部２７１は、キャプチャ前段処理部２５０にも結合映像の生成パターンの変更指示を出力する（ステップＳ３）。次に、制御部２７１は、キャプチャ前段処理部２５０から結合映像の生成パターンの変更完了通知があったか否かを判定する（ステップＳ４）。制御部２７１は、キャプチャ前段処理部２５０から変更完了通知を受信するまで次の処理を待機する（ステップＳ４：ＮＯ）。キャプチャ前段処理部２５０のキャプチャ映像部分管理部２５３は、制御部２７１によって指示された生成パターンに該当する設定情報を設定保持部２５２から取り出す。そして、キャプチャ映像部分管理部２５３は、設定情報を参照して、指示された生成パターンに使用される各映像データの使用範囲を第１映像切出部２３２〜第４映像切出部２４６にそれぞれ指示する。また、キャプチャ映像部分管理部２５３は、設定情報を参照して、指示された生成パターンの縮小率を第１拡大縮小部２３３〜第４拡大縮小部２４７にそれぞれ指示する。
キャプチャ前段処理部２５０から変更完了通知を受信すると（ステップＳ４：ＹＥＳ）、制御部２７１は、バッファ管理部２６７から１フレームの生成映像データの処理終了通知があったか否かを判定する（ステップＳ５）。制御部２７１は、バッファ管理部２７７から処理終了通知を受信するまで次の処理を待機する（ステップＳ５）。バッファ管理部２７７から処理終了通知を受信すると（ステップＳ５：ＹＥＳ）、制御部２７１は映像出力部２７９から１フレームの生成映像データの出力終了通知があったか否かを判定する（ステップＳ６）。制御部２７１は、映像出力部２７９から出力終了通知を受信するまで次の処理を待機する（ステップＳ６）。映像出力部２７９から出力終了通知を受信すると（ステップＳ６：ＹＥＳ）、制御部２７１は、生成映像バッファ２７８の切り替え指示をバッファ管理部２７７に出力する（ステップＳ７）。生成映像バッファ２７８の切り替え指示をバッファ管理部２７７に出力すると、制御部２７１は、次の１フレームの生成映像データの生成開始を描画処理部２７２に指示する（ステップＳ８）。
次に、仮生成映像変換パターンデータを用いて、生成映像変換パターンデータと、キャプチャ前段処理部２５０の設定保持部２５２に保存される設定情報とを生成する制御部２７１の処理手順を図１６に示すフローチャートを参照しながら説明する。なお、以降の処理は、カメラ映像データを実際に入力して処理を行っているわけではなく、制御部２７１の計算上での処理、または生成映像の設計時にＰＣ等で行う処理となる。
まず、事前の準備として、パソコン等の情報処理装置にインストールされたアプリケーションソフトウェアを用いて生成映像を設計する。
ユーザは、アプリケーションソフトウェアに、映像投影面形状のデータ、視点ベクトル、映像の表示範囲等のデータを入力する。アプリケーションソフトウェアは、入力されたデータに基づいて、カメラ映像から生成映像に変換するための座標変換データ（仮生成映像変換パターンデータ）を生成する。アプリケーションソフトウェアによって生成された仮生成映像変換パターンデータは、入出力部３０４を介して制御部２７１内に取り込まれ、制御部２７１の制御により仮生成映像変換パターンデータ保持部２７３に記録される。
なお、映像投影面形状のデータとは、カメラ１１０〜１４０によって撮影された複数の映像を投影させる投影面の形状を示すデータであり、カメラ映像を生成映像に変換するためのデータである（図１７参照）。また、視点ベクトルデータとは、図１７に示す映像投影面をどこから見て生成映像を作成するかを示すデータである。この映像投影面と視点ベクトルデータにより各カメラ１１０〜１４０によって撮影された映像の部分毎の表示時の倍率が変化する。また、映像の表示範囲のデータは、図１７に示すように映像を表示させる範囲を示すデータである。
まず、事前の準備として、パソコン等の情報処理装置にインストールされたアプリケーションソフトウェアを用いて生成映像を設計する。
ユーザは、アプリケーションソフトウェアに、映像投影面形状のデータ、視点ベクトル、映像の表示範囲等のデータを入力する。アプリケーションソフトウェアは、入力されたデータに基づいて、カメラ映像から生成映像に変換するための座標変換データ（仮生成映像変換パターンデータ）を生成する。アプリケーションソフトウェアによって生成された仮生成映像変換パターンデータは、入出力部３０４を介して制御部２７１内に取り込まれ、制御部２７１の制御により仮生成映像変換パターンデータ保持部２７３に記録される。
なお、映像投影面形状のデータとは、カメラ１１０〜１４０によって撮影された複数の映像を投影させる投影面の形状を示すデータであり、カメラ映像を生成映像に変換するためのデータである（図１７参照）。また、視点ベクトルデータとは、図１７に示す映像投影面をどこから見て生成映像を作成するかを示すデータである。この映像投影面と視点ベクトルデータにより各カメラ１１０〜１４０によって撮影された映像の部分毎の表示時の倍率が変化する。また、映像の表示範囲のデータは、図１７に示すように映像を表示させる範囲を示すデータである。
まず、制御部２７１は、仮生成映像変換パターンデータ保持部２７３に記憶した仮生成映像変換パターンデータを参照して、各カメラ映像の使用部分の座標値を算出する（ステップＳ１１）。
仮生成映像変換パターンデータは、複数のカメラ映像から生成映像に変換するための変換データであるので、制御部２７１は、仮生成映像変換パターンデータからカメラ映像の使用範囲（座標値）を算出する。具体的には、仮生成映像変換パターンデータに基づいて、生成映像データ側の表示範囲に対応する各カメラ映像の頂点座標を検出し、頂点座標の最大値と最小値（Ｘｍｉｎ，Ｙｍｉｎ）とを算出する。制御部２７１は、算出した頂点座標の最大値と最小値（Ｘｍｉｎ，Ｙｍｉｎ）を対角頂点とする長方形の座標値を使用範囲として出力する。図１８Ａ〜１８Ｄに前方映像、後方映像、左方映像、右方映像の各使用範囲を決定する様子を示す。なお、図１８Ａ〜１８Ｄに点線で示すように、使用範囲を自由形状で取り出す場合には、使用する部分の最外縁の辺を結ぶ形状として使用範囲を算出する。
仮生成映像変換パターンデータは、複数のカメラ映像から生成映像に変換するための変換データであるので、制御部２７１は、仮生成映像変換パターンデータからカメラ映像の使用範囲（座標値）を算出する。具体的には、仮生成映像変換パターンデータに基づいて、生成映像データ側の表示範囲に対応する各カメラ映像の頂点座標を検出し、頂点座標の最大値と最小値（Ｘｍｉｎ，Ｙｍｉｎ）とを算出する。制御部２７１は、算出した頂点座標の最大値と最小値（Ｘｍｉｎ，Ｙｍｉｎ）を対角頂点とする長方形の座標値を使用範囲として出力する。図１８Ａ〜１８Ｄに前方映像、後方映像、左方映像、右方映像の各使用範囲を決定する様子を示す。なお、図１８Ａ〜１８Ｄに点線で示すように、使用範囲を自由形状で取り出す場合には、使用する部分の最外縁の辺を結ぶ形状として使用範囲を算出する。
次に、制御部２７１は、各カメラ映像を生成画像に変換したときの画素拡大率を算出する（ステップＳ１２）。
制御部２７１は、このステップＳ１２における処理を各カメラ映像に行う。制御部２７１は、生成映像を構成するすべての映像処理単位（ポリゴン）について、カメラ映像上でのポリゴンの座標値と比較し、座標変換した際の画素拡大率を求める（ステップＳ１２）。ポリゴンが座標変換の際の処理単位（画素）であり、制御部２７１は、ポリゴンの座標変換前の座標値と座標変換後の座標値とを求めて画素拡大率を求める。画素拡大率の算出方法は、例えば、カメラ映像のＸ軸方向、Ｙ軸方向でそれぞれに算出する方法や、変換前のカメラ映像側のポリゴンの面積と、変換後の生成映像側のポリゴンの面積との比で算出する方法などが挙げられる。図１９に算出結果の一例を示す。
制御部２７１は、このステップＳ１２における処理を各カメラ映像に行う。制御部２７１は、生成映像を構成するすべての映像処理単位（ポリゴン）について、カメラ映像上でのポリゴンの座標値と比較し、座標変換した際の画素拡大率を求める（ステップＳ１２）。ポリゴンが座標変換の際の処理単位（画素）であり、制御部２７１は、ポリゴンの座標変換前の座標値と座標変換後の座標値とを求めて画素拡大率を求める。画素拡大率の算出方法は、例えば、カメラ映像のＸ軸方向、Ｙ軸方向でそれぞれに算出する方法や、変換前のカメラ映像側のポリゴンの面積と、変換後の生成映像側のポリゴンの面積との比で算出する方法などが挙げられる。図１９に算出結果の一例を示す。
次に、制御部２７１は、各カメラ映像の画素拡大率代表値を決定する（ステップＳ１３）。上述したステップＳ１２でポリゴンごとに求めた画素拡大率を用いて、制御部２７１は、各カメラ映像の画素拡大率代表値を決定する。制御部２７１は、各ポリゴンの画素拡大率のうち、最大のものを選択して該当するカメラ映像の画素拡大率代表値とする。この他に、各ポリゴンの画素拡大率のうち、最小のものを選択して画素拡大率代表値としてもよいし、各ポリゴンの画素拡大率の平均値や中間値を求めて、この平均値や中間値を画素拡大率代表値としてもよい。
図２０に、各カメラ映像ごとの画素拡大率代表値の一例を示す。図２０に示す例では、Ｘ方向、Ｙ方向での画素拡大率代表値を各カメラ映像にそれぞれ求めている。
図２０に、各カメラ映像ごとの画素拡大率代表値の一例を示す。図２０に示す例では、Ｘ方向、Ｙ方向での画素拡大率代表値を各カメラ映像にそれぞれ求めている。
次に、制御部２７１は、ステップＳ１１で取り出した各カメラ映像の使用部分（部分映像という。なお、実際の映像データではないので部分映像データとは呼ばない）の座標値を用いて、画素拡大率代表値が１未満のカメラ映像について、部分映像を画素拡大率代表値倍に縮小（画素拡大率代表値が１となるように縮小する）する（ステップＳ１４）。具体的には、部分映像に画素拡大率代表値をかけ、部分映像を画素拡大率代表値倍に縮小し、画素拡大率代表値倍をかけた部分映像のＸ軸方向、Ｙ軸方向の画素数（ΔＸｔｅｍｐ，ΔＹｔｅｍｐ）をそれぞれ求める。また、制御部２７１は、画素拡大率代表値が１以上のカメラ映像については、なんら処理を行わず、そのままＸ軸方向、Ｙ軸方向の画素数をそれぞれ求める。
次に、制御部２７１は、すべての部分映像が規定の結合映像サイズ内に収まるか否かを判定する（ステップＳ１５）。結合映像とは、複数のカメラ映像を結合した映像をいい、この結合映像に対して映像生成部２７０で変換処理を施して生成映像を作成するため、結合映像のサイズが規定サイズ（予め定義されたサイズ）として決められている。制御部２７１は、図２１に示すようにすべての部分映像を結合映像内に配置して、結合映像内に部分映像が配置可能であるか否かを判定する。
結合映像内に部分映像が配置可能であった場合には（ステップＳ１６：ＹＥＳ）、制御部２７１は、画素拡大率代表値倍をかけた部分映像の画像サイズ情報を記録してステップＳ２０に移行する。
また、結合映像内に部分映像が配置可能でなかった場合（ステップＳ１６：ＮＯ）、制御部２７１は、画素拡大率代表値が１以上のカメラ映像について、部分映像を画素拡大率代表値倍に拡大する（ステップＳ１７）。すなわち、拡大後の使用部分映像の画素拡大率代表値が１となるように拡大する。そして、制御部２７１は、画素拡大率代表値に拡大した部分映像の画素数をＸ軸方向、Ｙ軸方向でそれぞれ求める（ステップＳ１７）。
また、結合映像内に部分映像が配置可能でなかった場合（ステップＳ１６：ＮＯ）、制御部２７１は、画素拡大率代表値が１以上のカメラ映像について、部分映像を画素拡大率代表値倍に拡大する（ステップＳ１７）。すなわち、拡大後の使用部分映像の画素拡大率代表値が１となるように拡大する。そして、制御部２７１は、画素拡大率代表値に拡大した部分映像の画素数をＸ軸方向、Ｙ軸方向でそれぞれ求める（ステップＳ１７）。
次に、制御部２７１は、全ての部分映像の組み合わせのうち、画素の縦横比が結合映像の縦横比に最も近く、結合映像の画像サイズに縮小する際の縮小率が最も小さい部分映像の組み合わせと、そのときの縮小率とを算出する（ステップＳ１８）。
すなわち、制御部２７１は、ステップＳ１４で求めた画素拡大率代表値倍に縮小した部分映像と、ステップＳ１７で求めた画素拡大率代表値倍に拡大した部分映像（以下、これらを仮のサイズの部分映像と呼ぶ）とを図２２Ａ、図２２Ｂに示すように結合映像の画像サイズ内で並び替える。そして、制御部２７１は、画素の縦横比が結合映像の縦横比に最も近く、結合映像の画像サイズに縮小する際の縮小率が最も小さい部分映像の組み合わせと、そのときの縮小率とを算出する。図２２Ａには、前後左右方向の仮のサイズの部分映像を示している。また、図２２Ｂには、これら仮のサイズの部分映像を組み換えている様子を示す。
すなわち、制御部２７１は、ステップＳ１４で求めた画素拡大率代表値倍に縮小した部分映像と、ステップＳ１７で求めた画素拡大率代表値倍に拡大した部分映像（以下、これらを仮のサイズの部分映像と呼ぶ）とを図２２Ａ、図２２Ｂに示すように結合映像の画像サイズ内で並び替える。そして、制御部２７１は、画素の縦横比が結合映像の縦横比に最も近く、結合映像の画像サイズに縮小する際の縮小率が最も小さい部分映像の組み合わせと、そのときの縮小率とを算出する。図２２Ａには、前後左右方向の仮のサイズの部分映像を示している。また、図２２Ｂには、これら仮のサイズの部分映像を組み換えている様子を示す。
次に、制御部２７１は、ステップＳ１８で求めた縮小率と、画素拡大率代表値とに基づいて、各部分映像の実際の縮小率を算出する（ステップＳ１９）。具体的には、制御部２７１は、各部分映像ごとに縮小率と画素拡大率代表値との積を求める。
次に、制御部２７１は、ステップＳ１９で算出した縮小率が１未満（すなわち、拡大）になっている部分映像があるか否かを判定する（ステップＳ２０）。縮小率が１未満の部分映像がある場合には、制御部２７１は、縮小率が１未満の部分映像の縮小率を１に置き換え、結合映像上での組み合わせ位置を変更せずに、部分映像の再配置を行う。再配置によって結合映像の画像サイズ内で余裕が生じた場合には、制御部２７１は、縮小率が１以上（すなわち、縮小する）部分映像の縮小率が１に近づくように部分映像ごとに均等に縮小率を変更する（ステップＳ２１）。図２３Ａ〜図２３Ｄに示す例では、まず、制御部２７１は、図２３Ａに示すＣ、Ｄの部分映像の縮小率が１未満であるので、これらの部分映像の縮小率を１とするサイズ変換を行う。サイズ変換の結果を図２３Ｂに示す。次に、制御部２７１は、部分映像Ａ、Ｂの縮小率が１以上（すなわち縮小）であるので、これらの部分映像の縮小率を１とするサイズ変換を行い、これらの部分映像を再配置する。サイズ変換と、再配置の結果を図２３Ｃ、図２３Ｄに示す。
このような手順を経て制御部２７１は結合映像パターンを決定する。制御部２７１は、決定した結合映像パターンデータを設定情報として、キャプチャ前段処理部２５０に出力し、設定保持部２５２に記録させる（ステップＳ２２）。
次に、制御部２７１は、カメラ映像の結合映像への配置情報（設定情報）を用いて仮生成映像変換パターンデータを補正する（ステップＳ２３）。制御部２７１は補正した仮生成映像変換パターンデータを生成映像変換パターンデータとして生成映像変換パターンデータ保持部２６４に保存する。なお、仮生成映像変換パターンデータから生成映像変換パターンデータに補正する際に、カメラの車両への設置条件情報、カメラ特性データ等を用いて、カメラの設置条件に対応するための補正を合わせて行っても良い。カメラの設置条件情報には、カメラの位置座標（Ｘ，Ｙ，Ｚ）、取り付け角度（ヨー角、俯角、ロール角）などが含まれる。また、カメラ特性データには、カメラ映像の画素数（水平、垂直）、画角（水平、垂直）、レンズディストーションデータ等が含まれる。
次に、制御部２７１は、カメラ映像の結合映像への配置情報（設定情報）を用いて仮生成映像変換パターンデータを補正する（ステップＳ２３）。制御部２７１は補正した仮生成映像変換パターンデータを生成映像変換パターンデータとして生成映像変換パターンデータ保持部２６４に保存する。なお、仮生成映像変換パターンデータから生成映像変換パターンデータに補正する際に、カメラの車両への設置条件情報、カメラ特性データ等を用いて、カメラの設置条件に対応するための補正を合わせて行っても良い。カメラの設置条件情報には、カメラの位置座標（Ｘ，Ｙ，Ｚ）、取り付け角度（ヨー角、俯角、ロール角）などが含まれる。また、カメラ特性データには、カメラ映像の画素数（水平、垂直）、画角（水平、垂直）、レンズディストーションデータ等が含まれる。
なお、ステップＳ１４とステップＳ１７で画素拡大率代表値が１未満の部分映像と、画素拡大率代表値が１以上の部分映像とを画素拡大率代表値が１になるように部分映像の画像サイズを変更している。このため、実際のデータ処理において、結合映像データから生成映像データへの座標変換に伴って拡大される部分映像データの画素拡大率の代表値は各部分映像間で同等となる。
なお、上述した処理手順以外に、例えば、カメラ映像の中に優先度を設定している場合には、この優先度の高いカメラ映像の縮小率を最初に決定してから、他のカメラ映像の縮小率を決定してもよい。例えば、前方映像を優先指定する場合には、前方のカメラ映像から部分映像データを切り出し、この部分映像データのサイズは、変更せずに固定とする。そして、他のカメラ映像から切り出した部分映像データのサイズを結合映像データのサイズ内に収まるように縮小するとよい。また、各カメラ映像から部分映像データを切り出した後に、全ての部分映像データの縮小率を算出した後に、優先度の高い映像データの縮小率を５０％削減し、残りの部分映像データの縮小率を結合映像データのサイズ内に入るように変更してもよい。
このように本実施例によれば、生成映像を生成するための座標変換データを用意しておけば、映像処理装置１でカメラ映像の切り出し範囲や、縮小率を計算して、実際に入力したカメラ映像から結合映像データを生成し、それを用いて生成映像データを生成することができる。また、座標変換データを複数用意しておけば、例えば、車両の走行状態に応じて映像パターンを変更した生成映像データを生成することもできる。
また、部分映像の画素拡大率の代表値が各部分映像間で同等となるように各部分映像のサイズを調整しているので、生成映像を生成するための座標変換を行った時にほぼ均等に部分映像を拡大することができる。
また、優先度の高い映像データが縮小されないように部分映像のサイズを調整しているので、優先度の高い映像データが生成映像の生成時に縮小されてしまうことがない。
上述した実施例は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
例えば、上述した実施例では、すべてのポリゴンについて画素拡大率を算出していたが、車両から離れた周辺部のポリゴンについては画素拡大率を算出しないようにしてもよい。車両の近傍の映像だけが運転支援には重要と考え、それ以外の映像については高解像度化が不要と考えて処理の対象から外す。
また、図２４に示すようにカメラ映像から部分映像を切り出すときに、部分映像を自由形状で切り出すようにしてもよい。図２４には、自由形状で切り出された部分映像を結合した結合映像データの例を示す。
例えば、上述した実施例では、すべてのポリゴンについて画素拡大率を算出していたが、車両から離れた周辺部のポリゴンについては画素拡大率を算出しないようにしてもよい。車両の近傍の映像だけが運転支援には重要と考え、それ以外の映像については高解像度化が不要と考えて処理の対象から外す。
また、図２４に示すようにカメラ映像から部分映像を切り出すときに、部分映像を自由形状で切り出すようにしてもよい。図２４には、自由形状で切り出された部分映像を結合した結合映像データの例を示す。
１１０ 第１撮影部
１２０ 第２撮影部
１３０ 第３撮影部
１４０ 第４撮影部
２００ 映像処理部
２１０ 映像入力部
２２０ 加工処理部
２３０ 映像加工部
２５０ キャプチャ前段処理部
２５２ 設定保持部
２５３ キャプチャ映像部分管理部
２５４ 書き込み制御部
２５６ 結合映像フレームバッファ
２５７ 読み出し制御部
２７０ 映像生成部
２７１ 制御部
２７２ 描画処理部
２７３ 仮生成映像変換パターンデータ保持部
２７４ 生成映像変換パターンデータ保持部
２７７ バッファ管理部
２７８ 生成映像バッファ
２７９ 映像出力部
３５１ 操作部
３５２ 表示部
１２０ 第２撮影部
１３０ 第３撮影部
１４０ 第４撮影部
２００ 映像処理部
２１０ 映像入力部
２２０ 加工処理部
２３０ 映像加工部
２５０ キャプチャ前段処理部
２５２ 設定保持部
２５３ キャプチャ映像部分管理部
２５４ 書き込み制御部
２５６ 結合映像フレームバッファ
２５７ 読み出し制御部
２７０ 映像生成部
２７１ 制御部
２７２ 描画処理部
２７３ 仮生成映像変換パターンデータ保持部
２７４ 生成映像変換パターンデータ保持部
２７７ バッファ管理部
２７８ 生成映像バッファ
２７９ 映像出力部
３５１ 操作部
３５２ 表示部
Claims (4)
- 複数の撮像装置と表示装置と連携可能であり、前記複数の撮像装置で撮像された複数の映像データを入力して、複数種類の生成映像データを生成して前記表示装置に出力可能な映像処理装置であって、
前記複数種類の生成映像データのパターン毎にあらかじめ算出しておいた座標変換データを参照して算出された、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報と、前記各映像データの使用部分を結合した結合映像データを座標変換して前記生成映像データを生成する際の、前記各映像データの使用部分の画素の拡大率と、前記各映像データの使用部分を結合する際に、前記結合映像データの予め定義されたサイズ内に収まるように前記各映像データの使用部分の配置パターンと前記各映像データの使用部分の縮小率とを変更した場合の前記縮小率とに基づいて決定された、前記各映像データの使用部分の縮小率情報を含む配置情報とを記憶するパターン情報記憶部と、
生成する生成映像データのパターンを選択する生成映像パターン選択部と、
前記複数の映像と、選択された生成映像データのパターンに応じた配置情報とに基づいて、前記各映像データの使用部分を縮小して記憶部に記憶させて前記結合映像データを生成する加工部と、
生成された前記結合映像データを前記座標変換データを用いて座標変換し、前記生成映像データを生成して前記表示装置に出力する映像出力部と、
を有する、映像処理装置。 - 更に、前記座標変換データを参照して、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報を算出する座標値算出部と、
前記各映像データの使用部分の前記縮小率情報を含む前記配置情報を求める配置算出部とを有し、
前記加工部は、前記複数の映像データを、前記使用部分情報と前記配置情報とに基づいて、各映像データの使用部分を縮小して前記記憶部に記憶させて前記結合映像データを生成する、請求項１に記載の映像処理装置。 - 前記配置情報の算出は、前記結合映像データから前記生成映像データへの座標変換の際に、該座標変換の処理単位または画素単位の画素拡大率の平均値と、中間値と、最大値または最小値とのいずれか１つが前記各映像データの使用部分間で同等となり、かつ、あらかじめ定義された前記結合映像データのサイズ内に収まるように、各映像データの使用部分の縮小率と前記結合映像データ上の配置とを算出する、請求項１乃至２に記載の映像処理装置。
- 前記配置情報の算出は、前記複数の映像のうち、予め設定された優先度の高い映像の使用部分の映像の縮小率を固定した後に行うことを特徴とする請求項１乃至３に記載の映像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009088370A JP5195592B2 (ja) | 2009-03-31 | 2009-03-31 | 映像処理装置 |
| US12/654,432 US8736665B2 (en) | 2009-03-31 | 2009-12-18 | Video processing apparatus |
| EP09180664.6A EP2237228B1 (en) | 2009-03-31 | 2009-12-23 | Combination of videos from multiple cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009088370A JP5195592B2 (ja) | 2009-03-31 | 2009-03-31 | 映像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010239596A JP2010239596A (ja) | 2010-10-21 |
| JP5195592B2 true JP5195592B2 (ja) | 2013-05-08 |
Family
ID=42312826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009088370A Active JP5195592B2 (ja) | 2009-03-31 | 2009-03-31 | 映像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8736665B2 (ja) |
| EP (1) | EP2237228B1 (ja) |
| JP (1) | JP5195592B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011257940A (ja) * | 2010-06-08 | 2011-12-22 | Panasonic Corp | 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム |
| KR101323468B1 (ko) | 2010-08-05 | 2013-10-29 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
| DE102011010624B4 (de) * | 2011-02-08 | 2014-10-16 | Mekra Lang Gmbh & Co. Kg | Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs |
| EP2892230A4 (en) | 2012-08-30 | 2015-09-02 | Fujitsu Ltd | IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM |
| JP6079131B2 (ja) * | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
| JP6477562B2 (ja) * | 2016-03-18 | 2019-03-06 | 株式会社デンソー | 情報処理装置 |
| WO2018020751A1 (ja) * | 2016-07-26 | 2018-02-01 | 株式会社Ｊｖｃケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
| CN108965919A (zh) * | 2018-07-31 | 2018-12-07 | 优视科技新加坡有限公司 | 视频处理方法、装置、设备/终端/服务器及计算机可读存储介质 |
| JP7038643B2 (ja) * | 2018-11-26 | 2022-03-18 | 本田技研工業株式会社 | 映像表示装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| JPH10145777A (ja) * | 1996-11-05 | 1998-05-29 | Hitachi Denshi Ltd | 移動体におけるカメラ映像表示装置 |
| EP1408693A1 (en) * | 1998-04-07 | 2004-04-14 | Matsushita Electric Industrial Co., Ltd. | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus |
| JP3573653B2 (ja) | 1998-04-07 | 2004-10-06 | 松下電器産業株式会社 | 車載画像表示装置 |
| EP2267656A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
| KR20010112433A (ko) * | 1999-04-16 | 2001-12-20 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상처리장치 및 감시시스템 |
| JP3300337B2 (ja) | 2000-04-28 | 2002-07-08 | 松下電器産業株式会社 | 画像処理装置および監視システム |
| JP3753681B2 (ja) | 2000-07-19 | 2006-03-08 | 松下電器産業株式会社 | 監視システム |
| KR20020033816A (ko) | 2000-07-19 | 2002-05-07 | 마츠시타 덴끼 산교 가부시키가이샤 | 감시시스템 |
| JP4762698B2 (ja) * | 2005-11-30 | 2011-08-31 | アルパイン株式会社 | 車両周辺画像表示装置 |
| JP5013773B2 (ja) * | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | 車載画像処理装置及びその視点変換情報生成方法 |
| JP2008289091A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | 画像表示装置及び監視カメラシステム |
-
2009
- 2009-03-31 JP JP2009088370A patent/JP5195592B2/ja active Active
- 2009-12-18 US US12/654,432 patent/US8736665B2/en active Active
- 2009-12-23 EP EP09180664.6A patent/EP2237228B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US8736665B2 (en) | 2014-05-27 |
| EP2237228B1 (en) | 2019-06-05 |
| JP2010239596A (ja) | 2010-10-21 |
| US20100245607A1 (en) | 2010-09-30 |
| EP2237228A2 (en) | 2010-10-06 |
| EP2237228A3 (en) | 2015-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5195592B2 (ja) | 映像処理装置 | |
| TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
| JP5925579B2 (ja) | 半導体装置、電子装置、及び画像処理方法 | |
| EP2487908A1 (en) | Video image conversion device and image capture device | |
| JP4871820B2 (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
| JP2008079026A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2008197829A (ja) | 画像処理装置と方法およびプログラムと記録媒体 | |
| WO2013103115A1 (ja) | 画像表示装置 | |
| JP5402832B2 (ja) | 視点変換装置及び視点変換方法 | |
| JP5778177B2 (ja) | 画像撮像装置および画像提示システム | |
| JP5318225B2 (ja) | 画像合成装置及び画像合成プログラム | |
| JP2010258691A (ja) | 操縦支援装置 | |
| US10713757B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
| JP4791222B2 (ja) | 表示制御装置 | |
| JP5585885B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2010176547A (ja) | 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム | |
| US20100283864A1 (en) | Image processing system | |
| JP3642259B2 (ja) | マルチスクリーン表示装置 | |
| JP5676924B2 (ja) | 投影装置及び投影方法 | |
| JP2008153882A (ja) | 撮像表示システム | |
| JP2007180719A (ja) | 車両運転支援装置 | |
| JP5387276B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2017086029A1 (ja) | 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム | |
| WO2017134786A1 (ja) | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム | |
| JP2011227864A (ja) | 画像視点変換装置、画像視点変換方法、画像視点変換プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5195592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |