JP6582557B2 - 描画装置、描画方法および描画プログラム - Google Patents

描画装置、描画方法および描画プログラム Download PDF

Info

Publication number
JP6582557B2
JP6582557B2 JP2015108715A JP2015108715A JP6582557B2 JP 6582557 B2 JP6582557 B2 JP 6582557B2 JP 2015108715 A JP2015108715 A JP 2015108715A JP 2015108715 A JP2015108715 A JP 2015108715A JP 6582557 B2 JP6582557 B2 JP 6582557B2
Authority
JP
Japan
Prior art keywords
image
image data
data
determination distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015108715A
Other languages
English (en)
Other versions
JP2016224610A (ja
Inventor
裕子 児玉
裕子 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2015108715A priority Critical patent/JP6582557B2/ja
Priority to EP16164738.3A priority patent/EP3098777B1/en
Priority to US15/096,786 priority patent/US10382679B2/en
Priority to CN201610274422.7A priority patent/CN106204432A/zh
Publication of JP2016224610A publication Critical patent/JP2016224610A/ja
Application granted granted Critical
Publication of JP6582557B2 publication Critical patent/JP6582557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Description

本明細書で言及する実施例は、描画装置、描画方法および描画プログラムに関する。
近年、例えば、自動車に対して、画角がオーバーラップする複数のカメラを搭載し、その複数のカメラによる画像(映像)を合成処理し、運転者が自動車の周囲全体を確認しながら縦列駐車や車庫入れを行うようにした全周囲モニタが実用化されている。
すなわち、例えば、カメラなど複数の入力装置から取得した実像を、地面に見立てた三次元投影面に投影することにより、上から地面を見るような映像をシミュレートする描画装置が実用化されている。
このような描画装置(合成画像の生成装置)は、自動車に搭載される全周囲モニタ(マルチアングル全周囲モニタ)に限定されず、例えば、列車、船舶、航空機または建物に搭載され、或いは、監視カメラや家電製品または玩具等にも適用することができる。
なお、本明細書では、描画装置として、自動車の前後左右に４つのカメラを配置した全周囲モニタを例として説明するが、本実施例は、上述したように、様々な分野または対象に対して適用することができ、カメラの数も４つに限定されるものではない。
また、合成画像(描画像)に関しても、高い所から見下ろす画像(俯瞰画像)に限定されず、例えば、上空から斜めに見下ろす鳥瞰画像や下から上を仰ぎ見る仰瞰画像、或いは、様々な合成処理を行った画像であってもよいのはもちろんである。
ところで、従来、複数のカメラにより撮影された複数の画像データを処理して描画像を生成する描画技術としては、様々な提案がなされている。
国際公開第２０１１／０３６８９２号
上述したように、例えば、複数のカメラにより撮影された複数の画像データを処理して描画像を得る描画技術としては、様々な提案がなされている。しかしながら、例えば、複数の画像データを処理して描画像(例えば、俯瞰画像)をシミュレートする場合、高画質なシミュレート結果を得るには、例えば、三次元(３Ｄ)の座標に基づいて所定のカメラによる画像データを選択するといった複雑な処理を行っている。
或いは、複数のカメラによる複数の画像データを、カメラの取り付け位置等に基づいて選択するため、各カメラ(レンズ)の特性を十分に発揮させた高画質なシミュレート結果(描画データ(描画像))を得ることが難しいという課題がある。
一実施形態によれば、複数のカメラから被写体を含む複数の画像データが入力され、ＬＵＴデータを参照して座標変換したデータを出力する第１制御部と、第２制御部と、を有する描画装置が提供される。
前記第２制御部は、前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択する。さらに、前記第２制御部は、前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換える。前記第２制御部は、前記判定距離が増すにつれて前記画像データの画質が低下し、その後さらに前記判定距離が増したときに前記画像データの画質が向上する領域が存在する場合、前記画質が向上する領域に対応する判定距離に対して『１』よりも小さい定数を乗算する。
開示の描画装置、描画方法および描画プログラムは、簡単な処理で高画質の描画データを得ることができるという効果を奏する。
図１は、元画像データに対してＬＵＴデータを適用して描画像を得る様子を説明するための図である。 図２は、自動車に搭載される描画装置の一例を説明するための図(その１)である。 図３は、自動車に搭載される描画装置の一例を説明するための図(その２)である。 図４は、図２および図３に示す描画装置における描画処理の一例を説明するための図である。 図５は、図２および図３に示す描画装置における描画処理の他の例を説明するための図である。 図６は、図５に示す描画処理におけるＬＵＴデータの生成処理の一例を説明するためのフローチャートである。 図７は、自動車に搭載される描画装置のカメラ配置の一例を示す図である。 図８は、図７に示す描画装置のカメラ配置における課題の一例を説明するための図である。 図９は、図７に示す描画装置のカメラ配置における課題の他の例を説明するための図である。 図１０は、本実施例に係る描画装置を概略的に示すブロック図である。 図１１は、カメラのレンズ特性の一例を説明するための図である。 図１２は、自動車に搭載される描画装置の各カメラにより撮影される画像データを説明するための図である。 図１３は、本実施例に係る描画装置におけるＬＵＴデータの書き換え処理の一例を説明するための図(その１)である。 図１４は、本実施例に係る描画装置におけるＬＵＴデータの書き換え処理の一例を説明するための図(その２)である。 図１５は、本実施例に係る描画装置におけるＬＵＴデータの生成処理の一例を説明するためのフローチャートである。 図１６は、図１０に示す描画装置の一構成例を示すブロック図である。 図１７は、本実施例に係る描画装置の効果を説明するための図である。 図１８は、図１０に示す描画装置の変形例を概略的に示すブロック図である。
まず、本実施例の描画装置、描画方法および描画プログラムを詳述する前に、図１〜図９を参照して、描画技術の例、並びに、その課題を説明する。図１は、元画像データに対してＬＵＴ(Look Up Table)データを適用して描画像を得る様子を説明するための図である。
図１において、参照符号Ｂ１は、元画像データ(テクスチャ画像)を格納するバッファ(ＳＲＣバッファ)を示し、Ｂ２は、ＬＵＴデータ(テクスチャ座標)を格納するバッファ(ＷＡＲＰ)バッファを示す。また、参照符号Ｂ３は、描画結果(シミュレート結果)の描画像を格納するバッファ(描画バッファ)を示す。
図１に示されるように、例えば、二次元(２Ｄ)描画エンジンは、ＳＲＣバッファＢ１に格納された元画像データに対して、ＷＡＲＰバッファＢ２に格納されたＬＵＴデータを参照して座標変換し、その結果(描画結果)を描画バッファＢ３に格納する。
図２および図３は、自動車に搭載される描画装置の一例を説明するための図であり、自動車の前後左右に設けた４つのカメラにより撮影された画像データから、自動車の周囲全体の画像を生成する全周囲モニタを説明するためのものである。
図２において、参照符号１００は自動車(車両)を示し、ＣFは前カメラ、ＣBは後カメラ、ＣLは左カメラ、そして、ＣRは右カメラを示す。また、参照符号ＩFは前カメラＣFにより撮影された前画像、ＩBは後カメラＣBにより撮影された後画像、ＩLは左カメラＣLにより撮影された左画像、ＩRは右カメラＣRにより撮影された右画像、そして、Ｉoは合成された俯瞰画像(高い所から見下ろす画像)を示す。
図３において、参照符号ＶＰは視点を示し、ＣRoaは右カメラＣR(レンズ)の光軸を示し、ＰＰは投影面(Ｚ＝０)を示す。図２および図３に示されるように、描画装置(全周囲モニタ)は、例えば、画角が１８０°のカメラＣF，ＣB，ＣL，ＣRを自動車１００の前後左右に設け、各カメラからの画像(画像データ)ＩF，ＩB，ＩL，ＩRに基づいて俯瞰画像Ｉoを合成する。
具体的に、描画装置は、例えば、画像ＩF，ＩB，ＩL，ＩRを合成処理して、カメラＣF，ＣB，ＣL，ＣRの視野範囲におけるＺ＝０の投影面(地面)ＰＰに相当する三次元投影面の画像(俯瞰画像Ｉo)を生成(描画)する。
すなわち、図１を参照して説明したように、各カメラＣF，ＣB，ＣL，ＣRからの画像(実像)ＩF，ＩB，ＩL，ＩRをテクスチャ画像とし、バッファＢ２に格納された、各カメラの位置に応じて計算されたテクスチャ座標(ＬＵＴデータ)に基づいてマッピングする。
ここで、前述したように、テクスチャ座標に基づいてマッピングしたデータを計算および出力するには、２Ｄ描画エンジン(二次元グラフィックス計算装置)を使用する。この機能を、ＬＵＴ(Look Up Table)と呼び、テクスチャ座標を保持するバッファＢ２をＷＡＲＰバッファと呼ぶ。
なお、本明細書では、自動車の前後左右に４つのカメラを配置して俯瞰画像を生成する全周囲モニタを例として説明するが、カメラの数が４つに限定されるものではなく、また、生成される画像も俯瞰画像に限定されないのはいうまでもない。
さらに、描画装置としては、自動車に搭載される全周囲モニタに限定されず、例えば、ドライブモニタ、或いは、列車、船舶、航空機または建物に搭載されるモニタ、若しくは、監視カメラや家電製品または玩具等にも適用することができる。
図４は、図２および図３に示す描画装置における描画処理の一例を説明するための図である。図４に示されるように、ＳＲＣバッファＢ１に格納された前後左右のテクスチャ画像(キャプチャ入力)ＩF，ＩB，ＩL，ＩRは、ＷＡＲＰバッファＢ２に格納されたＬＵＴデータを参照してマッピング処理され、中間ファイルが生成される。
前後左右の中間ファイル(マッピング結果)は、マスク領域(図４におけるアルファマップの黒塗りつぶし領域)を規定するアルファブレンディング処理により、描画結果として描画バッファＢ３に格納される前後左右の領域が決められる。なお、アルファマップのマッピング領域(マスク領域)は、固定とされている。
すなわち、前後左右の中間ファイルにおける重複領域に関して、どの中間ファイルのデータを使用して描画像を生成するかが決められる。このようにして、描画バッファＢ３(レイヤ０)には、描画像(俯瞰画像)Ｉoが格納され、その俯瞰画像Ｉoが、レイヤ０から読み出され、例えば、ディスプレイに表示される。
ここで、図４に示されるように、例えば、２Ｄ描画エンジンは、テクスチャ画像ＩF，ＩB，ＩL，ＩRにＬＵＴデータを適用して中間ファイルを生成するのに、マッピング処理を４回行う。さらに、４つの中間ファイルに対してアルファブレンディング処理を行って描画像を生成するのに、マッピング処理を４回行う。すなわち、図４に示す描画処理は、２Ｄ描画エンジンによるマッピング処理を８回行うことになる。
図５は、図２および図３に示す描画装置における描画処理の他の例を説明するための図である。
図５に示されるように、ＳＲＣバッファＢ１に格納された前後左右のテクスチャ画像ＩF，ＩB，ＩL，ＩRは、ＷＡＲＰバッファＢ２に格納されたＬＵＴデータを参照してマッピング処理され、前後左右の描画像が描画バッファＢ３に格納される。
ここで、ＬＵＴデータは、マスク領域(図５におけるＬＵＴデータの黒塗りつぶし領域)を含み、テクスチャ画像ＩF，ＩB，ＩL，ＩRをＬＵＴデータに基づいてマッピング処理した描画像(部分描画像)は、描画バッファＢ３の異なる４つのレイヤ０〜３に格納される。なお、ＬＵＴデータのマッピング領域(マスク領域)は、固定とされている。
そして、例えば、ディスプレイに描画像(俯瞰画像)Ｉoを表示する場合、ディスプレイコントローラが、描画バッファＢ３のレイヤ０〜３に格納された４つの部分描画像を読み出して俯瞰画像Ｉoを合成し、ディスプレイに表示する。
ここで、図５に示されるように、例えば、２Ｄ描画エンジンは、テクスチャ画像ＩF，ＩB，ＩL，ＩRにＬＵＴデータを適用して部分描画像を生成するのに、マッピング処理を４回行うだけでよい。
しかしながら、生成された４つの部分描画像は、それぞれ描画バッファＢ３の異なるレイヤ０〜３に格納し、また、描画像をディスプレイに表示するには、ディスプレイコントローラによりレイヤ０〜３に格納された部分描画像を合成することになる。
このように、図４に示す描画処理は、２Ｄ描画エンジンによるマッピング処理を８回行うことになり、また、図５に示す描画処理は、描画バッファＢ３の４つのレイヤを使用することになる。さらに、図４および図５に示す描画処理は、両方ともマッピング領域が固定とされている。
図６は、図５に示す描画処理におけるＬＵＴデータの生成処理の一例を説明するためのフローチャートである。図６に示されるように、ＬＵＴデータの生成処理が開始すると、ステップＳＴ１０１において、任意の投影面の頂点座標を作成し、ステップＳＴ１０２に進む。
ここで、投影面の頂点座標とは、例えば、ポリゴン処理を行って自動車の前後左右に配置されたカメラによる撮影画像(ＩF，ＩB，ＩL，ＩR)から俯瞰画像を生成する場合等において、一般的に利用されているＸＹＺ(三次元)空間における頂点の座標である。
ステップＳＴ１０２では、ステップＳＴ１０１で作成された投影面の頂点座標およびカメラ位置等に応じたテクスチャ座標(ＬＵＴデータ)を作成し、ＬＵＴデータの生成処理を終了する。
ここで、ステップＳＴ１０２における、投影面の頂点座標およびカメラ位置等に基づいて作成したテクスチャ座標は、例えば、図５を参照して説明したように、マッピング領域が固定とされている。
図７は、自動車に搭載される描画装置のカメラ配置の一例を示す図である。ここで、自動車１００の前後左右に設けた前カメラＣF，後カメラＣB，左カメラＣLおよび右カメラＣRは、１８０°の画角を有しているものとする。
さらに、前カメラＣFは、前方中央に向けて取り付けられ、後カメラＣBは、後方中央に向けて取り付けられ、左カメラＣLは、左後方約４５°に向けて取り付けられ、そして、右カメラＣRは、右後方約１５°に向けて取り付けられている。なお、各カメラＣF，ＣB，ＣL，ＣRの取り付け角度は、単なる例であり、様々な場合があり得るのはいうまでもない。
図７の俯瞰画像Ｉoにおいて、参照符号ＲFLは、前カメラＣFで撮影された前画像ＩFと左カメラＣLで撮影された左画像ＩLが重なり合う領域を示し、ＲFRは、前画像ＩFと右カメラＣRで撮影された右画像ＩRが重なり合う領域を示す。なお、参照符号ＲFは、前画像ＩFにおいて、前カメラＣFだけが撮影可能な領域を示す。
また、俯瞰画像Ｉoにおいて、参照符号ＲBLは、後カメラＣBで撮影された後画像ＩBと左画像ＩLが重なり合う領域を示し、ＲBRは、後画像ＩBと右画像ＩRが重なり合う領域を示し、ＲBLRは、後画像ＩBと左画像ＩLと右画像ＩRが重なり合う領域を示す。なお、参照符号ＲLRは、左画像ＩLと右画像ＩRが重なり合う領域を示す。
さらに、俯瞰画像Ｉoにおいて、参照符号ＲLは、左画像ＩLにおいて、左カメラＣLだけが撮影可能な領域を示し、ＲRは、右画像ＩRにおいて、右カメラＣRだけが撮影可能な領域を示す。
従って、前カメラＣFによる前画像ＩFは、俯瞰画像Ｉoにおける領域ＲFL，ＲFおよびＲFRの描画が可能であり、後カメラＣBによる後画像ＩBは、俯瞰画像Ｉoにおける領域ＲBL，ＲBLRおよびＲBRの描画が可能である。
さらに、左カメラＣLによる左画像ＩLは、俯瞰画像Ｉoにおける領域ＲFL，ＲL，ＲBL，ＲBLRおよびＲLRの描画が可能であり、右カメラＣRによる右画像ＩRは、俯瞰画像Ｉoにおける領域ＲFR，ＲR，ＲLR，ＲBRおよびＲBLRの描画が可能である。
なお、図７では、自動車１００自体が障害になるため撮影が不可能な領域、例えば、ＲBLRおよびＲLRは考慮されておらず、実際には、これらの領域ＲBLRおよびＲLRは、それぞれＲBRおよびＲRに含まれることになる。
図８は、図７に示す描画装置のカメラ配置における課題の一例を説明するための図であり、固定のカメラマッピング処理による俯瞰画像Ｉoの描画(合成)を説明するためのものである。ここで、図８(a)は、固定のカメラマッピング領域の一例を示し、図８(b)は、そのときに描画された俯瞰画像Ｉoを示す。
図８(a)に示されるように、俯瞰画像Ｉoを描画するとき、自動車１００の前後左右に設けた前カメラＣF，後カメラＣB，左カメラＣLおよび右カメラＣRに対して、固定のカメラマッピング領域ＦF，ＦB，ＦLおよびＦRを適用すると、例えば、図８(b)のようになる。
すなわち、各カメラＣF，ＣB，ＣL，ＣRからの画像ＩF，ＩB，ＩL，ＩRは、固定のカメラマッピング領域ＦF，ＦB，ＦL，ＦRに基づいて選択され、俯瞰画像Ｉoの描画が行われる。
しかしながら、図７を参照して説明したように、例えば、左カメラＣLが、左側中央ではなく、左後方約４５°に向けて取り付けられる場合、左カメラＣLによる画像ＩLがマッピング領域ＦLの全領域をカバーすることができずに欠損領域ＤＤが生じる虞がある。
このように、固定のカメラマッピング処理を行って俯瞰画像を描画する場合、各カメラのマッピング領域(画像(映像)の使用範囲)を固定で決めることになるため、カメラ位置に依存して該当個所が写っていないカメラによる画像が使用される虞がある。
その結果、描画した俯瞰画像に欠損領域が含まれることになってしまう。この俯瞰画像(描画像)における欠損領域の問題は、複数のカメラにより撮影した各画像における最適な(最も高画質な)画像の選択にも関連する。
すなわち、固定のカメラマッピング処理を行って俯瞰画像を描画すると、描画結果に画質の低い画像が使用され、或いは、実際に写っていないカメラによる画像が使用されることになり、最適な描画結果を得ることは難しい。
なお、ユーザーが描画結果(俯瞰画像)に基づいて、各カメラの映像の使用範囲を微調整することもできるが、例えば、目視では、或る画素(ピクセル)に対してどのカメラの映像が最も画質が高く最適であるかを確認することは困難である。
図９は、図７に示す描画装置のカメラ配置における課題の他の例を説明するための図であり、最も近い位置のカメラによる画像を使用するように、最近接位置のカメラマッピング処理による俯瞰画像Ｉoの描画を説明するためのものである。ここで、図９(a)は、最近接位置のカメラマッピング領域の一例を示し、図９(b)は、そのときに描画された俯瞰画像Ｉoを示す。
図９(a)に示されるように、俯瞰画像Ｉoを描画するとき、自動車１００に設けた前カメラＣF，後カメラＣB，左カメラＣLおよび右カメラＣRに対して、最近接位置のカメラマッピング領域ＮF，ＮB，ＮLおよびＮRを適用すると、例えば、図９(b)のようになる。
すなわち、各カメラＣF，ＣB，ＣL，ＣRからの画像ＩF，ＩB，ＩL，ＩRは、最近接位置のカメラマッピング領域ＮF，ＮB，ＮLおよびＮRに基づいて選択され、俯瞰画像Ｉoの描画が行われる。
しかしながら、例えば、左カメラＣLが左後方約４５°に向けて取り付けられ、また、右カメラＣRが右後方約１５°に向けて取り付けられている場合、自動車１００の四隅の部分に欠損領域ＤＤ1，ＤＤ2，ＤＤ3，ＤＤ4が生じる虞がある。
このように、最近接位置のカメラマッピング処理を行って俯瞰画像を描画する場合、例えば、取り付けるカメラの向きを考慮していないため、カメラの向きによって写っていない部分により、描画した俯瞰画像に欠損領域が含まれることになってしまう。
すなわち、最近接位置のカメラマッピング処理を行って俯瞰画像を描画すると、やはり描画結果に画質の低い画像が使用され、或いは、実際に写っていないカメラによる画像が使用されることになり、高画質の描画データ(最適な描画結果)を得るのが困難になる。なお、例えば、カメラの向きを考慮して、その画素が写っているかどうかを判定するには、そのための追加の処理を行うことになり、好ましくない。
以下、描画装置、描画方法および描画プログラムの実施例を、添付図面を参照して詳述する。図１０は、本実施例に係る描画装置を概略的に示すブロック図である。
図１０に示されるように、本実施例の描画装置は、第１制御部(２Ｄ描画エンジン)１と、第２制御部(ＬＵＴ算出装置)２と、ＬＵＴ３と、を含み、複数のカメラ５１，５２により撮影された複数の画像データＩ1，Ｉ2から、描画像(合成画像)を生成する。ここで、カメラは、少なくとも２つ設けられ、それら少なくとも２つのカメラで撮影された少なくとも２つの画像には、同じ被写体が撮影された領域が含まれるものとする。
本実施例の描画装置において、第１制御部１は、複数のカメラ５１，５２から被写体を含む複数の画像データＩ1，Ｉ2を受け取り、ＬＵＴ(ＬＵＴデータ)３を参照して座標変換したデータを描画データとして、ディスプレイ４に出力する。
第２制御部２は、被写体について、複数の画像データＩ1，Ｉ2の光学中心との判定距離(ｄ)をそれぞれ求め、その判定距離に基づいて複数の画像データの内の１つを選択画像データとして選択する。
さらに、第２制御部２は、選択画像データにおける被写体の画素(ピクセル)に対応する座標を求め、ＬＵＴ３に格納されるＬＵＴデータを書き換える。例えば、第２制御部２は、カメラ特性(カメラのカメラ特性)に基づき、複数の画像データＩ1，Ｉ2において、撮影された同じ場所(被写体の同じ画素)に対応する座標を求めてＬＵＴデータの書き換えを行う。
ここで、カメラ特性には、例えば、レンズデータ(レンズディストーションデータ)のようなレンズに起因した特性、並びに、撮像素子(例えば、ＣＭＯＳイメージセンサ)および画像エンジン等に起因した特性を含めることができる。
ただし、説明を簡略化するために、複数のカメラ５１，５２は、レンズの画角や撮像素子等は同様のものとし、主として、レンズ特性による各撮影領域の画質に注目して記載する。
図１１は、カメラのレンズ特性の一例を説明するための図であり、カメラ(５１，５２)により撮影された画像データＩ(Ｉ1，Ｉ2)の一例を示す。図１１に示されるように、画像データ(フレームメモリ上の二次元的な画像データ)Ｉにおいて、画像中心Ｏからの距離が長い周辺部では、解像度や集光力が低くて歪みが大きく、画質が低いことが分かる。
すなわち、描画装置に適用されるカメラのレンズは、通常、魚眼レンズや(超)広角レンズと呼ばれる広い画角(例えば、１８０°の画角)のレンズであり、レンズの光軸に近い撮影領域(画像中心Ｏからの距離が短い中央部)ほど、高画質になる。
これは、一般的に、広角(魚眼)レンズでは、周辺減光や圧縮のため光軸中心(画像中心)に近い画素ほど描画精度が高く、光軸中心から遠い画素ほど描画精度が低くなる。そのため、実世界のある一点(被写体の注目位置ＯＰ)を表す画素を考えたとき、すべてのカメラの中で最も画質のよい画素とは、通常、光軸中心から最も近い画素だと言える。
そこで、図１０に示す本実施例の描画装置では、第２制御部２が、カメラ特性(レンズ特性)に基づいて、例えば、複数の画像データＩ1，Ｉ2において、判定距離ｄが最短のものを選択画像データとして選択するように、ＬＵＴデータを書き換える。
なお、図１０に示す描画装置は、カメラ５１のレンズ特性が、判定距離ｄの長さに従って、単純に画質の低下をきたす以外の場合、例えば、判定距離ｄが所定の距離までは画質が低下するが、その後、画質が向上し、再び画質が低下する場合にも対応可能である。
すなわち、第２制御部２は、レンズ特性に基づいて、判定距離ｄにより画像データＩ1またはＩ2のどちらを選択するかのＬＵＴデータを決定するため、例えば、所定の距離を超えて高画質になる判定距離ｄに対しては、定数(＜１)を乗算する。
このように、例えば、判定距離ｄが長いにも関わらず画質が高い領域が存在する場合には、その領域に対応する判定距離ｄに対して、『１』よりも小さい定数を乗算することで、画質が高い領域の画像データを選択され易くすることができる。
また、例えば、カメラ５１，５２のレンズの画角が異なる場合、或いは、撮像素子等による特性がそれぞれのカメラ５１，５２で異なる場合等においても、判定距離ｄに対して所定の処理を行うことにより、最適な画像データを選択することが可能になる。なお、このような処理は、例えば、知られている様々な手法を適用することにより実現することができる。
上述した本実施例の描画装置は、例えば、カメラを４台とし、自動車の前後左右に取り付け、それらのカメラにより撮影した画像を合成処理して俯瞰画像を生成(描画)し、ディスプレイ４に表示する全周囲モニタに適用することができる。
ただし、本実施例は、自動車に搭載される全周囲モニタに限定されず、例えば、ドライブモニタ、或いは、列車、船舶、航空機または建物に搭載されるモニタ、若しくは、監視カメラや家電製品または玩具等にも適用することができる。また、カメラの数は４つに限定されず、生成する画像も、俯瞰画像に限定されるものではない。
さらに、複数のカメラの画角や撮影された画像の解像度は、通常、同一であるが、必ずしも同一のものを適用しなくてもよい。この場合、例えば、第２制御部２による比較処理(判定距離ｄによる画像データの選択処理)を変形し、最適な画像データを選択データとして選択するようにする。
図１２は、自動車に搭載される描画装置の各カメラにより撮影される画像データを説明するための図である。ここで、図１２は、自動車(車両)１００の前後左右に設けた４つのカメラＣF，ＣB，ＣL，ＣRにより撮影された画像データ(ＩF，ＩB，ＩL，ＩR)から、自動車の周囲全体の画像(俯瞰画像)Ｉoを生成する全周囲モニタの場合を示す。
また、図１２において、前述した図７と同様に、左カメラＣLは、左後方約４５°に向けて取り付けられ、右カメラＣRは、右後方約１５°に向けて取り付けられている。すなわち、前カメラＣFの光軸ＣFoaは前方中央に向けられ、後カメラＣBの光軸ＣBoaは後方中央に向けられ、左カメラＣLの光軸ＣLoaは左後方約４５°に向けられ、そして、右カメラＣRの光軸ＣRoaは右後方約１５°に向けられている。
このように、例えば、自動車１００の前後左右に設けられた画角が１８０°のカメラＣF，ＣB，ＣL，ＣRで撮影した画像データＩF，ＩB，ＩL，ＩRから、俯瞰画像(Ｚ＝０の投影面(地面)に相当する三次元投影面の画像)Ｉoを合成(描画)する場合を考える。
図１２に示されるように、まず、すべてのカメラＣF，ＣB，ＣL，ＣRにより被写体(周囲)を撮影する。このとき、例えば、俯瞰画像Ｉoにおける左側前方角の位置(被写体の注目位置ＯＰ)は、画角から外れるため、後カメラＣBおよび右カメラＣRでは撮影できず、前カメラＣFおよび左カメラＣLで撮影した画像データＩFおよびＩLにのみ含まれることになる。
本実施例では、すべてのカメラＣF，ＣB，ＣL，ＣRで撮影された画像データＩF，ＩB，ＩL，ＩRにおいて、同じ被写体を撮影した複数の画像データの中から、最も好ましい画質のデータが描画データ(選択データ)として選択され、俯瞰画像Ｉoの生成に使用される。
すなわち、本実施例によれば、被写体の注目位置ＯＰが重複して撮影された少なくとも２つの画像データにおいて、最も高画質のデータを選択して俯瞰画像Ｉoの描画に使用するように、ＬＵＴデータの書き換えが行われるようになっている。
図１３および図１４は、本実施例に係る描画装置におけるＬＵＴデータの書き換え処理の一例を説明するための図である。ここで、図１３は、前述した図７に相当するものであり、俯瞰画像Ｉoにおける被写体の注目位置ＯＰと、自動車１００の前後左右に取り付けたカメラＣF，ＣB，ＣL，ＣRにより撮影された画像(画像データ)ＩF，ＩB，ＩL，ＩRを示す。
また、図１４(a)は、前画像データＩFにおける処理を示し、図１４(b)は、左画像データＩLにおける処理を示す。なお、図１３に示されるように、被写体の注目位置ＯＰは、領域ＲFL内に存在するため、画像データＩFおよびＩLには、注目位置ＯＰFおよびＯＰLとして含まれるが、画像データＩBおよびＩRには、含まれないことになる。
すなわち、前述した図１０に示す描画装置において、第２制御部２は、カメラ特性(レンズデータ(レンズディストーションデータ))により、被写体の注目位置ＯＰが、後カメラＣBおよび右カメラＣRでは、撮影範囲外であることを認識する。
ここで、レンズディストーションデータは、例えば、カメラの光軸に対するベクトル(または、光軸となす入射角)と、結像する二次元座標(または、実像高)の対応テーブルを含む。
これにより、第２制御部２は、前カメラＣFによる前画像データＩF、および、左カメラＣLによる左画像データＩLに対して、図１４を参照して説明するような処理を行って、どちらの画像データを選択画像データとするかの処理を行う。
図１４(a)に示されるように、例えば、俯瞰画像Ｉoにおける被写体の注目位置ＯＰは、前カメラＣFで撮影した画像データ(フレームメモリに格納されたフレーム画像)ＩFにおいて、注目位置ＯＰFとして撮影されている。
ここで、フレーム画像ＩFにおける画像中心の位置を原点ＯF(０，０)とし、注目位置ＯＰFの座標を(ｘF，ｙF)とすると、原点ＯFから注目位置ＯＰFまでの距離(判定距離)ｄFは、ｄF＝(ｘF 2，ｙF 2)1/2として求められる。
また、図１４(b)に示されるように、例えば、俯瞰画像Ｉoにおける被写体の注目位置ＯＰは、左カメラＣLで撮影した画像データ(フレームメモリに格納されたフレーム画像)ＩLにおいて、注目位置ＯＰLとして撮影されている。
ここで、フレーム画像ＩLにおける画像中心の位置を原点ＯL(０，０)とし、注目位置ＯＰLの座標を(ｘL，ｙL)とすると、原点ＯFから注目位置ＯＰFまでの判定距離ｄLは、ｄL＝(ｘL 2，ｙL 2)1/2として求められる。
そして、判定距離ｄFとｄLを比較し、例えば、ｄF＜ｄLの場合には、判定距離が短い方の画像データＩFを選択画像データとして選択する。すなわち、前述した図１０に示す描画装置において、第２制御部２は、判定距離が短い画像データＩFを選択画像データとして選択するように、ＬＵＴデータの書き換えを行う。
なお、被写体の注目位置ＯＰが１つの画像データだけに撮影されていた場合、第２制御部２は、その画像データが選択データとして選択されるように、ＬＵＴデータを書き換えるのはいうまでもない。
また、例えば、使用するカメラの数が多数で、被写体の注目位置ＯＰが３つ以上の画像データに撮影されていた場合、第２制御部２は、判定距離ｄが最も短くなる画像データが選択データとして選択されるように、ＬＵＴデータを書き換えることになる。
このように、本実施例によれば、各フレーム画像において、画像中心(原点)Ｏと注目位置ＯＰまでの二次元的な判定距離ｄを求めて比較するという簡単な処理を行うだけで、高画質の描画データ(俯瞰画像)を得ることができる。
また、本実施例によれば、複数のカメラＣF，ＣB，ＣL，ＣRにより撮影された画像データＩF，ＩB，ＩL，ＩRのいずれかに含まれていれば、その画像データが選択データになるため、描画像(俯瞰画像)における欠けを生じないようにすることができる。
すなわち、本実施例によれば、カメラ位置によって異なる、各画素に対する最適な画像データ(カメラ映像)を自動的に判別(選択)することができる。また、実際に映っている画像から、その画素に対して最も画質のよいカメラ映像を選択するため、カメラの向きなどを考慮することなく、高画質の映像を得ることができる。さらに、計算が二次元座標上の距離を求めるだけでよいため、高速な処理が可能になる。
図１５は、本実施例に係る描画装置におけるＬＵＴデータの生成処理の一例を説明するためのフローチャートである。図１５に示されるように、ＬＵＴデータの生成処理が開始すると、ステップＳＴ１において、任意の投影面の頂点座標を作成し、ステップＳＴ２に進んで、すべての画素(ピクセル)を処理したかどうかを判定する。
ステップＳＴ２において、すべての画素を処理したと判定する(Ｙｅｓ)と、ＬＵＴデータの生成処理を終了し、すべての画素を処理していないと判定する(Ｎｏ)と、ステップＳＴ３に進む。
なお、前述したように、投影面の頂点座標とは、例えば、ポリゴン処理を行って自動車の前後左右に配置されたカメラによる撮影画像から俯瞰画像を生成する場合等において、一般的に利用されている三次元空間における頂点の座標である。
ステップＳＴ３では、ステップＳＴ１で作成された投影面の頂点座標における各視線ベクトルまたは光軸となす入射角に基づいてレンズディストーションデータを探索し、対応する入力画像上の二次元座標または実像高を取得して、ステップＳＴ４に進む。
ステップＳＴ４では、入力画像の二次元座標から画像中心(光軸)への距離(判定距離ｄ)を算出し、ステップＳＴ５に進む。ステップＳＴ５において、すべてのカメラで中心からの距離を算出および比較し、最も距離が短い画素をテクスチャ座標として画素に割り当てる。そして、上述したように、ステップＳＴ２において、すべての画素を処理したと判定すると、データの生成処理を終了する。
なお、例えば、それぞれのカメラでレンズディストーションデータ(レンズ特性)が異なっている場合、或いは、中心からの距離と画質の関係が複雑に変化する場合等には、各カメラによる撮影画像の判定距離に対して定数を乗算する等の処理が行われることになる。
図１６は、図１０に示す描画装置の一構成例を示すブロック図である。図１６に示されるように、描画装置の一例は、２Ｄ描画エンジン１，ＬＵＴ算出装置２，ＲＯＭ(Read Only Memory)２０１およびＲＡＭ(Random Access Memory)２０２を含む。さらに、描画装置の一例は、内部バス２０３，外部バス２０４，複数(４個)のカメラＣF，ＣB，ＣL，ＣRおよびディスプレイ４を含む。
ＲＯＭ２０１には、起動直後に動作するブートローダー２１１，ＬＵＴ付２Ｄ描画処理を行うソフトウェアプログラム２１２、並びに、レンズディストーションデータ，任意３次元投影面およびカメラ位置／角度等のデータ２１３が格納(配置)されている。
ＲＡＭ２０２は、例えば、起動時に、ブートローダー２１１に基づいて、ＲＯＭ２０１に格納されたソフトウェアプログラム２１２およびデータ２１３をコピーして展開するメモリ領域(ソフトウェアプログラム２２２およびデータ２２３)を含む。ここで、データ２２３は、図１０におけるカメラ特性(レンズデータ)に対応する。
さらに、ＲＡＭ２０２は、カメラ入力画像(テクスチャ画像)を格納するバッファ(ＳＲＣバッファ)Ｂ１，ＬＵＴデータを格納するＬＵＴ３(ＷＡＲＰバッファＢ２)および描画結果を格納するバッファ(描画バッファ)Ｂ３として使用されるメモリ領域(データ)を含む。
２Ｄ描画エンジン(第１制御部)１は、内部バス２０３を介してＲＡＭ２０２に接続され、ＲＡＭ２０２からソフトウェアプログラム２２２を読み出して、ＬＵＴ付２Ｄ描画処理を実行する。
すなわち、２Ｄ描画エンジン１は、バッファＢ１からカメラ入力画像(画像データＩF，ＩB，ＩL，ＩR)を読み出すと共に、ＬＵＴ３からＬＵＴデータを読み出し、ＬＵＴデータを参照して座標変換したデータを描画データとしてバッファＢ３に出力する。
なお、カメラＣF，ＣB，ＣL，ＣRおよびディスプレイ４は、外部バス２０４を介してＲＡＭ２０２に接続され、各カメラＣF，ＣB，ＣL，ＣRで撮影した画像データＩF，ＩB，ＩL，ＩRは、外部バス２０４を介してバッファＢ１に入力されて書き込まれる、また、バッファＢ３に格納された描画データ(例えば、俯瞰画像)は、外部バス２０４を介してディスプレイ４に出力されて表示される。
ＬＵＴ算出装置(第２制御部)２は、内部バス２０３を介してＲＡＭ２０２に接続され、ＲＡＭ２０２からデータ(カメラ特性)２２３を読み出して、ＬＵＴ算出処理を行う。このＬＵＴ算出処理は、例えば、ＲＡＭ(メモリ)２０２のバッファＢ１に格納されたフレーム画像(テクスチャ画像ＩF，ＩB，ＩL，ＩR)のそれぞれにおいて、画像中心Ｏと被写体の注目位置ＯＰの距離に基づいてＬＵＴデータを書き換える処理に相当する。
次に、図１６に示す描画装置の動作の概要を説明する。ここで、ＲＯＭ２０１には、予め、ブートローダー２１１、ソフトウェアプログラム２１２およびデータ(最適化テクスチャ座標データ)を格納しておく。
まず、ブートローダー２１１の先頭から処理を開始し、ブートローダー２１１の処理によって、ソフトウェアプログラム２１２およびデータ２１３がＲＡＭ２０２に展開される。そして、ブートローダー２１１の処理が終了すると、ソフトウェアプログラム２２２が起動し、カメラＣF，ＣB，ＣL，ＣRで撮影した画像データＩF，ＩB，ＩL，ＩRが、外部バス２０４を介してバッファＢ１に入力される。
ＬＵＴ算出装置(第２制御部)２は、例えば、レンズディストーションデータ，任意三次元投影面およびカメラ位置／角度のデータ(カメラ特性)を参照し、描画バッファＢ３(描画像Ｉo)の各画素に対するそれぞれのカメラの解像度(結合点と光軸中心の判定距離ｄ)を算出する。
すべてのカメラの画像(フレーム画像)ＩF，ＩB，ＩL，ＩRの中で、その画素の解像度を比較し、最も解像度の高いカメラの画素の値をマッピング対象として出力、すなわち、ＬＵＴデータの算出(書き換え)を行う。
そして、２Ｄ描画エンジン１がバッファＢ２(ＬＵＴデータ)とバッファＢ１(テクスチャ画像)を参照してＬＵＴ付２Ｄ描画処理を行う。なお、描画結果は、描画バッファＢ３に書き込まれ、その描画結果が、ディスプレイ４に読み出されて表示される。
ここで、２Ｄ描画エンジン１，ＬＵＴ算出装置２，ＲＯＭ２０１，ＲＡＭ２０２および内部バス２０３は、１つの半導体集積回路(描画装置用ＬＳＩ)として形成することができる。なお、カメラＣF，ＣB，ＣL，ＣRおよびディスプレイ４は、外部バス２０４を介して描画装置用ＬＳＩと接続される。
或いは、ＬＵＴ算出装置２を、描画装置用ＬＳＩから分離し、１つのツールとして提供することもできる。例えば、２Ｄ描画エンジン１，ＲＯＭ２０１およびＲＡＭ２０２等を含む描画装置用ＬＳＩ、複数のカメラＣF，ＣB，ＣL，ＣRおよびディスプレイ４を搭載した自動車(１００)に対して、ＬＵＴ算出装置２を、ツールとして提供することも可能である。
また、本実施例は、描画装置の描画プログラムとして提供することができ、この場合、描画プログラムは、ＲＯＭ２０１またはＬＵＴ算出装置２のメモリ等に格納することができる。なお、ＲＯＭ２０１は、例えば、電気的に書き換え可能なフラッシュメモリ等とすることもでき、例えば、ソフトウェアプログラム２１２およびデータ２１３を更新(アップデート)可能なようにしてもよい。
図１７は、本実施例に係る描画装置の効果を説明するための図である。ここで、図１７(a)は、図７および図１３に対応し、図１７(b)および図１７(c)は、図８(a)および図８(b)に対応する。また、図１７(d)および図１７(e)は、本実施例による図１７(b)および図１７(c)に相当する図である。
図１７(b)および図１７(c)に示されるように、例えば、描画像Ｉoを生成するとき、自動車１００の前後左右に設けたカメラＣF，ＣB，ＣL，ＣRに対して、固定のカメラマッピング領域ＦF，ＦB，ＦLおよびＦRを適用すると、欠損領域ＤＤが生じる。さらに、図１７(c)に示す描画像Ｉoは、カメラＣF，ＣB，ＣL，ＣRにより撮影した画像データＩF，ＩB，ＩL，ＩRを最大限に活用した高画質の画像とはなっていない。
これに対して、図１７(d)および図１７(e)に示されるように、本実施例によれば、描画像Ｉoは、前に詳述したように、画像データＩF，ＩB，ＩL，ＩRによりカメラマッピング領域ＦF，ＦB，ＦLおよびＦRが最適化されている。
すなわち、本実施例の描画装置により生成された描画像Ｉoは、少なくともいずれかのカメラＣF，ＣB，ＣL，ＣRで撮影されていれば、欠落する(欠損領域ＤＤが生じる)ことはない。さらに、本実施例の描画装置により生成された描画像Ｉoは、画像データＩF，ＩB，ＩL，ＩRを最大限に活用した高画質の画像になっている。
このように、本実施例によれば、例えば、カメラの位置や向きが異なっていても、その状態におけるカメラで撮影された画像データを十分に活用して、画質のバラつきやマッピングミスの少ない高画質の描画像を生成することが可能になる。特に、周辺減光や縮尺のバラつき(画像の歪み)等の影響が大きい広角(魚眼)レンズでの効果が大きくなる。
図１８は、図１０に示す描画装置の変形例を概略的に示すブロック図である。図１８と、前述した図１０の比較から明らかなように、本変形例では、第２制御部２に対して、予め準備した複数のカメラ５１，５２のカメラ特性(レンズデータ)の代わりに、画像データＩ1，Ｉ2が入力されるようになっている。
すなわち、図１８に示す変形例の描画装置では、例えば、初期設定として、所定パターンとされた被写体をカメラ５１，５２で撮影し、その画像データＩ1，Ｉ2を第２制御部２に入力する。
第２制御部２は、例えば、カメラ５１，５２により所定パターンを撮影した画像データＩ1，Ｉ2から、各カメラ５１，５２のカメラ特性を算出し、その算出されたカメラ特性を参照して選択画像データの選択を行う。
この図１８に示す変形例では、例えば、初期設定として行うカメラ特性の算出には、多少の手間を要するが、この場合、レンズに起因した特性だけでなく、撮像素子や画像エンジン等に起因した特性も含めて、カメラ特性を設定することができる。
なお、第２制御部２によるカメラ特性の設定以外は、図１０を参照して説明したカメラ５１，５２、第１制御部１、第２制御部２、ＬＵＴ３およびディスプレイ４と同様であり、その説明は省略する。
なお、本実施例は、自動車の前後左右に４つのカメラを配置して俯瞰画像を生成する全周囲モニタに限定されるものではない。すなわち、本実施例は、例えば、ドライブモニタ、或いは、列車、船舶、航空機または建物に搭載されるモニタ、若しくは、監視カメラや家電製品または玩具等にも適用することができる。
また、カメラの数も４つに限定されるものではなく、撮影した少なくとも２つの画像に同じ被写体が写っていれば、本実施例を適用することができる。また、生成される描画像も俯瞰画像に限定されるものではない。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
複数のカメラから被写体を含む複数の画像データが入力され、ＬＵＴデータを参照して座標変換したデータを出力する第１制御部と、
前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択し、前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換える第２制御部と、を有する、
ことを特徴とする描画装置。
（付記２）
前記第２制御部は、前記複数のカメラのそれぞれの位置および角度データ、および、予め準備した前記複数のカメラのカメラ特性を参照して、前記選択画像データを選択する、
ことを特徴とする付記１に記載の描画装置。
（付記３）
前記第２制御部は、前記複数のカメラのそれぞれの位置および角度データ、および、前記複数の画像データから求めた前記複数のカメラのカメラ特性を参照して、前記選択画像データを選択する、
ことを特徴とする付記１に記載の描画装置。
（付記４）
前記第２制御部は、前記複数の画像データの内、前記判定距離が最短になる画像データを前記選択画像データとして選択する、
ことを特徴とする付記１乃至付記３のいずれか１項に記載の描画装置。
（付記５）
さらに、
前記複数の画像データを、それぞれフレーム画像として格納するメモリを有し、
前記複数の画像データの光学中心は、それぞれの前記フレーム画像における画像中心の位置に対応し、
前記被写体について、前記判定距離は、それぞれの前記フレーム画像において、前記画像中心の位置から前記被写体までの距離である、
ことを特徴とする付記１乃至付記４のいずれか１項に記載の描画装置。
（付記６）
前記フレーム画像において、前記画像中心の位置を原点(０，０)とし、前記被写体の注目位置の座標を(ｘ，ｙ)とすると、
前記判定距離ｄは、ｄ＝(ｘ2＋ｙ2)1/2として求められる、
ことを特徴とする付記５に記載の描画装置。
（付記７）
前記第２制御部は、前記フレーム画像の全領域に対して処理を行う、
ことを特徴とする付記６に記載の描画装置。
（付記８）
前記メモリは、前記ＬＵＴデータを格納するＬＵＴを含む、
ことを特徴とする付記１乃至付記７のいずれか１項に記載の描画装置。
（付記９）
さらに、
前記第１制御部から出力される前記描画データを表示するディスプレイを有する、
ことを特徴とする付記１乃至付記８のいずれか１項に記載の描画装置。
（付記１０）
複数のカメラから被写体を含む複数の画像データを受け取り、ＬＵＴデータを参照して座標変換したデータを出力する描画方法であって、
前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、
前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択し、
前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換える、
ことを特徴とする描画方法。
（付記１１）
前記選択画像データとして選択するのは、前記複数のカメラのそれぞれの位置および角度データ、および、予め準備した前記複数のカメラのカメラ特性を参照して、前記選択画像データを選択する、
ことを特徴とする付記１０に記載の描画方法。
（付記１２）
前記選択画像データとして選択するのは、前記複数のカメラのそれぞれの位置および角度データ、および、前記複数の画像データから求めた前記複数のカメラのカメラ特性を参照して、前記選択画像データを選択する、
ことを特徴とする付記１０に記載の描画方法。
（付記１３）
前記選択画像データとして選択するのは、前記複数の画像データの内、前記判定距離が最短になる画像データを前記選択画像データとして選択する、
ことを特徴とする付記１０乃至付記１２のいずれか１項に記載の描画方法。
（付記１４）
前記複数の画像データは、それぞれフレーム画像としてメモリに格納され、
前記複数の画像データの光学中心は、それぞれの前記フレーム画像における画像中心の位置に対応し、
前記被写体について、前記判定距離は、それぞれの前記フレーム画像において、前記画像中心の位置から前記被写体までの距離である、
ことを特徴とする付記１０乃至付記１３のいずれか１項に記載の描画方法。
（付記１５）
前記フレーム画像において、前記画像中心の位置を原点(０，０)とし、前記被写体の注目位置の座標を(ｘ，ｙ)とすると、
前記判定距離ｄは、ｄ＝(ｘ2＋ｙ2)1/2として求められる、
ことを特徴とする付記１４に記載の描画方法。
（付記１６）
複数のカメラから被写体を含む複数の画像データを受け取り、ＬＵＴデータを参照して座標変換したデータを出力する制御装置を有する描画装置の描画プログラムであって、
前記制御装置に、
前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、
前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択し、
前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換える、処理を実行させる、
ことを特徴とする描画プログラム。
１ 第１制御部(２Ｄ描画エンジン，二次元グラフィックス計算装置)
２ 第２制御部(ＬＵＴ算出装置，制御装置)
３ ＬＵＴ(ＬＵＴデータ)
４ ディスプレイ
５１，５２，ＣF，ＣB，ＣL，ＣR カメラ
ｄ，ｄF，ｄB，ｄL，ｄR 判定距離
Ｉ1，Ｉ2，ＩF，ＩB，ＩL，ＩR 画像データ(フレーム画像)
Ｉo 俯瞰画像(描画像，合成画像)
Ｏ，ＯF，ＯB，ＯL，ＯR 画像中心(原点)
ＯＰ，ＯＰF，ＯＰB，ＯＰL，ＯＰR 注目位置

Claims (10)

  1. 複数のカメラから被写体を含む複数の画像データが入力され、ＬＵＴデータを参照して座標変換したデータを出力する第１制御部と、
    前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択し、前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換える第２制御部と、を有し、
    前記第２制御部は、前記判定距離が増すにつれて前記画像データの画質が低下し、その後さらに前記判定距離が増したときに前記画像データの画質が向上する領域が存在する場合、前記画質が向上する領域に対応する判定距離に対して『１』よりも小さい定数を乗算する、
    ことを特徴とする描画装置。
  2. 前記第２制御部は、前記複数のカメラのそれぞれの位置および角度データ、および、予め準備した前記複数のカメラのカメラ特性を参照して、前記選択画像データを選択する、
    ことを特徴とする請求項１に記載の描画装置。
  3. 前記第２制御部は、前記複数のカメラのそれぞれの位置および角度データ、および、前記複数の画像データから求めた前記複数のカメラのカメラ特性を参照して、前記選択画像データを選択する、
    ことを特徴とする請求項１に記載の描画装置。
  4. 前記第２制御部は、前記複数の画像データの内、前記判定距離が最短になる画像データを前記選択画像データとして選択する、
    ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の描画装置。
  5. さらに、
    前記複数の画像データを、それぞれフレーム画像として格納するメモリを有し、
    前記複数の画像データの光学中心は、それぞれの前記フレーム画像における画像中心の位置に対応し、
    前記被写体について、前記判定距離は、それぞれの前記フレーム画像において、前記画像中心の位置から前記被写体までの距離である、
    ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の描画装置。
  6. 前記フレーム画像において、前記画像中心の位置を原点(０，０)とし、前記被写体の注目位置の座標を(ｘ，ｙ)とし、前記判定距離をｄとすると、
    前記判定距離は、ｄ＝(ｘ2＋ｙ2)1/2として求められる、
    ことを特徴とする請求項５に記載の描画装置。
  7. 複数のカメラから被写体を含む複数の画像データを受け取り、ＬＵＴデータを参照して座標変換したデータを出力する描画方法であって、
    前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、
    前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択し、
    前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換え、
    前記判定距離が増すにつれて前記画像データの画質が低下し、その後さらに前記判定距離が増したときに前記画像データの画質が向上する領域が存在する場合、前記画質が向上する領域に対応する判定距離に対して『１』よりも小さい定数を乗算する、
    ことを特徴とする描画方法。
  8. 前記選択画像データとして選択するのは、前記複数の画像データの内、前記判定距離が最短になる画像データを前記選択画像データとして選択する、
    ことを特徴とする請求項７に記載の描画方法。
  9. 前記複数の画像データは、それぞれフレーム画像としてメモリに格納され、
    前記複数の画像データの光学中心は、それぞれの前記フレーム画像における画像中心の位置に対応し、
    前記被写体について、前記判定距離は、それぞれの前記フレーム画像において、前記画像中心の位置から前記被写体までの距離である、
    ことを特徴とする請求項７または請求項８に記載の描画方法。
  10. 複数のカメラから被写体を含む複数の画像データを受け取り、ＬＵＴデータを参照して座標変換したデータを出力する制御装置を有する描画装置の描画プログラムであって、
    前記制御装置に、
    前記被写体について、前記複数の画像データの光学中心との判定距離をそれぞれ求め、
    前記判定距離に基づいて前記複数の画像データの内の１つを選択画像データとして選択し、
    前記選択画像データにおける前記被写体の画素に対応する座標を求めて前記ＬＵＴデータを書き換え、
    前記判定距離が増すにつれて前記画像データの画質が低下し、その後さらに前記判定距離が増したときに前記画像データの画質が向上する領域が存在する場合、前記画質が向上する領域に対応する判定距離に対して『１』よりも小さい定数を乗算する、処理を実行させる、
    ことを特徴とする描画プログラム。
JP2015108715A 2015-05-28 2015-05-28 描画装置、描画方法および描画プログラム Active JP6582557B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015108715A JP6582557B2 (ja) 2015-05-28 2015-05-28 描画装置、描画方法および描画プログラム
EP16164738.3A EP3098777B1 (en) 2015-05-28 2016-04-11 Drawing apparatus, drawing method, and drawing program
US15/096,786 US10382679B2 (en) 2015-05-28 2016-04-12 Drawing apparatus, drawing method, and drawing program
CN201610274422.7A CN106204432A (zh) 2015-05-28 2016-04-28 绘图装置、绘图方法和绘图程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015108715A JP6582557B2 (ja) 2015-05-28 2015-05-28 描画装置、描画方法および描画プログラム

Publications (2)

Publication Number Publication Date
JP2016224610A JP2016224610A (ja) 2016-12-28
JP6582557B2 true JP6582557B2 (ja) 2019-10-02

Family

ID=56108448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015108715A Active JP6582557B2 (ja) 2015-05-28 2015-05-28 描画装置、描画方法および描画プログラム

Country Status (4)

Country Link
US (1) US10382679B2 (ja)
EP (1) EP3098777B1 (ja)
JP (1) JP6582557B2 (ja)
CN (1) CN106204432A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
US10806231B2 (en) * 2017-07-18 2020-10-20 Casio Computer Co., Ltd. Drawing apparatus, drawing method, and recording medium storing program

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
JP3695377B2 (ja) * 2001-10-01 2005-09-14 日産自動車株式会社 画像合成装置および画像合成方法
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP2007226300A (ja) * 2006-02-21 2007-09-06 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
US8902321B2 (en) * 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
CN102577372B (zh) 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5853457B2 (ja) * 2011-07-20 2016-02-09 アイシン精機株式会社 車両周辺監視システム
WO2013043761A1 (en) * 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9210392B2 (en) * 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20140002674A1 (en) * 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) * 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
TWI578271B (zh) * 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2015070105A1 (en) * 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
EP3075140B1 (en) * 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
WO2015186519A1 (ja) * 2014-06-06 2015-12-10 シャープ株式会社 画像処理装置及び画像表示装置
JP2016162392A (ja) * 2015-03-05 2016-09-05 セイコーエプソン株式会社 ３次元画像処理装置および３次元画像処理システム
KR102328020B1 (ko) * 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법

Also Published As

Publication number Publication date
EP3098777A1 (en) 2016-11-30
JP2016224610A (ja) 2016-12-28
CN106204432A (zh) 2016-12-07
US10382679B2 (en) 2019-08-13
US20160353019A1 (en) 2016-12-01
EP3098777B1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
JP5500255B2 (ja) 画像処理装置および画像処理プログラム
JP6561216B2 (ja) 光学フローを使用した中間ビューの生成
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
JP2017220923A (ja) 画像生成装置、画像生成方法、およびプログラム
WO2011129276A1 (ja) 画像生成装置及び操作支援システム
US11216979B2 (en) Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
KR20130064169A (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR100834157B1 (ko) 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체
KR20130016335A (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
JP6276719B2 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
JP6582557B2 (ja) 描画装置、描画方法および描画プログラム
JP2011155393A (ja) 車両周辺画像表示装置及び車両周辺画像表示方法
WO2013136403A1 (ja) 画像処理装置、集積回路、プログラム、撮像装置、表示装置
JP6734136B2 (ja) 画像処理装置
JP2009077022A (ja) 運転支援システム及び車両
JP2019012915A (ja) 画像処理装置、画像変換方法
US20120162215A1 (en) Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
WO2011111095A1 (ja) ハレーションシミュレーション方法、装置、及びプログラム
CN113744361A (zh) 一种基于三目视觉的三维高精地图构建方法及装置
US20220245890A1 (en) Three-dimensional modelling from photographs in series
CN113592704A (zh) 一种图像生成方法、装置及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R150 Certificate of patent or registration of utility model

Ref document number: 6582557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150