JP4450036B2 - 複合画像生成装置、及びプログラム - Google Patents

Description

本発明は、撮像手段から入力される入力画像を出力画像に変換すると共に、必要に応じてオーバーレイ画像を変換後の画像に重ねて表示するように出力画像を生成する複合画像生成装置、及びコンピュータを当該複合画像生成装置として機能させるためのコンピュータ読み取り可能なプログラムに関する。

従来、車両周辺を撮像するカメラの撮像画像を運転者等が視認できるように車室内に表示し、更にコンピュータにより生成された画像を重ねて表示するシステムについて研究が進められ、実用化が図られている。カメラの撮像画像に重ねて表示する具体的内容としては、縁石や車輪止め、歩行者等の要注意物体を強調表示するものや、車両の外端線を延長させた補助線を表示するもの、ナビゲーション表示として車両前方の風景上に進行方向を示す矢印を表示するもの等、様々なものが考えられる。

こうしたシステムの一例として、車両周辺を撮像する撮像手段による撮像画像を背景画像とし、車両を透けた状態で表示する車両周辺装置についての発明が開示されている（例えば、特許文献１参照）。
特開２００６−２３８１３１号公報

しかしながら、上記従来の装置においては、座標変換テーブルの情報に従って撮像画像及びその履歴等をもとに合成画像を背景画像として作成し、その後に描画処理手段にて描画の処理を行なっている（段落「００１８」）。このため、装置全体のサイズやコストが増大するという問題がある。こうした問題は、サイズの縮小やコストの削減に対する要求が高い車載装置において、特に重大なものとなる。

本発明はこのような課題を解決するためのものであり、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することが可能な複合画像生成装置、及びコンピュータを当該複合画像生成装置として機能させるためのコンピュータ読み取り可能なプログラムを提供することを、主たる目的とする。

上記目的を達成するための本発明の第１の態様は、
出力画像の画素の位置に対応付けられた座標を、撮像手段から入力される入力画像に割り当てることを規定する幾何変換テーブルと、
前記入力画像を前記幾何変換テーブルに従って幾何変換した画像に、前記幾何変換テーブルにおいて前記出力画像の画素の位置に対応付けられているオーバーレイ情報に基づくオーバーレイ画像を付加して、出力画像を生成する出力画像生成手段と、
を備える複合画像生成装置である。

一般的に「オーバーレイ」とは、画像データの重ね合わせのことをいい、本発明における「オーバーレイ画像」とは、撮像画像を幾何変換した背景画像上に表示されるコンピュータ画像等、付加的に表示される画像ないし画素をいう。また、「オーバーレイ情報」とは、背景画像上に「オーバーレイ画像」を表示するために必要な情報をいう。

この本発明の第１の態様によれば、幾何変換テーブルにおいて出力画像の画素の位置にオーバーレイ画像を表示するためのオーバーレイ情報が対応付けられており、これに基づいてオーバーレイ画像を付加する処理を行なうため、一つの幾何変換テーブルにより任意の幾何変換処理と、オーバーレイ画像の付加が実現できる。このため、特に固定的な画像をオーバーレイ画像として付加する場合において、幾何変換を行なった後にオーバーレイ画像を付加する処理を行なうものに比して、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することができる。なお、特に車両に搭載された場合、省スペース、コスト、重量の効果が大きい。

本発明の第１の態様において、前記オーバーレイ情報は、前記出力画像における所定の画素の位置において出力されるべき表示色を示す情報を含むものとしてもよい。ここで、表示色を輝度に置換してもよい。すなわち、カラー画像でない場合に、オーバーレイ表示の濃淡を指定するのである。

また、本発明の第１の態様において、前記オーバーレイ情報は、前記出力画像における所定の画素の位置におけるブレンド係数を示す情報を含むものとしてもよい。

また、本発明の第１の態様において、前記出力画像生成手段は、前記入力画像を前記幾何変換テーブルに従って幾何変換する処理と、前記オーバーレイ情報に含まれるブレンド係数に従ってブレンディング処理を行なう処理と、を内分点演算処理によって実現するための補数器、乗算器、及び加算器を備える手段であるものとしてもよい。

本発明の第２の態様は、
出力画像の画素の位置に対応付けられた座標を、撮像手段から入力される入力画像に割り当てることを規定する幾何変換テーブルと、
前記幾何変換テーブルにおける前記割り当てられた座標を囲む画素の画素値を用いた補間処理を行なって出力画像を生成する出力画像生成手段と、を備える複合画像生成装置であって、
前記出力画像生成手段は、オーバーレイ情報が付与された出力画像の画素については、前記入力画像における前記割り当てられた座標を囲む画素の画素値の少なくとも一部を前記オーバーレイ情報に基づいて置換した後に、前記補間処理を行なって出力画像を生成する手段である、複合画像生成装置である。

本発明の第２の態様において、前記幾何変換テーブルにおいて前記入力画像に割り当てられた座標のうち、行方向の座標の小数部分を、ブレンド係数を示す値に変換する座標変換手段を備え、前記出力画像生成手段は、前記オーバーレイ情報付与手段によりオーバーレイ情報が付与された出力画像の画素については、前記座標変換手段により変換された行方向の座標の小数部分の値に基づくブレンディング処理を行なって出力画像を生成する手段であるものとしてもよい。

また、本発明の第２の態様において、前記幾何変換テーブルにおいて前記入力画像に割り当てられた座標のうち、列方向の座標の小数部分を、ブレンド係数を示す値に変換する座標変換手段を備え、前記出力画像生成手段は、前記オーバーレイ情報付与手段によりオーバーレイ情報が付与された出力画像の画素については、前記座標変換手段により変換された列方向の座標の小数部分の値に基づくブレンディング処理を行なって出力画像を生成する手段であるものとしてもよい。

本発明の第３の態様は、
コンピュータを、本発明の第１又は第２の態様の複合画像生成装置として機能させるための、コンピュータ読み取り可能なプログラムである。

本発明によれば、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することが可能な複合画像生成装置、及びコンピュータを当該複合画像生成装置として機能させるためのコンピュータ読み取り可能なプログラムを提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

＜第１実施例＞
以下、本発明の第１実施例に係る複合画像生成装置１について説明する。複合画像生成装置１は、例えば車両に搭載され、カメラにより撮像された車両周辺の風景に、オーバーレイ画像を付加してディスプレイ装置に表示させるための装置である。なお、本発明における「オーバーレイ画像」とは、撮像画像を幾何変換した背景画像上に表示されるコンピュータ画像等、付加的に表示される画像ないし画素をいう。

［１＿１．構成］
図１は、本発明の第１実施例に係る複合画像生成装置１、及びこれに接続される装置等を示す図である。複合画像生成装置１には、カメラ３０、及びディスプレイ装置４０が接続される。

カメラ３０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したカメラである。カメラ３０は、例えば、車両後方のナンバープレート周辺等に配設され、車両後方を広角度に撮像する。なお、係る配設例はあくまで一例であり、車両前方や斜め前方、側方、上方、下方等、如何なる方向を如何なる角度で撮像するものであっても本発明の適用は可能である。

カメラ３０は、例えば、撮像レンズ３２と、イメージセンサー３４と、電子制御部３６と、を備える。以下、カメラ３０がＣＣＤカメラであるものとして説明する。撮像レンズ３２は、広角度な撮像領域を実現するための魚眼レンズを含む。イメージセンサー３４は、例えばインターライン型イメージセンサーであり、光電変換を行なう受光素子であるフォトダイオードと、これに対応するＣＣＤとをそれぞれ２次元平面状に配列し、フォトダイオードとＣＣＤの間にアナログスイッチとして機能するトランスファゲートを有する。各フォトダイオードの前側（撮像レンズ３２側）には、集光のためのマイクロレンズが取り付けられている。なお、インターライン型イメージセンサーに限らず、ＣＣＤ自体が受光素子として機能するフルフレームトランスファ型やフレームトランスファ型のイメージセンサーを用いてもよい。

電子制御部３６は、例えば、マイクロコンピューターや電子回路等が組み合わされて用いられ、イメージセンサー３４が有するトランスファゲートの開閉タイミングを制御することによりカメラ３０のシャッタースピードや撮像周期（例えば、１秒間に数十回程度）を調節する。そして、電子制御部３６は、イメージセンサー３４の出力回路から出力されるデータに対してゲイン制御や相関二重サンプリング（ＣＤＳ）等を行なって、画像データとして複合画像生成装置１に出力する。

ディスプレイ４０は、画素を格子状に均等配列したドットマトリクスタイプの液晶パネル、有機ＥＬ等であり、各画素を駆動するアクティブ素子を画素毎に配置して、画素値に応じた輝度値（表示色）が画素毎に制御される。画素数は、例えば６４０×４８０（ＶＧＡ）、８００×６００（ＳＶＧＡ）等である。なお、ディスプレイ４０は、表示面の電圧変化を検知することにより各種の入力が可能なタッチパネルとして構成されてもよい。

複合画像生成装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、入出力インターフェイスが内部バスにより接続されたマイコンやＬＳＩである。複合画像生成装置１の例えばフラッシュメモリには、幾何変換テーブル１１が記憶されている。また、複合画像生成装置１は、ＣＰＵがＲＯＭに記憶されたシステム実行プログラム（請求項８に記載の「プログラム」に相当する）を実行することにより機能する機能ブロックとして、出力画像生成部２１を有する。

［１＿２．幾何変換］
図２は、本実施例における幾何変換テーブル１１を例示した図である。幾何変換テーブル１１は、ディスプレイ４０に表示される出力画像の画素の位置に対応付けられた座標を、カメラ３０により撮像された入力画像に割り当てることを規定する。すなわち、カメラ３０により撮像された入力画像に対して、出力画像の画素の位置に対応する座標系を設定するものと考えることができる。幾何変換テーブル１１は、出力画像のラスタースキャン順（出力画像の座標順）に並べてあり、出力画像の画素の座標（Ｘｏ、Ｙｏ）を用いて幾何変換テーブル１１を参照すると、入力画像の座標（Ｘｉ、Ｙｉ）が抽出されるようになっている。

ここで、出力画像の画素の位置と入力画像の画素の位置が１対１に対応していれば、座標（Ｘｏ、Ｙｏ）と座標（Ｘｉ、Ｙｉ）も１対１に対応するが、任意の幾何変換では、出力画像の画素位置と入力画像の画素位置が１対１に対応しない。このため、出力画像の座標（Ｘｏ、Ｙｏ）は整数であるが、入力画像の座標（Ｘｉ、Ｙｉ）は少数以下の値を持つ実数となる。

図３は、入力画像の座標と出力画像の座標の対応関係を示す図である。図３では入力画像と出力画像のいずれにおいても、格子の交点が画素位置を示す。出力画像の座標（Ｘｏ、Ｙｏ）は画素位置に一致するのに対し、入力画像の座標（Ｘｉ，Ｙｉ）は画素位置に一致しないが、このように対応関係を予め定めておくことで任意の幾何変換（本実施例では歪み補正）が実現される。

［１＿２＿１．歪み補正］
座標（Ｘｏ、Ｙｏ）と座標（Ｘｉ，Ｙｉ）の対応関係について簡単に説明する。図４（Ａ）は、歪み補正前の入力画像を、図４（Ｂ）は歪み補正後の出力画像の一例を示す図である。例えば、画像データの中央から上又は下方向に離れるほどひずみ量が大きくなっている場合、幾何変換による歪み補正では、上下方向の画素位置に応じて画像データの幅方向にずらした画素位置を対応づける。すなわち、線分Ｖ１とＶ２上の画素はそれぞれ異なる長さの線分Ｗ１、Ｗ２上の画素に変換される。例えば、単位画素数当たり（入力画像の上下方向について）ひずみ量をα、線分Ｖ２とＶ１の間の画素数をＬとすれば、線分Ｗ２はＷ１線よりもＬ・α長くなるように、線分Ｖ２上の画素位置が線分Ｗ２上の画素位置に対応付けられる。この結果、座標（Ｘｏ、Ｙｏ）と座標（Ｘｉ，Ｙｉ）の対応は、所定の座標変換式（高次多項式）により決定される。

係る補正及び変換に関する対応関係は、例えば、車両の出荷時に予め複合画像生成装置１のＲＯＭ等に記憶されており、必要に応じて車高を加味して修正された値が幾何変換テーブル１１としてフラッシュメモリ等に展開される。

［１＿２＿２．補間処理］
次に、座標（Ｘｉ，Ｙｉ）における入力画像の画素値の決定手法について図２及び図３に即して説明する。座標（Ｘｉ，Ｙｉ）における入力画像の画素値は、例えば、座標（Ｘｉ，Ｙｉ）を囲む画素の画素値に対して、出力画像生成部２１が、線形補間を２次元に適用した、いわゆるバイリニア補間を行なって決定する。すなわち、次式（１）により得られる画素値を座標（Ｘｉ，Ｙｉ）における入力画像の画素値として算出し、これを座標（Ｘｏ、Ｙｏ）における出力画像の画素値とする。簡略化のため、入力画像に割り当てられた座標系の、格子の一辺の長さは値１とした。なお、係る手法はあくまで一例であり、他の手法により座標（Ｘｉ，Ｙｉ）における入力画像の画素値を決定しても構わない。また、座標（Ｘｉ，Ｙｉ）に入力画像の画素が一致する場合は、当該補間を行なわずに当該入力画像の画素の画素値をそのまま設定してよい。

画素値（Ｘｉ，Ｙｉ）＝｛Ｇ_１×（１−Ｘｉの小数部）＋Ｇ_２×（Ｘｉの小数部）｝×（Ｙｉの小数部）＋｛Ｇ_３×（１−Ｘｉの小数部）＋Ｇ_４×（Ｘｉの小数部）｝×（１−Ｙｉの小数部） …（１）

［１＿３．オーバーレイ画像の付加］
更に、本実施例における幾何変換テーブル１１には、幾何変換画像とオーバーレイ画像とのいずれを表示するのかを指示する選択フラグが設定される。選択フラグには、幾何変換指示を示す値ゼロ、又はオーバーレイ画像指示を示す値１が設定される。そして、選択フラグが値１に設定されている出力座標（図２では（Ｘｐ，Ｙｐ））については、対応する入力画像の座標に代えて（又は、加えて）、表示色の指定が入力される。すなわち、出力画像の画素の位置（座標）に、オーバーレイ情報（本実施例では、選択フラグ及び表示色）が対応付けられる。

ここで、選択フラグの指定、及び選択フラグが値１である場合の表示色の指定は、予めＲＯＭ等に記憶されたデータが自動的に幾何変換テーブル１１の一部として設定されてもよいし、外部機器によって随時設定されてもよい。前者が適切である場面としては、本実施例の如く車両後方を撮像及び表示する場合において、車幅延長線を後進駐車時の目安として車両後方の風景に重ねて表示する場面等が考えられる（図５参照）。また、後者が適切である場面としては、例えば車両前方を撮像及び表示する場合において、ナビゲーション装置の経路案内に係る進路表示を車両前方の風景に重ねて表示する場合等が考えられる。

そして、出力画像生成部２１は、選択フラグが値０である出力画像の画素については、前述の如く式（１）により得られる画素値を画素値とし、選択フラグが値１である出力画像の画素については、幾何変換テーブル１１上の表示色を画素値とする。これにより、入力画像を幾何変換テーブル１１に従って幾何変換した画像に、幾何変換テーブル１１において出力画像の画素の位置に対応付けられているオーバーレイ情報に基づくオーバーレイ画像を付加して、出力画像を生成することとなる。

図６は、本実施例の出力画像生成部２１が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば所定周期をもって繰り返し実行される。

まず、出力画像生成部２１は、幾何変換テーブル１１における最初の出力画素に係るデータを読み込む（Ｓ１００）。

そして、当該出力画素に対応付けられた指示フラグが値０であるか値１であるかを判定する（Ｓ１０２）。前述の如く、指示フラグが値０である場合は幾何変換（及び補間処理）により得られた画素値を当該出力画像の画素値とし（Ｓ１０４）、指示フラグが値１である場合は幾何変換テーブル１１において指示された表示色を当該出力画像の画素値とする（Ｓ１０６）。

続いて、全ての出力画素について画素値を決定したか否かを判定し（Ｓ１０８）、全ての出力画素について画素値を決定していない場合は次の出力画素に係るデータを読み込み（Ｓ１１０）、Ｓ１０２以下の処理を実行する。

一方、全ての出力画素について画素値を決定した場合は、決定した１セットの画素データを、１回分の複合画像データとしてディスプレイ装置４０に出力する（Ｓ１１２）。

本実施例の複合画像生成装置１によれば、幾何変換テーブル１１において出力画像の画素の位置にオーバーレイ画像を表示するためのオーバーレイ情報が対応付けられており、これに基づいてオーバーレイ画像を付加する処理を行なうため、一つの幾何変換テーブル１１により任意の幾何変換処理と、オーバーレイ画像の付加が実現できる。このため、特に固定的な画像をオーバーレイ画像として付加する場合において、幾何変換を行なった後にオーバーレイ画像を付加する処理を行なうものに比して、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することができる。

＜第２実施例＞
以下、本発明の第２実施例に係る複合画像生成装置２について説明する。複合画像生成装置２は、オーバーレイ画像を付加する際にブレンディング処理（例えば、αブレンディング）を行なう点で第１実施例に係る複合画像生成装置１と相違する。

［２＿１．構成］
本実施例の複合画像生成装置２は、幾何変換テーブル１２及び出力画像生成部２２を備える（図７参照）。複合画像生成装置２のハードウエア構成は第１実施例の複合画像生成装置１と同様であり、カメラ３０及びディスプレイ装置４０についても第１実施例と同様であるため、これらについての説明は省略する。

［２＿２．幾何変換］
これについては、第１実施例の［１＿２．幾何変換］と同様であるため、説明を省略する。

［２＿３．オーバーレイ画像の付加］
図８（Ａ）は、本実施例における幾何変換テーブル１２を例示した図である。本実施例における幾何変換テーブル１２には、第１実施例における幾何変換テーブル１１に含まれる選択フラグに代えて（又は、加えて）、ブレンド係数が設定される。すなわち、出力画像の画素の位置（座標）に、オーバーレイ情報（本実施例では、ブレンド係数）が対応付けられる。なお、本実施例においても第１実施例と同様に選択フラグが設定されてよい。

本実施例におけるブレンド係数とは、αブレンディング処理におけるブレンド係数αをいう。すなわち、半透明処理をする際の不透明度を意味し、値０から１の間で設定される。なお、値０から１の間に拘らずにブレンド係数が設定されるものとしても構わない。ブレンド係数の指定は、予めＲＯＭ等に記憶されたデータが自動的に幾何変換テーブル１２の一部に付与されてもよいし、外部機器によって随時設定されてもよい。

そして、出力画像生成部２２は、第１実施例における式（１）で求められる画素値Ｇａと、オーバーレイ画像の表示色を示す画素値Ｇｂとを用いて次式（２）により画素値を算出する。この結果、ブレンド係数αが小さくなるのに応じてオーバーレイ画像の透明度が高くなるように、オーバーレイ表示がなされる。なお、値０が設定されている（或いは、ブレンド係数が設定されていない）出力画像の画素については、当然に上式（１）により得られる画素値Ｇａが画素値となる。

画素値Ｇ＝（１−α）×Ｇａ＋α×Ｇｂ …（２）

これにより、入力画像を幾何変換テーブル１２に従って幾何変換した画像に、幾何変換テーブル１２において出力画像の画素の位置に対応付けられているオーバーレイ情報に基づくオーバーレイ画像を付加して、出力画像を生成することとなる。

図９は、本実施例の出力画像生成部２２が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば所定周期をもって繰り返し実行される。

まず、出力画像生成部２２は、幾何変換テーブル１２における最初の出力画素に係るデータを読み込む（Ｓ２００）。

次に、上式（２）により算出された画素値を当該出力画像の画素値とする（Ｓ２０２）。すなわち、補間処理及びブレンディング処理を行なって出力画像の画素値を決定する。

そして、全ての出力画素について画素値を決定したか否かを判定し（Ｓ２０４）、全ての出力画素について画素値を決定していない場合は次の出力画素に係るデータを読み込み（Ｓ２０６）、Ｓ２０２以下の処理を実行する。一方、全ての出力画素について画素値を決定した場合は、決定した１セットの画素データを、１回分の複合画像データとしてディスプレイ装置４０に出力する（Ｓ２０８）。

本実施例の複合画像生成装置２によれば、第１実施例の複合画像生成装置１と同様に、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することができる他、幾何変換とオーバーレイ画像の半透明合成やアンチエリアシング処理等を行なうことができる。

なお、本実施例において、各画素について、オーバーレイ画像の表示色を幾何変換テーブル１２により指定できるものとしてもよい。この場合の幾何変換テーブル１２の例を図８（Ｂ）に示す。この場合でも、画素値Ｇｂが幾何変換テーブル１２から画素毎に読み込まれるものとして、上式（２）を援用することができる。

＜第３実施例＞
以下、本発明の第３実施例に係る複合画像生成装置３について説明する。複合画像生成装置３は、入力画像に割り当てられた座標を囲む画素の画素値の一部又は全部を、オーバーレイ情報に含まれる表示色に置き換えることによりオーバーレイ画像を付加する点で、第１実施例に係る複合画像生成装置１と相違する。

［３＿１．構成］
本実施例の複合画像生成装置３は、幾何変換テーブル１３及び出力画像生成部２３を備える（図１０参照）。複合画像生成装置３のハードウエア構成は第１実施例の複合画像生成装置１と同様であり、カメラ３０及びディスプレイ装置４０についても第１実施例と同様であるため、これらについての説明は省略する。

［３＿２．幾何変換及びオーバーレイ画像の付加］
本実施例では、オーバーレイ画像の付加が、第１及び第２実施例における幾何変換の途中に組み込まれているため、まとめて説明する。図１１は、本実施例における幾何変換テーブル１３、及び入力画像の座標と出力画像の座標の対応関係を例示した図である。幾何変換テーブル１３は、ディスプレイ４０に表示される出力画像の画素の位置に対応付けられた座標を、カメラ３０により撮像された入力画像に割り当てることを規定する。更に、本実施例における幾何変換テーブル１３には、入力画像に割り当てられた座標を囲む画素のうち、いずれの画素値を指定された表示色に置き換えるかを指示する置き換え指示、及び表示色が設定される。

置き換え指示は、例えば、入力画像に割り当てられた座標を囲む画素に対応する４ビットの情報として設定される。すなわち、１ビット目が左上の画素の画素値を表示色に置き換えるか否か（置き換えない場合は値０、置き換える場合は値１）、２ビット目が左下の画素の画素値を表示色に置き換えるか否か、３ビット目が右上の画素の画素値を表示色に置き換えるか否か、４ビット目が右下の画素の画素値を表示色に置き換えるか否かを、それぞれ表す。これにより、第２実施例の如くブレンド係数を所定段数で指定するのと同様の効果を得ることができる。すなわち、１〜４ビットの全てが値１であれば第２実施例においてブレンド係数＝１を指定したのと同様の結果となり、１〜４ビットのうち１〜３個を値１にすればブレンド係数を３段階で指定する（第２実施例では任意に指定可）のと同様の結果となる。従って、上式（２）の如き計算が不要となる分、処理負担が軽減されることをも加味すれば、本実施例の複合画像生成装置３は、第２実施例の複合画像生成装置２より精度は劣るものの、幾何変換とオーバーレイ画像の半透明合成やアンチエリアシング処理等をより簡素な処理によって行なうことができる。

ここで、置き換え指示、及び表示色の指定は、予めＲＯＭ等に記憶されたデータが自動的に幾何変換テーブル１３の一部として設定されてもよいし、外部機器によって随時設定されてもよい。

歪み補正については、第１実施例の［１＿２＿１．歪み補正］と同様であるため、説明を省略する。

そして、第１実施例と同様に、座標（Ｘｉ，Ｙｉ）における入力画像の画素値を、座標（Ｘｉ，Ｙｉ）を囲む画素の画素値（上記の如く置き換えられた場合は、指定された表示色）に対して、出力画像生成部２３が上式（１）による補間を行なって決定する。これにより、入力画像を幾何変換テーブル１３に従って幾何変換した画像に、幾何変換テーブル１３において出力画像の画素の位置に対応付けられているオーバーレイ情報に基づくオーバーレイ画像を付加して、出力画像を生成することとなる。

図１２は、本実施例の出力画像生成部２３が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば所定周期をもって繰り返し実行される。

まず、出力画像生成部２３は、幾何変換テーブル１３における最初の出力画素に係るデータを読み込む（Ｓ３００）。

次に、当該出力画素に対応付けられた置き換え指示の１ビット目が値１であるか否かを判定し（Ｓ３０２）、値１である場合は入力画像の座標（Ｘｉ，Ｙｉ）を囲む座標のうち左上の画素の画素値を表示色に置き換える（Ｓ３０４）。以下、２ビット目が値１であるか否かを判定し（Ｓ３０６）、値１である場合は左下の画素の画素値を表示色に置き換える（Ｓ３０８）。３ビット目が値１であるか否かを判定し（Ｓ３１０）、値１である場合は右上の画素の画素値を表示色に置き換える（Ｓ３１２）。４ビット目が値１であるか否かを判定し（Ｓ３１４）、値１である場合は右下の画素の画素値を表示色に置き換える（Ｓ３１６）。

そして、置き換え後のデータ（置き換え指示がない場合は元データ）に対して補間処理を行なって得られた画素値を当該出力画像の画素値とする（Ｓ３１８）。

続いて、全ての出力画素について画素値を決定したか否かを判定し（Ｓ３２０）、全ての出力画素について画素値を決定していない場合は次の出力画素に係るデータを読み込み（Ｓ３２２）、Ｓ３０２以下の処理を実行する。

一方、全ての出力画素について画素値を決定した場合は、決定した１セットの画素データを、１回分の複合画像データとしてディスプレイ装置４０に出力する（Ｓ３２４）。

本実施例の複合画像生成装置３によれば、第１実施例の複合画像生成装置１と同様に、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することができる他、第２実施例より精度は劣るものの、幾何変換とオーバーレイ画像の半透明合成やアンチエリアシング処理等を第２実施例より簡素な処理によって行なうことができる。

＜第４実施例＞
以下、本発明の第４実施例に係る複合画像生成装置４について説明する。複合画像生成装置４は、入力画像に割り当てられた座標を囲む画素の画素値の一部を、オーバーレイ情報に含まれる表示色に置き換えることによりオーバーレイ画像を付加する点で、第１実施例に係る複合画像生成装置１と相違する。

［４＿１．構成］
本実施例の複合画像生成装置４は、幾何変換テーブル１４、座標変換部２４Ａ、及び出力画像生成部２４Ｂを備える（図１３参照）。複合画像生成装置４のハードウエア構成は第１実施例の複合画像生成装置１と同様であり、カメラ３０及びディスプレイ装置４０についても第１実施例と同様であるため、これらについての説明は省略する。

［４＿２．幾何変換及びオーバーレイ画像の付加］
図１４は、本実施例における幾何変換テーブル１４を例示した図である。幾何変換テーブル１４は、ディスプレイ４０に表示される出力画像の画素の位置に対応付けられた座標を、カメラ３０により撮像された入力画像に割り当てることを規定する。更に、本実施例における幾何変換テーブル１４では、表示色が設定される。

座標変換部２４Ａは、所定のプログラム等に基づいて、ある出力画像の座標（例えば、表示色の設定された座標）に対応する入力画像の座標（Ｘｉ，Ｙｉ）のうち行方向（Ｙ方向）の座標の小数部分を、ブレンド係数αに変換する。

出力画像生成部２４Ｂは、当該小数部分が変換された出力画像の画素については、当該画素に対応する入力画像の座標（Ｘｉ，Ｙｉ）を囲む画素のうち、列方向（Ｘ方向）に並んだ２画素の画素値を表示色に置き換えた上で、置き換え後のデータに対して上式（１）による補間処理を行なって得られた画素値を当該出力画像の画素値とする（図１５（Ａ）参照）。

これにより、表示色に置き換えられた画素値がブレンド係数αの重み付けをもって出力画像の画素値に反映されることとなる（上式（１）参照）。従って、入力画像を幾何変換テーブル１４に従って幾何変換した画像に、幾何変換テーブル１４において出力画像の画素の位置に対応付けられているオーバーレイ情報に基づくオーバーレイ画像を付加して、出力画像を生成することとなる。

ここで、入力画像の座標（Ｘｉ，Ｙｉ）を囲む画素のうち列方向（Ｘ方向）に並んだ２画素は、座標（Ｘｉ，Ｙｉ）の上側の２画素と、下側の２画素とが存在するため、いずれを置き換えるか決定する必要がある。これに関し、上側又は下側に固定するものとしても構わないが、置き換えられた小数部分が０．５以上であれば上側の２画素を置き換え、０．５未満であれば下側の２画素を置き換える様にすると好適である。これにより、入力画像の画素のうち重みの大きい方を残すことができる。

また、表示色の設定された座標に対応する、入力画像の座標（Ｘｉ，Ｙｉ）を囲む画素のうち列方向（Ｘ方向）に並んだ２画素を必ず表示色に置き換えるのではなく、ブレンド係数α（小数部分）が閾値α１よりも小さい場合は置き換えを行なわず、ブレンド係数α（小数部分）が閾値α２（α１＜α２）よりも大きい場合は入力画像の座標（Ｘｉ，Ｙｉ）を囲む画素を全て表示色に置き換えるものとしてもよい。

なお、座標変換部２４Ａは、ある出力画像の座標（例えば、表示色の設定された座標）に対応する入力画像の座標（Ｘｉ，Ｙｉ）のうち列方向（Ｘ方向）の座標の小数部分を、ブレンド係数αに変換するものとしてもよい。この場合、出力画像生成部２４Ｂは、当該小数部分が変換された出力画像の画素については、当該画素に対応する入力画像の座標（Ｘｉ，Ｙｉ）を囲む画素のうち、行方向（Ｙ方向）に並んだ２画素の画素値を表示色に置き換えた上で、補間処理を行なう（図１５（Ｂ）参照）。

表示色の指定は、予めＲＯＭ等に記憶されたデータが自動的に幾何変換テーブル１４の一部として設定されてもよいし、外部機器によって随時設定されてもよい。

図１６は、本実施例の座標変換部２４Ａ及び出力画像生成部２４Ｂが実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば所定周期をもって繰り返し実行される。

まず、座標変換部２４Ａは、幾何変換テーブル１４における最初の出力画素に係るデータを読み込む（Ｓ４００）。

次に、当該出力画素について表示色が設定されているか否かを判定し（Ｓ４０２）、表示色が設定されている場合は、上記の手法に従って読み込んだ出力画像の座標に対応する入力画像の座標（Ｘｉ，Ｙｉ）のうち行方向（Ｙ方向）の座標の小数部分を、ブレンド係数αに変換する（Ｓ４０４）。

出力画像生成部２４Ｂは、置き換え後のデータ（置き換え指示がない場合は元データ）に対して補間処理を行なって得られた画素値を当該出力画像の画素値とする（Ｓ４０６）。

続いて、全ての出力画素について画素値を決定したか否かを判定し（Ｓ４０８）、全ての出力画素について画素値を決定していない場合は次の出力画素に係るデータを読み込み（Ｓ４１０）、Ｓ４０２以下の処理を実行する。

一方、全ての出力画素について画素値を決定した場合は、決定した１セットの画素データを、１回分の複合画像データとしてディスプレイ装置４０に出力する（Ｓ４１２）。

本実施例の複合画像生成装置４によれば、第１実施例の複合画像生成装置１と同様に、撮像手段から入力される入力画像を変換した画像に重ねてオーバーレイ画像を表示するための処理を低コストに実現することができる他、幾何変換とオーバーレイ画像の半透明合成やアンチエリアシング処理等を行なうことができる。また、幾何変換テーブル１４においてブレンド係数を示す欄を省略することができるため、幾何変換テーブル１４のサイズが過大にならないようにすることができる。

＜第５実施例＞
以下、本発明の第５実施例に係る複合画像生成装置５について説明する。複合画像生成装置５は、第２実施例に係る複合画像生成装置２（オーバーレイ画像の表示色を幾何変換テーブル１２により指定できるもの）と同様の機能を実現するものであって、出力画像生成部２１の具体的且つ簡素な構成例を明らかにしたものである。すなわち、いわゆるバイリニア補間を行なうと共に、上式（２）に従ってブレンディング処理を行なうことができる。

［５＿１．構成］
本実施例の複合画像生成装置５は、幾何変換テーブル１５、及び出力画像生成部２５を備える（図１７参照）。本実施例の複合画像生成装置５は、必ずしも高度なコンピュータシステムである必要はなく、幾何変換テーブル１５を記憶した記憶媒体、及び後述するハードウエア構成の出力画像生成部２５を有すれば足りる。なお、幾何変換テーブル１５の内容は、図８（Ｂ）に示したものと同様である。

図１８は、本実施例における出力画像生成部２５のハードウエア構成の一例を示す図である。係る構成は、幾何変換処理及びブレンディング処理がいずれも２つの値を指定された比で内分する演算であることに注目し、内分した値を求める演算器を１つ備え、これを４回使用することで幾何変換処理及びブレンディング処理を実現するように構成したものである。係る構成により、幾何変換及びブレンディング処理が簡素なハードウエア構成で（高度なコンピュータシステムでなくとも）実現でき、装置の小型化及び低コスト化を図ることができる。

以下、バイリニア補間を段階分けし、上側の画素に関するＸ方向の補間値を第１補間値と、下側の画素に関するＸ方向の補間値を第２補間値と、第１補間値と第２補間値をＹ方向に関して補間した値を第３補間値と、それぞれ称する。

出力画像生成部２５は、左上画素値、左下画素値、及び第１レジスタの値が入力されるセレクタＡと、右上画素値、右下画素値、及び第２レジスタの値が入力されるセレクタＢと、入力画像に付与された座標（Ｘｉ，Ｙｉ）のＸｉの小数部、Ｙｉの小数部、及びブレンド係数が入力されるセレクタＣと、補数器と、乗算器Ａと、乗算器Ｂと、加算器と、第１レジスタと、第２レジスタと、出力レジスタと、を備える。

以下、図１９のタイミングチャートを用いて出力画像生成部２５の動作を説明する。まず、最初に第１補間値を求めるため、セレクタＡは左上画素値を、セレクタＢは右上画素値を、セレクタＣはＸｉの小数部を、それぞれ選択する（Ｔ１）。Ｘｉの小数部は、例えば、小数点以下の値を表現した４ビットの２進数値である。この４ビットの２進数値が、乗算器Ｂにはそのまま乗数として供給され、乗算器Ａには補数として供給される。ここで、補数とは、２進数表現、１０進数表現のどちらにおいても１の補数（１−元の値）を求めることを意味する。小数部を表現した２進数表現、及び１０進数表現と、これらの補数との対応関係を、図２０に示す。

これにより、乗算器Ａには、被乗数として左上画素値が、乗数として（１−Ｘｉの小数部）が、それぞれ供給される。また、乗算器Ｂには、被乗数として右上画素値が、乗数としてＸｉの小数部が、それぞれ供給される。従って、加算器の出力は第１補間値となる。第１補間値は、第１レジスタに保持される。

次に、セレクタＡは左下画素値を、セレクタＢは右下画素値を、セレクタＣはＸｉの小数部を、それぞれ選択する（Ｔ２）。これにより、加算器の出力は第２補間値となる。第２補間値は、第２レジスタに保持される。

続いて、セレクタＡは第１レジスタの値を、セレクタＢは第２レジスタの値を、セレクタＣはＹｉの小数部を、それぞれ選択する（Ｔ３）。

これにより、乗算器Ａには、被乗数として第１補間値が、乗数として（１−Ｙｉの小数部）が、それぞれ供給される。また、乗算器Ｂには、被乗数として第２補間値が、乗数としてＹｉの小数部が、それぞれ供給される。従って、加算器の出力は第３補間値となる。第３補間値は、第１レジスタに保持される。

最後に、セレクタＡは第１レジスタの値を、セレクタＢは表示色を、セレクタＣはブレンド係数を、それぞれ選択する（Ｔ４）。

これにより、乗算器Ａには、被乗数として第３補間値が、乗数として（１−ブレンド係数）が、それぞれ供給される。また、乗算器Ｂには、被乗数として表示色が、乗数としてブレンド係数が、それぞれ供給される。従って、加算器の出力はαブレンディング処理がなされた出力画素値となる。これを出力レジスタに保持する（Ｔ５）。

なお、Ｘ方向の補間を先に行なってからＹ方向の補間を行なう手順としたが、Ｙ方向の補間を先に行なってからＸ方向の補間を行なう手順としてもよい。また、乗算器を２つ備えるものとして説明したが、乗算器を１つとして２組の乗算を時間軸上で２回に分けて実現するものとしてもよい。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、オーバーレイ画像は、表示色が指定されるコンピュータ画像に限らず、他のカメラから入力された撮像画像等であってもよい。

本発明は、画像処理装置製造業や自動車製造業、自動車部品製造業等に利用可能である。

本発明の第１実施例に係る複合画像生成装置１、及びこれに接続される装置等を示す図である。 第１実施例に係る幾何変換テーブル１１を例示した図である。 第１実施例に係る入力画像の座標と出力画像の座標の対応関係を示す図である。 歪み補正前の入力画像、及び歪み補正後の出力画像の一例を示す図である。 車幅延長線を後進駐車時の目安として車両後方の風景に重ねて表示する様子を示す図である。 第１実施例の出力画像生成部２１が実行する特徴的な処理の流れを示すフローチャートである。 本発明の第２実施例に係る複合画像生成装置２、及びこれに接続される装置等を示す図である。 第２実施例に係る幾何変換テーブル１２を例示した図である。 第２実施例の出力画像生成部２２が実行する特徴的な処理の流れを示すフローチャートである。 本発明の第３実施例に係る複合画像生成装置３、及びこれに接続される装置等を示す図である。 第３実施例に係る幾何変換テーブル１３、及び入力画像の座標と出力画像の座標の対応関係を例示した図である。 第３実施例の出力画像生成部２３が実行する特徴的な処理の流れを示すフローチャートである。 本発明の第４実施例に係る複合画像生成装置４、及びこれに接続される装置等を示す図である。 第４実施例に係る幾何変換テーブル１４を例示した図である。 第４実施例に係る出力画像生成部２４Ｂが、小数部分が変換された出力画像の画素に対応する入力画像の座標を囲む画素の一部を表示色に置き換える様子を示す図である。 第４実施例の座標変換部２４Ａ及び出力画像生成部２４Ｂが実行する特徴的な処理の流れを示すフローチャートである。 本発明の第５実施例に係る複合画像生成装置５、及びこれに接続される装置等を示す図である。 第５実施例に係る出力画像生成部２５のハードウエア構成の一例を示す図である。 出力画像生成部２５の動作を説明するためのタイミングチャートである。 小数部を表現した２進数表現、及び１０進数表現と、これらの補数との対応関係を示す図である。

符号の説明

１、２、３、４、５ 複合画像生成装置
１１、１２、１３、１４、１５ 幾何変換テーブル
２１、２２、２３、２４Ｂ、２５ 出力画像生成部
２４Ａ 座標変換部
３０ カメラ
４０ ディスプレイ装置

Claims (3)

1. 出力画像の画素の位置に対応付けられた座標を、撮像手段から入力される入力画像に割り当てることを規定する幾何変換テーブルと、
   前記幾何変換テーブルにおける前記割り当てられた座標を囲む画素の画素値を用いた補間処理を行なって出力画像を生成する出力画像生成手段と、を備える複合画像生成装置であって、
   前記出力画像生成手段は、オーバーレイ情報が付与された出力画像の画素については、前記入力画像における前記割り当てられた座標を囲む画素の画素値の少なくとも一部を前記オーバーレイ情報に基づいて置換した後に、前記補間処理を行なって出力画像を生成する手段である、
   複合画像生成装置。
2. 請求項１に記載の複合画像生成装置であって、
   前記幾何変換テーブルにおいて前記入力画像に割り当てられた座標のうち、行方向の座標の小数部分を、ブレンド係数を示す値に変換する座標変換手段を備え、
   前記出力画像生成手段は、前記オーバーレイ情報付与手段によりオーバーレイ情報が付与された出力画像の画素については、前記座標変換手段により変換された行方向の座標の小数部分の値に基づくブレンディング処理を行なって出力画像を生成する手段である、
   複合画像生成装置。
3. 請求項１に記載の複合画像生成装置であって、
   前記幾何変換テーブルにおいて前記入力画像に割り当てられた座標のうち、列方向の座標の小数部分を、ブレンド係数を示す値に変換する座標変換手段を備え、
   前記出力画像生成手段は、前記オーバーレイ情報付与手段によりオーバーレイ情報が付与された出力画像の画素については、前記座標変換手段により変換された列方向の座標の小数部分の値に基づくブレンディング処理を行なって出力画像を生成する手段である、
   複合画像生成装置。

Images