JP3716437B2

JP3716437B2 - 画像生成装置および学習装置

Info

Publication number: JP3716437B2
Application number: JP29897694A
Authority: JP
Inventors: 秀雄中屋; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-08
Filing date: 1994-11-08
Publication date: 2005-11-16
Anticipated expiration: 2020-11-16
Also published as: JPH08138081A

Description

【０００１】
【産業上の利用分野】
この発明は、コンピュータグラフィックスで作成した３次元曲面に、実写の物体画像をマッピングした画像を生成するための画像生成装置および学習装置に関する。
【０００２】
【従来の技術】
図１０に概略的に示すように、コンピュータグラフィックスを用いて作成した３次元曲面に、実写の物体画像をマッピングして表示させるようなアプリケーションが知られている。テレビジョン特殊効果装置としては、特開昭６１−２３０４７７号公報、特開昭６１−２３７１７１号公報に記載されている装置が本願出願人により提案されている。かかる画像生成装置は、例えば商品の実写画像を立体的に表示し、これを視点を変えて（回転）表示させたり大きさを変えて表示させたりすることで、あたかも実物を見せるような効果を生じさせることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、回転、拡大、あるいは縮小にともなう変形が単純な座標変換と線形補間で行われることが一般的であるため、特に拡大画像の場合では解像度が劣化する問題があった。
【０００４】
従って、この発明の目的は、画像の拡大等の変形時に解像度が劣化することが防止された画像生成装置および学習装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、画像データを座標変換し変換画像データを出力する座標変換手段と、
注目する補間画素の周辺に位置する、座標変換手段により出力される変換画像データ内の複数の画素の画素値に基づいて、注目する補間画素のクラスを示すコードを生成する分類手段と、
座標変換手段により出力される変換画像データ内の複数の画素の線形一次結合により注目する補間画素を生成するための係数をクラス毎に記憶する記憶手段と、
分類手段により生成されたクラスに対応する係数を記憶手段から検出すると共に、複数の画素の画素値および係数の線形一次結合により２次元座標系の格子上の注目する補間画素を生成する画素生成手段と、
を備える画像生成装置である。
【０００６】
【作用】
拡大画像を得るために、クラス分類適応処理によって、拡大画像中の画素を補間するので、解像度の劣化を防止することができる。
【０００７】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の一実施例の全体ブロック図である。図１において、１がＣＰＵ、２が制御情報を入力するためのキーボード（およびマウス）、３がインターフェース（Ｉ／Ｆ）、４が制御プログラムや処理の途中結果を記憶するためのワークメモリ（ＲＡＭ）、５がプログラムや画像データを蓄積するハードディスク（ＨＤＤ）である。
【０００８】
また、図１において、６がキーボード２から入力した情報によって３次元曲面を生成する３次元曲面生成回路、７が生成された曲面にマッピングする実画像データを蓄える実画像メモリ、８が実画像メモリ７に画像を入力するためのＡＤ変換回路である。実画像は、例えばテレビジョンカメラで撮像された画像であり、ＡＤ変換回路８によって、アナログ画像信号からディジタル画像信号へ変換される。
【０００９】
さらに、図１において、９がマッピングされた実画像を密な画素に補間するための補間回路、１０が補間回路９によって作られた画像を蓄えるビデオメモリ（ＶＲＡＭ）、１２が画像を表示するＣＲＴモニタ、１１がビデオメモリ１０に蓄えられた画像データをＣＲＴモニタ１２に出力するために、ディジタルデータをアナログデータに変換するためのＤＡ変換回路である。
【００１０】
上述のこの発明の一実施例について、より詳細に説明する。まず、３次元曲面生成回路６では、キーボード２から入力された曲面生成命令によって、ある任意の関数によって３次元上の座標値が計算され、３次元の曲面が生成される。この曲面生成命令は、曲面の種類、曲面の形状を決定するパラメータ等を含むものである。３次元曲面の一例は、円筒面である。曲面の生成の代わりにハードディスク５にあらかじめ蓄えられていた曲面を読み出しても良い。
【００１１】
一方、ＴＶカメラなどから入力された実画像は、ＡＤ変換回路８によって例えば８ビットで量子化され、実画像メモリ７へ入力される。記憶される画像は静止画あるいは動画の何れでも良い。静止画像の場合は、実画像メモリは例えば（１０２４ｘ７６８）程度の大きさをもったフレームメモリ１枚で構成し、動画像を扱う場合はフレームメモリ２枚をもって交互に読み書きする構成とされる。
【００１２】
実画像メモリ７から読み出された画像は、３次元曲面生成回路６から出力される３次元の座標値に対応させてマッピングされる。ただし、これは、仮想的な空間でのイメージであり、ＣＲＴモニタ１２に表示するためには、２次元の平面上に投影するとともに、隠面処理をする必要がある。また、３次元曲面の変形によっては、投影の際に補間によって２次元平面の格子点上の座標にマッピングされるように処理を行う必要がある。補間回路９は、この部分の処理を行う回路である。
【００１３】
補間回路９の一例の詳細ブロック図を図２に示す。３次元曲面生成回路６からの曲面情報とＡＤ変換回路８からの実画像データが座標変換回路２１に入力され、２次元平面上に合成されて射影される。このとき存在する格子点の位置は、図３における実線の交点であり、破線の交点である２次元座標系の格子点とは異なる。従って、補間演算により２次元座標系の格子点上の画素値を求める必要がある。
【００１４】
例えば、図３において、３次元座標系の格子点ｘ₁〜ｘ₄の画素を使用して、その中にある２次元座標系の格子点Ｘの画素値を推定する。この推定演算は、下式に示すような線形１次結合式で表される演算によって行われる。ｗ₁〜ｗ₄は、予め学習によって得られた係数である。
Ｘ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋ｗ₃×ｘ₃＋ｗ₄×ｘ₄ （１）
【００１５】
図２の回路においては、座標変換後の画素データが時系列変換回路２２および２３に供給される。時系列変換回路２２から同時に出力されるｘ₁〜ｘ_nの画素が乗算器ＭＰ₁、ＭＰ₂、・・・、ＭＰ_nの一方の入力端子に入力される。これらの乗算器ＭＰ₁、ＭＰ₂、・・・、ＭＰ_nの他方の入力端子には、後述するアドレスに従って係数メモリ２６から呼び出された係数ｗ₁、ｗ₂、・・・、ｗ_nが入力され、各画素との積が演算され、加算器Ａによって総和（すなわち、Ｘ）が求められる。
【００１６】
係数を呼び出すためのアドレスは、パターン分類によるクラス分類処理によって生成されるインデックスコードを使用する。座標変換回路２１からの座標変換後のデータが時系列変換回路２３を介されることによって同時化され、クラス生成回路２４に入力される。ここで、このクラスを形成するために使用する複数の画素は、補間演算に使用する複数の画素ｘ₁〜ｘ_nと同一でも良く、相違していても良い。
【００１７】
クラス生成回路２４においては、まず入力された複数の画素値の最大値ＭＡＸと最小値ＭＩＮを検出する。その差分（ダイナミックレンジＤＲ）を２のｎ乗（ｎビット量子化の場合）で割り算し、量子化のステップ幅を求める。画素値から最小値ＭＩＮを引いた値に対して、求めた量子化ステップ幅で割り算し、整数に丸めることで適応量子化を行なう。これは、ＡＤＲＣ符号化方式と呼ばれるもので、下式で表されるものである。ここで、Ｑが量子化値、ｘ＾が復号値、〔〕は切捨て処理をそれぞれ表す。
【００１８】
ＤＲ＝ＭＡＸ−ＭＩＮ（２）
Ｑ＝〔（ｘ−ＭＩＮ）×（２ⁿ／ＤＲ）〕（３）
ｘ＾＝〔Ｑ×（ＤＲ／２ⁿ）＋ＭＩＮ〕（４）
【００１９】
このようにしてＡＤＲＣ符号化されたコードを複数個あつめて、正規化されたパターンを構成し、これをパターン分類によるクラスとして表現する。入力画像と出力画像の格子点が一致する、通常のクラス分類においては、このようなクラス分類を行なえば良い。しかしながら、今回のような任意の変形に対応するためには、補間される格子点と入力された画素の相対的な位置を考慮する必要がある。
【００２０】
そこで、２次元座標系（図３における破線の座標）の格子間隔を１として、補間される３次元座標（図３における実線の座標）の格子点の近傍４入力画素の相対的位置を例えば１／４の刻みで水平、垂直ともにコード化する。例えば、図３におけるｘ₁のコードは１０進表示で（２、１）、ｘ₂のコードは１０進表示で（１、１）と表される。このコードを何ビットで表すかは、拡大率をどこまで行うかに依存する。例えば、コードを（４ビット、４ビット）とすれば縦横それぞれ４倍まで対応できる。この相対位置を表すコードと先のＡＤＲＣコードとを合わせてクラスを表すインデックスコードとする。すなわち、インデックスコードは、図４に示すように、ｘ₁〜ｘ₄の相対位置コードとそのＡＤＲＣコードとから構成される。このインデックスコードは、２進コードである。
【００２１】
各インデックスコードに対応して補間演算のための係数ｗ₁〜ｗ_nが係数メモリ２６から読出され、それぞれに適したフィルタ演算による補間値Ｘの計算が行われる。なお、インデックスコードに対応して係数メモリ２６に蓄えられた係数は、後で述べる学習処理によってあらかじめ求められたものである。
【００２２】
さて、係数を決定する学習方法について以下に説明する。学習のための装置は、図５に示すように、まず、高解像度の撮像装置４１で撮影された実画像をＡＤ変換回路４２によりディジタルデータへ変換し、フレームメモリ４３に蓄える。このフレームメモリ４３はホストコンピュータ４４からアクセスが可能であって、ホストコンピュータ４４のディスク等の記憶装置４５にデータを引き上げることが可能である。
【００２３】
簡単のために、変形の伴わない拡大の場合の学習方法について説明する。図５のような環境でもって、特にディテールの多い物体に関しては、色々な拡大率でもって撮像を行い、十分学習できる量のデータをディスクに準備する。例えば同一物体に対して、拡大率が１、２、３、・・・のような撮像を撮像装置４１が行う。拡大率は整数倍に限らず、小数点を含む任意の倍率でよい。
【００２４】
図６は、１倍で撮像された物体と２倍で撮像された物体の例を示す。物体上で対応する位置が共通の２次元座標の格子点に乗っている場合、ｘ₁〜ｘ₄がｘ₁´〜ｘ₄´にそれぞれ対応する。この対応関係は、マッチング演算（例えば、差分の絶対値和が最小の座標を求める）によって検出される。そして、Ｘからの相対位置のコードをそれぞれ（３、３）とするとともにｘ₁〜ｘ₄をＡＤＲＣ符号化して、相対位置のコードとＡＤＲＣ符号化出力のコードとからなるインデックスコードを作成する。この例の場合、ｘ₁〜ｘ₄から線形１次結合でＸを推定する（１）式で表されるようなモデルを作ってその係数を算出する問題になる。具体的には、同じインデックスコードになるデータを撮像した画像をサーチして相当数だけ集めて、最小二乗法による解法で係数の算出を行う。
【００２５】
以上の例は特殊な例であるが、格子点に対応点がないような場合、または、拡大率が整数でないような一般的な場合は、１倍で撮像した画像をコンピュータ上で線形補間演算による拡大を行った後、マッチング演算を行って対応点を求める。すなわち、図７に示すように、撮像した実画像から線形補間によって、拡大画像を作成する。この実画像と線形補間で得られた拡大画像とは、格子点の位相が一致している。格子点ｘ₁〜ｘ₄とそれぞれ対応する格子点ｘ₁´´〜ｘ₄´´が求められる。
【００２６】
そして、線形補間拡大画像と、撮像された拡大画像との間で、マッチング演算が行なわれる。このマッチング演算によって、二つの拡大画像の間の相対的位置関係を示すデータが得られる。この相対位置関係を示すデータによって、実画像のｘ₁〜ｘ₄と対応する点ｘ₁´〜ｘ₄´が分かり、Ｘからの相対位置のコードを求めることができる。
【００２７】
変形に対する学習は、上述のように、線形補間、マッチング後の対応点を注目する四角形のみの微小範囲に関してある関数による座標変換を行った後、相対位置のコードを算出してインデックスコードを求め、座標変換後の格子上にある補間点および、変換前のｘ₁〜ｘ₄のデータを使用して行うと良い。
【００２８】
学習時の処理をブロック図で表すと、図８に示すものとなる。図８において、５１は、撮像装置４１で撮影された実画像が蓄えられたメモリであり、５２は、撮像装置４１で撮影された拡大実画像が蓄えられたメモリである。実画像５１が拡大処理回路５３に供給され、線形補間処理によって拡大画像が生成される。この拡大画像とメモリ５２からの拡大実画像とが相対位置検出回路５４に供給され、相対位置が検出される。
【００２９】
また、メモリ５１からの実画像がＡＤＲＣエンコーダ５５に供給され、補間しようとする画素の周辺の画素データがＡＤＲＣ符号化される。このＡＤＲＣエンコーダ５５からの周辺の画素データのＡＤＲＣ符号化されたコードと相対位置検出回路５４からの相対位置コードとを合わせたものがインデックスコードとして最小二乗法の演算回路５６に供給される。この演算回路５６では、実データと補間データとの間の誤差を最小とするための線形１次結合の係数（式（１）におけるｗ₁〜ｗ₄）が求められる。この求められた係数が係数メモリ５７に格納される。
【００３０】
また、学習の方法は、図９のフローチャートに示される。図９において、ステップ６１は、学習用のデータ（拡大率が１倍の画像と、拡大率がｎ倍の画像）を収集するための撮像処理のステップである。撮像画像は、線形補間によりｎ倍にに拡大される（ステップ６２）。この線形補間による拡大画像と、撮影された拡大画像との間でマッチング演算がなされる。
【００３１】
次に、ステップ６４の座標変換において、マッチング後の対応点を注目する四角形のみの微小範囲に関して関数による座標変換を行なった後、ステップ６５のインデックスクラスの作成において、相対位置コードを算出し、相対位置コードを含むインデックスコードを生成する。
【００３２】
このステップ６５の後の破線で囲んで示す処理が最小二乗法により係数を決定する処理である。後述のように、観測方程式がステップ６７において作成され、ステップ６８において正規方程式が作成され、正規方程式がステップ６９において掃き出し法で求められる。そして、求められた係数がステップ７０において出力される。
【００３３】
最小二乗法により係数を求める演算について以下に説明する。一般に観測方程式を次の式（５）および（６）で表す。ｘ_ijが入力画像中の画素データであり、ｙ_iが補間値に対応する真値である。基本的には、この連立方程式を解いて係数ｗ₁〜ｗ_nを求めれば良い。
【００３４】
〔観測方程式〕
ＸＷ＝Ｙ
【００３５】
【数１】

【００３６】
つまり、式（７）で示すように、残差行列Ｅが加えられた形となり、二乗誤差が最小となるように、係数行列が決定される。
【００３７】
〔残差方程式〕
【数２】

【００３８】
式（７）から、係数ｗ_iの最確値を見いだすには、Σｅ_i ²（Σは、ｉ＝１からｉ＝ｍの累算を意味する）を最小にする条件を満足するｗ₁，ｗ₂，・・・，ｗ_nを見いだせば良い。すなわち、次の式（８）にｎ個の条件をいれてこれを満足するｗ₁，ｗ₂，・・・，ｗ_nを求める。
【００３９】
【数３】

【００４０】
式（７）から次の式（９）が成立する。
【００４１】
【数４】

【００４２】
式（８）の条件をｉ＝１，２，・・・，ｎについて立てればそれぞれ次の式（１０）が得られる。
【００４３】
【数５】

【００４４】
ここで、式（７）および（１０）から次の正規方程式が得られる。
【００４５】
【数６】

【００４６】
これは、未知数の数ｎ個と対応する数の連立方程式であるから、この正規方程式から最確値たる各ｗ_iを求めることができる。正確には、式（１１）において各ｗ_iにかかる（Σｘ_jnｘ_jn）を要素とする行列が正則であれば、この正規方程式を解くことができる。実際には、Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法（掃き出し法）を用いてこの正規方程式を解くことになる。
【００４７】
また、係数ｗ_iの演算は、インデックスコードで示されるクラス毎になされる。このようにして求められたクラス毎の係数は、係数メモリ（図２における係数メモリ２６および図８における係数メモリ５７）に蓄えられて補間演算に使用される。
【００４８】
なお、線形１次結合によらず、学習によって、クラス毎に補間値それ自体を得るようにし、この補間値をメモリに記憶する方式の補間値生成を行なうこともできる。
【００４９】
【発明の効果】
この発明によれば、拡大等の変形処理を行なう時に、座標変換と線形補間で変形画像を生成するのと比較して、解像度劣化のない変形画像を生成することができる。
【図面の簡単な説明】
【図１】この発明の一実施例のシステムの構成を示すブロック図である。
【図２】この発明の一実施例における補間回路のブロック図である。
【図３】２次元座標への投影を説明するための略線図である。
【図４】インデックスコードの一例を示す略線図である。
【図５】画像の採取ならびに学習のための構成を示すブロック図である。
【図６】画像の拡大の一例を示す略線図である。
【図７】画像の拡大の他の例を示す略線図である。
【図８】学習時の処理を表すブロック図である。
【図９】学習時の処理を表すフローチャートである。
【図１０】コンピュータグラフィックスによる画像生成の例を示す略線図である。
【符号の説明】
９補間回路
２４クラス生成回路
２６、５７係数メモリ
５５ＡＤＲＣエンコーダ
５６最小二乗法の演算回路

Claims

画像データを座標変換し変換画像データを出力する座標変換手段と、
注目する補間画素の周辺に位置する、上記座標変換手段により出力される変換画像データ内の複数の画素の画素値に基づいて、上記注目する補間画素のクラスを示すコードを生成する分類手段と、
上記座標変換手段により出力される変換画像データ内の複数の画素の線形一次結合により上記注目する補間画素を生成するための係数を上記クラス毎に記憶する記憶手段と、
上記分類手段により生成された上記クラスに対応する上記係数を上記記憶手段から検出すると共に、上記複数の画素の画素値および上記係数の線形一次結合により２次元座標系の格子上の上記注目する補間画素を生成する画素生成手段と、
を備える画像生成装置。
請求項１において、
上記座標変換手段は、
上記画像データを３次元曲面に基づいて座標変換すると共に変換画像データを出力する画像生成装置。
請求項１において、
上記座標変換手段は、
上記画像データを線形補間により拡大し拡大変換画像データを出力する画像生成装置。
請求項１において、
上記分類手段は、
上記座標変換手段により出力される変換画像データ内の複数の画素の画素値のダイナミックレンジを検出するダイナミックレンジ検出手段と、
上記ダイナミックレンジを２のｎ乗で除算し量子化幅を検出する量子化幅検出手段と、
上記各画素の画素値から最小の画素値を減算すると共に上記量子化幅で量子化する量子化手段とを有し、
上記各画素の量子化結果に基づいて上記注目する補間画素のクラスを示すコードを生成する画像生成装置。
請求項１において、
上記分類手段は、
上記座標変換手段により出力される変換画像データ内の複数の画素の各画素値および注目する２次元座標系の格子上の上記注目する補間画素との相対位置関係とにより、上記注目する補間画素のクラスを示すコードを生成する画像生成装置。
画像データを座標変換し変換画像データを出力する座標変換手段と、
上記画像データと同じ被写体が上記座標変換に対応する光学変換で撮像される光学変換画像データと、上記変換画像データとの相対位置を検出する相対位置検出手段と、
上記光学変換画像データ内の注目画素周辺の上記変換画像データ内の画素に対応する上記画像データ内の複数の画素の画素値と、上記相対位置とに基づいて、上記光学変換画像データ内の注目画素のクラスを示すコードを生成する分類手段と、
上記分類手段により生成された上記クラスに基づいて、上記画像データ内の画素から上記注目画素を生成するための係数を生成する係数生成手段と、
を備える学習装置。
請求項６において、
上記相対位置検出手段は、
上記画像データと同じ被写体が上記座標変換に対応する光学変換で撮像される光学変換画像データと、上記変換画像データとの相対位置に基づき、上記光学変換画像データ内の注目画素と当該注目画素周辺の上記変換画像データ内の画素との相対位置を検出する学習装置。
請求項６において、
上記係数生成手段は、
上記分類手段により生成された上記クラスが同じである上記注目画素に対応する上記画像データに基づき、上記画像データ内の複数の画素の各画素値との線形一次結合より上記注目画素を生成するための係数を最小二乗法により生成し、
更に、上記生成された係数を記憶する係数メモリ手段を有する学習装置。
請求項６において、
上記相対位置検出手段は、
２次元座標系の格子上に配される上記光学変換画像データと、上記変換画像データとの相対位置に基づき、上記光学変換画像データ内の当該格子上に配される注目画素と当該注目画素周辺の上記変換画像データ内の複数の画素との相対位置を検出する学習装置。
請求項６において、
上記分類手段は、
上記光学変換画像データ内の注目画素周辺の上記変換画像データ内の画素に対応する上記画像データ内の複数の画素の画素値のダイナミックレンジを検出するダイナミックレンジ検出手段と、
上記ダイナミックレンジを２のｎ乗で除算し量子化幅を検出する量子化幅検出手段と、
上記各画素の画素値から上記複数の画素のうち最小の画素値を減算すると共に上記量子化幅で量子化する量子化手段とを有し、
上記各画素の量子化結果に基づいて上記注目画素に対応する上記クラスを生成する学習装置。
請求項６において、
上記分類手段は、
上記光学変換画像データ内の注目画素周辺の上記変換画像データ内の画素に対応する上記画像データ内の複数の画素の各画素値および上記注目画素との相対位置関係とにより、上記注目画素に対応する上記クラスを生成する学習装置。
請求項６において、
上記座標変換手段は、
上記画像データを３次元曲面に基づいて座標変換すると共に変換画像データを出力する学習装置。
請求項６において、
上記座標変換手段は、
上記画像データを線形補間により拡大し拡大変換画像データを出力する学習装置。