JP4996330B2

JP4996330B2 - 画像歪み補正装置

Info

Publication number: JP4996330B2
Application number: JP2007130829A
Authority: JP
Inventors: 淳平遠藤; 聡古川; 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-05-16
Filing date: 2007-05-16
Publication date: 2012-08-08
Anticipated expiration: 2027-05-16
Also published as: JP2008287431A

Description

本発明は、レンズを含む結像光学系の歪曲収差等に起因した画像歪みを補正する画像歪み補正装置に関するものである。

例えば、テレビ付きインターホンシステムに使用されるテレビカメラにおいては、被写体（来訪者）とテレビカメラとの距離が近く且つ可能な限り広い範囲を撮像する必要があることから、結像光学系に超広角レンズが用いられており、結像光学系（超広角レンズ）の歪曲収差等に起因して、撮像した画像が歪むという問題があった。そこで本出願人は、画素の位置（座標，アドレス）を水平方向（又は水平方向と垂直方向）に移動する座標変換を行うことによって画像歪みを補正する画像歪み補正装置を既に提案している（例えば、特許文献１参照）。

特許文献１に記載されている従来例では、テレビカメラのレンズ等により生じる画像歪みの特性を数式化し、当該数式を用いて予め計算した変換座標と、座標変換後の画素値を補正するための補正係数とをメモリテーブルに記憶しておき、テレビカメラから取り込んだ入力画像に対してメモリテーブルを参照して座標変換と画素値の補正を行うことで画像歪みを補正している。

ところで、近年のテレビカメラにおいてはディジタル・ビデオ信号を出力するＣＣＤイメージ・センサやＣＭＯＳイメージ・センサが撮像素子として用いられており、画像歪みの補正がディジタル画像処理によって行われることが多くなっている。例えば、特許文献２に記載されている従来例では、ディジタル・ビデオ信号の色差成分Ｕ，Ｖを輝度成分Ｙの半分に間引きしたＹＵＶ４２２ビデオ・フォーマットに準拠したディジタル・ビデオ信号を取り扱っており、座標変換後の画素値の輝度成分Ｙ及び色差成分Ｕ，Ｖを、近傍の４点の画素値から線形近似して補間する処理が行われている。
特許第３４５１６４４号公報特開２０００−３４３７号公報（段落００４４〜００４９，図１２）

ここで、特許文献２に記載されている従来例のようにリアルタイムに表示する必要がなければ画像信号（ディジタル・ビデオ信号）の輝度成分Ｙと色差成分Ｕ，Ｖの何れについても線形近似によって画素値を補間することが望ましい。しかしながら、特許文献１に記載されている従来例のようにリアルタイムに表示する必要がある場合、処理時間をできるだけ短くしなければならないから、上述のように輝度成分Ｙと色差成分Ｕ，Ｖの双方の画素値を線形近似によって補間するための処理を高速に行うことのできるハードウェア構成が必要となってコストが上昇してしまう。

また、レンズの歪曲収差は光軸中心から離れるにつれて大きくなり、同じくレンズの解像度も光軸中心から離れるほど低下するから、上記従来例のような線形近似を画面の周辺部分で行うと解像度がさらに低下してしまうことになる。

本発明は上記事情に鑑みて為されたものであり、その目的は、コストを抑えつつ画像歪みをリアルタイムで適切に補正したり、あるいは、画像歪み補正に伴う解像度の低下を防ぐことができる画像歪み補正装置を提供することにある。

請求項１の発明は、上記目的を達成するために、光学系の歪曲収差による画像歪みを補正する画像歪み補正装置であって、各画素毎の輝度成分と複数画素毎に間引かれる色差成分からなるディジタルの入力画像信号を順次記憶する記憶手段と、記憶手段に記憶した入力画像信号を読み出して画像歪みによる位置ずれを修正するための座標変換を行う座標変換手段と、座標変換手段で座標変換された入力画像信号の輝度成分並びに色差成分に対して画素値の補間処理を行う補間処理手段とを備え、補間処理手段は、画像の中心を含む所定範囲内の座標の画素値を当該座標の近傍の座標における画素値から線形近似した画素値で補間する処理を行い、前記所定範囲外の座標の画素値を当該座標の近傍の座標における画素値で補間する処理を行うことを特徴とする。

請求項１の発明によれば、相対的にレンズの解像度が高い画像の中心を含む範囲内では線形近似によって求めた画素値で補間し、当該範囲外、すなわち、相対的にレンズの解像度が低い光学系の周辺では近傍の座標における画素値で補間することにより、コストを抑えつつ画像歪み補正に伴う解像度の低下を防ぐことができる。

請求項２の発明は、請求項１の発明において、記憶手段は、座標変換手段で変換される前の座標と変換後の座標との差の絶対値の最大値に応じた数の画素値を記憶することを特徴とする。

本発明によれば、コストを抑えつつ画像歪みをリアルタイムで適切に補正したり、あるいは、画像歪み補正に伴う解像度の低下を防ぐことができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。本実施形態の画像歪み補正装置１は、図１に示すように撮像装置ＣＡＭから出力されるディジタル・ビデオ信号を入力画像信号として取り込み、画像歪みを補正した後のディジタル・ビデオ信号を液晶ディスプレイのような表示装置（図示せず）に出力する。撮像装置ＣＡＭは従来周知のものであって、ＣＣＤイメージ・センサあるいはＣＭＯＳイメージ・センサからなる撮像素子と、撮像素子の撮像面に光を集光するレンズ等の結像光学系とを有し、ＹＵＶ４２２ビデオ・フォーマットに準拠したディジタル画像信号、すなわち、色差成分Ｕ，Ｖを輝度成分Ｙの半分に間引きしたディジタル・ビデオ信号を出力する。但し、ディジタル・ビデオ信号のビデオ・フォーマットは一例であって、実施形態に限定されるものではない。

図２は撮像装置ＣＡＭから出力するディジタル画像信号のデータ・フォーマットを示しており、輝度成分Ｙｍは１つの画素Ｈｍ毎にそれぞれデータ（画素値）を持ち、色差成分Ｕｎ，Ｖｎは２つの画素Ｈ2m，Ｈ2m+1毎に共通して同じデータ（画素値）を持っている。なお、図２における黒丸は各画素Ｈｍの座標（アドレス）を示している。

画像歪み補正装置１は、撮像装置ＣＡＭから１水平ライン毎に順次出力される入力画像信号（各画素Ｈｍ毎の輝度成分Ｙｍと色差成分Ｕｎ，Ｖｎの画素値）を順次記憶する記憶手段２と、記憶手段２に記憶した入力画像信号を読み出して画像歪みによる位置ずれを修正するための座標変換を行う座標変換手段３と、座標変換手段３で座標変換された入力画像信号の輝度成分Ｙ並びに色差成分Ｕ，Ｖに対して画素値の補間処理を行う補間処理手段４とを備えている。なお、記憶手段２は１水平ライン分の画像データ（輝度成分Ｙと色差成分Ｕ，Ｖの画素値）を記憶するラインバッファメモリからなり、座標変換手段３と補間処理手段４はマイコンに所定の座標変換処理用及び補間処理用のプログラムを実行させることで実現される。

座標変換手段３は、入力画像における任意の画素Ｈｍの座標（アドレス）を（ｘ’，ｙ’）、歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ₀，ｙ₀）、ｎを正の整数としたとき、下記式で表される座標変換式を用いて入力画像の座標（ｘ’，ｙ’）を求める処理（座標変換処理）を行う。

撮像装置ＣＡＭから画像歪み補正装置１に入力される入力画像には撮像装置ＣＡＭが具備するレンズ等の結像光学系における歪曲収差に起因した画像歪みが生じている。上記座標変換式の右辺第２項は、任意の座標（ｘ，ｙ）を通るべき縦方向の直線（ｙ軸に平行な直線）が歪曲収差によって歪んだ曲線を近似したものであって、任意の座標（ｘ，ｙ）を上記座標変換式に代入して入力画像の座標（ｘ’，ｙ’）、すなわち、当該座標（ｘ，ｙ）が画像歪みによって移動した座標を座標変換処理によって求め、補間処理手段４において入力画像の座標（ｘ’，ｙ’）の画素値を補間することで画像歪みを補正することができるのである。

ここで、特許文献１に記載されている従来例においても座標変換式ｘ’＝｛１−ｋ（ｙ−ｙ₀）²｝ｘ＋ｋ（ｙ−ｙ₀）²ｘ₀、ｙ’＝ｙを用いた座標変換を行うことで画像歪みを補正しているが、当該従来例の座標変換式を変形した式ｘ’＝ｘ−ｋ（ｘ−ｘ₀）（ｙ−ｙ₀）²から判るように、画像歪みの特性に応じて変更可能なパラメータが画像の歪み率を表すパラメータｋと画像中心の座標ｘ₀又はｙ₀の３種類しかないために精細な歪み補正を行うことが困難であった。これに対して本実施形態の座標変換手段３における座標変換処理では、複数の係数ａ_ijklと画像中心の座標ｘ₀又はｙ₀の合計４種類以上のパラメータと、補正後の座標（ｘ，ｙ）と画像中心の座標（ｘ₀，ｙ₀）の差の絶対値｜ｘ−ｘ₀｜，｜ｙ−ｙ₀｜とを座標変換式中に含むため、前記従来例と比較して画像歪みの特性に応じた精細な歪み補正を簡単に行うことができるという利点がある。

補間処理手段４は、座標変換手段３で変換された座標（ｘ，ｙ）の画素値を補間する処理（補間処理）を行うのであるが、輝度成分Ｙに対しては近傍の座標における画素値から線形近似した画素値で補間する処理（以下、「線形近似補間処理」という。）を行い、色差成分Ｕ，Ｖに対しては近傍の座標における画素値で補間する処理（以下、「最近傍補間処理」という。）を行う。線形近似補間処理は特許文献１，２にも開示されているように従来周知であって、図２に示すように座標変換前の画素Ｈ０，Ｈ１の位置（図２における黒丸）の間に存在する座標変換後の画素Ｈ０’の位置（図２における星印）における輝度成分Ｙ０’を、記憶手段２から読み出したＹ０，Ｙ１の画素値をＹ０’＝αＹ０＋（１−α）Ｙ１の式に代入して演算する処理である（但し、αは０＜α＜１を満たす補間係数を示す）。一方、最近傍補間処理は、文字通り座標変換後の画素Ｈ０’の位置から最も近い位置の座標変換前の画素（図２では画素Ｈ０）における色差成分Ｕ０，Ｖ０を記憶手段２から読み出し、そのまま座標変換後の画素Ｈ０’の色差成分Ｕ０’，Ｖ０’とする処理である。

そして、上述のように補間処理手段４で補間処理された後のディジタル画像信号、すなわち、各画素Ｈｍ’の輝度成分Ｙｍ’と色差成分Ｕｎ’，Ｖｎ’が表示装置に出力され、当該表示装置においては画像歪みが補正された画像を表示することができる。

而して、本実施形態では人間の目がその変化に敏感である輝度成分Ｙに対しては線形近似による補間処理（線形近似補間処理）を行い、人間の目がその変化に鈍感である色差成分Ｕ，Ｖに対しては線形近似よりも簡単な処理（最近傍補間処理）で補間することにより、補間処理手段４の構成（補間処理用プログラムの構成）を簡素化することができ、その結果、輝度成分Ｙと色差成分Ｕ，Ｖの両方を線形近似補間処理する場合と比較して、プログラムの規模が小さく且つ処理時間が短くなるためにコストを抑つつ画像歪みをリアルタイムで適切に補正することができる。

ここで、従来技術で説明したようにレンズの歪曲収差は光軸中心（画像中心）から離れるにつれて大きくなり、同じくレンズの解像度も光軸中心から離れるほど低下するから、上述のような線形近似補間処理を画面の周辺部分で行うと解像度がさらに低下してしまう虞がある。そこで、図３に示すように座標変換後の画素Ｈｍ’の位置が光学系の光軸中心（画面中心Ｏ）を含む所定範囲（図３においては楕円形の範囲）内にある場合は輝度成分Ｙの補間処理として線形近似補間処理を行い、座標変換後の画素Ｈｍ’の位置が前記所定範囲外（図３においてハッチングされた範囲）にある場合は輝度成分Ｙの補間処理として色差成分Ｕ，Ｖと同じ最近傍補間処理を行うようにすれば、上述のような画像歪み補正に伴う解像度の低下を防ぐことができる。但し、画像歪み補正に伴う解像度の低下を防ぐという技術課題のみを解決するためには、座標変換後の画素Ｈｍ’の位置が前記所定範囲内にある場合の色差成分Ｕ，Ｖの補間処理を線形近似補間処理としても構わない。

ところで、記憶手段２の記憶容量は必ずしも１水平ライン分を必要とせず、例えば、座標変換手段３によって変換される前の座標と変換後の座標との差の絶対値の最大値に応じた数の画素データ（輝度成分Ｙ及び色差成分Ｕ，Ｖの画素値）を記憶可能であればよい。

本発明の実施形態を示すブロック図である。同上の動作説明図である。同上の動作説明図である。

符号の説明

１画像歪み補正装置
２記憶手段
３座標変換手段
４補間処理手段

Claims

光学系の歪曲収差による画像歪みを補正する画像歪み補正装置であって、
各画素毎の輝度成分と複数画素毎に間引かれる色差成分からなるディジタルの入力画像信号を順次記憶する記憶手段と、記憶手段に記憶した入力画像信号を読み出して画像歪みによる位置ずれを修正するための座標変換を行う座標変換手段と、座標変換手段で座標変換された入力画像信号の輝度成分並びに色差成分に対して画素値の補間処理を行う補間処理手段とを備え、
補間処理手段は、画像の中心を含む所定範囲内の座標の画素値を当該座標の近傍の座標における画素値から線形近似した画素値で補間する処理を行い、前記所定範囲外の座標の画素値を当該座標の近傍の座標における画素値で補間する処理を行うことを特徴とする画像歪み補正装置。
記憶手段は、座標変換手段で変換される前の座標と変換後の座標との差の絶対値の最大値に応じた数の画素値を記憶することを特徴とする請求項１記載の画像歪み補正装置。