JP5001717B2

JP5001717B2 - 輪郭強調装置

Info

Publication number: JP5001717B2
Application number: JP2007141118A
Authority: JP
Inventors: 聡古川; 睦裕山中; 淳平遠藤
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-05-28
Filing date: 2007-05-28
Publication date: 2012-08-15
Anticipated expiration: 2027-05-28
Also published as: JP2008294991A

Description

本発明は、レンズを含む結像光学系を通して撮像された画像の輪郭を強調する輪郭強調装置に関するものである。

例えば、テレビ付きインターホンシステムに使用されるテレビカメラにおいては、被写体（来訪者）とテレビカメラとの距離が近く且つ可能な限り広い範囲を撮像する必要があることから、結像光学系に超広角レンズが用いられており、結像光学系（超広角レンズ）の歪曲収差等に起因して、撮像した画像が歪むという問題があった。そこで従来より、画素の位置（座標，アドレス）を水平方向（又は水平方向と垂直方向）に移動する座標変換を行うとともに変換後の座標の画素値を近傍の画素値で線形近似することによって画像歪みを補正することが行われている（例えば、特許文献１参照）。ここで、上述のような座標変換によって画像歪みを補正した場合に画像の中心に対して周辺での移動量が大きくなるため、補正後の画像においては中心から周辺に向かうに従って解像性能が低下してしまう虞があった。

そのために特許文献１に記載されている従来例では、歪曲収差等による画像歪みの補正量が大きくなるに従って輪郭強調のレベルを大きくするようにして周辺における解像性能の低下を抑えるようにしている。
特開２００４−２４２１２５号公報

ところで、上述のような超広角レンズでは、一般的に中心に比べて周辺の解像性能が低下することが知られている。一方、特許文献１に記載されている従来例では、画像歪み補正の補正量と一意に関連付けられた補正係数によって輪郭強調レベルが調整されるため、例えば、上述の超広角レンズに対して周辺の解像性能の低下を抑制するように輪郭強調レベルを柔軟に調整することができなかった。

本発明は上記事情に鑑みて為されたものであり、その目的は、輪郭強調レベルを柔軟に調整することができる輪郭強調装置を提供することにある。

請求項１の発明は、上記目的を達成するために、レンズを含む結像光学系を通して撮像された画像の輪郭を強調する輪郭強調装置であって、入力画像を高周波成分と低周波成分に分離するとともに高周波成分のみを所定のゲインで増幅した後に低周波成分と加算する輪郭強調処理手段と、前記結像光学系の光軸中心を原点とする二次元直交座標系において入力画像の任意位置の座標を求める座標演算手段と、座標演算手段で求めた座標に応じて前記ゲインを変化させて輪郭強調レベルを調整する調整手段とを備え、調整手段は、前記任意位置の座標を（ｘ，ｙ）、ｎを正の整数としたとき、

からゲインＡを求めるとともに輪郭強調処理手段における前記ゲインを当該ゲインＡに変化させることを特徴とする。

請求項１の発明によれば、入力画像の座標（ｘ，ｙ）を変数とするｎ次の多項式から求まるゲインＡで輪郭強調レベルを調整するため、レンズの特性等に応じて各項の係数ａ_k，ｂ_kを適当に設定すれば輪郭強調レベルを柔軟に調整することができる。

請求項２の発明は、請求項１の発明において、調整手段は、結像光学系の特性に基づいてゲインＡを求める前記式のパラメータを変更することを特徴とする。

請求項３の発明は、請求項２の発明において、調整手段は、結像光学系の光軸中心と入力画像の中心とのずれ量に応じて前記座標を修正することを特徴とする。

請求項３の発明によれば、結像光学系の光軸中心と入力画像の中心とがずれていても輪郭強調レベルを適切に調整することができる。

請求項４の発明は、請求項１の発明において、結像光学系の歪曲収差による画像歪みを補正する画像歪み補正手段を備え、画像歪み補正手段は、所定の座標変換式を用いて入力画像の座標を求めるとともに、当該入力画像の座標における画素値を当該座標の近傍に存在する画素の画素値から求める処理を行い、調整手段は、画像歪み補正手段により座標変換式を用いて求められた入力画像の座標からゲインＡを求めることを特徴とする。

請求項４の発明によれば、画像歪み補正手段による画像歪みの補正量に連動して輪郭強調レベルを調整することにより、画像歪み補正によって生じる解像性能の低下を輪郭強調によって抑制することができる。

請求項５の発明は、請求項１の発明において、調整手段は、入力画像の中心を含む所定範囲内の座標についてはゲインＡをゼロとすることを特徴とする。

請求項５の発明によれば、入力画像の中心付近における輪郭強調レベルをゼロとすることで過剰な輪郭強調による画質の劣化を防ぐことができる。

請求項６の発明は、請求項１の発明において、結像光学系の歪曲収差による画像歪みを補正する画像歪み補正手段を備え、輪郭強調処理手段は、画像歪み補正手段から出力される画像に対して輪郭強調処理を行うことを特徴とする。

請求項６の発明によれば、輪郭強調レベルが画像歪み補正によって低減されることがないから解像性能をさらに高めることができる。

本発明によれば、入力画像の座標（ｘ，ｙ）を変数とするｎ次の多項式から求まるゲインＡで輪郭強調レベルを調整するため、レンズの特性等に応じて各項の係数ａ_k，ｂ_kを適当に設定すれば輪郭強調レベルを柔軟に調整することができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１（ａ）は、本発明に係る輪郭強調装置の実施形態を示すブロック図である。撮像装置（図示せず）から出力されるディジタル画像が入力画像として輪郭強調装置に取り込まれ、輪郭強調装置において画像歪みが補正された後の画像が輪郭強調されて液晶ディスプレイのような表示装置（図示せず）に出力され且つ表示される。なお、撮像装置は従来周知のものであって、ＣＣＤイメージ・センサあるいはＣＭＯＳイメージ・センサからなる撮像素子と、撮像素子の撮像面に光を集光するレンズ等の結像光学系とを有し、ＹＵＶ４２２ビデオ・フォーマットに準拠したディジタル画像信号、すなわち、色差成分Ｕ，Ｖを輝度成分Ｙの半分に間引きしたディジタル・ビデオ信号を出力する。但し、ディジタル・ビデオ信号のビデオ・フォーマットは一例であって、実施形態に限定されるものではない。

本実施形態の輪郭強調装置は、撮像装置から１水平ライン毎に順次出力される入力画像信号（各画素Ｈｍ毎の輝度成分Ｙｍと色差成分Ｕｎ，Ｖｎの画素値、図２参照）を順次記憶するラインバッファメモリ１と、入力画像信号に含まれる同期信号（クロック，ＨＤ，ＶＤ）のうちクロックとＨＤをカウントして１水平ライン内における座標（アドレス）ｘ，ｙを生成するアドレス・カウンタ２と、アドレス・カウンタ２で生成される入力画像の座標から画像歪みによる位置ずれを修正するための座標変換を行う座標変換手段３と、座標変換手段３で座標変換された入力画像信号の輝度成分Ｙ並びに色差成分Ｕ，Ｖに対して画素値の補間処理を行う画素値補間手段４と、画素値補間手段４で補間された入力画像信号の輝度成分Ｙに対して輪郭強調処理を行う輪郭強調処理手段５と、アドレス・カウンタ２で生成された座標に応じて輪郭強調処理手段５における輪郭強調レベルを調整する調整手段６とを備えている。なお、座標変換手段３並びに画素値補間手段４、輪郭強調処理手段５、調整手段６は、例えばマイコンが所定の画像歪み補正処理用並びに輪郭強調処理用のプログラムを実行すること等で実現されるものである。

座標変換手段３は、画像の左上隅を原点としてアドレス・カウンタ２で生成される座標を、画像の中心を原点とする座標に置き換えるとともに、置き換えた後の任意画素の座標（アドレス）を（ｘ’，ｙ’）、歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ₀，ｙ₀）、ｎを正の整数としたとき、例えば、下記式で表される座標変換式を用いて入力画像の座標（ｘ’，ｙ’）を求める処理（座標変換処理）を行う。但し、下記の座標変換式は一例であってこれに限定する趣旨ではない。

撮像装置から入力される入力画像には撮像装置が具備するレンズ等の結像光学系における歪曲収差に起因した画像歪みが生じている。上記座標変換式の右辺第２項は、入力画像の中心を原点としたときの任意の座標（ｘ，ｙ）を通るべき縦方向の直線（ｙ軸に平行な直線）が歪曲収差によって歪んだ曲線を近似したものであって、任意の座標（ｘ，ｙ）を上記座標変換式に代入して入力画像の座標（ｘ’，ｙ’）、すなわち、当該座標（ｘ，ｙ）が画像歪みによって移動した座標を座標変換処理によって求め、画素値補間手段４において入力画像の座標（ｘ’，ｙ’）の画素値を補間することで画像歪みを補正することができるのである。

ここで、特許文献１に記載されている従来例においても座標変換式を用いた座標変換を行うことで画像歪みを補正しているが、本実施形態の座標変換手段３における座標変換処理では、複数の係数ａ_ijklと画像中心の座標ｘ₀又はｙ₀の合計４種類以上のパラメータと、補正後の座標（ｘ，ｙ）と画像中心の座標（ｘ₀，ｙ₀）の差の絶対値｜ｘ−ｘ₀｜，｜ｙ−ｙ₀｜とを座標変換式中に含むため、前記従来例と比較して画像歪みの特性に応じた精細な歪み補正を簡単に行うことができるという利点がある。

画素値補間手段４は、座標変換手段３で変換された座標（ｘ，ｙ）の画素値を補間する処理（補間処理）を行うのであるが、輝度成分Ｙに対しては近傍の座標における画素値から線形近似した画素値で補間する処理（以下、「線形近似補間処理」という。）を行い、色差成分Ｕ，Ｖに対しては近傍の座標における画素値で補間する処理（以下、「最近傍補間処理」という。）を行う。線形近似補間処理は特許文献１にも開示されているように従来周知であって、座標変換前の画素Ｈ０，Ｈ１の位置（図２における黒丸）の間に存在する座標変換後の画素Ｈ０’の位置（図２における星印）における輝度成分Ｙ０’を、ラインバッファメモリ１から読み出したＹ０，Ｙ１の画素値をＹ０’＝αＹ０＋（１−α）Ｙ１の式に代入して演算する処理である（但し、αは０＜α＜１を満たす補間係数を示す）。一方、最近傍補間処理は、文字通り座標変換後の画素Ｈ０’の位置から最も近い位置の座標変換前の画素（図２では画素Ｈ０）における色差成分Ｕ０，Ｖ０をラインバッファメモリ１から読み出し、そのまま座標変換後の画素Ｈ０’の色差成分Ｕ０’，Ｖ０’とする処理である。そして、上述のように画素値補間手段４で補間処理された後のディジタル画像信号、すなわち、各画素Ｈｍ’の輝度成分Ｙｍ’と色差成分Ｕｎ’，Ｖｎ’が輪郭強調処理手段５に入力され、必要に応じて輪郭強調処理が行われる。

ここで、本実施形態では人間の目がその変化に敏感である輝度成分Ｙに対して線形近似による補間処理（線形近似補間処理）を行い、人間の目がその変化に鈍感である色差成分Ｕ，Ｖに対しては線形近似よりも簡単な処理（最近傍補間処理）で補間することにより、画素値補間手段４の構成（補間処理用プログラムの構成）を簡素化することができ、その結果、輝度成分Ｙと色差成分Ｕ，Ｖの両方を線形近似補間処理する場合と比較して、プログラムの規模が小さく且つ処理時間が短くなるためにコストを抑つつ画像歪みをリアルタイムで適切に補正することができる。

輪郭強調処理手段５は、図１（ｂ）に示すように入力画像信号の輝度成分ＹからＬＰＦ（ローパスフィルタ）５０によって低周波成分を抽出し、ＬＰＦ５０で抽出された低周波成分を減算器５１によって元の輝度成分Ｙから減算することで高周波成分を得るとともに、当該高周波成分に対してコアリング処理部５２によりコアリング処理を行い、コアリング処理後の高周波成分を調整手段６から与えられるゲインＡでアンプ５３にて増幅し、加算器５４にて低周波成分と高周波成分を加算することにより、最終的に輝度成分Ｙの輪郭を強調している。ＬＰＦ５０は、例えば着目画素の水平方向における前後２画素を重み付けして着目画素に加える処理を行っている。また、コアリング処理部５２では高周波成分の画素値をあらかじめ与えられた閾値Ｋ_cと比較し、当該高周波成分の画素値が−Ｋ_c以上且つＫ_c以下のときはアンプ５３を介さずに加算器５４に出力し、当該画素値が−Ｋ_c未満又はＫ_cより大きいときにのみ高周波成分をアンプ５３に出力している。すなわち、高周波成分の画素値が−Ｋ_c以上且つＫ_c以下である場合は画像の輪郭でない平坦な部分であるとみなして輪郭を強調しないものである。

調整手段６は、画像の左上隅を原点としてアドレス・カウンタ２で生成される座標を、座標変換手段３と同じく画像の中心を原点とする座標に置き換えるとともに、置き換えた後の任意画素の座標（アドレス）を（ｘ，ｙ）、ｎを正の整数としたとき、

で表されるｎ次の多項式からゲインＡを求め、求めたゲインＡを輪郭強調処理手段５のアンプ５３に与える処理を行う。例えば、ｎ＝２とすれば上式は以下のように変形できる。

A=a₂×y²+b₂×x²+a₁×y+b₁×x+a₀+b₀
ここで、ｘ及びｙの２次の項の係数ａ₂，ｂ₂により画像中心から離れるにつれて放物線的に輪郭強調レベル（ゲインＡ）が大きくなり、また、ｘ及びｙの１次の項の係数ａ₁，ｂ₁によって画像中心から離れるにつれて直線的に輪郭強調レベル（ゲインＡ）が大きくなり、さらに、定数項（係数ａ₀，ｂ₀）によって常に一定レベルの輪郭強調レベル（ゲインＡ）が確保されることになる。従って、これら６つの係数ａ₂，ｂ₂，ａ₁，ｂ₁，ａ₀，ｂ₀を適当な値に設定すれば、レンズの特性に合わせて画像の周辺部分の輪郭強調レベルを柔軟に調整することができる。但し、ｎの次数をさらに高く設定すれば、よりきめ細かく輪郭強調レベルを調整することが可能である。

ここで、上式の変数ｘ，ｙに、座標変換手段３で座標変換された座標、つまり、画像歪みが補正された後の座標を代入してゲインＡを求めた場合と、座標変換手段３で座標変換されていない座標、つまり、画像歪みが補正される前の座標を代入してゲインＡを求めた場合とで輪郭強調レベルの調整がどのようになるかを比較してみる。

例えば、画像歪みが樽型の歪曲収差によるものであると仮定すると、画像歪み補正前の座標（ｘ’，ｙ’）に対して画像歪み補正後の座標（ｘ，ｙ）が画像中心より遠くなるため、上式で求まる輪郭強調レベル（ゲインＡ）は、画像歪み補正前の座標（ｘ’，ｙ’）を代入した場合に比べて画像歪み補正後の座標（ｘ，ｙ）を代入した場合の方が大きくなる。一方、画像歪みが糸巻き型の歪曲収差によるものであると仮定すると、画像歪み補正前の座標（ｘ’，ｙ’）に対して画像歪み補正後の座標（ｘ，ｙ）が画像中心より近くなるため、上式で求まる輪郭強調レベル（ゲインＡ）は、画像歪み補正前の座標（ｘ’，ｙ’）を代入した場合に比べて画像歪み補正後の座標（ｘ，ｙ）を代入した場合の方が小さくなる。従って、撮像装置で生じる画像歪みが樽型の歪曲収差による場合は画像歪み補正後の座標（ｘ，ｙ）を上式に代入してゲインＡを求め、撮像装置で生じる画像歪みが糸巻き型の歪曲収差による場合は画像歪み補正前の座標（ｘ’，ｙ’）を上式に代入してゲインＡを求めるようにすれば、画像中心から遠いほど輪郭強調レベルを大きくすることができる。

また、撮像装置においては光学系の光軸中心と撮像素子の中心（画像中心）とが一致していない（実際には、両者のずれ量が実使用上無視できない程度に大きい）場合があり、このような場合には、画像中心の座標（ｘ₀，ｙ₀）を光軸中心に一致させるように調整手段６にて変更すれば、中心ずれが生じている場合においても輪郭強調レベルを適切に補正することができる。

ところで、本実施形態では１次元、すなわち、水平方向のみに画像歪み補正並びに輪郭強調を行っているが、例えば、テレビ付インターホン装置のカメラ付ドアホン子器に本発明に係る輪郭強調装置を搭載すると仮定した場合、テレビ付インターホン装置では主に人物を撮像することに鑑みれば、樽型及び糸巻き型の何れの歪曲収差についても水平方向のみに補正して縦長の被写体を真っ直ぐにすれば実用的には十分である。しかも、テレビ付インターホン装置では、画像歪み補正に要する時間が長くなって通話音声と表示画像とがずれてしまうことは好ましくないので、補正に要する処理時間を短くするという点からも水平方向のみ、つまり、１次元の画像歪み補正並びに輪郭強調を行えばよい。但し、高速処理が可能なハードウェアを使用するなどして２次元（水平方向と垂直方向）の画像歪み補正を行うことが実用上可能であれば、輪郭強調についても２次元で行うことが望ましい。

また、一般に広角レンズの周辺解像度の特性は、中心からの距離が所定範囲までは殆ど低下せず、当該範囲の外側に行くにつれて急激に低下するという非線形性を有している。このため、周辺解像度の特性劣化がほとんど無い範囲、つまり、レンズの光軸中心（画像中心）を含む前記所定範囲内で輪郭強調を行うとぎらつき感が出るというような弊害が生じることがある。そこで、調整手段６において、入力画像の中心を含む所定範囲内の座標についてはゲインＡをゼロとすれば、過剰な輪郭強調による画質の劣化（ざらつき感）を防ぐことができる。

ところで、本実施形態のように画像歪み補正後に輪郭強調を行う場合と、画像歪み補正前に輪郭強調を行う場合とを比較したとき、後者の場合の方が画像歪み補正に伴う画像のぼけ具合が大きくなってしまう。例えば、入力画像信号の輝度成分Ｙが図３（ａ）に示すような波形であったとき、本実施形態のように画像歪み補正後に輪郭強調を行うと、図３（ｂ）に示すように輪郭強調によるオーバーシュートが緻密に現れているのに対し、画像歪み補正前に輪郭強調を行うと、図３（ｃ）に示すように後段の画像歪み補正の画素値補間によって輪郭強調が粗くなって画像がぼけてしまっていることが判る。したがって、本実施異形態のように画像歪み補正後に輪郭強調を行うことが望ましい。

本発明の実施形態を示し、（ａ）は全体のブロック図、（ｂ）は輪郭強調処理手段のブロック図である。同上における画像歪み補正の説明図である。（ａ）〜（ｃ）は同上における輪郭強調処理の説明図である。

符号の説明

１ラインバッファメモリ
２アドレス・カウンタ（座標演算手段）
３座標変換手段
４画素値補間手段
５輪郭強調処理手段
６調整手段

Claims

レンズを含む結像光学系を通して撮像された画像の輪郭を強調する輪郭強調装置であって、
入力画像を高周波成分と低周波成分に分離するとともに高周波成分のみを所定のゲインで増幅した後に低周波成分と加算する輪郭強調処理手段と、前記結像光学系の光軸中心を原点とする二次元直交座標系において入力画像の任意位置の座標を求める座標演算手段と、座標演算手段で求めた座標に応じて前記ゲインを変化させて輪郭強調レベルを調整する調整手段とを備え、
調整手段は、前記任意位置の座標を（ｘ，ｙ）、ｎを正の整数としたとき、

からゲインＡを求めるとともに輪郭強調処理手段における前記ゲインを当該ゲインＡに変化させることを特徴とする輪郭強調装置。
調整手段は、結像光学系の特性に基づいてゲインＡを求める前記式のパラメータを変更することを特徴とする請求項１記載の輪郭強調装置。
調整手段は、結像光学系の光軸中心と入力画像の中心とのずれ量に応じて前記座標を修正することを特徴とする請求項２記載の輪郭強調装置。
結像光学系の歪曲収差による画像歪みを補正する画像歪み補正手段を備え、画像歪み補正手段は、所定の座標変換式を用いて入力画像の座標を求めるとともに、当該入力画像の座標における画素値を当該座標の近傍に存在する画素の画素値から求める処理を行い、
調整手段は、画像歪み補正手段により座標変換式を用いて求められた入力画像の座標からゲインＡを求めることを特徴とする請求項１記載の輪郭強調装置。
調整手段は、入力画像の中心を含む所定範囲内の座標についてはゲインＡをゼロとすることを特徴とする請求項１記載の輪郭強調装置。
結像光学系の歪曲収差による画像歪みを補正する画像歪み補正手段を備え、輪郭強調処理手段は、画像歪み補正手段から出力される画像に対して輪郭強調処理を行うことを特徴とする請求項１記載の輪郭強調装置。