JP6201634B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、および画像処理方法に関する。

ビデオカメラ装置または電子カメラ装置においては、現在撮像中の被写体の画像が、液晶表示部（ＬＣＤ）またはビューファインダ部等の、小さな画面に表示される。そして、マニュアル操作でフォーカス調整を行う場合、操作者は、小さな画面に表示された被写体の画像を見ながらフォーカス調整を行う必要がある。このため、従来のビデオカメラ装置または電子カメラ装置においては、マニュアル操作によるフォーカス調整は、困難となっていた。

このようなマニュアル操作によるフォーカス調整の困難性を改善するために、ピーキング処理が用いられる。このピーキング処理は、被写体の輪郭を強調処理する技術である。輪郭強調処理としては、ハイパスフィルタ（ＨＰＦ）で取り出した画像の高域成分を、元画像に加算処理する。このピーキング処理を行うことで、液晶表示部またはビューファインダ部に表示する被写体の輪郭を強調することができ、被写体の視認性を向上させることができる。このため、マニュアル操作によるフォーカス調整を行い易くすることができる。

ここで、特許文献１（特開２００５−１０１９４９号公報）には、ピーキング回路において、原信号に加算する高域信号にコアリング処理を行う画像処理装置が開示されている。コアリング処理は、振幅が閾値以下の信号は、加算する信号から除外する処理である。この画像処理装置の場合、原信号に含まれる高域成分の量に応じて、前述の閾値を可変する。

これにより、高域成分が多い画像に対しては閾値を小さくし、高域成分が少ない画像に対しては閾値を大きくすることができ、高域成分が多いほど輪郭強調の度合いを大きくすることができるため、マニュアル操作によるフォーカス調整を行い易くすることができる。

特開２００５−１０１９４９号公報

しかし、今日において、ビデオカメラ装置または電子カメラ装置が取り扱う画像の解像度は、ＳＤ→ＨＤ→４Ｋ等のように高解像度化している。取り扱う画像が高解像度化すると、単なるピーキング処理では、マニュアル操作によるフォーカス調整を容易化する効果が期待できなくなる。なお、ＳＤは、「Standard Definition」の略記である。ＨＤは、「High Definition」の略記である。４Ｋは、「Quad High Definition」の略記である。

また、特許文献１の画像処理装置の場合、コアリング処理用の閾値を可変制御することで得られる輪郭強調処理の度合いの変化は、それほど大きなものではない。このため、液晶表示部またはビューファインダ部等の小さい画面では、輪郭強調処理された画像が視認困難となり、マニュアル操作によるフォーカス調整を容易化する効果が得難い問題がある

本発明は、上述の課題に鑑みてなされたものであり、マニュアル操作によるフォーカス調整を容易化する画像処理装置、および画像処理方法の提供を目的とする。

上述した課題を解決するための手段として、本発明に係る画像処理装置は、入力された画像信号を記憶するメモリー部と、記憶された画像信号のうち、注目画素の画素信号である注目画素信号および注目画素の周辺に位置する画素の画素信号である周辺画素信号を出力するようにメモリー部を制御するメモリコントローラと、注目画素信号および周辺画素信号の高域成分を抽出する高域抽出部と、注目画素信号の高域成分の絶対値、および周辺画素信号の高域成分の絶対値の積算値を算出する積算部と、積算値に所定の係数を乗算した第１乗算値を算出すると共に、第１乗算値を、高域抽出部で抽出された注目画素信号の高域成分に乗算した第２乗算値を算出する乗算部と、メモリー部より出力された注目画素信号に、第２乗算値を加算する加算部とを有する。

また、上述した課題を解決するために、本発明に係る画像処理方法は、メモリコントローラが、メモリー部に記憶された入力画像信号のうち、注目画素の画素信号である注目画素信号および注目画素の周辺に位置する画素の画素信号である周辺画素信号を出力するようにメモリー部を制御し、高域抽出部が、注目画素信号および周辺画素信号の高域成分を抽出し、積算部が、注目画素信号の高域成分の絶対値、および周辺画素信号の高域成分の絶対値の積算値を算出し、乗算部が、積算値に所定の係数を乗算した第１乗算値を算出すると共に、第１乗算値を、高域抽出部で抽出された注目画素信号の高域成分に乗算した第２乗算値を算出し、加算部が、メモリー部より出力された注目画素信号に、第２乗算値を加算することで、入力された画像信号に輪郭強調処理を施す。

本発明によれば、マニュアル操作によるフォーカス調整を容易化することができる。

図１は、本発明を適用した実施の形態となる電子カメラ装置の要部のブロック図である。 図２は、実施の形態の電子カメラ装置に設けられている輪郭強調部の機能ブロック図である。 図３は、実施の形態の電子カメラ装置に設けられている輪郭強調部で行う輪郭強調処理の処理単位、および、各画素の高域成分の抽出に用いる係数を説明するための図である。 図４は、実施の形態の電子カメラ装置における、角部に位置する画素が注目画素だった場合の輪郭強調処理を説明するための図である。

本発明に係る画像処理装置、および画像処理方法は、一例として電子カメラ装置に適用することができる。以下、添付図面を参照して、本発明を適用した電子カメラ装置の実施の形態を詳細に説明する。

（実施の形態の構成）
図１は、実施の形態となる電子カメラ装置の要部のブロック図である。この電子カメラ装置は、撮像素子（Image Sensor）を持つ撮像部１０を備える。撮像部１０により得られた被写体の画像信号は、画像処理部１４に供給される。

画像処理部１４は、予め記憶された画像処理プログラムに従って制御部（ＣＰＵ）１６から供給される制御信号により、濃度調整処理および色相調整処理等の種々の画像処理を行う。

制御部（ＣＰＵ）１６は、画像処理部１４から供給される画像信号に基づき、ＷＢ(White Balance)、ＡＥ（Auto Exposure)，ＡＦ（Auto Focus)の各制御信号を生成し、撮像部１０へ供給する。

画像処理部１４で種々の画像処理が施された画像データは、撮像画像として外部出力されると共に、輪郭強調部１５を介して表示部１９に供給される。

図２は、輪郭強調部１５の機能ブロック図である。この図２に示すように、輪郭強調部１５は、第１メモリ３１、第２メモリ３２、第３メモリ３３、ハイパスフィルタ（ＨＰＦ）３４、絶対値積算部３５、閾値設定部３６を有している。また、輪郭強調部１５は、上限クリップ部３７、上限値設定部３８、乗算器３９、係数設定部４０、加算器４１、およびメモリコントローラ４２を有している。

なお、図２に示す第１メモリ３１〜メモリコントローラ４２は、ハードウェアで形成してもよいし、全部または一部をソフトウェアで形成してもよい。また、第１メモリ３１は、メモリー部の一例となっている。また、メモリコントローラ４２は、メモリコントローラの一例となっている。また、ＨＰＦ３４は、高域抽出部の一例となっている。また、絶対値積算部３５は、積算部の一例となっている。また、乗算器３９は、乗算部の一例となっている。また、加算器４１は、加算部の一例となっている。

第１メモリ３１は、画像処理部１４から順次供給される画像信号のうち、輝度信号（Ｙ）を記憶する。なお、処理を輝度信号（Ｙ）のみに限定する必要はなく、色差信号（Ｂ−Ｙ、Ｒ−Ｙ）も含めて処理しても良い。以下、画像信号との語句を用いて説明を進める。

具体的には、第１メモリ３１は、注目画素を含む１水平ライン分の画像信号と、注目画素を含む水平ラインよりも前の２水平ライン分の画像信号、および、注目画素を含む水平ラインよりも後の２水平ライン分の画像信号の、計５本の水平ライン分の画像信号を記憶する。メモリコントローラ４２は、第１メモリ３１に記憶された画像信号のうち、注目画素の画像信号（注目画素信号）、および、注目画素を取り囲む２４個の周辺画素の画像信号（周辺画素信号）を読み出すように、第１メモリ３１を読み出し制御する。

これにより、１個の注目画素および２４個の周辺画素の計２５個の画素信号が、一処理単位の画素信号としてＨＰＦ３４に供給される。また、注目画素信号は、タイミング合わせのための遅延回路となっている第３メモリ３３に供給される。

図３は、この一処理単位となる２５個の画素信号を示している。図３中、斜線で示す中央の画素が注目画素である。また、注目画素を取り囲む２４個の画素が周辺画素である。この図３の例の場合、注目画素に隣接する、注目画素の上下左右の各周辺画素、および注目画素の右斜め上、左斜め上、右斜め下、および左斜め下の各周辺画素を抽出している。また、この例の場合、注目画素の上下左右の各周辺画素に、それぞれ隣接する周辺画素も抽出している。また、注目画素の右斜め上、左斜め上、右斜め下、および左斜め下の各周辺画素に、それぞれ隣接する周辺画素も抽出している。さらに、注目画素の右斜め上のさらに右斜め上、注目画素の左斜め上のさらに左斜め上、注目画素の右斜め下のさらに右斜め下、および注目画素の左斜め下のさらに左斜め下の各周辺画素も抽出している。

なお、注目画素の周辺の２４個の周辺画素を抽出するというのは一例である。このため、注目画素に隣接する、注目画素の上下左右の各周辺画素、および注目画素の右斜め上、左斜め上、右斜め下、および左斜め下の、計８個の周辺画素を抽出してもよい。また、上述の２４個の周辺画素のうち、外側に位置する周辺画素に隣接する周辺画素（斜め方向に隣接する画素も含む）も、さらに抽出してもよい。抽出する周辺画素の数および位置は任意である。また、注目画素を複数としてもよい。

このように、メモリコントローラ４２は、全ての画素を順次、注目画素に指定する。そして、指定した１個の注目画素および注目画素の周辺の２４個の周辺画素を、上述のように第１メモリ３１からＨＰＦ３４に供給する。

ここで、注目画素の周辺に２４個の周辺画素が実在する場合は良いが、例えば実画像領域の左上の角部に位置する第１番目の画素を注目画素とした場合、この注目画素を取り囲む周辺画素は、２４個には満たない。すなわち、図３の実画素領域における斜線の画素である「Ａ」の画素を注目画素とした場合、実画素領域に実在する、上述の例に対応する周辺画素は、Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋの各周辺画素のみとなり、２４個には満たない。

あくまでも一例ではあるが、このような場合、実施の形態の電子カメラ装置は、図４に示すように各折り返し領域の画素信号で、注目画素に対応する周辺画素信号を補填する。これにより、実画素領域に周辺画素が実在しない場合であっても、図４に太線の四角で囲って示すように、一個の注目画素、および各折り返し領域の画素信号で補填された２４個の周辺画素信号をＨＰＦ３４に供給することができる。

次に、ＨＰＦ３４は、１個の注目画素および２４個の注目画素の高域成分を抽出し、それぞれ第２メモリ３２に供給する。具体的には、図３に示す各画素の数字は、輪郭強調部１５で用いるフィルタ係数(ラプラシアン係数)の一例を示している。ＨＰＦ３４は、注目画素に対して、図３に示す「２４／２５」のラプラシアン係数を乗算処理することで、注目画素の高域成分を抽出する。また、ＨＰＦ３４は、各周辺画素に対して、図３に示す「−１／２５」のラプラシアン係数を乗算処理することで、注目画素の高域成分を抽出する。

メモリコントローラ４２は、抽出された注目画素および周辺画素の各高域成分を第２メモリ３２に一旦、書き込む。そして、メモリコントローラ４２は、第２メモリ３２から注目画素および周辺画素の各高域成分を読み出し、絶対値積算部３５に供給する。また、メモリコントローラ４２は、第２メモリ３２から読み出した注目画素の高域成分を、乗算器３９に供給する。

絶対値積算部３５は、注目画素の高域成分および各周辺画素の高域成分の、計２５個の画素の高域成分の絶対値を検出し、各絶対値を積算処理する。すなわち、絶対値積算部３５は、１個の注目画素の高域成分の絶対値、および２４個の周辺画素の高域成分の絶対値を積算処理する。

ここで、第２メモリ３２、およびＨＰＦ３４〜乗算器３９の信号処理系は、輪郭強調成分を生成する信号処理系である。そして、注目画素または各周辺画素の高域成分に高周波ノイズが重畳していた場合、輪郭強調処理に適した輪郭強調成分を生成困難となる。このため、実施の形態の電子カメラ装置の輪郭強調部１５の場合、絶対値積算部３５が、閾値設定部３６から供給される所定の閾値と、注目画素の高域成分の絶対値とを比較する。また、絶対値積算部３５は、所定の閾値と、各周辺画素の高域成分の絶対値とを比較する。そして、絶対値積算部３５は、所定の閾値よりも小さな値の絶対値を積算処理から除外し、所定の閾値以上の絶対値のみで積算処理を行う。すなわち、閾値以下のレベルの高域信号はノイズとみなし、閾値以上のレベルの信号を正しい高域成分とみなすわけである。これにより、高域成分から高周波ノイズを除外して、正常な高域成分の絶対値のみで輪郭強調成分を生成することができる。

次に、各絶対値の積算信号は、上限クリップ部３７に供給される。各絶対値の積算信号をそのまま用いると、過剰な輪郭強調処理となる可能性がある。このため、上限クリップ部３７は、上限値設定部３８から供給される閾値（上限値）と、絶対値積算部３５からの積算信号とを比較する。そして、上限クリップ部３７は、積算信号の値が上限値設定部３８から供給される上限値よりも小さな値であった場合は、積算信号をそのままの値で出力する。また、上限クリップ部３７は、積算信号の値が上限値以上の値であった場合、積算信号の値を上限値でクリップ処理して出力する（＝上限値の積算信号を出力する）。

次に、乗算器３９は、上限クリップ部３７からの積算信号と、第２メモリ３２から読み出された注目画素の高域成分と、係数設定部４０からの所定の係数とを乗算処理することで、輪郭強調信号を生成し、加算器４１に供給する。

メモリコントローラ４２は、輪郭強調信号が加算器４１に供給されるタイミングで、第３メモリ３３に記憶されていた注目画素信号を読み出し、加算器４１に供給する。換言すると、第３メモリ３３は、言わば遅延回路として機能しており、輪郭強調信号が加算器４１に供給されるまでに要する時間分、注目画素信号を遅延させて加算器４１に供給する。加算器４１は、第３メモリ３３から供給された注目画素信号に、乗算器３９から供給された輪郭強調信号を加算処理することで、輪郭強調処理を施した注目画素信号を生成する。

これにより、高域成分の多い部分の画像に対しては、より強く輪郭強調処理を施し、高域成分の少ない部分の画像に対しては、輪郭強調処理を制限することができる。そして、フォーカス調整のマニュアル操作に応じて、輪郭強調処理の度合いを大きく変化させることができる。換言すると、フォーカス調整を行うマニュアル操作に対応して、画像の輪郭を、より敏感に反応させることができる。このため、高解像度化された撮像機器においても、小さな液晶表示部またはビューファインダ部を介して、マニュアル操作で容易にフォーカス調整を可能とすることができる。

以上の説明から明らかなように、実施の形態の電子カメラ装置は、輪郭強調部１５において、加算する高域成分に単純に原画像のＨＰＦ３４の出力を用いる代わりに、注目画素近傍の高域成分の積算値を原画像のＨＰＦ３４の出力に乗じた信号を用いる。これにより、注目画素近傍の高域成分の量に応じて、加速度的に輪郭強調処理の度合いを強くすることができる。このため、フォーカスが合っている度合いに応じて、輪郭の鮮明さを大きく異ならせることができる。換言すると、フォーカス調整を行うマニュアル操作に対応して、画像の輪郭を、より敏感に反応させることができる。

このため、高解像度化された撮像機器においても、小さな液晶表示部またはビューファインダ部を介して、マニュアル操作で容易にフォーカス調整を可能とすることができる。

上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施の形態および実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 撮像部
１４ 画像処理部
１５ 輪郭強調部
１６ 制御部
１９ 表示部
３１ 第１メモリ
３２ 第２メモリ
３３ 第３メモリ
３４ ハイパスフィルタ（ＨＰＦ）
３５ 絶対値積算部
３６ 閾値設定部
３７ 上限クリップ部
３８ 上限値設定部
３９ 乗算器
４０ 係数設定部
４１ 加算器
４２ メモリコントローラ

Claims (4)

1. 入力された画像信号を記憶するメモリー部と、
   記憶された前記画像信号のうち、注目画素の画素信号である注目画素信号および前記注目画素の周辺に位置する画素の画素信号である周辺画素信号を出力するように前記メモリー部を制御するメモリコントローラと、
   前記注目画素信号および前記周辺画素信号の高域成分を抽出する高域抽出部と、
   前記注目画素毎に前記注目画素信号の高域成分の絶対値、および前記周辺画素信号の高域成分の絶対値の積算値を算出する積算部と、
   前記積算値に所定の係数を乗算した第１乗算値を算出すると共に、前記第１乗算値を、前記高域抽出部で抽出された前記注目画素信号の高域成分に乗算した第２乗算値を算出する乗算部と、
   前記メモリー部より出力された前記注目画素信号に、前記第２乗算値を加算する加算部と
   を有する画像処理装置。
2. 前記各周辺画素信号の高域成分のうち、第１の所定の閾値以上の高域成分を選択する第１選択部を更に有し、
   前記積算部は、前記第１選択部で選択された前記周辺画素信号の高域成分の絶対値のみを積算処理すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記積算部で算出した前記積算値の値を制限する上限クリップ部を更に備え、
   前記上限クリップ部は、前記積算値と第２の所定の閾値とを比較し、前記積算値が前記第２の所定の閾値よりも小さい場合前記積算値を出力し、前記積算値が前記第２の所定の閾値以上である場合所定の上限値を出力し、
   前記乗算部は前記上限クリップ部から出力した値に所定の係数を乗算処理して得られた積算値を、前記高域抽出部で抽出された前記注目画素信号の高域成分に乗算処理すること
   を特徴とする請求項１または請求項２に記載の画像処理装置。
4. メモリコントローラが、メモリー部に記憶された入力画像信号のうち、注目画素の画素信号である注目画素信号および前記注目画素の周辺に位置する画素の画素信号である周辺画素信号を出力するように前記メモリー部を制御し、
   高域抽出部が、前記注目画素信号および前記周辺画素信号の高域成分を抽出し、
   積算部が、前記注目画素毎に前記注目画素信号の高域成分の絶対値、および前記周辺画素信号の高域成分の絶対値の積算値を算出し、
   乗算部が、前記積算値に所定の係数を乗算した第１乗算値を算出すると共に、前記第１乗算値を、前記高域抽出部で抽出された前記注目画素信号の高域成分に乗算した第２乗算値を算出し、
   加算部が、前記メモリー部より出力された前記注目画素信号に、前記第２乗算値を加算することで、入力された画像信号に輪郭強調処理を施す
   画像処理方法。

Images