JP4212741B2

JP4212741B2 - Image processing device

Info

Publication number: JP4212741B2
Application number: JP35084499A
Authority: JP
Inventors: 寿昭中平
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-12-09
Filing date: 1999-12-09
Publication date: 2009-01-21
Anticipated expiration: 2019-12-09
Also published as: JP2001167263A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の画像処理装置における画像データ入力時にシェーディング補正を行うと共に輪郭を強調する画像処理装置に関し、特に、シェーディング補正処理と輪郭強調処理とを共に実行する場合の画質劣化を改善することができる画像処理装置に関する。
【０００２】
【従来の技術】
画像処理装置の入力画像には、被写体を照らす太陽光あるいは照明装置の配光によりシェーディング（輝度むら）が発生する。シェーディングは、照明装置等により被写体を均一に照らすことにより除去できるが、そのためには特殊な照明装置を使用したり補助装置を使用する必要があり、しかも、その照明装置や補助装置の調整は非常に難しかった。したがって、一般的なデジタルカメラ等の画像処理装置により被写体を撮影する場合には、シェーディングは必ず発生している。
このシェーディングを補正するためにデジタルカメラ等では、撮影した画像データに対してシェーディング補正処理を行っている。シェーディング補正処理の方法については既に数多くの方法が知られている。例えば、差分法は、以下のようにしてシェーディング補正を行う。無彩色のサンプル板を撮影して得られた基準画像データに基づいて各画素についての輝度目標値との差の値を演算し、演算結果の値を各画素毎の補正データとして記憶する。次に通常の被写体を撮影した各画素毎の輝度情報に対して、前記各画素毎の補正データを加減算することによりシェーディング補正を行う。また、濃度変換法では、無彩色のサンプル板を撮影して得られた基準画像データに基づいて、各画素についての基準画像データから輝度目標値を得るための変換率を演算し、基準画像データと演算結果の変換率とから濃度変換テーブルを作成して記憶する。次に通常の被写体を撮影した各画素毎の輝度情報に対して、濃度変換テーブルから選出した変換率に基づいて前記各画素毎の輝度情報を変換（乗算）することによりシェーディング補正を行う。また、シェーディング補正の内容は、大きく分類して、輝度が高すぎる部分を低下させる黒シェーディング補正と、逆に、輝度が低すぎる部分を上昇させる白シェーディング補正とに分類される。
白シェーディング補正は、主にデジタルカメラのレンズ特性によって発生する「レンズの中心部分に比べ周辺部分の画像データ出力が低下する」という現象を例えば乗算機（主にゲインアップ）を用いて補正する。
上記の白シェーディング補正をより精度良く実施するために、例えば、特開平６−３１９０４２号公報では、被写体の画像データを記録する前に、複数のエリアに分割した校正板の基準画像データから各エリア毎の画素の輝度平均値を求めておき、その輝度平均値により被写体の画像データをシェーディング補正してから記録している。この公報の例では、被写体の画像データを複数のエリアに分割して各エリア毎の輝度平均値を求めておき、輝度平均値により被写体の画像データをシェーディング補正して記録しているので、基準画像データに混入するランダムノイズや校正板の表面テクスチャーの影響を受けず、シェーディング補正が容易になる。
【０００３】
一方、画像処理装置の出力画像においては、細かい文字や細かい模様等の線が途切れたり、かすれたりすることがある。この問題を解決するためには、線や文字等の輪郭（エッジ）を強調する輪郭強調処理が行われる。輪郭強調処理では、文字のシャープさやコントラストを改善するために、白から黒に変わる画素間の濃度変化を急峻にすることにより、線や文字の輪郭を強調する。すなわち、例えば、輪郭部（白から黒に変化する部分）の白側画素部分のゲインを増加させ、黒側画素部分との濃度差を大きくする。
ところが、例えば、特開平６−３１９０４２号公報に記載された技術のように複数のエリア毎にシェーディング補正処理を実施した後に上記の輪郭補正処理を実施する場合、複数のエリア毎にゲインが切り替わるため各エリアの境界線がエッジ（輪郭）状になって強調される。この各エリアの境界線部分が強調される場合、再生画像上に線状のノイズとして現れることになる。
上記のシェーディング補正処理後の輪郭強調処理によるノイズを除去する画像処理装置としては、例えば、特公平７−４０２９９号公報に記載された画像処理装置がある。この公報の画像処理装置は、シェーディング補正手段と輪郭強調処理を行なう処理手段とを備え、輪郭強調処理をシェーディング補正処理の前に行なうようにしている。また、輪郭強調処理後のシェーディング補正処理では、予め主走査方向に複数の画素からなるブロックを設けてブロック毎の輝度平均値を算出し、その輝度平均値を用いてシェーディング補正を実行している。したがって、この公報の例では、輪郭強調処理をシェーディング補正処理の前に行うようにすることで、シェーディング補正用のエリア境界に起因して再生画像上に線状ノイズが発生することを防止することにより画質が劣化しないようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特公平７−４０２９９号公報に記載された画像処理装置では、シェーディング補正用のエリア境界に起因する固定パターンノイズ（Fixed Pattern Noise：以下ＦＰＮと記載する）を防止しているだけであり、例えば、不規則に発生するランダムノイズを防止する技術については開示されていない。また、本公報の画像処理装置を用いてＦＰＮを防止する技術は、上記した差分法等により各エリア毎の補正データを加減算することによりシェーディング補正を行う場合に限られている。もし、上記した濃度変換法等により乗算機を用いてシェーディング補正を実施する場合には、上記公報に記載されたようにシェーディング補正手段と輪郭強調処理手段の構成順番を変えてもＦＰＮは発生してしまうからである。更に、上記公報の画像処理装置を用いて加減算機により白シェーディング補正をした場合は、ホワイトバランスが崩れたり、色の飽和度が補正を施さないブロックに比べ下がる等の問題が発生する。また、上記公報の画像処理装置にて濃度変換法等により乗算機を用いてシェーディング補正を実施する場合には、ランダムノイズ成分が強調されてしまう。
また、上記した特開平６−３１９０４２号公報の画像処理装置では、シェーディング補正値を算出する際の精度を上げているのみであるので、シェーディング補正処理後の画像に対するノイズを防止する技術については何ら開示されていない。従って、ランダムノイズ等の高周波ノイズに対するシグナル（Ｓ）／ノイズ（Ｎ）比を向上させる技術については全く示唆も開示もされていない。
ところが、一般的に、上記したようなシェーディング補正処理や輪郭強調処理等のために入力画像データに対するゲインを増加させると、ランダムノイズ成分もゲインが増加されてノイズレベルが上昇する。ランダムノイズがシェーディング補正が実行されるエリアに発生し、そのランダムノイズに対して輪郭強調処理が実施されると、ランダムノイズのレベルが再生画像上の線になって現れ、Ｓ／Ｎ比が低下する。
また、デジタルカメラ等の画像処理装置には、入射光量を調節できる絞りや、倍率を調整できるズーム等を有しているものがあり、そのような画像処理装置では、絞り量やズーミング倍率等の撮影条件によりシェーディング補正を実施するための係数が変わる。例えば、１個のデジタルカメラを用いて絞りを絞って撮影した場合には、各エリア毎のシェーディングはあまり顕著に発生しないことから、補正する為のゲインも少なくなり、画質の劣化が発生することはないが、同じデジタルカメラを用いて絞りを開放して撮影した場合には、シェーディングが非常に顕著に発生し、補正する為のゲインも大きくなる結果、輪郭強調処理により画質の劣化が発生することがある。
本発明は、上述した如き従来の問題を解決するためになされたものであって、シェーディング補正処理と共に輪郭強調処理を実行する場合であっても、ランダムノイズ等の高周波ノイズに対してＳ／Ｎ比の低下を抑えることができる画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述の目的を達成するため、請求項１の本発明の画像処理装置は、被写体からの入射光を焦点位置に結像させる撮像レンズと、入射光を入力画像データに変換する受光手段と、１画面全体の輝度が均一な被写体を撮影したときに発生する輝度むらを補正するシェーディング補正を行なうシェーディング補正手段と、入力画像データに対して輪郭を強調して設定する輪郭強調手段と、を有する画像処理装置において、前記シェーディング補正手段は、１画面を複数エリアに分割したエリア毎に定められているゲイン量で、当該エリア毎のシェーディング補正処理を行い、前記輪郭強調手段は、前記シェーディング補正手段が補正するエリア毎に、前記ゲイン量に対応させて、該ゲイン量が大きい場合に輪郭強調量を小さくするように設定して輪郭強調処理を行うことを特徴とする。請求項２の本発明は、請求項１に記載した画像処理装置において、被写体からの入射光の倍率を変更させるために撮像レンズの配置位置を変更可能なズーム手段と、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。請求項３の本発明は、請求項１に記載した画像処理装置において、入射光が通過可能な開口面積を変更することにより入射光の光量を調整する絞り手段と、絞り手段の開口面積に対応する絞り値の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記絞り手段の絞り値の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。請求項４の本発明は、請求項１に記載した画像処理装置において、被写体までの距離に対応して撮像レンズの配置位置を変更可能な合焦手段と、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。請求項５の本発明は、請求項１に記載した画像処理装置において、被写体画像に向けて補助光を照射する補助光照射手段と、前記補助光照射手段の配光特性の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記補助光照射手段を用いる場合に、前記シェーディング補正手段は、前記配光特性の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。
【０００６】
請求項６の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、前記各エリア内を更に周波数領域毎に複数の領域に分割した各領域毎に輪郭強調量を設定可能であり、前記シェーディング補正手段のゲイン量に対応させた輪郭強調量を、各周波数領域毎に異なる画像の空間的周波数に基づいて変化させることを特徴とする。
請求項７の本発明は、請求項１に記載した画像処理装置において、被写体画像からの入射倍率を変更させるために撮像レンズの配置位置を変更可能なズーム手段と、入射光が通過可能な開口面積を変更することにより入射光の光量を調整する絞り手段と、被写体までの距離に対応して撮像レンズの配置位置を変更可能な合焦手段と、請求項２乃至４に記載した各シェーディング補正係数を各々独立した状態にて格納する記憶手段と、を備え、前記シェーディング補正手段は、前記ズーム手段、絞り手段、合焦手段の各状態に基づいて前記各シェーディング補正係数を掛け合わせて前記ゲイン量を決定することを特徴とする。
請求項８の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調量を可変制御することを特徴とする。
請求項９の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調処理が実行されない入力信号のレベル幅を可変制御することにより、前記輪郭強調量を可変制御することを特徴とする。
請求項１０の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調信号の出力レベルが一定である入力レベル範囲を可変制御することにより、前記輪郭強調量を可変制御することを特徴とする。
【０００７】
【発明の実施の形態】
以下、本発明を図示した実施形態に基づいて説明する。
図１は、本発明の一実施形態の画像処理装置の全体構成を示すブロック図である。
図１に示す様に、本実施形態の画像処理装置５０は、例えば、デジタルカメラ等であり、被写体からの入射光を焦点位置に結像させる撮像レンズ１と、入射光の光量を調節する絞り手段であると共に撮影画像を決定するシャッタ機能を備える絞り・シャッタ２と、入射光に含まれる被写体画像の光信号を電気信号（入力画像データ）に変換する受光手段であるＣＣＤ（電荷結合素子）３と、撮像レンズ１を移動させることにより入射光の倍率を変更するズーミングを行うズーム手段であるズームモータ４と、絞り・シャッタ２を駆動する絞り・シャッタモータ５と、撮像レンズ１を移動させることにより合焦させる合焦手段であるフォーカスモータ６と、タイミング信号を発生するＴＧ回路７と、ズームモータ４、絞り・シャッタモータ５、および、フォーカスモータ６を駆動するモータドライバ８と、ＣＣＤ３から入力した電気信号（画像信号）を相関二重サンプリングするＣＤＳ回路９と、画像信号のゲイン（増幅度）を自動調整するＡＧＣ回路１０と、アナログ信号の画像信号をデジタル信号に変換するＡ／Ｄ回路１１と、入力した画像信号に対して様々な画像処理を施す信号処理部２４と、信号処理部２４にて画像処理された画像信号を一時的に格納するフレームバッファ２５と、モータドライバ８、ＡＧＣ回路１０、信号処理部２４等を制御するマイクロプロセッサ等からなるＣＰＵ２９と、画像処理が施された画像信号に対して信号圧縮等の処理を実施して格納する記憶媒体３０と、各種設定値等を格納する記憶手段であるフラッシュＲＯＭ３１と、被写体に対する補助光照射手段であるストロボ装置４０と、から構成される。
【０００８】
また、ＣＤＳ回路９、ＡＧＣ回路１０、及び、Ａ／Ｄ回路１１としては、一般的に、1個のＩＣ内に一体化されたＣＤＳ・Ａ／Ｄ１２と呼ばれるＩＣが使用される。信号処理部２４中には、入力した画像信号に対してシェーディング補正処理を実施するシェーディング補正手段であるシェーディング補正回路１３と、現信号と合わせて５水平（Ｈ）ライン分の画像信号を格納できるバッファである４Ｈメモリ１４と、Ｒ、Ｇ、Ｂの３色の色信号に分離する色分離回路１５と、色信号が不十分なアドレスの信号を周囲の色信号量を参照して補完する信号補間回路１６と、画像信号に対して白色補正を実施するホワイトバランス（ＷＢ）補正回路１７と、画像信号に対してγ補正を実施するγ補正回路１８と、ＲＧＢの色信号パラメータを輝度信号と色差信号に変換する色差マトリックス回路１９と、画像信号に対して信号圧縮を実施するＪＰＥＧ回路２０と、文字あるいは線等の画像の輪郭を強調する輪郭強調手段であるアパーチャー補正回路２１と、同期信号を発生するＳＳＧ回路２２と、フレームバッファ２５及び記憶媒体３０への画像信号の書き込み及び読み出しを制御するメモリコントローラ２３と、を備えている。ＣＰＵ２９中には、内蔵された揮発性の記憶装置であるＲＡＭ２８を有しており、ＲＡＭ２８中には、シェーディング補正回路１３にて用いられる１画面中の各エリアにて使用されるシェーディング補正係数を含むシェーディング補正ルックアップテーブル２６とアパーチャー設定ルックアップテーブル２７が格納される。
【０００９】
また、図１に示した画像処理装置５０は以下のように動作する。
撮像レンズ１と、絞り・シャッタ２とを通過した光は、ＣＣＤ３によって光電変換されて電気信号（画像信号）になり、ＣＤＳ回路９に送出される。ＣＤＳ回路９では、ＣＣＤ３から受信した画像信号を順次サンプルホールドし、ＡＧＣ回路１０は、画像信号に一定のゲインを与える。ＡＧＣ回路１０を通過した画像信号は、順次、Ａ／Ｄ回路１１に送出されて１０ｂｉｔのデジタルデータに変換された後、信号処理部２４に送出される。
信号処理部２４に入力した画像信号は、シェーディング補正回路１３にて、シェーディング補正ルックアップテーブル２６から読み込まれたエリア毎に予め定められているシェーディング補正係数が乗算される。ＣＰＵ２９内のＲＡＭ２８に格納されたシェーディング補正ルックアップテーブル２６は、例えば、フラッシュＲＯＭ３１から電源投入時等に読み出されてＲＡＭ２８内に格納される。シェーディング補正ルックアップテーブル２６の書き込み／読み出しのタイミングはＳＳＧ回路２２からの同期信号に基づいて実施される。シェーディング補正が実施された画像信号は、メモリーコントローラー２３を経由してフレームバッファー２５に書き込まれる。
【００１０】
ここで、予め定められているシェーディング補正係数について説明する。
図２は、図１に示したシェーディング補正ルックアップテーブル２６の一例を示す図である。
シェーディング補正係数とは、例えば、図２のシェーディング補正ルックアップテーブル２６中の各エリアに示すような値であり、シェーディング補正のために画像信号に乗算するエリア毎の係数である。つまりｎ×ｍ画素からなる1エリア（ブロック）ごとにシェーディング補正するための係数を定め、更に、そのブロックを縦横に並べ（本実施形態では８ブロック×６ブロック）、１画面分のシェーディング補正データとしたテーブルである。このシェーディング補正係数は、１画面全体の輝度が均一な被写体を撮影し、その被写体の輝度分布を中心を１とした時の各エリアの比の値の逆数から求めたものである。
シェーディング補正係数は、ズーム付きのカメラにおける撮像レンズ１のズーム位置により変わり、多段階の絞りを有するカメラにおいてはその絞り・シャッタ２の絞り値により変わり、焦点調節機能付きのカメラにおいてはその焦点位置により変わり、更に、ストロボ装置４０付きのカメラにおいてはそのストロボ装置の発光の有無及び発光時の配光特性により変わる。従って、シェーディング補正ルックアップテーブル２６は、上記の撮像レンズ１のズーム位置毎、絞り・シャッタ２の絞り値毎、撮像レンズ１の焦点位置毎、ストロボ装置４０の配光特性を含んで発光の有無毎、に独立したテーブルとしてフラッシュＲＯＭ３１に予め格納しておく。このシェーディング補正ルックアップテーブル２６中のデータの形態としては、上記したズーム位置、絞り値、焦点位置、発光の有無等の各記録状態の全ての組み合わせ結果について補正値（シェーディング補正係数）を予め格納しておく方法も考えられるが、本実施形態では、ズーム位置、絞り値、焦点位置、発光の有無等に対して個別の状態毎に補正値を演算してシェーディング補正ルックアップテーブル２６を作成し、フラッシュＲＯＭ３１に格納した。従って、本実施形態では、画像信号を記録する時に、カメラの上記各記録状態によってそれぞれ必要なテーブルをフラッシュＲＯＭ３１から読み出し、それぞれの記録状態に対応する係数を掛け合わせて、ＣＰＵ２９内蔵のＲＡＭ２８に掛け合わせた結果を、図１中のシェーディング補正ルックアップテーブル２６に書き込む方法を用いる。
【００１１】
各記録状態の全ての組み合わせ結果について補正値をフラッシュＲＯＭ３１に予め格納しておく方法では、画像信号が入力された場合に、それぞれの記録状態に対応する係数（パラメータ）を掛け合わせる手間が無い為、高速でシェーディング用の補正係数を導き出すことができるが、ズーム倍率のステップ数が多いカメラや合焦のステップ数が多いカメラの場合は、全てのパラメータを掛け合わせた数のシェーディング補正ルックアップテーブル２６が必要になる為、フラッシュＲＯＭ３１に予め格納するシェーディング補正ルックアップテーブル２６が多数になってしまう。従って、シェーディング補正ルックアップテーブル２６を格納するためのフラッシュＲＯＭ３１のメモリー量も大きくなってしまう。一方、本実施形態のようにズーム位置、絞り値、焦点位置、発光の有無等の各記録状態毎に個別のシェーディング補正ルックアップテーブル２６を作成する場合には、ズーム倍率のステップ数や合焦のステップ数がのみをフラッシュＲＯＭ３１に格納するので、シェーディング補正ルックアップテーブル２６を格納する為のメモリー量を小さくすることができる。その結果、本実施形態では、使用するメモリー素子を減らせるため、カメラの小型化およびメモリーコストが減少することによるコストダウンが可能となる。
このシェーディング補正係数を導き出した際、そのシェーディング補正値に対応したアパーチャーの補正値（輪郭強調量）を、アパーチャー設定ルックアップテーブル２７に格納する。格納する輪郭強調量の設定方法については、図５を用いて後述する。
【００１２】
また、ＣＰＵ２９に内蔵されたＲＡＭ２８では、信号処理部２４内のＳＳＧ回路２２から画像信号に対する水平方向および垂直方向の同期信号を受信し、各エリア毎に必要となるシェーディング補正係数、及び、アパーチャー補正係数を各々の係数が対応する補正回路１３、２１に送出する。
本実施形態では、上記のシェーディング補正ルックアップテーブル２６を用いて画像信号に対するシェーディング補正を実施する。
メモリーコントローラー２３から読み出されたデータは４Ｈメモリー１４に送られる。４Ｈメモリー１４とは、現信号と合せて５水平ライン分の画像信号のデータを蓄えることのできるバッファーメモリのことある。４Ｈメモリー１４では、蓄えたデータを、３ラインによる高周波成分と、５ラインによる低周波成分とに分けて、アパーチャー（輪郭）成分の抽出を行う。本実施形態では、以下、３ラインによる高周波成分を高域アパーチャー成分と呼び、５ラインによる低周波成分を低域アパーチャー成分と呼ぶこととする。なお、１ライン分のバッファーメモリの記憶容量を拡大することにより、低周波と高周波の２領域よりも細かい周波数領域に分けることも可能である。４Ｈメモリー１４により分けられた高域および低域のアパーチャー成分は、アパーチャー補正回路２１に送出され、ここで予め定められたアパーチャー設定ルックアップテーブル２７中の各補正値（アパーチャー補正係数）に基づいて補正される。
【００１３】
ここで、予め定められているアパーチャー補正係数について説明する。
図３は、図１に示したアパーチャー補正ルックアップテーブル２７の一例を示す図である。なお、実際の図３のテーブル中の空白部分には所定のアパーチャー補正係数が格納されるが、本実施形態では空白部分のアパーチャー補正係数については用いないため、図面が煩雑にならないよう空白部分の記載を省略した。
アパーチャー補正係数とは、例えば、図３のアパーチャー補正ルックアップテーブル２７中の各エリアに示すような値であり、アパーチャー補正のために画像信号に乗算するエリア毎の係数である。また、エリアの設定は上記したシェーディング補正ルックアップテーブル２６の場合と同様である。このアパーチャー補正係数は、例えば、輝度信号（Ｙ）から連続する画素間の濃度差が一定値以上である場合を検出してその部分を輪郭部であると判断し、その部分の画像信号に対して所定のゲインを与えるものである。従来は、１画面の全てのエリアに対して均一にアパーチャー補正係数が乗算されていた。本実施形態では、１画面中の各エリア毎にアパーチャー補正係数を設定できるようにした。この各エリア毎のアパーチャー補正係数はテーブルとしてフラッシュＲＯＭ３１に予め格納される。また、本実施形態では、画像信号を記録する時に、アパーチャー補正ルックアップテーブル２７をフラッシュＲＯＭ３１から読み出し、ＣＰＵ２９内蔵のＲＡＭ２８中に書き込む。
本実施形態では、上記のアパーチャー補正ルックアップテーブル２７を用いて画像信号に対するアパーチャー補正を実施する。
一方、シェーディング補正回路１３にてシェーディング補正された後、４Ｈメモリー１４を通過した画像信号には、ホワイトバランス（ＷＢ）補正回路１７によるホワイトバランス補正処理やγ補正回路１８によるγ補正処理等の信号処理が施される。４Ｈメモリーを通過した画像信号は、まず、色分離回路１５にて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の色信号に分離される。次に、各色信号は、信号補間回路１６において、例えば、Ｒのプレーン画像であれば、現信号ではＧ、Ｂの信号が入っていたアドレスについての情報を周りのＲ信号に基づいて補間することにより、全面Ｒ信号のべたのプレーン画像を作成する。Ｇ、Ｂについても同様に補間してプレーン画像を作成する。このようにしてできたＲ、Ｇ、Ｂのべたプレーン画像には、ホワイトバランス補正回路１７にて各色毎に所定のゲインが加えられ、さらに、γ補正回路１８にてγ補正され、色差マトリックス回路１９にて、Ｒ、Ｇ、Ｂ等の色信号からＹ、Ｃｂ、Ｃｒ等の輝度・色差信号への変換が実施される。輝度・色差信号に変換された画像信号では、前述のアパーチャー補正回路２１で補正されたアパーチャー成分がＹ信号に付加され、メモリーコントローラー２３を経由して再度フレームバッファー２５に書き込まれる。その後、フレームバッファー２５から読み出された画像信号は、所定のデータサイズになるようＪＰＥＧ回路２０にてＪＰＥＧ圧縮され、記録媒体３０に記録される。
本実施形態では、以上のように画像信号が流れる。次に、本実施形態の特徴的な動作および効果について説明する。
【００１４】
図４は、図２あるいは図３に示した１画面分のテーブル中のＡ−Ａ'間の１水平ラインについて、画像信号の輝度分布を示した図であり、（イ）が補正前の輝度分布を示し、（ロ）がシェーディング補正された輝度分布を示し、（ハ）がシェーディング補正後更に全エリア同一値のアパーチャー補正係数を用いてアパーチャー補正された輝度分布を示している。
なお、図４では図示の簡略化のために、被写体を照射する光源は均一光源であり、且つ、Ｒ、Ｇ、Ｂ各色の出力が１：１：１になるような被写体を写した場合を前提とする。また、本実施形態では、図４（イ）に示したようにＡ／Ｄ回路１１の出力（画像信号）が全体的になだらかな弧を描く弓型になって、１画面の両端部９１、９２の輝度が後述する不感領域よりも低下する状態をシェーディングとしている。さらに、図４中の弓形の輝度分布中の各所にランダムに発生している凸凹に突出するランダムノイズ９３等は、ＣＣＤ３中の欠陥画素、或いは、ＣＣＤ３の受光面を被覆するシールガラスに付着したゴミ等により、Ａ／Ｄ回路１１の出力が部分的に上昇、下降する状態を示している。
また、図４（イ）〜図４（ハ）中の補正目標レベルの上下の点線により挟まれた領域は、不感領域と称し、画像の輝度を上昇させる（明るくする）か低下させる（暗くする）場合に、一般的に人が不快に感じない輝度の領域を示している。不感領域内では、輝度の変動があっても、人は不快に感じないが、不感領域を越えて輝度が上昇あるいは低下すると人は不快に感じる。なお、図４の輝度分布では、各補正段階毎の相違がわかりやすいように、各補正による各部の輝度の変化量を誇張して表現している。
【００１５】
図４（イ）の補正が施されない輝度分布では、１画面中の両端部９１、９２については輝度分布が不感領域以下になっており、人は画像を暗いと認知し不快に感ずる。また、ランダムノイズ９３は不感領域内であるので、人が不快に感じない。
図４（ロ）のシェーディング補正が施された輝度分布では、シェーディング補正されたことにより、各エリア毎の平均輝度レベルは、中心エリア（図２中のｄ４及びｄ５）の平均輝度レベルである図中の補正目標レベルに合せ込まれる。また、各エリア内の輝度分布は全て不感領域内に入っている。また、ランダムノイズ９３ａも不感領域内であるので、人が不快に感じない。
図４（ハ）のシェーディング補正後に更に画面全体（全エリア）に同一値のアパーチャー補正係数によりアパーチャー補正が施された輝度分布では、輝度分布中のランダムノイズ９３ｂ（図中左側の凸の部分）が不感領域から突出している。これは、補正前の図４（イ）におけるランダムノイズ９３等の凸凹のレベルが同程度あり、また、アパーチャー補正処理によりランダムノイズ９３ｂおよび他の濃度差発生部に付加される輪郭強調量は各エリア共同一であっても、アパーチャー補正される前のシェーディング補正量が周辺部分の輝度信号ほど大きいため、そのシェーディング補正用のゲインによりランダムノイズ９３ｂの突出量が他のランダムノイズの突出量よりも大きくなるためである。すなわち、ランダムノイズ９３ｂは、他のランダムノイズよりもシェーディング補正によるゲインが多いためランダムノイズ９３ｂの突出量も他のランダムノイズよりも大きくなり、更に、その上に全エリアに同一レベルの輪郭強調量が付加されたため、ランダムノイズ９３ｂのみ不感領域から突出してしまったものである。
本実施形態では、図４（ハ）に示したようなランダムノイズ９３ｂが不感領域から突出する事態を防止するために、図３に示したようにアパーチャー補正ルックアップテーブル２７を用いて画像信号に対するアパーチャー補正（輪郭強調量）をエリア毎に可変制御する。
また、本実施形態では、図３のアパーチャー補正ルックアップテーブル２７中に示したように、シェーディング補正係数が大きい場合、即ち、シェーディング補正のゲイン量が多い場合には、ランダムノイズ９３ａ等が不感領域から突出しないように、アパーチャー補正係数を小さくしている。図３中のエリアｄ１およびエリアｄ８では、シェーディング補正のゲイン量が多いため、アパーチャー補正係数が他のエリアｄ２〜エリアｄ７の１．３に比べて１．１と小さくなっている。このように、各エリア毎にシェーディング補正する際のゲイン量に対応させてアパーチャー補正係数（輪郭強調量）を設定することによりランダムノイズ９３等が不感領域から突出しないように画像信号（輝度信号）を補正することができる。
【００１６】
ここで、輪郭強調量の設定方法について図５を用いて説明する。
図５は、輪郭部の輝度信号（アパーチャー信号）の入力レベルと出力レベルをの関係を示す図であり、横軸（ｘ軸）がアパーチャー信号の入力レベルを示し、縦軸（y軸）がアパーチャー信号の出力レベルを示している。
コアリングレベル６０は、入力アパーチャー信号に対してどこから輪郭強調を施すかを決める範囲、逆に見れば、輪郭強調処理が実行されない入力レベル範囲の幅を示している。本実施形態では、例えば、このコアリングレベル６０を広げるように可変制御することにより、輪郭強調量を可変制御して設定し、ランダムノイズ９３ａ等が不感領域から突出しないようにそのエリアのアパーチャー補正係数を小さくするか、ランダムノイズ９３が発生するエリアに輪郭強調処理が実施されないようにすることができる。
アパーチャーゲイン７０は、入力アパーチャー信号に対して出力アパーチャー信号をどれだけ増幅（輪郭を強調）するか、すなわち、輪郭強調量を示している。本実施形態では、例えば、このアパーチャーゲイン７０を可変制御することにより、輪郭強調量を可変制御して設定し、ランダムノイズ９３ａ等が不感領域から突出しないようにそのエリアのアパーチャー補正係数を小さくするか、ランダムノイズ９３が発生するエリアに輪郭強調処理が実施されないようにすることができる。
アパーチャーリミット８１、８２は、入力アパーチャー信号に対して出力アパーチャー信号の増幅度が一定となることにより入力アパーチャー信号に対してどのレベルまで輪郭強調を施すかを決めるかの範囲を示している。本実施形態では、例えば、このアパーチャーリミット８１、８２の入力レベル範囲を可変制御することにより、輪郭強調量を可変制御して設定し、ランダムノイズ９３ａ等が不感領域から突出しないようにそのエリアのアパーチャー補正係数を小さくするか、ランダムノイズ９３が発生するエリアに輪郭強調処理が実施されないようにすることができる。
本実施形態では、上記何れかの方法あるいは上記各方法の組み合わせによりランダムノイズ９３ａ等に対する輪郭強調量を抑えて、ランダムノイズ９３ａ等が不感領域から突出しないようにできる。
【００１７】
また、本実施形態のアパーチャー補正回路２１（輪郭強調手段）は、図２及び図３に示した各エリア内を更に周波数領域毎に複数の領域に分割した各領域毎に輪郭強調量を設定するようにできる。その場合には、シェーディング補正回路１３に用いられるゲイン量に対応させた輪郭強調量を、各周波数領域毎に異なる画像の空間的周波数に基づいて変化させるようにする。このように構成することにより、例えば、空間周波数に基づいて達成される開放感を保ちつつ画質劣化を防止しＳ／Ｎ比を改善することができる。
また、上記したように、絞り・シャッタ２の絞り値、撮像レンズ１のズーム位置、撮像レンズ１の合焦位置、ストロボ装置４０の配光特性等の違いに応じて、画像信号に対して図４（ロ）に示すよりも大きなシェーディング補正が実施される場合がある。その場合には、シェーディング補正係数の変わる各エリアの境界における輝度差が大きくなり、この境界の輝度差が輪郭と判断される。すると、アパーチャー補正回路２１によりエリア境界の輝度差が強調され不感領域から突出する場合がある。本実施形態では、絞り・シャッタ２の絞り値、撮像レンズ１のズーム位置、撮像レンズ１の合焦位置、ストロボ装置４０の配光特性等の違い、及び、ストロボ装置発光の有無によりエリア毎の輪郭強調量を最適であるように設定し、エリア境界の輝度差が強調され不感領域から突出しないようにできる。従って、本実施形態を用いることにより、画像情報（画像データ）の画質劣化を防止しＳ／Ｎ比を改善することができる。
なお、本実施形態に示したエリアの分割数、シェーディング補正係数、アパーチャー補正係数は一例であり、本発明はこれに限られるものではないことはいうまでもない。
【００１８】
【発明の効果】
上記のように請求項１の本発明では、シェーディング補正処理と輪郭強調処理を共に実施することにより生ずる画質の劣化を、輪郭強調量を変化させることによって減少させ、Ｓ／Ｎ比を改善することができる。
請求項２の本発明では、撮像レンズのズーム位置によって変化するシェーディング補正量を予め知ることができるので、各々のズーム位置における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項３の本発明では、絞り値によって変化するシェーディング補正量を予め知ることができるので、各々の絞り値における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項４の本発明では、撮像レンズの合焦位置によって変化するシェーディング補正量を予め知ることができるので、各々の合焦位置における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項５の本発明では、ストロボ装置の発光の有無によって変化するシェーディング補正量を予め知ることができるので、ストロボ装置を発光した時、発光しない時、各々の時における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項６の本発明では、輪郭成分の周波数特性を知ることにより、周波数別に輪郭強調量を変えるので、解像感を保ちつつ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項７の本発明では、記憶すべきシェーディング補正量のデータを少なくすることができるので、コストダウンおよびカメラを小型化することができる。
請求項８の本発明では、輪郭強調のゲインを変えることにより、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項９の本発明では、コアリングレベルを変えることにより、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項１０の本発明では、アパーチャーリミットのレベルを変えることにより、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像処理装置の全体構成を示すブロック図である。
【図２】図１に示したシェーディング補正ルックアップテーブルの一例を示す図である。
【図３】図１に示したアパーチャー補正ルックアップテーブルの一例を示す図である。
【図４】図２あるいは図３に示した１画面分のテーブル中のＡ−Ａ'間の１水平ラインについて画像信号の輝度分布を示した図であり、（イ）が補正前の輝度分布を示し、（ロ）がシェーディング補正された輝度分布を示し、（ハ）がシェーディング補正後更に全エリア同一値のアパーチャー補正係数を用いてアパーチャー補正された輝度分布を示す。
【図５】輪郭部の輝度信号（アパーチャー信号）の入力レベルと出力レベルをの関係を示す図である。
【符号の説明】
１・・・撮像レンズ、２・・・絞り・シャッタ、３・・・ＣＣＤ、４・・・ズームモータ、５・・・絞り・シャッタモータ、６・・・フォーカスモータ、７・・・ＴＧ回路、８・・・モータドライバ、９・・・ＣＤＳ回路、１０・・・ＡＧＣ回路、１１・・・Ａ／Ｄ回路、１２・・・ＣＤＳ・Ａ／Ｄ（ＩＣ）、１３・・・シェーディング補正回路、１４・・・４Ｈメモリ、１５・・・色分離回路、１６・・・信号補間回路、１７・・・ＷＢ（ホワイトバランス）回路、１８・・・γ補正回路、１９・・・色差マトリックス回路、２０・・・ＪＰＥＧ回路、２１・・・アパーチャー補正回路、２２・・・ＳＳＧ回路、２３・・・メモリーコントローラー、２４・・・信号処理部、２５・・・フレームバッファ、２６・・・シェーディング補正ルックアップテーブル、２７・・・アパーチャー設定ルックアップテーブル、２８・・・ＲＡＭ（ＣＰＵ内蔵）、２９・・・ＣＰＵ、３０・・・記録媒体、３１・・・フラッシュＲＯＭ、４０・・・ストロボ装置、５０・・・画像処理装置（デジタルカメラ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that performs shading correction and enhances contours when inputting image data in an image processing apparatus such as a digital camera, and in particular, improves image quality degradation when both shading correction processing and contour enhancement processing are performed. The present invention relates to an image processing apparatus capable of performing image processing.
[0002]
[Prior art]
In the input image of the image processing device, shading (brightness unevenness) occurs due to sunlight that illuminates the subject or light distribution of the lighting device. Shading can be removed by illuminating the subject uniformly with a lighting device, but for that purpose, it is necessary to use a special lighting device or an auxiliary device, and the adjustment of the lighting device or auxiliary device is very It was difficult. Therefore, when a subject is photographed by a general image processing apparatus such as a digital camera, shading always occurs.
In order to correct this shading, a digital camera or the like performs a shading correction process on the captured image data. Many methods for shading correction processing are already known. For example, in the difference method, shading correction is performed as follows. Based on the reference image data obtained by photographing the achromatic sample plate, a difference value with respect to the luminance target value for each pixel is calculated, and the value of the calculation result is stored as correction data for each pixel. Next, shading correction is performed by adding / subtracting the correction data for each pixel to the luminance information for each pixel obtained by photographing a normal subject. In the density conversion method, a conversion rate for obtaining a luminance target value from the reference image data for each pixel is calculated based on reference image data obtained by photographing an achromatic sample plate, and the reference image data A density conversion table is created and stored from the conversion rate of the calculation result. Next, shading correction is performed by converting (multiplying) the luminance information for each pixel on the basis of the conversion rate selected from the density conversion table with respect to the luminance information for each pixel obtained by photographing a normal subject. The contents of the shading correction are roughly classified into black shading correction for reducing a portion where luminance is too high, and conversely, white shading correction for increasing a portion where luminance is too low.
In the white shading correction, for example, a multiplier (mainly gain up) is used to correct a phenomenon that “image data output in the peripheral portion is lower than the central portion of the lens”, which is mainly caused by the lens characteristics of the digital camera.
In order to carry out the above white shading correction with higher accuracy, for example, in Japanese Patent Laid-Open No. 6-319042, each area is determined from the reference image data of the calibration plate divided into a plurality of areas before recording the image data of the subject. The luminance average value of each pixel is obtained, and the image data of the subject is recorded after shading correction is performed using the luminance average value. In the example of this publication, the subject image data is divided into a plurality of areas, the average luminance value for each area is obtained, and the subject image data is recorded after shading correction based on the average luminance value. Shading correction is easy without being affected by random noise mixed in the image data or the surface texture of the calibration plate.
[0003]
On the other hand, in the output image of the image processing apparatus, lines such as fine characters and fine patterns may be interrupted or blurred. In order to solve this problem, a contour emphasis process for emphasizing contours (edges) of lines and characters is performed. In the contour emphasis processing, in order to improve the sharpness and contrast of the character, the contour of the line and the character is emphasized by making the density change between pixels changing from white to black abrupt. That is, for example, the gain of the white side pixel portion of the contour portion (portion changing from white to black) is increased, and the density difference from the black side pixel portion is increased.
However, for example, when the above-described contour correction processing is performed after performing shading correction processing for each of a plurality of areas as in the technique described in JP-A-6-319042, the gain is switched for each of the plurality of areas. The boundary line of each area is emphasized in the form of an edge (outline). When the boundary line portion of each area is emphasized, it appears as linear noise on the reproduced image.
An example of an image processing apparatus that removes noise due to the contour enhancement process after the shading correction process is described in Japanese Patent Publication No. 7-40299. The image processing apparatus disclosed in this publication includes a shading correction unit and a processing unit that performs contour enhancement processing, and performs the contour enhancement processing before the shading correction processing. Further, in the shading correction process after the contour enhancement process, a block consisting of a plurality of pixels is provided in the main scanning direction in advance to calculate a luminance average value for each block, and shading correction is performed using the luminance average value. . Therefore, in the example of this publication, by performing the edge enhancement process before the shading correction process, it is possible to prevent the occurrence of linear noise on the reproduced image due to the area boundary for shading correction. This prevents the image quality from deteriorating.
[0004]
[Problems to be solved by the invention]
However, the image processing apparatus described in Japanese Patent Publication No. 7-40299 only prevents fixed pattern noise (hereinafter referred to as FPN) due to an area boundary for shading correction, For example, a technique for preventing random noise generated irregularly is not disclosed. Further, the technique for preventing FPN using the image processing apparatus of this publication is limited to the case where shading correction is performed by adding / subtracting correction data for each area by the above-described difference method or the like. If shading correction is performed using a multiplier by the above-described density conversion method or the like, FPN will occur even if the configuration order of the shading correction means and the contour enhancement processing means is changed as described in the above publication. Because it will end up. Further, when white shading correction is performed by an adder / subtractor using the image processing apparatus of the above publication, problems such as white balance is lost and color saturation is lower than that of a block that is not corrected. In addition, when performing shading correction using a multiplier by the density conversion method or the like in the image processing apparatus disclosed in the above publication, random noise components are emphasized.
Further, the image processing apparatus disclosed in Japanese Patent Laid-Open No. 6-319042 only increases the accuracy when calculating the shading correction value, so there is no technique for preventing noise on the image after the shading correction process. Not disclosed. Therefore, there is no suggestion or disclosure of a technique for improving the signal (S) / noise (N) ratio against high-frequency noise such as random noise.
However, generally, when the gain for the input image data is increased for the above-described shading correction processing, contour enhancement processing, and the like, the gain of the random noise component is also increased and the noise level is increased. When random noise occurs in an area where shading correction is performed and contour enhancement is performed on the random noise, the level of random noise appears as a line on the reproduced image, and the S / N ratio decreases. To do.
In addition, some image processing apparatuses such as digital cameras have an aperture that can adjust the amount of incident light and a zoom that can adjust the magnification. In such an image processing apparatus, the aperture amount, zooming magnification, etc. The coefficient for performing shading correction varies depending on the shooting conditions. For example, when shooting with a single digital camera with a narrowed aperture, shading for each area does not occur so prominently that the gain for correction is reduced and image quality deteriorates. However, when the same digital camera is used and the aperture is opened, shading occurs very significantly, and the gain for correction increases, resulting in degradation of image quality due to edge enhancement processing. Sometimes.
The present invention has been made in order to solve the above-described conventional problems. Even when the contour emphasis process is performed together with the shading correction process, the S / N against high-frequency noise such as random noise is achieved. It is an object of the present invention to provide an image processing apparatus that can suppress a decrease in the ratio.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus of the present invention according to claim 1 includes an imaging lens that forms an incident light from a subject at a focal position, a light receiving unit that converts the incident light into input image data, Corrects uneven brightness that occurs when shooting an object with uniform brightness over the entire screen. In an image processing apparatus having shading correction means for performing shading correction and outline enhancement means for enhancing and setting an outline for input image data, the shading correction means is configured for each area obtained by dividing one screen into a plurality of areas. When the shading correction processing for each area is performed with the gain amount determined in the above, and the contour emphasizing unit is large in correspondence with the gain amount for each area corrected by the shading correction unit. The contour emphasis processing is performed by setting the contour emphasis amount to be small. According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, zoom means capable of changing an arrangement position of the imaging lens in order to change a magnification of incident light from the subject, and an arrangement position of the imaging lens Storage means for preliminarily storing different shading correction coefficients according to the difference between the two, wherein the shading correction means determines the gain amount using different shading correction coefficients according to the difference in the arrangement position of the imaging lens. It is characterized by that. According to a third aspect of the present invention, in the image processing apparatus according to the first aspect, the aperture means that adjusts the amount of incident light by changing the aperture area through which incident light can pass, and the aperture area of the aperture means Storage means for preliminarily storing different shading correction coefficients according to the difference in aperture value to be used, wherein the shading correction means uses the shading correction coefficient that differs according to the difference in aperture value of the aperture means. It is characterized by determining. According to a fourth aspect of the present invention, there is provided an image processing apparatus according to the first aspect, wherein a focusing unit capable of changing an arrangement position of the imaging lens in accordance with a distance to a subject and a difference in the arrangement position of the imaging lens. Storage means for preliminarily storing different shading correction coefficients correspondingly, wherein the shading correction means determines the gain amount using a different shading correction coefficient according to a difference in an arrangement position of the imaging lens. And According to a fifth aspect of the present invention, there is provided the image processing apparatus according to the first aspect, wherein the auxiliary light irradiating means for irradiating the subject image with auxiliary light and the light distribution characteristics of the auxiliary light irradiating means differ depending Storage means for preliminarily storing a shading correction coefficient, and when using the auxiliary light irradiation means, the shading correction means uses the shading correction coefficient that differs depending on the difference in the light distribution characteristics to calculate the gain amount. It is characterized by determining.
[0006]
According to a sixth aspect of the present invention, in the image processing apparatus according to the first aspect, the contour emphasizing unit sets a contour emphasis amount for each region obtained by further dividing each area into a plurality of regions for each frequency region. The contour emphasis amount corresponding to the gain amount of the shading correction means can be changed based on the spatial frequency of a different image for each frequency region.
According to a seventh aspect of the present invention, in the image processing apparatus according to the first aspect, zoom means capable of changing an arrangement position of the imaging lens in order to change an incident magnification from the subject image, and an aperture through which incident light can pass. 5. A shading unit that adjusts the amount of incident light by changing an area; a focusing unit that can change an arrangement position of an imaging lens in accordance with a distance to a subject; Storage means for storing the coefficients in an independent state, wherein the shading correction means multiplies the respective shading correction coefficients based on the respective states of the zoom means, the diaphragm means, and the focusing means, and the gain. It is characterized by determining the quantity.
According to an eighth aspect of the present invention, in the image processing apparatus according to the first aspect, the contour emphasizing unit variably controls a contour emphasis amount.
According to a ninth aspect of the present invention, in the image processing apparatus according to the first aspect, the contour emphasizing unit variably controls the level of the contour emphasis by variably controlling the level width of the input signal for which the contour emphasis processing is not executed. It is characterized by doing.
According to a tenth aspect of the present invention, in the image processing apparatus according to the first aspect, the contour emphasizing unit variably controls an input level range in which an output level of a contour emphasis signal is constant, thereby controlling the contour emphasis amount. It is characterized by variable control.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described based on illustrated embodiments.
FIG. 1 is a block diagram showing the overall configuration of an image processing apparatus according to an embodiment of the present invention.
As shown in FIG. 1, an image processing apparatus 50 according to this embodiment is, for example, a digital camera or the like, and includes an imaging lens 1 that forms incident light from a subject at a focal position, and a diaphragm that adjusts the amount of incident light. A diaphragm / shutter 2 that is a means and has a shutter function for determining a photographed image, and a CCD (charge coupled device) that is a light receiving means for converting an optical signal of a subject image included in incident light into an electric signal (input image data) 3, a zoom motor 4 that is a zoom unit that performs zooming to change the magnification of incident light by moving the imaging lens 1, an aperture / shutter motor 5 that drives the aperture / shutter 2, and the imaging lens 1. A focus motor 6 that is a focusing means for focusing, a TG circuit 7 that generates a timing signal, a zoom motor 4, an aperture / shutter motor 5, A motor driver 8 that drives the focus motor 6, a CDS circuit 9 that performs correlated double sampling of an electrical signal (image signal) input from the CCD 3, and an AGC circuit 10 that automatically adjusts the gain (amplification degree) of the image signal. An A / D circuit 11 that converts an analog image signal into a digital signal, a signal processing unit 24 that performs various image processing on the input image signal, and an image signal that has undergone image processing by the signal processing unit 24 A frame buffer 25 for temporarily storing the signal, a CPU 29 including a microprocessor for controlling the motor driver 8, the AGC circuit 10, the signal processing unit 24, and the like, and a signal compression or the like for the image signal subjected to the image processing. A storage medium 30 for performing processing and storing, a flash ROM 31 as storage means for storing various setting values, etc. A strobe device 40 is a light irradiation means, constituted by.
[0008]
As the CDS circuit 9, the AGC circuit 10, and the A / D circuit 11, an IC called CDS / A / D 12 integrated in one IC is generally used. In the signal processing unit 24, the shading correction circuit 13 which is a shading correction means for performing a shading correction process on the input image signal, and image signals for five horizontal (H) lines can be stored together with the current signal. A 4H memory 14 that is a buffer, a color separation circuit 15 that separates R, G, and B color signals, and a signal that complements an address signal with insufficient color signals with reference to the amount of surrounding color signals Interpolation circuit 16, white balance (WB) correction circuit 17 that performs white correction on the image signal, γ correction circuit 18 that performs γ correction on the image signal, and RGB color signal parameters as luminance signals Color difference matrix circuit 19 for converting to a color difference signal, JPEG circuit 20 for performing signal compression on the image signal, and edge enhancement for enhancing the outline of an image such as a character or a line An aperture correction circuit 21 as means, an SSG circuit 22 that generates a synchronization signal, and a memory controller 23 that controls writing and reading of image signals to and from the frame buffer 25 and the storage medium 30 are provided. The CPU 29 has a RAM 28 which is a built-in volatile storage device. In the RAM 28, shading correction coefficients used in each area in one screen used by the shading correction circuit 13 are stored. A shading correction lookup table 26 and an aperture setting lookup table 27 are stored.
[0009]
The image processing apparatus 50 shown in FIG. 1 operates as follows.
The light that has passed through the imaging lens 1 and the aperture / shutter 2 is photoelectrically converted by the CCD 3 to become an electrical signal (image signal), which is sent to the CDS circuit 9. The CDS circuit 9 sequentially samples and holds the image signal received from the CCD 3, and the AGC circuit 10 gives a constant gain to the image signal. The image signals that have passed through the AGC circuit 10 are sequentially sent to the A / D circuit 11 and converted into 10-bit digital data, and then sent to the signal processing unit 24.
The image signal input to the signal processing unit 24 is multiplied by a shading correction coefficient determined in advance for each area read from the shading correction lookup table 26 by the shading correction circuit 13. The shading correction lookup table 26 stored in the RAM 28 in the CPU 29 is read from the flash ROM 31 when the power is turned on, for example, and stored in the RAM 28. The writing / reading timing of the shading correction lookup table 26 is implemented based on the synchronization signal from the SSG circuit 22. The image signal subjected to the shading correction is written into the frame buffer 25 via the memory controller 23.
[0010]
Here, a predetermined shading correction coefficient will be described.
FIG. 2 is a diagram showing an example of the shading correction lookup table 26 shown in FIG.
The shading correction coefficient is, for example, a value as shown in each area in the shading correction lookup table 26 in FIG. 2, and is a coefficient for each area that is multiplied by the image signal for shading correction. That is, a coefficient for shading correction is determined for each area (block) composed of n × m pixels, and the blocks are arranged vertically and horizontally (8 blocks × 6 blocks in this embodiment), and shading correction data for one screen. It is a table. This shading correction coefficient is obtained from the reciprocal of the ratio value of each area when a subject with uniform luminance on the entire screen is photographed and the luminance distribution of the subject is set to 1.
The shading correction coefficient changes depending on the zoom position of the imaging lens 1 in a camera with a zoom, changes in the aperture value of the aperture / shutter 2 in a camera having a multistage aperture, and the focus position in a camera with a focus adjustment function. Furthermore, in a camera equipped with the strobe device 40, it varies depending on whether or not the strobe device emits light and the light distribution characteristics during light emission. Therefore, the shading correction look-up table 26 includes the light emission characteristics including the light distribution characteristics of the strobe device 40 for each zoom position of the imaging lens 1, for each aperture value of the aperture / shutter 2, for each focal position of the imaging lens 1. Each time it is stored in the flash ROM 31 as an independent table. As a form of data in the shading correction lookup table 26, correction values (shading correction coefficients) are stored in advance for all the combined results of the respective recording states such as the zoom position, the aperture value, the focal position, and the presence / absence of light emission. In this embodiment, the shading correction lookup table 26 is created by calculating correction values for each individual state with respect to the zoom position, aperture value, focus position, presence / absence of light emission, and the like. And stored in the flash ROM 31. Therefore, in this embodiment, when recording an image signal, a necessary table is read from the flash ROM 31 according to each recording state of the camera, multiplied by a coefficient corresponding to each recording state, and multiplied by the RAM 28 built in the CPU 29. A method of writing the combined result in the shading correction lookup table 26 in FIG. 1 is used.
[0011]
In the method of storing correction values for all combination results in each recording state in advance in the flash ROM 31, there is no need to multiply coefficients (parameters) corresponding to the respective recording states when image signals are input. , Shading correction coefficients can be derived at high speed, but for cameras with a large number of zoom magnification steps or cameras with a large number of focusing steps, the number of shading correction lookup tables multiplied by all parameters 26 becomes necessary, the number of shading correction lookup tables 26 stored in advance in the flash ROM 31 becomes large. Therefore, the memory capacity of the flash ROM 31 for storing the shading correction lookup table 26 also increases. On the other hand, when the individual shading correction look-up table 26 is created for each recording state such as the zoom position, aperture value, focus position, and the presence / absence of light emission as in the present embodiment, the number of zoom magnification steps and the focus are set. Since only the number of steps is stored in the flash ROM 31, the amount of memory for storing the shading correction lookup table 26 can be reduced. As a result, in the present embodiment, since the memory elements to be used can be reduced, it is possible to reduce the cost by reducing the size of the camera and the memory cost.
When this shading correction coefficient is derived, the aperture correction value (outline enhancement amount) corresponding to the shading correction value is stored in the aperture setting lookup table 27. A method for setting the outline enhancement amount to be stored will be described later with reference to FIG.
[0012]
Further, the RAM 28 built in the CPU 29 receives the horizontal and vertical synchronization signals for the image signal from the SSG circuit 22 in the signal processing unit 24, and the shading correction coefficient and aperture correction required for each area. The coefficient is sent to the correction circuits 13 and 21 to which each coefficient corresponds.
In the present embodiment, the shading correction for the image signal is performed using the above-described shading correction lookup table 26.
Data read from the memory controller 23 is sent to the 4H memory 14. The 4H memory 14 is a buffer memory that can store image signal data for five horizontal lines together with the current signal. In the 4H memory 14, the aperture (contour) component is extracted by dividing the stored data into a high-frequency component of 3 lines and a low-frequency component of 5 lines. In the present embodiment, hereinafter, a high frequency component by three lines is referred to as a high frequency aperture component, and a low frequency component by five lines is referred to as a low frequency aperture component. Note that by expanding the storage capacity of the buffer memory for one line, it is possible to divide the frequency area into smaller frequency areas than the low frequency and high frequency areas. The high-frequency and low-frequency aperture components divided by the 4H memory 14 are sent to the aperture correction circuit 21, and based on the respective correction values (aperture correction coefficients) in the predetermined aperture setting lookup table 27. It is corrected.
[0013]
Here, the predetermined aperture correction coefficient will be described.
FIG. 3 is a diagram showing an example of the aperture correction lookup table 27 shown in FIG. Note that a predetermined aperture correction coefficient is stored in the blank portion in the actual table of FIG. 3, but in this embodiment, since the aperture correction coefficient of the blank portion is not used, the blank portion has a blank portion so as not to make the drawing complicated. The description was omitted.
The aperture correction coefficient is, for example, a value as shown in each area in the aperture correction lookup table 27 in FIG. 3, and is a coefficient for each area to be multiplied by the image signal for aperture correction. The area setting is the same as that in the shading correction lookup table 26 described above. This aperture correction coefficient is, for example, detected when the density difference between successive pixels from the luminance signal (Y) is greater than or equal to a certain value, and that portion is determined to be a contour portion, and the image signal of that portion is determined. A predetermined gain. Conventionally, all areas of one screen are uniformly multiplied by the aperture correction coefficient. In the present embodiment, the aperture correction coefficient can be set for each area in one screen. The aperture correction coefficient for each area is stored in advance in the flash ROM 31 as a table. In the present embodiment, the aperture correction lookup table 27 is read from the flash ROM 31 and written in the RAM 28 built in the CPU 29 when the image signal is recorded.
In the present embodiment, the aperture correction for the image signal is performed using the aperture correction lookup table 27 described above.
On the other hand, after the shading correction is performed by the shading correction circuit 13, a signal such as white balance correction processing by the white balance (WB) correction circuit 17 and γ correction processing by the γ correction circuit 18 is applied to the image signal that has passed through the 4H memory 14. Processing is performed. The image signal that has passed through the 4H memory is first separated into three color signals of red (R), green (G), and blue (B) by the color separation circuit 15. Next, for each color signal, in the signal interpolation circuit 16, for example, if it is an R plane image, the information about the address where the current signal contains the G and B signals is interpolated based on the surrounding R signals. Thus, a full plane image of the entire R signal is created. G and B are similarly interpolated to create a plane image. The R, G, B solid plane image thus formed is applied with a predetermined gain for each color by the white balance correction circuit 17, and is further γ-corrected by the γ correction circuit 18, and the color difference matrix circuit. At 19, conversion from color signals such as R, G, and B into luminance / color difference signals such as Y, Cb, and Cr is performed. In the image signal converted into the luminance / color difference signal, the aperture component corrected by the above-described aperture correction circuit 21 is added to the Y signal, and is written into the frame buffer 25 again via the memory controller 23. Thereafter, the image signal read from the frame buffer 25 is JPEG compressed by the JPEG circuit 20 so as to have a predetermined data size, and is recorded on the recording medium 30.
In the present embodiment, the image signal flows as described above. Next, characteristic operations and effects of this embodiment will be described.
[0014]
FIG. 4 is a diagram showing the luminance distribution of the image signal for one horizontal line between AA ′ in the table for one screen shown in FIG. 2 or FIG. (B) shows the luminance distribution after shading correction, and (c) shows the luminance distribution after aperture correction using the same value of the aperture correction coefficient after shading correction.
For simplification of illustration in FIG. 4, the light source that irradiates the subject is a uniform light source, and the subject in which the output of each color of R, G, and B is 1: 1: 1 is shown. Assumption. Further, in the present embodiment, as shown in FIG. 4A, the output (image signal) of the A / D circuit 11 has a bow shape that draws a gentle arc as a whole, and both ends 91 of one screen, A state in which the luminance of 92 is lower than a dead area described later is defined as shading. Furthermore, random noise 93 or the like that protrudes randomly at various places in the arcuate luminance distribution in FIG. 4 adheres to defective pixels in the CCD 3 or seal glass that covers the light receiving surface of the CCD 3. A state in which the output of the A / D circuit 11 partially rises and falls due to dust or the like is shown.
In addition, an area sandwiched by dotted lines above and below the correction target level in FIGS. 4A to 4C is referred to as an insensitive area, and increases (brightens) or decreases (darkens) the luminance of the image. ) In general, it indicates a luminance region where a person does not feel uncomfortable. In the insensitive area, even if the luminance varies, the person does not feel uncomfortable, but when the luminance increases or decreases beyond the insensitive area, the person feels uncomfortable. In the luminance distribution of FIG. 4, the amount of change in luminance of each part due to each correction is exaggerated so that the difference at each correction stage is easily understood.
[0015]
In the luminance distribution not subjected to the correction in FIG. 4A, the luminance distribution is less than or equal to the insensitive area at both ends 91 and 92 in one screen, and the person perceives that the image is dark and feels uncomfortable. Further, since the random noise 93 is in the insensitive area, the person does not feel uncomfortable.
In the luminance distribution subjected to the shading correction of FIG. 4B, the average luminance level for each area is the average luminance level of the central area (d4 and d5 in FIG. 2) due to the shading correction. It is adjusted to the correction target level. In addition, the luminance distribution in each area is all in the insensitive area. Further, since the random noise 93a is also in the insensitive area, the person does not feel uncomfortable.
In the luminance distribution in which the entire screen (all areas) is subjected to aperture correction with the same value of the aperture correction coefficient after the shading correction in FIG. 4C, random noise 93b in the luminance distribution (the convex portion on the left side in the figure). Protrudes from the dead area. This is because the level of unevenness such as the random noise 93 in FIG. 4A before correction is the same, and the amount of contour emphasis added to the random noise 93b and other density difference generators by the aperture correction processing is different. Even if the area is the same, since the shading correction amount before aperture correction is larger for the peripheral luminance signal, the protruding amount of random noise 93b is larger than the protruding amount of other random noises due to the shading correction gain. This is because it becomes larger. That is, since the random noise 93b has a larger gain due to shading correction than other random noises, the protruding amount of the random noise 93b is also larger than the other random noises. Therefore, only the random noise 93b protrudes from the insensitive area.
In the present embodiment, in order to prevent a situation in which the random noise 93b as shown in FIG. 4C protrudes from the insensitive area, the aperture correction lookup table 27 is used as shown in FIG. Aperture correction (outline enhancement amount) is variably controlled for each area.
Further, in the present embodiment, as shown in the aperture correction lookup table 27 in FIG. 3, when the shading correction coefficient is large, that is, when the gain amount of the shading correction is large, the random noise 93a and the like are insensitive areas. The aperture correction coefficient is made small so as not to protrude from. In area d1 and area d8 in FIG. 3, since the amount of gain for shading correction is large, the aperture correction coefficient is 1.1, which is smaller than 1.3 in other areas d2 to d7. Thus, by setting the aperture correction coefficient (outline enhancement amount) corresponding to the gain amount when shading correction is performed for each area, the image signal (luminance signal) is set so that the random noise 93 and the like do not protrude from the insensitive area. Can be corrected.
[0016]
Here, a method for setting the outline enhancement amount will be described with reference to FIG.
FIG. 5 is a diagram showing the relationship between the input level and the output level of the luminance signal (aperture signal) of the contour portion, the horizontal axis (x axis) shows the input level of the aperture signal, and the vertical axis (y axis) shows. The output level of the aperture signal is shown.
The coring level 60 indicates a range that determines where the edge enhancement is applied to the input aperture signal. Conversely, the coring level 60 indicates the width of the input level range where the edge enhancement processing is not executed. In the present embodiment, for example, by performing variable control so as to widen the coring level 60, the contour emphasis amount is variably controlled and set, and the aperture correction of the area is performed so that the random noise 93a or the like does not protrude from the dead area. It is possible to reduce the coefficient or prevent the edge enhancement process from being performed in an area where the random noise 93 is generated.
The aperture gain 70 indicates how much the output aperture signal is amplified (contour enhancement) with respect to the input aperture signal, that is, the amount of contour enhancement. In the present embodiment, for example, by variably controlling the aperture gain 70, the contour enhancement amount is variably controlled and set, and the aperture correction coefficient of the area is reduced so that the random noise 93a or the like does not protrude from the dead area. Alternatively, it is possible to prevent the edge enhancement process from being performed in an area where the random noise 93 is generated.
Aperture limits 81 and 82 indicate the range in which the level of contour enhancement to the input aperture signal is determined when the amplification degree of the output aperture signal is constant with respect to the input aperture signal. In the present embodiment, for example, by variably controlling the input level range of the aperture limits 81 and 82, the contour enhancement amount is variably controlled and set so that the random noise 93a or the like does not protrude from the insensitive area. It is possible to reduce the aperture correction coefficient or prevent the edge enhancement process from being performed in an area where the random noise 93 is generated.
In the present embodiment, the amount of edge enhancement for the random noise 93a or the like can be suppressed by any one of the above methods or a combination of the above methods, so that the random noise 93a or the like does not protrude from the dead area.
[0017]
Further, the aperture correction circuit 21 (contour emphasizing means) of the present embodiment sets the amount of contour emphasis for each area obtained by dividing each area shown in FIGS. 2 and 3 into a plurality of areas for each frequency area. You can In that case, the contour emphasis amount corresponding to the gain amount used in the shading correction circuit 13 is changed based on the spatial frequency of a different image for each frequency region. By configuring in this way, for example, it is possible to prevent image quality deterioration and improve the S / N ratio while maintaining the open feeling achieved based on the spatial frequency.
In addition, as described above, the image signal is illustrated in accordance with differences in the aperture value of the aperture / shutter 2, the zoom position of the imaging lens 1, the in-focus position of the imaging lens 1, the light distribution characteristics of the strobe device 40, and the like. Larger shading correction than shown in 4 (b) may be performed. In that case, the luminance difference at the boundary of each area where the shading correction coefficient changes becomes large, and the luminance difference at this boundary is determined as the contour. Then, the aperture correction circuit 21 may emphasize the luminance difference at the area boundary and protrude from the insensitive area. In the present embodiment, the aperture value of the aperture / shutter 2, the zoom position of the imaging lens 1, the in-focus position of the imaging lens 1, the light distribution characteristics of the strobe device 40, etc. The contour enhancement amount is set to be optimal so that the luminance difference at the area boundary is emphasized and does not protrude from the insensitive area. Therefore, by using this embodiment, it is possible to prevent image quality deterioration of image information (image data) and improve the S / N ratio.
Note that the number of area divisions, shading correction coefficients, and aperture correction coefficients shown in this embodiment are merely examples, and it goes without saying that the present invention is not limited thereto.
[0018]
【The invention's effect】
As described above, according to the first aspect of the present invention, image quality degradation caused by performing both shading correction processing and contour enhancement processing is reduced by changing the amount of contour enhancement, and the S / N ratio is improved. Can do.
In the present invention of claim 2, since it is possible to know in advance the amount of shading correction that changes depending on the zoom position of the imaging lens, it is possible to obtain an optimum amount of contour enhancement at each zoom position, thereby reducing image quality degradation, The S / N ratio can be improved.
According to the third aspect of the present invention, since the shading correction amount that changes depending on the aperture value can be known in advance, it is possible to obtain the optimum contour enhancement amount at each aperture value, thereby reducing the deterioration of the image quality and reducing the S / N. The ratio can be improved.
According to the fourth aspect of the present invention, since the shading correction amount that changes depending on the in-focus position of the imaging lens can be known in advance, the optimum contour emphasis amount at each in-focus position can be obtained, and image quality degradation is reduced. Thus, the S / N ratio can be improved.
According to the fifth aspect of the present invention, since the shading correction amount that changes depending on whether or not the strobe device emits light can be known in advance, when the strobe device emits light, when it does not emit light, an optimum contour emphasis amount at each time is obtained. Image quality can be reduced, and the S / N ratio can be improved.
According to the present invention of claim 6, by knowing the frequency characteristics of the contour component, the amount of contour emphasis is changed for each frequency. Therefore, it is possible to reduce image quality degradation and improve the S / N ratio while maintaining a sense of resolution. it can.
In the present invention of claim 7, since the shading correction amount data to be stored can be reduced, the cost can be reduced and the camera can be downsized.
According to the eighth aspect of the present invention, it is possible to reduce the deterioration of the image quality and improve the S / N ratio by changing the outline emphasis gain.
In the present invention of claim 9, by changing the coring level, it is possible to reduce image quality degradation and improve the S / N ratio.
In the tenth aspect of the present invention, by changing the level of the aperture limit, it is possible to reduce image quality deterioration and improve the S / N ratio.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a shading correction lookup table shown in FIG.
3 is a diagram illustrating an example of an aperture correction lookup table illustrated in FIG. 1. FIG.
4 is a diagram showing a luminance distribution of an image signal for one horizontal line between AA ′ in the table for one screen shown in FIG. 2 or FIG. 3, wherein (a) is a luminance distribution before correction; (B) shows the luminance distribution after shading correction, and (c) shows the luminance distribution after aperture correction using the same value of the aperture correction coefficient after the shading correction.
FIG. 5 is a diagram illustrating a relationship between an input level and an output level of a luminance signal (aperture signal) of a contour portion.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Imaging lens, 2 ... Aperture / shutter, 3 ... CCD, 4 ... Zoom motor, 5 ... Aperture / shutter motor, 6 ... Focus motor, 7 ... TG circuit 8 ... Motor driver, 9 ... CDS circuit, 10 ... AGC circuit, 11 ... A / D circuit, 12 ... CDS / A / D (IC), 13 ... Shading correction Circuits: 14 ... 4H memory, 15 ... color separation circuit, 16 ... signal interpolation circuit, 17 ... WB (white balance) circuit, 18 ... γ correction circuit, 19 ... color difference matrix Circuit: 20 ... JPEG circuit, 21 ... Aperture correction circuit, 22 ... SSG circuit, 23 ... Memory controller, 24 ... Signal processor, 25 ... Frame buffer, 26 ... Shading correction 27 ... Aperture setting lookup table, 28 ... RAM (built-in CPU), 29 ... CPU, 30 ... recording medium, 31 ... flash ROM, 40 ... strobe device, 50 ... Image processing device (digital camera)

Claims

An imaging lens that forms an incident light from a subject at a focal position, a light receiving unit that converts the incident light into input image data, and correction of luminance unevenness that occurs when a subject with a uniform luminance on the entire screen is captured. In an image processing apparatus having shading correction means for performing shading correction and outline enhancement means for enhancing and setting an outline for input image data,
The shading correction means performs a shading correction process for each area with a gain amount determined for each area obtained by dividing one screen into a plurality of areas.
The contour emphasizing unit performs contour emphasizing processing for each area to be corrected by the shading correction unit, corresponding to the gain amount, and setting the contour emphasis amount to be small when the gain amount is large. A featured image processing apparatus.

2. The image processing apparatus according to claim 1, wherein a zoom unit that can change an arrangement position of an imaging lens to change a magnification of incident light from a subject, and a shading correction that varies depending on a difference in the arrangement position of the imaging lens. An image processing apparatus, wherein the shading correction means determines the gain amount using a different shading correction coefficient depending on a difference in an arrangement position of the imaging lens. .

2. The image processing apparatus according to claim 1, wherein the aperture means that adjusts the amount of incident light by changing the aperture area through which incident light can pass, and the aperture value corresponding to the aperture area of the aperture means. Storage means for storing different shading correction coefficients in advance, wherein the shading correction means determines the gain amount using a different shading correction coefficient according to a difference in aperture value of the aperture means. Image processing device.

The image processing apparatus according to claim 1, wherein a focusing unit that can change an arrangement position of the imaging lens in accordance with a distance to a subject, and a shading correction coefficient that varies depending on the difference in the arrangement position of the imaging lens are previously set. Storage means for storing, wherein the shading correction means determines the gain amount using a different shading correction coefficient depending on a difference in arrangement position of the imaging lens.

2. The image processing apparatus according to claim 1, wherein auxiliary light irradiation means for irradiating auxiliary light toward the subject image and storage for previously storing different shading correction coefficients according to the difference in light distribution characteristics of the auxiliary light irradiation means. And when the auxiliary light irradiation unit is used, the shading correction unit determines the gain amount using a different shading correction coefficient depending on a difference in the light distribution characteristics. Processing equipment.

2. The image processing apparatus according to claim 1, wherein the contour emphasizing unit is capable of setting a contour emphasis amount for each region obtained by dividing each area into a plurality of regions for each frequency region, and the shading correcting unit. An image processing apparatus characterized in that a contour enhancement amount corresponding to the gain amount is changed based on a spatial frequency of an image different for each frequency region.

The image processing apparatus according to claim 1, wherein the zoom unit that can change the arrangement position of the imaging lens in order to change the incident magnification from the subject image, and the incident light by changing the aperture area through which the incident light can pass. A diaphragm means for adjusting the amount of light, a focusing means capable of changing the arrangement position of the imaging lens in accordance with the distance to the subject, and each shading correction coefficient according to claim 2 in an independent state. Storage means for storing, wherein the shading correction means determines the gain amount by multiplying the shading correction coefficients based on the states of the zoom means, the diaphragm means, and the focusing means. An image processing apparatus.

The image processing apparatus according to claim 1, wherein the contour emphasizing unit variably controls a contour emphasis amount.

The image processing apparatus according to claim 1, wherein the contour emphasizing unit variably controls the level of the contour emphasis by variably controlling a level width of an input signal for which the contour emphasis processing is not performed. apparatus.

2. The image processing apparatus according to claim 1, wherein the contour emphasizing unit variably controls the amount of contour emphasis by variably controlling an input level range in which an output level of a contour emphasis signal is constant. Image processing device.