JP4131017B2 - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP4131017B2 JP4131017B2 JP36064898A JP36064898A JP4131017B2 JP 4131017 B2 JP4131017 B2 JP 4131017B2 JP 36064898 A JP36064898 A JP 36064898A JP 36064898 A JP36064898 A JP 36064898A JP 4131017 B2 JP4131017 B2 JP 4131017B2
- Authority
- JP
- Japan
- Prior art keywords
- level
- value
- pixel
- target pixel
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の画像読取装置に設けられ、撮像素子から出力される画素信号に非線形処理を施す画像処理装置に関する。
【０００２】
【従来の技術】
一般に、撮像素子から出力される画素信号は、Ａ／Ｄ変換処理により例えば８ビットの低階調のデジタル画素信号に変換される。この画素信号の階調は比較的粗いので、画素信号のレベル値が例えば１階調だけ変化すると、画像における輝度は比較的大きく変化する。
【０００３】
【発明が解決しようとする課題】
このような低階調の画素信号に基づいて画像の表示または記録を行なう際、画像表示装置のガンマ特性等を相殺するために、低階調の画素信号にはガンマ補正等の非線形処理が施される。この非線形処理によって、本来、８ビットの分解能でも表現できる筈のレベル値が表現されず、レベル値のとび、いわゆる階調とびが発生する。この階調とびのために、読取画像において隣接画素の相互間における輝度変化が小さくても、再生画像では、隣接画素の相互間での輝度変化が大きくなり、画像の再現性が劣化してしまう。
【０００４】
本発明は、撮像素子から出力される画素信号に非線形処理を施す画像処理装置において、階調とびを低減することにより画像の再現性を向上させることを目的とする。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を構成する複数の画素に対応したアナログ信号を、第１の階調を有するデジタルのレベル値に変換するレベル値変換手段と、複数の画素のうちの注目画素のレベル値と、注目画素の周囲に位置する複数の画素から選択された補正用画素のレベル値とに基づいて、注目画素のレベル補正値を求めるレベル補正手段と、レベル補正値を第１の階調よりも高い第２の階調を有するレベル値に変換し、この第２の階調のレベル値に非線形処理を施して非線形処理値を得た後、この非線形処理値の階調を前記第１の階調に変換することにより、注目画素について被線形処理が施されたレベル値を算出する非線形処理手段とを備えることを特徴としている。
【０００６】
好ましくは、注目画素はそのレベル値とその周囲に位置する複数の画素のレベル値のそれぞれとの差が基準のレベル値以下の画素である。あるいは好ましくは、レベル補正手段は注目画素のレベル値と補正用画素のレベル値との相加平均値を注目画素のレベル補正値として算出する。
【０００７】
好ましくは、レベル補正手段は注目画素のレベル値と補正用画素のレベル値との相加平均値が注目画素のレベル値と所定のレベル差以内になるように、補正用画素を選択する。さらに好ましくは、レベル補正手段は注目画素のレベル値と注目画素の周囲に位置する複数の画素のレベル値との相加平均値を算出し、この相加平均値と注目画素のレベル値とのレベル差が所定のレベル差以下であるとき、注目画素の周囲に位置する複数の画素を補正用画素として選択し、相加平均値と注目画素のレベル値とのレベル差が所定のレベル差よりも大きいとき、そのレベル差に応じて注目画素の周囲に位置する複数の画素から補正用画素を選択する。この場合好ましくは、レベル補正手段は注目画素のレベル値と注目画素の周囲に位置する複数の画素のレベル値との相加平均値が注目画素のレベル値より小さいとき、注目画素の周囲に位置する複数の画素から最も小さいレベル値の画素を除いたものを補正用画素として選択し、注目画素のレベル値と注目画素の周囲に位置する複数の画素のレベル値との相加平均値が注目画素のレベル値より大きいとき、注目画素の周囲に位置する複数の画素から最も大きいレベル値の画素を除いたものを補正用画素として選択する。
【０００８】
本発明に係わる画像処理方法は、画像を構成する複数の画素に対応したアナログ信号を、第１の階調を有するデジタルのレベル値に変換するレベル値変換工程と、複数の画素のうちの注目画素のレベル値と、注目画素の周囲に位置する複数の画素から選択された補正用画素のレベル値とに基づいて、注目画素のレベル補正値を求めるレベル補正工程と、レベル補正値を第１の階調よりも高い第２の階調を有するレベル値に変換し、この第２の階調のレベル値に非線形処理を施して非線形処理値を得た後、この非線形処理値の階調を第１の階調に変換することにより、注目画素について非線形処理が施されたレベル値を算出する非線形処理工程とを備えることを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態の画像処理装置を適用したデジタルカメラを示す斜視図である。
【００１０】
デジタルカメラ１０の正面１０ａにはレンズ鏡筒１３が設けられ、レンズ鏡筒１３には撮影光学系２１が保持されている。デジタルカメラ１０の背面１０ｃには、図示しないファインダが設けられる。
【００１１】
デジタルカメラ１０の上面１０ｂには液晶表示装置（ＬＣＤ）１１が設けられる。またデジタルカメラ１０の上面１０ｂには、操作パネル１５と表示パネル１７とが配設され、操作パネル１５には、デジタルカメラ１０の動作を操作するための種々の操作ボタン１５ａが設けられ、表示パネル１７にはデジタルカメラ１０の動作状態等を示す文字または図形が表示可能である。さらにデジタルカメラ１０の上面１０ｂには、画像を記録するためのレリーズボタン１６が設けられる。
【００１２】
図２を参照してデジタルカメラ１０の電気的構成について説明する。ＣＰＵ４０には、操作パネル１５、表示パネル１７、レリーズボタン１６が接続されている。このデジタルカメラ１０は操作パネル１５に設けられる種々の操作ボタンおよびレリーズボタン１６を押下することにより操作され、ＣＰＵ４０により制御される。
【００１３】
撮影光学系１２の後方にはミラー２１、シャッタ２２および撮像素子（ＣＣＤ）３０が設けられており、ミラー２１の上方にはファインダ光学系２３が配設されている。ＣＣＤ３０はエリアセンサであり、その受光部に多数のフォトダイオードを有する。
【００１４】
通常、ミラー２１は実線で示す傾斜状態に配置されており、撮像光学系１２から取込まれた光をファインダ光学系２３に導く。このときシャッタ２２は閉じており、ＣＣＤ３０に向かう光路を閉塞している。これに対しレリーズボタン１６が押下され、撮影が行なわれる時、ミラー２１はミラー駆動回路２４の制御により上方に回動せしめられ、破線で示す水平状態となる。このミラー２１の回動にともない、シャッタ２２はシャッタ駆動回路２５の制御により開口せしめられ、その結果撮像光学系１２から取込まれた光はＣＣＤ３０の受光部に照射される。
【００１５】
ＣＰＵ４０にはタイミング発生回路４１が接続され、ＣＰＵ４０の制御によりタイミング発生回路４１はタイミング信号を発生する。このタイミング信号に基づいて、ＣＣＤ駆動回路３２と相関二重サンプリング回路（ＣＤＳ）４２とＡ／Ｄ変換器４３とが駆動せしめられ、ＣＣＤ駆動回路３２によりＣＣＤ３０の駆動が制御される。
【００１６】
レリーズボタン１６が押下されると、撮影が開始せしめられる。すなわちＣＣＤ駆動回路３２によりＣＣＤ３０が駆動され、ＣＣＤ３０により被写体像が画素信号として読取られ、この画素信号に基づいて被写体像がＬＣＤ１１に表示される。
【００１７】
詳述すると、被写体からの光は撮影光学系１２を通過してＣＣＤ３０の受光部に照射される。この照射光がＣＣＤ３０により検出され、そこからアナログ画素信号が１画面分出力される。このアナログ画素信号はＣＤＳ回路４２においてリセット雑音を除去され、Ａ／Ｄ変換器４３において例えば８ビットのデジタル画素信号に変換される。このデジタル画素信号は信号処理回路（ＤＳＰ）４４を介して画像メモリ４５に一旦格納される。
【００１８】
デジタル画素信号は画像メモリ４５から読み出され、ＤＳＰ４４により補間処理、色補正等の所定の処理を施され、さらにＤＳＰ４４によりガンマ補正等の非線形処理を施されて、ＬＣＤ表示回路５０の内蔵メモリ（図示せず）に一旦格納される。その内蔵メモリからデジタル画素信号はＬＣＤ表示回路５０の制御により読み出され、このデジタル画素信号に基づく画像がＬＣＤ１１に表示される。
【００１９】
ＬＣＤ１１に表示された画像が操作者により確認され、再びレリーズボタン１６が押下されると、メモリカード６０に画像が記録される。詳述すると、画像メモリ４５に格納されているデジタル画素信号が読み出され、ＤＳＰ４４において補間処理を施された後、輝度信号と色差信号に変換される。この輝度信号と色差信号とはＤＳＰ４４によりガンマ補正を施され、メモリカードコントローラ６２により圧縮され、メモリカードスロット６１を介してメモリカード６０に記録される。
【００２０】
ＤＳＰ４４により行なわれるガンマ補正処理では、前処理としてガンマ補正を施すために画素信号を補正するレベル補正処理と、ガンマ補正の分解能を向上させるための階調変換処理が行なわれ、後処理として階調を元に戻す階調還元処理が行なわれる。各処理について図３、図４を参照して説明する。
【００２１】
図３はＣＣＤ３０を用いて読取った画像を構成する画素の配列の一部を示す図であり、位置（ｍ、ｎ）の画素Ｐｃおよびその周囲の位置（ｍ＋ｉ、ｎ＋ｊ）（ｉ、ｊ＝−１、０、１；ｉ＝ｊ＝０を除く）の画素を示す。これらの各画素に対応する８ビットのデジタル画素信号のレベル値の一例を図４に示す。これらの８ビットのデジタル画素信号は画像メモリ４５に格納されている。
【００２２】
レベル補正処理について説明する。位置（ｍ、ｎ）の画素Ｐｃに注目する。この画素（注目画素）Ｐｃのレベル値は「１０」である。この注目画素Ｐｃのレベル値は、その周囲の位置（ｍ＋ｉ、ｎ＋ｊ）（ｉ、ｊ＝−１、０、１；ｉ＝ｊ＝０を除く）にある８つの画素の各レベル値と、基準のレベル差（例えば「５」）以内である。このような場合、注目画素Ｐｃは画像の輝度変化の少ないなだらかな部位に位置しており、後述するガンマ補正後に、注目画素Ｐｃとその周囲の画素の相互間における輝度変化が大きくならないように、つまり階調とびが生じないように、注目画素Ｐｃのレベル値を補正する必要がある。したがって注目画素Ｐｃのレベル補正値が求められる。
【００２３】
注目画素Ｐｃのレベル補正値を求めるために、注目画素Ｐｃのレベル値すなわち「１０」とその周囲に位置する８つの画素の各レベル値との相加平均値が算出される。相加平均値をＬAVとし、各画素のレベル値をＬ(m-1,n-1) 、Ｌ(m,n-1) 、Ｌ(m+1,n-1) 、Ｌ(m-1,n) 、Ｌ(m,n) 、Ｌ(m+1,n) 、Ｌ(m-1,n+1) 、Ｌ(m,n+1) 、Ｌ(m+1,n+1) とし、注目画素とその周囲に位置する画素の数をＤ２とすると、相加平均値ＬAVは（１）式により算出される。
【００２４】
図４に示す例の場合、注目画素Ｐｃのレベル値とその周囲に位置する画素のレベル値との相加平均値ＬAVは「８．７７８」である。注目画素Ｐｃのレベル値すなわち「１０」と相加平均値ＬAVすなわち「８．７７８」とのレベル差は、例えば８ビットの「１」階調差に対応する所定のレベル差より大きく、相加平均値ＬAVは注目画素Ｐｃのレベル値よりも小さい。この場合、周囲に位置する８つの画素から、最も小さいレベル値の画素Ｐｓを除いたものが補正用画素として選択される。この選択された補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が算出される。すなわちこの相加平均値ＬAVは（１）式においてＬ(m-1,n-1) を除き、相加平均値を算出するための総画素数Ｄ２を「８」としたときの値であり、「９．１２５」である。補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値ＬAVすなわち「９．１２５」は注目画素Ｐｃのレベル値と所定のレベル差（「１」）以内である。このときの相加平均値ＬAVすなわち「９．１２５」が注目画素Ｐｃのレベル補正値になる。
【００２５】
なお相加平均値ＬAVは８ビットの精度で算出すると、小数点以下が切り捨てられてしまうため、レベル補正値算出時のみ、８ビットよりも高精度に、例えば１０、１２、１６ビットの精度で算出される。
【００２６】
各画素のレベル値が上述のような図４に示す例とは異なり、周囲に位置する８つの画素のレベル値と注目画素Ｐｃとの相加平均値ＬAVが注目画素Ｐｃのレベル値よりも大きく、この相加平均値ＬAVと注目画素Ｐｃのレベル値とのレベル差が所定のレベル差より大きい場合のレベル補正値の算出について説明する。この場合、注目画素Ｐｃの周囲に位置する８つの画素から、最も大きいレベル値の画素を除いたものが補正用画素として選択される。そして選択された補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が注目画素Ｐｃのレベル補正値として算出される。
【００２７】
上述のように注目画素Ｐｃの周囲に位置する８つの画素から１つの画素を除いた残りの画素を、補正用画素として選択しても、その選択された画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が注目画素Ｐｃのレベル値と所定のレベル差以内にはならない場合がある。このような場合は、現在選択されている画素から、上述のようにレベル差に応じて１つの画素が除かれ、その残りの画素が補正用画素として選択され、この補正用画素のレベル値と注目画素Ｐｃとの相加平均値が再び算出される。この相加平均値が注目画素Ｐｃのレベル値と所定のレベル差以内になるまで、選択されている画素から１つずつ画素が除かれて、その残りの画素が補正用画素として選択される。そして最終的に選択されている補正用画素のレベル値と注目画素Ｐｃのレベル値との相加平均値が注目画素Ｐｃのレベル補正値として算出される。また補正用画素の選択をすることなく、注目画素Ｐｃのレベル値とその周囲に位置する８つの画素の各レベル値との相加平均値が所定のレベル差以内である場合、この相加平均値が注目画素Ｐｃのレベル補正値となる。
【００２８】
なお注目画素Ｐｃのレベル値は８ビット階調における「±１」のレベル値の誤差を有しており、注目画素Ｐｃのレベル値が「１０」であるとき、この注目画素Ｐｃの真のレベル値は「１０−１」から「１０＋１」の範囲に存在する。このためレベル補正値の算出では、注目画素Ｐｃのレベル値と補正用画素の各レベル値との相加平均値が注目画素Ｐｃのレベル値と８ビットにおける１階調差に対応する所定のレベル差以内になるように、補正用画素が選択される。また真のレベル値は注目画素のレベル値とその周囲に位置する画素のレベル値とから予測されるため、選択された補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が、注目画素Ｐｃのレベル補正値として算出される。
【００２９】
階調変換処理について説明する。この階調変換処理は算出された注目画素Ｐｃのレベル補正値に施され、ガンマ補正における分解能を向上させるためのものである。この階調変換処理では、注目画素Ｐｃのレベル補正値は８ビットよりも高い１０ビットの階調に変換される。この階調変換処理は、いわゆる内挿補間処理であり、図４に示す例の場合、「９．１２５」であるレベル補正値は「４」を乗じられ、小数点以下を切り捨てられて、１０ビット変換値「３６」が求められる。すなわち８ビットのデータである注目画素Ｐｃのレベル補正値は階調変換処理によって１０ビットのデータに変換される。
【００３０】
階調変換処理により求められたビット変換値「３６」には、ガンマ補正が施される。詳述すると、この１０ビット変換値「３６」は図２に示すＤＳＰ４４に読込まれ、そこに設けられるルックアップテーブル（図示せず）上で１０ビット変換値に対応するガンマ補正値が参照される。ガンマ補正（例えばγ＝２．２）の場合、１０ビット変換値が「３６」であるとき、ガンマ補正値は「２２０」である。このようにレベル補正値の１０ビット変換値がガンマ補正値に変換されると、その後、階調還元処理（下位２ビットを切り捨て、値を丸め込む処理）によりガンマ補正値は８ビットに変換され、この場合「５５」になる。
【００３１】
以上のように、注目画素Ｐｃのレベル値と、その周囲に位置する８つの画素の各レベル値との差がそれぞれ所定のレベル差以内であるとき、注目画素Ｐｃは画像の隣接画素相互間における輝度変化の小さいなだらかな部位に位置している。このような場合、注目画素Ｐｃのレベル補正値が算出される。このレベル補正値は階調変換処理により１０ビットに変換され、その結果得られる１０ビット変換値からガンマ補正値が参照されて、階調還元処理により８ビットに変換される。これに対し、注目画素Ｐｃのレベル値と、その周囲に位置する８つの画素の各レベル値との差がそれぞれ所定のレベル差以上であるとき、注目画素Ｐｃは画像の輝度変化の割合が大きな部位に位置している。このような場合、注目画素Ｐｃとその周囲の画素との相互間において、階調とびが発生しても、画像の再現性には影響を及ぼさないため、レベル補正値は算出されない。したがって注目画素Ｐｃのレベル値はそのまま階調変換処理により１０ビットに変換され、その結果得られる１０ビット変換値からガンマ補正値が参照されて、８ビットに変換される。
【００３２】
これまでに述べたように、本実施形態では、ガンマ補正を施すべき画素すなわち注目画素のレベル値は、その周囲に位置する画素のレベル値とのレベル差に応じて補正され、レベル補正値が算出される。そして算出されたレベル補正値または注目画素のレベル値に、階調変換処理、ガンマ補正および階調還元処理が施される。
【００３３】
図５、図６を参照してガンマ補正を行なうガンマ補正ルーチンについて説明する。このガンマ補正ルーチンは図２に示すＤＳＰ４４においてＣＰＵ４０の指令に基づいて行なわれ、１つの画素の８ビットのガンマ補正値が得られると、終了する。
【００３４】
ステップ１１０からステップ１８０において、位置（ｍ、ｎ）の注目画素が画像の輝度変化のなだらかな部位にあるか否かが判定される。詳述すると、ステップ１１０において、位置（ｍ、ｎ）の注目画素のレベル値Ｌ(m,n) が読込まれ、ステップ１２０およびステップ１３０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) を読込むためのパラメータｉ、ｊが初期値「−１」に設定され、注目画素の周囲に位置する８つの画素が図３に示す位置（ｍ＋ｉ、ｎ＋ｊ）（ｉ、ｊ＝−１、０、１；ｉ＝ｊ＝０を除く）の画素であるので、パラメータｉ、ｊは「−１」、「０」、「１」の値を取り得る。ステップ１４０において、周囲の位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) が取得され、ステップ１５０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) と注目画素のレベル値Ｌ(m,n) との差が基準のレベル値Ｌth（例えば「５」）より大きいか否かが判定される。
【００３５】
ステップ１５０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) と注目画素のレベル値Ｌ(m,n) との差が基準のレベル値Ｌthより大きいと判定されたとき、すなわち注目画素が画像の輝度変化のなだらかな部位に位置しないとき、ステップ１８０において注目画素のレベル値Ｌ(m,n) が１０ビット変換され、この１０ビット変換値が上述のようにガンマ補正値に変換され、このガンマ補正値が８ビットに変換されて、このガンマ補正ルーチンは終了する。
【００３６】
これに対し、ステップ１５０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) と注目画素のレベル値Ｌ(m,n) との差が基準のレベル値Ｌth以下であると判定されたとき、ステップ１６０において、パラメータｉが終値「１」であるか否かが判定される。
【００３７】
ステップ１６０において、パラメータｉが終値「１」ではないとき、ステップ１６３において、パラメータｉが「１」だけ加算される。ステップ１６６において、パラメータｉとパラメータｊとがともに「０」であるか否かが判定される。パラメータｉとパラメータｊの何れか一方が「０」ではないとき、すなわち位置（ｍ＋ｉ、ｎ＋ｊ）の画素が注目画素ではないとき、ステップ１４０の処理が再び実行される。一方ステップ１６６において、パラメータｉとパラメータｊとがともに「０」であると判定されたとき、すなわち位置（ｍ＋ｉ、ｎ＋ｊ）の画素が注目画素であるとき、ステップ１６９において、パラメータｉが「１」だけ加算され、ステップ１４０の処理が再び実行される。
【００３８】
これに対しステップ１６０において、パラメータｉが終値「１」であると判定されたとき、ステップ１７０において、パラメータｊが終値「１」であるか否かが判定される。パラメータｊが終値「１」ではないと判定されたとき、ステップ１７３において、パラメータｊが「１」だけ加算され、ステップ１３０の処理が再び実行される。一方ステップ１７０において、パラメータｊが終値「１」であると判定されたとき、すなわち注目画素が画像の輝度変化のなだらかな部位にあるとき、ステップ１９０の処理が実行される。
【００３９】
以上のようにステップ１１０からステップ１８０において、注目画素の周囲に位置する複数の画素のレベル値のうち、１つでも注目画素のレベル値との差が基準のレベル値Ｌthよりも大きいときは、注目画素は画像の輝度変化のなだらかな部位に位置していないと判定して、その注目画素のレベル値は補正せず、そのままガンマ補正が施される。一方注目画素の周囲に位置する複数の画素のレベル値の全てについてその周囲の各画素のレベル値と注目画素のレベル値との差が基準のレベル値Ｌth以下であるとき、レベル値を補正するためにステップ１９０の処理が実行される。このステップ１９０の処理から演算処理は、小数点以下を有効にするために８ビットよりも高精度な例えば１０、１２、１６ビットの精度で行なわれる。
【００４０】
ステップ１９０において、注目画素およびその周囲に位置する画素のレベル値Ｌ(m+i,n+j) （ｉ＝ｊ＝−１、０、１）の相加平均値ＬAV(m,n) が上述の（１）式により算出される。ステップ２００において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) と８ビットにおける「１」階調差に対応する所定のレベル差以内であるか否かが判定される。例えば１６ビット精度で演算処理が行なわれるとき、相加平均値ＬAV(m,n) と注目画素のレベル値Ｌ(m,n) との差が「２５６」以内であるか否かが判定される。
【００４１】
ステップ２００において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) と所定のレベル差以内であると判定されたとき、すなわちレベル補正値を算出するための補正用画素が選択されたとき、ステップ２６０の処理が実行される。これに対しステップ２００において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) と所定のレベル差以内ではないと判定されたとき、ステップ２１０において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) よりも大きいか否かが判定される。相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) よりも大きいと判定されたとき、ステップ２２０において、注目画素の周囲に位置する画素から最も大きいレベル値の画素を除いた残りの画素が選択され、ステップ２４０の処理が実行される。一方ステップ２１０において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) 以下であると判定されたとき、ステップ２３０において、注目画素の周囲に位置する画素から最も小さいレベル値の画素を除いた残りの画素が選択され、ステップ２４０の処理が実行される。
【００４２】
ステップ２４０において、現在選択されている画素数がレベル補正を有効に行なえる最小画素数よりも小さいか否かが判定される。この最小画素数は例えば初期画素数（すなわち「８」）の１／２倍であり、現在選択されている画素数が最小画素数よりも小さいと判定されたとき、ステップ２６０の処理が実行される。これに対しステップ２４０において、現在選択されている画素数が最小画素数以上であると判定されたとき、ステップ２５０において、注目画素のレベル値と現在選択されている画素のレベル値との相加平均値ＬAV(m,n) が算出され、ステップ２００の処理が再び実行される。
【００４３】
以上のようにステップ１１０からステップ２５０ではレベル補正処理が行なわれ、ステップ１９０からステップ２５０において、レベル補正値を算出するための補正用画素が注目画素の周囲に位置する画素から選択され、注目画素のレベル値と補正用画素のレベル値との相加平均値が注目画素のレベル補正値として算出される。なおステップ１９０からステップ２５０において行なわれるレベル補正値の演算は８ビットよりも高階調で行なわれるが、この演算は各画素毎に行なわれるため、１画素分のレベル値を高階調で演算すればよく、全画素のレベル値を全て高階調に変換して画像メモリ４５等に格納する必要はない。
【００４４】
ステップ２６０において、算出された注目画素および補正用画素のレベル値の相加平均値ＬAV(m,n) すなわちレベル補正値ＬAV(m,n) が８ビットの値に変換され、さらに階調変換処理により８ビットから１０ビットに変換される。その後１０ビット変換値がガンマ補正（γ＝２．２）によりガンマ補正値Ｌ' (m,n) に変換される。
【００４５】
ステップ２７０において、注目画素のガンマ補正値Ｌ' (m,n) が階調還元処理により１０ビットから８ビットに変換され、このガンマ補正ルーチンは終了する。
【００４６】
なおガンマ補正ルーチンは１つの画素のガンマ補正値Ｌ' (m,n) が算出されると終了するが、繰り返し行なうことにより画像を構成する全ての画素に対して行なわれる。
【００４７】
以上のガンマ補正ルーチンを行なうことにより画像の輝度変化の割合が小さいなだらかな部位においては、注目画素のレベル補正値が算出され、そのレベル補正値に、階調変換処理、ガンマ補正処理および階調還元処理が施される。
【００４８】
以上の本実施形態によれば、ＣＣＤから画像を構成する複数の画素に対応したアナログ画素信号が出力され、このアナログ画素信号が８ビットのデジタル画素信号に変換されて、８ビットの画素信号の各レベル値に対応する画素が画像の隣接画素相互間における輝度変化の小さいなだらかな部位に位置するとき、その画素のレベル値が、その周囲の画素との相互間における輝度変化が大きくならないように、すなわち階調とびが生じないように、補正される。この補正により算出されるレベル補正値に、階調変換処理、ガンマ補正および階調還元処理が施される。
【００４９】
注目画素Ｐｃの周囲に位置する画素が図４に示すレベル値を有する場合、周囲の画素から注目画素Ｐｃへのレベル変化を考慮すると、すなわち注目画素Ｐｃおよびその周囲の画素のレベル値の相加平均値を算出すると、注目画素Ｐｃの真のレベル値は「１０」よりも小さいと予測される。したがって注目画素Ｐｃのレベル値は「１０」よりも小さくなるように補正されるべきである。本実施形態のガンマ補正（例えばγ＝２．２）では、上述のように注目画素Ｐｃのガンマ補正値は「５５」である。一方従来のように８ビットの画素信号にそのままガンマ補正（例えばγ＝２．２）が施される場合、注目画素Ｐｃのガンマ補正値は「５８」となる。したがって本実施形態のガンマ補正では、ガンマ補正値は従来のガンマ補正値よりも小さくなり、隣接画素の相互間におけるガンマ補正後のレベル値の変化が小さくなる。すなわち階調とびが低減される。これにより画像の輝度がなだらかに変化し、隣接画素相互間における輝度変化が小さい部位において、ガンマ補正等の非線形処理によりその輝度変化が大きくなることはなく、画像の再現性が向上する。
【００５０】
また、本実施形態では、画素信号のレベル値は相対的に低い階調で画像メモリに格納され、レベル補正またはガンマ補正の演算処理時のみ、高精度に演算を行なうために高階調の値に変換される。このため全ての画素信号のレベル値を高階調の値に変換する必要がなく、画像メモリを増設する必要がない。したがって装置の大型化が抑えられる。
【００５１】
【発明の効果】
以上のように本発明によれば、撮像素子から出力される画素信号に非線形処理を施す画像処理装置において、階調とびを防止することにより画像の再現性が向上せしめられる。
【図面の簡単な説明】
【図１】本発明の本実施形態の画像処理装置を適用したデジタルカメラを示す斜視図である。
【図２】本実施形態の画像処理装置を適用したデジタルカメラを示すブロック図である。
【図３】撮像素子を用いて読取った画像を構成する画素の配列の一部を示す図である。
【図４】各画素のレベル値の一例を示す図である。
【図５】ガンマ補正を行なうガンマ補正ルーチンを示すフローチャートの前半部である。
【図６】ガンマ補正を行なうガンマ補正ルーチンを示すフローチャートの後半部である。
【符号の説明】
Ｐｃ 注目画素
【発明の属する技術分野】
本発明は、デジタルカメラ等の画像読取装置に設けられ、撮像素子から出力される画素信号に非線形処理を施す画像処理装置に関する。
【０００２】
【従来の技術】
一般に、撮像素子から出力される画素信号は、Ａ／Ｄ変換処理により例えば８ビットの低階調のデジタル画素信号に変換される。この画素信号の階調は比較的粗いので、画素信号のレベル値が例えば１階調だけ変化すると、画像における輝度は比較的大きく変化する。
【０００３】
【発明が解決しようとする課題】
このような低階調の画素信号に基づいて画像の表示または記録を行なう際、画像表示装置のガンマ特性等を相殺するために、低階調の画素信号にはガンマ補正等の非線形処理が施される。この非線形処理によって、本来、８ビットの分解能でも表現できる筈のレベル値が表現されず、レベル値のとび、いわゆる階調とびが発生する。この階調とびのために、読取画像において隣接画素の相互間における輝度変化が小さくても、再生画像では、隣接画素の相互間での輝度変化が大きくなり、画像の再現性が劣化してしまう。
【０００４】
本発明は、撮像素子から出力される画素信号に非線形処理を施す画像処理装置において、階調とびを低減することにより画像の再現性を向上させることを目的とする。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を構成する複数の画素に対応したアナログ信号を、第１の階調を有するデジタルのレベル値に変換するレベル値変換手段と、複数の画素のうちの注目画素のレベル値と、注目画素の周囲に位置する複数の画素から選択された補正用画素のレベル値とに基づいて、注目画素のレベル補正値を求めるレベル補正手段と、レベル補正値を第１の階調よりも高い第２の階調を有するレベル値に変換し、この第２の階調のレベル値に非線形処理を施して非線形処理値を得た後、この非線形処理値の階調を前記第１の階調に変換することにより、注目画素について被線形処理が施されたレベル値を算出する非線形処理手段とを備えることを特徴としている。
【０００６】
好ましくは、注目画素はそのレベル値とその周囲に位置する複数の画素のレベル値のそれぞれとの差が基準のレベル値以下の画素である。あるいは好ましくは、レベル補正手段は注目画素のレベル値と補正用画素のレベル値との相加平均値を注目画素のレベル補正値として算出する。
【０００７】
好ましくは、レベル補正手段は注目画素のレベル値と補正用画素のレベル値との相加平均値が注目画素のレベル値と所定のレベル差以内になるように、補正用画素を選択する。さらに好ましくは、レベル補正手段は注目画素のレベル値と注目画素の周囲に位置する複数の画素のレベル値との相加平均値を算出し、この相加平均値と注目画素のレベル値とのレベル差が所定のレベル差以下であるとき、注目画素の周囲に位置する複数の画素を補正用画素として選択し、相加平均値と注目画素のレベル値とのレベル差が所定のレベル差よりも大きいとき、そのレベル差に応じて注目画素の周囲に位置する複数の画素から補正用画素を選択する。この場合好ましくは、レベル補正手段は注目画素のレベル値と注目画素の周囲に位置する複数の画素のレベル値との相加平均値が注目画素のレベル値より小さいとき、注目画素の周囲に位置する複数の画素から最も小さいレベル値の画素を除いたものを補正用画素として選択し、注目画素のレベル値と注目画素の周囲に位置する複数の画素のレベル値との相加平均値が注目画素のレベル値より大きいとき、注目画素の周囲に位置する複数の画素から最も大きいレベル値の画素を除いたものを補正用画素として選択する。
【０００８】
本発明に係わる画像処理方法は、画像を構成する複数の画素に対応したアナログ信号を、第１の階調を有するデジタルのレベル値に変換するレベル値変換工程と、複数の画素のうちの注目画素のレベル値と、注目画素の周囲に位置する複数の画素から選択された補正用画素のレベル値とに基づいて、注目画素のレベル補正値を求めるレベル補正工程と、レベル補正値を第１の階調よりも高い第２の階調を有するレベル値に変換し、この第２の階調のレベル値に非線形処理を施して非線形処理値を得た後、この非線形処理値の階調を第１の階調に変換することにより、注目画素について非線形処理が施されたレベル値を算出する非線形処理工程とを備えることを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態の画像処理装置を適用したデジタルカメラを示す斜視図である。
【００１０】
デジタルカメラ１０の正面１０ａにはレンズ鏡筒１３が設けられ、レンズ鏡筒１３には撮影光学系２１が保持されている。デジタルカメラ１０の背面１０ｃには、図示しないファインダが設けられる。
【００１１】
デジタルカメラ１０の上面１０ｂには液晶表示装置（ＬＣＤ）１１が設けられる。またデジタルカメラ１０の上面１０ｂには、操作パネル１５と表示パネル１７とが配設され、操作パネル１５には、デジタルカメラ１０の動作を操作するための種々の操作ボタン１５ａが設けられ、表示パネル１７にはデジタルカメラ１０の動作状態等を示す文字または図形が表示可能である。さらにデジタルカメラ１０の上面１０ｂには、画像を記録するためのレリーズボタン１６が設けられる。
【００１２】
図２を参照してデジタルカメラ１０の電気的構成について説明する。ＣＰＵ４０には、操作パネル１５、表示パネル１７、レリーズボタン１６が接続されている。このデジタルカメラ１０は操作パネル１５に設けられる種々の操作ボタンおよびレリーズボタン１６を押下することにより操作され、ＣＰＵ４０により制御される。
【００１３】
撮影光学系１２の後方にはミラー２１、シャッタ２２および撮像素子（ＣＣＤ）３０が設けられており、ミラー２１の上方にはファインダ光学系２３が配設されている。ＣＣＤ３０はエリアセンサであり、その受光部に多数のフォトダイオードを有する。
【００１４】
通常、ミラー２１は実線で示す傾斜状態に配置されており、撮像光学系１２から取込まれた光をファインダ光学系２３に導く。このときシャッタ２２は閉じており、ＣＣＤ３０に向かう光路を閉塞している。これに対しレリーズボタン１６が押下され、撮影が行なわれる時、ミラー２１はミラー駆動回路２４の制御により上方に回動せしめられ、破線で示す水平状態となる。このミラー２１の回動にともない、シャッタ２２はシャッタ駆動回路２５の制御により開口せしめられ、その結果撮像光学系１２から取込まれた光はＣＣＤ３０の受光部に照射される。
【００１５】
ＣＰＵ４０にはタイミング発生回路４１が接続され、ＣＰＵ４０の制御によりタイミング発生回路４１はタイミング信号を発生する。このタイミング信号に基づいて、ＣＣＤ駆動回路３２と相関二重サンプリング回路（ＣＤＳ）４２とＡ／Ｄ変換器４３とが駆動せしめられ、ＣＣＤ駆動回路３２によりＣＣＤ３０の駆動が制御される。
【００１６】
レリーズボタン１６が押下されると、撮影が開始せしめられる。すなわちＣＣＤ駆動回路３２によりＣＣＤ３０が駆動され、ＣＣＤ３０により被写体像が画素信号として読取られ、この画素信号に基づいて被写体像がＬＣＤ１１に表示される。
【００１７】
詳述すると、被写体からの光は撮影光学系１２を通過してＣＣＤ３０の受光部に照射される。この照射光がＣＣＤ３０により検出され、そこからアナログ画素信号が１画面分出力される。このアナログ画素信号はＣＤＳ回路４２においてリセット雑音を除去され、Ａ／Ｄ変換器４３において例えば８ビットのデジタル画素信号に変換される。このデジタル画素信号は信号処理回路（ＤＳＰ）４４を介して画像メモリ４５に一旦格納される。
【００１８】
デジタル画素信号は画像メモリ４５から読み出され、ＤＳＰ４４により補間処理、色補正等の所定の処理を施され、さらにＤＳＰ４４によりガンマ補正等の非線形処理を施されて、ＬＣＤ表示回路５０の内蔵メモリ（図示せず）に一旦格納される。その内蔵メモリからデジタル画素信号はＬＣＤ表示回路５０の制御により読み出され、このデジタル画素信号に基づく画像がＬＣＤ１１に表示される。
【００１９】
ＬＣＤ１１に表示された画像が操作者により確認され、再びレリーズボタン１６が押下されると、メモリカード６０に画像が記録される。詳述すると、画像メモリ４５に格納されているデジタル画素信号が読み出され、ＤＳＰ４４において補間処理を施された後、輝度信号と色差信号に変換される。この輝度信号と色差信号とはＤＳＰ４４によりガンマ補正を施され、メモリカードコントローラ６２により圧縮され、メモリカードスロット６１を介してメモリカード６０に記録される。
【００２０】
ＤＳＰ４４により行なわれるガンマ補正処理では、前処理としてガンマ補正を施すために画素信号を補正するレベル補正処理と、ガンマ補正の分解能を向上させるための階調変換処理が行なわれ、後処理として階調を元に戻す階調還元処理が行なわれる。各処理について図３、図４を参照して説明する。
【００２１】
図３はＣＣＤ３０を用いて読取った画像を構成する画素の配列の一部を示す図であり、位置（ｍ、ｎ）の画素Ｐｃおよびその周囲の位置（ｍ＋ｉ、ｎ＋ｊ）（ｉ、ｊ＝−１、０、１；ｉ＝ｊ＝０を除く）の画素を示す。これらの各画素に対応する８ビットのデジタル画素信号のレベル値の一例を図４に示す。これらの８ビットのデジタル画素信号は画像メモリ４５に格納されている。
【００２２】
レベル補正処理について説明する。位置（ｍ、ｎ）の画素Ｐｃに注目する。この画素（注目画素）Ｐｃのレベル値は「１０」である。この注目画素Ｐｃのレベル値は、その周囲の位置（ｍ＋ｉ、ｎ＋ｊ）（ｉ、ｊ＝−１、０、１；ｉ＝ｊ＝０を除く）にある８つの画素の各レベル値と、基準のレベル差（例えば「５」）以内である。このような場合、注目画素Ｐｃは画像の輝度変化の少ないなだらかな部位に位置しており、後述するガンマ補正後に、注目画素Ｐｃとその周囲の画素の相互間における輝度変化が大きくならないように、つまり階調とびが生じないように、注目画素Ｐｃのレベル値を補正する必要がある。したがって注目画素Ｐｃのレベル補正値が求められる。
【００２３】
注目画素Ｐｃのレベル補正値を求めるために、注目画素Ｐｃのレベル値すなわち「１０」とその周囲に位置する８つの画素の各レベル値との相加平均値が算出される。相加平均値をＬAVとし、各画素のレベル値をＬ(m-1,n-1) 、Ｌ(m,n-1) 、Ｌ(m+1,n-1) 、Ｌ(m-1,n) 、Ｌ(m,n) 、Ｌ(m+1,n) 、Ｌ(m-1,n+1) 、Ｌ(m,n+1) 、Ｌ(m+1,n+1) とし、注目画素とその周囲に位置する画素の数をＤ２とすると、相加平均値ＬAVは（１）式により算出される。
図４に示す例の場合、注目画素Ｐｃのレベル値とその周囲に位置する画素のレベル値との相加平均値ＬAVは「８．７７８」である。注目画素Ｐｃのレベル値すなわち「１０」と相加平均値ＬAVすなわち「８．７７８」とのレベル差は、例えば８ビットの「１」階調差に対応する所定のレベル差より大きく、相加平均値ＬAVは注目画素Ｐｃのレベル値よりも小さい。この場合、周囲に位置する８つの画素から、最も小さいレベル値の画素Ｐｓを除いたものが補正用画素として選択される。この選択された補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が算出される。すなわちこの相加平均値ＬAVは（１）式においてＬ(m-1,n-1) を除き、相加平均値を算出するための総画素数Ｄ２を「８」としたときの値であり、「９．１２５」である。補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値ＬAVすなわち「９．１２５」は注目画素Ｐｃのレベル値と所定のレベル差（「１」）以内である。このときの相加平均値ＬAVすなわち「９．１２５」が注目画素Ｐｃのレベル補正値になる。
【００２５】
なお相加平均値ＬAVは８ビットの精度で算出すると、小数点以下が切り捨てられてしまうため、レベル補正値算出時のみ、８ビットよりも高精度に、例えば１０、１２、１６ビットの精度で算出される。
【００２６】
各画素のレベル値が上述のような図４に示す例とは異なり、周囲に位置する８つの画素のレベル値と注目画素Ｐｃとの相加平均値ＬAVが注目画素Ｐｃのレベル値よりも大きく、この相加平均値ＬAVと注目画素Ｐｃのレベル値とのレベル差が所定のレベル差より大きい場合のレベル補正値の算出について説明する。この場合、注目画素Ｐｃの周囲に位置する８つの画素から、最も大きいレベル値の画素を除いたものが補正用画素として選択される。そして選択された補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が注目画素Ｐｃのレベル補正値として算出される。
【００２７】
上述のように注目画素Ｐｃの周囲に位置する８つの画素から１つの画素を除いた残りの画素を、補正用画素として選択しても、その選択された画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が注目画素Ｐｃのレベル値と所定のレベル差以内にはならない場合がある。このような場合は、現在選択されている画素から、上述のようにレベル差に応じて１つの画素が除かれ、その残りの画素が補正用画素として選択され、この補正用画素のレベル値と注目画素Ｐｃとの相加平均値が再び算出される。この相加平均値が注目画素Ｐｃのレベル値と所定のレベル差以内になるまで、選択されている画素から１つずつ画素が除かれて、その残りの画素が補正用画素として選択される。そして最終的に選択されている補正用画素のレベル値と注目画素Ｐｃのレベル値との相加平均値が注目画素Ｐｃのレベル補正値として算出される。また補正用画素の選択をすることなく、注目画素Ｐｃのレベル値とその周囲に位置する８つの画素の各レベル値との相加平均値が所定のレベル差以内である場合、この相加平均値が注目画素Ｐｃのレベル補正値となる。
【００２８】
なお注目画素Ｐｃのレベル値は８ビット階調における「±１」のレベル値の誤差を有しており、注目画素Ｐｃのレベル値が「１０」であるとき、この注目画素Ｐｃの真のレベル値は「１０−１」から「１０＋１」の範囲に存在する。このためレベル補正値の算出では、注目画素Ｐｃのレベル値と補正用画素の各レベル値との相加平均値が注目画素Ｐｃのレベル値と８ビットにおける１階調差に対応する所定のレベル差以内になるように、補正用画素が選択される。また真のレベル値は注目画素のレベル値とその周囲に位置する画素のレベル値とから予測されるため、選択された補正用画素の各レベル値と注目画素Ｐｃのレベル値との相加平均値が、注目画素Ｐｃのレベル補正値として算出される。
【００２９】
階調変換処理について説明する。この階調変換処理は算出された注目画素Ｐｃのレベル補正値に施され、ガンマ補正における分解能を向上させるためのものである。この階調変換処理では、注目画素Ｐｃのレベル補正値は８ビットよりも高い１０ビットの階調に変換される。この階調変換処理は、いわゆる内挿補間処理であり、図４に示す例の場合、「９．１２５」であるレベル補正値は「４」を乗じられ、小数点以下を切り捨てられて、１０ビット変換値「３６」が求められる。すなわち８ビットのデータである注目画素Ｐｃのレベル補正値は階調変換処理によって１０ビットのデータに変換される。
【００３０】
階調変換処理により求められたビット変換値「３６」には、ガンマ補正が施される。詳述すると、この１０ビット変換値「３６」は図２に示すＤＳＰ４４に読込まれ、そこに設けられるルックアップテーブル（図示せず）上で１０ビット変換値に対応するガンマ補正値が参照される。ガンマ補正（例えばγ＝２．２）の場合、１０ビット変換値が「３６」であるとき、ガンマ補正値は「２２０」である。このようにレベル補正値の１０ビット変換値がガンマ補正値に変換されると、その後、階調還元処理（下位２ビットを切り捨て、値を丸め込む処理）によりガンマ補正値は８ビットに変換され、この場合「５５」になる。
【００３１】
以上のように、注目画素Ｐｃのレベル値と、その周囲に位置する８つの画素の各レベル値との差がそれぞれ所定のレベル差以内であるとき、注目画素Ｐｃは画像の隣接画素相互間における輝度変化の小さいなだらかな部位に位置している。このような場合、注目画素Ｐｃのレベル補正値が算出される。このレベル補正値は階調変換処理により１０ビットに変換され、その結果得られる１０ビット変換値からガンマ補正値が参照されて、階調還元処理により８ビットに変換される。これに対し、注目画素Ｐｃのレベル値と、その周囲に位置する８つの画素の各レベル値との差がそれぞれ所定のレベル差以上であるとき、注目画素Ｐｃは画像の輝度変化の割合が大きな部位に位置している。このような場合、注目画素Ｐｃとその周囲の画素との相互間において、階調とびが発生しても、画像の再現性には影響を及ぼさないため、レベル補正値は算出されない。したがって注目画素Ｐｃのレベル値はそのまま階調変換処理により１０ビットに変換され、その結果得られる１０ビット変換値からガンマ補正値が参照されて、８ビットに変換される。
【００３２】
これまでに述べたように、本実施形態では、ガンマ補正を施すべき画素すなわち注目画素のレベル値は、その周囲に位置する画素のレベル値とのレベル差に応じて補正され、レベル補正値が算出される。そして算出されたレベル補正値または注目画素のレベル値に、階調変換処理、ガンマ補正および階調還元処理が施される。
【００３３】
図５、図６を参照してガンマ補正を行なうガンマ補正ルーチンについて説明する。このガンマ補正ルーチンは図２に示すＤＳＰ４４においてＣＰＵ４０の指令に基づいて行なわれ、１つの画素の８ビットのガンマ補正値が得られると、終了する。
【００３４】
ステップ１１０からステップ１８０において、位置（ｍ、ｎ）の注目画素が画像の輝度変化のなだらかな部位にあるか否かが判定される。詳述すると、ステップ１１０において、位置（ｍ、ｎ）の注目画素のレベル値Ｌ(m,n) が読込まれ、ステップ１２０およびステップ１３０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) を読込むためのパラメータｉ、ｊが初期値「−１」に設定され、注目画素の周囲に位置する８つの画素が図３に示す位置（ｍ＋ｉ、ｎ＋ｊ）（ｉ、ｊ＝−１、０、１；ｉ＝ｊ＝０を除く）の画素であるので、パラメータｉ、ｊは「−１」、「０」、「１」の値を取り得る。ステップ１４０において、周囲の位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) が取得され、ステップ１５０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) と注目画素のレベル値Ｌ(m,n) との差が基準のレベル値Ｌth（例えば「５」）より大きいか否かが判定される。
【００３５】
ステップ１５０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) と注目画素のレベル値Ｌ(m,n) との差が基準のレベル値Ｌthより大きいと判定されたとき、すなわち注目画素が画像の輝度変化のなだらかな部位に位置しないとき、ステップ１８０において注目画素のレベル値Ｌ(m,n) が１０ビット変換され、この１０ビット変換値が上述のようにガンマ補正値に変換され、このガンマ補正値が８ビットに変換されて、このガンマ補正ルーチンは終了する。
【００３６】
これに対し、ステップ１５０において、位置（ｍ＋ｉ、ｎ＋ｊ）の画素のレベル値Ｌ(m+i,n+j) と注目画素のレベル値Ｌ(m,n) との差が基準のレベル値Ｌth以下であると判定されたとき、ステップ１６０において、パラメータｉが終値「１」であるか否かが判定される。
【００３７】
ステップ１６０において、パラメータｉが終値「１」ではないとき、ステップ１６３において、パラメータｉが「１」だけ加算される。ステップ１６６において、パラメータｉとパラメータｊとがともに「０」であるか否かが判定される。パラメータｉとパラメータｊの何れか一方が「０」ではないとき、すなわち位置（ｍ＋ｉ、ｎ＋ｊ）の画素が注目画素ではないとき、ステップ１４０の処理が再び実行される。一方ステップ１６６において、パラメータｉとパラメータｊとがともに「０」であると判定されたとき、すなわち位置（ｍ＋ｉ、ｎ＋ｊ）の画素が注目画素であるとき、ステップ１６９において、パラメータｉが「１」だけ加算され、ステップ１４０の処理が再び実行される。
【００３８】
これに対しステップ１６０において、パラメータｉが終値「１」であると判定されたとき、ステップ１７０において、パラメータｊが終値「１」であるか否かが判定される。パラメータｊが終値「１」ではないと判定されたとき、ステップ１７３において、パラメータｊが「１」だけ加算され、ステップ１３０の処理が再び実行される。一方ステップ１７０において、パラメータｊが終値「１」であると判定されたとき、すなわち注目画素が画像の輝度変化のなだらかな部位にあるとき、ステップ１９０の処理が実行される。
【００３９】
以上のようにステップ１１０からステップ１８０において、注目画素の周囲に位置する複数の画素のレベル値のうち、１つでも注目画素のレベル値との差が基準のレベル値Ｌthよりも大きいときは、注目画素は画像の輝度変化のなだらかな部位に位置していないと判定して、その注目画素のレベル値は補正せず、そのままガンマ補正が施される。一方注目画素の周囲に位置する複数の画素のレベル値の全てについてその周囲の各画素のレベル値と注目画素のレベル値との差が基準のレベル値Ｌth以下であるとき、レベル値を補正するためにステップ１９０の処理が実行される。このステップ１９０の処理から演算処理は、小数点以下を有効にするために８ビットよりも高精度な例えば１０、１２、１６ビットの精度で行なわれる。
【００４０】
ステップ１９０において、注目画素およびその周囲に位置する画素のレベル値Ｌ(m+i,n+j) （ｉ＝ｊ＝−１、０、１）の相加平均値ＬAV(m,n) が上述の（１）式により算出される。ステップ２００において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) と８ビットにおける「１」階調差に対応する所定のレベル差以内であるか否かが判定される。例えば１６ビット精度で演算処理が行なわれるとき、相加平均値ＬAV(m,n) と注目画素のレベル値Ｌ(m,n) との差が「２５６」以内であるか否かが判定される。
【００４１】
ステップ２００において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) と所定のレベル差以内であると判定されたとき、すなわちレベル補正値を算出するための補正用画素が選択されたとき、ステップ２６０の処理が実行される。これに対しステップ２００において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) と所定のレベル差以内ではないと判定されたとき、ステップ２１０において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) よりも大きいか否かが判定される。相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) よりも大きいと判定されたとき、ステップ２２０において、注目画素の周囲に位置する画素から最も大きいレベル値の画素を除いた残りの画素が選択され、ステップ２４０の処理が実行される。一方ステップ２１０において、相加平均値ＬAV(m,n) が注目画素のレベル値Ｌ(m,n) 以下であると判定されたとき、ステップ２３０において、注目画素の周囲に位置する画素から最も小さいレベル値の画素を除いた残りの画素が選択され、ステップ２４０の処理が実行される。
【００４２】
ステップ２４０において、現在選択されている画素数がレベル補正を有効に行なえる最小画素数よりも小さいか否かが判定される。この最小画素数は例えば初期画素数（すなわち「８」）の１／２倍であり、現在選択されている画素数が最小画素数よりも小さいと判定されたとき、ステップ２６０の処理が実行される。これに対しステップ２４０において、現在選択されている画素数が最小画素数以上であると判定されたとき、ステップ２５０において、注目画素のレベル値と現在選択されている画素のレベル値との相加平均値ＬAV(m,n) が算出され、ステップ２００の処理が再び実行される。
【００４３】
以上のようにステップ１１０からステップ２５０ではレベル補正処理が行なわれ、ステップ１９０からステップ２５０において、レベル補正値を算出するための補正用画素が注目画素の周囲に位置する画素から選択され、注目画素のレベル値と補正用画素のレベル値との相加平均値が注目画素のレベル補正値として算出される。なおステップ１９０からステップ２５０において行なわれるレベル補正値の演算は８ビットよりも高階調で行なわれるが、この演算は各画素毎に行なわれるため、１画素分のレベル値を高階調で演算すればよく、全画素のレベル値を全て高階調に変換して画像メモリ４５等に格納する必要はない。
【００４４】
ステップ２６０において、算出された注目画素および補正用画素のレベル値の相加平均値ＬAV(m,n) すなわちレベル補正値ＬAV(m,n) が８ビットの値に変換され、さらに階調変換処理により８ビットから１０ビットに変換される。その後１０ビット変換値がガンマ補正（γ＝２．２）によりガンマ補正値Ｌ' (m,n) に変換される。
【００４５】
ステップ２７０において、注目画素のガンマ補正値Ｌ' (m,n) が階調還元処理により１０ビットから８ビットに変換され、このガンマ補正ルーチンは終了する。
【００４６】
なおガンマ補正ルーチンは１つの画素のガンマ補正値Ｌ' (m,n) が算出されると終了するが、繰り返し行なうことにより画像を構成する全ての画素に対して行なわれる。
【００４７】
以上のガンマ補正ルーチンを行なうことにより画像の輝度変化の割合が小さいなだらかな部位においては、注目画素のレベル補正値が算出され、そのレベル補正値に、階調変換処理、ガンマ補正処理および階調還元処理が施される。
【００４８】
以上の本実施形態によれば、ＣＣＤから画像を構成する複数の画素に対応したアナログ画素信号が出力され、このアナログ画素信号が８ビットのデジタル画素信号に変換されて、８ビットの画素信号の各レベル値に対応する画素が画像の隣接画素相互間における輝度変化の小さいなだらかな部位に位置するとき、その画素のレベル値が、その周囲の画素との相互間における輝度変化が大きくならないように、すなわち階調とびが生じないように、補正される。この補正により算出されるレベル補正値に、階調変換処理、ガンマ補正および階調還元処理が施される。
【００４９】
注目画素Ｐｃの周囲に位置する画素が図４に示すレベル値を有する場合、周囲の画素から注目画素Ｐｃへのレベル変化を考慮すると、すなわち注目画素Ｐｃおよびその周囲の画素のレベル値の相加平均値を算出すると、注目画素Ｐｃの真のレベル値は「１０」よりも小さいと予測される。したがって注目画素Ｐｃのレベル値は「１０」よりも小さくなるように補正されるべきである。本実施形態のガンマ補正（例えばγ＝２．２）では、上述のように注目画素Ｐｃのガンマ補正値は「５５」である。一方従来のように８ビットの画素信号にそのままガンマ補正（例えばγ＝２．２）が施される場合、注目画素Ｐｃのガンマ補正値は「５８」となる。したがって本実施形態のガンマ補正では、ガンマ補正値は従来のガンマ補正値よりも小さくなり、隣接画素の相互間におけるガンマ補正後のレベル値の変化が小さくなる。すなわち階調とびが低減される。これにより画像の輝度がなだらかに変化し、隣接画素相互間における輝度変化が小さい部位において、ガンマ補正等の非線形処理によりその輝度変化が大きくなることはなく、画像の再現性が向上する。
【００５０】
また、本実施形態では、画素信号のレベル値は相対的に低い階調で画像メモリに格納され、レベル補正またはガンマ補正の演算処理時のみ、高精度に演算を行なうために高階調の値に変換される。このため全ての画素信号のレベル値を高階調の値に変換する必要がなく、画像メモリを増設する必要がない。したがって装置の大型化が抑えられる。
【００５１】
【発明の効果】
以上のように本発明によれば、撮像素子から出力される画素信号に非線形処理を施す画像処理装置において、階調とびを防止することにより画像の再現性が向上せしめられる。
【図面の簡単な説明】
【図１】本発明の本実施形態の画像処理装置を適用したデジタルカメラを示す斜視図である。
【図２】本実施形態の画像処理装置を適用したデジタルカメラを示すブロック図である。
【図３】撮像素子を用いて読取った画像を構成する画素の配列の一部を示す図である。
【図４】各画素のレベル値の一例を示す図である。
【図５】ガンマ補正を行なうガンマ補正ルーチンを示すフローチャートの前半部である。
【図６】ガンマ補正を行なうガンマ補正ルーチンを示すフローチャートの後半部である。
【符号の説明】
Ｐｃ 注目画素
Claims (6)
- 画像を構成する複数の画素に対応したアナログ信号を、第１の階調を有するデジタルのレベル値に変換するレベル値変換手段と、
前記複数の画素のうちの注目画素のレベル値と、前記注目画素の周囲に位置する複数の画素から選択された補正用画素のレベル値とに基づいて、前記注目画素のレベル補正値を求めるレベル補正手段と、
前記レベル補正値を前記第１の階調よりも高い第２の階調を有するレベル値に変換し、この第２の階調のレベル値に非線形処理を施して非線形処理値を得た後、この非線形処理値の階調を前記第１の階調に変換することにより、前記注目画素について前記非線形処理が施されたレベル値を算出する非線形処理手段とを備え、
前記レベル補正手段は、前記注目画素のレベル値と前記補正用画素のレベル値との相加平均値が前記注目画素のレベル値と所定のレベル差以内になるように、前記補正用画素を選択することを特徴とする画像処理装置。 - 前記注目画素がそのレベル値とその周囲に位置する複数の画素のレベル値のそれぞれとの差が基準のレベル値以下の画素であることを特徴とする請求項１に記載の画像処理装置。
- 前記レベル補正手段が、前記注目画素のレベル値と前記補正用画素のレベル値との相加平均値を前記注目画素のレベル補正値として算出することを特徴とする請求項１に記載の画像処理装置。
- 前記レベル補正手段が、前記注目画素のレベル値と前記注目画素の周囲に位置する複数の画素のレベル値との相加平均値を算出し、この相加平均値と前記注目画素のレベル値とのレベル差が所定のレベル差以下であるとき、前記注目画素の周囲に位置する複数の画素を前記補正用画素として選択し、前記相加平均値と前記注目画素のレベル値とのレベル差が所定のレベル差より大きいとき、そのレベル差に応じて前記注目画素の周囲に位置する複数の画素から前記補正用画素を選択することを特徴とする請求項１に記載の画像処理装置。
- 前記レベル補正手段が、前記注目画素のレベル値と前記注目画素の周囲に位置する複数の画素のレベル値との相加平均値が前記注目画素のレベル値より小さいとき、前記注目画素の周囲に位置する複数の画素から最も小さいレベル値の画素を除いたものを前記補正用画素として選択し、前記注目画素のレベル値と前記注目画素の周囲に位置する複数の画素のレベル値との相加平均値が前記注目画素のレベル値より大きいとき、前記注目画素の周囲に位置する複数の画素から最も大きいレベル値の画素を除いたものを前記補正用画素として選択することを特徴とする請求項４に記載の画像処理装置。
- 画像を構成する複数の画素に対応したアナログ信号を、第１の階調を有するデジタルのレベル値に変換するレベル値変換工程と、
前記複数の画素のうちの注目画素のレベル値と、前記注目画素の周囲に位置する複数の画素から選択された補正用画素のレベル値とに基づいて、前記注目画素のレベル補正値を求めるレベル補正工程と、
前記レベル補正値を前記第１の階調よりも高い第２の階調を有するレベル値に変換し、この第２の階調のレベル値に非線形処理を施して非線形処理値を得た後、この非線形処理値の階調を前記第１の階調に変換することにより、前記注目画素について前記非線形処理が施されたレベル値を算出する非線形処理工程とを備え、
前記レベル補正工程では、前記注目画素のレベル値と前記補正用画素のレベル値との相加平均値が前記注目画素のレベル値と所定のレベル差以内になるように、前記補正用画素が選択されることを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36064898A JP4131017B2 (ja) | 1998-12-18 | 1998-12-18 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36064898A JP4131017B2 (ja) | 1998-12-18 | 1998-12-18 | 画像処理装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000184235A JP2000184235A (ja) | 2000-06-30 |
| JP4131017B2 true JP4131017B2 (ja) | 2008-08-13 |
Family
ID=18470322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36064898A Expired - Fee Related JP4131017B2 (ja) | 1998-12-18 | 1998-12-18 | 画像処理装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4131017B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4983380B2 (ja) * | 2007-05-08 | 2012-07-25 | パナソニック株式会社 | 階調補正装置 |
-
1998
- 1998-12-18 JP JP36064898A patent/JP4131017B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000184235A (ja) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA1229911A (en) | Apparatus and method for producing a still image video signal using solid-state imaging device | |
| JPH10126796A (ja) | デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ | |
| US6992712B2 (en) | Imaging apparatus | |
| JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
| JP3997786B2 (ja) | 撮像装置、表示装置、画像記録装置および画質補正方法 | |
| JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| JP4581633B2 (ja) | 色信号補正方法、装置及びプログラム | |
| JP4131017B2 (ja) | 画像処理装置およびその方法 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP2002223386A (ja) | 撮影装置 | |
| JP2006180270A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 | |
| JP2003322902A (ja) | 撮像装置、及び輝度分布図表示方法 | |
| JP4032200B2 (ja) | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3822486B2 (ja) | 電子カメラおよび信号処理方法 | |
| JP2006094419A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP5228929B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| KR100727837B1 (ko) | 카메라의 영상신호 처리장치 | |
| JP4973428B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| JP4687454B2 (ja) | 画像処理装置および撮像装置 | |
| JP4787403B2 (ja) | 自動露出装置及び方法 | |
| JP3540567B2 (ja) | 電子的撮像装置 | |
| JP5267290B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4735820B2 (ja) | 撮像装置の信号処理方法及び撮像装置 | |
| JP3689246B2 (ja) | 補間信号生成装置 | |
| JP4027545B2 (ja) | デジタルカメラおよびその文字撮影方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080512 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |