JP5076802B2

JP5076802B2 - 撮像装置

Info

Publication number: JP5076802B2
Application number: JP2007270823A
Authority: JP
Inventors: 健司鈴木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-10-18
Filing date: 2007-10-18
Publication date: 2012-11-21
Anticipated expiration: 2027-10-18
Also published as: JP2009100324A

Description

本発明は、撮像信号から生成される画像データに基づいてスルー画像の表示を行なう撮像装置に関するものである。

近年デジタル一眼レフカメラにおいては、３５ｍｍフルサイズの撮像素子など大型の（撮像面積の大きい）撮像素子が搭載されるようになっている。撮像素子の製造工程には、フォトリソグラフィ工程が含まれるが、フォトリソグラフィ工程で用いられる露光装置（ステッパーなど）においては、一度に露光可能な露光領域が限られていることから、大型の撮像素子を製造する場合には、必要に応じて露光される基板の露光領域をずらしながら複数回に分けて分割露光（半導体層、カラーフィルタ層、マイクロレンズ層の中の少なくとも1つの層を製造する際の分割露光）が行なわれる（特許文献1参照）。したがって、そのように製造された大型の撮像素子から出力される撮像信号に基づく画像データには、製造時の分割露光工程に起因する境界領域に基づく信号段差（信号むら）が生じる場合がある。また、画像周縁領域においては、製造工程に起因して信号むらが生じる場合がある。更に、撮像素子によっては、画素欠陥を有する場合があり、この画素欠陥領域においても信号むらが生じる場合がある。
特開２００６−７３６２４号公報

ところで、静止画の撮影を行なう場合において、撮像素子の境界領域によって画像データに生じた信号段差等は、画像上で目立たなくなるように信号処理部により補正を実施しているが、スルー画像の表示を行なう場合においても上述の補正を常時行おうとすると、信号処理部の負荷が増大し発熱などの問題が生じることが考えられる。

本発明の目的は、スルー画像の表示を行なう場合において、撮像素子の境界領域等において画像データに生じた信号むらの補正を実施するか否かを所定の条件に基づいて制御する撮像装置を提供することである。

以下に本発明の構成を一実施形態の符号を付して説明するが、本発明は本実施形態の構成に限定されるものではない。

本発明の撮像装置は、被写体光を撮像して撮像信号を出力する撮像素子（１０）と、前記撮像信号から生成される画像データに基づいてスルー画像の表示を行なう表示部（１７）と、前記表示部におけるスルー画像の拡大表示領域を指定する指定部（１９）と、前記指定部により指定された前記拡大表示領域が予め定められた所定領域であるか否かの判別を行なう判別部（１１）と、前記判別部により前記所定領域と判別され、且つ拡大表示の実行が指示された場合に、前記画像データに生じる信号むらの補正処理を行う補正部（１５）とを備えることを特徴とする。

本発明の撮像装置によれば、スルー画像の表示を行なう場合において、撮像素子の境界領域等によって画像データに生じた信号段差等の信号むらの補正を実施するか否かを、スルー画像の拡大表示領域、スルー画像の拡大倍率に応じて制御するため、必要な場合にのみ画像データに生じた信号むらの補正を実施することができ、信号むらの補正に基づく信号処理部等の負荷の増大を防止することができ、スルー画像を良好な画質で長時間表示することができる。

以下、図面を参照して本発明の実施形態に係る撮像装置について説明する。図１は、実施形態に係るデジタルカメラ２のブロック構成図である。図１に示すように、デジタルカメラ（撮像装置）２には、ＣＣＤまたはＣＭＯＳ等により構成される撮像素子１０が設けられており、撮像素子１０はＣＰＵ１1によって制御される撮像素子駆動回路１２により駆動され、撮影レンズ（図示せず）を介した被写体光を撮像した撮像信号（蓄積電荷としてのアナログ信号）を出力する。なお、撮像素子１０は、３５ｍｍフルサイズ（２４ｍｍ×３６ｍｍ）の撮像素子であり、製造時の分割露光工程に起因して生じた境界領域を有する（図２参照）。

撮像素子１０から出力された撮像信号は、アナログ信号処理回路１３を介してＡ／Ｄ変換回路１４に入力されて、Ａ／Ｄ変換回路１４においてデジタル信号に変換され、前信号処理部１５に入力される。前信号処理部１５は、Ａ／Ｄ変換回路１４から出力される撮像信号に基づく画像データに、ホワイトバランス調整、輪郭補償、ガンマ補正等の画像処理等を行うと共に、画像データに基づき後述のＬＣＤ表示部１７においてスルー画像の表示を行なう場合に、撮像素子１０の製造時の分割露光工程に起因して生じた境界領域等によって画像データに生じた信号段差（信号むら）の補正を実施する。即ち、撮像素子１０の製造時に撮像素子面内での領域が分割され、その領域毎に異なる工程で露光が行なわれていることから、その領域毎に撮像信号の出力強度に差が生じる場合があるため、この出力強度の差に基づく信号段差（信号むら）の補正を実施する。また、図２に示す撮像素子１０の周縁領域（画像周縁領域）、画像欠陥領域においても信号むらを生じることから、これらの領域における信号むらの補正を実施する。前信号処理部１５において信号処理が施された画像データは、ＣＰＵ１１を介して、信号処理部１６に入力されて、スルー画像表示の際の間引き補正等が施されてＬＣＤ表示部１７において、スルー画像の表示が行なわれる。

また、ＣＰＵ１１には、撮像素子１０又はその近傍の温度を検出する温度センサ１８、電源ボタン、選択ボタン、レリーズボタン等が設けられている操作部１９及び信号むらの補正を行う領域（信号むら補正領域）である製造時の分割露光工程に起因して生じた境界領域、画像周縁領域及び画素欠陥領域の位置、各補正領域毎の信号むらの補正量等が記憶されている記憶部２０が接続されている。なお、撮像素子１０のどの部分に境界領域が存在し信号段差（信号むら）が発生するか、撮像素子１０の周縁部のどの領域（画像周縁領域）に信号むらが発生するかは、予め設計値上で分かっており、また、出荷前に試し撮像を行なうことにより、撮像素子１０の境界領域のそれぞれの位置、撮像素子の周縁部のそれぞれの位置における信号むらの発生量を知ることができるため、出荷前に撮像素子１０の境界領域、画像周縁領域の位置を記憶部２０に信号むら補正領域として記憶させると共に、各信号むら補正領域毎の信号むらの補正量を記憶させておく。更に、試し撮像により、撮像素子１０の画素欠陥領域の位置及び、この画素欠陥領域における信号むらの発生量を知ることができるため、記憶部２０に撮像素子１０の画素欠陥領域の位置及び、この画素欠陥領域における信号むらの補正量を記憶させておく。

次に、図３のフローチャートを参照して、実施形態に係るデジタルカメラ２の動作について説明する。まず、操作部１９に設けられている電源ボタン（図示せず）が操作されてデジタルカメラ２の電源がＯＮにされ、更に操作部１９に設けられている選択ボタン（図示せず）によりスルー画像の表示モードが選択されるとＬＣＤ表示部１７においてスルー画像の表示が開始される（ステップＳ１０）。ここで、まずデジタルカメラ２の電源がＯＮにされ、スルー画像の表示モードが選択された時点においては、スルー画像表示の拡大倍率が１倍に設定されているため、撮像素子１０から出力された撮像信号に基づく画像データを所定の割合で間引いた画像データ（例えば間引き率が２／３の画像データ）を用いてＬＣＤ表示部１７においてスルー画像の表示を行なう。

図４は、撮像素子１０の各画素毎にベイヤ配列によりカラーフィルタ（Ｒ（赤），Ｇ（緑），Ｂ（青））を配置した状態を示すものであり、撮像素子１０から出力された撮像信号に基づく画像データの間引き率が２／３の場合にスルー画像の表示に用いられる画像データに対応する画素に丸が付されている。なお、間引き率は、撮像素子１０の全体の画素数に対して間引く画素数で示され、間引き率が２／３の場合には、全体の画素から２／３の画素が行方向及び列方向に等間隔で間引かれ全体の画素数に対して１／３の画素がスルー画像の表示に用いられる。

ここでスルー画像の拡大倍率が１倍に設定されている場合には、例えば、予め間引き率が２／３に設定されているため、信号処理部１６において、画像データから図４に示すＨ２，Ｈ３，Ｈ５，Ｈ６，Ｈ８，Ｈ９，Ｈ１１，Ｈ１２，Ｈ１４，Ｈ１５行目の画素に対応する画像データが間引かれ、さらにＶ２，Ｖ３，Ｖ５，Ｖ６，Ｖ８，Ｖ９，Ｖ１１，Ｖ１２，Ｖ１４，Ｖ１５列目の画素に対応する画像データが間引かれ、間引き率が２／３の画像データが生成される。なお、この場合には、画像データに撮像素子１０の境界領域に隣接するＶ８，Ｖ９列目の画素に対応する画像データが含まれていないため後述のステッチング補正（信号むら補正）は行なわれない。このように、画像データの間引きを行う際には、境界領域に隣接する画素（画素列）を間引くことによって、ステッチング補正（信号むら補正）を省くことが可能となる。なお、撮像素子１０のどの部分に境界領域が存在するか（どの画素が境界部に隣接するか）は、記憶部２０に予め記憶されているため、記憶部２０に記憶されている境界部隣接画素の位置に関する情報を使って、画像データを間引く際の画素を決定する。また、画像データを間引く際に記憶部２０に記憶されている画素欠陥領域の位置を参照して、この画素欠陥領域の画素を間引くことによって、画素欠陥領域に発生する信号むらの補正も省くことができる。

ＬＣＤ表示部１７においてスルー画像の表示中に、操作部１９に設けられている選択ボタン（図示せず）によりスルー画像の拡大表示領域が指定され（ステップＳ１１）、さらに拡大倍率が指定され（ステップＳ１２）、スルー画像の拡大表示の実行が指示されると（ステップＳ１３）、指定された拡大表示領域が、記憶部２０に記憶されている所定の領域（信号むら補正領域）か否かの判別を行なう（ステップＳ１４）。即ち、指定された拡大表示領域が、記憶部２０に記憶されている、撮像素子１０の境界領域、画像周縁領域及び画素欠陥領域の何れかを含む所定領域か否かの判別を行なう。ここで図５に示すように、例えば、拡大表示領域として領域Ａが指定された場合には、この領域Ａが記憶部２０に記憶されている所定領域を含むため、ステップＳ１５に進む。そしてステップＳ１５では、この指定された所定領域において、信号むらの補正をするか否かの判別のための基準として、記憶部２０に記憶されている信号むらの補正量を参照する。

なお、拡大表示領域として図５に示す領域Ｂが指定された場合には、この領域Ｂは記憶部２０に記憶されている所定領域を含まないため、ステップＳ１４からステップＳ１８に進み、このステップＳ１８において、ＬＣＤ表示部１７においてステップＳ１２で指定された拡大倍率によりスルー画像の拡大表示を行う。

一方、ステップＳ１６では、ステップＳ１２で指定した拡大倍率とステップＳ１５において参照した信号むらの補正量に基づいて、信号むらの補正を実施するか否かを判別する。即ち、例えば、信号むらの補正量が小さい場合であって拡大倍率が小さい場合には、信号むらがスルー画像の画質に与える影響が小さいため信号むらの補正を行わずに、ステップＳ１８に進む。一方、信号むらの補正量が小さい場合であって拡大倍率が大きい場合には、信号むらがスルー画像の画質に与える影響が大きいため、ステップＳ１７に進んで信号むらの補正を行う。

ステップＳ１６において信号むらの補正を実施すると判別された場合には、信号むらがスルー画像の画質に影響を与えないように信号むらの補正を行う（ステップＳ１７）。この場合には、領域Ａが撮像素子１０の製造時の分割露光工程に起因して生じた境界領域を含むため、この境界領域において生じる信号むらの補正（ステッチング補正）を行う。

ステッチング補正を行う場合には、図６に示すように、まず撮像素子１０の境界領域に沿って所定間隔でサンプリング点を設定し、サンプリング点毎に縦横それぞれｒ（ｒは所定の自然数）画素の局所領域１４０を設定する。この局所領域１４０を撮像素子１０の境界領域で左側領域１４１と右側領域１４２に分割し、左側領域１４１において、Ｒ，Ｇｒ，Ｇｂ，Ｂの出力成分のそれぞれの左側平均値を求めると共に、右側領域１４２において、Ｒ，Ｇｒ，Ｇｂ，Ｂの出力成分のそれぞれの右側平均値を求める。なお、ここでＧｒ画素は、Ｒ画素行（Ｒ画素が存在する行）に存在するＧ画素の出力成分であり、Ｇｂ画素は、Ｂ画素行（Ｂ画素が存在する行）に存在するＧ画素の出力成分である。

次に、サンプリング点ごとに信号段差の左右比率を計算し、ステッチ補正係数とする。即ち、Ｒ，Ｇｒ，Ｇｂ，Ｂ成分の各ステッチ補正係数は以下のように算出される。

Ｒ成分のステッチ補正係数＝（Ｒ成分の左側平均値）／（Ｒ成分の右側平均値）
Ｇｒ成分のステッチ補正係数＝（Ｇｒ成分の左側平均値）／（Ｇｒ成分の右側平均値）
Ｇｂ成分のステッチ補正係数＝（Ｇｂ成分の左側平均値）／（Ｇｂ成分の右側平均値）
Ｂ成分のステッチ補正係数＝（Ｂ成分の左側平均値）／（Ｂ成分の右側平均値）
なお、ここでは境界領域の右側を補正することを想定しているため、左側平均値を分子、右側平均値を分母としてステッチ補正係数を求めている。

サンプリング点ごとに算出したステッチ補正係数を、境界領域と直交する方向の所定の幅で１に収束させるためのスロープ変化をサンプリング点ごとに生成し、このスロープ変化を境界領域の延びる方向に補完することによりスロープ補正データを生成し、このスロープ補正データを境界領域の右側の所定の幅に存在する画素のＲ，Ｇｒ，Ｇｂ，Ｂの出力成分にそれぞれ乗算することにより画動データの信号段差の補正を行う。以上のようにして、ステッチング補正（信号段差の補正）処理が行われる。

なお、ステップＳ１７において信号むらの補正を行う場合に、拡大表示領域として指定された領域Ａが撮像素子１０の製造時の分割露光工程に起因して信号むらが発生する画像周縁領域を含む場合には、この画像周縁領域において、撮像素子１０の縁に向かってスロープ状に変化する信号むらを補正するためのスロープ補正データを画像周縁領域に隣接する画像データから生成し、このスロープ補正データを用いて画像周縁領域の信号むらの補正を行う。更に、ステップＳ１７において信号むらの補正を行う場合に、拡大表示領域として指定された領域Ａが撮像素子１０の画素欠陥領域を含む場合には、この画像欠陥領域における信号むらを補正するための補正データを画素欠陥領域に隣接する画像データから生成し、この補正データを用いて画素欠陥領域の信号むらの補正を行う。

上述した画動データの信号段差の補正を行った後、ＬＣＤ表示部１７に送られてスルー画像の拡大表示が行なわれる（ステップＳ１８）。また、再度、拡大表示領域の指定及び拡大倍率の指定を行なう場合には、ステップＳ１１に戻って、ステップＳ１１〜ステップＳ１８の処理を繰り返す。なお、操作部１９に設けられている選択ボタン（図示せず）によりスルー画像の表示の終了が指示された場合には（ステップＳ１９）、ＬＣＤ表示部１７に対する電力の供給が停止されて、スルー画像の表示が終了する。

本実施の形態に係る撮像装置によれば、スルー画像の表示を行なう場合において、撮像素子の境界領域等によって画像データに生じた信号むらの補正を実施するか否かを、スルー画像の拡大表示領域、スルー画像の拡大倍率に応じて制御するため、必要な場合にのみ画像データに生じた信号むらの補正を実施することができ、信号むらの補正に基づく信号処理部等の負荷の増大を防止することができ発熱の低減を図ることができる。また、長時間良好な画質のスルー画像の表示を行なうことができる。

また、上述の実施の形態において、温度センサ１８により検出した撮像素子１０の温度が所定の温度を越えた場合には、ＬＣＤ表示部１７においてスルー画像の拡大表示中であって信号むらの補正を行っている場合に、スルー画像の拡大表示は継続しつつ信号むらの補正を中止するようにしてもよい。この場合には、信号処理部の負荷が軽減されるため発熱の低減を図ることができる。

また、上述の実施の形態において、温度センサ１８により検出した撮像素子１０の温度が所定の温度を越えた場合には、ＬＣＤ表示部１７におけるスルー画像の表示を非拡大表示にし、またはスルー画像の表示を中止するようにしてもよい。この場合には、信号処理部の負荷が更に軽減されるため発熱の低減を図ることができ、また消費電力の低減を図ることができる。なお、非拡大表示にし、またはスルー画像の表示を中止する前に、警告表示をするようにしてもよい。

また、上述の実施の形態においては、拡大表示領域として指定した領域が撮像素子１０の境界領域等の所定の領域を含む場合に、指定した拡大倍率及びる指定した領域における信号むらの補正量に基づいて、信号むらの補正を行なうか否かを決定しているが、指定した拡大倍率または指定した領域における信号むらの補正量に基づいて、信号むらの補正を行なうか否かを決定するようにしてもよい。

また、上述の実施の形態において、拡大表示領域の指定と拡大倍率の指定とを同一の指定部で指定するようにしてもよく、異なる指定部で指定するようにしてもよい。

実施の形態に係るデジタルカメラのブロック構成図である。実施の形態に係る信号むらの補正を実施する領域を説明するための図である。実施の形態に係るデジタルカメラの動作を説明するためのフローチャートである。撮像素子の各画素に対するカラーフィルタの配置状態を示す図である。スルー画像の表示を行なうための拡大領域の指定状態を示す図である。ステッチング補正を説明するための図である。

符号の説明

２・・・デジタルカメラ、１０・・・撮像素子、１１・・・ＣＰＵ、１２・・・撮像素子駆動回路、１３・・・アナログ信号処理回路、１４・・・Ａ／Ｄ変換回路、１５・・・前信号処理部、１６・・・信号処理部、１７・・・ＬＣＤ表示部、１８・・・温度センサ、１９・・・操作部、２０・・・記憶部。

Claims

被写体光を撮像して撮像信号を出力する撮像素子と、
前記撮像信号から生成される画像データに基づいてスルー画像の表示を行なう表示部と、
前記表示部におけるスルー画像の拡大表示領域を指定する指定部と、
前記指定部により指定された前記拡大表示領域が予め定められた所定領域であるか否かの判別を行なう判別部と、
前記判別部により前記所定領域と判別され、且つ拡大表示の実行が指示された場合に、前記画像データに生じる信号むらの補正処理を行う補正部と、
前記拡大表示を行なう際の拡大倍率を指定する倍率指定部と、
前記補正部による前記補正処理を行うか否かの制御を行なう補正制御部と、
前記所定領域毎の前記信号むらの補正量を記憶する記憶部と、を備え、
前記補正制御部は、前記倍率指定部により指定された前記拡大倍率と前記記憶部に記憶されている前記所定領域毎の前記信号むらの補正量との関係に基づいて、前記補正部による前記補正処理を行うか否かの制御を行なうことを特徴とする撮像装置。
前記所定領域は、製造時の分割露光工程に起因して生じた境界領域、画像周縁領域及び画素欠陥領域の中の少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。
前記撮像素子またはその近傍の温度を検出する温度センサを更に備え、
前記温度センサによる検出値が所定温度を越えた場合に、前記補正部による補正処理を中止することを特徴とする請求項１又は請求項２に記載の撮像装置。
前記温度センサによる検出値が所定温度を超えた場合に、前記表示部におけるスルー画像の表示を非拡大表示にし、または前記表示部におけるスルー画像の表示を中止することを特徴とする請求項３記載の撮像装置。
被写体光を撮像して撮像信号を出力する撮像素子と、
前記撮像信号から生成される画像データに基づいてスルー画像の表示を行なう表示部と、
前記表示部におけるスルー画像の拡大表示領域を指定する指定部と、
前記指定部により指定された前記拡大表示領域が予め定められた所定領域であるか否かの判別を行なう判別部と、
前記判別部により前記所定領域と判別され、且つ拡大表示の実行が指示された場合に、前記画像データに生じる信号むらの補正処理を行う補正部と、
前記拡大表示を行なう際の拡大倍率を指定する倍率指定部と、
前記補正部による前記補正処理を行うか否かの制御を行なう補正制御部と、
前記所定領域毎の前記信号むらの補正量を記憶する記憶部と、を備え、
前記撮像素子は、製造時の分割露光工程に起因して生じた境界領域を有し、
前記所定領域は、前記境界領域を含み、
前記補正制御部は、前記倍率指定部により指定された前記拡大倍率と前記記憶部に記憶されている前記所定領域毎の前記信号むらの補正量との関係に基づいて、前記補正部による前記補正処理を行うか否かの制御を行なうことを特徴とする撮像装置。