JP4678824B2 - 撮像装置、画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳイメージセンサー等の撮像素子を用いた撮像装置、及び当該撮像装置から出力される電気信号を処理する画像処理装置、及び信号処理方法に関する。

現在、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子（以後、「撮像素子」と称する。）で撮像した静止画像や動画像を記録及び再生するディジタルカメラ等の撮像装置は既に市販されている。

そのような撮像装置で用いられる撮像素子は、基本的に、入力した光を信号電荷に変換して光電変換蓄積部に蓄積し、後段の回路で転送する構成になっている。

図１０はＣＭＯＳセンサ画素の一例を示す回路図である。１００１は単位画素、１００２は入射光によって発生した信号電荷を蓄積するためのフォトダイオード（ＰＤ）、１００３は信号電荷量に応じた増幅信号出力を出す増幅手段としての増幅用ＭＯＳトランジスタ、１００４は信号電荷を受け増幅用ＭＯＳトランジスタ１００３のゲート電極に接続するフローティングディフュージョン（ＦＤ）部、１００５はＰＤ１００２に蓄積した信号電荷をＦＤ部１００４に転送するための転送手段としてのＭＯＳトランジスタ（Ｔｘ）、１００６はＦＤ部１００４をリセットするためのＭＯＳトランジスタ（Ｔｒｅｓ）、１００７は出力画素を選択するためのＭＯＳトランジスタである。

また、１００８はＴｘ１００５のゲートにパルスを印加し、電荷転送動作を制御するための制御線、１００９はＴｒｅｓ１００６のゲートにパルスを印加しリセット動作を制御するための制御線、１０１０はＭＯＳトランジスタ１００７のゲートにパルスを印加し選択動作を制御するための制御線、１０１１は電源配線であって、増幅用ＭＯＳトランジスタ１００３のドレインおよびリセット用ＭＯＳトランジスタ１００６のドレインに接続され、それらに電源電位を供給している。１０１２は選択された画素の増幅信号が出力される出力線、１０１３は定電流源として動作し、増幅用ＭＯＳトランジスタ１００３とソースフォロワを形成するＭＯＳトランジスタ、１０１４はＭＯＳトランジスタ１０１３が定電流動作するような電位をＭＯＳトランジスタ１０１３のゲート電極に供給する配線である。

上記の画素１００１を二次元的マトリックス状に配列したものが二次元固体撮像装置の画素領域を形成するが、そのマトリックス構成において、出力線１０１２は各列の画素に共通な共通線、また、制御線１００８、１００９、１０１０はそれぞれ各行の画素に共通な共通線となっており、制御線１０１０によって選択された行の画素のみが出力線１０１２に信号出力される。

次に画素の動作を簡単に説明する。制御線１０１０によって選択用ＭＯＳトランジスタ１００７がＯＮ状態となる行の画素について、まず制御線１００９にパルスが印加する。これによりＴｒｅｓ１００６がＯＮ状態となり、ＦＤ部１００４がリセットされる。この時、増幅用ＭＯＳトランジスタ１００３と定電流用ＭＯＳトランジスタ１０１３とでソースフォロワが形成されるため、リセット電位に応じた出力電位が出力線１０１２に現れる。次に制御線１００８にパルスを印加することによってＴｘ１００５がＯＮ状態となり、ＰＤ１００２に蓄積された信号電荷がＦＤ部１００４に転送される。これにより、この信号電荷量に応じた電圧分だけＦＤ部１００４の電位が変化し、その電位変化分が出力線１０１２にも現れる。出力線１０１２に現れるリセット電位は、増幅用ＭＯＳトランジスタ１００３のしきい電圧値のばらつきおよびＦＤ部１００４をリセットするときのリセット雑音などの雑音がのっているので、理論的には信号電荷量に対応した電位変化分が雑音を含まない信号である。

二次元ＣＭＯＳセンサでは、この雑音を取り除き、信号のみを取り出すための読み出し回路が、出力線１０１２に接続されている。この読み出し回路には、クランプ回路によって雑音を除くもの、雑音と雑音＋純粋信号とを別々に保持してそれぞれ水平走査の読み出し時に最終段の差動アンプに導くことによって雑音を除くもの等、いくつかの構成が提案されているが、本発明とは直接の関係がないので詳しい説明は省略する。

次に画素のＰＤ１００２、Ｔｘ１００５、ＦＤ部１００４の部分の断面構造を図１１に示す。同図において２０１５はＮ型の半導体基板、２０１６はＰ型のウェル、２０１７はウェル２０１６中に形成されたＮ型の半導体領域であり、ウェル２０１６と領域２０１７とでフォトダイオードＰＤ１００２が形成され、領域２０１７に信号電荷が蓄積される。２０１８はウェル２０１６中に形成され、ＦＤ部１００４となるＮ型の半導体領域、２０１９はＴｘ１００５のゲート電極であり、領域２０１７、領域２０１８はそれぞれＴｘ１００５のソース領域、ドレイン領域となる。２０２０は領域２０１８と接続する配線であり、増幅用ＭＯＳトランジスタ１００３のゲートと接続している。領域２０１７に蓄積される信号電荷は転送動作時にはすべてＦＤ部１００４となるＮ型の半導体領域２０１８に転送され、転送直後には領域２０１７は完全に空乏化するよう、領域２０１７におけるＮ型の不純物濃度を設定するものである。よって、ＰＤ１００２における信号電荷の蓄積開始は信号電荷転送直後となり、また、信号電荷の蓄積終了時は、再びその画素が属する行が選択されてＰＤ１００２の領域２０１７に蓄積された信号電荷が領域２０１８に転送される時となる。

しかしながら、実際にはＰＤ１００２の領域２０１７からＦＤ１００４となるＮ型の半導体領域２０１８への転送路の濃度等の形成条件を理論上の最適値に設定した場合でも、完全電荷転送は極めて困難である。つまり、製造する際に必ず発生する各部のサイズ及び濃度等の僅かな誤差が、転送路上にポテンシャルポケット等を発生させるため、極めて理想に近い（完全に近い）電荷転送ができたとしても、電子数個レベルの電荷の不完全転送（電荷損失）の要因を完全に排除することはできない。

上記不完全電荷転送に関する対策として、信号電荷転送直後に転送用ＭＯＳトランジスタのゲート及びリセット用ＭＯＳトランジスタのゲートがＯＮ時に半導体領域への電源電位をハイレベルから一旦ローレベルにすることでポテンシャルポケット等を穴埋めすることが提案されている（例えば、特許文献１を参照）。

また、不完全転送に関してはＣＣＤセンサにも類似の問題があり、該問題の対策のひとつとして、構造上、垂直転送ＣＣＤの転送電極ギャップを水平転送ＣＣＤの転送電極ギャップより狭くする等の提案もなされている（例えば、特許文献２を参照）。

さらに、ノイズ対策の一環で信号出力と暗時出力を比較差分して光出力とし、ノイズの影響を低減する手法は一般的に行われているが、この手法において信号出力取得時と暗時出力取得時とでレベル差が生じることを懸念し、増幅された出力に所定の直流電圧を加算してレベル差を低減することも提案されている（例えば、特許文献３を参照）。

特開２００３−１６９２５６号公報 特登録０３２７０２５４号公報 特開２００２−１３５６５１号公報

ところで、近年、ディジタルカメラ等の撮像装置に使用する撮像素子は高画素化が進んでおり、撮像面の面積が変わらない状態で画素数が増え、一画素あたりの面積は小さくなっていく傾向にある。したがって、一画素あたりで取り込める電荷量は必然的に少なくなる。

さらに、低輝度環境での撮影で光信号が少ない状態でも適正な露出の画像を撮影できるよう、画素部の後段に増幅部を備え、少ない電荷量であっても増幅して画像信号を適正レベルにする高感度化も進んでおり、高感度撮影（例えばＩＳＯ８００等）の場合、通常感度（例えばＩＳＯ１００相当）の同等の露出撮影時に比べ、撮像素子で取り込む電荷量が感度比分少なくなる。

このように電荷量が少ない場合、不完全転送の影響は、転送残りの電子量が、電荷量が多い場合と同等量であってもその影響度が大きくなる。特に、高感度且つ低輝度という撮影条件では、リニアリティーが悪化する傾向が出てしまう。

さらに、撮像素子には色分離のためのカラーフィルタが配設されており、カラーフィルタを透過して画素面に入射する光の光量が同一の場合であっても、被写体光源色およびカラーフィルタの各色（ＲＧＢ等）に対応する波長の光の光電変換率の差により、得られる電荷量に差が出てくるため、得に、適正露光時よりもリニアリティーが悪化する低輝度露光時は各色の色比が大きく異なってしまう。

上記問題の一例を図１２乃至図１３を参照して説明する。図１２は撮像素子における露出−電荷量のリニアリティー特性を表したグラフであり、露出−電荷量はγ＝１となるのが理想とされる。しかしながら、先に説明したとおり、電荷量の少ない部分では電荷の不完全転送分の影響が大きく、リニアリティーを保つことができない。しかも光源の波長によって、カラーフィルタにより分離された各色の電荷量は異なってくるので、最も電荷が少なくなってしまう色の画素に関しては、リニアリティーの低下が大きくなってしまう。図１２においては赤（Ｒ）画素の電荷量が最も少なく、低輝度（低露出）側で、Ｒ画素の電荷量の低下が最も大きくなっている。

図１３Ａ〜図１３Ｃは、低輝度の被写体を撮影する時にリニアリティーの低下が各色の電荷量に影響する様子を色比として示したものであり、適正露出（グラフのＸ軸：０）の緑（Ｇ）画素を基準とした赤（Ｒ）画素および青（Ｂ）画素の比率を１とした場合に、露出が変化した際の比率を表している。図１３ＡはＩＳＯ１００の場合を、図１３ＢはＩＳＯ８００の場合を、図１３ＣはＩＳＯ１６００の場合をそれぞれ示している。

ＩＳＯ１００時には比較的電荷量が多くなるため、図１３Ａに示すように適正露出（＝０）と低露出側（−２段乃至―３段）でＲ／Ｇ、Ｂ／Ｇはほぼ１を示しており、低露出でも安定した色再現ができる状態にあることが分かる。これに対し、図１３ＢのＩＳＯ８００では低露出側（−２段乃至―３段）でＲ／Ｇ、Ｂ／Ｇに電荷の不完全転送分の影響が現れ、Ｒ／Ｇでは−４〜−８％のズレが生じ、図１３ＣのＩＳＯ１６００ではその比率がさらに悪化し、−１０％を超える部分まで出て来ている。

このような色比の悪化は撮像装置の色再現等に関わり、画質低下への影響も少なくはない。

本発明は上記問題点を鑑みてなされたものであり、不完全転送による色再現性の悪化、特に高感度での色再現性の悪化を防ぐことを目的とする。

本発明の撮像装置は、撮影感度を設定する感度設定手段と、入射光によって発生した電荷を電気信号に変換し、前記撮影感度に応じて増幅して出力する撮像素子と、前記撮像素子の内部において前記電荷を転送する際の不完全転送に伴う電荷損失を補正するための、前記撮影感度に応じて変化するオフセット補正量を、前記撮像素子から出力される前記電気信号に加算する画像処理手段と、前記感度設定手段により設定された前記撮影感度に対応した前記オフセット補正量を前記画像処理手段に設定するように制御する制御手段とを有し、前記画像処理手段は、前記制御手段により設定された前記オフセット補正量を前記電気信号に加算する。

また、撮影感度を設定する感度設定手段と、入射光によって発生した電荷を電気信号に変換し、前記撮影感度に応じて増幅して出力する撮像素子とを有する撮像装置から出力される電気信号を処理する本発明の画像処理装置は、前記撮像素子の内部において前記電荷を転送する際の不完全転送に伴う電荷損失を補正するための、前記撮影感度に応じて変化するオフセット補正量を、前記撮像素子から出力される前記電気信号に加算する画像処理手段と、前記感度設定手段により設定された前記撮影感度に対応した前記オフセット補正量を前記画像処理手段に設定するように制御する制御手段とを有し、前記画像処理手段は、前記制御手段により設定された前記オフセット補正量を前記電気信号に加算する。

また、撮影感度を設定する感度設定手段と、入射光によって発生した電荷を電気信号に変換し、前記撮影感度に応じて増幅して出力する撮像素子とを有する撮像装置から出力される電気信号を処理する本発明の画像処理方法では、画像処理手段が、前記撮像素子の内部において前記電荷を転送する際の不完全転送に伴う電荷損失を補正するための、前記撮影感度に応じて変化するオフセット補正量を、前記撮像素子から出力される前記電気信号に加算する画像処理工程と、制御手段が、前記感度設定工程で設定された前記撮影感度に対応した前記オフセット補正量を前記画像処理手段に設定するように制御する制御工程とを有し、前記画像処理工程では、前記制御工程により設定された前記オフセット補正量を前記電気信号に加算する。

本発明によれば、不完全転送による色再現性の悪化、特に高感度での色再現性の悪化を防ぐことができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の実施の形態における画像処理装置の構成を示すブロック図である。画像処理装置は、画像処理装置本体１００と、画像処理装置本体１００に対し着脱可能に装着される記録媒体２００及び２１０と、画像処理装置本体１００に対し着脱可能に装着されるレンズユニット３００を備えている。

レンズユニット３００は、交換レンズタイプとして構成されている。レンズユニットにおいて、３０６はレンズユニット３００を画像処理装置本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００を画像処理装置本体１００と電気的に接続する各種機能が含まれている。３１０は、被写体像を取り込む撮影レンズ群、３１２は、撮影レンズ３１０から入る光量を調節する絞り、３２０はインタフェースで、レンズマウント３０６内において、レンズユニット３００を画像処理装置本体１００と接続するためのインタフェースを司る。３２２はレンズユニット３００を画像処理装置本体１００と電気的に接続するコネクタで、画像処理装置本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を通信すると共に、各種電圧の電流の供給を受ける、或いは供給する機能も備えている。また、コネクタ３２２は、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

絞り制御部３４０は、画像処理装置本体１００の測光部４６からの測光情報に基づいて、シャッタ１２を制御するシャッタ制御部４０と連携しながら、絞り３１２を制御する。測距制御部３４２は、撮影レンズ群３１０のフォーカシングを制御する。ズーム制御部３４４は、撮影レンズ群３１０のズーミングを制御する。レンズシステム制御部３５０は、レンズユニット３００全体を制御する。レンズシステム制御部３５０は、動作用の定数、変数、プログラム等を記憶するメモリや、レンズユニット３００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。

また、画像処理装置本体１００において、１０６はレンズユニット３００を画像処理装置本体１００と機械的に結合するレンズマウントであり、レンズマウント１０６内には、レンズユニット３００を画像処理装置本体１００と電気的に接続する各種機能が含まれている。

１４は光学像を電気信号に変換し、所望の増幅（設定されたＩＳＯ感度等に伴う増幅）を行った電気信号を後述するＡ／Ｄ変換器１６へと転送する撮像素子、１２は撮像素子１４への露光量を制御するシャッターである。レンズユニット３００のレンズ群３１０に入射した光線は、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、シャッタ１２を介して導かれ、光学像として撮像素子１４上に結像することができる。

１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器、１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理、オフセット処理等を行う。また、画像処理部２０においては、必要に応じて、撮像した画像データを用いて所定の演算処理を行い、システム制御部５０は、得られた演算結果に基づいて、シャッタ制御部４０および測距部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

なお、本実施の形態においては、画像処理装置が測距部４２及び測光部４６を専用に備える構成としているため、測距部４２及び測光部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理部２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としてもよい。或いは、測距部４２及び測光部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、更に、上記画像処理部２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが、画像処理部２０およびメモリ制御部２２を介して、或いは直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６によりアナログ信号に変換されて、画像表示部２８により表示される。この画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置本体１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連続撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

シャッタ制御部４０は、測光部４６からの測光情報に基づいて、絞り３１２を制御する絞り制御部３４０と連携しながら、シャッタ１２を制御する。

測距部４２はＡＦ（オートフォーカス）処理を行うためのものであり、レンズユニット３００のレンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０そして不図示の測距用サブミラーを介して、測距部４２に入射させることにより、光学像として結像された画像の合焦状態を測定することができる。温度計４４は、撮影環境の温度を検出することができる。温度計４４が撮像素子１４内にある場合は撮像素子１４の暗電流をより正確に予想することが可能である。

測光部４６は、ＡＥ（自動露出）処理を行うためのものであり、レンズユニット３００のレンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２そして不図示の測光用レンズを介して、測光部４６に入射させることにより、光学像として結像された画像の露出状態を測定することができる。また、測光部４６は、フラッシュ４８と連携することによりＥＦ（フラッシュ調光）処理機能も有する。フラッシュ４８は、AF補助光の投光機能、フラッシュ調光機能も有する。

なお、撮像素子１４によって撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０がシャッタ制御部４０、絞り制御部３４０、測距制御部３４２に対して制御を行う、ビデオＴＴＬ方式を用いて露出制御及びＡＦ（オートフォーカス）制御をすることも可能である。更に、測距部４２による測定結果と、撮像素子１４によって撮像した画像データを画像処理部２０によって演算した演算結果とを共に用いてＡＦ（オートフォーカス）制御を行っても構わない。そして、測光部４６による測定結果と、撮像素子１４によって撮像した画像データを画像処理部２０によって演算した演算結果とを共に用いて露出制御を行っても構わない。

５０は画像処理装置本体１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等をユーザに報知する、表示装置やスピーカー等の通知部であり、画像処理装置本体１００の操作部近辺の視認し易い位置に単数或いは複数個所設置される。例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

通知部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、ＩＳＯ（International Organization for Standardization）感度表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示等がある。

また、通知部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等がある。

更に、通知部５４の表示内容のうち、ＬＥＤ等により表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示等がある。更に、通知部５４の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ等がある。このセルフタイマ通知ランプは、ＡＦ補助光と共用して用いてもよい。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。この不揮発性メモリ５６には、各種パラメータやＩＳＯ感度、ＩＳＯ感度に応じた後述するオフセット補正量（またはオフセット補正値）などの設定値、設定モードなどのデータが格納される。６０、６２、６４、６６、６８、６９及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

以下、操作手段について説明する。６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は再生スイッチで、撮影モード状態において、撮影した画像をメモリ３０或いは記録媒体２００或いは２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。

６８は単写/連写スイッチで、シャッタスイッチＳＷ２（６４）を押した場合に１コマの撮影を行って待機状態とする単写モードと、シャッタスイッチＳＷ２（６４）を押している間は連続して撮影を行い続ける連写モードとを設定することができる。

６９はＩＳＯ感度設定スイッチで、撮像素子１４或いは画像処理部２０におけるゲインの設定を変更することにより、ＩＳＯ感度（撮影感度）を設定することができる。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロ／非マクロ切り替えボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチ等がある。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

また、操作部７０は、ＪＰＥＧ（Joint Photographic Expert Group）圧縮の圧縮率を選択するため、或いは撮像素子４の信号をそのままディジタル化して記録媒体に記録するＣＣＤＲＡＷモードを選択するためのスイッチである圧縮モードスイッチ、再生モード・マルチ画面再生・消去モード、ＰＣ（パーソナルコンピュータ）接続モード等の各機能モードを設定するための再生スイッチ、シャッタスイッチＳＷ１（６２）の押下に応じてオートフォーカス動作を開始し、一旦合焦するとその合焦状態を保ち続けるワンショットＡＦモードと、シャッタスイッチＳＷ１を押している間は連続してオートフォーカス動作を続けるサーボＡＦモードとを設定するためのＡＦモード設定スイッチ等がある。

７２は電源スイッチで、画像処理装置本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、電源スイッチ７２は、画像処理装置本体１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００、２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。

８０は電源制御部で、電池検出回路、ＤＣ−ＣＤコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施の形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。勿論、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としてもよい。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成することが可能である。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カード、Ｐ１２８４カード、ＳＣＳＩＳmall Computer System Interface）カード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０４は光学ファインダであり、レンズユニット３００のレンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６、１０６、ミラー１３０及び１３２を介して導き、光学像として結像表示することができる。これにより、画像表示部２８による電子ファインダー機能を使用すること無く、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信回路で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。

１１２は通信回路１１０により画像処理装置本体１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

インタフェース１２０は、レンズマウント１０６内において、画像処理装置本体１００をレンズユニット３００と接続するためのインタフェースである。

コネクタ１２２は、画像処理装置本体１００をレンズユニット３００と電気的に接続する。レンズ着脱検知手段１２４は、レンズマウント１０６及び或いはコネクタ１２２にレンズユニット３００が装着されているか否かを検知する。コネクタ１２２は、画像処理装置本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。ミラー１３０、１３２は、レンズ３１０に入射した光線を、一眼レフ方式によって光学ファインダ１０４に導くことができる。なお、ミラー１３２は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。

２００および２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２００および２１０は、それぞれ半導体メモリや磁気ディスク等から構成される記録部２０２および２１２と、画像処理装置本体１００とのインタフェース２０４および２１４と、画像処理装置本体１００と接続を行うコネクタ２０６および２１６とを備えている。

記録媒体２００及び２１０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等だけでなく、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

また、記録媒体２００及び２１０がメモリカードとハードディスク等が一体となった複合媒体であってもよい。さらに、その複合媒体から一部が着脱可能な構成としてもよい。

（第１の実施形態）
次に、上記構成を有する本第１の実施形態に係る画像処理装置の動作を図２乃至図８を参照しながら詳細に説明する。

＜画像処理装置本体１００の主ルーチン＞
図２及び図３は本第１の実施形態に係る画像処理装置本体１００の主ルーチンのフローチャートである。

画像処理装置本体１００に対する電池交換等の電源投入により、システム制御部５０は、後述のフラッシュフラグ等のフラグや制御変数等を初期化し、画像処理装置本体１００の各部において必要な所定の初期設定を行う（ステップＳ１０１）。次に、システム制御部５０は、電源スイッチ７２の設定位置を判断する（ステップＳ１０２）。

電源スイッチ７２が電源ＯＦＦに設定されていたならば（ステップＳ１０２で「電源ＯＦＦ」）、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含む画像処理装置本体１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０３）、ステップＳ１０２に戻る。電源スイッチ７２が電源ＯＮに設定されていたならば（ステップＳ１０２で「電源ＯＮ」）、システム制御部５０は、電源制御部８０により、電池等により構成される電源８６の残容量や動作情況が画像処理装置本体１００の動作に問題があるか否かを判断する（ステップＳ１０４）。

電源８６に問題があるならば（ステップＳ１０４でＮＯ）、通知部５４を用いて画像や音声により所定の警告表示出力や警告音声出力を行った後に（ステップＳ１０５）、ステップＳ１０２に戻る。電源８６に問題が無いならば（ステップＳ１０４でＹＥＳ）、システム制御部５０は、モードダイアルスイッチ６０の設定位置を判断する（ステップＳ１０６）。モードダイアルスイッチ６０が撮影モードに設定されていたならば（ステップＳ１０６で「撮影モード」）、ステップＳ１０８に進む。モードダイアルスイッチ６０がその他のモードに設定されていたならば（ステップＳ１０６で「その他のモード」）、システム制御部５０は、選択されたモードに応じた処理を実行し（ステップＳ１０７）、処理を終えたならばステップＳ１０２に戻る。

モードダイアルスイッチ６０が撮影モードに設定されていた場合、システム制御部５０は、不揮発性メモリ５６に記憶された各種パラメータやＩＳＯ感度などの情報を読み出し（ステップＳ１０８）、画像処理装置本体１００に記録媒体２００或いは２１０が装着されているかどうかの判断、記録媒体２００或いは２１０に記録された画像データの管理情報の取得、そして、記録媒体２００或いは２１０の動作状態が画像処理装置本体１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行う（ステップＳ１０９）。判断を行った結果、問題があるならば（ステップＳ１０９でＮＯ）、通知部５４を用いて画像や音声により所定の警告表示出力や警告音声出力を行った後に（ステップＳ１０５）、ステップＳ１０２に戻る。判断を行った結果、問題が無いならば（ステップＳ１０９でＹＥＳ）、ステップＳ１１０に進む。ステップＳ１１０では、システム制御部５０は、通知部５４を用いて画像や音声により画像処理装置本体１００の各種設定状態の表示出力や音声出力を行う。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により画像処理装置本体１００の各種設定状態の表示出力や音声出力を行い、図３のステップＳ１２１に進む。

ステップＳ１２１では、システム制御部５０は、シャッタスイッチＳＷ１（６２）の状態を確認する。シャッタスイッチＳＷ１（６２）が押されていないならば（ステップＳ１２１で「ＯＦＦ」）、ステップＳ１０２に戻る。シャッタスイッチＳＷ１（６２）が押されたならば（ステップＳ１２１で「ＯＮ」）、システム制御部５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する測距・測光処理を行い（ステップＳ１２２）、ステップＳ１２３に進む。測光処理において、必要であればフラッシュの設定も行う。この測距・測光処理の詳細は図４を用いて後述する。

次に、システム制御部５０は、シャッタスイッチＳＷ２（６４）の状態を確認する（ステップＳ１３２）。シャッタスイッチＳＷ２（６４）が押されていないならば（ステップＳ１３２で「ＯＦＦ」）、システム制御部５０は、シャッタスイッチＳＷ１（６２）の状態を確認し（ステップＳ１３３）、シャッタスイッチＳＷ１（６２）がオンであるならば、ステップＳ１３２に戻る。一方、シャッタスイッチＳＷ１（６２）がオフであるならば、ステップＳ１０２に戻る。シャッタスイッチＳＷ２（６４）が押されたならば（ステップＳ１３２で「ＯＮ」）、システム制御部５０は、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリ３０にあるかどうかを判断する（ステップＳ１３４）。

メモリ３０の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば（ステップＳ１３４でＮＯ）、システム制御部５０は、通知部５４を用いて画像や音声により所定の警告表示出力や警告音声出力を行った後に（ステップＳ１３５）、ステップＳ１０２に戻る。例えば、メモリ３０の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリ３０から読み出して記憶媒体２００或いは２１０に書き込むべき最初の画像がまだ記録媒体２００或いは２１０に未記録の状態であり、まだ１枚の空き領域もメモリ３０の画像記憶バッファ領域上に確保できない状態である場合等が、この状態の一例である。

なお、撮影した画像データを圧縮処理してからメモリ３０の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ３０の画像記憶バッファ領域上にあるかどうかを上記ステップＳ１３４において判断することになる。

メモリ３０に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば（ステップＳ１３４でＹＥＳ）、システム制御部５０は、撮像して所定時間電荷を蓄積して得た撮像信号を撮像素子１４から読み出して、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御部２２を介して、メモリ３０の所定領域に撮影した画像データを書き込む撮影処理を実行する（ステップＳ１３６）。この撮影処理の詳細は図５及び図６を用いて後述する。撮影処理ステップＳ１３６を終えたならば、欠陥画素補正処理（キズ補正処理）ステップＳ１３９に進む。なお、欠陥画素補正に関しては本発明の主旨に関わるものではないため、詳細の説明は割愛する。

次に、システム制御部５０は、メモリ３０の所定領域へ書き込まれたキズ補正処理後の画像データの一部をメモリ制御部２２を介して読み出して、現像処理を行うために必要なＷＢ（ホワイトバランス）積分演算処理、ＯＢ（オプティカルブラック）積分演算処理を行い、演算結果をシステム制御部５０の内部メモリ或いはメモリ５２に記憶する。次に、システム制御部５０は、メモリ制御部２２そして必要に応じて画像処理部２０を用いて、メモリ３０の所定領域に書き込まれたキズ補正後の撮影画像データを読み出して、システム制御部５０の内部メモリ或いはメモリ５２に記憶した演算結果を用いて、ＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う（ステップＳ１４０）。

そして、システム制御部５０は、メモリ３０の所定領域に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行い（ステップＳ１４１）、メモリ３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。一連の撮影の実行に伴い、システム制御部５０は、メモリ３０の画像記憶バッファ領域に記憶した画像データを読み出して、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ書き込みを行う記録処理を開始する（ステップＳ１４２）。

この記録媒体２００或いは２１０に対する記録開始処理は、メモリ３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。なお、記録媒体２００或いは２１０へ画像データの書き込みを行っている間、書き込み動作中であることを明示するために、通知部５４において例えばＬＥＤを点滅させる等の記録媒体書き込み動作表示を行う。

次に、システム制御部５０は、シャッタスイッチＳＷ１（６２）の状態を確認し（ステップＳ１４３）、シャッタスイッチＳＷ１（６２）が押されている間は、シャッタスイッチＳＷ１（６２）が離されるのを待ち、シャッタスイッチＳＷ１（６２）が押されていない場合には、ステップＳ１０２へ戻る。

＜測距・測光処理＞
図４は図３のステップＳ１２２における測距・測光処理の詳細な動作を示すフローチャートである。なお、測距・測光処理においては、画像処理装置本体１００のシステム制御部５０とレンズユニット３００の絞り制御部３４０或いは測距制御部３４２との間の各種信号の通信は、インタフェース１２０、コネクタ１２２、コネクタ３２２、インタフェース３２０、レンズ制御部３５０を介して行われる。システム制御部５０は、撮像素子１４、測距部４２及び測距制御部３４２を用いて、ＡＦ（オートフォーカス）処理を開始する（ステップＳ２０１）。

次に、システム制御部５０は、レンズユニット３００の撮影レンズ群３１０に入射した光線を、絞り３１２、レンズマウント３０６、及び画像処理装置本体１００のレンズマウント１０６、ミラー１３０、不図示の測距用サブミラーを介して、測距部４２に入射させることにより、光学像として結像された画像の合焦状態を判断し、合焦と判断されるまで（ステップＳ２０３で「ＹＥＳ」となるまで）、レンズユニット３００の測距制御部３４２を用いてレンズ３１０を駆動しながら、画像処理装置本体１００の測距部４２を用いて合焦状態を検出するＡＦ制御を実行する（ステップＳ２０２）。合焦と判断したならば（ステップＳ２０３でＹＥＳ）、システム制御部５０は、ステップＳ２０４において撮影画面内の複数の測距点の中から合焦した測距点を決定し、決定した測距点データと共に測距データ及び、または設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶し、ステップＳ２０５に進む。

続いて、システム制御部５０は、測光部４６を用いて、ＡＥ（自動露出）処理を開始する（ステップＳ２０５）。システム制御部５０は、レンズユニット３００のレンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６、及び画像処理装置本体１００のレンズマウント１０６、ミラー１３０及び１３２そして不図示の測光用レンズを介して、測光部４６に入射させることにより、光学像として結像された画像の露出状態を測定し、ＩＳＯ感度スイッチ６９にて事前に設定され、ステップＳ１０８にて読み出したＩＳＯ感度において、露出（ＡＥ）が適正と判断されるまで（ステップＳ２０７で「ＹＥＳ」となるまで）、レンズユニット３００の絞り制御部３４０にを用いて絞り３１２を調整しながら、画像処理装置本体１００の測光部４６を用いて測光処理を行う（ステップＳ２０６）。露出（ＡＥ）が適正と判断したならば（ステップＳ２０７でＹＥＳ）、システム制御部５０は、測光データ及び、または設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶し、ステップＳ２０８に進む。

なお、ステップＳ２０６の測光処理で検出した露出（ＡＥ）結果と、モードダイアルスイッチ６０によって設定された撮影モードと、ＩＳＯ感度スイッチ６９によって設定されたＩＳＯ感度とに応じて、システム制御部５０は、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、ここで決定したシャッタ速度（Ｔｖ値）に応じて、システム制御部５０は、撮像素子１４の電荷蓄積時間を決定し、等しい電荷蓄積時間で撮影処理を行う。

ステップＳ２０８では、ステップＳ２０６の測光処理で得られた測定データにより、システム制御部５０は、フラッシュが必要か否かを判断する。フラッシュが必要ならば、フラッシュフラグをセットし、フラッシュ４８の充電が完了するまで（ステップＳ２１０）、フラッシュ４８を充電する（ステップＳ２０９）。フラッシュ４８の充電が完了したならば（ステップＳ２１０でＹＥＳ）、測距・測光処理ルーチンを終了する。

＜撮影処理＞
図５及び図６は、図３のステップＳ１３６における撮影処理の詳細な動作を示すフローチャートである。なお、撮影処理においては、測距・測光処理時と同様に、画像処理装置本体１００のシステム制御部５０とレンズユニット３００の絞り制御部３４０或いは測距制御部３４２との間の各種信号の通信は、インタフェース１２０、コネクタ１２２、コネクタ３２２、インタフェース３２０、レンズ制御部３５０を介して行われる。システム制御部５０は、ミラー１３０を不図示のミラー駆動手段によってミラーアップ位置に移動すると共に（ステップＳ３０１）、システム制御部５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、絞り制御部３４０によって絞り３１２を所定の絞り値まで駆動する（ステップＳ３０２）。

次に、システム制御部５０は、撮像素子１４の電荷クリア動作を行った後に（ステップＳ３０３）、撮像素子１４の電荷蓄積を開始した後（ステップＳ３０４）、シャッタ制御部４０によってシャッタ１２を開き（ステップＳ３０５）、撮像素子１４の露光を開始する（ステップＳ３０６）。ここで、システム制御部５０は、フラッシュフラグによりフラッシュ４８が必要か否かを判断し（ステップＳ３０７）、フラッシュ４８が必要な場合はフラッシュ４８を発光させてから（ステップＳ３０８）、必要が無い場合にはフラッシュ４８を発光させずにそのまま図６のステップＳ３０９に進む。

次に、システム制御部５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ３０９）、シャッタ制御部４０によってシャッタ１２を閉じ（ステップＳ３１０）、撮像素子１４の露光を終了する。

次に、システム制御部５０は、レンズユニット３００の絞り制御部３４０によって絞り３１２を開放の絞り値まで駆動すると共に（ステップＳ３１１）、ミラー１３０を不図示のミラー駆動手段によってミラーダウン位置に移動する（ステップＳ３１２）。設定した電荷蓄積時間が経過したならば（ステップＳ３１３でＹＥＳ）、システム制御部５０は、撮像素子１４の電荷蓄積を終了した後（ステップＳ３１４）、撮像信号読み出し処理（ステップＳ３１５）に進む。ステップＳ３１５で行われる撮像信号読み出し処理の詳細は図７を用いて後述する。

一連の処理を終えたならば、撮影処理ルーチンを終了する。

＜撮像信号読み出し処理＞
図７は図６のステップＳ３１５における撮像信号読み出し処理の詳細な動作を示すフローチャートである。

システム制御部５０は、撮影処理時に設定されたＩＳＯ感度を確認し（ステップＳ５０１）、メモリ５６に予め記憶されているＩＳＯ感度に対応したオフセット補正量のうち、確認されたＩＳＯ感度に対応したオフセット補正量を画像処理部２０に設定する（ステップＳ５０２）。なお、予め記憶されているＩＳＯ感度に対応したオフセット補正量には、 ＩＳＯ感度毎に電荷の不完全転送分に応じたオフセット量が設定されている。続いて、ステップＳ５０３において図６のステップＳ３１４で撮像素子１４に蓄積した電荷を読み出し、Ａ／Ｄ変換器１６を介してディジタルデータ化し（ステップＳ５０４）、画像処理部２０によりステップＳ５０２で設定したオフセット補正量を加算し（ステップＳ５０５）、メモリ制御部２２を介して、メモリ３０の所定領域への撮影画像データを書き込み（ステップＳ５０６）、撮像信号読み出し処理ルーチンを終了する。

図８Ａ〜図８Ｃは、上述した図１３Ａ〜図１３Ｃの色比となる撮像装置に対し、本発明の第１の実施形態のオフセット補正を加えた場合の低輝度リニアリティーの色比を示した一例である。図８Ａ〜図８Ｃは、図１３Ａ〜図１３Ｃと同様に適正露出（グラフのＸ軸：０）の緑（Ｇ）画素を基準とした赤（Ｒ）画素および青（Ｂ）画素の比率を１とした場合に、露出が変化した際の比率を表している。

図８ＡはＩＳＯ１００時を示し、ＩＳＯ１００（１倍）時の電荷の不完全転送分に伴った（例えば、不完全転送分の電荷が撮像素子１４内の後段の増幅部を介してＡ／Ｄ変換された場合の値に相当する）オフセット補正量α１を加えたものである。未補正時（図１３Ａ）に比べ、低露出側（−２段乃至―３段）でＲ／Ｇ、Ｂ／Ｇはややプラス方向に変化しているが、ほぼ１を示しており、大きな影響はない。

図８ＢはＩＳＯ８００時を示し、ＩＳＯ８００（８倍）時の電荷の不完全転送分に伴ったオフセット補正量α８を加えたものである。未補正時（図１３Ｂ）に−８％だった低露出側（―３段）でのＲ／Ｇの値が、−２％程度の差に落ち着いている。

図８ＣはＩＳＯ１６００時を示し、ＩＳＯ１６００（１６倍）時の電荷の不完全転送分に伴ったオフセット補正量α１６を加えたものである。未補正時（図１３Ｃ）に−１０％を超えていた低露出側（―３段）でのＲ／Ｇの値が、−２％程度の差に落ち着いている。

なお、本発明の第１の実施形態においては、オフセット補正量はα１＜α８＜α１６となっている。また、ここで説明していない中間のＩＳＯ感度でのオフセット補正量の設定は各々の感度（不完全転送電荷の増幅度）に伴った値となっている。

このように、本発明の第１の実施形態によれば、不完全転送による色再現性の悪化、特に高感度での色再現性の悪化を防ぐことができる。

（第２の実施形態）
上記第１の実施形態では、ＩＳＯ感度毎にオフセット補正量のデータを不揮発性メモリ５６に記憶しているため、相当のメモリ容量が必要である。

また、上記第１の実施形態は、すべてのＩＳＯについてオフセット補正を行うシーケンスであるため、色比の変化の少ない低感度（例えばＩＳＯ１００）時等においても実際の取得画像（実測電荷）に対して補正を加えてしまうという問題がある。

本発明の第２の実施形態では、上記問題を鑑み、撮影感度が所定より低い場合では補正を行わず、また、オフセット補正を行う場合でも、所定の基準撮影感度（例えばＩＳＯ１６００）に対してオフセット量を設定し、他の撮影感度が設定された場合は、該基準撮影感度との感度差の比率によってオフセット量を変更する。

なお、本実施例の構成および動作シーケンスについては、既に説明済みの本発明の第１の実施形態の図１乃至図６と同様であるため、説明を割愛する。

＜撮像信号読み出し処理＞
図９は第１の実施形態で説明済みの図６のステップＳ３１５で行われる、本第２の実施形態において行われる撮影処理の詳細な動作を示すフローチャートであり、図７に替えて実行される。

システム制御部５０は、撮影処理時に設定されたＩＳＯ感度（以下、「設定感度」と呼ぶ。）Ｘを確認し（ステップＳ６０１）、予め記憶されている所定のＩＳＯ感度（以下、「所定感度」と呼ぶ。）Ｙ（例えばＩＳＯ８００）より高い感度か低い感度かを判定し（ステップＳ６０２）、所定感度Ｙより低ければオフセット補正量を「０」に設定する（ステップＳ６０３）。設定感度Ｘが所定感度Ｙより高ければ、基準撮影感度β（例えばＩＳＯ１６００）であるか否かを判定し（ステップＳ６０４）、基準感度βが設定されていればオフセット補正量αを設定する（ステップＳ６０５）。基準感度βが設定されていなければオフセット補正量としてＸ÷β×αを設定する（ステップＳ６０６）。すなわち、所定感度Ｙよりも低い感度なら補正値「０」、基準感度βなら予め設定されているオフセット量αを補正値とし、基準感度βでない場合、設定感度Ｘと基準感度βの比率を基準オフセット補正量αにかけた値を補正値とする。

例えば、設定感度ＸがＩＳＯ８００、基準感度βがＩＳＯ１６００、基準感度設定時のオフセット量αが２ＬＳＢならば、ＩＳＯ８００÷ＩＳＯ１６００×２ＬＳＢ＝１ＬＳＢが補正量となる。また、所定感度ＹがＩＳＯ８００で、設定感度ＸがＩＳＯ４００ならオフセット補正量が０（＝補正なし）となる。

続いて、ステップＳ６０７において図６のステップＳ３１４で撮像素子１４に蓄積した電荷を読み出し、Ａ／Ｄ変換器１６を介してディジタルデータ化し（ステップＳ６０８）、画像処理部２０によりステップＳ６０３、Ｓ６０５又はＳ６０６で設定したオフセット補正量を加算し（ステップＳ６０９）、メモリ制御部２２を介して、メモリ３０の所定領域への撮影画像データを書き込み（ステップＳ６１０）、撮像信号読み出し処理ルーチン）を終了する。

上記本発明の第２の実施形態では、オフセット補正を行わなくても、色比として問題のない低感度（例えばＩＳＯ１００）においては、オフセット処理を行わいため、図１３Ａに示すような色比結果になり、色比として差が出てくる高感度（例えばＩＳＯ８００，ＩＳＯ１６００）では、オフセット処理を行うことで図８Ｂ又は図８Ｃのように色比が改善され、画質向上につながる。

このように、本発明の第２の実施形態によれば、第１の実施形態と同様に不完全転送による色再現性の悪化、特に高感度での色再現性の悪化を防ぐことができると共に、オフセット補正量を保持するメモリを節約することができる。

なお、本第２の実施形態では所定感度以上が設定されている場合、必ず設定感度と基準感度の比でオフセット補正量を決定しているが、本発明はそれに限定されるものではなく、例えば、感度分の増幅をかけるために、構成上、複数箇所に増幅部を備えている場合で、第１の増幅部（例えば撮像素子内部の増幅部）での感度増幅の変化に対してのみ比率を変化させ、第２の増幅部（例えば撮像素子外の後段増幅部）での感度増幅に対しては比率変化させない等、部分適用を行うことも本発明の主旨を逸脱するものではない。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラ装置など）に適用してもよい。

複数の機器から構成する場合、撮像素子を含むカメラヘッド側でオフセット補正量のデータを保持しておき、ホストコンピュータとの接続時にホストコンピュータに当該データを渡すようにしても、ホストコンピュータ側で複数のオフセット補正量のデータを保持しておき、接続された撮像素子に応じたデータを用いるようにしても良い。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図７又は図９に示すフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施形態における画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態における画像処理装置本体の主ルーチンのフローチャートである。 本発明の第１の実施形態における画像処理装置本体の主ルーチンのフローチャートである。 本発明の第１の実施形態における測距・測光処理の詳細な動作を示すフローチャートである。 本発明の第１の実施形態における撮影処理の詳細な動作を示すフローチャートである。 本発明の第１の実施形態における撮影処理の詳細な動作を示すフローチャートである。 本発明の第１の実施形態における撮像信号読み出し処理の詳細な動作を示すフローチャートである。 本発明の第１の実施形態における撮影感度ＩＳＯ１００の時のオフセット補正後の低輝度リニアリティーの色比を示す図である。 本発明の第１の実施形態における撮影感度ＩＳＯ８００の時のオフセット補正後の低輝度リニアリティーの色比を示す図である。 本発明の第１の実施形態における撮影感度ＩＳＯ１６００の時のオフセット補正後の低輝度リニアリティーの色比を示す図である。 本発明の第２の実施形態における撮像信号読み出し処理の詳細な動作を示すフローチャートである。 従来のＣＭＯＳセンサ画素の回路図である。 従来のＣＭＯＳセンサ画素の断面図である。 従来の撮像素子の出力（露出−電荷量）リニアリティーデータを示す図である。 撮影感度ＩＳＯ１００の時の従来の低輝度リニアリティーの色比を示す図である。 撮影感度ＩＳＯ８００の時の従来の低輝度リニアリティーの色比を示す図である。 撮影感度ＩＳＯ１６００の時の従来の低輝度リニアリティーの色比を示す図である。

符号の説明

１００１：単位画素
１００２：フォトダイオード（ＰＤ）
１００３：増幅用ＭＯＳトランジスタ
１００４：フローティングディフュージョン部（ＦＤ）
１００５：転送用ＭＯＳトランジスタ（Ｔｘ）
１００６：リセット用ＭＯＳトランジスタ（Ｔｒｅｓ）
１００７：出力画素選択用ＭＯＳトランジスタ
１４：撮像素子
１５：Ａ／Ｄ変換器
２０：画像処理回路
５０：システム制御回路
５２：メモリ
５６：不揮発性メモリ

Claims (6)

1. 撮影感度を設定する感度設定手段と、
   入射光によって発生した電荷を電気信号に変換し、前記撮影感度に応じて増幅して出力する撮像素子と、
   前記撮像素子の内部において前記電荷を転送する際の不完全転送に伴う電荷損失を補正するための、前記撮影感度に応じて変化するオフセット補正量を、前記撮像素子から出力される前記電気信号に加算する画像処理手段と、
   前記感度設定手段により設定された前記撮影感度に対応した前記オフセット補正量を前記画像処理手段に設定するように制御する制御手段とを有し、
   前記画像処理手段は、前記制御手段により設定された前記オフセット補正量を前記電気信号に加算することを特徴とする撮像装置。
2. 前記撮影感度に応じて変化するオフセット補正値を、複数の異なる撮影感度毎に記憶する記憶手段を更に有し、
   前記制御手段は、前記感度設定手段により設定された前記撮影感度に対応するオフセット補正値を前記記憶手段から取得し、取得した前記オフセット補正値を前記画像処理手段に設定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、予め決められた基準撮影感度に対する基準オフセット補正値を保持し、前記感度設定手段により前記基準撮影感度以外の撮影感度が設定された場合には、前記撮影感度と、前記基準オフセット補正値とに基づいて、前記撮影感度に応じたオフセット補正値を求めることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記感度設定手段により設定された撮影感度が、前記基準撮影感度よりも低い所定撮影感度よりも低い場合に、前記画像処理手段が前記オフセット補正量を加算しないように制御することを特徴とする請求項３に記載の撮像装置。
5. 撮影感度を設定する感度設定手段と、入射光によって発生した電荷を電気信号に変換し、前記撮影感度に応じて増幅して出力する撮像素子とを有する撮像装置から出力される電気信号を処理する画像処理装置であって、
   前記撮像素子の内部において前記電荷を転送する際の不完全転送に伴う電荷損失を補正するための、前記撮影感度に応じて変化するオフセット補正量を、前記撮像素子から出力される前記電気信号に加算する画像処理手段と、
   前記感度設定手段により設定された前記撮影感度に対応した前記オフセット補正量を前記画像処理手段に設定するように制御する制御手段とを有し、
   前記画像処理手段は、前記制御手段により設定された前記オフセット補正量を前記電気信号に加算することを特徴とする画像処理装置。
6. 撮影感度を設定する感度設定手段と、入射光によって発生した電荷を電気信号に変換し、前記撮影感度に応じて増幅して出力する撮像素子とを有する撮像装置から出力される電気信号を処理する画像処理方法であって、
   画像処理手段が、前記撮像素子の内部において前記電荷を転送する際の不完全転送に伴う電荷損失を補正するための、前記撮影感度に応じて変化するオフセット補正量を、前記撮像素子から出力される前記電気信号に加算する画像処理工程と、
   制御手段が、前記感度設定工程で設定された前記撮影感度に対応した前記オフセット補正量を前記画像処理手段に設定するように制御する制御工程とを有し、
   前記画像処理工程では、前記制御工程により設定された前記オフセット補正量を前記電気信号に加算することを特徴とする画像処理方法。

Images