JP5923670B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は撮像装置及び撮像方法に係り、特にシェーディング補正技術に関する。

デジタルカメラ等の撮像装置によって撮影された画像の中心部と周辺部との間において、光学系（レンズ等）の特性に起因する輝度ムラ（シェーディング）が生じることがあり、このシェーディングを補正する種々の手法が提案されている。

例えば特許文献１は、撮像素子の光電荷蓄積開始を制御する蓄積開始制御手段と、受光部の光電荷を一時蓄積部に転送することで撮像素子の蓄積終了制御を行う蓄積終了制御手段とを備える撮像装置を開示する。この撮像装置では、蓄積開始制御手段及び／又は蓄積終了制御手段の制御タイミングを画素毎又はライン毎に変えて、画素毎又はライン毎に光電荷蓄積時間を制御することで、撮影画像のシェーディング補正が行われる。

また特許文献２は、光学像を光電変換して非破壊読み出し可能に構成したイメージセンサを備える撮像装置を開示する。この撮像装置では、イメージセンサから１フレームの光信号を複数回読み出して順次加算し、加算回数が所定数に達した際に積分出力信号を出力することで、イメージセンサへの入射光量に対するＳＮ比（Ｓｉｇｎａｌ−Ｎｏｉｓｅ ｒａｔｉｏ）の限界を向上させて高感度化が図られている。

またシェーディング補正に加え、撮影画像の画質を向上させる種々の画像処理手法が提案されている。

例えば特許文献３は、長時間露光画像信号と短時間露光画像信号とから成る撮像画像信号を出力する撮像部と、これらの長時間露光画像信号及び短時間露光画像信号を合成してダイナミックレンジが広い合成画像信号を生成する信号処理部とを備える撮像装置を開示する。この撮像装置では、ユーザ設定露光モードに応じて露光制御を行うとともに、合成画像信号の輝度情報を用いて短時間露光画像信号に関する自動露光制御を行うことで、設定露光モードにおける白とびの解消が図られている。

また特許文献４は、信号読み出し回路のゲート電極が信号変換トランジスタを含み、この信号変換トランジスタが光電変換部に接続される固体撮像装置を開示する。この光電変換膜積層型の固体撮像装置によって、電荷蓄積時におけるノイズ信号の混入防止が図られている。

特開２００６−１１５１９１号公報 特開平０１−０３９１７８号公報 特開２００８−２７１３６８号公報 特開２０１１−２４３７０４号公報

従来のシェーディング補正では、周辺部画素の信号（画素値）のゲインアップ（増幅率増大）を行うことで、周辺部光量の低下を補って、画像の中央部と周辺部との間における輝度ムラの解消が図られている。

しかしながら、画素値のゲインアップはノイズ成分も増大させるため、画素値のゲインコントロールに基づくシェーディング補正が行われた画像では、増大したノイズ成分によって画質が低下する。したがって、ノイズ成分の増大を抑制して画質の劣化を抑えたシェーディング補正が行われることが好ましい。特にレンズ交換式の撮像装置では、様々な特性を持つレンズ（光学系）が本体に装着されるため、様々なシェーディング特性に関して柔軟に対応可能なシェーディング補正が望まれている。

しかしながら上述の特許文献１〜４等の従来技術では、そのようなシェーディング補正を実現することが難しい。例えば特許文献１に記載の撮像装置では光電荷蓄積時間（露光時間）が制御されるが、光電荷蓄積時間が長くなると画像ブレが目立ってしまい画質が劣化する。同様に、特許文献３に記載の撮像装置においても、露光時間が長くなると画像ブレが目立ってしまい画質が劣化する。また特許文献２及び４に記載の装置では、シェーディングによる画質劣化が全く考慮されていない。

本発明は上述の事情に鑑みてなされたものであり、ノイズ成分の増大による画質劣化を抑制したシェーディング補正を実現する画像処理技術であって、様々なシェーディング特性を持つ光学系に対して柔軟に適用可能な画像処理技術を提供することを目的とする。

本発明の一態様は、受光像の画像データを生成する撮像装置であって、着脱可能な光学系を介して受光した光に応じた信号を生成する複数の画素を含み、その複数の画素が生成する信号の非破壊読み出しが可能な構成を有するセンサ部と、センサ部から画素毎に信号を非破壊読み出しする読出部と、読出部によって読み出された信号を画素毎に加算して蓄積可能な信号記憶部と、光学系のシェーディング特性を取得し、読出部及び信号記憶部を制御する制御部と、を備え、複数の画素の各々は、カラーフィルタと、そのカラーフィルタを介して受光した光に応じた電荷を生成する光電変換層を含む有機層とを有し、制御部は、シェーディング特性に基づいて、複数の画素のうち中央部の画素の信号の読み出し回数と周辺部の画素の信号の読み出し回数との比率を定め、中央部の画素の信号の読み出し回数よりも周辺部の画素の信号の読み出し回数を多く設定して、信号記憶部に蓄積される画素毎の信号から画像データを生成する撮像装置に関する。

本態様によれば、シェーディング特性に基づいて信号の読み出し回数が設定され、信号記憶部に蓄積される画素毎の信号から画像データが生成されるため、ノイズ成分の増大を防ぎつつシェーディングによる画質劣化を改善することができる。また、信号の読み出し回数の設定の基礎となるシェーディング特性は、着脱可能な光学系に応じて取得されるため、本態様に係るシェーディング補正技術は様々な光学系に対して柔軟に適用可能である。

なお本態様の撮像装置は、いわゆる交換レンズ型のデジタルカメラ等に対して好適である。

また「非破壊読み出し」とは、対象画素の信号（電荷）を基本的に何度でも繰り返し読み出すことが可能な状態で信号を読み出す方式であり、信号読み出し後に対象画素に蓄えられる電荷は破棄されることなく引き続き対象画素において保持可能である。非破壊読み出し可能なセンサ部の具体的な構成は特に限定されず、例えば電荷を蓄積するキャパシタを各画素が具備し、そのキャパシタに留め置かれる電荷を何度でも読み込み可能とする構成としうる。そのような「非破壊読み出し可能な構成を有するセンサ部」として、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を好適に使用することができる。とりわけ、本態様のような有機層を具備するＣＭＯＳ型の撮像素子は「有機ＣＭＯＳセンサ」等とも呼ばれ、高ダイナミックレンジ、高感度及び広い入射光線範囲を持ち、センサ部の高感度化、高画質化及び小型化に寄与する。

また「光学系のシェーディング特性」は、光学系に起因するシェーディングを表す任意の指標であり、シェーディングによる減光度分布（輝度ムラ）を直接的又は間接的に示すデータ類によって表現可能である。

また「中央部の画素」及び「周辺部の画素」は相対的な位置関係に基づき、シェーディングによる輝度ムラの影響に基づいて適宜設定しうる。したがって、「中央部の画素」は必ずしも「中心の１画素（中心画素）」のみを意味するものではなく、シェーディングによる減光の影響が小さい「中心画素及びその周辺の複数の画素」を「中央部の画素」としうる。また像高が相対的に高い画素（中心画素から距離が相対的に大きい位置の画素）であってシェーディングによる減光の影響が大きい画素を「周辺部の画素」としうる。

望ましくは、制御部は、中央部の画素の信号を複数回読み出し画素毎に加算して信号記憶部に蓄積し、信号記憶部に蓄積される画素毎の信号から画像データを生成する。

本態様によれば、中央部の画素の信号も複数回読み出されて加算蓄積され、その加算蓄積された画素毎の信号から画像データが生成されるため、中央部の画素の信号に含まれるノイズの影響を抑えて低減化することができる。

望ましくは、画像データのうち、中央部の画素のデータは信号記憶部に蓄積された信号の加算平均値に基づき、周辺部の画素のデータは信号記憶部に蓄積された信号の加算値に基づく。

本態様によれば、中央部の画素のデータは信号の加算平均値によって求められるため、ノイズの影響を軽減することができる。また周辺部の画素のデータは信号の加算値によって求められるため、シェーディング特性に応じて加算回数を定めることで、シェーディングの影響を軽減することができる。

望ましくは、読出部は、周辺部の画素から信号を読み出す場合、その周辺部の画素のみから信号を読み出すことが可能である。

本態様によれば、周辺部の画素から信号を読み出す際に、中央部の画素からの信号を読み出す必要がないため、信号の読み出しに伴う熱（ノイズ）の発生を抑えることができる。

なお「周辺部の画素のみから信号を読み出す」ことができるセンサ部として、例えばＣＭＯＳ型の撮像素子を好適に使用することが可能である。

望ましくは、制御部は、光学系のシェーディング特性を記憶するレンズ特性記憶部からシェーディング特性を取得する。

本態様によれば、レンズ特性記憶部から光学系のシェーディング特性を取得することができる。なお、レンズ特性記憶部は制御部がアクセス可能な任意の配置を有することができる。例えば、光学系又は制御部とともにレンズ特性記憶部が設けられてもよいし、外部機器類にレンズ特性記憶部が設けられてもよい。

望ましくは、制御部は、センサ部から画素毎に読み出される信号に基づいてシェーディング特性を取得する。

本態様によれば、装着される光学系のシェーディング特性をセンサ部の信号に基づいて取得することができるため、たとえシェーディング特性が不明な光学系が装着された場合であってもその光学系のシェーディング特性を取得することができる。

望ましくは、撮像装置はユーザインターフェースを更に備え、制御部は、ユーザインターフェースを制御してシェーディング特性算出用画像の撮影をユーザに促し、シェーディング特性算出用画像の画像データに基づいてシェーディング特性を算出する。

本態様によれば、ユーザが撮影したシェーディング特性算出用画像に基づいて、光学系のシェーディング特性を取得することができる。

この「シェーディング特性算出用画像」として任意の撮影画像を使用することが可能であり、例えばライブビュー画像等を「シェーディング特性算出用画像」として使用してもよい。

望ましくは、制御部は、複数フレーム分の信号をセンサ部から読み出し、その複数フレーム分の信号の加算平均値に基づいてシェーディング特性を取得する。

本態様によれば、複数フレーム分の信号の加算平均値に基づいてシェーディング特性を精度良く取得することができる。

ここでいう「複数フレーム分の信号」とは「複数の画像を構成する信号」である。各フレーム（各画像）を構成する信号は、センサ部の全画素からの信号であってもよいが、センサ部の一部画素からの信号であってもよい。ただし、「複数フレーム分の信号」にセンサ部の全画素からの信号が含まれていることが好ましい。例えば複数フレームのライブビュー画像の信号を加算平均することによって、光学系のシェーディング特性を算出することも可能である。

本発明の他の態様は、着脱可能な光学系を介して受光した光に応じた信号を生成する複数の画素を含み、その複数の画素が生成する信号の非破壊読み出しが可能な構成を有するセンサ部と、センサ部から画素毎に信号を読み出す読出部と、読出部によって読み出された信号を画素毎に加算して蓄積可能な信号記憶部と、を備える撮像装置によって受光像の画像データを生成する撮像方法であって、光学系のシェーディング特性を取得するステップと、センサ部から信号を読み出して信号記憶部に蓄積するステップと、信号記憶部に蓄積される画素毎の信号から画像データを生成するステップと、を備え、複数の画素の各々は、カラーフィルタと、受光した光に応じた電荷を生成する光電変換層を含む有機層とを有し、シェーディング特性に基づいて、複数の画素のうち中央部の画素の信号の読み出し回数と周辺部の画素の信号の読み出し回数との比率が定められ、中央部の画素の信号の読み出し回数よりも周辺部の画素の信号の読み出し回数は多く設定される撮像方法に関する。

本発明によれば、シェーディング特性に基づいて信号の読み出し回数が設定され、信号記憶部に蓄積される画素毎の信号から画像データが生成されるため、ノイズ成分の増大を防ぎつつシェーディングによる画質劣化を改善することができる。

また、信号読み出し回数の設定の基礎となるシェーディング特性は、着脱可能な光学系に応じて取得されるため、様々な光学系に対して柔軟に本発明を適用することができる。

図１Ａは、シェーディングを説明するための画像例を示す図である。 図１Ｂは、撮像素子（画素）を示す平面図である。 図２は、シェーディング補正前後における像高と画像の明るさ（光量比）との関係例を示すグラフである。 図３は、本発明の一実施形態に係る撮像装置を斜め前方から見た斜視図である。 図４は、図３に示す撮像装置の背面図である。 図５は、撮像装置（デジタルカメラ）の構成例を示すブロック図である。 図６は、撮像素子の構成例を示す断面図であり、撮像素子を構成する複数画素の一部（３画素分）を図示する。 図７は、撮像素子の回路図であり、主としてセンサ部（共通電極、有機層、個別電極）と、センサ部から画素毎に信号を非破壊読み出しする読出部との回路構成例が示されている。 図８は、撮像素子及びその周辺回路の構成例を示す図である。 図９は、本体コントローラの画像処理部（シェーディング補正部）の構成を示すブロック図である。 図１０は、シェーディング補正処理の流れを示すフローチャートである。 図１１は、光学系のシェーディング特性を取得する処理の流れを示すフローチャートである。 図１２は、第１実施形態に係る画像処理プロセスを示すフローチャートである。 図１３は、第２実施形態に係る画像処理プロセスを示すフローチャートである。 図１４は、第３実施形態に係る画像処理プロセスを示すフローチャートである。 図１５は、第４実施形態に係る画像処理プロセスを示すフローチャートである。 図１６は、撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図１７は、図１６に示すスマートフォンの構成を示すブロック図である。

図１Ａは、シェーディングを説明するための画像例を示す図であり、図１Ｂは、撮像素子（画素）を示す平面図である。図１Ａでは、濃淡によって画像Ｉにおける明暗が示され、淡い部分（白色部分）ほど明るく、濃い部分（黒色部分）ほど暗い。図１Ｂには撮像素子（イメージセンサ）２６の複数画素４０の一部のみが図示されているが、画素４０は連続的に２次元状に隣接配置されている。図２は、シェーディング補正前後における像高と画像の明るさ（光量比）との関係例を示すグラフである。図２のＸ軸は撮影画像における「像高」（画像中心からの距離）を示し、図２の「Ｏ」は画像中心位置（像高＝０）を示す。一方、図２のＹ軸は、撮影画像の像高毎の光量を所定値（例えば画像中心位置における光量）に基づいて正規化した「光量比」を示す。

シェーディングは撮影光学系（レンズ部）の光学特性に起因し、撮影光学系による減光度が像高に応じて変動し、一般に撮影画像の中央部（図１Ａの点線部「Ｃ」参照）に比べて周辺部が暗くなる現象である。シェーディング補正は、このシェーディングによる画像の明るさムラ（輝度ムラ）を解消する画像処理であり、画像中心部の明るさを基準にして画像周辺部の明るさをアップする処理である。

シェーディングは撮影光学系の特性によって変動し、実際の撮影に用いられる光学系に応じてシェーディングによる輝度ムラの出現態様や程度は様々である。したがって交換レンズ型の撮像装置により撮影された画像に適切なシェーディング補正を行うためには、実際の撮影に使用された光学系（交換レンズ）のシェーディング特性を把握し、そのシェーディング特性に基づいて画像の明るさを調整する必要がある。

本件発明者は鋭意研究の結果、従来の周辺部画素の信号ゲインアップによる手法に代え、非破壊読み出し可能な撮像素子を使用し、一回の露光処理（単一画像撮影取得処理）で、撮像素子の周辺部画素から信号の非破壊読み出しを複数回行って読み出した信号を積算する手法を新たに見いだした。中央部画素及び周辺部画素からの非破壊読み出し及び信号加算（積算）の回数（比率）は、撮影光学系のシェーディング特性に応じて決められ、中央部画素に比べて周辺部画素からの非破壊読み出し及び信号加算の回数が多く設定される。これにより、画像中央部と周辺部との間における明るさ（輝度）のバランスがとられ、シェーディング補正を精度良く行うことができる。

周辺部画素からの信号を複数回読み出して積算することで周辺部画素の画素データを求めることで、画像周辺部のノイズ成分を抑制及び低減し、良画質の画像を得ることができる。すなわち、撮像素子から信号（電荷）をｎ回読み出して積分（加算）すると、信号の大きさがｎ倍になる一方でランダムノイズ（アンプノイズ等）が低減化されるため、全体としてＳＮ比は向上する。特に有機薄膜及びキャパシタを具備する撮像素子が用いられ、各画素のキャパシタに蓄積される電荷（電子）に混ざるノイズ（熱的励起により生じるノイズ等）が無視可能な程度に小さい場合、ノイズの主成分はアンプノイズとなるため、信号の複数回読み出し及び積算によるノイズ抑制の効果はより一層高まる。また画素信号の非破壊読み出し方式及び積分方式を採用することにより、短い露光時間でノイズを増やさずに、シェーディングによる画質劣化を有効に改善することができる。

なお、撮像素子の各画素からの信号（電荷）の読み出し方式には「破壊読み出し方式」と「非破壊読み出し方式」とがある。破壊読み出し方式では、対象画素から電荷が一旦読み出されると、その画素に蓄えられた電荷は破棄（リセット）され、読み出し時までに蓄えられた電荷（信号）をその対象画素から再度読み出すことができない。一方、非破壊読み出し方式では、対象画素に蓄えられる電荷を基本的には何度でも繰り返し読み出すことができる。例えば電荷を蓄積するキャパシタを画素毎に設け、そのキャパシタに留め置かれる電荷を何度でも読み込み可能な構成を採用することで、非破壊読み出し方式を実現することができる。

また本件発明者は、シリコンフォトダイオードではなく「有機薄膜」を具備する受光部によって構成される非破壊読み出し方式の撮像素子と、上述のシェーディング補正技術とを組み合わせることで、シェーディング補正による画質改善効果が相乗的に高まるという知見を得るに至った。

シリコンフォトダイオードは、得られる信号強度の光線角度依存性が比較的高く、受光角度が制限される。したがって、シリコンフォトダイオードを具備するＣＭＯＳセンサによって撮影された画像におけるシェーディングの影響は、撮影光学系と撮像素子（シリコンフォトダイオード）との組み合わせによって変動する。そのため、シリコンフォトダイオードを用いた撮像素子によって撮影された画像のシェーディングを精度良く改善するためには、撮影光学系及び撮像素子の両者の特性を反映したシェーディング補正を行う必要がある。

一方、光吸収係数が大きい有機薄膜は、得られる信号強度の光線角度依存性が非常に小さく、受光角度が広範囲に及ぶ。したがって、有機薄膜を具備する撮像素子（有機ＣＭＯＳセンサ等）によって撮影された画像におけるシェーディングの影響は主として撮影光学系の特性によって決まり、センサ特性を考慮することなく撮影光学系の特性のみに基づいて有効なシェーディング補正を行うことができる。なお、有機ＣＭＯＳセンサを用いる場合であっても、中央部画素よりも周辺部画素の信号ゲインを上げることでシェーディング補正を行うことができるが、その場合にも、撮影光学系のシェーディング特性のみによってゲイン値を決めることが可能である。

なお、上述の有機ＣＭＯＳセンサによって撮影された画像の輝度シェーディングを考慮した技術や、下記の有機ＣＭＯＳセンサの特性を利用するシェーディング補正技術は、従来提案されていない。

以下、上述のシェーディング補正技術を適用したレンズ交換式の撮像装置について説明する。

図３は、本発明の一実施形態に係る撮像装置（デジタルカメラ）を斜め前方から見た斜視図である。図４は、図３に示す撮像装置の背面図である。

本例の撮像装置１は、カメラ本体１０と、カメラ本体１０に着脱可能に装着される交換レンズユニット１２（光学系）とを備え、被写体の受光像の画像データを生成する。

カメラ本体１０の前面には、交換レンズユニット１２が装着されるマウント１０−１及び光学ファインダのファインダ窓１０−２等が設けられる。カメラ本体１０の上面には、シャッターレリーズボタン１０−３、シャッター速度ダイヤル１０−４、及び露出補正ダイヤル１０−５等が設けられる。カメラ本体１０の背面には、光学ファインダの接眼部１０−６、ＭＥＮＵ／ＯＫキー１０−７、十字キー１０−８、及び液晶モニタ１０−９等が設けられる。

液晶モニタ１０−９は、撮影画像（撮影モード時のライブビュー画像及び再生モード時の撮影画像等）を表示する画像表示部として機能するとともに、各種のメニュー画面を表示する操作指示表示部として機能する。ＭＥＮＵ／ＯＫキー１０−７は、液晶モニタ１０−９にメニュー画面を表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備する操作部である。十字キー１０−８は上下左右の４方向の指示を入力する操作部であり、液晶モニタ１０−９に表示されるメニュー画面から各種設定項目の選択を指示するボタンとして機能する。また、十字キー１０−８の上／下キーは撮影時のズームスイッチ或いは再生モード時の再生ズームスイッチとしても機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとしても機能する。

図５は、撮像装置１の全体構成例を示すブロック図である。撮像装置１のカメラ本体１０と交換レンズユニット１２とは、カメラ本体１０のカメラ本体入出力部３０と交換レンズユニット１２のレンズユニット入出力部２２とを介して電気的に接続され、信号の送受信を行うことができる。

交換レンズユニット１２は、レンズ１６や絞り１７等を含む光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示せず）とを含む。

レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１０から送られてくる制御信号に基づき、アクチュエータを介して光学系（レンズ１６及び絞り１７等）を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、及び絞り１７の絞り量制御等を行う。また、レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１０（本体コントローラ２８）から送られてくる制御信号（リクエストコマンド）に応じて、光学系の特性をカメラ本体１０に送信する。

レンズユニットメモリ２４は、交換レンズユニット１２の特性データを保持し、レンズユニットコントローラ２０によって、レンズユニットメモリ２４に保持される特性データがカメラ本体１０の本体コントローラ２８に送られる。特に本例のレンズユニットメモリ２４には交換レンズユニット１２（光学系）のシェーディング特性を表すデータ類が保持され、必要に応じて、レンズユニットメモリ２４から本体コントローラ２８にシェーディング特性のデータが送信される。

一方、カメラ本体１０は、撮像素子２６、本体コントローラ２８、カメラ本体入出力部３０、入出力インターフェース３２、及びユーザインターフェース３４等を具備する。

撮像素子２６は、複数の画素４０を含み（図１Ｂ参照）、各画素はＲＧＢ等のカラーフィルタ及びイメージセンサを有する。各画素４０は、交換レンズユニット１２の光学系（レンズ１６及び絞り１７等）を介して受光した光に応じて電気信号を生成し、画像信号（原画像データ）を本体コントローラ２８に送る。本例の撮像素子２６は、有機ＣＭＯＳセンサによって構成される。各画素４０は、カラーフィルタと、このカラーフィルタを介して受光した光に応じた電荷を生成する光電変換層を含む有機層とを有し、各画素４０が生成する電荷（信号）の非破壊読み出しが可能な構成を撮像素子は有する。撮像素子２６の詳細な構成については後述する。

入出力インターフェース３２は、撮像装置１（カメラ本体１０及び本体コントローラ２８）と外部機器類（コンピュータ、サーバ、及びモバイルデバイス等）との間の情報のやり取りを仲介する部位である。例えば画像処理前後の画像データや撮像装置１（カメラ本体１０及び交換レンズユニット１２）の各種データが、入出力インターフェース３２を介して撮像装置１と外部機器類との間で送受信される。なお、入出力インターフェース３２に対する外部機器類の接続態様は特に限定されず、例えば有線接続及び無線接続のいずれであってもよい。

なお、撮像装置１（本体コントローラ２８）から外部機器類に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、及びＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。したがって本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルを外部機器類に送信してもよい。

ユーザインターフェース３４は、ユーザと撮像装置１（カメラ本体１０及び本体コントローラ２８）との間の情報のやり取りを仲介する部位であり、例えばユーザに対する各種の表示を行ったり、ユーザからの指示を受け付けたりする。例えば図３及び図４に示す各部（ファインダ窓１０−２、シャッターレリーズボタン１０−３、シャッター速度ダイヤル１０−４、露出補正ダイヤル１０−５、接眼部１０−６、ＭＥＮＵ／ＯＫキー１０−７、十字キー１０−８及び液晶モニタ１０−９等）が、ユーザインターフェース３４として機能する。

本体コントローラ２８は、撮像装置１を統括的に制御し、カメラ本体１０及び交換レンズユニット１２の各種デバイスを制御するデバイス制御部として機能するとともに、撮像素子２６によって撮影された画像に対する各種の画像処理を行う画像処理部として機能する。この本体コントローラ２８による各種制御（撮影制御、画像処理制御、画像データの記録／再生制御、画像（ライブビュー画像等）の表示制御、及び液晶モニタ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）の表示制御等）は、ユーザインターフェース３４を介したユーザからの操作信号や入出力インターフェース３２を介した外部機器類からの操作信号に基づいて行われる。

したがって本体コントローラ２８は、例えば撮像素子２６からの画像信号の出力を制御したり、交換レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介して交換レンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類に画像処理前後の画像データを送信したりする。また本体コントローラ２８は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行う。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理等の各種の画像処理が、本体コントローラ２８において適宜行われる。特に本例の本体コントローラ２８は、後述のように、画像信号（原画像データ）に対してシェーディング補正を施す。シェーディング補正の詳細については後述する。

また本体コントローラ２８は、ＡＥ検出部及びＡＦ検出部（図示せず）を有し、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ（自動露出））処理及びＡＦ（Ａｕｔｏ Ｆｏｃｕｓ（オートフォーカス））処理を行う。

シャッターレリーズボタン１０−３の第１段階の押し下げ（半押し）が行われるとＡＥ動作が開始され、本体コントローラ２８は撮像素子２６から画像信号（デジタル信号）をＡＥ検出部に取り込む。ＡＥ検出部では、画面全体に対応するデジタル信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたデジタル信号を積算する。本体コントローラ２８は、その積算値より被写体の明るさ（撮影ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値）を算出し、この撮影ＥＶ値に基づいて絞り値（Ｆ値）及び電子シャッター（シャッター速度）を所定のプログラム線図に従って決定する。本体コントローラ２８は、決定した絞り値に基づいて絞り１７を制御するとともに、決定したシャッター速度に基づいて撮像素子２６での電荷蓄積時間を制御する。一方、ＡＦ検出部は、シャッターレリーズボタン１０−３の半押し時に取り込まれるＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値をＡＦ評価値として算出することができる。本体コントローラ２８は、交換レンズユニット１２のフォーカスレンズ（図示せず）を至近から無限遠側に移動させ、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）に対する焦点調節を行うことができる。

ＡＥ動作及びＡＦ動作が終了し、シャッターレリーズボタン１０−３の第２段階の押し下げ（全押し）が行われると、本体コントローラ２８は、その全押しに応答して撮像素子２６からデジタル信号を取得してメモリ（図示せず）に一時的に記憶する。本体コントローラ２８において、一時的に記憶されたデジタル信号は適宜読み出され、各種の信号処理（画像処理）が行われ、処理後の輝度データＹ及び色差データＣｒ、Ｃｂが画像データとして再びメモリに記憶される。本体コントローラ２８は、メモリに記憶された輝度データＹ及び色差データＣｒ、ＣｂをＪＰＥＧなどのフォーマットに従って圧縮処理し、圧縮された画像データに、撮影日時や撮影条件等の所要の付属情報を付加して、メモリカード等の記録媒体（図示せず）に画像データを記録する。

なお、各コントローラ（レンズユニットコントローラ２０及び本体コントローラ２８）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）やメモリ等を具備する。

＜撮像素子＞
図６は、撮像素子２６の構成例を示す断面図であり、撮像素子２６を構成する複数画素の一部（３画素分）を図示する。

本例の撮像素子２６は、有機光電変換膜とＣＭＯＳ信号読み出し基板とを具備する有機ＣＭＯＳセンサによって構成され、Ｒ画素４０Ｒ、Ｇ画素４０Ｇ及びＢ画素４０Ｂそれぞれの画素群を含む。画素４０は、カラーフィルタ４２、中間レイヤー４４、共通電極４６、有機層４８、個別電極５０、ビアプラグ５２、絶縁層５３、読出部５４及びＣＭＯＳ基板５６が順次積層されて構成される。この積層体のうち、カラーフィルタ４２、個別電極５０、ビアプラグ５２及び読出部５４は画素毎に設けられるが、中間レイヤー４４、共通電極４６、有機層４８、絶縁層５３及びＣＭＯＳ基板５６は複数の画素４０に共通に設けられる。

ＣＭＯＳ基板５６はガラス基板やＳｉ（シリコン）等の半導体基板であり、キャパシタを含む読出部５４がＣＭＯＳ回路としてＣＭＯＳ基板５６に設けられる。ＣＭＯＳ基板５６上には絶縁層５３が形成され、絶縁層５３の表面には複数の個別電極５０が形成される。個別電極５０と読出部５４とは、画素毎に、絶縁層５３を貫通するビアプラグ５２を介して接続される。

有機層４８は、薄膜のパンクロ感光性有機光電変換膜によって構成される。有機光電変換膜（有機層４８）は、基本的に構造に制限が無い構造フリーの連続膜であり、読出部５４が設けられるＣＭＯＳ基板５６上に敷設可能である。したがって本例の有機層４８は、シリコンテクノロジーで要求される高価な微細加工プロセスを必要とせず、画素微細化に適している。

共通電極４６は、有機層４８を介して個別電極５０と対向する電極であり、入射光に対して透明な導電性材料で構成される。カラーフィルタ４２から共通電極４６に入射する光は、共通電極４６を透過して有機層４８に到達可能となっている。電圧供給部（図示せず）によって、共通電極４６と個別電極５０との間には電圧が印加される。この電圧が印加された状態で光が有機層４８に入射すると、有機層４８では受光量に応じた電荷が発生する。個別電極５０は、有機層４８で発生した電荷を捕集するための電荷捕集用の電極として機能する。

中間レイヤー４４は、共通電極４６上に形成される緩衝層、及びこの緩衝層とカラーフィルタ４２との間に形成される封止層、等を含む。

カラーフィルタ４２は、特定の波長域を通過させる一方で他の波長域を阻止するフィルタであり、Ｒ画素４０Ｒには赤色のカラーフィルタ４２が設けられ、Ｇ画素４０Ｇには緑色のカラーフィルタ４２が設けられ、Ｂ画素４０Ｂには青色のカラーフィルタ４２が設けられる。各色のカラーフィルタ４２の配置パターンは特に限定されず、例えばベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等の各種のパターンでカラーフィルタ４２を配置可能である。また、カラーフィルタの色（透過波長域）も特に限定されず、例えば透明（ホワイト）のフィルタやエメラルド等の他の色のフィルタをカラーフィルタ４２として用いてもよい。

有機層４８は、光吸収係数が高く光線角度依存性が非常に小さいため、非常に薄く形成することができる。したがって有機層４８を採用する有機ＣＭＯＳセンサでは、シリコンフォトダイオードを採用するＣＭＯＳセンサで生じる「隣接画素への電荷の混合」が起こりにくい。例えば裏面照射型のシリコンフォトダイオードＣＭＯＳセンサでは、シリコン（Ｓｉ）の光吸収係数が低いため、斜めに入射した光が隣接画素に入り込んでしまうことがある。また光照射面で発生した電荷の一部が、裏面側の読出部に到達する間に横方向に移動し、隣接画素の読出部によって読み出されることがある。しかしながら、本例の有機ＣＭＯＳ型の撮像素子２６は、光吸収係数が高い有機層４８を用いるため、そのような隣接画素への電荷混合が原理的に生じにくく、精度の高い画像撮影を行うことができる。

図７は、撮像素子２６の回路図であり、主としてセンサ部（共通電極４６、有機層４８、及び個別電極５０）と、センサ部から画素毎に信号を非破壊読み出し可能な読出部５４とにより構成される回路構成例が示されている。なお図７には、画素毎に設けられる単一の読出部５４が図示されている。

本例の読出部５４は、蓄積された電荷に対応する信号を非破壊方式で繰り返し読み出し可能なＣＭＯＳ回路を採用し、キャパシタＳＣ及びトランジスタＴＲ１、ＴＲ２、ＴＲ３等によって構成されている。ＣＭＯＳ回路構造は、低ノイズ化及び信号高速読み出し性に優れるだけではなく、信号の非破壊読み出し方式を簡便な構成で実現することができる。

個別電極５０と共通電極４６との間に電圧Ｖｔｏｐが印加された状態で有機層４８に光が入射すると、有機層４８では入射光量に応じた電荷が発生する。有機層４８で発生した電荷は、個別電極５０により捕集され、キャパシタＳＣに蓄積される。

リセット線は、トランジスタＴＲ１をＯＮ／ＯＦＦするためのものであり、リセット線の信号によってトランジスタＴＲ１のゲートをＯＮにすると、キャパシタＳＣに蓄積された電荷は、トランジスタＴＲ１を介してリセット・ドレイン線に排出され、ゼロにリセットされる。

行選択線には、後述する垂直ドライバから行選択信号が加えられ、行選択信号が加えられた行選択線に対応する１行分の読出部５４から、それぞれのキャパシタＳＣに蓄積された電荷に対応する信号が信号線に出力される。すなわち、キャパシタＳＣに蓄積された電荷に対応する電圧が、トランジスタＴＲ２とトランジスタＴＲ３とからなるソースフォロアアンプを介し、信号として信号線に出力される。

図８は、撮像素子２６及びその周辺回路の構成例を示す図である。

撮像素子２６は、複数の画素４０が２次元状に配列された画素領域３８と、垂直ドライバ３６−１と、タイミングジェネレータ３６−２と、信号処理部３６−３と、水平ドライバ３６−４と、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）３６−５と、シリアル変換部３６−６とを有する。

タイミングジェネレータ３６−２は、撮像素子２６を駆動するためのタイミング信号を供給し、間引き読み出しや部分読み出し等の読み出し制御を行う。信号処理部３６−３は、読出部５４の各列に対応して設けられている。垂直ドライバ３６−１は、１行分の読出部５４を選択し、選択された読出部５４から信号を読み出す。信号処理部３６−３は、垂直ドライバ３６−１により読み出された各列の読出部５４から出力された１行分の信号に対し、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理を行い、処理後の信号をデジタル信号に変換する。信号処理部３６−３で処理後の信号は、列毎に設けられた図示しないメモリに記憶される。水平ドライバ３６−４は、信号処理部３６−３のメモリに記憶された１行分の信号を順次読み出してＬＶＤＳ３６−５に出力する制御を行う。デジタル信号はＬＶＤＳ３６−５に従ってシリアル変換部３６−６に伝送され、シリアル変換部３６−６は、入力されるパラレルのデジタル信号をシリアルのデジタル信号に変換して出力する。

なお、シリアル変換部３６−６は省略されてもよい。また、信号処理部３６−３では相関二重サンプリング処理のみを実施するものとし、ＬＶＤＳ３６−５の代わりにＡＤ変換部（アナログ／デジタル変換部）を設ける構成としてもよい。また、信号処理部３６−３では相関二重サンプリング処理のみを実施するものとし、ＬＶＤＳ３６−５及びシリアル変換部３６−６を省略した構成としてもよい。

上述のように本例の有機ＣＭＯＳ型の撮像素子２６は、通常のＣＭＯＳセンサのシリコンフォトダイオードが有機光電変換膜（有機層４８）に置き換わった構造を有し、有機層４８で発生した電子がキャパシタに蓄積され、キャパシタの電位がアンプで増幅されて検出される。ただし、従来の撮像素子ではセンサの表面構造の影響で受光角度に制限があるが、本例の有機ＣＭＯＳ型の撮像素子２６では有機層４８によって光電変換が行われるため受光角度にほぼ制限がないというメリットがある。

撮像装置１の撮影モード時には、被写体光が撮影光学系（交換レンズユニット１２）を介して撮像素子２６の受光面に結像され、撮像素子２６の各読出部５４のキャパシタＳＣに蓄積された電荷の排出、及びキャパシタＳＣに蓄積された電荷に対応する信号の読み出し等が本体コントローラ２８によって制御される。撮像素子２６は、本体コントローラ２８から信号読み出し指令が加えられると、画素信号（デジタル信号）を順次、本体コントローラ２８に出力する。本体コントローラ２８では、シェーディング補正処理を含む各種の画像処理が行われ、被写体像の画像データが生成される。なお本体コントローラ２８は、撮像素子２６の複数画素４０のうち所望の画素４０のみから選択的に信号を読み出すことも可能である。

＜シェーディング補正＞
次に、シェーディング補正の詳細について説明する。図９は、本体コントローラ２８の画像処理部（シェーディング補正部）６０の構成を示すブロック図である。

画像処理部６０は、補正制御部６１、信号記憶部６２及び光学系特性取得部６３を有する。本例のシェーディング補正は画素４０から信号を複数回読み出して積算することで行われるため、「撮像素子２６からの画像データの読み出し処理（原画像データの生成処理）」と「シェーディング補正処理」とを同時又は連続的に行うことができる。したがって本例の画像処理部６０は、被写体像の原画像データの生成処理部として機能するとともに、シェーディング補正処理部としても機能する。なお「原画像データの生成処理」及び「シェーディング補正処理」は必ずしも同じ処理部で行われる必要はなく、「原画像データの生成処理」及び「シェーディング補正処理」のそれぞれが別体の処理部によって行われてもよい。

信号記憶部６２は、撮像素子２６の読出部５４によって読み出された信号を画素毎に加算して蓄積可能な構成を有し、任意のメモリ部材によって構成される。

光学系特性取得部６３は、交換レンズユニット１２（光学系）のシェーディング特性を取得する。本例ではレンズユニットメモリ２４（図５参照）に光学系のシェーディング特性が記憶されているため、光学系特性取得部６３は、レンズユニットメモリ２４からレンズユニットコントローラ２０、レンズユニット入出力部２２及びカメラ本体入出力部３０を介し、撮影光学系のシェーディング特性に関する情報を取得する。

補正制御部６１は、信号記憶部６２及び光学系特性取得部６３を制御するとともに撮像素子２６の各読出部５４を制御し、撮影画像データの生成及びこの撮影画像データのシェーディング補正を行う。すなわち補正制御部６１は、読出部５４を介して各画素４０から信号（画素値）を非破壊方式で読み出して信号記憶部６２に記憶し、被写体像の画像データ（原画像データ）を生成する。また補正制御部６１は、光学系特性取得部６３を介して光学系のシェーディング特性を取得し、そのシェーディング特性に基づいてシェーディング補正を行う。より具体的には、補正制御部６１は、シェーディング特性に基づいて、撮像素子２６の複数の画素４０のうち中央部の画素４０の信号の読み出し回数と周辺部の画素４０の信号の読み出し回数との比率を定め、中央部の画素４０の信号の読み出し回数よりも周辺部の画素４０の信号の読み出し回数を多く設定する。補正制御部６１は、設定された読み出し回数に応じて各画素４０から信号を読み出して画素毎に信号記憶部６２に蓄積し、この信号記憶部６２に蓄積される画素毎の信号からシェーディング補正後の画像データを生成する。

図１０は、シェーディング補正処理の流れを示すフローチャートである。シェーディング補正処理を含む本例の撮像方法は、交換レンズユニット１２（光学系）のシェーディング特性を取得するステップと、撮像素子２６（センサ部）から信号を読み出して信号記憶部６２に蓄積するステップと、信号記憶部６２に蓄積される画素毎の信号から画像データを生成するステップと、を備える。

すなわち、まず被写体像の撮影に使用された光学系（交換レンズユニット１２）のシェーディング特性が光学系特性取得部６３によって取得され（図１０のＳ１１）、撮影画像に対するシェーディング補正の必要性が補正制御部６１によって判定される（Ｓ１２）。シェーディング補正の必要性の判定は、取得したシェーディング特性に基づいて行われる。例えば中央部画素４０と周辺部画素４０との減光度の差（輝度差）が所定の閾値よりも大きい場合にはシェーディング補正が必要であると判定し、その閾値以下の場合にはシェーディング補正が不要であると判定することができる。

シェーディング補正が不要であると判定される場合（Ｓ１２のＮ）、後述のシェーディング補正処理（Ｓ１３及びＳ１４）はスキップされ、シェーディング補正が行われることなく画像データは後段に送られる。

一方、シェーディング補正が必要であると判定される場合（Ｓ１２のＹ）、シェーディング特性に基づいて各画素（とりわけ周辺部画素）からの信号の読み出し回数が、補正制御部６１によって算出される（Ｓ１３）。シェーディング補正のための信号の読み出し回数は画素毎に設定可能であり、画像中央部の画素４０の信号値（画素値）を基準に、個別的に各画素４０からの信号の読み出し回数が定められる。したがってシェーディングの影響が大きく、画像の中央部と周辺部との明るさ（輝度値）の差が大きい交換レンズユニット１２（光学系）を用いて撮影された画像に対するシェーディング補正では、周辺部画素４０の読み出し回数が中央部画素４０の読み出し回数よりも相対的に増える。なお、シェーディングによる減光の影響が比較的大きい画素４０に対してはシェーディング補正のための読み出し回数が適宜設定されるが、シェーディングによる減光の影響が比較的小さい画素４０（中央部画素４０等）に対してはシェーディング補正のための読み出し回数を「０（ゼロ）」に設定可能である。

このようにして算出される読み出し回数に基づいて、各画素４０の信号（画素値）が読出部５４及び補正制御部６１によって読み出されて信号記憶部６２に積算記憶され、シェーディング補正された画像データが得られる（Ｓ１４）。

このように、シェーディングによる明るさ（減光度）の比率に応じて各画素４０からの信号読み出し回数の比率が定められ、撮像素子２６の中央部画素４０からの信号読み出し回数に比べて周辺部画素４０からの信号読み出し回数が増やされる。そして、複数回読み出された信号値は積算され、積算後の信号値に基づいて画像全体のデータ（シェーディング補正後の画像データ）が導き出される。このシェーディング補正における各画素４０からの信号の読み出し回数は、撮影光学系のレンズ特性（シェーディング特性）に基づいて可変である。したがって、本例のように撮像装置１が交換レンズシステムを採用する場合であっても、交換レンズユニット１２毎に最適化されたシェーディング補正を行うことができる。

なお上述の例では、レンズユニットメモリ２４（図３参照）が、撮影光学系のシェーディング特性を記憶するレンズ特性記憶部としての役目を果たしている。しかしながら交換レンズ型の撮像装置１では、シェーディング特性が不明である交換レンズユニット１２がカメラ本体１０に装着されることもあり、撮影光学系のシェーディング特性のデータが予め準備されていないこともある。以下、カメラ本体１０に装着される交換レンズユニット１２のシェーディング特性が予め求められてレンズ特性記憶部（レンズユニットメモリ２４等）に記憶されているケースと、交換レンズユニット１２のシェーディング特性が不明なケースとに対応可能な態様について説明する。

図１１は、光学系のシェーディング特性を取得する処理の流れを示すフローチャートである。

まず、装着された交換レンズユニット１２（光学系）のシェーディング特性を記憶するレンズ特性記憶部の有無が、補正制御部６１（本体コントローラ２８）によって判定される（図１１のＳ２１）。本例の補正制御部６１は光学系特性取得部６３を介してこのレンズ特性記憶部の有無を判定するが、具体的な判定手法は特に限定されない。また光学系のシェーディング特性を記憶するレンズ特性記憶部自体は存在するが、装着された交換レンズユニット１２のシェーディング特性がそのレンズ特性記憶部に記憶されていない場合には「レンズ特性記憶部無し」と判定してもよい。例えば交換レンズユニット１２にレンズ特性記憶部（レンズユニットメモリ２４）が設けられる場合、補正制御部６１（本体コントローラ２８）はレンズユニットコントローラ２０との通信によってレンズ特性記憶部の有無を判定してもよい。またカメラ本体１０にレンズ特性記憶部が設けられる場合、補正制御部６１は、レンズユニットコントローラ２０との通信によって装着された交換レンズユニット１２の種類情報を取得し、交換レンズユニット１２の種類に対応するシェーディング特性をレンズ特性記憶部が保持するか否かを確認することで、レンズ特性記憶部の有無を判定してもよい。また外部機器類（コンピュータ、サーバ等）にレンズ特性記憶部が設けられる場合、補正制御部６１はレンズユニットコントローラ２０との通信によって装着された交換レンズユニット１２の種類を取得してもよい。そして補正制御部６１は、入出力インターフェース３２を介した外部機器類との通信によって、取得した交換レンズユニット１２の種類に対応するシェーディング特性を取得可能か否か確認することで、レンズ特性記憶部の有無を判定してもよい。

シェーディング特性を記憶するレンズ特性記憶部が有ると判定される場合（Ｓ２１のＹ）、補正制御部６１は、装着された交換レンズユニット１２（光学系）のシェーディング特性を、光学系特性取得部６３を介してレンズ特性記憶部から読み出して取得する（Ｓ２４）。

一方、レンズ特性記憶部が無いと判定される場合（Ｓ２１のＮ）、補正制御部６１（本体コントローラ２８）は、装着された交換レンズユニット１２（光学系）のシェーディング特性を算出するための画像データを取得し（Ｓ２２）、このシェーディング特性算出用画像データからシェーディング特性を算出する（Ｓ２３）。この場合、補正制御部６１は、撮像素子２６（センサ部）から画素毎に読み出される信号に基づいて、装着された交換レンズユニット１２のシェーディング特性を取得する。

例えば補正制御部６１（本体コントローラ２８）は、ユーザインターフェース３４（図３参照）を制御してシェーディング特性算出用画像の撮影をユーザに促し、撮影されたシェーディング特性算出用画像の画像データに基づいてシェーディング特性を算出する。このシェーディング特性算出用画像は、単一の撮影画像であってもよいし、複数の撮影画像であってもよいが、シェーディング特性を精度良く求める観点からは複数の撮影画像に基づいてシェーディング特性が算出されることが好ましい。すなわち補正制御部６１は、複数フレーム分（複数画像）の信号を撮像素子２６（センサ部）から読み出し、複数フレーム分の信号の加算平均値に基づいてシェーディング特性を取得してもよい。複数フレーム分の信号値（画素値）を画素毎に加算（積算）し、加算回数（フレーム数）によって加算信号値の除算を行うことで、光学系のシェーディング特性を精度良く求められる。また補正制御部６１（本体コントローラ２８）はユーザインターフェース３４を介して一様な被写体（例えば全体が白色の被写体）の撮影をユーザに促し、そのような一様な被写体の撮影データをシェーディング特性算出用画像の画像データとして使用してもよい。

またレンズ特性記憶部が無いと判断される場合に備えて、例えばカメラ本体１０内に設けられるレンズ特性記憶部に、複数の代表的なシェーディング特性を記憶しておき、補正制御部６１（本体コントローラ２８）はユーザインターフェース３４を介して操作者に好みのシェーディング特性を選択させてもよい。

以下に、「画像データの取得」〜「シェーディング補正」〜「後処理及び画像データの記録」に関する一連の処理の代表的な実施形態について説明する。

＜第１実施形態＞
図１２は、第１実施形態に係る画像処理プロセスを示すフローチャートである。

本実施形態の画像処理プロセス（撮像方法）は、被写体像の画像データを取得するプロセス（原画像データ取得プロセス）と、画像データのシェーディング補正処理を行うプロセス（シェーディング補正プロセス）と、シェーディング補正後の画像データに対して他の画像処理を行って記録媒体に画像データを記録するプロセス（後処理プロセス）とを含む。

まず原画像データ取得プロセスにおいて、ＡＥ処理及びＡＦ処理が行われる（図１２のＳ３１）。これらのＡＥ処理及びＡＦ処理は本体コントローラ２８にコントロールされて任意の手法により行われ、ユーザが選択した撮影モード（絞り優先モード、シャッター速度優先モード、プログラムＡＥモード、又はマニュアルモード等）に応じてシャッター速度（露光時間）、絞り値（Ｆ値）、及びＩＳＯ感度等が設定され、結像位置（ピント）の調整が行われる。

そして本体コントローラ２８は、設定されたシャッター速度（秒）が「１／焦点距離」（秒）と同等若しくは速いか（「シャッター速度（秒）≦「１／焦点距離」（秒）」が満たされるか）を判定し（Ｓ３２）、光学系の焦点距離の情報に基づいて１回の露光時間を決める。シャッター速度が「１／焦点距離」と同等若しくはそれよりも速い場合、手振れの影響が小さくなり、撮影画像における画像ブレが生じにくくなる。したがってシャッター速度（秒）が「１／焦点距離（秒）」以下でありシャッター速度が「１／焦点距離」同等若しくはそれよりも速い場合（Ｓ３２のＹ）、本体コントローラ２８は設定されたシャッター速度で露光する（Ｓ３５）。そして、補正制御部６１は撮像素子２６の全画素（中央画素及び周辺画素の全て）の信号（画素値）を１回だけ読み出して信号記憶部６２に記憶する。これにより被写体の原画像データ（シェーディング補正前画像データ）が取得される。

ここでいう「シャッター速度」は、撮影の際に撮像素子２６が光学系（交換レンズユニット１２）を通した光に晒される（露出する）時間（露光時間）のことであり、この時間が短い（値が小さい）ほどシャッター速度が速く、時間が長い（値が大きい）ほどシャッター速度が遅くなる。また「焦点距離」は、ミリメートル（ｍｍ）を基準とした数値であり、例えば焦点距離が２００ｍｍの場合に「１／焦点距離」（秒）は「１／２００」（秒）となる。

一方、設定されたシャッター速度（秒）が「１／焦点距離」（秒）よりも大きくシャッター速度が「１／焦点距離」よりも遅い場合（Ｓ３２のＮ）、画像ブレを防ぐため、本体コントローラ２８はシャッター速度（露光時間）を「１／焦点距離」（秒）に調整して露光する（Ｓ３３）。この調整後の露光時間は、ＡＥ処理で設定された当初の露光時間（シャッター速度）よりも短くなるため、画像全体の光量（明るさ、輝度及び信号強度）が想定よりも不足する。このシャッター速度調整に伴う光量不足を補うため、補正制御部６１は、撮像素子２６の画素４０全体（中央画素及び周辺画素）の信号を複数回読み出して画素毎に加算（積算）して信号記憶部６２に蓄積し、信号記憶部６２に蓄積される画素毎の信号から被写体の原画像データを生成する（Ｓ３４）。すなわち、全画素４０の信号が複数回読み出されて画素毎に加算され、加算後の信号が信号記憶部６２に蓄積され、信号記憶部６２に蓄積される画素毎の信号から画像データが生成され、シャッター速度調整に伴う光量不足分が補われる。各画素からの信号の読み出し回数（積算回数）は、中央部の画素４０が適正に露光されるのに相当する回数（適正露光と同等の回数）に設定され、「当初設定されたシャッター速度」と「１／焦点距離」（秒）とに基づいて算出される。

なお本体コントローラ２８は、装着された交換レンズユニット１２（光学系）の「焦点距離」を任意の手法で取得することができる。例えばカメラ本体１０（本体コントローラ２８）側で焦点距離をコントロールする場合には、本体コントローラ２８は設定焦点距離を記憶するメモリ（図示せず）にアクセスして取得することができる。また交換レンズユニット１２側で焦点距離をコントロールする場合には、本体コントローラ２８はレンズユニットコントローラ２０にアクセスして焦点距離を取得することができる。

上述の原画像データ取得プロセス（Ｓ３１〜Ｓ３６）によって、被写体の原画像データが撮影取得される。次に、この原画像データに対してシェーディング補正が適用される。

すなわち補正制御部６１は、カメラ本体１０に装着された交換レンズユニット（装着レンズ）１２の「中央部−周辺部光量比データ」（シェーディング特性）を取得し（Ｓ３７：シェーディング特性取得ステップ）、このシェーディング特性に基づいてシェーディング補正が必要か否かを判定する（Ｓ３８）。シェーディング補正が不要であると判定される場合（Ｓ３８のＮ）、後述のシェーディング補正（Ｓ３９）はスキップされる。一方、シェーディング補正が必要であると判定される場合（Ｓ３８のＹ）、シェーディング特性に基づいて、周辺部画素の画素値を複数回読み出して加算（積算）することで、画像データのシェーディング補正を行う（Ｓ３９）。

上述のシェーディング特性の取得処理（Ｓ３７）の具体的な手法は特に限定されず、例えば図１１に示す処理フローに基づいてシェーディング特性を取得することが可能である。またシェーディング補正の必要性の判定（Ｓ３８）及びシェーディング補正（Ｓ３９）の具体的な手法も特に限定されず、例えば図１０に示す処理フローに基づいてこれらの処理を行うことが可能である。

なおシェーディング補正処理（Ｓ３９）において、撮像素子２６の読出部５４は、周辺部画素４０から信号を読み出す際、読み出し対象となっている周辺部画素４０のみから信号を読み出すことができる。光学系のシェーディング特性に基づいて読み出し対象となっている周辺部画素４０のみから部分的に信号を読み出すことで、読み出し時間を短縮することができ、読み出し処理時に生じうる熱を低減して熱ノイズの増加を抑えることができる。

本例では、上述のシェーディング補正プロセス（Ｓ３７〜Ｓ３９）後に他の画像処理が本体コントローラ２８において行われ（Ｓ４０）、シェーディング補正処理を含む各種の画像処理が施された被写体像の画像データは本体コントローラ２８によって記録媒体（図示せず）に記録保持される（Ｓ４１）。

このように「撮像素子（センサ部）２６から信号を読み出して信号記憶部６２に蓄積するステップ」及び「信号記憶部６２に蓄積される画素毎の信号から画像データを生成するステップ」は、上述のステップＳ３４、Ｓ３６及びＳ３９によって実現されている。

以上説明したように本実施形態によれば、シャッター速度（露光時間）が「１／焦点距離」秒若しくは「１／焦点距離」秒よりも短く設定され、被写体像のブレが抑制された良画質の画像データを取得することができる。

また上述のステップＳ３４及びＳ３９では、非破壊読み出し方式に基づいて、対象の画素４０から信号が複数回読み出されて積算され、最終的な画素信号が取得される。すなわち、シャッター速度が「１／焦点距離」（秒）よりも大きい（遅い）場合には撮像素子２６の全画素４０から信号が複数回読み出されて積算される（Ｓ３４）。またシェーディングによる減光度が大きい画素に関しては、シェーディング補正のために信号が読み出されて原画像データ（画素データ）に対して加算（積算）される（Ｓ３９）。この繰り返し読み出し及び積算による画素値算出（画像データ算出）によってＳＮ比が向上し、画像データの画質が改善される。すなわちＳＮ比のうち、信号値（Ｓ）は蓄積電荷に対応するので積算によって増大する。一方、ノイズ成分（Ｎ）は信号読み出し時のアンプで発生するランダムノイズが主成分となるため、加算回数が増えるほど平均化されてランダムノイズの占める割合が徐々に小さくなる。

また、周辺光量が中央部光量に比べて急激に落ちる光学系を用いた撮影の場合、周辺部画素４０の信号量が小さくなるため、従来のゲインアップによるシェーディング補正ではアンプノイズ（ランダムノイズ）が支配的になってしまう。したがってランダムノイズの占める割合を低減させる観点からは、シェーディング補正の手法として、上述の非破壊読み出し方式及び積算方式のほうが従来のゲインアップ方式よりも優れている。

なお、繰り返し読み出し及び積算による画素信号（画像データ）の取得手法は特に限定されないが、信号の積算（加算）はアナログ形式よりもデジタル形式のほうが利便性に優れるため、各画素４０からアナログ形式で読み出された信号は、ＡＤ変換によってアナログ形式からデジタル形式に変換されて積算記憶されることが好ましい。

また通常のシリコンフォトダイオードＣＭＯＳでは、レンズ起因の感度落ちに加えてセンサの感度落ちの影響も大きく、光学系及び撮像素子の両者の特性を反映したシェーディング補正を行うことが求められる。一方、本実施形態の有機ＣＭＯＳ型の撮像素子２６によれば、シェーディング補正を光学系情報のみに基づいて行うことができ、センサの特性は考慮することなく、光学系のシェーディング特性のみを取得することで高精度なシェーディング補正が可能であり利便性が高い。また有機ＣＭＯＳ型の撮像素子２６では、センサ起因の感度落ちや熱雑音の影響が非常に小さいため、非破壊読み出し積算方式によって画質劣化を効果的に防ぐことができる。

＜第２実施形態＞
上述の第１実施形態では、設定されたシャッター速度が「１／焦点距離」秒と同等又は速いか否かに基づいて１回の露光時間が決められるが、本実施形態では被写体が「動体」か「静止体」かに応じて１回の露光時間が決められる。

図１３は、第２実施形態に係る画像処理プロセスを示すフローチャートである。本実施形態において、上述の第１実施形態と共通する処理の詳細については説明を省略する。

本実施形態においても、第１実施形態と同様に原画像データ取得プロセス、シェーディング補正プロセス及び後処理プロセスが順次行われる。特に本実施形態のシェーディング補正プロセス（図１３のＳ５８〜Ｓ６０）及び後処理プロセス（Ｓ６１〜Ｓ６２）は、第１実施形態のシェーディング補正プロセス（図１２のＳ３７〜Ｓ３９）及び後処理プロセス（Ｓ４０〜Ｓ４１）と共通する。

ただし本実施形態の原画像データ取得プロセスにおいて、補正制御部６１（本体コントローラ２８）は、ＡＥ処理及びＡＦ処理（図１３のＳ５１）の後に、被写体判別情報を取得し（Ｓ５２）、被写体が動体か静止体かを判別する（Ｓ５３）。

ここでいう「被写体判別情報」は、被写体が「動体」か「静止体」かの判別の基礎となる情報である。この被写体判別情報は、被写体の動きを直接的又は間接的に表す情報であればよく、必ずしも厳密な被写体の動き情報である必要はなく、被写体の動体可能性又は静止体可能性を示す任意の指標を被写体判別情報として使用することができる。例えば被写体の動きベクトル、被写体種類、顔画像の有無、撮影モード等の各種情報を、被写体判別情報としうる。動きベクトル情報から被写体が動いている（及び／又は将来的に動く見込みが高い）と判定される場合には被写体が動体であると判定でき、被写体が動いていない（及び／又は将来的に動かない見込みが高い）と判定される場合には被写体が静止体であると判定できる。したがって、被写体の種別が例えば人物であると判定される場合には被写体が動体であると判定でき、風景であると判定される場合には被写体が静止体であると判定できる。また顔認識処理によって被写体に顔が含まれると判定される場合には被写体が動体であると判定でき、被写体に顔が含まれていないと判定される場合には被写体が静止体であると判定できる。また撮影モードがスポーツ撮影モード等の場合は被写体が動体であると判定でき、風景撮影モード等の場合は被写体が静止体であると判定できる。なお、被写体判別情報はこれらの情報に限定されるものではなく、判定手法も他の基準に則っていてもよく、被写体情報の取得手法も限定されない。

被写体が静止体であると判別される場合、設定されたシャッター速度で露光が行われ（Ｓ５６）、補正制御部６１は、撮像素子２６の全画素（中央画素及び周辺画素の全て）の信号を１回だけ読み出す（Ｓ５７）。これにより被写体の原画像データが取得される。

一方、被写体が動体であると判別される場合、撮影画像における画像ブレを防ぐため、補正制御部６１は、「１／焦点距離」（秒）及び「ＡＥ／ＡＦ処理によって設定された露光時間」のうちいずれか短いほうにシャッター速度（露光時間）を調整して露光処理を行う（Ｓ５４）。そして補正制御部６１は、撮像素子２６の画素４０全体（中央画素及び周辺画素）の信号を、中央部画素４０の適正露光量に相当する回数だけ読み出して積算する（Ｓ５５）。これにより被写体の原画像データが取得される。

これらのステップＳ５４及びＳ５５に関し、例えば設定されたシャッター速度（露光時間）よりも「１／焦点距離」（秒）が短い場合、「１／焦点距離」（秒）による露光撮影では、撮影画像全体の光量が想定よりも不足する。したがって「設定された露光時間（シャッター速度）」（秒）＞「１／焦点距離」（秒）を満たすケースにおいて「１／焦点距離」（秒）の露光撮影を行う場合、補正制御部６１は、撮像素子２６の画素４０全体（中央画素及び周辺画素）の信号を複数回読み出して積算し、積算後の画素値によって被写体の原画像データを取得する。一方、「設定された露光時間」≦「１／焦点距離」（秒）の場合、補正制御部６１は、「設定された露光時間（シャッター速度）」で露光処理を行い、撮像素子２６の全画素（中央画素及び周辺画素の全て）の信号を１回だけ読み出す。

原画像データが取得された後、シェーディング補正プロセス（Ｓ５８〜Ｓ６０）及び画像処理プロセス（Ｓ６１〜Ｓ６２）が行われる。

以上説明したように本実施形態によれば、被写体判別情報に基づいて被写体の動きの有無が推測されて最終的な露光時間（シャッター速度）が設定されるため、被写体像のブレが抑制された良画質の画像データを取得することができる。

＜第３実施形態＞
上述の第２実施形態では、被写体判別情報に基づいて被写体の動きの有無が推測されて１回の露光時間が決められるが、本実施形態では撮像装置１のブレ（手振れ）に応じて１回の露光時間が決められる。

図１４は、第３実施形態に係る画像処理プロセスを示すフローチャートである。本実施形態において、上述の第１実施形態及び第２実施形態と共通する処理の詳細については説明を省略する。

本実施形態においても、第１実施形態及び第２実施形態と同様に、原画像データ取得プロセス、シェーディング補正プロセス及び後処理プロセスが順次行われる。特に本実施形態のシェーディング補正プロセス（図１４のＳ７８〜Ｓ８０）及び後処理プロセス（Ｓ８１〜Ｓ８２）は、第１実施形態及び第２実施形態のシェーディング補正プロセス（図１２のＳ３７〜Ｓ３９、図１３のＳ５８〜Ｓ６０）及び後処理プロセス（図１２のＳ４０〜Ｓ４１、図１３のＳ６１〜Ｓ６２）と共通する。

ただし本実施形態の原画像データ取得プロセスにおいて、補正制御部６１は、ＡＥ処理及びＡＦ処理（図１４のＳ７１）の後に、本体ブレ情報を取得し（Ｓ７２）、撮像装置１の撮影ブレが大きいか否かを判別する（Ｓ７３）。

ここでいう「本体ブレ情報」は、撮像装置１のブレが大きいか否かの判別の基礎となる情報である。この本体ブレ情報は、撮像装置１のブレを直接的又は間接的に表す情報であればよく、必ずしも厳密な撮像装置１のブレ情報である必要はなく、撮像装置１のブレ量の大小を示す任意の指標を本体ブレ情報として用いることができる。例えばカメラ本体１０に設けられるジャイロセンサ（図示せず）等によって撮像装置１（カメラ本体１０、交換レンズユニット１２）の移動量（ブレ量）を計測し、計測したブレ量を本体ブレ情報としうる。この計測ブレ量が所定値よりも大きい場合には撮像装置１のブレが大きいと判定し、計測ブレ量が所定値以下の場合には撮像装置１のブレが大きくないと判定してもよい。なお、本体ブレ情報はこれらの情報に限定されるものではなく、判定手法も他の基準に則っていてもよく、本体ブレ情報の取得手法も限定されない。

撮像装置１の撮影ブレが大きくないと判別される場合（Ｓ７３のＮ）、本体コントローラ２８は設定されたシャッター速度で露光処理を行い（Ｓ７６）、補正制御部６１は、撮像素子２６の全画素（中央画素及び周辺画素の全て）の信号を１回だけ読み出す（Ｓ７７）。これにより被写体の原画像データが取得される。

一方、撮像装置１の撮影ブレが大きいと判別される場合（Ｓ７３のＹ）、画像ブレを防ぐため、本体コントローラ２８は、「１／焦点距離」（秒）及び「ＡＥ／ＡＦ処理によって設定された露光時間」のうちいずれか短いほうにシャッター速度（露光時間）を調整して露光処理を行う（Ｓ７４）。そして補正制御部６１は、撮像素子２６の画素４０全体（中央画素及び周辺画素）の信号を、中央部画素４０の適正露光量に相当する回数だけ読み出して積算する（Ｓ７５）。例えば、設定されたシャッター速度（露光時間）よりも「１／焦点距離」（秒）が短い場合、「１／焦点距離」（秒）による露光撮影では、撮影画像全体の光量が想定よりも不足する。したがって「設定された露光時間（シャッター速度）」（秒）＞「１／焦点距離」（秒）を満たすケースにおいて「１／焦点距離」（秒）の露光撮影を行う場合、補正制御部６１は、撮像素子２６の画素４０全体（中央画素及び周辺画素）の信号を複数回読み出して積算し、積算後の画素値によって被写体の原画像データを取得する。一方、「設定された露光時間」≦「１／焦点距離」（秒）の場合、補正制御部６１は、「設定された露光時間（シャッター速度）」で露光処理を行い、撮像素子２６の全画素（中央画素及び周辺画素の全て）の信号を１回だけ読み出す。これにより被写体の原画像データが取得される。

被写体像の画像データが取得された後、シェーディング補正プロセス（Ｓ７８〜Ｓ８０）及び画像処理プロセス（Ｓ８１〜Ｓ８２）が行われる。

以上説明したように本実施形態によれば、本体ブレ情報に基づいて撮像装置１の撮影時の動き（ブレ）の大小が推測されて露光時間が設定されるため、被写体像のブレが抑制された良画質の画像データを取得することができる。

＜第４実施形態＞
上述の第１実施形態のシェーディング補正プロセスでは、中央部画素４０の信号（画素値）の複数回の読み出しは行われないが、本実施形態のシェーディング補正プロセスでは中央部画素４０の信号が複数回読み出される。

図１５は、第４実施形態に係る画像処理プロセスを示すフローチャートである。本実施形態において、上述の第１実施形態と共通する処理の詳細については説明を省略する。

本実施形態においても、第１実施形態と同様に、原画像データ取得プロセス、シェーディング補正プロセス及び後処理プロセスが順次行われる。特に本実施形態の原画像データ取得プロセス（図１５のＳ９１〜Ｓ９６）及び後処理プロセス（Ｓ１００〜Ｓ１０１）は、第１実施形態の原画像データ取得プロセス（図１２のＳ３１〜Ｓ３６）及び後処理プロセス（Ｓ４０〜Ｓ４１）と共通する。

ただし本実施形態のシェーディング補正プロセスにおいて、補正制御部６１は、交換レンズユニット１２の「中央部−周辺部光量比データ」（シェーディング特性）を取得し（Ｓ９７）、シェーディング補正が必要であると判定される場合（Ｓ９８のＹ）、周辺部画素４０だけではなく中央部画素４０からも信号を複数回読み出してシェーディング補正を行う（Ｓ９９）。一方、シェーディング補正が不要であると判定される場合（Ｓ９８のＮ）にシェーディング補正処理（Ｓ９９）がスキップされる点は、第１実施形態と同様である。

シェーディング補正処理（Ｓ９９）において補正制御部６１は、シェーディング特性に基づいて中央部画素４０及び周辺部画素４０の画素値を１回又は複数回読み出し、中央部画素４０の信号を加算平均によって算出し、周辺部画素４０の信号を積算（加算）によって算出することで、シェーディング補正を行う。したがってシェーディング補正後の画像データのうち、中央部の画素のデータは信号記憶部６２に蓄積された信号の加算平均値に基づき、周辺部の画素のデータは信号記憶部６２に蓄積された信号の加算値に基づく。

シェーディング補正処理における中央部画素４０及び周辺部画素４０の画素値の読み出し回数は、シェーディング特性に基づいて定められ、シェーディングの影響を取り除いた本来の明るさ（輝度）を持つように、中央部画素４０の信号の加算平均演算が行われるとともに周辺部画素４０の信号の加算演算が行われる。なお本例では、原画像データ取得プロセス（Ｓ９１〜Ｓ９６）において取得された原画像データに対し、シェーディング補正（Ｓ９９）で読み出された信号値が付加されるため、原画像データを考慮してシェーディング補正（Ｓ９９）における信号読み出し回数が決められる。

このように本例のシェーディング補正（Ｓ９９）では、中央部画素４０の画素値が加算平均によって算出されるため、中央部画素４０の画素値に含まれるノイズ成分も平均化されて結果的にノイズ成分が低減し、画像中央部の画質を改善することができる。

以上説明したように本実施形態によれば、シェーディング補正処理において、周辺部画素４０の信号はシェーディングによる画質劣化を補うように積算演算されて最終的な画素値が求められ、シェーディングの影響を軽減することができる。一方、中央部画素４０の画素値は加算平均演算によってノイズ成分が抑制される。したがって、画像全体として画質をより一層効果的に向上させることができる。

＜他の実施形態＞
本発明の適用態様は上述の実施形態に限定されるものではない。また、上述の実施形態同士を適宜組み合わせてもよい。例えば「設定シャッター速度と焦点距離とによって露光時間を定める形態（第１実施形態）」、「被写体の動きによって露光時間を定める形態（第２実施形態）」、「撮像装置１の動きによって露光時間を定める形態（第３実施形態）」及び「シェーディング補正において中央部画素の信号を繰り返し読み出した信号値の加算平均演算によって算出する形態（第４実施形態）」のうち、任意の形態同士が組み合わされてもよい。

また上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１６は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図１６に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１７は、図１６に示すスマートフォン１０１の構成を示すブロック図である。図１７に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。

表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備えるいわゆるタッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

表示パネル１２１は、ＬＣＤ又はＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

本発明の撮像装置の一実施形態として図１６に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図１６に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図１６に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図１６に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮影が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影が行われてもよい。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮影取得される画像が利用さてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

上述のスマートフォン１０１において、カメラ部１４１のＣＭＯＳ撮像素子として有機ＣＭＯＳ型の撮像素子（図６〜図８参照）を利用することができる。また上述の画像処理部６０（補正制御部６１、信号記憶部６２及び光学系特性取得部６３：図９参照）は、例えば主制御部１００によって実現可能である。

１…撮像装置、１０…カメラ本体、１０−１…マウント、１０−２…ファインダ窓、１０−３…シャッターレリーズボタン、１０−４…シャッター速度ダイヤル、１０−５…露出補正ダイヤル、１０−６…接眼部、１０−７…ＯＫキー、１０−８…十字キー、１０−９…液晶モニタ、１２…交換レンズユニット、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２４…レンズユニットメモリ、２６…撮像素子、２８…本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…ユーザインターフェース、３６−１…垂直ドライバ、３６−２…タイミングジェネレータ、３６−３…信号処理部、３６−４…水平ドライバ、３６−６…シリアル変換部、３８…画素領域、４０…画素、４０Ｂ…Ｂ画素、４０Ｇ…Ｇ画素、４０Ｒ…Ｒ画素、４２…カラーフィルタ、４４…中間レイヤー、４６…共通電極、４８…有機層、５０…個別電極、５２…ビアプラグ、５３…絶縁層、５４…読出部、５６…ＣＭＯＳ基板、６０…画像処理部、６１…補正制御部、６２…信号記憶部、６３…光学系特性取得部、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (8)

1. 交換可能な光学系が装着され、受光像の画像データを生成する撮像装置であって、
   前記光学系を介して受光した光に応じた信号を生成する複数の画素を含み、当該複数の画素が生成する前記信号の非破壊読み出しが可能な構成を有するセンサ部と、
   前記センサ部から前記画素毎に前記信号を非破壊読み出しする読出部と、
   前記読出部によって読み出された前記信号を前記画素毎に加算して蓄積可能な信号記憶部と、
   前記光学系のシェーディング特性を取得し、前記読出部及び前記信号記憶部を制御する制御部と、を備え、
   前記複数の画素の各々は、受光した光に応じた電荷を生成する光電変換層を含む有機層を有し、
   前記制御部は、前記シェーディング特性に基づいて、前記複数の画素のうち中央部の画素の前記信号の読み出し回数と周辺部の画素の前記信号の読み出し回数との比率を定め、前記中央部の画素の前記信号の読み出し回数よりも前記周辺部の画素の前記信号の読み出し回数を多く設定して、前記信号記憶部に蓄積される前記画素毎の前記信号から前記画像データを生成する撮像装置。
2. 前記制御部は、前記中央部の画素の前記信号を複数回読み出し前記画素毎に加算して前記信号記憶部に蓄積し、前記信号記憶部に蓄積される前記画素毎の前記信号から前記画像データを生成する請求項１に記載の撮像装置。
3. 前記画像データのうち、前記中央部の画素のデータは前記信号記憶部に蓄積された前記信号の加算平均値に基づき、前記周辺部の画素のデータは前記信号記憶部に蓄積された前記信号の加算値に基づく請求項１又は２に記載の撮像装置。
4. 前記制御部は、前記光学系のシェーディング特性を記憶するレンズ特性記憶部から前記シェーディング特性を取得する請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記制御部は、前記センサ部から前記画素毎に読み出される前記信号に基づいて前記シェーディング特性を取得する請求項１〜３のいずれか一項に記載の撮像装置。
6. ユーザインターフェースを更に備え、
   前記制御部は、前記ユーザインターフェースを制御してシェーディング特性算出用画像の撮影をユーザに促し、前記シェーディング特性算出用画像の前記画像データに基づいて前記シェーディング特性を算出する請求項５に記載の撮像装置。
7. 前記制御部は、複数フレーム分の前記信号を前記センサ部から読み出し、当該複数フレーム分の前記信号の加算平均値に基づいて前記シェーディング特性を取得する請求項５又は６に記載の撮像装置。
8. 交換可能な光学系を介して受光した光に応じた信号を生成する複数の画素を含み、当該複数の画素が生成する前記信号の非破壊読み出しが可能な構成を有するセンサ部と、
   前記センサ部から前記画素毎に前記信号を読み出す読出部と、
   前記読出部によって読み出された前記信号を前記画素毎に加算して蓄積可能な信号記憶部と、を備える撮像装置によって受光像の画像データを生成する撮像方法であって、
   前記光学系のシェーディング特性を取得するステップと、
   前記センサ部から前記信号を読み出して前記信号記憶部に蓄積するステップと、
   前記信号記憶部に蓄積される前記画素毎の前記信号から前記画像データを生成するステップと、を備え、
   前記複数の画素の各々は、受光した光に応じた電荷を生成する光電変換層を含む有機層を有し、
   前記シェーディング特性に基づいて、前記複数の画素のうち中央部の画素の前記信号の読み出し回数と周辺部の画素の前記信号の読み出し回数との比率が定められ、前記中央部の画素の前記信号の読み出し回数よりも前記周辺部の画素の前記信号の読み出し回数は多く設定される撮像方法。