JP5937767B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP5937767B2
JP5937767B2 JP2015539160A JP2015539160A JP5937767B2 JP 5937767 B2 JP5937767 B2 JP 5937767B2 JP 2015539160 A JP2015539160 A JP 2015539160A JP 2015539160 A JP2015539160 A JP 2015539160A JP 5937767 B2 JP5937767 B2 JP 5937767B2
Authority
JP
Japan
Prior art keywords
divided
pixel
unit
aperture
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015539160A
Other languages
English (en)
Other versions
JPWO2015046045A1 (ja
Inventor
貴嗣 青木
貴嗣 青木
大槻 康夫
康夫 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP5937767B2 publication Critical patent/JP5937767B2/ja
Publication of JPWO2015046045A1 publication Critical patent/JPWO2015046045A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/02Diaphragms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/26Power supplies; Circuitry or arrangement to switch on the power source; Circuitry to check the power source voltage
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30Devices controlled by radiation
    • H10K39/32Organic image sensors

Description

本発明は、撮像装置及び撮像方法に係り、特に有機層を光電変換部とするイメージセンサを有する撮像装置及び撮像方法に関する。
従来の機械的な絞りを有するカメラは、撮像素子が露光される際の絞り値(F値)が1つに固定されてしまい、その絞り値に応じた画像しか得ることができなかった。そのため、従来のカメラは、1度の露光で複数の絞り値に対応する画像を取得することは困難であった。
特許文献1には、撮像素子の複数の画素に対して一つのマイクロレンズを有し、複数の画素から得た画素データに対して重み付けを行い画像を再構築する撮像装置が提案されている。これにより、撮影後に画像の被写界深度を調節したり特徴的なボケを表現したりする。
特許文献2には、撮影レンズの二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む撮像装置が提案されている。これにより、1回の取り込みで立体画像を得ることができる。
特許文献3には、非破壊読出し可能であり、複数の画素データを同一若しくは異なる露光時間で読み出す固体撮像装置が提案されている。これにより、異なる露光時間で読出された画素のデータを取得することができる。
ところで、一般にイメージセンサは、光電変換層としてシリコン基板内に形成されたシリコン結晶構造からなるフォトダイオードが使用されているが、近年、特許文献4に示されるような、有機層を光電変換部とするイメージセンサが提案されている。
また、特許文献4で提案されるイメージセンサの有機層からなる光電変換部は、フォトダイオードに比べて吸収係数が大きいため薄膜化することができ、その結果、隣接画素への電荷拡散が少なく、受光面への光線の入射角が大きくても光学的な混色と電気的な混色(クロストーク)が発生しにくく、また、画素サイズの微細化に適するという利点がある。
特開2009−159357号公報 特開2006−105771号公報 特開平5−130513号公報 特開2011−071483号公報
特許文献1から4で提案される撮像装置では、機械的な絞りを使用せずに絞り値を制御する技術は開示されておらず、また、一度の撮影で複数の絞り値に対応する画像を取得するための技術は開示されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、機械的な絞りを使用せずに絞り値を制御することができ、また、一度の撮影により絞り値が異なる複数の画像を取得することができ、混色が抑制された良質な画像を取得することができる撮像装置及び撮像方法を提供することである。
本発明の一の態様である撮像装置は、光電変換する有機層を有する複数の画素が、2次元状に配列されて構成されたイメージセンサであって、上記複数の画素の各々は、複数の領域に分割され、かつ撮影光学系の瞳像を複数の領域に結像させるオンチップマイクロレンズと、分割された領域ごとに光電変換された信号をそれぞれ読み出す読出部と、を有するイメージセンサと、電子的に絞り値を制御する電子絞り部であって、絞り値に基づいて読出部により読み出す分割領域を選択し、又は読出部により読み出した複数の分割領域の信号から絞り値に基づいて信号を選択する電子絞り部と、を備える。
本態様によれば、電子絞り部は、絞り値に応じて、分割された画素の領域又は信号を選択する。これにより、本態様は、機械的な絞りを有さなくても、所望の絞り値に応じた画像を取得することができる。
また、本態様によれば、有機層を有するイメージセンサを使用しているため、光電変換部を薄膜化することができる。これにより、本態様は、オンチップマイクロレンズを使用して複数の領域に分割された画素においても、混色の発生が抑制された画像を取得することができる。
ここで、絞り値は、機械的な絞りを有する撮像装置において使用されている絞り度合いを表す値のことである。例えば、絞り値としてはF値を採用することができる。
望ましくは、電子絞り部で選択された分割領域から読出部により読み出された信号、又は電子絞り部が選択した信号に基づいて画像を生成する画像生成部を有し、電子絞り部は、複数の絞り値に応じた複数の分割領域から信号を読み出し、又は複数の絞り値に応じた複数の分割領域の信号を選択し、画像生成部は、複数の絞り値の絞り値ごとの画像を生成する。
本態様によれば、画像生成部が電子絞り部で選択された分割領域から読出部により読み出された信号、又は電子絞り部が選択した信号に基づいて画像を生成する。これにより、本態様は、1回の撮影で複数の絞り値絞り値ごとの画像を取得することができる。
望ましくは、イメージセンサが有する画素は、画素の中央部では画素の周辺部よりも分割幅が小さい分割領域を有する。
本態様によれば、画素の中央部では画素の周辺部よりも分割幅が小さい分割領域を有する。これにより、本態様は、光線角度と絞り値との対応関係に沿った形で画素を分割することができ、より適切な絞り値に応じた画像を取得することができる。
望ましくは、イメージセンサが有する画素は、分割幅が等しい分割領域を有する。
本態様によれば、画素は分割幅が等しい分割領域を有する。これにより、本態様は、イメージセンサの製造を効率的に行うことができる。
望ましくは、イメージセンサは、複数の単色のカラーフィルタから構成されるフィルタを有し、単色のカラーフィルタは、画素に応じて配置され、画素は、単色のカラーフィルタの色に応じて、分割幅が異なる分割領域を有する。
本態様によれば、画素はカラーフィルタの色に応じて分割幅が異なる分割領域を有する。これにより、本態様は、光の波長に対応して分割幅を変えることができ、的確な分割領域により光を受けることができる。
望ましくは、イメージセンサが有する画素は、イメージセンサの中央部に配置される場合には、画素の中心に対して対称に分割され、イメージセンサの周辺部に配置される場合には、画素の中心に対して非対称に分割される。
本態様によれば、イメージセンサ内での画素の配列位置に応じて、画素の分割のされ方が変わる。これにより、本態様は、より的確に画素が光を取り込むことができる。これは、いわゆるスケーリングである。
望ましくは、読出部は、電子絞り部により複数の絞り値に応じた複数の分割領域から信号を読み出す場合に、複数の絞り値に基づいて信号の露光時間を変えて非破壊読み出しを行い、電子絞り部が小絞り側の絞り値に基づいて分割領域を選択する場合には、電子絞り部が開放側の絞り値に基づいて分割領域を選択する場合よりも長く露光させる。
本態様によれば、小絞り側の絞り値に基づいて分割領域を選択する場合には、長く露光させる。これにより、本態様は、小絞り側の絞り値に応じて電子絞り部が選択した少ない分割領域だけで画像を作成する場合であっても十分な光量を確保することができる。
望ましくは、読出部により読み出された信号を増幅する増幅部を有し、増幅部は、画素の中央部の分割領域から読み出された信号に対する増幅度よりも画素の周辺部の分割領域から読み出された信号の増幅度を弱める。
本態様によれば、画素の周辺部の分割領域から読み出された信号に対する増幅度は、画素の中央部の分割領域から読み出された信号に対する増幅度よりも弱められている。これにより、本態様によれば、所望のボケを実現した画像を得ることができる。
望ましくは、読出部は、複数の分割領域から信号を読み出す場合に、画素の中央部の分割領域から信号の露光時間を、画素の周辺部の分割領域からの信号の露光時間よりも長くする。
本態様によれば、画素の中央部の分割領域への露光時間は、画素の周辺部の分割領域への露光時間よりも長い。すなわち、画素中央部の分割領域は画素周辺部の分割領域よりも長く露光される。これにより、本態様によれば、所望のボケを実現した画像を得ることができる。
本発明の他の態様である撮像方法は、光電変換する有機層を有する複数の画素が、2次元状に配列されて構成されたイメージセンサであって上記複数の画素各々は、複数の領域に分割され、かつ撮影光学系の瞳像を複数の領域に結像させるオンチップマイクロレンズを有するイメージセンサを使用し、分割された領域ごとに光電変換された信号をそれぞれ読み出す読出ステップと、電子的に絞り値を制御する電子絞りステップであって、絞り値に基づいて読出ステップにより読み出す分割領域を選択し、又は読出ステップにより読み出した複数の分割領域の信号から絞り値に基づいて信号を選択する電子絞りステップと、を含む。
本発明によれば、電子絞り部によって分割された画素の領域を選択し、又は分割された画素の領域から読み出された信号を選択して、その信号に基づいて画像を生成するため、機械的な絞りを有さなくても、所望の絞り値に応じた画像を取得することができる。さらに、本発明によれば、光電変換部を薄膜化することが可能なイメージセンサを使用しているため、混色の発生が抑制された画像を取得することができる。
撮像装置の斜視図である。 撮像装置の背面図である。 撮像装置のブロック図である。 画素の構成を示す断面模式図である。 読出部の回路図である。 図4に示したイメージセンサの周辺回路を含む全体構成例を示す図である。 分割電極と絞り値との関係を説明する図である。 露光時間と分割電極から読み出される信号の関係を示した図である。 増幅度と分割領域の関係を説明する図である。 変形例1における画素の分割を示す模式図である。 変形例2における画素の分割を示す模式図である。 変形例3を説明する模式図である。 本発明に係る撮影装置の一実施形態を示す図である。 図13に示す撮影装置の構成を示すブロック図である。
以下、添付図面に従って本発明に係る撮像装置及び撮像方法の好ましい実施の形態について説明する。
<撮像装置の外観>
図1は本発明に係る撮像装置を斜め前方から見た斜視図であり、図2は撮像装置の背面図である。
図1に示すように撮像装置1は、カメラ本体10と、カメラ本体10に交換可能に装着される交換レンズ(撮影光学系)12と、から構成される。
カメラ本体10の前面には、交換レンズ(撮影光学系)12が装着されるマウント10−1と、光学ファインダのファインダ窓10−2等が設けられ、カメラ本体10の上面には、主としてシャッタレリーズボタン10−3、シャッタスピードダイヤル10−4、露出補正ダイヤル10−5が設けられている。
また、図2に示すようにカメラ本体10の背面には、主として液晶モニタ30、光学ファインダの接眼部10−6、MENU/OKキー10−7、十字キー10−8、再生ボタン10−9等が設けられている。
液晶モニタ30は、撮影モード時にライブビュー画像を表示したり、再生モード時に撮影した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能する。MENU/OKキー10−7は、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キー10−8は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタンとして機能する。また、十字キー10−8の上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。再生ボタン10−9は、撮影記録した静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。
<撮像装置の構成>
図3は撮像装置1の構成の実施形態を示すブロック図である。
この撮像装置1は、撮影光学系(交換レンズ)12及びイメージセンサ14を介して撮像した画像をメモリカード54に記録するもので、主としてイメージセンサ14に特徴がある。
[イメージセンサ]
図4はイメージセンサ14の1画素の構成を示す断面模式図である。
同図に示すイメージセンサ14は、光電変換部として有機層14−4を有し、1つのマイクロレンズ(オンチップマイクロレンズ)15に対応する1つの画素が複数の領域(本例では6×6の格子状に分割された36の領域)に分割されており、分割された領域(分割領域)ごとに蓄積された信号電荷に対応する信号は、イメージセンサ14内に形成された読出部16により個別に読み出すことができるようになっている。
即ち、イメージセンサ14は、基板14−1と、絶縁層14−2と、下部電極(分割電極)14−3と、有機層14−4と、共通の上部電極14−5と、緩衝層14−6と、封止層14−7と、カラーフィルタ14−8と、マイクロレンズ15と、読出部16とを備えている。尚、各分割電極14−3がそれぞれ分割領域に対応しており、有機層14−4内には分割領域を分離する分離領域は存在しない。
基板14−1は、ガラス基板又はSi(シリコン)等の半導体基板であり、キャパシタを含む読出部16が、CMOS(Complementary Metal-Oxide Semiconductor)回路として形成されている。
基板14−1上には絶縁層14−2が形成されている。絶縁層14−2の表面には、複数の分割電極14−3が形成されている。
有機層14−4は、薄膜のパンクロ(panchromatic)感光性有機光電変換膜からなり、その有機光電変換膜は構造フリーの連続膜で、読出部16(CMOS回路)を有する基板14−1上に敷設できるために、シリコンテクノロジーで要求される高価な微細加工プロセスを必要とせず、画素微細化に適している。
上部電極14−5は、分割電極14−3と対向する電極であり、有機層14−4上に形成されている。上部電極14−5は、有機層14−4に光を入射させるため、入射光に対して透明な導電性材料で構成されている。
イメージセンサ14は、分割電極14−3と上部電極14−5との間に電圧を印加する電圧供給部(図示せず)を備えている。分割電極14−3と上部電極14−5との間に電圧が印加されている状態で、光が有機層14−4に入射すると、有機層14−4により光量に応じた電荷が発生するが、分割電極14−3は、有機層14−4で発生した電荷を捕集するための電荷捕集用の電極として機能する。
緩衝層14−6は、上部電極14−5上に形成され、封止層14−7は、緩衝層14−6上に形成される。また、カラーフィルタ14−8は、封止層14−7上に設けられている。
カラーフィルタ14−8は、1つのマイクロレンズ15(1画素)ごとに、赤(R)、緑(G)又は青(B)のカラーフィルタ14−8のうちのいずれか1色のカラーフィルタ14−8が割り当てられ、これにより所定のパターン配列(ベイヤー配列、GストライプR/G完全市松、X−Trans(登録商標)配列、ハニカム配列等)になっている。
マイクロレンズ15は、カラーフィルタ14−8上に配設されている。尚、マイクロレンズ15は、カラーフィルタ14−8上に直接配設される場合に限らず、透明な保護層を介して配設するようにしてもよい。
前述したようにマイクロレンズ15は、36の分割領域からなる1画素当たり、1つのマイクロレンズ15が割り当てられている。
このマイクロレンズ15は、撮影光学系12に対応する瞳像を、有機層14−4に結像させるもので、撮影光学系12を介して入射されてくる光束を、入射方向毎に集光して有機層14−4に結像させる。マイクロレンズ15に焦点が合っている場合、マイクロレンズ15の下方の有機層14−4での光の結像(瞳像)は、撮影光学系12の絞り値(F値)に応じた分布になる。従って、1画素を構成する複数の分割領域のうち、絞り値に応じた所望の分割領域の信号を選択して1つの画素信号を生成することにより、電子的に絞り値を制御することができる。尚、電子的に絞り値を制御する電子絞り部の詳細については後述する。
従来の例えば裏面照射型のSiのCMOSセンサでは、光照射面の反対側に読出部(キャパシタを含む)16が作られているが、斜めに入斜した光はSiの吸収係数が低いため隣接画素に入り込んでしまう。また、照射面で発生した電荷が反対側の読出部16に到達する間に横方向に移動して隣接する画素の読出部16から読み出されてしまう。
しかし、上記構成のイメージセンサ14は、有機層14−4での光吸収係数が高いため、光電変換部を薄くすることができ、そのため通常のCMOSセンサでは起こる隣接する画素への電荷の混合が起こりにくい。
図5は、読出部16の構成を示す回路図であり、1つの分割領域に対応する読出部16に関して示している。
読出部16としては、蓄積された電荷に対応する信号を非破壊で繰り返し読出可能なCMOS回路を採用している。また、ノイズ及び高速性の観点からは、CMOS回路を採用することが好ましい。
図5に示すように読出部16は、キャパシタSC、トランジスタTR1、TR2、TR3等から構成されている。
分割電極(下部電極)14−3と上部電極14−5との間には、電圧Vtopが印加されており、有機層14−4に光が入射すると、有機層14−4により入射光量に応じた電荷が発生する。有機層14−4で発生した電荷は、分割電極14−3により捕集され、キャパシタSCに蓄積される。
リセット線は、トランジスタTR1をON/OFFするためのもので、リセット線の信号によりトランジスタTR1のゲートをONにさせると、キャパシタSCに蓄積された電荷は、トランジスタTR1を介してリセット・ドレイン線に排出され、ゼロにリセットされる。
行選択線には、後述する垂直ドライバ18−1から行選択信号が加えられるようになっており、行選択信号が加えられた行選択線に対応する1行分の読出部16から、それぞれキャパシタSCに蓄積された電荷に対応する信号が信号線に出力される。即ち、キャパシタSCに蓄積された電荷に対応する電圧が、トランジスタTR2とTR3からなるソースフォロアアンプを介して、信号線に分割領域の信号として出力される。
次に、イメージセンサ14の周辺回路の構成例について説明する。
図6は、図4に示したイメージセンサ14の周辺回路を含む全体構成例を示す図である。
図6に示すようにイメージセンサ14は、図4に示した構成の他に、垂直ドライバ18−1と、タイミングジェネレータ18−2と、信号処理部(回路)18−3と、水平ドライバ18−4と、LVDS(low voltage differential signaling)18−5と、シリアル変換部18−6とを有している。
画素領域(イメージセンサ)18には、複数の画素が2次元状に配列されている。点線で示した領域は、1画素を構成する複数の分割領域を示す。
タイミングジェネレータ18−2は、イメージセンサ14を駆動するためのタイミングを供給し、間引き読み出しや部分読み出し等の読み出し制御も行う。信号処理部18−3は、読出部16の各列に対応して設けられている。垂直ドライバ18−1は、1行分の読出部16を選択し、選択した読出部16からの信号の読み出しを行う。信号処理部18−3は、垂直ドライバ18−1により読み出された各列から出力された1行分の信号に対し、相関二重サンプリング(CDS)処理を行い、処理後の信号をデジタル信号に変換する。信号処理部18−3で処理後の信号は、列毎に設けられたメモリ48に記憶される。水平ドライバ18−4は、信号処理部18−3のメモリ48に記憶された1行分の信号を順次読出してLVDS18−5に出力する制御を行う。LVDS18−5に従ってデジタル信号を伝送する。シリアル変換部18−6は、入力されるパラレルのデジタル信号をシリアルに変換して出力する。
尚、シリアル変換部18−6は省略しても良い。また、信号処理部18−3では相関二重サンプリング処理のみを実施するものとし、LVDS18−5の代わりにAD変換部を設ける構成としてもよい。また、信号処理部18−3では相関二重サンプリング処理のみを実施するものとし、LVDS18−5及びシリアル変換部18−6を省略した構成としてもよい。
図3に戻って、撮像装置1は、図4から図6で説明したイメージセンサ14を備えている。装置全体の動作は、EEPROM(Electrically Erasable Programmable Read-Only Memory)56に格納されたカメラ制御プログラムに基づいて、中央処理装置(CPU)40によって統括制御される。尚、EEPROM56には、カメラ制御プログラムの他に、イメージセンサ14の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。
撮像装置1には、図1及び図2に示したシャッタレリーズボタン10−3、シャッタスピードダイヤル10−4、露出補正ダイヤル10−5、MENU/OKキー10−7、十字キー10−8、再生ボタン10−9等を含む操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置1の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ(LCD)30の表示制御などを行う。
シャッタレリーズボタン10−3(図1)は、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。
撮影モード時において、被写体光は、撮影光学系12を介してイメージセンサ14の受光面に結像される。
CPU40は、センサ制御部32を介してイメージセンサ14の各読出部16のキャパシタSCに蓄積された電荷の排出、又はキャパシタSCに蓄積された電荷に対応する信号の読み出し等を指令する。イメージセンサ14は、センサ制御部32から信号読出し指令が加えられると、全ての画素の分割領域別の信号(デジタル信号)を順次、画像入力コントローラ22に出力する。尚、イメージセンサ14は、CPU40からの指令により各画素の複数の分割領域のうちの所望の分割領域を選択し、選択した分割領域の信号のみを選択的に読み出すこともできる。すなわち、センサ制御部32は電子絞り部(図示せず)を有し、電子絞り部は、絞り値に基づいて読出部16により読み出す分割領域を選択し、イメージセンサ14は選択された分割領域からのみ信号を読み出してもよい。
イメージセンサ14は、センサ制御部32から信号読出し指令が加えられると、全て又は選択された画素の分割領域別の信号(デジタル信号)を順次、画像入力コントローラ22に出力する。
イメージセンサ14から読み出された全ての画素の分割領域別のデジタル信号は、画像入力コントローラ22を介してメモリ(SDRAM:Synchronous Dynamic Random Access Memory)48に一時的に記憶される。
デジタル信号処理部(画素信号生成部、電子絞り部)24は、メモリ48に記憶されたデジタル信号のうち、各画素の複数の分割領域に対応するデジタル信号を加算し、画素毎の画素信号を生成する。本例では、1画素が36の分割領域を有するため、最大で36の分割領域別のデジタル信号を加算して1画素の画素信号を生成する。また、36の分割領域別のデジタル信号のうち、絞り値に応じた分割領域の信号を選択して加算することにより電子的に絞り値を制御することができる。尚、この詳細については後述する。
また、デジタル信号処理部(画像生成部)24は、生成した画素信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、デモザイク処理、ガンマ補正処理、輝度データY及び色差データCr,Cbの生成処理(YC処理)等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ14のカラーフィルタ配列に対応したRGBのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタ14−8からなるイメージセンサ14の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
デジタル信号処理部24で処理され画像データは、VRAM(Video Random Access Memory)50に入力される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ本体10の背面に設けられている液晶モニタ30に出力され、これにより被写体像が液晶モニタ30の表示画面上に表示される。
操作部38のシャッタレリーズボタン10−3の第1段階の押下(半押し)があると、CPU40は、自動露出(AE)動作を開始させ、イメージセンサ14及び画像入力コントローラ22を介して入力するデジタル信号は、AE検出部44に取り込まれる。
AE検出部44では、画面全体に対応するデジタル信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたデジタル信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り(図示せず)の絞り値及びイメージセンサ14の電子シャッタ(シャッタスピード)を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部32を介してイメージセンサ14での電荷蓄積時間を制御する。
AF(オートフォーカス)検出部46は、シャッタレリーズボタン10−3の半押し時に取り込まれるAFエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値(AF評価値)をCPU40に出力する。CPU40は、レンズ制御部34を介して撮影光学系12のフォーカスレンズ(図示せず)を至近から無限遠側に移動させ、AF検出部46により検出されるAF評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体(主要被写体)への焦点調節を行う。
AE動作及びAF動作が終了し、シャッタレリーズボタン10−3の第2段階の押下(全押し)があると、その押下に応答してイメージセンサ14からデジタル信号が出力され、画像入力コントローラ22を介してメモリ48に一時記憶される。メモリ48に一時的に記憶されたデジタル信号は、デジタル信号処理部24により適宜読み出され、ここで前述した所定の信号処理が行われ、処理後の輝度データY及び色差データCr,Cbが再びメモリ48に記憶される。
メモリ48に記憶された輝度データY及び色差データCr,Cbは、圧縮伸張処理部26に出力され、JPEG(Joint Photographic Experts Group)などの所定の圧縮処理が行われる。圧縮された画像データは、撮影日時や撮影条件等の所要の付属情報が付加された画像ファイルとされた後、メディア・コントローラ52を介してメモリカード54に記録される。
また、操作部38の再生ボタン10−9が操作され、撮影モードから再生モードに切り替えられると、メディア・コントローラ52を介してメモリカード54に記録された画像ファイルの読み出しが可能となる。メモリカード54から読み出された画像ファイル内の圧縮された画像データは、圧縮伸張処理部26により伸張処理されたのち、VRAM50に格納される。そして、VRAM50に格納された画像データはビデオ・エンコーダ28においてエンコーディングされ、液晶モニタ30に出力され、これにより液晶モニタ30の表示画面上に再生画像として表示される。
<電子絞り>
本発明の撮像装置1は、絞り開口を制御する機械的な絞りは設けられておらず、電子絞り部を有し、電子的に絞り値を制御する。電子絞り部は、上述したようにセンサ制御部32内に設置されてもよいし、デジタル信号処理部24内に設置されてもよい。電子絞り部がセンサ制御部32内に設置されている場合には、電子絞り部は、絞り値に基づいて読出部16により読み出す分割領域を選択する。一方、電子絞り部がデジタル信号処理部24内に設置されている場合には、電子絞り部は、読出部16により読み出した複数の分割領域の信号から絞り値に基づいて信号を選択する。
図7は下部電極(分割電極)14−3と絞り値との関係を説明する図である。
図7の(A)は上述したイメージセンサ14の1画素の構成を示す断面模式図である。また、図7の(B)は分割電極14−3を真上から見た模式図である。図7に示す例では、分割電極14−3は等しい分割幅により分割されている。これにより、分割電極14−3を効率的に製造することができる。なお、図7の(A)に示す画素は図4で説明した画素と同様であるが、説明の都合上、マイクロレンズ15、分割電極14−3のみを示し、その他は省略する。
図7の(A)に示すように、断面図でみると分割電極14−3は6つに分割されている。また、図7の(B)に示すように、真上から分割電極14−3を見ると、分割電極14−3は6×6の36の分割領域から構成されている。
図4及び図7の(B)に示すように、本例では撮影光学系12が単焦点レンズの場合(ズームレンズの場合にはワイド端の場合)に、6×6の36個の分割領域105に光が入射する。また、このときの絞り値は、F2.5とする。
ここで、仮に機械的な絞りを制御しF8に絞った場合には、イメージセンサ14は、画素の中央に位置する2×2の4個の分割領域101付近にのみ光が入射される。したがって、4個の分割領域101が有する信号のみで1画素の信号(画素信号)を構成することで、機械的な絞りにより絞り値F8に絞った画像と同様の画像を取得することができる。よって、図7の(B)に示す画素の中央に位置する2×2の4個の分割領域101が有する信号を選択することは、絞り値F8により画像を撮影したことに対応する。
同様に、図7の(B)に示すように画素の中央に位置する4×4の16個の分割領域103が有する信号は絞り値F4に対応し、画素の中央に位置する6×6の36個の分割領域105が有する信号は絞り値F2.5に対応する。
本発明の撮像装置1では、絞り値に応じて電子絞り部により選択された信号に基づいて画素信号生成部により画素信号が生成され、その画素信号を基に画像生成部により画像が生成される。これにより、撮像装置1は、電子絞り部に所望の絞り値を設定することにより、機械的な絞りを保持しなくても、その絞り値に応じた画像を取得することができる。
次に、複数の絞り値の絞り値ごとの画像を1回の撮影で取得することについて説明する。
撮像装置1では、電子絞り部は、複数の絞り値が設定されることにより、複数の絞り値に対応する信号を選択する。また、予め絞り値が設定されない場合には、センサ制御部32は画素の全分割領域を一旦読み出すように読出部16を制御する。その後、電子絞り部はユーザの所望の絞り値に応じて絞り値に対応する分割領域の信号を選択する。この際に、複数の絞り値が設定されている場合、絞り値ごとに対応する分割領域の信号を選択する。そして、画素信号生成部は選択された分割領域の信号を基に画素信号を生成する。その後、画像生成部は、複数の絞り値が設定されている場合には、その絞り値ごとに画像を生成する。
具体的には、電子絞り部は図7の(B)に示す1画素すべての信号(6×6の36個の分割領域の信号)を読出部16により読み出すように制御し、その後、画素信号生成部はそれぞれの絞り値に応じた分割領域から取得した信号により画素信号を作成し、画像生成部はそれぞれの絞り値に応じた画像を生成する。これにより、1回の撮影で複数の絞り値絞り値ごとの画像を取得することができる。
次に、電子絞り部が選択する分割領域に応じて、露光時間を変えることに関して説明をする。
図8は、露光時間と分割電極14−3から読み出される信号の出力を示した図である。図8では、横軸は露光時間であり、縦軸は画素信号の出力であり、F2.5の画素信号の出力値110とF8の画素信号の出力値112が示されている。
F2.5のような開放側の絞り値に対応する画素信号は、多くの分割領域(図7の場合は36個)から信号を得るので露光時間がTでもSという信号の出力値を得ることができる。ここで、Sは画像を生成するのに十分な信号の出力値を示す。一方、F8のような小絞り側の絞り値に対応する画素信号は、少ない分割領域(図7の場合は4個)から信号を得るので露光時間がTではSという信号の出力値になる。ここで、Sは画像生成することはできるが、少し暗い画像になってしまう出力値を示す。しかし、F8の画素信号の出力値112は、露光時間がTまでになると画素信号値がSとなる。
したがって、読出部16が小絞り側の絞り値に対応する分割領域から信号を読み出す場合に、読出部16は、複数の絞り値に基づいて信号の露光時間を変えて非破壊読み出しを行うことが好ましい。露光時間を変える一例としては、信号の読み出しタイミングを変えることがあげられる。具体的には、開放側の絞り値に応じて画素信号を生成する場合には、読出部16は、露光時間Tにおいて信号を読み出し、その後、キャパシタSCの電荷は排出せずにそのまま電荷蓄積を継続して露光時間Tにおいて再度信号を読み出す。これにより、小絞り側の絞り値に応じた分割領域だけで画像を作成する場合であっても十分な光量を確保することができる。なお、小絞り側の絞り値は、例えば、F8以上の絞り値を意味し、開放側の絞り値とはF2以下の絞り値を意味する。
また、別の方法として、露光時間Tで電荷蓄積を停止させ、小絞り側の絞り値に応じた分割領域が選択される場合には、読出部16はその分割領域の信号を繰り返し読み出し、加算してもよい。この方法によっても、小絞り側の絞り値に応じて電子絞り部が分割領域を選択する場合であっても、得られる画像は、十分な光量を有するものとなる。
本発明の撮像装置1は、複数の分割領域から構成される画素を有し分割領域ごとに信号を読み出すことができるので、所望のボカシを表現(ボカシコントロール)することができる。
図9は、図7で示した画素において、増幅度と分割領域の関係を示した図である。図9の(B)に示すように、画素の中央部に位置する分割領域107は増幅度が強められ、画素の周辺部に位置する分割領域109は増幅度が弱められることにより、きれいなボケを実現することができる。すなわち、本発明の撮像装置1は増幅部(図示せず)を有し、その増幅部は、画素の中央部の分割領域から読み出された信号に対する増幅度よりも画素の周辺部の分割領域から読み出された信号の増幅度を弱め、これにより、ボカシコントロールを実現する。なお、増幅部は、例えば、信号処理部18−3に設置され、増幅度とはゲインの度合いを示す。
また、増幅度は、画素の中央部から周辺部に向けて徐々に弱められてもよい。具体的には、図9に示す中央部に位置する分割領域107の増幅度が最も強く、周辺部に位置する分割領域109の増幅度が最も弱くなるように調整してもよい。なお、周辺部に位置する分割領域109とは画素周辺に配置された分割領域20個を意味する。
さらに、撮像装置1は、前記複数の分割領域から前記信号を読み出す場合に、前記画素の中央部の分割領域107から前記信号の露光時間を、前記画素の周辺部の分割領域109からの信号の露光時間よりも長くすることにより、ボカシコントロールを実現することもできる。
すなわち、電子絞り部は、画素の中央部の分割領域107から信号を読み出す場合には、より長い時間露光させた後に信号を読み出すように制御する。一方、電子絞り部は、画素の周辺部に位置する分割領域109から信号を読み出す場合には、より短い時間露光させて信号を読み出すように制御する。このように、読み出しタイミングを変えることによって露光時間の長さを変えることができる。
上述したように、撮像装置1は、画素の周辺部において、ゲインを落としたり、露光時間を短くしたりすることにより、レンズ周辺部での光量を落としたことと同様の効果を得ることができる。これにより、特殊なレンズを使用することなく、ボカシコントロールを行うことができる。
[変形例1]
本例の画素は、画素の中央部では画素の周辺部よりも分割幅が小さい分割領域を有する。これにより、本例は、光線角度の絞り値の依存性に則した分割領域を設置することができる。
図10は、図7で示した画素において、変形例1における画素の分割を示す模式図である。図10の(A)に示すように、分割電極14−3は中央部では幅が狭く分割され、周辺部にいくにしたがって幅が広く分割される。また、図10の(B)に示すように画素を真上からみると、分割電極14−3は半径の異なる複数の同心円が重なるように分割される。
図10の(B)に示すように、絞り値F8に対応する分割領域111は半径が最も小さい円であり、絞り値F4に対応する分割領域113は半径が絞り値F8の場合よりも大きい円であり、絞り値F2に対応する分割領域115は半径が絞り値F4の場合よりも大きい円であり、絞り値F1.4に対応する分割領域117は画素全域である。なお、ここで画素の中央部とは小絞りの絞り値(絞り値F8)に対応する分割領域のことをいい、画素の周辺部とは分割領域117から分割領域115を除いた分割領域のことをいう。
変形例1のように分割電極14−3が分割されることにより、分割領域は光線角度の絞り値(F値)依存性に沿ったものとなる。すなわち、光線角度は、絞り値F2の場合は20°、F2.8の場合は14°、F4の場合は10°であり、これらの光線角度を考慮して、分割領域の分割幅が決定されることが好ましい。
[変形例2]
本例は、カラーフィルタ14−8の色に応じて分割幅がことなる分割領域を有する。これにより、波長の長い光であっても正確に適切な分割領域により受光することができる。
図11は、カラーフィルタ14−8の色に応じて小絞り側の絞り値に対応する分割領域の分割幅が変更されることを示す模式図である。
図11の(A)に示すように、赤色のカラーフィルタ120を有する画素では、小絞り側の絞り値に対応する分割領域126は半径R(R)の円となる。また図11の(B)に示すように、緑色のカラーフィルタ122を有する画素では、小絞り側の絞り値に対応する分割領域128は半径R(G)の円となる。また図11の(C)に示すように、青色のカラーフィルタ124を有する画素では、小絞り側の絞り値に対応する分割領域130は半径R(B)の円となる。また、半径R(R)と、半径R(G)と、半径R(B)の関係は、半径R(R)>半径R(G)>半径R(B)である。なおイメージセンサ14は、複数の単色のカラーフィルタ14−8から構成されるフィルタを有し、またその単色のカラーフィルタ14−8は、各画素に対応するように設置されている。
図11の(A)に示すように、赤色のカラーフィルタ120を有する画素の場合、絞り値F8に対応する分割領域について、緑色のカラーフィルタ122及び青色のカラーフィルタ124を有する画素の絞り値F8に対応する分割領域よりも分割幅が広くなっている。これにより、赤色のカラーフィルタ120を通過した波長の長い光であっても、小絞り側の絞り値に対応する分割領域126は、光を受けることができる。
このように、光の波長によって、小絞り側の絞り値の分割領域の分割幅を変えることによって、波長が異なる光であっても的確な分割領域で光を受けることができる。
[変形例3]
本例は、イメージセンサ14における画素の位置に応じて、分割電極14−3の分割の仕方を変更する。いわゆる、本例は、イメージセンサ14におけるスケーリングを行う。これにより、イメージセンサ14の中央部及び周辺部においても正確に光を分割領域において受光することができる。
図12は、撮影光学系12に設置されたメインレンズ140とイメージセンサ14の模式図である。
図12に示すように、イメージセンサ14は、複数の画素により構成されている。なおイメージセンサ14の画素は、説明に必要な部分のみ記載し、それ以外は省略されている。
イメージセンサ14の中央部に配置されている画素は、画素の中心に対して対称に分割されている。すなわち、分割電極14−3を断面図で見た場合(図4、図7の(A)、図9の(A)、図10の(A)を参照)に、分割電極14−3は左右対称に分割されている。イメージセンサ14の中央部では、光は光軸に沿って入射されるので、中央部に配置される画素は画素の中心に対称に分割される。
一方、イメージセンサ14の周辺部に配置されている画素は、画素の中心に対して非対称に分割される。すなわち、イメージセンサ14の周辺部に配置されている画素は分割の中心が周辺側に寄っている。例えば、図10に示すような画素の分割が行われる場合に、イメージセンサ14の中心部では同心円の中心は画素の中心と一致し、イメージセンサ14の周辺部では同心円の中心は画素の中心とは一致せず、イメージセンサ周辺(縁)に寄る。これにより、イメージセンサ14の周辺部において斜めに入ってくる光を的確に分割領域で受光することができる。なお、イメージセンサの周辺部とはイメージセンサの縁から10画素、好ましくは5画素分の部分をいい、イメージセンサの中央部とはイメージセンサの周辺部以外の部分のことをいう。
このように、イメージセンサ14における画素の位置に応じて、分割電極14−3の分割の中心を変えることにより、スケーリングを行うことができ、イメージセンサ14の全面で適切に光を受光することができる。
<他の実施態様>
以上の説明では主に、撮像装置1に関して説明を行ってきたが、本発明はこれに限定されるものではない。例えば、本発明を実現する撮像方法の実施態様も採用することができる。
撮像装置1の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
<スマートフォンの構成>
図13は、撮像装置1の他の実施形態であるスマートフォン200の外観を示すものである。図13に示すスマートフォン200は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241とを備えている。尚、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
図14は、図13に示すスマートフォン200の構成を示すブロック図である。図14に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部220と、通話部230と、操作部240と、カメラ部241と、記憶部250と、外部入出力部260と、GPS(Global Positioning System)受信部270と、モーションセンサ部280と、電源部290と、主制御部201とを備える。また、スマートフォン200の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部201の指示に従って、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部220は、主制御部201の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル221と、操作パネル222とを備える。生成された3D画像を鑑賞する場合には、表示パネル221は、3D表示パネルであることが好ましい。
表示パネル221は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル222は、表示パネル221の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部201に出力する。次いで、主制御部201は、受信した検出信号に基づいて、表示パネル221上の操作位置(座標)を検出する。
図13に示すように、スマートフォン200の表示パネル221と操作パネル222とは一体となって表示入力部220を構成しているが、操作パネル222が表示パネル221を完全に覆うような配置となっている。この配置を採用した場合、操作パネル222は、表示パネル221外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル222は、表示パネル221に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル221に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル221の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル222が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体202の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル222で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部230は、スピーカ231やマイクロホン232を備え、マイクロホン232を通じて入力されたユーザの音声を主制御部201にて処理可能な音声データに変換して主制御部201に出力したり、無線通信部210あるいは外部入出力部260により受信された音声データを復号してスピーカ231から出力するものである。また、図13に示すように、例えば、スピーカ231を表示入力部220が設けられた面と同じ面に搭載し、マイクロホン232を筐体202の側面に搭載することができる。
操作部240は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部240は、スマートフォン200の筐体202の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部250は、主制御部201の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部250は、スマートフォン内蔵の内部記憶部251と着脱自在な外部メモリスロットを有する外部記憶部252により構成される。尚、記憶部250を構成するそれぞれの内部記憶部251と外部記憶部252は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部260は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDAイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS(Global Positioning System)受信部270は、主制御部201の指示に従って、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部270は、無線通信部210や外部入出力部260(例えば、無線LAN)から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部280は、例えば、3軸の加速度センサなどを備え、主制御部201の指示に従って、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。この検出結果は、主制御部201に出力されるものである。
電源部290は、主制御部201の指示に従って、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部201は、マイクロプロセッサを備え、記憶部250が記憶する制御プログラムや制御データに従って動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部201は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部250が記憶するアプリケーションソフトウェアに従って主制御部201が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部260を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部201は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部220に表示する等の画像処理機能を備える。画像処理機能とは、主制御部201が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部220に表示する機能のことをいう。
更に、主制御部201は、表示パネル221に対する表示制御と、操作部240、操作パネル222を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部201は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル221の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部201は、操作部240を通じたユーザ操作を検出したり、操作パネル222を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部201は、操作パネル222に対する操作位置が、表示パネル221に重なる重畳部分(表示領域)か、それ以外の表示パネル221に重ならない外縁部分(非表示領域)かを判定し、操作パネル222の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部201は、操作パネル222に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部241は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部241に前述した撮像装置1を適用することができる。メカ的な切り替え機構等を必要とせずに、広角画像と望遠画像とを撮影することができ、スマートフォン200のように薄型の携帯端末に組み込むカメラ部として好適である。
また、カメラ部241は、主制御部201の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することができる。図13に示すにスマートフォン200において、カメラ部241は表示入力部220と同じ面に搭載されているが、カメラ部241の搭載位置はこれに限らず、表示入力部220の背面に搭載されてもよいし、あるいは、複数のカメラ部241が搭載されてもよい。尚、複数のカメラ部241が搭載されている場合には、撮影に供するカメラ部241を切り替えて単独にて撮影したり、あるいは、複数のカメラ部241を同時に使用して撮影することもできる。
また、カメラ部241はスマートフォン200の各種機能に利用することができる。例えば、表示パネル221にカメラ部241で取得した画像を表示することや、操作パネル222の操作入力のひとつとして、カメラ部241の画像を利用することができる。また、GPS受信部270が位置を検出する際に、カメラ部241からの画像を参照して位置を検出することもできる。更には、カメラ部241からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン200のカメラ部241の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部241からの画像をアプリケーションソフトウェア内で利用することもできる。
1…撮像装置、10…カメラ本体、10−1…マウント、10−2…ファインダ窓、10−3…シャッタレリーズボタン、10−4…シャッタスピードダイヤル、10−5…露出補正ダイヤル、10−6…接眼部、10−7…OKキー、10−8…十字キー、10−9…再生ボタン、12…撮影光学系、14…イメージセンサ、14−1…基板、14−2…絶縁層、14−3…分割電極、14−4…有機層、14−5…上部電極、14−6…緩衝層、14−7…封止層、14−8…カラーフィルタ、15…マイクロレンズ、16…読出部、18−1…垂直ドライバ、18−2…タイミングジェネレータ、18−3…信号処理部、18−4…水平ドライバ、18−6…シリアル変換部、22…画像入力コントローラ、24…デジタル信号処理部、26…圧縮伸張処理部、28…エンコーダ、30…液晶モニタ、32…センサ制御部、34…レンズ制御部、38…操作部、40…CPU、44…AE検出部、46…AF検出部48…メモリ、50…VRAM、52…コントローラ、54…メモリカード、200…スマートフォン、201…主制御部、202…筐体、210…無線通信部、220…表示入力部、221…表示パネル、222…操作パネル、230…通話部、231…スピーカ、232…マイクロホン、240…操作部、241…カメラ部、250…記憶部、251…内部記憶部、252…外部記憶部、260…外部入出力部270…GPS受信部、280…モーションセンサ部、290…電源部

Claims (10)

  1. 光電変換する有機層を有する複数の画素が、2次元状に配列されて構成されたイメージセンサであって、
    前記イメージセンサの1つの画素は、複数の領域に分割され、かつ撮影光学系の瞳像を前記複数の領域に結像させるオンチップマイクロレンズと、前記分割された領域ごとに光電変換された信号をそれぞれ読み出す読出部と、を有するイメージセンサと、
    電子的に絞り値を制御する電子絞り部であって、絞り値に基づいて前記読出部により読み出す分割領域を選択し、又は前記読出部により読み出した複数の分割領域の信号から絞り値に基づいて信号を選択する電子絞り部と、
    を備えた撮像装置。
  2. 前記電子絞り部で選択された分割領域から前記読出部により読み出された前記信号、又は前記電子絞り部が選択した前記信号に基づいて画像を生成する画像生成部を有し、
    前記電子絞り部は、複数の絞り値に応じた前記複数の分割領域から前記信号を読み出し、又は複数の絞り値に応じた前記複数の分割領域の前記信号を選択し、
    前記画像生成部は、前記複数の絞り値の絞り値ごとの画像を生成する請求項1に記載の撮像装置。
  3. 前記イメージセンサが有する前記画素は、前記画素の中央部では前記画素の周辺部よりも分割幅が小さい前記分割領域を有する請求項1又は2に記載の撮像装置。
  4. 前記イメージセンサが有する前記画素は、分割幅が等しい前記分割領域を有する請求項1又は2に記載の撮像装置。
  5. 前記イメージセンサは、複数の単色のカラーフィルタから構成されるフィルタを有し、
    前記単色のカラーフィルタは、前記画素に応じて配置され、
    前記画素は、前記単色のカラーフィルタの色に応じて、分割幅が異なる前記分割領域を有する請求項1から4のいずれか1項に記載の撮像装置。
  6. 前記イメージセンサが有する前記画素は、前記イメージセンサの中央部に配置される場合には、前記画素の中心に対して対称に分割され、前記イメージセンサの周辺部に配置される場合には、前記画素の中心に対して非対称に分割される請求項1から5のいずれか1項に記載の撮像装置。
  7. 前記読出部は、前記電子絞り部により複数の絞り値に応じた前記複数の分割領域から前記信号を読み出す場合に、前記複数の絞り値に基づいて前記信号の露光時間を変えて非破壊読み出しを行い、前記電子絞り部が小絞り側の絞り値に基づいて分割領域を選択する場合には、前記電子絞り部が開放側の絞り値に基づいて分割領域を選択する場合よりも長く露光させる請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記読出部により読み出された信号を増幅する増幅部を有し、
    前記増幅部は、前記画素の中央部の分割領域から読み出された信号に対する増幅度よりも前記画素の周辺部の分割領域から読み出された信号の増幅度を弱める請求項1から7のいずれか1項に記載の撮像装置。
  9. 前記読出部は、前記複数の分割領域から前記信号を読み出す場合に、前記画素の中央部の分割領域から前記信号の露光時間を、前記画素の周辺部の分割領域からの露光時間よりも長くする請求項1から7のいずれか1項に記載の撮像装置。
  10. 光電変換する有機層を有する複数の画素が、2次元状に配列されて構成されたイメージセンサを使用し、前記イメージセンサの1つの画素は、複数の領域に分割され、かつ撮影光学系の瞳像を前記複数の領域に結像させるオンチップマイクロレンズと、前記分割された領域ごとに光電変換された信号をそれぞれ読み出す読出ステップと、
    電子的に絞り値を制御する電子絞りステップであって、絞り値に基づいて前記読出ステップにより読み出す分割領域を選択し、又は前記読出ステップにより読み出した複数の分割領域の信号から絞り値に基づいて信号を選択する電子絞りステップと、
    を含む撮像方法。
JP2015539160A 2013-09-27 2014-09-19 撮像装置及び撮像方法 Active JP5937767B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013202083 2013-09-27
JP2013202083 2013-09-27
PCT/JP2014/074816 WO2015046045A1 (ja) 2013-09-27 2014-09-19 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP5937767B2 true JP5937767B2 (ja) 2016-06-22
JPWO2015046045A1 JPWO2015046045A1 (ja) 2017-03-09

Family

ID=52743182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539160A Active JP5937767B2 (ja) 2013-09-27 2014-09-19 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US9674461B2 (ja)
JP (1) JP5937767B2 (ja)
CN (1) CN105594197A (ja)
WO (1) WO2015046045A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
CN108780798A (zh) * 2016-01-08 2018-11-09 株式会社尼康 摄像元件及摄像装置
JP6789643B2 (ja) * 2016-03-04 2020-11-25 キヤノン株式会社 撮像装置
US10462380B2 (en) * 2016-06-13 2019-10-29 Aptiv Technologies Limited Camera system with light-shield
US10128284B2 (en) * 2016-06-23 2018-11-13 Qualcomm Incorporated Multi diode aperture simulation
WO2018124045A1 (ja) * 2016-12-27 2018-07-05 パナソニックIpマネジメント株式会社 撮像装置及びその制御方法
KR102322843B1 (ko) 2017-03-30 2021-11-08 엘지이노텍 주식회사 액체 렌즈를 포함하는 카메라 모듈
US10438332B2 (en) * 2017-05-18 2019-10-08 Semiconductor Components Industries, Llc Methods and apparatus for selective pixel readout for image transformation
EP3654636B1 (en) * 2017-07-13 2022-06-22 Panasonic Intellectual Property Management Co., Ltd. Imaging device and camera
JP6875239B2 (ja) 2017-09-20 2021-05-19 浜松ホトニクス株式会社 位置検出センサ
JP6836486B2 (ja) * 2017-09-20 2021-03-03 浜松ホトニクス株式会社 位置検出センサ
JP7127297B2 (ja) * 2018-02-23 2022-08-30 オムロン株式会社 画像センサ
CN112740003B (zh) * 2018-09-18 2023-04-28 柯尼卡美能达株式会社 二维闪烁测量装置
CN112771840B (zh) * 2018-09-28 2023-07-25 株式会社半导体能源研究所 图像处理方法和装置及摄像装置
KR102554689B1 (ko) * 2018-10-10 2023-07-13 삼성전자주식회사 투명 전극을 갖는 반도체 소자
JP7219096B2 (ja) 2019-01-21 2023-02-07 浜松ホトニクス株式会社 分光測定装置および分光測定方法
JP7378935B2 (ja) * 2019-02-06 2023-11-14 キヤノン株式会社 画像処理装置
CN110378934B (zh) * 2019-07-22 2021-09-07 Oppo广东移动通信有限公司 主体检测方法、装置、电子设备和计算机可读存储介质
CN111447348B (zh) * 2020-05-12 2021-10-22 Oppo广东移动通信有限公司 移动终端及其摄像头模组
CN117769841A (zh) * 2022-07-21 2024-03-26 北京小米移动软件有限公司 拍摄装置以及控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159357A (ja) * 2007-12-27 2009-07-16 Sony Corp 撮像装置
JP2011071483A (ja) * 2009-08-28 2011-04-07 Fujifilm Corp 固体撮像装置,固体撮像装置の製造方法
JP2013246215A (ja) * 2012-05-23 2013-12-09 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130513A (ja) 1991-11-05 1993-05-25 Olympus Optical Co Ltd 固体撮像装置
US6482669B1 (en) * 2001-05-30 2002-11-19 Taiwan Semiconductor Manufacturing Company Colors only process to reduce package yield loss
US7502058B2 (en) * 2003-06-09 2009-03-10 Micron Technology, Inc. Imager with tuned color filter
JP2006105771A (ja) 2004-10-05 2006-04-20 Canon Inc 撮像装置および地形図作成装置
JP4485371B2 (ja) * 2005-01-06 2010-06-23 パナソニック株式会社 固体撮像装置
JP2007116437A (ja) * 2005-10-20 2007-05-10 Nikon Corp 撮像素子および撮像システム
JP2007127718A (ja) * 2005-11-01 2007-05-24 Fujifilm Corp 撮影装置
KR100720509B1 (ko) * 2005-11-10 2007-05-22 동부일렉트로닉스 주식회사 이미지 센서 및 이의 제조 방법
US20070133983A1 (en) * 2005-12-14 2007-06-14 Matilda Traff Light-controlling element for a camera
JP4321579B2 (ja) * 2006-11-28 2009-08-26 ソニー株式会社 撮像装置
JP2009069255A (ja) * 2007-09-11 2009-04-02 Sony Corp 撮像装置および合焦制御方法
JP5593602B2 (ja) * 2008-09-24 2014-09-24 ソニー株式会社 撮像素子および撮像装置
JP5029624B2 (ja) * 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
JP4802286B2 (ja) * 2009-08-28 2011-10-26 富士フイルム株式会社 光電変換素子及び撮像素子
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
KR101596983B1 (ko) * 2010-03-31 2016-02-23 가부시키가이샤 제이올레드 표시 패널 장치 및 표시 패널 장치의 제조 방법
US8723975B2 (en) * 2011-01-24 2014-05-13 Aptina Imaging Corporation High-dynamic-range imaging devices
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
CN102595065B (zh) * 2012-03-12 2013-06-19 天津大学 宽动态范围时间延时积分型cmos图像传感器
CN102801930B (zh) * 2012-07-13 2014-05-14 天津大学 低功耗时间延时积分型 cmos 图像传感器
CN105580348B (zh) * 2013-09-27 2018-12-18 富士胶片株式会社 摄像装置及摄像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159357A (ja) * 2007-12-27 2009-07-16 Sony Corp 撮像装置
JP2011071483A (ja) * 2009-08-28 2011-04-07 Fujifilm Corp 固体撮像装置,固体撮像装置の製造方法
JP2013246215A (ja) * 2012-05-23 2013-12-09 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Also Published As

Publication number Publication date
CN105594197A (zh) 2016-05-18
JPWO2015046045A1 (ja) 2017-03-09
US9674461B2 (en) 2017-06-06
US20160182792A1 (en) 2016-06-23
WO2015046045A1 (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
JP5937767B2 (ja) 撮像装置及び撮像方法
JP5946970B2 (ja) 撮像装置及び撮像方法
JP5542249B2 (ja) 撮像素子及びこれを用いた撮像装置及び撮像方法
US9473725B2 (en) Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same
JP5697801B2 (ja) 撮像装置及び自動焦点調節方法
US9743031B2 (en) Imaging device and imaging method
EP2961153B1 (en) Image pickup device
JP5799178B2 (ja) 撮像装置及び合焦制御方法
JPWO2014087807A1 (ja) 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
WO2014046039A1 (ja) 撮像装置及び合焦確認表示方法
WO2015198690A1 (ja) 撮像装置
US11184523B2 (en) Imaging apparatus with phase difference detecting element
JP5926391B2 (ja) 撮像装置及び合焦確認表示方法
JP5542248B2 (ja) 撮像素子及び撮像装置
JPWO2020021887A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2018088119A1 (ja) 撮像装置、撮像方法、及び、撮像プログラム
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160512

R150 Certificate of patent or registration of utility model

Ref document number: 5937767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250