JP6432005B2 - 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム - Google Patents

撮像装置、撮像装置の作動方法、撮像装置の作動プログラム Download PDF

Info

Publication number
JP6432005B2
JP6432005B2 JP2018540915A JP2018540915A JP6432005B2 JP 6432005 B2 JP6432005 B2 JP 6432005B2 JP 2018540915 A JP2018540915 A JP 2018540915A JP 2018540915 A JP2018540915 A JP 2018540915A JP 6432005 B2 JP6432005 B2 JP 6432005B2
Authority
JP
Japan
Prior art keywords
charge
drive control
photoelectric conversion
imaging
pixel row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018540915A
Other languages
English (en)
Other versions
JPWO2018055948A1 (ja
Inventor
小林 誠
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6432005B2 publication Critical patent/JP6432005B2/ja
Publication of JPWO2018055948A1 publication Critical patent/JPWO2018055948A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/532Control of the integration time by controlling global shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、撮像装置の作動方法、撮像装置の作動プログラムに関する。
近年、CCD(Charge Coupled Device)イメージセンサ、又は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又は、カメラ付きの携帯電話機等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。
MOS型の撮像素子には、光電変換素子と、この光電変換素子で発生し蓄積された電荷を保持する電荷保持部と、この電荷保持部に保持された電荷に応じた電圧信号を信号線に読み出す読み出し回路とを含む画素が二次元状に配置されたものがある。このような撮像素子は、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とを行うことが可能である。
グローバルシャッタ方式は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を電荷保持部に同時に転送することで全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を電圧信号に変換して信号線に読み出していく方式である。
ローリングシャッタ方式は、画素行の光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の光電変換素子に蓄積された電荷を電荷保持部に転送してこの露光を終了し、この電荷保持部に保持された電荷に応じた電圧信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。
また、MOS型の撮像素子として上記の電荷保持部を省略したものでは、ローリングシャッタ方式による駆動と、グローバルリセット方式による駆動とが可能である。
グローバルリセット方式は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、受光面前方に配置されるメカシャッタを閉じることで全ての画素で同時に露光を終了し、その後、画素行毎に順次、光電変換素子に蓄積された電荷を電圧信号に変換して信号線に読み出していく方式である。
特許文献1及び特許文献2には、記録用の撮像時には、撮像素子をグローバルリセット方式で駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。
特許文献3及び特許文献4には、記録用の撮像時には、撮像素子をグローバルシャッタ方式で駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。
特許文献5には、記録用の撮像時には、撮像素子をグローバルシャッタ方式とローリングシャッタ方式のいずれかで駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。
日本国特開2006−191236号公報 日本国特開2013−098792号公報 日本国特開2012−129817号公報 日本国特開2012−004819号公報 日本国特開2009−159459号公報
特許文献1−5に記載されているように、記録用の撮像時には、撮像素子をグローバルシャッタ方式又はグローバルリセット方式で駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する構成によれば、ライブビュー表示用の撮像時においては、露光が順次終了する画素行からの電圧信号に基づいてライブビュー画像の描画を開始することができる。このため、被写体を撮像してからその被写体のライブビュー画像が表示されるまでの時間を短縮することができる。
電荷保持部を含む画素を備えた撮像素子の場合、ローリングシャッタ方式では、画素行毎に、光電変換素子から電荷保持部への電荷転送のステップと、電荷保持部から読み出し回路への電荷転送のステップとを行う必要がある。
一方、グローバルシャッタ方式では、全ての画素で同時に光電変換素子から電荷保持部に電荷を転送した後、画素行毎に、電荷保持部から読み出し回路への電荷転送のステップを行う。
このため、グローバルシャッタ方式で撮像素子を駆動して撮像を行う場合と、ローリングシャッタ方式で撮像素子を駆動して撮像を行う場合とで、フレームレートを同じにしようとすると、ローリングシャッタ方式の駆動時においては、電荷保持部から読み出し回路への電荷の転送時間が短くなる。したがって、電荷保持部から読み出し回路への電荷の転送残りが発生し、ライブビュー画像の品質が低下する。
特許文献1及び特許文献2は、電荷保持部を含まない撮像素子を前提としており、ライブビュー画像の品質低下についての課題を考慮していない。
特許文献3−5は、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合のライブビュー画像の品質の低下については考慮していない。
本発明は、上記事情に鑑みてなされたものであり、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合に、撮像される撮像画像の品質低下を防ぐことのできる撮像装置とその作動方法及び作動プログラムを提供することを目的とする。
本発明の撮像装置は、光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるMOS型の撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御部と、を備え、上記駆動制御部は、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記ローリングシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第二の時間よりも長くするものである。
本発明の撮像装置の作動方法は、光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるMOS型の撮像素子を備える撮像装置の作動方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップを備え、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第二の時間よりも長くするものである。
本発明の撮像装置の作動プログラムは、光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるMOS型の撮像素子を備える撮像装置の作動プログラムであって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップをコンピュータに実行させるためのプログラムであり、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第二の時間よりも長くするものである。
本発明によれば、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合に、撮像される撮像画像の品質低下を防ぐことのできる撮像装置とその作動方法及び作動プログラムを提供することができる。
本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 図1に示す撮像素子5の概略構成を示す平面模式図である。 図2に示す撮像素子5の画素61の概略構成を示す平面模式図である。 図3に示す撮像素子5の画素61のA−A線の断面模式図である。 図1に示すシステム制御部11の機能ブロックを示す図である。 図1に示すデジタルカメラの静止画撮像モード時の動作を示すタイミングチャートである。 本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。 図7に示すスマートフォン200の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
図1に示すデジタルカメラは、撮像レンズ1と、絞り2と、レンズ制御部4と、レンズ駆動部8と、絞り駆動部9と、を有するレンズ装置40を備える。
本実施形態において、レンズ装置40はデジタルカメラ本体に着脱可能なものとして説明するが、デジタルカメラ本体に固定されるものであってもよい。撮像レンズ1と絞り2は撮像光学系を構成する。
レンズ装置40のレンズ制御部4は、デジタルカメラ本体のシステム制御部11と有線又は無線によって通信可能に構成される。
レンズ制御部4は、システム制御部11からの指令にしたがい、レンズ駆動部8を介して撮像レンズ1に含まれるフォーカスレンズを駆動したり、絞り駆動部9を介して絞り2を駆動したりする。
デジタルカメラ本体は、撮像光学系を通して被写体を撮像するCMOSイメージセンサ等のMOS型の撮像素子5と、撮像素子5を駆動する撮像素子駆動部10と、デジタルカメラの電気制御系全体を統括制御するシステム制御部11と、操作部14と、デジタル信号処理部17と、着脱自在の記憶媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された有機EL(Electro Luminescence)ディスプレイ又はLCD(Liquid Crystal Display)等の表示部23を駆動する表示ドライバ22と、を備える。
システム制御部11は、各種のプロセッサとRAM(Ramdom Access Memory)とROM(Read Only Memory)と含んで構成され、デジタルカメラ全体を統括制御する。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部11のプロセッサは、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
システム制御部11のプロセッサは、システム制御部11に内蔵のROMに格納された作動プログラムを実行することで、後述する各機能を実現する。
デジタル信号処理部17は、上述した各種のプロセッサとRAMとROMを含み、このROMに格納されたプログラムをこのプロセッサが実行することで各種処理を行う。
デジタル信号処理部17は、撮像素子5から出力される撮像信号に対し、補間演算、ガンマ補正演算、及び、RGB/YC変換処理等の処理を行うことで、表示部23への表示用のライブビュー画像データと、記憶媒体21への記憶用の撮像画像データとを生成する。
デジタル信号処理部17、外部メモリ制御部20、及び、表示ドライバ22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令に基づいて動作する。
図2は、図1に示す撮像素子5の概略構成を示す平面模式図である。図3は、図2に示す撮像素子5の画素61の概略構成を示す平面模式図である。図4は、図3に示す撮像素子5の画素61のA−A線の断面模式図である。
撮像素子5は、一方向である行方向Xに配列された複数の画素61からなる画素行62が、行方向Xと直交する列方向Yに複数配列された受光面60と、受光面60に配列された画素61を駆動する駆動回路63と、受光面60に配列された画素行62の各画素61から信号線に読み出される撮像信号を処理する信号処理回路64と、を備える。
以下では、図2において受光面60の列方向Yの上方向の端部を上端といい、受光面60の列方向Yの下方向の端部を下端という。
図3に示すように、画素61は、半導体基板に形成された光電変換素子61A、電荷保持部61B、電荷転送部61C、フローティングディフュージョン61D、及び、読み出し回路61Eを備える。
光電変換素子61Aは、レンズ装置40の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子61Aは、フォトダイオード等で構成される。
電荷転送部61Cは、光電変換素子61Aに蓄積された電荷を電荷保持部61Bに転送する。電荷転送部61Cは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
電荷転送部61Cを構成する電極に印加される電圧が駆動回路63によって制御されることで、光電変換素子61Aから電荷保持部61Bへの電荷の転送が行われる。
電荷保持部61Bは、光電変換素子61Aから電荷転送部61Cによって転送された電荷を保持する。電荷保持部61Bは、半導体基板内の不純物領域により構成される。
フローティングディフュージョン61Dは、電荷を電圧に変換するためのものであり、電荷保持部61Bに保持された電荷が転送されてくる。
読み出し回路61Eは、フローティングディフュージョン61Dの電位に応じた信号を撮像信号として信号線65に読み出す回路である。読み出し回路61Eは、駆動回路63によって駆動される。
図4に示すように、N型基板70表面にはPウェル層71が形成され、Pウェル層71の表面部には光電変換素子61Aが形成されている。光電変換素子61Aは、N型不純物層73とこの上に形成されたP型不純物層74とによって構成されている。N型基板70とPウェル層71によって半導体基板が構成される。
Pウェル層71の表面部には、光電変換素子61Aから少し離間して、N型不純物層からなる電荷保持部61Bが形成されている。電荷保持部61Bと光電変換素子61Aとの間のPウェル層71の領域75の上方には、図示省略の酸化膜を介して、転送電極76が形成されている。
領域75と転送電極76とが電荷転送部61Cを構成する。図4の例では、転送電極76が電荷保持部61Bの上方にまで形成されているが、転送電極76は少なくとも領域75上方に形成されていればよい。転送電極76の電位を制御して領域75にチャネルを形成することで、光電変換素子61Aに蓄積された電荷を電荷保持部61Bに転送することができる。転送電極76の電位は駆動回路63によって制御される。
Pウェル層71の表面部には、電荷保持部61Bから少し離間して、N型不純物層からなるフローティングディフュージョン61Dが形成されている。電荷保持部61Bとフローティングディフュージョン61Dとの間のPウェル層71の上方には、図示省略の酸化膜を介して、読み出し電極72が形成されている。
読み出し電極72の電位を制御して、電荷保持部61Bとフローティングディフュージョン61Dとの間の領域にチャネルを形成することで、電荷保持部61Bに保持された電荷をフローティングディフュージョン61Dに転送することができる。読み出し電極72の電位は駆動回路63によって制御される。
図4に示す例では、読み出し回路61Eは、フローティングディフュージョン61Dの電位をリセットするためのリセットトランジスタ77と、フローティングディフュージョン61Dの電位を撮像信号に変換して出力する出力トランジスタ78と、出力トランジスタ78から出力される撮像信号を選択的に信号線65に読み出すための選択トランジスタ79とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
なお、読み出し回路61Eは、複数の画素61で共用される場合もある。
図2に示す駆動回路63は、各画素61の転送電極76、読み出し電極72、及び、読み出し回路61Eを画素行62毎に独立に駆動して、画素行62に含まれる各光電変換素子61Aのリセット(光電変換素子61Aに蓄積されている電荷の排出)、この各光電変換素子61Aに蓄積された電荷に応じた撮像信号の信号線65への読み出し等を行う。
また、駆動回路63は、全ての画素61の電荷転送部61Cを同時に駆動して、各画素61の光電変換素子61Aから電荷保持部61Bに電荷を同時に転送する。
また、駆動回路63は、各画素61の電荷転送部61Cを画素行単位で駆動して、画素行62の各画素61の光電変換素子61Aから電荷保持部61Bへの電荷の転送を、画素行62毎に独立して行う。駆動回路63は、撮像素子駆動部10によって制御される。
なお、光電変換素子61Aのリセットは、電荷転送部61Cを電荷が転送可能な状態とし、かつ、読み出し電極72下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ77によってフローティングディフュージョン61Dをリセットすることで行われる。
図2に示す信号処理回路64は、画素行62の各画素61から信号線65に読み出された撮像信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の撮像信号をデジタル信号に変換してデータバス25に出力する。信号処理回路64は、撮像素子駆動部10によって制御される。
図5は、図1に示すシステム制御部11の機能ブロックを示す図である。
システム制御部11では、作動プログラムを実行したプロセッサが、駆動制御部11Aと、表示制御部11Bとして機能する。
駆動制御部11Aは、静止画記録を行うための静止画撮像モードにおいて、グローバルシャッタ方式による駆動制御と、ローリングシャッタ方式による駆動制御と、を選択的に行う。
グローバルシャッタ方式による駆動制御とは、撮像素子駆動部10を介して駆動回路63を制御することで、受光面60にある全ての画素61の各々の光電変換素子61Aを同時にリセットして全ての画素61の露光を同時に開始し、その後、全ての画素61の各々の光電変換素子61Aに蓄積された電荷を電荷保持部61Bに同時に転送して全ての画素61の露光を終了し、この露光の終了後、電荷保持部61Bに保持された電荷に応じた撮像信号を、画素行62毎に順次、信号線65に読み出すことを言う。
ローリングシャッタ方式による駆動制御とは、撮像素子駆動部10を介して駆動回路63を制御することで、画素行62の光電変換素子61Aをリセットしてこの画素行62の光電変換素子61Aの露光を開始し、その後、この画素行62の光電変換素子61Aに蓄積された電荷を電荷保持部61Bに転送してこの露光を終了し、この電荷保持部61Bに保持された電荷に応じた撮像信号を信号線65に読み出す駆動を、画素行62を変えながら順次行うことを言う。
駆動制御部11Aは、デジタルカメラの撮像モードの1つである上記の静止画撮像モードが設定されると、ローリングシャッタ方式による駆動制御を連続して行い、ローリングシャッタ方式による駆動制御を行っている間に、静止画記録を指示する撮像指示が行われると、この撮像指示に応じてグローバルシャッタ方式による駆動制御を行う。
駆動制御部11Aは、静止画撮像モードにおいて、ローリングシャッタ方式による駆動制御における1つの画素行62からの撮像信号の信号線65への読み出しに要する第一の時間を、グローバルシャッタ方式による駆動制御における1つの画素行62からの撮像信号の信号線65への読み出しに要する第二の時間よりも長くする。
1つの画素行62からの撮像信号の信号線65への読み出しに要する時間とは、この画素行62の各画素61に含まれる電荷保持部61Bからフローティングディフュージョン61Dへの電荷転送にかかる時間を言う。
つまり、1つの画素行62の各画素61に含まれる読み出し電極72によって電荷転送のためのチャネルを形成している時間が上記の第一の時間又は第二の時間となる。
ここで、第一の時間は、電荷保持部61Bからフローティングディフュージョン61Dに電荷を転送完了した状態で、電荷保持部61Bの残留電荷の量が撮像品質に影響を及ぼさなくなる程度となる時間(理想的には、電荷保持部61Bの電荷が完全に転送されて残留電荷がゼロとなる時間)の下限値に設定されている。
デジタル信号処理部17は、静止画撮像モードにおいて、グローバルシャッタ方式による駆動制御によって撮像素子5から出力される撮像信号を処理して、記録用の撮像画像データと、ライブビュー画像表示用のライブビュー画像データとを生成する。
同様に、デジタル信号処理部17は、静止画撮像モードにおいて、ローリングシャッタ方式による駆動制御によって撮像素子5から出力される撮像信号を処理して、ライブビュー画像データを生成する。
ライブビュー画像データは、多数の画素データによって構成される。ライブビュー画像データは、行方向Xと同じ方向に並ぶ複数の画素データからなる画素データ行が、この方向と直交する方向に複数並ぶ構成である。
デジタル信号処理部17は、異なる画素行62から出力される撮像信号群を記憶する複数のラインメモリを有しており、このラインメモリに記憶した撮像信号群に基づいて画素データ行を順次生成し、生成した画素データ行をシステム制御部11に順次送信する。
表示制御部11Bは、デジタル信号処理部17によって生成されたライブビュー画像データの画素データ行を表示ドライバ22に順次入力し、このライブビュー画像データに基づくライブビュー画像を表示ドライバ22によって表示部23に表示させる。
表示部23は、行方向Xと同じ方向に並ぶ複数の表示画素からなる表示画素行が、この方向と直交する方向に複数配列された表示面を有する。
表示ドライバ22は、表示制御部11Bから入力される画素データ行に基づくライブビュー画像の1ラインを、表示部23の1つの表示画素行に描画する。
表示ドライバ22は、画素データ行が入力される毎に、この画素データ行に基づくライブビュー画像の1ラインの描画先を1つずつずらしていくことで、ライブビュー画像の全ラインの描画を行う。
表示制御部11Bは、静止画撮像モードにおいてグローバルシャッタ方式による駆動制御が行われた場合には、表示ドライバ22によるライブビュー画像の1ラインの表示部23への描画に要する時間である描画時間を、上記の第二の時間に設定する。
表示制御部11Bは、静止画撮像モードにおいてローリングシャッタ方式による駆動制御が行われた場合には、描画時間を上記の第一の時間に基づいて設定する。具体的には、表示制御部11Bは、この描画時間を、第一の時間と略同じに設定する。
本明細書において、2つの時間が略同じであるとは、この2つの時間の各々に対するこの2つの時間の差の割合が10%以下であることを意味する。
以上のように構成されたデジタルカメラの静止画撮像モード時の動作を説明する。
図6は、図1に示すデジタルカメラの静止画撮像モード時の動作を示すタイミングチャートである。
図6において横軸は時間を示している。図6の上段には、垂直同期信号VDが示されている。
図6の中段には、撮像素子5の受光面60にある各画素行62の駆動タイミングが示されている。図6の中段において、縦軸は画素行62の列方向Yの位置を示している。
図6の中段に示す直線RRと直線GRは、画素行62に含まれる各光電変換素子61Aのリセットが行われるタイミングを示している。
図6の中段に示す直線ROは、画素行62に含まれる各光電変換素子61Aから電荷保持部61Bを経由してフローティングディフュージョン61Dに電荷が転送されるタイミングを示している。
図6の中段に示す直線GSは、画素行62に含まれる各光電変換素子61Aから電荷保持部61Bに電荷が転送されるタイミングを示している。
図6の中段に示す直線GOは、画素行62に含まれる各電荷保持部61Bからフローティングディフュージョン61Dに電荷の転送が行われるタイミングを示している。
図6の下段には、表示部23の描画状態が示されている。図6の下段において、縦軸は表示部23の表示画素行の位置を示している。
図6の下段に示す直線DRは、表示面の表示画素行に描画が行われるタイミングを示している。
静止画撮像モードに設定されると、駆動制御部11Aによってローリングシャッタ方式による駆動制御が開始される。
ローリングシャッタ方式による駆動制御が開始されると、直線RRで示されるように、受光面60の上端側から下端側に向かって画素行62が順番に選択され、選択された画素行62について光電変換素子61Aのリセットが行われる。これにより、画素行62毎に異なるタイミングで露光が開始する。
所定の露光時間が経過すると、直線ROで示されるように、受光面60の上端側から下端側に向かって画素行62が例えば4つに1つの割合で順番に選択され、選択された画素行62において、光電変換素子61Aから電荷保持部61Bへの電荷の転送及び電荷保持部61Bからフローティングディフュージョン61Dへの電荷の転送が行われる。これにより、選択された画素行62から読み出された撮像信号がデータバス25に出力される。
データバス25に出力された撮像信号に基づいてデジタル信号処理部17により画素データ行が生成されると、直線DRで示されるように、ライブビュー画像が表示面の上端側から順番に1ラインずつ描画されていく。
撮像指示がなされるまでは、垂直同期信号VDに同期して、以上の処理が繰り返し行われる。
そして、例えば、2つ目の垂直同期信号VDの立下り後に撮像指示がなされると、3つ目の垂直同期信号VDの立下り後に、グローバルシャッタ方式による駆動制御が開始される。
この駆動制御では、直線GRで示されるように、全ての画素行62において同時に、光電変換素子61Aのリセットが行われる。これにより、全ての画素行62で同じタイミングで露光が開始する。
その後、所定の露光時間が経過すると、直線GSで示されるように、全ての画素行62において同時に、光電変換素子61Aから電荷保持部61Bへの電荷の転送が行われる。これにより、全ての画素行62で同じタイミングで露光が終了する。
その後、直線GOで示されるように、受光面60の上端側から下端側に向かって画素行62が順番に選択され、選択された画素行62において、電荷保持部61Bからフローティングディフュージョン61Dへの電荷の転送が行われる。これにより、選択された画素行62から読み出された撮像信号がデータバス25に出力される。
データバス25に出力された撮像信号に基づいてデジタル信号処理部17によりライブビュー画像が生成されると、直線DRで示されるように、ライブビュー画像が表示面の上端側から順番に1ラインずつ描画されていく。また、この撮像信号に基づいて生成された撮像画像データは記憶媒体21に記憶される。
その後は、再び、ローリングシャッタ方式による駆動制御が再開される。
以上のように図1のデジタルカメラによれば、ローリングシャッタ方式による駆動制御のときには、グローバルシャッタ方式による駆動制御のときと比べて、1つの画素行62からの撮像信号の信号線65への読み出しに要する時間が長くなる。
このため、電荷保持部61Bからフローティングディフュージョン61Dへの電荷の転送残りを防ぐことができる。この結果、ローリングシャッタ方式による駆動制御によって表示されるライブビュー画像の品質を向上させることができる。
また、ローリングシャッタ方式による駆動制御が行われている場合には、表示制御部11Bが、ライブビュー画像の1ラインの表示部23への描画時間を上記の第一の時間と略同じに設定する。
この構成によれば、撮像素子5から出力される撮像信号の信号処理と、表示部23による画素データ行の描画処理とを同期させることができるため、ライブビュー画像の更新を高速に行うことができる。
なお、上記の描画時間は、撮像モードによっては、上記の第一の時間として設定している値(電荷保持部61Bからフローティングディフュージョン61Dに電荷を転送完了した状態で、電荷保持部61Bの残留電荷の量が撮像品質に影響を及ぼさなくなる程度となる時間の下限値)よりも大きい値にすることがある。
例えば、静止画記録を複数回連続して行う連写モードにおいて、静止画の記録枚数を多くすることを優先する場合には、描画時間を長くして、ライブビュー画像の更新頻度を下げることが行われる。
図1のデジタルカメラは静止画撮像モードの1つとして連写モードを搭載しており、連写モード時には、駆動制御部11Aが、ローリングシャッタ方式による駆動制御を行っている間に撮像指示が行われると、この撮像指示に応じて、グローバルシャッタ方式による駆動制御をN回(Nは2以上の整数)連続して行う。
そして、このN回の駆動制御によって撮像素子5から出力された撮像信号に基づいて生成されるN個の撮像画像データが、システム制御部11の制御によって記憶媒体21に記憶される。
また、この連写モードは、上記Nの値をユーザによって設定可能である。そして、表示制御部11Bは、上記Nの値が閾値TH以下の場合には、描画時間を上記の下限値に設定し、上記Nの値が閾値THを超える場合には、描画時間を上記の下限値よりも大きな値に設定する。
このように、連写モードにおいてNの値が閾値THを超える場合には、駆動制御部11Aは、上記の第一の時間を、表示制御部11Bによって設定された描画時間(上記の下限値よりも大きな値)に基づいて設定する。具体的には、駆動制御部11Aは、上記の第一の時間を描画時間(上記の下限値よりも大きな値)と略同じに設定する。
以上のように、描画時間が長くなるモードにおいては、第一の時間を上記の下限値よりも大きくすることで、ローリングシャッタ方式による駆動制御時において、撮像素子5の駆動に要する電圧を下げることが可能となる。このため、消費電力の低減を図ることができる。また、連写枚数を増やしながら、ライブビュー画像の品質低下を防ぐことができる。
ここまでは撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。
図7は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。
図7に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。
なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
図8は、図7に示すスマートフォン200の構成を示すブロック図である。
図8に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。
また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、又は、Webデータ又はストリーミングデータ等の受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像および動画像)又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)等を表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図7に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさ等に応じて適宜設計されるものである。
更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、又は、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205又はマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
また、図7に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図7に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラム又は制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ又は、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。
なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)等の格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394等)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)等)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)又はSIM(Subscriber Identity Module Card)/UIM(User Identity Module
Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホン等がある。
外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達したり、スマートフォン200の内部のデータを外部機器に伝送したりする。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。
GPS受信部214は、無線通信部210又は外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサ等を備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向又は加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラム又は制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。
また、主制御部220は、無線通信部210を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。
アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又は、ウェブページを閲覧するウェブブラウジング機能等がある。
また、主制御部220は、受信データ又はダウンロードしたストリーミングデータ等の画像データ(静止画像又は動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。
画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作又は、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記憶媒体21、及び操作部14以外の構成を含む。カメラ部208の表示ドライバ22は、表示部23の代わりに表示パネル202を駆動する。
カメラ部208によって生成された撮像画像データは、記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることができる。
図7に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することができる。操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。
また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断したり現在の使用環境を判断したりすることもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等を付加して記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることもできる。
以上のように、本明細書には以下の事項が開示されている。
(1) 光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるMOS型の撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御部と、を備え、上記駆動制御部は、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記ローリングシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置。
(2) (1)記載の撮像装置であって、上記撮像モード時に、上記ローリングシャッタ方式による駆動制御によって上記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御部を更に備え、上記ライブビュー画像の1ラインの上記表示部への描画に要する描画時間と上記第一の時間の一方が、上記描画時間と上記第一の時間の他方に基づいて決定される撮像装置。
(3) (2)記載の撮像装置であって、上記表示制御部は、上記第一の時間に基づいて上記描画時間を設定する撮像装置。
(4) (2)又は(3)記載の撮像装置であって、上記表示制御部は、上記描画時間を上記第一の時間と略同じに設定する撮像装置。
(5) (2)記載の撮像装置であって、上記撮像モードは、上記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて上記グローバルシャッタ方式による駆動制御を複数回連続して行い、上記複数回の駆動制御によって上記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、上記表示制御部は、上記撮像指示に応じて行われる上記駆動制御の回数が閾値を超える場合には、上記回数が上記閾値以下の場合と比べて上記描画時間を長くし、上記駆動制御部は、上記描画時間に基づいて上記第一の時間を設定する撮像装置。
(6) (2)又は(5)記載の撮像装置であって、上記駆動制御部は、上記第一の時間を上記描画時間と略同じに設定する撮像装置。
(7) 光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるMOS型の撮像素子を備える撮像装置の作動方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップを備え、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動方法。
(8) (7)記載の撮像装置の作動方法であって、上記撮像モード時に、上記ローリングシャッタ方式による駆動制御によって上記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御ステップを更に備え、上記ライブビュー画像の1ラインの上記表示部への描画に要する描画時間と上記第一の時間の一方が、上記描画時間と上記第一の時間の他方に基づいて決定される撮像装置の作動方法。
(9) (8)記載の撮像装置の作動方法であって、上記表示制御ステップでは、上記第一の時間に基づいて上記描画時間を設定する撮像装置の作動方法。
(10) (8)又は(9)記載の撮像装置の作動方法であって、上記表示制御ステップでは、上記描画時間を上記第一の時間と略同じに設定する撮像装置の作動方法。
(11) (8)記載の撮像装置の作動方法であって、上記撮像モードは、上記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて上記グローバルシャッタ方式による駆動制御を複数回連続して行い、上記複数回の駆動制御によって上記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、上記表示制御ステップでは、上記撮像指示に応じて行われる上記駆動制御の回数が閾値を超える場合には、上記回数が上記閾値以下の場合と比べて上記描画時間を長くし、上記駆動制御ステップでは、上記描画時間に基づいて上記第一の時間を設定する撮像装置の作動方法。
(12) (8)又は(11)記載の撮像装置の作動方法であって、上記駆動制御ステップでは、上記第一の時間を上記描画時間と略同じに設定する撮像装置の作動方法。
(13) 光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるMOS型の撮像素子を備える撮像装置の作動プログラムであって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップをコンピュータに実行させるためのプログラムであり、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における1つの上記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動プログラム。
本発明によれば、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合に、撮像される撮像画像の品質低下を防ぐことができる。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、2016年9月23日出願の日本特許出願(特願2016−185291)に基づくものであり、その内容はここに取り込まれる。
1 撮像レンズ
2 絞り
4 レンズ制御部
5 撮像素子
40 レンズ装置
60 受光面
61 画素
61A 光電変換素子
61B 電荷保持部
61C 電荷転送部
61D フローティングディフュージョン
61E 読み出し回路
62 画素行
63 駆動回路
64 信号処理回路
65 信号線
70 N型基板
71 Pウェル層
72 読み出し電極
73 N型不純物層
74 P型不純物層
75 領域
76 転送電極
77 リセットトランジスタ
78 出力トランジスタ
79 選択トランジスタ
X 行方向
Y 列方向
8 レンズ駆動部
9 絞り駆動部
10 撮像素子駆動部
11 システム制御部
11A 駆動制御部
11B 表示制御部
14 操作部
17 デジタル信号処理部
20 外部メモリ制御部
21 記憶媒体
22 表示ドライバ
23 表示部
24 制御バス
25 データバス
RR、GR リセットタイミングを示す直線
RO 露光終了及び信号読み出しタイミングを示す直線
GS 露光終了タイミングを示す直線
GO 信号読み出しタイミングを示す直線
DR 描画タイミングを示す直線
200 スマートフォン
201 筐体
202 表示パネル
203 操作パネル
204 表示入力部
205 スピーカ
206 マイクロホン
207 操作部
208 カメラ部
210 無線通信部
211 通話部
212 記憶部
213 外部入出力部
214 GPS受信部
215 モーションセンサ部
216 電源部
217 内部記憶部
218 外部記憶部
220 主制御部
ST1〜STn GPS衛星

Claims (13)

  1. 光電変換素子と、前記光電変換素子で発生した電荷を保持し、前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備えるMOS型の撮像素子と、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始し、前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了し、前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、前記画素行の前記光電変換素子をリセットして当該画素行の前記光電変換素子の露光を開始し、当該画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して当該露光を終了し、当該電荷保持部に保持された前記電荷に応じた信号を読み出す駆動を、前記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御部と、を備え、
    前記駆動制御部は、前記ローリングシャッタ方式による駆動制御を連続して行う間に前記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、前記ローリングシャッタ方式による駆動制御における1つの前記画素行からの信号の読み出しに要する第一の時間を、前記グローバルシャッタ方式による駆動制御における1つの前記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記撮像モード時に、前記ローリングシャッタ方式による駆動制御によって前記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御部を更に備え、
    前記ライブビュー画像の1ラインの前記表示部への描画に要する描画時間と前記第一の時間の一方が、前記描画時間と前記第一の時間の他方に基づいて決定される撮像装置。
  3. 請求項2記載の撮像装置であって、
    前記表示制御部は、前記第一の時間に基づいて前記描画時間を設定する撮像装置。
  4. 請求項2又は3記載の撮像装置であって、
    前記表示制御部は、前記描画時間を前記第一の時間と略同じに設定する撮像装置。
  5. 請求項2記載の撮像装置であって、
    前記撮像モードは、前記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて前記グローバルシャッタ方式による駆動制御を複数回連続して行い、前記複数回の駆動制御によって前記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、
    前記表示制御部は、前記撮像指示に応じて行われる前記駆動制御の回数が閾値を超える場合には、前記回数が前記閾値以下の場合と比べて前記描画時間を長くし、
    前記駆動制御部は、前記描画時間に基づいて前記第一の時間を設定する撮像装置。
  6. 請求項2又は5記載の撮像装置であって、
    前記駆動制御部は、前記第一の時間を前記描画時間と略同じに設定する撮像装置。
  7. 光電変換素子と、前記光電変換素子で発生した電荷を保持し、前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備えるMOS型の撮像素子を備える撮像装置の作動方法であって、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始し、前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了し、前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、前記画素行の前記光電変換素子をリセットして当該画素行の前記光電変換素子の露光を開始し、当該画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して当該露光を終了し、当該電荷保持部に保持された前記電荷に応じた信号を読み出す駆動を、前記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップを備え、
    前記ローリングシャッタ方式による駆動制御を連続して行う間に前記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、前記駆動制御ステップでは、前記ローリングシャッタ方式による駆動制御における1つの前記画素行からの信号の読み出しに要する第一の時間を、前記グローバルシャッタ方式による駆動制御における1つの前記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動方法。
  8. 請求項7記載の撮像装置の作動方法であって、
    前記撮像モード時に、前記ローリングシャッタ方式による駆動制御によって前記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御ステップを更に備え、
    前記ライブビュー画像の1ラインの前記表示部への描画に要する描画時間と前記第一の時間の一方が、前記描画時間と前記第一の時間の他方に基づいて決定される撮像装置の作動方法。
  9. 請求項8記載の撮像装置の作動方法であって、
    前記表示制御ステップでは、前記第一の時間に基づいて前記描画時間を設定する撮像装置の作動方法。
  10. 請求項8又は9記載の撮像装置の作動方法であって、
    前記表示制御ステップでは、前記描画時間を前記第一の時間と略同じに設定する撮像装置の作動方法。
  11. 請求項8記載の撮像装置の作動方法であって、
    前記撮像モードは、前記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて前記グローバルシャッタ方式による駆動制御を複数回連続して行い、前記複数回の駆動制御によって前記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、
    前記表示制御ステップでは、前記撮像指示に応じて行われる前記駆動制御の回数が閾値を超える場合には、前記回数が前記閾値以下の場合と比べて前記描画時間を長くし、
    前記駆動制御ステップでは、前記描画時間に基づいて前記第一の時間を設定する撮像装置の作動方法。
  12. 請求項8又は11記載の撮像装置の作動方法であって、
    前記駆動制御ステップでは、前記第一の時間を前記描画時間と略同じに設定する撮像装置の作動方法。
  13. 光電変換素子と、前記光電変換素子で発生した電荷を保持し、前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備えるMOS型の撮像素子を備える撮像装置の作動プログラムであって、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始し、前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了し、前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、前記画素行の前記光電変換素子をリセットして当該画素行の前記光電変換素子の露光を開始し、当該画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して当該露光を終了し、当該電荷保持部に保持された前記電荷に応じた信号を読み出す駆動を、前記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップをコンピュータに実行させるためのプログラムであり、
    前記ローリングシャッタ方式による駆動制御を連続して行う間に前記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、前記駆動制御ステップでは、前記ローリングシャッタ方式による駆動制御における1つの前記画素行からの信号の読み出しに要する第一の時間を、前記グローバルシャッタ方式による駆動制御における1つの前記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動プログラム。
JP2018540915A 2016-09-23 2017-08-10 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム Active JP6432005B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016185291 2016-09-23
JP2016185291 2016-09-23
PCT/JP2017/029200 WO2018055948A1 (ja) 2016-09-23 2017-08-10 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム

Publications (2)

Publication Number Publication Date
JP6432005B2 true JP6432005B2 (ja) 2018-11-28
JPWO2018055948A1 JPWO2018055948A1 (ja) 2018-11-29

Family

ID=61690908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018540915A Active JP6432005B2 (ja) 2016-09-23 2017-08-10 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム

Country Status (4)

Country Link
US (1) US10750105B2 (ja)
JP (1) JP6432005B2 (ja)
CN (1) CN109792496B (ja)
WO (1) WO2018055948A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106294A1 (ja) * 2019-11-29 2021-06-03 パナソニックIpマネジメント株式会社 撮像装置及び制御方法
CN115396616A (zh) * 2022-08-30 2022-11-25 维沃移动通信有限公司 像素阵列控制方法、装置及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325557B2 (ja) 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP4887275B2 (ja) 2007-12-27 2012-02-29 富士フイルム株式会社 撮像装置及びそのシャッタ駆動モード選択方法
JP5098831B2 (ja) * 2008-06-06 2012-12-12 ソニー株式会社 固体撮像素子およびカメラシステム
JP2012004819A (ja) * 2010-06-16 2012-01-05 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP5631643B2 (ja) * 2010-06-24 2014-11-26 オリンパス株式会社 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012129817A (ja) * 2010-12-15 2012-07-05 Canon Inc 撮像装置及び撮像素子の制御方法
JP5820620B2 (ja) * 2011-05-25 2015-11-24 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
US9257468B2 (en) 2012-11-21 2016-02-09 Olympus Corporation Solid-state imaging device, imaging device, and signal reading medium that accumulates an amplified signal without digitization
JP5909997B2 (ja) * 2011-11-01 2016-04-27 株式会社リコー 撮像装置および撮像装置の制御方法
JP2014027520A (ja) * 2012-07-27 2014-02-06 Canon Inc 撮像装置及び画像処理方法
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
US9210345B2 (en) * 2013-02-11 2015-12-08 Tower Semiconductor Ltd. Shared readout low noise global shutter image sensor method
JP6522919B2 (ja) * 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置

Also Published As

Publication number Publication date
JPWO2018055948A1 (ja) 2018-11-29
WO2018055948A1 (ja) 2018-03-29
US20190215470A1 (en) 2019-07-11
US10750105B2 (en) 2020-08-18
CN109792496B (zh) 2021-03-02
CN109792496A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
US10623673B2 (en) Imaging device, imaging method, and imaging program
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
CN111095911B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
JP6432005B2 (ja) 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
CN109792494B (zh) 摄像装置、静态图像摄像方法及记录介质
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10778880B2 (en) Imaging device, imaging method, and imaging program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180907

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180907

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R150 Certificate of patent or registration of utility model

Ref document number: 6432005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250