JP6955308B2 - 撮像素子、撮像装置、撮像方法及びプログラム - Google Patents

撮像素子、撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP6955308B2
JP6955308B2 JP2020563105A JP2020563105A JP6955308B2 JP 6955308 B2 JP6955308 B2 JP 6955308B2 JP 2020563105 A JP2020563105 A JP 2020563105A JP 2020563105 A JP2020563105 A JP 2020563105A JP 6955308 B2 JP6955308 B2 JP 6955308B2
Authority
JP
Japan
Prior art keywords
image data
output
image
frame
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020563105A
Other languages
English (en)
Other versions
JPWO2020137665A1 (ja
Inventor
智行 河合
智行 河合
長谷川 亮
亮 長谷川
仁史 桜武
仁史 桜武
小林 誠
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021157876A priority Critical patent/JP7460588B2/ja
Publication of JPWO2020137665A1 publication Critical patent/JPWO2020137665A1/ja
Application granted granted Critical
Publication of JP6955308B2 publication Critical patent/JP6955308B2/ja
Priority to JP2024045253A priority patent/JP2024079754A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示の技術は、撮像素子、撮像装置、撮像方法及びプログラムに関する。
特開2015−126043号公報には、複数のセンサが配置されて成るセンサ部を有する第1半導体チップ、及び、センサによって取得された信号を処理する信号処理部を有する第2半導体チップを備えた電子デバイスが開示されている。特開2015−126043号公報に記載の電子デバイスでは、第1半導体チップと第2半導体チップとが積層されている。
特開2015−126043号公報に記載の電子デバイスでは、各センサからセンサ行毎に読み出された信号に対してセンサ列単位で並列にAD変換を含む所定の信号処理が行われ、デジタル化された画像データがメモリ部にパイプライン転送される。このようにして大量の情報を処理する一方、電子デバイス全体として、低消費電力化を図ることができ、その結果、熱ノイズに起因したセンサの性能低下の抑制も図ることができるとされている。
特開2017−225084号公報には、複数の画素が第1画素領域と第2領域とに大別された撮像素子が開示されている。特開2017−225084号公報に記載の撮像素子において、第1画素領域は、第1露光時間で撮像し、第1画像信号を生成する画素領域である。第2領域は、第1露光時間より長い第2露光時間で撮像し、被写体に関する情報が抽出される第2画像信号を生成する画素領域である。
本開示の技術に係る一つの実施形態は、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる撮像素子、撮像装置、撮像方法及びプログラムを提供する。
第1の態様に係る撮像素子は、第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出し、かつ、撮像素子に内蔵された読出部と、読出部により読み出された画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データに対して処理を行い、かつ、撮像素子に内蔵された処理部と、処理部で処理された画像データを第2フレームレートで出力し、かつ、撮像素子に内蔵された出力部と、を含み、第1フレームレートは、第2フレームレートよりも高いフレームレートであり、読出部は、画像データが1フレーム分出力される期間として第2フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、記憶部は、読出部により並行して読み出された画像データの各々を並行して記憶し、処理部は、記憶部に記憶されている複数のフレームの各々の画像データを用いて1フレーム分の出力画像データを生成する生成処理を行い、出力部は、生成処理により生成された出力画像データを第2フレームレートで出力する。
これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。
第2の態様に係る撮像素子において、第1フレームレートは、露光時間に連動して変更される。
これにより、被写体の明るさの変化に対応することができる。
第3の態様に係る撮像素子において、第1フレームレートは、露光時間が短くなるに従って高くなる。
これにより、比較的明るい被写体に対応することができる。
第4の態様に係る撮像素子において、撮像のための露光は、露光開始後、読出部による少なくとも1画素分の画像データの読出処理が完了してから再開される。
これにより、露光時間に関わらず、前回の露光と次回の露光との間の露光しない時間を比較的短くすることができる。
第5の態様に係る撮像素子において、読出部は、画像データの読出速度を、画像データを並行して読み出すフレームの数に応じて変更する。
これにより、画像データを滞りなく処理することができる。
第6の態様に係る撮像素子において、読出部は、画像データの読出速度を、画像データを並行して読み出すフレームの数と、読み出された画像データをAD変換するAD変換回路の個数と、に応じて変更する。
これにより、AD変換回路の数に限りがある場合でも、画像データを滞りなく処理することができる。
第7の態様に係る撮像素子において、読出部は、画像データをAD変換処理する場合のデータ量を、画像データを並行して読み出すフレームの数と、読み出された画像データをAD変換するAD変換回路の個数と、に応じて変更する。
これにより、AD変換回路の数に限りがある場合でも、画像データを滞りなく処理することができる。
第8の態様に係る撮像素子において、記憶部は、複数の画像データの各々を個別に記憶する複数の記憶領域を含む。
これにより、複数の画像データを並行して記憶することができる。
第9の態様に係る撮像素子において、生成処理は、記憶部に記憶されている複数のフレームの各々の画像データの少なくとも一部を画素単位で加算平均した1フレーム分の画像データを生成する処理である。
これにより、過露光及び画質劣化を抑制することができる。
第10の態様に係る撮像素子において、生成処理は、複数の画像データから、画像データの一部である部分画像データを組み合わせることにより、1フレーム分の出力画像データを生成する。
これにより、一部が時間的に新しい出力画像データを出力することができる。
第11の態様に係る撮像素子は、少なくとも光電変換素子と記憶部とが1チップ化された撮像素子である。
これにより、光電変換素子と記憶部とが1チップ化されていない撮像素子に比べ、撮像素子の可搬性を高めることができる。
第12の態様に係る撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である。
これにより、光電変換素子と記憶部とが積層されていない撮像素子に比べ、光電変換素子と記憶部との間での処理にかかる負荷が軽減される。
第13の態様に係る撮像装置は、第1の態様から第12の態様の何れか1つの態様に係る撮像素子と、出力部により出力された画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む。
これにより、出力部により出力された複数の画像データに基づく画像をユーザに視認させることができる。
第14の態様に係る撮像方法は、第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す工程と、読み出された画像データを記憶する工程と、画像データに対して処理を行う工程と、処理された画像データを第1フレームレートよりも低い第2フレームレートで出力する工程と、を含む撮像方法であって、読み出す工程は、画像データが1フレーム分出力される期間として第2フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、記憶する工程は、並行して読み出された画像データの各々を並行して記憶し、処理を行う工程は、記憶されている複数のフレームの各々の画像データを用いて1フレーム分の出力画像データを生成し、出力する工程は、生成された出力画像データを第2フレームレートで出力する。
これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。
第15の態様に係るプログラムは、コンピュータに、第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す手順と、読み出された画像データを記憶する手順と、画像データに対して処理を行う手順と、処理された画像データを第1フレームレートよりも低い第2フレームレートで出力する手順と、を実行させるプログラムであって、読み出す手順は、画像データが1フレーム分出力される期間として第2フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、記憶する手順は、並行して読み出された画像データの各々を並行して記憶し、処理を行う手順は、記憶されている複数のフレームの各々の画像データを用いて1フレーム分の出力画像データを生成し、出力する手順は、生成された出力画像データを第2フレームレートで出力する。
これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。
本開示の一実施形態に係る撮像素子は、画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出し、画像データに対して処理を行い、処理部で処理された画像データを、第1フレームレートより低い第2フレームレートで出力するプロセッサを含み、プロセッサは、画像データが1フレーム分出力される期間として第2フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、並行して読み出された画像データの各々を並行してメモリに記憶させ、記憶されている複数のフレームの各々の画像データを用いて1フレーム分の出力画像データを生成し、生成された出力画像データを第2フレームレートで出力する。
第1実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第1実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 メモリの複数の記憶領域を示す図である。 第1実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 撮像素子の露光、読み出し、記憶、及び出力の動作を簡略化して示した概念図である。 撮像素子の露光からリセットまでの動作の一例を示す詳細説明図である。 従来技術での動画像の見え方を説明する概略図である。 従来技術での動画像の見え方を説明する概略図である。 従来技術での動画像の見え方を説明する概略図である。 従来技術での動画像の見え方を説明する概略図である。 第1実施形態に係る撮像素子の露光、読み出し、記憶、及び出力の一例を示す動作概念図である。 第1実施形態に係る撮像処理の一例を示すフローチャートである。 第1実施形態に係る露光読出処理の一例を示すフローチャートである。 第1実施形態に係る出力画像生成処理の一例を示すフローチャートである。 第1実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第1実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第1実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第1実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第1実施形態に係るAD変換カラムが1つの画像データをAD変換する動作の概念図である。 第1実施形態に係るAD変換カラムが2つの画像データをAD変換する動作の概念図である。 第1実施形態に係るAD変換カラムが3つの画像データをAD変換する動作の概念図である。 第1実施形態に係るAD変換カラムが4つの画像データをAD変換する動作の概念図である。 撮像素子の露光時間が短い場合の問題の一例を示す概略図である。 図12に示す問題を解決する第2実施形態に係る撮像素子のAD変換処理の一例を示す概略図である。 第2実施形態に係る露光読出処理の一例を示すフローチャートである。 第3実施形態に係る露光読出処理の一例を示すフローチャートである。 第4実施形態に係る読出処理及び出力の一例を示す概略図である。 第5実施形態に係る読出処理及び出力の一例を示す概略図である。 第5実施形態の変形例に係る読出処理及び出力の一例を示す概略図である。 第5実施形態に係る出力画像生成処理の一例を示すフローチャートである。 プログラムが記憶された記憶媒体から、プログラムが各実施形態に係る撮像素子にインストールされる態様の一例を示す概念図である。 各実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。
先ず、以下の説明で使用される用語について説明する。以下の説明において、「AD」とは、“Analog−to−Digital”の略称である。「OVF」とは、“Optical View Finder”の略称である。「EVF」とは、“Electronic View Finder”の略称である。「AE」とは、“Auto Exposure”の略称である。「CMOS」とは、“Complementary Metal Oxide Semiconductor”の略称である。「CCD」とは、“Charge Coupled Device”の略称である。「LSI」とは、“Large−Scale Integration”の略称である。「CPU」とは、“Central Processing Unit”の略称である。「ROM」とは、“Read Only Memory”の略称である。「RAM」とは、“Random Access Memory”の略称である。「I/F」とは、“Interface”の略称である。「ASIC」とは、“Application Specific Integrated Circuit”の略称である。「PLD」とは“Programmable Logic Device”の略称である。「FPGA」とは、“Field Programmable Gate Array”の略称である。「SSD」とは“Solid State Drive”の略称である。「USB」とは“Universal Serial Bus”の略称である。「CD−ROM」とは“Compact Disc Read Only Memory”の略称である。「IC」とは“Integrated Circuit”の略称である。HDD」とは、“Hard Disc Drive”の略称である。「DRAM」とは、“Dynamic Random Access Memory”の略称である。「SRAM」とは、“Static Random Access Memory”の略称である。「PC」とは、“Personal Computer”の略称である。「fps」とは、“frame per second”の略称である。
[第1実施形態]
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
一例として図1に示すように、撮像装置10は、レンズ交換式カメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を含む。交換レンズ14は、手動操作により光軸L1方向に移動可能なフォーカスレンズ16を有する撮像レンズ18を含む。
また、撮像装置本体12には、ハイブリッドファインダー(登録商標)21が設けられている。ここで言うハイブリッドファインダー21とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。EVFは第2ディスプレイ80を含む。
交換レンズ14は、撮像装置本体12に対して交換可能に装着される。また、交換レンズ14の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング22が設けられている。フォーカスリング22の手動による回転操作に伴って、フォーカスレンズ16は光軸L1方向に移動する。フォーカスレンズ16は、被写体距離に応じた合焦位置で停止される。なお、本実施形態において、「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ16の光軸L1上での位置を指す。
撮像装置本体12の背面には、タッチパネル・ディスプレイ30が設けられている。タッチパネル・ディスプレイ30は、液晶ディスプレイ(以下、「第1ディスプレイ」という)40及びタッチパネル42を備えている。第1ディスプレイ40又は第2ディスプレイ80は、本開示の技術に係る「表示部」の一例である。
第1ディスプレイ40は、画像及び文字情報等を表示する。第1ディスプレイ40は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像(スルー画像)の表示に用いられる。また、第1ディスプレイ40は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第1ディスプレイ40は、再生モード時の再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル42は、透過型のタッチパネルであり、第1ディスプレイ40の表示領域の表面に重ねられている。タッチパネル42は、例えば、指又はスタイラスペン等の指示体による接触を検知する。
撮像装置10は、撮像装置本体12に備えられたマウント44と、マウント44に対応する交換レンズ14側のマウント46と、を含む。交換レンズ14は、マウント44にマウント46が結合されることにより撮像装置本体12に交換可能に装着される。
撮像レンズ18は、絞り47を含む。絞り47は、フォーカスレンズ16よりも撮像装置本体12側に配置されており、モータ49に接続されている。絞り47は、モータ49の動力を受けて作動することで露出を調節する。
交換レンズ14は、スライド機構48及びモータ50を含む。スライド機構48は、フォーカスリング22の操作が行われることでフォーカスレンズ16を光軸L1に沿って移動させる。スライド機構48には光軸L1に沿ってスライド可能にフォーカスレンズ16が取り付けられている。また、スライド機構48にはモータ50が接続されており、スライド機構48は、モータ50の動力を受けてフォーカスレンズ16を光軸L1に沿ってスライドさせる。
モータ49,50は、マウント44,46を介して撮像装置本体12に接続されており、撮像装置本体12からの命令に従って駆動が制御される。なお、本実施形態では、モータ49,50の一例として、ステッピングモータを適用している。従って、モータ49,50は、撮像装置本体12からの命令によりパルス電力に同期して動作する。
撮像装置10は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体12は、操作部54、外部インタフェース(I/F)63、及び後段回路90を備えている。後段回路90は、撮像素子20から送り出されるデータを受け取る側の回路である。本実施形態では、後段回路90としてICが採用されている。ICの一例としては、LSIが挙げられる。
後段回路90は、CPU52、I/F56、一次記憶部58、二次記憶部60、画像処理部62、第1表示制御部64、第2表示制御部66、位置検出部70、及びデバイス制御部74を含む。本実施形態では、CPU52として、単数のCPUを例示しているが、本開示の技術はこれに限定されず、CPU52に代えて複数のCPUを採用してもよい。CPU52は、本開示の技術に係る「制御部(制御プロセッサ)」の一例である。
なお、本実施形態では、画像処理部62、第1表示制御部64、第2表示制御部66、位置検出部70、及びデバイス制御部74の各々がASICによって実現されている。ただし、本開示の技術はこれに限定されるものではない。例えば、ASICに代えてPLD及びFPGAのうちの少なくとも1つが採用されてもよい。また、ASIC、PLD、及びFPGAのうちの少なくとも2つが採用されてもよい。また、CPU、ROM、及びRAMを含むコンピュータが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、画像処理部62、第1表示制御部64、第2表示制御部66、位置検出部70、及びデバイス制御部74のうちの少なくとも1つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
CPU52、I/F56、一次記憶部58、二次記憶部60、画像処理部62、第1表示制御部64、第2表示制御部66、操作部54、外部I/F63、及びタッチパネル42は、バス68を介して相互に接続されている。
CPU52は、撮像装置10の全体を制御する。本実施形態に係る撮像装置10では、オートフォーカスモード時に、CPU52が、撮像によって得られた画像のコントラスト値が最大となるようにモータ50を駆動制御することによって合焦制御を行う。また、CPU52は、オートフォーカスモード時に、撮像によって得られた画像の明るさを示す物理量であるAE情報を算出する。CPU52は、撮像モードにおいて、AE情報により示される画像の明るさに応じた露光時間(シャッタスピード)及び絞り値を導出する。そして、導出した露光時間及び絞り値となるように関係各部を制御することによって露出状態の設定を行う。
一次記憶部58とは、揮発性のメモリを意味し、例えばRAMを指す。二次記憶部60とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はHDDを指す。
二次記憶部60には、撮像プログラム60Aが記憶されている。CPU52は、二次記憶部60から撮像プログラム60Aを読み出し、読み出した撮像プログラム60Aを一次記憶部58に展開する。CPU52は、一次記憶部58に展開した撮像プログラム60Aに従って撮像から表示までの処理を実行する。
操作部54は、後段回路90に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部54によって受け付けられた各種指示は操作信号としてCPU52に出力される。CPU52は、操作部54から入力された操作信号に応じた処理を実行する。
位置検出部70は、CPU52に接続されている。位置検出部70は、マウント44,46を介してフォーカスリング22に接続されており、フォーカスリング22の回転角度を検出し、検出結果である回転角度を示す回転角度情報をCPU52に出力する。CPU52は、位置検出部70から入力された回転角度情報に応じた処理を実行する。
撮像モードが設定されると、被写体光は、フォーカスレンズ16を含む撮像レンズ18及びメカニカルシャッタ72を介してカラーの撮像素子20の受光面に結像される。
デバイス制御部74は、CPU52に接続されている。また、デバイス制御部74は、撮像素子20及びメカニカルシャッタ72に接続されている。更に、デバイス制御部74は、マウント44,46を介して撮像レンズ18のモータ49,50に接続されている。デバイス制御部74は、CPU52の制御下で、撮像素子20、メカニカルシャッタ72、及びモータ49,50を制御する。
撮像素子20は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子20は、例えば、CMOSイメージセンサである。一例として図2Aに示すように、撮像素子20には、光電変換素子92、処理回路94、及びメモリ96が内蔵されている。撮像素子20は、少なくとも光電変換素子92とメモリ96が1チップ化されていることが好ましい。少なくとも光電変換素子92とメモリ96が1チップ化されていることにより、光電変換素子92とメモリ96とが1チップ化されていない撮像素子に比べ、撮像素子の可搬性を高めることができる。図2Aには、光電変換素子92と処理回路94とメモリ96とが積層されて1チップ化された撮像素子20を示している。具体的には、光電変換素子92及び処理回路94は、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されており、処理回路94及びメモリ96も、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されている。
撮像素子20は、光電変換素子92にメモリ96が積層された積層型撮像素子である。光電変換素子92にメモリ96が積層されていることにより、光電変換素子92とメモリ96とが積層されていない撮像素子に比べ、光電変換素子92とメモリ96との間での処理にかかる負荷が軽減される。
一例として図3に示すように、処理回路94は、本開示の技術に係る「プロセッサ」の一例であり、光電変換素子駆動回路94A、AD変換回路94B、画像処理回路94C、及び出力回路94Dを含む。処理回路94は、デバイス制御部74を介してCPU52の制御下で動作する。
光電変換素子駆動回路94Aは、光電変換素子92及びAD変換回路94Bに接続されている。メモリ96は、AD変換回路94B及び画像処理回路94Cに接続されている。画像処理回路94Cは出力回路94Dに接続されている。出力回路94Dは、後段回路90のI/F56に接続されている。
光電変換素子駆動回路94Aは、CPU52の制御下で、光電変換素子92を制御し、光電変換素子92から撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示すアナログの画像データを指す。AD変換回路94Bは、光電変換素子駆動回路94Aにより読み出されたアナログの画像データをAD変換によりデジタル化し、デジタル化した画像データをメモリ96に記憶する。メモリ96は、複数フレームの画像データを記憶可能である。画像処理回路94Cは、メモリ96に記憶された画像データに対して処理を施す。光電変換素子駆動回路94Aは、本開示の技術に係る「読出部」の一例である。メモリ96は、本開示の技術に係る「記憶部」の一例である。画像処理回路94Cは、本開示の技術に係る「処理部」の一例である。出力回路94Dは、本開示の技術に係る「出力部」の一例である。
処理回路94は、例えば、LSIであり、メモリ96は、例えば、RAMである。本実施形態では、メモリ96の一例として、DRAMが採用されているが、本開示の技術はこれに限らず、SRAMであってもよい。
本実施形態では、処理回路94は、ASICによって実現されている。ただし、本開示の技術はこれに限定されるものではない。例えば、ASICに代えてPLD及びFPGAのうちの少なくとも1つが採用されてもよい。また、ASIC、PLD、及びFPGAのうちの少なくとも2つが採用されてもよい。また、CPU、ROM、及びRAMを含むコンピュータが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、処理回路94は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
光電変換素子92は、マトリクス状に配置された複数のフォトセンサ(以下、画素という場合もある)を有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“4896列×3265行”画素分のフォトダイオードが挙げられる。なお、以下では、画素の行をラインという場合がある。
光電変換素子92は、カラーフィルタを備えている。カラーフィルタは、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタ、R(赤)に対応するRフィルタ、及びB(青)に対応するBフィルタを含む。本実施形態では、光電変換素子92の複数のフォトダイオードに対してGフィルタ、Rフィルタ、及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に既定の周期性で配置されている。そのため、撮像装置10は、R,G,B信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から、画素毎に全ての色情報を算出する処理を指す。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、デモザイクとは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
なお、ここでは、撮像素子20としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子92がCCDイメージセンサであっても本開示の技術は成立する。
撮像素子20は、いわゆる電子シャッタ機能を有しており、デバイス制御部74の制御下で電子シャッタ機能を働かせることで、光電変換素子92内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆる露光時間を指す。
撮像装置10では、ローリングシャッタ方式で、静止画像用の撮像と、ライブビュー画像等の動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ72を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ72を作動させずに、電子シャッタ機能を働かせることで実現される。
処理回路94は、デバイス制御部74を介してCPU52によって制御される。処理回路94は、被写体が光電変換素子92により撮像されることで得られたフレーム毎のアナログの画像データを読み出す。アナログの画像データは、光電変換素子92に蓄積された信号電荷に基づくデータである。処理回路94は、光電変換素子92から読み出したアナログの画像データに対してAD変換を行う。処理回路94は、アナログの画像データに対してAD変換を行うことで得たデジタルの画像データをメモリ96に記憶する。処理回路94は、メモリ96からデジタルの画像データを取得し、取得した画像データを処理して出力画像データとして後段回路90のI/F56に出力する。以下、アナログ又はデジタルの画像データを単に「画像データ」と称する。
第1フレームレートは、光電変換素子92において露光を開始してから、露光により撮像した1フレームの画像データを光電変換素子92から読み出し、読み出した画像データをAD変換し、AD変換された画像データをメモリ96に記憶するまでの時間に関するフレームレートである。第2フレームレートは、1フレームの出力画像データを撮像素子20の外部に出力するために要する時間に関するフレームレートである。ここで言う「撮像素子20の外部」とは、例えば、後段回路90のI/F56を指す。第1フレームレートは、第2フレームレートよりも高いフレームレートである。
第1実施形態では、第2フレームレートの一例として、60fps(frames per second)が採用されている。ただし、本開示の技術はこれに限定されず、“第2フレームレート<第1フレームレート”の関係性を満たしていれば、第2フレームレートは変更可能である。また、第1フレームレートは、第2フレームレート以下にならない範囲内で変更可能である。以下において、第2フレームレートで出力する1フレーム分の出力期間を単に「出力期間」と称する。第2フレームレートが上述の60fpsであった場合、出力期間は60分の1秒(16.667ミリ秒)である。
撮像素子20の1回の露光で1つのフレームの画像データが得られる。第1実施形態では、露光と画像データの読出処理はライン毎にローリングシャッタ方式で行われる。1ラインの露光が終了すると、そのラインの電荷の読み出し、AD変換、AD変換された画像データのメモリ96への記憶及びリセットが実行される。読み出しからリセットまでを画像データの読出処理と称する。
ここで第1実施形態に係る撮像素子20の詳細な動作を説明する前に、第1フレームレートと第2フレームレートとを同じとしたときの問題について説明する。
一例として図4Aに示すように、第1フレームレートと第2フレームレートが同じ60fpsで読出処理及び出力を行う場合を説明する。図4Aの横軸は時間であり、第1フレームから第4フレームまで、被写体の明るさが次第に明るくなり、過露光を抑制するため露光時間がT1,T2,T3,T4と次第に短くなった場合を想定する。1フレーム目の露光時間T1は例えば60分の1秒であるが、2フレーム目の露光時間T2はT1より短い。3フレーム目の露光時間T3はT2より短く、4フレーム目の露光時間T4はT3より短い。
図4Aでは、光電変換素子92の第1ラインから第Nラインの露光の開始時点、つまり露光のためのリセットを1本の斜線で示している。しかし詳細には図4Bに示すように、リセット後の露光、読み出し、AD変換、メモリへの記憶、及びリセットまでの動作がライン毎に行われる。画像データのメモリ96への記憶は、AD変換が終了してから行われるため、時間的には露光時間とは重ならないが、説明のため露光の開始時点を示す斜線と同じ期間に太い斜線で示している。さらに、記憶された画像データの出力を同じ期間に太い斜線で示している。以下の説明では、簡略化のために図4Bに示す動作を図4Aに示すように表す。
図4Aに示すように、露光時間がT1である場合、まず第1ラインが時間T1だけ露光し、露光後に読み出し及びAD変換が行われ、1ライン分の画像データとしてメモリ96に記憶される。第2ラインは第1ラインよりも遅れて時間T1だけ露光し、露光後に読み出し、及びAD変換が行われ、1ライン分の画像データとしてメモリ96に記憶される。この読出処理が最後の第Nラインまで順次行われ、全ラインの画像データが第1フレームの画像データとしてメモリ96に記憶される。この動作が各フレームで繰り返される。
露光時間が短くなっても第1フレームレートは変わらないため、例えば第1ラインは、第2フレームのための露光時間T2の露光後に読み出し及びリセットが行われた後は、第3フレームのための露光が開始されるまで時間TAだけ待つことになる。同様に、第1ラインは、第3フレームのための露光時間T3の露光後の読み出し及びリセットが行われた後、第4フレームのための露光が開始されるまで時間TBだけ待ち時間が生じる。また、第1ラインは、第4フレームのための露光時間T4の露光後の読み出し及びリセットが行われた後、第5フレームのための露光が開始されるまで時間TCだけ待ち時間が生じる。
このように、露光時間が短くなるほど、次のフレームの露光が開始されるまでの待ち時間が長くなる。待ち時間は、第1ラインから最後の第Nラインまで共通して発生する。そのため、動いている被写体を撮像する場合、この待ち時間の間に被写体が移動してしまう。そのため、第2フレームから第4フレームまでをフレーム毎に示すと、例えば図5Aから図5Cに示すような断続的な画像となる。これを動画像として出力した場合、図5Dに示すように、被写体が不連続に移動するような、ぎこちない動きに感じられる。
動画像で滑らかな動きを表示するためには、1フレームの露光時間を出力期間に近づけることが考えられる。1フレームの露光時間を出力期間に近づけることを、時間開口を広げるとも称する。時間開口を広げることにより、上記の待ち時間が短くなるため、1つのフレーム画像の被写体の動きと次のフレームの被写体の動きがつながり、被写体が連続して滑らかに動くように見える。しかし、過露光を抑制するために、被写体が明るくなるほど露光時間が短く設定されることになるため、時間開口を広げることが難しい場合がある。
以上のような問題を解決する、第1実施形態に係る撮像素子20の動作について説明する。第1実施形態では、第1フレームレートは、露光時間に連動して、第2フレームレートよりも高いフレームレートに変更される。これにより、被写体の明るさの変化に対応することができる。より具体的には、露光時間が短くなるに従って、第1フレームレートが高く変更される。これにより、比較的明るい被写体に対応することができる。ただし、第1フレームレートは、露光時間が出力期間より短い場合にのみ、第2フレームレートよりも高い値に変更される。第1フレームレートを第2フレームレートより高く変更するということは、出力期間内に複数回、つまり1回より多く露光するということである。
一例として図6に示すように、被写体が時間経過につれて明るくなる場合を想定する。図6の横軸は時間を表す。第2フレームレートは60fpsとする。被写体が次第に明るくなると、露光E1からE6の露光時間はT1からT6のように次第に短くなる。しかし、本実施形態では、図4Aに示す方法とは異なり、露光と読出処理は、待ち時間を設けることなく連続して行われる。そうすると、1つの出力期間において、複数フレームの画像データが並行して読み出される場合がある。例えば図に示す第3フレームの出力期間においては、最大で露光E3、E4及びE5に係る3フレームの画像データが並行して読み出され、記憶されている。つまり、光電変換素子駆動回路94Aは、画像データが1フレーム分出力される期間として第2フレームレートで規定された出力期間内に、撮像された複数のフレームの各々の画像データを並行して読み出す。
撮像のための露光は、前回の露光開始後、光電変換素子駆動回路94Aによる1ライン分の画像データの読出処理が完了してから再開される。特に、前回の露光による画像データの読出処理が完了してから、待ち時間を置かずに再開されることが好ましい。これにより、常時露光している状態に近づけることができ、露光時間に関わらず、前回の露光と次回の露光との間の露光しない時間を比較的短くすることができる。なお、第1実施形態では画像データを1ラインずつ読み出すが、1画素分ずつ読み出してもよい。
図2Bに示すように、メモリ96は、画像データの各々を個別に記憶する複数の記憶領域である第1領域96A、第2領域96B、第3領域96C、・・・を有する。以下、「記憶領域」を「領域」とも称する。図6に示すように、最初の露光E1(露光時間T1)によって得られた画像データは、光電変換素子駆動回路94Aによって読み出され、AD変換回路94BによってAD変換される。そして、AD変換された画像データがメモリ96の第1領域96Aに記憶される。記憶された画像データは、出力回路94Dにより第1フレームの出力画像データとして出力され、例えば第1ディスプレイ40に表示される。これにより、出力回路94Dにより出力された複数の画像データに基づく画像をユーザに視認させることができる。
第1ラインの画像データの読み出し後に画像データはリセットされて読出処理が終了する。読出処理が終了すると、待ち時間を置かずに第2の露光E2(露光時間T2)が開始される。これを露光と読出処理が連続して行われると称する。以上の処理はライン毎に行われる。
露光E2によって得られた画像データは、読み出され、AD変換された後、メモリ96の、第1領域96Aとは異なる第2領域96Bに記憶される。露光E2によって得られた画像データの読み出し後、画像データはリセットされ、露光E3が開始される。露光E3によって得られた画像データの読み出しは、図6に示すように露光E2の読み出しの途中から時間的に重なる。そのため、露光E3によって得られた画像データは、露光E2によって得られた画像データの記憶処理が実行されているメモリ96の第2領域96Bとは異なる第1領域96Aに記憶される。つまり、メモリ96は、光電変換素子駆動回路94Aによって並行して読み出された画像データの各々を並行して記憶する。
以上のように、露光E1から露光E6まで、露光と読出処理が連続して行われる。メモリ96への記憶処理は、メモリ96に設けられた第1領域96A、第2領域96B、第3領域96C、・・・のうち、記憶処理が並行して実行されるように異なる領域を選択して実行される。露光と読出処理を連続して行うことで、1つの出力期間内に複数の画像、つまり1枚より多くの画像を撮像することができる。
第2フレーム用の出力画像データは、露光E2によって得られた画像データが出力される。第3フレーム用の出力画像データは、露光E3によって得られた画像データと、露光E4によって得られた画像データとが合成された画像データである。また、第4フレーム用の出力画像データは、露光E5によって得られた画像データと、露光E6によって得られた画像データとが合成された画像データである。画像処理回路94Cは、メモリ96に記憶された複数のフレームの各々の画像データを合成することにより、1フレーム分の出力画像データを生成する生成処理を行う。
画像データを合成する出力画像データの生成処理は、公知の方法で行うことができる。例えば、画像処理回路94Cは、メモリ96に記憶されている複数のフレームの各々の画像データの少なくとも一部を画素単位で加算平均した1フレーム分の画像データを生成する。例えば加算平均する画像データのうちの1つにノイズが乗っていた場合、加算平均することによりノイズが低減されるので、画質劣化を防止できる。また、単に加算しただけでは、画素値が大きくなって過露光となるおそれがあるが、加算平均をすることにより過露光を防止できる。合成処理は、複数の画像データの、少なくとも一部の共通する画素に対して行うことができる。合成された出力画像データは、メモリ96に記憶される。なお、出力画像データをメモリ96以外の記憶装置に記憶させてもよい。
出力回路94Dは、画像処理回路94Cにより生成されメモリ96に記憶された出力画像データを第2フレームレートで後段回路90に出力する。CPU52は、出力された出力画像データを一次記憶部58に記憶し、第1表示制御部64によって第1ディスプレイ40に表示させる。
以上の処理をフローチャートを用いて説明する。まず、後段回路90のCPU52が行う撮像処理を図7を用いて説明する。ステップS10において、CPU52は、AE情報により示される画像の明るさに応じた露光時間を導出し、一次記憶部58に記憶する。次にステップS11において、CPU52は、記憶した露光時間をデバイス制御部74に出力する。次にステップS12において、CPU52は、第2フレームレートに従った垂直同期信号の出力タイミングであるか否かを判定する。ステップS12において、判定が否定された場合はステップS15へ移行する。ステップS12において、判定が肯定された場合は、ステップS13へ移行し、CPU52は、デバイス制御部74に垂直同期信号を出力する。次にステップS14において、CPU52は、撮像素子20から入力された出力画像データを、第1表示制御部64を制御して第1ディスプレイ40に表示させる。その後、撮像処理はステップS15に移行する。
ステップS15において、CPU52は、撮像終了条件が成立したか否かを判定する。判定が肯定された場合は、撮像終了条件が成立したことをデバイス制御部74に出力した後、撮像処理を終了する。判定が肯定された場合とは、例えばユーザが操作部54から撮像終了を指示した場合である。ステップS15において、判定が否定された場合はステップS10に戻る。以上の処理は、CPU52が撮像プログラム60Aを実行することによって実行される。
次に、CPU52の制御により撮像素子20が実行する露光読出処理について図8を用いて説明する。まずステップS16において、光電変換素子駆動回路94Aは、CPU52からデバイス制御部74に入力された露光時間を取得する。次にステップS17において、光電変換素子駆動回路94Aは、取得した露光時間で露光するように光電変換素子92を制御する。次にステップS18において、光電変換素子駆動回路94Aは、露光により得られた画像データを読み出す。そしてAD変換回路94Bは、読み出された画像データのAD変換処理を行い、AD変換した画像データをメモリ96に記憶する。次にステップS19において、光電変換素子駆動回路94Aは、露光終了条件が成立したか否かを判定する。露光終了条件が成立するとは、例えば撮像終了条件が成立したことがCPU52からデバイス制御部74に入力されたことである。判定が肯定された場合は、光電変換素子駆動回路94AとAD変換回路94Bは、露光読出処理を終了する。判定が否定された場合はステップS16に戻る。
次に、CPU52の制御により撮像素子20が実行する出力画像生成処理について図9を用いて説明する。ステップS20において、画像処理回路94Cは、CPU52からデバイス制御部74に垂直同期信号が入力されたか否かを判定する。判定が否定された場合は、ステップS20を繰り返す。判定が肯定された場合は、ステップS21に移行して、画像処理回路94Cは、その時点でメモリ96に記憶されている出力可能な画像データが複数あるか否かを判定する。出力可能な画像データが複数記憶されている場合は、判定が肯定されてステップS22に移行し、画像処理回路94Cは、複数の画像データを合成して1つの出力画像データを生成する。生成された出力画像データは、メモリ96又はその他の記憶部に記憶される。ステップS21において、判定が否定された場合は、ステップS23に移行し、画像処理回路94Cは、1つの画像データから1つの出力画像データを生成する。生成された出力画像データは、メモリ96又はその他の記憶部に記憶される。
次にステップS24において、出力回路94Dは、生成された出力画像データを後段回路90のI/F56に出力する。次にステップS25において、画像処理回路94Cは、出力画像生成終了条件が成立したか否かを判定する。出力画像生成終了条件が成立するとは、例えば撮像終了条件が成立したことがCPU52からデバイス制御部74に入力されたことである。ステップS25において、判定が肯定された場合は、画像処理回路94Cは、出力画像生成処理を終了する。判定が否定された場合はステップS20に戻る。
以上説明したように、複数の画像データを用いて1フレーム分の出力画像データを生成することにより、1つの出力期間における被写体の移動の軌跡(残像)が映った画像を得ることができる。例えば、図6に示した第2フレームは露光時間がT2であり、図10Aに示すように露光時間T2で撮像された被写体が映る。図6に示した第3フレームは、露光E3と露光E4での画像を合成するため、露光時間T3とT4を合計した時間での被写体の移動の軌跡が映った図10Bに示す画像が得られる。同様に、第4フレームは、露光E5と露光E6での画像を合成するため、露光時間T5とT6を合計した時間での被写体の移動の軌跡が映った図10Cに示す画像が得られる。これらを動画像としてみると、図10Dに示すように、被写体が滑らかに移動するように見える。
画像処理回路94Cが出力画像データを合成する場合、1出力フレーム内の露光時間を合計すると出力期間にできるだけ近い露光時間となるような画像データを足し合わせて合成することが好ましい。このようにすることにより、出力期間に相当する時間内の被写体の移動の軌跡を1出力フレームに合成することができ、より自然な動画像を得ることができる。
上記の処理により得られた出力画像データは、メモリ96又はその他の記憶部に記憶される。また、ライブビュー画像として第1ディスプレイ40に表示される。
第1実施形態に係る撮像素子20によれば、出力期間により近い合計露光時間の画像データを合成することができる。これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。
[第2実施形態]
露光時間が短くなるにつれて、1つの出力期間に露光する回数は増加する。そのため、1つの出力期間において並行して読み出す画像データの数が増加する。一方、AD変換を行うAD変換カラムの数は限られる場合がある。1つの出力期間において並行して読み出す画像データの数が、同時にAD変換を行うことができる画像データの数よりも多くなると、AD変換が滞り、並行して画像データの読み出しをすることができない。そこで、本実施形態においては、光電変換素子駆動回路94Aは、画像データの読出速度を、並行して読み出す画像データの数に応じて変更する。換言すれば、画像データの読出速度を、画像データを並行して読み出すフレームの数に応じて変更する。なお、読出速度とは、読出処理を行う速度である。これにより、画像データを滞りなく処理することができる。
具体的には、本実施形態においては、光電変換素子駆動回路94Aは、画像データの読出速度を、画像データを並行して読み出すフレーム、つまり画像データの数と、読み出された画像データをAD変換するAD変換回路、つまりAD変換カラムの個数と、に応じて変更する。
第2実施形態では、図11Aに示すように、撮像素子20は、AD変換回路94Bとして、T0,T1,T2,T3,B0,B1,B2及びB3の合計8個のAD変換カラムを有している。撮像素子20は、同時に2個のAD変換カラムを1組として使用して2ラインのAD変換処理を並行して実行する。AD変換カラムの組は、AD変換カラムT0とB0、AD変換カラムT1とB1、AD変換カラムT2とB2、及びAD変換カラムT3とB3の4組である。なお、以下では、8個のAD変換カラムT0〜T3,B0〜B3を特に区別する必要がない場合は、AD変換回路94Bと称する。
図11Aに示すように、第1画像の画像データだけをAD変換する場合は、8個のAD変換カラムのうち、AD変換カラムT0とB0の1組を用いて、2ラインを並行してAD変換する。また、図11Bに示すように、第1画像及び第2画像の2つの画像データをAD変換する場合は、AD変換カラムT0とB0、及びAD変換カラムT1とB1の2組を用いて、2つの画像データをそれぞれ2ラインずつ並行してAD変換する。同様に、図11Cに示すように、第1画像から第3画像までの3つの画像データをAD変換する場合は、図11Bに示す例にAD変換カラムT2とB2の1組を加えて3組のAD変換カラムで3つの画像データを並行してAD変換する。同様に、図11Dに示すように、第1画像から第4画像までの4つの画像データをAD変換する場合は、さらにAD変換カラムT3とB3の1組を加えて4つの画像データを並行してAD変換する。
以上のようにAD変換カラムを使用することにより、最大で8ライン、4フレーム分の画像データを並行してAD変換処理を行うことができる。換言すれば、最大で8ライン、4フレーム分の画像データを並行して読出処理を行うことができる。
ここで一例として図12に示すように、露光時間が、予め定められた第1閾値より短い、T4、T5、T6、T7、T8と連続的に推移した場合を考える。露光時間がT1からT3までは、第1閾値以上の露光時間である。第1閾値は、並行してAD変換処理が可能なフレーム数の画像を1つの出力期間に取得する露光時間として設定できる。
この場合、図12の点線の枠で示した時間TXにおいて、T4からT8の露光時間の画像データの読出処理が重なり、10ライン、つまり5フレーム分の画像データの読出処理を行う必要がある。しかし、前述のように、AD変換カラムは、8ライン、つまり4フレーム分の画像データへのAD変換処理が限界であるので、5フレーム分の画像データを並行してAD変換処理することはできない。
そこで、画像データの読出速度を低下させて読出処理する。こうすることで、5フレーム分以上の画像データを並行して読出処理する。具体的には、図12で説明した場合において、露光時間がT1からT3までに露光された画像データに対しては、通常時のAD変換の処理速度で処理する。一方、露光時間が予め定められた第1閾値より短いT4からT8で露光された画像データに対しては、通常時よりもAD変換の処理速度を低くして処理する。
ここで、画像データのAD変換の処理速度を低くするとは、1フレーム分の画像データのライン毎のAD変換が連続して行われるのではなく、断続的に行われるということである。4組のAD変換カラムが、ある時点で同時にAD変換できるライン数は8ラインであり、並行してAD変換処理が可能な画像データ数は4つまでである。そこで、例えば5フレーム分の画像データをAD変換処理する場合は、5フレーム分の画像データのライン毎に4組のAD変換カラムを順番に割り当ててAD変換処理する。そのため、ある時点ではAD変換処理されていない画像データが生じる。その結果、1つの画像データのAD変換の処理速度は見かけ上低くなる。
具体的には、図13に示すように、並行してAD変換処理をすべき5フレーム分の画像データを第1データから第5データとする。最初のAD変換処理1では第1データから第4データまでの第1ラインL1(以下、第1ラインをL1、第2ラインをL2のように称する。)及びL2をAD変換する。第5データはAD変換しない。次のAD変換処理2では、第2データから第4データのL3及びL4と、第5データのL1及びL2をAD変換する。第1データはAD変換しない。次のAD変換処理3では、第3データと第4データのL5及びL6と、第5データと第1データのL3及びL4をAD変換する。第2データはAD変換しない。このような処理を行うと、1つの画像データあたりのAD変換処理時間は、見かけ上長くなる。そのため、各画像データの読出処理時間も、通常時の読出処理時間よりも長くなるが、5フレーム分の画像データを並行して読出処理することができる。
第2実施形態に係る露光読出処理を、図14を用いて説明する。図14において、第1実施形態で説明した図8と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。ステップS16とステップS17は図8で説明したフローと同様である。次に、ステップS32において、AD変換回路94Bは、露光時間が予め定められた第1閾値よりも短いか否かを判定する。判定が肯定された場合、ステップS34に移行する。ステップS34において、AD変換回路94Bは、AD変換の処理速度を低くしてAD変換処理を行う。その後、露光読出処理はステップS19に移行する。一方、ステップS32において、判定が否定された場合は、ステップS36に移行し、AD変換回路94Bは、通常時のAD変換の処理速度でAD変換処理を行う。その後、露光読出処理はステップS19に移行する。ステップS19以降は図8で説明したフローと同じである。
以上説明したとおり、並行してAD変換が可能な画像データ数を超える数の画像データの読出処理を行う場合は、各画像データのAD変換の処理速度を通常時のAD変換の処理速度よりも低くすることで、画像データを並行して読出処理を行うことができる。
なお、上記のAD変換カラムT0〜T3,B0〜B3の数は例示であり、8個に限らない。AD変換カラムの数を増やせば、当然ながらより多くのフレームの画像データをAD変換処理することが可能である。ただし、コストが嵩むため、無暗にAD変換カラムの数を増やすことは好ましくない。このため本実施形態では、画像データを滞りなく処理するために、AD変換カラムの数を適当な数に絞って、画像データの読出速度を低下させている。
以上説明した第2実施形態によれば、AD変換カラムの数に限りがある場合でも、画像データを滞りなく処理することができる。
[第3実施形態]
第2実施形態で説明したように、読出処理のAD変換処理を行うAD変換カラムの数には限りがある。本実施形態では、画像データをAD変換処理する場合のデータ量を、画像データを並行して読み出すフレームの数と、読み出された画像データをAD変換するAD変換カラムの数に応じて変更する。具体的には、画像データを並行して読み出すフレームの数が増えた場合、画像データをAD変換処理する場合のデータ量である変換ビット精度を小さくする。変換ビット精度を下げると、AD変換処理の処理時間を少なくすることができるため、同じ時間内でより多くのフレーム分の画像データをAD変換することができる。変換ビット精度は、1回のAD変換処理で処理する画像データのビット数である。
例えば、露光時間が第2閾値より長い場合(露光時間>第2閾値)、変換ビット精度を14ビットとする。また、露光時間が第2閾値以下で、かつ第3閾値より長い場合(第3閾値<露光時間≦第2閾値)、変換ビット精度を12ビットとする。さらに、露光時間が第3閾値以下の場合(露光時間≦第3閾値)、変換ビット精度を10ビットとする。第2閾値は、例えば1出力期間の3分の1の時間である。また、第3閾値は、例えば1出力期間の5分の1の時間である。
露光時間が短くなるほど、画像データを並行して読み出すフレームの数は増大する。そして、本実施形態では、前述のように、露光時間が短くなるほど、AD変換処理の変換ビット精度を下げている。すなわち、AD変換処理の変換ビット精度を、画像データを並行して読み出すフレームの数に応じて変更している。変換ビット精度が小さいほど処理データが少なくなるため、AD変換処理の処理時間は短くなる。
なお、説明した変換ビット精度の数値は例示であり、具体的な数値は説明した数値に限られない。露光時間によって画像データのAD変換処理を何フレーム分並行して行う必要があるかは、AD変換カラムの数と処理能力、及び第2フレームレートによる。また、変換ビット精度を変更してどの程度AD変換処理の処理時間を短くすることができるかは、AD変換カラムの処理能力による。そのため、これらの数値を考慮して、AD変換処理の変換ビット精度、および変換ビット精度を変更する第2閾値、第3閾値を適宜設定する。また、閾値の数は2つに限られない。例えば閾値を1つとして、2つの変換ビット精度を規定してもよい。
上述のAD変換の変換ビット精度を変更する露光読出処理について、図15を用いて説明する。図15において、第1実施形態で説明した図8と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。ステップS16とステップS17は図8と同様である。次に、ステップS52において、AD変換回路94Bは、露光時間が予め定められた第2閾値以下であるか否かを判定する。露光時間が第2閾値以下である場合は、ステップS54に移行する。一方、露光時間が第2閾値より長い場合は、ステップS58に移行する。
ステップS58において、AD変換回路94Bは、光電変換素子駆動回路94Aが読み出した画像データに対し、14ビットの変換ビット精度でAD変換処理を行う。AD変換回路94Bは、AD変換した画像データをメモリ96に記憶し、露光読出処理はステップS19に移行する。
ステップS54において、AD変換回路94Bは、露光時間が予め定められた第3閾値以下であるか否かを判定する。露光時間が第3閾値以下である場合は、ステップS56に移行する。ステップS56において、AD変換回路94Bは、光電変換素子駆動回路94Aが読み出した画像データに対し、10ビットの変換ビット精度でAD変換処理を行う。AD変換回路94Bは、AD変換した画像データをメモリ96に記憶し、露光読出処理はステップS19に移行する。
一方、ステップS54において、露光時間が第3閾値以下ではない場合は、ステップS60に移行する。ステップS60において、AD変換回路94Bは、光電変換素子駆動回路94Aが読み出した画像データに対し、12ビットの変換ビット精度でAD変換処理を行う。AD変換回路94Bは、AD変換した画像データをメモリ96に記憶し、露光読出処理はステップS19に移行する。ステップS19以降は第1実施形態の図8で説明したフローと同じである。
以上説明した第3実施形態によれば、AD変換カラムの数に限りがある場合でも、画像データを滞りなく処理することができる。また、第2実施形態のように、画像データの読出速度を通常時よりも低下させないため、ローリング歪みが増大する懸念もない。
[第4実施形態]
長時間撮像すると記憶する画像データが増加し、メモリ96の記憶容量を圧迫する。本実施形態では、CPU52は、メモリ96に記憶した画像データのうち、出力した出力画像データを合成するのに使用した画像データを、その出力画像データを出力した後、削除する。これにより、メモリ96の有効利用を図ることができる。
一例として図16に示すように、第1フレームとして出力した出力画像データは、露光E1で得られて記憶された画像データD1に基づき作成されたものである。そこで、画像データD1は、第1フレームが出力された後、削除される。なお、図16では、削除処理は斜線を入れた枠で示している。同様に、第2フレームとして出力した出力画像データの作成に用いられた露光E2に基づく画像データD2は、第2フレームの出力画像データが出力された後、削除される。第3フレームの出力画像データは、露光E3とE4に基づく画像データD3と画像データD4を合成したものである。そこで、画像データD3と画像データD4は、第3フレームが出力された後、削除される。同様に、第4フレームの出力画像データに用いられた画像データD5と画像データD6は、第4フレームが出力された後、削除される。画像データD5と画像データD6は、画像データD1が削除されたメモリ96の第1領域96Aと、画像データD2が削除されたメモリ96の第2領域96Bにそれぞれ記憶されていたものである。画像データを出力後にメモリ96から削除することで、メモリ96の有効利用を図ることができる。
[第5実施形態]
露光時間が短くなって、複数の露光による画像データから1つの出力画像データを合成する場合、どの時点での画像を合成して出力画像データを作成するかにより、出力される画像にタイムラグが生じる場合がある。タイムラグとは、露光された時間と出力された時間との差である。出力するタイミングからより離れた時点で露光された画像データを用いて合成すると、出力された画像のタイムラグがより大きくなる。
本実施形態では、複数の画像データから、画像データの一部である部分画像データを組み合わせる。具体的には、例えば出力期間よりも前に露光した、又は出力期間よりも前に露光が開始された画像データを出力画像データとして出力する場合を考える。この場合、画像処理回路94Cは、出力画像データの出力の途中から、それまで出力された出力画像データの残りの画像データに、より出力時に近い時期に露光された画像データの部分画像データを組み合わせて出力画像データを生成する。より出力時に近い時期に露光された画像データは、例えば出力中に新しく記憶されつつある画像データである。また、組み合わせる部分画像データは、それまで出力された出力画像データの残りの画像データと画素位置が対応する部分画像データである。この方法により、一部が時間的に新しい出力画像データを出力することができる。
一例として図17に示すように、露光E1に基づいてメモリ96に記憶された画像データD1のうち、第1ラインから第nラインまでの部分画像データ4Aが第3フレームとして出力されつつある。部分画像データ4Aが出力され終わった時点で、第3フレームで出力可能な露光E2に基づく画像データD2がメモリ96に記憶されつつあるので、画像処理回路94Cが画像データD2を画像データD1と合成する。なお、nは、ライン数をNとした場合、2以上でNより小さい整数である。
具体的には、画像処理回路94Cは、露光E1に基づく画像データD1のうち、第(n+1)ラインから第Nライン(最終ライン)までの部分画像データ4Bと、露光E2に基づく画像データD2のうち、第(n+1)ラインから第Nラインまでの部分画像データ4Cとを合成して部分画像データ4Dを生成する。出力回路94Dは、生成された部分画像データ4Dを、部分画像データ4Aに続けて出力する。合成は、例えば加算平均による合成である。
以上説明したとおり、画像データD1及び時間的に新しい画像データD2の、画素が共通する部分画像データを組み合わせて合成することにより、第3フレームとして、一部が時間的に新しい出力画像データを出力することができる。
[変形例]
第5実施形態において、出力画像データを途中から新しく記憶された画像データと合成する代わりに、出力中に記憶した画像データに差し替えることができる。
一例として図18に示すように、第3フレームは、露光E1に基づく画像データD1のうち、部分画像データ4Aを出力した後、露光E2に基づく画像データD2のうちの部分画像データ4Cに差し替えて出力する。部分画像データ4Aと部分画像データ4Cは、上述したとおりである。これにより、第3フレームとして、一部が時間的に新しい出力画像データを出力することができる。
第5実施形態とその変形例の出力画像生成処理について、図19を用いて説明する。図19において、第1実施形態で説明した図9と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。ステップS20、S21、S22及びS23については、図9で説明したフローと同じである。次にステップS70において、出力回路94Dは、出力画像データの出力を開始する。次にステップS72において、画像処理回路94Cは、途中から出力可能な新しい画像データがあるか否かを判定する。判定が肯定された場合は、出力画像生成処理はステップS74に移行し、画像処理回路94Cは、新しい画像データの一部である部分画像データを合成するか、又は部分画像データに差替えて残りの出力用の部分画像データを新たに生成する。次に、ステップS76において、出力回路94Dは、生成された残りの部分画像データを出力する。
一方、ステップS72において、判定が否定された場合は、出力画像生成処理はステップS76に移行して、出力回路94Dは、残りの出力画像データを出力する。ステップS76の後、出力画像生成処理はステップS25に移行する。ステップS25以降は、図9で説明したフローと同じである。
以上説明した第5実施形態によれば、一部が時間的に新しい出力画像データを出力することができる。
例えば、図20に示すように、上述した撮像処理、露光読出処理、及び出力画像生成処理を撮像素子20に内蔵されたコンピュータ20Aに実行させるための各種のプログラム200を記憶媒体210に記憶させておく。コンピュータ20Aは、CPU20A1、ROM20A2、及びRAM20A3を備えている。そして、記憶媒体210のプログラム200がコンピュータ20Aにインストールされる。コンピュータ20AのCPU20A1は、プログラム200に従って、上述した撮像処理、露光読出処理、及び出力画像生成処理等を実行する。ここでは、CPU20A1として、単数のCPUを例示しているが、本開示の技術はこれに限定されず、CPU20A1に代えて複数のCPUを採用してもよい。
なお、記憶媒体210の一例としては、SSD又はUSBメモリなどの任意の可搬型の記憶媒体が挙げられる。
また、通信網(図示省略)を介してコンピュータ20Aに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム200を記憶させておき、プログラム200が撮像装置10等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム200がコンピュータ20Aによって実行される。
また、コンピュータ20Aは、撮像素子20の外部に設けられるようにしてもよい。この場合、コンピュータ20Aがプログラム200に従って処理回路94を制御するようにすればよい。
上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System−on−a−chip)などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上記各実施形態では、撮像装置10としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図21に示すスマートデバイス300に対して本開示の技術を適用するようにしてもよい。図21に示すスマートデバイス300は、本開示の技術に係る撮像装置の一例である。スマートデバイス300には、上記各実施形態で説明した撮像素子20が搭載されている。このように構成されたスマートデバイス300であっても、上記各実施形態で説明した撮像装置10と同様の作用及び効果が得られる。なお、スマートデバイス300に限らず、PC又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
また、上記各実施形態では、表示装置として第1ディスプレイ40及び第2ディスプレイ80を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体12に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部(ディスプレイ)」として用いるようにしてもよい。
また、上記の各実施形態で説明した撮像処理、露光読出処理、及び出力画像生成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (15)

  1. 撮像素子であって、
    第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出し、前記画像データに対して処理を行い、処理された前記画像データを第2フレームレートで出力し、かつ、前記撮像素子に内蔵されたプロセッサと、
    前記プロセッサにより読み出された画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、を含み、
    前記第1フレームレートは、前記第2フレームレートよりも高いフレームレートであり、
    前記プロセッサは、前記画像データが1フレーム分出力される期間として前記第2フレームレートで規定された出力期間内に、複数のフレームの各々の前記画像データを並行して読み出し、
    前記メモリは、前記プロセッサにより並行して読み出された前記画像データの各々を並行して記憶し、
    前記プロセッサは、前記メモリに記憶されている複数のフレームの各々の前記画像データを用いて1フレーム分の出力画像データを生成する生成処理を行い、前記生成処理により生成された前記出力画像データを前記第2フレームレートで出力する
    撮像素子。
  2. 前記第1フレームレートは、露光時間に連動して変更される請求項1に記載の撮像素子。
  3. 前記第1フレームレートは、露光時間が短くなるに従って高くなる請求項2に記載の撮像素子。
  4. 撮像のための露光は、露光開始後、前記プロセッサによる少なくとも1画素分の前記画像データの読出処理が完了してから再開される請求項1から請求項3の何れか一項に記載の撮像素子。
  5. 前記プロセッサは、前記画像データの読出速度を、前記画像データを並行して読み出す前記フレームの数に応じて変更する請求項1から請求項4の何れか一項に記載の撮像素子。
  6. 前記プロセッサは、前記画像データの読出速度を、前記画像データを並行して読み出す前記フレームの数と、読み出された前記画像データをAD変換するAD変換回路の個数と、に応じて変更する請求項5に記載の撮像素子。
  7. 前記プロセッサは、前記画像データをAD変換処理する場合のデータ量を、前記画像データを並行して読み出す前記フレームの数と、読み出された前記画像データをAD変換するAD変換回路の個数と、に応じて変更する請求項5に記載の撮像素子。
  8. 前記メモリは、複数の画像データの各々を個別に記憶する複数の記憶領域を含む請求項1から請求項7の何れか一項に記載の撮像素子。
  9. 前記生成処理は、前記メモリに記憶されている前記複数のフレームの各々の前記画像データの少なくとも一部を画素単位で加算平均した1フレーム分の画像データを生成する処理である請求項1から請求項8の何れか一項に記載の撮像素子。
  10. 前記生成処理は、複数の前記画像データから、前記画像データの一部である部分画像データを組み合わせることにより、1フレーム分の出力画像データを生成する請求項1から請求項9の何れか一項に記載の撮像素子。
  11. 少なくとも光電変換素子と前記メモリとが1チップ化された請求項1から請求項10の何れか一項に記載の撮像素子。
  12. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項11に記載の撮像素子。
  13. 請求項1から請求項12の何れか一項に記載の撮像素子と、
    前記プロセッサにより出力された前記出力画像データに基づく画像をディスプレイに対して表示させる制御を行う制御プロセッサと、
    含む撮像装置。
  14. 第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す工程と、
    読み出された前記画像データを記憶する工程と、
    前記画像データに対して処理を行う工程と、
    処理された前記画像データを前記第1フレームレートよりも低い第2フレームレートで出力する工程と、を含む撮像方法であって、
    前記読み出す工程は、前記画像データが1フレーム分出力される期間として前記第2フレームレートで規定された出力期間内に、複数のフレームの各々の前記画像データを並行して読み出し、
    前記記憶する工程は、並行して読み出された前記画像データの各々を並行して記憶し、
    前記処理を行う工程は、記憶されている複数のフレームの各々の前記画像データを用いて1フレーム分の出力画像データを生成し、
    前記出力する工程は、生成された前記出力画像データを前記第2フレームレートで出力する、撮像方法。
  15. コンピュータに、
    第1フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す手順と、
    読み出された前記画像データを記憶する手順と、
    前記画像データに対して処理を行う手順と、
    処理された前記画像データを前記第1フレームレートよりも低い第2フレームレートで出力する手順と、を実行させるためのプログラムであって、
    前記読み出す手順は、前記画像データが1フレーム分出力される期間として前記第2フレームレートで規定された出力期間内に、複数のフレームの各々の前記画像データを並行して読み出し、
    前記記憶する手順は、並行して読み出された前記画像データの各々を並行して記憶し、
    前記処理を行う手順は、記憶されている複数のフレームの各々の前記画像データを用いて1フレーム分の出力画像データを生成し、
    前記出力する手順は、生成された前記出力画像データを前記第2フレームレートで出力する、プログラム。
JP2020563105A 2018-12-27 2019-12-16 撮像素子、撮像装置、撮像方法及びプログラム Active JP6955308B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021157876A JP7460588B2 (ja) 2018-12-27 2021-09-28 撮像素子、撮像装置、撮像方法及びプログラム
JP2024045253A JP2024079754A (ja) 2018-12-27 2024-03-21 撮像素子、撮像装置、撮像方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018245750 2018-12-27
JP2018245750 2018-12-27
PCT/JP2019/049221 WO2020137665A1 (ja) 2018-12-27 2019-12-16 撮像素子、撮像装置、撮像方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021157876A Division JP7460588B2 (ja) 2018-12-27 2021-09-28 撮像素子、撮像装置、撮像方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020137665A1 JPWO2020137665A1 (ja) 2021-10-07
JP6955308B2 true JP6955308B2 (ja) 2021-10-27

Family

ID=71129341

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020563105A Active JP6955308B2 (ja) 2018-12-27 2019-12-16 撮像素子、撮像装置、撮像方法及びプログラム
JP2021157876A Active JP7460588B2 (ja) 2018-12-27 2021-09-28 撮像素子、撮像装置、撮像方法及びプログラム
JP2024045253A Pending JP2024079754A (ja) 2018-12-27 2024-03-21 撮像素子、撮像装置、撮像方法及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021157876A Active JP7460588B2 (ja) 2018-12-27 2021-09-28 撮像素子、撮像装置、撮像方法及びプログラム
JP2024045253A Pending JP2024079754A (ja) 2018-12-27 2024-03-21 撮像素子、撮像装置、撮像方法及びプログラム

Country Status (4)

Country Link
US (3) US11509823B2 (ja)
JP (3) JP6955308B2 (ja)
CN (2) CN113228609B (ja)
WO (1) WO2020137665A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113498604B (zh) 2019-03-13 2023-01-20 富士胶片株式会社 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2079231B1 (en) * 2006-10-24 2014-04-30 Sony Corporation Imaging device and reproduction control device
JP5092983B2 (ja) * 2008-08-13 2012-12-05 カシオ計算機株式会社 動画再生装置、撮像装置及びプログラム
ES2599174T3 (es) * 2010-08-23 2017-01-31 Red.Com, Inc. Vídeo de rango dinámico alto
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
JP6314477B2 (ja) 2013-12-26 2018-04-25 ソニー株式会社 電子デバイス
JP2017022596A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
JP2017183870A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP6808993B2 (ja) 2016-06-17 2021-01-06 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム
KR102641894B1 (ko) * 2017-02-03 2024-02-29 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법

Also Published As

Publication number Publication date
JPWO2020137665A1 (ja) 2021-10-07
US11509823B2 (en) 2022-11-22
CN113228609A (zh) 2021-08-06
CN113228609B (zh) 2023-05-05
US20230007170A1 (en) 2023-01-05
US11758292B2 (en) 2023-09-12
WO2020137665A1 (ja) 2020-07-02
JP2022008593A (ja) 2022-01-13
JP2024079754A (ja) 2024-06-11
US20210314487A1 (en) 2021-10-07
JP7460588B2 (ja) 2024-04-02
CN116567433A (zh) 2023-08-08
US20230388664A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US11812177B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
JP2024079754A (ja) 撮像素子、撮像装置、撮像方法及びプログラム
JP7320024B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US20230421904A1 (en) Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate
JP7004852B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP5959194B2 (ja) 撮像装置
JP6915166B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6924908B2 (ja) 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP7004853B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210621

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210928

R150 Certificate of patent or registration of utility model

Ref document number: 6955308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250