JP6272387B2 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JP6272387B2
JP6272387B2 JP2016086544A JP2016086544A JP6272387B2 JP 6272387 B2 JP6272387 B2 JP 6272387B2 JP 2016086544 A JP2016086544 A JP 2016086544A JP 2016086544 A JP2016086544 A JP 2016086544A JP 6272387 B2 JP6272387 B2 JP 6272387B2
Authority
JP
Japan
Prior art keywords
image data
semiconductor substrate
image
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016086544A
Other languages
English (en)
Other versions
JP2016225970A (ja
Inventor
誠 伊勢
誠 伊勢
忍 渡邉
忍 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016086544A priority Critical patent/JP6272387B2/ja
Priority to US15/567,145 priority patent/US10356339B2/en
Priority to KR1020177032190A priority patent/KR101986128B1/ko
Priority to CN201680031552.6A priority patent/CN107710744B/zh
Priority to EP16802781.1A priority patent/EP3304889A4/en
Priority to PCT/JP2016/002529 priority patent/WO2016194339A1/en
Publication of JP2016225970A publication Critical patent/JP2016225970A/ja
Application granted granted Critical
Publication of JP6272387B2 publication Critical patent/JP6272387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、撮像素子および撮像装置に関する。
近年、デジタルカメラなどの撮像装置に用いられるＣＭＯＳなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素以上の画素数を備えるものが一般的になってきている（特許文献１参照）。
図１８は、一般的な撮像装置の構成ブロック図である。図１８において、撮像素子１５００は、画素部１５０１、ＡＤ変換部１５０２、Ｐ／Ｓ変換部１５０３を備える。画素部１５０１は、被写体像を電気信号に変換してＡＤ変換部１５０２に出力する。
ＡＤ変換部１５０２は、画素部１５０１から読み出される画像信号をデジタル信号に変換する。Ｐ／Ｓ変換部１５０３は、ＡＤ変換部１５０２により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路１６００は、撮像素子１５００からの画像信号に対し各種信号処理を施す。
特開２０１３−２６６７５号
上記した撮像装置では、撮像素子１５００から画像信号処理回路１５０１に画像データを転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に画像データの転送時間が長くなるという課題がある。
また、各撮影モードに対応した画像サイズが異なる場合にも、全画素の画像データを撮像素子１５００から画像信号処理回路１５０１に転送するために時間がかかる。すなわち、撮像素子１５００から画像信号処理回路１５０１へのデータ転送容量が画像データ読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。
そこで、フレームレートの高い動画撮影などにおいては、データ容量が転送路の転送容量を超えないように画素数の少ない撮像素子を採択する必要があり、画素数の多い高品位な動画撮影を行うことができない。或いは、画素数の多い撮像素子を用いる場合には、画素部から読み出す画素数を間引き処理等によって削減した後に撮像素子から転送する必要がある。
また、動画撮影中に撮影画像領域の中から所望の範囲の画像を拡大して電子的にズームを行うようにした電子ズーム機能が搭載されているものがある。従来は、このような電子ズーム機能は、画素数を削減した撮影画像データを撮像素子から画像信号処理回路に転送した後に、画像信号処理回路において行われていた。そのため、ズーム倍率が大きくなると画像の拡大率も大きくなり、それに伴いジャギーが目立ったり、解像感が劣化するという課題があった。
本発明は、適切な転送容量で高画質な画像データを出力することのできる撮像素子およびそれを用いた撮像装置を提供することを目的としてなされたものである。
上記した課題を解決するために、本発明の撮像素子は、互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有し、前記処理手段により縮小変倍処理される画像データのサイズが縮小変倍処理の倍率にかかわらず常に一定サイズとなるように設定されることを特徴とする。
また、互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有し、前記処理手段により縮小変倍処理される画像データのサイズは、記録動画サイズであることを特徴とする。
さらに、互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データに対して縮小変倍処理を施す処理手段と、を有し、前記処理手段により縮小変倍処理された画像データのサイズは、前記撮像素子の出力転送容量以下となるように設定されることを特徴とする。
本発明によれば、適切な転送容量で高画質な画像データを撮像素子から出力することができる。
実施例１における撮像素子の概略構造を示す図である。 実施例１におけるデータバス構成の一例を説明する図である。 実施例１における画素、カラムＡＤＣブロックの構成を示す図である。 実施例１における撮像素子の積層構成を示す図である。 実施例１における撮像素子の断面図である。 実施例１における撮像装置のシステム概要図である。 実施例１における撮影シーケンスのフローチャートである。 実施例１における画像信号のサイズと転送レートの関係を説明する図である。 実施例１におけるズーム倍率と変倍処理の関係を説明する図である。 実施例１における動画の各フレームの画像処理のタイミングを示す模式図である。 実施例２におけるパン、チルト処理を説明する図である。 実施例３の動作を説明するためのフローチャートである。 実施例３の画素サイズ変換の方法を示す詳細図である。 実施例４の動作を説明するためのフローチャートである。 実施例４の画素サイズ切り出しの方法を示す詳細図である。 実施例５の動作を説明するためのフローチャートである。 実施例５の画像拡大方法を示す詳細図である。 一般的な撮像装置の構成を示す図である。
（実施例１）
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。
図１は、本発明の実施例１における撮像素子の概略をブロック図として示したものである。
撮像素子５０６は、第１のチップ（第１の半導体基板）１０および第２のチップ（第２の半導体基板）１１を有しており、第２のチップ１１と第１のチップ１０がお互いに積層されている。第１のチップ１０は、マトリックス状に配列された複数の画素１０１からなる画素部を有し、第２のチップ１１に対して光入射側（光学像の受光側）に配置されている。
第１のチップ１０の画素部において、マトリックス状に配列された複数の画素１０１は行毎に転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続され、列毎に複数の列出力線１０２に接続されている。なお、各列に配置された複数の列出力線１０２の各々には、同列の異なる読み出し行に配置された画素が接続される。
第２のチップ１１は、列毎に設けられた複数のＡＤ変換器（以下、ＡＤＣと表記）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４を有する。さらに、第２のチップ１１は、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１１９等を有する。タイミング制御回路１１４は、全体制御演算部５０９により駆動制御される。
このように、第１のチップ１０に画素部を形成し、第２のチップ１１に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
切り替えスイッチ１１６は、チャンネル毎に設けられた水平信号線１１５−ａ、水平信号線１１５−ｂから出力される各チャンネルのデジタル画像データを素子内演算部１１８に選択的に入力する。素子内演算部１１８は、各チャンネルの画像データを並び替えて１フレームの画像データを生成し、順次フレームメモリ１１７に出力する。フレームメモリ１１７は、出力された少なくとも１フレーム分のデジタル画像データを一時的に記憶する。
素子内演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像データに対し、必要な画角へのリサイズ処理、切り出し処理、間引き処理等の演算処理を行う。詳細は後述する。素子内演算部１１８でリサイズ処理等の演算処理を施された１フレームのデジタル画像データは、Ｐ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。
ここで、水平信号線１１５−ａ、水平信号線１１５−ｂ、切り替えスイッチ１１６、素子内演算部１１８、フレームメモリ１１７の間のデータ転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
図２は、第２のチップ１１におけるＡＤＣ１１１からＰ／Ｓ変換部１１９までのデータバス構成の一例を説明する図である。図２に示すように、第２のチップ１１において、ＡＤＣ１１１と素子内演算部１１８の間には、ＡＤＣ１１１のデジタル変換出力を一時的に保持する列メモリ１１１ａが設けられている。なお、図２では切り替えスイッチ１１６は省略されている。
列走査回路１１３からの制御信号に応じて各列に設けられた列メモリ１１１ａに保持されている画像データは、水平転送回路１１５内に１６チャンネル設けられた水平信号線１１５−ａ，１１５−ｂに振り分けられて並列に出力される。水平信号線１１５−ａ，１１５−ｂに出力された画像データは、素子内演算部１１８内のメモリＩ／Ｆ回路を経由してフレームメモリ１１７に入力される。
例えば、８Ｋ４Ｋ（水平８０００画素、垂直４０００画素）の３２Ｍピクセルの画像データがＡＤＣ１１１から出力される場合について説明する。３２Ｍピクセルの画像データをフレームレート６０ｆｐｓで読み出した場合に必要なデータバス帯域は、１９２０Ｍピクセル／ｓｅｃである。
ここで、水平転送回路１１５に設けられた１６チャンネルの水平信号線１１５−ａ，１１５−ｂの各々の転送容量が１２ｂｉｔである場合、転送可能な周波数１２０ＭＨｚまで転送容量を落とす必要がある。列走査回路１１３からの制御信号により順次、列メモリの選択が行われ、水平転送回路１１５の１チャンネルあたり１２０Ｍピクセル／ｓｅｃの画像データが１６チャンネルで並列に読み出される。
水平転送回路１１５から素子内演算部１１８を経由してフレームメモリ１１７へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部１１８に入力される。例えば、フレームメモリ１１７から出力された画像データは、素子内演算部１１８内の縮小変倍回路により１／１６倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、１２０Ｍピクセル／ｓｅｃまで低減される。これは、フルＨＤサイズ（２Ｍピクセル）の画像データを６０ｆｐｓで読み出す場合に相当するデータ転送容量である。
データバス帯域が低減されて素子内演算部１１８から出力された画像データは、Ｐ／Ｓ変換部１１９で、最大シリアル転送容量１Ｇｂｐｓを超えないように、７２０Ｍｂｐｓの２チャンネル構成でシリアル信号に変換されて出力される。
このように、第２のチップ１１内にＡＤＣ１１１、素子内演算部１１８、フレームメモリ１１７を設けることにより、第２のチップ１１内で画像データの処理に必要な広いデータバス帯域を確保し、ＡＤＣ１１１からフレームメモリ１１７までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
図３は、本実施例における撮像素子５０６の画素部の各画素１０１及びＡＤＣ１１１の詳細な構成を示した図である。図１及び図３を用いて、実施例１における撮像素子の動作の概略を説明する。
フォトダイオード（以下、ＰＤと表記する）２０１は、受光した入射光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。ＰＤ２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノードは、フローティングディフュージョン（以下、ＦＤと表記する）部２０６を構成する。
転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に設けられ、ゲートに図１の転送信号線１０３を介して転送パルスφＴＲＧが供給されることによってオン状態となる。そして、ＰＤ２０１で光電変換された光電荷をＦＤ部２０６に転送する。
リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートに図１のリセット信号線１０４を介してリセットパルスφＲＳＴが供給されることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２０６をリセットする。
増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２０４は、転送トランジスタ２０２によってＰＤ２０１の信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。
選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続される。そして、ゲートに図１の行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１０１を選択状態として増幅トランジスタ２０４により増幅される信号を列出力線１０２に出力する。
なお、この選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ２０２〜２０５として、例えばＮチャネルのＭＯＳトランジスタを用いることができる。また、画素１０１としては、上記した４つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５を１つのトランジスタで兼用した３つのトランジスタを備えた構成等であっても良い。
また、画素１０１から列出力線１０２を介して出力されるアナログ画像信号は、ＡＤＣ１１１に伝送される。ＡＤＣ１１１は、比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと表記する）２１４を有する。
比較器２１１は、一対の入力端子を備え、その一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。比較器２１１の出力端子は、アップダウンカウンタ２１２に接続される。図１のタイミング制御回路１１４は、全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。
ＤＡＣ２１４は、図１のタイミング制御回路１１４から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される画像信号のレベルとを比較する。
例えば、比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素１０１の出力信号はデジタル値へ変換される。
なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。
また、ＡＤＣ１１１は、画素１０１のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ２１３に記憶させてもよい。
メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。メモリ２１３に記憶されたカウント値がデジタル画像データとして、図１の列走査回路１１３の駆動制御により水平信号線１１５−ａ、水平信号線１１５−ｂに伝送される。
図４は、図１を用いて説明した実施例１に係る撮像素子５０６の外形構成を示す。図４（ａ）は、撮像素子５０６を光の入射する側から見た斜視図、図４（ｂ）は、撮像素子５０６の断面図を示している。
撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１により構成される。第１のチップ１０と第２のチップ１１は、それぞれのチップに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化させる。すなわち、第１のチップ１０と第２のチップ１１は、複数のマクロバンプ１０１および複数のマイクロパッド３０２を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第１のチップ１０と第２のチップ１１が電気的に直接接続されるように構成してもかまわない。
図５に、図１、図３、図４で示した実施例１に係る撮像素子５０６の断面構造の詳細を示す。図４において、撮像層４０１が第１のチップ１０に対応し、回路層４０２が第２のチップ１１に対応する。
撮像層４０１においては、シリコン（以下、Ｓｉと表記する）基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、ＰＤ２０１となるｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。
Ｓｉ基板４０３には、その表面部にＦＤ部２０６となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。配線層４０４には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ａが形成されている。
上記したｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１により転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０２ａと接続するためのビア４１４が形成されている。
回路層４０２においては、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタ拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が複数形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ｂが形成されている。
回路層４０２に形成されたトランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド３０２ｂと接続するためのビア４２０が形成されている。
撮像層４０１の配線層４０４に形成されたマイクロパッド３０２ａと、回路層４０２の配線層４０６に形成されたマイクロパッド３０２ｂは、マイクロバンプ３０１によりお互いに電気的に接続されている。なお、図４では撮像層４０１、回路層４０２を接続端子としてマイクロバンプ３０１を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
図６は、図１〜５で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部５０１を通った被写体像は絞り５０４により適切な光量に調整され、図１〜図４に示した構成を有する撮像素子５０６上の撮像面に結像される。
撮像素子５０６上の撮像面に結像された被写体像は、撮像素子５０６のＰＤ２０１により光電変換され、さらに画素内アンプや画素１０１とＡＤＣ１１１の間に設けた列アンプによるゲイン調整が行われる。そして、ＡＤＣ１１１を用いてアナログ信号からデジタル信号にＡ／Ｄ変換が行われ、Ｒ、Ｇ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に取り込まれる。
撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路５０７を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
レンズ部５０１は、レンズ駆動部５０２によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。
全体制御演算部５０９は、撮像装置全体の制御と各種演算処理を行う。第１のメモリ部５０８は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体５１２は、画像データを記録する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録された画像データを読み出す。なお、全体制御演算部５０９を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
表示部５１１は、画像データの表示を行う。外部インターフェース部５１３は、外部コンピュータ等と通信を行うためのインターフェースである。第２のメモリ部５１４は、全体制御演算部５０９での演算結果やパラメータ等を一時的に記憶する。操作部５１５によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
次に図１、図３、図７を用いて、実施例１における撮像システムの動作手順について説明する。
図７は、実施例１における撮像システムにおける動画の撮影シーケンスおよび信号処理をフローチャートとして記載したものである。
ステップＳ６０１では、全体制御演算部５０９において、操作部５１５からユーザーが入力した設定に基づき各種パラメータを初期化する。そして、初期化したパラメータを第２のメモリ部５１４に記録する。
ステップＳ６０２では、撮影した被写体像の映像をリアルタイムで表示部５１１へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合／間引きモードで撮像素子５０６を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路５０７において各種信号処理を施してから表示部５１１に表示する。
また、モニターモード駆動時には、適宜、撮像素子５０６から読み出した画像信号に基づいて自動露出調節（ＡＥ）制御のための測光動作や自動焦点調節（ＡＦ）制御のための測距動作を行う。そして、撮像信号処理回路５０７は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Ａｖ、シャッタ速度Ｔｖを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。
ここで、撮像素子５０６から読み出される画像信号から得られるコントラスト情報に基づくＡＦ制御を行っているが、撮像素子５０６に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報（デフォーカス量）を用いた撮像面位相差検出によるＡＦ制御を行ってもよい。さらに、コントラストＡＦ制御と撮像面位相差ＡＦ制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各ＡＦ方式を切り替えるように制御してもかまわない。
そして、全体制御演算部５０９は、算出した絞り値Ａｖ、シャッタ速度Ｔｖになるようにシャッタ・絞り駆動部５０５に指令を出す。また、全体制御演算部５０９は、算出したレンズ位置Ｌになるように、レンズ駆動部５０２に指令を出す。シャッタ・絞り駆動部５０５は、受け取った指令に基づいてメカシャッタ５０３、絞り５０４を駆動する。また、レンズ駆動部５０２は、受け取った指令に基づいてレンズ５０１を駆動する。なお、算出された絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそれぞれ第２のメモリ部５１４へ記録する。
なお、ＡＥ制御を行なう場合に、撮像素子５０６の行毎や画素毎に蓄積時間（露光時間）を異ならせたり、画像信号を増幅するゲインを異ならせることで１フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いＨＤＲ画像を生成することができる。
ステップＳ６０３では、全体制御演算部５０９により操作部５１５にある動画撮影トリガースイッチＳＷ＿１のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿１がＯＮであればステップＳ６０４へ、ＯＦＦであれば再びステップＳ６０２へ戻る。
ステップＳ６０４では、撮影パラメータｉを０にリセットする。撮影パラメータｉは、動画のフレームインデックスを表すパラメータである。
ステップＳ６０５では、第２のメモリ部５１４から絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを読み出す。そして、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖに基づいて適切な明るさになる絞り値Ａｖ、シャッタ速度Ｔｖを算出する。
また、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出したレンズ位置Ｌから、適切な焦点距離になるレンズ位置Ｌを算出する。そして、算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを第２のメモリ部５１４へ記録する。
撮影パラメータｉ＝０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖを元に、ステップＳ６０６の駆動モードとステップＳ６０２での駆動モードの感度差を考慮して、絞り値Ａｖ、シャッタ速度Ｔｖを再算出する。レンズ位置Ｌは、第２のメモリ部５１４から読み出した値を使用する。
撮影パラメータｉ≠０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそのまま使用する。そして、絞り値Ａｖｉ、シャッタ速度Ｔｖｉ、レンズ位置Ｌｉになるように、全体制御演算部５０９からレンズ駆動部５０２、シャッタ・絞り駆動部５０５に指令を出し、レンズ５０１、メカシャッタ５０３、絞り５０４を駆動させる。
ステップＳ６０６では、ステップＳ６０２とは異なり、撮像素子５０６上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子５０６を駆動して撮影動作を行う。撮影動作により得られた１フレームの画像データは、素子内演算部１１８に送られる。
ステップＳ６０７では、素子内演算部１１８によりステップＳ６０６で撮影した画像の所定の領域（例えば、８Ｋ４Ｋサイズの領域）に対応する画像データを切り出して、フレームメモリ１１７へ一時記憶する。
ステップＳ６０８では、全体制御演算部５０９が操作部５１５にある電子ズーム操作釦にてユーザーにより設定・指示されたズーム倍率Ｘを読み込む。ここで設定可能なズーム倍率Ｘの範囲としては、例えば１倍から４倍の範囲である。
ステップＳ６０９では、素子内演算部１１８において、設定されたズーム倍率Ｘの値に基づいて、フレームメモリ１１７から画像中心に合わせて１／Ｘの領域の画像データを読み出す。さらに、素子内演算部１１８において、読み出した１／Ｘ領域の画像データを記録動画サイズであるフルＨＤ（以下、ＦＨＤと表記する）サイズに縮小変倍する処理を行う。
ステップＳ６１０では、ステップＳ６０９においてＦＨＤサイズに縮小変倍された画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換を行い、撮像信号処理回路５０７に転送する。
Ｐ／Ｓ変換部１１９から出力される画像データは、撮像素子５０６の出力転送容量以下となるように、画像データのデータサイズがＦＨＤサイズ（２Ｍ）、フレームレートは６０ｆｐｓが設定されている。
ステップＳ６１１では、全体制御演算部５０９からの指令によりステップＳ６０９において素子内演算部１１８により縮小変倍処理され、ステップＳ６１０において転送された画像データに対し、撮像信号処理回路５０７により各種処理を施される。そして、記録媒体５１２に動画として記録される。
撮像信号処理回路５０７で施される各種処理としては、ノイズを低減するローパスフィルタ処理やキズ補正処理、シェーディング補正処理、ホワイトバランス処理などの各種画像信号処理、現像処理、画像信号の圧縮等がある。
ステップＳ６１２では、パラメータｉに１を加えて、フレームインデックスをインクリメントする。
ステップＳ６１３では、全体制御演算部５０９においてスイッチＳＷ＿１のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿１がＯＦＦであればステップＳ６０５へ、ＯＮであれば一連の動画撮影シーケンスを終了する。
ここで、図８を用いて、本実施例において撮像素子５０６から撮像信号処理回路５０７に転送される画像データの出力転送容量と、動画の画像サイズおよびフレームレートの関係について説明する。
撮像素子５０６から撮像信号処理回路５０７へのシリアル転送Ｉ／Ｆの１ポートあたりの転送容量能力の上限は１Ｇｂｐｓ程度であり、撮像素子５０６の出力部には、このシリアル転送Ｉ／Ｆを２ポート搭載している。
動画の画像サイズがＦＨＤサイズ（２Ｍ）で、画像データのビット長が１２ビット、フレームレートが６０ｆｐｓの場合の総転送容量は、１４４０Ｍｂｐｓ（＝２Ｍ＊１２＊６０）である。このままでは転送容量能力の上限である１Ｇｂｐｓを越えてしまうので、シリアル転送Ｉ／Ｆの２ポートに半分ずつ割り振ることで１ポートあたりの容量を７２０Ｍｂｐｓとして、転送容量の上限を超えないようにする。
なお、画像サイズで見ると、ＦＨＤ（２Ｍ）に対して、４Ｋ２Ｋ（８Ｍ）はおおよそ４倍、８Ｋ４Ｋ（３２Ｍ）はおおよそ１６倍となるため、ＦＨＤと同じ転送容量に抑えるためにはフレームレートを落とさざるを得ない。すなわち、４Ｋ２Ｋサイズの動画の場合には、ＦＨＤの６０ｆｐｓに対して、１／４倍の１５ｆｐｓ、８Ｋ４Ｋサイズの動画の場合には、ＦＨＤの１／１６倍の３．７５ｆｐｓへのレートダウンが必要となる。
また、図９において、本実施例におけるズーム倍率とフレームメモリの切り出し領域および縮小変倍処理との関係について説明する。本実施例では、ズーム倍率は１倍から４倍の範囲で可変としている。
図９（ａ）のようにズーム倍率が最小の１倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域である８Ｋ４Ｋサイズ（３２Ｍ）の読み出しを行う。そして、このサイズから画像中心に合わせてＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縦横でそれぞれ１／４倍に縮小変倍処理される。
図９（ｂ）のようにズーム倍率が２倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域から画像中心に合わせて縦横１／２の領域である４Ｋ２Ｋサイズ（８Ｍ）を切り出して読み出す。そして、このサイズから画像中心に合わせてＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縦横でそれぞれ１／２倍に縮小変倍処理される。
図９（ｃ）のようにズーム倍率がＸ倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域から画像中心に合わせて縦横１／Ｘの領域（３２Ｍ／Ｘ＾２）を切り出して読出しを行う。そして、このサイズから画像中心に合わせてＦＨＤサイズ（２Ｍ）となるように、縦横でそれぞれＸ／４倍に縮小変倍処理される。
図９（ｄ）のようにズーム倍率が最大の４倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域から画像中心に合わせて縦横１／４の領域であるＦＨＤサイズ（２Ｍ）を切り出して読み出しを行う。そして、このＦＨＤサイズ（２Ｍ）のまま等倍で処理される。
このように縮小変倍される画像データのサイズが縮小変倍処理の倍率にかかわらず常に記録動画サイズである一定サイズとなるように制御される。
なお、縮小変倍処理回路で採用するアルゴリズムは、Ｌａｎｃｚｏｓ法、平均画素法、バイキュービック法など各種方式が一般に存在するが、撮像素子に要求される処理回路の規模や速度や画質との兼ね合いで決定される。
また、図１０は一例として、動画の各フレームの各部の画像処理およびそのタイミングを模式的に示した説明図である。図１０において、横軸は時刻ｔを示し、時間の経過とともに動画の各フレームが１コマずつ更新されて出力されていく様子が示されている。
動画の撮影シーケンスが開始されると、まず、最初のフレーム（ｉ＝０）で、撮像素子５０６の全ての画素から読み出された画像データのうち、動画像に関与する８Ｋ４Ｋサイズの領域の画像データがフレームメモリ１１７に一時記憶される。このとき、ズーム倍率は１倍に設定されている。このズーム倍率に基づいてフレームメモリ１１７に記憶された全領域の８Ｋ４Ｋサイズ（３２Ｍ）の画像データが読み出される。そして、このサイズから記録動画サイズであるＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縦横でそれぞれ１／４倍に縮小変倍処理された後に、撮像素子５０６から出力される。
時刻が進み、次のフレーム（ｉ＝１）で、新たに撮像素子５０６の全ての画素から読み出された画像データのうち、同じく動画像に関与する８Ｋ４Ｋサイズの領域の画像データがフレームメモリに一時記憶される（更新される）。このとき、ズーム倍率は１倍よりもやや大きい新たな値に設定が更新されている。このズーム倍率に基づいてフレームメモリ１１７から全領域よりもやや小さい領域の画像データが読み出される。そして、このサイズからＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縮小変倍処理された後に、撮像素子５０６から出力される。
以降、時刻が進み、ズーム倍率が大きくなるように設定を変えながら、動画のフレームが更新されていく様子が示されている。
なお、本実施例では、シリアル転送ポートの転送容量が１Ｇｂｐｓを超えないことを前提に、動画の画像サイズをＦＨＤサイズ、フレームレートを３０ｆｐｓ、電子ズームの倍率の使用範囲を１倍から４倍とした。そして、これらを実現すべく、フレームメモリの読み込みサイズを８Ｋ４Ｋサイズとして設計した。
しかしながら、シリアル転送ポートの転送容量は、年々、高速化に向かって性能向上が進んでおり、撮像装置に要求される動画の画像サイズやフレームレートも高まってきているため、これらに合わせた仕様で柔軟に適用できることは言うまでもない。
以上説明したように、本実施例１によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、画像の拡大処理を行うことなく、撮像素子内の縮小変倍処理だけで電子ズームが可能となる。
（実施例２）
実施例２では、電子的に撮影画像のパン、チルト処理を行うことが可能な撮影モードを有する撮像装置について説明する。すなわち、実施例１と同様にしてフレームメモリ１１７に一時記憶された画像データの画像中心から、上下、左右方向に切り出し領域の中心をずらしながら切り出して読み出すことにより実現する。
本実施例の撮像素子の構成については、実施例１の図１〜図５で示したものと同様であるため説明を省略する。また、撮像システムの概要についても実施例１の図６で示したものと同様であるため説明を省略する。さらに、画像データの縮小変倍処理についても実施例１の図９で説明したものと同様に実現可能であるため、説明を省略する。
図１１は、ズーム倍率が４倍に設定されている場合のフレームメモリ１１７に記録された全領域の画像データからの切り出し領域を示す図である。
図１１（ａ）は、実施例１の図９（ｄ）と同様にフレームメモリ１１７に記録された画像の全領域（８Ｋ４Ｋ）から画像中心に合わせて縦横１／４の領域であるＦＨＤサイズ（２Ｍ）で切り出して読み出す様子を示す。
これに対し図１１（ｂ）は、実施例２における切り出し領域を示している。すなわち、フレームメモリ１１７に記録された画像の全領域（８Ｋ４Ｋ）の画像中心から、切り出し領域の中心を縦横にずらしながらＦＨＤサイズ（２Ｍ）の画像データを様々な位置から切り出して読出す様子を示している。
なお、切り出し領域の中心を縦横にずらす操作は、操作部５１５に設けたパン・チルト操作釦により、電子ズーム操作と同様に設定・指示することにより全体制御演算部５０９にて読み込む。そして、全体制御演算部５０９から素子内演算部１１８、フレームメモリ１１７を制御することにより実現される。
このようにして、切り出し領域の中心を縦横にずらすことにより、電子ズームだけではなく、電子的に撮影画像のパン、チルト処理にも適用することが可能である。そして、画像の拡大処理を行うことなく電子的なパン、チルト機能が可能となる。
（実施例３）
実施例３では、動画撮影中に静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。
本実施例の撮像素子の構成については、実施例１の図１〜図５で示したものと同様であるため説明を省略する。また、撮像システムの概要についても実施例１の図６で示したものと同様であるため説明を省略する。
次に、図１２のフローチャートを用いて、本実施例における撮像システムの動作手順について説明する。特に、動画などの駆動モードが選択された際に、全画素の画素データをリサイズして動画用の画素データを伝送する場合の動作について、詳細に説明する。ここでは動画モードとして、４Ｋ２Ｋ動画や、Ｆｕｌｌ＿ＨＤ動画、ＨＤ動画を例にとって説明する。また、撮像素子の画素数は、３：２画角の２４００万（水平６０００×垂直４０００）画素であるものとする。
ステップＳ６０１において、ユーザーにより操作部５１５に含まれる電源釦がＯＮされると、ステップＳ６０２において各種初期設定が行われる。
ステップＳ６０３において、ユーザーにより撮影モードとして動画モードが選択され、操作部５１５に含まれる動画記録釦がＯＮされると動画記録が開始される。ここでは、４Ｋ２Ｋ動画、Ｆｕｌｌ＿ＨＤ動画、ＨＤ動画のいずれかが選択されるものとする。
ステップＳ６０４において、全体制御部によって決められた露出設定（蓄積時間／絞り設定／感度設定）に応じて撮像素子５０６の露光を開始する。
ステップＳ６０５において、ステップＳ６０４によって露光された撮像素子５０６の全画素から信号を読み出し、ステップＳ６０６では、ステップＳ６０５で読みだされた全画素の信号をフレームメモリ１１７に画像データとして保存する。
ステップＳ６０７、ステップＳ６０８では、ステップＳ６０３のユーザーによるモード設定時において選択された動画モードを判定する。ステップＳ６０３において４Ｋ２Ｋ動画が選択されている場合はステップＳ６０９へ、ＦＵＬＬ＿ＨＤ動画が選択されている場合はステップＳ６１０へ、ＨＤ動画が選択されている場合はステップＳ６１１へそれぞれ進む。
ステップＳ６０９、ステップＳ６１０、ステップＳ６１１では、フレームメモリ１１７に保存された全画素の画像データを基にして、ユーザーが選択したそれぞれの動画モードに応じた画像サイズの画像データにリサイズ変換処理される。詳細は後述する。
ステップＳ６１２において、ステップＳ６０９、ステップＳ６１０、ステップＳ６１１において、それぞれの動画モードに応じた画像サイズにリサイズ変換された画像データがＰ／Ｓ変換部１２０においてＰ／Ｓ変換され、最適な伝送速度やポート数が選択される。そして、Ｐ／Ｓ変換された画像データは撮像信号処理回路５０７へ伝送される。
ステップＳ６１３では、撮像信号処理回路５０７がＰ／Ｓ変換部１２０から出力された画像データに対して、動画の現像処理を行う。具体的には、ノイズを低減するローパスフィルタ処理やシェーディング補正処理、ホワイトバランス処理など各種の画像データ処理や補正処理を行う。
ステップＳ６１４では、ステップＳ６１３で処理された画像データを動画データとして、記録媒体５１２へ動画記録、または、表示部５１１へのライブビュー表示などを行う。
ステップＳ６１５では、撮影が継続される場合にはステップＳ６０４へ戻り、続けて動画記録がなされる。ステップＳ６１５において動画記録が終了された場合は、ステップＳ６１６へ進み電源がＯＦＦされる。
次に、本実施例における画像サイズ変換処理について図１３を用いて説明する。図１３（ａ）は、撮像素子から読み出される３：２画角の２４００万（６０００×４０００）画素の画像データを示している。
ユーザーが４Ｋ２Ｋ動画を動画モードとして選択している場合、全体制御演算部５０９の制御に応じて素子内演算部１１８は、４Ｋ２Ｋ動画に必要な画素数に合うようにリサイズ変換処理を行う。すなわち、フレームメモリ１１７に保存された全画素の画像データから４Ｋ２Ｋ動画用の画像サイズを演算し、演算された結果を基にリサイズ変換処理を行う。
４Ｋ２Ｋ動画に必要な水平・垂直のサイズは、４０９６×２１６０（１６：９画角、約８００万画素）である。したがって、図１３（ｂ）に示すように全画素から４Ｋ２Ｋ動画用にリサイズされた画像データに対して、１６：９の画角に合う領域７０１のみの画像データを出力する。
同様にユーザーがＦＵＬＬ＿ＨＤ動画を動画モードとして選択している場合、全体制御部５０９の制御に応じて素子内演算部１１８は、ＦＵＬＬ＿ＨＤ動画の画素数に合うようにリサイズ変換処理を行う。すなわち、フレームメモリ１１７に保存された全画素の画像データからＦＵＬＬ＿ＨＤ動画用の画像サイズを演算し、演算された結果を基にリサイズ変換処理を行う。
ＦＵＬＬ＿ＨＤ動画に必要な水平・垂直のサイズは、１９２０×１０８０（１６：９画角、約２００万画素）である。したがって、図１３（Ｃ）に示すように全画素のデータからＦＵＬＬ＿ＨＤ動画用にリサイズされた画像データに対して、１６：９の画角に合う領域７０２のみの画像データを出力する。
また、ユーザーがＨＤ動画を動画モードとして選択している場合、全体制御部５０９の制御に応じて素子内演算部１１８は、ＨＤ動画の画素数に合うようにリサイズ変換処理を行う。すなわち、フレームメモリ１１７に保存された全画素の画像データからＨＤ動画用の画像サイズを演算し、演算された結果を基にリサイズ変換処理を行う。
ＨＤ動画に必要な水平・垂直のサイズは、１２８０×７２０（１６：９画角、約１００万画素）である。したがって、図１３（ｄ）に示すように全画素のデータからＨＤ動画用にリサイズされた画像データに対して、１６：９の画角に合う領域７０３のみの画像データを出力する。
上記したように、フレームメモリに保存した全画素のデータをユーザーが選択した動画の画像サイズにリサイズ変換することで、Ｐ／Ｓ変換部１２０から信号処理部５０７へ伝送するデータ量を大幅に削減することが可能となる。
例えば、２４００万画素の全画素の画像データをフレームレート１２０ｆｐｓでＰ／Ｓ変換部１２０から画素信号処理回路５０７の間を８ポートで伝送するものとする。４Ｋ２Ｋ動画をフレームレート１２０ｆｐｓで伝送する際の画像データのデータ量は、全画素伝送時の１／４以下になるため、８ポートで伝送していた全画素に対して、２ポートで伝送可能となる。
または、８ポートで伝送する場合は、伝送速度を１／４以下に落とすことが可能となる。ＨＤ動画や、ＶＧＡ動画の場合は、さらに伝送する画像データが小さくなるため、さらに、ポートの削減や、画像データの伝送速度を落とすことができ消費電力の削減が可能となる。
また、フレームレートに関しても、１２０ｆｐｓとして説明を行ったが、動画時のフレームレートを６０ｆｐｓや３０ｆｐｓと可変することも可能である。その場合は全画素の画像データを読み出すフレームレートを動画のフレームレートに合わせたレートで転送すればよい。
また、本実施例における撮像素子の画素数が２４００万画素を例に説明したが、これに限らず様々な画素数の撮像素子において対応可能であることはいうまでもない。
以上説明したように、本実施例１によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、ユーザーが選択した動画モードの画像サイズに全画素のから変換処理することで画像データを伝送するデータ量を削減可能になる。さらに、消費電力の削減が可能となる。
（実施例４）
前述した実施例３では、動画モード時における画像サイズの変換を行う際に、リサイズ処理を行い、各モードにおいて最適な画像サイズにすることで、画像データ伝送するデータ量を減らすことで消費電力の削減を行った。これに対し実施例４では、全画面から画像を切り出す際の動作に関しての詳細を説明する。
実施例４における切り出し動作を行う例として、全画素のデータから画角を切り出した４Ｋ２Ｋ（４０９６×２１６０）動画を例として説明する。なお、本実施例における装置構成に関しては、上述した実施例と同様であるため説明を省略する。
ユーザーにより４Ｋ２Ｋ動画が動画モードとして選択され、全画素から４Ｋ２Ｋ動画に必要な画角領域のみを切り出して読み出す動作を、図１４のフローチャートを用いて説明する。なお、実施例３の図１２において説明した動作と同じフローに関しては、説明を省略する。
ステップＳ６０３において、ユーザーによって４Ｋ２Ｋ動画が動画モードとして選択され、操作部５１５に含まれる動画記録釦が押されると動画記録が開始され、ステップＳ６０６において全画素の画像データがフレームメモリ１１７に保存される。
ステップＳ８０１では、全体制御部５０９の制御により素子内演算部１１８は、４Ｋ２Ｋ動画の画素数に合うようにフレームメモリ１１７に保存された全画素の画像データから画角切り出し処理を行う。切り出された４Ｋ２Ｋ動画用の画像データはＰ／Ｓ変換部１２０へ送られる。ステップＳ６１２以降の動作は、実施例１の図１２と同様である。
次に、画像切り出しについて図１５を用いて説明する。図１５（ａ）は、撮像素子から読み出される３：２画角の２４００万（６０００×４０００）画素の画像データを示している。
ユーザーが４Ｋ２Ｋ動画を動画モードとして選択している場合、全体制御演算部５０９の制御に応じて素子内演算部１１８は、４Ｋ２Ｋ動画に必要な画角に合うように、フレームメモリ１１７に保存された全画素の画像データから画角切り出し処理を行う。
４Ｋ２Ｋ動画に必要な水平・垂直のサイズは４０９６×２１６０であることから、撮像信号処理回路５０７で行う各種補正を考慮し、例えば、図１５（ｂ）に示すような４１３６×２２００の画像データに画角切り出し処理を行う。
以上説明したように、本実施例によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、ユーザーが選択した動画モードの画像サイズに全画素のから切り出して出力することで画像データを伝送するデータ量を削減可能になる。さらに、消費電力の削減が可能となる。
（実施例５）
ユーザーが撮影時に手動でフォーカスを合わせるために、表示部のライブビュー動画の画面領域を拡大してフォーカスを合わせる操作を行う場合がある。しかしながら、画像が間引かれて表示されているライブビューの表示状態から、そのままの状態で画像を拡大した場合、解像度が落ちて画質が粗くなるためフォーカスを合わせるのが難しい場合がある。
そこで、実施例５では、ユーザーがライブビュー画面を見ながら、所定の領域を拡大した際に、解像度が落ちることなくかつシームレスに、画像データを出力可能な動作について説明する。なお、本実施例における装置構成に関しては、上述した実施例と同様であるため説明を省略する。
また、ライブビューの際に表示される画像データは、３：２画角の２４００万（６０００×４０００）画素を、ライブビュー表示に合う画像サイズ（７５０×５００）にリサイズ処理するものとする。
本実施例における、ライブビュー動画の表示動作からの表示領域拡大動作について、図１６のフローチャートを用いて説明する。
ステップＳ１００１において、ユーザーにより操作部５１５に含まれる電源釦がＯＮされると、各種初期設定が行われた後、ライブビュー動画の撮影および表示が開始される。
ステップＳ１００２において、全体制御部によって決められた露出設定（蓄積時間／絞り設定／感度設定）に応じて撮像素子５０６の露光を開始する。
ステップＳ１００３において、ステップＳ１００２によって露光された撮像素子５０６の全画素から信号を読み出し、ステップＳ１００４では、ステップＳ１００３で読み出された全画素の信号をフレームメモリ１１７に画像データとして保存する。
ステップＳ１００５において、ユーザーによりライブビュー拡大が選択されたかどうかを判定する。ステップＳ１００５でライブビュー拡大が選択されていないと判定した場合、ステップＳ１００６へ進む。
ステップＳ１００６では、フレームメモリ１１７に保存された全画像データを基にライブビュー動画サイズの画素サイズ（７５０×５００）になるように画像データをリサイズ処理する。
また、ステップＳ１００５でライブビューの拡大が選択されたと判定した場合、ステップＳ１００７へ進む。ライブビュー拡大の選択とは、例えば、ユーザーが拡大枠を選択し、操作部５１５に含まれる拡大釦を押した場合である。
ステップＳ１００７では、ユーザーによって指定された拡大領域の情報が、全体制御部５０９から素子内演算部１１８に送られる。そして、素子演算部１１８は、拡大領域の情報を基に、フレームメモリ１１７に保存されている全画素の画像データに対して拡大領域に当たる画像データをライブビュー表示の画角に合わせたリサイズ率を算出する。
ステップＳ１００８では、ステップＳ１００７において算出されたリサイズ率を基に、フレームメモリ１１７に保存されている全画素の画像データを拡大領域に合わせてリサイズ処理する。
ステップＳ１００９では、ステップＳ１００８においてリサイズにより画像サイズを変更された画像から、拡大領域のみを切り出した画像データのみをＰ／Ｓ変換部１２０へ送る。
ステップＳ１０１０では、ステップＳ１００６またはステップＳ１００９において送信された画像データがＰ／Ｓ変換部１２０において、データ量を基にＰ／Ｓ変換され、最適な伝送速度やポート数が選択される。そして、Ｐ／Ｓ変換された画像データは撮像信号処理回路５０７へ伝送される。
ステップＳ１０２０では、撮像信号処理回路５０７がＰ／Ｓ変換部１２０から出力された画像データに対して、ライブビュー表示用の現像処理を行う。具体的には、ノイズを低減するローパスフィルタ処理やシェーディング処理、ホワイトバランス処理など各種の画像データ処理や補正処理、画像データの圧縮等を行う。
ステップＳ１０１１では、ステップＳ１０２０で処理された画像データを動画データとして、表示部５１１へ表示する。
ステップＳ１０１２では、撮影を継続する場合には、ステップＳ１００２へ戻り、続けてライブビュー動作がなされる。また、ステップＳ１０１２において撮影を終了する場合には、ステップＳ１０１３へ進み、ライビュー動作を終了する。
次に、本実施例におけるライブビュー表示時の拡大変換処理について図１７を用いて説明する。図１７（ａ）は、表示部５１１に表示されたライブビュー動画の例であり、ユーザーが拡大領域１１００の拡大を指定したものとする。
図１７（ｂ）は、図１７（ａ）に示した拡大領域１１００を表示部５１１に拡大表示させた様子を示している。フレームメモリ１１７には、図１７（ｃ）に示すように、常に撮像素子から読み出された全画素の画像データ１１０１が保存されている。
通常のライブビュー表示の際には、図１３（ｄ）に示すように、フレームメモリ１１７に保存された全画素の画像データに対するリサイズ変換処理を行い、画像データのサイズをライブビュー動画サイズの画素サイズ（７５０×５００）に変換している。
これに対し、ライブビュー拡大時の拡大領域１１００は、図１７（ｃ）に示す全画素の画像データから領域１１０２を切り出し、切り出した領域１１０２の画像データを表示するように制御される。
ここで切り出される領域１１０２の画素数は、例えば２２５０画素×１５５０画素であるものとする。そして、切り出された領域１１０２の画像データに対して、図１７（ｅ）に示すようにリサイズ処理を行うことで、ライブビュー表示と同じ画像サイズ７５０×５００に変換する。
以上説明したように、本実施例によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、ライブビュー表示の時にユーザーが選択した拡大領域に対して、全画素の画像データから切り出しを行う。また、最適なリサイズ処理を行うことにより、通常のライブビュー表示と同じサイズの画像データを伝送することが可能となる。そして、解像度を落とすことなく、かつ、シームレスに拡大画像を出力することが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
１０１ 画素
１０ 第１のチップ
１１ 第２のチップ
１１７ フレームメモリ
１１８ 素子内演算部

Claims (10)

  1. 互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、
    前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、
    前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、
    前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、
    前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、
    を有し、
    前記処理手段により縮小変倍処理される画像データのサイズが縮小変倍処理の倍率にかかわらず常に一定サイズとなるように設定されることを特徴とする撮像素子。
  2. 互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、
    前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、
    前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、
    前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、
    前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、
    を有し、
    前記処理手段により縮小変倍処理される画像データのサイズは、記録動画サイズであることを特徴とする撮像素子。
  3. 前記処理手段は、前記記憶手段に記憶された前記画像データから所定領域の画像データを切り出す際に、電子的なパン、チルト処理を行なう請求項１または２に記載の撮像素子。
  4. 互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、
    前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、
    前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、
    前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、
    前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データに対して縮小変倍処理を施す処理手段と、
    を有し、
    前記処理手段により縮小変倍処理された画像データのサイズは、前記撮像素子の出力転送容量以下となるように設定されることを特徴とする撮像素子。
  5. 前記処理手段は、前記記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データを切り出し、切り出した画像データを前記記憶手段に記憶することを特徴とする請求項４に記載の撮像素子。
  6. 互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備え、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有する撮像素子と、
    前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
    前記画像を表示する表示部と、
    前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
    を有し、
    前記処理手段により縮小変倍処理される画像データのサイズが縮小変倍処理の倍率にかかわらず常に一定サイズとなるように設定されることを特徴とする撮像装置。
  7. 互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備え、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有する撮像素子と、
    前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
    前記画像を表示する表示部と、
    前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
    を有し、
    前記処理手段により縮小変倍処理される画像データのサイズは、記録動画サイズであることを特徴とする撮像装置。
  8. 前記処理手段は、前記記憶手段に記憶された前記画像データから所定領域の画像データを切り出す際に、電子的なパン、チルト処理を行なうことを特徴とする請求項６または７に記載の撮像装置。
  9. 互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備え、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データに対して縮小変倍処理を施す処理手段と、を有する撮像素子と、
    前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
    前記画像を表示する表示部と、
    前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
    を有し、
    前記処理手段により縮小変倍処理された画像データのサイズは、前記撮像素子の出力転送容量以下となるように設定されることを特徴とする撮像装置。
  10. 前記処理手段は、前記記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データを切り出し、切り出した画像データを前記記憶手段に記憶することを特徴とする請求項９の撮像装置。
JP2016086544A 2015-05-29 2016-04-22 撮像素子および撮像装置 Active JP6272387B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016086544A JP6272387B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置
US15/567,145 US10356339B2 (en) 2015-05-29 2016-05-24 Image pickup device and imaging apparatus with reducing magnification processing
KR1020177032190A KR101986128B1 (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치
CN201680031552.6A CN107710744B (zh) 2015-05-29 2016-05-25 摄像器件和摄像设备
EP16802781.1A EP3304889A4 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus
PCT/JP2016/002529 WO2016194339A1 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015109429 2015-05-29
JP2015109429 2015-05-29
JP2015109426 2015-05-29
JP2015109426 2015-05-29
JP2016086544A JP6272387B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP2016225970A JP2016225970A (ja) 2016-12-28
JP6272387B2 true JP6272387B2 (ja) 2018-01-31

Family

ID=57440904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016086544A Active JP6272387B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置

Country Status (6)

Country Link
US (1) US10356339B2 (ja)
EP (1) EP3304889A4 (ja)
JP (1) JP6272387B2 (ja)
KR (1) KR101986128B1 (ja)
CN (1) CN107710744B (ja)
WO (1) WO2016194339A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6689656B2 (ja) * 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
CN110168937B (zh) * 2017-01-17 2023-07-18 索尼半导体解决方案公司 模拟数字转换器、固态图像传感装置和电子系统
JP6580111B2 (ja) * 2017-02-10 2019-09-25 キヤノン株式会社 撮像素子および撮像装置
US10893199B2 (en) 2018-06-07 2021-01-12 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP6821723B2 (ja) * 2018-06-07 2021-01-27 キヤノン株式会社 撮像装置およびその制御方法
JP7210172B2 (ja) 2018-07-06 2023-01-23 キヤノン株式会社 撮像装置およびその制御方法
CN112640430A (zh) 2018-08-31 2021-04-09 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
KR20200055851A (ko) * 2018-11-13 2020-05-22 삼성디스플레이 주식회사 피검체의 결함 검사 시스템 및 결함 검사 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4783838A (en) * 1984-12-26 1988-11-08 Konishiroku Photo Industry Co., Ltd. Image processing method and apparatus therefor
US6701017B1 (en) * 1998-02-10 2004-03-02 Nihon Computer Co., Ltd. High resolution high-value added video transfer method system and storage medium by using pseudo natural image
JP2000092461A (ja) * 1998-09-10 2000-03-31 Sony Corp 付加情報重畳方法および映像信号出力装置
JP4000293B2 (ja) * 2002-10-22 2007-10-31 富士フイルム株式会社 デジタルカメラ
JP4250437B2 (ja) 2003-03-04 2009-04-08 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
JP4795186B2 (ja) 2006-10-02 2011-10-19 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 静止画像送信装置、静止画像受信装置、静止画像送受信装置、静止画像送信方法、静止画像受信方法、静止画像送受信方法、カメラ装置、及び携帯端末装置
JP2008193359A (ja) 2007-02-02 2008-08-21 Olympus Imaging Corp 撮像モジュール及び撮像素子パッケージ
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US9257467B2 (en) 2009-12-16 2016-02-09 Samsung Electronics Co., Ltd. Image sensor modules, methods of manufacturing the same, and image processing systems including the image sensor modules
JP5685898B2 (ja) 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
JP4983961B2 (ja) * 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
TWI510047B (zh) * 2010-07-20 2015-11-21 Htc Corp 手持電子裝置
JP5696513B2 (ja) * 2011-02-08 2015-04-08 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
JP5734121B2 (ja) 2011-07-15 2015-06-10 ルネサスエレクトロニクス株式会社 固体撮像装置
JP2013030939A (ja) 2011-07-27 2013-02-07 Canon Inc 撮像装置
JP6021078B2 (ja) * 2011-12-21 2016-11-02 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
US9607971B2 (en) 2012-06-04 2017-03-28 Sony Corporation Semiconductor device and sensing system
JP2014044345A (ja) 2012-08-28 2014-03-13 Ricoh Co Ltd 撮像装置
JP6292754B2 (ja) * 2013-02-21 2018-03-14 キヤノン株式会社 表示制御装置及びその制御方法
JP6190184B2 (ja) 2013-06-28 2017-08-30 キヤノン株式会社 撮像素子、撮像装置、その制御方法、および制御プログラム
JP2015041792A (ja) * 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置
DE102016109179B4 (de) * 2015-05-29 2023-08-03 Canon Kabushiki Kaisha Bildaufnahmeeinrichtung und Bildgebungsvorrichtung

Also Published As

Publication number Publication date
US10356339B2 (en) 2019-07-16
EP3304889A4 (en) 2018-10-31
JP2016225970A (ja) 2016-12-28
EP3304889A1 (en) 2018-04-11
US20180103214A1 (en) 2018-04-12
KR101986128B1 (ko) 2019-06-05
KR20170134693A (ko) 2017-12-06
WO2016194339A1 (en) 2016-12-08
CN107710744A (zh) 2018-02-16
CN107710744B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
JP6272387B2 (ja) 撮像素子および撮像装置
US11196923B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US20230231966A1 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US10469756B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
US10003715B2 (en) Image pickup device and imaging apparatus
US10277853B2 (en) Image capturing apparatus and control method of the same
JP6513164B2 (ja) 撮像素子および撮像装置
JP2006279652A (ja) 固体撮像装置および撮像制御方法
JP4630200B2 (ja) 固体撮像素子および撮像装置
JP2020171054A (ja) 電子機器
JP4618280B2 (ja) 電子カメラ
JP2018148590A (ja) 電子機器、及び撮像素子
JP2018207504A (ja) 電子機器

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171228

R151 Written notification of patent or utility model registration

Ref document number: 6272387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151