JP4534630B2 - 撮像装置、撮像素子及び撮像装置の制御方法 - Google Patents

撮像装置、撮像素子及び撮像装置の制御方法 Download PDF

Info

Publication number
JP4534630B2
JP4534630B2 JP2004195298A JP2004195298A JP4534630B2 JP 4534630 B2 JP4534630 B2 JP 4534630B2 JP 2004195298 A JP2004195298 A JP 2004195298A JP 2004195298 A JP2004195298 A JP 2004195298A JP 4534630 B2 JP4534630 B2 JP 4534630B2
Authority
JP
Japan
Prior art keywords
imaging
data compression
processing
image
processing time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004195298A
Other languages
English (en)
Other versions
JP2006020023A5 (ja
JP2006020023A (ja
Inventor
隆浩 福原
忠邦 奈良部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004195298A priority Critical patent/JP4534630B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2005800223935A priority patent/CN1981515B/zh
Priority to EP05755746A priority patent/EP1768386A4/en
Priority to TW94120724A priority patent/TWI272840B/zh
Priority to PCT/JP2005/011885 priority patent/WO2006003906A1/ja
Priority to KR1020067024992A priority patent/KR101130375B1/ko
Priority to CA 2572021 priority patent/CA2572021A1/en
Publication of JP2006020023A publication Critical patent/JP2006020023A/ja
Priority to US11/630,005 priority patent/US7719578B2/en
Publication of JP2006020023A5 publication Critical patent/JP2006020023A5/ja
Application granted granted Critical
Publication of JP4534630B2 publication Critical patent/JP4534630B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像装置、撮像素子及び撮像装置の制御方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、データ圧縮手段における処理時間に応じて、撮像手段の電荷蓄積時間又はフレーム周期、若しくはデータ圧縮手段の処理時間を可変することにより、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができるようにする。
従来、ビデオカメラにおいては、ＣＣＤ（Charge Coupled Device ）固体撮像素子を用いて、フィールド読み出しによる１／６０秒のフィールド周波数により撮像結果を取得し、この撮像結果をデータ圧縮して光ディスク等の記録媒体に記録するようになされている。またこのようなビデオカメラにおいては、電荷蓄積時間の制御によりいわゆる電子シャッターの機能を確保し、高速度で移動する被写体を高画質で撮像できるようになされている。
これに対して近年、ＣＭＯＳ固体撮像素子が実用に供されるようになされており、このようなＣＭＯＳ固体撮像素子については、例えば特開２００４−３１７８５号公報等に、周辺回路と一体化する構成が提案されるようになされている。
このようなＣＭＯＳ固体撮像素子にあっては、数百フレーム／秒の高転送レートにより撮像結果を取得することができる。これによりこのようなＣＭＯＳ固体撮像素子を用いて、さらには高速度化したＣＣＤ固体撮像素子を用いて、高いフレーム周波数により撮像結果を取得することにより、従来に比して一段と臨場感の高い撮像結果を得ることができると考えられる。
しかしながらこのように高いフレーム周波数により撮像結果を取得する場合にあっては、その分、記録、伝送に供するデータ量も格段的に増大し、データ圧縮の処理が間に合わなくなり、全体の処理に破綻をきたす恐れがある。
特開２００４−３１７８５号公報
本発明は以上の点を考慮してなされたもので、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる撮像装置、撮像素子及び撮像装置の制御方法を提案しようとするものである。
かかる課題を解決するため請求項１の発明においては、撮像装置に適用して、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段と、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段とを備えるようにする。
また請求項１８の発明においては、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを一体化してなる撮像素子に適用して、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段の全部又は一部を有するようにする。
また請求項１９の発明においては、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを備える撮像装置の制御方法に適用して、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する。
請求項１の構成により、撮像装置に適用して、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段と、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段とを備えるようにすれば、撮像結果による画像が複雑な場合等にあって、処理時間が長くなる場合には、コマ落ちが発生しないようにし得、またこれとは逆に撮像結果による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、処理時間が短くなると、その分、撮像結果のフレーム周波数を増大させて臨場感の高い画像を記録、伝送することができる。これにより高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる。
これにより請求項１８、請求項１９の構成によれば、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる撮像素子及び撮像装置の制御方法を提供することができる。
本発明によれば、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置１は、所望の被写体の撮像結果をデータ圧縮して記録媒体に記録し、また所望の伝送対象に送出する。
ここでこの撮像装置１において、レンズ２は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子３の撮像面に入射光を集光する。光学ローパスフィルタ４は、このレンズ２の出射光より空間周波数の高い成分を抑圧し、続く色補正フィルタ５は、光学ローパスフィルタ４から出射される出射光の色温度を補正して出射する。
撮像素子３は、例えばＣＭＯＳ固体撮像素子により形成され、駆動部６から出力される各種タイミング信号により動作して、撮像面に形成された光学像を各画素により光電変換して撮像信号Ｓ１を出力する。この処理において、撮像素子３は、所定の電荷蓄積時間により、各画素の入射光を光電変換処理しながら光電変換処理結果を各画素で蓄積し、電荷蓄積時間の終了により、各画素に蓄積した光電変換処理結果を転送して撮像信号Ｓ１により出力すると共に、続くフレームに係る光電変換処理を開始する。これにより撮像素子３は、電荷蓄積時間に対応するフレーム周波数により撮像結果を出力するようになされている。また従来のビデオ信号に比して高いフレーム周波数により撮像結果を出力するようになされている。
駆動部６は、制御部９の制御により、この撮像素子３の各種タイミング信号を生成して撮像素子３に出力し、これにより制御部９の制御により撮像素子３の動作を制御する。この制御において、駆動部６は、撮像素子３の電荷蓄積時間が制御部９により指示される電荷蓄積時間ＴＥとなるように、タイミング信号を出力する。これによりこの実施例においては、制御部９の制御により撮像素子３の電荷蓄積時間ＴＥを制御できるようになされ、さらには撮像結果のフレーム周期を可変できるようになされている。なおここで、フレーム周期は、１フレームの期間である。
アナログディジタル変換回路（ＡＤ）７は、この撮像信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。この撮像装置１は、図示しない信号処理回路によりこの画像データＤ１を画素補間処理、色空間変換処理、エッジ強調処理、ノイズ除去処理等した後、画像圧縮部８に入力する。
画像圧縮部８は、この画像データＤ１をデータ圧縮し、その処理結果による符号化データＤ２を記録系、伝送系に出力し、これによりこの撮像装置１では、この記録系により所定の記録媒体に符号化データＤ２を記録し、またこの伝送系により符号化データＤ２を外部機器に伝送するようになされている。画像圧縮部８は、このデータ圧縮の処理において、例えばＭＰＥＧの手法を適用して制御部９により指示される固定の量子化スケールによりデータ圧縮するようになされており、これにより画像データＤ１における符号化処理の困難度に応じて、符号化処理に要する時間を可変して一定の画質により符号化データＤ２を生成するようになされている。画像圧縮部８は、この１枚のピクチャーに係る画像データＤ１のデータ圧縮処理に要した処理時間ＴＣを検出し、この処理時間ＴＣを制御部９に通知する。
制御部９は、マイコンによる演算処理手段により構成され、所定の制御プログラムの実行により、ユーザーにより操作子の操作に応動してこの撮像装置１全体の動作を制御する。なおこの実施例において、この制御プログラムは、この撮像装置１に事前にインストールされて提供されるようになされているものの、この制御プログラムにあっては、インターネット等のネットワークを介したダウンロードにより、さらには記録媒体からのダウンロードにより提供するようにしてもよく、このような記録媒体にあっては、光ディスク、メモリカード等、種々の記録媒体を広く適用することができる。
しかして制御部９は、ユーザーにより電源が立ち上げられると動作を開始し、ユーザーによる操作子の操作に応動して撮像素子３により撮像結果の取得を開始するように、またこの撮像結果の記録、伝送を開始するように、全体の動作を制御する。また制御部９は、このようにして撮像結果の取得、記録、伝送を開始すると、画像圧縮部８で検出される処理時間ＴＣに応じて画像データＤ１の処理速度を可変する。これにより制御部９は、符号化データＤ２におけるコマ落ちを防止し、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮するようになされている。
具体的にこの実施例において、ユーザーがデータ圧縮処理の優先モードを選択している場合、制御部９は、画像圧縮部８の処理時間ＴＣに応じて、撮像素子３の電荷蓄積時間ＴＥを可変することにより、符号化データＤ２におけるコマ落ちを防止する。すなわち制御部９は、画像データＤ１による画像が複雑な画像であって、画像圧縮部８における処理時間ＴＣが長くなり、その結果、電荷蓄積時間ＴＥに比して処理時間ＴＣが長くなると、その分、電荷蓄積時間ＴＥを増大させ、これにより符号化データＤ２におけるコマ落ちを防止する。
またこれとは逆に、画像データＤ１による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、画像圧縮部８における処理時間ＴＣが短くなると、その分、電荷蓄積時間ＴＥを短縮し、高いフレーム周波数による臨場感の高い画像を記録する。なおこのデータ圧縮処理の優先モードにおいて、制御部９は、ユーザーがデータ圧縮モードを指定している場合、この指示されたデータ圧縮モードにおける量子化スケール等によりデータ圧縮するように画像圧縮部８の動作を制御した状態で、これらの制御を実行する。
これに対してユーザーがフレームレートの優先モードを選択している場合、制御部９は、ユーザーにより指示されたフレーム周期により画像データＤ１を記録するように、画像圧縮部８における処理速度ＴＣを可変する。すなわちこの場合、制御部９は、このユーザーにより指示されたフレーム周期により画像データＤ１を出力するように、撮像素子３の電荷蓄積時間ＴＥを制御した状態で、画像データＤ１による画像が複雑な画像であって、画像圧縮部８における処理時間ＴＣが長くなり、その結果、電荷蓄積時間ＴＥに比して処理時間ＴＣが長くなると、その分、画像圧縮部８における処理時間ＴＣを短縮させ、これにより符号化データＤ２におけるコマ落ちを防止する。
またこれとは逆に、画像データＤ１による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、画像圧縮部８における処理時間ＴＣが短くなると、その分、画像圧縮部８における処理時間ＴＣを増大させ、これにより高いフレーム周波数による臨場感の高い画像を記録する。なおこれらの制御において、制御部９は、画像圧縮部８の動作基準であるクロック周波数の切り換えにより処理時間ＴＣを可変するようになされているものの、これに代えて、又はこれに加えて量子化スケールの切り換えにより処理時間ＴＣを可変してもよい。
（２）実施例の動作
以上の構成において、この撮像装置１では、レンズ２により撮像素子３の撮像面に被写体の画像が形成され、この画像の撮像結果が撮像素子３より出力されてアナログディジタル変換回路７により画像データＤ１に変換される。この画像データＤ１は、エッジ強調等の処理が実行された後、画像圧縮部８によりデータ圧縮されて符号化データＤ２に変換され、この符号化データＤ２が記録媒体に記録され、さらには外部機器に伝送される。これにより撮像装置１では、撮像結果をデータ圧縮して記録し、また伝送するようになされている。
これら一連の処理において、画像データＤ１は、この画像圧縮部８におけるデータ圧縮に要する処理時間ＴＣが計測され、この処理時間ＴＣと撮像素子３における電荷蓄積時間ＴＥとの比較により各部における処理速度が可変される。すなわち画像データＤ１による画像が複雑な場合等にあって、電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが長くなる場合には、この処理時間ＴＣにより符号化データＤ２においてコマ落ちが発生しないように、各部における処理速度が可変制御される。またこれとは逆に、画像データＤ１による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが短くなると、この場合も各部における処理速度が可変制御され、これにより臨場感の高い画像により記録される。
この実施例においては、ユーザーがデータ圧縮処理の優先モードを選択している場合、この処理速度の制御対象が撮像素子３の電荷蓄積時間に設定され、電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが長くなる場合には、この処理時間ＴＣにより符号化データＤ２においてコマ落ちが発生しないように、撮像素子３における電荷蓄積時間ＴＥが長くなるように制御され、これにより画像データＤ１のフレーム周波数が低減される。また電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが短くなると、撮像素子３の電荷蓄積時間ＴＥが短くなるように制御され、これによりフレーム周波数が増大される。
これによりこの実施例においては、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送できるようになされている。
これに対してユーザーがフレームレートの優先モードを選択している場合、この処理速度の制御対象が画像圧縮部８に設定され、コマ落ちしないように、また可能な限り高画質によりデータ圧縮するように、画像圧縮部８における処理速度ＴＣが切り換えられる。これによりこの場合も、高いフレーム周波数により撮像結果を取得して記録、伝送する場合に、確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送できるようになされている。
（３）実施例の効果
以上の構成によれば、データ圧縮に要する処理時間に応じて、撮像素子における電荷蓄積時間を可変することにより、又はデータ圧縮の処理時間を可変することにより、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送することができる。
すなわち処理時間が、電荷蓄積時間より長くなると、電荷蓄積時間が長くなるように、撮像手段である撮像素子の動作を制御することにより、コマ落ちを防止して確実に撮像結果を処理することができる。
また処理時間が、電荷蓄積時間より長くなると、処理時間が短くなるように、データ圧縮手段である画像圧縮部の処理速度を制御することによっても、コマ落ちを防止して確実に撮像結果を処理することができる。
またこのデータ圧縮手段の処理時間の可変が、データ圧縮手段のクロックの切り換えによる処理時間の可変であることにより、消費電力を無駄に増大させることなく、確実に撮像結果を処理することができる。
図２は、図１との対比により本発明の実施例２に係る撮像装置を示すブロック図である。この撮像装置１１においては、画像圧縮部８の入力側にメモリ部１２が設けられ、また画像圧縮部８、制御部９に代えて、画像圧縮部１３、制御部１４が設けられている点を除いて、実施例１の撮像装置１と同一に構成される。なおこの図２においては、これにより実施例１に係る撮像装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
この撮像装置１１において、メモリ部１２は、複数フレーム分の画像データＤ１を蓄積できるように形成され、制御部１４の制御により順次入力される画像データＤ１を蓄積し、また蓄積した画像データを画像圧縮部１３に出力する。
画像圧縮部１３は、撮像装置１の画像圧縮部８と同様にして制御部１４の制御により順次入力される画像データＤ１をデータ圧縮し、その処理結果による符号化データＤ２を記録系、伝送系に出力する。この処理において、画像圧縮部１３は、アナログディジタル変換回路７から出力される画像データＤ１を直接入力して、又はメモリ部１２を介して入力して、この画像データＤ１をデータ圧縮するように形成され、これにより撮像装置１１は、メモリ部１２をバッファメモリとして使用して、データ圧縮に係る処理時間ＴＣの変動による影響をこのメモリ部１２により緩和して画像データＤ１を処理するようになされている。
制御部１４は、制御部９と同様にして、この撮像装置１１全体の動作を制御する。この処理において制御部１４は、画像圧縮部８で検出される処理時間ＴＣに応じて、画像圧縮部１３の処理対象を、アナログディジタル変換回路７から直接入力される画像データＤ１と、メモリ部１２を介して入力される画像データＤ１とで切り換え、これによりデータ圧縮に係る処理時間ＴＣが変動した場合でも、コマ落ちすることなく高画質により画像データＤ１をデータ圧縮する。
すなわち図３（Ａ）に示すように、連続するピクチャーＴ１、Ｔ２、Ｔ３、……による画像データＤ１が入力されている場合にあって、ピクチャーＴ３のデータ圧縮処理に３フレーム分の処理時間ＴＣを要した場合、このままでは符号（Ｂ）に示すように、続く２つのピクチャーＴ４、Ｔ５については、データ圧縮処理する時間が無くなり、これにより符号化データＤ２にあってはコマ落ちすることになる。
制御部１４は、これにより図３（Ｃ）及び（Ｄ）に示すように、ピクチャーＴ３までの間、アナログディジタル変換回路７から直接入力される画像データＤ１をデータ圧縮するように画像圧縮部８の動作を制御した後、続くピクチャーＴ４以降においては、メモリ部１２に一時保持した画像データＤ１をデータ圧縮するように、画像圧縮部８の動作を制御する。すなわちこの場合、制御部１４は、この続くピクチャーＴ４以降を一時記録するようにメモリ部１２の動作を制御し、またこのメモリ部１２に一時記録した画像データＤ１を処理するように画像圧縮部１３の動作を制御する。
またこのようにしてメモリ部１２に一時保持した画像データＤ１をデータ圧縮するように画像圧縮部８の動作を制御し、画像圧縮部１３における処理時間が短くなって、画像圧縮部１３における処理が撮像素子３からの画像データＤ１の直接の出力に追いつくと、メモリ部１２に一時保持した画像データＤ１に代えて、アナログディジタル変換回路７から直接入力される画像データＤ１をデータ圧縮するように画像圧縮部８の動作を制御する。すなわちこの場合、制御部１４は、メモリ部１２における画像データＤ１の記録を所定のピクチャーで中止し、アナログディジタル変換回路７から直接入力される画像データＤ１を処理するように画像圧縮部８の動作を制御する。
制御部１４は、これによりメモリ部１２を用いて、画像圧縮部１３における処理時間ＴＣの変動によるコマ落ちを防止して高画質により画像データＤ１を処理する。またこのように処理して、メモリ部１２を用いた処理によってはコマ落ちを防止できなくなると、実施例１について上述したと同様にして撮像素子３の電荷蓄積時間ＴＥの増大により、又は画像圧縮部８における処理時間ＴＣの低減によりコマ落ちを防止する。またこれとは逆に、画像圧縮部８の処理に撮像素子３からの画像データ出力が間に合わなくなると、実施例１について上述したと同様にして撮像素子３の電荷蓄積時間ＴＥの低減により、又は画像圧縮部８における処理時間の増大により可能な限り高画質により画像データＤ１を処理する。
以上の構成によれば、データ圧縮手段における処理時間に応じて、撮像手段の電荷蓄積時間、データ圧縮手段の処理時間を可変する構成において、データ圧縮手段の処理時間に応じて、撮像手段から出力される撮像結果を一時記憶してデータ圧縮手段でデータ圧縮することにより、処理時間の変動をデータ圧縮手段により緩和して、高いフレーム周期により撮像結果を取得して記録、伝送する場合にあっても、一段と確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送することができる。
この実施例においては、撮像素子から出力される画像データのサンプリング数の制御により、データ圧縮手段の処理速度を可変し、これによりコマ落ちを防止して高画質により画像データを記録する。この実施例においては、このサンプリング数の制御に係る構成が異なる点を除いて、図１又は図２について上述した撮像装置１又は１１と同一に構成されることにより、この実施例においては、この図１又は図２を用いて構成を説明する。
この実施例において、駆動部６は、制御部９又は１４の制御により、撮像素子３に出力するタイミング信号を切り換え、これにより図４（Ａ）との対比により図４（Ｂ）に示すように、撮像結果を出力可能な撮像素子３の有効画素領域ＡＲに対して、この有効画素領域ＡＲから一部領域ＡＲＡを切り出し、この切り出した一部領域ＡＲＡの撮像結果だけを選択的に撮像素子３から出力できるようになされている。
制御部９又は１４は、上述した画像圧縮部８又は１３の直接の制御による処理時間ＴＣの可変に代えて、この一部領域ＡＲＡの大きさの可変により、撮像結果のサンプリング数を可変して画像圧縮部８又は１３における処理時間ＴＣを可変し、これによりコマ落ちを防止し、また可能な限り高画質により撮像結果をデータ圧縮する。
すなわち制御部９又は１４は、画像圧縮部８の処理時間ＴＣが電荷蓄積時間ＴＥに比して長くなると、一部領域ＡＲＡの大きさを小さくし、これにより撮像結果のサンプリング数の低減により画像圧縮部８における処理時間ＴＣを短くする。またこれとは逆に画像圧縮部８の処理時間ＴＣが電荷蓄積時間ＴＥに比して短くなると、一部領域ＡＲＡの大きさを大きくし、これにより撮像結果のサンプリング数の増大により画像圧縮部８における処理時間ＴＣを長くする。またこのようにサンプリング数の制御により処理時間ＴＣを可変して、この一部領域ＡＲＡの大きさがユーザーにより指示された範囲を逸脱する場合には、サンプリング数の制御に代えて、実施例１又は実施例２について上述した手法により、コマ落ちを防止する。なおこのような撮像結果の選択的な出力に係る一部領域ＡＲＡはこの撮像装置における手振れ補正の処理に係る領域であり、これによりこの実施例においては、手振れ補正に係る構成を有効に利用して全体構成を簡略化するようになされている。
この実施例のように、撮像結果のサンプリング数の可変により画像圧縮部８における処理時間を可変するようにしても、実施例１又は実施例２と同様の効果を得ることができる。
この実施例においては、撮像素子から出力される画像データのサンプリング数の制御に代えて、画像圧縮部に入力される画像データのサンプリング数の制御によりコマ落ちを防止して高画質により画像データを記録する。この実施例においては、このサンプリング数の制御に係る構成が異なる点を除いて、実施例３について上述した撮像装置と同一に構成されることにより、この実施例においては、この実施例３において流用した図１又は図２を用いて構成を説明する。
この実施例に係る撮像装置１又は１１においては、アナログディジタル変換回路７の出力段にフレームメモリが設けられ、アナログディジタル変換回路７から出力される画像データをこのフレームメモリに一時記録する。またこのフレームメモリに係る読み出しアドレスの制御により、フレームメモリに記録した画像データによる画像から一部領域ＡＲＡを切り出し、この切り出した一部領域ＡＲＡに係る画像データＤ１を選択的にフレームメモリから読み出してデータ圧縮処理する。なお、この図２について上述した撮像装置１１にあっては、このフレームメモリをメモリ部１２により構成してもよい。
この実施例のように、撮像素子から出力される画像データのサンプリング数の制御に代えて、データ圧縮手段の入力段で画像データのサンプリング数を制御するようにしても、実施例３と同一の効果を得ることができる。
図５は、本発明の実施例５に係る撮像装置に適用される集積回路の一部を示す断面図である。この実施例においては、この集積回路により実施例１〜実施例４に係る撮像装置を構成する。
ここでこの集積回路５１は、撮像素子３と周辺回路とを一体化して形成され、実施例１に係る撮像装置１においては、この一体化に係る周辺回路に駆動部６、アナログディジタル変換回路７、画像圧縮部８が適用されるようになされている。また実施例２に係る撮像装置１１においては、この一体化に係る周辺回路に、さらにメモリ部１２が適用され、実施例３、４に係る撮像装置においては、同様の対応する構成が周辺回路に適用されるようになされている。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。
集積回路５１は、画素部をマトリックス状に配置して撮像素子部が形成され、この撮像素子部により撮像素子３が形成される。またこの撮像素子部の周囲に周辺回路部が形成され、この周辺回路部に上述した駆動部６等が適宜配置される。これにより図５は、この撮像素子部と周辺回路部との一部を示す断面図である。
集積回路５１は、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成され、画素部においては、この素子層５２に、画素単位の光電変換処理に係るフォトダイオード５３が形成され、周辺回路部においては、この素子層５２の下層側に、周辺回路を構成するＭＯＳＦＥＴ等の各回路素子が形成される。
集積回路５１は、この素子層５２の上層に、順次、シリコン酸化（ＳｉＯ 2 ）膜５４、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタ５７、マイクロレンズ５８が積層される。またこの素子層５２の下層に、フォトダイオード５３、周辺回路の回路素子を配線する配線層５９が形成され、この配線層５９の下層側に、全体を保持する基板支持材６０が設けられる。これにより集積回路５１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段に向上するようになされている。なおこのように配線層を受光面側に設ける不具合にあっては、配線層を形成する配線による各画素への入射光量の減少、隣接画素へのクロストーク等がある。
なお集積回路５１は、このように受光面とは逆側に配線層５９が形成されることにより、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオード５３、周辺回路の回路素子を形成した後、この半導体基板に配線層５９、基板支持材６０を順次形成し、その後、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタ５７、マイクロレンズ５８を順次形成して作成されるようになされている。
この実施例に係る撮像装置は、このように受光面とは逆側に配線層５９を形成して、配線の自由度が格段的に向上する点を有効に利用して、撮像結果を高速読み出しする。ここでこのような高速読み出しにあっては、撮像結果である多数の画素による光電変換結果を複数系統により同時並列的に出力することにより実行する。これにより各系統の出力に係るデータレートをｒと置き、この系統数をＮと置くと、撮像素子全体のデータレートは、Ｒ= Ｎ× rにより表され、撮像結果を高速で出力することができる。
なお同様の撮像素子であるＣＣＤ（Charge Coupled Device ）固体撮像素子においては、ウエハプロセスの関係により、この同時並列に出力する系統数Ｎが最大で８程度であるのに対し、この実施例に係る集積回路５１による撮像素子においては、系統数Ｎを数１００以上に設定することができ、これにより従来に比して格段的に高速度で撮像結果を出力することができる。
なお図６は、このようなＣＣＤ固体撮像素子からの撮像結果の出力を示す模式図であり、図６（Ａ）は、１系統により出力する場合であり、この場合、各画素に保持された蓄積電荷を垂直転送レジスタに転送し、この垂直転送レジスタに転送した蓄積電荷を水平転送レジスタに順次転送しながら水平転送レジスタにより順次転送して出力する。これに対して図６（Ｂ）は、８系統により撮像結果を出力する場合であり、８個の水平転送レジスタを設け、垂直転送レジスタに転送した蓄積電荷をこれら８個の水平転送レジスタにより順次出力する場合である。
これに対して図７は、ＣＭＯＳ固体撮像素子からの撮像結果の出力を示す模式図である。図７（Ａ）は、コラム線単位で順次各画素による撮像結果を出力する方式であり、この場合、コラム線の数の分だけ同時並列的に撮像結果を出力することになる。この実施例においては、この図７（Ａ）に示す方式によりコラム線単位で撮像結果を出力するようにして、コラム線の数に対応する複数のアナログディジタル変換回路により各コラム線出力をそれぞれアナログディジタル変換処理し、複数系統の画像データを生成する。またこの画像データを実施例１〜４に上述したようにデータ圧縮処理して、またこのデータ圧縮処理に要する処理時間に応じて撮像素子の電荷蓄積時間、画像圧縮部の処理時間を制御する。
しかしてこの実施例においては、このように複数系統により撮像結果を出力することにより、高いフレーム周波数による撮像結果を確実に取得できるようにして、この高いフレーム周波数による撮像結果を確実にデータ圧縮することができるようになされている。
なお実用上十分な転送速度を確保できる場合、このようなコラム線の数による同時並列的な撮像結果の出力に代えて、例えば図７（Ｂ）に示すように、複数のコラム線で撮像結果を多重化して出力するようにしてもよい。なおこの図７（Ｂ）の例は、２本のコラム線で撮像結果を多重化して出力するものであり、この場合、コラム線の数の１／２の系統数により同時並列的に撮像結果を出力することになる。
実施例５の構成によれば、撮像手段、撮像手段の駆動回路、データ圧縮手段を一体に集積回路化することにより、全体構成を小型化、簡略化することができる。
またこのとき受光面とは逆側に配線層を形成し、この配線層により撮像手段と周辺回路とを接続することにより、高い自由度により配線層の配線を形成することができ、これにより高いフレーム周波数による撮像結果を確実に処理することができる。
図８は、本発明の実施例６に係る撮像装置に適用される集積回路の一部を示す斜視図である。この実施例においては、この集積回路により実施例１〜実施例４に係る撮像装置を構成する。なおこの集積回路６１において、実施例５について上述した集積回路５１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
ここでこの集積回路６１は、撮像素子３と周辺回路とを一体化して形成され、この周辺回路が実施例５に係る周辺回路と同一に、実施例１に係る撮像装置１においては、この一体化に係る周辺回路に駆動部６、アナログディジタル変換回路７、画像圧縮部８が適用され、また実施例２に係る撮像装置１１においては、この一体化に係る周辺回路に、さらにメモリ部１２が適用され、実施例３、４に係る撮像装置においては、同様の対応する構成が周辺回路に適用されるようになされている。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。
この集積回路６１は、周辺回路部に撮像素子部を積層して形成され、周辺回路部は、所定の半導体プロセスにより、半導体基板６２上に周辺回路を構成する半導体素子を形成した後、これら半導体素子の上層に配線層６３を形成してこれら半導体素子を接続することにより形成されるようになされている。周辺回路部は、この配線層６３の表層に撮像素子部との接続用の電極等が形成される。
撮像素子部は、実施例４について上述したと同様に、画素部をマトリックス状に配置して形成され、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成される。撮像素子部は、この素子層５２に、画素単位の光電変換処理に係るフォトダイオードが形成される。
撮像素子部は、この素子層５２の上層に、順次、シリコン酸化膜、遮光膜、シリコン窒化膜、色フィルタ５７、マイクロレンズ５８が積層されて撮像面が形成されるのに対し、素子層５２の下層に、配線層５９が形成される。撮像素子部は、この配線層５９の下層側に周辺回路部が設けられ、周辺回路部の配線層６３と配線層５９とが接続されて撮像素子と周辺回路とが一体に集積回路化されるようになされている。
これにより集積回路６１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層５９を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段的に向上するようになされている。またこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化できるようになされ、その分、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、全体として各種の性能を向上できるようになされている。
具体的に、周辺回路を形成してなる周辺回路部においては、各半導体素子、配線パターン幅を小さくして高密度に形成することにより、チップサイズを小型化して消費電力を削減することができる。しかしながら撮像素子部においては、画素サイズを小さくすると、その分、感度が低下し、また画素数に応じてチップ面積も大きくなる。これによりこの実施例のように撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化する場合にあっては、撮像素子部、周辺回路部の各々に適したウエハプロセスにより作成することができ、その分、全体としての性能を向上することができる。
なおこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、この集積回路６１は、実施例５について上述したと同様にして、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオードを形成した後、この半導体基板に配線層５９を形成し、別工程により作成された周辺回路部が積層される。その後、集積回路６１は、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜、色フィルタ５７、マイクロレンズ５８等を順次形成して作成されるようになされている。
このような異なるウエハプロセスによる半導体基板の積層による集積回路６１において、撮像素子３は、図９（Ａ）に示すように、各画素出力がそれぞれ周辺回路に出力されてアナログディジタル変換処理により画像データＤ１に変換されるようになされている。これによりこの実施例においては、画素を単位として同時並列的に撮像結果を出力して高速度に撮像結果を出力するようになされている。
なおこのような同時並列的な撮像結果の出力においては、必要に応じて、図９（Ｂ）に示すように、コラム線を単位にして実行するようにしてもよく、また図９（Ｃ）に示すように、ラインを単位にして実行するようにしてもよく、さらには図９（Ｄ）に示すように、水平方向及び垂直方向、複数画素によるブロックを単位にして実行するようにしてもよい。なおこれらのコラム線、ライン、ブロックを単位にした撮像結果の同時並列的な出力においては、これら各単位毎に、アナログディジタル変換回路を設けて画像データを生成するようになされている。
周辺回路においては、このようにして高速度で撮像結果を入力するようにして、これら同時並列的に得られる画像データＤ１を並び代えてデータ圧縮処理する。周辺回路においては、このデータ圧縮処理に係る画像圧縮部８、１３が、図８に示すように、３系統の処理回路Ｃ１〜Ｃ３により形成され、これら３系統の処理回路Ｃ１〜Ｃ３に画像データを振り分けて、これら３系統の同時並列的な処理により高速度でデータ圧縮する。
またこの同時並列的な処理に係る処理回路Ｃ１〜Ｃ３の選択的な駆動により、またこの選択的な駆動に対応するように画像データＤ１の振り分けを切り換えることにより、データ圧縮に要する処理時間ＴＣを可変する。
この実施例においては、撮像素子部の配線層の下層に周辺回路を形成することにより、一段と高い自由度により撮像素子と周辺回路とを一体に集積回路化することができ、これにより、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる。
すなわちこの場合、撮像素子部と周辺回路部とを異なるウエハプロセスにより作成することにより、それぞれに適したウエハプロセスにより作成して、全体の性能を向上することができる。
また複数系統の同時並列的な処理により画像データをデータ圧縮するようにして、この同時並列的な処理に係る系統数の切り換えにより、データ圧縮の処理時間を可変するようにしても、上述の実施例と同様の効果を得ることができる。
この実施例においては、実施例６について上述した構成において、このデータ圧縮処理に対応する順序により、各画素の撮像結果を各系統より出力する。
すなわち例えばデータ圧縮処理が所定ライン数のタップ入力を有する２次元フィルタの処理に係るラインベースウエーブレット変換処理の場合、この実施例では、このラインベースウエーブレット変換処理に対応して、図９（Ｃ）に示すライン単位の出力をさらに複数ラインでまとめ、これによりライン単位による複数系統により同時並列的に撮像結果を出力する。しかしてこの複数ラインが２ラインの場合、図７（Ｂ）に示す接続により各画素の撮像結果を出力することになる。またこのライン単位の撮像結果を処理して画像データを生成した後、この画像データをデータ圧縮するようにして、このデータ圧縮処理の順序に対応する順序により各ラインの撮像結果を出力する。これによりこのラインベースウエーブレット変換処理による場合、各ラインにおいては、ラスタ走査の順序に対応する水平方向への順序により各画素の撮像結果を順次出力する。
これに対してこのラインベースウエーブレット変換処理に係るラインを撮像素子のコラム線方向に設定してなるデータ圧縮処理においては、図９（Ｂ）に示すコラム線を単位の出力を複数のコラム線でまとめて撮像結果を出力するようにして、撮像結果の上方向から下方向への順序で順次撮像結果を出力する。
これに対して例えばＭＰＥＧ等の処理であるマクロブロックを単位とした動き補償及び直交変換処理に係るデータ圧縮処理にあっては、例えば図９（Ｄ）に示すように、垂直方向及び水平方向、所定の複数画素によるブロックを単位にして撮像結果を出力するようにして、このブロックをマクロブロックの大きさに設定し、各ブロックにおいては、このマクロブロックに係るデータ圧縮処理の順序により撮像結果を出力する。
これらによりこの実施例においては、配線層の下層に周辺回路を形成する構成を有効に利用して、高速度に撮像結果をデータ圧縮処理して、高いフレーム周波数による撮像結果を確実に処理できるようになされている。
またこれに対して画像圧縮部８、１３は、水平方向及び垂直方向にそれぞれ複数の画素によるブロックを、順次、各処理系統Ｃ１〜Ｃ３に割り当てて、同時並列的にデータ圧縮の処理を実行する。これにより画像圧縮部は、マクロブロックを単位にしたデータ圧縮の処理において、図８との対比により図１０に示すように、順次ラスタ走査の順序により順次循環的に各マクロブロックを処理回路Ｃ１〜Ｃ３に割り当てて、データ圧縮処理する。
これに対してラインベースウエーブレット変換処理に係るデータ圧縮処理にあって、図７（Ｂ）、図９（Ｃ）について上述したライン単位による処理においては、撮像結果に係る画像を垂直方向に等分割して処理回路Ｃ１〜Ｃ３に割り当て、データ圧縮の処理を実行する。またラインベースウエーブレット変換処理に係るデータ圧縮処理にあって、図９（Ｂ）に示すコラム線単位による処理においては、撮像結果に係る画像を水平方向に等分割して処理回路Ｃ１〜Ｃ３に割り当て、データ圧縮の処理を実行する。
これらによりこの実施例においては、データ圧縮処理における並列処理の系統数を切り換えてデータ圧縮の処理速度を可変する場合、この系統数の切り換えに対応するように各系統への割り当てを切り換えるようになされている。
この実施例によれば、撮像結果を複数系統により同時並列的に出力するようにして、コラム線を単位にしてデータ圧縮手段の処理の順序に対応する順序による撮像結果を出力することにより、又はラインを単位にしたデータ圧縮手段の処理の順序に対応する順序により撮像結果を出力することにより、さらには水平方向及び垂直方向にそれぞれ複数の画素によるブロックを単位にしたデータ圧縮手段の処理の順序に対応する順序により撮像結果を出力することにより、配線層の下層に周辺回路を形成する構成を有効に利用して、高速度に撮像結果をデータ圧縮処理して、高いフレーム周波数による撮像結果を確実に処理することができる。
なお上述の実施例においては、データ圧縮処理に係る処理速度を種々の手法により可変する場合について述べたが、本発明はこれに限らず、上述の実施例に係る種々の手法の組み合わせによりデータ圧縮処理に係る処理速度を可変するようにしてもよい。
また上述の実施例２においては、データ圧縮手段における処理時間に応じて、撮像手段の電荷蓄積時間、データ圧縮手段の処理時間を可変する構成において、データ圧縮手段の処理時間に応じて、撮像手段から出力される撮像結果を一時記憶してデータ圧縮手段でデータ圧縮する場合について述べたが、本発明はこれに限らず、実用上十分に、高フレーム周波数により撮像結果をデータ圧縮処理できる場合には、撮像手段の電荷蓄積時間、データ圧縮手段の処理時間を可変する構成を省略するようにしてもよい。
また上述の実施例においては、駆動回路、アナログディジタル変換回路、画像圧縮部による周辺回路、これらにメモリ部を加えた周辺回路を撮像素子部を一体に集積回路化する場合について述べたが、本発明はこれに限らず、これらに加えて制御部の全部又は一部を一体に集積回路化するようにしてもよい。
また上述の実施例においては、電荷蓄積時間と処理時間との比較により各部を制御する場合について述べたが、本発明はこれに限らず、フレーム周期と処理時間との比較により各部を制御するようにしてもよい。
また上述の実施例においては、撮像手段にＣＭＯＳ固体撮像素子を適用して電荷蓄積時間の制御により撮像結果のフレーム周期を可変する場合について述べたが、本発明はこれに限らず、電荷蓄積時間を一定に保持してフレーム周期を可変するようにしてもよく、またＣＭＯＳ固体撮像素子に代えて、ＣＣＤ固体撮像素子を適用する場合にも広く適用することができる。
本発明は、撮像装置、撮像素子及び撮像装置の制御方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。
本発明の実施例１に係る撮像装置を示すブロック図である。 本発明の実施例２に係る撮像装置を示すブロック図である。 図２の撮像装置の動作の説明に供するタイムチャートである。 本発明の実施例３に係る撮像装置の説明に供する略線図である。 本発明の実施例４に係る撮像装置に適用される集積回路を示す断面図である。 ＣＣＤ固体撮像素子による複数系統による出力の説明を示す摸式図である。 ＣＭＯＳ固体撮像素子による複数系統による出力の説明を示す摸式図である。 本発明の実施例６に係る撮像装置に適用される集積回路を示す斜視図である。 図８の撮像装置における撮像結果の出力の説明に供する摸式図である。 データ圧縮手段の各系統の処理の説明に供する平面図である。
符号の説明
１、１１……撮像装置、３……撮像素子、６……駆動部、７……アナログディジタル変換回路、８、１３……画像圧縮部、９、１４……制御部、１２……メモリ部

Claims (19)

  1. 駆動回路による駆動により撮像結果を出力する撮像手段と、
    前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段と、
    前記データ圧縮手段のデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段と
    を備える、撮像装置。
  2. 前記制御手段は、
    前記処理時間が、前記電荷蓄積時間又はフレーム周期より長くなると、前記電荷蓄積時間又はフレーム周期が長くなるように、前記撮像手段を制御する
    請求項１に記載の撮像装置。
  3. 前記制御手段は、
    さらに、前記データ圧縮手段のデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記データ圧縮手段の処理時間を可変し、
    前記処理時間が、前記電荷蓄積時間又はフレーム周期より長くなると、前記処理時間が短くなるように、前記データ圧縮手段を制御する
    請求項１に記載の撮像装置。
  4. 前記撮像手段から出力される撮像結果を一時記憶して前記データ圧縮手段に出力する記憶手段を有し、
    前記制御手段は、
    前記処理時間に応じて、撮像手段から出力される撮像結果を前記記憶手段に、一時記憶して前記データ圧縮手段でデータ圧縮するように、前記記憶手段、前記データ圧縮手段の動作を制御する
    請求項１に記載の撮像装置。
  5. 前記データ圧縮手段の処理時間の可変が、
    前記データ圧縮手段のクロックの切り換えによる前記処理時間の可変である
    請求項３に記載の撮像装置。
  6. 前記撮像手段は、
    有効撮像領域の一部領域の撮像結果を選択的に出力し、
    前記データ圧縮手段の処理時間の可変が、
    前記一部領域の大きさの可変による前記データ圧縮手段で処理するサンプリング数の可変による前記処理時間の可変である
    請求項３に記載の撮像装置。
  7. 前記データ圧縮手段は、
    記憶手段を介して、前記撮像手段より出力される撮像結果による画像の一部領域の撮像結果を選択的に取得して処理し、
    前記データ圧縮手段の処理時間の可変が、
    前記一部領域の大きさの可変による前記データ圧縮手段で処理するサンプリング数の可変による前記処理時間の可変である
    請求項３に記載の撮像装置。
  8. 前記撮像手段は、
    少なくとも前記駆動回路、前記データ圧縮手段による周辺回路と一体に集積回路化して形成された
    請求項１に記載の撮像装置。
  9. 前記撮像手段は、
    マトリックス状に光電変換部を配置した部位の、受光面とは逆側の面に形成された配線層により、前記周辺回路と接続された
    請求項８に記載の撮像装置。
  10. 前記周辺回路が、
    前記配線層の下層に形成された
    請求項９に記載の撮像装置。
  11. 前記撮像手段の撮像結果を、複数系統により同時並列的に出力する
    請求項１０に記載の撮像装置。
  12. 前記複数系統による同時並列的な撮像結果の出力が、
    コラム線を単位にした前記データ圧縮手段の処理の順序に対応する順序による各画素の撮像結果の出力である
    請求項１１に記載の撮像装置。
  13. 前記複数系統による同時並列的な撮像結果の出力が、
    ラインを単位にした前記データ圧縮手段の処理の順序に対応する順序による各画素の撮像結果の出力である
    請求項１１に記載の撮像装置。
  14. 前記複数系統による同時並列的な撮像結果の出力が、
    前記撮像結果による画像に対して設定された、水平方向及び垂直方向にそれぞれ複数の画素によるブロックを単位にした、前記データ圧縮手段の処理の順序に対応する順序による各画素の撮像結果の出力である
    請求項１１に記載の撮像装置。
  15. 前記データ圧縮手段は、
    複数系統の並列処理により前記撮像結果をデータ圧縮処理し、
    前記データ圧縮手段の処理時間の可変が、
    前記データ圧縮手段の処理に係る系統数の切り換えによる前記処理時間の可変である
    請求項３に記載の撮像装置。
  16. 前記データ圧縮手段は、
    前記撮像結果による画像に対して設定された、水平方向及び垂直方向にそれぞれ複数の画素によるブロックを前記各系統に順次割り当ててデータ圧縮の処理を実行する
    請求項１５に記載の撮像装置。
  17. 前記マトリックス状に各画素の光電変換部を配置した部位と、前記周辺回路とが異なるウエハ生成プロセスにより形成された
    請求項１０に記載の撮像装置。
  18. 駆動回路による駆動により撮像結果を出力する撮像手段と、
    前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを一体化してなる撮像素子であって、
    前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段の全部又は一部を有する
    撮像素子。
  19. 駆動回路による駆動により撮像結果を出力する撮像手段と、
    前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを備える撮像装置の制御方法において、
    前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する
    撮像装置の制御方法。
JP2004195298A 2004-07-01 2004-07-01 撮像装置、撮像素子及び撮像装置の制御方法 Expired - Fee Related JP4534630B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2004195298A JP4534630B2 (ja) 2004-07-01 2004-07-01 撮像装置、撮像素子及び撮像装置の制御方法
EP05755746A EP1768386A4 (en) 2004-07-01 2005-06-22 IMAGE FASTENING DEVICE, IMAGE CAPTURE ELEMENT, AND PICTURE DEVICE CONTROL METHOD
TW94120724A TWI272840B (en) 2004-07-01 2005-06-22 Imaging equipment, imaging component, control method thereof
PCT/JP2005/011885 WO2006003906A1 (ja) 2004-07-01 2005-06-22 撮像装置、撮像素子及び撮像装置の制御方法
CN2005800223935A CN1981515B (zh) 2004-07-01 2005-06-22 摄像装置、摄像元件及摄像装置的控制方法
KR1020067024992A KR101130375B1 (ko) 2004-07-01 2005-06-22 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법
CA 2572021 CA2572021A1 (en) 2004-07-01 2005-06-22 Image pickup apparatus, image pickup element, and method for controlling image pickup apparatus
US11/630,005 US7719578B2 (en) 2004-07-01 2006-06-22 Image pickup apparatus, image pickup element, and method for controlling image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004195298A JP4534630B2 (ja) 2004-07-01 2004-07-01 撮像装置、撮像素子及び撮像装置の制御方法

Publications (3)

Publication Number Publication Date
JP2006020023A JP2006020023A (ja) 2006-01-19
JP2006020023A5 JP2006020023A5 (ja) 2007-06-07
JP4534630B2 true JP4534630B2 (ja) 2010-09-01

Family

ID=35782714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004195298A Expired - Fee Related JP4534630B2 (ja) 2004-07-01 2004-07-01 撮像装置、撮像素子及び撮像装置の制御方法

Country Status (8)

Country Link
US (1) US7719578B2 (ja)
EP (1) EP1768386A4 (ja)
JP (1) JP4534630B2 (ja)
KR (1) KR101130375B1 (ja)
CN (1) CN1981515B (ja)
CA (1) CA2572021A1 (ja)
TW (1) TWI272840B (ja)
WO (1) WO2006003906A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5216245B2 (ja) * 2007-06-01 2013-06-19 株式会社日立製作所 記憶システム、記憶制御装置及びデータ圧縮方法
JP2010244316A (ja) * 2009-04-07 2010-10-28 Sony Corp 符号化装置および方法、並びに、復号装置および方法
JP5263023B2 (ja) * 2009-06-17 2013-08-14 ペンタックスリコーイメージング株式会社 撮像装置
US20130242186A1 (en) * 2012-03-14 2013-09-19 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
US9274275B2 (en) 2013-07-03 2016-03-01 Cisco Technology, Inc. Photonic integration platform

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163193A (ja) * 1995-12-09 1997-06-20 Sony Corp ビデオカメラ装置
JP2000125186A (ja) * 1998-10-19 2000-04-28 Sanyo Electric Co Ltd ディジタルカメラ
JP2000350059A (ja) * 1999-06-09 2000-12-15 Sharp Corp ビデオカメラ
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
JP2003234967A (ja) * 2002-02-12 2003-08-22 Photron Ltd 高速撮像装置
JP2004064559A (ja) * 2002-07-30 2004-02-26 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2004112360A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd デジタルカメラ
JP2004146816A (ja) * 2002-09-30 2004-05-20 Matsushita Electric Ind Co Ltd 固体撮像装置およびこれを用いた機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372289B2 (ja) * 1993-04-28 2003-01-27 富士写真フイルム株式会社 ディジタルカメラ
JP3427454B2 (ja) * 1993-12-21 2003-07-14 株式会社ニコン スチルカメラ
JPH07221461A (ja) * 1994-01-31 1995-08-18 Hitachi Ltd 回路実装方式
JP3707820B2 (ja) * 1995-03-07 2005-10-19 株式会社フォトロン 高速撮影装置
JP3185763B2 (ja) * 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP4123415B2 (ja) * 2002-05-20 2008-07-23 ソニー株式会社 固体撮像装置
JP2004031785A (ja) 2002-06-27 2004-01-29 Fujitsu Ltd 半導体装置及び半導体装置の設計方法
US7532760B2 (en) * 2002-08-27 2009-05-12 Aptina Imaging Corporation CMOS image sensor apparatus with on-chip real-time pipelined JPEG compression module
JP4262017B2 (ja) * 2002-09-26 2009-05-13 キヤノン株式会社 画像生成装置及びその方法
CN1234234C (zh) 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163193A (ja) * 1995-12-09 1997-06-20 Sony Corp ビデオカメラ装置
JP2000125186A (ja) * 1998-10-19 2000-04-28 Sanyo Electric Co Ltd ディジタルカメラ
JP2000350059A (ja) * 1999-06-09 2000-12-15 Sharp Corp ビデオカメラ
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
JP2003234967A (ja) * 2002-02-12 2003-08-22 Photron Ltd 高速撮像装置
JP2004064559A (ja) * 2002-07-30 2004-02-26 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2004112360A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd デジタルカメラ
JP2004146816A (ja) * 2002-09-30 2004-05-20 Matsushita Electric Ind Co Ltd 固体撮像装置およびこれを用いた機器

Also Published As

Publication number Publication date
EP1768386A1 (en) 2007-03-28
US20080062281A1 (en) 2008-03-13
KR20070036053A (ko) 2007-04-02
CN1981515B (zh) 2012-07-04
CA2572021A1 (en) 2006-01-12
EP1768386A4 (en) 2010-07-21
CN1981515A (zh) 2007-06-13
TWI272840B (en) 2007-02-01
KR101130375B1 (ko) 2012-03-28
WO2006003906A1 (ja) 2006-01-12
JP2006020023A (ja) 2006-01-19
US7719578B2 (en) 2010-05-18
TW200612740A (en) 2006-04-16

Similar Documents

Publication Publication Date Title
JP4403396B2 (ja) 撮像装置及び撮像素子の集積回路
JP4816457B2 (ja) 撮像装置及び撮像結果の出力方法
KR101362604B1 (ko) 촬상 장치 및 촬상 결과의 처리 방법
KR101148334B1 (ko) 촬상 장치와 촬상 결과의 처리 방법
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
JP4978719B2 (ja) 撮像装置
KR101130375B1 (ko) 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법
JP4088898B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070416

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees