JP4599917B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4599917B2
JP4599917B2 JP2004202575A JP2004202575A JP4599917B2 JP 4599917 B2 JP4599917 B2 JP 4599917B2 JP 2004202575 A JP2004202575 A JP 2004202575A JP 2004202575 A JP2004202575 A JP 2004202575A JP 4599917 B2 JP4599917 B2 JP 4599917B2
Authority
JP
Japan
Prior art keywords
imaging
unit
data compression
data
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004202575A
Other languages
English (en)
Other versions
JP2006025270A (ja
JP2006025270A5 (ja
Inventor
隆浩 福原
忠邦 奈良部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004202575A priority Critical patent/JP4599917B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to AU2005261104A priority patent/AU2005261104B2/en
Priority to BRPI0513008-5A priority patent/BRPI0513008A/pt
Priority to US11/631,941 priority patent/US8174587B2/en
Priority to CN2005800231344A priority patent/CN1985509B/zh
Priority to EP05755880A priority patent/EP1768391A4/en
Priority to PCT/JP2005/011883 priority patent/WO2006006396A1/ja
Priority to RU2007100356A priority patent/RU2367107C2/ru
Priority to MXPA06015142A priority patent/MXPA06015142A/es
Priority to CA 2572806 priority patent/CA2572806A1/en
Priority to KR1020067026454A priority patent/KR101148334B1/ko
Priority to TW094122017A priority patent/TW200614805A/zh
Publication of JP2006025270A publication Critical patent/JP2006025270A/ja
Publication of JP2006025270A5 publication Critical patent/JP2006025270A5/ja
Application granted granted Critical
Publication of JP4599917B2 publication Critical patent/JP4599917B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像装置及び撮像素子の集積回路に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、撮像手段の撮像面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、撮像手段から画像圧縮処理に係る処理単位により順次撮像結果を出力することにより、ＣＭＯＳ固体撮像素子等の撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができるようにする。また事前に、有効画像領域の一部領域でデータ圧縮処理による発生符号量を検出し、この発生符号量によりデータ圧縮率を可変して撮像結果をデータ圧縮処理することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、従来に比して簡易な処理により、より適切にレート制御することができるようにする。
従来、ビデオカメラにおいては、ＣＣＤ（Charge Coupled Device ）固体撮像素子より出力される撮像結果をフレームメモリにバッファリングしてＭＰＥＧ（Moving Picture Experts Group）の手法によりブロック単位でデータ圧縮するようになされている。また電子スチルカメラにおいては、同様に、ＣＣＤ固体撮像素子より出力される撮像結果をフレームメモリにバッファリングし、ＪＰＥＧ（Joint Photographic Coding Experts Group
）の手法によりブロック単位でデータ圧縮するようになされている。
これに対して近年、ＣＭＯＳ固体撮像素子が実用に供されるようになされている。ここでＣＣＤ固体撮像素子との対比により図１２に示すように、ＣＭＯＳ固体撮像素子は、種々の特徴を有し、例えばＣＣＤ固体撮像素子においては、電荷の蓄積開始、終了時間が全画素で同一であるのに対し、ＣＭＯＳ固体撮像素子は、電荷の蓄積開始、終了時間がコラム又は画素単位に別時刻であるとの特徴がある。
特に、図１３に示すように、ＣＣＤ固体撮像素子がシリアル伝送により各画素の撮像結果を読み出すのに対し、ＣＭＯＳ固体撮像素子は、図１４に示すように、Ｘ−Ｙアドレス制御により各画素の撮像結果を読み出すことができ、これによりＣＣＤ固体撮像素子に比して、撮像結果の読み出しに関して高い自由度を有する特徴がある。しかして図１３は、ＣＣＤ固体撮像素子からの撮像結果の出力を示す模式図であり、ＣＣＤ固体撮像素子では、各画素に保持された蓄積電荷を垂直転送レジスタに転送し、この垂直転送レジスタに転送した蓄積電荷を水平転送レジスタに順次転送しながら水平転送レジスタにより順次転送して出力する。これに対して図１４は、ＣＭＯＳ固体撮像素子からの撮像結果の出力を示す模式図であり、コラム線単位で順次各画素による撮像結果を出力する場合であり、この場合、コラム線の数の分だけ同時並列的に撮像結果を出力することができる。
このようなＣＭＯＳ固体撮像素子については、例えば特開２００４−３１７８５号公報等に、周辺回路と一体化する構成が提案されるようになされている。
これに対してこのような画像データの処理に係る符号化方式として、近年、ウエーブレット変換処理を用いた符号化方法が種々に提案されるようになされている。ここでウエーブレット変換処理においては、水平方向及び垂直方向について、それぞれ周波数の高い成分と周波数の低い成分とに画像データを帯域分割してそれぞれダウンサンプリングすることにより、画像データを４つのサブバンドに分割して処理する方法であり、例えば図１５（Ａ）に示すように、このような分割処理を１回だけ実行して４つのサブバンドＨＨ、ＨＬ、ＬＨ、ＬＬにより画像データを処理する場合、さらには図１５（Ｂ）に示すように、これらの帯域分割の処理を繰り返して画像データを処理する場合等がある。なおこの図１５（Ｂ）は、帯域分割の処理を３回繰り返した場合であり、サブバンドＨＨ、ＨＬ、ＬＨ、ＬＬのうち水平方向及び垂直方向に周波数の低いサブバンドＬＬについて、さらに帯域分割の処理を実行して４つのサブバンドＬＬＨＨ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＬＬを生成し、この４つのサブバンドＬＬＨＨ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＬＬのうち水平方向及び垂直方向に周波数の低いサブバンドＬＬＬＬについて、さらに帯域分割の処理を実行して４つのサブバンドＬＬＬＬＨＨ、ＬＬＬＬＨＬ、ＬＬＬＬＬＨ、ＬＬＬＬＬＬとした例である。
このようなウエーブレット変換処理による符号化処理においては、画像データをライン単位で処理するいわゆるラインベース型ウエーブレット変換と、１画面を分割して設定された矩形ブロックであるタイル単位で画像データを処理するいわゆるタイルベース型ウエーブレット変換とが提案されるようになされている。
ところでＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用することができれば、撮像装置の全体構成を一段と簡略化することができると考えられる。また従来に比して簡易な処理により、より適切にレート制御することができると考えられる。因みに、画像においては、各部で符号化の困難度が相違することにより、従来のＭＰＥＧの手法により符号化処理する場合にあっては、例えばＴＭ５（Test Mode 5 ）等の手法により細かくレート制御するようになされている。
特開２００４−３１７８５号公報
本発明は以上の点を考慮してなされたもので、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができる撮像装置及び撮像素子の集積回路を提案しようとするものである。またＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、従来に比して簡易な処理により、より適切にレート制御することができる撮像装置及び撮像素子の集積回路を提案しようとするものである。
かかる課題を解決するため本発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像装置であって、前記周辺回路は、前記撮像結果にウエーブレット変換処理を施すウエーブレット変換手段を有し、前記ウエーブレット変換手段は、前記撮像手段から出力される撮像結果がライン順次により入力されて、所定のライン数の画像データが蓄積され次第、垂直方向に係るウエーブレット変換処理を施し、同時に水平方向に所定数の画像データが得られ次第、水平方向に係るウエーブレット変換処理を施し、Ｎステージのウエーブレット変換段階において、所定のライン数のウエーブレット変換係数データが蓄積され次第、Ｎ＋１ステージのウエーブレット変換段階に移行する。
また、本発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像装置であって、前記周辺回路は、前記撮像結果にウエーブレット変換処理を施すウエーブレット変換手段を有し、前記ウエーブレット変換手段は、前記撮像手段から出力される撮像結果が水平方向および垂直方向において同時に入力されて、所定の矩形のタイル単位の画像データが蓄積され次第、前記所定の矩形のタイル単位の画像データに対して垂直方向および水平方向に係るウエーブレット変換処理を施し、Ｎステージのウエーブレット変換段階において、前記所定の矩形のタイル単位の画像データに対するウエーブレット変換処理が全て終了した次第、Ｎ＋１ステージのウエーブレット変換段階に移行する。
また本発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段による撮像結果を周辺回路により処理して出力する撮像装置に適用して、周辺回路は、撮像結果をデータ圧縮して出力する画像圧縮手段を少なくとも有し、撮像手段から、事前に、有効画像領域の一部領域から撮像結果を取得すると共に、該取得した撮像結果をデータ圧縮して符号量を検出し、該検出した符号量に基づいたデータ圧縮率により、撮像結果をデータ圧縮する。
また本発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像素子の集積回路であって、前記周辺回路は、前記撮像結果にウエーブレット変換処理を施すウエーブレット変換手段を有し、前記ウエーブレット変換手段は、前記撮像手段から出力される撮像結果がライン順次により入力されて、所定のライン数の画像データが蓄積され次第、垂直方向に係るウエーブレット変換処理を施し、同時に水平方向に所定数の画像データが得られ次第、水平方向に係るウエーブレット変換処理を施し、Ｎステージのウエーブレット変換段階において、所定のライン数のウエーブレット変換係数データが蓄積され次第、Ｎ＋１ステージのウエーブレット変換段階に移行する。
また本発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像素子の集積回路であって、前記周辺回路は、前記撮像結果にウエーブレット変換処理を施すウエーブレット変換手段を有し、前記ウエーブレット変換手段は、前記撮像手段から出力される撮像結果が水平方向および垂直方向において同時に入力されて、所定の矩形のタイル単位の画像データが蓄積され次第、前記所定の矩形のタイル単位の画像データに対して垂直方向および水平方向に係るウエーブレット変換処理を施し、Ｎステージのウエーブレット変換段階において、前記所定の矩形のタイル単位の画像データに対するウエーブレット変換処理が全て終了した次第、Ｎ＋１ステージのウエーブレット変換段階に移行する。
また本発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段による撮像結果を周辺回路により処理して出力する撮像素子の集積回路に適用して、周辺回路は、撮像結果をデータ圧縮して出力する画像圧縮手段を少なくとも有し、撮像手段から、事前に、有効画像領域の一部領域から撮像結果を取得すると共に、該取得した撮像結果をデータ圧縮して符号量を検出し、該検出した符号量に基づいたデータ圧縮率により、撮像結果をデータ圧縮する。
複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段による撮像結果を周辺回路により処理して出力する撮像装置においては、受光面とは逆側の面に形成された配線層により撮像手段の光電変換部と周辺回路とが接続されていることにより、配線層を受光面側に設ける場合の種々の不都合を有効に回避して、高い自由度により光電変換部と周辺回路とを接続することができ、これにより撮像結果の読み出しに係る撮像手段の高い自由度を損なうことなく、種々の形態により撮像手段の撮像結果を周辺回路に供給することができる。この構成を前提に、本発明の構成により、周辺回路は、少なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮手段を有し、撮像手段は、周辺回路における撮像結果の処理単位毎に、複数の光電変換部による撮像結果を順次出力すれば、撮像手段による撮像結果を順次処理してデータ圧縮することができ、これにより撮像結果の読み出しに係る撮像手段の高い自由度を有効に利用して、データ圧縮処理に係るメモリの容量を少なくすることができ、その分、全体構成を簡略化することができる。
また本発明の構成に係る、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段により撮像結果を周辺回路により処理して出力する撮像装置においては、受光面とは逆側の面に形成された配線層により撮像手段の光電変換部と周辺回路とが接続されていることにより、配線層を受光面側に設ける場合の種々の不都合を有効に回避して、高い自由度により光電変換部と周辺回路とを接続することができ、これにより撮像結果の読み出しに係る撮像手段の高い自由度を損なうことなく、種々の形態により撮像手段の撮像結果を周辺回路に供給することができる。この構成を前提に、本発明の構成により、周辺回路は、撮像結果をデータ圧縮して出力する画像圧縮手段を少なくとも有し、撮像手段から、事前に、有効画像領域の一部領域から撮像結果を取得すると共に、該取得した撮像結果をデータ圧縮して符号量を検出し、該検出した符号量に基づいたデータ圧縮率により、撮像結果をデータ圧縮すれば、事前の処理に係る符号量により高い精度でレート制御することができる。これにより撮像結果の読み出しに係る高い自由度を有効に利用して、従来に比して簡易な処理により、より適切にレート制御することができる。
本発明によれば、撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができる撮像素子の集積回路を提供することができる。
また本発明によれば、撮像結果の読み出しに係る高い自由度を有効に利用して、従来に比して簡易な処理により、より適切にレート制御することができる撮像素子の集積回路を提供することができる。
本発明によれば、撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができる。また撮像結果の読み出しに係る高い自由度を有効に利用して、従来に比して簡易な処理により、より適切にレート制御することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置１は、所望の被写体の撮像結果をデータ圧縮して記録媒体に記録し、また所望の伝送対象に送出する。
ここでこの撮像装置１において、レンズ２は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子３の撮像面に入射光を集光する。光学ローパスフィルタＡ１は、このレンズ２の出射光より空間周波数の高い成分を抑圧し、続く色補正フィルタＡ２は、光学ローパスフィルタＡ１から出射される出射光の色温度を補正して出射する。
撮像素子３は、例えばＣＭＯＳ固体撮像素子により形成され、図示しない駆動部から出力される各種タイミング信号により動作して、撮像面に形成された光学像を各画素により光電変換して撮像信号Ｓ１を出力する。この処理において、撮像素子３は、後段のデータ圧縮手段における符号化処理の順序に対応する順序により、各画素の撮像結果を出力する。具体的に、この実施例においては、画像圧縮部５においてラインベース型ウエーブレット変換処理によりライン単位で符号化処理することにより、撮像素子３は、全画素ライン順次によりライン単位で撮像結果を出力する。これによりこの実施例では、後段の処理回路における撮像結果の処理単位毎に撮像結果を出力して、後述するように、この撮像信号Ｓ１の処理に供するメモリ回路の構成を簡略化できるようになされている。
アナログディジタル変換回路（ＡＤ）４は、この撮像信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。この撮像装置１は、図示しない信号処理回路によりこの画像データＤ１を画素補間処理、色空間変換処理、エッジ強調処理、ノイズ除去処理等した後、画像圧縮部８に入力する。
画像圧縮部５は、この画像データＤ１をデータ圧縮して符号化処理し、その処理結果による符号化データＤ２を記録系、伝送系に出力し、これによりこの撮像装置１では、この記録系により所定の記録媒体に符号化データＤ２を記録し、またこの伝送系により符号化データＤ２を外部機器に伝送するようになされている。画像圧縮部５は、ウエーブレット変換の手法を適用してこのデータ圧縮の処理を実行する。
すなわちこの画像圧縮部５において、ウエーブレット変換部６は、順次入力される画像データＤ１をウエーブレット変換処理し、その処理結果による変換係数データＤ３を出力する。ここでウエーブレット変換部６は、いわゆるラインベース型ウエーブレット変換処理によりライン単位でウエーブレット変換の処理を実行する。
ここで１段階の帯域分割処理を図２に示すように、ウエーブレット変換部６は、垂直方向に所定タップ数を有するローパスフィルタ６Ａ及びハイパスフィルタ６Ｂにより画像データＤ１を２つの帯域成分VＬ、VＨに帯域制限した後、各帯域成分VＬ、VＨを水平方向に所定タップ数を有するローパスフィルタ６Ｃ及びハイパスフィルタ６Ｄ、ローパスフィルタ６Ｅ及びハイパスフィルタ６Ｆにより帯域成分してサブバンドＬＬ〜ＨＨを生成する。これによりウエーブレット変換部６は、各帯域分割処理に係る入力段のローパスフィルタ６Ａ及びハイパスフィルタ６Ｂのタップ数の分だけ、ラインバッファ７により帯域分割処理に供する入力画像データＤ１を一時保持して出力するようになされている。
ウエーブレット変換部６は、図３に示すように、このような帯域分割の処理を３段階により実行するようになされ、これにより各帯域分割処理によりウエーブレット変換係数ＨＨ〜ＬＬＬＬＬＬを続く後段の処理回路により処理するようにして、これら各帯域分割処理の入力段にそれぞれ対応するラインバッファ７Ａ〜７Ｃが設けられ、先頭段のラインバッファ７Ａにアナログディジタル変換回路４から出力される画像データが直接入力されるようになされている。
またこれらの処理により、これらラインバッファ７Ａ〜７Ｃには、図４に示すようにウエーブレット変換係数のデータが蓄積されることになり、画像データＤ１に係る１枚のフレームの処理を開始した後、これらラインバッファ７Ａ〜７Ｃにデータが蓄積されると、それぞれ対応する係数データを出力するようになされている。
すなわち図３において、１フレームの処理を開始してライン順次により先頭段のラインバッファ７Ａに画像データＤ１を入力して、このラインバッファ７Ａに続く垂直フィルタのタップ数に係る画像データＤ１が蓄積されると、このラインバッファ７Ａから垂直フィルタのタップ数による画像データＤ１の同時並列的な出力がライン順次により開始され、これにより続く垂直フィルタ６ＡＡ、６ＢＡで垂直方向に係る帯域制限の処理、ダウンサンプリングの処理がライン順次により開始される。これによりウエーブレット変換部６においては、垂直フィルタ６ＡＡ、６ＢＡからライン数を約１／２に低減してなるライン順次により垂直方向の帯域制限に係る変換係数データが出力され、この変換係数データが水平方向のローパスフィルタ及びハイパスフィルタに入力される。
ここでウエーブレット変換部６においては、この水平方向のローパスフィルタ及びハイパスフィルタにおいて、各ラインで、これらフィルタのタップ数の分だけ、係数変換データが各フィルタに入力されると、正しい変換係数データによる水平方向への帯域制限の処理、ダウンサンプリングの処理が開始され、この正しい変換係数データによる帯域制限の処理がこのラインの末尾側、フィルタのタップ数に係るサンプリング数まで継続される。これによりこの１段目の帯域制限の処理にあっては、ラインを単位にして順次実行される。
またこのようにして得られる１段目の帯域制限処理による変換係数データのうち、水平方向及び垂直方向に周波数の低い側の変換係数データＬＬが２段目の帯域制限処理に係るラインバッファ７Ｂに入力され、ここでもこのラインバッファ７Ｂに続く垂直フィルタのタップ数に係る変換係数データが蓄積されると、このラインバッファ７Ｂからの同時並列的な変換係数データの出力により、続く垂直フィルタ６ＡＢ、６ＢＢで正しい変換係数データに係る帯域制限の処理、ダウンサンプリングの処理がライン順次により開始され、さらにライン数を約１／２に低減してなるライン順次により垂直方向の帯域制限に係る変換係数データが出力され、この変換係数データが水平方向のローパスフィルタ及びハイパスフィルタに入力される。この２段目の水平方向のローパスフィルタ及びハイパスフィルタにおいても、各ラインにおいて、これらフィルタのタップ数の分だけ、係数変換データが各フィルタに入力されると、正しい変換係数データによる水平方向への帯域制限の処理、ダウンサンプリングの処理が開始され、これによりこの２段目の帯域制限の処理にあってもラインを単位にして順次実行される。
またこの２段目の帯域制限処理による変換係数データのうち、水平方向及び垂直方向に周波数の低い側の変換係数データＬＬＬＬが３段目の帯域制限処理に係るラインバッファ７Ｃに入力されて、続く垂直フィルタのタップ数に係る変換係数データが蓄積されると、このラインバッファ７Ｃからの同時並列的な変換係数データの出力により、続く垂直フィルタ６ＡＣ、６ＢＣで正しい変換係数データに係る帯域制限の処理、ダウンサンプリングの処理がライン順次により開始され、さらにライン数を約１／２に低減してなるライン順次により垂直方向の帯域制限に係る変換係数データが出力され、この変換係数データが水平方向のローパスフィルタ及びハイパスフィルタに入力される。この３段目の水平方向のローパスフィルタ及びハイパスフィルタにおいても、各ラインにおいて、これらフィルタのタップ数の分だけ、係数変換データが各フィルタに入力されると、正しい変換係数データによる水平方向への帯域制限の処理、ダウンサンプリングの処理が開始され、これによりこの３段目の帯域制限の処理にあってもラインを単位にして順次実行される。
これらによりこの実施例において、ウエーブレット変換部６は、ライン単位により画像データを処理して、各分割処理の入力側に設けるメモリ回路であるラインバッファの容量を小型化して全体構成を簡略化するようになされている。
量子化部８は、このようにしてウエーブレット変換部６から出力される変換係数データＤ３を順次量子化処理して出力し、エントロピー符号化部９は、この量子化部８の出力データを順次エントロピー符号化処理して出力する。レート制御部１０は、このエントロピー符号化部９の出力データをレート制御して符号化データＤ２を出力する。これらの処理において、量子化部８、エントロピー符号化部９は、上述したようにしてウエーブレット変換部６のラインバッファ７Ａ〜７Ｃに変換係数データが蓄積されて対応する係数データが出力されるタイミングで、ウエーブレット変換部６から出力される係数データＤ３を順次処理し、これによりこの実施例においては、量子化部８、エントロピー符号化部９においても、ライン単位により処理を実行して、量子化部８、エントロピー符号化部９の構成を簡略化するようになされている。
しかしてこれらにより画像圧縮部５は、全体としてライン単位で画像データＤ１をデータ圧縮処理するようになされ、撮像素子３においては、このような画像圧縮部５のライン単位の処理に対応してライン単位により撮像結果を出力するように、さらには各ラインにおいては、画像圧縮部５の処理順序により撮像結果を出力するようにして、直接、アナログディジタル変換回路４から出力される画像データＤ１を画像圧縮部５に入力するようになされ、これによっても全体構成を簡略化することができるようになされている。
図５は、この撮像装置１に適用される集積回路の一部を示す断面図である。ここでこの集積回路５１は、撮像素子３と周辺回路とを一体化して形成され、この実施例においては、この一体化に係る周辺回路に、撮像素子３の駆動回路、アナログディジタル変換回路４、画像圧縮部５が適用される。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。
集積回路５１は、画素部をマトリックス状に配置して撮像素子部が形成され、この撮像素子部により撮像素子３が形成される。またこの撮像素子部の周囲に周辺回路部が形成される。これにより図５は、この撮像素子部と周辺回路部との一部を示す断面図である。
集積回路５１は、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成され、画素部においては、この素子層５２に、画素単位の光電変換処理に係るフォトダイオード５３が形成され、周辺回路部においては、この素子層５２の下層側に、周辺回路を構成するＭＯＳＦＥＴ等の各回路素子が形成される。
集積回路５１は、この素子層５２の上層に、順次、シリコン酸化（ＳｉＯ 2 ）膜５４、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタＡ２７、マイクロレンズ５８が積層される。またこの素子層５２の下層に、フォトダイオード５３、周辺回路の回路素子を配線する配線層５９が形成され、この配線層５９の下層側に、全体を保持する基板支持材６０が設けられる。これにより集積回路５１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段に向上するようになされている。なおこのように配線層を受光面側に設ける不具合にあっては、配線層を形成する配線による各画素への入射光量の減少、隣接画素へのクロストーク等がある。
なお集積回路５１は、このように受光面とは逆側に配線層５９が形成されることにより、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオード５３、周辺回路の回路素子を形成した後、この半導体基板に配線層５９、基板支持材６０を順次形成し、その後、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタＡ２７、マイクロレンズ５８を順次形成して作成されるようになされている。
これらによりこの撮像装置１は、撮像素子３と周辺回路とを一体に集積回路化することを前提に、このように受光面とは逆側に配線層５９を形成して、配線の自由度が格段的に向上する点を有効に利用して、データ圧縮処理に対応する処理単位であるライン単位で、さらにはこのデータ圧縮処理に対応する順序より撮像素子３から撮像結果を出力して処理できるように配線し、全体構成を簡略化するようになされている。
（２）実施例の動作
以上の構成において、この撮像装置１では、レンズ２により撮像素子３の撮像面に被写体の画像が形成され、この画像の撮像結果が撮像素子３より出力されてアナログディジタル変換回路４により画像データＤ１に変換される。この画像データＤ１は、エッジ強調等の処理が実行された後、画像圧縮部８によりデータ圧縮されて符号化データＤ２に変換され、この符号化データＤ２が記録媒体に記録され、さらには外部機器に伝送される。これにより撮像装置１では、撮像結果をデータ圧縮して記録し、また伝送するようになされている。
これら一連の処理において、画像データＤ１は、画像圧縮部８においてウエーブレット変換処理によりウエーブレット変換係数データＤ３に変換処理された後、このウエーブレット変換係数データＤ３が量子化処理、エントロピー符号化処理、レート制御されて符号化データＤ２により出力される。このとき撮像素子３から出力される撮像結果である撮像信号Ｓ１が、このような画像圧縮部５における処理単位毎に、順次出力され、これによりアナログディジタル変換回路４から出力される画像データＤ１においては、直接、画像圧縮部５に入力してデータ圧縮処理することができ、これにより全体構成を簡略化することができる。
しかしてＣＭＯＳ固体撮像素子による撮像素子３においては、ＸＹアドレス制御により撮像結果を出力することにより、撮像結果の読み出しに高い自由度を有し、これによりラインを単位にしたライン順次による撮像結果の出力のみならず、例えばコラム線を単位にした撮像結果の出力、所定ブロックを単位にした撮像結果の出力等、種々の形態により撮像手段の撮像結果を出力することができる。これによりこの実施例では、この撮像結果の出力を画像圧縮部５における処理単位毎により実行するようにし、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化するようになされている。
より具体的に、この撮像装置１では、画像圧縮部５における処理単位がライン単位に設定されて、いわゆるラインベース型ウエーブレット変換処理によりライン単位でウエーブレット変換されて画像データがデータ圧縮処理され、またこれにより撮像素子３からライン単位により撮像結果を出力し、これにより撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化するようになされている。
撮像装置１では、このようにして撮像結果を出力する撮像素子３と、この撮像素子３による撮像結果を処理する周辺回路である画像圧縮部５とを、アナログディジタル変換回路４と共に集積回路により一体化して構成され、これにより全体構成を小型化し、さらには構成を簡略化するようになされている。
しかしながら単にＣＭＯＳプロセスにより撮像素子と周辺回路とを一体化したのでは、撮像素子、周辺回路に係る配線パターンにより、種々の不具合が発生し、これにより撮像結果の読み出しに係る高い自由度を十分に発揮できなくなる。このためこの実施例においては、撮像手段の受光面とは逆側の面に配線層が形成されて、この配線層により撮像手段を構成する光電変換部と周辺回路とが接続されて一体に保持され、これにより撮像結果の読み出しに係る高い自由度を十分に確保できるように集積回路を構成して、撮像結果の読み出しに係る高い自由度を有効に利用して全体構成を簡略化することができるようになされている。
（３）実施例の効果
以上の構成によれば、撮像手段の撮像面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、撮像手段から画像圧縮処理に係る処理単位により順次撮像結果を出力することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができる。
またこの画像圧縮処理が、ウエーブレット変換処理により、ライン単位で撮像結果をデータ圧縮する処理であるのに対し、ライン順次により複数の光電変換部による撮像結果を撮像素子から出力することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができる。
この実施例においては、実施例１について上述した撮像装置１において、ラインベース型ウエーブレット変換処理に代えて、タイルベース型ウエーブレット変換処理によりデータ圧縮する。これによりこの実施例に係る撮像装置においては、このウエーブレット変換部６、ウエーブレット変換部６に関連する構成が異なる点を除いて、実施例１に係る撮像装置１と同一に構成される。これにより以下の説明においては、図１を流用して実施例を説明し、またこの説明において、実施例１に係る撮像装置１と同一の構成については、重複した説明を省略する。
すなわちこの撮像装置において、ウエーブレット変換部６は、図６に示すように、撮像結果による画像を水平方向及び垂直方向にそれぞれ所定の分割数により分割したブロックであるタイルＴ０、Ｔ１、Ｔ２、……を処理単位に設定して、順次、ラスタ走査の順序によりタイルＴ０、Ｔ１、Ｔ２、……単位で画像データＤ１を入力してウエーブレット変換処理し、量子化部８は、このウエーブレット変換部６よりタイル単位で順次出力される変換係数データを順次量子化処理する。また続くエントロピー符号化部９は、同様のタイル単位により順次出力される量子化部８の出力データをエントロピー符号化処理し、レート制御部１０は、このエントロピー符号化部９の出力データをレート制御して出力する。
なおこのタイルを単位にしたウエーブレット変換処理においては、２次元のフィルタにより帯域制限、ダウンサンプリングすることにより、実行される。これによりタイルベース型ウエーブレット変換処理においては、ラインベース型ウエーブレット変換処理に比して、各分割処理の入力段に設けるバッファメモリの容量を小さくすることができるようになされている。
これによりこの撮像装置において、画像圧縮部５は、タイルを処理単位にしてデータ圧縮の処理を実行するようになされ、これに対応して撮像素子３は、タイル単位により順次各光電変換部による撮像結果を出力するようになされている。
この実施例２の構成によれば、撮像手段の撮像面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、撮像手段から画像圧縮処理に係る処理単位により順次撮像結果を出力するようにし、画像圧縮手段によるデータ圧縮処理をタイル単位によるウエーブレット変換処理に適用して、撮像素子からタイル単位で撮像結果を出力することにより、タイル単位により画像データを処理する場合にあっても、ＣＭＯＳ固体撮像素子等の撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化することができる。
図７は、本発明の実施例３に係る撮像装置に適用される集積回路の一部を示す斜視図である。この実施例においては、この集積回路により実施例１、２に係る撮像装置を構成する。なおこの集積回路６１において、実施例１について上述した集積回路５１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
ここでこの集積回路６１は、撮像素子３と周辺回路とを一体化して形成され、この周辺回路が実施例１、２に係る周辺回路と同一に形成され、これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。
この集積回路６１は、周辺回路部に撮像素子部を積層して形成され、周辺回路部は、所定の半導体素子製造プロセスにより、半導体基板６２上に周辺回路を構成する半導体素子を形成した後、これら半導体素子の上層に配線層６３を形成してこれら半導体素子を接続することにより形成されるようになされている。周辺回路部は、この配線層６３の表層に撮像素子部との接続用の電極等が形成される。
撮像素子部は、実施例１について上述したと同様に、光電変換部（画素部）をマトリックス状に配置して形成され、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成される。撮像素子部は、この素子層５２に、画素単位の光電変換処理に係るフォトダイオードが形成される。
撮像素子部は、この素子層５２の上層に、順次、シリコン酸化膜、遮光膜、シリコン窒化膜、色フィルタＡ２７、マイクロレンズ５８が積層されて撮像面が形成されるのに対し、素子層５２の下層に、配線層５９が形成される。撮像素子部は、この配線層５９の下層側に周辺回路部が設けられ、周辺回路部の配線層６３と配線層５９とが接続されて撮像素子と周辺回路とが一体に集積回路化されるようになされている。
これにより集積回路６１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層５９を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段的に向上するようになされている。またこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化できるようになされ、その分、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、全体として各種の性能を向上できるようになされている。
具体的に、周辺回路を形成してなる周辺回路部においては、各半導体素子、配線パターン幅を小さくして高密度に形成することにより、チップサイズを小型化して消費電力を削減することができる。しかしながら撮像素子部においては、画素サイズを小さくすると、その分、感度が低下し、また画素数に応じてチップ面積も大きくなる。これによりこの実施例のように撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化する場合にあっては、撮像素子部、周辺回路部の各々に適したウエハプロセスにより作成することができ、その分、全体としての性能を向上することができる。
なおこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、この集積回路６１は、実施例１について上述したと同様にして、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオードを形成した後、この半導体基板に配線層５９を形成し、別工程により作成された周辺回路部が積層される。その後、集積回路６１は、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜、色フィルタＡ２７、マイクロレンズ５８等を順次形成して作成されるようになされている。
このような異なるウエハプロセスによる半導体基板の積層による集積回路６１においては、図８（Ａ）に示すように、各画素出力を同時並列的に周辺回路に出力してアナログディジタル変換処理するように、撮像素子部と周辺回路との接続を構成することができる。またこれに代えて、図８（Ｂ）に示すように、コラム線を単位にして同時並列的に撮像結果を出力して周辺回路で処理することもでき、また図８（Ｃ）に示すように、ラインを単位にして同時並列的に撮像結果を出力して周辺回路で処理することもでき、これらにより格段的に撮像素子出力の自由度を一段と向上することができるようになされている。
これにより図９（Ａ）に示すように、集積回路６１においては、ライン単位による出力であるライン順次により、また図９（Ｂ）に示すように、コラム線を単位にした順序により撮像結果を出力するように、撮像素子部と周辺回路部とを接続することができ、また図９（Ｃ）に示すように、ブロックを単位にして撮像結果を出力するように、撮像素子部と周辺回路部とを接続することができるようになされている。
しかしてこの実施例に係る撮像装置において、実施例１について上述したライン単位による処理による撮像装置においては、図８（Ａ）〜（Ｄ）の接続のうちの対応する接続により撮像結果を周辺回路に入力するようになされている。
さらにこの実施例において、集積回路６１は、このような接続により撮像結果を同時並列的に複数系統により周辺回路に出力し、周辺回路においては、データ圧縮処理に係る画像圧縮部８が３系統の処理回路Ｃ１〜Ｃ３（図７）により形成されて、これら３系統の処理回路Ｃ１〜Ｃ３により複数系統による画像データを同時並列的に処理するようになされている。
この実施例においては、周辺回路を、撮像手段とは異なるウエハ処理プロセスにより形成することにより、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、種々の性能を向上するようになされている。
図１０は、図１との対比により本発明の実施例４に係る撮像装置を示すブロック図である。この撮像装置７１において、図１について上述した撮像装置１と同一の構成は、対応する符号を付して重複した説明は省略する。この撮像装置７１は、実施例１又は実施例３について上述したと同様の集積回路化により、撮像素子７３が、この撮像素子７３の駆動回路、アナログディジタル変換回路４、画像圧縮部７５による周辺回路と共に一体化されて集積回路により構成され、これにより種々の形態により撮像結果を周辺回路に出力できるように構成して、全体構成を簡略化、小型化できるようになされている。
しかして撮像素子７３は、ＣＭＯＳ固体撮像素子により構成され、図示しない駆動回路による駆動により、図１１に示すように有効画像領域ＡＲによる撮像結果を画像圧縮部７５の処理単位により順次出力し、これにより撮像信号Ｓ１を出力する。この処理において、撮像素子７３は、各フレーム間で、この有効画像領域ＡＲの一部領域ＡＲＡ〜ＡＲＥの撮像結果を事前に出力するようになされている。この実施例において、この一部領域ＡＲＡ〜ＡＲＥは、矩形の領域により複数個設定され、さらにこれら複数個の領域が有効画像領域ＡＲの中央の領域ＡＲＣ、４隅の領域ＡＲＡ、ＡＲＢ、ＡＲＤ、ＡＲＥに設定されるようになされ、これによりこれら有効画像領域ＡＲに設定された一部領域ＡＲＡ〜ＡＲＥにより、有効画像領域ＡＲ全体のデータ圧縮に要する処理を大まかに把握できるようになされている。
画像圧縮部７５は、このようにして得られる一部領域ＡＲＡ〜ＡＲＥの撮像結果をデータ圧縮して符号量を検出し、この検出した符号量に基づいたデータ圧縮率により、撮像素子７３の撮像結果をデータ圧縮する。すなわちこの画像圧縮部７５において、特定領域画像圧縮部７６は、一部領域ＡＲＡ〜ＡＲＥに係る画像データＤ１をデータ圧縮し、その発生符号量を符号量割り当て制御部７７に通知し、符号量割り当て制御部７７は、この発生符号量に基づいて、有効画像領域ＡＲ全体で発生する符号量を予測し、この予測結果によりデータ圧縮率を決定する。なおこの実施例において、特定領域画像圧縮部７６は、この一部領域ＡＲＡ〜ＡＲＥをタイルに相当する処理単位に設定してなるウエーブレット変換処理により、又はこの一部領域ＡＲＡ〜ＡＲＥを１つ又は複数のマクロブロックに設定してなるＭＰＥＧ２によりデータ圧縮するようになされているものの、このデータ圧縮手法においては、種々の手法を広く適用することができる。
画像圧縮部７８は、この符号量割り当て制御部７７によるデータ圧縮率に応じて量子化スケールを可変して、有効画像領域ＡＲによる画像データＤ１をデータ圧縮して出力し、レート制御部７９は、この画像圧縮部７８にダミデータを介挿する等によりレート制御の処理を実行して符号化データＤ２を出力する。なおここでこの実施例において、画像圧縮部７８は、特定領域画像圧縮部７６と同一のデータ圧縮手法によりデータ圧縮の処理を実行するようになされているものの、実用上十分にレート制御できる場合にあっては、特定領域画像圧縮部７６と異なるデータ圧縮手法により画像データをデータ圧縮するようにしてもよい。
これらによりこの実施例においては、ＣＭＯＳ固体撮像素子等の撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、事前に、有効画像領域の一部領域でデータ圧縮処理による発生符号量を検出し、この発生符号量によりデータ圧縮率を可変して全体の撮像結果をデータ圧縮処理するようになされ、これらにより適切にデータ圧縮率を設定して従来に比してより適切にレート制御することができるようになされている。
すなわちこの一部領域による発生符号量をＴＳとおき、画像全体の目標符号量をＴＡＬＬとおくと、残りの領域に割り当て可能な符号量ＴＥは、ＴＡＬＬ−ＴＳにより表すことができる。これにより残りの領域をデータ圧縮して発生する符号量をＴＲと置くと、余分な符号量ＴＥｘｔａを（ＴＲ＋ＴＳ）−ＴＡＬＬにより表すことができ、この余分な符号量ＴＥｘｔａを全体に分配するようにデータ圧縮率を設定すれば、目標符号量によりデータ圧縮処理することができ、残りの領域をデータ圧縮して発生する符号量ＴＲを事前のデータ圧縮により発生する符号量ＴＳにより予測して適切にデータ圧縮処理することができる。
符号量割り当て制御部７７、レート制御部７９は、このような事前の符号化処理による発生符号量により画像圧縮部７８のデータ圧縮率を可変してレート制御の処理を実行する。
これらによりこの実施例においては、事前に、有効画像領域の一部領域でデータ圧縮処理による発生符号量を検出し、この発生符号量によりデータ圧縮率を可変して撮像結果をデータ圧縮処理することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、従来に比して簡易な処理により、より適切にレート制御することができるようになされている。
またこの事前に検出した符号量に基づいたデータ圧縮率による撮像結果のデータ圧縮を、有効画像領域による撮像結果のデータ圧縮に適用することにより、実用上十分にレート制御できる場合にあっては、事前の処理に係るデータ圧縮手法とは異なるデータ圧縮手法により画像データをデータ圧縮することができ、これにより種々のデータ圧縮手法によりデータ圧縮する場合に広く適用することができる。
具体的に、データ圧縮率に対応する量子化スケールにより係数データを量子化処理する場合に適用して、簡易な処理によりレート制御することができる。
またこのような事前の処理に係るデータ圧縮とは別に改めて有効画像領域についてデータ圧縮することにより、実用上十分にレート制御できる場合にあっては、事前の処理に係るデータ圧縮手法とは異なるデータ圧縮手法により画像データをデータ圧縮することができ、これにより種々のデータ圧縮手法によりデータ圧縮する場合に広く適用することができる。
またこのような事前の処理に係るデータ圧縮手段と、この事前の処理によるデータ圧縮率によるデータ圧縮手段とを別系統により有することによっても、事前の処理に係るデータ圧縮手法とは異なるデータ圧縮手法により画像データをデータ圧縮することができ、これにより種々のデータ圧縮手法によりデータ圧縮する場合に広く適用することができる。
しかしてこれらの構成において、撮像手段による受光面とは逆側の面に形成された配線層によりこの配線層の下層に配置された周辺回路と接続することにより、事前に撮像手段から一部撮像結果を取得して発生符号量を検出して改めて符号化処理する場合にも、これら一連の処理に適するように撮像手段から周辺回路に撮像結果を出力することができる。
またこのようにして、周辺回路を、撮像手段とは異なるウエハ処理プロセスにより形成することにより、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、全体として各種の性能を向上するようになされている。
この実施例においては、実施例４の構成において、事前のデータ圧縮処理により検出した発生符号量により、残りの領域に係る発生符号量を制御してレート制御の処理を実行する。これにより撮像素子７３は、事前のデータ圧縮処理に続いて、一部領域ＡＲＡ〜ＡＲＥを除く有効画像領域ＡＲの撮像結果を出力し、符号量割り当て制御部７７にあっては、この一部領域ＡＲＡ〜ＡＲＥを除く有効画像領域ＡＲの撮像結果について、画像圧縮部７８のデータ圧縮処理に係る量子化スケールを制御する。また撮像装置は、事前のデータ圧縮処理による符号化データを、この画像圧縮部７８のデータ圧縮処理による符号化データと共に出力する。
またこのようなこの一部領域ＡＲＡ〜ＡＲＥを除く有効画像領域ＡＲの撮像結果に係るデータ圧縮処理による発生符号量により、続く事前の処理に係る特定領域画像圧縮部７６における量子化スケールを制御する。なおこれらによりこの実施例において、特定領域画像圧縮部７６と画像圧縮部７８とは同一の手法により画像データＤ１をデータ圧縮する。
この実施例においては、これら画像データＤ１の処理に係る構成が異なる点を除いて、実施例４に係る撮像装置と同一に構成される。
この実施例によれば、事前に、有効画像領域の一部領域でデータ圧縮処理による発生符号量を検出し、この発生符号量によりデータ圧縮率を可変して撮像結果をデータ圧縮処理するようにして、この検出した符号量に基づいたデータ圧縮率による撮像結果のデータ圧縮を、事前の処理に係る一部領域を除く領域による撮像結果のデータ圧縮に適用するようにしても、実施例４と同様の効果の得ることができる。
この実施例においては、実施例４又は実施例５の構成において、ユーザーにより選択される撮影モードに応じて、事前の処理に係る一部領域を変更する。なおこの実施例においては、この事前の処理に係る一部領域に関する処理が異なる点を除いて、実施例４又は実施例５の撮像装置と同一に構成される。
ここでこの実施例においては、このユーザーによる選択される撮影モードにおいて、最も重要とされる箇所が、事前の発生符号量を検出する領域に設定される。また最も重要とされる箇所を基準にして各部に適切に符号量を配分するように、この事前に検出された発生符号量による有効画像領域のデータ圧縮に係るデータ圧縮率が、撮影モードに応じて切り換えられる。
すなわち例えばユーザーにより選択された撮影モードが人物撮影モードの場合、人物に係る撮像結果が重要であり、この場合有効画像領域の中央に人物が位置する場合が多いことにより、この場合、事前の発生符号量を検出する領域を画面中央に設定する。またこの場合、この人物の背景、近景にあっては、人物ほど重要でないことにより、有効画像領域の周辺に比して中央側で符号量が多くなるように、事前に検出された発生符号量により有効画像領域のデータ圧縮に係るデータ圧縮率を設定する。
これに対して例えばユーザーにより選択された撮影モードが風景モードの場合、有効画像領域のほぼ全部が重要であることにより、事前の発生符号量を検出する領域を、図１１について上述したように、有効画像領域の中央及び周辺の複数箇所に設定する。またこの場合、有効画像領域の全面でほぼ等しいデータ圧縮率になるように、事前に検出された発生符号量により有効画像領域のデータ圧縮に係るデータ圧縮率を設定する。
なおこの実施例においては、全体の動作を制御する演算処理手段であるシステムコントローラにより、ユーザーによる撮影モードの選択に応じて、撮像素子３より出力される撮像結果、画像圧縮手段の動作を制御してこれら一連の処理が実行される。
この実施例のように、事前に検出した発生符号量によるデータ圧縮率の設定を撮影モードにより切り換えることにより、さらには撮影モードにより事前に発生符号量を検出する領域を切り換えることにより、一段と適切にレート制御することができる。
この実施例においては、実施例６に係る撮影モードに応じて最も重要とされる一部領域が、撮影モードに応じて、撮像結果の色分布により自動的に設定される。なおこの実施例においては、この一部領域の自動設定に係る処理が異なる点を除いて、実施例６について上述した撮像装置と同一に構成される。
すなわちこの実施例において、ユーザーにより人物撮影モードが選択されると、１フレーム前の撮像結果により肌色の部分が検出され、この肌色の部分を含むように、又はこの肌色の部分の内側に、事前のデータ圧縮処理に係る一部領域を設定する。
これに対してユーザーにより接写モードが選択されると、この場合、同様の１フレーム前の撮像結果より画面中央、暖色の色相に係る領域を検出し、この領域を含むように、又はこの領域の内側に、事前のデータ圧縮処理に係る一部領域を設定する。
この実施例のように、撮像結果の色分布により事前の発生符号量の検出に供する領域を設定すれば、一段と適切にレート制御の処理を実行することができる。
またこの領域の設定を撮影モードに応じて切り換えることによっても、一段と適切にレート制御することができる。
なお上述の実施例４〜７においては、事前のデータ圧縮処理を別系統により実行する場合について述べたが、本発明はこれに限らず、本来のデータ圧縮処理の系統により実行するようにしてもよい。
また上述の実施例においては、撮像手段にＣＭＯＳ固体撮像素子を適用する場合について述べたが、本発明はこれに限らず、ＸＹアドレス制御による種々の撮像素子を広く適用することができる。
本発明は、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。
本発明の実施例１に係る撮像装置を示すブロック図である。 図１の撮像装置におけるウエーブレット変換部の説明に供する略線図である。 図１の撮像装置におけるウエーブレット変換部における帯域分割の説明に供する略線図である。 図１の撮像装置におけるウエーブレット変換部における処理によるラインバッファ用の係数の説明に供する略線図である。 図１の撮像装置に適用される集積回路を示す断面図である。 本発明の実施例２に係る撮像装置におけるウエーブレット変換部の説明に供する略線図である。 本発明の実施例３に係る撮像装置に適用される集積回路の一部を示す斜視図である。 図７の集積回路による撮像結果の出力の説明に供する略線図である。 図７の集積回路による撮像結果の出力順序の説明に供する略線図である。 本発明の実施例４に係る撮像装置を示すブロック図である。 図１０の撮像装置におけるデータ圧縮処理の説明に供する平面図である。 撮像素子の比較を示す図表である。 ＣＣＤ固体撮像素子による出力を示す模式図である。 ＣＭＯＳ固体撮像素子による出力を示す模式図である。 ウエーブレット変換処理の説明に供する略線図である。
符号の説明
１、７１……撮像装置、３、７３……撮像素子、４……アナログディジタル変換回路、５、７５、７８……画像圧縮部、６……ウエーブレット変換部、８……量子化部、９……エントロピー符号化部、１０、７９……レート制御部、７６……特定領域画像圧縮部、７７……符号割り当て制御部、５１、６１……集積回路

Claims (5)

  1. 複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、
    前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、
    前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像装置であって、
    前記周辺回路は、
    前記撮像結果をデータ圧縮して出力する画像圧縮手段を少なくとも有し、
    前記撮像手段から、事前に、有効画像領域の一部領域から前記撮像結果を取得すると共に、該取得した撮像結果をデータ圧縮して符号量を検出し、
    該検出した符号量に基づいたデータ圧縮率により、前記撮像結果をデータ圧縮する
    撮像装置。
  2. 前記検出した符号量に基づいたデータ圧縮率による前記撮像結果のデータ圧縮が、前記一部領域を除く領域による撮像結果のデータ圧縮であり、
    前記周辺回路は、
    前記事前のデータ圧縮による処理結果と、前記データ圧縮率による前記撮像結果のデータ圧縮による処理結果とを出力する
    請求項１に記載の撮像装置。
  3. 前記検出した符号量に基づいたデータ圧縮率による前記撮像結果のデータ圧縮が、前記有効画像領域による撮像結果のデータ圧縮である
    請求項１に記載の撮像装置。
  4. 前記画像圧縮手段は、
    前記撮像結果を係数データに変換処理した後、量子化手段により前記係数データを量子化処理して前記撮像結果をデータ圧縮し、
    前記量子化手段は、
    前記データ圧縮率に対応する量子化スケールにより前記係数データを量子化処理する
    請求項１に記載の撮像装置。
  5. 前記事前のデータ圧縮に係るデータ圧縮手段と、
    前記データ圧縮率による前記撮像結果のデータ圧縮に係るデータ圧縮手段とを別系統により有する
    請求項１に記載の撮像装置。
JP2004202575A 2004-07-09 2004-07-09 撮像装置 Expired - Fee Related JP4599917B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2004202575A JP4599917B2 (ja) 2004-07-09 2004-07-09 撮像装置
KR1020067026454A KR101148334B1 (ko) 2004-07-09 2005-06-22 촬상 장치와 촬상 결과의 처리 방법
US11/631,941 US8174587B2 (en) 2004-07-09 2005-06-22 Imaging apparatus, integrated circuit for image pickup device and image data processing method
CN2005800231344A CN1985509B (zh) 2004-07-09 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法
EP05755880A EP1768391A4 (en) 2004-07-09 2005-06-22 IMAGING DEVICE, INTEGRATED IMAGING ELEMENT CIRCUIT, AND IMAGING RESULT PROCESSING METHOD
PCT/JP2005/011883 WO2006006396A1 (ja) 2004-07-09 2005-06-22 撮像装置、撮像素子の集積回路及び撮像結果の処理方法
AU2005261104A AU2005261104B2 (en) 2004-07-09 2005-06-22 Imaging device, imaging element integrated circuit, and imaging result processing method
MXPA06015142A MXPA06015142A (es) 2004-07-09 2005-06-22 Dispositivo de formacion de imagenes, circuito integrado de elementos de formacion de imagenes, y metodo de procesamiento de resultado de formacion de imagenes.
CA 2572806 CA2572806A1 (en) 2004-07-09 2005-06-22 Imaging apparatus, integrated circuit for image pickup device and image data processing method
BRPI0513008-5A BRPI0513008A (pt) 2004-07-09 2005-06-22 aparelho de formação de imagem, circuito integrado para um dispositivo de captação de imagem, e, método de processamento de dados de imagem
RU2007100356A RU2367107C2 (ru) 2004-07-09 2005-06-22 Устройство формирования изображения, интегральная схема устройства для съемки изображения и способ обработки данных изображения
TW094122017A TW200614805A (en) 2004-07-09 2005-06-30 Image pickup device, integrated circuit of imaging device and processing method of imaging result

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004202575A JP4599917B2 (ja) 2004-07-09 2004-07-09 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010166998A Division JP4978719B2 (ja) 2010-07-26 2010-07-26 撮像装置

Publications (3)

Publication Number Publication Date
JP2006025270A JP2006025270A (ja) 2006-01-26
JP2006025270A5 JP2006025270A5 (ja) 2007-06-07
JP4599917B2 true JP4599917B2 (ja) 2010-12-15

Family

ID=35783740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004202575A Expired - Fee Related JP4599917B2 (ja) 2004-07-09 2004-07-09 撮像装置

Country Status (12)

Country Link
US (1) US8174587B2 (ja)
EP (1) EP1768391A4 (ja)
JP (1) JP4599917B2 (ja)
KR (1) KR101148334B1 (ja)
CN (1) CN1985509B (ja)
AU (1) AU2005261104B2 (ja)
BR (1) BRPI0513008A (ja)
CA (1) CA2572806A1 (ja)
MX (1) MXPA06015142A (ja)
RU (1) RU2367107C2 (ja)
TW (1) TW200614805A (ja)
WO (1) WO2006006396A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403396B2 (ja) * 2004-07-13 2010-01-27 ソニー株式会社 撮像装置及び撮像素子の集積回路
JP5256725B2 (ja) 2007-12-25 2013-08-07 株式会社ニコン 撮像装置
JP2015050446A (ja) * 2013-09-05 2015-03-16 ソニー株式会社 撮像素子および撮像装置
WO2016121172A1 (ja) * 2015-01-28 2016-08-04 ソニー株式会社 撮像装置、および、撮像装置の制御方法
JP6700798B2 (ja) * 2016-01-13 2020-05-27 キヤノン株式会社 撮像装置及びその制御方法
EP3472806A4 (en) 2016-06-17 2020-02-26 Immersive Robotics Pty Ltd IMAGE COMPRESSION METHOD AND DEVICE
CN110495107A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 用于移动设备通信的天线控制
EP3635952B1 (en) 2017-06-05 2024-07-03 Immersive Robotics Pty Ltd Digital content stream compression
AU2018372561B2 (en) * 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Image compression for digital reality
EP3714598A4 (en) 2017-11-21 2021-03-31 Immersive Robotics Pty Ltd SELECTING A FREQUENCY COMPONENT FOR IMAGE COMPRESSION
US10863088B2 (en) 2018-06-25 2020-12-08 Canon Kabushiki Kaisha Image capturing apparatus and control method for capturing still images without interrupting video recordings
US11558574B2 (en) * 2020-12-14 2023-01-17 Bae Systems Information And Electronic Systems Integration Inc. Interleaved simultaneous binning mode

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
JPH11177893A (ja) * 1997-12-16 1999-07-02 Toshiba Corp 固体撮像素子およびこれを用いた画像システム
JP2000023053A (ja) * 1998-07-06 2000-01-21 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000032481A (ja) * 1998-07-07 2000-01-28 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000050293A (ja) * 1998-07-30 2000-02-18 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記録媒体
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JP2001015725A (ja) * 1999-06-30 2001-01-19 Nec Corp 固体撮像装置
JP2001145105A (ja) * 1999-11-11 2001-05-25 Canon Inc 画像処理装置及びその方法
JP2002165098A (ja) * 2000-11-27 2002-06-07 Sony Corp 画像符号化装置及び画像符号化方法
JP2003031785A (ja) * 2001-07-11 2003-01-31 Sony Corp Ｘ−ｙアドレス型固体撮像素子およびその製造方法
JP2003273343A (ja) * 2002-03-19 2003-09-26 Sony Corp 固体撮像素子の製造方法
JP2003338615A (ja) * 2002-05-20 2003-11-28 Sony Corp 固体撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170174A (ja) 1990-11-02 1992-06-17 Canon Inc 撮像装置及び撮像方式
JPH06303533A (ja) 1993-04-09 1994-10-28 Sony Corp イメージセンサおよび電子式スチルカメラ
JP3457407B2 (ja) 1994-12-28 2003-10-20 シャープ株式会社 画像圧縮機能を有する撮像装置
US6067383A (en) * 1995-09-12 2000-05-23 Matsushita Electric Industrial Co., Ltd. Coding method, coding apparatus, wavelet transform apparatus, and wavelet reverse transform apparatus
EP1107107A1 (en) 1999-12-10 2001-06-13 Koninklijke Philips Electronics N.V. Parallel data processing and shuffling
JP4450941B2 (ja) 2000-04-12 2010-04-14 富士通マイクロエレクトロニクス株式会社 固体撮像素子、画像処理装置及び画像処理方法
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
JP4087615B2 (ja) 2002-02-12 2008-05-21 株式会社フォトロン 高速撮像装置
JP2004085936A (ja) * 2002-08-27 2004-03-18 Olympus Corp カメラ

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
JPH11177893A (ja) * 1997-12-16 1999-07-02 Toshiba Corp 固体撮像素子およびこれを用いた画像システム
JP2000023053A (ja) * 1998-07-06 2000-01-21 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000032481A (ja) * 1998-07-07 2000-01-28 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000050293A (ja) * 1998-07-30 2000-02-18 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記録媒体
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JP2001015725A (ja) * 1999-06-30 2001-01-19 Nec Corp 固体撮像装置
JP2001145105A (ja) * 1999-11-11 2001-05-25 Canon Inc 画像処理装置及びその方法
JP2002165098A (ja) * 2000-11-27 2002-06-07 Sony Corp 画像符号化装置及び画像符号化方法
JP2003031785A (ja) * 2001-07-11 2003-01-31 Sony Corp Ｘ−ｙアドレス型固体撮像素子およびその製造方法
JP2003273343A (ja) * 2002-03-19 2003-09-26 Sony Corp 固体撮像素子の製造方法
JP2003338615A (ja) * 2002-05-20 2003-11-28 Sony Corp 固体撮像装置

Also Published As

Publication number Publication date
CN1985509B (zh) 2010-10-06
AU2005261104A1 (en) 2006-01-19
US8174587B2 (en) 2012-05-08
TWI294739B (ja) 2008-03-11
BRPI0513008A (pt) 2008-04-22
JP2006025270A (ja) 2006-01-26
RU2367107C2 (ru) 2009-09-10
KR20070030218A (ko) 2007-03-15
EP1768391A4 (en) 2012-08-15
AU2005261104B2 (en) 2009-04-23
TW200614805A (en) 2006-05-01
WO2006006396A1 (ja) 2006-01-19
CA2572806A1 (en) 2006-01-19
EP1768391A1 (en) 2007-03-28
RU2007100356A (ru) 2008-07-20
US20080266410A1 (en) 2008-10-30
MXPA06015142A (es) 2007-03-26
KR101148334B1 (ko) 2012-05-21
CN1985509A (zh) 2007-06-20

Similar Documents

Publication Publication Date Title
JP4403396B2 (ja) 撮像装置及び撮像素子の集積回路
KR101148334B1 (ko) 촬상 장치와 촬상 결과의 처리 방법
JP4816457B2 (ja) 撮像装置及び撮像結果の出力方法
EP1215729A2 (en) Image pickup apparatus
JP4978719B2 (ja) 撮像装置
KR101130375B1 (ko) 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법
JP2006108869A (ja) 撮像装置、復号化装置
JP4088898B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070416

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees