JP6603558B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、撮像素子および撮像装置に関し、特に、撮像素子の構成に関するものである。

従来、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、ＣＭＯＳイメージセンサなどの撮像素子が広く使用されている。

更に、近年では、光を電気に変換する光電変換素子を含む画素部で構成されている撮像基板と、撮像基板から出力される撮像信号に対して信号処理を行う信号処理基板とが積層された撮像素子が提案されている。そのような撮像素子として、特許文献１では、撮像基板から出力されたアナログ信号を、信号処理基板にてデジタル信号に変換後に圧縮する撮像素子が提案されている。積層構造にすることにより、撮像素子は、より小型、且つ、高機能の信号処理基板を備えることが可能となる。

特開２０１５−４１９７１号公報

一方、撮像装置から出力され記録媒体に保存された画像（ＲＡＷ画像）に対して、追加の画像処理（例えば、欠陥画素補正やノイズリダクション）を行ったり、ホワイトバランスを変えて再現像を行いたいというニーズは高い。

しかしながら、撮像素子から一度出力された画像（ＲＡＷ画像）に対して画像処理や再現像処理を行うためには、撮像素子の外部に画像処理チップを設けなければならない。

また、特許文献１に記載されているように、圧縮処理が行われて撮像素子の外部に出力された画像データに対して画像処理や現像処理を行う際には、圧縮済の画像データを伸長処理して非圧縮の画像データに戻す必要がある。

本発明は上記問題点を鑑みてなされたものであり、撮像素子の外部にある画像データを高速に入力し、撮像素子の内部で画像処理できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像素子は、光電変換素子を備える複数の画素部を有する撮像部と、処理部とを備え、前記処理部は、外部から、圧縮された画像信号を入力するための入力手段と、前記入力手段により入力される圧縮された前記画像信号を伸長するための伸長手段と、前記画素部から得られた撮像信号および前記伸長手段により伸長された画像信号に画像処理を行う画像処理手段とを備える。

本発明によれば、撮像素子の外部にある画像データを高速に入力し、撮像素子の内部で画像処理することができる。

本発明の第１の実施形態における撮像素子の構成例を示すブロック図。 第１の実施形態における撮像装置の構成例を示すブロック図。 第１の実施形態における撮像処理の流れを説明するフローチャート。 第１の実施形態における再生画像処理の流れを説明するフローチャート。 第２の実施形態における撮像素子の構成例を示すブロック図。 第２の実施形態における撮像処理および画像処理の流れを説明するフローチャート。 第３の実施形態における撮像装置の構成例を示すブロック図。 第３の実施形態における第２の撮像素子の構成例を示すブロック図。 第３の実施形態における処理の流れを示すタイミングチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像素子１００の構成例を示すブロック図である。撮像素子１００は、撮像基板１０１（撮像部）と信号処理基板１０２（処理部）が積層された構造（積層構造）となっている。撮像基板１０１と信号処理基板１０２は、図１には示していないがマイクロバンプやビアにより接合され、電気的に接続されている。

撮像基板１０１は、光を電気に変換する光電変換素子を含む複数の画素部１０３が、行方向及び列方向に２次元配置されている画素アレイ部１０４と、垂直走査回路１１６を備えている。信号処理基板１０２は、アナログ／デジタル変換器（ＡＤＣ）１０５、行メモリ部１０８、画像処理部１０９、圧縮部１１０、出力部１１１、現像処理部１１３、タイミング生成部（ＴＧ）１１４、ＣＰＵ１１５を備える。信号処理基板１０２は、更に、入力部１０６、伸長部１０７、フレームメモリ部１１２を備える。

画素部１０３は、照射された光に応じた信号電荷を発生し、蓄積する。そして、画素部１０３はこの信号電荷を撮像信号として、信号処理基板１０２に備えられているＡＤＣ１０５に供給する。

ＡＤＣ１０５は、画素アレイ部１０４の画素列毎に配置されており、画素アレイ部１０４の行毎に順次出力される撮像信号に対して、行毎にアナログ／デジタル変換処理を行うことで、撮像データに変換する。そして、ＡＤＣ１０５は変換した撮像データを行メモリ部１０８に供給し、行メモリ部１０８は、ＡＤＣ１０５から供給された行毎の撮像データを格納する。行メモリ部１０８は、格納したデータを画像処理部１０９へ供給する。

画像処理部１０９は、行メモリ部１０８から供給された撮像データに対して、各種の画像処理を行う。ここで行われる画像処理は、例えば、シェーディング補正やキズ補正などである。以下、本実施形態では、アナログ／デジタル変換処理を行うことで生成される撮像データに対して、画像処理が行われたデータをＲＡＷ画像と呼ぶ。そして、画像処理部１０９は画像処理を行ったＲＡＷ画像を現像処理部１１３および圧縮部１１０に供給する。

現像処理部１１３は、画像処理部１０９から供給されたＲＡＷ画像に対して各種の現像処理を行う。ここで行われる現像処理は、例えば、ホワイトバランス調整や明るさ補正、色補間やフィルター処理などである。以下、本実施形態では、現像処理を行った画像データを現像画像と呼ぶ。そして、現像処理部１１３は現像処理を行った現像画像を圧縮部１１０に供給する。

圧縮部１１０は、差分パルス不調変調（ＤＰＣＭ）や離散コサイン変換（ＤＣＴ）、ハフマン符号化等、公知の技術を用いて圧縮処理を行い、データ量を削減する機能を備える。また、これらの処理回路を用いて、圧縮部１１０は可逆圧縮と非可逆圧縮の二つの圧縮方式を行うことができる。圧縮部１１０は画像処理部１０９および現像処理部１１３から供給されたＲＡＷ画像や現像画像に対して圧縮処理を行う。

画像処理部１０９から供給されたＲＡＷ画像を圧縮する場合、圧縮部１１０はＲＡＷ画像に対して可逆圧縮を行い、圧縮ＲＡＷ画像を生成する。現像処理部１１３から供給された現像画像を圧縮する場合、圧縮部１１０はＪＰＥＧ符号化方式などの非可逆圧縮の代表的な圧縮方式による圧縮を行い、ＪＰＥＧ画像を生成する。もちろん、圧縮部１１０は画像処理部１０９から供給されたＲＡＷ画像に対して、非可逆圧縮を行うこともできる。また、圧縮部１１０は生成した圧縮ＲＡＷ画像やＪＰＥＧ画像にメタデータを付加する。そして、圧縮部１１０は圧縮ＲＡＷ画像やＪＰＥＧ画像を出力部１１１に供給する。

ここで、本発明の実施形態で用いるメタデータは、基本的にＲＡＷ画像に関するものである。例えば、ＲＡＷ画像に関するメタデータとして、ＲＡＷ画像の幅や高さ、撮影条件に関する情報や撮影に使用したレンズの情報がある。なお、圧縮部１１０が出力する圧縮ＲＡＷ画像やＪＰＥＧ画像のデータ構造は、Ｅｘｉｆ画像ファイル規定で示されている構造をとる。Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）とは、ＪＥＩＤＡ（日本電子工業振興協会）が策定したデジタルカメラ用の画像メタデータのフォーマットである。

入力部１０６は、撮像素子１００の外部にある圧縮ＲＡＷ画像を撮像素子１００に入力するための端子を備えており、この端子を用いて画像を信号処理基板１０２に入力する。そして、入力部１０６は入力した圧縮ＲＡＷ画像を伸長部１０７に供給する。

伸長部１０７は、ＤＰＣＭやＤＣＴ、ハフマン符号化等、公知の技術を用いて圧縮処理が行われた画像に対応した伸長処理を行うことができる機能を備える。したがって、伸長部１０７は可逆圧縮と非可逆圧縮の二つの圧縮方式に対応した伸長処理を行うことができる。伸長部１０７は圧縮ＲＡＷ画像のデータ構造を解析してメタデータを抽出する処理と、圧縮ＲＡＷ画像を伸長してＲＡＷ画像を生成する処理を行う。そして、伸長部１０７は、生成したＲＡＷ画像や抽出したメタデータを、並列通信によりフレームメモリ部１１２に供給する。

フレームメモリ部１１２は、伸長部１０７から供給されたＲＡＷ画像やメタデータを格納する。また、フレームメモリ部１１２は、格納したＲＡＷ画像やメタデータを画像処理部１０９に供給する。

出力部１１１には、圧縮部１１０より供給された圧縮ＲＡＷ画像やＪＰＥＧ画像を、撮像素子１００の外部へ出力するための端子が備えられている。出力部１１１はこの端子を用いてそれぞれの画像を外部へ出力する。

ＴＧ１１４は、所定の撮像駆動を行うために生成した制御信号を、前述した回路や処理部に供給する。ＣＰＵ１１５は、撮像素子１００外で設定された各種の情報に基づいて、撮像素子１００全体を制御する。垂直走査回路１１６は、撮像素子１００により制御されたＴＧ１１４より供給された制御信号を基に、画素部１０３の信号電荷の蓄積および読み出しを制御する。

なお、本実施形態では撮像素子１００に入力する画像はメタデータが付加された圧縮ＲＡＷ画像であるとしたが、Ｅｘｉｆ−ＴＩＦＦなどのメタデータが記録できるデータ構造になっているものでもよい。

図２は、上記構成を有する撮像素子を用いた第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。撮像装置２００は、レンズ２０１、撮像素子１００、表示部２０２、記録媒体２０３、操作部２０４から構成されている。

図２では１枚のレンズにより表しているが、レンズ２０１は通常複数のレンズおよび絞り等により構成され、被写体の光学像を撮像素子１００に結像させる。撮像素子１００は結像された光学像を光電変換して撮像信号を生成し、前述したように、得られた撮像信号を圧縮ＲＡＷ画像やＪＰＥＧ画像に変換して出力する。

表示部２０２は、例えばＬＣＤを表示素子として用い、ユーザに行わせる各種の設定や、撮像素子１００から出力された圧縮ＲＡＷ画像やＪＰＥＧ画像、さらにそれらの画像に付属しているサムネイルを表示する。さらに、表示部２０２は圧縮ＲＡＷ画像やＪＰＥＧ画像、サムネイルを表示可能な形式に変換するための表示回路を備えている。

記録媒体２０３は、例えばフラッシュメモリやハードディスク等であり、撮像素子１００から出力された圧縮ＲＡＷ画像やＪＰＥＧ画像を記録する。操作部２０４はユーザによる操作を基に、撮像装置２００が持つ様々な機能について操作指令を発する。

次に、上記構成を有する撮像装置２００において行われる第１の実施形態における撮像処理について、図３を参照して説明する。まず、Ｓ３００において、撮像素子１００の画素部１０３は、照射された光を光電変換し、撮像信号を生成し、画素アレイ部１０４の行毎に順次出力する。次にＳ３０１において、ＡＤＣ１０５は、行毎に順次出力された撮像信号を、行毎にデジタルデータに変換し、変換して得られた撮像データを行メモリ部１０８に供給する。

Ｓ３０２において、行メモリ部１０８は、供給された撮像データを格納する。そしてＳ３０３において、画像処理部１０９は、行メモリ部１０８に格納された撮像データに対して画像処理を行い、画像処理を行ったＲＡＷ画像（画像信号）を圧縮部１１０に供給する。

次のＳ３０４において、現像処理を行うかどうかを判断し、現像処理を行わない場合にはＳ３０６へ進む。一方、現像処理を行う場合には、Ｓ３０５において、画像処理を行ったＲＡＷ画像に対して現像処理部１１３が現像処理を行い、現像処理後の現像画像を圧縮部１１０に供給して、Ｓ３０６へ進む。

Ｓ３０６において、ＣＰＵ１１５は、画素アレイ部１０４の最終行から出力された画像信号に対して処理を終了したかどうかを確認する。画素アレイ部１０４の最終行の画像信号の処理が終了していない場合、Ｓ３０１に戻って、次の行について上記処理を繰り返す。

一方、最終行の画像信号の処理が終了している場合、Ｓ３０７に進み、圧縮部１１０はＳ３０３で供給されたＲＡＷ画像に可逆圧縮を行い、圧縮ＲＡＷ画像（圧縮された画像信号）を生成すると共に、メタデータを付加する。また、現像処理が行われた場合には、圧縮部１１０はＳ３０５で供給された現像画像に対してＪＰＥＧ符号化方式を用いて圧縮し、ＪＰＥＧ画像を生成すると共に、メタデータを付加する。

Ｓ３０８において、出力部１１１は、圧縮部１１０により生成されたメタデータが付加された圧縮ＲＡＷ画像および、現像処理が行われていれば、ＪＰＥＧ画像を記録媒体２０３に出力する。そして、Ｓ３０９において、記録媒体２０３は、Ｓ３０８で出力されたメタデータが付加された圧縮ＲＡＷ画像およびＪＰＥＧ画像を格納する。Ｓ３０９の処理が終了することで、生成した撮像信号を記録媒体２０３に格納するまでの一連の処理が終了する。

なお、上述した例では、現像処理を行う場合もＲＡＷ画像を記録する場合について説明したが、現像処理を行う場合にＲＡＷ画像を記録しないようにしても良い。

次に、図４を参照して、記録媒体２０３に格納した圧縮ＲＡＷ画像に対して画像処理や現像処理を行う場合について説明する。図４は、記録媒体２０３に格納された画像に対して、撮像素子１００の内部にある伸長部１０７、画像処理部１０９と現像処理部１１３を用いて画像処理や現像処理を行う再生画像処理の流れを示すフローチャートである。

Ｓ４００において、記録媒体２０３に格納されている圧縮ＲＡＷ画像のうち、操作部２０４によるユーザの指示により、画像処理や現像処理を行う画像を指定する。Ｓ４０１において、記録媒体２０３は、Ｓ４００で指定された画像を撮像素子１００の入力部１０６に送信する。

Ｓ４０２において、入力部１０６は、Ｓ４０１で供給された圧縮ＲＡＷ画像を取得して、伸長部１０７へ供給する。Ｓ４０３において、伸長部１０７はＳ４０２で供給された画像のデータ構造を解析してメタデータを抽出すると共に、圧縮ＲＡＷ画像を伸長してＲＡＷ画像を生成する。そして、伸長部１０７は生成したＲＡＷ画像や抽出したメタデータを並列通信によりフレームメモリ部１１２に供給する。Ｓ４０４において、フレームメモリ部１１２は、Ｓ４０３で生成したＲＡＷ画像と抽出したメタデータを格納し、格納したＲＡＷ画像およびメタデータを画像処理部１０９に供給する。

Ｓ４０５において、操作部２０４によるユーザの指示に基づいて、Ｓ４０４で供給されたＲＡＷ画像に対して、画像処理を行うか否かを指定する。画像処理を行うと指定された場合、Ｓ４０６に進む。

Ｓ４０６において、画像処理部１０９はＳ４０４で供給されたＲＡＷ画像と抽出したメタデータを用いて、ユーザが操作部２０４にて指定した画像処理を行う。ここで行われる画像処理としては、欠陥画素補正やノイズリダクションなどの処理が挙げられる。例えば、ユーザが指定した画素に対して欠陥画素補正などを行っても良い。このように、一旦画像処理が行われて記録媒体に保存されたＲＡＷ画像に対しても、追加で画像処理を行って高品質のＲＡＷ画像を得ることができる。

Ｓ４０７において、操作部２０４によるユーザの指示に応じて、Ｓ４０６で画像処理を行ったＲＡＷ画像に対して、現像処理を行うか否かを判断する。現像処理を行わないと判断された場合はＳ４０８に進み、画像処理部１０９は画像処理を行ったＲＡＷ画像とメタデータを圧縮部１１０に供給する。そして、圧縮部１１０は供給されたＲＡＷ画像に可逆圧縮を行って圧縮ＲＡＷ画像を生成すると共にメタデータを付加し、生成した圧縮ＲＡＷ画像を出力部１１１に供給する。次にＳ４０９において、出力部１１１はＳ４０８で供給された圧縮ＲＡＷ画像を記録媒体２０３に供給する。Ｓ４１０において、記録媒体２０３はＳ４０９で供給された圧縮ＲＡＷ画像を格納する。Ｓ４１０の処理が終了することで、一連の処理が終了する。

一方、Ｓ４０７で現像処理を行うと判断された場合はＳ４１１に進み、画像処理部１０９は画像処理を行ったＲＡＷ画像とメタデータを圧縮部１１０と現像処理部１１３に供給する。また、Ｓ４１１において、現像処理部１１３は供給されたＲＡＷ画像とメタデータを用いて、ユーザが操作部２０４により指定した現像処理を行い、現像画像を生成し、生成した現像画像とメタデータを圧縮部１１０に供給する。

Ｓ４１２において、圧縮部１１０はＳ４１１で供給されたＲＡＷ画像と現像画像に圧縮処理を行い、圧縮ＲＡＷ画像とＪＰＥＧ画像を生成すると共に、メタデータを付加し、生成した圧縮ＲＡＷ画像およびＪＰＥＧ画像を出力部１１１に供給する。

Ｓ４１３において、出力部１１１はＳ４１２で供給された圧縮ＲＡＷ画像とＪＰＥＧ画像を記録媒体２０３に供給する。Ｓ４１４において、記録媒体２０３はＳ４１３で供給された圧縮ＲＡＷ画像とＪＰＥＧ画像を格納する。Ｓ４１４の処理が終了することで、一連の処理が終了する。

また、Ｓ４０５で画像処理を行わないと指定された場合、画像処理部１０９はＳ４０４で供給されたＲＡＷ画像に画像処理を行わずに、ＲＡＷ画像とメタデータをそのまま現像処理部１１３に供給し、Ｓ４１５に進む。Ｓ４１５において、現像処理部１１３はＳ４０５で供給されたＲＡＷ画像とメタデータを用いて、ユーザが操作部２０４にて指定した現像処理を行い、現像画像を生成する。また、現像処理部１１３は現像処理を行った現像画像とメタデータを圧縮部１１０に供給する。

Ｓ４１６において、圧縮部１１０はＳ４１５で供給された現像画像に圧縮処理を行い、ＪＰＥＧ画像を生成すると共にメタデータを付加する。また、圧縮部１１０は生成したＪＰＥＧ画像を出力部１１１に供給する。

Ｓ４１７において、出力部１１１はＳ４１６で供給されたＪＰＥＧ画像を記録媒体２０３に供給する。Ｓ４１８において、記録媒体２０３はＳ４１７で供給されたＪＰＥＧ画像を格納する。Ｓ４１８の処理が終了することで、一連の処理が終了する。

ところで、第１の実施形態では、Ｓ４００において、記録媒体２０３に格納された圧縮ＲＡＷ画像を指定することができるので、上述したＳ３０９で格納した画像を指定する必要はない。圧縮ＲＡＷ画像は、撮像装置を販売するメーカ毎に異なる圧縮方式で生成されているが、圧縮ＲＡＷ画像が公知の技術で圧縮処理されている場合、伸長部１０７にて圧縮方式を解析し、伸長することができる。したがって、別の撮像装置で生成された圧縮ＲＡＷ画像を処理することができる。この場合、Ｓ４０３において、伸長部１０７は圧縮ＲＡＷ画像の圧縮方式に対応した伸長処理を行うことで、ＲＡＷ画像を生成する。

上記の通り本第１の実施形態によれば、積層構造を有する撮像素子内部に入力部と伸長部を備えることにより、撮像素子から出力され、記録媒体に記録されている圧縮ＲＡＷ画像に対して現像処理部を用いた現像処理を行うことができる。また、撮像素子の内部に伸長部を備えることで、圧縮された形式の画像を撮像素子に入力することができるので、記録媒体と撮像素子間のデータ通信量を削減することができる。また、伸長したＲＡＷ画像を並列通信により送信することで、データ通信の時間を削減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、記録媒体２０３に格納されている圧縮ＲＡＷ画像を撮像素子１００に入力して画像処理や現像処理を行う例を説明した。これに対し、第２の実施形態では、撮像素子５００で撮像したデータと記録媒体２０３に格納されている圧縮ＲＡＷ画像との加算減算等の合成処理を行う。加算または平均処理を行うことで、２つの画像が合成された画像を作成することができる。また、予め決められた条件の黒画像を撮影して記録媒体２０３に保持しておき、撮影時に黒画像を用いて減算処理することで、暗時ノイズ等の固定パターンノイズ除去などを実現することができる。ここでは、撮影されたデータに対して、記録媒体２０３に保持しておいた黒画像を用いて減算処理を行う例について説明する。

図５は第２の実施形態における撮像素子５００の構成例を示すブロック図である。図５に示す撮像素子５００は、図１に示す撮像素子１００に、演算回路１１７を追加した構成となっている。それ以外の構成は、図１に示す構成と同様であるため、同じ参照番号を付して説明を省略する。

フレームメモリ部１１２は伸長部１０７から供給されたＲＡＷ画像（画像信号）を演算回路１１７に供給する。演算回路１１７はＡＤＣ１０５から供給された行毎の撮像データと、フレームメモリ部１１２から供給されたＲＡＷ画像の行毎のデータを用いて加算減算等の演算処理を行う。なお、フレームメモリ部１１２から演算回路１１７へのデータ供給は、１行分のデータが並列に行われる構成となっている。また、演算回路１１７は、演算処理の結果を行メモリ部（記憶部）１１８に供給する。行メモリ部１１８は演算回路１１７から供給された演算結果を格納する。また、行メモリ部１１８は、格納したデータを画像処理部１０９に供給する。

なお、図５の撮像素子５００は、図１の撮像素子１００とは異なり、フレームメモリ部１１２から画像処理部１０９にＲＡＷ画像とメタデータを供給しない構成となっているが、供給する構成であっても良い。

図６は、第２の実施形態において図５の撮像素子５００を用いた撮像装置２００における処理を示すフローチャートである。Ｓ６００において、操作部２０４は、記録媒体２０３に格納されている圧縮ＲＡＷ画像のうち、ユーザが減算に用いると指示した画像を指定する。そして、Ｓ６００の終了後、Ｓ６０１とＳ６０４に進む。なお、Ｓ６０１以降の処理は、Ｓ６０４以降の処理と並列に行われる。

Ｓ６０１において、撮像素子５００は撮像処理を開始し、撮像素子５００の画素部１０３は、照射された光を光電変換し、撮像信号を生成し、画素アレイ部１０４の行毎に順次出力する。次にＳ６０２において、ＡＤＣ１０５は、行毎に順次出力された撮像信号を、行毎にデジタルデータに変換し、変換して得られた撮像データに変換する。Ｓ６０３において、ＡＤＣ１０５はＳ６０２で変換した撮像データを演算回路１１７に供給する。

一方、Ｓ６０４において、記録媒体２０３は、Ｓ６００で指定された画像を撮像素子５００の入力部１０６に送信し、入力部１０６は、供給された圧縮ＲＡＷ画像を取得して、伸長部１０７へ供給する。

Ｓ６０５において、伸長部１０７はＳ６０４で供給された圧縮ＲＡＷ画像のデータ構造を解析してメタデータを抽出すると共に、圧縮ＲＡＷ画像を伸長してＲＡＷ画像（以降、「入力画像データ」と呼ぶ。）を生成する。また、伸長部１０７は生成した入力画像データと抽出したメタデータを並列通信によりフレームメモリ部１１２に供給する。Ｓ６０６において、フレームメモリ部１１２は、Ｓ６０５で供給された入力画像データとメタデータを格納する。

Ｓ６０７において、フレームメモリ部１１２はＳ６０６で格納した入力画像データから、Ｓ６０２で変換した行毎の撮像データに対応する行のデータを演算回路１１７に供給する。なお、フレームメモリ部１１２から演算回路１１７へのデータ供給は、１行分のデータが並列に供給される構成となっており、Ｓ６０３において１行分の撮像データが演算回路１１７に入力されるまでには、入力画像データの供給を終わるように制御する。

Ｓ６０８において、演算回路１１７はＳ６０３で供給された撮像データから、Ｓ６０７で供給された入力画像データを減算し、減算した撮像データを行メモリ部１１８に供給する。Ｓ６０９において、画像処理部１０９はＳ６０８で供給された撮像データに対して画像処理を行い、画像処理を行ったＲＡＷ画像を圧縮部１１０に供給する。

次のＳ６１０において、現像処理を行うかどうかを判断し、現像処理を行わない場合にはＳ６１２へ進む。一方、現像処理を行う場合には、Ｓ６１１において、画像処理を行ったＲＡＷ画像に対して現像処理部１１３が現像処理を行い、現像処理後の現像画像を圧縮部１１０に供給して、Ｓ６１２へ進む。

Ｓ６１２において、ＣＰＵ１１５は、画素アレイ部１０４の最終行から出力された画像信号に対して処理を終了したかどうかを確認する。画素アレイ部１０４の最終行の画像信号の処理が終了していない場合、Ｓ６０２およびＳ６０７に戻って、次の行について上述した処理を繰り返す。このとき、フレームメモリ部１１２は、Ｓ６０２においてＡＤＣ１０５が変換した行毎の撮像データに対応する入力画像データの特定行のデータを演算回路１１７に供給するため、Ｓ６０７の処理をＳ６０２からＳ６０３の処理と並列して行う。

一方、最終行の画像信号の処理が終了している場合、Ｓ６１３に進み、圧縮部１１０はＳ６０９で供給されたＲＡＷ画像に可逆圧縮を行い、圧縮ＲＡＷ画像を生成すると共に、メタデータを付加する。また、現像処理が行われた場合には、圧縮部１１０はＳ６１１で供給された現像画像に対してＪＰＥＧ符号化方式を用いて圧縮し、ＪＰＥＧ画像を生成すると共に、メタデータを付加する。

Ｓ６１４において、出力部１１１は、圧縮部１１０により生成されたメタデータが付加された圧縮ＲＡＷ画像および、現像処理が行われていれば、ＪＰＥＧ画像を記録媒体２０３に出力する。そして、Ｓ６１５において、記録媒体２０３は、Ｓ６１４で出力されたメタデータが付加された圧縮ＲＡＷ画像およびＪＰＥＧ画像を格納する。Ｓ６１５の処理が終了することで、一連の処理が終了する。

なお、本第２の実施形態では、Ｓ６０８において、Ｓ６０３で供給された撮像データから、Ｓ６０７で供給された入力画像データを減算する処理について説明した。しかし、画像処理の内容によっては、減算処理ではなく、例えば加算処理でなどでもよく、演算回路１１７は加算回路であっても良い。

また、上述した例では、現像処理を行う場合もＲＡＷ画像を記録する場合について説明したが、現像処理を行う場合にＲＡＷ画像を記録しないようにしても良い。

更に、第２の実施形態においては撮像データと入力画像データとの演算処理は、撮像データの読み出しに応じて順次行うものとして説明したが、１フレーム分の読み出しが終了した後、画像処理部１０９にて演算しても良い。その場合、図１に示す構成のようにフレームメモリ部１１２に格納された入力画像データを画像処理部１０９に供給することにより、実施可能である。

ここで、第２の実施形態における上記処理を用いた活用例について説明する。撮像素子を遮光した状態で撮像素子から得られるデータ（黒画像）には撮像信号の生成からアナログ／デジタル変換を行うまでに発生するノイズが含まれている。つまり、このノイズがオフセットとして撮像データに加わっている。そこで、記録媒体に黒画像の圧縮ＲＡＷ画像を格納しておくことで、遮光していない状態で得られた撮像データから黒画像を減算し、ノイズを低減することができる。したがって、撮像素子から高画質なＲＡＷ画像を得ることができる。

また、上記の活用例において、メタデータを用いて黒画像を選択することもできる。例えば、Ｓ６００において、ユーザが複数の圧縮ＲＡＷ画像を選択し、選択した複数の画像について、上述した処理と同様にＳ６０４からＳ６０５の処理を行う。そして、以下の処理をＳ６０８までに行う。

この場合、図５では不図示であるが、フレームメモリ部１１２から画像処理部１０９にメタデータを供給し、画像処理部１０９における画像の選択結果をフレームメモリ部１１２に返す構成とする。フレームメモリ部１１２はＳ６０６で格納した複数のメタデータを画像処理部１０９に供給する。画像処理部１０９はフレームメモリ部１１２から供給された複数のメタデータの中の撮像素子の温度情報と、撮像素子５００の温度情報とを比較する。画像処理部１０９は比較結果より、撮像素子５００の温度に最も近いメタデータに対応する入力画像データを黒画像として用いると判断する。また、画像処理部１０９はその判断結果をフレームメモリ部１１２に送信する。フレームメモリ部１１２は受信した判断結果に基づいて入力画像データをＳ６０７で供給する。この処理により、撮像素子５００の温度変化に応じてノイズ量が変化しても、その変化に対応したノイズ低減を実現することができる。したがって、撮像素子５００から高画質なＲＡＷ画像を得ることができる。

なお、Ｓ６０８の処理により、減算された撮像データにはダークシェーディング補正やキズ補正を行う必要はないが、Ｓ６０９において、画像処理部１０９は減算された撮像データに対して色シェーディング補正などの画像処理を行っても良い。

上記の通り本第２の実施形態によれば、撮像素子から出力された撮像データから、記録媒体に格納されている画像を減算した、新たなＲＡＷ画像を生成することができる。また、撮像素子の内部に伸長部を備えることで、圧縮された形式の画像を撮像素子に入力することができるので、記録媒体と撮像素子間のデータ通信量を削減することができる。また、伸長したＲＡＷ画像を並列通信により送信することで、データ通信の時間を削減することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図７は第３の実施形態に係る撮像素子を用いた撮像装置７００の構成例を示すブロック図である。

図７（ａ）は、図２に示す撮像装置に、圧縮部を備える第２の撮像素子７０１とレンズ７０２とを更に備えた構成を有する。それ以外の構成は、図２に示すものと同様であるため説明を省略するが、撮像素子１００については、第２の撮像素子７０１と区別するために、第３の実施形態では、第１の撮像素子１００と呼ぶ。

レンズ７０２は被写体の光学像を第２の撮像素子７０１に結像させる。すなわち、図７（ａ）に示す構成では、１つのレンズに対して１つの撮像素子が割り当てられているため、それぞれの撮像素子には、異なる被写体の光学像が結像される。

図７（ｂ）は、図２に示す撮像装置に、圧縮部を備える第２の撮像素子７０１とミラー７０３とを更に備えた構成を有する。ミラー７０３は、半透過型となっており、レンズ２０１により入射する被写体の光学像を第１の撮像素子１００と第２の撮像素子７０１に結像させる。つまり、図７（ｂ）は同一のレンズを介して得られる被写体の光学像を、２つの撮像素子に結像することができる。

図８は第２の撮像素子７０１の構成例を示す図である。第２の撮像素子７０１は、画素部８００で構成される画素アレイ部８０１、ＡＤＣ８０２、行メモリ部８０３、圧縮部８０４、出力部８０５、垂直走査回路８０６を備えている。

画素アレイ部８０１は、光を電気に変換する光電変換素子を含む複数の画素部８００が行方向及び列方向に２次元配置されている。画素部８００は、照射された光に応じた信号電荷を発生し、蓄積する。そして、画素部８００はこの信号電荷を撮像信号として、ＡＤＣ８０２に供給する。

ＡＤＣ８０２は、画素アレイ部８０１の画素列毎に配置されており、画素アレイ部８０１の行毎に順次出力される撮像信号に対して、行毎にアナログ／デジタル変換処理を行うことで、撮像データに変換する。そして、ＡＤＣ８０２は変換した撮像データを行メモリ部８０３に供給し、行メモリ部８０３は、ＡＤＣ８０２から供給された行毎の撮像データを格納する。また、行メモリ部８０３は、格納したデータを圧縮部８０４へ供給する。

圧縮部８０４は、可逆圧縮と非可逆圧縮を行うことができる機能を備える。これらの回路を用いて、圧縮部８０４は行メモリ部８０３から供給された撮像データに対して圧縮処理を行い、圧縮した撮像データを出力部８０５に供給する。

出力部８０５には、圧縮部８０４より供給された圧縮済み撮像データ（圧縮された画像信号）を第１の撮像素子１００の入力部に供給するための端子が備えられている。出力部８０５はこの端子を用いて圧縮済みのデータを第１の撮像素子１００の入力部に供給する。垂直走査回路８０６は、第１の撮像素子１００のＴＧ１１４より供給された制御信号を基に画素部８００の信号電荷の蓄積や読み出しを制御する。また、前述したように第２の撮像素子７０１を構成する回路や処理部は、第１の撮像素子１００のＴＧ１１４やＣＰＵ１１５から供給される制御信号により駆動制御される。

撮像装置７００は、第１の実施形態と同様な処理の流れで、第２の撮像素子７０１から出力されるデータに対して画像処理を行うことができる。また、撮像装置７００は、２つの撮像素子１００、７０１から出力される各データに対して、一つの画像処理部１０９で各データに応じた画像処理を行うことができる構成となっている。

次に、上記構成を有する撮像装置７００において行われる、第１の撮像素子１００と第２の撮像素子７０１とを用いた合成処理の例について説明する。図９は撮像装置７００の合成処理を説明するためのタイミングチャートである。なお、ここでは図９の撮影条件として、第１の撮像素子１００は第２の撮像素子７０１よりも露光時間が長く設定されているものとする。

時刻ｔ０において、第１の撮像素子１００と第２の撮像素子７０１は撮像処理を開始し、画素アレイ部１０４、８０１に光を照射し、電荷蓄積を開始する。

時刻ｔ１において、第２の撮像素子７０１の露光を終了し、蓄積された電荷から撮像信号を生成して、画素アレイ部８０１の行毎に順次出力する。また、ＡＤＣ８０２は、行毎に順次出力された撮像信号を撮像データに変換する処理を開始する。そして、ＡＤＣ８０２は変換した行毎の撮像データを行メモリ部８０３に順次供給する。

時刻ｔ２において、行メモリ部８０３は、ＡＤＣ８０２から供給された撮像データを順次格納し、格納した撮像データを圧縮部８０４に順次供給する。このとき、ＡＤＣ８０２が画素アレイ部８０１の１行目の撮像信号の変換を終え、２行目の変換を開始するのと並行して、行メモリ部８０３は供給された１行目の撮像データを格納する。このような動作を繰り返し行う。

時刻ｔ３において、ＡＤＣ８０２は画素アレイ部８０１の最終行の撮像信号を撮像データに変換し、そのデータを行メモリ部８０３に供給する。これにより、ＡＤＣ８０２はアナログ／デジタル変換処理を終了する。

時刻ｔ４において、行メモリ部８０３は、画素アレイ部８０１の最終行の撮像データを格納し、そのデータを圧縮部８０４に供給する。これにより、行メモリ部８０３は撮像データの格納および供給を終了する。一方、圧縮部８０４は供給された撮像データの圧縮を開始する。なお、圧縮方式によっては、１フレーム分の撮像データを受け取る前に、圧縮を開始してもよい。

時刻ｔ５において、圧縮部８０４は圧縮処理を終了し、圧縮した撮像データを出力部８０５に供給する。また、出力部８０５は供給された圧縮済みの撮像データを、第１の撮像素子１００の入力部１０６へ供給する。

時刻ｔ６において、入力部１０６は供給された圧縮済みの撮像データを取得し、そのデータを伸長部１０７に供給する。伸長部１０７は圧縮済みの撮像データの伸長を開始し、撮像データ（以降、「入力撮像データ」と呼ぶ。）を生成し、生成した入力撮像データをフレームメモリ部１１２に転送する。フレームメモリ部１１２は、伸長部１０７から供給された入力撮像データの格納を開始する。

時刻ｔ７において、伸長部１０７は入力撮像データの生成および転送を完了し、伸長処理を終了する。また、フレームメモリ部１１２も入力撮像データの格納を完了する。

時刻ｔ８において、第１の撮像素子１００の露光を終了し、蓄積された電荷から撮像信号を生成して、画素アレイ部１０４の行毎に順次出力する。また、ＡＤＣ１０５は、行毎に順次出力された撮像信号を撮像データに変換する処理を開始する。そして、ＡＤＣ１０５は変換した行毎の撮像データを行メモリ部１０８に順次供給する。

時刻ｔ９において、行メモリ部１０８は、ＡＤＣ１０５から供給された撮像データを順次格納し、格納した撮像データを画像処理部１０９に順次供給する。このとき、ＡＤＣ１０５が画素アレイ部１０４の１行目の撮像信号の変換を終え、２行目の変換を開始するのと並行して、行メモリ部１０８は供給された１行目の撮像データを格納する。このような動作を繰り返し行う。フレームメモリ部１１２は格納した入力撮像データを画像処理部１０９に供給する処理を開始する。

時刻ｔ１０において、画像処理部１０９は供給された入力撮像データと撮像データを用いた合成処理を開始する。時刻ｔ１１において、ＡＤＣ１０５は画素アレイ部１０４の最終行の撮像信号を撮像データに変換し、そのデータを行メモリ部１０８に供給する。これにより、ＡＤＣ１０５はアナログ／デジタル変換処理を終了する。

時刻ｔ１２において、行メモリ部１０８は画素アレイ部１０４の最終行の撮像データを格納し、そのデータを画像処理部１０９に供給する。これにより、行メモリ部１０８は撮像データの格納および供給を終了する。フレームメモリ部１１２は入力撮像データの供給を完了する。

時刻ｔ１３において、合成処理が完了すると、画像処理部１０９は合成処理を行ったＲＡＷ画像を圧縮部１１０に供給する。圧縮部１１０は供給されたＲＡＷ画像に可逆圧縮およびメタデータを付加する処理を開始する。なお、合成処理が完了したＲＡＷ画像に対して、シェーディング補正やキズ補正などの画像処理を行ってもよい。

時刻ｔ１４において、圧縮部１１０は圧縮処理を終了し、生成した圧縮ＲＡＷ画像を出力部１１１に供給する。出力部１１１は供給された圧縮ＲＡＷ画像を記録媒体２０３へ供給する。そして、記録媒体２０３は供給された圧縮ＲＡＷ画像の格納を開始する。

時刻ｔ１５において、記録媒体２０３は圧縮ＲＡＷ画像の格納を完了し、格納処理を終了する。この処理が終了することで、一連の処理が終了する。

なお、合成処理したＲＡＷ画像を現像処理部１１３により現像処理し、得られた現像画像を圧縮部１１０により圧縮して、記録媒体２０３に格納するようにしても構わない。

以上のように、第３の実施形態における撮像装置は、２つの撮像素子を備え、それぞれの撮像データを合成した合成画像を取得することができる。第３の実施形態で説明したように、一方を長秒蓄積撮影で、他方を短秒蓄積撮影することで、長秒撮影が必要な天体写真と短秒撮影が好ましい人物写真の合成画像などを得ることができる。また、図９では第１の撮像素子１００と第２の撮像素子７０１は同時に撮影を開始したが、撮影開始時刻をずらしてもよい。また、露光時間を第１の撮像素子１００と第２の撮像素子７０１とで同じにしてもよい。加えて、第１の撮像素子１００と第２の撮像素子７０１とで蓄積時間だけでなく、ＩＳＯ感度などその他の撮影条件を変えてもよい。

ここで、第３の実施形態で行う合成処理の具体的な応用例について説明する。図７（ａ）では、各撮像素子の位置関係とそれらの撮像素子から得られた撮像データから、奥行き情報を付加した画像を生成する合成処理や、それぞれの撮像データをつなぎ合わせたパノラマ画像を生成する合成処理を行うことができる。図７（ｂ）では、同じ被写体に対して、撮像素子毎に異なるＩＳＯ感度や蓄積時間に設定し、得られた画像を用いて高階調のＲＡＷ画像を作成する合成処理を行うことができる。もちろん、前述した合成処理ではなくユーザが操作部にて指定した画像処理を行ってもよい。

なお、第３の実施形態では、各撮像素子で生成される撮像データを用いて合成処理を行ったが、この処理に記録媒体２０３に記録されている圧縮ＲＡＷ画像を加えてもよい。なお、２つの撮像素子から得られる撮像データを用いることは必須ではなく、第２の撮像素子７０１の撮像データと記録媒体２０３に記録されている圧縮ＲＡＷ画像を用いて画像処理を行ってもよい。

また、第１の撮像素子１００で得られた撮像データと第２の撮像素子７０１で得られた撮像データを合成処理せずに、それぞれを画像処理し、圧縮処理をして出力してもよい。

時刻ｔ１３において、ＲＡＷ画像に可逆圧縮を行って圧縮ＲＡＷ画像を生成する処理を開始したが、第２の実施形態のように現像画像を生成し、その画像に対してＪＰＥＧ符号化方式を用いて圧縮することで、ＪＰＥＧ画像を生成してもよい。

上記の通り第３の実施形態によれば、第２の撮像素子７０１から出力される圧縮済みの撮像データと、第１の撮像素子１００で生成した撮像データを使用した、新たなＲＡＷ画像を生成することができる。また、第１の撮像素子１００の内部に伸長部１０７を備えることで、データサイズが小さい圧縮された形式の画像を第１の撮像素子１００に入力することができるので、第１の撮像素子１００と第２の撮像素子７０１間のデータ通信量を削減することができる。また、伸長処理が行われた撮像データを並列に送信することで、通信時間を削減することができる。

以上のように、第１〜第３の実施形態によれば、撮像素子の外部にある画像データを高速に入力し、撮像素子内部で処理することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、非可逆圧縮方式で圧縮された画像を撮像素子１００に入力し、伸長処理を行った場合、圧縮前のデータに比べて情報の欠落はあるが、本発明の処理を適用することができる。

また、撮像素子１００のＡＤＣは信号処理基板１０２に配置されているとしたが、撮像基板１０１に配置されていてもよい。また、ＡＤＣは画素アレイ部の画素列毎に配置されているとしたが、画素部とＡＤＣが１対１の対応関係になるように、信号処理基板１０２または別の基板にＡＤＣを配置してもよい。

また、ある処理部の処理内容を別の処理部に含めてもよい。具体的には、圧縮ＲＡＷ画像に付加するメタデータを伸長部で解析、抽出するとしたが、この処理を画像処理部で行ってもよい。

更に、図１では、入力部と伸長部は画像処理部と同じ基板上に配置したが、同じ基板上にある必要はない。例えば、第１の実施形態では撮像素子１００が２枚の基板で構成されていたが、３枚以上の構成としてもよい。その場合、例えば、第１の基板に画素アレイ部と垂直走査回路を、第２の基板に画像処理部、現像処理部、およびメモリ部を、また、第３の基板に入力部、出力部、伸長部、圧縮部、ＴＧ、ＣＰＵを配置する。

また、撮像素子１００は撮像基板１０１と信号処理基板１０２が積層された構造となっているとしたが、積層された構成ではなく、それぞれの基板の機能を一つの基板に集約した構成としてもよい。

１００：撮像素子、１０１：撮像基板、１０２：信号処理基板、１０３：画素部、１０４：画素アレイ部、１０６：入力部、１０７：伸長部、１０９：画像処理部、１１０：圧縮部、１１１：出力部、１１３：現像処理部

Claims (7)

1. 光電変換素子を備える複数の画素部を有する撮像部と、処理部とを備え、
   前記処理部は、
   外部から、圧縮された画像信号を入力するための入力手段と、
   前記入力手段により入力される圧縮された前記画像信号を伸長するための伸長手段と、
   前記画素部から得られた撮像信号および前記伸長手段により伸長された画像信号に画像処理を行う画像処理手段と
   を備えることを特徴とする撮像素子。
2. 前記処理部は、更に、
   前記画像処理手段により画像処理された撮像信号および画像信号を圧縮するための圧縮手段と、
   前記圧縮手段により圧縮された撮像信号および画像信号を外部に出力するための出力手段と
   を備えることを特徴とする請求項１に記載の撮像素子。
3. 前記伸長手段は、圧縮された画像信号のデータ構造を解析して前記画像信号に付属されているメタデータを抽出し、伸長した前記画像信号および抽出した前記メタデータを前記画像処理手段に供給し、
   前記画像処理手段は、前記伸長手段から供給された前記メタデータを用いて、伸長した前記画像信号に画像処理を行うことを特徴とする請求項１または２に記載の撮像素子。
4. 前記撮像部と前記処理部は、積層構造を有する互いに異なる基板上に構成され、電気的に接合されていることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記処理部は、前記画素部から得られた撮像信号と、前記伸長手段により伸長された画像信号とを演算して合成する演算手段を更に有し、
   前記画像処理手段は、更に、前記演算手段により合成された信号に前記画像処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記画像処理手段は、前記画素部から得られた撮像信号と、前記伸長手段により伸長された画像信号とを合成し、該合成した信号に前記画像処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
7. 請求項１乃至６のいずれか１項に記載の撮像素子と、第２の撮像素子とを有し、
   前記第２の撮像素子が、
   光電変換素子を備える複数の第２の画素部と、
   前記第２の画素部から得られた画像信号を圧縮する第２の圧縮手段と、
   前記第２の圧縮手段により圧縮された画像信号を出力するための第２の出力手段と、を有し、
   前記画像処理手段は、前記画素部から得られた撮像信号と、前記第２の出力手段から前記入力手段に入力され、前記伸長手段により伸長された画像信号に画像処理を行うことを特徴とする撮像装置。

Images