JP7037396B2 - 撮像素子、撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像素子、撮像装置及び撮像方法に関し、特に異なる露出で複数の画像を撮影して伝送する撮像素子、撮像装置及び撮像方法に関するものである。

従来より、撮像素子から露出を変えながら複数の画像を読み出し、読み出した複数の画像の合成を行って、ダイナミックレンジの広い１枚の画像を生成する技術が提案されている。例えば、特許文献１では、それぞれ異なる露光時間で撮影した複数の画像をそれぞれ異なる圧縮データに圧縮し、伸長後に合成処理を行うことでダイナミックレンジが拡張された１枚の画像を得る技術が開示されている。

ところで、近年では撮像素子の画素数の増大とフレームレートの高速化によって、読み出しデータ量が増大し、伝送路の帯域がひっ迫してしまうという課題がある。このような課題に対し、特許文献２では撮像素子内に画像データを圧縮する圧縮部を備え、圧縮部によって圧縮された画像データを伝送することで、伝送路の帯域を広げることなく大量の画像データを伝送可能としている。このような画像データの圧縮の際には、一定の画素数ごとに固定長圧縮を施すことで伝送路の帯域を所定の帯域に制限することが可能となり、さらには受信側の伸長及び画像処理部において所定の座標位置の画素を特定することが容易となる。

このように、特許文献２の技術を用いることで、特許文献１に記載されたそれぞれ異なる露光時間で撮影した複数の画像の画像データを伝送する際の伝送路の帯域ひっ迫を抑制することが可能となる。

特開２０１３－１７９５８４号公報 特開２０１４－１０３５４３号公報

しかしながら、特許文献１に記載されたように、異なる露光時間で撮影した画像をそれぞれ異なる圧縮データに固定長圧縮処理を行うと、黒潰れや白潰れした領域も諧調が十分にある領域と同じ符号長に圧縮されてしまい、符号量に無駄が生じてしまう。一方、可変長圧縮を行うと、黒潰れや白潰れした領域には少ない符号量、諧調が残っている領域に対しては相対的に多くの符号量を割り振ることが可能となるが、伝送路の帯域を一定に制限することが困難となる。

本発明は上記問題点を鑑みてなされたものであり、異なる露出の画像データに対して効率良く符号量を割り振りつつ、伝送路の帯域を一定に制限することを目的とする。

上記目的を達成するために、本発明の撮像素子は、複数の異なる露出で被写体を撮影して、露出の異なる複数の画像データを出力する撮像手段と、予め決められたデータ長の各圧縮単位内に、前記露出の異なる複数の画像データが混在するように、前記露出の異なる複数の画像データを分割して並び替える並び替え手段と、前記並び替え手段により並び替えられた前記複数の画像データを、前記圧縮単位ずつ符号化して、符号化データを出力する圧縮手段とを有し、前記並び替え手段は、前記各圧縮単位内に、前記撮像手段の同じ領域から得られた前記露出の異なる複数の画像データを含むように並び替えることを特徴とする。

本発明によれば、異なる露出の画像データに対して効率良く符号量を割り振りつつ、伝送路の帯域を一定に制限することが可能となる。

本発明の実施形態における撮像装置の構成を示すブロック図。 第１の実施形態における撮像素子の構成を示すブロック図。 第１の実施形態における高露出画像及び低露出画像の電荷蓄積及び読み出しのタイミングを示すタイミングチャート。 第１の実施形態における異なる露出で得られた複数の画像と、ダイナミックレンジ拡張処理後の画像の一例を示す図。 第１の実施形態における並び替え処理を説明するための図。 第１の実施形態における圧縮部の構成例を示すブロック図。 第１の実施形態における圧縮部の一連の処理を示すフローチャート。 第１の実施形態における画像処理回路の機能構成を示すブロック図。 第２の実施形態における撮像素子を適用した撮像装置の構成を示した図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態における画像処理機能を有する撮像装置の一例として、デジタルカメラの構成を示すブロック図である。

図１において、１００は撮像装置、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子である。

タイミング発生回路１８は、撮像素子１４にクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用できる。

画像処理回路２０は、撮像素子１４からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は、撮像素子１４から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、及び、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等の露出制御を行っている。更に、後述するように、撮像素子１４から出力される異なる露出で撮影された複数の画像の画像データを合成して、ダイナミックレンジを拡大した１枚の画像を生成する。更に、画像処理回路２０は、撮像素子１４から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

メモリ制御回路２２は、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。撮像素子１４から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いは撮像素子１４のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴ ＬＣＤ等から成り、メモリ３０に書き込まれた表示用の画像データが画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ファインダ（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は、撮影した静止画像や動画像を格納するために用いられ、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

システム制御回路５０は、撮像装置１００全体を制御する。不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成され、システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮伸長する。また、圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。焦点調節部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、撮像素子１４からの画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及び焦点調節部４２を制御する。

操作手段６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するために用いられ、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンの操作途中でONとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、読み出し処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。読み出し処理では、フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。そして、撮像素子１４から読み出した信号を撮像素子１４、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。更に、メモリ３０から画像データを読み出して、圧縮・伸長回路３２で圧縮を行い、記録媒体２０１に画像データを書き込む記録処理が行われる。

表示切替スイッチ６６は、画像表示部２８の表示切替をすることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等から成り、ユーザーが各種設定や指示を行うために用いられる。ズームスイッチ７２は、ユーザーが撮像画像の倍率変更指示を行うために用いられる。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ－ｉｏｎ電池等の二次電池、ＡＣアダプター、または外部バッテリー等からなる。

インタフェース９０は、メモリカードやハードディスク等の記録媒体とのインタフェース、コネクタ９２は、メモリカードやハードディスク等の記録媒体と接続を行う。

光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

通信回路７３は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は、通信回路７３により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

記録媒体２０１は、メモリカードやハードディスク等の記録媒体である。この記録媒体２０１は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

図２は、本第１の実施形態における撮像素子１４の構成を示すブロック図である。図２（ａ）に示すように、撮像素子１４は、撮像部１０１と、並び替え部１０２と、圧縮部１０３とを含む。図２（ｂ）は、撮像部１０１の構成を示す図であり、画素部１１０、増幅部１１１、Ａ／Ｄ変換部１１２、垂直走査回路１１３、水平走査回路１１６を含む。

画素部１１０には、複数の単位画素セル２００が行列状に設けられ、垂直走査回路１１３から出力される各種の制御信号によって、その駆動が制御される。増幅部１１１には、複数の増幅回路２１０が各画素列に対応して設けられ、単位画素セル２００から出力された電圧信号を反転増幅して出力する。

Ａ／Ｄ変換部１１２には、複数のＡ／Ｄ変換回路２２０が各列に対応して設けられ、増幅部１１１から出力された電圧信号（アナログ信号）をデジタル値（デジタル信号）にアナログデジタル（Ａ／Ｄ）変換して出力する。Ａ／Ｄ変換部１１２により変換されたデジタル値は、水平走査回路１１６から供給される走査信号に従って出力される。

図２（ｃ）は、本第１の実施形態における単位画素セル２００の構成を示すブロック図である。単位画素セル２００は、光の受光量に応じた電荷を発生して蓄積する、フォトダイオードに代表される光電変換部ＰＤと、２つのメモリ部ＭＥＭ１，ＭＥＭ２を有する。本第１の実施形態では、スイッチＴＸ１をＯＮにすることで、光電変換部ＰＤにより得られた、露出の高い高露出画像をメモリ部ＭＥＭ１に転送して保持する。また、スイッチＴＸ２をＯＮにすることで、露出の低い低露出画像をメモリ部ＭＥＭ２に転送して保持するものとして説明する。なお、高露出画像及び低露出画像の電荷蓄積及び読み出しのタイミングなどについては、図３を参照して詳細に後述する。また、低露出画像をメモリ部ＭＥＭ１に、高露出画像をメモリ部ＭＥＭ２に転送するように制御しても構わない。メモリ部ＭＥＭ１，ＭＥＭ２に転送された画像は、各々Ａ／Ｄ変換部１１２によりＡ／Ｄ変換された後、並び替え部１０２に出力される。

次に、図３のタイミングチャートを参照して、高露出画像及び低露出画像の電荷蓄積及び読み出しのタイミングについて説明する。なお、第１の実施形態では、動画を撮影しているものとし、１／６０秒毎に高露出画像と低露出画像を各１枚（計２枚）取得するものとする。また、高露出画像と低露出画像を撮影する際の露出値は、撮影準備中に得られた画像データの輝度に基づいて、画像処理回路２０及び／またはシステム制御回路５０が決定する。このとき、例えば、複数の輝度に対する複数の異なる露出値を予め保持しておき、得られた輝度に対応する露出値を選択したり、ユーザーが露出値を指定するなど、公知の方法を用いて使用する露出値を決定すれば良い。そして、決定された露出値に基づいて、絞り機能を備える機械式シャッター１２による絞り、光電変換部ＰＤにおける蓄積時間、増幅部１１１におけるＩＳＯ感度の少なくともいずれかを制御して、露出を調節する。なお、図３に示す例では、少なくとも蓄積時間を変更することにより露出を異ならせる場合について説明する。

まず、時間ｔ０において、第１フレームの撮影を開始する。そして、期間ｔ０～ｔ１に高露出画像の露光を行い、時間ｔ１にスイッチＴＸ１をＯＮとして、光電変換部ＰＤに蓄積された電荷を、メモリ部ＭＥＭ１へ一括転送する。そして、期間ｔ１～ｔ３の間に、メモリ部ＭＥＭ１から電荷を読み出し、Ａ／Ｄ変換部１１２によりＡ／Ｄ変換して、高露出画像として並び替え部１０２に出力する。

次に、期間ｔ１～ｔ２に低露出画像の露光を行い、時間ｔ２にスイッチＴＸ２をＯＮとして、光電変換部ＰＤに蓄積された電荷を、メモリ部ＭＥＭ２へ一括転送する。そして期間ｔ２～ｔ４の間に、メモリ部ＭＥＭ２から電荷を読み出し、Ａ／Ｄ変換部１１２によりＡ／Ｄ変換して、低露出画像として並び替え部１０２に出力する。

また、時間ｔ２において、動画の第２フレームの露光を開始する。期間ｔ２～ｔ３に、２枚目の画像を生成する為の高露出画像の露光を行い、時間ｔ３にスイッチＴＸ１をＯＮとして、光電変換部ＰＤに蓄積された電荷を、メモリ部ＭＥＭ１へ一括転送する。ここで、図３に示す例では、高露出画像は飽和レベルに達し、高輝度画像の画像データの一部の情報が失われている。そして、期間ｔ３～ｔ５の間に、メモリ部ＭＥＭ１から電荷を読み出し、Ａ／Ｄ変換部１１２によりＡ／Ｄ変換して、高露出画像として並び替え部１０２に出力する。

次に、期間ｔ３～ｔ４に低露出画像の露光を行い、時間ｔ４にスイッチＴＸ２をＯＮとして、光電変換部ＰＤに蓄積された電荷を、メモリ部ＭＥＭ２へ一括転送する。この時、低露出画像は飽和レベルに達していないため、諧調が十分に残っている状態である。そして、期間ｔ４～ｔ６の間に、メモリ部ＭＥＭ２から電荷を読み出し、Ａ／Ｄ変換部１１２によりＡ／Ｄ変換して、低露出画像として並び替え部１０２に出力する。

その後、時間ｔ４に、第３のフレームの露光を開始し、以降は時間ｔ４までと同様に露光及びメモリ部ＭＥＭ１，ＭＥＭ２への転送と読み出しが行われる。

並び替え部１０２は、メモリ部ＭＥＭ１，ＭＥＭ２からの入力を、後述する圧縮部１０３の圧縮単位の半分の単位で線順次に混在するように並び替えて圧縮部１０３に出力する。

ここで、図４及び図５を用いて、並び替え部１０２における並び替え処理について説明する。図４は、異なる露出で得られた複数の画像と、ダイナミックレンジ拡張処理後の画像の一例を示す図である。図４（ａ）は、高露出画像の一例を示しており、飽和レベルに達した領域４００の諧調が失われている。図４（ｂ）は、図４（ａ）と同じ被写体を低露出で撮影した低露出画像の一例を示しており、領域４００と同じ座標領域にある領域４０１の諧調が残っている。また、図４（ｃ）は、高露出画像と低露出画像を合成して、ダイナミックレンジの拡張処理が行われた出力画像の一例を示している。

図５（ａ）及び（ｂ）は、それぞれ、図４（ａ）及び（ｂ）に示す領域４００，４０１の領域を表しており、領域４００，４０１の水平画素数は、圧縮部１０３において予め決められたデータ長ずつ行われる固定長圧縮の圧縮単位とする。また、説明を分かり易くするために、垂直方向の画素をライン数として記述しており、並び替えがライン方向にも同様に処理されることを示している。

図５（ｃ）は、並び替え処理が行われた後のデータの概念を示したものであり、圧縮単位の半分の水平画素数で高露出画像と低露出画像が交互に並び替えられている。４００’は、領域４００の前半部分に対応し、４０１’は、領域４０１の前半部分に対応する。また、４００”は、領域４００の後半部分に対応し、４０１”は、領域４０１の後半部分に対応する。

並び替え部１０２は、高露出画像と低露出画像のすべての画像データについて、圧縮単位毎の並べ替えを行う。

なお、並び替え部１０２には高露出画像と低露出画像の読み出しタイミングを調整する目的でバッファを有することが望ましい。例えば、期間ｔ１～ｔ２は、低露出画像の蓄積時間であるため、メモリ部ＭＥＭ１に保持された高露出画像を連続的に読み出して、Ａ／Ｄ変換部１１２によりＡ／Ｄ変換して出力する。そして、時間ｔ２以降は、メモリ部ＭＥＭ１に保持された高露出画像とメモリ部ＭＥＭ２に保持された低露出画像を、交互にＡ／Ｄ変換して出力する。更に、メモリ部ＭＥＭ１から高露出画像の読み出しが終了すると、メモリ部ＭＥＭ２に保持された低露出画像を連続的に読み出して、Ａ／Ｄ変換して出力する。このように、読み出した高露出画像及び低露出画像を一時的にバッファに保持することで、高露出画像及び低露出画像の読み出しと、画像データの並び替え処理とを効率的に行うことができる。なお、メモリ部ＭＥＭ１及びメモリ部ＭＥＭ２からの読み出しタイミングは上記に限られるものでは無く、画像データの読み出しと並べ替えを効率良く行えるように制御すれば良い。

圧縮部１０３は、並び替え部１０２の出力（並び替えデータ）に対して所定の圧縮を行い、画像処理回路２０に出力するための不図示のプロトコル変換を行い、不図示の出力バッファを介して画像処理回路２０に出力する。

なお、並び替え部１０２による並び替え処理は、複数画像を合成するダイナミックレンジ拡大処理を行う場合に実施するが、これを行わない場合には、並び替え処理を行わずに、そのまま画像データを圧縮部１０３に出力する。

次に、図６および図７を参照して、圧縮部１０３の詳細について説明する。図６は圧縮部１０３の構成例を示すブロック図である。圧縮部１０３は、量子化部６０１、エントロピー符号化部６０２、符号量計測部６０３、符号量制御部６０４によって構成される。

量子化部６０１は、並び替えデータの画素間の差分値（以降、「差分値」と呼ぶ。）を抽出し、差分値の量子化データを生成する。なお、画素間の差分値を取る前にガンマテーブルによる輝度値の変換を行うことで、より効率的に圧縮するための差分情報を算出することができる。特に、高露出画像と低露出画像の画像データの露出段数分の急峻な傾きを有するガンマテーブルであることが望ましい。つまり、低露出画像データのガンマテーブルは、高露出画像データのガンマテーブルよりも急峻な傾きを有していることが望ましい。

エントロピー符号化部６０２は、入力されるデータ（シンボル）の出現頻度に基づいてそれぞれの量子化データに符号を割り当て、符号化データを生成する。エントロピー符号化の方式としては周知の技術であるゴロム符号化や、ハフマン符号化が知られているが、本発明は符号化方式により限られるものではない。

符号量計測部６０３は、圧縮単位の符号化データ量を計測する。符号量制御部６０４は、符号量計測部６０３により計測された符号化データ量に基づいて、符号量を制御する。

図７は、圧縮部１０３における一連の処理のフローチャートである。圧縮処理が開始されると、圧縮単位の並び替え部１０２からの出力（並び替えデータ）が量子化部６０１に入力される。

最初に、Ｓ７０１では、量子化部６０１により圧縮単位内の隣接画素間の差分値を算出する。次に、Ｓ７０２では、量子化部６０１によりＳ７０１で算出された差分値を所定の値を用いて量子化する。所定の値は、量子化ステップを決定するパラメータであり、後述の符号量制御部６０４によって動的に決定される。以降、所定の値をＱＰ（Quantization Parameter：量子化パラメータ）と記す。差分値はＱＰで除算され、除算結果の小数部を四捨五入することによって量子化される。

次に、Ｓ７０３では、エントロピー符号化部６０２により、量子化された差分値に対して符号の割り当てを行う。Ｓ７０４では、符号量計測部６０３が符号化されたデータが、目標となるデータ量（目標符号化データ量）に収まっているか否かを判定する。第１の実施形態においては、目標符号化データ量には、撮像素子１４から画像処理回路２０への伝送路の帯域に収まる符号化データ量が固定長で設定される。

Ｓ７０４において、符号化されたデータが目標符号化データ量に収まっていないと判定された場合はＳ７０５へと進み、符号化データ量と、目標符号化データ量との差分に応じて、ＱＰを増減して、目標符号化データ量に収まるように符号量制御を行う。

一方、Ｓ７０４において、符号化されたデータが目標符号化データ量に収まっていると判定された場合はＳ７０６へと進み、符号量計測部６０３は符号化データを出力する。なお、出力時には各圧縮単位の量子化に用いたＱＰや符号化の際の符号割り当て情報等の画像データが混在する情報（以降、「符号化パラメータ」と呼ぶ。）を出力データと対応づけてヘッダ情報として出力する。なお、この時に並び替えされた画像データの切り替わり形式についての情報を付与しても良い。

従来のように、並び替え部１０２による並び替え処理を行わない場合、圧縮部１０３は、高露出画像である図４（ａ）に示す画像と、低露出画像である図４（ｂ）に示す画像を各々独立して圧縮することになる。この時、高露出画像は諧調が無くなっている部分が存在するため、量子化部６０１の差分算出の際にほぼ差分が無いデータがエントロピー符号化部６０２に出力され、符号化データとして画像処理回路２０に出力される。

一方、低露出画像には諧調が残っているため、量子化部６０１の差分算出の際に差分が多く含まれるデータに量子化される。量子化されたデータはエントロピー符号化部６０２で符号化されるが、符号化結果のデータ量によって再度量子化部６０１に入力される場合が存在する。

従来、諧調の残っていない画像に対する符号化データも諧調の残っている画像に対する符号化データも同一の符号長に設定されるため、諧調の残っていない画像には符号長を調整するためのダミーデータが付与される。一方で、諧調の残っている画像の画質を劣化させて符号長を固定長に調整する場合が存在する。

これに対し、第１の実施形態では、並び替え部１０２によって、図５（ｃ）のように諧調の残っている画像データと階調の残っていない画像データを交互に配置する。これにより、諧調の残っている部分には、諧調が残っていない部分に対して、相対的に多くの符号を割り当てることが可能となる。

なお、第１の実施形態では、高露出画像に諧調が残っていない部分が存在する場合について説明したが、本発明はこれに限られるものではない。低露出画像に黒潰れが存在し、諧調が残っていない場合にも、同様の処理により効率良く圧縮処理を行うことが可能となる。

また、高露出画像と低露出画像それぞれに諧調が残っている場合には、前述の量子化部６０１でガンマテーブルによる輝度値の変換を行うと、同一被写体に対する変化量が高露出画像と低露出画像で類似した差分値を得ることが可能となる。このような場合、類似した差分値をエントロピー符号化することが可能となるため、符号の割り当てを効率的に行うことが可能となる。

なお、圧縮部１０３において、露出の異なる画像データの切り替え点において、リスタートマーカーを設定しても良い。また、切り替え点において、差分値のリファレンス画素値を輝度の中間値（グレー）に設定しても良い。その場合には、後述の伸張部８２１において切り替わり点のリファレンス画素値をグレーに設定する。またリファレンス画素値を適応的に変更する場合は、ヘッダ情報にリファレンス画素値を付与しても良い。

撮像素子１４と画像処理回路２０とは、物理的な配線により接続されている。撮像素子１４と画像処理回路２０は一般的に、それぞれが一つの集積回路で構成されるため、高速な転送レートに対応することが可能である。一方、集積回路間をつなぐ配線は、ノイズ及びＡＣ特性の影響により、集積回路内部のバスに比べて遅い特徴を有している。

なお、本実施形態では、撮像素子１４と画像処理回路２０の間の配線の転送速度が律測される場合において、圧縮部１０３を撮像素子１４が含む構成としている。しかしながら、本発明はこれに限られるものでは無く、例えば、中間にＦＰＧＡのような集積回路を挟んでも良い。そのような場合においては、並び替え部１０２による並び替え処理を撮像素子１４もしくはＦＰＧＡで行い、圧縮処理をＦＰＧＡで行うことで、本発明と同等の効果を得ることが可能となる。

次に、画像処理回路２０の構成及び処理について説明する。図８（ａ）は、第１の実施形態における画像処理回路２０の機能構成を示すブロック図、図８（ｂ）は、画像処理回路２０に含まれる分離部８２２の構成を示す回路図である。図８（ａ）に示すように、画像処理回路２０は、伸張部８２１、分離部８２２、ハイダイナミックレンジ（ＨＤＲ）処理部８２３、現像部８２４を含む。

圧縮部１０３からの出力は、不図示のキャプチャ回路及びヘッダ情報の解釈部を介して、符号化データ及び符号化データのヘッダ情報に付与されている符号化パラメータが伸張部８２１に入力される。伸張部８２１に符号化データ及び符号化パラメータが入力されると、伸張部８２１は、符号化パラメータからＱＰ等の伸長処理に必要な情報を読み取る。そして、伸張部８２１は、読み取った伸長処理に必要な情報に基づいて符号化データの伸長処理を行い、伸長データを後段の分離部８２２へと出力する。

図８（ｂ）に示すように、分離部８２２は、制御信号がＨｉｇｈのときにデータを通すゲート８００、Ｌｏｗのときにデータを通すマスク８０１、制御信号を発生する比較器８０３、カウンタのＭＡＸ値を判定する比較器８０４、カウンタの遅延素子８０５、加算部８０２、初期化部８０６を有する。そして、分離部８２２は伸長されたデータ、伸長されたデータの有効期間と、ヘッダ情報もしくは予め決められた設定値として、切り替わりの画素数及び圧縮単位画素数をパラメータとして入力する。なお、切り替わりの画素数とは、圧縮単位内に含まれる複数の画像間の切り替わり点の画素位置までの画素数のことである。本第１の実施形態では、切り替わりの画素数は、図５（ｃ）に示す圧縮単位の半分に相当する画素数、また、圧縮単位画素数は、図５（ｃ）に示す圧縮単位の画素数に対応する。ここでは０からカウントアップするカウンタに基づいて説明を行うため、各パラメータを－１した値を入力する。分離部８２２は、入力された情報に基づいて、高露出画像データ及び高露出画像データ有効期間と、低露出画像データ及び低露出画像データ有効期間を判別して出力する。

カウンタの遅延素子８０５、加算部８０２、初期化部８０６は、圧縮単位の画素数分カウントアップすると初期化されるフリーランカウンタを形成する。このフリーランカウンタのカウント数は、比較器８０３によって切り替わり画素数に達しているかどうかが判定され、比較器８０３は、判定結果に応じた制御信号を発生する。具体的には、比較器８０３は、切り替わり画素数に達していなければ、制御信号としてＨｉｇｈを出力し、切り替わり画素数に達していれば、制御信号としてＬｏｗを出力する。

制御信号がＨｉｇｈの時に、ゲート８００は、伸長データ及び伸長データ有効期間を通すことで、高露出画像データと高露出画像データ有効期間が出力される。また、制御信号がＬｏｗの時に、ゲート８０１は、伸長データ及び伸長データ有効期間を通すことで、低露出画像データと低露出画像データ有効期間が出力される。このように構成することで、伸長された画像データを、高露出画像データと低露出画像データとに分離して、ＨＤＲ処理部１０９に出力することができる。

分離部８２２により分離された高露出画像データと高露出画像データ有効期間は、ＨＤＲ処理部１０９の高露出側の画像データとして入力される。また低露出画像データと低露出画像データ有効期間は、ＨＤＲ処理部１０９の低露出側の画像データとして入力される。

ＨＤＲ処理部１０９は、入力された高露出画像データと低露出画像データを用いてダイナミックレンジの拡張処理を行い、得られた画像データを現像部８２４に出力する。なお、複数の異なる露出の画像データを合成してダイナミックレンジを拡張する方法としては、公知の方法を用いれば良いため、ここでは説明を省略する。

現像部８２４は、ダイナミックレンジを拡張した画像データに対して、ＷＢ補正、ガンマ補正、デモザイキング処理に代表されるデジタル信号処理を施して出力する。出力された画像データは、上述したように圧縮・伸長回路３２により圧縮処理を施された後、記録媒体２０１に記録される。

上記の通り本第１の実施形態によれば、高露出画像の画像データと低露出画像の画像データを圧縮単位の中に混在するように分割して並び替えてから、圧縮処理を行う。これにより、異なる露出の画像データに対して効率良く符号量を割り振りつつ、伝送路の帯域を一定に制限することが可能となる。

なお、上述した例では、高露出画像と低露出画像の２種類の露出の画像を合成してダイナミックレンジを拡張する場合について説明したが、３種類以上の異なる露出で撮影した画像を用いてダイナミックレンジを拡張するようにしてもよい。その場合、圧縮単位画素数を露出の種類の数で割った長さの画素数ずつ、それぞれの露出の画像データを混合するように並び替えれば良い。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、撮像素子１４から画像処理回路２０に接続される場合に、動画撮影中に伝送路がひっ迫しないようにする構成について説明を行った。しかしながら撮像素子１４の出力は必ずしも画像処理回路２０に接続される必要はなく、一次記憶装置を介して接続を行ってもよい。

第２の実施形態では、ＨＤＲ静止画連写中など一定の期間のみ多くの伝送が発生する場合に、撮像素子１４と画像処理回路２０間の伝送路のひっ迫を緩和する方法について、図９を用いて説明する。なお、第１の実施形態で説明を行った図２及び図８に示す構成要素と同様の構成要素については、同じ参照番号を付し、説明を省略する。

図９において、圧縮部１０３により圧縮された符号化データは、伝送路１０６を介してＤＲＡＭＩＦ９０１に出力され、ＤＲＡＭＩＦ９０１は、符号化データをＤＲＡＭ９０２に出力する。また、ＤＲＡＭＩＦ９０１は、画像処理回路２０の不図示の制御情報に基づいて、ＤＲＡＭ９０２にバッファリングされた符号化データを読み出し、伝送路９０３に出力する。ＤＲＡＭ９０２はＤＲＡＭＩＦ９０１の制御情報に基づいて、複数の異なる露出の符号化データを書き込み、もしくは読み出し処理を行う。

読み出された符号化データは、伝送路９０３を介して画像処理回路２０に出力され、第１の実施形態と同様に処理される。伝送路９０３は伝送路１０６よりもスループットが低いという特徴を持つ。例えば、近年の撮像素子とＤＲＡＭを積層することで撮像素子とＤＲＡＭ間のスループットが高く、ＤＲＡＭと画像処理回路間のスループットが相対的に低いようなデバイスに対して適用される。

このように処理を行うことで、ハイダイナミックレンジ合成を行いながらの静止画連写中にバスの帯域が一時的にひっ迫する際に、中間バッファとしてＤＲＡＭを配置することで、伝送路のひっ迫を緩和することが可能となる。

１４：撮像素子、２０：画像処理回路、５０：システム制御回路、１００：撮像装置、１０１：撮像部、１０２：並び替え部、１０３：圧縮部、ＭＥＭ１，ＭＥＭ２：メモリ部、８２１：伸長部、８２２：分離部、８２３：ＨＤＲ処理部、８２４：現像部、９０１：ＤＲＡＭＩＦ、９０２：ＤＲＡＭ、１０６，９０２：伝送路

Claims (14)

1. 複数の異なる露出で被写体を撮影して、露出の異なる複数の画像データを出力する撮像手段と、
   予め決められたデータ長の各圧縮単位内に、前記露出の異なる複数の画像データが混在するように、前記露出の異なる複数の画像データを分割して並び替える並び替え手段と、
   前記並び替え手段により並び替えられた前記複数の画像データを、前記圧縮単位ずつ符号化して、符号化データを出力する圧縮手段と、を有し、
   前記並び替え手段は、前記各圧縮単位内に、前記撮像手段の同じ領域から得られた前記露出の異なる複数の画像データを含むように並び替えることを特徴とする撮像素子。
2. 前記圧縮手段は、前記並び替えられた画像データの画素間の差分値を量子化することを特徴とする請求項１に記載の撮像素子。
3. 前記圧縮手段は、前記圧縮単位内における前記画像データを、前記画像データの露出に応じたガンマテーブルを用いて変換し、該変換した後の前記画像データの画素間の差分値を量子化し、
   より低い露出の画像データに用いる前記ガンマテーブルは、より高い露出の画像データに用いる前記ガンマテーブルよりも、露出の差分、急峻な傾きを有することを特徴とする請求項２に記載の撮像素子。
4. 前記並び替え手段は、前記各圧縮単位内に、前記露出の異なる複数の画像データを同じデータ量ずつ含むように並び替えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記圧縮手段は、前記符号化データに、前記圧縮単位内に混在する前記露出の異なる画像データに関する情報をヘッダ情報として対応づけて出力することを特徴とした請求項１から４のいずれか１項に記載の撮像素子。
6. 前記圧縮手段は、固定長圧縮を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 複数の異なる露出で被写体を撮影して、露出の異なる複数の画像データを出力する撮像素子と、
   予め決められたデータ長の各圧縮単位内に、前記露出の異なる複数の画像データが混在するように、前記露出の異なる複数の画像データを分割して並び替える並び替え手段と、
   前記並び替え手段により並び替えられた前記複数の画像データを、前記圧縮単位ずつ符号化して、符号化データを出力する圧縮手段と、
   前記符号化データを伸長し、伸長した画像データを用いて、ダイナミックレンジの広い１つの画像を生成する画像処理手段と、を有し、
   前記並び替え手段は、前記各圧縮単位内に、前記撮像素子の同じ領域から得られた前記露出の異なる複数の画像データを含むように並び替えることを特徴とする撮像装置。
8. 請求項１乃至６のいずれか１項に記載の撮像素子と、
   前記圧縮手段から出力された前記符号化データを伸長し、伸長した画像データを用いて、ダイナミックレンジを拡大した１つの画像を生成する画像処理手段と
   を有することを特徴とする撮像装置。
9. 前記画像処理手段は、
   前記圧縮手段から出力された前記符号化データを伸長して、前記伸長した画像データを出力する伸長手段と、
   前記伸長された画像データに含まれる前記複数の異なる露出の画像データを、露出ごとの画像データに分離する分離手段と、
   前記分離手段により分離された露出の異なる複数の画像データを合成して、ダイナミックレンジを拡大した１つの画像を生成する合成手段と
   を有することを特徴とする請求項７または８に記載の撮像装置。
10. 露出を制御する露出制御手段と、
    ２つ以上の異なる露出で連続して撮影を行うように制御する制御手段と
    を更に有することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 前記露出制御手段は、絞り、感度、露光時間の少なくともいずれかを制御することを特徴とする請求項１０に記載の撮像装置。
12. 前記圧縮手段から出力された符号化データを保持する保持手段を更に有し、
    前記画像処理手段は、前記保持手段に保持された符号化データを読み出して処理を行うことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。
13. 撮像手段が、複数の異なる露出で被写体を撮影して、露出の異なる複数の画像データを出力する撮像工程と、
    並び替え手段が、予め決められたデータ長の各圧縮単位内に、前記露出の異なる複数の画像データが混在するように、前記露出の異なる複数の画像データを分割して並び替える並び替え工程と、
    圧縮手段が、前記並び替え工程で並び替えられた前記複数の画像データを、前記圧縮単位ずつ符号化して、符号化データを出力する圧縮工程と、を有し、
    前記並び替え工程では、前記各圧縮単位内に、前記撮像手段の同じ領域から得られた前記露出の異なる複数の画像データを含むように並び替えることを特徴とする撮像方法。
14. 伸長手段が、前記圧縮工程で出力された前記符号化データを伸長して、伸長した画像データを出力する伸長工程と、
    分離手段が、前記伸長された画像データに含まれる複数の異なる露出の画像データを、露出ごとの画像データに分離する分離工程と、
    合成手段が、前記分離工程で分離された露出の異なる複数の画像データを合成して、ダイナミックレンジを拡大した１つの画像を生成する合成工程と
    を更に有することを特徴とする請求項１３に記載の撮像方法。

Images