JP7079080B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特には複数視点の画像に関する画像処理技術に関する。

ステレオ撮影やマルチアングル撮影など、被写体を複数の視点位置から撮影することで得られる画像（多視点画像）は、立体視の提供や、視点や合焦距離を変更した画像の生成などに用いられている。多視点画像は視点の数に等しいフレーム数の画像群であるため、データ量も視点の数とともに増加する。

特許文献１では、多視点画像を構成する複数の画像（サブイメージ）のデータをすべて送信する代わりに、サブイメージを加算平均した画像のデータと、各サブイメージ内の関心領域（ＲＯＩ）のデータを送信することが開示されている。

特開２０１５－１７１０９７号公報

特許文献１に開示された技術によれば、送信データ量を削減しつつ、ＲＯＩに関するリフォーカスを実現できる。しかしながら、リフォーカス可能な画像領域がＲＯＩに制限されるという課題がある。

本発明の目的は、多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供することにある。

上述の目的は、複数の視差画像の加減算に基づく複数の第１の差分画像と、複数の視差画像の加算に基づく現在の加算画像と過去の加算画像との第２の差分画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、複数の第１の差分画像と第２の差分画像とを符号化する符号化手段と、を有し、符号化手段は、複数の第１の差分画像については複数のサブバンドの一部のサブバンドのデータのみを符号化し、第２の差分画像については複数のサブバンドのデータを符号化するとともに、複数の第１の差分画像については高帯域成分を含むサブバンドのデータを符号化する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成を示したブロック図 実施形態に係るデジタルカメラの撮像部に関する図 実施形態に係る撮像部の画像圧縮部の機能構成に関する図 実施形態に係る画像圧縮部が実行するサブバンド分割に関する図 実施形態に係る画像圧縮部が有するウェーブレット変換部に関する図 実施形態に係る予測画像更新処理に関するフローチャート 実施形態に係る画像処理部の機能構成に関する図 第２実施形態における画像圧縮部の機能構成に関する図 第３実施形態におけるフレームアウト検出に関する模式図 第３実施形態に係る予測画像更新処理に関するフローチャート 第４実施形態に係る撮像部の機能構成に関する図 第４実施形態における像ずれ量検出に関する図 第４実施形態に係る動作に関するフローチャート

以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能ブロックは、プログラマブルロジックや回路部品といったハードウェア、プログラマブルプロセッサが実行可能なソフトウェア、またはそれらハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能ブロックは複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能ブロックを実現してもよい。また、１つ以上の機能ブロックは、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。

以下では、画像処理装置の一例としてのデジタルカメラに本発明を適用した実施形態を説明する。しかし、本発明は多視点画像を取り扱い可能な任意の電子機器に適用することが可能である。このような電子機器には、撮像装置をはじめ、コンピュータ、スマートフォン、タブレット端末、ゲーム機などの情報処理装置、家電製品、ロボットなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１は、本実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。制御部１０１は、例えば１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵ）である。制御部１０１は、例えばＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み込んで実行することにより、デジタルカメラ１００の各機能ブロックの動作を制御し、デジタルカメラ１００の機能を実現する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、制御部１０１が実行可能なプログラムのほか、各種の設定値、ＧＵＩデータなどを記憶する。
ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、プログラムを実行するためにシステムメモリとして用いられたり、データの一時的な記憶領域（バッファメモリ）として用いられたりする。

光学系１０４は、複数のレンズや絞りなどを有し、被写体の光学像を撮像部１０５の撮像面上に形成する。光学系１０４は着脱可能であってもなくてもよい。光学系１０４は、フォーカスレンズ、変倍レンズ、手振れ補正レンズなどの可動レンズと、可動レンズを駆動する機構を有する。

撮像部１０５は、画素部やその周辺回路（例えば、読み出し回路、Ａ／Ｄコンバータ、符号化回路など）を有する。後述するように、本実施形態の撮像部１０５は画像データを２次元サブバンド符号化してＲＡＭ１０３に一次記憶する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている符号化データを復号したり、復号で得られた画像データに対してホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用したりする。画像処理部１０７は一般にＡＳＩＣによって実装されるが、一部の処理を制御部１０１がプログラムを実行して実現してもよい。画像処理部１０７は処理を適用した画像データをＲＡＭ１０３に再度記憶する。なお、画像処理部１０７は、自動焦点検出（ＡＦ）や自動露出制御（ＡＥ）に用いる情報を画像データから取得する処理を実施してもよい。

制御部１０１は、撮像部１０５が出力する符号化データや、画像処理部１０７によって処理された画像データから画像ファイルを生成し、記録媒体１０８に記録する。画像処理部１０７が画像データに適用する処理と、制御部１０１が生成する画像ファイルの構成は、記録形式に応じて予め定められている。記録媒体１０８は例えば着脱可能なメモリカードである。

操作部１０９はユーザがデジタルカメラ１００に指示を与えるための入力デバイスの総称である。シャッターボタン、動画撮影・一時停止ボタン、電源ボタン、メニューボタン、方向キー、決定ボタンなどが操作部１０９に含まれる。制御部１０１は操作部１０９に対する操作を監視し、検出された操作に応じた動作を実行する。

表示部１１０は例えばＬＣＤやＯＬＥＤであり、デジタルカメラ１００の各種情報、撮像画像、ＧＵＩ（メニュー画面など）を表示する。表示部１１０はタッチパネルディスプレイであってもよく、この場合タッチパネルは操作部１０９に含まれる。

図２（ａ）は、撮像部１０５の機能構成例を示すブロック図である。画素部２０１は光学像をアナログ画像信号に変換し、Ａ／Ｄ変換部２０２に出力する。Ａ／Ｄ変換部２０２は、アナログ画像信号をＡ／Ｄ変換し、画像データとして画像圧縮部２０３に出力する。画像圧縮部２０３のラインバッファを節約するため、画像データは図２（ｂ）に示すようなタイル（Ｔ１、Ｔ２、Ｔ３、・・・）単位で出力される。画像圧縮部２０３は、画像を２次元サブバンド分割し、特定の帯域成分を符号化する。

本実施形態では、撮像部１０５は、画素部２０１を第１層（第１半導体基板）、画像圧縮部２０３を第２層（第２半導体基板）として積層配置され、少なくとも１以上の貫通電極により互いに電気的に接続されて１つのチップで構成されているものとする。このように、本実施形態において画像圧縮部２０３がチップ内に組み込まれているのは、省電力と高速処理、低コスト設計のためである。画素部２０１がチップ内の基板に、画像圧縮部２０３がチップ外の基板に配置されると、配線の抵抗成分や容量成分が多くなる。そのため、同一チップ内の配線による通信に比べて低速になる。通信を高速にするには、信号波形品質を保つためアンプで駆動する必要があり、駆動電力を上げなければならない。一方、画素部２０１と画像圧縮部２０３とがいずれも同一チップ内の半導体基板に配置されることにより、出力配線が短く済み、アンプも省くことができる。加えて、撮像部１０５から出力される符号化データ量が少ないため、撮像部１０５と、制御部１０１や画像処理部１０７との通信時間が短くなり、処理速度の増加や処理負荷の低減、消費電力の低下を図ることができる。

ＲＡＭ２０４は、過去に生成された加算画像を記憶する。加算画像については後述する。以下では過去の加算画像として、直近に撮影されたフレーム（直前フレーム（ｎ－１））の視差画像から得られた加算画像をＲＡＭ２０４に記憶するものとする。また、今回撮影された画像を現フレームｎの画像と呼ぶ。

図２（ｃ）は、画素部２０１の画素構成および配列の例を示す模式図である。画素部２０１には複数の画素４０６が水平および垂直方向に２次元配置されている。個々の画素４０６は、１つのマイクロレンズ４０５と４つの光電変換部４０１、４０２、４０３、４０４を有する。１つのマイクロレンズ４０５を共有する４つの光電変換部４０１～４０４は、光学系１０４の射出瞳のうち、互いに異なる部分瞳領域を通過した光束を受光する。従って、複数の画素４０６について、光電変換部４０１群、光電変換部４０２群、光電変換部４０３群、光電変換部４０４群から独立してアナログ画像信号を得ることにより、１回の露光または撮影により４つの視差画像を得ることができる。

本実施形態においては、光電変換部４０１群で得られる画像をＡ像、光電変換部４０２群で得られる画像をＢ像、光電変換部４０３群で得られる画像をＣ像、光電変換部４０４群で得られる画像をＤ像、と呼ぶ。

図３は、図２（ａ）の画像圧縮部２０３の機能構成例を示すブロック図である。加算部５０１は、Ａ像～Ｄ像をシフト量０で加算し、各画素値を平均（１／４）することにより、加算画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を生成する。ここでは、加算画像を視差画像の平均画像としたが、平均画像でなくてもよい。例えば、画素値を単純加算して加算画像を生成し、視差画像の画素値の範囲を加算画像の画素値の範囲に整合するように補正してもよい。本明細書において、画像Ａ＋Ｂは、Ａ像とＢ像との加算に基づく画像、もしくはそれと同等の画像を意味する。つまり、光電変換部４０１と４０２とを合わせたものと同等の１つの光電変換部から得られる画像であってもよい。減算部５２１はＡ－Ｂ＋Ｃ－Ｄを、減算部５３１はＡ＋Ｂ－Ｃ－Ｄを、減算部５４１はＡ－Ｂ－Ｃ＋Ｄをそれぞれ演算する。減算部５２１、５３１、５４１が行うＡ像～Ｄ像の加減算の組み合わせは、加算画像との演算によりＡ像～Ｄ像が復元可能で、かつ減算を含むように定められている。また、本明細書において、減算部５２１、５３１、５４１によって得られる画像を便宜上、差分画像（第１の差分画像）と呼ぶ。なお、画像間の加減算は、画像内の位置が同じ画素間で値を加減算することで実現できる。なお、加減算の結果が画素値の上限値を超えたり下限値を下回る場合にはそれぞれ上限値および下限値にクリッピングする。

加算部５０４は、現フレームｎの加算画像ＡＤＤ（ｎ）から、ＲＡＭ２０４に保存された直前フレームの加算画像ＡＤＤ（ｎ－１）を減じて差分画像ΔＡＤＤ（ｎ）（第２の差分画像）を生成し、ウェーブレット変換部５０２に供給する。換言すれば、加算部５０４は、加算画像ＡＤＤ（ｎ－１）を予測画像として、フレーム間予測の誤差として差分画像ΔＡＤＤ（ｎ）を生成する。したがって、以下では、加算画像ＡＤＤ（ｎ－１）を加算画像ＡＤＤ（ｎ）の予測画像ＰＲＥＶ（ｎ）と呼ぶ。また、制御部１０１は、現フレームｎの加算画像ＡＤＤ（ｎ）を、次フレームの加算画像の予測画像として用いるためにＲＡＭ２０４に記憶する。このように、本実施形態においては、加算画像について、フレーム間予測誤差（差分画像）をウェーブレット変換および符号化するように構成することで、符号データ量を削減する。

ウェーブレット変換部５０２、５２２、５３２、５４２は、加算部５０１および減算部５２１、５３１、５４１が出力する画像に対し、それぞれ２次元サブバンド分割の一例としての２次元ウェーブレット変換（以下、単にウェーブレット変換と呼ぶ）を適用する。なお、本実施形態において、ウェーブレット変換部５ｎ２（ｎ＝０、２～４）は分解レベル１までのウェーブレット変換を適用するものとする。

なお、本実施形態では加算画像としてＡ像～Ｄ像の全ての加算に基づいて得られる画像を用いた。しかし、Ａ像～Ｄ像の一部の加算に基づく画像を加算画像としてもよい。いずれにしても、加算画像の視点位置に基づいてリフォーカス処理を行う。例えば、Ａ＋Ｂ＋Ｃを加算画像として用いた場合、Ａ＋Ｂ＋Ｃの視点を基準にして視差画像Ａ、Ｂ、Ｃ、Ｄからリフォーカス画像を生成すればよい。さらに、例えばＡ＋Ｂと同じ視点の視差画像Ｅが別途設けられた光電変換素子群から得られる場合、視差画像Ｅを加算画像、加算して視差画像Ｅが得られるＡ像およびＢ像を視差画像として用いてもよい。

つまり、本発明において、加算画像とは、複数の視差画像の２つ以上の加算に基づいて生成可能な画像であればよい。また、符号化対象とする差分画像は、加算画像を構成する個々の視差画像を得ることが可能であれば、どのような差分画像であってもよい。例えば、Ａ＋Ｂ＋Ｃに相当する画像を加算画像とした場合、Ａ＋Ｂ－ＣとＡ－Ｂ－Ｃなどの組み合わせを差分画像として符号化することができる。なお、加算画像を構成しない視差画像（上述の例ではＤ）については、符号化してもしなくてもよい。

図４は、分解レベル０から３までのウェーブレット変換により得られる複数のサブバンド信号の配置を模式的に示した図である。７０１で示す分解レベル０は原画像である。また７０２～７０４はそれぞれ分解レベル１～３のウェーブレット変換後のサブバンドの配置を示している。サブバンドｎＬＬ、ｎＨＬ、ｎＬＨ、ｎＨＨのｎは分解レベル（１～３）を示し、ＬＬ，ＨＬ，ＬＨ，ＨＨはそれぞれ水平および垂直方向で適用された帯域通過フィルタ処理の種類（ハイパスフィルタまたはローパスフィルタ）を示す。なお、ウェーブレット係数のうち、高帯域成分を含まないサブバンドｎＬＬの係数をスケーリング係数、残りの、高帯域成分を含んだ３つのサブバンドｎＨＬ、ｎＬＨ、ｎＨＨの係数をウェーブレット展開係数と呼ぶ。

エンコード部５０３、５１３、５２３、５３３、５４３は、ウェーブレット変換により分割された各サブバンドの係数（サブバンドデータ）に対して量子化、算術符号化などの符号化処理を適用する。エンコード部５ｎ３（ｎ＝０～４）が実行する符号化の方式に特に制限はなく、可逆符号化方式であっても非可逆符号化方式であってもよい。本実施形態において、４つの視差画像はＡ／Ｄ変換部２０２から画像圧縮部２０３に直接入力されるものとした。しかし、例えばＡ／Ｄ変換部２０２がＲＡＭ２０４に保存した視差画像を入力するようにしてもよい。

図５（ａ）は、ウェーブレット変換部５ｎ２（ｎ＝０～４）機能構成例を示すブロック図である。本実施形態では、一例として、式１および式２に示す、正規直交するウェーブレットを用いたウェーブレット変換を行うものとする。
Ｈ０（ｚ）＝ｂ０＋Σｂｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式１）
Ｈ１（ｚ）＝ｃ０＋Σｃｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式２）
ここで、ｎは０～３の整数であり、係数ｂｎおよびｃｎの値は以下のとおりである。
ｂ０＝０．６０２９４９
ｂ１＝０．２６６８６４
ｂ２＝－０．０７８２２３
ｂ３＝－０．０１６８６４
ｂ４＝０．０２６７４８
ｃ０＝１．１１５０８７
ｃ１＝－０．５９１２７１
ｃ２＝－０．０５７５４３
ｃ３＝０．０９１２７１

係数ｂｎはウェーブレットのスケーリング関数を表わす数列で、係数ｃｎはウェーブレットを表わす数列である。図５（ｂ）に、伝達関数Ｈ０（ｚ）の振幅周波数特性６３１および伝達関数Ｈ１（ｚ）の振幅周波数特性６３３を示す。振幅周波数特性の縦軸は振幅、横軸はサンプリング周波数で正規化された正規化周波数で、ナイキスト周波数が０．５に対応する。

低域フィルタ部６０１の伝達関数はＨ０（ｚ）であり、垂直方向のスケーリング係数を生成する。高域フィルタ部６０３の伝達関数はＨ１（ｚ）であり、垂直方向のウェーブレット展開係数を生成する。ダウンサンプリング部６０２、６０４は垂直方向のダウンサンプリングにより画素数を１／２にする。

低域フィルタ部６１１、６２１の伝達関数はＨ０（ｚ）であり、水平方向のスケーリング係数を生成する。高域フィルタ部６１３、６２３の伝達関数はＨ１（ｚ）であり、水平方向のウェーブレット展開係数を生成する。ダウンサンプリング部６１２、６２２、６１４、６２４は水平方向のダウンサンプリングにより画素数を１／２にする。

加算画像に対応するエンコード部５０３はスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）の符号化データを出力する。また、３つの差分画像に対応するエンコード部５２３、５３３、５４３は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）の符号化データのみを出力する。これは、ウェーブレット変換部から対応するエンコード部へ、符号化すべき係数のみを出力することによっても、エンコード部が符号化すべき係数以外を無視することによっても実現できる。

ウェーブレット係数ＬＬ，ＨＬ，ＬＨ，ＨＨはいずれも、生成時に水平方向と垂直方向の両方で１／２にダウンサンプリングされているため、符号化後の係数の数は符号化前の１／４になる。従って、原画像の画素数を１とした場合、符号化データの数は１＋３／４×３＝（３＋１／４）となり、Ａ像～Ｄ像について全てのサブバンドデータを符号化する場合（１×４＝４）よりも符号化データ量を削減することができる。

図６は、本実施形態において、制御部１０１が実施する予測画像の更新処理に関するフローチャートである。この処理は、例えば記録用の撮影処理と並行して実行することができる。ここでは直前フレームと現フレームとの相関が高いと考えられる動画撮影もしくは静止画の連写時に実行するものとするが、静止画の単写時に実行してもよい。

Ｓ１００１で制御部１０１は初期化処理を実行する。ここで、初期化処理は、変数ｎを１にすることと、初期の予測画像ＰＲＥＶ（１）を用意することを含む。ＰＲＥＶ（１）は例えば全画素の色成分が一定の値を有する画像であってよい。ここでは一定の値を０とする。

Ｓ１００２で制御部１０１は、撮影が終了したか否かを判定し、終了したと判定されれば予測画像更新処理を終了し、終了したと判定されなければ処理をＳ１００３に進める。撮影の終了は例えば動画記録の終了指示や、レリーズボタンの押下終了など、予め定められた状態が検出されたか否かによって判定することができる。

Ｓ１００３で制御部１０１は、変数ｎを１増やすとともに、現在の加算画像ＡＤＤ（ｎ－１）を新たな予測画像ＰＲＥＶ（ｎ）とし、処理をＳ１００２に戻す。なお、ここでは予測画像の更新よりも前に変数ｎを１増やしているため、現在の加算画像のフレーム番号が（ｎ－１）となっている。

加算画像はスケーリング係数（ＬＬ）を符号化する。スケーリング係数は最も低い帯域の画像に相当するため、手振れや被写体ぶれの影響が少なく、差分画像の画素値が小さくなる傾向がある。したがって、フレーム間予測符号化によって符号化データ量を効率よく削減できる。逆に、画像の高周波成分を含むウェーブレット展開係数（ＬＨ、ＨＬ、ＨＨ）を符号化する差分画像では、手振れや被写体ぶれの影響によって差分画像の画素値が大きくなる傾向がある。したがって、フレーム間予測符号化の効果は小さく、本実施形態では差分画像についてはフレーム間予測符号化は行わない。このように構成することで、ＲＡＭ容量や演算コストを抑制しながら符号化データ量の削減効率を高めることができる。

また、図２（ｃ）に示した構成の画素部では、画素４０６に向かう光束の一部が光学系１０４によってケラレると、光電変換部４０１～４０４に入射する光量が不均一になる。そのため、光電変換部４０１～４０４が出力する像信号の少なくとも一つに信号レベルの低下が発生する。信号レベルの低下は全ての画素で同じ光電変換部に対して発生するため、視差画像間で輝度差（以下、「シェーディング」という）が発生する。

ケラレは光学系１０４の特性であるため、どの光電変換部にどの程度の信号レベルの低下が生じるかは既知であり、信号レベルの低下を補正することができる（シェーディング補正）。しかし、シェーディングの大きさは光学系１０４の光学条件（射出瞳距離や絞り値）によって変化するため、予め設定されているシェーディング補正が強すぎたり足りなかったりする可能性がある。またシェーディング成分は低次多項式で近似されることが知られており、補正誤差（過補正成分や逆補正成分）は、ウェーブレット変換によってその大半がスケーリング係数（ＬＬ）に含まれる。

シェーディング補正に誤差が生じている場合、視差画像間の差分値は大きくなる。そのため、視差画像間でのフレーム間差分符号化の効率が低下する。しかし、本実施形態では、視差画像間の差分画像の符号化対象を、補正誤差の影響がほとんどないウェーブレット展開係数に限定しているため、シェーディング補正の誤差がある場合でも符号化効率の低下が少ない。

さらに、ウェーブレット展開係数は画像の高域成分を含んでいるため、ボケの程度が微小な被写体成分が大半であり、４つの視差画像間の視差も小さい。このため視差画像間の差分値は小さく、この点においても高い符号化効率が実現できる。このように、加算画像についてはフレーム間予測符号化を行い、視差画像については差分画像を符号化することにより、符号化効率を高めることができる。

撮像部１０５から出力する符号化データ量が削減されるため、多視点画像を扱う場合でも動画のフレームレートや静止画の連写可能枚数の低下を抑制することができる。また、ＲＡＭ１０３に確保するバッファ容量を変更せずに静止画の連写可能枚数を増加させることができる。

制御部１０１は、撮像部１０５が出力する、加算画像と３つの差分画像の符号化データを記録媒体１０８に記録する。なお、制御部１０１は、符号化データを記録媒体１０８に記録する際に、データファイルのヘッダなどに、ウェーブレット変換の分解レベルや、加算画像および視差画像について記録されているサブバンドに関する情報を含めておく。記録媒体１０８から読み出した符号化データをＲＡＭ１０３に読み込み、画像処理部１０７で復号およびリフォーカス処理を実行することができる。

図７（ａ）は、画像処理部１０７が符号化データを復号する際の動作を機能ブロックとして記載した図である。ここで説明する復号およびリフォーカス処理は画像処理部１０７が実行可能な多様な画像処理の一部に過ぎない。また、データファイルから符号化データを抽出し、各デコード部に符号化データを分配する処理も画像処理部１０７の内部で実行される。デコード部８０１は加算画像の予測誤差であるＡＤＤ（ｎ）の符号化データ（分解レベル１のスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ））を復号する。また、デコード部８２１、８３１、８４１は差分画像の符号化データ（分解レベル１ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を復号する。デコード部８ｎ４（ｎ＝０、２～４）は符号化方式に対応した復号を行う。

ウェーブレット逆変換部８０２、８１２、８２２、８３２、８４２は、復号された各サブバンドデータに対して２次元ウェーブレット逆変換を施すことにより、サブバンド分割された画像を復元する（サブバンド復元）。加算画像の符号化データを復号するデコード部８０１は、スケーリング係数（１ＬＬ）だけをウェーブレット逆変換部８０２に供給する。そのため、ウェーブレット逆変換部８０２は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）については０としてウェーブレット逆変換する。

デコード部８０１はさらに、復号した、加算画像のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）をウェーブレット逆変換部８１２に供給する。また、デコード部８２１、８３１、８４１は復号した、差分画像のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）をウェーブレット逆変換部８２２、８３２、８４２に供給する。ウェーブレット逆変換部８１２、８２２、８３２、８４２は、スケーリング係数（１ＬＬ）を０としてウェーブレット逆変換する。

加算部８０６および８１６は、現フレームｎに関する差分画像ΔＡＤＤ＿Ｌ（ｎ）およびΔＡＤＤ＿Ｈ（ｎ）に、ＲＡＭ１０３に記憶されている直前フレーム（ｎ－１）の加算画像ＡＤＤ＿Ｌ（ｎ－１）およびＡＤＤ＿Ｈ（ｎ－１）を加算する。ここで、加算画像ＡＤＤ＿Ｌ（ｎ－１）は予測画像ＰＲＥＶ＿Ｌ（ｎ）であり、加算画像ＡＤＤ＿Ｈ（ｎ－１）は予測画像ＰＲＥＶ＿Ｈ（ｎ）である。

加算部８０６が加算画像ＡＤＤ＿Ｌ（ｎ）に予測画像ＰＲＥＶ＿Ｌ（ｎ）を加算して生成する加算画像ＡＤＤ＿Ｌ（ｎ）は、次フレームの低域成分の予測画像ＰＲＥＶ＿Ｌ（ｎ）としてＲＡＭ１０３に記憶される。同様に、加算部８１６が加算画像ＡＤＤ＿Ｈ（ｎ）に予測画像ＰＲＥＶ＿Ｈ（ｎ）を加算して生成する加算画像ＡＤＤ＿Ｈ（ｎ）は、次フレームの高域成分の予測画像ＰＲＥＶ＿Ｈ（ｎ）としてＲＡＭ１０３に記憶される。なお、最初のフレームについては予測画像が存在しないため、ＰＲＥＶ＿ＬおよびＰＲＥＶ＿Ｈは０とする。

視差画像復元部８０５は、ウェーブレット逆変換部８ｎ２（ｎ＝１～４）が復元した加算画像および差分画像に以下の式３～式６の演算を行い、４つの視差画像（Ａ像～Ｄ像）を復元する。
Ａ＝（Ｗ＋Ｘ＋Ｙ＋Ｚ）／４ （式３）
Ｂ＝（Ｗ－Ｘ＋Ｙ－Ｚ）／４ （式４）
Ｃ＝（Ｗ＋Ｘ－Ｙ－Ｚ）／４ （式５）
Ｄ＝（Ｗ－Ｘ－Ｙ＋Ｚ）／４ （式６）
ただし、Ｗ、Ｘ、Ｙ、Ｚは以下のとおりである。
Ｗ＝Ａ＋Ｂ＋Ｃ＋Ｄ（加算部８１６の出力する加算画像）
Ｘ＝Ａ－Ｂ＋Ｃ－Ｄ（ウェーブレット逆変換部８２２の出力する差分画像）
Ｙ＝Ａ＋Ｂ－Ｃ－Ｄ（ウェーブレット逆変換部８３２の出力する差分画像）
Ｚ＝Ａ－Ｂ－Ｃ＋Ｄ（ウェーブレット逆変換部８４２の出力する差分画像）
視差画像復元部８０５は復元したＡ像～Ｄ像をシフト加算部８０３に供給する。

シフト加算部８０３は、復元されたＡ像～Ｄ像に対し、リフォーカスのためのシフト加算を行う。シフト加算によるリフォーカスは例えば特許文献１に記載されるように公知である。制御部１０１は例えば加算画像を表示部１１０に表示し、合焦させたい位置をユーザに選択させる。例えば操作部１０９を通じて指定された画像内の位置が合焦するように制御部１０１はシフト加算の量および方向を決定し、シフト加算部８０３に通知する。シフト加算部８０３は通知されたシフト方向および量に従ってＡ像～Ｄ像をシフト加算することにより、リフォーカス画像を生成する。シフト加算部８０３は、リフォーカス処理した画像を加算部８０４に出力する。加算部８０４は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を０として復元された加算画像と、スケーリング係数（１ＬＬ）を０として復元された視差画像をシフト加算した画像とを加算する。加算部８０４により、最終的なリフォーカス画像が得られる。

図７（ｂ）は、図７（ａ）のウェーブレット逆変換部８ｎ２（ｎ＝０～４）の機能構成例を説明するためのブロック図である。
アップサンプリング部９０１、９０３、９１１、９１３は水平方向のアップサンプリングにより画素数を２倍にする。低域フィルタ部９０２、９１２は水平方向に低域フィルタ処理を適用する。高域フィルタ部９０４、９１４は水平方向に高域フィルタ処理を適用する。アップサンプリング部９２１、９２３は垂直方向のアップサンプリングにより画素数を２倍にする。低域フィルタ部９２２は垂直方向に低域フィルタ処理を適用する。高域フィルタ部９２４は垂直方向に高域フィルタ処理を適用する。加算部９０５、９１５、９２５はウェーブレット逆変換の中間画像を加算する。

ウェーブレット逆変換部においても、以下の式７および式８に示す、正規直交するウェーブレットを用いたウェーブレット逆変換を行うものとする。
Ｇ０（ｚ）＝ｄ０＋Σｄｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式７）
Ｇ１（ｚ）＝ｅ０＋Σｅｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式８）
ただし、各係数の値は以下のとおりである。
ここで、ｎは０～３の整数であり、係数ｄｎおよびｅｎの値は以下のとおりである。
ｄ０＝１．１１５０８７
ｄ１＝０．５９１２７１
ｄ２＝－０．０５７５４３
ｄ３＝－０．０９１２７１
ｅ０＝０．６０２９４９
ｅ１＝－０．２６６８６４
ｅ２＝－０．０７８２２３
ｅ３＝０．０１６８６４
ｅ４＝０．０２６７４８
低域フィルタ部の伝達関数はＧ０（ｚ）、高域フィルタ部の伝達関数はＧ１（ｚ）である。

本実施形態では、画像の低域成分（スケーリング係数（１ＬＬ））にはシフト加算を行わずに最終的なリフォーカス画像を生成している。しかし、シフト量が１～２画素程度のリフォーカス処理の場合、低域成分のピントはほとんど変化しない。そのため、すべてのサブバンド成分に対してシフト加算を行う従来技術と同等のピント調整効果を得ることができる。

以上説明したように、本実施形態では、複数の視差画像について、複数の視差画像を合成した加算画像と、複数の視差画像を加減算して得られる複数の差分画像とをそれぞれ２次元サブバンド分割する。そして、加算画像については各サブバンドのデータを、差分画像については高域成分を含むサブバンドのデータを符号化するようにした。これにより、視差画像の利用を制限することなく、複数の視差画像を符号化するよりも符号量を削減することができる。さらに、手振れや被写体ぶれの影響が少ない加算画像についてはフレーム間予測符号化を行うことにより、さらに符号量を削減することができる。

本実施形態では視差画像の符号化領域を制限しない。そのため、例えば複数の視差画像をリフォーカス画像の生成に用いる場合、画像内の任意の領域をリフォーカス対象とすることができる。また、撮像装置の構成を変更することなく、撮像時のフレームレートや連写可能枚数を高めることができる。なお、本発明が対象とする視差画像の用途はリフォーカス画像の生成に限定されない。例えば、自動焦点検出に用いられる視差画像に対しても本発明を適用することができる。この場合、本発明の適用による視差画像の撮影フレームレートの増加は、自動焦点検出に要する時間の短縮につながる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図８（ａ）は、本実施形態における画像圧縮部２０３’の機能構成例を示すブロック図であり、第１実施形態の画像圧縮部２０３と同じ構成については図３と同じ参照数字を付してある。本実施形態の画像圧縮部２０３’は、動きベクトル検出部１２０１、量子化ステップ算出部１２０２および１２０３が追加されている点で第１実施形態と異なる。

動きベクトル検出部１２０１は、加算部５０１が出力する現フレームの加算画像ＡＤＤ（ｎ）と、ＲＡＭ２０４から予測画像ＲＲＥＶ（ｎ）として読み出される直前フレームの加算画像ＡＤＤ（ｎ－１）との間の動きベクトルＶ＝（Ｖｘ，Ｖｙ）を検出する。動きベクトル検出部１２０１は、現フレームの加算画像ＡＤＤ（ｎ）の動きベクトルを、図２（ｂ）に示したタイルごとに検出する。動きベクトルの検出方法に特に制限はなく、公知の方法を用いることができる。例えば、現フレームの加算画像ＡＤＤ（ｎ）のタイル領域と相関の高い領域を直前フレームの加算画像ＡＤＤ（ｎ－１）で探索し、両領域間の位置変化を移動ベクトルとして検出することができる。

量子化ステップ算出部１２０２および１２０３は、動きベクトル検出部１２０１が検出した動きベクトルに基づいて、エンコード部５ｎ３（ｎ＝０，２～４）で用いる量子化ステップＱＳＴＥＰを決定する。量子化ステップ算出部１２０２および１２０３は量子化ステップＱＳＴＥＰを現フレームの加算画像ＡＤＤ（ｎ）のタイルごとに決定する。

図８（ｂ）は、図８（ａ）の量子化ステップ算出部１２０２および１２０３の動作を説明するための図である。横軸は被写体移動量ＭＯＶ、縦軸は量子化ステップＱＳＴＥＰである。δは許容錯乱円径、Δはデフォルト量子化ステップである。なお、許容錯乱円径は光学系１０４の絞り値などによって変化しうるため、現フレームの撮影条件に応じて許容錯乱円径δを算出してもよい。

量子化ステップ算出部１２０２は特性１３０１に、量子化ステップ算出部１２０３は特性１３０２にそれぞれ従って、量子化ステップＱＳＴＥＰを決定する。被写体移動量ＭＯＶ［画素］は、以下の式に従って得ることができる。
ＭＯＶ＝ＶＬ・ＲＴ・Ｔｖ （式９）
ただし、ＶＬ＝√（Ｖｘ＾２＋Ｖｙ＾２）、ＲＴはフレームレート（フレーム／ｓｅｃ）、Ｔｖはシャッタースピードである。例えばＲＴ＝６０ｆｐｓ、Ｔｖ＝１／１００秒であれば、ＭＯＶ＝ＶＬ・６０・１／１００［画素］である。

露光期間（シャッタースピードＴｖ）中の被写体移動量ＭＯＶが許容錯乱円径δ以下であれば、被写体ぶれは画像で視認できない。そのため、被写体移動量ＭＯＶ＜δであれば、量子化ステップ算出部１２０２および１２０３は量子化ステップＱＳＴＥＰを、符号量削減よりも画質を優先したデフォルト値Δに決定する。一方、被写体移動量ＭＯＶが許容錯乱円径δを超えると被写体ぶれが画像で視認できる大きさとなるため、量子化ステップを大きくして画質よりも符号量の削減を優先する。また、被写体ぶれが画像で視認できる大きさになると、リフォーカス処理によるピント微調整の効果が低下する。そのため、リフォーカス処理に用いる差分画像の符号化に用いる、量子化ステップ算出部１２０３が決定する量子化ステップについては、加算画像の符号化に用いる量子化ステップよりも大きくして、さらに符号量削減を優先する。

なお、図８（ｂ）に示した被写体移動量ＭＯＶと量子化ステップＱＳＴＥＰとの関係では、被写体移動量ＭＯＶが許容錯乱円径δを超え、２δ未満の範囲では線形に量子化ステップを増加させ、２δを超えた後は一定値としている。しかし、これは単なる一例である。
・画像において被写体ブレが視認できない範囲（被写体ブレが閾値以下の場合）の被写体移動量であれば画質を優先した量子化ステップとし、画像において被写体ブレが視認できる範囲の被写体移動量であれば符号量の削減を優先した量子化ステップとする
・画像において被写体ブレが視認できる範囲（被写体ブレが閾値を超える場合）では、差分画像の符号化（あるいは高域成分の符号化）に用いる量子化ステップを、加算画像の符号化に用いる量子化ステップ以上とする
・画像において被写体ブレが視認できる範囲では、第１の被写体移動量ＭＯＶ１に対する量子化ステップよりも、第２の被写体移動量ＭＯＶ２（ＭＯＶ２＞ＭＯＶ１）に対する量子化ステップを大きくする
の３つの１つ以上を満たすように、量子化ステップを決定すればよい。

エンコード部５０３は量子化ステップ算出部１２０２が決定した量子化ステップを、エンコード部５ｎ３（ｎ＝２～４）は量子化ステップ算出部１２０３が決定した量子化ステップを用いて符号化を行う。エンコード部５ｎ３（ｎ＝０，２～４）は、タイルごとに、符号化に用いた量子化ステップと動きベクトルの水平および垂直方向の大きさを、符号化データとともに出力する。制御部１０１は、これらの情報とタイルとを関連づけてファイルのヘッダ情報に記録する。

なお、ここでは、動きベクトルに基づいて画像における被写体ブレの大きさを評価し、被写体ブレの大きさに基づいて量子化ステップを決定する例について説明した。しかし、動きベクトルから他の指標を評価して量子化ステップを決定してもよい。例えば水しぶきや、風で揺れる木の葉といった、動きが複雑な被写体については、量子化ステップを大きくしても人間の目には違いが分かりづらく、かつリフォーカス処理によるピント微調整効果が低い。動きが複雑な被写体は動きベクトルの分散が大きくなる傾向があるので、被写体移動量の代わりに動きベクトルの分散を用いて量子化ステップを決定しても、効率的に符号化データ量を削減することができる。例えば、同一タイルに対して経時的に検出される動きベクトルの分散が第１の値である場合の量子化ステップよりも、第２の値（＞第１の値）に対する量子化ステップを大きくする。なお、動きベクトルの分散としては、例えば、複数フレームにわたる動きベクトルの水平成分の分散と垂直成分の分散との和を用いることができる。

本実施形態によれば、動きベクトルに基づいて、符号化対象の画像の領域のうちリフォーカス処理によるピント微調整の効果が低いと想定される領域については、ピント微調整の効果が低いと想定されない領域よりも量子化ステップを大きくするようにした。そのため、リフォーカス処理の効果を実質的に維持したまま、効率的に符号データ量を削減することができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００において、第２実施形態で説明した画像圧縮部２０３’を用いる機能構成によって実施可能である。そのため、第１および第２実施形態と同様の参照数字を用いて説明する。

本実施形態は、第２実施形態で検出する動きベクトルを利用して被写体のフレームアウトなどのシーンチェンジを検出し、予測画像をリセットする構成に関する。図９は、制御部１０１が動きベクトルを用いて被写体のフレームアウトを検出する原理について説明するための図である。

ここでは、固定の撮影範囲１４０１で動画もしくは静止画の連写を行っているものとする。撮影開始時に被写体１４０２に合焦しているものとする。画像圧縮部２０３’の動きベクトル検出部１２０１が、被写体１４０２を含むタイルについて第２フレーム～第４フレームで検出した動きベクトル１４０３～１４０５をつなげて記載している。このように、検出された動きベクトルを累積し、最新の動きベクトルの終点座標が撮影範囲１４０１を超えたか否かを判定することにより、被写体１４０２がフレームアウトしたか否かを判定することができる。図９の例の場合、第４フレームで検出された動きベクトル１４０５の終点が撮影範囲１４０１を超えているため、被写体１４０２がフレームアウトしたことを検出することができる。ここで、被写体の「フレームアウト」とは、被写体領域の全体が撮影範囲に含まれていた状態から、被写体領域の少なくとも一部が撮影範囲外に移動した（撮影されなくなった）状態になったことを意味する。

ここで、画像座標系が、例えば撮影範囲１４０１の左上を０とし、右及び下方向が正となる直交座標系であり、撮影範囲１４０１の大きさが水平ｘｍａｘ画素、垂直ｙｍａｘ画素であるとする。制御部１０１（シーンチェンジ検出手段）は、現フレームで検出された動きベクトルの始点と、直前のフレームで検出された動きベクトルの終点との位置関係から、同じ被写体に対する動きベクトルを判別する。そして、制御部１０１は、同じ被写体に対する動きベクトルの水平方向成分の累計値ｘｓｕｍと、最初に検出された動きベクトルの始点の水平画像座標ｘとの和（ｘ＋ｘｓｕｍ）を求める。制御部１０１は、和（ｘ＋ｘｓｕｍ）が負になるか、ｘｍａｘ－１を超えた場合に、対応する被写体がフレームアウトし、シーンチェンジが発生したと判定する。垂直方向についても同様に判定することができる。

図１０は、本実施形態における制御部１０１の予測画像更新処理に関するフローチャートである。第１実施形態と同様の処理を行うステップには図６と同じ参照数字を付してある。本実施形態では、Ｓ１５０２でフレームアウトを検出すると、制御部１０１が処理をＳ１００１に戻して予測画像およびフレームカウンタｎの値を初期化（リセット）する。Ｓ１５０２でフレームアウトを検出しない場合には第１実施形態と同一の処理になる。

符号化時に予測画像をリセットした場合、制御部１０１は、予測画像をリセットしたフレーム番号をデータファイルのヘッダに記録する。これにより、復号時においても予測画像をリセットすることができる。すなわち、直前フレーム（ｎ－１）が予測画像をリセットしたフレームに該当した場合、加算部８０６および８１６で加算する予測画像ＰＲＥＶ＿Ｌ（ｎ）およびＰＲＥＶ＿Ｈ（ｎ）を全画素０の画像とする。

本実施形態によれば、例えば大きなカメラワークによるシーンチェンジを被写体フレームアウトとして検出した場合、加算画像のフレーム間予測符号化および復号に用いる予測画像をリセットすることができる。そのため、他の実施形態の効果に加え、シーンチェンジによる符号化効率の低下を抑制できる。なお、シーンチェンジは必ずしも動きベクトルを用いて検出する必要は無い。例えば直前フレームの加算画像と現フレームの加算画像との差が閾値を超える場合（相互相関が低いと判定される場合）にシーンチェンジが発生したと判定するなど、公知の他の方法を用いて検出してもよい。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図１１は、本実施形態における撮像部１０５’の機能構成例を示すブロック図であり、第１実施形態の撮像部１０５と同じ機能ブロックについては図２（ａ）と同じ参照数字を付してある。撮像部１０５’は、撮像部１０５に像ずれ量検出部２０５を追加した構成を有する。

像ずれ量検出部２０５は、視差画像間の像ずれ量を、図２（ｂ）に示したタイルごとに検出する。例えば第３実施形態でフレームアウトを検出する場合のように、追跡対象の被写体に対応するタイルについて像ずれ量を検出することができる。ここで、追跡対象の被写体は画像中で検出された特定の特徴を有する領域（例えば人物の顔など）であってよい。視差画像間の像ずれ量は公知の手法を用いて検出することができる。例えば、像ずれ量を検出する１組の視差画像をシフト加算して得られる合成画像の品質評価値が最大となるシフト量を像ずれ量として算出することができる。像ずれ量は例えば光学系１０４の自動焦点検出に用いることができるが、用途に制限はない。

図１２は、制御部１０１が被写体の最大像ずれ量を検出する動作に関する模式図である。横軸は時系列で撮影された動画または静止画のフレーム番号、縦軸は追跡対象の被写体に対応するタイルについて検出された像ずれ量である。本実施形態においては、現フレームから３フレーム前まで（図１２におけるフレーム番号ｎからｎ－３まで）の被写体像ずれ量の最大絶対値を最大像ずれ量として検出する。しかし、例えば直近数フレームの平均像ずれ量を用いるなどしてもよい。したがって、図１２に示す例では、最大像ずれ量は２画素となる。なお、像ずれ量の符号は像ずれの方向を示す。例えばシフト方向が水平方向であれば水平右方向を正、水平左方向を負とすることができる。

本実施形態では、被写体の最大像ずれ量（推定されるボケ量）に応じて符号化方式を変更する。なお、被写体の最大像ずれ量は、複数の視差画像のうち予め定められた少なくとも１対を用いて検出することができる。複数対について検出した像ずれ量の最大値を最大像ずれ量としてもよい。具体的には、最大像ずれ量が閾値以下の場合（第２の大きさ）であれば第１～第３実施形態で説明した符号化方法のいずれかを、閾値を超える場合（第１の大きさ）には従来の符号化方法を実施する。ここでは、第１～第３実施形態で説明した符号化方法をレベル１伝送モードまたは第１のモードと呼ぶ。従来の符号化方法を従来伝送モードまたは第２のモードと呼ぶ。

従来の符号化方法とは、差分画像についても全てのサブバンドについてデータを符号化する方法である。より具体的には、図３に示した画像圧縮部２０３において、ウェーブレット変換部５２２、５３２、５４２が、スケーリング係数（ＬＬ）を含む、全てのサブバンド係数をエンコード部５２３、５３３、５４３に出力する。そして、エンコード部５２３、５３３、５４３は全てのサブバンド係数を符号化する。

従来伝送モードでは、符号化データ量を削減できないが、リフォーカス処理時にすべてのサブバンドを用いることができるため、スケーリング係数（ＬＬ）を用いないレベル１伝送モードよりもリフォーカス処理によるピント調整可能範囲が広い。したがって、制御部１０１は、図１３（ａ）のフローチャートに示すように、追跡対象の被写体のボケが大きいと考えられる、被写体の最大像ずれ量が閾値を超える場合（Ｓ２１０１、ＮＯ）には、従来伝送モードを選択する（Ｓ２１０３）。一方、制御部１０１は、追跡対象の被写体のボケが小さいと考えられる、被写体の最大像ずれ量が閾値以下の場合（Ｓ２１０１、ＹＥＳ）には、レベル１伝送モードを選択し（Ｓ２１０２）、符号化データ量を削減する。図１３（ａ）に示した処理は符号化時にタイルごとに実行することができる。

このように、追跡対象の被写体のボケの大きさに応じて、符号化データ量の削減を優先した符号化を行うか、リフォーカス処理によるピント調整量を優先した符号化を行うかを動的に選択する。そのため、追跡対象の被写体のボケ量が大きいにもかかわらずリフォーカス処理でピントを合わせられなかったり、必要以上の符号化データを生成したりすることを抑制できる。符号化データがレベル１伝送モードか従来伝送モードかは、制御部１０１が例えばタイルと関連づけてファイルのヘッダに記録することができる。

なお、復号時、制御部１０１は、復号対象の符号化データがレベル１伝送モードによる符号化データか、従来伝送モードによる符号化データかを判別し、判別結果に応じて画像処理部１０７における復号方法を変更する。具体的には、図１３（ｂ）のフローチャートに示すように、制御部１０１は、復号対象のタイルの符号化データがレベル１伝送モードによる符号化データであれば（Ｓ２２０１、ＹＥＳ）、レベル１リフォーカスモードを決定する（Ｓ２２０２）。また、制御部１０１は、復号対象のタイルの符号化データが従来伝送モードによる符号化データであれば（Ｓ２２０１、ＮＯ）、従来リフォーカスモードを決定する（Ｓ２２０３）。制御部１０１は、決定したリフォーカスモードを画像処理部１０７に通知する。図１３（ｂ）に示した処理はタイルごとに実行することができる。

画像処理部１０７では、レベル１リフォーカスモードが通知されたタイルについては、図７を用いて第１実施形態で説明したように復号および復元処理を実行する。一方、従来リフォーカスモードが通知されたタイルについては、デコード部８２１、８３１、８４１においても全てのサブバンド係数が復号されるため、ウェーブレット逆変換部８２２、８３２、８４２も全てのサブバンド係数を用いてウェーブレット逆変換する。なお、デコード部８０１は全てのサブバンド係数をウェーブレット逆変換部８１２に供給し、ウェーブレット逆変換部８０２に供給する全てのサブバンド係数を０とする。また、予測画像ＰＲＥＶ＿Ｌ（ｎ）は全画素０とする。つまり、加算部８０４の入力ＡＤＤ＿Ｌ（ｎ）は全画素０の画像となるので、シフト加算部８０３が生成するリフォーカス画像がそのまま最終的なリフォーカス画像となる。

なお、本実施形態においては、説明および理解を容易にするため、符号化時のウェーブレット変換の分解レベルを１とした。しかし、２種類以上の分解レベルを選択可能に構成してもよい。分解レベルを高くするほど差分画像のウェーブレット展開係数のレベルをきめ細かく制御することができるため、符号化データ量をきめ細かく制御することができる。

例えば、分解レベル３までウェーブレット変換を行う場合、制御部１０１は、最大像ずれ量の閾値をＴＨｓ１～ＴＨｓ３（ＴＨｓ１＞ＴＨｓ２＞ＴＨｓ３）とし、最大像ずれ量が閾値ＴＨｓ１を超える場合には従来伝送モードを決定する。そして、制御部１０１は、最大像ずれ量がＴＨｓ１以下ＴＨｓ２超である大きさであれば差分画像のウェーブレット展開係数を分解レベル３まで伝送するレベル３伝送モードを決定する。また、制御部１０１は、最大像ずれ量がＴＨｓ２以下ＴＨｓ３超の大きさであれば差分画像のウェーブレット展開係数を分解レベル２まで伝送するレベル２伝送モードを決定する。さらに、制御部１０１は、最大像ずれ量がＴＨｓ３以下の大きさであればレベル１伝送モードを決定する。このように、分解レベルと像ずれ量の閾値を２以上とすることにより、符号化データ量を一層きめ細かく制御することができる。

また本実施形態においては、直近の所定数のフレームにおける像ずれ量の最大絶対値を最大像ずれ量とした。しかし、例えば像ずれ量の履歴を機械学習の入力として、機械学習により推定した次フレーム以降の最大像ずれ量を用いるなど、他の方法で最大像ずれ量を推定してもよい。

本実施形態によれば、符号化データ量を、追跡対象の被写体のボケ量に応じて制御するため、ボケ量に応じた適切な量の符号化データ量で多視点画像の符号化データを記録することができる。

（その他の実施形態）
上述した第１～第４実施形態は、その一部または全部を適宜組み合わせることが可能である。また、第１～第４実施形態は撮像部においてサブバンド分割や符号化などを行う構成について説明した。しかし、撮像部はＡ／Ｄ変換までを行い、サブバンド分割や符号化などは制御部または画像処理部が実行するように構成してもよい。また、第１～第４実施形態におけるサブバンド分割や符号化などは、必ずしも撮影時に実行しなくてもよい。例えば記録済みのＲＡＷに対してこれらの処理を実行することによっても、記録サイズを削減するという効果は得られる。また、第１～第４実施形態においては、符号化処理と復号処理とを同じ装置で行う構成であったが、符号化処理と復号処理とは異なる装置で行ってもよい。また、本発明は説明した実施形態の構成に限定されない。実施形態の構成は特許請求の範囲に記載された範囲で様々な変形および変更が可能であり、それらは全て本発明に含まれる。

また、上述した実施形態では、画像圧縮部が画素部と同一半導体チップ内にある構成とした。しかし、画素部を有する撮像用のチップと、画像圧縮部を含むＦＰＧＡ（field-programmable gate array）などの回路とが独立して設けられ、配線で電気的に接続されていてもよい。このとき、画像圧縮部からの出力は、さらに別のチップに搭載された画像処理部などに出力される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…制御部、１０２…ＲＯＭ、２０４、１０３…ＲＡＭ、１０４…光学系、１０５…撮像部、１０７…画像処理部、１０８…記録媒体

Claims (25)

1. 複数の視差画像の加減算に基づく複数の第１の差分画像と、前記複数の視差画像の加算に基づく現在の加算画像と過去の加算画像との第２の差分画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、
   前記複数の第１の差分画像と前記第２の差分画像とを符号化する符号化手段と、を有し、
   前記符号化手段は、前記複数の第１の差分画像については前記複数のサブバンドの一部のサブバンドのデータのみを符号化し、前記第２の差分画像については前記複数のサブバンドのデータを符号化するとともに、前記複数の第１の差分画像については前記高帯域成分を含むサブバンドのデータを符号化する、
   ことを特徴とする画像処理装置。
2. 前記現在の加算画像と前記過去の加算画像とから動きベクトルを検出する動き検出手段と、
   前記動きベクトルに基づいて、前記符号化手段が用いる量子化ステップを決定する決定手段と、
   をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、符号化対象の領域における被写体ブレが閾値を超える場合には、前記被写体ブレが前記閾値以下の場合よりも大きい前記量子化ステップを決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記符号化対象の領域の動きベクトルの大きさに基づく被写体移動量が、前記複数の視差画像の取得に用いられた撮像装置の許容錯乱円径より大きい場合に、前記符号化対象の領域における被写体ブレが閾値を超えると判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、符号化対象の領域における被写体ブレが閾値を超える場合には、第１の被写体移動量に対する量子化ステップよりも、前記第１の被写体移動量より大きい第２の被写体移動量に対する量子化ステップが大きくなるように前記量子化ステップを決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、符号化対象の領域における被写体ブレが閾値を超える場合には、前記複数の第１の差分画像の符号化に用いる量子化ステップが、前記第２の差分画像の符号化に用いる量子化ステップ以上となるように前記量子化ステップを決定することを特徴とする請求項３から請求項５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、符号化対象の領域に対する動きベクトルの分散が第１の値である場合の量子化ステップよりも、前記第１の値より大きい第２の値である場合の量子化ステップが大きくなるように前記量子化ステップを決定することを特徴とする請求項２に記載の画像処理装置。
8. 前記決定手段は、リフォーカス処理によるピント微調整の効果が低いと想定される符号化対象の領域の符号化に用いる量子化ステップが、前記ピント微調整の効果が低いと想定されない符号化対象の領域の符号化に用いる量子化ステップよりも大きくなるように前記量子化ステップを決定することを特徴とする請求項２に記載の画像処理装置。
9. シーンチェンジの発生を検出するシーンチェンジ検出手段をさらに有し、
   前記現在の加算画像についてシーンチェンジの発生が検出された場合には、前記過去の加算画像として全画素０の画像を用いることを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
10. 前記現在の加算画像と前記過去の加算画像とから動きベクトルを検出する動き検出手段をさらに有し、
    前記シーンチェンジ検出手段が、前記動きベクトルに基づいて前記シーンチェンジの発生を検出することを特徴とする請求項９に記載の画像処理装置。
11. 前記シーンチェンジ検出手段が、特定の被写体についての前記動きベクトルの累積に基づいて前記シーンチェンジの発生を検出することを特徴とする請求項１０に記載の画像処理装置。
12. 前記符号化手段は、
    前記複数の第１の差分画像については前記複数のサブバンドの前記一部のサブバンドのデータのみを符号化し、前記第２の差分画像については前記複数のサブバンドのデータを符号化する第１のモードと、
    前記複数の第１の差分画像および前記第２の差分画像の両方について前記複数のサブバンドのデータを符号化する第２のモードと、
    を有し、
    前記画像処理装置は、
    前記複数の視差画像の少なくとも１対について、視差画像間の像ずれ量を検出する像ずれ量検出手段と、
    前記像ずれ量の大きさが第１の大きさの場合には前記第２のモードで、前記像ずれ量の大きさが前記第１の大きさより小さい第２の大きさの場合には前記第１のモードで符号化を行うように前記符号化手段を制御する制御手段と、
    をさらに有することを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記サブバンドの分解レベルが複数であり、前記第１のモードで符号化を行うように前記符号化手段を制御する場合、前記制御手段は、前記第１の差分画像について、
    前記像ずれ量の大きさが第３の大きさの場合には第２の分解レベルまでの係数を符号化し、
    前記像ずれ量の大きさが前記第３の大きさより小さい第４の大きさの場合には前記第２の分解レベルより低い第１の分解レベルまでの係数を符号化する、
    ように前記符号化手段を制御することを特徴とする請求項１２に記載の画像処理装置。
14. 複数の視差画像の加算に基づく現在の加算画像と過去の加算画像との差分画像の複数のサブバンドを符号化した第１の符号化データと、前記複数の視差画像の加減算に基づく複数の差分画像のそれぞれの、前記複数のサブバンドのうち、高帯域成分を含むサブバンドを符号化した第２の符号化データと、を取得する取得手段と、
    前記第１の符号化データのうち、高帯域成分を含まないサブバンドの符号化データを用いて復元した画像に、過去に復元した加算画像の低帯域成分を予測画像として加算して、加算画像の低帯域成分を復元する第１の加算手段と、
    前記第１の符号化データのうち、前記高帯域成分を含むサブバンドの符号化データを用いて復元した画像に、過去に復元した加算画像の高帯域成分を予測画像として加算して、加算画像の高帯域成分を復元する第２の加算手段と、
    前記第２の加算手段が復元した加算画像の高帯域成分と、前記第２の符号化データから復元した複数の前記差分画像の高帯域成分とから、前記複数の視差画像を復元する復元手段と、
    前記復元した前記複数の視差画像を用いてリフォーカス画像を生成する生成手段と、
    前記第１の加算手段が復元した前記加算画像の低帯域成分に前記リフォーカス画像を加算する第３の加算手段と、
    を有することを特徴とする画像処理装置。
15. 前記第１の加算手段が復元した加算画像の低帯域成分を、前記第１の加算手段が用いる前記過去に復元した加算画像の低帯域成分として保存し、
    前記第２の加算手段が復元した加算画像の高帯域成分を、前記第２の加算手段が用いる前記過去に復元した加算画像の高帯域成分として保存する、
    記憶手段をさらに有することを特徴とする請求項１４に記載の画像処理装置。
16. 前記生成手段は、前記復元した複数の視差画像の高帯域成分をシフト加算することにより前記リフォーカス画像を生成することを特徴とする請求項１４または請求項１５に記載の画像処理装置。
17. 前記第１の符号化データおよび前記第２の符号化データが、リセットされた予測画像を用いてフレーム間予測符号化されている場合、リセットした画像を前記過去に復元した加算画像の低帯域成分および高帯域成分として用いることを特徴とする請求項１４から請求項１６のいずれか１項に記載の画像処理装置。
18. 前記リセットした画像が、全画素０の画像であることを特徴とする請求項１７に記載の画像処理装置。
19. 光学系からの光束を受光し、視点の異なる複数のアナログ画像信号を出力する複数の光電変換部を有する撮像素子と、
    前記撮像素子から出力される前記複数のアナログ画像信号に基づく複数の第１の差分画像と第２の差分画像とを符号化する請求項１から請求項１３のいずれか１項に記載の画像処理装置と、
    前記画像処理装置で符号化された符号化データをメモリに記録する記録手段と、
    を有することを特徴とする撮像装置。
20. 前記符号化手段で符号化され、前記メモリに記録された符号化データを復号し、前記複数のアナログ画像信号の視差を利用した画像処理を施す画像処理回路をさらに有することを特徴とする請求項１９に記載の撮像装置。
21. 光学系からの光束を受光し、視点の異なる複数のアナログ画像信号を出力する複数の光電変換部を有する第１半導体基板と、
    前記複数のアナログ画像信号に基づく複数の第１の差分画像と第２の差分画像とを符号化する請求項１から請求項１３のいずれか１項に記載の画像処理装置を有する第２半導体基板と、
    が積層状に重ねて配置されて構成されることを特徴とする撮像素子。
22. 画像処理装置が実行する画像処理方法であって、
    複数の視差画像の加減算に基づく複数の第１の差分画像と、前記複数の視差画像の加算に基づく現在の加算画像と過去の加算画像との第２の差分画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割工程と、
    前記複数の第１の差分画像と前記第２の差分画像とを符号化する符号化工程と、を有し、
    前記符号化工程は、前記複数の第１の差分画像については前記複数のサブバンドの一部のサブバンドのデータのみを符号化し、前記第２の差分画像については前記複数のサブバンドのデータを符号化するとともに、前記複数の第１の差分画像については前記高帯域成分を含むサブバンドのデータを符号化する、
    ことを特徴とする画像処理方法。
23. 画像処理装置が実行する画像処理方法であって、
    複数の視差画像の加算に基づく現在の加算画像と過去の加算画像との差分画像の複数のサブバンドを符号化した第１の符号化データと、前記複数の視差画像の加減算に基づく複数の差分画像のそれぞれの、前記複数のサブバンドのうち、高帯域成分を含むサブバンドを符号化した第２の符号化データと、を取得する取得工程と、
    前記第１の符号化データのうち、高帯域成分を含まないサブバンドの符号化データを用いて復元した画像に、過去に復元した加算画像の低帯域成分を予測画像として加算して、加算画像の低帯域成分を復元する第１の加算工程と、
    前記第１の符号化データのうち、前記高帯域成分を含むサブバンドの符号化データを用いて復元した画像に、過去に復元した加算画像の高帯域成分を予測画像として加算して、加算画像の高帯域成分を復元する第２の加算工程と、
    前記第２の加算工程で復元された加算画像の高帯域成分と、前記第２の符号化データから復元した複数の前記差分画像の高帯域成分とから、前記複数の視差画像を復元する復元工程と、
    前記復元した前記複数の視差画像を用いてリフォーカス画像を生成する生成工程と、
    前記第１の加算工程で復元された前記加算画像の低帯域成分に前記リフォーカス画像を加算する第３の加算工程と、
    を有することを特徴とする画像処理方法。
24. コンピュータを、請求項１から請求項１３のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
25. コンピュータを、請求項１４から請求項１８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images