JP7041494B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特には複数視点の画像に関する画像処理技術に関する。

ステレオ撮影やマルチアングル撮影など、被写体を複数の視点位置から撮影することで得られる画像（多視点画像）は、立体視の提供や、視点や合焦距離を変更した画像の生成などに用いられている。多視点画像は視点の数に等しいフレーム数の画像群であるため、データ量も視点の数とともに増加する。

特許文献１では、多視点画像を構成する複数の画像（サブイメージ）のデータをすべて送信する代わりに、サブイメージを加算平均した画像のデータと、各サブイメージ内の関心領域（ＲＯＩ）のデータを送信することが開示されている。

特開２０１５－１７１０９７号公報

特許文献１に開示された技術によれば、送信データ量を削減しつつ、ＲＯＩに関するリフォーカスを実現できる。しかしながら、リフォーカス可能な画像領域がＲＯＩに制限されるという課題がある。

本発明の目的は、多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供することにある。

上述の目的は、視点が異なる複数の第１の画像に対応する基本画像と、それぞれが複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、複数の第２の画像と基本画像とを符号化する符号化手段と、を有し、符号化手段は、複数の第２の画像と基本画像とで符号化するサブバンドを異ならせ、複数の第２の画像については高帯域成分を含むサブバンドについて符号化し、基本画像については高帯域成分を含まないサブバンドについて符号化する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成を示したブロック図 実施形態に係るデジタルカメラの撮像部に関する図 実施形態に係る撮像部の画像圧縮部の機能構成に関する図 実施形態に係る画像圧縮部が実行するサブバンド分割に関する図 実施形態に係る画像圧縮部が有するウェーブレット変換部に関する図 実施形態に係る画像処理部の機能構成に関する図 実施形態に係る画像処理部の別の機能構成に関する図 実施形態に係る画像圧縮部の別の機能構成に関する図 実施形態に係る画像処理部の別の機能構成に関する図 実施形態に係る画像圧縮部の別の機能構成に関する図 図１０の詳細に関する図 実施形態に係る画像処理部の別の機能構成に関する図 図１２の詳細に関する図 第２実施形態に係るデジタルカメラの撮像部および画像圧縮部に関する図 第２実施形態における撮影動作およびリフォーカス動作に関するフローチャート 第２実施形態に係るデジタルカメラの画像処理部の機能構成に関する図 第３実施形態に係るデジタルカメラの画像圧縮部の機能構成に関する図 第３実施形態における撮影動作およびリフォーカス動作に関するフローチャート 第３実施形態に係る画像処理部の機能構成に関する図 第３実施形態における撮影動作に関するフローチャート 第４実施形態に係るデジタルカメラの撮像部および画像圧縮部の機能構成に関する図 第４実施形態における予測画像更新処理に関するフローチャート 第４実施形態に係るデジタルカメラの画像処理部の機能構成に関する図 第５実施形態に係るデジタルカメラの撮像部の機能構成および動作に関する図 第５実施形態に係るデジタルカメラの画像処理部の機能構成および動作に関する図 第６実施形態に係るデジタルカメラの撮像部の機能構成に関する図 第６実施形態に係るデジタルカメラの画像処理部の機能構成に関する図

以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能ブロックは、プログラマブルロジックや回路部品といったハードウェア、プログラマブルプロセッサが実行可能なソフトウェア、またはそれらハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能ブロックは複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能ブロックを実現してもよい。また、１つ以上の機能ブロックは、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。

以下では、画像処理装置の一例としてのデジタルカメラに本発明を適用した実施形態を説明する。しかし、本発明は多視点画像を取り扱い可能な任意の電子機器に適用することが可能である。このような電子機器には、撮像装置をはじめ、コンピュータ、スマートフォン、タブレット端末、ゲーム機などの情報処理装置、家電製品、ロボットなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１は、本実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。制御部１０１は、例えば１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵ）である。制御部１０１は、例えばＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み込んで実行することにより、デジタルカメラ１００の各機能ブロックの動作を制御し、デジタルカメラ１００の機能を実現する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、制御部１０１が実行可能なプログラムのほか、各種の設定値、ＧＵＩデータなどを記憶する。
ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、プログラムを実行するためにシステムメモリとして用いられたり、データの一時的な記憶領域（バッファメモリ）として用いられたりする。

光学系１０４は、複数のレンズや絞りなどを有し、被写体の光学像を撮像部１０５の撮像面上に形成する。光学系１０４は着脱可能であってもなくてもよい。光学系１０４は、フォーカスレンズ、変倍レンズ、手振れ補正レンズなどの可動レンズと、可動レンズを駆動する機構を有する。

撮像部１０５は、画素部やその周辺回路（例えば、読み出し回路、Ａ／Ｄコンバータ、符号化回路など）を有する。後述するように、本実施形態の撮像部１０５は画像データを２次元サブバンド符号化してＲＡＭ１０３に一次記憶する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている符号化データを復号したり、復号で得られた画像データに対してホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用したりする。画像処理部１０７は一般にＡＳＩＣによって実装されるが、一部の処理を制御部１０１がプログラムを実行して実現してもよい。画像処理部１０７は処理を適用した画像データをＲＡＭ１０３に再度記憶する。なお、画像処理部１０７は、自動焦点検出（ＡＦ）や自動露出制御（ＡＥ）に用いる情報を画像データから取得する処理を実施してもよい。

制御部１０１は、撮像部１０５が出力する符号化データや、画像処理部１０７によって処理された画像データから画像ファイルを生成し、記録媒体１０８に記録する。画像処理部１０７が画像データに適用する処理と、制御部１０１が生成する画像ファイルの構成は、記録形式に応じて予め定められている。記録媒体１０８は例えば着脱可能なメモリカードである。

操作部１０９はユーザがデジタルカメラ１００に指示を与えるための入力デバイスの総称である。シャッターボタン、動画撮影・一時停止ボタン、電源ボタン、メニューボタン、方向キー、決定ボタンなどが操作部１０９に含まれる。制御部１０１は操作部１０９に対する操作を監視し、検出された操作に応じた動作を実行する。

表示部１１０は例えばＬＣＤやＯＬＥＤであり、デジタルカメラ１００の各種情報、撮像画像、ＧＵＩ（メニュー画面など）を表示する。表示部１１０はタッチパネルディスプレイであってもよく、この場合タッチパネルは操作部１０９に含まれる。

図２（ａ）は、撮像部１０５の機能構成例を示すブロック図である。画素部２０１は光学像をアナログ画像信号に変換し、Ａ／Ｄ変換部２０２に出力する。Ａ／Ｄ変換部２０２は、アナログ画像信号をＡ／Ｄ変換し、画像データとして画像圧縮部２０３に出力する。画像圧縮部２０３のラインバッファを節約するため、画像データは図２（ｂ）に示すようなタイル（Ｔ１、Ｔ２、Ｔ３、・・・）単位で出力される。画像圧縮部２０３は、画像を２次元サブバンド分割し、特定の帯域成分を符号化する。

本実施形態では、撮像部１０５は、画素部２０１を第１層（第１半導体基板）、画像圧縮部２０３を第２層（第２半導体基板）として積層配置され、少なくとも１以上の貫通電極により互いに電気的に接続されて１つのチップで構成されているものとする。このように、本実施形態において画像圧縮部２０３がチップ内に組み込まれているのは、省電力と高速処理、低コスト設計のためである。画素部２０１がチップ内の基板に、画像圧縮部２０３がチップ外の基板に配置されると、配線の抵抗成分や容量成分が多くなる。そのため、同一チップ内の配線による通信に比べて低速になる。通信を高速にするには、信号波形品質を保つためアンプで駆動する必要があり、駆動電力を上げなければならない。一方、画素部２０１と画像圧縮部２０３とがいずれも同一チップ内の半導体基板に配置されることにより、出力配線が短く済み、アンプも省くことができる。加えて、撮像部１０５から出力される符号化データ量が少ないため、撮像部１０５と、制御部１０１や画像処理部１０７との通信時間が短くなり、処理速度の増加や処理負荷の低減、消費電力の低下を図ることができる。

図２（ｃ）は、画素部２０１の画素構成および配列の例を示す模式図である。画素部２０１には複数の画素４０６が水平および垂直方向に２次元配置されている。個々の画素４０６は、１つのマイクロレンズ４０５と４つの光電変換部４０１、４０２、４０３、４０４を有する。１つのマイクロレンズ４０５を共有する４つの光電変換部４０１～４０４は、光学系１０４の射出瞳のうち、互いに異なる部分瞳領域を通過した光束を受光する。従って、複数の画素４０６について、光電変換部４０１群、光電変換部４０２群、光電変換部４０３群、光電変換部４０４群から独立してアナログ画像信号を得ることにより、１回の露光または撮影により４つの視差画像（第１の画像）を得ることができる。４つの視差画像は、互いに視点が異なる複数の画像であるため、多視点画像と呼ぶことができる。

本実施形態においては、多視点画像を構成する視差画像のうち、光電変換部４０１群で得られる画像をＡ像、光電変換部４０２群で得られる画像をＢ像、光電変換部４０３群で得られる画像をＣ像、光電変換部４０４群で得られる画像をＤ像、と呼ぶ。

図３は、図２（ａ）の画像圧縮部２０３の機能構成例を示すブロック図である。加算部５０１は、Ａ像～Ｄ像をシフト量０で加算し、各画素値を平均（１／４）することにより、光学系１０４の射出瞳の中心を通過する光束を含む基本画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を生成する。ここでは、基本画像を多視点画像の平均画像としたが、平均画像でなくてもよい。例えば、画素値を単純加算して基本画像を生成し、多視点画像を構成する複数の視差画像の画素値の範囲を基本画像の画素値の範囲に整合するように補正してもよい。本明細書において、画像Ａ＋Ｂは、Ａ像とＢ像との加算に基づく画像、もしくはそれと同等の画像を意味する。つまり、光電変換部４０１から得られる信号群と光電変換部４０２から得られる信号群の加算に基づく画像であっても、光電変換部４０１と４０２とを合わせたものと同等の１つの光電変換部から得られる信号群からなる画像であってもよい。ウェーブレット変換部５０２、５１２、５２２、５３２、５４２は、基本画像とＡ～Ｄ像にそれぞれ２次元サブバンド分割の一例としての２次元ウェーブレット変換（以下、単にウェーブレット変換と呼ぶ）を適用する。なお、本実施形態において、ウェーブレット変換部５ｎ２（ｎ＝０～４）は分解レベル１までのウェーブレット変換を適用するものとする。

なお、本実施形態では基本画像として多視点画像を構成する視差画像（Ａ像～Ｄ像）全ての加算に基づいて得られる画像を用いた。しかし、Ａ像～Ｄ像の一部の加算に基づく画像を基本画像としてもよい。後述するリフォーカス処理では、基本画像の視点位置に基づいてリフォーカス処理を行う。例えば、Ａ＋Ｂ＋Ｃを基本画像とする場合、Ａ＋Ｂ＋Ｃの視点を基準にしてＡ像、Ｂ像、Ｃ像からリフォーカス画像を生成すればよい。さらに、例えばＡ＋Ｂと同じ視点のＥ像が別途設けられた光電変換素子群から得られる場合、Ｅ像を基本画像、Ｅ像を生成することができるＡ像およびＢ像を視差画像として用いてもよい。

つまり、本発明において、基本画像とは、複数の視差画像の２つ以上に対応した画像、つまり、２つ以上の視差画像に基づいて生成可能な画像であればよい。また、符号化対象とする視差画像（第２の画像）は、基本画像を生成可能な複数の視差画像（第１の画像）を最終的に得ることが可能であれば、第１の画像の２つ以上に対応した画像であってもよい。例えば、Ａ＋Ｂ＋Ｃに相当する画像を基本画像とした場合、（１）Ａ、Ｂ、Ｃ、（２）Ａ＋Ｂ、Ａ、（３）Ａ＋Ｃ、Ａ、（４）Ｂ＋Ｃ、Ｃ、（５）Ａ－Ｂ、Ｃなどのいずれかの組み合わせを視差画像として符号化することができる。なお、基本画像を構成しない視差画像（上述の例ではＤ）については、符号化してもしなくてもよい。このように、本発明では、基本画像を生成可能な複数の視差画像（第１の画像）をそのまま符号化する（１）の場合と、第１の画像の１つまたは２つ以上に対応した複数の画像を符号化する（２）～（５）の場合とがある。そのため、符号化対象とする視差画像を第２の画像と呼ぶ。ただし、本実施形態では第２の画像が第１の画像と等しい場合について説明する。

図４は、分解レベル０から３までのウェーブレット変換により得られる複数のサブバンド信号の配置を模式的に示した図である。７０１で示す分解レベル０は原画像である。また７０２～７０４はそれぞれ分解レベル１～３のウェーブレット変換後のサブバンドの配置を示している。サブバンドｎＬＬ、ｎＨＬ、ｎＬＨ、ｎＨＨのｎは分解レベル（１～３）を示し、ＬＬ，ＨＬ，ＬＨ，ＨＨはそれぞれ水平および垂直方向で適用された帯域通過フィルタ処理の種類（ハイパスフィルタまたはローパスフィルタ）を示す。なお、ウェーブレット係数のうち、高帯域成分を含まないサブバンドｎＬＬの係数をスケーリング係数、残りの、高帯域成分を含んだ３つのサブバンドｎＨＬ、ｎＬＨ、ｎＨＨの係数をウェーブレット展開係数と呼ぶ。

エンコード部５０３、５１３、５２３、５３３、５４３は、ウェーブレット変換により分割された各サブバンドの係数に対して量子化、算術符号化などの符号化処理を適用する。エンコード部５ｎ３（ｎ＝０～４）が実行する符号化の方式に特に制限はなく、可逆符号化方式であっても非可逆符号化方式であってもよい。

図５（ａ）は、ウェーブレット変換部５ｎ２（ｎ＝０～４）機能構成例を示すブロック図である。本実施形態では、一例として、式１および式２に示す、正規直交するウェーブレットを用いたウェーブレット変換を行うものとする。
Ｈ０（ｚ）＝ｂ０＋Σｂｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式１）
Ｈ１（ｚ）＝ｃ０＋Σｃｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式２）
ここで、ｎは０～３の整数であり、係数ｂｎおよびｃｎの値は以下のとおりである。
ｂ０＝０．６０２９４９
ｂ１＝０．２６６８６４
ｂ２＝－０．０７８２２３
ｂ３＝－０．０１６８６４
ｂ４＝０．０２６７４８
ｃ０＝１．１１５０８７
ｃ１＝－０．５９１２７１
ｃ２＝－０．０５７５４３
ｃ３＝０．０９１２７１

係数ｂｎはウェーブレットのスケーリング関数を表わす数列で、係数ｃｎはウェーブレットを表わす数列である。図５（ｂ）に、伝達関数Ｈ０（ｚ）の振幅周波数特性６３１および伝達関数Ｈ１（ｚ）の振幅周波数特性６３３を示す。振幅周波数特性の縦軸は振幅、横軸はサンプリング周波数で正規化された正規化周波数で、ナイキスト周波数が０．５に対応する。

低域フィルタ部６０１の伝達関数はＨ０（ｚ）であり、垂直方向のスケーリング係数を生成する。高域フィルタ部６０３の伝達関数はＨ１（ｚ）であり、垂直方向のウェーブレット展開係数を生成する。ダウンサンプリング部６０２、６０４は垂直方向のダウンサンプリングにより画素数を１／２にする。

低域フィルタ部６１１、６２１の伝達関数はＨ０（ｚ）であり、水平方向のスケーリング係数を生成する。高域フィルタ部６１３、６２３の伝達関数はＨ１（ｚ）であり、水平方向のウェーブレット展開係数を生成する。ダウンサンプリング部６１２、６２２、６１４、６２４は水平方向のダウンサンプリングにより画素数を１／２にする。

基本画像に対応するエンコード部５０３はスケーリング係数（１ＬＬ）の符号化データのみを出力する。また、４つの視差画像（Ａ像～Ｄ像）に対応するエンコード部５１３、５２３、５３３、５４３は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）の符号化データのみを出力する。これは、ウェーブレット変換部から対応するエンコード部へ、符号化すべき係数のみを出力することによっても、エンコード部が符号化すべき係数以外を無視することによっても実現できる。

ウェーブレット係数ＬＬ，ＨＬ，ＬＨ，ＨＨはいずれも、生成時に水平方向と垂直方向の両方で１／２にダウンサンプリングされているため、符号化後の係数の数は符号化前の１／４になる。従って、原画像の画素数を１とした場合、符号化データの数は１／４＋３／４×４＝（３＋１／４）となり、Ａ像～Ｄ像をそれぞれ独立して符号化する場合（１×４＝４）よりも符号化データ量を削減することができる。

撮像部１０５から出力する符号化データ量が削減されるため、多視点画像を扱う場合でも動画のフレームレートや静止画の連写可能枚数の低下を抑制することができる。また、ＲＡＭ１０３に確保するバッファ容量を変更せずに静止画の連写可能枚数を増加させることができる。

制御部１０１は、撮像部１０５が出力する、基本画像と４つの視差画像（Ａ像～Ｄ像）の符号化データを記録媒体１０８に記録する。なお、制御部１０１は、符号化データを記録媒体１０８に記録する際に、データファイルのヘッダなどに、ウェーブレット変換の分解レベルや、基本画像および視差画像について記録されているサブバンドに関する情報を含めておく。記録媒体１０８から読み出した符号化データをＲＡＭ１０３に読み込み、画像処理部１０７で復号およびリフォーカス処理を実行することができる。

図６（ａ）は、画像処理部１０７が符号化データを復号する際の動作を機能ブロックとして記載した図である。ここで説明する復号およびリフォーカス処理は画像処理部１０７が実行可能な多様な画像処理の一部に過ぎない。また、データファイルから符号化データを抽出し、各デコード部に符号化データを分配する処理も画像処理部１０７の内部で実行される。デコード部８０１、８１１、８２１、８３１、８４１は、分解レベル１のスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を復号する。なお、デコード部は、全ての係数を復号し、特定の係数だけをウェーブレット逆変換部に供給してもよいし、ウェーブレット逆変換部に供給する係数だけを復号してもよい。デコード部８０１は基本画像の１ＬＬ、デコード部８１１、８２１、８３１、８４１はそれぞれＡ像～Ｄ像の１ＬＨ、１ＨＬ、１ＨＨを復号する。デコード部８ｎ４（ｎ＝０～４）は符号化方式に対応した復号を行う。

ウェーブレット逆変換部８０２、８１２、８２２、８３２、８４２は、復号された各サブバンドに対して２次元ウェーブレット逆変換を施すことにより、サブバンド分割された画像を復元する（サブバンド復元）。基本画像の符号化データはスケーリング係数（１ＬＬ）だけが記録されている。そのため、ウェーブレット逆変換部８０２は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）については０としてウェーブレット逆変換する。一方、Ａ像～Ｄ像の符号化データはスケーリング係数（１ＬＬ）が記録されていない。そのため、ウェーブレット逆変換部８１２、８２２、８３２、８４２は、スケーリング係数（１ＬＬ）を０としてウェーブレット逆変換する。

シフト加算部８０３は、ウェーブレット逆変換されたＡ像～Ｄ像に対し、リフォーカスのためのシフト加算を行う。シフト加算によるリフォーカスは例えば特許文献１に記載されるように公知である。制御部１０１は例えば基本画像を表示部１１０に表示し、合焦させたい位置をユーザに選択させる。例えば操作部１０９を通じて指定された画像内の位置が合焦するように制御部１０１はシフト加算の量および方向を決定し、シフト加算部８０３に通知する。シフト加算部８０３は通知されたシフト方向および量に従ってＡ像～Ｄ像をシフト加算することにより、リフォーカス画像を生成する。シフト加算部８０３は、リフォーカス処理した画像を加算部８０４に出力する。加算部８０４は、スケーリング係数（１ＬＬ）だけでウェーブレット逆変換された基本画像と、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）だけでウェーブレット逆変換されたＡ像～Ｄ像をリフォーカス処理した画像とを加算する。加算部８０４により、リフォーカスされた基本画像が得られる。

図６（ｂ）は、図６（ａ）のウェーブレット逆変換部８ｎ２（ｎ＝０～４）の機能構成例を説明するためのブロック図である。
アップサンプリング部９０１、９０３、９１１、９１３は水平方向のアップサンプリングにより画素数を２倍にする。低域フィルタ部９０２、９１２は水平方向に低域フィルタ処理を適用する。高域フィルタ部９０４、９１４は水平方向に高域フィルタ処理を適用する。アップサンプリング部９２１、９２３は垂直方向のアップサンプリングにより画素数を２倍にする。低域フィルタ部９２２は垂直方向に低域フィルタ処理を適用する。高域フィルタ部９２４は垂直方向に高域フィルタ処理を適用する。加算部９０５、９１５、９２５はウェーブレット逆変換の中間画像を加算する。

ウェーブレット逆変換部においても、式３および式４に示す、正規直交するウェーブレットを用いたウェーブレット逆変換を行うものとする。
Ｇ０（ｚ）＝ｄ０＋Σｄｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式３）
Ｇ１（ｚ）＝ｅ０＋Σｅｎ・（ｚ＾ｎ＋ｚ＾－ｎ） （式４）
ただし、各係数の値は以下のとおりである。
ここで、ｎは０～３の整数であり、係数ｄｎおよびｅｎの値は以下のとおりである。
ｄ０＝１．１１５０８７
ｄ１＝０．５９１２７１
ｄ２＝－０．０５７５４３
ｄ３＝－０．０９１２７１
ｅ０＝０．６０２９４９
ｅ１＝－０．２６６８６４
ｅ２＝－０．０７８２２３
ｅ３＝０．０１６８６４
ｅ４＝０．０２６７４８
低域フィルタ部の伝達関数はＧ０（ｚ）、高域フィルタ部の伝達関数はＧ１（ｚ）である。

本実施形態では、画像の低域成分（スケーリング係数（１ＬＬ））にはシフト加算を行わずにリフォーカス画像を生成している。しかし、シフト量が１～２画素程度のリフォーカス処理の場合、低域成分のピントはほとんど変化しない。そのため、すべてのサブバンド成分に対してシフト加算を行う従来技術と同等のピント調整効果を得ることができる。

また、本実施形態においては、ウェーブレット逆変換した画像をシフト加算する構成について説明した。しかし、各サブバンド成分をシフト加算してからウェーブレット逆変換するように構成してもよい。この場合の画像処理部１０７’の機能構成例を図７に示す。図６（ａ）と同じ構成要素には同じ参照数字を付してある。

シフト加算部１００１、１００２、１００３はそれぞれ、Ａ像～Ｄ像のＨＨ、ＬＨ、およびＨＬサブバンド成分をシフト加算する。水平および垂直方向で画素数が１／２にダウンサンプリングされた分解レベル１のサブバンド成分のシフト加算であるため、シフト量は２ｎ画素単位に限定される。しかし、ウェーブレット逆変換の演算回数を減らすことができるため、演算コストを削減することができる。

また、本実施形態においては、４つの視差画像（Ａ像～Ｄ像）に射出瞳の中心を視点とした基本画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を含めない構成を説明した。しかし、例えばＡ像～Ｄ像の１つを（Ａ＋Ｂ＋Ｃ＋Ｄ）像に置き換えてもよい。

図８は、４つの視差画像として、（Ａ＋Ｂ＋Ｃ＋Ｄ）像とＢ像～Ｄ像を用いる場合の画像圧縮部２０３’の構成例を示すブロック図である。図３と同じ構成要素には同じ参照数字を付してある。
この場合、基本画像かつ視差画像の一つとして用いられる（Ａ＋Ｂ＋Ｃ＋Ｄ）像に対応するエンコード部５０３’は、ウェーブレット変換部５０２からのスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を符号化する。一方、Ｂ像～Ｄ像を符号化するエンコード部５２３、５３３、５４３のそれぞれは、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）のみを符号化する。

図８の構成においても、符号化データの数は１／４＋３／４×４＝（３＋１／４）となり、Ａ像～Ｄ像をそれぞれ独立して符号化する場合（１×４＝４）よりも符号化データ量を削減することができる。

図９は、画像圧縮部２０３’でエンコードされた画像データを復号する画像処理部１０７”の機能構成例を示すブロック図である。図６（ａ）と同じ構成要素には同じ参照数字を付してある。

デコード部８０１’は、視差画像の１つとしても用いられる基本画像（Ａ＋Ｂ＋Ｃ＋Ｄ）について、分解レベル１のスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を復号する。
デコード部８２１、８３１、８４１は、Ｂ像～Ｄ像について、分解レベル１のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を復号する。

デコード部８０１’は、図６（ａ）におけるデコード部８０１および８１１と同様の処理を行う。すなわち、デコード部８０１’は、基本画像については復号したスケーリング係数（１ＬＬ）と、０のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）をウェーブレット逆変換部８０２に供給する。また、デコード部８０１’は、０のスケーリング係数（１ＬＬ）と、復号したウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）とをウェーブレット逆変換部８１２に出力する。ウェーブレット逆変換部８１２の構成は図６（ｂ）で説明したものと同じである。ウェーブレット逆変換部８１２は、ウェーブレット逆変換によって得られた画像を減算部１２０１に出力する。
デコード部８２１、８３１、８４１およびウェーブレット逆変換部８０２、８２２、８３２、８４２の動作は図６（ａ）および図６（ｂ）を用いて説明した通りである。

減算部１２０１は、ウェーブレット逆変換部８２２、８３２、８４２の出力をウェーブレット逆変換部８１２の出力から減じて、Ａ像のウェーブレット逆変換結果に相当する画像を生成し、シフト加算部８０３に出力する。シフト加算部８０３および加算部８０４の動作は図６（ａ）を用いて説明した通りである。

このように、基本画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を視差画像の１つとして利用することによっても演算コストを削減することができる。

本実施形態においては、ウェーブレット変換の分解レベルを１とし、基本画像についてはスケーリング係数（ＬＬ）を、視差画像についてはウェーブレット展開係数（ＨＬ，ＬＨ，ＨＨ）を記録する構成について説明した。しかし、図４に７０３、７０４として示した分解レベル２や分解レベル３までのウェーブレット変換を行う場合にも同様にして適用可能である。

図１０（ａ）は、ウェーブレット変換を分解レベル２まで行う場合の画像圧縮部２０３”の機能構成例を示すブロック図である。加算部５０１は、Ａ像～Ｄ像を加算して、光学系１０４の瞳中心を通過する光束を含む基本画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を生成し、ウェーブレット変換・エンコード部１９０１に供給する。また、ウェーブレット変換・エンコード部１９０２～１９０５にはＡ像～Ｄ像がそれぞれ供給される。

図１１（ａ）は、ウェーブレット変換・エンコード部１９０１の機能構成例を示すブロック図である。ウェーブレット変換部５０２および５０２１によりスケーリング係数（ＬＬ）に分解レベル２のウェーブレット変換を行い、エンコード部５０３で分解レベル２のスケーリング係数（２ＬＬ）の符号化データを出力する。
図１１（ｂ）は、ウェーブレット変換・エンコード部１９０２～１９０５の機能構成例を示すブロック図である。ウェーブレット変換部５１２および５１２１によりウェーブレット展開係数（ＬＨ，ＨＬ，ＨＨ）に分解レベル１および２のウェーブレット変換を行う。エンコード部５１３および５１３１により、分解レベル１のウェーブレット展開係数（１ＬＨ，１ＨＬ，１ＨＨ）の符号化データおよび分解レベル２のウェーブレット展開係数（２ＬＨ，２ＨＬ，２ＨＨ）の符号化データをそれぞれ出力する。

図１２は、ウェーブレット変換を分解レベル２まで行う場合の画像処理部１０７’’’の機能構成例を示すブロック図である。図６（ａ）と同じ機能ブロックには同じ参照数字を付してある。画像処理部１０７’’’はデコード・ウェーブレット逆変換部２５０１～２５０５、シフト加算部８０３および加算部８０４を有する。

図１３（ａ）は、基本画像（Ａ＋Ｂ＋Ｃ＋Ｄ）の符号化データを処理するデコード・ウェーブレット逆変換部２５０１の機能構成例を示すブロック図である。デコード部８０１は、分解レベル２のスケーリング係数（２ＬＬ）の符号化データを復号し、ウェーブレット逆変換部８０２１に供給する。ウェーブレット逆変換部８０２１は、分解レベル２のウェーブレット展開係数（２ＬＨ、２ＨＬ、２ＨＨ）を０としてウェーブレット逆変換を行い、分解レベル１のスケーリング係数（１ＬＬ）を生成してウェーブレット逆変換部８０２に供給する。ウェーブレット逆変換部８０２は、分解レベル１のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を０としてウェーブレット逆変換を行い、基本画像を得る。

図１３（ｂ）は、視差画像（Ａ像～Ｄ像）の符号化データを処理するデコード・ウェーブレット逆変換部２５０ｎ（ｎ＝２～５）の機能構成例を示すブロック図である。分解レベルが２以上であっても、分解レベル１のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）には影響がないため、デコード部８０１およびウェーブレット逆変換部８０２の動作は分解レベル１のときと同じである。

ウェーブレット変換を分解レベル２まで行うと、演算量が増加するが、視差画像のデータがカバーする空間周波数帯域が低域方向に拡がるため、シフト加算部８０３におけるシフト量を増やすことができる。すなわち、リフォーカス可能な範囲を拡大できる。なお、分解レベルを３以上に増やしてよい。

以上、様々な変形例を含めて第１実施形態を説明した。本実施形態では、複数の視差画像について、複数の視差画像を合成した基本画像と視差画像とをそれぞれ２次元サブバンド分割し、基本画像については最も低域のサブバンドの係数を、視差画像については残りのサブバンドの係数を符号化するようにした。これにより、視差画像の利用を制限することなく、複数の視差画像を符号化するよりも符号量を削減することができる。

そのため、例えば複数の視差画像をリフォーカス画像の生成に用いる場合、画像内の任意の領域をリフォーカス対象とすることができる。また、撮像装置の構成を変更することなく、撮像時のフレームレートや連写可能枚数を高めることができる。なお、本発明が対象とする視差画像の用途はリフォーカス画像の生成に限定されない。例えば、自動焦点検出に用いられる視差画像に対しても本発明を適用することができる。この場合、本発明の適用による視差画像の撮影フレームレートの増加は、自動焦点検出に要する時間の短縮につながる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。本実施形態では第１の画像の２つに対応する第２の画像を符号化する構成として、符号化対象の視差画像の数を減らす。

図１４（ａ）は、本実施形態における撮像部１０５’の機能構成例を示すブロック図であり、図２（ａ）と同じ構成については同じ参照数字を付してある。本実施形態の撮像部１０５’は、２つめの画像圧縮部１３０１が追加されている点で第１実施形態と異なる。

図１４（ｂ）は、追加された画像圧縮部１３０１の機能構成例を示すブロック図であり、画像圧縮部２０３が有する機能ブロックと同様の機能ブロックには図３と同じ参照数字を付してある。

画像圧縮部１３０１におけるウェーブレット変換部５０２は、基本画像に対して分解レベル１のウェーブレット変換を行い、分解レベル１のスケーリング係数（１ＬＬ）に加え、分解レベル１の展開係数の１つ（１ＬＨ）をエンコード部５０３に供給する。エンコード部５０３は、残りの展開係数（１ＨＬ、１ＨＨ）を０としてエンコードする

加算部１４０１、１４０２は、それぞれ２つの視差画像を加算する。具体的には加算部１４０１はＡ像とＣ像とを加算し、加算部１４０２はＢ像とＤ像とを加算する。加算部１４０１および１４０２はそれぞれ、第１の画像の２つに対応する符号化対象の視差画像（第２の画像）を生成する。この加算により、水平方向にだけ瞳分割した１対の視差画像が得られる。この加算により、垂直方向の視差の情報が失われるため、リフォーカス処理におけるシフト方向が水平方向に制限されるが、符号化データの削減効果は大きくなる。したがって、画像圧縮部２０３と１３０１とを選択的に用いることにより、リフォーカスの自由度を優先するか、符号化データの削減（フレームレートまたは連写可能枚数の向上）を優先するかを選択することができる。なお、加算部１４０１でＡ像とＢ像を加算し、加算部１４０２でＣ像とＤ像を加算するなど、他の加算を行ってもよい。

加算部１４０１、１４０２の加算により、視差画像について必要なウェーブレット展開係数は水平方向に関する係数のみとなる。そのため、基本画像を処理するウェーブレット変換部５０２は水平スケーリング係数に対応するサブバンドＬＨ、ＬＬを出力する。また、視差画像を処理するウェーブレット変換部５１２、５２２のそれぞれは、水平ウェーブレット展開係数に対応するサブバンドＨＬ、ＨＨを出力する。なお、制御部１０１は、符号化データを記録媒体１０８に記録する際に、データファイルのヘッダなどに、ウェーブレット変換の分解レベルや、基本画像および視差画像について記録されているサブバンドに関する情報を含めておく。

この場合、符号化データの数は、原画像の画素数を１とした場合、１／２＋１／２×２＝（１＋１／２）となり、２つの視差画像をそのまま符号化した場合に対して、（１＋１／２）／２＝７５％の符号化データ数に削減することができる。
水平方向と垂直方向の両方で瞳分割した第１実施形態では（３＋１／４）／４＝８１％の符号化データ数に削減することができたが、本実施形態ではより高い削減率が実現できる。

図１５（ａ）は、一例として、ユーザによるモード選択に応じて画像圧縮部２０３と１３０１とを選択的に用いる場合の制御部１０１の動作に関するフローチャートである。制御部１０１は、この動作を、操作部１０９に対する撮影指示（例えば静止画または動画の撮影開始指示）の入力操作が検出された際に実行することができる。

Ｓ１７０１で制御部１０１は、データレート優先モードが選択されているか否かを判定し、選択されていると判定されればＳ１７０３に、選択されていると判定されなければＳ１７０２に処理を進める。

Ｓ１７０２で制御部１０１は画像圧縮部２０３を選択する旨を撮像部１０５’に通知する。また、Ｓ１７０３で制御部１０１は、画像圧縮部１３０１を選択する旨を撮像部１０５’に通知する。その後、制御部１０１は撮影処理を開始する。撮影処理において撮像部１０５’は、制御部１０１が選択した画像圧縮部が生成した符号化データを出力する。なお、撮像部１０５’は、選択されなかった画像圧縮部の動作を停止させても良い。

なお、データレート優先モードが選択されているか否かは、例えばＲＯＭ１０２を参照することによって判定することができる。また、制御部１０１は、データレートを優先すべき撮影モードが設定されているか否かによって同様の制御を行ってもよい。

図１６（ａ）は、本実施形態における画像処理部１０７－４の機能構成例を示すブロック図である。本実施形態の画像処理部１７０－４は２つの画像伸長部１５０１、１５０２を有する。ここで、画像伸長部１５０１は図６（ａ）に示した画像処理部１０７と同じ構成を有する。

図１６（ｂ）は、画像伸長部１５０２の機能構成例を示すブロック図である。画像伸長部１５０２は、データレート優先モードで記録された（画像圧縮部１３０１が生成した）符号化データを伸長する。
デコード部８０１は基本画像の符号化データを復号し、１ＬＬおよび１ＬＨのウェーブレット係数をウェーブレット逆変換部８０２に供給する。ウェーブレット逆変換部８０２は、１ＨＬおよび１ＨＨのウェーブレット係数を０としてウェーブレット逆変換を実行し、得られた基本画像を加算部８０４に出力する。

デコード部８１１１はＡ＋Ｃ像の符号化データを、デコード部８２１１はＢ＋Ｄ像の符号化データを、それぞれ復号し、１ＨＨおよび１ＨＬのウェーブレット係数をウェーブレット逆変換部８１２１および８２２１にそれぞれ出力する。ウェーブレット逆変換部８１２１および８２２１は、１ＬＬおよび１ＬＨのウェーブレット係数を０としてウェーブレット逆変換を実行し、得られたＡ＋Ｃ像およびＢ＋Ｄ像をシフト加算部１６０１に出力する。シフト加算部１６０１は、水平方向のシフト加算により、リフォーカス画像を生成する。

加算部８０４は、水平スケーリング係数だけでウェーブレット逆変換された基本画像と、水平ウェーブレット展開係数だけでウェーブレット逆変換された視差画像から生成されたリフォーカス画像とを加算し、リフォーカスされた基本画像を生成する。

図１５（ｂ）は、リフォーカス処理時の制御部１０１の動作に関するフローチャートである。制御部１０１は、視差画像を用いた処理の一例であるリフォーカス処理の開始が操作部１０９を通じて指示された際にこの処理を実行することができる。Ｓ１８０１で制御部１０１は読み出したデータファイルのヘッダ情報から、符号化データがデータレート優先モードで記録されているか否かを判定する。制御部１０１は、データレート優先モードで記録されていると判定されればＳ１８０３に、判定されなければＳ１８０２に処理を進める。Ｓ１８０２で制御部１０１は画像伸長部１５０１を選択し、画像処理部１０７－４に通知する。Ｓ１８０３で制御部１０１は画像伸長部１５０２を選択し、画像処理部１０７－４に通知する。その後、制御部１０１はリフォーカス処理を開始する。画像処理部１０７－４は、通知された画像伸長部が出力する画像を出力する。なお、画像処理部１０７ー４は、選択されなかった画像伸長部の動作を停止させてもよい。また、制御部１０１は、図１５（ｂ）の処理を、符号化データをＲＡＭ１０３に読み込んだ際に実行するなど、他のタイミングで実行してもよい。

本実施形態によれば、視差画像の数を減らして符号化するか、減らさずに符号化するかを選択可能にした。そのため、例えば、動きが速い被写体を撮影する場合には視差画像の数を減らし、動きが遅い被写体を撮影する場合には視差画像の数を減らさないといった制御が可能になる。換言すれば、視差画像の活用範囲を優先するか、フレームレートまたは連写可能枚数を優先するかを動的に切り替えることができる。なお、この切り替えはユーザによる明示的な指示に基づいて実行してもよいし、撮像画像から検出される被写体情報などに応じて撮像装置が自動的に実行してもよい。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

第２実施形態は、符号化する視差画像の数を減らすか否かを動的に選択可能とするものであった。本実施形態は、ウェーブレット変換の分解レベルを動的に変更可能とするものである。

図１７（ａ）は、図１０に示した画像圧縮部２０３”が有するウェーブレット変換・エンコード部１９０１～１９０５のそれぞれを、分解レベル３のウェーブレット変換および符号化を選択的に実行可能に構成した場合の機能構成例を示すブロック図である。
ウェーブレット変換・エンコード部１９０ｎ（ｎ＝０～５）のそれぞれは、直接に接続された３つのウェーブレット変換部５０２、５０２１、５０２２と、それぞれの出力を符号化するエンコード部５０３’、５０３１、５０３２とを有する。エンコード部５０３’、５０３１、５０３２はそれぞれ分解レベル１～３のウェーブレット係数の符号化データを出力する。エンコード部、ウェーブレット変換部はいずれも同一構成である。

このような構成のウェーブレット変換・エンコード部１９０１～１９０５を用いて、分解レベル１、２、３の選択的なウェーブレット変換と符号化データの生成を実現する。以下、分解レベルｍ（ｍ＝１～３）のウェーブレット変換と符号化データの生成を行う動作を、分解レベルｍの伝送モードと呼ぶ。

図１７（ｂ）は、ウェーブレット変換・エンコード部１９０１の分解レベル１伝送モードの動作を示す図である。ウェーブレット変換部５０２は、基本画像について分解レベル１のウェーブレット変換を行い、分解レベル１のスケーリング係数（１ＬＬ）だけをエンコード部５０３’に供給する。エンコード部５０３’は分解レベル１のスケーリング係数（１ＬＬ）の符号化データを出力する。これは、図３に示した画像圧縮部２０３におけるウェーブレット変換部５０２およびエンコード部５０３の動作に等しい。

図１７（ｃ）は、ウェーブレット変換・エンコード部１９０ｎ（ｎ＝２～５）の分解レベル１伝送モードの動作を示す図である。ウェーブレット変換部５０２は、視差画像（Ａ像～Ｄ像）の１つについて分解レベル１のウェーブレット変換を行い、分解レベル１のウェーブレット展開係数（１ＨＬ、１ＬＨ、１ＨＨ）だけをエンコード部５０３’に供給する。エンコード部５０３’は分解レベル１のウェーブレット展開係数（１ＨＬ、１ＬＨ、１ＨＨ）の符号化データを出力する。これは、図３に示した画像圧縮部２０３におけるウェーブレット変換部５ｎ２およびエンコード部５ｎ３（ｎ＝１～４）の動作に等しい。

ウェーブレット変換・エンコード部１９０１の分解レベル２伝送モードの動作は図１１（ａ）に、ウェーブレット変換・エンコード部１９０ｎ（ｎ＝２～５）の分解レベル２伝送モードの動作は図１１（ｂ）に示した通りである。

ウェーブレット変換・エンコード部１９０１の分解レベル３伝送モードの動作は図１７（ａ）のエンコード部５０３２から分解レベル３のスケーリング係数（３ＬＬ）の符号化データだけを出力する動作に相当する。また、ウェーブレット変換・エンコード部１９０ｎ（ｎ＝２～５）の分解レベル３伝送モードの動作は、図１７（ａ）のエンコード部５０３’、５０３１、５０３２から１ＬＬ、２ＬＬを除く全ての符号化データを出力する動作に相当する。

画像圧縮部２０３”は、制御部１０１から指定された分解レベルに応じて、ウェーブレット変換部５０２、５０２１、５０２２と、エンコード部５０３’、５０３１、５０３２の動作を切り替える。また、ウェーブレット変換・エンコード部１９０１のエンコード部はスケーリング係数のみを出力し、ウェーブレット変換・エンコード部１９０２～５のエンコード部はウェーブレット展開係数のみを出力する。

図１８（ａ）は、一例として、リフォーカス範囲の設定に応じて分解レベルまたは伝送モードレベルを切り替える、制御部１０１の動作に関するフローチャートである。制御部１０１は、この動作を、操作部１０９に対する撮影指示（例えば静止画または動画の撮影開始指示）の入力操作が検出された際に実行することができる。リフォーカス範囲の設定はＲＯＭ１０２に記憶しておくことができる。本実施形態では、リフォーカス範囲はシフト量として記憶されているものとするが、切り替え可能な分解レベルの数に等しい数の任意の設定値を記憶してもよい。また、リフォーカス範囲の設定方法に特に制限はなく、例えばメニュー画面を通じてユーザに設定させることができる。この場合、シフト量を直接設定させてもよいし、リフォーカス範囲を大、中、小から選択させてもよい。

Ｓ３１０１で制御部１０１は、シフト量が閾値ＴＨ１以下であるか否かを判定し、閾値ＴＨ１以下と判定されればＳ３１０３に、閾値ＴＨ１以下と判定されなければＳ３１０２に処理を進める。

Ｓ３１０２で制御部１０１は、シフト量が閾値ＴＨ２以下（ＴＨ２＞ＴＨ１）であるか否かを判定し、閾値ＴＨ２以下と判定されればＳ３１０４に、閾値ＴＨ２以下と判定されなければＳ３１０５に処理を進める。

閾値ＴＨ１、ＴＨ２は、ウェーブレット変換の分解レベルと、リフォーカス可能範囲との関係に応じて予め決定し、ＲＯＭ１０２に記憶しておくことができる。シフト量が小さい、リフォーカス範囲が狭くてよい場合は、視差画像のウェーブレット展開係数の分解レベルを低くすることができる。このように構成することで、必要なリフォーカス量に応じて効率的に符号化データを削減することができる。

Ｓ３１０３で制御部１０１はレベル１伝送モード（ウェーブレット分解レベル１）を選択し、撮像部１０５に通知する。同様に制御部１０１はＳ３１０４でレベル２伝送モード（ウェーブレット分解レベル２）を、Ｓ３１０５でレベル３伝送モード（ウェーブレット分解レベル３）を選択し、撮像部１０５に通知する。その後、制御部１０１は撮影処理を開始する。撮影処理において撮像部１０５は、制御部１０１が選択した伝送モード（分解レベル）に応じた符号化データを出力する。

図１９（ａ）は、図１２に示した画像処理部１０７’’’が有するデコード・ウェーブレット逆変換部２５０１～２５０５のそれぞれを、分解レベル３のウェーブレット逆変換および復号を選択的に実行可能に構成した場合の機能構成例を示すブロック図である。
デコード・ウェーブレット逆変換部２５０ｎ（ｎ＝０～５）のそれぞれは、分解レベル１～３の係数の符号化データをそれぞれ復号するデコード部８０１、８０１１、８０１２と、ウェーブレット逆変換部８０２、８０２１、８０２２とを有する。デコード部８０１、８０１１、８０１２はそれぞれ、記録時の分解レベルに応じたウェーブレット係数を出力する。デコード部、ウェーブレット逆変換部はいずれも同一構成である。

このような構成のデコード・ウェーブレット逆変換部２５０１～２５０５を用いて、分解レベル１、２、３の係数の符号化データを復号およびウェーブレット逆変換する。

図１９（ｂ）は、デコード・ウェーブレット逆変換部２５０１の分解レベル１伝送モード時の動作を示す図である。デコード部８０１は、分解レベル１の係数の符号化データを復号し、スケーリング係数（１ＬＬ）のみをウェーブレット逆変換部８０２に供給する。これは、図６（ａ）に示した画像処理部１０７におけるウェーブレット逆変換部８０２およびデコード部８０１の動作に等しい。ウェーブレット逆変換部８０２は、分解レベル１のスケーリング係数（１ＬＬ）を、ウェーブレット展開係数（１ＨＬ、１ＬＨ、１ＨＨ）を０として、ウェーブレット逆変換する。

図１９（ｃ）は、デコード・ウェーブレット逆変換部２５０ｎ（ｎ＝２～５）の分解レベル１伝送モードの動作を示す図である。デコード部８０１は、視差画像（Ａ像～Ｄ像）の１つについての符号化データのうち、分解レベル１のウェーブレット展開係数（１ＨＬ、１ＬＨ、１ＨＨ）の符号化データのデコード結果のみをウェーブレット逆変換部８０２に供給する。これは、図６（ａ）に示した画像処理部１０７におけるデコード部８ｎ１（ｎ＝１～４）の動作に等しい。ウェーブレット逆変換部８０２は、分解レベル１のウェーブレット展開係数（１ＨＬ、１ＬＨ、１ＨＨ）を、スケーリング係数（１ＬＬ）を０としてウェーブレット逆変換する。

デコード・ウェーブレット逆変換部２５０１の分解レベル２伝送モードの動作は図１３（ａ）に、デコード・ウェーブレット逆変換部２５０ｎ（ｎ＝２～５）の分解レベル２伝送モードの動作は図１３（ｂ）に示した通りである。

デコード・ウェーブレット逆変換部２５０１の分解レベル３伝送モードの動作は、次の通りである。図１９（ａ）のウェーブレット逆変換部８０２が、ウェーブレット逆変換部８０２１から得られる分解レベル１のスケーリング係数（１ＬＬ）を、ウェーブレット展開係数（１ＨＬ、１ＬＨ、１ＨＨ）を０としてウェーブレット逆変換する。

また、デコード・ウェーブレット逆変換部２５０ｎ（ｎ＝２～５）の分解レベル３伝送モードの動作は、分解レベル１伝送モードのときと同一である。

図１８（ｂ）は、リフォーカス処理時の制御部１０１の動作に関するフローチャートである。制御部１０１は、視差画像を用いた処理の一例であるリフォーカス処理の開始が操作部１０９を通じて指示された際にこの処理を実行することができる。Ｓ３２０１で制御部１０１は読み出したデータファイルのヘッダ情報から、符号化されている係数の分解レベルが１か否かを判定する。制御部１０１は、分解レベルが１と判定されればＳ３２０３に、判定されなければＳ３２０２に処理を進める。

Ｓ３２０２で制御部１０１は符号化されている係数の分解レベルが２か否かを判定する。制御部１０１は、分解レベルが２と判定されればＳ３２０４に、判定されなければＳ３２０５に処理を進める。

Ｓ３２０３～Ｓ３２０５で制御部１０１は、リフォーカスモードをレベル１～レベル３にそれぞれ設定し、リフォーカスモードに応じたリフォーカス処理を開始する（例えばリフォーカスする位置を指定するためのＧＵＩ表示する）。ここで、リフォーカスモードは、リフォーカス量の上限に相当し、レベル１がリフォーカス量の上限が最も小さい。つまり、フォーカスを変更可能な距離範囲が狭い。

以降のリフォーカス処理において制御部１０１は、例えば、設定されたリフォーカスモードに応じた範囲でユーザからのリフォーカス指示を受け付けることができる。例えば表示部１１０に表示した基本画像に対して位置が指定された際、制御部１０１は現在のリフォーカスモードに対応したシフト量の範囲内で、指定された位置に合焦したリフォーカス画像を生成可能か否かを判定することができる。もし、リフォーカスモードに対応したシフト量の範囲では指定された位置にリフォーカスできないと判定された場合、制御部１０１は、表示部１１０にメッセージを表示するなどしてユーザに警告することができる。

なお、シフト量以外の条件に基づいて伝送モードを選択するように構成することもできる。例えば、Ｆ値、撮影倍率などから被写界深度を算出し、被写界深度が大きいほど低い（または小さいほど高い）分解レベルの伝送モードを選択するように構成することができる。

この場合、上述した図１８（ａ）の動作を図２０に示すように変更すればよい。
すなわち、Ｓ３３０１で制御部１０１は、被写界深度Ｄが閾値ＴＨｄ１以上であるか否かを判定し、閾値ＴＨｄ１以上と判定されればＳ３１０３に、閾値ＴＨｄ１以上と判定されなければＳ３３０２に処理を進める。

Ｓ３３０２で制御部１０１は、被写界深度Ｄが閾値ＴＨｄ２以上（ＴＨｄ２＜ＴＨｄ１）であるか否かを判定し、閾値ＴＨｄ２以上と判定されればＳ３１０４に、閾値ＴＨ２以上と判定されなければＳ３１０５に処理を進める。

閾値ＴＨｄ１、ＴＨｄ２は、ウェーブレット変換の分解レベルと、リフォーカス可能範囲との関係に応じて予め決定し、ＲＯＭ１０２に記憶しておくことができる。被写界深度が大きい場合、視差画像間の視差が小さく、リフォーカス可能範囲は狭いため、視差画像のウェーブレット展開係数の分解レベルを低くすることができる。このように構成することで、必要なリフォーカス量に応じて効率的に符号化データを削減することができる。Ｓ３１０３～Ｓ３１０５の処理は図１８（ａ）と同様であるため説明を省略する。このように構成することで、被写界深度に応じて効率的に符号化データを削減することができる。

本実施形態によれば、サブバンド分割の分解レベルを動的に変更可能とした。そのため、必要以上に分解レベルが高くなることを抑制でき、演算コストや符号データ量を適切に削減することができる。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図２１（ａ）は、本実施形態における撮像部１０５”の機能構成例を示すブロック図である。第１実施形態と同様の構成については図２（ａ）と同じ参照数字を付してある。本実施形態の撮像部１０５”は、直前に撮影された画像（動画フレームまたは静止画）を記憶するＲＡＭ３４０１を有する。以下ではＲＡＭ３４０１に記憶された画像を直前フレーム（ｎ－１）の画像、今回撮影された画像を現フレームｎの画像と呼ぶ。直前フレーム（ｎ－１）の画像は、現フレームｎの画像に対して過去の画像に相当する。

図２１（ｂ）は、図２１（ａ）の画像圧縮部２０３’’’の機能構成例を示すブロック図である。ウェーブレット変換部５ｎ１（ｎ＝０～４）およびエンコード部５ｎ３（ｎ＝０～４）は第１実施形態で図３を用いて説明した構成である。図３と図２１（ｂ）との比較から明らかなように、本実施形態の画像圧縮部２０３’’’は加算部３５０１を有している。

制御部１０１は、ＲＡＭ３４０１に記憶されている直前フレーム（ｎ－１）の基本画像ＢＡＳＥ（ｎ－１）を読み出し、画像圧縮部２０３’’の加算部３５０１に供給する。加算部３５０１は、現フレームｎの基本画像ＢＡＳＥ（ｎ）から基本画像ＢＡＳＥ（ｎ－１）を減じて差分画像ΔＢＡＳＥ（ｎ）を生成し、ウェーブレット変換部５０２に供給する。換言すれば、加算部３５０１は、基本画像ＢＡＳＥ（ｎ－１）を予測画像として、フレーム間予測の誤差として差分画像ΔＢＡＳＥ（ｎ）を生成する。したがって、以下では、基本画像ＢＡＳＥ（ｎ－１）を基本画像ＢＡＳＥ（ｎ）の予測画像ＰＲＥＶ（ｎ）と呼ぶ。制御部１０１は、現フレームｎの基本画像ＢＡＳＥ（ｎ）は、次フレームの基本画像の予測画像として用いるためにＲＡＭ３４０１に記憶する。このように、本実施形態においては、基本画像について、フレーム間予測誤差（差分画像）をウェーブレット変換および符号化するように構成することで、符号データ量を削減する。

図２２（ａ）は、本実施形態において、制御部１０１が実施する予測画像の更新処理に関するフローチャートである。この処理は、例えば記録用の撮影処理と並行して実行することができる。ここでは直前フレームと現フレームとの相関が高いと考えられる動画撮影もしくは静止画の連写時に実行するものとするが、静止画の単写時に実行してもよい。

Ｓ３７０１で制御部１０１は初期化処理を実行する。ここで、初期化処理は、変数ｎを１にすることと、初期の予測画像ＰＲＥＶ（１）を用意することを含む。ＰＲＥＶ（１）は例えば全画素の色成分が一定の値を有する画像であってよい。ここでは一定の値を０とする。

Ｓ３７０２で制御部１０１は、撮影が終了したか否かを判定し、終了したと判定されれば予測画像更新処理を終了し、終了したと判定されなければ処理をＳ３７０３に進める。撮影の終了は例えば動画記録の終了指示や、レリーズボタンの押下終了など、予め定められた状態が検出されたか否かによって判定することができる。

Ｓ３７０３で制御部１０１は、変数ｎを１増やすとともに、現在の基本画像ＢＡＳＥ（ｎ－１）を新たな予測画像ＰＲＥＶ（ｎ）とし、処理をＳ３７０２に戻す。なお、ここでは予測画像の更新よりも前に変数ｎを１増やしているため、現在の基本画像のフレーム番号が（ｎ－１）となっている。

基本画像はスケーリング係数（ＬＬ）のみが符号化される。スケーリング係数は最も低い帯域の画像に相当するため、手振れや被写体ぶれの影響が少なく、差分画像の画素値が小さくなる傾向がある。したがって、フレーム間予測符号化によって符号化データ量を効率よく削減できる。逆に、画像の高周波成分を含むウェーブレット展開係数（ＬＨ、ＨＬ、ＨＨ）を符号化する視差画像では、手振れや被写体ぶれの影響によって差分画像の画素値が大きくなる傾向がある。したがって、フレーム間予測符号化の効果は小さく、本実施形態では視差画像についてはフレーム間予測符号化は行わない。このように構成することで、ＲＡＭ容量や演算コストを抑制しながら符号化データ量の削減効率を高めることができる。

図２３は、本実施形態における画像処理部１０７－５の機能構成例を示すブロック図である。画像処理部１０７－５は、加算部３６０１を有することを除き、図６（ａ）に示した第１実施形態の画像処理部１０７と同じ構成を有するため、デコード部およびウェーブレット逆変換部に関する説明は省略する。本実施形態では基本画像の符号化データが差分画像の符号化データである。そのため、符号化時に用いた予測画像（直前フレームの基本画像）を加算部３６０１でウェーブレット逆変換部８０２の出力に加算し、基本画像を復元する。画像処理部１０７－５は、復元した基本画像を、次フレームの復号に用いるためにＲＡＭ１０３に記憶する。

このように、本実施形態では、基本画像を予測符号化することにより、第１～第３実施形態の効果に加えて、多視点画像の符号化データ量を削減することができる。なお、本実施形態の構成は、第１～第３実施形態の構成と組み合わせることができる。

●（第５実施形態）
次に、本発明の第５実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図２４（ａ）は、本実施形態における撮像部１０５’’’の機能構成例を示すブロック図である。第１実施形態と同様の構成については図２（ａ）と同じ参照数字を付してある。本実施形態の撮像部１０５’’’は、第１実施形態における撮像部１０５に対し、基本画像圧縮部３９０１を追加した構成を有する。

図２４（ｂ）は、基本画像圧縮部３９０１の機能構成例を示すブロック図である。基本画像圧縮部３９０１は図３に示した画像圧縮部２０３の構成のうち、基本画像に関する構成だけを有する。ただし、ウェーブレット変換部５０２はスケーリング係数（ＬＬ）だけでなく、ウェーブレット展開係数（ＬＨ，ＨＬ，ＨＨ）についてもエンコード部５０３に供給する。そして、エンコード部５０３は、すべての係数を符号化する。

光学系１０４に含まれる撮像レンズの光学収差の影響により、像高が大きい画面周辺部では、像高の小さい画面中央部よりも解像度が低下する。そのため、画面周辺部はリフォーカスの効果も低くなる。このような特性を利用し、本実施形態では画面周辺部については視差画像の符号化データを含めず、基本画像の符号化データのみとすることにより、符号化データ量を削減する。

具体的には、各フレームの符号化中、制御部１０１は、撮像部１０５’’’から出力する符号化データを、図２４（ｃ）のフローチャートに示すように選択する。すなわち、Ｓ２４０１で制御部１０１は、符号化対象のタイルが、画面中央部のタイルであるか否かを判定する。ここで、タイルは、図２（ｂ）に示した部分画像であり、符号化を行う単位である。符号化対象のタイルが画面中央部のタイルであると判定されれば、Ｓ２４０３で制御部１０１は、画像圧縮部２０３が生成する符号化データを出力するように撮像部１０５’’’に指示する。これにより、符号化対象のタイルの符号化データとして、基本画像と視差画像の両方の符号化データが撮像部１０５’’’から出力される。一方、符号化対象のタイルが画面中央部のタイルであると判定されなければ（画像周辺部のタイルであると判定されれば）、Ｓ２４０２で制御部１０１は、基本画像圧縮部３９０１が生成する符号化データを出力するように撮像部１０５’’’に指示する。これにより、符号化対象のタイルの符号化データとして、基本画像のみの符号化データが撮像部１０５’’’から出力される。なお、出力する符号化データの切り替えは、制御部１０１の指示に従って撮像部１０５’’’が行ってもよいし、制御部１０１が撮像部１０５’’’のスイッチを直接制御することによって行ってもよい。

Ｓ２４０４で制御部１０１は、現フレームのすべてのタイルについて符号化が終了したか否かを判定し、終了したと判定されれば選択処理を終了し、終了したと判定されなければ処理をＳ２４０１に戻す。

なお、どのタイルを画面周辺部（または画面中央部）のタイルとするかは、光学系１０４の特性に応じて予めＲＯＭ１０２に記憶しておくことができる。また、光学系１０４が交換可能な場合は、交換レンズの種類ごとに画面周辺部とするタイルの情報をＲＯＭ１０２に記憶しておくことができる。また、制御部１０１は、符号化データを記録する際、例えばファイルのヘッダ情報に、どのタイルが画面周辺部に該当するか（基本画像の符号化データしか記録されていないか）を復号時に特定できる情報を含めておく。

図２５（ａ）は、本実施形態における画像処理部１０７－６の機能構成例を示すブロック図である。第２実施形態と同様の構成については図１６（ａ）と同じ参照数字を付してある。本実施形態の画像処理部１０７－６は、第２実施形態における画像処理部１０７－４が画像伸長部１５０２の代わりに基本画像伸長部４１０１を有する。

図２５（ｂ）は、基本画像伸長部４１０１の機能構成例を示すブロック図である。基本画像伸長部４１０１は図６（ａ）に示した画像処理部１０７の構成のうち、基本画像に関する構成だけを有する。ただし、基本画像の符号化データはスケーリング係数（ＬＬ）だけでなく、ウェーブレット展開係数（ＬＨ，ＨＬ，ＨＨ）も含んでいるため、デコード部８０１はすべての係数をデコードしてウェーブレット逆変換部８０２に供給する。そして、ウェーブレット逆変換部８０２は、デコード部８０１から供給された係数に対してウェーブレット逆変換を行う。

各フレームの復号中、制御部１０１は、画像処理部１０７－６で用いる画像伸長部を、図２５（ｃ）のフローチャートに示すように選択する。すなわち、Ｓ２５０１で制御部１０１は、復号対象のタイルが、画面中央部のタイルであるか否かを判定する。例えば制御部１０１は、符号化データを含んだファイルのヘッダ情報を参照し、復号対象のタイルが画面中央部のタイルである（または画像周辺部のタイルでない）ことを判定できる。復号対象のタイルが画面中央部のタイルであると判定されれば、Ｓ２５０３で制御部１０１は、画像伸長部１５０１で得られるデータを出力するように画像処理部１０７－６に指示する。これにより、復号対象のタイルの復号結果として、基本画像と視差画像の両方のデータが画像処理部１０７－６から出力される。一方、復号対象のタイルが画面中央部のタイルであると判定されなければ（画像周辺部のタイルであると判定されれば）、Ｓ２５０２で制御部１０１は、基本画像伸長部４１０１で得られる復号データを出力するように画像処理部１０７－６に指示する。これにより、復号対象のタイルのデータとして、基本画像のデータのみが画像処理部１０７－６から出力される。なお、画像伸長部の切り替えは、制御部１０１の指示に従って画像処理部１０７－６が行ってもよいし、制御部１０１が画像処理部１０７－６のスイッチを直接制御することによって行ってもよい。

本実施形態によれば、視差画像の周辺部分については符号化を行わない（あるいは符号化を行っても符号化データを記録しない）ようにした。そのため、第１～第３実施形態の効果に加えて、多視点画像の符号化データ量を削減することができる。なお、本実施形態の構成は、第１～第３実施形態の構成と組み合わせることができる。

●（第６実施形態）
次に、本発明の第６実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図２６（ａ）は、本実施形態における撮像部１０５－４の機能構成例を示すブロック図である。第１実施形態と同様の構成については図２（ａ）と同じ参照数字を付してある。本実施形態の撮像部１０５－４は、第５実施形態における撮像部１０５’’’に対し、色変換部４３０１と、基本画像圧縮部３９０２を追加した構成を有する。ここで、基本画像圧縮部３９０２は基本画像圧縮部３９０１と同じ構成を有する。

色変換部４３０１は、Ａ／Ｄ変換部２０２が出力するＡ像～Ｄ像の画像データの形式をＲＧＢ形式からＹＵＶ形式に変換する。本実施形態において、画素部２０１は、図２６（ｂ）示す画素配列を有する。具体的には、画素部２０１には原色ベイヤー配列のカラーフィルタが設けられており、カラーフィルタの１コマが１つのマイクロレンズ４４０５に対応している。これにより、１つのマイクロレンズ４４０５を共有する４つの光電変換部４４０１、４４０２、４４０３、４４０４は同じ色のカラーフィルタを透過した光を光電変換する。これにより、Ａ像～Ｄ像は、原色ベイヤー配列に等しい配列の画素配置を有する画像となる。

色変換部４３０１は、Ａ像～Ｄ像のそれぞれに対してデベイヤー（デモザイク）処理を行い、各画素がＲＧＢ成分を有するようにした後、公知のＲＧＢ→ＹＵＶ変換を適用することにより、Ａ像～Ｄ像をＹＵＶ形式の画像データに変換する。そして、色変換部４３０１は、Ａ像～Ｄ像のＹ成分を画像圧縮部２０３に、Ｕ成分を基本画像圧縮部３９０１に、Ｖ成分を基本画像圧縮部３９０２に、それぞれ分配する。

人間の視覚は輝度成分（Ｙ成分）に対して色差成分（ＵおよびＶ成分）に対して鈍感である。したがって、輝度成分については画像圧縮部２０３で基本画像（ＹＡ＋ＹＢ＋ＹＣ＋ＹＤ）および視差画像（ＹＡ像～ＹＤ像）について、第１実施形態と同様にウェーブレット変換および符号化を行う。つまり、輝度成分については、基本画像はスケーリング係数（ＬＬ）のみを、視差画像についてはウェーブレット展開係数（ＨＬ，ＬＨ，ＨＨ）を符号化する。一方、色差成分については基本画像圧縮部３９０１および３９０２でそれぞれＵ成分およびＶ成分の基本画像（ＵＡ＋ＵＢ＋ＵＣ＋ＵＤおよびＶＡ＋ＶＢ＋ＶＣ＋ＶＤ）のみについて、第５実施形態と同様にウェーブレット変換および符号化を行う。つまり、色差成分については基本画像についてのみ、かつ全ての係数を符号化する。このように、微少なリフォーカスの効果が視認しやすい輝度成分についてのみ視差画像を符号化することにより、符号化データを削減することができる。

図２７は、本実施形態における画像処理部１０７－７の機能構成例を示すブロック図である。画像処理部１０７－７は、図２５（ａ）に示した画像処理部１０７－６が有する画像伸長部１５０１、基本画像伸長部４１０１に加え、基本画像伸長部４１０２を有する。基本画像伸長部４１０２は基本画像伸長部４１０１と同一構成である。画像伸長部１５０１は輝度成分画像（基本画像および視差画像）の符号化データを復号およびウェーブレット逆変換する。基本画像伸長部４１０１および４１０２はそれぞれＵ成分とＶ成分の基本画像の符号化データを復号およびウェーブレット逆変換する。

画像伸長部１５０１で得られる輝度成分の視差画像（ＹＡ像～ＹＤ像）はシフト加算部８０３”においてリフォーカス処理（シフト加算）され、リフォーカス画像として加算部８０４”に供給される。加算部８０４”は、リフォーカス画像と、画像伸長部１５０１で得られる輝度成分の基本画像（ＹＡ＋ＹＢ＋ＹＣ＋ＹＤ）とを加算し、色変換部４５０１に供給する。色変換部４５０１は、加算部８０４”からの輝度成分画像と、基本画像伸長部４１０１および４１０２で得られるＵ成分およびＶ成分の基本画像（ＵＡ＋ＵＢ＋ＵＣ＋ＵＤおよびＶＡ＋ＶＢ＋ＶＣ＋ＶＤ）とを色変換し、ＲＧＢ成分を有する基本画像を生成する。

本実施形態によれば、複数の視差画像（視点画像）については輝度成分だけ符号化し、基本画像については輝度成分と色差成分とを符号化するようにしたので、符号化データ量を効率的に削減することができる。

（その他の実施形態）
上述した第１～第６実施形態は、その一部または全部を適宜組み合わせることが可能である。また、第１～第６実施形態は撮像部においてサブバンド分割、符号化、また色変換などを行う構成について説明した。しかし、撮像部はＡ／Ｄ変換までを行い、サブバンド分割、符号化、また色変換などは制御部または画像処理部が実行するように構成してもよい。また、第１～第６実施形態におけるサブバンド分割、符号化、また色変換などは、必ずしも撮影時に実行しなくてもよい。例えば記録済みのＲＡＷに対してこれらの処理を実行することによっても、記録サイズを削減するという効果は得られる。また、第１～第６実施形態においては、符号化処理と復号処理とを同じ装置で行う構成であったが、符号化処理と復号処理とは異なる装置で行ってもよい。本発明は説明した実施形態の構成に限定されない。実施形態の構成は特許請求の範囲に記載された範囲で様々な変形および変更が可能であり、それらは全て本発明に含まれる。

また、上述した実施形態では、画像圧縮部が画素部と同一半導体チップ内にある構成とした。しかし、画素部を有する撮像用のチップと、画像圧縮部を含むＦＰＧＡ（field-programmable gate array）などの回路とが独立して設けられ、配線で電気的に接続されていてもよい。このとき、画像圧縮部からの出力は、さらに別のチップに搭載された画像処理部などに出力される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…光学系、１０５…撮像部、１０７…画像処理部、１０８…記録媒体

Claims (24)

1. 視点が異なる複数の第１の画像に対応する基本画像と、それぞれが前記複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、
   前記複数の第２の画像と前記基本画像とを符号化する符号化手段と、を有し、
   前記符号化手段は、前記複数の第２の画像と前記基本画像とで符号化するサブバンドを異ならせ、前記複数の第２の画像については前記高帯域成分を含むサブバンドについて符号化し、前記基本画像については前記高帯域成分を含まないサブバンドについて符号化する、
   ことを特徴とする画像処理装置。
2. 前記符号化手段は、前記複数の第２の画像の１つについて符号化を行わず、前記基本画像について、前記高帯域成分を含まないサブバンドと、前記高帯域成分を含むサブバンドについて符号化することを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段は、前記複数の第２の画像の数を前記複数の第１の画像の数よりも減らして符号化するか、減らさずに符号化するかを切り替え可能であることを特徴とする請求項１に記載の画像処理装置。
4. 前記符号化手段は、前記複数の第１の画像から、垂直方向または水平方向における視差の情報を持たない複数の第２の画像を生成することにより、前記複数の第２の画像の数を前記複数の第１の画像の数よりも減らすことを特徴とする請求項３に記載の画像処理装置。
5. 前記符号化手段は、前記基本画像について、符号化対象の基本画像と過去の基本画像との差分を符号化することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記符号化手段は、前記複数の第２の画像について、予め定められた画面周辺部については符号化しないことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 視点が異なる複数の第１の画像に対応する基本画像と、それぞれが前記複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像とを、輝度成分と色差成分とに変換する変換手段と、
   前記輝度成分と前記色差成分とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、
   前記複数の第２の画像と前記基本画像とを符号化する符号化手段と、を有し、
   前記符号化手段は、
   前記複数の第２の画像と前記基本画像とで符号化するサブバンドを異ならせ、
   前記基本画像について、前記色差成分は前記複数のサブバンドについて符号化し、前記輝度成分は前記高帯域成分を含まないサブバンドについて符号化し、
   前記複数の第２の画像について、前記色差成分は符号化せず、前記輝度成分は前記高帯域成分を含むサブバンドについて符号化する、
   ことを特徴とする画像処理装置。
8. 前記分割手段は、前記分割のレベルを選択可能であることを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
9. 前記分割手段における前記分割のレベルを選択する制御手段をさらに有し、
   前記制御手段は、リフォーカス範囲として設定された前記複数の第１の画像のシフト量が第１のシフト量である場合に第１のレベルを選択し、前記複数の第１の画像のシフト量が前記第１のシフト量より大きい第２のシフト量である場合に、前記第１のレベルより高い第２のレベルを選択することを特徴とする請求項８に記載の画像処理装置。
10. 光学系をさらに有し、
    前記制御手段は、前記光学系の被写界深度が第１の被写界深度である場合に第１のレベルを選択し、前記光学系の被写界深度が前記第１の被写界深度より小さい第２の被写界深度である場合に、前記第１のレベルより高い第２のレベルを選択することを特徴とする請求項９に記載の画像処理装置。
11. 前記基本画像は、前記複数の第１の画像の少なくとも２つを加算して生成されることを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. 視点が異なる複数の第１の画像に対応する基本画像についての高帯域成分を含まないサブバンドの符号化データと、それぞれが前記複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像についての前記高帯域成分を含むサブバンドの符号化データとを取得する取得手段と、ここで、前記基本画像についての符号化データと、前記複数の第２の画像についての符号化データとは、異なるサブバンドについての符号化データであり、
    前記複数の第２の画像についての符号化データを用いて復元した前記複数の第１の画像を用いてリフォーカス画像を生成する生成手段と、
    前記基本画像についての符号化データから復号した前記基本画像に前記リフォーカス画像を加算する加算手段と、
    を有することを特徴とする画像処理装置。
13. 前記取得手段は、前記基本画像について、さらに前記高帯域成分を含むサブバンドの符号化データを取得し、該符号化データを、前記複数の第２の画像の１つについての符号化データとして用いることを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記複数の第１の画像の前記サブバンドを復元してから前記複数の第１の画像をシフト加算して前記リフォーカス画像を生成することを特徴とする請求項１２または請求項１３に記載の画像処理装置。
15. 前記複数の第２の画像が前記複数の第１の画像と等しく、
    前記生成手段は、前記複数の第２の画像についての符号化データをシフト加算してから前記サブバンドを復元することにより、前記リフォーカス画像を生成することを特徴とする請求項１２または請求項１３に記載の画像処理装置。
16. 前記基本画像は、前記複数の第１の画像の少なくとも２つを加算して生成されることを特徴とする請求項１２から請求項１５のいずれか１項に記載の画像処理装置。
17. 光学系からの光束を受光し、視点の異なる複数のアナログ画像信号を出力する複数の光電変換部を有する撮像素子と、
    前記撮像素子から出力される前記複数の第１の画像に基づいて前記基本画像および前記複数の第２の画像を符号化する請求項１から請求項１１のいずれか１項に記載の画像処理装置と、
    前記画像処理装置で符号化された符号化データをメモリに記録する記録手段と、
    を有することを特徴とする撮像装置。
18. 前記符号化手段で符号化され、前記メモリに記録された符号化データを復号し、前記複数の第１の画像の視差を利用した画像処理を施す画像処理回路を有することを特徴とする請求項１７に記載の撮像装置。
19. 光学系からの光束を受光し、視点の異なる複数のアナログ画像信号を出力する複数の光電変換部を有する第１半導体基板と、
    前記複数のアナログ画像信号に基づいて生成された前記基本画像および前記複数の第２の画像を符号化する請求項１から請求項１１のいずれか１項に記載の画像処理装置を有する第２半導体基板と、
    が積層状に重ねて配置されて構成されることを特徴とする撮像素子。
20. 画像処理装置が実行する画像処理方法であって、
    視点が異なる複数の第１の画像に対応する基本画像と、それぞれが前記複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割工程と、
    前記複数の第２の画像と前記基本画像とを符号化する符号化工程と、を有し、
    前記符号化工程では、前記複数の第２の画像と前記基本画像とで符号化するサブバンドを異ならせ、前記複数の第２の画像については前記高帯域成分を含むサブバンドについて符号化し、前記基本画像については前記高帯域成分を含まないサブバンドについて符号化する、
    ことを特徴とする画像処理方法。
21. 画像処理装置が実行する画像処理方法であって、
    視点が異なる複数の第１の画像に対応する基本画像と、それぞれが前記複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像とを、輝度成分と色差成分とに変換する変換工程と、
    前記輝度成分と前記色差成分とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割工程と、
    前記複数の第２の画像と前記基本画像とを符号化する符号化工程と、を有し、
    前記符号化工程では、
    前記複数の第２の画像と前記基本画像とで符号化するサブバンドを異ならせ、
    前記基本画像について、前記色差成分は前記複数のサブバンドについて符号化し、前記輝度成分は前記高帯域成分を含まないサブバンドについて符号化し、
    前記複数の第２の画像について、前記色差成分は符号化せず、前記輝度成分は前記高帯域成分を含むサブバンドについて符号化する、
    ことを特徴とする画像処理方法。
22. 画像処理装置が実行する画像処理方法であって、
    視点が異なる複数の第１の画像に対応する基本画像についての高帯域成分を含まないサブバンドの符号化データと、それぞれが前記複数の第１の画像の１つまたは２つ以上に対応する複数の第２の画像についての前記高帯域成分を含むサブバンドの符号化データとを取得する取得工程と、ここで、前記基本画像についての符号化データと、前記複数の第２の画像についての符号化データとは、異なるサブバンドについての符号化データであり、
    前記複数の第２の画像についての符号化データを用いて復元した前記複数の第１の画像を用いてリフォーカス画像を生成する生成工程と、
    前記基本画像についての符号化データから復号した前記基本画像に前記リフォーカス画像を加算する加算工程と、
    を有することを特徴とする画像処理方法。
23. コンピュータを、請求項１から請求項１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
24. コンピュータを、請求項１２から請求項１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images