JP6574655B2

JP6574655B2 - 撮像装置および撮像装置における符号化方法

Info

Publication number: JP6574655B2
Application number: JP2015183244A
Authority: JP
Inventors: 洋平堀川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-09-16
Filing date: 2015-09-16
Publication date: 2019-09-11
Anticipated expiration: 2035-09-16
Also published as: JP2017059999A

Description

本発明は撮像装置および撮像装置における符号化方法に関する。

従来、撮像装置においては、撮影した動画や静止画を圧縮して記録している。また、ＪＰＥＧ或いはＭＰＥＧなどでは、所定数の画素からなるブロックを単位として圧縮が行われる。また、遮光領域（オプティカルブラック：ＯＢ領域）と非遮光領域（自然画領域）を有する撮像素子や、測距用画素領域と自然画領域が混在している撮像素子が知られている（特許文献１参照）。

特開２０１１−１７１７４９号公報

特許文献１のように、異なる目的に使用される、相関性がない又はその程度が低い複数の領域を持つ撮像素子により得られた画像を圧縮する場合、圧縮の単位である一つのブロックに異なる領域の画素が含まれてしまうと、圧縮の効率が悪くなるという問題がある。また、異なる領域の画素の間の相関性が低いため、圧縮された画像の画質も低下してしまう。そのため、復号後の画像について、比較的少数の画素である遮光領域の画素を用いて非遮光領域の画像の黒引きに代表される画素補正を行うと、遮光領域内の画素と非遮光領域の画素とが混在したブロック内の画質低下が画像全体に広がり、画像の品質が劣化してしまう。

本発明はこのような問題を解決し、異なる目的で使用される画素領域を持つ撮像素子により得られた画像を効率的に圧縮すると共に、圧縮された画像の画質劣化を抑えることを目的とする。

上記目的を達成するために本発明は以下の構成を有する。すなわち、
異なる目的に用いられる複数の領域を撮像する撮像手段と、
前記撮像手段から出力される画像データを調整して、前記画像データを固定長のブロックに分割した場合の前記ブロックの境界と前記複数の領域の境界とを一致させる調整手段と、
前記調整手段により調整された画像データを、前記ブロックを単位として符号化する符号化手段とを有し、
前記複数の領域には遮光領域と非遮光領域とが含まれ、前記非遮光領域には測距用の領域が含まれ、
前記調整手段は、前記測距用の領域の境界と前記ブロックの境界とが一致するように、前記非遮光領域を含む前記ブロックに画素を付加する。

異なる目的で使用される画素領域を持つ撮像素子により得られた画像を効率的に圧縮すると共に、圧縮された画像の画質劣化を抑えることが可能となる。

撮像装置の構成を示すブロック図である。圧縮部の構成を示すブロック図である。圧縮処理を示すフローチャートである。受光部の領域を示す図である。遮光領域と非遮光領域と圧縮のブロックの関係を示した図である。第２の実施形態における受光部の領域を示す図である。第２の実施形態における撮像装置の構成を示すブロック図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［実施形態１］
＜撮像装置の構成＞
図１は本発明の第一の実施形態における撮像装置１００の構成を示すブロック図である。図１において、光学系１０１はレンズや絞り等を含む。光学系１０１は、被写体からの光を受け、複数のレンズ群および絞りを介して撮像素子１０２に光束を導く。光学系１０１を通過した光束は撮像素子１０２上に結像し、光学像を形成する。撮像素子１０２は一つの半導体チップとして構成される個体撮像素子である。また、光学系１０１におけるフォーカシングレンズは、制御部１１２からの駆動制御命令または光学系１０１におけるフォーカスリングを手動で調節することによって光軸方向に駆動される。

撮像素子１０２は、受光部１０３、ＡＤ変換部１０４、パディング部１０５、圧縮部１０６により構成される。撮像素子１０２は、被写体の画像データを取得すると共に、画像データを圧縮した後、バス１０７を介して信号処理部１０８に出力する。本実施形態では、撮像素子１０２は有効画素の領域（後述の非遮光領域）として１画面が４Ｋ（水平３８４０画素×垂直２１６０画素）、６０フレーム毎秒（ｆｐｓ）の動画データを出力することができる。

信号処理部１０８は、伸長部１０９、信号処理部１１０、記録部１１１、制御部１１２を備える。制御部１１２は、操作部１１３からの指示に応じて、撮像装置１００の各部を制御する。

次に、撮像素子１０２について説明する。受光部１０３は、図４に示すように、ベイヤー状に２次元に配置された複数の受光素子を有する（なおベイヤー配列はカラーフィルタの配列であるが、ここでは便宜的に受光素子の配列とみなす）。各受光素子はそれぞれ一つの画素に対応する。また、受光部１０３の一部の領域は被写体光が遮断される遮光領域となる。図４において、４０１は非遮光領域、４０２は遮光領域である。遮光領域４０２は、受光部１０３の上部領域および向かって左側の領域に、端部から一定の幅で設けられている。幅４０３は遮光領域４０２の端部からの幅であり、幅４０４は水平方向の非遮光領域である。またライン４１０は、１列の主走査方向の画素の並び（主走査ライン）を示している。画像データは受光素子の上端の主走査ラインを先頭として、主走査ラインの端部から画素単位で順次ラスタ走査の要領で出力される。ライン４１０は特に、遮光領域と非遮光領域とが混在する主走査ラインを示す。本実施形態では撮像素子１０２は受光部１０３から圧縮部１０６までを含むが、本実施形態では、狭義には、受光部１０３とＡＤ変換部１０４とを、画像を撮像して画像データとして出力する撮像部と呼ぶこともある。

受光部１０３の各画素は受光した光を電気信号に変換し、光電変換により得られたアナログ信号をＡＤ変換部１０４に出力する。ＡＤ変換部１０４は受光部１０３から出力される電気信号をデジタル信号に変換する。本実施形態では、１画素のデータを１サンプルとしてデジタル信号に変換する。また、１画素（１サンプル）を１２ビットのデジタルデータに変換する。ＡＤ変換部１０４からのデジタル画像信号をＲＡＷデータと呼ぶ。

ＡＤ変換部１０４からのＲＡＷデータはパディング部１０５に出力される。パディング部１０５は、圧縮部１０６における圧縮のためのブロックに適した順序でＲＡＷデータを出力する。パディング部１０５は後述のように画素データの充填（あるいは付加）を行って領域を拡張するために、ＡＤ変換部１０４からの入力画素データを、少なくとも充填する画素に相当する数だけ保持あるいは遅延させる必要がある。そのため、ＡＤ変換部１０４からの入力画素データを一時的に保持するための入力バッファを有する。パディング部１０５が画素の充填を行う間は、ＡＤ変換部１０４からの入力画素データはいったんそのバッファに保持され、充填後にそのバッファから読み出されて圧縮部１０６へ出力される。すなわちパディング部１０５は、画像データの１ラインを符号化単位であるブロックに分割する際に、ブロックを単一の領域の画素で満たすべく、画素の充填を行うと共に画素位置を調整する。本実施形態では、圧縮部１０６は、所定数の画素からなる固定長の画素ブロックを符号化の単位として圧縮を行う。例えば、水平方向にＮ画素、垂直方向にＭ画素（Ｎ、Ｍはそれぞれ１以上の整数）を一つのブロックとする。本実施形態では、水平方向に１６画素、垂直方向に１画素を１ブロックとするが、１ブロックをこれ以外の構成とすることも可能である。圧縮部１０６はパディング部１０５から出力される画像データを受け取り、所定の符号化処理を行うことによって圧縮して、バス１０７を介して画像処理部１０８に出力する。

≪圧縮部の構成≫
次に、図２を参照し圧縮部１０６の詳細について説明する。本実施形態では、公知のＤＰＣＭ（差分パルス符号変調）方式を用いて画像データを圧縮する。図２は圧縮部１０６の構成例を示すブロック図である。圧縮部１０６は、記憶部２０１、減算部２０２、量子化部２０３、逆量子化部２０４、加算部２０５、遅延部２０６、セレクタ２０７、エントロピ符号化部２０８、記憶部２０９、判定部２１０、ＱＰ制御部２１１を有する。

パディング部１０５からの画像データは順次記憶部２０１に出力され、一時記憶される。記憶部２０１からは、ブロックを単位として、画素毎に画像データが読み出され、減算部２０２に出力される。減算部２０５は、セレクタ２０７からの予測データと記憶部２０１からの画素データとの差分を求め、量子化部２０３に送る。セレクタ２０７は、ブロックの先頭の画素が出力された場合には０を選択して出力し、それ以外の画素については遅延部２０６からの予測データを選択して出力する。量子化部２０３は、ＱＰ制御部２１０により設定された量子化パラメータ（以下ＱＰ）に応じた量子化ステップで減算部２０２からのデータを量子化し、その出力データを逆量子化部２０４とエントロピー符号化部２０８とに送る。量子化部２０３は、一つのブロックの各画素の画像データを全て同じＱＰに応じた量子化ステップにより量子化する。

逆量子化部２０４は、量子化部２０３からのデータを逆量子化し、加算部２０５に出力する。加算部２０５は、逆量子化部２０４からのデータと遅延部２０６からの予測データとを加算し、次の画素の予測データとして遅延部２０６に送る。遅延部２０６は、加算部２０５からの予測データを１画素期間保持し、セレクタ２０７の一方の入力端に出力する。遅延部２０６には、記憶部２０１からブロックの先頭の画素が出力された場合に０がセットされる。その代わりに、遅延部２０６から加算部２０５への入力に代えて、セレクタ２０７の出力を加算部２０５へ入力してもよい。

また、エントロピー符号化部２０８は、量子化部２０３からの出力である量子化データの出現頻度に基づいてそれぞれの量子化データに符号を割り当て、符号化データを生成する。ここでは、出現頻度が多い値ほど短い符号が割り当てられる。エントロピー符号化の方式としてはゴロム符号化や、ハフマン符号化等の公知の符号化方式を用いることができる。エントロピー符号化部２０８は符号化されたデータを記憶部２０９と判定部２１０とに出力する。

判定部２１０は、ＱＰ制御部２１１を制御し、まず、最小の量子化ステップサイズとなるＱＰを設定して量子化を行う。そして、判定部２１０は、エントロピー符号化部２０８から出力された符号化データの１ブロック分の符号量を算出し、１ブロック分の符号量が目標符号量以下となっているか否かを判定する。１ブロックの符号量が目標符号量を超えている場合、判定部２１０は、ＱＰ制御部２１１を制御し、量子化ステップが大きくなるようにＱＰの値を変更する。そして、再度、記憶部２０１から符号化対象のブロックを読み出し、同様に符号化を行い、再度、１ブロックの符号量が目標符号量以下となったか否かを判別する。

このような処理を繰り返し、１ブロックの符号量が目標符号量以下となった場合に、判定部２１０は、記憶部２０９から符号化対象の１ブロック分の符号化データを出力する。更に、判定部２１０は、このときのＱＰの情報を記憶部２０９に出力する。ＱＰの情報は、１ブロックの符号化データの付加情報として出力される。このように１ブロックの符号化が終了すると、判定部２１０は、記憶部２０１より次の１ブロック分の画像データを読みだして符号化処理を行う。この結果、画像データはブロック単位で符号化された符号化データに変換される。この符号化はデータの圧縮を目的としており、圧縮と呼ぶ場合もある。その理由で符号化データも圧縮データと呼ぶことがある。

撮像素子１０２の画素配列における圧縮単位について、図５を用いて説明する。図５（ａ）はパディング部１０５の処理を行わずに圧縮する場合の圧縮単位について説明した図である。図５は、図４のライン４１０の左端部を表している。図５において、ＢＬＫは一つの符号化ブロックである。左から４番目のブロック５０３は、遮光領域４０２と非遮光領域４０１との境界を含んでいる。遮光領域の画像データ５０１は黒に近いレベルとなり、非遮光領域の画像データ５０２は被写体に応じたレベルとなる。このように、遮光領域と非遮光領域の境界部分では、画像データのレベルが大きく異なることがある。境界部分の画像データの間の差分値が大きくなると、画質の劣化が生じる。特に図２に示したＤＰＣＭ符号化では、着目画素を、その値と、符号化されたその直前の画素を復号した値（予測画素）との差分値（予測誤差）を量子化することで符号化している。隣接画素間の差が大きいと、１ブロックの符号量を目標符号量以下に抑えるために量子化ステップを大きく設定する必要があり、復号した画質の劣化の程度も大きくなる。

そこで、パディング部１０５は、符号化対象のブロックが、遮光領域と非遮光領域の境界部分を含む場合、非遮光領域の画素数の分だけ、境界部分の左側の画素データをコピーする。左側の画素とは、着目画素の直前に読み込まれて符号化の対象となる画素である。ブロック内のＮ画素の画像データが全て遮光領域の画像データとなるようにパディング処理を行う。また、遮光領域と非遮光領域の境界部分を含むブロックにおける非遮光領域の画素については、境界部分の右側の画素が符号化ブロックの先頭となるように、ブロックに含まれる画素を制御する。

図５（ｂ）はこのようにパディング部１０５によりパディング処理が行われた場合のブロックを示している。図５（ｂ）において、ブロック５０３における画像データ５０４はコピーされた画像データである。また、次の符号化ブロック５０５は、元々ブロック５０３に含まれていた非遮光領域の画像データ５０２から開始されるように、ブロックの構成が変更される。領域間の境界の位置の特定の簡単化のために、上記ブロック化およびパディング処理は、ライン単位で行わるのが望ましい。

≪圧縮までの制御手順≫
図３は撮像素子１０２による処理を示すフローチャートである。制御部１１２による制御手順とみなすこともできる。撮像装置１００の電源が投入され、動画データの取得（撮影）開始が指示されると図３の処理が実行される。まず、撮像素子１０２の受光部１０３は、制御部１１２からの指示により、画像データの読み出しを開始する（Ｓ３０１）。受光部１０３より出力された各画素の画像データは前述のようにＡＤ変換部１０４によりデジタル信号に変換され、パディング部１０５に出力される。パディング部１０５は、ブロック単位に各画素の画像データを出力する。このとき、パディング部１０５は、今回の符号化対象のブロックが、遮光領域と非遮光領域との境界部分を含むか否かを判別する（Ｓ３０２）。境界部分を含むブロックである場合、パディング部１０５は、前述のように、この境界部分まで遮光領域の画素のデータをコピーすることにより追加する（Ｓ３０３）。そして、パディング部１０５は、追加された画素を含むデータを圧縮部１０６に出力し、圧縮部１０６による圧縮処理が行われる（Ｓ３０４）。また、境界部分を含まないブロックの場合、パディング部１０５は、パディング処理を行わずに画像データを圧縮部１０６に出力する。以上の処理を繰り返し実行する。たとえば、遮光領域と非遮光領域との境界部分は固定的に決めておけば、すなわち幅４０３が予めわかっていれば、その幅４０３を画素数に換算して、ブロックで除算した商を遮光領域のみを含むブロック数とし、その剰余を、ブロック５０３に含まれる遮光領域の画素数とすることができる。したがってラインごとに、その先頭からの画素数を数えることにより、遮光領域と非遮光領域との境界部分を含むブロックと、そのブロック内の境界の位置とをステップＳ３０２において判定できる。

なお、境界位置は撮像素子の読み出し方法によって変更される。例えば、全画素読み出しの際には、受光部１０３上では遮光領域と非遮光領域との境界が符号化ブロックの境界となる場合においても、画素のフローティングディフュージョン内で加算処理を行い、センサの画素を間引いて画像データを読み出す場合が存在する。そのような場合においては、間引かれた後の遮光領域と非遮光領域との境界を含むブロックに対してパディング処理を行う。なおこの場合に、遮光領域の画素と非遮光領域の画素とが加算されることもあり得る。そのような場合には、たとえばその画素については非遮光領域として扱うのが望ましい。そのように扱えば、境界を含むブロックはほぼ一様の遮光領域の画素値を有するものとして効率的に符号化できるためである。

このように、一つのブロック内に相関性のない、或いは相関性の低い異なる領域、すなわち遮光領域と非遮光領域のデータが混在しない。そのため、圧縮による画質の劣化を抑えることが可能となる。

なお本実施形態では、左位置に存在する画素の値をコピーすると述べたが、圧縮に対して特異点が発生しないパディング方法であれば良い。例えば、符合化時に処理される予測方法に基づいてパディング処理を行う事で、最も効率良く圧縮処理を行う事が可能となる。また、線形処理を行い外挿し値を用いても良いし、有効な同マクロブロック内の遮光領域のデータの平均値でも良い。さらに、外挿しや平均値処理を行うことなく、圧縮の打ち切りを行って端数処理を行っても良いし、灰色等の高周波成分の出ない固定値でパディング処理を行っても良い。

このように圧縮されたデータはバス１０７を介して画像処理部１０８に送られる。撮像素子１０２及び画像処理部１０８は一つの集積回路で構成される。集積回路間をつなぐバス１０７はノイズ及びＡＣ特性の影響により、集積回路内部のバスに比べ転送速度が遅い。本実施形態では、撮像素子１０２において、取得された画像データを圧縮して送信することにより、画像データの画素数やフレームレートが大きくなった場合でも、比較的低速なバス１０７を用いて撮像素子１０２から画像処理部１０８に画像データを送ることが可能である。

なお、本実施形態では、撮像素子１０２と画像処理部１０８の間のバス１０７の転送速度が律測する場合において、圧縮部１０６を撮像素子１０２に含んでいるが、必ずしも撮像素子１０２に含む必要はなく、例えば中間にＦＰＧＡのような集積回路を挟んでも良い。そのような場合においては、パディング処理を撮像素子１０２もしくはＦＰＧＡで行い、圧縮処理をＦＰＧＡで行うことで、本実施形態と同等の効果を得る事が可能となる。

次に、信号処理部１０８について説明する。伸長部１０９は、バス１０７を介して撮像素子１０２から符号化データおよび符号化パラメータが入力される。伸長部１０９は符号化パラメータからＱＰ等の伸長処理に必要な情報を読みとる。伸長部１０９は読みとった伸長処理に必要な情報に基づいて符号化データの伸長処理（あるいは復号処理）を行い、伸長データを後段の信号処理部１１０へと出力する。

前述のように、１画面において境界部分を含むブロックの位置は決まっている。そのため、伸張部１０９は伸長した後のデータのブロック数をカウントし、パディングされたデータを含むブロックであることを検出した場合には、パディング処理により追加された画素のデータを信号処理部１１０に出力する前に削減して出力する。このように削減処理を行うことで、信号処理部１１０の活性化率を抑え、省電力化する事が可能となる。

信号処理部１１０は黒引きによる画素補正を行った上で、現像に代表されるデジタル信号処理を行い、圧縮処理を行い記録部１１１に出力する。即ち、信号処理部１１０は、伸長部１０９から出力された画像データのうち、遮光領域の画像データのレベルに基づいて、非遮光領域の画像データの黒レベルを調整するための処理を行う。即ち、黒引きによる画素補正は、撮像素子１０２に発生する暗電流に代表されるノイズを除去するために、非遮光領域の黒レベルデータに基づいて補正する処理である。本実施例では、パディング部１０５でパディングされたデータ量を除いた領域に基づいて補正処理を行う。この時、遮光領域は非遮光領域に対して画素数が少ない為、遮光領域の画素データのＳ／Ｎ比が低い場合、非遮光領域に対する画質の影響度が高くなる。記録部１１１はメモリカード等の前記圧縮データを記録する。

以上のように、本実施形態では、遮光領域と非遮光領域という、目的が異なり、そのために相関性が低い複数の領域が混在するブロックの符号化に起因する画像品質の劣化を防止することができる。

なおパディングされる画素は、本実施形態ではブロックの末尾を埋めるように充填されているが、復号後に除去できるよう予め位置を決めておくなら末尾とは限らず、先頭に充填してもよいし、適当に分散して充填してもよい。たとえば、記憶部２０１から画素データを読み出す際に、パディング部１０６は、先頭ブロックの先頭画素を読み出して記憶し、その画素値を、まず充填する画素の数だけ繰り返し出力し、その後に改めて入力された順に画素データを出力してもよい。このように構成することで、遮光部と非遮光部との境界は必ずブロックの境界と一致するため、その位置を調整する必要がなくなる。

また、１つのブロックに、複数の領域境界が含まれる場合には、ブロックの端部と境界との間の画素によりブロックを形成し、また境界間の画素によってもブロックを形成する。それらブロック内で不足する画素は、たとえばブロック内の画素を複製して充填あるいは付加する。これは上記実施形態の通りである。それにより、領域の境界をブロックの境界に一致させることができる。

［第２実施形態］
次に、第２の実施形態を説明する。本実施形態では、撮像素子１０２が、測距用の画素を含む場合について説明する。図６（ａ）は、撮像素子１０２の受光部１０３における、測距用の画素を含む非遮光領域の一部を切り抜いた図である。本実施形態では、受光部１０３の一部に測距用画素が配置される。測距用画素は焦点検出用の領域であり、測距用画素には、一つのマイクロレンズの下に遮光部６０１とフォトダイオードが存在し、瞳の一部にケラレを作ることで左目用の像分割された瞳分割画素６０２と右目用の像分割された瞳分割画素６０３を形成している。各々の画素は光量が制限されるため通常画素に比べ暗くなるという特性を有している。本実施形態では、受光部１０３における垂直方向の所定の１ラインにおける、水平方向の一部の領域に測距用の画素が配置される。また、図６において、領域ＲＣは、水平方向に測距用の画素が配置される領域であり、領域ＲＬ、ＲＲはそれぞれ、領域ＲＣの左側、右側に隣接する領域である。

図６（ａ）に示すように、本実施形態でも、水平方向にＮ画素、垂直方向に１画素が圧縮用のブロックとなる。そのため、２番目のブロック６０４と４番目のブロック６０５では、測距用の画素と、通常の画像データを取得するための画素とが混在している。測距用の画素と通常の画素とでは取得される光量が異なるため、測距用の画素と通常の画素とが混在するブロックでは、測距用の画素と通常の画素との隣接部分での画素差分（画素値の差）が大きくなり、良好に圧縮できない。

そこで、本実施形態では、測距用の画素と通常の画素との境界部分を含むブロックについては、ブロック内の全ての画素が通常の画素、或いは測距用の画素から構成されるようにパディング処理を行う。また、パディング処理された次のブロックは、境界部分の先頭の画素から開始されるようにブロックの画素を制御する。

図７は、第２の実施形態における撮像装置１００の構成を示す図である。図１と同様の構成については同一番号を付加している。第１の実施形態と同様に、受光部１０３より出力され、ＡＤ変換部１０４により出力された画像データがパディング部１０５に出力される。

パディング部１０５は、符号化対象のブロックが、遮光領域と非遮光領域との境界部分を含む場合、非遮光領域の画素数の分だけ、遮光領域の画素データをコピーする。ブロック内のＮ画素の画像データが全て遮光領域の画像データとなるようにパディング処理を行う。また、遮光領域と非遮光領域の境界部分を含むブロックにおける非遮光領域の画素については、境界部分の先頭の画素が符号化ブロックの先頭となるように、ブロックに含まれる画素を制御する。この制御は第１実施形態で説明した通りである。

更に、パディング部１０５は、符号化対象のブロックが、測距用の画素と通常の画素との境界部分を含む場合、通常の画素データ、或いは、測距用の画素データをコピーする。例えば、図６（ａ）のブロック６０４のように、左側に通常の画素を含む場合は、境界部分の左側の通常の画素のデータを、このブロックに含まれる測距用の画素数分コピーする。また、図６（ａ）のブロック６０５のように、左側に測距用の画素を含む場合は、境界部分の左側の測距用の画素のデータを、このブロックに含まれる通常の画素数分コピーする。このようにパディング処理を行うことにより、ブロック内のＮ画素の画像データが全て通常の画素、或いは、測距用の画像データとなる。また、遮光領域と非遮光領域の境界部分を含むブロックにおける非遮光領域の画素については、境界部分の右側の画素が符号化ブロックの先頭となるように、ブロックに含まれる画素を制御する。

本実施形態では、実際には一部のラインのみが測距用の画素を含む。しかし、本実施形態では、測距用の画素を含まないラインについても、同様に、境界部分を含むブロックに相当する位置（ラインごとの位置）のブロックのパディング処理を行う。このように各ラインについてパディング処理を行うことにより、全てのラインの画素数をそろえることができる。そのため、伸長部１０９が圧縮されたデータを受けとって伸長処理を行う際に処理のタイミングを容易に合わせることが可能となる。

図６（ｂ）は、パディング部１０５によりパディング処理された後の各ブロックの状態を示す図である。ここで、領域６０６、６０７はそれぞれパディング処理により追加されたデータの領域である。ブロック６０８では、境界部分の左側の画素である通常の画素データが領域６０６のデータとしてコピーされる。また、ブロック６１０では、境界部分の左側の画素である測距用の画素データが領域６０７のデータとしてコピーされる。

このようにして、パディングによりブロック内の画素の相関が高められた画像データは、圧縮部１０６により符号化される。

伸長部１０９は、バス１０７を介して撮像素子１０２から符号化データおよび符号化パラメータが入力される。伸長部１０９は符号化パラメータからＱＰ等の伸長処理に必要な情報を読みとる。伸長部１０９は読みとった伸長処理に必要な情報に基づいて符号化データの伸長処理を行い、伸長データを後段の信号処理部１１０へと出力する。

伸張部１０９は伸長した後のデータのブロック数をカウントし、パディングされたデータを含むブロックであることを検出した場合には、パディング処理により追加された画素のデータを信号処理部１１０に出力する前に削減して出力する。また、伸長部１０９は、測距用の画素のデータをバンドパスフィルタ１１４に出力する。

信号処理部１１０は前述のように伸長部１０９からの画像データを処理する。本実施形態では、測距用の画素のデータが存在しないため、信号処理部１１０は、測距用の画素を欠陥画素として補正処理を行う。

また、バンドパスフィルタ（ＢＰＦ）１１４は伸長部１０９からの測距用の画素のデータをフィルタ処理し、特定の周波数帯域を通過させて相関演算部１１５に出力する。ＢＰＦ１１４による通過帯域は、大きくぼけていると推測される場合は低帯域、合焦位置周辺であると推測される場合は高帯域となる。

相関演算部１１５は、瞳分割画素６０２および６０３に対してバンドパスフィルタを適用した像に対して、ＳＡＤに代表される公知の相関演算処理を行うことによって像ずれ量を算出し、レンズ駆動制御部１１６に出力する。レンズ駆動制御部１１６は、相関演算部１１５からの像ずれ量に対して光学系１０１の主にＦ値によって決定される固定係数Ｋを乗ずることでデフォーカス量を算出し、フォーカス駆動制御を行って光学系の焦点を調整し、受光部１０３に結像させる。

このように、撮像素子の一部の画素を測距用として使用する場合であっても、一つのブロックに、通常の画像を取得するための画素と測距用の画素とが混在しない。そのため、圧縮による画質の劣化を抑えることができる。また、相関演算処理の際の像ずれ量算出精度の低下を抑えることもできる。

なお、本実施形態では、測距用画素と通常の撮像用画素とが混在する撮像素子について説明を行ったがそれに限定するものではなく、複数の特性を有する画素が混在する撮像素子において、同様の処理を行う事で信号品質の劣化を抑える事が可能となる。複数の特性を有する画素が混在する撮像素子とは、例えば通常のベイヤー画素の一部に赤外画素を有する撮像素子などがあげられる。

また、本実施形態では、測距用の画素を含まないラインのブロックについてもパディング処理を行ったが、測距用の画素を含むラインのブロックについてのみ、境界部分を含むブロックのパディング処理を行うようにしてもよい。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：光学系、１０３：受光部、１０４：ＡＤ変換部、１０５：パディング部、１０６：圧縮部、１０９：伸長部、１１０：信号処理部、１１１：記憶部

Claims

異なる目的に用いられる複数の領域を撮像する撮像手段と、
前記撮像手段から出力される画像データを調整して、前記画像データを固定長のブロックに分割した場合の前記ブロックの境界と前記複数の領域の境界とを一致させる調整手段と、
前記調整手段により調整された画像データを、前記ブロックを単位として符号化する符号化手段とを有し、
前記複数の領域には遮光領域と非遮光領域とが含まれ、前記非遮光領域には測距用の領域が含まれ、
前記調整手段は、前記測距用の領域の境界と前記ブロックの境界とが一致するように、前記非遮光領域を含む前記ブロックに画素を付加することを特徴とする撮像装置。
前記調整手段は、前記複数の領域に対して当該領域の画素を付加することで、前記ブロックの境界と前記複数の領域の境界とを一致させることを特徴とする請求項１に記載の撮像装置。
前記画像データは、複数の画素のラインで構成され、
前記調整手段は、前記画素のラインごとに画像データを調整することを特徴とする請求項１または２に記載の撮像装置。
前記調整手段は、前記画像データを構成する特定のラインが前記複数の領域を含む場合には、他のラインについても前記特定のラインと同様に調整することを特徴とする請求項３に記載の撮像装置。
前記符号化手段により符号化された前記画像データを復号する復号手段と、
前記復号手段により復号された画像データに対して、前記遮光領域の画像データに基づいて前記非遮光領域の画像データの黒レベルを調整する調整手段と
を更に有することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
前記調整手段は更に、前記測距用の領域が複数の前記ブロックに分割され、前記複数のブロックのうちのいずれか１つブロックの途中に前記測距用の領域の境界が含まれる場合に、前記非遮光領域の境界と前記ブロックの境界とが一致するように、前記１つのブロックの残りに画素を付加することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記符号化手段により符号化された前記画像データを復号する復号手段と、
前記測距用の領域の画像データに基づいて、前記撮像手段に結像させるための光学系の焦点を調整する制御手段と
を更に有することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
異なる目的に用いられる複数の領域を撮像する撮像手段から出力される画像データを調整して、前記画像データを固定長のブロックに分割した場合の前記ブロックの境界と前記複数の領域の境界とを一致させ、
前記調整された画像データを、前記ブロックを単位として符号化する
ことを含み、
前記複数の領域には遮光領域と非遮光領域とが含まれ、前記非遮光領域には測距用の領域が含まれ、
前記ブロックの境界と前記複数の領域の境界とを一致させることにおいて、前記測距用の領域の境界と前記ブロックの境界が一致するように、前記非遮光領域を含む前記ブロックに画素を付加することを特徴とする撮像装置における符号化方法。