JP6936990B2 - 符号化装置及びプログラム - Google Patents

符号化装置及びプログラム Download PDF

Info

Publication number
JP6936990B2
JP6936990B2 JP2018140531A JP2018140531A JP6936990B2 JP 6936990 B2 JP6936990 B2 JP 6936990B2 JP 2018140531 A JP2018140531 A JP 2018140531A JP 2018140531 A JP2018140531 A JP 2018140531A JP 6936990 B2 JP6936990 B2 JP 6936990B2
Authority
JP
Japan
Prior art keywords
block
image
unit
coding
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018140531A
Other languages
English (en)
Other versions
JP2020017894A (ja
Inventor
健人 宮澤
健人 宮澤
幸浩 坂東
幸浩 坂東
誠之 高村
誠之 高村
清水　淳
淳 清水
桂太 高橋
桂太 高橋
藤井　俊彰
俊彰 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Tokai National Higher Education and Research System NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018140531A priority Critical patent/JP6936990B2/ja
Publication of JP2020017894A publication Critical patent/JP2020017894A/ja
Application granted granted Critical
Publication of JP6936990B2 publication Critical patent/JP6936990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化装置及びプログラムに関する。
フォーカルスタック（focal stuck）とは、同じ被写体を同じ視点から異なる焦点で撮影した画像群である。フォーカルスタックは、特殊な変換後にレイヤ型Light Field Displayへ入力することにより裸眼３Ｄ画像を表示する（例えば、非特許文献１参照）、焦点範囲が広い単一の画像を生成する、といった用途に使用される。フォーカルスタックを伝送しようとした場合、スタックされている画像枚数分だけデータ量が増加するため、データ圧縮が課題となる。
フォーカルスタックの特徴として、同じ被写体を同じ視点から撮影しているために画像間の相関が高いこと、被写体が動かないので各画像の同じ位置には同じ被写体が写っていること、フォーカルスタック単位で処理を行うために個々の画像を単体で取り出す必要が無いこと、映像符号化と異なり画像群の符号化順序に制約が無いことが挙げられる。
フォーカルスタックは従来、通常の画像圧縮技術により、各画像が独立に符号化されていた。また、フォーカルスタックを構成する画像群を動画とみなし、映像符号化技術を用いて圧縮する検討がなされている（例えば、非特許文献１参照）。
一方で、従来の映像向け符号化技術において、参照画像にぼかし処理を施すことで予測画像を生成する検討がなされている（例えば、非特許文献２参照）。参照画像は、通常の符号化と同様に参照構造によって指定され、ぼかし処理は画像全体に均一に施される。用途としては、映像効果による画面全体のぼかしや、グローバルモーションによる動きボケの補償が想定されている。
伊瀬知 洸平，小林 優斗，高橋 桂太，藤井 俊彰，"レイヤ型Light Field Displayのための光線空間符号化に関する一検討"，PCSJ/IMPS 2017，2017年，P-3-12，p.118-119 M. Budagavi，"Video Compression using Blur Compensation"，IEEE，IEEE International Conference on Image Processing 2005，2005年，Vol.2
フォーカルスタックの各画像を独立に符号化する従来手法では、フォーカルスタック特有の画像間での高い相関を利用することが出来ないため、効率的とはいえないという課題がある。また、フォーカルスタックの符号化に映像符号化技術を用いる従来手法を用いた場合、符号化対象画像と参照画像とで焦点距離が異なるため、ボケている被写体を参照してボケていない被写体を予測したり、またその逆を行うことになってしまい、予測が当たらないという課題がある。映像符号化技術を用いる従来手法に、ボケ補償のための従来手法を組み合わせた場合、参照画像内で比較的ボケていない箇所の符号化には有効である。しかし、参照画像内で比較的ボケている箇所を符号化する際には、ボケている被写体からボケていない被写体を予測することになり、予測が当たらずに符号化効率が悪化する。フォーカルスタックではその用途上、画像内にボケている箇所とボケていない箇所が混在しており、参照画像を一枚に決めた場合には、必ず符号化効率の悪い箇所が存在する。
上記事情に鑑み、本発明は、符号化効率良くフォーカルスタックを符号化することができる符号化装置及びプログラムを提供することを目的としている。
本発明の一態様は、同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、を備え、前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックを決定し、複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択され、前記ぼかし処理部は、前記ブロック群に含まれる複数の前記ブロックそれぞれの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記参照ブロックと前記焦点の距離が小さい前記ブロックから順に、かつ、探索済みの前記強度を参照して行う。
本発明の一態様は、同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、を備え、前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックを決定し、複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択され、前記ぼかし処理部は、前記ブロックの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記ブロックと同じ前記ブロック群に属し、かつ、前記ブロックよりも前記参照ブロックと前記焦点の距離が小さい他の前記ブロックについて探索済みの前記強度よりも大きな強度を探索対象として行う。
本発明の一態様は、同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、を備え、複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択され、前記ぼかし処理部は、前記符号化対象画像の前記ブロックの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記参照ブロックと同じ前記参照画像から得られる他の前記参照ブロックを参照する前記符号化対象画像の他の前記ブロックについて探索済みの前記強度に基づく範囲を探索対象として行う。
本発明の一態様は、上述の符号化装置であって、前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、前記ブロック群に含まれる複数の前記ブロックのうち一の前記ブロックのみを、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックに決定する。
本発明の一態様は、上述の符号化装置であって、前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域の前記ブロックからなるブロック群ごとに、前記ブロック群に含まれる複数の前記ブロックそれぞれを符号化するために参照される前記参照ブロックが異なるように、前記参照ブロックを決定する。
本発明の一態様は、コンピュータを、上述したいずれかの符号化装置として機能させるためのプログラムである。
本発明により、符号化効率良くフォーカルスタックを符号化することが可能となる。
本発明の第１の実施形態による符号化装置の構成を示すブロック図である。 同実施形態による符号化装置の処理を示すフロー図である。 同実施形態によるフォーカルスタックの分割を示す図である。 同実施形態による参照構造の生成イメージを示す図である。 同実施形態による参照構造生成部の詳細な構成を示すブロック図である。 同実施形態による参照構造生成部の参照構造最適化処理を示すフロー図である。 同実施形態による符号化部の詳細な構成を示すブロック図である。 同実施形態による符号化部の符号化処理を示すフロー図である。 同実施形態によるボケ補償予測部の詳細な構成を示すブロック図である。 同実施形態によるボケ補償予測部のボケ補償処理を示すフロー図である。 同実施形態によるぼかしフィルタパラメータ生成部の詳細な構成を示すブロック図である。 同実施形態によるぼかしフィルタパラメータ生成部のぼかしフィルタパラメータ生成処理を示すフロー図である。 同実施形態によるエントロピー符号化部の詳細な構成を示すブロック図である。 同実施形態による参照構造インデックス二値化部の参照構造インデックス二値化処理を示すフロー図である。 同実施形態による参照構造インデックスの例を示す図である。 第２の実施形態による符号化装置の構成を示すブロック図である。 同実施形態による参照構造の生成イメージを示す図である。 同実施形態による参照構造生成部の詳細な構成を示すブロック図である。 同実施形態による参照構造生成部の参照構造生成処理を示すフロー図である。 同実施形態による参照構造の例を示す図である。
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態による符号化装置１の構成を示すブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。符号化装置１は、ブロック分割部１１と、ブロックスタックメモリ１２と、参照構造生成部１３と、符号化部１４と、符号化結果メモリ１５と、ＲＤ効率推定部１６と、ＲＤ効率メモリ１７と、ＲＤ効率比較部１８と、エントロピー符号化部１９とを備える。
ブロック分割部１１は、符号化装置１に入力されたフォーカルスタックに含まれる画像群に対しブロック分割を行う。各画像には、画像を一意に特定する情報である画像インデックスが付与されている。ブロックスタックメモリ１２は、ブロック分割部１１により分割された画像群のブロックを、同じブロック位置ごとに格納する。画像群における同じ位置のブロックをブロックスタックと記載する。
参照構造生成部１３は、各ブロックスタックの参照構造を生成する。参照構造は、符号化を行う際に参照するブロック間の関係を表す。参照構造は、イントラ符号化ブロックと、インター符号化ブロックと、インター符号化ブロックが参照する他のブロックとを表す。１つのブロックスタックでは、１つのブロックがイントラ符号化ブロックであり、他のブロックはインター符号化ブロックである。イントラ符号化ブロックは、他のブロックの情報を使用せずにイントラ符号化を行うブロックである。インター符号化ブロックは、他の画像のブロックを参照して予測符号化を行うブロックである。予測符号化の際に参照されるブロックを参照ブロックと記載する。本実施形態では、ブロックスタック内において、全てのインター符号化ブロックは、イントラ符号化ブロックを参照する。よって、参照構造は、イントラ符号化ブロックを特定する情報であればよく、例えば、イントラ符号化ブロックの画像インデックス（以下、イントラ画像インデックスとも記載する）により示すことができる。
符号化部１４は、ブロックスタック単位で参照構造生成部１３が生成した参照構造に従って符号化を行う。符号化結果メモリ１５は、符号化部１４によるブロックスタック単位の符号化結果を、参照構造ごとに格納する。ＲＤ効率推定部１６は、符号化結果メモリ１５に記憶される符号化結果を用いて、各ブロックスタックの参照構造ごとのＲＤ効率を推定する。ＲＤ効率は、符号化効率の一例である。ＲＤ効率メモリ１７は、各ブロックスタックの参照構造ごとに、ＲＤ効率推定部１６が推定したＲＤ効率を格納する。ＲＤ効率比較部１８は、ＲＤ効率メモリ１７に記憶される参照構造ごとのＲＤ効率を比較し、ブロックスタックごとに最もＲＤ効率が良い参照構造の符号化結果を最終的な符号化結果として選択する。エントロピー符号化部１９は、フォーカルスタックから得られた各ブロックスタックの最終的な符号化結果にエントロピー符号化を行う。
図２は、符号化装置１の処理を示すフロー図である。まず、符号化装置１のブロック分割部１１は、フォーカルスタックを構成する画像群を入力する（ステップＳ１０５）。ブロック分割部１１は、入力したフォーカルスタックを構成する各画像をブロック単位に分割する（ステップＳ１１０）。図３を用いて、ステップＳ１１０の処理を説明する。
図３は、ブロック分割部１１におけるフォーカルスタックの分割を示す図である。フォーカルスタックは、Ｎ枚（Ｎは２以上の整数）の画像から構成される。フォーカルスタックに含まれるＮ枚の画像を、画像Ｇ１〜ＧＮと記載する。同図は、Ｎ＝３の場合の例である。各画像Ｇ１〜ＧＮには、ｌｏｇ２Ｎビット長（小数点以下は切り上げ）の画像インデックスが付与されている。画像インデックスは、焦点面が撮影機器に近い順から昇順に付与される。画像インデックスの付与順は、焦点距離が遠い順でもよく、焦点距離が中央にあるものから順に付与されてもよく、ランダムでもよい。ただし、焦点距離の順序を用いることで後段処理の効率を高めることが可能であるため、規則的に付与されており、なおかつ後段の処理手法と適応していることが望ましい。
ブロック分割部１１は、画像Ｇ１〜ＧＮを、例えばラスタスキャン順に、固定の分割サイズのブロック単位で分割する。なお、ブロック分割の順番はイントラ符号化に適したものであればよい。例えば、ラスタスキャン順を転置させた順でもよく、渦巻状の順番でもよい。またブロック間での参照を行わないという前提があれば、任意の順番で取り出してもよい。
ブロック分割部１１は、各画像Ｇ１〜ＧＮにおいて同じ位置にあるブロックをまとめたブロックスタックをブロックスタックメモリ１２に格納する。ブロック分割部１１は、ブロックスタックに、ラスタスキャン順でどの位置であるかを示す位置インデックスを付与する。位置インデックスは、例えば、行と列の座標により表記すればよい。画像Ｇｎ（ｎは１以上Ｎ以下の整数）における位置インデックスｉのブロックをブロックＢｎ−ｉと記載する。同じ位置インデックスｉのブロックＢ１−ｉ〜Ｂ３−ｉはそれぞれ、画像Ｇ１〜Ｇ３において同一の領域であり、一つのブロックスタックを構成する。
符号化装置１は、ブロックスタック単位で符号化を実施する。そこでまず、図２に示すように、参照構造生成部１３は、まだ符号化を行っていないブロックスタックの中から符号化対象のブロックスタック（以下、「符号化対象ブロックスタック」と記載）を、例えば、ブロック分割の順番に従って選択する（ステップＳ１１５）。参照構造生成部１３は、特定した符号化対象ブロックスタックの画像インデックス及び位置インデックスをブロックスタックメモリ１２から取得し、当該符号化対象ブロックスタックを符号化するための参照構造を生成する（ステップＳ１２０）。
図４は、参照構造生成部１３による参照構造の生成イメージを示す図である。同図に示すフォーカルスタックは画像Ｇ１、画像Ｇ２及び画像Ｇ３からなる。画像Ｇ１、画像Ｇ２及び画像Ｇ３には、同一の被写体ａ、被写体ｂ、被写体ｃが写っている。フォーカルスタックの撮影機からの距離は、被写体ａが最も近く、次に被写体ｂが近く、被写体ｃが最も遠い。画像Ｇ１の焦点面は被写体ａの付近であり、画像Ｇ２の焦点は被写体ｂの付近であり、画像Ｇ３の焦点は被写体ｃの付近である。
本実施形態の参照構造は、同一のブロックスタック内の全てのインター符号化ブロックが、当該ブロックスタックにおける同一の１枚のイントラ符号化ブロックのみを参照する構造である。インター符号化ブロックは、画像インデックスの順に符号化される。そのため、参照構造は、ブロックスタックを構成するブロックのうち、どのブロックをイントラ符号化するかによって一意に定まる。同図の場合、位置インデックスｊのブロックスタックでは、ブロックＢ１−ｊがイントラ符号化ブロックであり、ブロックＢ２−ｊ及びＢ３−ｊはブロックＢ１−ｊを参照するインター符号化ブロックである。インター符号化ブロックについては、ブロックＢ２−ｊ、ブロックＢ３−ｊの順に符号化される。また、位置インデックスｋのブロックスタックでは、ブロックＢ２−ｋがイントラ符号化ブロックであり、ブロックＢ１−ｋ及びＢ３−ｋはブロックＢ２−ｋを参照するインター符号化ブロックである。インター符号化ブロックについては、ブロックＢ１−ｋ、ブロックＢ３−ｋの順に符号化される。また、位置インデックスｌのブロックスタックでは、ブロックＢ３−ｌがイントラ符号化ブロックであり、ブロックＢ１−ｌ及びＢ２−ｌはブロックＢ３−ｌを参照するインター符号化ブロックである。インター符号化ブロックについては、ブロックＢ１−ｌ、ブロックＢ２−ｌの順に符号化される。
図２に示す処理フローでは、ステップＳ１１５〜ステップＳ１４０のループ処理ごとに、参照構造生成部１３は、ステップＳ１２０において、符号化対象ブロックスタック内でイントラ符号化ブロックとなるブロックを変えるように参照構造を生成する。参照構造の生成後、ブロックスタックメモリ１２は、符号化対象ブロックスタックと、当該ブロックスタックについて参照構造生成部１３が生成した参照構造とを符号化部１４に出力する。符号化部１４は、参照構造に従って符号化対象ブロックスタックの符号化を行う（ステップＳ１２５）。符号化部１４は、ブロックスタックの参照構造と、その参照構造を用いた符号化結果とを対応付けて符号化結果メモリ１５に格納する。ＲＤ効率推定部１６は、符号化結果メモリ１５に記憶される符号化結果を用いてＲＤ効率を推定し、推定したＲＤ効率を参照構造と対応付けてＲＤ効率メモリ１７に書き込む（ステップＳ１３０）。ＲＤ効率は、符号量Ｒと符号化歪量Ｄとを線形結合した指標であり、Ｄ＋λＲ（λは係数）により算出される。
ＲＤ効率比較部１８は、現在のループ処理のステップＳ１３０において推定されたＲＤ効率と、ＲＤ効率メモリ１７に記憶される、現在の符号化対象ブロックスタックの他の参照構造のＲＤ効率とを比較し、最適なＲＤ効率の符号化結果が得られたか否かを判定する（ステップＳ１３５）。ＲＤ効率比較部１８が、最適なＲＤ効率の符号化結果を得ていないと判定した場合（ステップＳ１３５：ＮＯ）、参照構造生成部１３は、符号化対象ブロックスタックの新たな参照構造を生成するステップＳ１２０からの処理を繰り返す。
そして、ＲＤ効率比較部１８が、最適なＲＤ効率の符号化結果を得たと判定した場合（ステップＳ１３５：ＹＥＳ）、参照構造生成部１３又は符号化部１４は、フォーカルスタック全体を符号化したか否かを判定する（ステップＳ１４０）。参照構造生成部１３又は符号化部１４が、まだフォーカルスタック全体を符号化していないと判定した場合（ステップＳ１４０：ＮＯ）、ステップＳ１１５の処理に戻り、参照構造生成部１３は、まだ符号化を行っていないブロックスタックの中から新たな符号化対象ブロックスタックを選択する。
そして、参照構造生成部１３又は符号化部１４が、フォーカルスタック全体を符号化したと判定した場合（ステップＳ１４０：ＮＯ）、エントロピー符号化部１９は、各ブロックスタックの符号化結果を符号化結果メモリ１５から取得する。エントロピー符号化部１９が符号化結果メモリ１５から取得する各ブロックスタックの符号化結果は、各ブロックスタックについて最適なＲＤ効率であると判断された参照構造を用いて符号化された結果である。エントロピー符号化部１９は、各ブロックスタックの符号化結果をエントロピー符号化する（ステップＳ１４５）。符号化結果は、予測残差及び予測パラメータと、参照構造を表す情報と、符号化の際に用いたぼかしフィルタパラメータとを含む。ぼかしフィルタパラメータは、インター符号化ブロックを符号化する際に、参照ブロックにぼけ補償を行うために用いたぼかしフィルタのぼけ強度を表す。エントロピー符号化部１９は、ステップＳ１３０におけるＲＤ効率推定の前にブロックスタック単位でエントロピー符号化を行ってもよい。エントロピー符号化部１９は、ステップＳ１４５におけるエントロピー符号化を出力する（ステップＳ１５０）。
次に、参照構造生成部１３の詳細を説明する。図５は、参照構造生成部１３の詳細な構成を示すブロック図である。参照構造生成部１３は、ブロックスタックインデックス取得部１３１と、イントラブロック決定部１３２と、選択済みブロックインデックスメモリ１３３とを備える。
ブロックスタックインデックス取得部１３１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックの画像インデックスを取得する。イントラブロック決定部１３２は、符号化対象ブロックスタックを構成するブロック群のうち、いずれの画像のブロックをイントラ符号化ブロックにするかを選択する。イントラブロック決定部１３２は、イントラ符号化ブロックとして選択したブロックの画像インデックスを表す参照構造インデックスを出力する。選択済みブロックインデックスメモリ１３３は、イントラ符号化ブロックとして選択されたブロックの画像インデックスを保存する。イントラブロック決定部１３２は、選択済みブロックインデックスメモリ１３３に保存された、イントラ符号化ブロックとして選択済みのブロックの情報と、符号化結果メモリ１５から出力される符号化結果を元に、次にイントラ符号化ブロックとするブロックの選択を行う。
図６は、参照構造最適化処理を示すフロー図である。同図は、図２のステップＳ１２０〜ステップＳ１３５の処理の詳細を示す。まず、ブロックスタックインデックス取得部１３１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックの画像インデックス及び位置インデックスを取得する。イントラブロック決定部１３２は、符号化対象ブロックスタックに対し、イントラ符号化ブロックとして選択する画像インデックスの初期化を行う（ステップＳ２０５）。
この初期化の処理において、イントラブロック決定部１３２は、初期値として０（最も小さい画像インデックス）を選択すればよい。本実施形態では、フォーカルスタックを構成する画像に対して、焦点距離の近い順に画像インデックスが付与されている。そのため、初期値を０とすることにより、最も近い焦点距離の画像のブロックが初期値のイントラ符号化ブロックとして選択される。例えば、図４に示すフォーカルスタックの場合、最も焦点距離が近い画像Ｇ１の画像インデックスが、イントラ符号化ブロックとして選択する画像インデックス（イントラ画像インデックス）の初期値となる。イントラブロック決定部１３２は、イントラ画像インデックスを示す参照構造インデックスを、参照構造を表す情報としてブロックスタックメモリ１２に出力する。符号化部１４は、イントラブロック決定部１３２が出力した参照構造インデックスにより示される参照構造に基づいて、符号化対象ブロックスタックの符号化を実施する（ステップＳ２１５）。符号化部１４は、符号化対象ブロックスタックの位置インデックスと、参照構造インデックスと、符号化結果とを対応付けて符号化結果メモリ１５に格納する。
ＲＤ効率推定部１６は、符号化結果メモリ１５に記憶される符号化結果を用いて、ＲＤ効率を推定し、参照構造インデックスと対応付けてＲＤ効率メモリ１７に書き込む。ＲＤ効率比較部１８は、現在の参照構造インデックスを用いた符号化対象ブロックの符号化結果のＲＤ効率と、ＲＤ効率メモリ１７に記憶される他の参照構造インデックスを用いた符号化対象ブロックのＲＤ効率とを比較する（ステップＳ２２０）。
ＲＤ効率推定部１６は、現在の参照構造インデックスを用いた符号化のＲＤコストが、他の参照構造インデックスを用いた符号化のＲＤコストと比較して悪化したか否かを判定する（ステップＳ２２５）。ＲＤ効率推定部１６が、ＲＤコストは悪化していないと判定した場合（ステップＳ２２５：ＮＯ）、イントラブロック決定部１３２は、イントラ符号化ブロックとして選択する画像インデックスを１増加させる（ステップＳ２３０）。イントラブロック決定部１３２は、ステップＳ２１０の処理に戻り、増加させた画像インデックスを示す参照構造インデックスを出力する（ステップＳ２１０）。例えば、図４に示すフォーカルスタックの場合、参照構造インデックスが画像Ｇ１の画像インデックスから、画像Ｇ２の画像インデックスに変更される。
イントラブロック決定部１３２は、現在の参照構造インデックスを用いた符号化のＲＤコストが他の参照構造インデックスを用いた符号化のＲＤコストと比較して悪化するまでこの探索を行う。イントラブロック決定部１３２は、ＲＤコストの悪化を判定した場合（ステップＳ２２５：ＹＥＳ）、前回の最も良かった参照構造インデックスを出力する（ステップＳ２３５）。
一般に画像のぼけは、画像撮影時の焦点距離と被写体の深度（撮影機と被写体との距離）との差が大きいほど強くなる。ボケ補償予測の構成上、最もぼけの少ないブロックをイントラ符号化ブロックに選択すると、最もＲＤ効率が良いと考えられる。そのため、本実施形態のようにＲＤコストの悪化が起こった段階で探索を打ち切っても、全体の符号化効率低下にはつながらないと期待される。例えば、図４に示す例の場合、画像Ｇ１、Ｇ２、Ｇ３に含まれるブロックの順にイントラ符号化ブロックが選択される。被写体ａが写っている位置インデックスｊのブロックスタックでは、被写体ａに最も焦点面が近い画像Ｇ１に含まれるブロックＢ１−ｊをイントラ符号化ブロックとして選択したときが最もＲＤ効率が良く、ブロックＧ２−ｊをイントラ符号化ブロックと選択したときのＲＤ効率は低下する。この場合、ブロックＧ３−ｊをイントラ符号化ブロックとして選択したときのＲＤ効率の算出を行わず、ＲＤ効率が低下したときの直前に選択されたブロックＢ１−ｊをイントラ符号化ブロックとする。なお、探索順は上記と逆順にしてもよいし、画像インデックスを２以上の間隔で増やすことで粗い探索を実施した後に細かい探索を実施することで高速化してもよいし、真ん中の画像インデックスから選択してもよい。
ブロックスタックメモリ１２は、ステップＳ２３５においてイントラブロック決定部１３２が出力した参照構造インデックスを受取ると、符号化対象ブロックスタックと合わせて符号化部１４に入力する。符号化部１４は、参照構造インデックスが示す参照構造に従って符号化対象ブロックスタックの符号化を行う。
続いて、符号化部１４の詳細を説明する。図７は、符号化部１４の詳細な構成を示すブロック図である。符号化部１４は、予測残差生成部１４０と、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）部１４１と、量子化部１４２と、逆量子化部１４３と、Ｉｎｖ−ＤＣＴ（Inverse Discrete Cosine Transform：逆離散コサイン変換）部１４４と、復号信号生成部１４５と、参照用ブロックメモリ１４６と、イントラ予測部１４７と、ボケ補償予測部１４８と、モード判定部１４９とを備える。
予測残差生成部１４０は、符号化対象ブロックと、モード判定部１４９が出力した予測ブロックとの差分である予測残差を生成する。ＤＣＴ部１４１は、予測残差に対して離散コサイン変換を行う。量子化部１４２は、離散コサイン変換された予測残差に対して量子化処理を行う。量子化部１４２は、量子化された予測残差と予測パラメータを出力する。逆量子化部１４３は、量子化された予測残差に対し、逆量子化処理を行う。Ｉｎｖ−ＤＣＴ部１４４は、逆量子化処理が行われた予測残差に対して逆離散コサイン変換を行う。復号信号生成部１４５は、Ｉｎｖ−ＤＣＴ部１４４が逆離散コサイン変換した予測残差と、モード判定部１４９が出力した予測ブロックとを加算して生成した参照ブロックを、参照用ブロックメモリ１４６に格納する。
イントラ予測部１４７は、参照用ブロックメモリ１４６から読み出した参照ブロックに、画面内予測処理を実行することによって、符号化対象ブロックの予測ブロックを生成する。イントラ予測部１４７は、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）におけるイントラ予測により符号化を行う。あるいは、イントラ予測部１４７は、Ｈ．２６４／ＡＶＣのような他の映像圧縮規格におけるイントラ予測により符号化を行ってもよい。なお、符号化部１４は、ＪＰＥＧのように、予測符号化を行わずイントラ符号化ブロックに直接ＤＣＴ変換を施してもよい。ボケ補償予測部１４８は、参照用ブロックメモリ１４６に格納された符号化済みのイントラ符号化ブロックである参照ブロックにボケ補償を行ってインター符号化ブロックの予測ブロックを生成し、出力する。モード判定部１４９は、イントラ予測部１４７が生成した予測ブロックと、ボケ補償予測部１４８が生成した予測ブロックとのいずれかを出力する。
図８は、符号化部１４における符号化処理を示すフロー図である。同図は、図２のステップＳ１２５及び図６のステップＳ２１５における処理の詳細を示す。符号化部１４は、符号化対象ブロックスタック及び参照構造インデックスを入力する（ステップＳ３０５）。符号化部１４は、まずイントラ符号化ブロックの符号化を行う。そこで、符号化部１４は、符号化対象ブロックスタックの中から参照構造インデックスが示すブロックをイントラ符号化ブロックとして抽出し、イントラ予測部１４７に入力する。
イントラ予測部１４７は、参照用ブロックメモリ１４６に格納された符号化済みブロックの画素値を参照してイントラ符号化ブロックの予測を行う。ここでの符号化済みブロックは、イントラ符号化ブロックが属する画像からのみ取得されてもよいし、それ以外の画像から取得されてもよいし、複数の画像を平均化して生成した画素値を用いてもよい。参照画素として適当なのは符号化対象ブロックと同じ被写体を映した画素であるが、他の画像は焦点距離が異なり予測に適さないため、基本的には同じ画像から取得するのが効率的である。イントラ予測部１４７は、予測ブロックと、予測パラメータをモード判定部１４９に出力する。
予測残差生成部１４０は、イントラ符号化ブロックとモード判定部１４９が出力した予測ブロックとの差分である予測残差を生成する。ＤＣＴ部１４１は、予測残差にＤＣＴを施す。量子化部１４２は、ＤＣＴが施された予測残差に量子化を施す（ステップＳ３１０）。逆量子化部１４３は、量子化された予測残差に逆量子化処理を行い、Ｉｎｖ−ＤＣＴ部１４４は、逆量子化処理が行われた予測残差に対して逆離散コサイン変換を行う。復号信号生成部１４５は、逆離散コサイン変換された予測残差と、モード判定部１４９が出力した予測ブロックとを加算して、参照用ブロックメモリ１４６に入力する（ステップＳ３１５）。
次に、符号化部１４は、インター符号化ブロックの符号化を行う。符号化対象のインター符号化ブロック（インター符号化対象ブロック）がボケ補償予測部１４８及びイントラ予測部１４７に入力される。さらに、符号化済みのイントラ符号化ブロックである符号化済みブロックが参照用ブロックメモリ１４６からボケ補償予測部１４８に入力され、符号化対象のイントラ符号化ブロックと同じ画像の符号化済みブロックが参照用ブロックメモリ１４６からイントラ予測部１４７に入力される（ステップＳ３２０）。ボケ補償予測部１４８及びイントラ予測部１４７はそれぞれ、予測ブロックを出力する。すなわち、ボケ補償予測部１４８は、後述する図１０の処理により符号化済みブロックにボケ補償を行った予測ブロックを生成する（ステップＳ３２５）。モード判定部１４９は、ボケ補償予測部１４８が生成した予測ブロックと、符号化対象のインター符号化ブロックとの差分値を計算する（ステップＳ３３０）。一方、イントラ予測部１４７は、符号化済みブロックの画素値を参照してインター符号化ブロックにイントラ予測を行い、予測ブロックを出力する（ステップＳ３３５）。モード判定部１４９は、イントラ予測部１４７が生成した予測ブロックと、符号化対象のインター符号化ブロックとの差分値を計算する（ステップＳ３４０）。
モード判定部１４９は、ステップＳ３３０において算出した差分値と、ステップＳ３４０において算出した差分値とのそれぞれについてＲＤ効率を推定する（ステップＳ３４５）。モード判定部１４９は、推定結果に基づいてよりボケ補償予測とイントラ予測のいずれがより効率的であるかを判断する（ステップＳ３５０）。
モード判定部１４９は、ボケ補償予測のほうが効率的と判断した場合（ステップＳ３５０：ボケ補償予測）、ボケ補償予測部１４８が出力した予測ブロックを予測残差生成部１４０に入力する。符号化部１４は、ボケ補償予測部１４８が生成したボケ補償予測の予測ブロックを用いてインター符号化を行う（ステップＳ３５５）。一方、モード判定部１４９は、イントラ予測のほうが効率的と判断した場合（ステップＳ３５０：イントラ予測）、イントラ予測部１４７が出力した予測ブロックを予測残差生成部１４０に入力する。符号化部１４は、イントラ予測部１４７が生成した予測ブロックを用いてイントラ符号化を行う（ステップＳ３６０）。すなわち、ステップＳ３５５、ステップＳ３６０において、予測残差生成部１４０は、インター符号化ブロックとモード判定部１４９が出力した予測ブロックとの予測残差を生成する。ＤＣＴ部１４１は、予測残差にＤＣＴを施す。量子化部１４２は、ＤＣＴが施された予測残差に量子化を施す。逆量子化部１４３は、量子化された予測残差に逆量子化処理を行い、Ｉｎｖ−ＤＣＴ部１４４は、逆量子化処理が行われた予測残差に対して逆離散コサイン変換を行う。復号信号生成部１４５は、逆離散コサイン変換された予測残差と、モード判定部１４９が出力した予測ブロックとを加算して、参照用ブロックメモリ１４６に入力する。
符号化部１４は、符号化対象のインター符号化ブロックのうちまだ符号化していないものがあると判定した場合（ステップＳ３６５：ＮＯ）、次のインター符号化ブロックについてステップＳ３２０からの処理を繰り返す。そして、符号化部１４は、符号化対象の全てのインター符号化ブロックの符号化を行ったと判定した場合（ステップＳ３６５：ＹＥＳ）、符号化された予測残差と予測パラメータを出力する（ステップＳ３７０）。
図９は、符号化部１４が備えるボケ補償予測部１４８の詳細な構成を示すブロック図である。ボケ補償予測部１４８は、ぼかしフィルタパラメータ生成部２０１と、ぼかし処理部２０２と、差分生成部２０３と、ＲＤ効率推定部２０４と、ＲＤ効率メモリ２０５と、ＲＤ効率比較部２０６とを備える。
ぼかしフィルタパラメータ生成部２０１は、ぼかしフィルタに用いられるパラメータであるぼかしフィルタパラメータの値を決定する。ぼかし処理部２０２は、ぼかしフィルタパラメータ生成部２０１が生成したぼかしフィルタパラメータ値を用いたぼかしフィルタを符号化済みブロックに施し、予測ブロックを生成する。差分生成部２０３は、符号化対象ブロックと、ぼかし処理部２０２が生成した予測ブロックとの差分を生成する。
ＲＤ効率推定部２０４は、差分生成部２０３が生成した差分のＲＤ効率を推定する。ＲＤ効率メモリ２０５は、ＲＤ効率推定部２０４が推定したＲＤ効率をぼかしフィルタパラメータ値ごとに記憶する。ＲＤ効率比較部２０６は、ＲＤ効率メモリ２０５に記憶されるＲＤ効率を比較し、最も良いＲＤ効率のぼかしフィルタパラメータ値を選択する。ぼかし処理部２０２は、ＲＤ効率比較部２０６が選択したぼかしフィルタパラメータ値を用いたぼかしフィルタを施して生成した予測ブロックと、選択したぼかしフィルタパラメータの値を出力する。
図１０は、ボケ補償予測部１４８のボケ補償処理を示すフロー図である。ぼかし処理部２０２は、符号化対象ブロックスタックのイントラ符号化ブロックを符号化した符号化済みブロックを参照用ブロックメモリ１４６から入力する（ステップＳ４０５）。ぼかしフィルタパラメータ生成部２０１は、初期値のぼかしフィルタパラメータ値を生成する（ステップＳ４１０）。ぼかし処理部２０２は、ステップＳ４０５において入力した符号化済みブロックに、ステップＳ４１０において生成されたぼかしフィルタパラメータ値を用いたぼかしフィルタを適用し、予測ブロックを生成する（ステップＳ４１５）。
差分生成部２０３は、符号化対象のインター符号化ブロックである符号化対象ブロックと、ステップＳ４１５においてぼかし処理部２０２が生成した予測ブロックとの差分を生成する（ステップＳ４２０）。ＲＤ効率推定部２０４は、ステップＳ４２０において差分生成部２０３が生成した差分に対してＲＤ効率の推定を行い、推定結果をＲＤ効率メモリ２０５に格納する（ステップＳ４２５）。ＲＤ効率比較部２０６は、ＲＤ効率メモリ２０５に記憶されるＲＤ効率を比較し、最適なＲＤ効率が得られたか否かを判定する（ステップＳ４３０）。
ＲＤ効率比較部２０６は、最適なＲＤ効率が得られていないと判断した場合（ステップＳ４３０：ＮＯ）、ステップＳ４１０からの処理を繰り返す。すなわち、ぼかしフィルタパラメータ生成部２０１は、ＲＤ効率の推定結果を元にしてぼかしフィルタパラメータ値を更新する（ステップＳ４１０）。ぼかし処理部２０２は、ぼかしフィルタパラメータ生成部２０１が更新したぼかしフィルタパラメータ値を用いたぼかしフィルタにより、符号化済みブロックにぼかし処理を施して予測ブロックを生成する（ステップＳ４１５）。差分生成部２０３は、符号化対象ブロックと予測ブロックとの差分を生成し（ステップＳ４２０）、ＲＤ効率推定部２０４は、この差分に対して推定したＲＤ効率をＲＤ効率メモリ２０５に格納する（ステップＳ４２５）。ＲＤ効率比較部２０６は、最適なＲＤ効率が得られたか否かを判定する（ステップＳ４３０）。
ＲＤ効率比較部２０６が、最適なＲＤ効率が得られたと判定した場合（ステップＳ４３０：ＹＥＳ）、最終的にＲＤ効率が最も良かったぼかしフィルタパラメータの値を選択する。ぼかし処理部２０２は、最もＲＤ効率の良かった予測ブロック及びぼかしフィルタパラメータの値を出力する（ステップＳ４３５）。
ぼかしフィルタパラメータ生成部２０１の詳細を説明する。図１１は、ぼかしフィルタパラメータ生成部２０１の詳細な構成を示すブロック図である。ぼかしフィルタパラメータ生成部２０１は、ぼかしフィルタパラメータ初期化部２１１と、ぼかしフィルタパラメータメモリ２１２と、ぼかしフィルタ生成部２１３と、ぼかしフィルタパラメータ更新処理決定部２１４と、ぼかしフィルタパラメータ更新処理部２１５とを備える。
ぼかしフィルタパラメータ初期化部２１１は、ぼかしフィルタパラメータ値を初期化する。ぼかしフィルタパラメータ値は、ボケ強度を表す。ぼかしフィルタパラメータメモリ２１２は、ぼかしフィルタパラメータ値を記憶する。ぼかしフィルタ生成部２１３は、ぼかしフィルタパラメータ値を用いたぼかしフィルタを生成する。ぼかしフィルタパラメータ更新処理決定部２１４は、ぼかしフィルタパラメータ値の更新処理を行うか否かを決定する。ぼかしフィルタパラメータ更新処理部２１５は、ぼかしフィルタパラメータ更新処理決定部２１４がぼかしフィルタパラメータ値の更新処理を行うと決定した場合、現在のぼかしフィルタパラメータ値を更新する。
ぼかしフィルタには、例えばガウシアンブラーフィルタが用いられる。ガウシアンブラーフィルタを用いた場合、ぼかしフィルタパラメータは標準偏差σで表され、フィルタ係数は下記のように計算される。座標（ｉ,ｊ）の入力画素をＡ［ｉ,ｊ］としたとき、フィルタ適用後の画素値Ｂ［ｉ,ｊ］は下の式（１）で表される。
Figure 0006936990
ここでフィルタ係数Ｇσ（ｘ，ｙ）は下の式（２）で表される。
Figure 0006936990
ただし実装上、フィルタ長が有限となるようｘ,ｙを一定の範囲Ｚにとどめるか、フィルタ係数Ｇσが一定の値以下になる場合は０とすることが望ましい。標準偏差０の場合はぼかしフィルタを適用しないと定める。上記の定義より、標準偏差σを大きくするほどぼかしフィルタによるぼけの強度が強くなる。ぼかしフィルタパラメータ生成部２０１による標準偏差の更新は、初期値を０として１ずつ増加させていけばよい。これは、ボケ強度を強くしていくことに相当する。このとき標準偏差の最大値を予め決めておき、それ以上は探索を行わないとするのが望ましい。また更新幅を１より大きくしてもよく、初めは大きな更新幅により更新して粗く探索を行った後に細かい探索と段階的に行うことで探索時間の短縮を図ってもよい。
図１２は、ぼかしフィルタパラメータ生成部２０１のぼかしフィルタパラメータ生成処理を示すフロー図である。同図に示す処理は、図１０におけるステップＳ４１０〜ステップＳ４３０の処理に相当する。ぼかしフィルタパラメータ生成処理によって、与えられた参照構造の中でＲＤ効率を最適化できるようなボケ強度を探索する。
まず、ぼかしフィルタパラメータ初期化部２１１は、ぼかしフィルタパラメータ値を初期化する。例えば、ぼかしフィルタパラメータ初期化部２１１は、ぼかしフィルタパラメータとして用いる標準偏差σを０に初期化する。ぼかしフィルタパラメータメモリ２１２は、初期化されたぼかしフィルタパラメータ値を記憶する。ぼかしフィルタ生成部２１３は、初期化されたぼかしフィルタパラメータ値を入力する（ステップＳ５０５）。ぼかしフィルタ生成部２１３は、初期化されたぼかしフィルタパラメータ値を用いたぼかしフィルタを生成し（ステップＳ５１０）、ぼかし処理部２０２に出力する（ステップＳ５１５）。
ボケ補償予測部１４８は、ぼかしフィルタパラメータ生成部２０１が生成したぼかしフィルタに基づいて、ぼけ補償による符号化を実施する。すなわち、ぼかし処理部２０２は、ぼかしフィルタにより符号化済みブロックにぼかし処理を施して予測ブロックを生成する。差分生成部２０３は、符号化対象ブロックと予測ブロックとの差分をとり、ＲＤ効率推定部２０４は、この差分に対してＲＤ効率を推定する。ＲＤ効率比較部２０６は、現在のＲＤ効率と、前回のＲＤ効率とを比較する（ステップＳ５２０）。
ＲＤ効率比較部２０６が、今回のＲＤ効率は前回から悪化していないと判断した場合（ステップＳ５２５：ＮＯ）、ぼかしフィルタパラメータ更新処理決定部２１４は、ぼかしフィルタパラメータ値の更新を決定する。ぼかしフィルタパラメータ更新処理部２１５は、現在のぼかしフィルタパラメータ値を１増加させ、ぼかしフィルタパラメータメモリ２１２に記憶する。ぼかしフィルタ生成部２１３は、更新されたぼかしフィルタパラメータ値を入力する（ステップＳ５３０）。ぼかしフィルタパラメータ生成部２０１は、ステップＳ５１０からの処理を繰り返す。
そして、ＲＤ効率比較部２０６が、今回のＲＤ効率は前回から悪化したと判断した場合（ステップＳ５２５：ＹＥＳ）、ぼかしフィルタパラメータ更新処理決定部２１４は、ぼかしフィルタパラメータ値を更新しないと決定する。ぼかしフィルタパラメータメモリ２１２は、前回のぼかしフィルタパラメータ値をぼかし処理部２０２に出力する（ステップＳ５３５）。
図１２の処理は、ボケ強度が被写体の深度と焦点距離との差に応じて純増することを利用して、差分が最小になる箇所を探索している。画像インデックスは、撮影機から焦点面の距離が近い順に付与され、インター符号化ブロックは画像インデックスの順に符号化される。これを利用し、符号化部１４は、参照ブロックであるイントラ符号化ブロックに近いほうから（又は遠い方から）探索を行い、ぼかしフィルタパラメータ初期化部２１１は、遠い方（又は近い方）のブロックでは探索するボケ強度の初期値を、近い（又は遠い）ブロックでの推定値によって定めるようにしてもよい。
例えば、図４に示す例の場合、位置インデックスｊのブロックスタックでは、画像Ｇ１をイントラ符号化ブロックとする参照構造の場合、ブロックＢ２−ｊ及びブロックＢ３−ｊがインター符号化ブロックとなる。このとき、より画像Ｇ１と焦点距離が近い画像Ｇ２に含まれるブロックＢ２−ｊのぼけ補償予測のためにブロックＢ１−ｊに適用するぼかしフィルタパラメータ値（ボケ強度）を決定する。そして、次に画像Ｇ２よりも画像Ｇ１との焦点距離が遠い画像Ｇ３に含まれるブロックＧ３−ｊのぼけ補償予測のためにブロックＢ１−ｊに適用するぼかしフィルタパラメータ値（ボケ強度）を決定する。ブロックＢ１−ｊより焦点距離が遠いブロックＧ３−ｊのほうが、ブロックＢ１−ｊに適用するボケ強度が強いと考えられる。そこで、ブロックＧ３−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値の初期値を、ブロックＧ２−ｊがインター符号化ブロックであるときについてすでに算出されたぼかしフィルタパラメータ値とし、その初期値よりもボケ強度を強くしていきながらＲＤ効率が最適なぼかしフィルタパラメータ値を探索する。つまり、ブロックＧ２−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値よりも小さいボケ強度については探索の対象としない。なお、ブロックＧ３−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値の初期値を、ブロックＧ２−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値に所定だけ変動させた値としてもよい。
また、ぼかしフィルタパラメータ初期化部２１１は、イントラ符号化ブロックのぼかしフィルタパラメータの初期値として、参照構造が同じ隣接ブロックのぼかしフィルタパラメータの値に基づく値を設定してもよい。例えば、位置インデックスｊのブロックスタックにおいて、ブロックＢ１−ｊをイントラ符号化ブロックとする参照構造のときに、ブロックＢ２−ｊのぼけ補償予測のためにブロックＢ１−ｊに適用するぼかしフィルタパラメータ値（又は、その値を所定だけ変動させた値）を、位置インデックスｊに隣接する位置インデックス（ｊ＋１）のブロックスタックにおいて、ブロックＢ１−（ｊ＋１）をイントラ符号化ブロックとする参照構造のときに、ブロックＢ２−（ｊ＋１）のぼけ補償予測のためにブロックＢ１−（ｊ＋１）に適用するぼかしフィルタパラメータの初期値とする。そして、初期値を中心として、ボケ強度を増やした場合と減らした場合とによって、ぼかしフィルタパラメータの値を探索する。
次に、エントロピー符号化部１９の詳細を説明する。図１３は、エントロピー符号化部１９の詳細な構成を示すブロック図である。エントロピー符号化部１９は、インデックス分離部１９１と、予測残差二値化部１９２と、予測パラメータ二値化部１９３と、参照構造インデックス二値化部１９４と、算術符号化部１９５とを備える。
インデックス分離部１９１は、符号化結果として入力されたデータを、予測残差、予測パラメータ、及び、参照構造インデックスに分離する。予測残差二値化部１９２は、量子化部１４２が量子化した予測残差をＨＥＶＣと同様に二値化する。予測パラメータ二値化部１９３は、予測パラメータをＨＥＶＣと同様に二値化する。参照構造インデックス二値化部１９４は、参照構造インデックスを二値化する。算術符号化部１９５は、予測残差二値化部１９２が二値化した予測残差、予測パラメータ二値化部１９３が二値化した予測パラメータ、及び、参照構造インデックスが二値化した参照構造インデックスを算術符号化する。算術符号化部１９５は、ＨＥＶＣと同様にＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）を用いて算術符号化を行う。算術符号化部１９５として、他の算術符号化器を用いてもよい。
図１４は、参照構造インデックス二値化部１９４の参照構造インデックス二値化処理を示すフロー図である。本実施形態において参照構造インデックスは、各ブロックスタックにおけるイントラ画像インデックスと等しい。また、同じ位置インデックスを持つブロックのうち、最もぼけの少ないブロックがイントラ符号化ブロックとなることが期待される。ここでは、隣接したブロックは同じ被写体を映している可能性が高く、したがって参照構造も近い傾向があることを利用し、参照構造インデックスの効率的な二値化を行う。参照構造インデックス二値化部１９４は、各ブロックスタックについて同図に示す処理を行う。
まず、参照構造インデックス二値化部１９４は、ブロックスタックの位置インデックスをインデックス分離部１９１から入力する（ステップＳ６０５）。位置インデックスで示される位置のブロックを「対象ブロック」と記載し、「対象ブロック」に隣接するブロックを「隣接ブロック」と記載する。参照構造インデックス二値化部１９４は、対象ブロックの上方向に隣接ブロックが存在するか否かを判定する（ステップＳ６１０）。参照構造インデックス二値化部１９４は、上方向に隣接ブロックが存在すると判断した場合（ステップＳ６１０：ＹＥＳ）、対象ブロックの参照構造インデックスが、真上の隣接ブロックの参照構造インデックスと一致するか否かを判定する（ステップＳ６１５）。
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、真上の隣接ブロックの参照構造インデックスと一致すると判断した場合（ステップＳ６１５：ＹＥＳ）、「０」を出力する（ステップＳ６２０）。
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、真上の隣接ブロックの参照構造インデックスと一致しないと判定した場合（ステップＳ６１５：ＮＯ）、真上の隣接ブロックのイントラ画像インデックスを除いて、対象ブロックの参照構造インデックスを改めて付与する（ステップＳ６２５）。参照構造インデックス二値化部１９４は、「１」と再付与した参照構造インデックスとを出力する（ステップＳ６３０）。
参照構造インデックス二値化部１９４は、対象ブロックの上方向に隣接ブロックが存在しないと判定した場合（ステップＳ６１０：ＮＯ）、左隣のブロックを用いて同様の二値化を行う。すなわち、参照構造インデックス二値化部１９４は、対象ブロックの左方向に隣接ブロックが存在するか否かを判定する（ステップＳ６３５）。参照構造インデックス二値化部１９４は、左方向に隣接ブロックが存在すると判断した場合（ステップＳ６３５：ＹＥＳ）、対象ブロックの参照構造インデックスが、左方向の隣接ブロックの参照構造インデックスと一致するか否かを判定する（ステップＳ６４０）。
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、左方向の隣接ブロックの参照構造インデックスと一致すると判断した場合（ステップＳ６４０：ＹＥＳ）、「０」を出力する（ステップＳ６４５）。
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、左方向の隣接ブロックの参照構造インデックスと一致しないと判定した場合（ステップＳ６４０：ＮＯ）、左方向の隣接ブロックのイントラ画像インデックスを除いて、対象ブロックの参照構造インデックスを改めて付与する（ステップＳ６５０）。参照構造インデックス二値化部１９４は、「１」と再付与した参照構造インデックスとを出力する（ステップＳ６３０）。
参照構造インデックス二値化部１９４は、対象ブロックの左方向にも隣接ブロックが存在しないと判定した場合（ステップＳ６３５：ＮＯ）、そのまま対象ブロックの参照構造インデックスを出力する（ステップＳ６５５）。
参照構造インデックスの二値化の例を説明する。画像Ｇ１、Ｇ２、Ｇ３の画像インデックスをそれぞれ、００、０１、１０とする。上述したように、参照構造インデックスには、イントラ画像インデックスが用いられる。
対象ブロックが左上ブロックである場合、上にも左にも隣接ブロックが無い。よって、参照構造インデックス二値化部１９４は、左上ブロックについては、参照構造インデックス（イントラ画像インデックス）をそのまま伝送する。
対象ブロックの参照構造インデックスが「０１」（画像Ｂ）であり、真上の隣接ブロックの参照構造インデックスも「０１」（画像Ｂ）である場合（ステップＳ６１０：ＹＥＳ、ステップＳ６１５：ＹＥＳ）、参照構造インデックス二値化部１９４は、「０」を出力する（ステップＳ６２０）。
対象ブロックの参照構造インデックスが「０１」（画像Ｂ）であり、真上の隣接ブロックの参照構造インデックスが「００」（画像Ａ）である場合（ステップＳ６１０：ＹＥＳ、ステップＳ６１５：ＮＯ）、参照構造インデックス二値化部１９４は、画像Ｂを除き、画像Ａ及び画像Ｃに画像インデックスを再付与する。参照構造インデックス二値化部１９４は、付与対象の画像が２枚のため、画像インデックス長を１ビットとし、画像Ａに画像インデックス「０」を、画像Ｃに画像インデックス「１」を付与する。参照構造インデックス二値化部１９４は、ビット「１」と、イントラ符号化ブロックである画像Ａに再付与された画像インデックス「０」とを結合した「１０」を伝送する（ステップＳ６３０）。
対象ブロックの真上の隣接ブロックが存在せず（ステップＳ６１０：ＮＯ）、左方向の隣接ブロックが存在する場合（ステップＳ６３５：ＹＥＳ）、参照構造インデックス二値化部１９４は、真上の隣接ブロックスタックに代えて左方向の隣接ブロックを用いて上記と同様に動作する。
自然画像の場合被写体の深度は縦方向に一致している場合が多いため真上の隣接ブロックの参照構造インデックスの利用を優先するのが望ましいが、左方向の隣接ブロックを優先してもよい。また、図１５に示すように、参照構造インデックスを左方向の隣接ブロックから取るか真上の隣接ブロックから取るかを１ｂｉｔのインデックスにより表してもよい。
図１５は、参照構造インデックスの符号例を示す図である。同図は、参照構造インデックスを左方向の隣接ブロックから取るか真上の隣接ブロックから取るかを１ｂｉｔのインデックスにより表す場合の例を示す。同図において、対象ブロックの真上の隣接ブロックの参照構造インデックスは１であり、左方向の隣接ブロックの参照構造インデックスは０である。参照構造インデックス二値化部１９４は、真上又は左方向の隣接ブロックの参照構造インデックスを参照する場合は１ビット目に「０」を設定し、２ビット目には左方向の隣接ブロックの参照構造インデックスを参照する場合は「０」を、真上の隣接ブロックの参照構造インデックスを参照する場合は「１」を設定する。また、参照構造インデックス二値化部１９４は、隣接ブロックの参照構造インデックスを参照しない場合、先頭ビットに「１」を設定し、２ビット目以降にイントラ画像インデックス又は再付与した画像インデックスを設定する。
（第２の実施形態）
第１の実施形態においては、ブロックスタック内において、インター符号化ブロック全てが、同一のイントラ符号化ブロック（ピントの合っている画像のブロック）を参照する１対Ｎ型の参照構造を用いており、符号化効率が高い。本実施形態は、ブロックスタック内において、チェーン型の参照構造を用いる。チェーン型は、ブロックスタック内において直前に符号化したブロックを参照して予測を行う。そのため、直前に符号化したブロックは、ピントの合っていない場合もある。本実施形態では、符号化効率は落ちるが、ぼけフィルタのタップ長を小さくすることで、処理速度を向上させ、処理量の削減を図ることができる。以下では、第１の実施形態との差分を中心に説明する。
図１６は、第２の実施形態による符号化装置１ａの構成を示すブロック図である。同図において、図１に示す第１の実施形態による符号化装置１と同一の部分には同一の符号を付し、その説明を省略する。同図に示す符号化装置１ａが、図１に示す符号化装置１と異なる点は、参照構造生成部１３に代えて、参照構造生成部５１を備える点である。参照構造生成部５１は、チェーン型の参照構造を生成する。すなわち、本実施形態の参照構造は、他のブロックの情報を使用せずにイントラ符号化を行うイントラ符号化ブロック１枚と、直前に符号化した符号化済みブロックを参照して予測符号化を行うインター符号化ブロックからなる。符号化部１４は、参照構造の順に従ってイントラ符号化ブロック、インター符号化ブロックの順に符号化を行う。そのため、符号化部１４のボケ補償予測部１４８が参照用ブロックメモリ１４６から入力する符号化済みブロックは、参照構造において示される、符号化対象のインター符号化ブロックと同一のブロックスタックにおいて直前に符号化された符号化済みブロックである。
符号化装置１ａの処理は、図２に示す第１の実施形態の処理と同様である。ただし、ステップＳ１２０において、参照構造生成部５１は、チェーン型の参照構造を生成する。
図１７は、参照構造生成部５１による参照構造の生成イメージを示す図である。同図に示すフォーカルスタックは、図４に示すフォーカルスタックと同様である。同図の場合、位置インデックスｊのブロックスタックでは、ブロックＢ１−ｊがイントラ符号化ブロックであり、ブロックＢ２−ｊはブロックＢ１−ｊを参照するインター符号化ブロック、ブロックＢ３−ｊはブロックＢ２−ｊを参照するインター符号化ブロックである。また、位置インデックスｋのブロックスタックでは、ブロックＢ２−ｋがイントラ符号化ブロックであり、ブロックＢ３−ｋはブロックＢ２−ｋを参照するインター符号化ブロック、ブロックＢ１−ｋはブロックＢ３−ｋを参照するインター符号化ブロックである。また、位置インデックスｌのブロックスタックでは、ブロックＢ３−ｌがイントラ符号化ブロックであり、ブロックＢ２−ｌはブロックＢ３−ｌを参照するインター符号化ブロック、ブロックＢ１−ｌはブロックＢ２−ｌを参照するインター符号化ブロックである。
図１８は、参照構造生成部５１の詳細な構成を示すブロック図である。参照構造生成部５１は、ブロックスタックインデックス取得部５１１と、画像インデックス列生成部５１２と、参照構造インデックス生成部５１３とを備える。ブロックスタックインデックス取得部５１１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックに含まれる全画像それぞれの画像インデックスを取得する。画像インデックス列生成部５１２は、画像インデックスの並びを生成する。参照構造を表すこの画像インデックスの並びを、画像インデックス数列とも記載する。参照構造インデックス生成部５１３は、画像インデックス数列それぞれに、参照構造インデックスを付与する。
図１９は、参照構造生成部５１の参照構造生成処理を示すフロー図である。同図に示す参照構造生成処理は、画像のボケは焦点距離が被写体の深度から離れるほど強くなっていくことに基づき、符号化対象ブロックが自身よりも強くボケている符号化済みブロックを参照してしまうような参照構造を除外するよう設計されている。
ブロックスタックインデックス取得部５１１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックの全ての画像インデックスを取得し、画像インデックス列生成部５１２に入力する（ステップＳ７０５）。画像インデックス列生成部５１２は、入力された画像インデックスの並びを全通り生成し、生成した画像インデックスの並びをそれぞれ、画像インデックス数列とする（ステップＳ７１０）。画像インデックス列生成部５１２は、以下の二つの条件を満たさない画像インデックス数列を候補から除外する（ステップＳ７１５）。１つ目の条件は、先頭インデックスより小さなインデックスが降順になっていないことであり、２つ目の条件は、先頭インデックスより大きなインデックスが昇順になっていないことである。
画像インデックス列生成部５１２は、残った画像インデックス数列を辞書順（昇順）にソートする。参照構造インデックス生成部５１３は画像インデックス数列それぞれに、ソート順に参照構造インデックスを付与する（ステップＳ７２０）。参照構造インデックス生成部５１３は、画像インデックス数列（参照構造）と、各画像インデックス数列の参照構造インデックスとをブロックスタックメモリ１２に出力する（ステップＳ７２５）。ステップＳ７１５において除外処理を行うことで、符号化部１４が実行する符号化処理における計算時間削減と、ステップＳ７２０において付与する参照構造インデックスの符号量の削減を期待できる。なお、ステップＳ７１５の除外処理は行わなくてもよい。
図２０は、本実施形態の参照構造の例を示す図である。同図は、参照構造を表す画像インデックス数列と参照構造インデックスの例を示している。同図では、画像インデックスが０、１、２、３の４枚（Ｎ＝４）の画像の参照構造に参照構造インデックスが付与されている。焦点距離が小さい順に、小さい値の画像インデックスが付与されている。画像インデックス列生成部５１２は、全通りの画像インデックス数列から、ステップＳ７１５の処理に示す除外処理を行った結果得られた参照構造の候補に対して、参照画像インデックスを付与している。参照画像インデックスは、画像インデックス数列の先頭が示すイントラ符号化ブロックの画像インデックスが小さい順に付与されている。また、複数の画像インデックス数列において１〜ｉ（ｉは１以上Ｎ−１以下の整数）番目までの画像インデックスの並びが同じある場合には、ｉ＋１番目の画像インデックスの数が小さい順に参照画像インデックスが付与されている。
符号化部１４は、画像インデックス列生成部５１２が生成した各参照構造が表す画像インデックス数列を用いて、図８に示す第１の実施形態と同様に各ブロックスタックを符号化する。また、ボケ補償予測部１４８のボケ補償処理は、図１０に示す第１の実施形態と同様である。ただし、図８のステップＳ３２０、又は、図１０のステップＳ４０５においてボケ補償予測部１４８に入力される符号化済みブロックは、参照構造により示される、符号化対象のインター符号化ブロックの直前が符号化順の符号化済みブロックである。これにより、イントラ符号化ブロックを直接参照したときと比較して、インター符号化ブロックと参照画像までの深度距離が短くなることによりボケ補償処理で用いるぼかしフィルタの強度を下げ、計算量およびメモリ消費を削減することが期待できる。なお、ボケ補償予測部１４８は、他の符号化済みブロックを入力してもよく、複数の符号化済みブロックを入力してもよい。
エントロピー符号化部１９の構成は、図１３に示す第１の実施形態と同様である。予測残差二値化部１９２、予測パラメータ二値化部１９３、及び、参照構造インデックス二値化部１９４における予測二値化、ならびに、算術符号化部１９５における算術符号化は、ＨＥＶＣと同様にｋ次指数ゴロム二値化、トランケーテッド・ユーナリー二値化、固定長二値化、ＣＡＢＡＣといった手法を組み合わせて行う。また、ＣＡＢＡＣは、他の算術符号化器でもよい。
本実施形態によれば、フォーカルスタックを従来の符号化方式よりも効率的に圧縮できる。特にインター符号化ブロックに、参照構造で直前にあるブロックを参照させることで、ボケ補償におけるフィルタ長を縮小しデコーダの計算量を低くできる。
上述した実施形態によれば、符号化装置は、フォーカルスタックの各画像をブロック分割し、同一位置にある各画像のブロック群に対して参照構造を構築する。符号化装置は、選択された参照構造に従いブロック群を符号化し、符号化効率の観点から参照構造及び符号化パラメータを最適化する。符号化装置は、ブロック単位で参照構造を決定し、インター符号化においては、ボケ補償予測を行って、ＲＤ最適化を実施する。これにより、データ量を低減するように、フォーカルスタックを効率的に符号化することができる。
上述した実施形態における符号化装置１の機能をコンピュータで実現するようにしてもよい。また、符号化装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。符号化装置１の機能をコンピュータで実現する場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上説明した実施形態によれば、符号化装置は、同じ被写体を異なる焦点で撮影した複数の画像からなるフォーカルスタックを符号化する。符号化装置は、ブロック分割部と、参照ブロック決定部と、ぼかし処理部と、符号化部とを備える。ブロック分割部は、フォーカルスタックに含まれる複数の画像のうち符号化対象の画像である符号化対象画像をブロックに分割する。参照ブロック決定部は、符号化対象画像のブロックを符号化するために参照される参照ブロックが、フォーカルスタックに含まれる複数の画像のうち符号化対象画像とは異なる画像である参照画像に含まれる領域である場合、符号化対象画像におけるブロックの領域と、参照画像における参照ブロックの領域とが同じになるように参照ブロックを決定する。参照ブロック決定部は、例えば、参照構造生成部１３、５１に相当する。ぼかし処理部は、ブロックとの残差が小さくなるように参照ブロックにぼかし処理を施す。符号化部は、ブロックを、ぼかし処理が施された参照ブロックを参照して符号化する。
参照ブロック決定部は、フォーカルスタックを構成する複数の画像それぞれにおいて同じ領域にあるブロックからなるブロック群（ブロックスタック）ごとに、同一のブロック群に含まれる複数のブロックのうち一のブロックのみを、当該ブロック群に含まれる他の全てのブロックそれぞれを符号化するために参照される参照ブロックに決定する。あるいは、参照ブロック決定部は、フォーカルスタックを構成する複数の画像それぞれにおいて同じ領域にあるブロックからなるブロック群（ブロックスタック）ごとに、同一のブロック群に含まれる複数のブロックそれぞれを符号化するために参照される参照ブロックが異なるように、参照ブロックを決定してもよい。
フォーカルスタックを構成する複数の画像のうち参照ブロックが得られる参照画像は、それら複数の画像を撮影した撮影機からブロックにおける被写体までの距離と、それら複数の画像それぞれの撮影機から焦点までの距離との差である距離差に基づき選択される。ぼかし処理部は、参照ブロックに施すぼかし処理の強度を距離差が大きいほど大きくなるように決定してもよい。
ぼかし処理部は、上記のブロック群に含まれる複数のブロックそれぞれの符号化のために参照ブロックに施すぼかし処理の強度を探索する探索処理を、参照ブロックと焦点の距離が小さいブロックから順に、かつ、探索済みの強度を参照して行ってもよい。例えば、ぼかし処理部は、参照ブロックと焦点の距離が小さいブロックについて探索処理を行って得られた強度に基づいて、そのブロックよりも参照ブロックと焦点の距離が大きいブロックの探索処理を行う際の初期値を決定する。
また、ぼかし処理部は、ブロックの符号化のために参照ブロックに施すぼかし処理の強度を探索する探索処理を、符号化対象のブロックと同じブロック群に属し、かつ、当該ブロックよりも参照ブロックと焦点の距離が小さい他のブロックについて探索済みの強度よりも大きな強度を探索対象として行ってもよい。
また、ぼかし処理部は、符号化対象画像のブロックの符号化のために参照ブロックに施すぼかし処理の強度を探索する探索処理を、当該参照ブロックと同じ参照画像から得られる他の参照ブロックを参照する当該符号化対象画像の他のブロックについて探索済みの強度に基づく値を初期値に使用するなどして参照して行ってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１、１ａ…符号化装置， １１…ブロック分割部， １２…ブロックスタックメモリ， １３、５１…参照構造生成部， １４…符号化部， １５…符号化結果メモリ， １６…ＲＤ効率推定部， １７…ＲＤ効率メモリ， １８…ＲＤ効率比較部， １９…エントロピー符号化部， １３１、５１１…ブロックスタックインデックス取得部， １３２…イントラブロック決定部， １３３…選択済みブロックインデックスメモリ， １４０…予測残差生成部， １４１…ＤＣＴ部， １４２…量子化部， １４３…逆量子化部， １４４…Ｉｎｖ−ＤＣＴ部， １４５…復号信号生成部， １４６…参照用ブロックメモリ， １４７…イントラ予測部， １４８…ボケ補償予測部， １４９…モード判定部， １９１…インデックス分離部， １９２…予測残差二値化部， １９３…予測パラメータ二値化部， １９４…参照構造インデックス二値化部， １９５…算術符号化部， ２０１…ぼかしフィルタパラメータ生成部， ２０２…ぼかし処理部， ２０３…差分生成部， ２０４…ＲＤ効率推定部， ２０５…ＲＤ効率メモリ， ２０６…ＲＤ効率比較部， ２１１…ぼかしフィルタパラメータ初期化部， ２１２…ぼかしフィルタパラメータメモリ， ２１３…ぼかしフィルタ生成部， ２１４…ぼかしフィルタパラメータ更新処理決定部， ２１５…ぼかしフィルタパラメータ更新処理部， ５１２…画像インデックス列生成部， ５１３…参照構造インデックス生成部

Claims (6)

  1. 同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、
    符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、
    前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、
    前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、
    前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、
    を備え、
    前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックを決定し、
    複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択され、
    前記ぼかし処理部は、前記ブロック群に含まれる複数の前記ブロックそれぞれの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記参照ブロックと前記焦点の距離が小さい前記ブロックから順に、かつ、探索済みの前記強度を参照して行う、
    符号化装置。
  2. 同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、
    符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、
    前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、
    前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、
    前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、
    を備え、
    前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックを決定し、
    複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択され、
    前記ぼかし処理部は、前記ブロックの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記ブロックと同じ前記ブロック群に属し、かつ、前記ブロックよりも前記参照ブロックと前記焦点の距離が小さい他の前記ブロックについて探索済みの前記強度よりも大きな強度を探索対象として行う、
    符号化装置。
  3. 同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、
    符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、
    前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、
    前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、
    前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、
    を備え、
    複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択され、
    前記ぼかし処理部は、前記符号化対象画像の前記ブロックの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記参照ブロックと同じ前記参照画像から得られる他の前記参照ブロックを参照する前記符号化対象画像の他の前記ブロックについて探索済みの前記強度に基づく範囲を探索対象として行う、
    符号化装置。
  4. 前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、前記ブロック群に含まれる複数の前記ブロックのうち一の前記ブロックのみを、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックに決定する、
    請求項１から請求項３のいずれか一項に記載の符号化装置。
  5. 前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域の前記ブロックからなるブロック群ごとに、前記ブロック群に含まれる複数の前記ブロックそれぞれを符号化するために参照される前記参照ブロックが異なるように、前記参照ブロックを決定する、
    請求項１から請求項３のいずれか一項に記載の符号化装置。
  6. コンピュータを、
    請求項１から請求項５のいずれか一項に記載の符号化装置として機能させるためのプロ
    グラム。
JP2018140531A 2018-07-26 2018-07-26 符号化装置及びプログラム Active JP6936990B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018140531A JP6936990B2 (ja) 2018-07-26 2018-07-26 符号化装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018140531A JP6936990B2 (ja) 2018-07-26 2018-07-26 符号化装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020017894A JP2020017894A (ja) 2020-01-30
JP6936990B2 true JP6936990B2 (ja) 2021-09-22

Family

ID=69580628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018140531A Active JP6936990B2 (ja) 2018-07-26 2018-07-26 符号化装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6936990B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818117B2 (en) * 2012-07-19 2014-08-26 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
JP2015008387A (ja) * 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
JP2015103872A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法
EP3139614A1 (en) * 2015-09-07 2017-03-08 Thomson Licensing Method and device for encoding and decoding a light field based image, and corresponding computer program product
JP2018074215A (ja) * 2016-10-25 2018-05-10 キヤノン株式会社 画像処理装置

Also Published As

Publication number Publication date
JP2020017894A (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
JP6646019B2 (ja) 映像の符号化方法及び装置
JP6595674B2 (ja) ビデオ復号化方法及びその装置
JP6388685B2 (ja) 固定小数点変換のためのビット深度調節を伴うビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
TWI521970B (zh) 視訊解碼方法
RU2627036C2 (ru) Устройство и способ кодирования видео и устройство и способ декодирования видео, основанные на иерархической информации о структуре кодированного блока
US9554155B2 (en) Parameter update method for entropy coding and decoding of conversion coefficient level, and entropy coding device and entropy decoding device of conversion coefficient level using same
KR101507344B1 (ko) 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
US8477845B2 (en) Predictive adaptive scan ordering for video coding
KR101789759B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
US8275208B2 (en) Method and apparatus for encoding and decoding image using image separation based on bit location
EP3677027A1 (en) Mixing of probabilities for entropy coding in video compression
WO2011101453A2 (en) Data compression for video
JP2014523186A (ja) エントロピー符号化／復号化方法及びその装置
EP2520093A1 (en) Data compression for video
JP6936990B2 (ja) 符号化装置及びプログラム
WO2007081116A1 (en) Method and apparatus for video data encoding and decoding
WO2012127706A1 (ja) 動画像符号化装置及び動画像符号化方法
Miroshnichenko et al. Compression of signs of DCT coefficients for additional lossless compression of JPEG images
Lamsrichan A fast algorithm for low-memory embedded wavelet-based image coding without list
US20240037801A1 (en) Point cloud encoding and decoding method and decoder
JP4767908B2 (ja) 画像復号装置及び画像符号化装置
JP6130556B6 (ja) ビデオ復号化方法及びその装置
Anitha et al. Empirical Evaluation of Coding and Inter Pixel Redundancy in still Image Compression
CN118679739A (zh) 用于视频码处理的经排名的参考框架
KR20130055314A (ko) 공통 병합 가능 블록 집합을 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6936990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250