JP6000670B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP6000670B2 JP6000670B2 JP2012132365A JP2012132365A JP6000670B2 JP 6000670 B2 JP6000670 B2 JP 6000670B2 JP 2012132365 A JP2012132365 A JP 2012132365A JP 2012132365 A JP2012132365 A JP 2012132365A JP 6000670 B2 JP6000670 B2 JP 6000670B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- encoding
- unit
- image
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Description
本発明は、複数の視点の画像を符号化する技術に関するものである。
近年、複数のレンズを搭載したデジタルカメラやデジタルビデオカメラが市場に登場している。これらのカメラでは、各レンズでそれぞれ異なる視点や異なる撮影条件の画像を撮影し、撮影した画像を用いて高画質、高機能な画像をユーザに提供することを目的としている。その目的のひとつに、ほぼ同じ視点の異なる露光時間の画像を複数枚合成してHDR（High Dynamic Range）画像を生成する技術がある。この技術は、各レンズで露光時間を変更することで、被写体の暗い領域が明瞭な画像や被写体の明るい領域が明瞭な画像を撮影し、撮影した複数枚の画像を合成して被写体全体が明瞭な画像を生成する技術である。
このようなHDR画像を生成する場合、カメラの内部で撮影から合成まで行うシステムと、撮影した画像を保存しておいて撮影後にPC等でユーザが希望する画像を合成するシステムとがある。
前者は、カメラ単体でHDR画像を生成できるという利点があるが、画像を合成する回路のコストが掛かるという問題がある。また、撮影後に被写体の暗い領域をより明瞭に見たいといった要求や、明るい部分をより明瞭に見たいといった要求など、ユーザからの要求に応えられない問題もある。反対に、後者は、カメラ単体でHDR画像を合成できないという問題はあるが、ユーザが要求する画像を撮影後に生成できるという利点がある。
しかし、後者のシステムのように、撮影した複数枚の画像を保存した後でHDR画像を合成する場合、データ量が多くなるという課題がある。これは特に、動画像の場合に顕著である。複数枚の視点の動画像は膨大なデータ量になり、メモリカードへの保存や通信ネットワークを介してサーバ等に送信することが難しい。また、視点数が多くなれば多くなる程、データ量は増大する。
このような課題を解決するために、各視点の画像をそれぞれ符号化してHDR画像を合成する技術が開示されている（特許文献１、２）。また、複数の視点の画像を視点間で予測する視点間予測を行うH.264 MVC（Multi View Coding）を利用してデータ量を削減する技術が開示されている（特許文献３）。
しかしながら、前述の特許文献１や特許文献２に開示されている技術では、視点毎に符号化を行っており、視点間の予測は行っていないため、符号量が増大するという課題があった。
また、前述の特許文献３では、視点間の予測を行っているが、中央の視点を基準視点としているため、中央の視点の露光時間が他の視点の露光時間と大きく異なる場合は予測残差が大きくなってしまい、符号量が増大するという課題があった。基準視点とは、H.264 MVCにおけるベースビュー（base view）のことであり、基準視点を符号化する際はその他の視点からの視点間予測を行わない。その他の視点については、基準視点を用いて視点間予測したり、基準視点を用いて視点間予測した視点をさらに用いて視点間予測したりする。したがって、例えば、中央の視点の露光時間が他の視点の露光時間と大きく異なっており、黒つぶれあるいは白とびしているような画像の場合、中央の視点が基準視点になっていると予測残差が大きくなり、符号量が増大する。
本発明は、このような問題に鑑みてなされたものであり、撮影条件の異なる複数視点の画像を効率良く符号化する為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は、複数の視点のそれぞれについて、該視点において撮影を行う撮影手段に設定される露光に関する撮影条件と、該撮影条件に従って該撮影手段が該視点において撮影した各フレームの画像と、を取得する取得手段と、
前記取得手段が取得した画像に対して予測符号化を行う予測符号化手段と
を備え、
前記複数の視点は、前記撮影条件に基づいて定められる基準視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも小さい視点である第１の視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも大きい視点である第２の視点と、を含み、
前記予測符号化手段は、前記第１の視点及び前記第２の視点のうち一方の視点において撮影された画像に対して予測符号化を行う場合、前記第１の視点及び前記第２の視点のうち他方の視点において撮影された画像は参照せずに、前記一方の視点において撮影された画像及び前記基準視点において撮影された画像のうち少なくともいずれかを参照して予測符号化を行う
ことを特徴とする。
前記取得手段が取得した画像に対して予測符号化を行う予測符号化手段と
を備え、
前記複数の視点は、前記撮影条件に基づいて定められる基準視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも小さい視点である第１の視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも大きい視点である第２の視点と、を含み、
前記予測符号化手段は、前記第１の視点及び前記第２の視点のうち一方の視点において撮影された画像に対して予測符号化を行う場合、前記第１の視点及び前記第２の視点のうち他方の視点において撮影された画像は参照せずに、前記一方の視点において撮影された画像及び前記基準視点において撮影された画像のうち少なくともいずれかを参照して予測符号化を行う
ことを特徴とする。
本発明の構成によれば、露光時間等の撮影条件の異なる複数視点の画像に対して、撮影条件の近い視点の画像同士で予測符号化を行うので、符号化効率を向上させることができる。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
［第１の実施形態］
先ず、画像処理装置として機能する画像符号化装置を含む撮影システムの構成例について、図６のブロック図を用いて説明する。本実施形態に係る撮影システムは、複数の視点から画像を撮影し、撮影したそれぞれの画像を符号化して出力する。
先ず、画像処理装置として機能する画像符号化装置を含む撮影システムの構成例について、図６のブロック図を用いて説明する。本実施形態に係る撮影システムは、複数の視点から画像を撮影し、撮影したそれぞれの画像を符号化して出力する。
撮像部６０１は、レンズ（視点）とセンサとを有し、視点の異なる５つの画像（動画像）を撮影、現像することができる。また、視点は垂直方向に配置されているものとする。なお、撮像部６０１の構成はこのような構成に限るものではない。例えば、視点数は５以外の数であっても良い。また、視点の配置パターンは垂直方向の１次元配列でなくても良く、水平方向の１次元配列であっても良いし、格子状に並んだ２次元配列であっても良い。
また、撮像部６０１は、視点毎に異なる撮影条件を設定して画像撮影を行うことが出来る。視点ごとの撮影条件の設定は、様々なセンサにより計測された環境情報に基づいて本システムが計算して設定するようにしても良いし、ユーザが不図示のユーザインターフェースを操作して設定するようにしても良い。即ち、視点ごとの撮影条件の設定方法は特定の方法に限るものではない。
撮像部６０１は、それぞれの視点について、該視点で撮影した各フレームの画像を原画像バッファ６０２に出力すると共に、該画像の撮影条件を画像符号化装置６０４に対して出力する。撮影条件については後述する。
原画像バッファ６０２は、撮像部６０１により視点ごとに撮影された各フレームの画像（原画像）を格納するためのメモリである。
符号化対象ピクチャ選択部６０３は、原画像バッファ６０２に格納されている画像群から、符号化対象の画像を選択し、該選択した画像を画像符号化装置６０４に供給する。
画像符号化装置６０４は、撮像部６０１から得られる撮影条件に基づき、参照ピクチャ格納メモリ６０５に格納されている参照ピクチャを適宜参照しながら、符号化対象ピクチャ選択部６０３から供給される画像を符号化する。また、画像符号化装置６０４は、符号化した画像を局所復号化した画像を参照ピクチャとして参照ピクチャ格納メモリ６０５に格納する。なお、以下の説明では「局所復号化」は、符号化された画像に対しては局所的に復号すること、符号化されていない原画像に対しては何も処理しないこと、の両方の意味で使用する。
次に、画像符号化装置６０４の機能構成例について、図１のブロック図を用いて説明する。
撮影条件取得部１０１は、撮像部６０１から送出された撮影条件を取得し、該取得した撮影条件を後段の基準視点選択部１０２に送出する。撮影条件は、撮像部６０１の視点ごとに取得し、本実施形態では、該視点に固有の識別情報（視点番号）と、該視点におけるレンズの露光時間と、のセットから成るものとする。なお、露光時間の代わりに、レンズの絞り、明るさ、レンズの位置、センサ感度等を用いてもよいし、それらを組み合わせて用いてもよい。
基準視点選択部１０２は、撮影条件取得部１０１から視点ごとの撮影条件を取得すると、該撮影条件に含まれている露光時間を用いて、それぞれの視点のうち１つを基準視点として選択する。そして基準視点選択部１０２は、この選択した視点を表す情報を選択視点情報として参照ピクチャ選択部１０３に送出する。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５に格納されている参照ピクチャのうち、予測符号化部１０４で予測符号化を行うために用いる参照ピクチャを、基準視点情報を使用して、後述する＜選択基準１＞に基づいて読み出す。そして参照ピクチャ選択部１０３は、該読み出した参照ピクチャを、予測符号化部１０４に対して送出する。
予測符号化部１０４及びイントラ符号化部１０５には、上記の符号化対象ピクチャ選択部６０３が選択した画像が、符号化対象ピクチャとして供給される。
予測符号化部１０４は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャに対して、参照ピクチャ選択部１０３から送出された参照ピクチャを用いた予測符号化を行うことにより、予測符号化データを生成する。より具体的には、参照ピクチャ選択部１０３からの参照ピクチャを用いて符号化対象ピクチャの予測ピクチャを生成し、符号化対象ピクチャと予測ピクチャとの差分を量子化し、該量子化結果に対してエントロピー符号化処理を施して予測符号化データを生成する。そして予測符号化部１０４は、このようにして生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
なお、予測符号化部１０４は、符号化対象ピクチャと参照ピクチャの視点が異なれば、視点間予測を行う。また、符号化対象ピクチャと参照ピクチャの視点が同じで撮影時間が異なればフレーム間予測を行うことになる。
イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャに対してイントラ符号化を行うことで、イントラ符号化データを生成する。より詳しくは、符号化対象ピクチャに対してイントラ予測を行ってイントラ予測データを生成し、イントラ予測データに対して量子化、エントロピー符号化処理を施してイントラ符号化データを生成する。そしてイントラ符号化部１０５は、このようにして生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４からの予測符号化データ、イントラ符号化部１０５からのイントラ符号化データ、のうち何れか１つを符号化ストリームとして出力する。例えば、予測符号化データの符号量とイントラ符号化データの符号量とを比較し、符号量の小さい方の符号化データを出力するようにしても良い。符号化モード選択部１０６による出力先については特定の出力先に限るものではなく、画像符号化装置６０４内のメモリに出力しても良いし、ネットワークを介して外部に装置に対して出力（送信）しても良い。
また、本実施形態では、予測符号化部１０４とイントラ符号化部１０５において量子化及びエントロピー符号化処理を行っているが、次のような変形例も可能である。即ち、予測符号化部１０４では符号化対象ピクチャと参照ピクチャから作成した予測ピクチャとの差分ピクチャを生成して出力し、イントラ符号化部１０５ではイントラ予測を行ったイントラ予測データを出力する。そして、符号化モード選択部１０６において、差分ピクチャとイントラ予測データとを比較してデータ量の小さい方を選択し、選択した方のデータに対して量子化、エントロピー符号化を行ってもよい。即ち、符号化の途中段階におけるデータサイズが小さい方を出力するようにしてもよい。また、データ量の比較は、各データの絶対値差分和であるSAD（Sum of Absolute Difference）を比較して行ってもよい。
次に、撮像部６０１における視点数を５とした場合に、それぞれの視点で撮影された各フレームの画像に対する符号化処理について、図２を用いて説明する。なお、以下の説明は、視点数が５以外の場合にも同様に拡張可能である。
図２において、縦軸は各視点（レンズ）の視点番号（視点に固有の識別情報）、該視点の露光時間、を示している。撮像部６０１で説明したように、本実施形態では図２に示す如く、５つの視点が上から視点番号順に垂直方向に配置されているものとする。
横軸は時間を表しており、右に進むほど時間が経過していることを示す。ｔ１，ｔ２，ｔ３，…は何れも、各フレームに対応する時刻を表しており、各時刻ｔ１，ｔ２，ｔ３，…では各視点で画像が撮影されているため、時刻ごとに５枚の画像が撮影されていることになる。
また、四角形は各視点における１枚のピクチャを表しており、中に示している最初のアルファベットは参照ピクチャの種類、２番目の数字は視点番号、３番目の数字が時間番号を示す。参照ピクチャの種類は、ＩがＩピクチャであり、イントラ予測を施されたことを示している。ＰはＰピクチャであり順方向予測、ＢがＢピクチャであり双予測もしくは複数の参照ピクチャによる予測を施されたことを示している。なお、順方向予測とは一枚の参照ピクチャだけを使用して予測符号化することである。例えば、「Ｐ１１」は、時刻ｔ１において視点番号１の視点で撮影された画像に順方向予測を施したピクチャであることを示す。また、各ピクチャ間の矢印はピクチャ間の参照関係を示す。例えば、「Ｐ１１」は、「Ｉ３１」を参照ピクチャとしており、Ｂ２１、Ｂ１２、Ｂ１３の参照ピクチャであることを示している。
次に、図１に示される画像符号化装置６０４の動作について、図２および図６を参照して説明する。
先ず、撮影条件取得部１０１は、撮像部６０１が有するそれぞれの視点の撮影条件、即ち、該視点に固有の識別情報（視点番号）と、該視点におけるレンズの露光時間と、のセットを、撮像部６０１から取得する。ここでは、５つの視点のそれぞれについて（視点番号、露光時間）のセットを取得することになるので、（１、１／２５０）、（２、１／１２５）、（３、１／５００）、（４、１／２０００）、（５、１／１０００）、の５セットを取得する。そして撮影条件取得部１０１は、この取得した５セットを、後段の基準視点選択部１０２に対して送出する。
基準視点選択部１０２は、この５セット中の露光時間を参照し、中央値となる露光時間を含むセット中の視点番号を、基準視点の視点番号として特定する。図２の場合、露光時間１／２５０、１／１２５、１／５００、１／２０００、１／１０００のうち中央値は１／５００となり、この中央値１／５００を含むセット中の視点番号は「３」である。然るに、基準視点選択部１０２は、「３」を基準視点情報として参照ピクチャ選択部１０３に対して送出する。
なお、基準視点情報を特定する方法はこのような方法に限るものではなく、その他の方法も考え得る。例えば、この露光時間１／２５０、１／１２５、１／５００、１／２０００、１／１０００の平均値（平均時間）を計算し、計算した平均値に最も近い露光時間を含むセット中の視点番号を基準視点情報としても良い。ここで、如何なる方法で基準視点情報を特定したとしても、本実施形態では、１ストリームを生成する一連の符号化において、基準視点は変更しないものとする。そして基準視点選択部１０２は、このようにして特定した視点番号を基準視点情報として参照ピクチャ選択部１０３に対して送出する。
次に、時刻ｔ１で各視点において撮影されたフレームの画像に対する符号化が開始される。先ず、符号化対象ピクチャ選択部６０３は、基準視点として選択された視点番号３の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。符号化対象ピクチャ選択部６０３から画像符号化装置６０４に対して供給される符号化対象ピクチャは、具体的には、予測符号化部１０４及びイントラ符号化部１０５に対して供給される。
しかしこのとき、参照ピクチャ格納メモリ６０５内にはまだ参照ピクチャが存在しないので、参照ピクチャ選択部１０３は参照ピクチャを選択しない。然るに、予測符号化部１０４もまた、参照ピクチャがないので、予測符号化を行わない。一方、イントラ符号化部１０５は、供給された符号化対象ピクチャに対してイントラ符号化を行うことでイントラ符号化データを生成し、生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、イントラ符号化部１０５から送出されたイントラ符号化データを、基準視点における画像の符号化ストリームとして送出する。この符号化ストリームは、イントラ符号化によるものであるため、Ｉ３１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号１の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３１を局所復号化したピクチャが参照ピクチャとして格納されている。ここで、参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、下記の選択基準１に基づいて参照ピクチャを選択するものとする。
＜選択基準１＞
（１） 視点間の距離が視点番号で３以上離れているピクチャを参照ピクチャから除外する
（２） 時刻が３フレーム以上離れているピクチャを参照ピクチャから除外する
（３） 視点間の距離が２以上もしくは時刻が２フレーム以上離れているＢピクチャを参照ピクチャから除外する。
（１） 視点間の距離が視点番号で３以上離れているピクチャを参照ピクチャから除外する
（２） 時刻が３フレーム以上離れているピクチャを参照ピクチャから除外する
（３） 視点間の距離が２以上もしくは時刻が２フレーム以上離れているＢピクチャを参照ピクチャから除外する。
（４） 視点間の距離が３以上もしくは時刻が３フレーム以上離れているＰピクチャを参照ピクチャから除外する。
（５） 基準視点を跨ぐ視点間予測となるピクチャを参照ピクチャから除外する。
すなわち、参照ピクチャ選択部１０３は、選択基準１の（１）〜（５）のいずれにも当てはまらないピクチャを参照ピクチャとして選択する。
選択基準１の（２）は、例えば、時刻ｔ１で撮影された画像を符号化対象ピクチャとする場合に、時刻ｔ４やｔ５のピクチャは参照ピクチャから除外するという意味である。なお、本実施形態では、参照ピクチャを選択する基準には上記の選択基準１を用いるが、他の選択基準を用いても良い。また、H.264 MVCでは、同一視点で時刻が異なるピクチャか同一時刻で視点が異なるピクチャの何れかでしか参照できないため、その他のピクチャは参照ピクチャ候補群から予め除外する。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５からＩ３１を参照ピクチャとして選択し、選択した参照ピクチャであるＩ３１を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３１を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを順方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号１の視点により時刻ｔ１で撮影された画像は、Ｉ３１からのみ視点間予測されたため、その符号化ストリームはＰ１１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号２の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３１とＰ１１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３１とＰ１１とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１とＰ１１とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３１とＰ１１とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号２の視点により時刻ｔ１で撮影された画像は、Ｉ３１とＰ１１とから視点間予測されたため、その符号化ストリームはＢ２１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号５の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３１とＰ１１とＢ２１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３１を選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３１を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを順方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号５の視点により時刻ｔ１で撮影された画像は、Ｉ３１からのみ視点間予測されたため、その符号化ストリームはＰ５１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号４の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３１とＰ１１とＢ２１とＰ５１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３１とＰ５１とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１とＰ５１とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３１とＰ５１とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号４の視点により時刻ｔ１で撮影された画像は、Ｉ３１とＰ５１とから視点間予測されたため、その符号化ストリームはＢ４１と表現する。
以上のようにして、時刻ｔ１で各視点（視点番号１〜５の視点）で撮影された画像を符号化を実施する。次に、時刻ｔ５で各視点（視点番号１〜５の視点）で撮影された画像の符号化を開始する。時刻ｔ２、ｔ３、ｔ４、ｔ５の順序で符号化を実施することは可能ではあるが、参照ピクチャ数が増える程符号化効率が向上するので、時刻ｔ２、ｔ３、ｔ４のピクチャはバッファに保持しておき、時刻ｔ５の符号化を先に行う。
先ず、符号化対象ピクチャ選択部６０３は、基準視点として選択された視点番号３の視点により時刻ｔ５で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。
このとき、参照ピクチャ格納メモリ６０５にはＩ３１が格納されているものの、上記の選択基準１に該当するため、参照ピクチャ選択部１０３は参照ピクチャを選択しない。然るに、予測符号化部１０４もまた、参照ピクチャがないので、予測符号化を行わない。一方、イントラ符号化部１０５は、供給された符号化対象ピクチャに対してイントラ符号化を行うことでイントラ符号化データを生成し、生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、イントラ符号化部１０５から送出されたイントラ符号化データを、基準視点における画像の符号化ストリームとして送出する。この符号化ストリームは、イントラ符号化によるものであるため、Ｉ３５と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号１の視点により時刻ｔ５で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３５とＰ１１を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいてＩ３５を参照ピクチャとして選択し、選択した参照ピクチャであるＩ３５を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３５を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを順方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号１の視点により時刻ｔ５で撮影された画像は、Ｉ３５からのみ視点間予測されたため、その符号化ストリームはＰ１５と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号２の視点により時刻ｔ５で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３５とＰ１５とＢ２１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３５とＰ１５とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３５とＰ１５とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３５とＰ１５とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号２の視点により時刻ｔ５で撮影された画像は、Ｉ３５とＰ１５とから視点間予測されたため、その符号化ストリームはＢ２５と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号５の視点により時刻ｔ５で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３５とＰ１５とＢ２５とＰ５１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３５を選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３５を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３５を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを順方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号５の視点により時刻ｔ５で撮影された画像は、Ｉ３５からのみ視点間予測されたため、その符号化ストリームはＰ５５と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号４の視点により時刻ｔ５で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３５とＰ１５とＢ２５とＰ５５とＢ４１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３５とＰ５５とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３５とＰ５５とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３５とＰ５５とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号４の視点により時刻ｔ５で撮影された画像は、Ｉ３５とＰ５５とから視点間予測されたため、その符号化ストリームはＢ４５と表現する。
以上のように、時刻ｔ５の符号化を実施する。次に、時刻ｔ３の符号化を開始する。時刻ｔ２、ｔ３、ｔ４の順序で符号化を実施することは可能だが、参照ピクチャ数が増える程符号化効率が向上するので、時刻ｔ２、ｔ４のピクチャは原画像バッファ６０２に保持しておき、時刻ｔ３の符号化を先に行う。
先ず、符号化対象ピクチャ選択部６０３は、基準視点として選択された視点番号３の視点により時刻ｔ３で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３１とＩ３５とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３１とＩ３５とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１とＩ３５とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３１とＩ３５とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号３の視点により時刻ｔ３で撮影された画像は、Ｉ３１とＩ３５とから視点間予測されたため、その符号化ストリームはＢ３３と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号１の視点により時刻ｔ３で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＰ１１とＰ１５とＢ３３とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいてＰ１１とＰ１５とを参照ピクチャとして選択し、選択した参照ピクチャであるＰ１１とＰ１５とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＰ１１とＰ１５とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号１の視点により時刻ｔ３で撮影された画像は、Ｐ１１とＰ１５とから視点間予測されたため、その符号化ストリームはＢ１３と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号２の視点により時刻ｔ３で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ１３とＢ３３とＢ２１とＢ２５とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＢ１３とＢ３３とＢ２１とＢ２５とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＢ１３とＢ３３とＢ２１とＢ２５とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＢ１３とＢ３３とＢ２１とＢ２５とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号２の視点により時刻ｔ３で撮影された画像は、Ｂ１３とＢ３３とＢ２１とＢ２５とから視点間予測されたため、その符号化ストリームはＢ２３と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号５の視点により時刻ｔ３で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ１３、Ｂ２３、Ｂ３３、Ｐ５１、Ｐ５５を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＰ５１とＰ５５とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＰ５１とＰ５５とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＰ５１とＰ５５とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号５の視点により時刻ｔ３で撮影された画像は、Ｐ５１とＰ５５とから視点間予測されたため、その符号化ストリームはＢ５３と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号４の視点により時刻ｔ３で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ１３、Ｂ２３、Ｂ３３、Ｂ５３、Ｂ４１、Ｂ４５を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＢ３３、Ｂ５３、Ｂ４１、Ｂ４５を選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＢ３３、Ｂ５３、Ｂ４１、Ｂ４５を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＢ３３、Ｂ５３、Ｂ４１、Ｂ４５を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号４の視点により時刻ｔ３で撮影された画像は、Ｂ３３、Ｂ５３、Ｂ４１、Ｂ４５から視点間予測されたため、その符号化ストリームはＢ４３と表現する。
以上のように、時刻ｔ３の符号化を実施する。次に、時刻ｔ２の符号化を開始する。先ず、符号化対象ピクチャ選択部６０３は、基準視点として選択された視点番号３の視点により時刻ｔ２で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＩ３１とＩ３５とＢ３３とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＩ３１とＢ３３とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１とＢ３３とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＩ３１とＢ３３とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号３の視点により時刻ｔ２で撮影された画像は、Ｉ３１とＢ３３とから視点間予測されたため、その符号化ストリームはＢ３２と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号１の視点により時刻ｔ２で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ３２、Ｐ１１、Ｂ１３、Ｐ１５を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいてＰ１１とＢ１３とを参照ピクチャとして選択し、選択した参照ピクチャであるＰ１１とＢ１３とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＰ１１とＢ１３とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号１の視点により時刻ｔ２で撮影された画像は、Ｐ１１とＢ１３とから視点間予測されたため、その符号化ストリームはＢ１２と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号２の視点により時刻ｔ２で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ１２、Ｂ３２、Ｂ２１、Ｂ２３、Ｂ２５を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＢ１２、Ｂ３２、Ｂ２１、Ｂ２３を選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＢ１２、Ｂ３２、Ｂ２１、Ｂ２３を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＢ１２、Ｂ３２、Ｂ２１、Ｂ２３を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号２の視点により時刻ｔ２で撮影された画像は、Ｂ１２、Ｂ３２、Ｂ２１、Ｂ２３から視点間予測されたため、その符号化ストリームはＢ２２と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号５の視点により時刻ｔ２で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ１２、Ｂ２２、Ｂ３２、Ｐ５１、Ｂ５３、Ｐ５５を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＰ５１とＢ５３とを選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＰ５１とＢ５３とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＰ５１とＢ５３とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号５の視点により時刻ｔ２で撮影された画像は、Ｐ５１とＢ５３とから視点間予測されたため、その符号化ストリームはＢ５２と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号４の視点により時刻ｔ２で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。このとき、参照ピクチャ格納メモリ６０５にはＢ１２、Ｂ２２、Ｂ３２、Ｂ５２、Ｂ４１、Ｂ４３、Ｂ４５を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から、上記の選択基準１に基づいて参照ピクチャを選択する。その結果、参照ピクチャとしてＢ３２、Ｂ５２、Ｂ４１、Ｂ４３を選択する。そして参照ピクチャ選択部１０３は、参照ピクチャ格納メモリ６０５から選択したＢ３２、Ｂ５２、Ｂ４１、Ｂ４３を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部１０３から送出されたＢ３２、Ｂ５２、Ｂ４１、Ｂ４３を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号４の視点により時刻ｔ２で撮影された画像は、Ｂ３２、Ｂ５２、Ｂ４１、Ｂ４３から視点間予測されたため、その符号化ストリームはＢ４２と表現する。
以上のように、時刻ｔ３の符号化を実施する。時刻ｔ３と同様に時刻ｔ４の符号化を行うが同様の処理のため、省略する。以降、同様の処理を、全ピクチャの符号化が完了するまで繰り返す。
以上に示す方法により、符号化対象ピクチャの視点と撮影条件が近い視点のピクチャで視点間予測を行うので、予測残差が従来よりも小さくなる。これによって、符号化効率を向上できる。
［第２の実施形態］
本実施形態に係る撮影システムの構成については、第１の実施形態と同様、図６に示す構成を有するものとするが、画像符号化装置６０４の構成が第１の実施形態（図１）とは異なる。本実施形態に係る画像符号化装置６０４の機能構成例について、図３のブロック図を用いて説明する。なお、図３において、図１に示した構成要件と同じ構成要件については同じ参照番号を付しており、これに係る説明は省略する。
本実施形態に係る撮影システムの構成については、第１の実施形態と同様、図６に示す構成を有するものとするが、画像符号化装置６０４の構成が第１の実施形態（図１）とは異なる。本実施形態に係る画像符号化装置６０４の機能構成例について、図３のブロック図を用いて説明する。なお、図３において、図１に示した構成要件と同じ構成要件については同じ参照番号を付しており、これに係る説明は省略する。
予測タイプ設定部３０７は、撮影条件取得部１０１が取得した撮影条件から、視点間予測における撮影条件の差が最小となるように各視点の予測タイプを順方向予測ピクチャに設定する予測タイプ情報を生成する。本実施形態では、予測タイプ情報は１ビットから成り、該１ビットが「１」のときは順方向予測で予測することを示し、「０」のときは上記の選択基準１に基づき予測することを示す。生成した予測タイプ情報は、参照ピクチャ選択部３０３に出力される。
参照ピクチャ選択部３０３は、基準視点選択部１０２からの基準視点情報に加え、予測タイプ設定部３０７からの予測タイプ情報を受けると、これらの情報に基づき、参照ピクチャ格納メモリ６０５から参照ピクチャを選択する。参照ピクチャ選択部３０３は、予測タイプ情報が「１」のときは１枚の参照ピクチャを選択し、予測タイプ情報が「０」のときは、第１の実施形態と同様、上記の選択基準１に従って参照ピクチャを選択する。なお、予測タイプ情報が「１」のときに参照ピクチャ格納メモリ６０５に複数枚のピクチャが格納されている場合は、符号化対象ピクチャに最も近い視点のピクチャを参照ピクチャとして選択する。
次に、撮像部６０１における視点数を５とした場合に、それぞれの視点で撮影された各フレームの画像に対する符号化処理について、図４を用いて説明する。図４の表現は図２と同一であるため、説明を省略する。なお、以下の説明は、視点数が５以外の場合にも同様に拡張可能である。
先ず、撮影条件取得部１０１は、撮像部６０１が有するそれぞれの視点の撮影条件、即ち、該視点に固有の識別情報（視点番号）と、該視点におけるレンズの露光時間と、のセットを、撮像部６０１から取得する。ここでは、５つの視点のそれぞれについて（視点番号、露光時間）のセットを取得することになるので、（１、１／２５０）、（２、１／１２５）、（３、１／５００）、（４、１／２０００）、（５、１／１０００）、の５セットを取得する。そして撮影条件取得部１０１は、この取得した５セットを、後段の基準視点選択部１０２及び予測タイプ設定部３０７に対して送出する。
基準視点選択部１０２は、この５セット中の露光時間を参照し、第１の実施形態と同様にして、基準視点の視点番号を特定する。本実施形態においても基準視点の視点番号を「３」とする。そして基準視点選択部１０２は、「３」を基準視点情報として参照ピクチャ選択部３０３及び予測タイプ設定部３０７に対して送出する。本実施形態でも、１ストリームを生成する一連の符号化において、基準視点は変更しないものとする。
予測タイプ設定部３０７は、予測符号化部１０４及びイントラ符号化部１０５においてある視点の符号化対象ピクチャを符号化する前に、該視点について以下の選択基準２が満たされているか否かを、撮影条件及び基準視点情報を用いて判断する。そして選択基準２が満たされている（（１）及び（２）が満たされている）と判断した場合に、該符号化対象ピクチャを順方向で予測するように、予測タイプ情報を出力する。
＜選択基準２＞
（１） 基準視点より上部の視点と下部の視点それぞれにおいて、基準視点の露光時間との差の絶対値が最小となる視点
（２） 同一時刻の基準視点がＩピクチャである
図４を例にとると、基準視点（視点番号＝３の視点）の露光時間と、基準視点以外の各視点の露光時間と、の差の絶対値は、以下のように計算される（もちろん、この計算は予測タイプ設定部３０７によって行われる）。
（基準視点より上部の視点）
｜（視点番号１の視点の露光時間）−（基準視点の露光時間）｜＝３／ ５００
｜（視点番号２の視点の露光時間）−（基準視点の露光時間）｜＝１／ ５００
（基準視点より下部の視点）
｜（視点番号４の視点の露光時間）−（基準視点の露光時間）｜＝１／１０００
｜（視点番号５の視点の露光時間）−（基準視点の露光時間）｜＝３／２０００
したがって、基準視点より上部の視点では、視点番号２の方が視点番号１よりも基準視点の露光時間との差の絶対値が小さいので、視点番号２の視点かつ同一時刻の基準視点がＩピクチャであれば、順方向予測で符号化される。また、基準視点より下部の視点では、視点番号４の方が視点番号５よりも基準視点の露光時間との差の絶対値が小さいので、視点番号４の視点かつ同一時刻の基準視点がＩピクチャであれば、順方向予測で符号化される。
（１） 基準視点より上部の視点と下部の視点それぞれにおいて、基準視点の露光時間との差の絶対値が最小となる視点
（２） 同一時刻の基準視点がＩピクチャである
図４を例にとると、基準視点（視点番号＝３の視点）の露光時間と、基準視点以外の各視点の露光時間と、の差の絶対値は、以下のように計算される（もちろん、この計算は予測タイプ設定部３０７によって行われる）。
（基準視点より上部の視点）
｜（視点番号１の視点の露光時間）−（基準視点の露光時間）｜＝３／ ５００
｜（視点番号２の視点の露光時間）−（基準視点の露光時間）｜＝１／ ５００
（基準視点より下部の視点）
｜（視点番号４の視点の露光時間）−（基準視点の露光時間）｜＝１／１０００
｜（視点番号５の視点の露光時間）−（基準視点の露光時間）｜＝３／２０００
したがって、基準視点より上部の視点では、視点番号２の方が視点番号１よりも基準視点の露光時間との差の絶対値が小さいので、視点番号２の視点かつ同一時刻の基準視点がＩピクチャであれば、順方向予測で符号化される。また、基準視点より下部の視点では、視点番号４の方が視点番号５よりも基準視点の露光時間との差の絶対値が小さいので、視点番号４の視点かつ同一時刻の基準視点がＩピクチャであれば、順方向予測で符号化される。
次に、時刻ｔ１で各視点において撮影されたフレームの画像に対する符号化が開始される。先ず、符号化対象ピクチャ選択部６０３は、基準視点として選択された視点番号３の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。
しかしこのとき、参照ピクチャ格納メモリ６０５内にはまだ参照ピクチャが存在しないので、参照ピクチャ選択部３０３は参照ピクチャを選択しない。然るに、予測符号化部１０４もまた、参照ピクチャがないので、予測符号化を行わない。一方、イントラ符号化部１０５は、供給された符号化対象ピクチャに対してイントラ符号化を行うことでイントラ符号化データを生成し、生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、イントラ符号化部１０５から送出されたイントラ符号化データを、基準視点における画像の符号化ストリームとして送出する。この符号化ストリームは、イントラ符号化によるものであるため、Ｉ３１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号２の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。
このとき、「基準視点より上部の視点において、基準視点の露光時間との差の絶対値が最小となる視点」は視点番号２の視点であり、時刻ｔ１における基準視点がＩピクチャであり、視点番号２の視点は、上記の選択基準２を満たす。そこで、予測タイプ設定部３０７は、参照ピクチャ選択部３０３に対して、予測タイプ情報として「１」を出力する。また、このとき、参照ピクチャ格納メモリ６０５にはＩ３１を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部３０３は、予測タイプ設定部３０７から受けた予測タイプ情報が「１」であるため、参照ピクチャ格納メモリ６０５から１枚を参照ピクチャとして選択する。この段階では上記の通り、参照ピクチャ格納メモリ６０５にはＩ３１しか格納されていないため、Ｉ３１を参照ピクチャとして選択する。そして参照ピクチャ選択部３０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部３０３から送出されたＩ３１を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを順方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号２の視点により時刻ｔ１で撮影された画像は、Ｉ３１のみから視点間予測されたため、その符号化ストリームはＰ２１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号１の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。
このとき、「基準視点より上部の視点において、基準視点の露光時間との差の絶対値が最小となる視点」は視点番号１の視点ではないため、予測タイプ設定部３０７は、参照ピクチャ選択部３０３に対して、予測タイプ情報として「０」を出力する。また、このとき、参照ピクチャ格納メモリ６０５にはＩ３１とＰ２１とを局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部３０３は、予測タイプ設定部３０７から受けた予測タイプ情報が「０」であるため、第１の実施形態と同様に、参照ピクチャ格納メモリ６０５からＩ３１とＰ２１とを参照ピクチャとして選択する。そして参照ピクチャ選択部３０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１とＰ２１とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部３０３から送出されたＩ３１とＰ２１とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号１の視点により時刻ｔ１で撮影された画像は、Ｉ３１とＰ２１とから視点間予測されたため、その符号化ストリームはＢ１１と表現する。
次に、符号化対象ピクチャ選択部６０３は、視点番号４の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。
このとき、「基準視点より下部の視点において、基準視点の露光時間との差の絶対値が最小となる視点」は視点番号４の視点であり、時刻ｔ１における基準視点がＩピクチャであり、視点番号４の視点は、上記の選択基準２を満たす。そこで、予測タイプ設定部３０７は、参照ピクチャ選択部３０３に対して、予測タイプ情報として「１」を出力する。また、このとき、参照ピクチャ格納メモリ６０５にはＢ１１、Ｐ２１、Ｉ３１を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部３０３は、予測タイプ設定部３０７から受けた予測タイプ情報が「１」であるため、参照ピクチャ格納メモリ６０５から１枚を参照ピクチャとして選択する。この段階では上記の通り、参照ピクチャ格納メモリ６０５にはＢ１１、Ｐ２１、Ｉ３１が格納されており、符号化対象ピクチャの視点（視点番号＝４）に最も近い視点番号のピクチャはＩ３１（視点番号＝３）であるため、Ｉ３１を参照ピクチャとして選択する。そして参照ピクチャ選択部３０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１を予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部３０３から送出されたＩ３１を参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを順方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号４の視点により時刻ｔ１で撮影された画像は、Ｉ３１のみから視点間予測されたため、その符号化ストリームはＰ４１と表現する。
このように、基準視点の撮影条件により近い撮影条件の視点で撮影された各フレームの画像のうち、基準視点においてイントラ符号化がなされたフレームと同フレームの画像に対する処理が、第１の実施形態とは異なる。即ち、基準視点の撮影条件により近い撮影条件の視点に最も近く配置されている視点で撮影された該フレームにおける画像を参照して順方向予測符号化を行う。
次に、符号化対象ピクチャ選択部６０３は、視点番号５の視点により時刻ｔ１で撮影された画像を原画像バッファ６０２から選択し、符号化対象ピクチャとして画像符号化装置６０４に対して供給する。
このとき、「基準視点より下部の視点において、基準視点の露光時間との差の絶対値が最小となる視点」は視点番号５の視点ではないため、予測タイプ設定部３０７は、参照ピクチャ選択部３０３に対して、予測タイプ情報として「０」を出力する。また、このとき、参照ピクチャ格納メモリ６０５にはＢ１１、Ｐ２１、Ｉ３１、Ｐ４１を局所復号化したピクチャが参照ピクチャとして格納されている。
参照ピクチャ選択部３０３は、予測タイプ設定部３０７から受けた予測タイプ情報が「０」であるため、第１の実施形態と同様に、参照ピクチャ格納メモリ６０５からＩ３１とＰ４１とを参照ピクチャとして選択する。そして参照ピクチャ選択部３０３は、参照ピクチャ格納メモリ６０５から選択したＩ３１とＰ４１とを予測符号化部１０４に対して送出する。
予測符号化部１０４は、参照ピクチャ選択部３０３から送出されたＩ３１とＰ４１とを参照ピクチャとして用い、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャを双方向予測して符号化し、予測符号化データを生成する。そして予測符号化部１０４は、この生成した予測符号化データを、後段の符号化モード選択部１０６に対して送出する。
一方、イントラ符号化部１０５は、符号化対象ピクチャ選択部６０３から供給された符号化対象ピクチャをイントラ符号化して、イントラ符号化データを生成する。そしてイントラ符号化部１０５は、この生成したイントラ符号化データを、後段の符号化モード選択部１０６に対して送出する。
符号化モード選択部１０６は、予測符号化部１０４から出力された予測符号化データ、イントラ符号化部１０５から出力されたイントラ符号化データ、のうち符号量の小さい方を、符号化ストリームとして出力する。ここでは、視点番号５の視点により時刻ｔ１で撮影された画像は、Ｉ３１とＰ４１とから視点間予測されたため、その符号化ストリームはＢ５１と表現する。
以上のように、時刻ｔ１の符号化を実施する。次に、時刻ｔ５の符号化を開始するが、時刻ｔ１と同様の処理を行うため、説明は省略する。次に、時刻ｔ３、ｔ２、ｔ４の符号化を実施するが、第１の実施形態と同様の処理を行うため、説明は省略する。以降、同様の処理を、全ピクチャの符号化が完了するまで繰り返す。
以上に示す方法により、符号化対象ピクチャの視点と撮影条件が近い視点のピクチャで視点間予測を行うことによって、符号化効率を向上できる。また、撮影条件の差が最小の視点間で順方向予測を行うことで、予測残差の伝搬を縮小し、さらに符号化効率を向上できる。
［第３の実施形態］
本実施形態では、図５に示す機能構成例を有するカメラ装置について説明する。図５に示した構成要件のうち、図１に示した構成要件と同じ構成要件には同じ参照番号を付しており、これに係る説明は省略する。
本実施形態では、図５に示す機能構成例を有するカメラ装置について説明する。図５に示した構成要件のうち、図１に示した構成要件と同じ構成要件には同じ参照番号を付しており、これに係る説明は省略する。
撮影条件設定部５０１は、撮影部５０７が有する各視点に設定する撮影条件のリストを取得し、このリストから、各視点に設定する撮影条件を決定する。本実施形態でも撮影条件として露光時間を用いるが、上記の実施形態と同様、撮影条件は露光時間に限るものではない。そして撮影条件設定部５０１は、各視点について決定した撮影条件を、撮影部５０７及び基準視点選択部１０２に対して送出する。
撮影部５０７は、複数の視点を有しており、撮影条件設定部５０１から各視点の撮影条件を受けると、それぞれの視点で、該視点の撮影条件に応じた動画像撮影を行う。各視点により撮影された各フレームの画像は、撮影部５０７内の不図示のメモリに蓄積され、蓄積されている各画像は、規定の順序で予測符号化部１０４及びイントラ符号化部１０５に対して送出される。
次に、撮影部５０７における視点数を５とした場合（即ち、撮像部６０１と同じ構成）に、それぞれの視点で撮影された各フレームの画像に対する符号化処理について、図２を用いて説明する。なお、以下の説明は、視点数が５以外の場合にも同様に拡張可能である。
先ず、撮影条件設定部５０１は、撮影部５０７が有する視点と同数の撮影条件のリストを取得する。取得元については特定の取得元に限るものではなく、ユーザが不図示のインターフェースを用いて入力しても良いし、外部装置から無線若しくは有線のネットワークを介して入力しても良い。ここでは、５つの視点のそれぞれの撮影条件（露光時間）のリストを取得することになるので、リスト（１／１２５、１／２５０、１／５００、１／１０００、１／２０００）を取得する。
そして撮影条件設定部５０１は、このリスト中の各露光時間を参照し、中央値となる露光時間を特定する。図２の場合、露光時間１／２５０、１／１２５、１／５００、１／２０００、１／１０００のうち中央値は１／５００となる。そこで、５つの視点のうち中央の視点（視点番号＝３の視点）に設定する露光時間を１／５００とすべく、視点番号＝３の視点に対する撮影条件として（３、１／５００）を生成する。
また、視点番号＝３の視点と順方向の予測符号化を行う視点番号＝１の視点に対する露光時間を、視点番号＝３の露光時間と近い１／２５０とすべく、視点番号＝１の視点に対する撮影条件として（１、１／２５０）を生成する。
また、視点番号＝３の視点と順方向の予測符号化を行う視点番号＝５の視点に対する露光時間を、視点番号＝３の露光時間と近い１／１０００とすべく、視点番号＝５の視点に対する撮影条件として（５、１／１０００）を生成する。
また、視点番号＝２の視点に対する露光時間を、視点番号＝１の露光時間と視点番号＝３の露光時間とに近い１／１２５とすべく、視点番号＝２の視点に対する撮影条件として（２、１／１２５）を生成する。
また、視点番号＝４の視点に対する露光時間を、視点番号＝３の露光時間と視点番号＝５の露光時間とに近い１／２０００とすべく、視点番号＝４の視点に対する撮影条件として（４、１／２０００）を生成する。
そして撮影条件設定部５０１は、各視点について生成した撮影条件（１、１／２５０）、（２、１／１２５）、（３、１／５００）、（４、１／２０００）、（５、１／１０００）を撮影部５０７及び基準視点選択部１０２に対して送出する。なお、各視点の撮影条件は、一連の動画像の符号化処理の過程では変化しないものとする。
撮影部５０７は、各視点に対する撮影条件を撮影条件設定部５０１から受けると、それぞれの視点に対して該視点の撮影条件を設定する（視点番号がＡの視点には視点番号＝Ａを含む撮影条件中の露光時間を設定する）。そして撮影部５０７はこの設定後、各視点において動画像撮影を行う。
基準視点選択部１０２は、撮影条件設定部５０１から各視点の撮影条件を受けると、第１の実施形態で説明したようにして基準視点情報を特定して参照ピクチャ選択部１０３に対して送出する。なお、基準視点情報についても第１の実施形態と同様、一連の動画像の符号化処理の過程では変化しないものとする。そして以降の処理については、第１の実施形態で説明したとおりである。
このように、視点と同数の露光時間を取得し、複数の視点の配置構成において中央の視点に対しては、上記同数の露光時間の中央値を設定する。該中央の視点以外の視点に対しては、順方向視点間予測における視点間の露光時間の差が最小となるような露光時間を上記同数の露光時間から選択して設定する。
以上に示す方法により、符号化対象ピクチャの視点と撮影条件が近い視点のピクチャで視点間予測を行うことによって、撮影したピクチャの符号化効率を向上できる。
以上の説明からも明らかなように、何れの実施形態も次のような構成の一例に過ぎない。即ち、複数の視点のそれぞれについて、該視点における画像の撮影条件と、該撮影条件に従って該視点で撮影された各フレームの画像と、を取得し、複数の視点のそれぞれについて取得した撮影条件を用いて、複数の視点のうちの１つを基準視点として選択する。そして、取得した画像に対して予測符号化、イントラ符号化を行い、フレームごとに、複数の視点のそれぞれについて、該視点で撮影された該フレームの画像の予測符号化又はイントラ符号化による符号化結果、を出力する。
そして、予測符号化では、基準視点で撮影された画像に対して予測符号化を行う場合、基準視点以外の視点で撮影された画像は参照せずに、基準視点で撮影された画像を参照して予測符号化を行う。
［第４の実施形態］
図１，３に示した各部（図５では撮影部５０７を除く各部）はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）で構成しても良い。この場合、ＣＰＵ及びメモリを有するコンピュータにおいて、該メモリにこのソフトウェアをロードし、該ＣＰＵにこのロードされたコンピュータプログラムを実行させることで、このコンピュータは、これら各部の機能を実現することが出来る。
図１，３に示した各部（図５では撮影部５０７を除く各部）はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）で構成しても良い。この場合、ＣＰＵ及びメモリを有するコンピュータにおいて、該メモリにこのソフトウェアをロードし、該ＣＰＵにこのロードされたコンピュータプログラムを実行させることで、このコンピュータは、これら各部の機能を実現することが出来る。
［第５の実施形態］
上記の各実施形態は適宜組み合わせてもかまわない。また、図６に示したシステムの構成において、原画像バッファ６０２、符号化対象ピクチャ選択部６０３、参照ピクチャ格納メモリ６０５のうち１つ以上は画像符号化装置６０４内の構成要件としても良い。
上記の各実施形態は適宜組み合わせてもかまわない。また、図６に示したシステムの構成において、原画像バッファ６０２、符号化対象ピクチャ選択部６０３、参照ピクチャ格納メモリ６０５のうち１つ以上は画像符号化装置６０４内の構成要件としても良い。
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
Claims (14)
- 複数の視点のそれぞれについて、該視点において撮影を行う撮影手段に設定される露光に関する撮影条件と、該撮影条件に従って該撮影手段が該視点において撮影した各フレームの画像と、を取得する取得手段と、
前記取得手段が取得した画像に対して予測符号化を行う予測符号化手段と
を備え、
前記複数の視点は、前記撮影条件に基づいて定められる基準視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも小さい視点である第１の視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも大きい視点である第２の視点と、を含み、
前記予測符号化手段は、前記第１の視点及び前記第２の視点のうち一方の視点において撮影された画像に対して予測符号化を行う場合、前記第１の視点及び前記第２の視点のうち他方の視点において撮影された画像は参照せずに、前記一方の視点において撮影された画像及び前記基準視点において撮影された画像のうち少なくともいずれかを参照して予測符号化を行う
ことを特徴とする画像処理装置。 - 前記予測符号化手段は、前記基準視点において撮影された画像に対して予測符号化を行う場合、前記基準視点以外の視点において撮影された画像は参照せずに、前記基準視点において撮影された画像を参照して予測符号化を行うことを特徴とする請求項１に記載の画像処理装置。
- 更に、
前記取得手段が前記複数の視点のそれぞれについて取得した撮影条件を用いて、前記複数の視点のうちの１つを前記基準視点として選択する選択手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。 - 前記撮影条件は、露光時間、レンズの絞り、明るさ、及びセンサ感度のうちの少なくともいずれかであることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
- 前記基準視点は、前記複数の視点のそれぞれについて取得した撮影条件を表す値のうち中央値の撮影条件を取得した視点であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
- 前記基準視点は、前記複数の視点のそれぞれについて取得した撮影条件を表す値の平均値に最も近い値の撮影条件を取得した視点であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
- 更に、
前記取得手段が取得した画像に対してイントラ符号化を行うイントラ符号化手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 - 更に、
フレームごとに、前記複数の視点のそれぞれについて、該視点において撮影された該フレームの画像の前記予測符号化手段または前記イントラ符号化手段による符号化結果を出力する出力手段を備えることを特徴とする請求項７に記載の画像処理装置。 - 前記出力手段は、フレームごとに、前記複数の視点のそれぞれについて、該視点において撮影された該フレームの画像の前記予測符号化手段による符号化結果及び前記イントラ符号化手段による符号化結果のうち、データサイズが小さい方を出力することを特徴とする請求項８に記載の画像処理装置。
- 前記出力手段は、フレームごとに、前記複数の視点のそれぞれについて、該視点において撮影された該フレームの画像の前記予測符号化手段による符号化結果及び前記イントラ符号化手段による符号化結果のうち、符号化の途中段階におけるデータサイズが小さい方を出力することを特徴とする請求項８に記載の画像処理装置。
- 前記予測符号化手段は、前記基準視点の撮影条件により近い撮影条件の視点において撮影された各フレームの画像のうち、前記基準視点においてイントラ符号化がなされたフレームと同フレームの画像に対しては、該視点に最も近く配置されている視点において撮影された該フレームにおける画像を参照して順方向予測符号化を行うことを特徴とする請求項７に記載の画像処理装置。
- 更に、
前記複数の視点と同数の露光時間を取得し、前記複数の視点の配置構成において中央の視点の撮影手段に対しては、前記同数の露光時間の中央値を設定し、該中央の視点以外の視点の撮影手段に対しては、順方向視点間予測における視点間の露光時間の差が最小となるような露光時間を前記同数の露光時間から選択して設定する手段を備えることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、複数の視点のそれぞれについて、該視点において撮影を行う撮影手段に設定される露光に関する撮影条件と、該撮影条件に従って該撮影手段が該視点において撮影した各フレームの画像と、を取得する取得工程と、
前記画像処理装置の予測符号化手段が、前記取得工程で取得した画像に対して予測符号化を行う予測符号化工程と
を備え、
前記複数の視点は、前記撮影条件に基づいて定められる基準視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも小さい視点である第１の視点と、前記撮影条件を表す値が前記基準視点の前記撮影条件を表す値よりも大きい視点である第２の視点と、を含み、
前記予測符号化工程では、前記第１の視点及び前記第２の視点のうち一方の視点において撮影された画像に対して予測符号化を行う場合、前記第１の視点及び前記第２の視点のうち他方の視点において撮影された画像は参照せずに、前記一方の視点において撮影された画像及び前記基準視点において撮影された画像のうち少なくともいずれかを参照して予測符号化を行う
ことを特徴とする画像処理方法。 - コンピュータを、請求項１乃至１２の何れか１項に記載の画像処理装置として機能させるためのコンピュータプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012132365A JP6000670B2 (ja) | 2012-06-11 | 2012-06-11 | 画像処理装置、画像処理方法 |
| US13/904,533 US9363432B2 (en) | 2012-06-11 | 2013-05-29 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012132365A JP6000670B2 (ja) | 2012-06-11 | 2012-06-11 | 画像処理装置、画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013258501A JP2013258501A (ja) | 2013-12-26 |
| JP2013258501A5 JP2013258501A5 (ja) | 2015-07-16 |
| JP6000670B2 true JP6000670B2 (ja) | 2016-10-05 |
Family
ID=49715011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012132365A Active JP6000670B2 (ja) | 2012-06-11 | 2012-06-11 | 画像処理装置、画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9363432B2 (ja) |
| JP (1) | JP6000670B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015118122A (ja) * | 2013-12-16 | 2015-06-25 | 東海光学株式会社 | 眼鏡レンズ及び眼鏡 |
| JP2017060008A (ja) * | 2015-09-16 | 2017-03-23 | キヤノン株式会社 | 多視点画像符号化装置、多視点画像符号化方法およびプログラム |
| US20230063215A1 (en) * | 2020-01-23 | 2023-03-02 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
| KR20210099865A (ko) | 2020-02-05 | 2021-08-13 | 삼성전자주식회사 | 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
| JP4243034B2 (ja) * | 2001-03-29 | 2009-03-25 | 日本放送協会 | 符号化装置 |
| US7106909B2 (en) | 2001-12-25 | 2006-09-12 | Canon Kabushiki Kaisha | Method and apparatus for encoding image data in accordance with a target data size |
| JP2003299067A (ja) | 2002-01-31 | 2003-10-17 | Hitachi Kokusai Electric Inc | 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム |
| JP2006054921A (ja) | 2002-01-31 | 2006-02-23 | Hitachi Kokusai Electric Inc | 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム |
| JP4047183B2 (ja) | 2002-03-07 | 2008-02-13 | キヤノン株式会社 | 画像圧縮符号化装置及びその制御方法 |
| WO2005076629A1 (ja) * | 2004-02-09 | 2005-08-18 | Sanyo Electric Co., Ltd | 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置 |
| KR100779875B1 (ko) * | 2005-01-14 | 2007-11-27 | 주식회사 휴맥스 | 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체 |
| KR101199498B1 (ko) * | 2005-03-31 | 2012-11-09 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체 |
| JP4570159B2 (ja) * | 2006-01-06 | 2010-10-27 | Ｋｄｄｉ株式会社 | 多視点映像符号化方法、装置及びプログラム |
| EP1977593A4 (en) | 2006-01-12 | 2010-06-16 | Lg Electronics Inc | PROCESSING MORE VIEW VIDEO |
| WO2007110000A1 (en) * | 2006-03-29 | 2007-10-04 | Huawei Technologies Co., Ltd. | A method and device of obtaining disparity vector and its multi-view encoding-decoding |
| US7623683B2 (en) * | 2006-04-13 | 2009-11-24 | Hewlett-Packard Development Company, L.P. | Combining multiple exposure images to increase dynamic range |
| JP4785678B2 (ja) | 2006-09-01 | 2011-10-05 | キヤノン株式会社 | 画像符号化装置および画像符号化方法 |
| US8548261B2 (en) * | 2007-04-11 | 2013-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding multi-view image |
| JP2009218742A (ja) | 2008-03-07 | 2009-09-24 | Canon Inc | 画像符号化装置 |
| JP5173547B2 (ja) | 2008-04-15 | 2013-04-03 | キヤノン株式会社 | 画像復号装置及びその制御方法 |
| KR101520068B1 (ko) * | 2008-12-16 | 2015-05-13 | 삼성전자 주식회사 | 다중영상 합성장치 및 그 방법 |
| US8406569B2 (en) * | 2009-01-19 | 2013-03-26 | Sharp Laboratories Of America, Inc. | Methods and systems for enhanced dynamic range images and video from multiple exposures |
| JP5004986B2 (ja) | 2009-03-19 | 2012-08-22 | キヤノン株式会社 | スキャン変換装置及び画像符号化装置、並びにそれらの制御方法 |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| JP2011087270A (ja) * | 2009-09-17 | 2011-04-28 | Victor Co Of Japan Ltd | 画像符号化装置及び画像符号化方法 |
| JP5470405B2 (ja) * | 2009-12-28 | 2014-04-16 | パナソニック株式会社 | 画像符号化装置および方法 |
| EP2591602A1 (en) * | 2010-07-06 | 2013-05-15 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
| US20120114036A1 (en) * | 2010-11-10 | 2012-05-10 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and Apparatus for Multiview Video Coding |
| JP2012244437A (ja) | 2011-05-19 | 2012-12-10 | Canon Inc | 画像処理装置、画像処理方法 |
| JP5839848B2 (ja) | 2011-06-13 | 2016-01-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2012
- 2012-06-11 JP JP2012132365A patent/JP6000670B2/ja active Active
-
2013
- 2013-05-29 US US13/904,533 patent/US9363432B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013258501A (ja) | 2013-12-26 |
| US9363432B2 (en) | 2016-06-07 |
| US20130329080A1 (en) | 2013-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4999854B2 (ja) | 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
| JP5956808B2 (ja) | 画像処理装置およびその方法 | |
| US9092861B2 (en) | Using motion information to assist in image processing | |
| US9609192B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
| US10003806B2 (en) | Optimized plenoptic image encoding | |
| KR20090023977A (ko) | 스테레오 비전 시스템 및 그 처리 방법 | |
| ES2965276T3 (es) | Método de decodificación de vídeo y decodificador de vídeo | |
| JP2012257198A (ja) | 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置 | |
| JP2008193530A (ja) | 画像記録装置、画像記録方法、及びプログラム | |
| JP6000670B2 (ja) | 画像処理装置、画像処理方法 | |
| US20100315550A1 (en) | Image frame interpolation device, image frame interpolation method, and image frame interpolation program | |
| JP6209026B2 (ja) | 画像符号化装置及びその制御方法 | |
| JP2014075698A (ja) | 画像符号化装置、画像符号化方法およびプログラム | |
| US9509997B2 (en) | Imaging apparatus, imaging method and storage medium, image coding apparatus, image coding method and storage medium | |
| WO2023011420A1 (zh) | 编解码方法和装置 | |
| WO2023020320A1 (zh) | 熵编解码方法和装置 | |
| JP5869839B2 (ja) | 画像処理装置およびその制御方法 | |
| KR20210018348A (ko) | 라이트 필드 코딩 및 디코딩을 위한 예측 | |
| JP6338724B2 (ja) | 符号化装置、撮像装置、符号化方法及びプログラム | |
| Perra et al. | An analysis of HEVC compression for light field image refocusing applications | |
| JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
| JP2017220828A (ja) | 符号化装置、撮像装置、符号化方法及びプログラム | |
| US10748305B2 (en) | Image capturing apparatus that can reduce amount of data that is to be recorded, method for controlling the image capturing apparatus, and storage medium | |
| JP2016127372A (ja) | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム | |
| JP2014110442A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150602 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160805 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160831 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6000670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |