JP4893311B2 - 圧縮符号化装置、伸張復号化装置 - Google Patents

Description

本発明は、多視点において撮像された画像を符号化・復号化する装置や方法などに適用されて有効な技術に関する。

近年、多視点において同時に撮像された動画像を活用する技術が注目されている。このような動画像を用いることにより、従来のステレオカメラシステムでは不可能だったことが可能となる。例えば、立体視ディスプレイを用いることなく、ユーザが自由な視点でカメラ動画像を見ることが可能となった。具体的には、コンサートの模様を多視点において同時に撮像することにより、ユーザは、コンサートの状況を一つの視点からだけではなく、横方向や後方向など任意の視点から鑑賞することが可能となる。

ところで、一般的に動画像の情報量は非常に大きい。このため、動画像のデータを圧縮することなくメディア蓄積やネットワーク伝送を行うことは、伝送速度やコスト面で不利である。このため、動画像のデータを可逆若しくは不可逆の方式で圧縮符号化する技術が開発されてきた。例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）で標準化されたＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４等である。

しかし、同時に撮像を行う視点の数が増加する（カメラの台数が増加する）に伴い、動画像の数も増加する。このため、多視点において同時に撮像された動画像の総データ量は、単一のカメラを用いて撮像された動画像のデータ量に比べて増大する。このため、多視点において同時に撮像された動画像のデータを効率的に圧縮符号化する技術が要望されている。

このような問題に対し、各視点において撮像された動画像間の相関性を用いることにより、予測効率を向上させる技術が提案されている。これらの技術では、予測効率が向上することに伴い、符号化効率が向上する。各視点において撮像された動画像間の相関性とは、ある視点カメラに映っている物体や背景は、他視点のカメラにもその一部が映っていることを指す。例えば、カメラｍにおけるフレームと、カメラｎにおける同時刻のフレームとを比較すると、両カメラが近い位置で近い方向を撮像している場合、同一物体や同一背景が撮像される場合がある。このため、このような異なるカメラによって同時刻に撮像されたフレームを、同一のカメラによって撮像されたフレームとみなすことにより、動きベクトルを用いた予測符号化を行うことができる。例えば、カメラｎのフレームを、これまでのように同一カメラ（カメラｎ）によって撮像されたフレームのみを用いて動き予測符号化する場合に比べて、他のカメラ（カメラｍ）によるフレームをさらに用いて動き予測符号化する場合は、符号化効率を高めることが可能となる。この場合、動きベクトルは、二つのカメラ間の視差に相当する。このような技術の例として、特許文献１〜７がある。
特開２００１−１８６５１６号公報 特表２００２−５２３９４３号公報 特開２００２−３００６０７号公報 特許３４２６６６８号公報 特開平０６−９８３１２号公報 特開平１０−１９１３９４号公報 特開２０００−２３９１８号公報

しかしながら、視差予測の効率を向上させるためには、最適な基準カメラを設定する必要がある。基準カメラとは、カメラ間の予測に用いるフレームを撮像するカメラを示す。また、それ以外のカメラを参照カメラと呼ぶ。従来は、各視点カメラの配置情報のみに基づいて基準カメラを設定するにとどまっており、有効な設定基準は提案されていなかった。このため、符号化効率の向上が十分に実現されていなかった。

図９，１０は、従来の技術の問題点を示す図である。図９，１０を用いて、従来技術の問題点について説明する。図９において、三つの三角形はそれぞれカメラＣ１，Ｃ２，Ｃ３を示す。また、図９において、カメラの移動方向に並ぶ三つの楕円は、被写体を示す。また、カメラＣ１，Ｃ２，Ｃ３はそれぞれ右方向に移動しながら、撮像方向を撮像する。図１０は、各時刻Ｔ（ｎ−１），Ｔ（ｎ），Ｔ（ｎ＋１）において各カメラＣ１，Ｃ２，Ｃ３により撮像されたフレーム（ａ）〜（ｉ）の例を示す図である。

カメラＣ１の時刻Ｔ（ｎ）におけるフレーム（ｂ）を、同一カメラであるカメラＣ１の時刻Ｔ（ｎ−１）のフレーム（ｂ）のみから予測する場合について検討する。この場合、右端の被写体Ａは、予測に用いるフレーム（ａ）には撮像されていない。このため、予測効率が落ちてしまう。一方、同時刻Ｔ（ｎ）におけるカメラＣ２のフレーム（ｅ）には被写体Ａが撮像されている。このため、このフレーム（ｅ）を用いてフレーム（ｂ）を予測しようとすれば、予測効率が向上する。

また、カメラＣ２の時刻Ｔ（ｎ）におけるフレーム（ｅ）を、同時刻Ｔ（ｎ）におけるカメラＣ１のフレーム（ｂ）を用いて視差予測しようとする場合について検討する。この場合、フレーム（ｅ）に撮像されている被写体Ｃの右側部分がフレーム（ｂ）には撮像されていないため予測効率は向上しない。このように、フレーム（ｂ）からフレーム（ｅ）を視差予測しようとした場合に予測効率が向上したのとは異なり、フレーム（ｅ）からフレーム（ｂ）を視差予測しようとしても予測効率は向上しない。

このように、予測効率を向上させるためには、そのカメラによって撮像されているフレームの状態に応じて、予測に用いる最適なフレームを選択する必要がある。

そこで本発明はこれらの問題を解決し、予測に用いる最適なフレームを選択することにより予測効率、符号化効率を向上させることが可能となる装置や方法などを提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮像されるフレームを圧縮符号化する圧縮符号化装置であって、決定手段、圧縮符号化手段、予測情報作成手段、及び合成手段を含む。

決定手段は、参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用いる他カメラのフレームを決定する。

圧縮符号化手段は、参照カメラにより撮像されたフレームについては、決定手段によって決定された他カメラのフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予測による圧縮符号化を行う。また、圧縮符号化手段は、基準カメラにより撮像されたフレームについては、フレーム内予測又は当該基準カメラにより撮像された他のフレームのみを用いた動き予測による圧縮符号化を行う。言い換えれば、圧縮符号化手段は、基準カメラによって撮像された各フレームについては、同一カメラによって撮像されたフレームのみを用いて動き予測をしていた従来の方法と同じ方法により圧縮符号化を行う。

予測情報作成手段は、各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームについては当該フレームと動き予測に用いられた他のフレームとを対応づけるための情報を含む予測情報を生成する。

合成手段は、基準カメラにより撮像された複数の符号化後のフレームと、参照カメラにより撮像された複数の符号化後のフレームと、動き予測情報とを含む一つの動画像データを生成する。

このように構成された本発明の第一の態様によれば、決定手段により、参照カメラによって撮像されたフレームを圧縮符号化する場合に動き予測に用いられるフレームが、以前に撮像されたフレームにおける被写体の動きに基づいて決定される。そして、決定手段によって決定されたフレームを用いた動き予測により、参照カメラによって撮像されたこのフレームが圧縮符号化される。このため、過去のフレームにおける被写体の動きに基づいて、動き予測に用いる最適なフレームが決定され、予測効率、符号化効率の向上が図られる。

また、本発明の第一の態様における決定手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、被写体の動きを判断し、動き予測に用いる他カメラのフレームを決定するように構成されても良い。

また、本発明の第一の態様における決定手段は、処理対象となっているフレームが撮像された参照カメラに対し、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きと反対の方向に設置されている他のカメラによって撮像されたフレームを、動き予測に用いるフレームとして決定するように構成されても良い。このように構成されることにより、処理対象のフレームと相関性がより高いフレームを用いて動き予測を行うことが可能となる。従って、予測効率、符号化効率の向上が図られる。

また、本発明の第一の態様は、所定の周期で、複数台のカメラのうちいずれのカメラを基準カメラとすべきか判断する基準カメラ判断手段をさらに含むように構成されても良い。このように構成されることにより、基準カメラが的確に選択され、動き予測に用いる最適なフレームが決定され、予測効率、符号化効率の向上が図られる。

また、本発明の第一の態様における基準カメラ判断手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、基準カメラを決定するように構成されても良い。

また、本発明の第一の態様における基準カメラ判断手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、被写体の動きを判断し、基準カメラを決定するように構成されても良い。

また、本発明の第一の態様における動き予測情報作成手段は、参照カメラにより撮像されたフレームについて、他のカメラによって撮像されたフレームを用いた動き予測が実施されることなく圧縮符号化された時間の情報を、動き予測情報にさらに含めるように構成されても良い。

本発明の第二の態様は、本発明の第一の態様である圧縮符号化装置により作成された動画像データを伸張復号化する伸張復号化装置であって、判断手段及び伸張復号化手段を含む。

判断手段は、動画像データから動き予測情報を抽出し、各フレームについて基準カメラと参照カメラといずれによって撮像されたフレームであるか判断する。そして、伸張復号化手段は、判断手段によって基準カメラによって撮像されたフレームと判断されたフレームについては、同一のカメラによって撮像された他のフレームのみに基づいた動き予測により伸張復号化を行い、判断手段によって参照カメラによって撮像されたフレームと判断されたフレームについては、同一のカメラによって撮像された他のフレーム及び他のカメラによって撮像されたフレームに基づいた動き予測により伸張復号化を行う。

第一の態様及び第二の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一の態様及び第二の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、動き予測に用いる最適なフレームが決定され、予測効率、符号化効率の向上を図ることが可能となる。

基準カメラによって撮像された各フレームの予測符号化方法と、参照カメラによって撮像された各フレームの予測符号化方法とを示す図である。 動画像データの構成例を示す図である。 圧縮符号化装置の機能ブロックの例を示す図である。 基準カメラ決定処理と参照先決定処理の処理例を示すフローチャートである。 カメラの配置例を示す図である。 各カメラが基準カメラとなるか否か、及び、参照カメラである場合に参照先となるフレームはどの基準カメラとなるかを示す表である。 伸張復号化装置の機能ブロックの例を示す図である。 復号化カメラ判断処理の処理例を示すフローチャートである。 従来の技術の問題点を示す図である。 従来の技術の問題点を示す図である。

符号の説明

１ 圧縮符号化装置
１０１ 入力フレームバッファ
１０２ 減算器
１０３ ＤＣＴ量子化部
１０４ ＩＤＣＴ逆量子化部
１０５ 加算器
１０６ フレームバッファ
１０７ 動き・視差ベクトル補償部
１０８ 可変長符号部
１０９ ヘッダ付加部
１１０ 制御部
２ 伸張復号化装置
２０１ ヘッダ解析部
２０２ 符号化動画像バッファ
２０３ 可変長復号部
２０４ ＩＤＣＴ逆量子化部
２０５ 加算器
２０６ 表示動画像バッファ
２０７ フレームバッファ
２０８ 動き・視差ベクトル補償部
２０９ 制御部

［原理］
まず、本発明における予測符号化の方法の原理について説明する。図１は、基準カメラによって撮像された各フレームの予測符号化方法と、参照カメラによって撮像された各フレームの予測符号化方法とを示す図である。図１において、矢印の根に位置するフレームは、矢印の先に位置するフレームを参照することにより予測符号化される。

Ｉフレームは、フレーム内符号化を行うフレームを示す。Ｉフレームは、他のフレームを一切参照することなく符号化される。Ｐフレームは、前方向時間予測符号化フレームを示す。Ｐフレームは、同一カメラによって撮像されたフレームであって、時間的に直前に位置するＩフレーム又は他のＰフレームを参照することにより予測符号化される。このように同一カメラによって撮像された他のフレームを参照することにより予測符号化することを、以下では「動き予測符号化」と呼ぶ。Ｂフレームは、双方向時間予測符号化フレームを示す。Ｂフレームは、同一カメラによって撮像されたフレームであって、時間的に直前に位置するＩフレーム又はＰフレーム及び時間的に直後に位置するＩフレーム又はＰフレームを参照することにより予測符号化される。Ｉフレーム，Ｐフレーム，Ｂフレームの概念は、ＭＰＥＧ−１，２，４と同じである。

Ｉ’フレームは、基準カメラによって撮像された同時刻のＩフレームのみを参照することにより予測符号化される。このように他のカメラによって撮像されたフレームを参照することにより予測符号化することを、以下では「視差予測符号化」と呼ぶ。Ｐ’フレームは、基準カメラによって撮像された同時刻のＰフレーム、及び同一カメラによって撮像されたフレームであって時間的に直前に位置するＩ’フレーム又は他のＰ’フレームを参照することにより予測符号化される。Ｂ’フレームは、基準カメラによって撮像された同時刻のＢフレーム、同一カメラによって撮像されたフレームであって時間的に直前に位置するＩ’フレーム又はＰ’フレーム、及び同一カメラによって撮像されたフレームであって時間的に直後に位置するＩ’フレーム又はＰ’フレームを参照することにより予測符号化される。

次に、本発明における予測符号化によって作成される動画像データの構成について説明する。図２は、動画像データの構成例を示す図である。動画像データには、ＳＥＱＨとＧＯＰとが含まれる。ＳＥＱＨは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）の全カメラ単位に挿入される。ＳＥＱＨ（ｎ）は、以下に続くＧＯＰが、ｎ番目のＧＯＰであることを示す。ＳＥＱＨは、カメラ総数，各カメラの視差予測タイプ（即ち、各フレームを撮像したカメラが基準カメラと参照カメラのいずれであるか），各参照カメラにおける参照先のカメラを示す識別子を含む。ＧＯＰは、時間軸に沿って並んでいるフレームをグループ化したデータである。ＧＯＰ（ｍ，ｎ）は、カメラｍのｎ番目のＧＯＰであることを示す。

一つのＧＯＰには、ＧＯＰＨと複数のＦｒａｍｅが含まれる。ＧＯＰＨは、ＧＯＰのヘッダ情報である。ＧＯＰＨには、このフレームを撮像したカメラを示す識別子，視差予測を行っていない時間情報（ＧＯＰ先頭からのフレーム番号相対値）を含む。Ｆｒａｍｅは、符号化されたフレームのデータである。

一つのＦｒａｍｅには、Ｆｒａｍｅ Ｈｅａｄｅｒと複数のＭＢ（Ｍａｃｒｏ Ｂｌｏｃｋ）が含まれる。Ｆｒａｍｅ Ｈｅａｄｅｒは、フレームのヘッダ情報である。Ｆｒａｍｅ Ｈｅａｄｅｒは、そのフレームの予測種別（Ｉ，Ｐ，Ｂ，Ｉ’，Ｐ’，Ｂ’）が含まれる。ＭＢは、マクロブロック情報を示す。

各ＭＢには、ＭＢＴｙｐｅ，ＭＶ，及びＤＣＴＣｏｅｆｆが含まれる。ＭＢＴｙｐｅは、各マクロブロックの予測種別（Ｉｎｔｒａ，Ｉｎｔｅｒ，Ｂｉ−Ｄｉｒｅｃｔｉｏｎ）、及び量子化係数を含む。予測種別は、片方向予測（Ｉｎｔｅｒ）や両方向予測（Ｂｉ−Ｄｉｒｅｃｔｉｏｎ）で参照するフレームの識別子をさらに含む。予測種別は、片方向予測の場合は一つの識別子を、両方向予測の場合は二つの識別子を含む。ＭＶは、ベクトル情報である。以下、このベクトル情報を動きベクトルと視差ベクトルとに区別して記載する。動きベクトルとは同一カメラによって撮像されたフレーム間のベクトル情報を示し、視差ベクトルとは異なるカメラによって撮像されたフレーム間のベクトル情報を示す。ＤＣＴＣｏｅｆｆは、予測誤差の量子化ＤＣＴ係数情報である。

次に、各カメラによって撮像された動画像を圧縮符号化することにより上記のような動画像データを生成する圧縮符号化装置１と、この圧縮符号化装置１によって生成された動画像データを復号化する伸張復号化装置２とについて説明する。

［圧縮符号化装置］
まず、圧縮符号化装置１の構成例について説明する。圧縮符号化装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），マスクＲＯＭ等を含む），ＦＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ），ハードディスク等を指す。

図３は、圧縮符号化装置１の機能ブロックの例を示す図である。圧縮符号化装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力フレームバッファ１０１，減算器１０２，ＤＣＴ量子化部１０３，ＩＤＣＴ逆量子化部１０４，加算器１０５，フレームバッファ１０６，動き・視差ベクトル補償部１０７，可変長符号部１０８，ヘッダ付加部１０９，及び制御部１１０等を含む装置として機能する。ＤＣＴ量子化部１０３，ＩＤＣＴ逆量子化部１０４，動き・視差ベクトル補償部１０７，可変長符号部１０８，ヘッダ付加部１０９，及び制御部１１０は、プログラムがＣＰＵによって実行されることにより実現される。また、ＤＣＴ量子化部１０３，ＩＤＣＴ逆量子化部１０４，動き・視差ベクトル補償部１０７，可変長符号部１０８，ヘッダ付加部１０９，及び制御部１１０は専用のチップとして構成されても良い。次に、圧縮符号化装置１が含む各機能部について説明する。

〈入力フレームバッファ〉
入力フレームバッファ１０１は、圧縮符号化装置１に入力される動画像をバッファリングする。圧縮符号化装置１には、基本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とが入力される。従って、入力フレームバッファ１０１は、基本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とをバッファリングする。入力フレームバッファ１０１は、制御部１１０からの指示に従って、各カメラの符号化処理単位でフレームデータを出力する。符号化処理単位とは、１フレームであっても良いし、１ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）といった複数フレームであっても良い。以下、入力フレームバッファ１０１によって出力されたフレーム、即ち圧縮符号化の処理対象となるフレームを入力フレームと呼ぶ。

〈減算器〉
減算器１０２は、入力フレームと、動き補償や視差補償による予測情報との差分を計算し、その結果を予測差分情報として出力する。

〈ＤＣＴ量子化部〉
ＤＣＴ量子化部１０３は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算、量子化演算を行う。ＤＣＴ量子化部１０３は、減算器１０２により算出される予測差分情報をブロック単位でＤＣＴ演算し、ＤＣＴ係数を量子化し、その結果である量子化ＤＣＴ係数を出力する。

〈ＩＤＣＴ逆量子化部〉
ＩＤＣＴ逆量子化部１０４は、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算（以下、「逆ＤＣＴ演算」とも呼ぶ）、逆量子化演算を行う。ＩＤＣＴ逆量子化部１０４は、量子化ＤＣＴ係数の逆量子化及び逆ＤＣＴ演算を行い、逆ＤＣＴ演算結果を得る。

〈加算器〉
加算器１０５は、逆ＤＣＴ演算結果と、動き補償や視差補償による予測結果とを足し合わせて、ローカル復号化動画像を生成する。

〈フレームバッファ〉
フレームバッファ１０６は、ローカル復号化動画像を蓄積する。また、フレームバッファ１０６は、制御部１１０からの指示に従って、指定されたカメラ動画像の指定されたフレームを出力する。以下、フレームバッファ１０６によって出力されたフレーム、即ち動き予測や視差予測に用いられるフレームを予測元フレームと呼ぶ。

〈動き・視差ベクトル補償部〉
動き・視差ベクトル補償部１０７は、制御部１１０からの指示に従って、入力フレームと、予測元フレームとを用いてブロックマッチングによる予測を行う。動き・視差ベクトル補償部１０７は、動きベクトル情報及び視差ベクトル情報を可変長符号部１０８へ出力する。また、動き・視差ベクトル補償部１０７は、予測情報を減算器１０２へ出力する。動きベクトル情報や視差ベクトル情報や予測情報は、予測誤差を最小にするために使用される。また、動き・視差ベクトル補償部１０７は、フレーム全体での動きベクトル情報を制御部１１０に出力する。動きベクトル情報とは、例えば全ブロックでの動きベクトル情報の平均と分散などである。

〈可変長符号部〉
可変長符号部１０８は、量子化の結果を可変長符号化することにより、圧縮符号化されたフレームのデータを生成する。また、動き補償に用いられた動きベクトル情報、視差補償に用いられた視差ベクトル情報をヘッダ付加部１０９へ渡す。

〈ヘッダ付加部〉
ヘッダ付加部１０９は、カメラ番号、カメラ種別（基準カメラ又は参照カメラ）、参照する他のカメラ、等の情報を、圧縮符号化された後各フレーム又は複数フレーム単位に付加することにより動画像データを生成する。

〈制御部〉
制御部１１０は、各カメラにより撮像された動画像の符号化制御、基準カメラの決定（基準カメラ決定処理）、参照カメラにより撮像されたフレームの予測符号化のために参照するフレームの決定（参照先決定処理）などを行う。また、制御部１１０は、各機能部に指示をすることが可能となるように接続される。また、制御部１１０には、各カメラのパラメタ（各カメラについての配置情報）が外部から入力される。配置情報は、各カメラの絶対位置であってもよいし相対位置でも良い。以下、基準カメラ決定処理と参照先決定処理について説明する。

図４は、基準カメラ決定処理と参照先決定処理における制御部１１０の動作例を示すフローチャートである。図４を用いて、制御部１１０の動作例について説明する。なお、以下の処理は一組のＧＯＰ単位で実行される。即ち、一つのＳＥＱＨによってまとめられる複数のＧＯＰ単位で、図４の処理が実行される。

まず、制御部１１０は、直前のＧＯＰの最後のフレームにおいてパニング（Ｐａｎｎｉｎｇ）が生じていたか否か判断する（Ｓ０１）。制御部１１０は、例えば、直前のＧＯＰの最後のフレームにおける動きベクトル情報（例えば、全ブロックでの動きベクトル情報の平均及び分散など）に基づいて、パニングの発生について判断する。言い換えれば、この最後のフレームにおいて撮像されていた被写体の画像内での動きに基づいて、パニングの発生が判断される。この場合、制御部１１０は、横方向の動きベクトルの平均値が閾値以上であるか否か、及び分散が閾値以下であるか否か判断する。この二つの条件が満たされる場合に、制御部１１０は、パニングが発生していると判断する。一方、この二つの条件の一方でも満たされない場合は、制御部１１０は、パニングが発生していないと判断する。

パニングが発生していないと判断した場合（Ｓ０１−Ｎｏ）、制御部１１０は、Ｃ（Ｎ／２±ｎＫ）を計算し、その計算結果に該当するカメラを基準カメラとする（Ｓ０３）。なお、Ｃ（ｍ）は、ｍ番目のカメラを示す識別子であり、一方向に向けて並ぶ複数のカメラに並んでいる順番で数字が割り当てられていると仮定する。また、Ｎはカメラの総数を示す。また、ｎは０以上の整数を示す。また、Ｋの値は、正の値を示す値であり、カメラ間の間隔やカメラと被写体との距離などに応じて設計者により適宜設定される値である。この場合は、カメラ列の中心、及び中心から等間隔（Ｋ）に左右両方向にあるカメラが基準カメラとして設定される。

そして、処理対象となるＧＯＰに含まれるフレームのうち、参照カメラによって撮像されたフレームを予測符号化するための参照先フレームが決定される。この場合は、制御部１１０は、各フレームにとって、中心側の直近の基準フレームを参照先フレームとなるように決定する（Ｓ０６）。図５は、カメラの配置例を示す図である。また、図６は、各カメラが基準カメラとなるか否か、及び、参照カメラである場合に参照先となるフレームはどの基準カメラとなるかを示す表である。図５では、７台のカメラＣ（１）〜Ｃ（７）がＸ軸上に番号順に並んでいる。また、図５では、各カメラは撮影方向（Ｚ軸方向）に垂直方向に等間隔若しくは任意の間隔で並んでいる。また、図６では、Ｋの値は“２”と設定されている。また、図６では、○は基準カメラであることを示し、Ｃ（ｍ）はそのカメラによって撮像されたフレームが参照先フレームとなることを示す。上記のようにパニングが生じていないと判断された場合、Ｓ０３の処理の結果、Ｃ（２），Ｃ（４），Ｃ（６）が基準カメラとして設定される。そして、Ｃ（１）はＣ（２）を、Ｃ（３）及びＣ（５）はＣ（４）を、Ｃ（７）はＣ（６）を参照先とする。

次に、パニングが発生していると判断した場合（Ｓ０１−Ｙｅｓ）について説明する。この場合、制御部１１０は、パニングがどの方向に生じているか判断する（Ｓ０２）。この方向は、パニングの発生を判断する際に使用された動きベクトル情報により判断できる。即ち、このベクトルの向きによってパニングの発生方向が判断できる。制御部１１０は、左にパニングが生じていると判断した場合（Ｓ０２−左）、Ｃ（１＋ｎＫ）を基準カメラとする（Ｓ０４）。そして、制御部１１０は、参照カメラにより撮像された各フレームにとっての参照先フレームを、右側の直近の基準フレームに決定する（Ｓ０７）。言い換えれば、制御部１１０は、参照カメラにより撮像された各フレームにとっての参照先フレームを、パニングが発生している方向と逆方向に設置された直近の基準カメラとして設定する。

一方、制御部１１０は、右にパニングが生じていると判断した場合（Ｓ０２−右）、Ｃ（Ｎ−ｎＫ）を基準カメラとする（Ｓ０５）。そして、制御部１１０は、参照カメラにより撮像された各フレームにとっての参照先フレームを、左側の直近の基準フレームに決定する（Ｓ０８）。

［伸張復号化装置］
次に、伸張復号化装置２の構成例について説明する。伸張復号化装置２は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），マスクＲＯＭ等を含む），ＦＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ），ハードディスク等を指す。

図７は、伸張復号化装置２の機能ブロックの例を示す図である。伸張復号化装置２は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、ヘッダ解析部２０１，符号化動画像バッファ２０２，可変長復号部２０３，ＩＤＣＴ逆量子化部２０４，加算器２０５，表示動画像バッファ２０６，フレームバッファ２０７，動き・視差ベクトル補償部２０８，及び制御部２０９等を含む装置として機能する。ヘッダ解析部２０１，可変長復号部２０３，ＩＤＣＴ逆量子化部２０４，及び動き・視差ベクトル補償部２０８，及び制御部２０９は、プログラムがＣＰＵによって実行されることにより実現される。また、ヘッダ２０１，可変長復号部２０３，ＩＤＣＴ逆量子化部２０４，動き・視差ベクトル補償部２０８，及び制御部２０９は専用のチップとして構成されても良い。次に、伸張復号化装置２が含む各機能部について説明する。

〈ヘッダ解析部〉
ヘッダ解析部２０１は、入力された動画像データ（圧縮符号化装置１により作成された動画像データ）から、ヘッダ情報を抽出する。ヘッダ情報とは、具体的には、各フレームを撮像したカメラの識別子やその種別（基準カメラ又は参照カメラ）、参照先フレームを撮像したカメラの識別子などである。また、ヘッダ解析部２０１は、制御部２０９から、復号化すべきフレームを撮像したカメラの識別子を受け取る。そして、ヘッダ解析部２０１は、この識別子に基づいて、入力された各フレームについて復号化すべきか否か判断し、復号化すべきと判断したフレームのみを符号化動画像バッファ２０２へ渡す。具体的には、ヘッダ解析部２０１は、各カメラによって撮像されたフレームを含むＧＯＰのうち、復号化すべきカメラに対応するＧＯＰを判断する（復号化カメラ判断処理）。この処理が実行されることにより、不要なフレームについての復号化処理を省略することが可能となり、処理の高速化を図ることができる。同時に、バッファリングすべきデータ量の削減も図ることができ、例えば表示動画像バッファ２０６やフレームバッファ２０７の規模を小さくすることができる。さらに、ヘッダ解析部２０１は、制御部２０９に対し、符号化動画像バッファ２０２に渡したフレームの識別子を通知する。

以下、復号化カメラ判断処理について説明する。なお、以下の説明では、参照カメラによって撮像された画像は、参照先フレームとして基準カメラによって撮像されたフレームのみを用いて圧縮符号化されたと仮定している。ただし、このように限定される必要はない。図８は、復号化カメラ判断処理におけるヘッダ解析部２０１の動作例を示すフローチャートである。このフローチャートに示される処理は、ＳＥＱＨが検出される度に実行される。まず、ヘッダ解析部２０１は、制御部２０９からカメラを示す識別子を取得する（Ｓ１１）。次に、ヘッダ解析部２０１は、入力される動画像データからＳＥＱＨを抽出し解析する（Ｓ１２）。この解析により、ヘッダ解析部２０１は、各カメラの誤差予測タイプや参照先となるカメラの識別子などを取得する。

次に、ヘッダ解析部２０１は、ＧＯＰＨを探索する。このとき、次のＳＥＱＨが検出された場合、即ち次のカメラによって撮像されたフレームが無い場合はこの処理を終了する（Ｓ１３−Ｎｏ）。一方、ＧＯＰＨが検出された場合は（Ｓ１３−Ｙｅｓ）、ヘッダ解析部２０１は、このＧＯＰＨを解析し、カメラの識別子を取得する。そして、ヘッダ解析部２０１は、ＧＯＰＨに含まれる識別子と、制御部２０９から渡された識別子とが一致するか否か判断する。一致する場合（Ｓ１４−Ｙｅｓ）、このＧＯＰに含まれる各フレームについての復号化を実行すべきと判断する（Ｓ１９）。そして、Ｓ１３以降の処理が再び実行される。

一方、ヘッダ解析部２０１は、識別子が一致しない場合（Ｓ１４−Ｎｏ）、制御部２０９から渡された識別子のカメラの参照先に対応するカメラであるか否か判断する。参照先でない場合（Ｓ１５−Ｎｏ）、Ｓ１３以降の処理が実行される。一方、参照先である場合（Ｓ１５−Ｙｅｓ）、ヘッダ解析部２０１は、ＧＯＰＨを解析し視差予測を行っていない時間を解析する（Ｓ１６）。そして、全時間で視差予測を行っている場合は（Ｓ１７−Ｙｅｓ）、このＧＯＰに含まれる各フレームについての復号化を実行すべきと判断する（Ｓ１９）。一方、一部の時間で視差予測を行っていない場合には（Ｓ１７−Ｎｏ）、ヘッダ解析部２０１は、視差予測を行っているフレームを判断し、そのフレームのみについて復号化すべきと判断する（Ｓ１８）。そして、Ｓ１３以降の処理が再び実行される。

〈符号化動画像バッファ〉
符号化動画像バッファ２０２は、ヘッダ解析部２０１によって復号化すべきと判断された各フレームをバッファリングする。符号化動画像バッファ２０２は、制御部２０９からの指示に従って、復号化処理単位でフレームを出力する。復号化処理単位とは、１フレームであっても良いし、ＧＯＰのように複数フレームであっても良い。

〈可変長復号部〉
可変長復号部２０３は、可変長符号化されている量子化ＤＣＴ係数を可変長復号化し、その結果をＩＤＣＴ逆量子化部２０４に渡す。また、可変長復号化部２０３は、動きベクトル情報や視差ベクトル情報についても可変長復号化し、動き・視差ベクトル補償部２０８に渡す。

〈ＩＤＣＴ逆量子化部〉
ＩＤＣＴ逆量子化部２０４は、ＩＤＣＴ演算、逆量子化演算を行う。ＩＤＣＴ逆量子化部２０４は、量子化ＤＣＴ係数の逆量子化及び逆ＤＣＴ演算を行い、逆ＤＣＴ演算結果を得る。

〈加算器〉
加算器２０５は、逆ＤＣＴ演算結果と、動き補償や視差補償による予測結果とを足し合わせて、復号化動画像を生成する。

〈表示動画像バッファ〉
表示動画像バッファ２０６は、加算器２０５によって生成された復号化動画像のデータをバッファリングする。このとき、表示動画像バッファ２０８は、外部から表示することを指定されたカメラに対応する復号化動画像のデータをバッファリングする。そして、表示動画像バッファ２０６は、バッファリングしているデータを順次出力する。

〈フレームバッファ〉
フレームバッファ２０７は、表示動画像バッファ２０６と同様に、復号化動画像のデータをバッファリングする。さらに、フレームバッファ２０７は、外部からの指定に関わらず、処理対象のフレームの復号化に必要となる他のカメラにより撮像されたフレームも蓄積する。

〈動き・視差ベクトル補償部〉
動き・視差ベクトル補償部２０８は、制御部２０９からの指示に従い、処理対象となっているフレームの復号化に必要な動き予測・視差予測に用いるフレームを、フレームバッファ２０７から読み出す。そして、動き・視差ベクトル補償部２０８は、可変長復号部２０３から動きベクトル情報・視差ベクトル情報を取得する。そして、予測結果を取得し、その予測結果を加算器２０５へ渡す。

〈制御部〉
制御部２０９は、入力される動画像データについての復号化制御を行う。また、制御部２０９は、各機能部に指示をすることが可能となるように接続される。また、制御部２０９には、外部から、表示動画像バッファ２０８から外部へ出力すべき動画像を撮像したカメラを示す識別子が入力される。この識別子は、一つでも複数でも良い。そして、制御部２０９は、入力されたこの識別子をヘッダ解析部２０１に渡す。

〔作用／効果〕
〔変形例〕
参照カメラにより撮像された各フレーム（Ｉ’フレーム，Ｐ’フレーム，Ｂ’フレーム）は、基準カメラによって同時刻に撮像されたフレームに限らず、他の参照カメラによって撮像されたフレームを参照して予測符号化されても良いし、基準カメラや他の参照カメラによって異なる時刻によって撮像されたフレームを参照して予測符号化されても良い。

また、カメラは一直線上に並ぶように設置される必要はなく、波線状や円状や十字状や四角状など、どのように並ぶように設置されても良い。

本発明は、多視点において撮像された画像を符号化・復号化する装置に対して利用することにより、効果を得ることができる。

Claims (8)

1. 自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮像されるフレームを圧縮符号化する圧縮符号化装置であって、
   前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用いる他カメラのフレームを決定する決定手段と、
   前記参照カメラにより撮像されたフレームについては、前記決定手段によって決定されたフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予測による圧縮符号化を行い、前記基準カメラにより撮像されたフレームについては、フレーム内予測又は当該基準カメラにより撮像された他のフレームのみを用いた動き予測による圧縮符号化を行う圧縮符号化手段と、
   各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームについては当該フレームと動き予測に用いられた他のフレームとを対応づけるための情報を含む予測情報を生成する動き予測情報作成手段と、
   前記基準カメラにより撮像された複数の符号化後のフレームと、前記参照カメラにより撮像された複数の符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成手段とを含み、
   前記決定手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、前記被写体の動きを判断し、動き予測に用いる他カメラのフレームを決定し、
   前記決定手段は、さらに、処理対象となっているフレームが撮像された参照カメラに対し、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きと反対の方向に設置されている他のカメラによって撮像されたフレームを、前記動き予測に用いるフレームとして決定する
   圧縮符号化装置。
2. 所定の周期で、前記複数台のカメラのうちいずれのカメラを前記基準カメラとすべきか判断する基準カメラ判断手段をさらに含む請求項１に記載の圧縮符号化装置。
3. 前記基準カメラ判断手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きの側の端に設置されているカメラと当該カメラから所定台数毎のカメラとを、それぞれ基準カメラとして決定する請求項２に記載の圧縮符号化装置。
4. 前記基準カメラ判断手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、前記被写体の動きを判断し、基準カメラを決定する請求項３に記載の圧縮符号化装置。
5. 前記動き予測情報作成手段は、前記参照カメラにより撮像されたフレームについて、他のカメラによって撮像されたフレームを用いた動き予測が実施されることなく圧縮符号化された時間の情報を、前記動き予測情報にさらに含める請求項１に記載の圧縮符号化装置。
6. 自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮像されるフレームを圧縮符号化する圧縮符号化方法であって、
   情報処理装置が、前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用いるフレームを決定するステップと、
   情報処理装置が、前記参照カメラにより撮像されたフレームについては、前記決定するステップにおいて決定されたフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予測による圧縮符号化を行い、前記基準カメラにより撮像されたフレームについては、フレーム内予測又は当該基準カメラにより撮像された他のフレームのみを用いた動き予測による圧縮符号化を行うステップと、
   情報処理装置が、各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームについては当該フレームと動き予測に用いられた他のフレームとを対応づけるための情報を含む予測情報を生成するステップと、
   情報処理装置が、前記基準カメラにより撮像された複数の符号化後のフレームと、前記参照カメラにより撮像された複数の符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成するステップとを含み、
   前記決定するステップは、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、前記被写体の動きを判断し、動き予測に用いる他カメラのフレームを決定し、
   前記決定するステップは、さらに、処理対象となっているフレームが撮像された参照カメラに対し、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きと反対の方向に設置されている他のカメラによって撮像されたフレームを、前記動き予測に用いるフレームとして決定する
   圧縮符号化方法。
7. 自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き
   予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮像されるフレームの圧縮符号化を情報処理装置に実行させるためのプログラムであって、
   前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用いるフレームを決定するステップと、
   前記参照カメラにより撮像されたフレームについては、前記決定するステップにおいて決定されたフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予測による圧縮符号化を行い、前記基準カメラにより撮像されたフレームについては、フレーム内予測又は当該基準カメラにより撮像された他のフレームのみを用いた動き予測による圧縮符号化を行うステップと、
   各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームについては当該フレームと動き予測に用いられた他のフレームとを対応づけるための情報を含む予測情報を生成するステップと、
   前記基準カメラにより撮像された複数の符号化後のフレームと、前記参照カメラにより撮像された複数の符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成するステップとを情報処理装置に実行させ、
   前記決定するステップは、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、前記被写体の動きを判断し、動き予測に用いる他カメラのフレームを決定し、
   前記決定するステップは、さらに、処理対象となっているフレームが撮像された参照カメラに対し、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きと反対の方向に設置されている他のカメラによって撮像されたフレームを、前記動き予測に用いるフレームとして決定する
   プログラム。
8. 複数台のカメラによって撮像されるフレームを圧縮符号化する圧縮符号化装置であって、
   前記複数台のカメラとして、自身のカメラによって撮像されたフレームのみを用いて圧縮符号化を行う基準カメラと、自身及び他のカメラにて撮像されたフレームを用いて圧縮符号化を行う参照カメラとを、それぞれ少なくとも１つを含む撮像手段と、
   前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象となるフレームに対し時間的に前に撮像されたフレームにおける被写体の動きベクトルに基づいて動き予測に用いる自身又は他のカメラにて撮像されたフレームを決定する決定手段と、
   少なくとも前記参照カメラにより撮像されたフレームを、前記決定手段によって決定されたフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予測による圧縮符号化を行う符号化手段とを有し、
   前記決定手段は、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、前記被写体の動きを判断し、動き予測に用いる他カメラのフレームを決定し、
   前記決定手段は、さらに、処理対象となっているフレームが撮像された参照カメラに対し、処理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きと反対の方向に設置されている他のカメラによって撮像されたフレームを、前記動き予測に用いるフレームとして決定する
   圧縮符号化装置。

Images