JP4570159B2 - 多視点映像符号化方法、装置及びプログラム - Google Patents

Description

本発明は、多視点映像符号化方法、装置及びプログラムに関する。

従来、視聴者が視点位置又は視点方向を自由に選択できる「自由視点映像」という技術がある。自由視点映像は、対象物を、視点位置の異なった複数のビデオカメラによって撮影した映像によって構成される。ビデオカメラによって撮影されない視点位置又は視点方向の映像は、視点映像補間によって生成される。従って、ビデオカメラの間隔を密にするほど、高品質の自由視点映像が得られる。ここで、複数のビデオカメラの映像を、まとめて効率良く符号化するために、「多視点映像符号化」の技術が必要となる。

一般的に、動画像符号化方式では、時間方向の相関を使って高い符号化効率を実現するため、フレーム間予測符号化方式を用いている。代表的な動画像符号化方式であるＨ．２６４（動き補償＋離散コサイン変換）によれば、フレームの符号化モードとして、Ｉピクチャ(Intra-Picture)と、Ｐピクチャ(Predictive-Picture)と、Ｂピクチャ(Bi-directional Predictive-Picture)とがある。

Ｉピクチャは、前後の画像と関係なく、その画像内（個々に独立して）だけで独立符号化することによって得られる画像をいう。Ｐピクチャは、画像間の順方向予測符号化によって得られる画像をいう。Ｂピクチャは、過去と未来の双方向からの予測符号化によって得られる画像をいう。Ｂピクチャは、時間軸上で、当該フレームよりも過去、未来又はその双方に存在するマクロブロックを用いた双方向予測が可能となる。Ｈ．２６４におけるＢピクチャは、過去から２枚の予測であっても、未来から２枚の予測であってもよいために、双予測ピクチャとも称される。

図１は、１つのビデオカメラによって撮影された映像の符号化の説明図である。

図１によれば、符号化順に並べられた画像フレームと、表示順に並べられた画像フレームとが表されている。参照ピクチャとして過去のマクロブロックを利用するために、符号化順と表示順とは異なる。

図２は、従来技術における多視点映像符号化方法の説明図である。

従来技術によれば、映像シーケンスは、ビデオカメラ毎に個々に独立して符号化されている。従って、その映像シーケンスには、必ずＩピクチャが含まれる。しかしながら、異なる位置にある複数のビデオカメラから同時に撮影された画像フレーム間には、視差を除いて強い相関がある。それにも関わらず、ビデオカメラ毎にＩピクチャを符号化していたために、更なる符号化圧縮率の向上を図ることもできると考えられる。

異なる位置にあるビデオカメラから同時に撮影された複数の画像フレームを、１つの映像シーケンスとみなして用いる動き補償を「視差補償」という。視差補償を用いて多視点映像を情報圧縮する符号化方法もある（例えば特許文献１参照）。これは、一方のビデオカメラの映像シーケンスが、他方のビデオカメラの映像シーケンスを参照する。

特許文献１によれば、第Ｎビデオカメラで撮影した第Ｎ映像シーケンスの第Ｍ画像フレームがＢピクチャである場合、第Ｎ＋１映像シーケンスの第Ｍ画像フレームは、第Ｎ映像シーケンスの第Ｍ画像フレームも参照するＢピクチャとなる。また、第Ｎ映像シーケンスの第ＭフレームがＩピクチャ又はＰピクチャである場合、第Ｎ＋１映像シーケンスの第Ｍ画像フレームは、第Ｎ映像シーケンスの第Ｍ画像フレームも参照するＢピクチャとなる。

特開２００５−２６０４６４号公報

従来技術の多視点映像符号化方式によれば、どの映像シーケンスを個々に独立して符号化するかについては、全く検討されていない。しかしながら、個々に独立して符号化する映像シーケンスによっては、全ての映像シーケンスの符号化における視差補償の大きさも異なり、符号化効率にも影響する。

従って、本発明は、映像品質を維持しつつ、符号化情報量が少ない多視点映像符号化方法、装置及びプログラムを提供することを目的とする。

本発明における多視点映像符号化方法によれば、
符号化装置が、ビデオカメラの位置情報を取得する第１のステップと、
符号化装置が、全てのビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定する第２のステップと、
符号化装置が、ビデオカメラから同期した映像シーケンスを取得する第３のステップと、
符号化装置が、ベースビデオカメラの映像シーケンスを個々に独立して符号化する第４のステップと、
符号化装置が、先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを、先に符号化された映像シーケンスを参照して予測符号化する第５のステップと、
符号化装置が、第５のステップを、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスについて繰り返す第６のステップと
を有することを特徴とする。

更に、本発明の多視点映像符号化方法における他の実施形態によれば、Ｈ．２６４に基づいて、
第４のステップについて、ベースビデオカメラの符号化フレームは、Ｉピクチャを含んでおり、
第５のステップについて、隣接するビデオカメラの符号化フレームは、Ｉピクチャを含まず、先に符号化された映像シーケンスのＭ番目のフレームを参照して、隣接するビデオカメラによって撮影された映像シーケンスのＭ番目のフレームを予測符号化することも好ましい。

本発明における多視点映像符号化装置によれば、
ビデオカメラの位置情報を取得する位置情報取得手段と、
全てのビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定するベースビデオカメラ決定手段と、
全てのビデオカメラから同期した映像シーケンスを取得する映像シーケンス取得手段と、
映像シーケンスを個々に独立して符号化する独立符号化手段と、
先に符号化された映像シーケンスを参照して予測符号化する予測符号化手段と、
ベースビデオカメラの映像シーケンスを独立符号化手段へ通知し、先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを予測符号化手段へ通知し、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスを予測符号化手段へ通知することを繰り返すように制御する予測符号化制御手段と
を有することを特徴とする。

更に、本発明の多視点映像符号化装置における他の実施形態によれば、Ｈ．２６４に基づいて、
独立符号化手段について、ベースビデオカメラの符号化フレームは、Ｉピクチャを含んでおり、
予測符号化手段について、隣接するビデオカメラの符号化フレームは、Ｉピクチャを含まず、先に符号化された映像シーケンスのＭ番目のフレームを参照して、隣接するビデオカメラによって撮影された映像シーケンスのＭ番目のフレームを予測符号化することも好ましい。

本発明によれば、異なる位置に配置された複数のビデオカメラに接続されたコンピュータを、多視点映像符号化のために機能させるプログラムであって、
ビデオカメラの位置情報を取得する位置情報取得手段と、
全てのビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定するベースビデオカメラ決定手段と、
ビデオカメラから同期した映像シーケンスを取得する映像シーケンス取得手段と、
映像シーケンスを個々に独立して符号化する独立符号化手段と、
先に符号化された映像シーケンスを参照して予測符号化する予測符号化手段と、
ベースビデオカメラの映像シーケンスを独立符号化手段へ通知し、先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを予測符号化手段へ通知し、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスを予測符号化手段へ通知することを繰り返すように制御する予測符号化制御手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、多視点映像符号化方法等について、個々に独立して符号化された映像シーケンスに対する視差を、全体として小さくすることができるので、映像品質を維持しつつ、符号化情報量を少なくすることができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

図３は、本発明におけるシステム構成図である。

図３によれば、対象物３を、異なる位置に配置された複数のビデオカメラ１〜９によって撮影する。９台のビデオカメラは、同一平面上に、縦３列横３列で等間隔に配置されている。また、ビデオカメラ１〜９は、多視点映像符号化装置２に接続されている。

ビデオカメラ１〜９は、対象物３を撮影した映像シーケンスを多視点映像符号化装置２へ送信する。ここで、ビデオカメラ１〜９は、カメラ位置情報も多視点映像符号化装置２へ送信する。但し、多視点映像符号化装置２が、全てのカメラ位置情報を予め記憶しているものであってもよい。

図３によれば、ビデオカメラ１〜９の位置情報が座標上に展開されている。座標は、２次元であっても３次元であってもよい。ここで、全てのビデオカメラ１〜９における位置ベクトルの平均を算出する。この平均となる位置は、実質的に、全てのビデオカメラ１〜９の中心（例えば重心）となる。この中心位置に最も近傍のビデオカメラの映像シーケンスを、個々に独立して符号化する。図３によれば、ビデオカメラ５の映像シーケンスが、他の映像シーケンスを参照することなく、独立した映像シーケンスとして符号化される。

次に、ベースビデオカメラ５に隣接するビデオカメラの映像シーケンスを符号化する。通常、２〜４個の隣接ビデオカメラを選択するのが好ましい。図３によれば、ビデオカメラ５に隣接するビデオカメラとして、ビデオカメラ２、４、６及び８が選択される。従って、次に、ビデオカメラ２、４、６及び８の映像シーケンスを、ベースビデオカメラ５の符号化された映像シーケンスを参照して、予測符号化する。

更に、ビデオカメラ２、４、６及び８に隣接するビデオカメラについて符号化される。ビデオカメラ２及び４に隣接するビデオカメラ１の映像シーケンスは、ビデオカメラ５、２及び４の符号化された映像シーケンスを参照して、予測符号化される。また、ビデオカメラ２及び６に隣接するビデオカメラ３の映像シーケンスは、ビデオカメラ５、２及び６の符号化された映像シーケンスを参照して、予測符号化される。

また、ビデオカメラ４及び８に隣接するビデオカメラ７の映像シーケンスは、ビデオカメラ５、４及び８の符号化された映像シーケンスを参照して、予測符号化される。また、ビデオカメラ６及び８に隣接するビデオカメラ９の映像シーケンスは、ビデオカメラ５、６及び８の符号化された映像シーケンスを参照して、予測符号化される。

図４は、本発明における参照フレームの説明図である。

図４のビデオカメラの構成は、図３と同じである。従って、ビデオカメラ５の映像シーケンスは個々に独立して符号化される。ビデオカメラ２の映像シーケンスは、ビデオカメラ５の符号化された映像シーケンスを参照して予測符号化される。また、ビデオカメラ８の映像シーケンスは、ビデオカメラ５の符号化された映像シーケンスを参照して予測符号化される。更に、ビデオカメラ１の映像シーケンスは、ビデオカメラ５、２及び４の符号化された映像シーケンスを参照して予測符号化される。また、ビデオカメラ３の映像シーケンスは、ビデオカメラ５、２及び６の符号化された映像シーケンスを参照して予測符号化される。

図５は、本発明における多視点映像符号化方法のフローチャートである。

（Ｓ５０１）全てのビデオカメラの位置情報を取得する。ビデオカメラは、移動可能なものであってもよい。ビデオカメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報を受信する。尚、ビデオカメラが固定なものであれば、その位置情報は予め登録されているものであってもよい。
（Ｓ５０２）いずれか１つのビデオカメラをベースビデオカメラとして決定する。全てのビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定する。
（Ｓ５０３）全てのビデオカメラから同期した映像シーケンスを取得する。
（Ｓ５０４）ベースビデオカメラの映像シーケンスを個々に独立して符号化する。Ｈ．２６４によれば、この予測符号化された映像シーケンスは、Ｉピクチャを含む。

（Ｓ５０５）以下、Ｓ５０６及びＳ５０７を繰り返す。
（Ｓ５０６）先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを、先に符号化された映像シーケンスを参照して予測符号化する。ベースビデオカメラに隣接する第２のビデオカメラの映像シーケンスは、符号化されたベースビデオカメラの映像シーケンスを参照して、予測符号化される。

ここで、予測符号化された映像フレームは、Ｉピクチャを含まない。また、先に符号化された映像シーケンスのＭ番目のフレームを参照して、隣接するビデオカメラによって撮影された映像シーケンスのＭ番目のフレームを予測符号化する。

（Ｓ５０７）符号化していない隣接カメラが存在するか否かを判定する。存在する場合、Ｓ５０５へ再帰する。従って、第２のビデオカメラに隣接する第３のビデオカメラの映像シーケンスは、符号化されたベースビデオカメラ及び第２のビデオカメラの映像シーケンスを参照して、予測符号化される。

以下、同様にして、Ｎ番目に符号化する映像シーケンスは、（Ｎ−１）番目に符号化した映像シーケンスに隣接する映像シーケンスの内で、まだ符号化されていない映像シーケンスとする。符号化する際は、同じ映像シーケンスの他フレームのみならず、最初に符号化した映像シーケンスから（Ｎ−１）番目に符号化した映像シーケンスまで連続的に繋がる映像シーケンスの同一時刻のフレームも参照できることとする。尚、これを簡略化した方法として、（Ｎ−１）番目に符号化した映像シーケンスの内で隣接する映像シーケンスのみを参照することも好ましい。

図６は、本発明における多視点映像符号化装置の機能構成図である。

図６によれば、多視点映像符号化装置２は、カメラ位置情報取得部２１と、ベースビデオカメラ決定部２２と、映像シーケンス取得部２３と、予測符号化制御部２４と、独立符号化部２５と、予測符号化部２６とを有する。これら機能部は、コンピュータによって実行されるプログラムによっても実現できる。

カメラ位置情報取得部２１は、全てのビデオカメラの位置情報を取得する。前述した図５のＳ５０１と同様の機能を有する。

ベースビデオカメラ決定部２２は、全てのビデオカメラのいずれか１つをベースビデオカメラとして決定する。ベースビデオカメラ決定部２２は、全てのビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のベースビデオカメラを決定する。前述した図５のＳ５０２と同様の機能を有する。

映像シーケンス取得部２３は、全てのビデオカメラから同期した映像シーケンスを取得する。前述した図５のＳ５０３と同様の機能を有する。

独立符号化部２５は、映像シーケンスを個々に独立して符号化する。ベースビデオカメラの符号化フレームは、Ｉピクチャを含む。前述した図５のＳ５０４と同様の機能を有する。

予測符号化部２６は、先に符号化された映像シーケンスを参照して予測符号化する。前述した図５のＳ５０６と同様の機能を有する。

予測符号化制御部２４は、ベースビデオカメラの映像シーケンスを独立符号化部２５へ通知する。また、先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを予測符号化部２６へ通知する。そして、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスを予測符号化部２６へ通知することを繰り返すように制御する。前述した図５のＳ５０５及びＳ５０７と同様の機能を有する。

以上、本発明によれば、多視点映像符号化方法等について、個々に独立して符号化された映像シーケンスに対する視差を、全体として小さくすることができるので、映像品質を維持しつつ、符号化情報量を少なくすることができる。

前述した本発明における種々の実施形態によれば、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１つのビデオカメラによって撮影された映像の符号化の説明図である。 従来技術における多視点映像符号化方法の説明図である。 本発明におけるシステム構成図である。 本発明における参照フレームの説明図である。 本発明における多視点映像符号化方法のフローチャートである。 本発明における多視点映像符号化装置の機能構成図である。

符号の説明

１ ビデオカメラ
２ 多視点映像符号化装置
２１ カメラ位置情報取得部
２２ ベースビデオカメラ決定部
２３ 映像シーケンス取得部
２４ 予測符号化制御部
２５ 独立符号化部
２６ 予測符号化部
３ 対象物

Claims (5)

1. 異なる位置に配置された複数のビデオカメラに接続された符号化装置における多視点映像符号化方法であって、
   前記符号化装置が、前記ビデオカメラの位置情報を取得する第１のステップと、
   前記符号化装置が、全ての前記ビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定する第２のステップと、
   前記符号化装置が、前記ビデオカメラから同期した映像シーケンスを取得する第３のステップと、
   前記符号化装置が、前記ベースビデオカメラの映像シーケンスを個々に独立して符号化する第４のステップと、
   前記符号化装置が、先に符号化された映像シーケンスの前記ビデオカメラに隣接するビデオカメラの映像シーケンスを、前記先に符号化された映像シーケンスを参照して予測符号化する第５のステップと、
   前記符号化装置が、前記第５のステップを、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスについて繰り返す第６のステップと
   を有することを特徴とする多視点映像符号化方法。
2. Ｈ．２６４に基づいて、
   前記第４のステップについて、前記ベースビデオカメラの符号化フレームは、Ｉピクチャを含んでおり、
   前記第５のステップについて、前記隣接するビデオカメラの符号化フレームは、Ｉピクチャを含まず、前記先に符号化された映像シーケンスのＭ番目のフレームを参照して、前記隣接するビデオカメラによって撮影された映像シーケンスのＭ番目のフレームを予測符号化する
   ことを特徴とする請求項１に記載の多視点映像符号化方法。
3. 異なる位置に配置された複数のビデオカメラに接続された多視点映像符号化装置であって、
   前記ビデオカメラの位置情報を取得する位置情報取得手段と、
   全ての前記ビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定するベースビデオカメラ決定手段と、
   全ての前記ビデオカメラから同期した映像シーケンスを取得する映像シーケンス取得手段と、
   映像シーケンスを個々に独立して符号化する独立符号化手段と、
   先に符号化された映像シーケンスを参照して予測符号化する予測符号化手段と、
   前記ベースビデオカメラの映像シーケンスを前記独立符号化手段へ通知し、先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを前記予測符号化手段へ通知し、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスを前記予測符号化手段へ通知することを繰り返すように制御する予測符号化制御手段と
   を有することを特徴とする多視点映像符号化装置。
4. Ｈ．２６４に基づいて、
   前記独立符号化手段について、前記ベースビデオカメラの符号化フレームは、Ｉピクチャを含んでおり、
   前記予測符号化手段について、前記隣接するビデオカメラの符号化フレームは、Ｉピクチャを含まず、前記先に符号化された映像シーケンスのＭ番目のフレームを参照して、前記隣接するビデオカメラによって撮影された映像シーケンスのＭ番目のフレームを予測符号化する
   ことを特徴とする請求項３に記載の多視点映像符号化装置。
5. 異なる位置に配置された複数のビデオカメラに接続されたコンピュータを、多視点映像符号化のために機能させるプログラムであって、
   前記ビデオカメラの位置情報を取得する位置情報取得手段と、
   全ての前記ビデオカメラの位置情報を座標上に展開し、位置ベクトルの平均となる位置に近傍のビデオカメラを、ベースビデオカメラとして決定するベースビデオカメラ決定手段と、
   全ての前記ビデオカメラから同期した映像シーケンスを取得する映像シーケンス取得手段と、
   映像シーケンスを個々に独立して符号化する独立符号化手段と、
   先に符号化された映像シーケンスを参照して予測符号化する予測符号化手段と、
   前記ベースビデオカメラの映像シーケンスを前記独立符号化手段へ通知し、先に符号化された映像シーケンスのビデオカメラに隣接するビデオカメラの映像シーケンスを前記予測符号化手段へ通知し、全てのビデオカメラの映像シーケンスが符号化されるまで、隣接するビデオカメラの映像シーケンスを前記予測符号化手段へ通知することを繰り返すように制御する予測符号化制御手段と
   してコンピュータを機能させることを特徴とするプログラム。

Images