JP4616564B2 - デジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法 - Google Patents

Description

本発明は動画像符号化／復号化装置に係るもので、詳しくは、デジタルウォーターマーキングを利用して動画像を符号化／復号化する装置及びその方法に関するものである。

人間が実際に感じるのと同様の現実性及び自然性を提供する画像通信を具現するためには、空間をそのまま再現できる３次元画像通信技術の開発が必要である。
従って、人間が両眼（ｂｉｎｏｃｕｌａｒ）によって物体を認識することで深さを感じ得る点を利用した両眼画像の３次元立体画像処理方式が、次世代画像処理分野における主要な関心の対象になっている。
然し、現在利用されている画像の大部分がカラー及び動画像であり、通信伝送線路上の伝送率及び処理速度を考慮すると、立体感を得るために要求される画像情報量の増加が大いに問題となる。
従って、立体画像の画質を維持すると共に、より容易で、且つ効率的に圧縮する方式の研究が急務である。

人間の左右の目が夫々相異なる２次元画像を見た後、それら二つの画像が網膜を通して脳に伝達されると、脳が前記二つの画像を正確に相互融合することで元の３次元画像の深さ及び実際感が再生される。立体動画像とは、このような人間の視覚特性に基づいて複数のカメラにより獲得された画像をいう。

図３の（Ａ）は一視点（ｏｎｅ ｖｉｅｗｐｏｉｎｔ）の立体動画像（ステレオ動画像）を獲得する一般的方法を示した図で、図示したように、人間の両目に該当する２台のカメラ１、３により夫々撮像された二つの画像５、７は、相互融合されて一つの視点（ｖｉｅｗｐｏｉｎｔ）を有する動画像（ステレオ動画像）になる。ここで、視点（ｖｉｅｗｐｏｉｎｔ）とは、前記二つの画像５、７を通して深さ（又は立体感）を感じることができるポイントをいう。

図３の（Ｂ）は多視点（ｍｕｌｔｉ ｖｉｅｗｐｏｉｎｔ）の立体動画像を獲得する一般的方法を示した図で、図示したように、複数のカメラ１１〜１４により撮像された複数の画像２１〜２４は、相互融合されて多視点を有する動画像になる。

立体動画像の符号化は、一般の２次元（ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）動画像と比較すると、視点の数が増えるほどそれに比例してデータ量が増加するためデータ量が膨大になるという欠点があった。このような欠点を解決するため、従来の立体動画像符号化装置においては、視点間の重複性を除去するため、視点間の変移推定（ｄｉｓｐａｒｉｔｙ ｅｓｔｉｍａｔｉｏｎ）を行う。

ここで、変移推定とは、従来の２次元動画像を符号化するとき、同時間軸上における画像フレーム間の重複性を除去するために使用される動き推定を立体動画像の視点間に適用したものである。即ち、変移推定は、立体動画像における視点と視点間の重複性を探す技術であって、例えば、ステレオ動画像の場合、左画像（ｌｅｆｔ ｉｍａｇｅ）の一つのブロックと最も類似したブロックを右画像（ｒｉｇｈｔ ｉｍａｇｅ）で探す段階であるということができる。

又、動き推定とは、二つの画像フレーム間の動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を行って動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を求め、動きベクトルにより動き補償を行って、同時間軸上における画像フレーム間の重複性を除去し、動き補償された以前のフレームと現在のフレームとの差を伝送することである。

図４は従来の立体動画像の一例としてステレオ動画像の変移及び動き推定方法を示した図で、図示したように、従来の動画像はピクチャーという単位で取り扱われ、ピクチャーには、イントラピクチャー（Ｉｎｔｒａ ｐｉｃｔｕｒｅ、以下Ｉピクチャーと略称する；フレーム内の符号化画像）、順方向予測ピクチャー（Ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ、以下Ｐピクチャーと略称する；フレーム間の順方向予測符号化画像）及び双方向予測ピクチャー（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ、以下Ｂピクチャーと略称する；双方向予測符号化画像）の三つのタイプがある。

ここで、Ｉピクチャーは、一つのピクチャーを全てイントラ符号化したピクチャーをいい、Ｐピクチャーは、Ｉピクチャーを利用して順方向に予測されたピクチャーをいい、Ｂピクチャーは、ＩピクチャーとＰピクチャーの間に挿入されるピクチャーであって、Ｉピクチャーから順方向に予測され、Ｐピクチャーから逆方向に予測されるピクチャーをいう。

従来のステレオ動画像において、左画像列（ｌｅｆｔ ｓｅｑｕｅｎｃｅ）は、従来の動き推定により動画像符号化され、右画像列（ｒｉｇｈｔ ｓｅｑｕｅｎｃｅ）は、変移推定により得られたベクトル値との差画像を利用して動画像符号化される。

一方の画像列を動き補償（動き推定）し、他方の画像列を一方の画像列に対して視差補償（変移推定）した上で動き補償する技術は例えば、特許文献１に開示されている。
図５は従来のステレオ動画像符号化装置の構成を示したブロック図で、図示したように、従来のステレオ動画像符号化装置においては、入力される左画像列の動き推定を行って左画像フレームの動きベクトルを出力する第１動き推定部３０と、右画像列の動き推定を行って右画像フレームの動きベクトル４１を出力する第２動き推定部３２と、第１動き推定部３０の左画像フレームと第２動き推定部３２の右画像フレーム間の変移推定を行って変移ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ）４２を出力する変移推定部３４と、第１動き推定部３０から出力される動きベクトルを利用して左画像フレームを符号化することで左画像符号化データ４３を出力する動き補償エンコーダ（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｅｎｃｏｄｅｒ）３６と、第２動き推定部３２から出力される動きベクトル４１及び変移推定部３４から出力される変移ベクトル４２を利用して右画像フレームを符号化することで右画像符号化データ４４を出力する動き／変移補償エンコーダ３８とを包含して構成されている。

以下、このように構成された従来のステレオ動画像符号化装置の動作について説明する。

第１動き推定部３０は、左画像列の動きを推定して動きベクトルを出力し、動きベクトルにより復元された画像（左画像）と元の画像（元の左画像）との差画像を出力する。次いで、動き補償エンコーダ３６は、動きベクトル及び差画像（左画像列の差画像）を利用して左画像フレームを符号化することで左画像符号化データ４３を出力する。

又、第２動き推定部３２は、第１動き推定部３０と同様に、右画像列の動き推定を行って動きベクトル４１と共に差画像（右画像列の差画像）を出力し、変移推定部３４は、左画像と右画像間の重複性を探して変移ベクトル４２を出力する。次いで、動き／変移補償エンコーダ３８は、動きベクトル４１、差画像（右画像列の差画像）及び変移ベクトル４２を利用して右画像フレームを符号化することで右画像符号化データ４４を出力する。

このような従来のステレオ動画像符号化装置は、動き補償エンコーダ３６から出力される左画像符号化データ４３と、動き／変移補償エンコーダ３８から出力される右画像符号化データ４４とを全て送信するが、右画像符号化データ４４は、左画像符号化データ４３に次いで送信される。

右画像符号化データ４４は、左画像符号化データ４３とは異なって、右画像列の動きベクトル４１、差画像（右画像列の差画像）及び変移ベクトル４２が符号化されたデータである。

このように、ステレオ動画像符号化装置は、左右画像間の変移を推定した後、左画像符号化データ４３、右画像の動きベクトル４１、差画像及び推定された変移ベクトル４２を送信する。

又、従来のステレオ動画像の復号化装置は、左画像符号化データ、右画像の動きベクトル、差画像及び変移ベクトルを受信し、左画像符号化データを利用して左画像を復元し、復元された左画像情報、右画像の動きベクトル、差画像及び変移ベクトルを利用して右画像を補償及び復元する。

しかし、このような従来のステレオ動画像符号化装置においては、左画像符号化データと右画像符号化データ（右画像の動きベクトル、差画像及び変移ベクトル）とを全て伝送しなければならないため、既存の２次動画像符号化の場合より伝送すべきデータ量が増加して、既存の伝送線路上の伝送率及び処理速度では円滑に処理できないという不都合な点があった。且つ、多視点動画像の場合、データの増加量がより多くなるという問題点があった。
特開２００３−５２３６５３号公報

本発明は、このような従来の問題点に鑑みてなされたもので、データ量の多い動画像を符号化するとき、デジタルウォーターマーキングにより符号化情報を画像に挿入することで圧縮率を高めることができ、且つ従来の動画像符号化／復号化装置と互換可能なデジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法を提供することを目的とする。

このような目的を達成するため、本発明の請求項１に係るデジタルウォーターマーキングを利用した動画像符号化／復号化装置においては、第１動画像の符号化情報をデジタルウォーターマークの形態で第２動画像に挿入し、前記第２動画像を動き補償により符号化する動画像符号化装置と、前記動画像符号化装置から送信された第２動画像符号化データから前記デジタルウォーターマークを抽出して前記第２動画像を復号し、前記抽出されたデジタルウォーターマークを利用して第１動画像を動き補償復号する動画像復号化装置とを包含して構成され、前記動画像符号化装置は、前記第１動画像の動きベクトルと、前記第１動画像と第２動画像間の変移ベクトルとをデジタルウォーターマークに設定し、前記デジタルウォーターマークを前記第２動画像に挿入するウォーターマーク挿入部と、前記デジタルウォーターマークが挿入された第２動画像を符号化する動き補償エンコーダとを包含して構成され、前記動画像符号化装置は、ステレオ動画像処理を実行する場合に、第１動画像を右画像、第２動画像を左画像とすると、前記右画像の符号化情報がデジタルウォーターマークの形態で挿入された前記左画像を符号化し、前記動画像符号化装置は、 前記右画像の動きを推定して第１動きベクトルを出力する第１動き推定部と、前記左画像の動きを推定して第２動きベクトルを出力する第２動き推定部と、前記右画像と前記左画像間の変移推定を行って変移ベクトルを出力する変移推定部をさらに備え、前記ウォーターマーク挿入部は、前記第１動きベクトル及び前記変移ベクトルを前記デジタルウォーターマークに設定し、該デジタルウォーターマークは、前記左画像が符号化されるとき、予め設定された挿入位置に挿入され、前記動き補償エンコーダは、前記デジタルウォーターマークが挿入された前記左画像を前記第２動きベクトルを利用して符号化することで前記左画像符号化データを出力する、ことを特徴とする。

また請求項２に係り、前記第１動画像は、第１カメラにより獲得された動画像、前記第２動画像は、第２カメラにより獲得された動画像で、前記第１及び第２動画像は、一視点（ｏｎｅ ｖｉｅｗｐｏｉｎｔ）を有するステレオ動画像を構成することを特徴とする。
また請求項３に係り、前記第１動画像は、多視点立体動画像を構成する動画像中の一つで、前記第２動画像は、前記多視点立体動画像を構成する動画像中の他の一つであることを特徴とする。

また請求項４に係り、前記第１動画像の符号化情報は、前記第１動画像の動きベクトルと、前記第１動画像と第２動画像間の変移ベクトルとを包含することを特徴とする。
また請求項５に係り、前記動画像符号化装置は、前記第１画像の動きを推定して第１動きベクトルを出力する第１動き推定部と、前記第２画像の動きを推定して第２動きベクトルを出力する第２動き推定部と、前記第１画像と第２画像間の変移推定を行って変移ベクトルを出力する変移推定部とを更に包含して構成されることを特徴とする。

また請求項６に係り、前記動画像復号化装置は、前記第２動画像符号化データを動き補償により復号化する動き補償デコーダと、前記動き補償デコーダで復号化されたフレームの所定の位置からデジタルウォーターマークを抽出し、前記抽出されたデジタルウォーターマークから前記第１動画像の動きベクトル及び変移ベクトルを決定するウォーターマーク抽出部と、前記第１動画像の動きベクトル、変移ベクトル及び復号化された第２動画像を利用して前記第１動画像を復号化する動き／変移補償デコーダとを包含して構成されることを特徴とする。
また請求項７に係り、前記デジタルウォーターマークの所定の位置は、前記動画像符号化装置及び動画像復号化装置が相互に知っていることを特徴とする。
また好ましくは請求項８に係り、前記デジタルウォーターマークの所定の位置は、前記デジタルウォーターマークの損失率が最小の位置に設定されることを特徴とする。

又このような目的を達成するため、本発明の請求項９に係るデジタルウォーターマーキングを利用した動画像符号化／復号化方法においては、一つのカメラにより獲得された第１動画像の符号化情報をデジタルウォーターマークに設定する段階と、他の一つのカメラにより獲得された第２動画像にデジタルウォーターマーキングをする段階と、前記デジタルウォーターマーキングされた第２動画像を動き補償符号化する段階と、前記符号化された第２動画像を送信する段階と、前記送信された第２動画像を動き補償復号する段階とを順次行うことを特徴とする。
また請求項１０に係り、前記一つのカメラにより獲得された第１動画像は、多視点立体動画像を構成する画像中の一つで、前記他の一つのカメラにより獲得された第２動画像は、前記多視点立体動画像を構成する画像中の他の一つであることを特徴とする。
又好ましくは請求項１１に係り、前記一つのカメラにより獲得された第１動画像は、一視点を有するステレオ動画像を構成する右画像で、前記他の一つのカメラにより獲得された第２動画像は、一視点を有するステレオ動画像を構成する左画像であることを特徴とする。
また請求項１２に係り、前記第１動画像の符号化情報は、前記第１動画像の動きベクトルと、前記第１動画像と第２動画像間の変移ベクトルとを包含することを特徴とする。
また請求項１３に係り、前記デジタルウォーターマーキングをする段階は、前記設定されたデジタルウォーターマークのビットパターンを所定の挿入位置に挿入することを特徴とする。
また請求項１４に係り、前記動き補償復号する段階は、前記送信された第２動画像を復号する段階と、前記復号された第２動画像フレームの前記所定の位置からデジタルウォーターマークを抽出する段階と、前記抽出されたデジタルウォーターマークから前記第２動画像の動きベクトル及び変移ベクトルを決定する段階と、前記決定された動きベクトル、変移ベクトル及び復号された第２動画像を利用して前記第１動画像を復号する段階とを順次行うことを特徴とする。

本発明に係るデジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法においては、一つのカメラにより獲得された画像の符号化情報（動きベクトル及び変移ベクトル）をデジタルウォーターマークの形態で、他のカメラにより獲得された画像に挿入して送信することで、一つのカメラにより獲得された画像の符号化量だけで立体動画像の符号化を行えるという効果がある。

又、本発明に係るデジタルウォーターマーキングを利用した動画像復号化装置及びその方法においては、一つのカメラにより獲得された画像の符号化データが受信されると、前記受信された画像符号化データからデジタルウォーターマークを抽出して立体動画像を復号できるという効果がある。

又、本発明に係るデジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法においては、従来の２次元動画像符号化／復号化装置と互換可能であるという効果がある。

又、本発明は従来の２次元動画像符号化／復号化の場合と殆ど同等のデータ量で符号化／復号化が可能であるという効果がある。

又、本発明はステレオ動画像のみならず、多視点動画像を符号化／復号化する場合も、従来の動画像符号化／復号化方法に比べてデータ量の減少が大きいという効果がある。

以下、本発明の実施の形態について、図面に基づいて説明する。

最初に、デジタルウォーターマーキングについて説明する。

最近、コンピュータ通信、インターネットのようなネットワークの急速な発展及びデジタルデータの増加により、知的所有権の不法複製問題が大きく浮び上がっているため、所有権者の同意のない不法複製を防止して所有権を効果的に保護するための知的財産権及び著作権の保護技術として、デジタルウォーターマーキング（ｄｉｇｉｔａｌ ｗａｔｅｒｍａｒｋｉｎｇ）技術に関する研究が行われている。

ここで、デジタルウォーターマークとは、デジタル形式の知的財産に対する著作権の保護を提供するため、そのデジタル形式の知的財産に挿入されるもので、例えば、デジタルイメージ、オーディオ及びビデオファイルに挿入されたビットパターンをいう。

前記デジタルウォーターマークは、知的財産権及び著作権の保護に効率的に利用するため、不可視性（ｉｎｖｉｓｉｂｉｌｉｔｙ）、ロバスト性（ｒｏｂｕｓｔｎｅｓｓ）、明確性（ｕｎａｍｂｉｇｕｉｔｙ）等の特性を備えなければならない。
ここで、不可視性とは、挿入（ｅｍｂｅｄｄｅｄ）後にも原本の変化が殆どなくて、ウォーターマークが挿入されているか、否かを感知できない特性をいい、ロバスト性とは、ウォーターマークを信号の重要な部分に挿入することで、様々な形態の変形や攻撃にも抽出できる特性をいう。
且つ、明確性とは、抽出されたウォーターマークが所有権を確実に主張できるように正確性を維持する特性をいう。

又、デジタルウォーターマーキング方法は、空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）における方法と周波数領域（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）における方法とに大別される。

ここで、前記空間領域におけるデジタルウォーターマーキング方法は、変換式を使用せず画像の画素値を直接的に変換させることでウォーターマークを挿入する方法で、画像の変形や雑音等の攻撃に弱いという欠点がある。

又、周波数領域におけるデジタルウォーターマーキング方法は、周波数の係数を変化させることでウォーターマークを挿入する方法で、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を利用する場合は、周波数領域の重要な係数を抽出してその係数にウォーターマークを挿入し、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用する場合は、位相にウォーターマークを挿入する。

本発明は、デジタルファイルに挿入されて伝送されるデジタルウォーターマークを動画像の符号化に適用することで、一方側の画像（一方側のカメラにより獲得された画像）の符号化情報が他方側の画像（他方側のカメラにより獲得された画像）に挿入されて伝送される。

図１は本発明に係るデジタルウォーターマーキングを利用した動画像符号化装置の構成を示したブロック図で、図示したように、本発明に係るデジタルウォーターマーキングを利用した動画像符号化装置においては、第１画像フレームの動きを推定して第１動きベクトル１０５を出力する第１動き推定部１００と、第２画像フレームの動きを推定して第２動きベクトルを出力する第２動き推定部１１０と、前記第１動き推定部１００の第１画像と前記第２動き推定部１１０の第２画像間の変移推定を行って変移ベクトル１２５を出力する変移推定部１２０と、前記第１動きベクトル１０５及び変移ベクトル１２５をデジタルウォーターマークに設定し、前記設定されたデジタルウォーターマーク１３５を前記第２画像の符号化時に挿入するウォーターマーク挿入部（ｗａｔｅｒｍａｒｋ ｅｍｂｅｄｄｉｎｇ ｕｎｉｔ）１３０と、前記第２動きベクトルを利用して前記第２画像を符号化することで第２画像符号化データ１４５を出力する動き補償エンコーダ（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｅｎｃｏｄｅｒ）１４０とを包含して構成されている。

以下、このように構成された本発明に係るデジタルウォーターマーキングを利用した動画像符号化装置の動作について説明する。

本発明に係る動画像符号化装置は、第１画像（第１カメラにより獲得された画像）の符号化情報、即ち、前記変移ベクトル１２５及び第１動きベクトル１０５をデジタルウォーターマークに設定し、前記設定されたデジタルウォーターマークを前記第２画像（第２カメラにより獲得された画像）に挿入し、前記デジタルウォーターマーキングされた第２画像を符号化する。

説明の便宜のため、ステレオ動画像を例に挙げて説明すると、第１画像は右画像、第２画像は左画像に該当する。

又、前記第１動き推定部１００は、右画像フレームの動きを推定して第１動きベクトル１０５を出力し、前記第２動き推定部１１０は、左画像フレームの動きを推定して第２動きベクトルを出力し、前記変移推定部１２０は、前記右画像フレームと左画像フレーム間の変移推定を行って変移ベクトル１２５を出力する。

又、ウォーターマーク挿入部１３０は、前記第１動きベクトル１０５及び変移ベクトル１２５をデジタルウォーターマークに設定し、前記デジタルウォーターマークは、左画像が符号化されるとき、予め設定された挿入位置に挿入される。

又、動き補償エンコーダ１４０は、デジタルウォーターマークが挿入された左画像を前記第２動きベクトルを利用して符号化することで左画像符号化データ１４５を出力する。即ち、本発明に係る動画像符号化装置は、右画像の符号化情報がデジタルウォーターマークの形態で挿入された左画像を符号化することで左画像符号化データを送信する。

以下、ウォーターマーク挿入部１３０の動作についてより詳細に説明する。

ウォーターマーク挿入部１３０は、左画像に挿入されるデジタルウォーターマークの位置を予め設定し、前記設定されたデジタルウォーターマークの位置は、動画像符号化装置及び動画像復号化装置が、相互に予め知っているべきである。

例えば、周波数領域におけるデジタルウォーターマーキング方法の場合は、画像データを周波数帯域別に分離するとき（例えば、ＤＦＴを使用するとき）、中周波数帯域に挿入されたデジタルウォーターマークが比較的全ての攻撃（例えば、損失圧縮、雑音、対比変化、明るさの変化等）に対してロバスト性を有するようにするため、デジタルウォーターマークは、主に画像データの中周波数帯域（ｍｉｄｄｌｅ ｆｒｅｑｕｅｎｃｙ ｂａｎｄ）に挿入される。即ち、デジタルウォーターマークの挿入位置は、損失率の少ない位置に設定される。

次いで、所定の大きさのブロック（ｂｌｏｃｋ；Ｎ＊Ｍの大きさを有する）に分割された左画像データにおけるデジタルウォーターマークの挿入位置が設定されると、ウォーターマーク挿入部１３０は、デジタルウォーターマークの該当ビットを設定された位置に挿入する。次いで、動き補償エンコーダ１４０は、所定の位置にデジタルウォーターマークが挿入された左画像データを符号化する。

このようにデジタルウォーターマーキングを利用した動画像符号化は、右画像の符号化情報が左画像に挿入されて伝送されることで、データ量を増加することなく、符号化された動画像データを效果的に送信することができる。

図２は本発明に係るデジタルウォーターマーキングを利用した動画像復号化装置の構成を示したブロック図で、図示したように、第２画像符号化データを動き補償して復号化する動き補償デコーダ（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｄｅｃｏｄｅｒ）２００と、前記動き補償デコーダ２００で復号化された各フレームの所定の位置からデジタルウォーターマークを抽出し、前記抽出されたデジタルウォーターマークから第１画像の動きベクトル及び変移ベクトルを決定するウォーターマーク抽出部２１０と、前記第１画像の動きベクトル、変移ベクトル及び復号化された第２画像を利用して前記第１画像を復号化する動き／変移補償デコーダ２２０とを包含して構成されている。

以下、このように構成された本発明に係るデジタルウォーターマーキングを利用した動画像復号化装置の動作について説明する。

説明の便宜のため、ステレオ動画像を復号化する場合を例に挙げて説明すると、第１画像は右画像、第２画像は左画像に該当する。

ステレオ動画像の復号機能が支援されない２次元動画像を復号する復号装置に、右画像の符号化情報がデジタルウォーターマークに挿入された左画像符号化データが受信されると、前記従来の動画像復号化装置はモノモードで左画像のみを復号するため、本発明は従来の動画像復号化装置と互換が可能である。

本発明に係る動画像復号化装置は、右画像の符号化情報がデジタルウォーターマークに挿入された左画像符号化データが受信されると、前記動画像復号化装置の動き補償デコーダ２００は左画像を復号する。
ここで、ステレオ動画像復号機能がある場合は、ウォーターマーク抽出部２１０は、前記左画像の復号段階で復号されたフレームの所定の位置からデジタルウォーターマークを抽出し、前記抽出されたデジタルウォーターマークから右画像の符号化情報、即ち、動きベクトル及び変移ベクトルを決定する。
その後、動き／変移補償デコーダ２２０は、前記動きベクトル、変移ベクトル及び動き補償デコーダ２００で復号された左画像を利用して右画像を復号することで、ステレオ動画像が復元される。

図３の（Ｂ）を参照して多視点動画像を符号化する方法を説明する。

例えば、周波数領域におけるデジタルウォーターマーキング方法を利用する場合、ブロック単位で画像の符号化情報の抽出及びデジタルウォーターマーキングが行われる。

第１画像（第１カメラ１１により獲得された画像）２１の符号化情報（動きベクトル及び変移ベクトル）は第２画像（第２カメラ１２により獲得された画像）２２にデジタルウォーターマークの形態で挿入されて第２画像２２が符号化される。
且つ、第３画像（第３カメラ１３により獲得された画像）２３の符号化情報は第４画像（第４カメラ１４により獲得された画像）２４にデジタルウォーターマークの形態で挿入されて第４画像２４が符号化される。
従って、多視点立体動画像が第１、第２、第３及び第４画像から構成された場合、第１乃至第４画像の符号化データを全て送信することなく、第２及び第４画像の符号化データのみを送信すれば良い。

又、デジタルウォーターマークが挿入された第２及び第４画像符号化データが受信されると、本発明に係る動画像復号化装置は、第２画像符号化データからデジタルウォーターマークを抽出して第２及び第１画像を復号し、第４画像符号化データからデジタルウォーターマークを抽出して第４及び第３画像を復号する。
従って、本発明に係る動画像復号化装置は、第１乃至第４画像を利用して多視点立体動画像を復号することができる。

なお本発明は、上述の実施例に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

本発明に係るデジタルウォーターマーキングを利用した動画像符号化装置の構成を示したブロック図である。 本発明に係るデジタルウォーターマーキングを利用した動画像復号化装置の構成を示したブロック図である。 立体動画像を獲得する一般的方法を示した説明図であって、（Ａ）は一視点を有するステレオ動画像の場合、（Ｂ）は多視点を有する立体動画像の場合である。 従来のステレオ動画像の変移及び動き推定方法を示した説明図である。 従来のステレオ動画像符号化装置の構成を示したブロック図である。

符号の説明

１、３：カメラ
５、７：画像
１１〜１４：カメラ
２１〜２４：画像
３０：第１動き推定部
３２：第２動き推定部
３４：変移推定部
３６：動き補償エンコーダ
３８：動き／変移補償エンコーダ
４１：動きベクトル
４２：変移ベクトル
４３：左画像符号化データ
４４：右画像符号化データ（ベクトル情報）
１００：第１動き推定部
１１０：第２動き推定部
１２０：変移推定部
１３０：ウォーターマーク挿入部
１４０：動き補償エンコーダ
１０５：第１動きベクトル
１２５：変移ベクトル
１３５：デジタルウォーターマーク
１４５：第２画像符号化データ
２００：動き補償デコーダ
２１０：ウォーターマーク抽出部
２２０：動き／変移補償デコーダ

Claims (14)

1. 第１動画像の符号化情報をデジタルウォーターマーク（ｄｉｇｉｔａｌ ｗａｔｅｒｍａｒｋ）の形態で第２動画像に挿入し、前記第２動画像を動き補償により符号化する動画像符号化装置と、
   前記動画像符号化装置から送信された第２動画像符号化データから前記デジタルウォーターマークを抽出して前記第２動画像を復号し、前記抽出されたデジタルウォーターマークを利用して第１動画像を動き補償復号する動画像復号化装置とを包含して構成され、
   前記動画像符号化装置は、
   前記第１動画像の動きベクトルと、前記第１動画像と第２動画像間の変移ベクトルとをデジタルウォーターマークに設定し、前記デジタルウォーターマークを前記第２動画像に挿入するウォーターマーク挿入部と、
   前記デジタルウォーターマークが挿入された第２動画像を符号化する動き補償エンコーダとを包含して構成され、
   前記動画像符号化装置は、ステレオ動画像処理を実行する場合に、第１動画像を右画像、第２動画像を左画像とすると、
   前記右画像の符号化情報がデジタルウォーターマークの形態で挿入された前記左画像を符号化し、
   前記動画像符号化装置は、
   前記右画像の動きを推定して第１動きベクトルを出力する第１動き推定部と、
   前記左画像の動きを推定して第２動きベクトルを出力する第２動き推定部と、
   前記右画像と前記左画像間の変移推定を行って変移ベクトルを出力する変移推定部をさらに備え、
   前記ウォーターマーク挿入部は、前記第１動きベクトル及び前記変移ベクトルを前記デジタルウォーターマークに設定し、該デジタルウォーターマークは、前記左画像が符号化されるとき、予め設定された挿入位置に挿入され、
   前記動き補償エンコーダは、前記デジタルウォーターマークが挿入された前記左画像を前記第２動きベクトルを利用して符号化することで前記左画像符号化データを出力する、
   ことを特徴とするデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
2. 前記第１動画像は、第１カメラにより獲得された動画像、前記第２動画像は、第２カメラにより獲得された動画像で、前記第１及び第２動画像は、一視点（ｏｎｅ ｖｉｅｗｐｏｉｎｔ）を有するステレオ動画像を構成することを特徴とする請求項１に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
3. 前記第１動画像は、多視点立体動画像を構成する動画像中の一つで、前記第２動画像は、前記多視点立体動画像を構成する動画像中の他の一つであることを特徴とする請求項１に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
4. 前記第１動画像の符号化情報は、
   前記第１動画像の動きベクトルと、前記第１動画像と第２動画像間の変移ベクトルとを包含することを特徴とする請求項１に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
5. 前記動画像符号化装置は、
   前記第１動画像の動きを推定して第１動きベクトルを出力する第１動き推定部と、
   前記第２動画像の動きを推定して第２動きベクトルを出力する第２動き推定部と、
   前記第１動画像と第２動画像間の変移推定を行って変移ベクトルを出力する変移推定部とを更に包含して構成されることを特徴とする請求項４に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
6. 前記動画像復号化装置は、
   前記第２動画像符号化データを動き補償により復号化する動き補償デコーダと、
   前記動き補償デコーダで復号化されたフレームの所定の位置からデジタルウォーターマークを抽出し、前記抽出されたデジタルウォーターマークから前記第１動画像の動きベクトル及び変移ベクトルを決定するウォーターマーク抽出部と、
   前記第１動画像の動きベクトル、変移ベクトル及び復号化された第２動画像を利用して前記第１動画像を復号化する動き／変移補償デコーダとを包含して構成されることを特徴とする請求項１に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
7. 前記デジタルウォーターマークの所定の位置は、前記動画像符号化装置及び動画像復号化装置が相互に知っていることを特徴とする請求項６に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
8. 前記デジタルウォーターマークの所定の位置は、前記デジタルウォーターマークの損失率が最小の位置に設定されることを特徴とする請求項７に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化装置。
9. 一つのカメラにより獲得された第１動画像の符号化情報をデジタルウォーターマークに設定する段階と、
   他の一つのカメラにより獲得された第２動画像にデジタルウォーターマーキングをする段階と、
   前記デジタルウォーターマーキングされた第２動画像を動き補償符号化する段階と、
   前記符号化された第２動画像を送信する段階と、
   前記送信された第２動画像を動き補償復号する段階とを順次行うことを特徴とするデジタルウォーターマーキングを利用した動画像符号化／復号化方法。
10. 前記一つのカメラにより獲得された第１動画像は、多視点立体動画像を構成する画像中の一つで、前記他の一つのカメラにより獲得された第２動画像は、前記多視点立体動画像を構成する画像中の他の一つであることを特徴とする請求項９に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化方法。
11. 前記一つのカメラにより獲得された第１動画像と、前記他の一つのカメラにより獲得された第２動画像がステレオ動画像である場合、前記第１動画像は右画像で、前記第２動画像が左画像であることを特徴とする請求項９に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化方法。
12. 前記第１動画像の符号化情報は、
    前記第１動画像の動きベクトルと、前記第１動画像と第２動画像間の変移ベクトルとを包含することを特徴とする請求項９に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化方法。
13. 前記デジタルウォーターマーキングをする段階は、
    前記設定されたデジタルウォーターマークのビットパターンを所定の挿入位置に挿入することを特徴とする請求項９に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化方法。
14. 前記第２動画像を動き補償復号する段階は、
    前記送信された第２動画像を復号する段階と、
    前記復号された第２動画像フレームの前記所定の位置からデジタルウォーターマークを抽出する段階と、
    前記抽出されたデジタルウォーターマークから前記第２動画像の動きベクトル及び変移ベクトルを決定する段階と、
    前記決定された動きベクトル、変移ベクトル及び復号された第２動画像を利用して前記第１動画像を復号する段階とを順次行うことを特徴とする請求項９に記載のデジタルウォーターマーキングを利用した動画像符号化／復号化方法。

Images