JP4613453B2 - 動画像符号化システム、動画像符号化方法およびプログラム - Google Patents
動画像符号化システム、動画像符号化方法およびプログラム Download PDFInfo
- Publication number
- JP4613453B2 JP4613453B2 JP2001202369A JP2001202369A JP4613453B2 JP 4613453 B2 JP4613453 B2 JP 4613453B2 JP 2001202369 A JP2001202369 A JP 2001202369A JP 2001202369 A JP2001202369 A JP 2001202369A JP 4613453 B2 JP4613453 B2 JP 4613453B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- control map
- image
- image objects
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人物や背景などオブジェクト単位で動画像を符号化するシステムおよび方法ならびにそのような符号化を実行するためのプログラムに関する。
【０００２】
【従来の技術】
最近、画像圧縮方式の１つであるＭＰＥＧ−４（Moving Picture Experts Group Phase 4）が注目を浴びている。このＭＰＥＧ−４は、有線、無線を問わず、種々のネットワークを介した動画通信が可能であり、その特徴の１つに、人物や背景などのオブジェクト単位での動画像の符号化がある。
【０００３】
動画像をオブジェクト単位で符号化する場合、１つの画像から抽出された複数のオブジェクトを符号化するシステムと、別々に撮影された画像からそれぞれ抽出された複数のオブジェクトを符号化を行うシステムとがある。ここでは、後者の別々に取得した複数の画像オブジェクトをそれぞれ符号化する方式について説明する。
【０００４】
特開２０００−７８５７２号公報には、背景用と目的物用の撮像装置を別個にし、それぞれの撮像装置から得られる背景画像、目的物画像からそれぞれ背景オブジェクト、目的物オブジェクトを抽出して符号化する方式が記載されている。図９は、その公報に記載されている伝送システムを説明するためのブロック図である。
【０００５】
図９を参照すると、第１のテレビカメラで撮影した目的物画像１１０１についてオブジェクト生成部１１０２で領域抽出が行われる。この領域抽出では、目的物画像１１０１からシーン毎に人物などの目的物オブジェクト（図９中、オブジェクト１で表わされている。）の切り出しが行われる。他方、第２のテレビカメラで撮像された背景画像１１１２はそのまま背景オブジェクト（図９中、オブジェクト２で表わされている。）となる。
【０００６】
目的物オブジェクト、背景オブジェクトはそれぞれ別々に符号化され、多重化部１１０４に入力される。図９の例では、目的物オブジェクトの符号化データ１１０３ａと、背景オブジェクトの符号化データ１１０３ｂが多重化部１１０４に入力されている。
【０００７】
多重化部１１０４では、その入力された符号化データ１１０３ａ、１１０３ｂが多重化され、この多重化された符号化データがビットストリューム１１０５のデータ形式で通信回線１１０６を介して受信側の多重分離部１１０７に伝送される。この伝送の際、各オブジェクトの配置・形状情報も符号化データと一緒に伝送される。
【０００８】
受信側では、通信回線１１０６を介して受信した、符号化データ１１０３ａ、１１０３ｂの多重化データは多重分離部１１０７で各オブジェクト毎に分離され、それぞれ復号化部にて目的物オブジェクト（オブジェクト１）の復号化データ１１０８ａと背景オブジェクト（オブジェクト２）の復号化データ１１０８ｂとして復号化される。各復号化データ１１０８ａ、１１０８ｂはコンボジター部１１０９で画面上の各オブジェクトの配置位置（元の配置位置）などを考慮して合成され、表示部で再現画像１１１０として表示される。
【０００９】
上記の伝送システムの場合、背景動画像を目的物動画像より解像度を下げて送ることにより、伝送容量を低減させることができる。また、テレビ会議のように背景に変化を伴わない場合は、背景画像１１１２の画像データの伝送はその都度行う必要はなく、受信側で、最初に受信した背景画像を以降のオブジェクト合成に用いることも可能である。この場合は、背景動画像を送らない分だけ、トータル的な伝送容量を低減することが可能である。
【００１０】
上述したような伝送システムにおいて、各オブジェクトの符号化データを一定レートの伝送路で送る場合、通常は、符号化器の最終段にバッファが設けられ、このバッファに蓄積された符号化データが一定のレートで読み出されて伝送路に送り出される。このようなシステムでは、符号化遅延の問題からバッファの容量に限りがあることから、符号化器から大量の情報が発生するとオーバーフローする危険性がある。このオーバーフローを回避するために、通常は、各オブジェクトの発生符号量を調節したり、バッファに蓄積される符号化データをフレームスキップ（コマ落とし）したりして、レート制御を行う。
【００１１】
図１０に、オブジェクト単位での動画像の符号化を行う、レート制御可能な従来の動画像符号化システムの一例を示す。この動画像符号化システムは、ｎ個のオブジェクトからなる動画像を符号化するシステムであって、オブジェクト１，．．．，ｎのそれぞれに対応して設けられたｎ個の符号化器１００１−１，１００１−２，．．．，１００１−ｎと、レート制御部１０１０とからなる。
【００１２】
レート制御部１０１０は、各符号化器１００１−１〜１００１−ｎの目標符号量をそれぞれ決定する。符号化器１００１−１，１００１−２，．．．，１００１−ｎにはそれぞれ、オブジェクト１，．．．，ｎのテクスチャデータおよび形状データが入力されている。
【００１３】
各符号化器１００１−１〜１００１−ｎはそれぞれ、入力されたオブジェクトのテクスチャデータおよび形状データを周知の技術である動き補償とＤＣＴ変換を用いて符号化する構造になっており、その符号化の際の発生符号量がレート制御部１０１０から与えられた目標符号量となるように制御される。各符号化器１００１−１〜１００１−ｎからは符号化データが出力（第１の出力）されるとともに、符号化に際して用いられ、あるいは、生じた情報であるレート制御パラメータが出力（第２の出力）される。この第２の出力のレート制御パラメータはレート制御部１０１０へ供給され、目標符号量を決定するために用いられる。
【００１４】
レート制御パラメータは、符号化で用いられたパラメータや符号化に付随して生じる情報で、レート制御に用いられる情報の総称である。上述の特開２０００-９２４８９号公報には、レート制御パラメータとして、局所復号画像のＳＮＲ（Signal to Noise Ratio）、発生符号量、オブジェクト間で輪郭が接触しているか否かを表す情報を用いることが記載されている。図１０の例でも、同様の情報がレート制御パラメータとして用いられる。
【００１５】
次に、この動画像符号化システムの動作について説明する。
【００１６】
符号化器１００１−１，１００１−２，．．．，１００１−ｎにオブジェクト１，．．．，ｎのテクスチャデータおよび形状データがそれぞれ入力される。各符号化器１００１−１〜１００１−ｎは、入力されたオブジェクトのテクスチャデータおよび形状データを符号化してオブジェクト符号列を生成し出力すると同時に、次回の符号化の際のレート制御に必要なパラメータを算出し、その算出したレート制御パラメータをレート制御部１０１０に対して出力する。最初の時点では、レート制御部１０１０から各符号化器１００１−１〜１００１−ｎへの目標符号量の供給はなされていないため、各符号化器１００１−１〜１００１−ｎでは、その発生符号量が予め設定された目標符号量（各符号化器毎に任意に設定可能）となるように制御される。
【００１７】
レート制御部１０１０は、各符号化器１００１−１〜１００１−ｎから入力されたレート制御パラメータに基づいて各オブジェクトの符号化の目標符号量を算出する。そして、レート制御部１０１０は、その算出した目標符号量をそれぞれ対応する符号化器へ供給する。この目標符号量の算出において、レート制御部１０１０は、発生符号量と符号化レートの比で表される符号化率と局所復号画像のＳＮＲとの関係を用い、こま落としをするか否かと各オブジェクトの目標符号量とを決定する。こま落しの制御において、オブジェクト間で輪郭が接触しているものについては同時にこま落しが起きるように制御することで、視覚的な劣化を抑えられる。
【００１８】
レート制御部１０１０から目標符号量が供給されてからは、各符号化器１００１−１〜１００１−ｎでは、入力されたオブジェクトのテクスチャデータおよび形状データを符号化するに際して、その発生符号量がレート制御部１０１０から供給された目標符号量となるように符号化制御が行われる。
【００１９】
図１１に、フレーム単位にオブジェクト符号化が行われる場合の、目標符号量の生成を模式的に示す。この図１１から分かるように、現フレームに関するオブジェクトのテクスチャデータおよび形状データを符号化する際の目標符号量は、その前に符号化されるフレームに関するオブジェクトのテクスチャデータおよび形状データを符号化する際に算出されたレート制御パラメータから取得した目標符号量が用いられる。
【００２０】
なお、図１０には示されていないが、各符号化器１００１−１〜１００１−ｎはそれぞれ、符号化したデータを復号化（逆ＤＣＴ変換）して元のデータに戻す機能を有しており、この復号化データがレート制御部１０１０へ供給される。レート制御部１０１０では、その供給された復号化データから局所復号画像のＳＮＲ、すなわち各オブジェクト毎の優先度に応じた個別の画質とフレーム全体の画質バランスとの比が得られるようになっている。
【００２１】
複数のオブジェクト間でレート制御を行う方式としては、上記の他に、特開２０００−５０２５４号公報や文献「１９９９年２月，アイ・イー・イー・イー・トランザクションズ・オン・サーキッツ・アンド・システムズ・フォー・ビデオ・テクノロジー，第ＣＳＶＴ−９巻，第１号，１８６〜１９９頁（IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. CSVT-9, NO. 1, FEBRUARY, 1999）」によって開示されているような方式もある。この方式では、各オブジェクトの符号量、動き補償予測誤差電力、サイズ、動き情報がレート制御パラメータとして用いられる。そして、各フレームにおいて全オブジェクトに割り当てる符号量を、前のフレームにおける発生符号量の総和から決定し、これをサイズ、動き情報、動き補償予測誤差電力の線形和で与えられる指標に従って各オブジェクトに配分する。このようにして、複数オブジェクト間でのレート制御を実現する。
【００２２】
【発明が解決しようとする課題】
しかしながら、上述した従来の符号化手法においては、各符号化器への目標符号量の配分に際して各オブジェクト間でのバランスが考慮されるようになっているものの、符号化に際しては各オブジェクトを独立に符号化しているだけ、オブジェクト間の関係は考慮されていない。このため、以下のような問題がある。
【００２３】
例えば、あるカメラで撮像された画像から抽出した第１のオブジェクトの一部の領域が別のカメラで撮像された画像から抽出した第２のオブジェクトの一部の領域によって隠蔽されるような場合（例えば、図９の再現画像１１１０におけるオブジェクト１とオブジェクト２の重なり）、第１のオブジェクトの隠蔽領域の符号化データは合成時には必要なくなる。しかしながら、従来の場合は、第１のオブジェクトの隠蔽領域も他の領域と同様に符号化されてしまうため、第１のオブジェクトに関する発生符号量は、隠蔽領域を符号化しない場合と比べて、その隠蔽領域に割り当てられる分だけ減ることとなる。このため、低レートにおいては画質が大きく劣化する場合がある。
【００２４】
本発明の主な目的は、上記問題を解決し、画質の維持が困難な低レートの状況下であっても、主観画質を向上できる複数オブジェクトの符号化システムおよび符号化方法を提供することにある。
【００２５】
本発明のさらなる目的は、そのようなオブジェクト符号化を実現することのできるプログラムを提供することにある。
【００２６】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像符号化システムは、合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行うことを特徴とする。前記符号化制御マップ作成手段は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成する。
【００２７】
本発明の動画像符号化方法は、合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する方法であって、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップとを含むことを特徴とする。前記第１のステップは、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成するステップを含む。
【００２８】
本発明のプログラムは、合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理とをコンピュータに実行させることを特徴とする。前記第１の処理は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成する処理を含む。
【００２９】
上記のとおりの本発明においては、複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成し、このオブジェクト符号化制御マップに従って符号化が行われる。この構成によれば、例えば、あるカメラで撮像された画像から抽出した第１のオブジェクトの一部の領域が別のカメラで撮像された画像から抽出した第２のオブジェクトの一部の領域によって隠蔽されるような場合に、第１のオブジェクトの隠蔽領域については、符号化を行わない、または、他の領域より符号化を粗く行う、といった符号化制御が可能である。このため、第１のオブジェクトに関する発生符号量の割り当てについては、隠蔽領域を他の領域と同様に符号化してしまう従来の場合と比べて、その隠蔽領域の符号化を粗くした分、または、符号化しないようにした分だけ多くすることができる。
【００３０】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００３１】
図２は、本発明の動画像符号化システムの全体の構成を示すブロック図である。この動画像符号化システムは、複数の画像取得部１１−１〜１１−ｎ、複数のオブジェクト抽出部１２−１〜１２−ｎ、複数の蓄積部１３−１〜１３−ｎ、オブジェクト符号化部１４、多重伝送部１５、合成情報生成部１６、合成情報符号化部１７からなる。
【００３２】
各画像取得部１１−１〜１１−ｎはそれぞれ撮影カメラを備え、該撮影カメラにて撮影された画像をフレーム単位で出力する。画像取得部１１−１，．．．，〜１１−ｎの出力はオブジェクト抽出部１２−１，．．．，１２−ｎにそれぞれ供給される。
【００３３】
各オブジェクト抽出部１２−１〜１２−ｎはそれぞれ、入力画像データに対して輪郭抽出などの周知のオブジェクト抽出を行い、その抽出したオブジェクトの画像内容を表わすテクスチャデータおよびその形状を表わす形状データを出力するとともに、そのオブジェクトが画面のどの位置に存在したか（または、オブジェクトの３次元空間内での存在位置）を表わす位置情報を出力する。オブジェクト抽出部１２−１，．．．，１２−ｎの出力（テクスチャデータ、形状データおよび位置情報）は蓄積部１３−１，．．．，１３−ｎにそれぞれ格納される。
【００３４】
各蓄積部１３−１〜１３−ｎの出力のうちオブジェクトのテクスチャデータおよび形状データはオブジェクト符号化部１４に供給され、位置情報は合成情報生成部１６に供給される。オブジェクト符号化部１４には、オブジェクトのテクスチャデータおよび形状データの他に、合成情報生成部１６で生成された合成情報が供給される。
【００３５】
オブジェクト符号化部１４は、本発明の最も特徴的な部分であって、オブジェクト毎に符号化を行うように構成されている。このオブジェクト符号化部１４は、詳しくは後述するが、一定レートでの通信が可能なように、符号化に際して各オブジェクト毎に発生符号量が制限されるとともに、各オブジェクト間の関係を考慮した符号化が行われる。
【００３６】
合成情報生成部１６で生成された合成情報は、オブジェクト符号化部１４に供給されるとともに合成情報符号化部１７にも供給される。合成情報符号化部１７は、入力された合成情報を符号化する。
【００３７】
多重化伝送部１５は、オブジェクト符号化部１４からの各オブジェクトの符号化データおよび合成情報符号化部１７からの合成情報の符号化データがそれぞれ供給されており、これら符号化データを多重化した符号化列（多重化符号化列）を伝送路上に送出する。
【００３８】
次に、この動画像符号化システムの動作について説明する。各
画像取得部１１−１，．．．，１１−ｎでオブジェクト１，．．．，ｎをそれぞれ撮影し、オブジェクト１，．．．，ｎに関する画像を取得する。このようにして取得したオブジェクト画像ｉ（ｉ＝１，．．．，ｎ）はそれぞれオブジェクト抽出部１２−１，．．．，１２−ｎに入力される。画像取得部１１−１〜１１−ｎ、オブジェクト抽出部１２−１〜１２−ｎおよび蓄積部１３−１〜１３−ｎにおける動作は基本的には同じであるため、以下、画像取得部１１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクト抽出部１２−ｉ（ｉ＝１，．．．，ｎ）、蓄積部１３−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【００３９】
画像取得部１１−ｉによって取得されたオブジェクトｉ画像はオブジェクト抽出部ｉに入力される。オブジェクト抽出部ｉは、入力されたオブジェクトｉ画像からオブジェクトｉの領域を抽出し、その画像内容を表わすオブジェクトｉテクスチャデータおよびオブジェクトｉ形状データを取得すると同時に、オブジェクトｉの位置（位置情報）を算出する。そして、これらオブジェクトｉのテクスチャデータ、形状データおよび位置情報（以下、これらをまとめてオブジェクトｉ属性データと称す。）を蓄積部ｉへ出力する。
【００４０】
ここで、オブジェクトｉ位置情報は、オブジェクトを抽出した際に、その抽出したオブジェクトが画面のどの位置に存在したかを表わす情報、あるいはオブジェクトの３次元空間内での存在位置を示す情報であり、後に行われる画像合成（各オブジェクトの符号化データを復号して合成すること）を行う際に必要とされる。
【００４１】
オブジェクト抽出部ｉから出力されたオブジェクトｉ属性データは、蓄積部ｉに一旦格納される。蓄積部ｉに格納されたオブジェクトｉ属性データのうちオブジェクトｉテクスチャデータおよびオブジェクトｉ形状データはオブジェクト符号化部１４へ入力され、オブジェクトｉ位置情報は合成情報生成部１６へ入力される。合成情報生成部１６は、入力されたオブジェクトｉ位置情報から合成の際に必要となる合成情報を生成する。この合成情報生成部１６で生成された合成情報は、オブジェクト符号化部１４および合成情報符号化部１７のそれぞれに入力される。
【００４２】
オブジェクト符号化部１４では、蓄積部１３−ｉから入力されたオブジェクトｉテクスチャデータおよびオブジェクトｉ形状データが符号化されるが、その符号化に際して合成情報生成部１６から入力された合成情報を用いた、オブジェクト間の関系を考慮した符号化制御が行われる。この符号化制御が本実施形態の最も特徴的な部分であり、その詳しい説明については後述する。オブジェクト符号化部１４からは、各オブジェクトのテクスチャデータおよび形状データが符号化されたオブジェクトｉ符号列が出力される。
【００４３】
合成情報符号化部１７では、合成情報生成部１６から入力された合成情報の符号化が行われる。この合成情報符号化部１７から出力される合成情報符号列と上記オブジェクト符号化部１４から出力されるオブジェクトｉ符号列は、多重化送信部１５へ入力されて多重化処理が施され、多重化符号列として伝送路上へ送出される。ここで、伝送路とはネットワークのような通信路であってもよいし、あるいは記録媒体へ記録する手段へのデータ転送路であってもよい。
【００４４】
上述の図２に示した伝送システムでは、各オブジェクトを別々の画像取得部によって撮影しているが、１つの画像取得部を時間を分けて使用して複数のオブジェクトを撮影するようにしてもよい。例えば、背景がそれほど変化しないテレビ会議のような画像の場合には、先に背景のみを撮影して背景画像を取得しておき、その後に同じ画像取得部で前景のオブジェクトを撮影するようにしてもよい。
【００４５】
また、各画像取得部は、複数の撮影カメラを組み合わせたもの、例えばステレオカメラより構成されてもよい。
【００４６】
さらに、オブジェクトｉ位置情報は、オブジェクト抽出部ｉにて算出されるようになっているが、別の手段によって取得するような構成にしてもよい。例えば、レンジファインダのような装置によって、オブジェクトｉの３次元位置を取得し、これをオブジェクトｉ位置情報として用いてもよい。
【００４７】
また、上述の伝送システムでは、背景オブジェクト（合成した際に背景になるオブジェクト）に対しては、オブジェクト抽出は特に必要ではないため、オブジェクト抽出部を設けなくてもよい。
【００４８】
さらに、別々のオブジェクト抽出部によって各オブジェクトを抽出するようになっているが、互いに重なり合わないオブジェクトについては、１つのオブジェクト抽出部によってまとめてオブジェクト抽出を行うようにしてもよい。あるいは、１つのオブジェクト抽出部を時間を分けてしようし、複数のオブジェクトを取得するような構成とすることもできる。
【００４９】
さらに、各蓄積部１３−１〜１３−ｎは、抽出されたオブジェクトｉ属性データを蓄積するバッファであってもよい。また、各蓄積部１３−１〜１３−ｎは、抽出されたオブジェクトを画像部品として蓄積しておく手段、あるいは、抽出されたオブジェクトをデータベースとして格納する手段であってもよい。なお、図２に示した例では、各オブジェクト毎に蓄積部を設けているが、１つの蓄積部に複数のオブジェクトの属性データを蓄積するようにしてもよい。
【００５０】
また、上述の伝送システムは、画像取得部で取得した画像のみを合成する場合のシステム構成になっているが、これ以外に、ＣＧのように人工的に生成される画像を用いるような構成にすることもできる。図３に、オブジェクトｍ（１≦ｍ≦ｎ）が人工的に生成された画像から抽出される場合のシステムの一例を示す。このシステムは、図２に示したシステムのオブジェクトｍに関する画像取得部およびオブジェクト抽出部を人工画像生成部１８−ｍに置き換えたものである。人工画像生成部１８−ｍは、オブジェクトｍの画像を生成するとともに、この生成したオブジェクトｍの画像のテクスチャデータ、形状データおよび位置情報を出力する。人工画像生成部１８−ｍから出力されたオブジェクトｍテクスチャデータ、オブジェクトｍ形状データおよびオブジェクトｍ位置情報は蓄積部１３−ｍに格納される。その他の動作は、図２に示したシステムと同様である。
【００５１】
次に、本発明の特徴であるオブジェクト符号化部の構成について説明する。
【００５２】
（第１の実施形態）
図１は、本発明の第１の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図２または図３に示したシステムのオブジェクト符号化部を構成するものであって、その構成は、オブジェクト１，．．．，ｎのそれぞれに対応して設けられたｎ個の符号化器１０１−１〜１０１−ｎと、レート制御部１１０と、符号化制御マップ作成部１２０とからなる。
【００５３】
本形態の動画像符号化システムは、各符号化器１０１−１〜１０１−ｎにおける符号化に際して、前述した従来のシステムにおけるレート制御と同様の制御が行われるとともに、各オブジェクト間の関係を考慮した符号化制御が行われる。レート制御に関する構成および動作ついては、従来のシステムと同様であるため、ここではその詳細な説明は省略する。
【００５４】
符号化制御マップ作成部１２０は、各オブジェクト１〜ｎの形状データがそれぞれ入力されるとともに、各オブジェクト１〜ｎの合成時の配置位置、すなわち各オブジェクトを重ね合せる際の前後（手前、奥）の位置関係および上下左右の位置関係を示す合成情報が入力され、これら入力情報に基づいて符号化制御マップを作成する。この符号化制御マップの作成は各オブジェクト１〜ｎ毎に行われ、それぞれ符号化器１０１−１，１０１−２，．．．，１０１−ｎに供給される。
【００５５】
各符号化器１０１−１〜１０１−ｎは、符号化制御マップ作成部１２０から受け取った符号化制御マップに従って、入力されたオブジェクトのテクスチャデータおよび形状データを符号化するとともに、その符号化の際の発生符号量がレート制御部１１０から与えられた目標符号量となるように制御される。
【００５６】
オブジェクト符号化制御マップは、符号化制御の方法あるいは符号化制御で用いるパラメータをオブジェクトの位置に応じて定めた情報である。例えば、ＭＰＥＧ−４に従って画像を符号化する場合は、符号化はブロック／マクロブロック単位で行われるが、この場合は、各ブロック／マクロブロックでの符号化制御法を特定するための情報を各ブロック／マクロブロック毎に表したものがオブジェクト符号化制御マップである。符号化制御法を特定するための情報としては、そのブロック／マクロブロックを符号化するか否かという情報、符号化する際には、どのような符号化を行うかという情報（具体的には、直流成分のみ符号化、低域変換係数のみ符号化、全係数の符号化などを識別する情報）、各ブロック／マクロブロックで行う量子化の粗さを規定するパラメータ、ブロック／マクロブロックの符号化モードを決定するための情報、マクロブロックの動きを記述するのに必要な情報などが挙げられる。
【００５７】
上記の他、画素単位で符号化制御を行う符号化方式の場合は、オブジェクト符号化制御マップは、画素単位で符号化制御パラメータを規定する情報であってもよい。また、サブバンド符号化のように、各サブバンドの変換係数が画像の空間的な位置と対応づけられる場合は、オブジェクト符号化制御マップは各変換係数の符号化制御を規定する情報であってもよい。さらに、オブジェクトを様々な領域やレイヤーに分解して符号化する方式の場合は、オブジェクト符号化制御マップは、領域やレイヤーごとに符号化制御法を決定する情報であってもよい。
【００５８】
上記のように、符号化制御に必要な情報を位置の関数として記述したものがオブジェクト符号化制御マップである。目標符号量は前フレームから算出していたが、このオブジェクト符号化制御マップは、符号化すべきフレームと同じフレーム（図１１の例で示した現フレーム）から抽出された情報に基づいて作成される。
【００５９】
次に、本実施形態の動画像符号化システムの動作について説明する。
【００６０】
オブジェクト１，…，ｎのテクスチャデータおよび形状データが符号化器１０１−１，…，１０１−ｎへそれぞれ入力される。各符号化器１０１−１〜１０１−ｎの動作は基本的には同じであるため、以下、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【００６１】
オブジェクトｉのテクスチャデータおよび形状データが符号化器１０１−ｉに入力されると同時に、そのオブジェクトｉの形状データが符号化制御マップ作成部１２０に入力される。
【００６２】
符号化制御マップ作成部１２０は、入力されたオブジェクトｉ形状データからオブジェクトｉ符号化制御マップを作成する。具体的には、オブジェクト間の隠蔽関係や合成画像上でのオブジェクト間の距離情報を算出し、これらの情報に基づいてオブジェクト符号化制御マップを作成するが、その作成処理の詳細な詳細については後述する。符号化制御マップ作成部１２０にて作成されたオブジェクトｉ符号化制御マップは符号化器１０１−ｉへ供給される。なお、オブジェクトｉが背景オブジェクトのように形状データがないオブジェクトの場合は、このオブジェクトに対する形状データは入力されないようになっていてもよい。この場合は、オブジェクト符号化制御マップの符号化制御マップ作成部１２０から符号化器１０１−ｉへ供給はなされないため、符号化器１０１−ｉは予め設定された条件（初期設定条件）での符号化を行う。
【００６３】
符号化器１０１−ｉでは、オブジェクトｉのテクスチャデータおよび形状データが入力され、符号化制御マップ作成部１２０からオブジェクトｉ符号化制御マップが供給されると、その供給されたオブジェクトｉ符号化制御マップに基づいて、入力されたオブジェクトｉのテクスチャデータおよび形状データを符号化してオブジェクトｉ符号列を生成する。この符号化方式としては、例えば、ＭＰＥＧ−４の符号化方式を用いることができる。
【００６４】
上記のオブジェクトｉの符号化時に、符号化器１０１−ｉは、符号化に用いられ、あるいは、生じる情報であって、レート制御に必要な情報をオブジェクトｉレート制御パラメータとしてレート制御部１１０へ出力する。レート制御パラメータとしてどのような情報を用いるかはレート制御部１１０で行うレート制御に依存するが、基本的には、図７に示したシステムと同様のものを用いることができる。
【００６５】
レート制御部１１０は、符号化器１０１−ｉから入力されたオブジェクトｉレート制御パラメータから、次回のオブジェクトｉの符号化の目標符号量を算出し、これを符号化器１０１−ｉに供給する（図８参照）。
【００６６】
本実施形態においても、図８に示した例と同様、最初のフレームについては、各オブジェクトに対して予め設定された目標符号量を用いたレート制御が行われる。それ以降のフレームについては、前に符号化されたフレームから算出されたレート制御パラメータから取得した目標符号量を用いたフレーム制御が行われる。具体的には、符号化器１０１−ｉには、レート制御部１１０からオブジェクトｉ目標符号量が入力されるとともに、符号化制御マップ作成部１２０からオブジェクトｉオブジェクト符号化制御マップが入力され、オブジェクトｉのテクスチャデータと形状データの符号化に際して、オブジェクトｉオブジェクト符号化制御マップに基づいて符号化が行われるとともに、その発生符号量がオブジェクトｉ目標符号量となるように制御される。符号化して得られるビットストリームは、オブジェクトｉ符号列として出力される。
【００６７】
以上の説明した動作は、レート制御に必要な目標符号量およびオブジェクト符号化制御マップに基づいて符号化制御が行われるようになっているが、特殊な例として、オブジェクト符号化制御マップのみで符号化制御を行う場合も考えられる。
【００６８】
次に、オブジェクト符号化制御マップ作成部１２０の動作について、さらに詳しく説明する。以下の説明では、オブジェクトの隠蔽情報を使用する場合、他のオブジェクトからの距離情報を使用する場合、これら隠蔽情報および距離情報の両方を使用する場合の３つの例を挙げる。
【００６９】
（１）隠蔽情報の使用：
ここでは、オブジェクトの隠蔽情報のみを用いてオブジェクト符号化制御マップを作成する場合について述べる。
【００７０】
符号化制御マップ作成部１２０は、まず、各オブジェクトの形状データと合成情報を用い、オブジェクトｉについて、他のオブジェクトによって隠される領域（以下、隠蔽領域と呼ぶ。）を求める。ここで、合成情報は、各オブジェクトの前後関係を示す情報と、重ね合わせる際の位置情報である。
【００７１】
次に、符号化制御マップ作成部１２０は、オブジェクトｉの各位置（各領域の位置）においてどのような符号化を行うかを決定し、それに基づいてオブジェクトｉに関するオブジェクト符号化制御マップを作成する。例えば、符号化制御マップ作成部１２０は、隠蔽領域か否かによって、各位置での符号化制御法を決定し、その情報を含むオブジェクト符号化制御マップを作成する。より具体的には、符号化制御マップ作成部１２０は、隠蔽領域を符号化しないか、あるいは、隠蔽領域を他の領域よりも粗く符号化する、といった符号化制御情報を含むオブジェクト符号化制御マップを作成する。このようなオブジェクト符号化制御マップにしたがってオブジェクトの符号化を行うことで、隠蔽領域以外へ符号量配分を増やすことができ、その結果として、合成後の画像全体の画質を改善できる。
【００７２】
オブジェクト符号化制御マップについてさらに詳細に説明する。例えば、符号化するか否かを識別する情報をオブジェクト符号化制御マップとして記述する場合は、隠蔽領域は符号化しないようなオブジェクト符号化制御マップを作成することができる。また、量子化幅を制御するパラメータをオブジェクト符号化制御マップに記述する場合は、隠蔽領域では量子化幅が粗くなるようなオブジェクト符号化制御マップを作成することができる。さらに、符号化する変換係数の数、符号化するビットプレーンの数、符号化する周波数帯域などを表す情報をオブジェクト符号化制御マップに記述する場合は、隠蔽領域では変換係数やビットプレーンの数を減らしたり、周波数帯域を低域のみに限定したりすることによって粗く符号化するようなオブジェクト符号化制御マップを作成することができる。このようにして、符号化制御マップ作成部１２０は、オブジェクトｉに関するオブジェクト符号化制御マップを作成し、出力する。
【００７３】
なお、隠蔽領域が全く存在しない場合には、オブジェクト符号化制御マップは位置に依存せず一様となる。例えば、量子化幅を制御するパラメータをオブジェクト符号化制御マップに記述する場合であれば、隠蔽領域が全く存在しない場合は、量子化幅が全体に渡って一様となるオブジェクト符号化制御マップが作成される。あるいは、オブジェクト符号化制御マップを作成せず、そのオブジェクトの符号化を行う符号化器では、予め設定された条件で符号化が行われるようになっていてもよい。
【００７４】
また、合成の際に特定のオブジェクトが必ず一番手前側に重ねられることが既知である場合には、そのオブジェクトに対しては、オブジェクト符号化制御マップを作成しなくてもよい。この場合、そのオブジェクトの符号化を行う符号化器では、予め設定された条件で符号化が行われる。
【００７５】
（２）距離情報の使用：
ここでは、他のオブジェクトからの距離情報に基づいてオブジェクトｉ符号化制御マップを作成する場合について述べる。各オブジェクトには、何らかの方法により優先度情報が付加されていると仮定する。例えば、視覚的に重要なオブジェクトから順に優先度が高くなるように設定されている。ただし、優先度は複数のオブジェクト間で同一であってもよい。
【００７６】
符号化制御マップ作成部１２０は、まず、オブジェクトｉに設定された優先度よりも高い優先度を有するオブジェクトを求める。ここでは、オブジェクトｉよりも優先度が高いオブジェクトの数をＮｉとし、それらのオブジェクトのインデックスをｊｋ（ｋ＝１，…，Ｎｉ）として説明する。
【００７７】
次に、符号化制御マップ作成部１２０は、合成した際の（画面上での）、オブジェクトｉと、このオブジェクトｉの優先度よりも高い優先度をもつオブジェクトｊｋ（ｋ＝１，…，Ｎｉ）との間の距離を算出する。この距離は、例えば、画面上での、オブジェクトｉの所定の位置の点と各オブジェクトｊｋ（ｋ＝１，…，Ｎｉ）の所定の位置の点（望ましくは、オブジェクトとして抽出された領域の境界、すなわち輪郭上にある点）とを結ぶ直線の長さで定義することができる。また、距離は必ずしも距離の公理を厳密に満たしている指標でなくてもよく、遠近感を表す指標であればよい。例えば、マクロブロック単位で符号化を行う場合には、距離情報は、何マクロブロック程度離れているかを表す指標であってもよい。
【００７８】
上記距離情報の算出は、オブジェクトｉの各位置に対して行われる。すなわち、オブジェクトｉの各位置の、オブジェクトｊｋの境界からの距離が算出される。以下、オブジェクトｉの位置ｐにおけるオブジェクトｊｋの境界からの距離をｄi,p（ｊｋ）で表すこととし、その距離ｄi,p（ｊｋ）の算出の仕方を説明する。
【００７９】
距離ｄi,p（ｊｋ）の算出には、例えば、良く知られている距離変換を用いることができる。ここで、距離変換とは、０と１からなる２値画像において、値が１の各画素に値が０の画素までの最短距離を与える変換であり、２値画像に対して最小値フィルタを反復することで実現することができる。この処理、画素値が１から０にかわるまでの処理の反復回数が、その画素における距離となる。
【００８０】
具体的には、オブジェクトｊｋが存在する領域とそうでない領域を２値で区別した２値画像を作り、これに距離変換を行うことによって、オブジェクトｉの各位置におけるオブジェクトｊｋの境界からの距離を算出できる。
【００８１】
また、ＭＰＥＧなどの場合は、マクロブロック単位で符号化が行われるため、マクロブロック単位でオブジェクトｉの有無を判定し、オブジェクトｊｋの各マクロブロックに対して距離変換値を算出するようにしてもよい。この値は、例えば、マクロブロック単位でオブジェクトｉの有無を判定した結果を２値画像として表現し、これに対して距離変換を行うことで算出できる。
【００８２】
次に、距離変換などによって算出された距離を用いて符号化制御情報を求め、オブジェクト符号化制御マップを作成する。すなわち、オブジェクトｉの位置ｐに対しては、ｄi,p（ｊｋ）（ｋ＝１，…，Ｎｉ）に基づいて符号化する。視覚的に重要なオブジェクトは注目されやすいことを考慮すると、視覚的に重要な（優先度の高い）オブジェクトの近くを高画質で符号化すれば、全体の主観画質を向上できる。このことから、上述の処理で求まった距離が小さい位置ほど高画質になるように制御するようにオブジェクト符号化制御マップを作成する。
【００８３】
Ｎｉが２以上の場合には、距離値ｄi,p（ｊｋ）も複数存在するが、この場合は、ｄi,p（ｊｋ）（ｋ＝１，…，Ｎｉ）の関数として求まる値を用いればよい。例えば、ｄi,p（ｊｋ）（ｋ＝１，…，Ｎｉ）の最小値を求め、この値に基づいて符号化制御パラメータを決定するようにすればよい。また、ｄi,p（ｊｋ）の平均値を用いてもよい。さらには、オブジェクトｊｋとオブジェクトｉとの優先度の差を求め、この差による重み付けを行って求めた平均値を用いてもよい。
【００８４】
符号化制御の方法は、具体的には、量子化幅を距離に応じて制御するようにし、距離が小さいほど、量子化幅を小さくするようにすればよい。例えば、ＭＰＥＧ−４などの符号化の場合であれば、量子化スケール値に乗じる重み係数を定義し、これを距離値によって変化させるようにすることで実現できる。ビットプレーン符号化を行う場合には、距離値が小さいほど下位のビットプレーンまで符号化するように制御すればよい。ＤＣＴやウェーブレット変換のように、周波数領域に変換して符号化する符号化方式の場合には、低周波から符号化する係数の数を、距離値が小さいほど大きくするように制御すればよい。オブジェクト符号化制御マップは、これらの符号化制御に必要なパラメータ等の情報を記述したものになる。
【００８５】
（３）隠蔽情報および距離情報の両方を使用：
ここでは、隠蔽情報と他のオブジェクトからの距離情報の両方を用いてオブジェクトｉ符号化制御マップを作成する場合について述べる。
【００８６】
上述の「（１）隠蔽情報の使用」の場合と同様に、まず、オブジェクトｉの隠蔽領域を求める。そして、隠蔽領域外については、優先度の高いオブジェクトの境界からの距離を上述の「（２）距離情報の使用」の場合と同様にして求め、隠蔽領域については、その領域を隠蔽しているオブジェクトの境界からの距離を求める。もし、２つ以上のオブジェクトが隠蔽している場合には、それらのオブジェクトそれぞれに対してオブジェクトの境界からの距離を求める。
【００８７】
次に、上述の方法によって得られた隠蔽領域と距離値に基づき、オブジェクトｉのオブジェクト符号化制御マップを作成する。オブジェクト符号化制御マップの作成は、隠蔽領域とそれ以外の領域とで異なる。
【００８８】
隠蔽領域外については、上述の「（２）距離情報の使用」の場合ように距離値に基づいて符号化制御情報を求め、オブジェクト符号化制御マップを作成する。距離値を用いない場合は、単に符号化することを示す情報のみをオブジェクト符号化制御マップとして記述してもよい。
【００８９】
隠蔽領域については、隠蔽するオブジェクトの境界からの距離値を考慮し、その距離値が小さい場合は符号化し、その距離値がある一定値以上の場合は符号化しないように、オブジェクト符号化制御マップを作成する。これにより、伝送の途中でパケット廃棄などによるフレームスキップが生じた場合であっても、合成した際に非符号化領域が現れないようにすることができる。
【００９０】
なお、オブジェクトの境界に近い隠蔽領域は、オブジェクトの移動によって次のフレームで現れる可能性が高い。そのため、そのような隠蔽領域についても全く符号化しないとすると、十分な符号量が割り当てられない状況では、実際に現れた際に画質が大きく劣化可能性がある。そこで、境界に近い隠蔽領域は、粗くではあっても必ず符号化するようにしておき、実際に現れた際に、大きな画質劣化が生じないようにする。一方、オブジェクトの境界から離れた隠蔽領域は、すぐに現れる可能性は低いため、符号化しないようにする。これにより、見える領域に割り当て可能な符号量を向上でき、合成後の復号画質を改善できる。
【００９１】
また、距離値に応じて符号化の粗さを変化させ、距離値が小さい場合にはそれほど粗くなく符号化し、距離値が大きくなるにつれ、符号化の粗さを上げるようにしてもよい。符号化の粗さは、符号化する低周波変換係数の数、量子化幅、符号化するビットプレーンの枚数などによって調節できる。この場合、オブジェクト符号化制御マップの情報には、量子化パラメータや符号化するか否かを表す情報、どの程度まで低周波係数を符号化するかを識別する情報、量子化幅を決定する情報、ビットプレーンの数などが含まれる。
【００９２】
複数のオブジェクトが隠蔽する領域の場合には、それぞれのオブジェクトに対して求めた距離値の中で最大値を求め、上述の制御を行えばよい。また、距離値の平均値を用いるようにしてもよい。
【００９３】
（第２の実施形態）
図４は、本発明の第２の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、レート制御部１１０、符号化制御マップ作成部１２０をそれぞれレート制御部２１０、符号化制御マップ作成部２２０に置き換えたものである。
【００９４】
各符号化器１０１−１〜１０１−ｎと符号化制御マップ作成部２２０の接続関係は図１の動画像符号化システムと同様である。レート制御部２１０には、各符号化器１０１−１〜１０１−ｎの第２の出力であるレート制御パラメータが供給されるとともに、符号化制御マップ作成部２２０から各符号化器１０１−１〜１０１−ｎへ供給されるオブジェクト符号化制御マップが供給されるようになっている。符号化制御マップ作成部２２０は、図１に示した符号化制御マップ作成部１２０と同じものである。
【００９５】
以下、本実施形態の動画像符号化システムの動作について説明する。各符号化器１０１−１〜１０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【００９６】
符号化制御手段１０１−ｉ、符号化制御マップ作成部２２０の動作は、図１の符号化システムのものと同様である。符号化手段１０１−ｉから出力されるオブジェクトｉレート制御パラメータと符号化制御マップ作成部２２０から出力されるオブジェクトｉオブジェクト符号化制御マップは、レート制御部２１０へ入力される。レート制御部２１０は、これらの入力情報に基づいてレート制御を行う。図１のレート制御部１１０との違いは、各オブジェクトのレート制御パラメータに加えて、各オブジェクトのオブジェクト符号化制御マップ情報がレート制御に用られる点である。例えば、オブジェクトの隠蔽領域を符号化しないように制御するオブジェクト符号化制御マップの場合には、非符号化領域の面積を求め、これをレート制御に反映させる、といった制御が行われる。また、実際に符号化する領域の大きさに応じて各オブジェクトに符号量を配分することも可能である。さらに、オブジェクトの隠蔽領域を粗く符号化するように制御するオブジェクト符号化制御マップの場合には、粗く符号化する領域とそうでない領域とを区別して符号量配分を行うようにすることができる。この場合、各領域に適した符号量配分が可能になる。さらにまた、符号化の粗さを距離に応じて変化させるオブジェクト符号化制御マップの場合には、距離ごとに領域を区分し、符号量配分を行うことが可能である。
【００９７】
上記のように、各オブジェクトのオブジェクト符号化制御マップの情報も用いてレート制御を行うことにより、各オブジェクトの各領域の符号化状態を反映した、より適したレート制御を行うことが可能になる。
【００９８】
（第３の実施形態）
図５は、本発明の第３の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、符号化器１０１−１〜１０１−ｎ、符号化制御マップ作成部１２０をそれぞれ符号化器３０１−１〜３０１−ｎ、符号化制御マップ作成部３２０に置き換えたものである。
【００９９】
各符号化器３０１−１〜３０１−ｎはそれぞれ、図１に示した符号化器１０１−１〜１０１−ｎと基本的には同じものであるが、ここでは、入力されたオブジェクトの動き情報を周知の動き補償予測を用いて取得できるように構成されており、第３の出力としてオブジェクト動き情報を出力することができる。本実施形態では、この符号化器３０１−１〜３０１−ｎの第３の出力（オブジェクト動き情報）が符号化制御マップ作成部３２０に供給されている。これ以外の各構成部の接続関係は、図１の動画像符号化システムと同様である。
【０１００】
以下、本実施形態の動画像符号化システムの動作について説明する。符号化器３０１−１〜３０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器３０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【０１０１】
符号化器３０１−ｉの動作は、第３の出力であるオブジェクトｉ動き情報を符号化制御マップ作成部３２０へ供給する以外は、基本的には図１の符号化器１０１−ｉと同様である。すなわち、符号化器３０１−ｉは、符号化制御マップ作成部３２０から出力されるオブジェクトｉオブジェクト符号化制御マップに基づき、発生符号量がレート制御部１１０から出力されるオブジェクトｉ目標符号量となるように符号化制御を行い、入力されたオブジェクトｉテクスチャデータとオブジェクトｉ形状データとを符号化する。そして、符号化器３０１−ｉは、オブジェクトｉレート制御パラメータをレート制御部１１０へ出力すると同時に、オブジェクトｉの動きを表すオブジェクトｉ動き情報を符号化制御マップ作成部３２０へ出力する。
【０１０２】
レート制御部１１０の動作は、図１の動画像符号化システムの場合と同様であり、符号化部３０１−ｉから出力されるオブジェクトｉレート制御パラメータに基づいて、オブジェクトｉ目標符号量を決定し、それを符号化器３０１−ｉへ出力する。
【０１０３】
符号化制御マップ作成部３２０の動作も基本的には図１の符号化制御マップ作成部１２０と同様であるが、オブジェクトｉ符号化制御マップの作成に、オブジェクトｉ形状データに加えてオブジェクトｉ動き情報が用いられる。具体的には、符号化制御マップ作成部３２０は、オブジェクトｉの動き情報を用いて、現在は隠蔽領域であっても次のフレームの符号化では現れる可能性が高い領域を求め、その求めた領域については隠蔽領域であっても符号化するようなオブジェクト符号化制御マップを設定する。これにより、次のフレームの符号化において隠蔽領域が実際に現れるような場合であっても、少ない符号量で符号化することが可能となり、十分に符号量が割り当てられない状況であっても、大きな画質劣化を回避できる。
【０１０４】
上記符号化制御マップ作成部３２０によるオブジェクト符号化制御マップの作成において、現れる可能性が高い領域の推定において動き情報の信頼性を考慮するようにし、信頼性の度合いに応じて、オブジェクト符号化制御マップの作成法を制御してもよい。具体的には、信頼性が高い場合は上記の方法で動き情報による予測を用いてオブジェクト符号化制御マップを作成するようにし、そうでない場合には、その程度に応じて予測を用いる度合いを減らすように制御する。この信頼性の判定には、例えば動きベクトルのばらつきの度合いを用いることができる。
【０１０５】
以上のように、オブジェクト符号化制御マップの作成において、各オブジェクトの動き情報を用いることにより、より適切にオブジェクト符号化制御マップを作成できるようになり、復号後に合成して得られる画像の画質を向上することができる。
【０１０６】
（第４の実施形態）
図６は、本発明の第４の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図５に示したシステムにおいて、レート制御部１１０を図４に示したシステムのレート制御部２１０に置き換えたものである。符号化器３０１−１〜３０１−ｎと符号化制御マップ作成部３２０の接続関係は図５に示したものと同様であり、レート制御部２１０の接続関係は図４に示したものと同様である。
【０１０７】
本実施形態の動画像符号化システムでは、図５に示したシステムにおけるオブジェクトの動き情報を用いたオブジェクト符号化制御マップの作成が行われるとともに、その作成したオブジェクト符号化制御マップの情報を用いて図４に示したシステムと同様のレート制御が行われる。これにより、さらに適したオブジェクト符号化制御マップの作成、レート制御を行うことが可能になる。
【０１０８】
（第５の実施形態）
図７は、本発明の第５の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、レート制御部１１０、符号化制御マップ作成部１２０をそれぞれレート制御部４１０、符号化制御マップ作成部４２０に置き換えたものである。これら構成部の接続関係は、レート制御部４１０からレート制御状態を示す信号（レート制御状態信号）が符号化制御マップ作成部４２０に供給されている以外は、図１に示したシステムと同様である。
【０１０９】
以下、本実施形態の動画像符号化システムの動作について説明する。各符号化器１０１−１〜１０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【０１１０】
符号化器１０１−ｉの動作は図１に示したシステムの場合と同様である。レート制御部４１０は、基本的には図１に示したシステムのレート制御部１１０の動作と同様の動作を行うが、本実施形態では、さらに符号化制御マップ作成部４２０に対してレート制御の困難さを表す信号であるレート制御状態信号を出力するようになっている。レート制御の困難さの判断は、符号化器１０１−ｉから出力されるレート制御パラメータに基づいて行われる。量子化幅が非常に大きいなど、レート制御が非常に困難な状態である場合には、そのことを表す情報がレート制御状態信号として出力される。反対に、量子化幅が十分小さいなど、どのオブジェクトも十分高画質に符号化できており、レート制御が困難でない状態にある場合には、そのことを表す情報がレート制御状態信号として出力される。
【０１１１】
符号化制御マップ作成部４２０の動作も基本的には図１に示すシステムのものと同様であるが、本実施形態では、さらに符号化制御マップ作成部４２０によるオブジェクト符号化制御マップの作成に、レート制御部４１０から供給されるレート制御状態信号が用いられる。レート制御が困難であることをレート制御状態信号が示している場合には、基本的には発生符号量を抑制するように制御が行われる。これは、例えば、隠蔽情報や距離情報から符号化制御情報を求める際のパラメータを制御することによって実現できる。
【０１１２】
例えば、隠蔽領域のうち隠蔽する領域の境界から離れた領域を符号化しないようにする場合には、境界に近いところまで符号化しないようにする。また、優先オブジェクトの境界からの距離によって符号化の粗さを制御する場合には、距離に応じて符号化を粗くしていく程度を大きくする。
【０１１３】
反対に、レート制御が困難でないことをレート制御状態信号が示している場合には、オブジェクト符号化制御マップによる符号化制御が強くなりすぎないようにする。例えば、隠蔽領域のうち符号化しない領域を小さくして、伝送でパケット損失などが生じた場合に、非符号化領域が露見するリスクを抑えるようにする。
【０１１４】
以上のように、レート制御の困難さに応じてオブジェクト符号化制御マップの作成法を調整することにより、レート制御の状態に適したオブジェクト符号化制御マップの作成が可能となる。
【０１１５】
なお、図７に示した動画像符号化システムは、図１に示した動画像符号化システムに対して変更を加えたものであるが、図４〜６に示した動画像符号化システムに対しても同様の変更が可能である。
【０１１６】
（第６の実施形態）
図８は、本発明の第６の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、符号化器１０１−１〜１０１−ｎ、符号化制御マップ作成部１２０をそれぞれ符号化器５０１−１〜５０１−ｎ、符号化制御マップ作成部５２０に置き換えたものである。
【０１１７】
各符号化器５０１−１〜５０１−ｎはそれぞれ、図１に示した符号化器１０１−１〜１０１−ｎと基本的には同じものであるが、ここでは、入力されたオブジェクトの符号化の状態を示す情報が第３の出力として出力されるようになっている。この符号化器５０１−１〜５０１−ｎの第３の出力（オブジェクト符号化状態情報）は符号化制御マップ作成部５２０に供給されている。これ以外の各構成部の接続関係は、図１の動画像符号化システムと同様である。
【０１１８】
以下、本実施形態の動画像符号化システムの動作について説明する。符号化器５０１−１〜５０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器５０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【０１１９】
符号化器５０１−ｉは、基本的には図１に示した符号化部と同様の動作を行うものであって、符号化制御マップ作成部５２０から出力されるオブジェクトｉオブジェクト符号化制御マップに基づき、発生符号量がレート制御部１１０から出力されるオブジェクトｉ目標符号量となるように符号化制御を行い、入力されたオブジェクトｉテクスチャデータとオブジェクトｉ形状データとを符号化する。そして、符号化器５０１−ｉは、オブジェクトｉレート制御パラメータをレート制御部１１０へ出力するととともに、オブジェクトｉの符号化状態を表す情報をオブジェクトｉ符号化状態情報として符号化制御マップ作成部５２０へ出力する。
【０１２０】
ここで、オブジェクト符号化状態情報とは、符号化の困難さを表す情報あるいはそれを示す特徴量である。この特徴量としては、例えば、量子化の粗さを記述するパラメータ、局所復号画像の画質を表す指標などがある。また、これらから符号化の困難さを判断し、その結果を表す情報をオブジェクト符号化状態情報としてもよい。
【０１２１】
レート制御部１１０の動作は、図１に示したシステムの場合と同様であり、符号化手段５０１−ｉ（ｉ＝１，…，ｎ）から出力されるオブジェクトｉレート制御パラメータに基づいてオブジェクトｉの目標符号量を決定し、オブジェクトｉ目標符号量を符号化器５０１−ｉへ出力する。
【０１２２】
符号化制御マップ作成部５２０の動作も、基本的には図１に示した符号化制御マップ作成部１２０と同様であるが、オブジェクトｉ符号化制御マップの作成に、オブジェクトｉ形状データに加え、符号化器５０１−ｉから出力されるオブジェクトｉ符号化状態情報が用いられる。このように、オブジェクトｉ符号化状態情報を用いることで、そのオブジェクトｉの符号化が困難かどうかを判断することができる。この困難さの度合いに応じて、図７に示した動画像符号化システムにおける符号化制御マップ作成部４２０と同様にして、オブジェクト符号化制御マップの作成方法を調節する。
【０１２３】
以上のように、各オブジェクトの符号化の困難さに応じてオブジェクト符号化制御マップの作成法を調整することにより、符号化状態に適したオブジェクト符号化制御マップの作成が可能となる。
【０１２４】
なお、図８に示した動画像符号化システムは、図１に示した動画像符号化システムに対して変更を加えたものであるが、図４〜７に示した動画像符号化システムに対しても同様の変更が可能である。
【０１２５】
以上、本発明の実施の形態について説明してきたが、本発明の動画像符号化システムの動作を実現できるプログラムを、ＣＤ−ＲＯＭやフロッピーディスク、不揮発性メモリカードなどの記憶媒体に記憶し、この記憶媒体に記憶したプログラムをコンピュータによって読み取り実行するようにしてもよい。
【０１２６】
本発明は以上説明した各実施形態の構成に限定されるものではなく、本発明の技術思想の範囲内において、各実施形態の構成は適宜変更され得ることは明らかである。
【０１２７】
【発明の効果】
以上説明したように、本発明によれば、各符号化器に対する発生符号量の割り当てを従来のものより多くすることができるため、低レートの伝送路で送信する場合であっても、複数オブジェクトからなる画像を高画質に符号化することができ、合成後の復号画像の主観画質を向上することができる。
【０１２８】
また、本発明によれば、オブジェクトの符号化を各画素または各ブロック毎に制御するため、従来のものより視覚特性に優れた画像を提供することができる。
【０１２９】
さらに、本発明によれば、注目されやすいと考えられる優先度の高いオブジェクトの周囲を高画質に符号化したり、重ね合わせた際に他のオブジェクトに覆われる領域を符号化しないように制御したりすることができるので、合成後の主観画質がより高いものを提供することができる。
【０１３０】
また、本発明によれば、オブジェクト符号化制御マップによる符号化制御とレート制御の両方を組み合わせることで、より望ましい符号化制御を行うことができる。
【０１３１】
さらに、本発明のよれば、オブジェクト符号化制御マップの作成にオブジェクトの動き情報を反映できるので、特に隠蔽領域において、より望ましいオブジェクト符号化制御を行うことができ、より視覚特性に優れた画像を提供することができる。
【０１３２】
さらに、本発明によれば、レート制御の状態をオブジェクト符号化制御マップの作成に反映させることができるので、オブジェクト符号化制御を効率的、かつ、効果的に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図２】本発明の動画像符号化システムの全体構成を示すブロック図である。
【図３】本発明の動画像符号化システムの全体構成であって、オブジェクトｍ（１≦ｍ≦ｎ）が人工的に生成された画像から抽出される場合のシステムの一例を示すブロック図である。
【図４】本発明の第２の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図５】本発明の第３の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図６】本発明の第４の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図７】本発明の第５の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図８】本発明の第６の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図９】特開２０００−７８５７２号公報に記載されている伝送システムを説明するためのブロック図である。
【図１０】オブジェクト単位での動画像の符号化を行う、レート制御可能な従来の動画像符号化システムの一例を示すブロック図である。
【図１１】フレーム単位にオブジェクト符号化が行われる場合の、目標符号量の生成を説明するための模式図である。
【符号の説明】
１１−１〜１１−ｎ 画像取得部
１２−１〜１２−ｎ オブジェクト抽出部
１３−１〜１３−ｎ、１３−ｍ 蓄積部
１４ オブジェクト符号化部
１５ 多重化伝送部
１６ 合成情報生成部
１７ 合成情報符号化部
１８−ｍ 人工画像生成部
１０１−１〜１０１−ｎ、３０１−１〜３０１−ｎ、５０１−１〜５０１−ｎ、１００１−１〜１００１−ｎ 符号化器
１１０、２１０、４１０、１０１０ レート制御部
１２０、２２０、３２０、４２０、５２０ 符号化制御マップ作成部
１１０１ 目的物画像
１１０２ オブジェクト生成部
１１０３ａ、１１０３ｂ 符号化データ
１１０４ 多重化部
１１０５ ビットストリューム
１１０６ 通信回線
１１０７ 多重分離部
１１０８ａ、１１０８ｂ 復号化データ
１１０９ コンボジター部
１１１０ 再現画像
１１１２ 背景画像
【発明の属する技術分野】
本発明は、人物や背景などオブジェクト単位で動画像を符号化するシステムおよび方法ならびにそのような符号化を実行するためのプログラムに関する。
【０００２】
【従来の技術】
最近、画像圧縮方式の１つであるＭＰＥＧ−４（Moving Picture Experts Group Phase 4）が注目を浴びている。このＭＰＥＧ−４は、有線、無線を問わず、種々のネットワークを介した動画通信が可能であり、その特徴の１つに、人物や背景などのオブジェクト単位での動画像の符号化がある。
【０００３】
動画像をオブジェクト単位で符号化する場合、１つの画像から抽出された複数のオブジェクトを符号化するシステムと、別々に撮影された画像からそれぞれ抽出された複数のオブジェクトを符号化を行うシステムとがある。ここでは、後者の別々に取得した複数の画像オブジェクトをそれぞれ符号化する方式について説明する。
【０００４】
特開２０００−７８５７２号公報には、背景用と目的物用の撮像装置を別個にし、それぞれの撮像装置から得られる背景画像、目的物画像からそれぞれ背景オブジェクト、目的物オブジェクトを抽出して符号化する方式が記載されている。図９は、その公報に記載されている伝送システムを説明するためのブロック図である。
【０００５】
図９を参照すると、第１のテレビカメラで撮影した目的物画像１１０１についてオブジェクト生成部１１０２で領域抽出が行われる。この領域抽出では、目的物画像１１０１からシーン毎に人物などの目的物オブジェクト（図９中、オブジェクト１で表わされている。）の切り出しが行われる。他方、第２のテレビカメラで撮像された背景画像１１１２はそのまま背景オブジェクト（図９中、オブジェクト２で表わされている。）となる。
【０００６】
目的物オブジェクト、背景オブジェクトはそれぞれ別々に符号化され、多重化部１１０４に入力される。図９の例では、目的物オブジェクトの符号化データ１１０３ａと、背景オブジェクトの符号化データ１１０３ｂが多重化部１１０４に入力されている。
【０００７】
多重化部１１０４では、その入力された符号化データ１１０３ａ、１１０３ｂが多重化され、この多重化された符号化データがビットストリューム１１０５のデータ形式で通信回線１１０６を介して受信側の多重分離部１１０７に伝送される。この伝送の際、各オブジェクトの配置・形状情報も符号化データと一緒に伝送される。
【０００８】
受信側では、通信回線１１０６を介して受信した、符号化データ１１０３ａ、１１０３ｂの多重化データは多重分離部１１０７で各オブジェクト毎に分離され、それぞれ復号化部にて目的物オブジェクト（オブジェクト１）の復号化データ１１０８ａと背景オブジェクト（オブジェクト２）の復号化データ１１０８ｂとして復号化される。各復号化データ１１０８ａ、１１０８ｂはコンボジター部１１０９で画面上の各オブジェクトの配置位置（元の配置位置）などを考慮して合成され、表示部で再現画像１１１０として表示される。
【０００９】
上記の伝送システムの場合、背景動画像を目的物動画像より解像度を下げて送ることにより、伝送容量を低減させることができる。また、テレビ会議のように背景に変化を伴わない場合は、背景画像１１１２の画像データの伝送はその都度行う必要はなく、受信側で、最初に受信した背景画像を以降のオブジェクト合成に用いることも可能である。この場合は、背景動画像を送らない分だけ、トータル的な伝送容量を低減することが可能である。
【００１０】
上述したような伝送システムにおいて、各オブジェクトの符号化データを一定レートの伝送路で送る場合、通常は、符号化器の最終段にバッファが設けられ、このバッファに蓄積された符号化データが一定のレートで読み出されて伝送路に送り出される。このようなシステムでは、符号化遅延の問題からバッファの容量に限りがあることから、符号化器から大量の情報が発生するとオーバーフローする危険性がある。このオーバーフローを回避するために、通常は、各オブジェクトの発生符号量を調節したり、バッファに蓄積される符号化データをフレームスキップ（コマ落とし）したりして、レート制御を行う。
【００１１】
図１０に、オブジェクト単位での動画像の符号化を行う、レート制御可能な従来の動画像符号化システムの一例を示す。この動画像符号化システムは、ｎ個のオブジェクトからなる動画像を符号化するシステムであって、オブジェクト１，．．．，ｎのそれぞれに対応して設けられたｎ個の符号化器１００１−１，１００１−２，．．．，１００１−ｎと、レート制御部１０１０とからなる。
【００１２】
レート制御部１０１０は、各符号化器１００１−１〜１００１−ｎの目標符号量をそれぞれ決定する。符号化器１００１−１，１００１−２，．．．，１００１−ｎにはそれぞれ、オブジェクト１，．．．，ｎのテクスチャデータおよび形状データが入力されている。
【００１３】
各符号化器１００１−１〜１００１−ｎはそれぞれ、入力されたオブジェクトのテクスチャデータおよび形状データを周知の技術である動き補償とＤＣＴ変換を用いて符号化する構造になっており、その符号化の際の発生符号量がレート制御部１０１０から与えられた目標符号量となるように制御される。各符号化器１００１−１〜１００１−ｎからは符号化データが出力（第１の出力）されるとともに、符号化に際して用いられ、あるいは、生じた情報であるレート制御パラメータが出力（第２の出力）される。この第２の出力のレート制御パラメータはレート制御部１０１０へ供給され、目標符号量を決定するために用いられる。
【００１４】
レート制御パラメータは、符号化で用いられたパラメータや符号化に付随して生じる情報で、レート制御に用いられる情報の総称である。上述の特開２０００-９２４８９号公報には、レート制御パラメータとして、局所復号画像のＳＮＲ（Signal to Noise Ratio）、発生符号量、オブジェクト間で輪郭が接触しているか否かを表す情報を用いることが記載されている。図１０の例でも、同様の情報がレート制御パラメータとして用いられる。
【００１５】
次に、この動画像符号化システムの動作について説明する。
【００１６】
符号化器１００１−１，１００１−２，．．．，１００１−ｎにオブジェクト１，．．．，ｎのテクスチャデータおよび形状データがそれぞれ入力される。各符号化器１００１−１〜１００１−ｎは、入力されたオブジェクトのテクスチャデータおよび形状データを符号化してオブジェクト符号列を生成し出力すると同時に、次回の符号化の際のレート制御に必要なパラメータを算出し、その算出したレート制御パラメータをレート制御部１０１０に対して出力する。最初の時点では、レート制御部１０１０から各符号化器１００１−１〜１００１−ｎへの目標符号量の供給はなされていないため、各符号化器１００１−１〜１００１−ｎでは、その発生符号量が予め設定された目標符号量（各符号化器毎に任意に設定可能）となるように制御される。
【００１７】
レート制御部１０１０は、各符号化器１００１−１〜１００１−ｎから入力されたレート制御パラメータに基づいて各オブジェクトの符号化の目標符号量を算出する。そして、レート制御部１０１０は、その算出した目標符号量をそれぞれ対応する符号化器へ供給する。この目標符号量の算出において、レート制御部１０１０は、発生符号量と符号化レートの比で表される符号化率と局所復号画像のＳＮＲとの関係を用い、こま落としをするか否かと各オブジェクトの目標符号量とを決定する。こま落しの制御において、オブジェクト間で輪郭が接触しているものについては同時にこま落しが起きるように制御することで、視覚的な劣化を抑えられる。
【００１８】
レート制御部１０１０から目標符号量が供給されてからは、各符号化器１００１−１〜１００１−ｎでは、入力されたオブジェクトのテクスチャデータおよび形状データを符号化するに際して、その発生符号量がレート制御部１０１０から供給された目標符号量となるように符号化制御が行われる。
【００１９】
図１１に、フレーム単位にオブジェクト符号化が行われる場合の、目標符号量の生成を模式的に示す。この図１１から分かるように、現フレームに関するオブジェクトのテクスチャデータおよび形状データを符号化する際の目標符号量は、その前に符号化されるフレームに関するオブジェクトのテクスチャデータおよび形状データを符号化する際に算出されたレート制御パラメータから取得した目標符号量が用いられる。
【００２０】
なお、図１０には示されていないが、各符号化器１００１−１〜１００１−ｎはそれぞれ、符号化したデータを復号化（逆ＤＣＴ変換）して元のデータに戻す機能を有しており、この復号化データがレート制御部１０１０へ供給される。レート制御部１０１０では、その供給された復号化データから局所復号画像のＳＮＲ、すなわち各オブジェクト毎の優先度に応じた個別の画質とフレーム全体の画質バランスとの比が得られるようになっている。
【００２１】
複数のオブジェクト間でレート制御を行う方式としては、上記の他に、特開２０００−５０２５４号公報や文献「１９９９年２月，アイ・イー・イー・イー・トランザクションズ・オン・サーキッツ・アンド・システムズ・フォー・ビデオ・テクノロジー，第ＣＳＶＴ−９巻，第１号，１８６〜１９９頁（IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. CSVT-9, NO. 1, FEBRUARY, 1999）」によって開示されているような方式もある。この方式では、各オブジェクトの符号量、動き補償予測誤差電力、サイズ、動き情報がレート制御パラメータとして用いられる。そして、各フレームにおいて全オブジェクトに割り当てる符号量を、前のフレームにおける発生符号量の総和から決定し、これをサイズ、動き情報、動き補償予測誤差電力の線形和で与えられる指標に従って各オブジェクトに配分する。このようにして、複数オブジェクト間でのレート制御を実現する。
【００２２】
【発明が解決しようとする課題】
しかしながら、上述した従来の符号化手法においては、各符号化器への目標符号量の配分に際して各オブジェクト間でのバランスが考慮されるようになっているものの、符号化に際しては各オブジェクトを独立に符号化しているだけ、オブジェクト間の関係は考慮されていない。このため、以下のような問題がある。
【００２３】
例えば、あるカメラで撮像された画像から抽出した第１のオブジェクトの一部の領域が別のカメラで撮像された画像から抽出した第２のオブジェクトの一部の領域によって隠蔽されるような場合（例えば、図９の再現画像１１１０におけるオブジェクト１とオブジェクト２の重なり）、第１のオブジェクトの隠蔽領域の符号化データは合成時には必要なくなる。しかしながら、従来の場合は、第１のオブジェクトの隠蔽領域も他の領域と同様に符号化されてしまうため、第１のオブジェクトに関する発生符号量は、隠蔽領域を符号化しない場合と比べて、その隠蔽領域に割り当てられる分だけ減ることとなる。このため、低レートにおいては画質が大きく劣化する場合がある。
【００２４】
本発明の主な目的は、上記問題を解決し、画質の維持が困難な低レートの状況下であっても、主観画質を向上できる複数オブジェクトの符号化システムおよび符号化方法を提供することにある。
【００２５】
本発明のさらなる目的は、そのようなオブジェクト符号化を実現することのできるプログラムを提供することにある。
【００２６】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像符号化システムは、合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行うことを特徴とする。前記符号化制御マップ作成手段は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成する。
【００２７】
本発明の動画像符号化方法は、合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する方法であって、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップとを含むことを特徴とする。前記第１のステップは、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成するステップを含む。
【００２８】
本発明のプログラムは、合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理とをコンピュータに実行させることを特徴とする。前記第１の処理は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成する処理を含む。
【００２９】
上記のとおりの本発明においては、複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成し、このオブジェクト符号化制御マップに従って符号化が行われる。この構成によれば、例えば、あるカメラで撮像された画像から抽出した第１のオブジェクトの一部の領域が別のカメラで撮像された画像から抽出した第２のオブジェクトの一部の領域によって隠蔽されるような場合に、第１のオブジェクトの隠蔽領域については、符号化を行わない、または、他の領域より符号化を粗く行う、といった符号化制御が可能である。このため、第１のオブジェクトに関する発生符号量の割り当てについては、隠蔽領域を他の領域と同様に符号化してしまう従来の場合と比べて、その隠蔽領域の符号化を粗くした分、または、符号化しないようにした分だけ多くすることができる。
【００３０】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００３１】
図２は、本発明の動画像符号化システムの全体の構成を示すブロック図である。この動画像符号化システムは、複数の画像取得部１１−１〜１１−ｎ、複数のオブジェクト抽出部１２−１〜１２−ｎ、複数の蓄積部１３−１〜１３−ｎ、オブジェクト符号化部１４、多重伝送部１５、合成情報生成部１６、合成情報符号化部１７からなる。
【００３２】
各画像取得部１１−１〜１１−ｎはそれぞれ撮影カメラを備え、該撮影カメラにて撮影された画像をフレーム単位で出力する。画像取得部１１−１，．．．，〜１１−ｎの出力はオブジェクト抽出部１２−１，．．．，１２−ｎにそれぞれ供給される。
【００３３】
各オブジェクト抽出部１２−１〜１２−ｎはそれぞれ、入力画像データに対して輪郭抽出などの周知のオブジェクト抽出を行い、その抽出したオブジェクトの画像内容を表わすテクスチャデータおよびその形状を表わす形状データを出力するとともに、そのオブジェクトが画面のどの位置に存在したか（または、オブジェクトの３次元空間内での存在位置）を表わす位置情報を出力する。オブジェクト抽出部１２−１，．．．，１２−ｎの出力（テクスチャデータ、形状データおよび位置情報）は蓄積部１３−１，．．．，１３−ｎにそれぞれ格納される。
【００３４】
各蓄積部１３−１〜１３−ｎの出力のうちオブジェクトのテクスチャデータおよび形状データはオブジェクト符号化部１４に供給され、位置情報は合成情報生成部１６に供給される。オブジェクト符号化部１４には、オブジェクトのテクスチャデータおよび形状データの他に、合成情報生成部１６で生成された合成情報が供給される。
【００３５】
オブジェクト符号化部１４は、本発明の最も特徴的な部分であって、オブジェクト毎に符号化を行うように構成されている。このオブジェクト符号化部１４は、詳しくは後述するが、一定レートでの通信が可能なように、符号化に際して各オブジェクト毎に発生符号量が制限されるとともに、各オブジェクト間の関係を考慮した符号化が行われる。
【００３６】
合成情報生成部１６で生成された合成情報は、オブジェクト符号化部１４に供給されるとともに合成情報符号化部１７にも供給される。合成情報符号化部１７は、入力された合成情報を符号化する。
【００３７】
多重化伝送部１５は、オブジェクト符号化部１４からの各オブジェクトの符号化データおよび合成情報符号化部１７からの合成情報の符号化データがそれぞれ供給されており、これら符号化データを多重化した符号化列（多重化符号化列）を伝送路上に送出する。
【００３８】
次に、この動画像符号化システムの動作について説明する。各
画像取得部１１−１，．．．，１１−ｎでオブジェクト１，．．．，ｎをそれぞれ撮影し、オブジェクト１，．．．，ｎに関する画像を取得する。このようにして取得したオブジェクト画像ｉ（ｉ＝１，．．．，ｎ）はそれぞれオブジェクト抽出部１２−１，．．．，１２−ｎに入力される。画像取得部１１−１〜１１−ｎ、オブジェクト抽出部１２−１〜１２−ｎおよび蓄積部１３−１〜１３−ｎにおける動作は基本的には同じであるため、以下、画像取得部１１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクト抽出部１２−ｉ（ｉ＝１，．．．，ｎ）、蓄積部１３−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【００３９】
画像取得部１１−ｉによって取得されたオブジェクトｉ画像はオブジェクト抽出部ｉに入力される。オブジェクト抽出部ｉは、入力されたオブジェクトｉ画像からオブジェクトｉの領域を抽出し、その画像内容を表わすオブジェクトｉテクスチャデータおよびオブジェクトｉ形状データを取得すると同時に、オブジェクトｉの位置（位置情報）を算出する。そして、これらオブジェクトｉのテクスチャデータ、形状データおよび位置情報（以下、これらをまとめてオブジェクトｉ属性データと称す。）を蓄積部ｉへ出力する。
【００４０】
ここで、オブジェクトｉ位置情報は、オブジェクトを抽出した際に、その抽出したオブジェクトが画面のどの位置に存在したかを表わす情報、あるいはオブジェクトの３次元空間内での存在位置を示す情報であり、後に行われる画像合成（各オブジェクトの符号化データを復号して合成すること）を行う際に必要とされる。
【００４１】
オブジェクト抽出部ｉから出力されたオブジェクトｉ属性データは、蓄積部ｉに一旦格納される。蓄積部ｉに格納されたオブジェクトｉ属性データのうちオブジェクトｉテクスチャデータおよびオブジェクトｉ形状データはオブジェクト符号化部１４へ入力され、オブジェクトｉ位置情報は合成情報生成部１６へ入力される。合成情報生成部１６は、入力されたオブジェクトｉ位置情報から合成の際に必要となる合成情報を生成する。この合成情報生成部１６で生成された合成情報は、オブジェクト符号化部１４および合成情報符号化部１７のそれぞれに入力される。
【００４２】
オブジェクト符号化部１４では、蓄積部１３−ｉから入力されたオブジェクトｉテクスチャデータおよびオブジェクトｉ形状データが符号化されるが、その符号化に際して合成情報生成部１６から入力された合成情報を用いた、オブジェクト間の関系を考慮した符号化制御が行われる。この符号化制御が本実施形態の最も特徴的な部分であり、その詳しい説明については後述する。オブジェクト符号化部１４からは、各オブジェクトのテクスチャデータおよび形状データが符号化されたオブジェクトｉ符号列が出力される。
【００４３】
合成情報符号化部１７では、合成情報生成部１６から入力された合成情報の符号化が行われる。この合成情報符号化部１７から出力される合成情報符号列と上記オブジェクト符号化部１４から出力されるオブジェクトｉ符号列は、多重化送信部１５へ入力されて多重化処理が施され、多重化符号列として伝送路上へ送出される。ここで、伝送路とはネットワークのような通信路であってもよいし、あるいは記録媒体へ記録する手段へのデータ転送路であってもよい。
【００４４】
上述の図２に示した伝送システムでは、各オブジェクトを別々の画像取得部によって撮影しているが、１つの画像取得部を時間を分けて使用して複数のオブジェクトを撮影するようにしてもよい。例えば、背景がそれほど変化しないテレビ会議のような画像の場合には、先に背景のみを撮影して背景画像を取得しておき、その後に同じ画像取得部で前景のオブジェクトを撮影するようにしてもよい。
【００４５】
また、各画像取得部は、複数の撮影カメラを組み合わせたもの、例えばステレオカメラより構成されてもよい。
【００４６】
さらに、オブジェクトｉ位置情報は、オブジェクト抽出部ｉにて算出されるようになっているが、別の手段によって取得するような構成にしてもよい。例えば、レンジファインダのような装置によって、オブジェクトｉの３次元位置を取得し、これをオブジェクトｉ位置情報として用いてもよい。
【００４７】
また、上述の伝送システムでは、背景オブジェクト（合成した際に背景になるオブジェクト）に対しては、オブジェクト抽出は特に必要ではないため、オブジェクト抽出部を設けなくてもよい。
【００４８】
さらに、別々のオブジェクト抽出部によって各オブジェクトを抽出するようになっているが、互いに重なり合わないオブジェクトについては、１つのオブジェクト抽出部によってまとめてオブジェクト抽出を行うようにしてもよい。あるいは、１つのオブジェクト抽出部を時間を分けてしようし、複数のオブジェクトを取得するような構成とすることもできる。
【００４９】
さらに、各蓄積部１３−１〜１３−ｎは、抽出されたオブジェクトｉ属性データを蓄積するバッファであってもよい。また、各蓄積部１３−１〜１３−ｎは、抽出されたオブジェクトを画像部品として蓄積しておく手段、あるいは、抽出されたオブジェクトをデータベースとして格納する手段であってもよい。なお、図２に示した例では、各オブジェクト毎に蓄積部を設けているが、１つの蓄積部に複数のオブジェクトの属性データを蓄積するようにしてもよい。
【００５０】
また、上述の伝送システムは、画像取得部で取得した画像のみを合成する場合のシステム構成になっているが、これ以外に、ＣＧのように人工的に生成される画像を用いるような構成にすることもできる。図３に、オブジェクトｍ（１≦ｍ≦ｎ）が人工的に生成された画像から抽出される場合のシステムの一例を示す。このシステムは、図２に示したシステムのオブジェクトｍに関する画像取得部およびオブジェクト抽出部を人工画像生成部１８−ｍに置き換えたものである。人工画像生成部１８−ｍは、オブジェクトｍの画像を生成するとともに、この生成したオブジェクトｍの画像のテクスチャデータ、形状データおよび位置情報を出力する。人工画像生成部１８−ｍから出力されたオブジェクトｍテクスチャデータ、オブジェクトｍ形状データおよびオブジェクトｍ位置情報は蓄積部１３−ｍに格納される。その他の動作は、図２に示したシステムと同様である。
【００５１】
次に、本発明の特徴であるオブジェクト符号化部の構成について説明する。
【００５２】
（第１の実施形態）
図１は、本発明の第１の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図２または図３に示したシステムのオブジェクト符号化部を構成するものであって、その構成は、オブジェクト１，．．．，ｎのそれぞれに対応して設けられたｎ個の符号化器１０１−１〜１０１−ｎと、レート制御部１１０と、符号化制御マップ作成部１２０とからなる。
【００５３】
本形態の動画像符号化システムは、各符号化器１０１−１〜１０１−ｎにおける符号化に際して、前述した従来のシステムにおけるレート制御と同様の制御が行われるとともに、各オブジェクト間の関係を考慮した符号化制御が行われる。レート制御に関する構成および動作ついては、従来のシステムと同様であるため、ここではその詳細な説明は省略する。
【００５４】
符号化制御マップ作成部１２０は、各オブジェクト１〜ｎの形状データがそれぞれ入力されるとともに、各オブジェクト１〜ｎの合成時の配置位置、すなわち各オブジェクトを重ね合せる際の前後（手前、奥）の位置関係および上下左右の位置関係を示す合成情報が入力され、これら入力情報に基づいて符号化制御マップを作成する。この符号化制御マップの作成は各オブジェクト１〜ｎ毎に行われ、それぞれ符号化器１０１−１，１０１−２，．．．，１０１−ｎに供給される。
【００５５】
各符号化器１０１−１〜１０１−ｎは、符号化制御マップ作成部１２０から受け取った符号化制御マップに従って、入力されたオブジェクトのテクスチャデータおよび形状データを符号化するとともに、その符号化の際の発生符号量がレート制御部１１０から与えられた目標符号量となるように制御される。
【００５６】
オブジェクト符号化制御マップは、符号化制御の方法あるいは符号化制御で用いるパラメータをオブジェクトの位置に応じて定めた情報である。例えば、ＭＰＥＧ−４に従って画像を符号化する場合は、符号化はブロック／マクロブロック単位で行われるが、この場合は、各ブロック／マクロブロックでの符号化制御法を特定するための情報を各ブロック／マクロブロック毎に表したものがオブジェクト符号化制御マップである。符号化制御法を特定するための情報としては、そのブロック／マクロブロックを符号化するか否かという情報、符号化する際には、どのような符号化を行うかという情報（具体的には、直流成分のみ符号化、低域変換係数のみ符号化、全係数の符号化などを識別する情報）、各ブロック／マクロブロックで行う量子化の粗さを規定するパラメータ、ブロック／マクロブロックの符号化モードを決定するための情報、マクロブロックの動きを記述するのに必要な情報などが挙げられる。
【００５７】
上記の他、画素単位で符号化制御を行う符号化方式の場合は、オブジェクト符号化制御マップは、画素単位で符号化制御パラメータを規定する情報であってもよい。また、サブバンド符号化のように、各サブバンドの変換係数が画像の空間的な位置と対応づけられる場合は、オブジェクト符号化制御マップは各変換係数の符号化制御を規定する情報であってもよい。さらに、オブジェクトを様々な領域やレイヤーに分解して符号化する方式の場合は、オブジェクト符号化制御マップは、領域やレイヤーごとに符号化制御法を決定する情報であってもよい。
【００５８】
上記のように、符号化制御に必要な情報を位置の関数として記述したものがオブジェクト符号化制御マップである。目標符号量は前フレームから算出していたが、このオブジェクト符号化制御マップは、符号化すべきフレームと同じフレーム（図１１の例で示した現フレーム）から抽出された情報に基づいて作成される。
【００５９】
次に、本実施形態の動画像符号化システムの動作について説明する。
【００６０】
オブジェクト１，…，ｎのテクスチャデータおよび形状データが符号化器１０１−１，…，１０１−ｎへそれぞれ入力される。各符号化器１０１−１〜１０１−ｎの動作は基本的には同じであるため、以下、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【００６１】
オブジェクトｉのテクスチャデータおよび形状データが符号化器１０１−ｉに入力されると同時に、そのオブジェクトｉの形状データが符号化制御マップ作成部１２０に入力される。
【００６２】
符号化制御マップ作成部１２０は、入力されたオブジェクトｉ形状データからオブジェクトｉ符号化制御マップを作成する。具体的には、オブジェクト間の隠蔽関係や合成画像上でのオブジェクト間の距離情報を算出し、これらの情報に基づいてオブジェクト符号化制御マップを作成するが、その作成処理の詳細な詳細については後述する。符号化制御マップ作成部１２０にて作成されたオブジェクトｉ符号化制御マップは符号化器１０１−ｉへ供給される。なお、オブジェクトｉが背景オブジェクトのように形状データがないオブジェクトの場合は、このオブジェクトに対する形状データは入力されないようになっていてもよい。この場合は、オブジェクト符号化制御マップの符号化制御マップ作成部１２０から符号化器１０１−ｉへ供給はなされないため、符号化器１０１−ｉは予め設定された条件（初期設定条件）での符号化を行う。
【００６３】
符号化器１０１−ｉでは、オブジェクトｉのテクスチャデータおよび形状データが入力され、符号化制御マップ作成部１２０からオブジェクトｉ符号化制御マップが供給されると、その供給されたオブジェクトｉ符号化制御マップに基づいて、入力されたオブジェクトｉのテクスチャデータおよび形状データを符号化してオブジェクトｉ符号列を生成する。この符号化方式としては、例えば、ＭＰＥＧ−４の符号化方式を用いることができる。
【００６４】
上記のオブジェクトｉの符号化時に、符号化器１０１−ｉは、符号化に用いられ、あるいは、生じる情報であって、レート制御に必要な情報をオブジェクトｉレート制御パラメータとしてレート制御部１１０へ出力する。レート制御パラメータとしてどのような情報を用いるかはレート制御部１１０で行うレート制御に依存するが、基本的には、図７に示したシステムと同様のものを用いることができる。
【００６５】
レート制御部１１０は、符号化器１０１−ｉから入力されたオブジェクトｉレート制御パラメータから、次回のオブジェクトｉの符号化の目標符号量を算出し、これを符号化器１０１−ｉに供給する（図８参照）。
【００６６】
本実施形態においても、図８に示した例と同様、最初のフレームについては、各オブジェクトに対して予め設定された目標符号量を用いたレート制御が行われる。それ以降のフレームについては、前に符号化されたフレームから算出されたレート制御パラメータから取得した目標符号量を用いたフレーム制御が行われる。具体的には、符号化器１０１−ｉには、レート制御部１１０からオブジェクトｉ目標符号量が入力されるとともに、符号化制御マップ作成部１２０からオブジェクトｉオブジェクト符号化制御マップが入力され、オブジェクトｉのテクスチャデータと形状データの符号化に際して、オブジェクトｉオブジェクト符号化制御マップに基づいて符号化が行われるとともに、その発生符号量がオブジェクトｉ目標符号量となるように制御される。符号化して得られるビットストリームは、オブジェクトｉ符号列として出力される。
【００６７】
以上の説明した動作は、レート制御に必要な目標符号量およびオブジェクト符号化制御マップに基づいて符号化制御が行われるようになっているが、特殊な例として、オブジェクト符号化制御マップのみで符号化制御を行う場合も考えられる。
【００６８】
次に、オブジェクト符号化制御マップ作成部１２０の動作について、さらに詳しく説明する。以下の説明では、オブジェクトの隠蔽情報を使用する場合、他のオブジェクトからの距離情報を使用する場合、これら隠蔽情報および距離情報の両方を使用する場合の３つの例を挙げる。
【００６９】
（１）隠蔽情報の使用：
ここでは、オブジェクトの隠蔽情報のみを用いてオブジェクト符号化制御マップを作成する場合について述べる。
【００７０】
符号化制御マップ作成部１２０は、まず、各オブジェクトの形状データと合成情報を用い、オブジェクトｉについて、他のオブジェクトによって隠される領域（以下、隠蔽領域と呼ぶ。）を求める。ここで、合成情報は、各オブジェクトの前後関係を示す情報と、重ね合わせる際の位置情報である。
【００７１】
次に、符号化制御マップ作成部１２０は、オブジェクトｉの各位置（各領域の位置）においてどのような符号化を行うかを決定し、それに基づいてオブジェクトｉに関するオブジェクト符号化制御マップを作成する。例えば、符号化制御マップ作成部１２０は、隠蔽領域か否かによって、各位置での符号化制御法を決定し、その情報を含むオブジェクト符号化制御マップを作成する。より具体的には、符号化制御マップ作成部１２０は、隠蔽領域を符号化しないか、あるいは、隠蔽領域を他の領域よりも粗く符号化する、といった符号化制御情報を含むオブジェクト符号化制御マップを作成する。このようなオブジェクト符号化制御マップにしたがってオブジェクトの符号化を行うことで、隠蔽領域以外へ符号量配分を増やすことができ、その結果として、合成後の画像全体の画質を改善できる。
【００７２】
オブジェクト符号化制御マップについてさらに詳細に説明する。例えば、符号化するか否かを識別する情報をオブジェクト符号化制御マップとして記述する場合は、隠蔽領域は符号化しないようなオブジェクト符号化制御マップを作成することができる。また、量子化幅を制御するパラメータをオブジェクト符号化制御マップに記述する場合は、隠蔽領域では量子化幅が粗くなるようなオブジェクト符号化制御マップを作成することができる。さらに、符号化する変換係数の数、符号化するビットプレーンの数、符号化する周波数帯域などを表す情報をオブジェクト符号化制御マップに記述する場合は、隠蔽領域では変換係数やビットプレーンの数を減らしたり、周波数帯域を低域のみに限定したりすることによって粗く符号化するようなオブジェクト符号化制御マップを作成することができる。このようにして、符号化制御マップ作成部１２０は、オブジェクトｉに関するオブジェクト符号化制御マップを作成し、出力する。
【００７３】
なお、隠蔽領域が全く存在しない場合には、オブジェクト符号化制御マップは位置に依存せず一様となる。例えば、量子化幅を制御するパラメータをオブジェクト符号化制御マップに記述する場合であれば、隠蔽領域が全く存在しない場合は、量子化幅が全体に渡って一様となるオブジェクト符号化制御マップが作成される。あるいは、オブジェクト符号化制御マップを作成せず、そのオブジェクトの符号化を行う符号化器では、予め設定された条件で符号化が行われるようになっていてもよい。
【００７４】
また、合成の際に特定のオブジェクトが必ず一番手前側に重ねられることが既知である場合には、そのオブジェクトに対しては、オブジェクト符号化制御マップを作成しなくてもよい。この場合、そのオブジェクトの符号化を行う符号化器では、予め設定された条件で符号化が行われる。
【００７５】
（２）距離情報の使用：
ここでは、他のオブジェクトからの距離情報に基づいてオブジェクトｉ符号化制御マップを作成する場合について述べる。各オブジェクトには、何らかの方法により優先度情報が付加されていると仮定する。例えば、視覚的に重要なオブジェクトから順に優先度が高くなるように設定されている。ただし、優先度は複数のオブジェクト間で同一であってもよい。
【００７６】
符号化制御マップ作成部１２０は、まず、オブジェクトｉに設定された優先度よりも高い優先度を有するオブジェクトを求める。ここでは、オブジェクトｉよりも優先度が高いオブジェクトの数をＮｉとし、それらのオブジェクトのインデックスをｊｋ（ｋ＝１，…，Ｎｉ）として説明する。
【００７７】
次に、符号化制御マップ作成部１２０は、合成した際の（画面上での）、オブジェクトｉと、このオブジェクトｉの優先度よりも高い優先度をもつオブジェクトｊｋ（ｋ＝１，…，Ｎｉ）との間の距離を算出する。この距離は、例えば、画面上での、オブジェクトｉの所定の位置の点と各オブジェクトｊｋ（ｋ＝１，…，Ｎｉ）の所定の位置の点（望ましくは、オブジェクトとして抽出された領域の境界、すなわち輪郭上にある点）とを結ぶ直線の長さで定義することができる。また、距離は必ずしも距離の公理を厳密に満たしている指標でなくてもよく、遠近感を表す指標であればよい。例えば、マクロブロック単位で符号化を行う場合には、距離情報は、何マクロブロック程度離れているかを表す指標であってもよい。
【００７８】
上記距離情報の算出は、オブジェクトｉの各位置に対して行われる。すなわち、オブジェクトｉの各位置の、オブジェクトｊｋの境界からの距離が算出される。以下、オブジェクトｉの位置ｐにおけるオブジェクトｊｋの境界からの距離をｄi,p（ｊｋ）で表すこととし、その距離ｄi,p（ｊｋ）の算出の仕方を説明する。
【００７９】
距離ｄi,p（ｊｋ）の算出には、例えば、良く知られている距離変換を用いることができる。ここで、距離変換とは、０と１からなる２値画像において、値が１の各画素に値が０の画素までの最短距離を与える変換であり、２値画像に対して最小値フィルタを反復することで実現することができる。この処理、画素値が１から０にかわるまでの処理の反復回数が、その画素における距離となる。
【００８０】
具体的には、オブジェクトｊｋが存在する領域とそうでない領域を２値で区別した２値画像を作り、これに距離変換を行うことによって、オブジェクトｉの各位置におけるオブジェクトｊｋの境界からの距離を算出できる。
【００８１】
また、ＭＰＥＧなどの場合は、マクロブロック単位で符号化が行われるため、マクロブロック単位でオブジェクトｉの有無を判定し、オブジェクトｊｋの各マクロブロックに対して距離変換値を算出するようにしてもよい。この値は、例えば、マクロブロック単位でオブジェクトｉの有無を判定した結果を２値画像として表現し、これに対して距離変換を行うことで算出できる。
【００８２】
次に、距離変換などによって算出された距離を用いて符号化制御情報を求め、オブジェクト符号化制御マップを作成する。すなわち、オブジェクトｉの位置ｐに対しては、ｄi,p（ｊｋ）（ｋ＝１，…，Ｎｉ）に基づいて符号化する。視覚的に重要なオブジェクトは注目されやすいことを考慮すると、視覚的に重要な（優先度の高い）オブジェクトの近くを高画質で符号化すれば、全体の主観画質を向上できる。このことから、上述の処理で求まった距離が小さい位置ほど高画質になるように制御するようにオブジェクト符号化制御マップを作成する。
【００８３】
Ｎｉが２以上の場合には、距離値ｄi,p（ｊｋ）も複数存在するが、この場合は、ｄi,p（ｊｋ）（ｋ＝１，…，Ｎｉ）の関数として求まる値を用いればよい。例えば、ｄi,p（ｊｋ）（ｋ＝１，…，Ｎｉ）の最小値を求め、この値に基づいて符号化制御パラメータを決定するようにすればよい。また、ｄi,p（ｊｋ）の平均値を用いてもよい。さらには、オブジェクトｊｋとオブジェクトｉとの優先度の差を求め、この差による重み付けを行って求めた平均値を用いてもよい。
【００８４】
符号化制御の方法は、具体的には、量子化幅を距離に応じて制御するようにし、距離が小さいほど、量子化幅を小さくするようにすればよい。例えば、ＭＰＥＧ−４などの符号化の場合であれば、量子化スケール値に乗じる重み係数を定義し、これを距離値によって変化させるようにすることで実現できる。ビットプレーン符号化を行う場合には、距離値が小さいほど下位のビットプレーンまで符号化するように制御すればよい。ＤＣＴやウェーブレット変換のように、周波数領域に変換して符号化する符号化方式の場合には、低周波から符号化する係数の数を、距離値が小さいほど大きくするように制御すればよい。オブジェクト符号化制御マップは、これらの符号化制御に必要なパラメータ等の情報を記述したものになる。
【００８５】
（３）隠蔽情報および距離情報の両方を使用：
ここでは、隠蔽情報と他のオブジェクトからの距離情報の両方を用いてオブジェクトｉ符号化制御マップを作成する場合について述べる。
【００８６】
上述の「（１）隠蔽情報の使用」の場合と同様に、まず、オブジェクトｉの隠蔽領域を求める。そして、隠蔽領域外については、優先度の高いオブジェクトの境界からの距離を上述の「（２）距離情報の使用」の場合と同様にして求め、隠蔽領域については、その領域を隠蔽しているオブジェクトの境界からの距離を求める。もし、２つ以上のオブジェクトが隠蔽している場合には、それらのオブジェクトそれぞれに対してオブジェクトの境界からの距離を求める。
【００８７】
次に、上述の方法によって得られた隠蔽領域と距離値に基づき、オブジェクトｉのオブジェクト符号化制御マップを作成する。オブジェクト符号化制御マップの作成は、隠蔽領域とそれ以外の領域とで異なる。
【００８８】
隠蔽領域外については、上述の「（２）距離情報の使用」の場合ように距離値に基づいて符号化制御情報を求め、オブジェクト符号化制御マップを作成する。距離値を用いない場合は、単に符号化することを示す情報のみをオブジェクト符号化制御マップとして記述してもよい。
【００８９】
隠蔽領域については、隠蔽するオブジェクトの境界からの距離値を考慮し、その距離値が小さい場合は符号化し、その距離値がある一定値以上の場合は符号化しないように、オブジェクト符号化制御マップを作成する。これにより、伝送の途中でパケット廃棄などによるフレームスキップが生じた場合であっても、合成した際に非符号化領域が現れないようにすることができる。
【００９０】
なお、オブジェクトの境界に近い隠蔽領域は、オブジェクトの移動によって次のフレームで現れる可能性が高い。そのため、そのような隠蔽領域についても全く符号化しないとすると、十分な符号量が割り当てられない状況では、実際に現れた際に画質が大きく劣化可能性がある。そこで、境界に近い隠蔽領域は、粗くではあっても必ず符号化するようにしておき、実際に現れた際に、大きな画質劣化が生じないようにする。一方、オブジェクトの境界から離れた隠蔽領域は、すぐに現れる可能性は低いため、符号化しないようにする。これにより、見える領域に割り当て可能な符号量を向上でき、合成後の復号画質を改善できる。
【００９１】
また、距離値に応じて符号化の粗さを変化させ、距離値が小さい場合にはそれほど粗くなく符号化し、距離値が大きくなるにつれ、符号化の粗さを上げるようにしてもよい。符号化の粗さは、符号化する低周波変換係数の数、量子化幅、符号化するビットプレーンの枚数などによって調節できる。この場合、オブジェクト符号化制御マップの情報には、量子化パラメータや符号化するか否かを表す情報、どの程度まで低周波係数を符号化するかを識別する情報、量子化幅を決定する情報、ビットプレーンの数などが含まれる。
【００９２】
複数のオブジェクトが隠蔽する領域の場合には、それぞれのオブジェクトに対して求めた距離値の中で最大値を求め、上述の制御を行えばよい。また、距離値の平均値を用いるようにしてもよい。
【００９３】
（第２の実施形態）
図４は、本発明の第２の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、レート制御部１１０、符号化制御マップ作成部１２０をそれぞれレート制御部２１０、符号化制御マップ作成部２２０に置き換えたものである。
【００９４】
各符号化器１０１−１〜１０１−ｎと符号化制御マップ作成部２２０の接続関係は図１の動画像符号化システムと同様である。レート制御部２１０には、各符号化器１０１−１〜１０１−ｎの第２の出力であるレート制御パラメータが供給されるとともに、符号化制御マップ作成部２２０から各符号化器１０１−１〜１０１−ｎへ供給されるオブジェクト符号化制御マップが供給されるようになっている。符号化制御マップ作成部２２０は、図１に示した符号化制御マップ作成部１２０と同じものである。
【００９５】
以下、本実施形態の動画像符号化システムの動作について説明する。各符号化器１０１−１〜１０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【００９６】
符号化制御手段１０１−ｉ、符号化制御マップ作成部２２０の動作は、図１の符号化システムのものと同様である。符号化手段１０１−ｉから出力されるオブジェクトｉレート制御パラメータと符号化制御マップ作成部２２０から出力されるオブジェクトｉオブジェクト符号化制御マップは、レート制御部２１０へ入力される。レート制御部２１０は、これらの入力情報に基づいてレート制御を行う。図１のレート制御部１１０との違いは、各オブジェクトのレート制御パラメータに加えて、各オブジェクトのオブジェクト符号化制御マップ情報がレート制御に用られる点である。例えば、オブジェクトの隠蔽領域を符号化しないように制御するオブジェクト符号化制御マップの場合には、非符号化領域の面積を求め、これをレート制御に反映させる、といった制御が行われる。また、実際に符号化する領域の大きさに応じて各オブジェクトに符号量を配分することも可能である。さらに、オブジェクトの隠蔽領域を粗く符号化するように制御するオブジェクト符号化制御マップの場合には、粗く符号化する領域とそうでない領域とを区別して符号量配分を行うようにすることができる。この場合、各領域に適した符号量配分が可能になる。さらにまた、符号化の粗さを距離に応じて変化させるオブジェクト符号化制御マップの場合には、距離ごとに領域を区分し、符号量配分を行うことが可能である。
【００９７】
上記のように、各オブジェクトのオブジェクト符号化制御マップの情報も用いてレート制御を行うことにより、各オブジェクトの各領域の符号化状態を反映した、より適したレート制御を行うことが可能になる。
【００９８】
（第３の実施形態）
図５は、本発明の第３の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、符号化器１０１−１〜１０１−ｎ、符号化制御マップ作成部１２０をそれぞれ符号化器３０１−１〜３０１−ｎ、符号化制御マップ作成部３２０に置き換えたものである。
【００９９】
各符号化器３０１−１〜３０１−ｎはそれぞれ、図１に示した符号化器１０１−１〜１０１−ｎと基本的には同じものであるが、ここでは、入力されたオブジェクトの動き情報を周知の動き補償予測を用いて取得できるように構成されており、第３の出力としてオブジェクト動き情報を出力することができる。本実施形態では、この符号化器３０１−１〜３０１−ｎの第３の出力（オブジェクト動き情報）が符号化制御マップ作成部３２０に供給されている。これ以外の各構成部の接続関係は、図１の動画像符号化システムと同様である。
【０１００】
以下、本実施形態の動画像符号化システムの動作について説明する。符号化器３０１−１〜３０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器３０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【０１０１】
符号化器３０１−ｉの動作は、第３の出力であるオブジェクトｉ動き情報を符号化制御マップ作成部３２０へ供給する以外は、基本的には図１の符号化器１０１−ｉと同様である。すなわち、符号化器３０１−ｉは、符号化制御マップ作成部３２０から出力されるオブジェクトｉオブジェクト符号化制御マップに基づき、発生符号量がレート制御部１１０から出力されるオブジェクトｉ目標符号量となるように符号化制御を行い、入力されたオブジェクトｉテクスチャデータとオブジェクトｉ形状データとを符号化する。そして、符号化器３０１−ｉは、オブジェクトｉレート制御パラメータをレート制御部１１０へ出力すると同時に、オブジェクトｉの動きを表すオブジェクトｉ動き情報を符号化制御マップ作成部３２０へ出力する。
【０１０２】
レート制御部１１０の動作は、図１の動画像符号化システムの場合と同様であり、符号化部３０１−ｉから出力されるオブジェクトｉレート制御パラメータに基づいて、オブジェクトｉ目標符号量を決定し、それを符号化器３０１−ｉへ出力する。
【０１０３】
符号化制御マップ作成部３２０の動作も基本的には図１の符号化制御マップ作成部１２０と同様であるが、オブジェクトｉ符号化制御マップの作成に、オブジェクトｉ形状データに加えてオブジェクトｉ動き情報が用いられる。具体的には、符号化制御マップ作成部３２０は、オブジェクトｉの動き情報を用いて、現在は隠蔽領域であっても次のフレームの符号化では現れる可能性が高い領域を求め、その求めた領域については隠蔽領域であっても符号化するようなオブジェクト符号化制御マップを設定する。これにより、次のフレームの符号化において隠蔽領域が実際に現れるような場合であっても、少ない符号量で符号化することが可能となり、十分に符号量が割り当てられない状況であっても、大きな画質劣化を回避できる。
【０１０４】
上記符号化制御マップ作成部３２０によるオブジェクト符号化制御マップの作成において、現れる可能性が高い領域の推定において動き情報の信頼性を考慮するようにし、信頼性の度合いに応じて、オブジェクト符号化制御マップの作成法を制御してもよい。具体的には、信頼性が高い場合は上記の方法で動き情報による予測を用いてオブジェクト符号化制御マップを作成するようにし、そうでない場合には、その程度に応じて予測を用いる度合いを減らすように制御する。この信頼性の判定には、例えば動きベクトルのばらつきの度合いを用いることができる。
【０１０５】
以上のように、オブジェクト符号化制御マップの作成において、各オブジェクトの動き情報を用いることにより、より適切にオブジェクト符号化制御マップを作成できるようになり、復号後に合成して得られる画像の画質を向上することができる。
【０１０６】
（第４の実施形態）
図６は、本発明の第４の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図５に示したシステムにおいて、レート制御部１１０を図４に示したシステムのレート制御部２１０に置き換えたものである。符号化器３０１−１〜３０１−ｎと符号化制御マップ作成部３２０の接続関係は図５に示したものと同様であり、レート制御部２１０の接続関係は図４に示したものと同様である。
【０１０７】
本実施形態の動画像符号化システムでは、図５に示したシステムにおけるオブジェクトの動き情報を用いたオブジェクト符号化制御マップの作成が行われるとともに、その作成したオブジェクト符号化制御マップの情報を用いて図４に示したシステムと同様のレート制御が行われる。これにより、さらに適したオブジェクト符号化制御マップの作成、レート制御を行うことが可能になる。
【０１０８】
（第５の実施形態）
図７は、本発明の第５の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、レート制御部１１０、符号化制御マップ作成部１２０をそれぞれレート制御部４１０、符号化制御マップ作成部４２０に置き換えたものである。これら構成部の接続関係は、レート制御部４１０からレート制御状態を示す信号（レート制御状態信号）が符号化制御マップ作成部４２０に供給されている以外は、図１に示したシステムと同様である。
【０１０９】
以下、本実施形態の動画像符号化システムの動作について説明する。各符号化器１０１−１〜１０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【０１１０】
符号化器１０１−ｉの動作は図１に示したシステムの場合と同様である。レート制御部４１０は、基本的には図１に示したシステムのレート制御部１１０の動作と同様の動作を行うが、本実施形態では、さらに符号化制御マップ作成部４２０に対してレート制御の困難さを表す信号であるレート制御状態信号を出力するようになっている。レート制御の困難さの判断は、符号化器１０１−ｉから出力されるレート制御パラメータに基づいて行われる。量子化幅が非常に大きいなど、レート制御が非常に困難な状態である場合には、そのことを表す情報がレート制御状態信号として出力される。反対に、量子化幅が十分小さいなど、どのオブジェクトも十分高画質に符号化できており、レート制御が困難でない状態にある場合には、そのことを表す情報がレート制御状態信号として出力される。
【０１１１】
符号化制御マップ作成部４２０の動作も基本的には図１に示すシステムのものと同様であるが、本実施形態では、さらに符号化制御マップ作成部４２０によるオブジェクト符号化制御マップの作成に、レート制御部４１０から供給されるレート制御状態信号が用いられる。レート制御が困難であることをレート制御状態信号が示している場合には、基本的には発生符号量を抑制するように制御が行われる。これは、例えば、隠蔽情報や距離情報から符号化制御情報を求める際のパラメータを制御することによって実現できる。
【０１１２】
例えば、隠蔽領域のうち隠蔽する領域の境界から離れた領域を符号化しないようにする場合には、境界に近いところまで符号化しないようにする。また、優先オブジェクトの境界からの距離によって符号化の粗さを制御する場合には、距離に応じて符号化を粗くしていく程度を大きくする。
【０１１３】
反対に、レート制御が困難でないことをレート制御状態信号が示している場合には、オブジェクト符号化制御マップによる符号化制御が強くなりすぎないようにする。例えば、隠蔽領域のうち符号化しない領域を小さくして、伝送でパケット損失などが生じた場合に、非符号化領域が露見するリスクを抑えるようにする。
【０１１４】
以上のように、レート制御の困難さに応じてオブジェクト符号化制御マップの作成法を調整することにより、レート制御の状態に適したオブジェクト符号化制御マップの作成が可能となる。
【０１１５】
なお、図７に示した動画像符号化システムは、図１に示した動画像符号化システムに対して変更を加えたものであるが、図４〜６に示した動画像符号化システムに対しても同様の変更が可能である。
【０１１６】
（第６の実施形態）
図８は、本発明の第６の実施形態の動画像符号化システムの主要構成を示すブロック図である。この動画像符号化システムは、上述の図１に示したシステムにおいて、符号化器１０１−１〜１０１−ｎ、符号化制御マップ作成部１２０をそれぞれ符号化器５０１−１〜５０１−ｎ、符号化制御マップ作成部５２０に置き換えたものである。
【０１１７】
各符号化器５０１−１〜５０１−ｎはそれぞれ、図１に示した符号化器１０１−１〜１０１−ｎと基本的には同じものであるが、ここでは、入力されたオブジェクトの符号化の状態を示す情報が第３の出力として出力されるようになっている。この符号化器５０１−１〜５０１−ｎの第３の出力（オブジェクト符号化状態情報）は符号化制御マップ作成部５２０に供給されている。これ以外の各構成部の接続関係は、図１の動画像符号化システムと同様である。
【０１１８】
以下、本実施形態の動画像符号化システムの動作について説明する。符号化器５０１−１〜５０１−ｎにおける動作は基本的には同じであるため、ここでも、符号化器５０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明する。
【０１１９】
符号化器５０１−ｉは、基本的には図１に示した符号化部と同様の動作を行うものであって、符号化制御マップ作成部５２０から出力されるオブジェクトｉオブジェクト符号化制御マップに基づき、発生符号量がレート制御部１１０から出力されるオブジェクトｉ目標符号量となるように符号化制御を行い、入力されたオブジェクトｉテクスチャデータとオブジェクトｉ形状データとを符号化する。そして、符号化器５０１−ｉは、オブジェクトｉレート制御パラメータをレート制御部１１０へ出力するととともに、オブジェクトｉの符号化状態を表す情報をオブジェクトｉ符号化状態情報として符号化制御マップ作成部５２０へ出力する。
【０１２０】
ここで、オブジェクト符号化状態情報とは、符号化の困難さを表す情報あるいはそれを示す特徴量である。この特徴量としては、例えば、量子化の粗さを記述するパラメータ、局所復号画像の画質を表す指標などがある。また、これらから符号化の困難さを判断し、その結果を表す情報をオブジェクト符号化状態情報としてもよい。
【０１２１】
レート制御部１１０の動作は、図１に示したシステムの場合と同様であり、符号化手段５０１−ｉ（ｉ＝１，…，ｎ）から出力されるオブジェクトｉレート制御パラメータに基づいてオブジェクトｉの目標符号量を決定し、オブジェクトｉ目標符号量を符号化器５０１−ｉへ出力する。
【０１２２】
符号化制御マップ作成部５２０の動作も、基本的には図１に示した符号化制御マップ作成部１２０と同様であるが、オブジェクトｉ符号化制御マップの作成に、オブジェクトｉ形状データに加え、符号化器５０１−ｉから出力されるオブジェクトｉ符号化状態情報が用いられる。このように、オブジェクトｉ符号化状態情報を用いることで、そのオブジェクトｉの符号化が困難かどうかを判断することができる。この困難さの度合いに応じて、図７に示した動画像符号化システムにおける符号化制御マップ作成部４２０と同様にして、オブジェクト符号化制御マップの作成方法を調節する。
【０１２３】
以上のように、各オブジェクトの符号化の困難さに応じてオブジェクト符号化制御マップの作成法を調整することにより、符号化状態に適したオブジェクト符号化制御マップの作成が可能となる。
【０１２４】
なお、図８に示した動画像符号化システムは、図１に示した動画像符号化システムに対して変更を加えたものであるが、図４〜７に示した動画像符号化システムに対しても同様の変更が可能である。
【０１２５】
以上、本発明の実施の形態について説明してきたが、本発明の動画像符号化システムの動作を実現できるプログラムを、ＣＤ−ＲＯＭやフロッピーディスク、不揮発性メモリカードなどの記憶媒体に記憶し、この記憶媒体に記憶したプログラムをコンピュータによって読み取り実行するようにしてもよい。
【０１２６】
本発明は以上説明した各実施形態の構成に限定されるものではなく、本発明の技術思想の範囲内において、各実施形態の構成は適宜変更され得ることは明らかである。
【０１２７】
【発明の効果】
以上説明したように、本発明によれば、各符号化器に対する発生符号量の割り当てを従来のものより多くすることができるため、低レートの伝送路で送信する場合であっても、複数オブジェクトからなる画像を高画質に符号化することができ、合成後の復号画像の主観画質を向上することができる。
【０１２８】
また、本発明によれば、オブジェクトの符号化を各画素または各ブロック毎に制御するため、従来のものより視覚特性に優れた画像を提供することができる。
【０１２９】
さらに、本発明によれば、注目されやすいと考えられる優先度の高いオブジェクトの周囲を高画質に符号化したり、重ね合わせた際に他のオブジェクトに覆われる領域を符号化しないように制御したりすることができるので、合成後の主観画質がより高いものを提供することができる。
【０１３０】
また、本発明によれば、オブジェクト符号化制御マップによる符号化制御とレート制御の両方を組み合わせることで、より望ましい符号化制御を行うことができる。
【０１３１】
さらに、本発明のよれば、オブジェクト符号化制御マップの作成にオブジェクトの動き情報を反映できるので、特に隠蔽領域において、より望ましいオブジェクト符号化制御を行うことができ、より視覚特性に優れた画像を提供することができる。
【０１３２】
さらに、本発明によれば、レート制御の状態をオブジェクト符号化制御マップの作成に反映させることができるので、オブジェクト符号化制御を効率的、かつ、効果的に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図２】本発明の動画像符号化システムの全体構成を示すブロック図である。
【図３】本発明の動画像符号化システムの全体構成であって、オブジェクトｍ（１≦ｍ≦ｎ）が人工的に生成された画像から抽出される場合のシステムの一例を示すブロック図である。
【図４】本発明の第２の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図５】本発明の第３の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図６】本発明の第４の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図７】本発明の第５の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図８】本発明の第６の実施形態の動画像符号化システムの主要構成を示すブロック図である。
【図９】特開２０００−７８５７２号公報に記載されている伝送システムを説明するためのブロック図である。
【図１０】オブジェクト単位での動画像の符号化を行う、レート制御可能な従来の動画像符号化システムの一例を示すブロック図である。
【図１１】フレーム単位にオブジェクト符号化が行われる場合の、目標符号量の生成を説明するための模式図である。
【符号の説明】
１１−１〜１１−ｎ 画像取得部
１２−１〜１２−ｎ オブジェクト抽出部
１３−１〜１３−ｎ、１３−ｍ 蓄積部
１４ オブジェクト符号化部
１５ 多重化伝送部
１６ 合成情報生成部
１７ 合成情報符号化部
１８−ｍ 人工画像生成部
１０１−１〜１０１−ｎ、３０１−１〜３０１−ｎ、５０１−１〜５０１−ｎ、１００１−１〜１００１−ｎ 符号化器
１１０、２１０、４１０、１０１０ レート制御部
１２０、２２０、３２０、４２０、５２０ 符号化制御マップ作成部
１１０１ 目的物画像
１１０２ オブジェクト生成部
１１０３ａ、１１０３ｂ 符号化データ
１１０４ 多重化部
１１０５ ビットストリューム
１１０６ 通信回線
１１０７ 多重分離部
１１０８ａ、１１０８ｂ 復号化データ
１１０９ コンボジター部
１１１０ 再現画像
１１１２ 背景画像
Claims (28)
- 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、
前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行い、
前記符号化制御マップ作成手段は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成することを特徴とする動画像符号化システム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、
前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行い、
前記符号化制御マップ作成手段は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が所定の値より大きい場合は符号化を行わないように定めたオブジェクト符号化制御マップを作成することを特徴とする動画像符号化システム。 - 複数の符号化手段はそれぞれ、画像オブジェクトを符号化した際にオブジェクトの動きを求め、該求めたオブジェクトの動き情報を符号化制御マップ作成手段に供給し、
前記符号化制御マップ作成手段は、前記複数の符号化手段から供給されたオブジェクトの動き情報に基づいて隠蔽領域の符号化制御を特定することを特徴とする請求項１または２に記載の動画像符号化システム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、
前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行い、
前記符号化制御マップ作成手段は、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎に前記画面上での他の画像オブジェクトからの距離を求め、該求めた距離に応じて符号化の粗さを定めたオブジェクト符号化制御マップを作成することを特徴とする動画像符号化システム。 - 複数の画像オブジェクトはそれぞれ優先度が予め設定されており、
符号化制御マップ作成手段は、前記優先度の高い画像オブジェクトに近い画素またはブロックほど符号化を細かく行うように定めたオブジェクト符号化制御マップを作成することを特徴とする請求項４に記載の動画像符号化システム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、
前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行う動画像符号化システムであって、
前記複数の符号化手段はそれぞれ、画像オブジェクトを符号化した際にオブジェクトの動きを求め、該求めたオブジェクトの動き情報を前記符号化制御マップ作成手段に供給し、
前記符号化制御マップ作成手段は、前記画面上における他の画像オブジェクトとの位置関係に加え、さらに前記複数の符号化手段から供給されたオブジェクトの動き情報に基づいて符号化制御を特定することを特徴とする動画像符号化システム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する複数の符号化手段と、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成して前記複数の符号化手段にそれぞれ供給する符号化制御マップ作成手段とを有し、
前記複数の符号化手段はそれぞれ、前記符号化制御マップ作成手段から供給された前記オブジェクト符号化制御マップに従って符号化を行う動画像符号化システムであって、
前記複数の符号化手段はそれぞれ、画像オブジェクトを符号化した際にそのオブジェクトの符号化の困難さを示すオブジェクト符号化状態情報を前記符号化制御マップ作成手段に供給し、
前記符号化制御マップ作成手段は、前記複数の符号化手段から供給されたオブジェクト符号化状態情報から符号化の困難さの度合を判断し、該符号化の困難さの度合に応じて符号化を調節したオブジェクト符号化制御マップを作成することを特徴とする動画像符号化システム。 - 複数の符号化手段のそれぞれに対して、供給されたレート制御パラメータから目標符号量を算出して供給するレート制御手段をさらに有し、
前記複数の符号化手段はそれぞれ、符号化時に発生する符号量が前記レート制御手段から供給された目標符号量となるように制御されるとともに、その符号化において用いられ、または、生じた所定の情報を前記レート制御パラメータとして前記レート制御手段に供給することを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化システム。 - 符号化制御マップ作成手段は、作成したオブジェクト符号化制御マップをレート制御手段に供給し、
前記レート制御手段は、前記符号化制御マップ作成手段から供給されたオブジェクト符号化制御マップに定められたオブジェクト符号化を反映した目標符号量を算出することを特徴とする請求項８に記載の動画像符号化システム。 - レート制御手段は、さらに、供給されたレート制御パラメータからレート制御の困難さを判断し、その判断結果をレート制御状態情報として符号化制御マップ作成手段に供給し、
前記符号化制御マップ作成手段は、前記レート制御手段から供給されたレート制御状態情報がレート制御が困難であることを示す場合は、複数の符号化手段における総発生符号量を抑制するようなオブジェクト符号化制御マップを作成することを特徴とする請求項９または請求項９に記載の動画像符号化システム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する動画像符号化方法であって、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、
前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップとを含み、
前記第１のステップは、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成するステップを含む動画像符号化方法。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する動画像符号化方法であって、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、
前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップとを含み、
前記第１のステップは、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が所定の値より大きい場合は符号化を行わないように定めたオブジェクト符号化制御マップを作成するステップを含む動画像符号化方法。 - 複数の画像オブジェクトのそれぞれについて、画像オブジェクトを符号化した際にオブジェクトの動きを求める第３のステップをさらに含み、
第１のステップは、前記第３のステップにて求めたオブジェクトの動き情報に基づいて隠蔽領域の符号化制御を特定するステップを含むことを特徴とする請求項１１または１２に記載の動画像符号化方法。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する動画像符号化方法であって、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、
前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップとを含み、
前記第１のステップは、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎に前記画面上での他の画像オブジェクトからの距離を求め、該求めた距離に応じて符号化の粗さを定めたオブジェクト符号化制御マップを作成するステップを含む動画像符号化方法。 - 複数の画像オブジェクトはそれぞれ優先度が予め設定されており、
第１のステップは、前記優先度の高い画像オブジェクトに近い画素またはブロックほど符号化を細かく行うように定めたオブジェクト符号化制御マップを作成するステップを含むことを特徴とする請求項１４に記載の動画像符号化方法。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する動画像符号化方法であって、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、
前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップと、
前記複数の画像オブジェクトのそれぞれについて、画像オブジェクトを符号化した際にオブジェクトの動きを求める第３のステップとを含み、
前記第１のステップは、前記画面上における他の画像オブジェクトとの位置関係に加え、さらに前記第３のステップにて求めたオブジェクトの動き情報に基づいて符号化制御を特定するステップを含む動画像符号化方法。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する動画像符号化方法であって、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、
前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップと、
前記複数の画像オブジェクトのそれぞれについて、画像オブジェクトを符号化した際にそのオブジェクトの符号化の困難さを示すオブジェクト符号化状態情報を取得する第３のステップとを含み、
前記第１のステップは、前記第３のステップにて取得したオブジェクト符号化状態情報から符号化の困難さの度合を判断し、該符号化の困難さの度合に応じて符号化を調節したオブジェクト符号化制御マップを作成するステップを含む動画像符号化方法。 - 合成されることで１つの画面を構成する複数の画像オブジェクトをそれぞれ符号化する動画像符号化方法であって、
前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１のステップと、
前記第１のステップにて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２のステップと、
前記複数の画像オブジェクトのそれぞれについて、その符号化において用いられ、または、生じた所定の情報をレート制御パラメータとして取得し、該取得したレート制御パラメータからレート制御の困難さを判断する第３のステップとを含み、
前記第１のステップは、前記第３のステップのレート制御の困難さの判断結果がレート制御が困難であるとなった場合は、前記複数の画像オブジェクトの符号化における総発生符号量を抑制するようなオブジェクト符号化制御マップを作成するステップを含む動画像符号化方法。 - 複数の画像オブジェクトのそれぞれについて、作成されたオブジェクト符号化制御マップに定められたオブジェクト符号化を反映した目標符号量を算出し、符号化時の発生符号量が前記算出した目標符号量となるようにレート制御するステップをさらに含むことを特徴とする請求項１１から１８のいずれか１項に記載の動画像符号化方法。
- 合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、
前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理とをコンピュータに実行させるためのプログラムであって、
前記第１の処理は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が大きいほど符号化が粗くなるように定めたオブジェクト符号化制御マップを作成する処理を含むプログラム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、
前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理とをコンピュータに実行させるためのプログラムであって、
前記第１の処理は、前記複数の画像オブジェクトのそれぞれについて、前記画面上で他の画像オブジェクトによって隠蔽される領域を求め、該求めた隠蔽領域について、符号化される画素またはブロックの位置毎に、前記画面上で前記隠蔽領域を隠蔽している画像オブジェクトからの距離を求め、該求めた距離が所定の値より大きい場合は符号化を行わないように定めたオブジェクト符号化制御マップを作成する処理を含むプログラム。 - 複数の画像オブジェクトのそれぞれについて、画像オブジェクトを符号化した際にオブジェクトの動きを求める第３の処理をさらに含み、
第１の処理は、前記第３の処理にて求めたオブジェクトの動き情報に基づいて隠蔽領域の符号化制御を特定する処理を含むことを特徴とする請求項２０または２１に記載のプログラム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、
前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理とをコンピュータに実行させるためのプログラムであって、
前記第１の処理は、前記複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎に前記画面上での他の画像オブジェクトからの距離を求め、該求めた距離に応じて符号化の粗さを定めたオブジェクト符号化制御マップを作成する処理を含むプログラム。 - 複数の画像オブジェクトはそれぞれ優先度が予め設定されており、
第１の処理は、前記優先度の高い画像オブジェクトに近い画素またはブロックほど符号化を細かく行うように定めたオブジェクト符号化制御マップを作成する処理を含むことを特徴とする請求項２３に記載のプログラム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、
前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理と、
前記複数の画像オブジェクトのそれぞれについて、画像オブジェクトを符号化した際にオブジェクトの動きを求める第３の処理とをコンピュータに実行させるためのプログラムであって、
前記第１の処理は、前記画面上における他の画像オブジェクトとの位置関係に加え、さらに前記第３の処理にて求めたオブジェクトの動き情報に基づいて符号化制御を特定する処理を含むプログラム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、
前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理と、
前記複数の画像オブジェクトのそれぞれについて、画像オブジェクトを符号化した際にそのオブジェクトの符号化の困難さを示すオブジェクト符号化状態情報を取得する第３の処理とをコンピュータに実行させるためのプログラムであって、
前記第１の処理は、前記第３の処理にて取得したオブジェクト符号化状態情報から符号化の困難さの度合を判断し、該符号化の困難さの度合に応じて符号化を調節したオブジェクト符号化制御マップを作成する処理を含むプログラム。 - 合成されることで１つの画面を構成する複数の画像オブジェクトのそれぞれについて、符号化される画素またはブロックの位置毎にどのような符号化を行うか、または、符号化するか否かを前記画面上における他の画像オブジェクトとの位置関係に応じて定めたオブジェクト符号化制御マップを作成する第１の処理と、
前記第１の処理にて作成されたオブジェクト符号化制御マップに従って前記複数の画像オブジェクトをそれぞれ符号化する第２の処理と、
前記複数の画像オブジェクトのそれぞれについて、その符号化において用いられ、または、生じた所定の情報をレート制御パラメータとして取得し、該取得したレート制御パラメータからレート制御の困難さを判断する第３の処理とをコンピュータに実行させるためのプログラムであって、
前記第１の処理は、前記第３の処理におけるレート制御の困難さの判断結果がレート制御が困難であるとなった場合は、前記複数の画像オブジェクトの符号化における総発生符号量を抑制するようなオブジェクト符号化制御マップを作成する処理を含むプログラム。 - 複数の画像オブジェクトのそれぞれについて、作成されたオブジェクト符号化制御マップに定められたオブジェクト符号化を反映した目標符号量を算出し、符号化時の発生符号量が前記算出した目標符号量となるようにレート制御する処理をさらに含むことを特徴とする請求項２０から２７のいずれか１項に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202369A JP4613453B2 (ja) | 2001-07-03 | 2001-07-03 | 動画像符号化システム、動画像符号化方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202369A JP4613453B2 (ja) | 2001-07-03 | 2001-07-03 | 動画像符号化システム、動画像符号化方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018591A JP2003018591A (ja) | 2003-01-17 |
| JP4613453B2 true JP4613453B2 (ja) | 2011-01-19 |
Family
ID=19039185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001202369A Expired - Lifetime JP4613453B2 (ja) | 2001-07-03 | 2001-07-03 | 動画像符号化システム、動画像符号化方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4613453B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4895041B2 (ja) * | 2007-07-20 | 2012-03-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JPWO2016013147A1 (ja) * | 2014-07-22 | 2017-04-27 | パナソニックＩｐマネジメント株式会社 | 符号化方法、復号方法、符号化装置および復号装置 |
| US10924784B2 (en) | 2016-08-30 | 2021-02-16 | Sony Corporation | Transmitting device, transmitting method, receiving device, and receiving method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0818975A (ja) * | 1994-06-27 | 1996-01-19 | Nec Corp | 動画像の符号化・復号装置 |
| JP2000270337A (ja) * | 1999-03-18 | 2000-09-29 | Telecommunication Advancement Organization Of Japan | 動き検出装置及び方法 |
| JP2001094994A (ja) * | 1999-09-20 | 2001-04-06 | Canon Inc | 画像処理装置及び方法 |
| JP2001128173A (ja) * | 1999-10-28 | 2001-05-11 | Victor Co Of Japan Ltd | オブジェクト符号化装置 |
-
2001
- 2001-07-03 JP JP2001202369A patent/JP4613453B2/ja not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0818975A (ja) * | 1994-06-27 | 1996-01-19 | Nec Corp | 動画像の符号化・復号装置 |
| JP2000270337A (ja) * | 1999-03-18 | 2000-09-29 | Telecommunication Advancement Organization Of Japan | 動き検出装置及び方法 |
| JP2001094994A (ja) * | 1999-09-20 | 2001-04-06 | Canon Inc | 画像処理装置及び方法 |
| JP2001128173A (ja) * | 1999-10-28 | 2001-05-11 | Victor Co Of Japan Ltd | オブジェクト符号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003018591A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5818531A (en) | Video encoding and decoding apparatus | |
| Sikora | Trends and perspectives in image and video coding | |
| US6031575A (en) | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium | |
| KR100718133B1 (ko) | 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법 | |
| EP0753970B1 (en) | Hierarchical video coding device and decoding device | |
| US7924917B2 (en) | Method for encoding and decoding video signals | |
| JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
| US20100142615A1 (en) | Method and apparatus for scalable video encoding and decoding | |
| JP4755093B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US20070025444A1 (en) | Coding Method | |
| US20090190662A1 (en) | Method and apparatus for encoding and decoding multiview video | |
| EP0889650A2 (en) | Method and apparatus for processing a bitstream | |
| US20060133482A1 (en) | Method for scalably encoding and decoding video signal | |
| EP0933939A1 (en) | Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium | |
| EP1538566A2 (en) | Method and apparatus for scalable video encoding and decoding | |
| KR20080037593A (ko) | 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 | |
| JP2002519915A (ja) | 領域を基礎とする画像処理方法および装置 | |
| JP3703299B2 (ja) | ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品 | |
| JP2006237656A (ja) | 符号化信号分離・合成装置、差分符号化信号生成装置、差分符号化信号抽出装置、符号化信号分離・合成方法、符号化信号分離・合成プログラム | |
| KR20000059799A (ko) | 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 | |
| Paul et al. | Video coding with dynamic background | |
| JP2005295505A (ja) | 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
| JP2004241869A (ja) | 透かし埋め込み及び画像圧縮部 | |
| US9264736B2 (en) | Encoding method, decoding method, encoding device, and decoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041207 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041207 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060125 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100414 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100921 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4613453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |