JP4520229B2 - 通信装置およびプログラム - Google Patents

Description

この発明は、動画データを受信または送信するための技術に関する。

映像（動画）を伴なう通話を行うことが可能なテレビ電話機や携帯電話機等の通信端末は、例えば、ＣＣＤカメラによって撮像された映像のデータを符号化しつつ通話先の通信端末へ送信する一方、通話先の通信端末から送信されてくる符号化された映像データを受信しつつこれを復号して画面に表示する。また、このような通信端末では、送受信される映像データの量を減らして通信網のトラフィックを低減するため、例えば、ＩＳＯ／ＩＥＣ ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ １４４９６−２（ＭＰＥＧ−４ Ｖｉｓｕａｌ）や、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６３（Ｈ．２６３）等の、映像データを圧縮する動画像符号化方式を用いている。

これらの動画像符号化方式では、映像を時間的に連続する静止画（フレーム）の集まりと捉え、連続して撮像された２枚のフレーム間では画像の変化が少ないことに着目し、符号化するフレームのうち、１フレーム前のフレームと比較して変化（動き）のある画像部分だけを符号化することで映像データの圧縮を図っている。このような符号化の手法はフレーム間差分符号化と呼ばれ、ＭＰＥＧ−４ ＶｉｓｕａｌやＨ．２６３では、このフレーム間差分符号化と動き補償とを併用し、１フレーム前のフレームのみを参照して符号化を行っている。なお、フレーム間差分符号化および動き補償を行うために符号化器や復号化器に備わるフレームメモリに保存されている１フレーム前のフレームを「参照フレーム」と呼ぶ。

また、近年標準化が進められているＨ．２６４／ＡＶＣでは、１フレーム以上前の複数のフレームを参照してフレーム間差分符号化と動き補償とを行い、符号化を行うことができる。これによりＨ．２６４／ＡＶＣでは、正確かつより高い圧縮率で符号化を行うことが可能となるが、符号化器や復号化器のフレームメモリに複数の参照フレームを保存しておく必要がある。

ところで、映像データを送受信する２台の通信端末間では、例えば、使用する動画像符号化方式や、ビットレート、フレームレート、参照フレームの数、映像データの画像サイズ等の符号化や復号化に関する条件を、双方の通信端末が対応可能な条件に取り決めた上で、当該条件に従って映像データの符号化や復号化を行っている。

このような通信端末の中には、例えば、送信側端末装置から送信されてくる複数の動画データを受信すると、受信した各動画データに基づく動画をそれぞれ別のウインドウに表示し、各ウインドウの表示状態が変更されると、ウインドウがより前面に表示されている動画、あるいはウインドウの露出面積がより大きい動画ほど高画質で表示されるように、送信側端末装置との間で通信を行って各動画データの伝送帯域を変更し、動画データの符号化速度や復号速度を変える受信側端末装置がある（特許文献１参照）。

特開平７−２３６１３６号公報

例えば、映像を伴なう通話が２台の通信端末間で行われている場合に、その通話の途中で新たな通信端末が加わり３者通話となるような場合、すなわち、第１の通信端末と第２の通信端末との間で互いに、撮像した映像データを符号化しつつ相手に送信するとともに、相手からの映像データを受信しつつこれを復号して画面に表示しているときに、第１の通信端末がさらに第３の通信端末との間でも映像データについて同様の処理を行う場合、第１の通信端末は、同時に２台の通信端末からの映像データを受信しつつこれらを復号して画面に表示しなければならない。

しかしながら、このような場合に、第１の通信端末が３者通話を開始しようとすると、第２の通信端末との間で事前に取り決めた符号化や復号化に関する符号化条件が維持できなくなり、第３の通信端末との通話は勿論のこと、第２の通信端末との通話も維持できなくなる可能性がある。特に、このような事態は、携帯電話機のように符号化器や復号化器の演算能力が低く、またフレームメモリの記憶容量も少ない等といった、符号化能力や復号能力が低い通信端末において起き易い。

例えば、第１の通信端末に備わる復号化器に、復号前の映像データを一時的に記憶しておくバッファとして、６４ｋｂｐｓまでの書き込み速度に対応できる入力バッファが設けられており、かつ、第１の通信端末と第２の通信端末との間で、符号化条件としてビットレートを６４ｋｂｐｓとすることが事前に取り決められていたとする。この場合、第１の通信端末は、３者通話を開始すると、第２の通信端末からの映像データに加え、第３の通信端末からの映像データも同時に受信することになるため、受信した全ての映像データを入力バッファに書き込むことができなくなり、映像データを正しく復号することができない。

また、第１の通信端末と第２の通信端末との間で符号化条件として、第１の通信端末の復号化器に備わるフレームメモリの全記憶領域を、第２の通信端末用の参照フレームを記憶するための領域として使用することが事前に取り決められていたとする。この場合、第１の通信端末は、３者通話を開始しようとしても、第３の通信端末用の参照フレームを記憶するための領域を復号化器のフレームメモリ内に確保することができないので、第３の通信端末からの映像データを復号することができない。

これは、Ｈ．２６４／ＡＶＣのように複数の参照フレームを用いる場合についても同様であり、例えば、第１の通信端末の復号化器内に参照フレームを記憶するためのフレームメモリが５つ設けられており、かつ、第１の通信端末と第２の通信端末との間で、符号化条件として５つのフレームメモリの全てを、第２の通信端末用の複数の参照フレームを記憶するために使用することが事前に取り決められていたとする。この場合も第１の通信端末は、３者通話を開始しようとしても、第３の通信端末用の複数の参照フレームを記憶するための領域を、復号化器内のいずれのフレームメモリ内にも確保することができないので、第３の通信端末からの映像データを復号することができない。

本発明は、以上説明した事情に鑑みてなされたものであり、その目的は、動画データを送信してくる相手先の装置の台数が変更された場合であっても、絶えず好適に相手先の各装置から動画データを受信して復号できるようにすることである。また、動画データの送信先となる装置の台数が変更された場合であっても、絶えず好適に送信先の各装置へ動画データを符号化して送信できるようにすることである。

上記課題を解決するために、この発明は、各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報が符号化された動画データを受信する動画データ受信手段と、前記動画データを復号して得られる前記複数の参照フレームの参照フレーム画像を記憶するためのメモリを有し、前記動画データを復号して得た前記検出された画像の動き及び前記複数の参照フレームの情報と、前記メモリに記憶された前記複数の参照フレームの参照フレーム画像とに基づいて前記予測画像を生成し、生成した予測画像と、前記動画データを復号して得た前記差分とに基づいて各フレームのフレーム画像を復元するとともに、復元したフレーム画像を前記メモリに記憶させる復号手段と、前記復号手段により復元されたフレーム画像を出力する出力手段と、動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数に応じて決定する制御手段であって、前記動画送信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置に対して前記動画データを送信していた前記動画送信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画送信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段とを具備することを特徴とする通信装置を提供する。

好ましい態様において、この通信装置は、前記制御手段は、前記符号化条件を、前記動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、前記復号手段の復号能力に応じて決定してもよい。
また、前記制御手段は、前記符号化条件を、前記動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が増加する場合には、台数の増加前から自通信装置に対して動画データを送信していた１以上の各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、増加後の動画送信装置の台数に応じて変更した後、新たに自通信装置に対して動画データを送信することとなる１以上の各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、当該各動画送信装置に割り当て可能な前記復号手段の復号能力または増加後の動画送信装置の台数に応じて決定してもよい。
また、前記制御手段は、前記符号化条件を、前記動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを、前記動画データ受信手段により受信させつつ、前記復号手段により復号させて前記出力手段から出力させるように制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数に応じて決定してもよい。
また、前記出力手段は、前記復号手段により復号された動画データに基づく動画を表示する表示手段であり、前記制御手段は、前記符号化条件を、当該動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数と、前記各動画送信装置から受信することとなる動画データを前記表示手段によって表示する場合の表示サイズとに応じて決定してもよい。

好ましい態様において、この通信装置は、少なくとも前記参照フレームの数の上限値を含み、前記各動画送信装置における動画データの前記符号化条件を決定するためのリソース情報を、前記各動画送信装置から各々受信するリソース情報受信手段と、前記リソース情報受信手段により受信されたリソース情報を記憶する記憶手段とをさらに有し、前記制御手段は、前記記憶手段に記憶されたリソース情報に基いて、前記各動画送信装置に対する前記参照フレームの数がそれぞれの前記上限値以下となるよう、前記符号化条件を決定してもよい。
この態様において、この通信装置は、各フレームのフレーム画像を含む動画データを入力する入力手段と、前記入力手段により入力された動画データを符号化する符号化手段と、前記符号化手段により符号化された動画データを送信する送信手段と、前記記憶手段に記憶されたリソース情報と、前記符号化手段における動画データの前記符号化条件を決定するためのリソース情報とに基いて、自通信装置が前記動画送信装置から送信される動画データの前記符号化条件を決定する前記符号化条件決定端末であるか否か判断する判断手段とをさらに有し、前記制御手段は、前記判断手段により前記符号化条件決定端末であると判断された場合に、前記記憶手段に記憶されたリソース情報に基いて前記符号化条件を決定してもよい。
あるいは、この通信装置は、各フレームのフレーム画像を含む動画データを入力する入力手段と、前記入力手段により入力された動画データを符号化する符号化手段と、前記符号化手段により符号化された動画データを送信する送信手段と、前記記憶手段に記憶されたリソース情報と、前記符号化手段における動画データの前記符号化条件を決定するためのリソース情報とに基いて、自通信装置及び前記各動画送信装置において前記リソース情報が少ない順に高くなる優先順位に従って、自通信装置の優先順位を算出する優先順位算出手段とをさらに有し、前記制御手段は、前記優先順位算出手段により算出された自通信装置の優先順位に基づいて、前記優先順位が高い前記動画送信装置から順に前記各動画送信装置に対する前記符号化条件を決定してもよい。

また、この発明は、各フレームのフレーム画像を含む動画データを入力する入力手段と、前記入力手段により入力された動画データを符号化する符号化手段であって、前記各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報を符号化する符号化手段と、前記符号化手段により符号化された動画データを送信する送信手段と、動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの受信先となる動画受信装置と通信を行って決定し、当該符号化条件に従って動画データを符号化し得るように前記符号化手段を制御する手段であり、前記送信手段によって送信される動画データの受信先となる動画受信装置の台数が変更される場合には、台数の変更後に前記動画データを受信することとなる各動画受信装置と通信を行い、当該各動画受信装置へ送信する動画データの前記符号化条件を、変更後の動画受信装置の台数に応じて決定する制御手段であって、前記動画受信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置が前記動画データを送信していた前記動画受信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画受信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段とを具備することを特徴とする通信装置を提供する。

好ましい態様において、この通信装置は、前記制御手段は、前記符号化条件を、前記動画データの受信先となる動画受信装置と通信を行って決定し、当該符号化条件に従って動画データを前記符号化手段により符号化させつつ、前記送信手段により送信させるように制御する手段であり、前記送信手段によって送信される動画データの受信先となる動画受信装置の台数が変更される場合には、台数の変更後に前記動画データを受信することとなる各動画受信装置と通信を行い、当該各動画受信装置へ送信する動画データの前記符号化条件を、変更後の動画受信装置の台数に応じて決定してもよい。

また、この発明は、コンピュータを、各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報が符号化された動画データを受信する動画データ受信手段と、前記動画データを復号して得られる前記複数の参照フレームの参照フレーム画像を記憶するためのメモリを有し、前記動画データを復号して得た前記検出された画像の動き及び前記複数の参照フレームの情報と、前記メモリに記憶された前記複数の参照フレームの参照フレーム画像とに基づいて前記予測画像を生成し、生成した予測画像と、前記動画データを復号して得た前記差分とに基づいて各フレームのフレーム画像を復元するとともに、復元したフレーム画像を前記メモリに記憶させる復号手段と、前記復号手段により復元されたフレーム画像を出力する出力手段と、動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数に応じて決定する制御手段であって、前記動画送信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置に対して前記動画データを送信していた前記動画送信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画送信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段として機能させるためのプログラムを提供する。

また、この発明は、コンピュータを、各フレームのフレーム画像を含む動画データを入力する入力手段と、前記入力手段により入力された動画データを符号化する符号化手段であって、前記各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報を符号化する符号化手段と、前記符号化手段により符号化された動画データを送信する送信手段と、動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの受信先となる動画受信装置と通信を行って決定し、当該符号化条件に従って動画データを符号化し得るように前記符号化手段を制御する手段であり、前記送信手段によって送信される動画データの受信先となる動画受信装置の台数が変更される場合には、台数の変更後に前記動画データを受信することとなる各動画受信装置と通信を行い、当該各動画受信装置へ送信する動画データの前記符号化条件を、変更後の動画受信装置の台数に応じて決定する制御手段であって、前記動画受信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置が前記動画データを送信していた前記動画受信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画受信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段として機能させるためのプログラムを提供する。

なお、上述した動画受信装置および動画送信装置の機能を１台の装置にまとめ、動画データを送受信する送受信手段と、前記送受信手段により送信する動画データを符号化する符号化手段と、前記送受信手段により受信された動画データを復号する復号手段と、前記復号手段により復号された動画データを出力する出力手段と、動画データの符号化条件を、当該動画データの送受信先となる相手装置と通信を行って決定し、当該符号化条件に従って動画データを符号化し得るように前記符号化手段を制御するとともに、前記符号化条件に従って動画データを復号し得るように前記復号手段を制御する手段であり、当該動画通信装置との間で動画データを送受信する相手装置の台数が変更される場合には、台数の変更後に当該動画通信装置と動画データを送受信することとなる各相手装置と通信を行い、当該各相手装置との間で送受信される動画データの符号化条件を、変更後の相手装置の台数に応じて決定する制御手段とを具備する動画通信装置としてもよい。

以上説明したように本発明によれば、動画受信装置は、当該動画受信装置に対して動画データを送信する動画送信装置の台数が変更された場合であっても、絶えず好適に各動画送信装置からの動画データを受信して復号することができるようになる。また、動画送信装置は、動画データの送信先となる動画受信装置の台数が変更された場合であっても、絶えず好適に各動画受信装置へ動画データを符号化して送信することができるようになる。

以下、図面を参照して本発明の実施形態について説明する。なお、各図において共通する部分には、同一の符号が付されている。

［Ａ．第１実施形態］
＜Ａ−１．実施形態の構成＞
＜Ａ−１−１．携帯電話機の構成＞
図１は、本発明の実施形態に係る携帯電話機１０（動画受信装置、動画送信装置）のハードウェア構成を例示するブロック図である。同図に示すように携帯電話機１０は、映像入力器１と、符号化器２と、送受信器３と、復号化器４と、映像表示器５と、制御部６と、不揮発性メモリ７とを有している。なお、図１においては図示を省略しているが、この携帯電話機１０は、さらに操作入力部や通話処理部を有している。操作入力部は、数字や文字、操作指示等を入力するための複数のキーを有しており、これらのキーの操作に応じた操作信号を制御部６に出力する。また、通話処理部は、マイクロフォンやスピーカ、音声処理部等を有しており、制御部６の制御の下、呼の接続や切断等を含む通話処理を行う。

映像入力器１は、例えばＣＣＤカメラであって、撮像した映像のデータを符号化器２へ出力する。なお、この映像入力器１により撮像された映像データ（動画データ）を符号化器２へ出力する代わりに、携帯電話機１０が移動通信網を介して取得した映像データや、不揮発性メモリ７から読み出した映像データを符号化器２へ出力する構成としてもよい。

符号化器２は、映像入力器１から入力された映像データを、例えば、ＭＰＥＧ−４ Ｖｉｓｕａｌ、Ｈ．２６３、Ｈ．２６４／ＡＶＣ等の動画像符号化方式に従って符号化し、これを送受信器３へ出力する。

送受信器３は、移動通信網に設けられた基地局との無線通信を制御する。この送受信器３は、符号化器２から入力された映像データと、相手先の携帯電話機１０の通信アドレス（例えば電話番号やＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス）とを基地局へ送信する。これにより携帯電話機１０から送信された映像データが相手先の携帯電話機１０へと送信される。また、送受信器３は、相手先の携帯電話機１０から送信されてくる映像データを基地局から受信して、これを復号化器４へ出力する。

また、送受信器３は、符号化された映像データ以外にも、例えば、携帯電話機１０が現時点においてサポートしている、動画像符号化方式の種類、ビットレートやフレームレートの上限値、参照フレーム数の上限値、映像データの画像サイズの上限値等の情報を、基地局を介して相手先の携帯電話機１０との間で送受信する。これらの情報を送受信することで携帯電話機１０は、相手先の携帯電話機１０との間で、送受信する映像データについての符号化や復号化に関する条件（符号化条件）を取り決めて、当該符号化条件を、相手先の携帯電話機１０を特定し得る端末特定情報（例えば、電話番号やＩＰアドレス等の通信アドレスや端末ＩＤ）と対応付けて不揮発性メモリ７に記憶する。

なお、この符号化条件は、相手先の携帯電話機１０との間で送受信される映像データについて、使用する動画像符号化方式や、ビットレート、フレームレート、参照フレームの数、画像サイズ等を規定するものである。

復号化器４は、送受信器３から入力された映像データを、相手先の携帯電話機１０との間で事前に取り決めた符号化条件に従って復号し、映像表示器５へ出力する。また、映像表示器５は、例えば、液晶表示パネルとその表示制御を行う駆動回路とを有しており、復号化器４によって復号された映像データに基づく映像を液晶画面に表示する。

制御部６は、映像入力器１、符号化器２、送受信器３、復号化器４、映像表示器５、不揮発性メモリ７の全てに接続されている。この制御部６は、図示を省略したＣＰＵやＲＯＭ、ＲＡＭ等を有しており、ＲＯＭや不揮発性メモリ７に記憶されている各種のプログラムを実行することによって、携帯電話機１０の各部を制御する。また、不揮発性メモリ７には、例えば、後述する切換処理（図４参照）を司るソフトウェア（プログラム）や、相手先の携帯電話機１０との間で取り決めた符号化条件、符号化器２や復号化器４に設定する各種のパラメータ等が記憶されている。

＜Ａ−１−２．符号化器の構成＞
図２は、符号化器２の構成を例示するブロック図である。
符号化器２に入力されたフレーム画像Ｄ１０は、マクロブロック（１６×１６画素）に分割されて動き検出部１１へと入力される。

動き検出部１１は、マクロブロック毎に画像の動きを検出する。すなわち、動き検出部１１は、まず、マクロブロックの画像と、フレームメモリ２０に記憶されている参照フレーム画像Ｄ２１とを比較する。次いで、動き検出部１１は、参照フレーム画像Ｄ２１の中からマクロブロックの画像と類似する画像領域を抽出した後、当該画像領域に対するマクロブロックの画像の動きを検出し、検出された画像の動きを示す動きベクトルＤｌｌを生成する。生成された動きベクトルＤｌｌは、動き補償部１２および可変長符号化部１６へと出力される。また、動き検出部１１は、動きベクトルＤｌｌを生成する際に参照した参照フレームＤ２１の情報（参照フレーム情報Ｄ１２）を可変長符号化部１６へ出力する。

なお、動き検出部１１は、マクロブロックをさらに細かく分割した単位で動き検出を行ってもよい。また、Ｈ．２６４／ＡＶＣの場合は、フレームメモリ２０に１フレーム以上前の複数の参照フレーム画像Ｄ２１が記憶されている。したがって、Ｈ．２６４／ＡＶＣの場合は動き検出部１１において、各マクロブロック毎の動きベクトルＤｌｌが複数の参照フレーム画像Ｄ２１を参照して生成される。

動き補償部１２は、動き検出部１１から入力された動きベクトルＤｌｌと、フレームメモリ２０に記憶されている参照フレーム画像Ｄ２１とに基づいて、各マクロブロック毎に予測画像Ｄ１３を生成する。そして、各マクロブロック毎に、フレーム画像Ｄ１０と予測画像Ｄ１３との差分（予測残差）が減算器１３により求められ、予測残差画像Ｄ１４として直交変換部１４へ入力される。直交変換部１４は、予測残差信号Ｄ１４に対して、マクロブロックに含まれる直交変換ブロック毎に直交変換を行って直交変換係数Ｄ１５を生成する。また、量子化部１５は、直交変換係数Ｄ１５を量子化して量子化直交変換係数Ｄ１６を生成する。

可変長符号化部１６は、量子化部１５から入力された量子化直交変換係数Ｄ１６と、動き検出部１１から入力された動きベクトルＤｌｌおよび参照フレーム情報Ｄ１２とを符号化して得た符号化データＤ１８（符号化された映像データ）を送受信器３（図１参照）へ出力する。

また、量子化部１５から出力された量子化直交変換係数Ｄ１６は、逆量子化部１７において逆量子化されて逆量子化直交変換係数Ｄ１９となり、さらに逆直交変換部１８において逆直交変換されて局部復号残差画像Ｄ２０となる。そして、この局部復号残差画像Ｄ２０と、動き補償部１２から出力された予測画像Ｄ１３とが加算器１９によって加算され、参照フレーム画像Ｄ２１が生成される。この参照フレーム画像Ｄ２１がフレームメモリ２０に記憶され、フレーム間差分符号化と動き補償を行うために用いられる。

＜Ａ−１−３．復号化器の構成＞
図３は、復号化器４の構成を例示するブロック図である。
相手先の携帯電話機１０において符号化された映像データであって、送受信器３（図１参照）により受信されて復号化器４に入力された符号化データＤ１８は、入力バッファ２１に蓄積され、復号化を行なう処理単位毎にまとめられて符号化データＤ１９として可変長復号部２２へ入力される。

可変長復号部２２は、符号化データＤ１９からマクロブロック毎に、動きベクトルＤｌｌ、参照フレーム情報Ｄ１２および量子化直交変換係数Ｄ１６を復号する。このうち量子化直交変換係数Ｄ１６は、逆量子化部２３において逆量子化されて直交変換係数Ｄ１５となり、さらに逆直交変換部２４において逆直交変換されて局所復号残差画像Ｄ１４となる。

また、可変長復号部２２において復号された動きベクトル情報Ｄｌｌおよび参照フレーム情報Ｄ１２は、動き補償部２５へと入力される。動き補償部２５では、動きベクトルＤｌｌおよび参照フレーム情報Ｄ１２と、フレームメモリ２６に記憶されている参照フレーム画像Ｄ２１とに基づいて予測画像Ｄ１３を生成する。

そして、この予測画像Ｄ１３と、逆直交変換部２４から出力された局所復号残差画像Ｄ１４とが加算器２７によって加算され、フレーム画像Ｄ１２，Ｄ２１が復元される。このようにして復元されたフレーム画像Ｄ１２は、映像表示器５（図１参照）へ出力される。また、フレーム画像Ｄ２１は、フレームメモリ２６に記憶され、フレーム間差分符号化と動き補償を行うために用いられる。

＜Ａ−２．実施形態の動作＞
まず、映像を伴なう通話が２台の携帯電話機１０間で行われる場合の動作を、図１を参照して説明する。

携帯電話機１０は、例えば、操作入力部（図示省略）から映像を伴なう通話を開始する旨が指示された場合や、映像を伴なう通話を要求する旨の着信を受けると、相手先の携帯電話機１０を特定する。次いで、携帯電話機１０は、相手先の携帯電話機１０との間で、互いの携帯電話機１０が現時点においてサポートしている、動画像符号化方式の種類、ビットレートやフレームレートの上限値、参照フレーム数の上限値、映像データの画像サイズの上限値等（以下、「符号化リソース」という）の情報を送受信し、これから送受信する映像データについての符号化条件を取り決める。

例えば、２者通話を行う際には、相手先の携帯電話機１０が１台しかいないので、ビットレートを、どちらかの携帯電話機１０の復号化器４における入力バッファ２１の書き込み速度の上限値に設定するとともに、参照フレームの数も、どちらかの携帯電話機１０の復号化器４におけるフレームメモリ２６の全記憶容量に応じた値に設定する。このように２者通話を行う際に２台の携帯電話機１０間では、２者通話を最も効率的に行うことのできる符号化条件を設定する。

次いで、携帯電話機１０は、相手先の携帯電話機１０との間で取り決めた符号化条件を、相手先の携帯電話機１０を特定し得る端末特定情報と対応付けて不揮発性メモリ７に記憶する。そして、携帯電話機１０は、不揮発性メモリ７に記憶された符号化条件に応じた各種のパラメータ値を符号化器２や復号化器４に適宜設定した後、映像入力器１により撮像された映像データを符号化器２によって圧縮符号化させつつ、送受信器３から相手先の携帯電話機１０へと送信させる。一方、相手先の携帯電話機１０においても携帯電話機１０との間で取り決めた符号化条件に従って映像データの圧縮符号化とその送信が行われる。携帯電話機１０は、相手先の携帯電話機１０から送信されてくる映像データを送受信器３により受信させつつ、これを復号化器４によって伸長復号化させてその映像を映像表示器５に表示させる。

このようにして２台の携帯電話機１０間では、撮像した映像データを符号化しつつ相手に送信するとともに、相手からの映像データを受信しつつこれを復号して画面に表示することで、映像を伴なう通話を実現している。なお、２台の携帯電話機１０間では、以上説明した映像データについての処理に加え、音声データについての符復号や送受信に関する処理が並行して行われている。

次に、映像を伴なう通話が２台の携帯電話機１０間で行われている場合に、そのうちの１台の携帯電話機１０に対して、新たな携帯電話機１０から映像を伴なう通話を要求する旨の着信が入り、映像を伴なう通話を２者通話から３者通話に切換える場合の動作を、図４を参照して説明する。

なお、以降、本明細書においては、３者通話を行うこととなる各携帯電話機１０を明確に区別することができるよう、既に２者通話を行っており、新たな携帯電話機１０からの着信を受けた携帯電話機１０を「第１の携帯電話機１０」、この第１の携帯電話機１０との間で既に２者通話を行っている携帯電話機１０を「第２の携帯電話機１０」、第１の携帯電話機１０に対する着信を要求してきた携帯電話機１０を「第３の携帯電話機１０」と記載する。また、図４に示すフロチャートは、第１の携帯電話機１０の制御部６において実行される動作を例示している。

同図に示すように、第１の携帯電話機１０は、第３の携帯電話機１０からの着信を検出すると（ステップＳ１）、映像を伴なう通話を２者通話から３者通話に切換えるか否かを判別する（ステップＳ２）。この際、第１の携帯電話機１０は、例えば、操作入力部から２者通話のままとする旨が指示された場合に、３者通話への切換えを行わないものと判別し（ステップＳ２：ＮＯ）、この場合は、第３の携帯電話機１０に対して話中である旨のメッセージを通知した後（ステップＳ３）、図４に示す処理を終える。

一方、第１の携帯電話機１０は、例えば、操作入力部から３者通話に切換える旨が指示された場合に、３者通話への切換えを行うものと判別する（ステップＳ２：ＹＥＳ）。この場合、第１の携帯電話機１０は、まず、第２および第３の携帯電話機１０から、各々の携帯電話機１０が現時点においてサポートしている、動画像符号化方式の種類、ビットレートやフレームレートの上限値、参照フレーム数の上限値、映像データの画像サイズの上限値等（符号化リソース）の情報を受信する（ステップＳ４）。

次いで、第１の携帯電話機１０は、上記ステップＳ４において受信した情報と、当該第１の携帯電話機１０が現時点においてサポートしている、動画像符号化方式の種類、ビットレートやフレームレートの上限値、参照フレーム数の上限値、映像データの画像サイズの上限値等の情報と、同時に通話することとなった相手先の携帯電話機１０の台数（ここでは、第２および第３の携帯電話機１０の計２台）とに基づいて、まず、第２の携帯電話機１０との符号化条件を、３者通話を最も効率的に行うことのできる符号化条件に変更する（ステップＳ５）。

例えば、３者通話へ切換わると、第３の携帯電話機１０からの映像データを受信することになるので、２者通話の場合と比較してビットレートが増える。２者通話を行う際には、２者通話の場合に最も効率的に符号化と復号化を行うことができるよう、第２の携帯電話機１０とのビットレートは、例えば、第１または第２の携帯電話機１０の復号化器４における入力バッファ２１の書き込み速度の上限値に設定されている。そこで、３者通話の場合には、３者通話を最も効率的に行うことのできるよう、第２の携帯電話機１０とのビットレートを、例えば、２者通話の場合の半分の値に変更する。

また、３者通話に切換わると、第３の携帯電話機１０から受信した映像データを復号するために、復号化器４のフレームメモリ２６に第３の携帯電話機１０用の参照フレームを記憶しておく必要がある。２者通話を行う際には、２者通話の場合に最も効率的に符号化と復号化を行うことができるよう、第２の携帯電話機１０用の参照フレームの数は、例えば、第１または第２の携帯電話機１０の復号化器４におけるフレームメモリ２６の全記憶容量に応じた値に設定されている。そこで、３者通話の場合には、３者通話を最も効率的に行うことのできるよう、例えば、フレームメモリ２６の半分の記憶領域を第３の携帯電話機１０用に使用することとして、第２の携帯電話機１０用の参照フレームの数を２者通話の場合の半分の値に変更する。

次いで、第１の携帯電話機１０は、３者通話用に変更した第２の携帯電話機１０との符号化条件を、第２の携帯電話機１０へ送信する（ステップＳ６）。そして、第１の携帯電話機１０は、第２の携帯電話機１０との符号化条件について、その内容を了承する旨の信号を第２の携帯電話機１０から受信すると、２者通話を行う際に第２の携帯電話機１０との間で取り決めて不揮発性メモリ７に記憶しておいた第２の携帯電話機１０との符号化条件を、上記ステップＳ５において３者通話用に変更した符号化条件に更新する（ステップＳ７）。

なお、第２の携帯電話機１０でも、第１の携帯電話機１０から３者通話用の符号化条件を受信すると、２者通話を行う際に第１の携帯電話機１０との間で取り決めた符号化条件を、受信した３者通話用の符号化条件に更新する。そして、更新後の符号化条件に応じた各種のパラメータ値を符号化器２や復号化器４に設定する。

例えば、３者通話用の符号化条件においてビットレートの値が２者通話の場合の半分に変更されていた場合、第２の携帯電話機１０は、符号化器２の量子化部１５における量子化パラメータを変更する等してビットレートの値を２者通話の場合の半分にする。また、３者通話用の符号化条件において、参照フレームの数が２者通話の場合の半分に変更されていた場合、第２の携帯電話機１０は、符号化器２のフレームメモリ２０に記憶する参照フレームＤ２１の数を２者通話の場合の半分にするとともに、変更毎の参照フレーム数で映像データの符号化が行えるよう、符号化器２の各部の制御を調整する。

さて、第１の携帯電話機１０では、上記ステップＳ７の後、今度は、第３の携帯電話機１０との間で通信を行い、第３の携帯電話機１０との符号化条件を取り決める（ステップＳ８）。このステップＳ８における処理は、２者通話を行う際に２台の携帯電話機１０間で行われる符号化条件の取り決め処理と基本的に同じである。異なるのは、３者通話であるため、３者通話を最も効率的に行うことができるように、第１の携帯電話機１０と第３の携帯電話機１０との間で符号化条件が取り決められる点のみである。

そして、第１の携帯電話機１０は、ステップＳ８において第３の携帯電話機１０との符号化条件（３者通話用）が取り決められると、この符号化条件を第３の携帯電話機１０を特定し得る端末特定情報と対応付けて不揮発性メモリ７に記憶する。この後、第１の携帯電話機１０は、不揮発性メモリ７に記憶された、第２の携帯電話機１０との符号化条件および第３の携帯電話機１０との符号化条件に応じた各種のパラメータ値を符号化器２や復号化器４に適宜設定した後、第２および第３の携帯電話機１０との間で３者通話を開始する（ステップＳ９）。

このように２者通話から３者通話への切換えを行うことで、仮に、２者通話を行う際に第１および第２の携帯電話機１０間で、２者通話を最も効率的に行うことのできる符号化条件が取り決められていた場合であっても、３者通話へ切換えられた後、例えば、第１の携帯電話機１０の復号化器４内の入力バッファ２１に、第２および第３の両方の携帯電話機１０から受信した全ての映像データをきちんと書き込むことができる。また、第１の携帯電話機１０の復号化器４内のフレームメモリ２６に、第３の携帯電話機１０用の参照フレームを記憶するための領域を確保することも可能となる。

さらに、第１の携帯電話機１０は、２者通話を行う際には第２の携帯電話機１０と通信を行い、２者通話を最も効率的に行うことのできる符号化条件を設定する一方で、３者通話への切換え時には、第２および第３の両方の携帯電話機１０と通信を行い、３者通話を最も効率的に行うことのできる符号化条件を設定することができる。

なお、図４に示した動作例では、２者通話から３者通話への切換え時について説明したが、携帯電話機１０は、３者通話から４者通話への切換え時や、あるいは逆に、３者通話から２者通話への切換え時に、同時に通話することとなる相手先の携帯電話機１０の台数に応じて、相手先の各携帯電話機１０との符号化条件を決定することができる。例えば、各携帯電話機１０の性能が同じである場合、３者通話の場合には、相手先の各携帯電話機１０とのビットレートを２者通話の場合の１／２とし、４者通話の場合には、相手先の各携帯電話機１０とのビットレートを２者通話の場合の１／３とすればよい。また、各携帯電話機１０用の参照フレームの数を、３者通話の場合には２者通話の場合の１／２とし、４者通話の場合には２者通話の場合の１／３とすればよい。

このように本実施形態によれば、携帯電話機１０は、映像を伴なう通話を２者通話から３者通話に切換える場合等、当該携帯電話機１０と映像データを送受信する相手先の携帯電話機１０の台数が変更される場合には、台数の変更後に当該携帯電話機１０と映像データを送受信することとなる各携帯電話機１０と通信を行い、当該各携帯電話機１０との間で送受信される映像データの符号化条件を、変更後の相手先の携帯電話機１０の台数に応じて決定する。

すなわち、携帯電話機１０における映像データの受信機能に着目すると、携帯電話機１０は、映像データを送信してくる相手先の携帯電話機１０の台数が変更される場合には、台数の変更後に当該携帯電話機１０に対して映像データを送信することとなる各携帯電話機１０と通信を行い、当該各携帯電話機１０から送信される映像データの符号化条件を、変更後の相手先の携帯電話機１０の台数に応じて決定する。

また、携帯電話機１０における映像データの送信機能に着目すると、携帯電話機１０は、映像データの送信先となる相手先の携帯電話機１０の台数が変更される場合には、台数の変更後に当該携帯電話機１０からの映像データを受信することとなる各携帯電話機１０と通信を行い、当該各携帯電話機１０へ送信する映像データの符号化条件を、変更後の相手先の携帯電話機１０の台数に応じて決定する。

また、携帯電話機１０は、相手先の携帯電話機１０との間で動画データの符号化条件を決定または変更するにあたり、互いの携帯電話機１０が現時点においてサポートしている、動画像符号化方式の種類、ビットレートやフレームレートの上限値、参照フレーム数の上限値、映像データの画像サイズの上限値等の符号化リソース情報を送受信し、互いの携帯電話機１０が現時点において有している符号化能力や復号能力と、同時に通話することとなる携帯電話機１０の台数とに応じて、これから送受信する映像データについての符号化条件を取り決める。

また、携帯電話機１０は、映像を伴なう通話を２者通話から３者通話に切換える場合等、当該携帯電話機１０との間で映像データを送受信する相手先の携帯電話機１０の台数が増える場合には、台数の増加前から当該携帯電話機１０と映像データを送受信していた相手先の１以上の各携帯電話機１０と通信を行い、当該各携帯電話機１０との間で送受信される映像データの符号化条件を、増加後の相手先の携帯電話機１０の台数に応じて変更した後、新たに当該携帯電話機１０と映像データを送受信することとなる相手先の１以上の各携帯電話機１０と通信を行い、当該各携帯電話機１０との間で送受信される映像データの符号化条件を、当該各携帯電話機１０に割り当て可能な符号化能力や復号能力、または増加後の相手先の携帯電話機１０の台数に応じて決定する。

このように映像を伴なう通話の話者数が増える場合に、既に映像データを送受信している各携帯電話機１０との符号化条件を変更した後、新たに映像データを送受信することとなる各携帯電話機１０との符号化条件を決定するようにすれば、切換え時に、既に映像データを送受信している各携帯電話機１０との間で映像データの符号化や復号化ができなくなって通話が中断されてしまうようなことがない。よってスムーズに切換え制御を行うことができる。

また、携帯電話機１０は、映像を伴なう通話を３者通話から２者通話に切換える場合等、当該携帯電話機１０との間で映像データを送受信する相手先の携帯電話機１０の台数が減る場合には、台数の減少後に当該携帯電話機１０と映像データを送受信することとなる相手先の１以上の各携帯電話機１０と通信を行い、当該各携帯電話機１０との間で送受信される映像データの符号化条件を、減少後の相手先の携帯電話機１０の台数に応じて変更する。但し、このように映像を伴なう通話の話者数が減る場合には、相手先の各携帯電話機１０との間で送受信されることとなる映像データの符号化条件を、台数の減少前の値から変えなくてもよい。

なお、携帯電話機１０（コンピュータ装置）は、不揮発性メモリ７あるいは制御部６内のＲＯＭ（図示省略）に記憶されているプログラムに従って、上述した切換処理（図４参照）を実行するが、このような本発明に係る処理を司るプログラムを通信によって携帯電話機１０に提供するようにしてもよい。また、このプログラムを記録媒体に記録して提供するようにしてもよい。

［Ｂ．第２実施形態］
続いて、本発明の第２実施形態について説明する。図６は、本実施形態に係る多者通話の様子を模式的に示した図である。本実施形態においては、符号化条件を決定する端末の選択方法、および端末間でリソース情報を通知しあう形態が第１実施形態と異なる。また、本実施形態においては、通話者の数が、２者→３者→２者と変化する場合の動作について説明する。以下の説明においては、符号化用および復号化用参照フレーム数の上限値がそれぞれ７、８、９である第１、第２、第３の携帯電話機１０（以下の説明では、携帯電話機１０Ａ、１０Ｂ、１０Ｃという）が、順次多者通話に参加する。すなわち、携帯電話機１０Ａ、１０Ｂ、１０Ｃの参照フレーム数は、それぞれ符号化用および復号化用を合わせて１４、１６、１８である。また、以下の説明では簡単のため、符号化リソースとしては参照フレーム数のみを考慮した説明をするが、実際には、ビットレートやフレームレート、映像データの画像サイズ等も考慮する。なお、本実施形態における携帯電話機１０は符号化用参照フレームと復号化用参照フレームの数が同一であるが、符号化用参照フレームと復号化用参照フレームの数が異なる携帯電話機を用いてもよい。以下の説明においては、単に「参照フレーム数」と記載した場合は、送信時においては符号化用参照フレーム数を、受信時には復号化用参照フレーム数を指す。
また、本実施形態に係る動画受信装置、動画送信装置である携帯電話機１０の構成は第１実施形態と同様であるのでその説明を省略する。第１、第２、第３の携帯電話機１０の各構成要素は、それぞれ添字Ａ、Ｂ、Ｃを付けて区別する。

＜Ｂ−１．２者通話の開始＞
まず、携帯電話機１０Ａと携帯電話機１０Ｂとが、第１実施形態で説明したように映像を伴う通話を開始する。例えば、携帯電話機１０Ａは、携帯電話機１０Ｂから映像を伴う通話を要求する旨の着信を受けると、相手先が携帯電話機１０Ｂであると特定する。次に、携帯電話機１０Ａは、携帯電話機１０Ｂに自身の符号化リソース情報を送信する。携帯電話機１０Ｂの制御部６Ｂは、携帯電話機１０Ａの符号化リソース情報を受信すると、受信した符号化リソース情報の一部または全部を自身の符号化リソース情報と比較する。比較の結果、自身の符号化リソースが携帯電話機１０Ａの符号化リソースよりも多い場合、制御部６Ｂは、符号化条件を決定する端末を示す条件決定端末情報を携帯電話機１０Ｂを示す端末特定情報（例えば、電話番号、ＩＰアドレス、端末ＩＤ等）に書き換える。比較の結果、自身の符号化リソースが携帯電話機１０Ａの符号化リソースよりも少ない場合、制御部６Ｂは、条件決定端末情報を携帯電話機１０Ａを示す情報に書き換える。携帯電話機１０Ｂは、書き換えた条件決定端末情報を携帯電話機１０Ａに送信する。

携帯電話機１０Ａは条件決定端末情報を受信すると、受信した条件決定端末情報を不揮発性メモリ７Ａに記憶する。制御部６Ａは、条件決定端末情報を読み出し、携帯電話機１０Ａ自身が条件決定端末であるか否か判断する。本実施形態においては、携帯電話機１０Ｂの符号化リソースが携帯電話機１０Ａの符号化リソースよりも多いため、条件決定端末情報は携帯電話機１０Ｂを示している。したがって、携帯電話機１０Ｂが符号化条件の決定を行う条件決定端末となる。

携帯電話機１０Ｂの制御部６Ｂは、符号化条件を、携帯電話機１０Ａおよび携帯電話機１０Ｂのうち符号化リソースが少ない方の端末に合わせて設定する。すなわち、本実施形態においては、携帯電話機１０Ａ、携帯電話機１０Ｂの参照フレーム数の上限値はそれぞれ７、８であるので、符号化条件として、使用する参照フレーム数を７に決定する。携帯電話機１０Ｂは、決定した符号化条件を携帯電話機１０Ａに送信する。制御部６Ａは、受信した符号化条件を携帯電話機１０Ｂの端末特定情報と対応付けて不揮発性メモリ７Ａに記憶する。携帯電話機１０Ａおよび携帯電話機１０Ｂは、このようにして取り決められた符号化条件に従って映像を伴う通話を開始する（図６（ａ））。なお、図６において、携帯電話機１０のブロック内に書かれた数字はその端末の参照フレーム数の上限値を示している。また、矢印の中に記載された文字は、例えば「ＡＢ」であればＡＢ間の通信であることを示している。矢印の上に書かれた数字は、その２つの端末間の通信で使用される参照フレームの数を示している。

＜Ｂ−２．２者通話から３者通話への切り替え＞
続いて、携帯電話機１０Ａおよび携帯電話機１０Ｂが２者通話を行っているときに、携帯電話機１０Ｃから携帯電話機１０Ａに発呼があった場合の動作について説明する。図７は、本実施形態に係る多者通話システムにおいて、話者数が増加する際の動作を示すフローチャートである。まず、着信があったとき（ステップＳ２１）に、携帯電話機１０Ａは、第１実施形態と同様に、操作入力部から３者通話に切換える旨が指示された場合（ステップＳ２２：ＹＥＳ）に、３者通話への切換えを行うものと判別する。なお、３者通話を行わない場合（ステップＳ２２：ＮＯ）の動作は第１実施形態と同様である。

３者通話に切換える旨が指示された場合、制御部６Ａは、不揮発性メモリ７Ａから条件決定端末情報を読み出す。携帯電話機１０Ａは、条件決定端末情報を携帯電話機１０Ｃに送信する。携帯電話機１０Ｃの制御部６Ｃは、受信した条件決定端末情報から、条件決定端末が携帯電話機１０Ｂであると特定する。制御部６Ｃは、自身の符号化リソース情報を、携帯電話機１０Ａとの多者通話開始の要求に付加して、条件決定端末である携帯電話機１０Ｂに送信する（ステップＳ２３）。

本実施形態においては、新しい端末が加入する以前に条件決定端末であった端末が引き続き条件決定端末になる。すなわち、携帯電話機１０Ｂは、自分自身が条件決定端末であると決定する（ステップＳ２４）。なお、２者通話開始時点で条件決定端末を決定したのと同様に、この時点において、多者通話に参加するすべての端末の符号化リソース情報に基いて新たに条件決定端末を再決定してもよい。

制御部６Ｂは、多者通話開始の要求を受信すると、付加された携帯電話機１０Ｃの符号化リソース情報を不揮発性メモリ７Ｂに記憶する。条件決定端末である携帯電話機１０Ｂは、不揮発性メモリ７Ｂに記憶された携帯電話機１０Ａ〜携帯電話機１０Ｃの符号化リソース情報と、この多者通話に参加している話者の数とに基いて符号化条件を決定する（ステップＳ２５）。すなわち、条件決定端末は、最小の符号化リソースを有する端末が多者通話可能な条件となるように符号化条件を決定する。本実施形態においては、最小の符号化リソースを参加者で分配するように条件を設定する。携帯電話機１０Ａ〜携帯電話機１０Ｃのうち、携帯電話機１０Ａの参照フレーム数が最小（７つ）である。したがって、制御部６Ｂは、参照フレーム数を（通話の参加者数―１）で除した解以下の最大の整数を、２つの端末間の通信に使用する参照フレーム数とすることを符号化条件として決定する。さらに、その残りの参照フレームを残りの端末に割り当てる。本実施形態においては、ＡＢ間符号化条件として参照フレーム数３、ＢＣ間符号化条件として参照フレーム数４が設定される。制御部６Ｂは、決定した符号化条件を不揮発性メモリ７Ｂに記憶する。この際、制御部６Ｂは、携帯電話機１０Ａと携帯電話機１０Ｂとの間の通信における符号化条件（以下、「ＡＢ間符号化条件」という）を、携帯電話機１０Ａの端末特定情報と対応付けて、また、携帯電話機１０Ｂと携帯電話機１０Ｃとの間の通信における符号化条件（以下、「ＢＣ間符号化条件」という）を、携帯電話機１０Ｃの端末特定情報と対応付けて記憶する。

制御部６Ｂは、ＡＢ間符号化条件を携帯電話機１０Ａに送信する（ステップＳ２６）。制御部６Ａは、受信したＡＢ間符号化条件を新たな符号化条件として、携帯電話機１０Ｂの端末特定情報と対応付けて不揮発性メモリ７Ａに記憶する。携帯電話機１０Ａおよび携帯電話機１０Ｂは、この新たな符号化条件に従って映像を伴う通話を行う（ステップＳ２７）。なお、本実施形態においては、符号化条件は、符号化された映像のシーケンスヘッダ情報、フレームヘッダ情報、あるいはスライスヘッダ情報として送信される。あるいは、あらかじめ不揮発性メモリ７に接続状況（例えば多者通話の参加台数）に応じたパラメータセットを複数記憶しておき、そのうちの１つのパラメータセットを特定するパラメータセットＩＤを送信する構成としてもよい。

携帯電話機１０Ａおよび携帯電話機１０Ｂの間の符号化条件が変更された後、条件決定端末である携帯電話機１０Ｂは、ＢＣ間符号化条件を携帯電話機１０Ｃに送信する。携帯電話機１０ＣがＢＣ間符号化条件を受信すると、制御部６Ｃは、不揮発性メモリ７Ｃに、ＢＣ間符号化条件を携帯電話機１０Ｂの端末特定情報と対応付けて記憶する。携帯電話機１０Ｂおよび携帯電話機１０Ｃは、この符号化条件に従って映像を伴う通話を行う（ステップＳ２８）。

本実施形態においては、多者通話の映像データは、条件決定端末すなわち携帯電話機１０Ｂを介して送受信される。つまり、携帯電話機１０Ｂは、携帯電話機１０Ｃから受信した映像データを携帯電話機１０Ａに中継する。ここで、携帯電話機１０Ｃの映像データを携帯電話機１０Ａに送信する際の符号化条件は、ＢＣ間符号化条件である。同様に、携帯電話機１０Ｂは、携帯電話機１０Ａから受信した映像データを携帯電話機１０Ｃに中継する。このようにして、携帯電話機１０Ａは携帯電話機１０Ｂおよび携帯電話機１０Ｃからの映像を受信し、携帯電話機１０Ｃは携帯電話機１０Ａおよび携帯電話機１０Ｂからの映像を受信する。以上のようにして携帯電話機１０Ａ、１０Ｂ、１０Ｃ間の３者通話が実現される（ステップＳ２９、図６（ｂ））。

＜Ｂ−３．３者通話から２者通話への切り替え＞
次に、携帯電話機１０Ａ、１０Ｂ、１０Ｃ間で３者通話を行っているときに、携帯電話機１０Ｂの使用者が電話を切り、携帯電話機１０Ａおよび携帯電話機１０Ｃ間の２者通話に切り替わる際の動作について説明する。図８は、本実施形態に係る多者通話システムにおいて、話者数が減少する際の動作を示すフローチャートである。

携帯電話機１０Ｂの使用者が、操作入力部に対し通話の切断を指示する操作を行うと、その旨を示す信号が制御部６Ｂに出力される。その信号を検出すると（ステップＳ３１）、制御部６Ｂは、話者数減少後に条件決定端末となる候補の端末を選定する（ステップＳ３２）。すなわち、制御部６Ｂは、不揮発性メモリ７Ｂから条件決定端末情報を読み出す。制御部６Ｂは、自分自身が条件決定端末であるか判断する。本実施形態においては、携帯電話機１０Ｂが条件決定端末であるので、判断結果は肯定的である。自分自身が条件決定端末である場合、制御部６Ｂは、自分以外の端末の符号化リソース情報を不揮発性メモリ７Ｂから読み出し、最大のものを抽出する。制御部６Ｂは、自分以外の端末で最大の符号化リソースを有する端末、すなわち携帯電話機１０Ｃを次の条件決定端末の候補として決定する。

制御部６Ｂは、条件決定端末の候補となった携帯電話機１０Ｃに対して、他の端末の符号化リソース情報を、その端末の端末特定情報と条件決定端末要求とともに送信する。すなわち、制御部６Ｂは、携帯電話機１０Ａの符号化リソース情報を、携帯電話機１０Ａの端末特定情報とともに、携帯電話機１０Ｃに送信する。

携帯電話機１０Ｃが条件決定端末要求を受信すると、制御部６Ｃは、条件決定端末情報を携帯電話機１０Ｃの端末特定情報に書き換えて不揮発性メモリ７Ｃに記憶する。続いて制御部６Ｃは、携帯電話機１０Ａとの間の多者通話の符号化条件を、前述の方法と同様に決定する（ステップＳ３３）。すなわち、７つの参照フレームを使用することを符号化条件として決定する。制御部６Ｃは、決定した符号化条件を、携帯電話機１０Ｃが条件決定端末となったことを示す条件決定端末情報とともに携帯電話機１０Ａに送信する（ステップＳ３４）。

携帯電話機１０Ａは、受信した符号化条件および条件決定端末情報を不揮発性メモリ７Ａに記憶する。携帯電話機１０Ａは、新たな条件決定端末である携帯電話機１０Ｃとの間で通信を確立し、携帯電話機１０Ｂとの間の通信は切断する。携帯電話機１０Ｂとの通信切断後、携帯電話機１０Ａは、携帯電話機１０Ｃとの間で映像を伴う通信データの送受信を開始する。この時点で、３者通話は携帯電話機１０Ｃを中継して行われている。このときの符号化条件は、受信した２者通話用の新しい符号化条件ではなく、３者通話用の符号化条件のままである。各端末間の通信を中継する端末が携帯電話機１０Ｃに切り替わると、制御部６Ａは、符号化条件を更新する準備が完了したことを示す準備完了信号を携帯電話機１０Ｃに送信する。

携帯電話機１０Ｃは、回線を切断しようとする端末以外のすべての端末から準備完了信号を受信すると、回線を切断する準備が完了したことを示す準備完了信号を携帯電話機１０Ｂに送信する。携帯電話機１０Ｂは、準備完了信号を受信すると、携帯電話機１０Ｃとの通信を切断する（ステップＳ３５）。この時点で、携帯電話機１０Ｂの通信相手は携帯電話機１０Ｃのみである。したがって、これにより携帯電話機１０Ｂは３者通話から脱退する。

携帯電話機１０Ｃの制御部６Ｃは、携帯電話機１０Ｂが通信を切断したことを検出すると、符号化条件を２者通話用の符号化条件に更新する（ステップＳ３６）。また、制御部６Ｃは、携帯電話機１０Ａに、符号化条件の更新を指示する信号を送信する。携帯電話機１０Ａの制御部６Ａは、携帯電話機１０Ｃからの指示に従い符号化条件を２者通話用のものに更新する。こうして、携帯電話機１０Ａおよび１０Ｃ間で、新しい符号化条件に従って２者通話が開始される。

なお、多者通話から脱退する端末が条件決定端末でない場合（ステップＳ３２における判断結果が否定的である場合）は、条件決定端末に通話終了の要求を送信することとすればよい。その後は、引き続き条件決定端末となる端末が、上述と同様に符号化条件を決定すればよい。

［Ｃ．第３実施形態］
本実施形態における動作は、概ね次の通りである。すなわち、まず、多者通話に参加する各端末がお互いのリソース情報を交換する。次に、符号化リソースの最も少ない端末から順番に符号化条件を決定する。そして、映像データは、各端末間でメッシュ状に送信される。
図９および図１０は、本実施形態に係る多者通話の様子を模式的に示した図である。本実施形態においては、符号化用および復号化用参照フレーム数の上限値がそれぞれ７、８、９、６である第１、第２、第３、第４の携帯電話機１０（以下の説明では、携帯電話機１０Ｄ、１０Ｅ、１０Ｆ、１０Ｇという）が、順次多者通話に参加する態様について説明する。すなわち、携帯電話機１０Ｄ、１０Ｅ、１０Ｆ、１０Ｇの参照フレーム数は、それぞれ符号化用および復号化用を合わせて１４、１６、１８、１２である。なお、携帯電話機１０の構成は第１、第２実施形態と同一であるので説明を省略する。また、携帯電話機１０Ｄ、１０Ｅ、１０Ｆ、１０Ｇの各構成要素は、それぞれ添字Ｄ、Ｅ、Ｆ、Ｇを付して区別する。この動作の詳細は、以下の通りである。

＜Ｃ−１．２者通話の開始＞
まず、携帯電話機１０Ｄと携帯電話機１０Ｅとが、第１実施形態で説明したように映像を伴う通話を開始する。例えば、携帯電話機１０Ｄは、携帯電話機１０Ｅから映像を伴う通話を要求する旨の着信を受けると、相手先が携帯電話機１０Ｅであると特定する。次に、携帯電話機１０Ｄは、携帯電話機１０Ｅに自身の符号化リソース情報を送信する。また、携帯電話機１０Ｅも、携帯電話機１０Ｄに自身の符号化リソース情報を送信する。

携帯電話機１０Ｄ、１０Ｅはそれぞれ、受信した他の端末の符号化リソース情報を、その端末の端末特定情報と対応付けて記録した通信相手テーブルとして不揮発性メモリ７Ｄ、７Ｅに記憶する。制御部６Ｄ、６Ｅはそれぞれ、不揮発性メモリ７Ｄ、７Ｅに記憶した他の端末の符号化リソース情報と、自身の符号化リソース情報とに基いて、自分自身が符号化リソースが最小の端末であるか否か判断する。本実施形態においては、携帯電話機１０Ｅよりも携帯電話機１０Ｄの符号化リソースの方が少ない。したがって、制御部６Ｄは自分自身が符号化リソースが最小の端末であると判断し、制御部６Ｅは自分自身が符号化リソースが最小の端末ではないと判断する。

自分自身が符号化リソース情報が最小の端末であると判断すると、制御部６Ｄは、自身の符号化リソースと、多者通話に参加する端末の台数とに基いて、他の端末との通信のための符号化条件を決定する。ここで、２者通話においては通信相手は１台であるので、制御部６Ｄは、携帯電話機１０Ｄの符号化リソースをすべて使用するように符号化条件を決定する。すなわち、制御部６Ｄは、７つの参照フレームを使用することをＤＥ間符号化条件として決定する。制御部６Ｄは、決定したＤＥ間符号化条件を携帯電話機１０Ｅに送信する。制御部６Ｅは、受信した符号化条件を携帯電話機１０Ｄの端末特定情報と対応付けて不揮発性メモリ７Ｅに記憶する。携帯電話機１０Ｄおよび携帯電話機１０Ｅは、このようにして取り決められた符号化条件に従って映像を伴う通話を開始する（図９（ａ））。

＜Ｃ−２．２者通話から３者通話への切り替え＞
続いて、携帯電話機１０Ｄおよび携帯電話機１０Ｅが２者通話を行っているときに、携帯電話機１０Ｆから携帯電話機１０Ｄに発呼があった場合の動作について説明する。図１１は、本実施形態に係る多者通話システムにおいて、話者数が増加する際の動作を示すフローチャートである。携帯電話機１０Ｆから着信があったとき（ステップＳ４１）、携帯電話機１０Ｄは、第１実施形態と同様に、操作入力部から３者通話に切換える旨が指示された場合（ステップＳ４２：ＹＥＳ）に、３者通話への切換えを行うものと判別する。なお、３者通話を行わない場合（ステップＳ４２：ＮＯ）の動作は第１、第２実施形態と同様である。

３者通話に切換える旨が指示された場合、制御部６Ｄは、携帯電話機１０Ｆに対し、不揮発性メモリ７Ｄに記憶された通信相手テーブルとともに、符号化リソース情報の要求を送信する。携帯電話機１０Ｆは、その要求を受信すると、受信した通信相手テーブルを不揮発性メモリ７Ｆに記憶し、さらに、通信相手テーブルに携帯電話機１０Ｄの端末特定情報を追加する。携帯電話機１０Ｆの制御部６Ｆは、符号化リソース情報の要求に応じて、自身の符号化リソース情報を通信相手テーブルに記録された携帯電話機１０の各々（本実施形態においては、携帯電話機１０Ｄおよび１０Ｅ）に送信する（ステップＳ４３）。携帯電話機１０Ｄおよび１０Ｅは、携帯電話機１０Ｆの符号化リソース情報を受信すると、携帯電話機１０Ｆの端末特定情報および符号化リソース情報を通信相手テーブルに追加する。

３者通話に参加する携帯電話機１０の各々の制御部６は、通信相手テーブルに記録された通信相手の符号化リソース情報と、自分自身の符号化リソース情報とに基いて、多者通話に参加する端末のうち、自分自身の符号化リソースの順位を算出する（ステップＳ４４）。本実施形態においては、符号化リソースの少ないものから、１から順に順位が付けられる。したがって、制御部６Ｄ、６Ｅ、６Ｆはそれぞれ、自分自身の順位を１、２、３位であると算出する。

自分自身が符号化リソースの順位が１位であると判断すると、制御部６Ｄは、他の端末との通信における符号化条件（すなわち、ＤＥ間符号化条件およびＤＦ間符号化条件）を決定する（ステップＳ４５）。携帯電話機１０Ｄの参照フレーム数の上限値（符号化リソース）は７つであるので、これを順位２位以下の各端末（本実施形態では携帯電話機１０Ｅおよび１０Ｆ）で分配する。すなわち、制御部６Ｄは、参照フレーム数の上限値を通信相手の数で割り、商の小数点部分を切り捨てた値の参照フレームを第２位の端末に、残りを第３位の端末に割り当てる。すなわち、本実施形態では、７つの参照フレームのうち３つが携帯電話機１０Ｅとの通信に、残り４つが携帯電話機１０Ｆとの通信に割り当てられる。制御部６Ｄは、決定したＤＥ間符号化条件およびＤＦ間符号化条件をそれぞれ通信相手の携帯電話機１０に送信する。携帯電話機１０Ｄから符号化条件を受信した携帯電話機１０Ｅおよび１０Ｆは、受信した符号化条件を不揮発性メモリ７Ｅ、７Ｆに記憶する。

第１位の携帯電話機１０Ｄから符号化条件を受信すると（ステップＳ４６：ＮＯ）、第２位の携帯電話機１０Ｅの制御部６Ｅは、まだ符号化条件が決定していない端末に対する符号化条件を決定する（ステップＳ４５）。本実施形態においては、ＥＦ間符号化条件が決定していない。また、携帯電話機１０Ｄとの間の符号化条件は参照フレーム数が３であると決定しているので、携帯電話機１０Ｅの残りの参照フレームは５つである。したがって、制御部６Ｅは、５つの参照フレームを使用することをＥＦ間符号化条件として決定する。制御部６Ｅは、決定したＥＦ間符号化条件を携帯電話機１０Ｆに送信する。携帯電話機１０Ｆは、受信したＥＦ間符号化条件を不揮発性メモリ７Ｆに記憶する。これで、すべての端末について符号化条件が決定したこととなる（ステップＳ４６：ＹＥＳ）。

以上のようにして、３者通話に参加する携帯電話機１０Ｄ、１０Ｅ、１０Ｆの３つの端末は、他の端末との間の符号化条件を決定する。携帯電話機１０Ｄ、１０Ｅ、１０Ｆは、決定した符号化条件に従って、各端末間でメッシュ状に映像を伴う通話データを通信する（ステップＳ４７、図９（ｂ））。

＜Ｃ−３．３者通話から４者通話への切り替え＞
３者通話から４者通話へと切り替わる際の動作も、２者通話から３者通話へと切り替わる際の動作と同様である。本実施形態においては、参照フレーム数の上限値が６である携帯電話機１０Ｇが４者通話に参加する。このとき、図１１のステップＳ４４においては、携帯電話機１０Ｇ、１０Ｄ、１０Ｅ、１０Ｆの順で１から順番に優先順位が付加される。したがって、この優先順位に従って他の端末との符号化条件を決定していき、最終的には図１０に示される形態で４者通話が行われる。

以上で説明したように、本実施形態においては、各端末間でお互いに符号化リソース情報を交換し、最も符号化リソースの少ない端末から順番に符号化条件を決定する。また、映像を伴う通話データは特定の端末を介するのではなく、各端末間でメッシュ状に通信される。したがって、符号化リソースが豊富な端末間の通信では、より多くの符号化リソースを使用して通信を行うため、映像を伴う通話データをより適切に通信することができる。

なお、上述の実施形態においては、符号化リソースとして参照フレーム数のみを考慮したが、これ以外の１以上のパラメータを符号化リソースとして考慮してもよい。その際、各パラメータごとに、個別に優先順位を付加してもよいし、各パラメータを総合した優先順位を付加することとしてもよい。

［Ｄ．変形例］
以上、本発明の実施形態について説明したが、本発明はその主要な特徴から逸脱することなく他の様々な形態で実施することが可能である。上述した各実施形態は、本発明の一態様を例示したものに過ぎず、例えば、以下に示すような変形例が考えられる。

＜Ｄ−１．変形例１＞
例えば、２者通話の場合は、相手先の携帯電話機１０が１台のみであるので、携帯電話機１０の液晶画面の全面に、相手先の携帯電話機１０から受信した映像（動画）を表示すればよい。これに対して３者通話の場合には、相手先の携帯電話機１０が２台となる。この場合、携帯電話機１０の液晶画面を２分割する等して、相手先となる２台の携帯電話機１０から受信した各映像を液晶画面に同時に表示できるようにすることが望ましい。

そこで、図４に示した切換処理のステップＳ５やＳ８において、第１の携帯電話機１０は、同時に通話することとなった相手先の携帯電話機１０の台数に加え、相手先となる各携帯電話機１０から受信する映像データを液晶画面に表示する際の表示サイズに基づいて、相手先の各携帯電話機１０から送信される映像データの符号化条件を決定することが有効である。

具体的に説明すると、例えば、３者通話に切換える際に、携帯電話機１０の液晶画面を２分割して相手先となる２台の携帯電話機１０からの各映像を液晶画面に同時に表示する場合は、相手先となる各携帯電話機１０との符号化条件として、映像データの画像サイズを液晶画面の１／２のサイズとなるように変更してやればよい。また、例えば、５者通話に切換える際に、携帯電話機１０の液晶画面を４分割して相手先となる４台の携帯電話機１０からの各映像を液晶画面に同時に表示する場合は、相手先となる各携帯電話機１０との符号化条件として、映像データの画像サイズを液晶画面の１／４のサイズとなるように変更してやればよい。

但し、このようにして映像データの画像サイズを変更する場合や、あるいはフレームレートを変更する場合は、映像入力器１から符号化器２へ入力される映像データを、符号化条件によって指定される画像サイズやフレームレートを有する映像データに変更する必要がある。このため、図５に示すように、映像入力器１と符号化器２との間にリサンプル器３０を設け、このリサンプル器３０において、映像入力器１から入力された映像データを、符号化条件によって指定される画像サイズやフレームレートを有する映像データに変換して符号化器２へ入力させればよい。なお、図５において、リサンプル器３０以外の携帯電話機１００の構成要素は、上述した実施形態において説明した携帯電話機１０の構成要素と同じである。

＜Ｄ−２．変形例２＞
図４に示した動作例では、第１の携帯電話機１０に対して第３の携帯電話機１０からの着信が入り、３者通話に切換わる場合について説明したが、第１の携帯電話機１０が、第２の携帯電話機１０との２者通話の途中で、第３の携帯電話機１０に対して映像を伴なう通話を要求する発呼を行うことで３者通話に切換わる場合であっても本発明を適用することができる。

＜Ｄ−３．変形例３＞
本発明に係る動画受信装置および動画送信装置は、携帯電話機に限定されず、例えば、テレビ電話機やパーソナルコンピュータ、ＰＤＡ等であってもよい。また、動画受信装置が受信する動画データや、動画送信装置が送信する動画データは、いわゆるテレビ電話のような、映像を伴う通話用の動画データに限定されるものではない。例えば、複数の動画配信サーバから配信された各動画データを受信しつつこれらを復号して表示する動画受信装置であってもよいし、複数の動画受信装置に対して事前に撮像しておいた動画データを符号化しつつ送信する動画送信装置であってもよい。また、復号された動画データを表示する表示装置が動画受信装置とは別に設けられており、動画受信装置は、復号し終えた動画データを表示装置に順次出力する出力手段を有する形態であってもよい。

＜Ｄ−４．変形例４＞
第１、第２実施形態においては、特定の端末（条件決定端末）を介して、また、第３実施形態においては、各端末がメッシュ状に、映像を伴う通話データを通信する態様について説明したが、これらが混在してもよい。例えば、第２実施形態におけるＡ−Ｂ−Ｃ間の３者通話に、第３実施形態におけるＤ−Ｅ−Ｆ間の３者通話が加わって６者通話が行われる際、Ａ−Ｂ−Ｃ間は携帯電話１０Ｂを介して、Ｄ−Ｅ−Ｆ間はメッシュ状に通話データを通信する態様としてもよい。

本発明の第１実施形態に係る携帯電話機１０のハードウェア構成を例示するブロック図である。 同実施形態に係る符号化器２の構成を例示するブロック図である。 同実施形態に係る復号化器４の構成を例示するブロック図である。 同実施形態に係る携帯電話機１０において、制御部６により実行される２者通話から３者通話への切換処理の動作を例示するフローチャートである。 本発明の変形例１に係る携帯電話機１００のハードウェア構成を例示するブロック図である。 本発明の第２実施形態に係る多者通話の様子を示す模式図である。 同実施形態に係る多者通話システムにおいて、話者数が増加する際の動作を示すフローチャートである。 同実施形態に係る多者通話システムにおいて、話者数が減少する際の動作を示すフローチャートである。 本発明の第３実施形態に係る２者通話、３者通話の様子を示す模式図である。 同実施形態に係る４者通話の様子を示す模式図である。 同実施形態に係る多者通話システムにおいて、話者数が増加する際の動作を示すフローチャートである。

符号の説明

１……映像入力器、２……符号化器、３……送受信器、４……復号化器、５……映像表示器、６……制御部、７……不揮発性メモリ、１０，１００……携帯電話機、１１……動き検出部、１２……動き補償部、１３……減算器、１４……直交変換部、１５……量子化部、１６……可変長符号化部、１７……逆量子化部、１８……逆直交変換部、１９……加算器、２０……フレームメモリ、２１……入力バッファ、２２……可変長復号部、２３……逆量子化部、２４……逆直交変換部、２５……動き補償部、２６……フレームメモリ、２７……加算器、３０……リサンプル器。

Claims (12)

1. 各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報が符号化された動画データを受信する動画データ受信手段と、
   前記動画データを復号して得られる前記複数の参照フレームの参照フレーム画像を記憶するためのメモリを有し、前記動画データを復号して得た前記検出された画像の動き及び前記複数の参照フレームの情報と、前記メモリに記憶された前記複数の参照フレームの参照フレーム画像とに基づいて前記予測画像を生成し、生成した予測画像と、前記動画データを復号して得た前記差分とに基づいて各フレームのフレーム画像を復元するとともに、復元したフレーム画像を前記メモリに記憶させる復号手段と、
   前記復号手段により復元されたフレーム画像を出力する出力手段と、
   動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数に応じて決定する制御手段であって、前記動画送信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置に対して前記動画データを送信していた前記動画送信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画送信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段と
   を具備することを特徴とする通信装置。
2. 前記制御手段は、前記符号化条件を、前記動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、前記復号手段の復号能力に応じて決定する
   ことを特徴とする請求項１に記載の通信装置。
3. 前記制御手段は、前記符号化条件を、前記動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が増加する場合には、台数の増加前から自通信装置に対して動画データを送信していた１以上の各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、増加後の動画送信装置の台数に応じて変更した後、新たに自通信装置に対して動画データを送信することとなる１以上の各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、当該各動画送信装置に割り当て可能な前記復号手段の復号能力または増加後の動画送信装置の台数に応じて決定する
   ことを特徴とする請求項１に記載の通信装置。
4. 前記制御手段は、前記符号化条件を、前記動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを、前記動画データ受信手段により受信させつつ、前記復号手段により復号させて前記出力手段から出力させるように制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数に応じて決定する
   ことを特徴とする請求項１に記載の通信装置。
5. 前記出力手段は、前記復号手段により復号された動画データに基づく動画を表示する表示手段であり、
   前記制御手段は、前記符号化条件を、当該動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数と、前記各動画送信装置から受信することとなる動画データを前記表示手段によって表示する場合の表示サイズとに応じて決定する
   ことを特徴とする請求項１に記載の通信装置。
6. 少なくとも前記参照フレームの数の上限値を含み、前記各動画送信装置における動画データの前記符号化条件を決定するためのリソース情報を、前記各動画送信装置から各々受信するリソース情報受信手段と、
   前記リソース情報受信手段により受信されたリソース情報を記憶する記憶手段と
   をさらに有し、
   前記制御手段は、前記記憶手段に記憶されたリソース情報に基いて、前記各動画送信装置に対する前記参照フレームの数がそれぞれの前記上限値以下となるよう、前記符号化条件を決定する
   ことを特徴とする請求項１に記載の通信装置。
7. 各フレームのフレーム画像を含む動画データを入力する入力手段と、
   前記入力手段により入力された動画データを符号化する符号化手段と、
   前記符号化手段により符号化された動画データを送信する送信手段と、
   前記記憶手段に記憶されたリソース情報と、前記符号化手段における動画データの前記符号化条件を決定するためのリソース情報とに基いて、自通信装置が前記動画送信装置から送信される動画データの前記符号化条件を決定する前記符号化条件決定端末であるか否か判断する判断手段とをさらに有し、
   前記制御手段は、前記判断手段により前記符号化条件決定端末であると判断された場合に、前記記憶手段に記憶されたリソース情報に基いて前記符号化条件を決定する
   ことを特徴とする請求項６に記載の通信装置。
8. 各フレームのフレーム画像を含む動画データを入力する入力手段と、
   前記入力手段により入力された動画データを符号化する符号化手段と、
   前記符号化手段により符号化された動画データを送信する送信手段と、
   前記記憶手段に記憶されたリソース情報と、前記符号化手段における動画データの前記符号化条件を決定するためのリソース情報とに基いて、自通信装置及び前記各動画送信装置において前記リソース情報が少ない順に高くなる優先順位に従って、自通信装置の優先順位を算出する優先順位算出手段と
   をさらに有し、
   前記制御手段は、前記優先順位算出手段により算出された自通信装置の優先順位に基づいて、前記優先順位が高い前記動画送信装置から順に前記各動画送信装置に対する前記符号化条件を決定する
   ことを特徴とする請求項６に記載の通信装置。
9. 各フレームのフレーム画像を含む動画データを入力する入力手段と、
   前記入力手段により入力された動画データを符号化する符号化手段であって、前記各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報を符号化する符号化手段と、
   前記符号化手段により符号化された動画データを送信する送信手段と、
   動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの受信先となる動画受信装置と通信を行って決定し、当該符号化条件に従って動画データを符号化し得るように前記符号化手段を制御する手段であり、前記送信手段によって送信される動画データの受信先となる動画受信装置の台数が変更される場合には、台数の変更後に前記動画データを受信することとなる各動画受信装置と通信を行い、当該各動画受信装置へ送信する動画データの前記符号化条件を、変更後の動画受信装置の台数に応じて決定する制御手段であって、前記動画受信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置が前記動画データを送信していた前記動画受信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画受信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段と
   を具備することを特徴とする通信装置。
10. 前記制御手段は、前記符号化条件を、前記動画データの受信先となる動画受信装置と通信を行って決定し、当該符号化条件に従って動画データを前記符号化手段により符号化させつつ、前記送信手段により送信させるように制御する手段であり、前記送信手段によって送信される動画データの受信先となる動画受信装置の台数が変更される場合には、台数の変更後に前記動画データを受信することとなる各動画受信装置と通信を行い、当該各動画受信装置へ送信する動画データの前記符号化条件を、変更後の動画受信装置の台数に応じて決定する
    ことを特徴とする請求項９に記載の通信装置。
11. コンピュータを、
    各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報が符号化された動画データを受信する動画データ受信手段と、
    前記動画データを復号して得られる前記複数の参照フレームの参照フレーム画像を記憶するためのメモリを有し、前記動画データを復号して得た前記検出された画像の動き及び前記複数の参照フレームの情報と、前記メモリに記憶された前記複数の参照フレームの参照フレーム画像とに基づいて前記予測画像を生成し、生成した予測画像と、前記動画データを復号して得た前記差分とに基づいて各フレームのフレーム画像を復元するとともに、復元したフレーム画像を前記メモリに記憶させる復号手段と、
    前記復号手段により復元されたフレーム画像を出力する出力手段と、
    動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの送信元となる動画送信装置と通信を行って決定し、当該符号化条件に従って符号化された動画データを復号し得るように前記復号手段を制御する手段であり、自通信装置に動画データを送信する動画送信装置の台数が変更される場合には、台数の変更後に自通信装置に対して動画データを送信することとなる各動画送信装置と通信を行い、当該各動画送信装置から送信される動画データの前記符号化条件を、変更後の動画送信装置の台数に応じて決定する制御手段であって、前記動画送信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置に対して前記動画データを送信していた前記動画送信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画送信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段
    として機能させるためのプログラム。
12. コンピュータを、
    各フレームのフレーム画像を含む動画データを入力する入力手段と、
    前記入力手段により入力された動画データを符号化する符号化手段であって、前記各フレームのフレーム画像と当該フレーム画像よりも１フレーム以上前の複数の参照フレームの参照フレーム画像とから検出された画像の動きにより予測された予測画像と、前記各フレームのフレーム画像との差分、前記検出された画像の動き、及び前記複数の参照フレームの情報を符号化する符号化手段と、
    前記符号化手段により符号化された動画データを送信する送信手段と、
    動画データの前記参照フレームの数を少なくとも含む符号化条件を、当該動画データの受信先となる動画受信装置と通信を行って決定し、当該符号化条件に従って動画データを符号化し得るように前記符号化手段を制御する手段であり、前記送信手段によって送信される動画データの受信先となる動画受信装置の台数が変更される場合には、台数の変更後に前記動画データを受信することとなる各動画受信装置と通信を行い、当該各動画受信装置へ送信する動画データの前記符号化条件を、変更後の動画受信装置の台数に応じて決定する制御手段であって、前記動画受信装置の台数の変更に応じて前記参照フレームの数を変更する場合に、前記台数が増加したときには、その台数の増加前から自通信装置が前記動画データを送信していた前記動画受信装置に対する前記参照フレームの数を減少させ、前記台数が減少したときには、当該動画受信装置に対する前記参照フレームの数を増加させるよう、前記符号化条件を決定する制御手段
    として機能させるためのプログラム。

Images