JP4275629B2 - データ送受信装置、画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は、動画像の送受信を行うデータ送受信装置及びその関連技術に関する。

一般に、画面に表示された映像を記録する場合は、ビデオカメラやビデオレコーダ等で、表示されたビデオ信号をそのまま記録する。

近年、特開２００２−９４９９６号公報に開示されているように、マルチメディアデータを受信し表示するデータ受信装置では、受信した画像符号化データに対して、復号処理および合成処理を施して作成した表示画像を表示するとともに、再符号化して蓄積する構成をとるものがある。

この従来のデータ受信装置を図面を用いて詳細に説明する。

図５は、従来のデータ受信装置のブロック図である。

図５に示すように、この従来のデータ受信装置は、受信データ分離部１０６、復号化処理部１０４、グラフィックス生成部１０５、画像合成部１０３、画像表示部１００、符号化処理部１０１、蓄積部１０２、及び、制御部１０７、を具備している。

受信データ分離部１０６は、受信した、画像符号化データとグラフィックスデータとが多重化されたデータを分離する。

そして、受信データ分離部１０６は、復号化処理部１０４に画像符号化データを出力し、グラフィックス生成部１０５にグラフィックスデータを出力する。

復号化処理部１０４は、受信データ分離部１０６が出力した画像符号化データを復号して、復号した画像データを画像合成部１０３に出力する。

グラフィックス生成部１０５は、受信データ分離部１０６が出力したグラフィックスデータを元に、テキスト、２次元画像、あるいは、３次元画像等のグラフィックス画像データを生成して、画像合成部１０３に出力する。

画像合成部１０３は、復号化処理部１０４が出力した画像データと、グラフィックス生成部１０５が出力したグラフィックス画像データと、を合成して、表示画像データを生成し、画像表示部１００に出力する。

画像表示部１００は、画像合成部１０３が出力した表示画像データを元に、画像を表示する。

また、画像表示部１００は、制御部１０７から表示画像の録画指示が入力されると、表示画像データを符号化処理部１０１に出力する。

すると、この場合、符号化処理部１０１は、画像表示部１００が出力した表示画像データを符号化して、蓄積部１０２に出力する。

すると、蓄積部１０２は、符号化処理部１０１が出力した符号化された表示画像データを蓄積する。

以上のように、従来のデータ受信装置では、受信した画像符号化データに対して、復号処理および合成処理を施して作成した表示画像を表示するとともに、再符号化して蓄積する。

また、復号化処理部１０４は、制御部１０７からの再生指示に従って、蓄積部１０２から蓄積された表示画像データを取り出して、復号を行う。

そして、復号された表示画像データは、画像合成部１０３を経由して、画像表示部１００に入力される。すると、画像表示部１００は、表示画像データを元に、画像を表示する。

上記のようなデータ受信装置を具備することで、近年、テレビ電話機能等の動画像通信機能を有するデータ送受信装置においては、受信した符号化画像データを復号した画像のみを画像表示部１００に表示するだけでなく、受信した画像に加えて、データ送受信装置に接続されたカメラからの入力画像や、内部のグラフィックス生成部１０５により生成されたグラフィックス画像など、の複数の画像を合成して、画像表示部１００に表示する場合がますます多くなってきている。

例えば、テレビ電話機能を有する携帯端末において、テレビ電話を行う際、受信して復号した相手画像からなる主画面と、携帯端末に内蔵されたカメラからの入力となる自画像および携帯端末の内部で生成したグラフィックス画像からなる複数の副画面と、を合成し表示画像としてから画像表示部１００に表示する。

この場合、表示している画像を記録して、再生、編集、及び送信するなど、再度使用することを考えると、合成された表示画像をそのまま用いるとは限らない。

例えば、テレビ電話を行う際、相手画像のみを切り出して用いたい場合、相手画像と自画像とから構成された画像を用いたい場合、あるいは、グラフィックス画像のみを切り出して用いたい場合等、さまざまな場合がある。

従って、従来のデータ受信装置を含むデータ送受信装置のように、最終的な表示画像を符号化して蓄積する場合、合成による重ねあわせ部分の画像の損失が発生したり、合成された画像からの必要部分の抽出処理が必要になる。

このため、上記のような要求に答えることは困難であり、利便性が低いという問題がある。

そこで、本発明は、複数の画像を合成して作成された表示画像を任意に編集できるようにして、ユーザの利便性の向上を図ることができるデータ送受信装置及びその関連技術を提供することを目的とする。

第１の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、を個別に符号化する符号化処理手段と、符号化された画像データ、符号化された復号化データ、及び、符号化されたグラフィックス画像データ、を蓄積する蓄積手段と、を備える。

この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データと復号化処理手段が出力する復号化データとグラフィックス生成手段が出力するグラフィックス画像データと、が個別に符号化されて蓄積される。

このため、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

第２の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、画像入力手段が入力する画像データ、及び、復号化処理手段が出力する復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データと、受信データ分離手段が出力するグラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、多重化手段が出力する多重化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える。

この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データと復号化処理手段が出力する復号化データとが個別に符号化され蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。

このため、蓄積した表示画像（合成画像）を、再生、編集、送信するなど、再度使用する場合、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成して再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。

第３の発明に係るデータ送受信装置では、制御手段をさらに備え、第１のモードでは、グラフィックス画像については、その元になるグラフィックスデータを、蓄積手段に蓄積し、第２のモードでは、グラフィックス画像については、符号化処理手段により符号化されたグラフィックス画像データを、蓄積手段に蓄積し、第１のモードと第２のモードとの切り替えは、制御手段の指示に従って行われる。

この構成によれば、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか、のいずれかを選択可能である。

このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。

例えば、グラフィックス生成手段を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成手段から出力されるグラフィックス画像データを符号化処理手段により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。

第４の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が選択したデータを符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データを蓄積する蓄積手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。

この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力すグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。

このため、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。

また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。

第５の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が出力するデータを符号化して、符号化データを出力する符号化処理手段と、受信データ分離手段が出力するグラフィックスデータが与えられた場合は、グラフィックスデータと、符号化処理手段が出力する符号化データと、を多重化して、多重化データを出力する多重化手段と、多重化手段が生成した多重化データが与えられた場合は、多重化データを蓄積し、符号化処理手段が生成した符号化データが与えられた場合は、符号化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。

この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。

あるいは、表示画像（合成画像）を構成する、画像入力手段が入力する画像データおよび復号化処理手段が出力する復号化データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。

以上により、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。

また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。

また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積する場合は、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。

第６の発明に係るデータ送受信装置では、制御手段をさらに備え、第１のモードでは、グラフィックス画像については、符号化処理手段により符号化されたグラフィックス画像データを、蓄積手段に蓄積し、第２のモードでは、グラフィックス画像については、その元になるグラフィックスデータを、蓄積手段に蓄積し、第１のモードと第２のモードとの切り替えは、制御手段の指示に従って行われる。

この構成によれば、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか、のいずれかを選択可能である。

このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。

例えば、グラフィックス生成手段を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成手段から出力されるグラフィックス画像データを符号化処理手段により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。

第７の発明に係るデータ送受信装置では、第２のモードでは、制御手段の指示に従って、受信データ分離手段は、グラフィックスデータを、多重化手段へ入力し、あるいは、入力しない。

この構成によれば、第２のモードにおいて、画像入力手段が入力する画像データおよび復号化処理手段が出力する復号化データのみならず、グラフィックスデータを蓄積するかどうかを選択することができる。その結果、よりユーザの利便性が広がる。

第８の発明に係るデータ送受信装置では、制御手段をさらに備え、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）、のうち、制御手段により指示された画像データが蓄積手段に蓄積され、グラフィックス関連データを蓄積する場合は、グラフィックス生成手段が出力するグラフィックス画像データ、あるいは、受信データ分離手段が出力するグラフィックスデータ、のうち、制御手段により指示されたデータが蓄積手段に蓄積される。

この構成によれば、グラフィックス関連データの蓄積を行うかどうかを選択可能であり、さらに、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを選択可能である。

このため、さらなるユーザの利便性の向上、及び、さらなる蓄積手段の高効率な使用、が可能となる。

第９の発明に係るデータ送受信装置では、蓄積手段は、画像表示手段が表示する合成画像に関連するデータを蓄積する。

この構成によれば、表示画像（合成画像）を蓄積する際に、表示画像（合成画像）に関連するデータを含めて蓄積するため、蓄積した表示画像（合成画像）を再度使用する場合の検索時等において、ユーザを支援することが可能であり、ユーザの利便性がより高まる。

第１０の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、外部から入力される画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、を個別に符号化する符号化処理手段と、符号化された外部からの画像データ、符号化された復号化データ、及び、符号化されたグラフィックス画像データ、を蓄積する蓄積手段と、を備える。

この構成によれば、合成画像を構成する、外部から入力される画像データと復号化処理手段が出力する復号化データとグラフィックス生成手段が出力するグラフィックス画像データと、が個別に符号化されて蓄積される。

このため、蓄積した合成画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

第１１の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、外部から入力される画像データ、及び、復号化処理手段が出力する復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データと、受信データ分離手段が出力するグラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、多重化手段が出力する多重化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える。

この構成によれば、合成画像を構成する、外部から入力される画像データと復号化処理手段が出力する復号化データとが個別に符号化され蓄積され、合成画像を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。

このため、蓄積した合成画像を、再生、編集、送信するなど、再度使用する場合、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成して再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。

第１２の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が選択したデータを符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データを蓄積する蓄積手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。

この構成によれば、合成画像を構成する、外部から入力される画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力すグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。

このため、蓄積した合成画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、合成画像の蓄積形態をとることができる。

また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。

第１３の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が出力するデータを符号化して、符号化データを出力する符号化処理手段と、受信データ分離手段が出力するグラフィックスデータが与えられた場合は、グラフィックスデータと、符号化処理手段が出力する符号化データと、を多重化して、多重化データを出力する多重化手段と、多重化手段が生成した多重化データが与えられた場合は、多重化データを蓄積し、符号化処理手段が生成した符号化データが与えられた場合は、符号化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。

この構成によれば、合成画像を構成する、外部から入力される画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。

あるいは、合成画像を構成する、外部から入力される画像データおよび復号化処理手段が出力する復号化データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積され、合成画像を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。

以上により、蓄積した合成画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、合成画像の蓄積形態をとることができる。

また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。

また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積する場合は、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。

本発明によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データが、個別に符号化されて蓄積される。

また、本発明によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データおよび復号化処理手段が出力する復号化データが、個別に符号化されて蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。

以上により、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

以下、図面を参照しながら、本発明の実施の形態を説明する。次の形態では、データ送受信装置が、テレビ電話機能を有する携帯端末である例を挙げる。

（実施の形態１）
図１は、本発明の実施の形態１におけるデータ送受信装置のブロック図である。

図１に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部４、を具備する。

画像処理部４は、制御部４１、画像合成部４３、符号化処理部４４、蓄積部４５、復号化処理部４６、グラフィックス生成部４７、及び、受信データ分離部４８、を含む。

入力部１は、ユーザからの指示を電気信号として、画像処理部４の制御部４１に入力する。例えば、入力部１は、複数のキーを配列して構成することができる。

画像入力部２は、ディジタル画像データを生成し、入力画像データとして、符号化処理部４４、および、画像合成部４３に出力する。

例えば、画像入力部２は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラ等の撮像装置、あるいは、アナログテレビ信号をディジタル信号に変換するアナログディジタル変換器、などである。アナログディジタル変換器は、例えば、ＮＴＳＣ（ｎａｔｉｏｎａｌ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃｏｍｍｉｔｔｅｅ）デコーダ、あるいは、ＰＡＬ（ｐｈａｓｅ ａｌｔｅｒｎａｔｉｏｎ ｂｙ ｌｉｎｅ）デコーダ、等である。

画像処理部４の符号化処理部４４は、復号化処理部４６、グラフィックス生成部４７、および、画像入力部２が、それぞれ出力する画像の画像データを個別に符号化する。この点は、後で詳しく説明する。

そして、符号化処理部４４は、符号化した画像データを、データ送受信装置の外部へ送信する。

あるいは、符号化処理部４４は、符号化した画像データを、蓄積部４５に出力する。

符号化処理部４４による動画像データの符号化処理では、動画像を、フレーム画像やフィールド画像といった矩形の形状だけでなく、フレーム画像やフィールド画像内の物体を任意形状のオブジェクトとして個別に符号化することが可能である。

また、符号化処理部４４による動画像データの符号化処理では、複数の矩形の動画像や複数の任意形状のオブジェクトから、１つの画像を構成することが可能である。

例えば、符号化処理部４４は、ＭＰＥＧ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）−４の画像圧縮伸長方式に対応可能である。

画像処理部４の蓄積部４５は、制御部４１からの、表示画像の録画指示に従って、符号化処理部４４が出力する符号化画像データを蓄積する。

例えば、蓄積部４５は、フラッシュメモリやＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｏｍｏｒｙ）等の半導体メモリ、あるいは、メモリカード等のデータ記録装置、などで実現できる。

画像処理部４の受信データ分離部４８は、データ送受信装置の外部から受信した受信データが、多重化データの場合は、その多重化データを符号化画像データとグラフィックスデータとに分離する。

そして、受信データ分離部４８は、分離した符号化画像データを、復号化処理部４６へ出力し、分離したグラフィックスデータをグラフィックス生成部４７に出力する。

一方、受信データ分離部４８は、受信データが、多重化データでない場合は、その受信データ、即ち、符号化画像データを、復号化処理部４６へ出力する。

画像処理部４の復号化処理部４６は、受信データ分離部４８が出力した符号化画像データ、および、蓄積部４５から入力される符号化画像データ、を復号する。

この復号化処理部４６は、符号化処理部４４と同様、オブジェクト毎の復号化が可能である画像圧縮伸長方式に対応している。例えば、復号化処理部４６は、ＭＰＥＧ−４の画像圧縮伸長方式に対応している。

したがって、このような画像圧縮伸長方式により符号化された符号化画像データが復号化処理部４６に入力された場合において、入力された符号化画像データが複数のオブジェクトから構成されている場合は、復号化処理部４６は、まず、多重化されている各オブジェクトの符号化画像データを分離する。

そして、その次に、復号化処理部４６は、各オブジェクトの符号化画像データの復号を行う。

一方、復号化処理部４６は、入力された符号化画像データが複数のオブジェクトを多重化したものでない場合は、入力された符号化画像データの復号処理をそのまま行う。

画像処理部４のグラフィックス生成部４７は、入力されたグラフィックスデータを元に、グラフィックス画像データを生成する。

このグラフィックスデータは、データ送受信装置の内部で生成されて、制御部４１から入力される場合と、データ送受信装置の外部から受信して受信データ分離部４８から入力される場合と、がある。

画像処理部４の画像合成部４３は、復号化処理部４６、グラフィックス生成部４７、および、画像入力部２から入力される画像データを合成して表示画像データ（合成画像データ）を生成し、画像表示部３に出力する。

詳しくは、画像合成部４３は、制御部４１が出力する表示画像合成指示データに従って、入力される各画像データに対して、拡大／縮小、フィルタリング等の処理を行い、指示された各画像の表示位置、重なり順序になるように、各画像を合成して、表示画像データ（合成画像データ）を生成する。

このように、表示画像合成指示データには、複数の画像をどのように合成するかを指示する情報が含まれる。

画像表示部３は、画像合成部４３が出力する表示画像データ（合成画像データ）を元に、画像を表示する。例えば、画像表示部３は、ディスプレイ等の表示装置でる。

画像処理部４の制御部４１は、画像処理部４の内部の各構成を制御する。

次に、テレビ電話時における動作を説明する。

送信処理を説明する。

画像入力部２は、被写体を撮像して、主に自画像となる自分側の画像を入力する。

そして、符号化処理部４４は、画像入力部２が入力した画像を符号化して、符号化画像データを相手側に送信する。

受信処理を説明する。

受信データ分離部４８は、相手側からの受信データが、符号化画像データとグラフィックスデータとを多重化したものであれば、それらを分離して出力する。

また、受信データ分離部４８は、相手側からの受信データが、グラフィックスデータを含まず、符号化画像データからなるものであれば、そのまま符号化画像データを出力する。

このような符号化画像データは、主に相手画像となる相手側の画像を符号化したものである。

そして、復号化処理部４６は、受信データ分離部４８が出力した符号化画像データを復号する。

グラフィックス生成部４７は、受信データ分離部４８が出力するグラフィックスデータ、あるいは、データ送受信装置の内部で生成されて制御部４１から与えられたグラフィックスデータ、を元にグラフィックス画像を生成する。

ここで、グラフィックスデータは、グラフィックス画像を生成する元になるデータである。

相手側から送信されるグラフィックスデータとしては、例えば、相手側の画像と共に表示する、相手側からのメッセージとなるテキストや、受信した相手側の画像を装飾するグラフィックス画像、等を生成する元になるデータが挙げられる。

また、制御部４１から入力されるグラフィックスデータとしては、例えば、ユーザの操作を支援するユーザインターフェースとなる、データ送受信装置の内部で生成される、アイコンやキャラクター、そして、日付、時刻、メニュー等のテキスト、あるいは、アニメーション等のグラフィックス画像、等を生成する元になるデータが挙げられる。

なお、本明細書では、このようなグラフィックスデータを元に生成される画像を、広くグラフィックス画像と呼ぶことにする。

さて、画像合成部４３は、画像入力部２から入力される自分側の画像と、復号化処理部４６から入力される相手側の画像と、グラフィックス生成部から入力される様々なグラフィックス画像と、に対して、制御部４１から入力される表示画像合成指示データに従って、表示画像を生成するのに必要な処理を施す。

表示画像を生成するのに必要な処理として、例えば、拡大／縮小、及びフィルタリング等の処理が挙げられる。

さらに、画像合成部４３は、表示画像合成指示データにより指示される、表示画像中の位置関係にしたがって、上記処理を施した複数の画像を合成して、表示画像を生成する。

そして、画像表示部３は、画像合成部４３が生成した表示画像を表示する。

以上が、テレビ電話時の動作である。

次に、録画処理を説明する。

テレビ電話時にユーザから、制御部４１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部４１は、表示画像の録画を実行するための制御信号を生成する。

符号化処理部４４は、制御部４１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。

符号化処理部４４による表示画像の符号化処理では、画像入力部２、復号化処理部４６、および、グラフィックス生成部４７から出力される、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。

この多重化処理では、ヘッダ情報、及び、制御部４１から画像合成部４３に入力される表示画像合成指示データを付加して、各オブジェクト画像及びグラフィックス画像の符号化データが多重化される。

そして、蓄積部４５は、このようにして生成された多重化データ（表示画像の符号化画像データ）を蓄積する。

ここで、ヘッダ情報は、多重化を行う各オブジェクト画像及びグラフィックス画像のリスト（以下、「多重化画像リスト」と呼ぶ。）や、各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報、などを含む。

次に、蓄積部４５に蓄積された表示画像の再生処理を説明する。

蓄積部４５に記録した表示画像を再生する場合は、蓄積部４５から、該当する符号化画像データが復号化処理部４６に入力される。

そして、復号化処理部４６は、符号化画像データに多重化されているヘッダ情報及び表示画像合成指示データを分離する。

制御部４１は、このヘッダ情報を解析して、多重化画像リストや各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報などの解析結果を、画像合成部４３に入力する。

また、制御部４１は、表示画像合成指示データを、画像合成部４３に入力する。

そして、画像合成部４３は、多重化画像リストを元に、表示画像を構成する画像を検出して、画像表示部３に、表示画像を構成する画像のリストを表示させる。

これにより、ユーザは、当該表示画像が、どのような画像から構成されているかを知ることができる。

ユーザが、そのリストの中から今回表示を行う画像を選択して、その選択情報を、制御部４１に対して、入力部１を介して入力すると、制御部４１は、復号化処理部４６に対して、復号を行うべき画像（選択情報が指示する画像）を指示する制御信号を入力する。

復号化処理部４６は、この制御信号により指示された画像のみを復号して画像合成部４３に出力する。

この際、復号化処理部４６は、分離した表示画像合成指示データも併せて、画像合成部４３に出力する。

画像合成部４３は、復号化処理部４６から入力される表示画像合成指示データを元に、復号化処理部４６から入力される復号された画像に処理を施して、新たな表示画像を作成する。

そして、画像表示部３は、画像合成部４３が作成したこの新たな表示画像を表示する。

次に、蓄積部４５に蓄積した表示画像の編集処理、あるいは、加工処理を説明する。

この場合は、上述した再生処理と同様にして、蓄積した表示画像を構成する各画像の中からユーザが選択した画像を画像表示部３に表示する。

これにより、ユーザは、画像表示部３により確認を行いながら、入力部１を操作して、表示した画像に対して好みのグラフィックス画像を加えることや、表示画像を構成する複数の画像の表示位置や大きさ等を変更する等の編集、および、加工を行うことが可能となる。

グラフィックス画像を加える場合には、入力部１を介してユーザによる指示が入力されると、制御部４１は、グラフィックス生成部４７に対して、加えるべきグラフィックス画像の元になるグラフィックスデータを入力するとともに、グラフィックス画像を生成する指示を入力する。

この指示を受けて、グラフィックス生成部４７は、入力されたグラフィックスデータを元に、グラフィックス画像を生成して、画像合成部４３に出力する。

すると、画像合成部４３は、制御部４１の指示により、入力されたグラフィックス画像と加工しようとしている画像とを合成して、加工した表示画像を生成する。

そして、画像表示部３は、この加工した表示画像を表示する。

一方、表示画像を構成する複数の画像の表示位置や、大きさを変更する場合は、入力部１を介してユーザによる指示が入力されると、制御部４１は、画像合成部４３に対して、表示位置、あるいは、大きさを変更する制御信号を入力する。

すると、画像合成部４３は、その制御信号にしたがって、処理を行い、加工した表示画像を生成する。

そして、画像表示部３は、この加工した表示画像を表示する。

蓄積した表示画像の編集処理、あるいは、加工処理としては、例えば、蓄積した表示画像から相手画像のみを選択して表示し、その相手画像に対して、所定の表示枠（例えば、花柄の表示枠）のグラフィックス画像を加えること等が考えられる。

さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データと復号化処理部４６が出力する復号化データとグラフィックス生成部４７が出力するグラフィックス画像データと、が個別に符号化されて、蓄積部４５に蓄積される。

このため、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。

ここで、表示画像に関連する情報としては、テレビ電話を行っている相手に関する情報、例えば、相手の名前、通話を行っている電話番号等や、テレビ電話時の日時、録画時間等である。

これらの情報は、データ送受信装置に記録されている場合が多い。このため、ユーザの指示を待つことなく、制御部４１により、表示画像に関連する情報を、自動的に蓄積部４５に蓄積するようにすることもできる。

また、データ送受信装置に記録されていない情報に関しては、ユーザが、入力部１を介して、テキストを入力することで、蓄積部４５に自由に蓄積することが可能である。

以上のように、蓄積部４５に、表示画像（合成画像）を蓄積する際に、表示画像（合成画像）に関連する情報を含めて蓄積すれば、蓄積した表示画像（合成画像）を再度使用する場合の検索時等において、ユーザを支援することが可能であり、ユーザの利便性がより高まる。

また、本実施の形態において、復号化処理部４６及び符号化処理部４４における圧縮伸長方式は、上記例に挙げたＭＰＥＧ−４に限定されるものではなく、オブジェクト毎の符号化、及び復号に対応する他の圧縮伸長方式を採用することもできる。

また、本実施の形態では、符号化処理部４４が、複数の符号化画像データ(ビットストリーム)の多重化を行ったが、この多重化は、制御部４１が実行することも可能であり、多重化の方法を制限するものではない。

また、本実施の形態では、復号化処理部４６が、複数の符号化画像データ(ビットストリーム)の分離を行ったが、制御部４１がこの分離を実行することも可能であり、分離の方法を制限するものではない。

（実施の形態２）
図２は、本発明の実施の形態２におけるデータ送受信装置のブロック図である。なお、図２において、図１と同様の部分については同一の符号を付して、説明を適宜省略する。

図２に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部５、を具備する。

画像処理部５は、画像合成部４３、符号化処理部４４、多重化部５２、蓄積部４５、蓄積データ分離部５３、復号化処理部４６、グラフィックス生成部４７、制御部５１、及び、受信データ分離部４８、を含む。

入力部１は、ユーザからの指示を電気信号として、画像処理部５の制御部５１に入力する。

画像入力部２は、ディジタル画像データを生成し、入力画像データとして、符号化処理部４４、および、画像合成部４３に出力する。

画像処理部５の符号化処理部４４は、復号化処理部４６、および、画像入力部２が、それぞれ出力する画像の画像データを個別に符号化する。

そして、符号化処理部４４は、符号化した画像データを、データ送受信装置の外部へ送信する。

あるいは、符号化処理部４４は、符号化した画像データを、多重化部５２に出力する。

画像処理部５の蓄積部４５は、制御部５１からの、表示画像の録画指示に従って、多重化部５２が出力する多重化データを蓄積する。後述するが、この多重化データは、多重化部５２が、符号化処理部４４が生成した符号化画像データと、受信データ分離部４８が出力するグラフィックスデータと、を多重化したものである。

画像処理部５の受信データ分離部４８は、データ送受信装置の外部から受信した受信データが、多重化データの場合は、その多重化データを符号化画像データとグラフィックスデータとに分離する。

そして、受信データ分離部４８は、分離した符号化画像データを、復号化処理部４６へ出力し、分離したグラフィックスデータを多重化部５２に出力する。

一方、受信データ分離部４８は、受信データが、多重化データでない場合は、その受信データ、即ち、符号化画像データを、復号化処理部４６へ出力する。

画像処理部５の復号化処理部４６は、受信データ分離部４８が出力した符号化画像データ、および、蓄積データ分離部５３が出力した符号化画像データ、を復号する。後述するが、蓄積データ分離部５３が出力する符号化画像データは、多重化部５２が生成した多重化データから分離した、符号化処理部４４が生成した符号化画像データである。

画像処理部５のグラフィックス生成部４７は、入力されたグラフィックスデータを元に、グラフィックス画像データを生成する。

このグラフィックスデータは、データ送受信装置の内部で生成されて、制御部５１から入力される場合と、データ送受信装置の外部から受信して受信データ分離部４８から入力される場合と、がある。

画像処理部５の画像合成部４３は、復号化処理部４６、グラフィックス生成部４７、および、画像入力部２から入力される画像データを合成して表示画像データ（合成画像データ）を生成し、画像表示部３に出力する。

詳しくは、画像合成部４３は、制御部５１が出力する表示画像合成指示データに従って、入力される各画像データに対して、拡大／縮小、フィルタリング等の処理を行い、指示された各画像の表示位置、重なり順序になるように、各画像を合成して、表示画像データ（合成画像データ）を生成する。

このように、表示画像合成指示データには、複数の画像をどのように合成するかを指示する情報が含まれる。

画像表示部３は、画像合成部４３が出力する表示画像データ（合成画像データ）を元に、画像を表示する。

画像処理部５の多重化部５２は、符号化処理部４４が符号化した符号化画像データであるビットストリームと、グラフィックスデータと、を多重化する。

このグラフィックスデータは、受信データ分離部４８から入力されるグラフィックスデータ、あるいは、制御部５１から入力されるグラフィックスデータ、である。

さらに、多重化部５２は、画像合成部４３に入力されている表示画像合成指示データも併せて多重化する。

そして、多重化部５２は、生成した多重化データを記録保存するために、蓄積部４５に出力する。

画像処理部５の蓄積データ分離部５３は、制御部５１から、蓄積部４５からのデータ読み出し指示が入力された場合、蓄積部４５から出力された多重化データを、符号化画像データと、グラフィックスデータと、表示画像合成指示データと、に分離する。

そして、蓄積データ分離部５３は、符号化画像データを復号化処理部４６に出力し、グラフィックスデータをグラフィックス生成部４７に出力し、表示画像合成指示データを制御部５１に出力する。

画像処理部５の制御部５１は、画像処理部５の内部の各構成を制御する。

次に、テレビ電話時における動作、録画処理、再生処理、及び、編集・加工処理、について詳細に説明する。

テレビ電話時における動作は、実施の形態１におけるデータ送受信装置のテレビ電話時における動作と同様であり、説明を省略する。なお、実施の形態１の制御部４１が行う動作は、制御部５１が実行する。

録画処理を説明する。

テレビ電話時にユーザから、制御部５１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部５１は、表示画像の録画を実行するための制御信号を生成する。

符号化処理部４４は、制御部５１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。

符号化処理部４４による表示画像の符号化処理では、画像入力部２、及び、復号化処理部４６から出力される、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。

この多重化処理では、ヘッダ情報、及び、多重化を行う各オブジェクト画像に関する表示画像合成指示データを付加して、各オブジェクト画像の符号化データが多重化される。

このヘッダ情報は、多重化を行う各オブジェクト画像のリスト（多重化画像リスト）や、各オブジェクト画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、多重化を行う各オブジェクト画像に関する表示画像合成指示データは、制御部５１から画像合成部４３に入力される、多重化を行う各オブジェクト画像に関する表示画像合成指示データである。

ここで、実施の形態２の符号化処理部４４による多重化処理が、実施の形態１の符号化処理部４４による多重化処理と異なる点は、グラフィックス生成部４７から出力されるグラフィックス画像データを多重化しない点である。

多重化部５２は、符号化処理部４４が生成した多重化データ（多重化された符号化画像データ）に、表示画像を構成するグラフィックス画像の生成に必要なグラフィックスデータをさらに多重化する。

この多重化処理では、ヘッダ情報、及び、グラフィックス画像に関する表示画像合成指示データ、を付加したグラフィックスデータを、符号化処理部４４が生成した多重化データにさらに多重化する。

そして、蓄積部４５は、多重化部５２が生成した多重化データを蓄積する。

ここで、ヘッダ情報は、多重化を行うグラフィックス画像を多重化画像リストに追加したことを示す情報や、グラフィックス画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、グラフィックス画像に関する表示画像合成指示データは、制御部５１から画像合成部４３に入力されている、グラフィックス画像に関する表示画像合成指示データである。

次に、蓄積部４５に蓄積された表示画像の再生処理を説明する。

蓄積部４５に記録した表示画像を再生する場合は、制御部５１からの再生指示を受けて、蓄積データ分離部５３は、蓄積部４５から、該当する多重化データ（多重化部５２が生成したもの）を読み出す。

そして、蓄積データ分離部５３は、その多重化データ（多重化部５２が生成したもの）を、多重化データ（符号化処理部４４が生成した多重化された符号化画像データ）と、グラフィックスデータと、ヘッダ情報と、グラフィックス画像に関する表示画像合成指示データと、に分離する。

そして、蓄積データ分離部５３は、多重化された符号化画像データを復号化処理部４６に出力し、グラフィックスデータをグラフィックス生成部４７に出力し、ヘッダ情報、および、グラフィックス画像に関する表示画像合成指示データを制御部５１に出力する。

復号化処理部４６は、多重化された符号化画像データに多重化されている、各オブジェクト画像に関する表示画像合成指示データを分離し、制御部５１に出力する。

制御部５１は、符号化画像データ、および、グラフィックスデータに関するヘッダ情報を解析して、多重化画像リストや各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報などの解析結果を、画像合成部４３に入力する。

また、制御部５１は、表示画像合成指示データを、画像合成部４３に入力する。

そして、画像合成部４３は、多重化画像リストを元に、表示画像を構成する画像を検出して、画像表示部３に、表示画像を構成する画像のリストを表示させる。

これにより、ユーザは、当該表示画像が、どのような画像から構成されているかを知ることができる。

ユーザが、そのリストの中から今回表示を行う画像を選択して、その選択情報を、制御部５１に対して、入力部１を介して入力すると、制御部５１は、復号化処理部４６及びグラフィックス生成部４７に対して、復号あるいは生成を行うべき画像（選択情報が指示する画像）を指示する制御信号を入力する。

復号化処理部４６は、この制御信号により指示されたオブジェクト画像のみを復号して画像合成部４３に出力する。

グラフィックス生成部４７は、この制御信号により指示されたグラフィックス画像のみを生成して画像合成部４３に出力する。

画像合成部４３は、入力された表示画像合成指示データを元に、復号化処理部４６およびグラフィックス生成部４７から入力される画像に処理を施して、新たな表示画像を作成する。

そして、画像表示部３は、画像合成部４３が作成したこの新たな表示画像を表示する。

さて、蓄積部４５に蓄積した表示画像の編集処理、あるいは、加工処理は、実施の形態１と同様であり、説明を省略する。なお、実施の形態１の制御部４１が行う動作は、制御部５１が実行する。

さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データと復号化処理部４６が出力する復号化データとが個別に符号化され蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。

このため、蓄積部４５に蓄積した表示画像（合成画像）を、再生、編集、送信するなど、再度使用する場合、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成して再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、本実施の形態では、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積部４５を高効率に使用することができる。

なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。この点は、実施の形態１と同様である。

また、本実施の形態では、多重化部５２では、複数の符号化画像データ(ビットストリーム)が多重化された後の多重化ビットストリーム、グラフィックスデータ、および、表示画像合成指示データの多重化を行った。

しかし、符号化処理部４４が、個々の画像データに対する符号化処理のみを行い、多重化部５２が、複数の符号化画像データ、グラフィックスデータ、および、表示画像合成指示データの多重化を行うことも可能である。

また、制御部５１が多重化を実行することも可能である。

以上のように、本実施の形態は、多重化の方法を制限するものではない。

また、本実施の形態では、蓄積データ分離部５３は、複数の符号化画像データ（ビットストリーム）が多重化された多重化ビットストリーム、グラフィックスデータ、および、表示画像合成指示データの分離を行った。そして、復号化処理部４６は、その多重化ビットストリームを、さらに、個々の符号化画像データに分離した。

しかし、蓄積データ分離部５３が、多重化ビットストリームを、個々の符号化画像データに分離し、復号化処理部４６は、個々の符号化画像データの復号のみを行うようにすることも可能である。

また、制御部５１が分離処理を実行することも可能である。

以上のように、本実施の形態は、分離方法を制限するものではない。

さて、次に、本実施の形態の変形例を説明する。この変形例では、第１のモードと第２のモードとを、制御部５１により切り替えることができる。

第１のモードでは、グラフィックス画像については、その元になるグラフィックスデータを、蓄積部４５に蓄積する。つまり、この第１のモードは、上記の実施の形態２の処理を実行する。

第２のモードでは、グラフィックス画像については、符号化処理部４４により符号化されたグラフィックス画像データを、蓄積部４５に蓄積する。つまり、この第２のモードでは、実施の形態１の処理を実行する。

第１のモードと第２のモードとの切り替えは、制御部５１の指示に従って行われる。

この変形例によれば、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか、のいずれかを選択可能である。

このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。

例えば、グラフィックス生成部を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成部４７から出力されるグラフィックス画像データを符号化処理部４４により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。

（実施の形態３）
図３は、本発明の実施の形態３におけるデータ送受信装置のブロック図である。なお、図３において、図１と同様の部分については、同一の符号を付して説明を適宜省略する。

図３に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部６、を具備する。

この画像処理部６は、符号化処理部４４、蓄積部４５、復号化処理部４６、グラフィックス生成部４７、受信データ分離部４８、画像合成部４３、セレクタ６２、及び、制御部６１、を含む。

入力部１、画像入力部２、復号化処理部４６、グラフィックス生成部４７、画像合成部４３、画像表示部３、符号化処理部４４、蓄積部４５、及び、受信データ分離部４８、については、実施の形態１のデータ送受信装置と同様である。なお、実施の形態１の制御部４１の動作は、制御部６１が実行する。

さて、セレクタ６２は、制御部６１の指示に従って、画像入力部２、復号化処理部４６、及び、グラフィックス生成部４７が出力する画像データから、少なくとも１つの画像データを選択して、符号化処理部４４に出力する。

制御部６１は、画像処理部６の内部の各構成を制御する。

次に、テレビ電話時における動作を説明する。

送信処理を説明する。

画像入力部２は、被写体を撮像して、主に自画像となる自分側の画像を入力する。

セレクタ６２は、画像入力部２が入力した画像を選択して、符号化処理部４４に出力する。

そして、符号化処理部４４は、セレクタ６２が出力した画像を符号化して、符号化画像データを相手側に送信する。

さて、受信処理は、実施の形態１の受信処理と同様であり、説明を省略する。なお、実施の形態１の制御部４１の動作は、制御部６１が実行する。

以上が、テレビ電話時の動作である。

次に、録画処理を説明する。

テレビ電話時にユーザから、制御部６１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部６１は、表示画像の録画を実行するための制御信号を生成する。

この場合、制御部６１は、入力部１を介したユーザの指示に従って、画像入力部２から出力される画像データ、復号化処理部４６から出力される画像データ、及び、グラフィックス生成部４７から出力される画像データ、のうち、どの画像データを蓄積部４５に録画するかを指示する制御信号も生成する。

セレクタ６２は、この制御信号に従って、指定された画像データを符号化処理部４４に出力する。

また、セレクタ６２は、ユーザからどの画像データを録画するかの指示がない場合には、上記３つの画像データを全て符号化処理部４４に出力する。

さらに、セレクタ６２は、蓄積部４５に記録できる容量に十分な空き容量がない場合には、上記３つの画像データを全て符号化処理部４４に出力するのではなく、制御部６１の制御により、空き容量に応じて、符号化処理する画像データを選択して、符号化処理部４４に出力することもできる。

符号化処理部４４は、制御部４１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。

符号化処理部４４による表示画像の符号化処理では、画像入力部２が出力する自分側の画像、復号化処理部４６が出力する相手側の画像、および、グラフィックス生成部４７が出力するグラフィックス画像、の中からセレクタ６２が選択した画像に対する符号化処理を行う。

この場合、符号化処理部４４は、セレクタ６２が選択した、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。

この多重化処理では、ヘッダ情報、及び、制御部６１から画像合成部４３に入力される表示画像合成指示データを付加して、各オブジェクト画像及びグラフィックス画像の符号化データが多重化される。

そして、蓄積部４５は、このようにして生成された多重化データ（表示画像の符号化画像データ）を蓄積する。

ここで、ヘッダ情報は、多重化を行う各オブジェクト画像及びグラフィックス画像のリスト（多重化画像リスト）や、各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報など、を含む。

さて、蓄積部４５に記録した表示画像の再生処理、及び、編集／加工処理は、実施の形態１で説明した動作と同様にして行われる。なお、実施の形態１の制御部４１の動作は、制御部６１が実行する。

さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データ、復号化処理部４６が出力する復号化データ、及び、グラフィックス生成部４７が出力すグラフィックス画像データ、の中から、セレクタ６２が選択した画像データが、個別に符号化されて蓄積される。

このため、蓄積部４５に蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、本実施の形態では、セレクタ６２を設けることで、ユーザの好みや蓄積部４５の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。

また、本実施の形態では、セレクタ６２を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積部４５の高効率な使用ができる。

なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。この点は、実施の形態１と同様である。

（実施の形態４）
図４は、本発明の実施の形態４におけるデータ送受信装置のブロック図である。なお、図４において、図１、図２、又は、図３と同様の部分については、同一の符号を付して、説明を適宜省略する。

図４に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部７、を具備する。

画像処理部７は、符号化処理部４４、多重化部５２、蓄積部４５、蓄積データ分離部５３、受信データ分離部４８、復号化処理部４６、グラフィックス生成部４７、画像合成部４３、セレクタ６２、及び、制御部７１、を含む。

入力部１、復号化処理部４６、グラフィックス生成部４７、画像合成部４３、画像表示部３、画像入力部２、符号化処理部４４、受信データ分離部４８、および、蓄積部４５は、実施の形態１で説明したデータ送受信装置と同様である。なお、実施の形態１の制御部４１の動作は、制御部７１が実行する。

多重化部５２、および、蓄積データ分離部５３は、実施の形態２で説明したデータ送受信装置と同様である。なお、実施の形態２の制御部５１の動作は、制御部７１が実行する。

セレクタ６２は、実施の形態３で説明したデータ送受信装置と同様である。なお、実施の形態３の制御部６１の動作は、制御部７１が実行する。

制御部７１は、画像処理部７の内部の各構成を制御する。

さて、テレビ電話時における動作は、実施の形態３のテレビ電話時における動作と同様であり、説明を省略する。なお、実施の形態３の制御部６１の動作は、制御部７１が実行する。

さて、録画処理を説明する。録画処理には、第１のモードと第２のモードとがある。

第１のモードは、グラフィックス生成部４７が生成したグラフィックス画像データを、セレクタ６２が選択可能とするモードである。

この場合は、グラフィックス画像データがセレクタ６２により選択されれば、選択されたグラフィックス画像データは、符号化処理部４４で符号化され、他の符号化された画像データと多重化される。

一方、第２のモードは、グラフィックス生成部４７が生成したグラフィックス画像データを、セレクタ６２が選択不可能とするモードである。

この場合は、制御部７１により、蓄積指示があれば、受信データ分離部４８は、グラフィックス画像データの元になるグラフィックスデータを、多重化部５２に入力する。

そして、多重化部５２は、グラフィックスデータを、符号化処理部４４により符号化された符号化画像データに多重化する。

以上のように、第１のモードと第２のモードとを切り替えることによって、グラフィックス画像データを多重化して蓄積する場合と、その元になるグラフィックスデータを多重化して蓄積する場合と、の選択が可能である。

第１のモードと第２のモードとの切り替えは、制御部７１の指示で行われる。例えば、入力部１を介したユーザからの指示を受けて、制御部７１が、モードの切り替えを実行するようにすることもできる。また、例えば、色々なケースに応じて、制御部７１が、モードの切り替えを実行するようにすることもできる。

このように、モードの切り替えを可能にすることで、例えば、自端末において、録画した画像を再度使用する場合、即ち、録画した画像を、再生、編集、あるいは、加工するときは、グラフィックス画像に関してはグラフィックスデータを蓄積することとし（第２のモード）、一方、グラフィックス生成部を有しない受信端末に送信する場合には、グラフィックス画像に関しては、グラフィックス生成部４７より出力されるグラフィックス画像データを符号化した符号化画像データを蓄積する（第１のモード）、といった選択が可能である。

なお、第１のモード及び第２のモードのいずれかに固定しておくこともできる。

さて、第１のモードによる録画処理は、実施の形態３の録画処理と同様であり、説明を省略する。なお、実施の形態３の制御部６１の動作は、制御部７１が実行する。

ただし、実施の形態３と異なり、どの画像データを録画するかの指示がない場合であって、蓄積部４５に記録できる容量に十分な空き容量がない場合には、セレクタ６２は、グラフィックス画像データを選択せず、蓄積部４５が、その元になるグラフィックスデータを蓄積するようにすることもできる。

第２のモードによる録画処理を説明する。

テレビ電話時にユーザから、制御部７１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部７１は、表示画像の録画を実行するための制御信号を生成する。

この場合、制御部７１は、入力部１を介したユーザの指示に従って、画像入力部２から出力される画像データ、復号化処理部４６から出力される画像データ、及び、受信データ分離部４８から出力されるグラフィックスデータ、のうち、どの画像データを蓄積部４５に録画するかを指示する制御信号も生成する。

セレクタ６２は、この制御信号に従って、指示された画像データを符号化処理部４４に出力する。

また、受信データ分離部４８は、この制御信号により、グラフィックスデータを蓄積することを指示された場合は、グラフィックスデータを多重化部５２へ出力する。

ユーザから、どの画像データを録画するかの指示がない場合には、表示画像を構成している全ての画像を録画する。

従って、この場合は、セレクタ６２は、画像入力部２から出力される画像データ、及び、復号化処理部４６から出力される画像データ、を符号化処理部４４に出力する。

さらに、この場合は、受信データ分離部４８は、グラフィックスデータを多重化部５２へ出力する。

なお、蓄積部４５に記録できる容量に十分な空き容量がない場合には、表示画像を構成している全ての画像を録画するのではなく、セレクタ６２は、制御部７１の制御により、空き容量に応じて、符号化処理する画像データを選択して、符号化処理部４４に出力することもできる。

このような場合、同様に、受信データ分離部４８は、制御部７１の制御により、グラフィックスデータを多重化部５２へ出力しないようにすることもできる。

符号化処理部４４は、制御部７１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。

符号化処理部４４による表示画像の符号化処理では、画像入力部２が出力する自分側の画像、及び、復号化処理部４６が出力する相手側の画像、の中からセレクタ６２が選択した画像に対する符号化処理を行う。

この場合、符号化処理部４４は、セレクタ６２が選択した、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。

この多重化処理では、ヘッダ情報、及び、多重化を行う各オブジェクト画像に関する表示画像合成指示データを付加して、各オブジェクト画像の符号化データが多重化される。

このヘッダ情報は、多重化を行う各オブジェクト画像のリスト（多重化画像リスト）や、各オブジェクト画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、多重化を行う各オブジェクト画像に関する表示画像合成指示データは、制御部７１から画像合成部４３に入力される、多重化を行う各オブジェクト画像に関する表示画像合成指示データである。

多重化部５２は、受信データ分離部４８から、表示画像を構成するグラフィックス画像の生成に必要なグラフィックスデータが与えられた場合、符号化処理部４４が生成した多重化データ（多重化された符号化画像データ）に、そのグラフィックスデータをさらに多重化する。

この多重化処理では、ヘッダ情報、及び、グラフィックス画像に関する表示画像合成指示データ、を付加したグラフィックスデータを、符号化処理部４４が生成した多重化データにさらに多重化する。

そして、蓄積部４５は、多重化部５２が生成した多重化データを蓄積する。

ここで、ヘッダ情報は、多重化を行うグラフィックス画像を多重化画像リストに追加したことを示す情報、及び、グラフィックス画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、グラフィックス画像に関する表示画像合成指示データは、制御部７１から画像合成部４３に入力されている、グラフィックス画像に関する表示画像合成指示データである。

なお、多重化部５２は、受信データ分離部４８からグラフィックスデータが与えられなかった場合は、符号化処理部４４が生成した多重化データ（多重化された符号化画像データ）をそのまま蓄積部４５に出力する。

そして、蓄積部４５は、符号化処理部４４が生成した多重化データを蓄積する。

さて、第１のモードにより蓄積部４５に記録した表示画像の再生処理、及び、編集／加工処理は、実施の形態１で説明した動作と同様にして行われる。なお、実施の形態１の制御部４１の動作は、制御部７１が実行する。

一方、第２のモードにより蓄積部４５に記録した表示画像の再生処理、及び、編集／加工処理は、実施の形態２で説明した動作と同様にして行われる。なお、実施の形態２の制御部５１の動作は、制御部７１が実行する。

さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データ、復号化処理部４６が出力する復号化データ、及び、グラフィックス生成部４７が出力するグラフィックス画像データ、の中から、セレクタ６２が選択した画像データが、個別に符号化されて蓄積される（第１のモード）。

あるいは、表示画像（合成画像）を構成する、画像入力部１が入力する画像データおよび復号化処理部４６が出力する復号化データ、の中から、セレクタ６２が選択した画像データが、個別に符号化されて蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、制御部７１の指示に従って、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される（第２のモード）。

以上により、蓄積部４５に蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。

その結果、ユーザの利便性の向上を図ることができる。

また、本実施の形態では、セレクタ６２を設けることで、ユーザの好みや蓄積部４５の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。

また、本実施の形態では、セレクタ６２を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積部４５の高効率な使用ができる。

また、本実施の形態では、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか（第１のモード）、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか（第２のモード）、のいずれかを選択可能である。

このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。

例えば、グラフィックス生成部を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成部４７から出力されるグラフィックス画像データを符号化処理部４４により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。

また、本実施の形態の第２のモードでは、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積部４５を高効率に使用することができる。

なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。この点は、実施の形態１と同様である。

さて、次に、本実施の形態の変形例を説明する。この変形例では、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）を、蓄積部４５に蓄積するかどうかを選択可能としている。

さらに、この変形例では、グラフィックス関連データを蓄積部４５に蓄積することを選択した場合に、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを選択可能としている。

この変形例を具体的に説明する。

制御部７１は、画像入力部２から出力される画像データ、復号化処理部４６から出力される画像データ、及び、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）、のうち、どの画像データを蓄積部４５に録画するかを指示する制御信号を生成する。

さらに、制御部７１は、グラフィックス関連データを蓄積することを指示する場合は、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを指示する情報を制御信号に含ませる。

セレクタ６２は、制御部７１が生成した制御信号により指示された画像データを選択して、符号化処理部に出力する。

この際、セレクタ６２は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックス画像データを蓄積することを指示する情報が含まれている場合は、グラフィックス画像データを符号化処理部４４に出力する。その後の処理は、上記実施の形態４と同様である。

一方、セレクタ６２は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックスデータを蓄積することを指示する情報が含まれていた場合は、グラフィックス画像データを符号化処理部４４に出力しない。

そして、受信データ分離部４８は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックスデータを蓄積することを指示する情報が含まれていた場合は、グラフィックスデータを多重化部５２に出力する。その後の処理は、上記実施の形態４と同様である。

なお、受信データ分離部４８は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックス画像データを蓄積することを指示する情報が含まれていた場合は、グラフィックスデータを多重化部５２に出力しない。

ここで、制御部７１がどのような内容の制御信号を生成するかは、ケース毎に予め定められていてもよいし、入力部１から入力される情報に従って生成されてもよい。

この変形例では、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）の蓄積を行うかどうかを選択可能であり、さらに、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを選択可能である。

このため、この変形例では、ユーザの利便性の向上、及び、蓄積部４５の高効率な使用、が可能となる。

本発明に係るデータ送受信装置は、例えばテレビ電話機能付き携帯電話等の分野において好適に利用できる。

本発明の実施の形態１におけるデータ送受信装置のブロック図である。 本発明の実施の形態２におけるデータ送受信装置のブロック図である。 本発明の実施の形態３におけるデータ送受信装置のブロック図である。 本発明の実施の形態４におけるデータ送受信装置のブロック図である。 従来のデータ受信装置のブロック図である。

Claims (13)

1. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
   前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
   前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
   画像データを入力する画像入力手段と、
   前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
   前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
   前記画像入力手段が入力する前記画像データ、前記復号化処理手段が出力する前記復号化データ、及び、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、を個別に符号化する符号化処理手段と、
   符号化された前記画像データ、符号化された前記復号化データ、及び、符号化された前記グラフィックス画像データ、を蓄積する蓄積手段と、を備える、データ送受信装置。
2. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
   前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
   前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
   画像データを入力する画像入力手段と、
   前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
   前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
   前記画像入力手段が入力する前記画像データ、及び、前記復号化処理手段が出力する前記復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、
   前記符号化処理手段が出力する前記符号化データと、前記受信データ分離手段が出力する前記グラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、
   前記多重化手段が出力する前記多重化データを蓄積する蓄積手段と、
   前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える、データ送受信装置。
3. 制御手段をさらに備え、
   第１のモードでは、グラフィックス画像については、その元になる前記グラフィックスデータを、前記蓄積手段に蓄積し、
   第２のモードでは、前記グラフィックス画像については、前記符号化処理手段により符号化された前記グラフィックス画像データを、前記蓄積手段に蓄積し、
   前記第１のモードと前記第２のモードとの切り替えは、前記制御手段の指示に従って行われる、請求項２記載のデータ送受信装置。
4. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
   前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
   前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
   画像データを入力する画像入力手段と、
   前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
   前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
   前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
   前記選択手段が選択した前記データを符号化して、符号化データを出力する符号化処理手段と、
   前記符号化処理手段が出力する前記符号化データを蓄積する蓄積手段と、を備え、
   前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、データ送受信装置。
5. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
   前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
   前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
   画像データを入力する画像入力手段と、
   前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
   前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
   前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
   前記選択手段が出力する前記データを符号化して、符号化データを出力する符号化処理手段と、
   前記受信データ分離手段が出力する前記グラフィックスデータが与えられた場合は、前記グラフィックスデータと、前記符号化処理手段が出力する前記符号化データと、を多重化して、多重化データを出力する多重化手段と、
   前記多重化手段が生成した前記多重化データが与えられた場合は、前記多重化データを蓄積し、前記符号化処理手段が生成した前記符号化データが与えられた場合は、前記符号化データを蓄積する蓄積手段と、
   前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、
   前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、データ送受信装置。
6. 制御手段をさらに備え、
   第１のモードでは、グラフィックス画像については、前記符号化処理手段により符号化された前記グラフィックス画像データを、前記蓄積手段に蓄積し、
   第２のモードでは、前記グラフィックス画像については、その元になる前記グラフィックスデータを、前記蓄積手段に蓄積し、
   前記第１のモードと前記第２のモードとの切り替えは、前記制御手段の指示に従って行われる、請求項５記載のデータ送受信装置。
7. 前記第２のモードでは、前記制御手段の指示に従って、前記受信データ分離手段は、前記グラフィックスデータを、前記多重化手段へ入力し、あるいは、入力しない、請求項６記載のデータ送受信装置。
8. 制御手段をさらに備え、
   前記画像入力手段が入力する前記画像データ、前記復号化処理手段が出力する前記復号化データ、及び、グラフィックス関連データ、のうち、前記制御手段により指示された画像データが前記蓄積手段に蓄積され、
   前記グラフィックス関連データを蓄積する場合は、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、あるいは、前記受信データ分離手段が出力する前記グラフィックスデータ、のうち、前記制御手段により指示されたデータが前記蓄積手段に蓄積される、請求項５記載のデータ送受信装置。
9. 前記蓄積手段は、前記画像表示手段が表示する前記合成画像に関連するデータを蓄積する、請求項１記載のデータ送受信装置。
10. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
    前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
    前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
    前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
    外部から入力される前記画像データ、前記復号化処理手段が出力する前記復号化データ、及び、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、を個別に符号化する符号化処理手段と、
    符号化された外部からの前記画像データ、符号化された前記復号化データ、及び、符号化された前記グラフィックス画像データ、を蓄積する蓄積手段と、を備える、画像処理装置。
11. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
    前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
    前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
    前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
    外部から入力される前記画像データ、及び、前記復号化処理手段が出力する前記復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、
    前記符号化処理手段が出力する前記符号化データと、前記受信データ分離手段が出力する前記グラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、
    前記多重化手段が出力する前記多重化データを蓄積する蓄積手段と、
    前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える、画像処理装置。
12. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
    前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
    前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
    前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
    前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
    前記選択手段が選択した前記データを符号化して、符号化データを出力する符号化処理手段と、
    前記符号化処理手段が出力する前記符号化データを蓄積する蓄積手段と、を備え、
    前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、画像処理装置。
13. 受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
    前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
    前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
    前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
    前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
    前記選択手段が出力する前記データを符号化して、符号化データを出力する符号化処理手段と、
    前記受信データ分離手段が出力する前記グラフィックスデータが与えられた場合は、前記グラフィックスデータと、前記符号化処理手段が出力する前記符号化データと、を多重化して、多重化データを出力する多重化手段と、
    前記多重化手段が生成した前記多重化データが与えられた場合は、前記多重化データを蓄積し、前記符号化処理手段が生成した前記符号化データが与えられた場合は、前記符号化データを蓄積する蓄積手段と、
    前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、
    前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、画像処理装置。

Images