JP3854871B2 - 画像処理装置、画像処理方法、記録媒体及びプログラム - Google Patents
画像処理装置、画像処理方法、記録媒体及びプログラム Download PDFInfo
- Publication number
- JP3854871B2 JP3854871B2 JP2002020385A JP2002020385A JP3854871B2 JP 3854871 B2 JP3854871 B2 JP 3854871B2 JP 2002020385 A JP2002020385 A JP 2002020385A JP 2002020385 A JP2002020385 A JP 2002020385A JP 3854871 B2 JP3854871 B2 JP 3854871B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- artificial
- natural
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、記録媒体及びプログラムに係り、特に通信回線のトラフィック状況に応じた画像データの送受信処理に関するものである。
【０００２】
【従来の技術】
昨今、携帯電話（あるいは携帯端末）が急激に普及しつつある。
図２は、携帯端末を用いた通信システムの例を説明するための図である。
図２において、４０１および４０５は、携帯端末であり、表示部と操作部、および通信制御部からなっており、４０３の中継装置（基地局）との通信を行う。４０２及び４０４は、通信経路である。
【０００３】
変調方式としては、アナログからディジタルヘの移行が急速に進行し、電話機能としての音声送受信だけではなく、データ用携帯端末としての利用も加速してきている。また、伝送レートの高速化も進み、従来では不可能であったビデオ（動画）の送受信も可能となってきており、テレビ電話としての利用が期待されている。
【０００４】
図３は、従来のテレビ電話システムの構成を示すブロック図を示す。
図３において、ビデオカメラ５０１は人物などを撮影してビデオ信号を出力し、マイクロフォン５０４は音声を取り込んで音声信号を出力する。
Ａ／Ｄコンバータ５０２および５０５は、それぞれビデオカメラ、マイクロフォンの出力信号をデジタル信号に変換する。
【０００５】
ビデオエンコーダ５０３はビデオカメラにより撮影されたビデオ信号を周知の圧縮符号化をおよびオーディオエンコーダ５０６は、それぞれのディジタルデータを圧縮符号化処理する。圧縮符号化処理で作成された符号データを一般的にビットストリームと呼ぶ。
【０００６】
５０７はマルチプレクサであり、ビデオおよびオーディオビットストリームを同期再生が可能なように多重化処理を行い、１本のビットストリームを作成する。
５０８のデマルチプレクサにおいて、ビデオおよびオーディオのビットストリームに弁別される。５０９はビデオデコーダであり、ビデオビットストリームをデコード処理する。５１０はデジタルビデオデータをアナログ信号に変換するデジタル・アナログコンバータ（Ｄ／Ａ）である。５１１はモニタであり、復号されたビデオを表示する。
【０００７】
５１２はオーディオデコーダであり、オーディオビットストリームをデコード処理する。５１３はデジタルオーディオデータをアナログ信号に変換するデジタル・アナログコンバータ（Ｄ／Ａ）である。５１４はスピーカであり、復号された音声を出力する。
【０００８】
５１５は通信制御部であり、前記ビットストリームを送受信する部分である。５１６は通信経路であり、この場合は無線を使った経路を表している。５１７は中継装置（基地局）であり、携帯端末との送受信を行う設備である。５１８は通信経路であり、中継装置５１７と他の携帯端末との通信経路を示す。５１９は同期制御部であり、各ビットストリームに重畳された時間管理情報を用いてビデオとオーディオとの同期再生制御を行う。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では通信回線の混雑状況によって、受信側において映像や音声が途切れてしまい、伝えたい情報を確実に伝えることができないという問題が発生していた。
上述したような背景から本願発明の一つの目的は、上記の欠点を除去するために成されたもので、どのような通信回線状況でも画像が途切れないようにデータ通信することを可能にする画像処理装置、画像処理方法、記録媒体及びプログラムを提供することである。
【００１０】
【課題を解決するための手段】
本発明の一つの好適実施形態における画像処理装置は、自然画像を符号化した自然画像信号を入力する自然画像入力手段と、人工画像を符号化した人工画像信号を入力する人工画像入力手段と、通信回線の通信状況に応じて、前記自然画像信号と前記人工画像信号を選択して前記通信回線により送信する送信手段とを有し、前記送信手段は、前記通信状況が空いている場合は前記自然画像信号を送信し、前記通信状況が混雑している場合は前記人工画像信号を送信することを特徴とする。
【００１２】
また、その一つの好適実施形態における画像処理方法は、自然画像を符号化した自然画像信号を入力する自然画像入力工程と、人工画像を符号化した人工画像信号を入力する人工画像入力工程と、通信回線の通信状況に応じて、前記自然画像信号と前記人工画像信号を選択して前記通信回線により送信する送信工程とを有し、前記送信工程は、前記通信状況が空いている場合は前記自然画像信号を送信し、前記通信状況が混雑している場合は前記人工画像信号を送信することを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態によるテレビ電話システムの構成を示す図である。
図１において、送信部における自然画像を撮影してビデオデータ（自然画像データ）を出力するビデオカメラ１０１、Ａ／Ｄコンバータ１０２、ビデオエンコーダ１０３、マイクロフォン１０４、Ａ／Ｄコンバータ１０５、オーディオエンコーダ１０６は、図３のビデオカメラ５０１、Ａ／Ｄコンバータ５０２、ビデオエンコーダ５０３、マイクロフォン５０４、Ａ／Ｄコンバータ５０５、オーディオエンコーダ５０６と同等であるので、ここでの詳細な説明は省略する。尚、ビデオエンコーダ１０３はISO/IEC 14496-２ (MPEG-4 Visual)規格に準拠した符号化処理を行う。
【００１５】
また、通信制御部１１５、通信路１１６、中継装置１１７、通信路１１８も図３の通信制御部５１５、通信路５１６、中継装置５１７、通信路５１８と同等であるので、ここでの詳細な説明は省略する。
【００１６】
送信部におけるアニメーション生成器１１９は、操作部１３０の指示によりアニメーションデータ（人工画像データ）を生成する。アニメーション生成器１１９は顔の表情や手の動きなどをシミュレートして予め生成されたグラフィックスのアニメーションデータ（後述する骨格データ、動きデータ、テクスチャデータを有する）を出力する。アニメーションの作成方法については後述する。
【００１７】
アニメーションエンコーダ１２０は、アニメーション生成器１１９で生成されたアニメーションデータ（骨格データ、動きデータ、テクスチャデータ）を圧縮符号化する。
【００１８】
マルチプレクサ１０７は、操作部１３０の指示によりビデオエンコーダの出力（ビデオストリーム）と、アニメーションエンコーダの出力（アニメーションストリーム）を適応的に選択して多重化して画像ストリームを出力する。
【００１９】
マルチプレクサ１２１は、マルチプレクサ１０７から出力された画像ストリームと、オーディオエンコーダ１０６から出力されたオーディオストリームとを多重化したデータストリームを通信制御部１１５に供給する。
【００２０】
一方、受信部では、通信制御部１１５から入力されたデータストリームは、デマルチプレクサ１２２により、ビデオデータ及び又はアニメーションデータで構成された画像ストリーム、およびオーディオストリームに分離される。前記分離方法は前記データストリームのヘッダ部に書き込まれている属性情報に基づいて行われる。
【００２１】
デマルチプレクサ１０８は、画像ストリームからビデオデータおよびアニメーションデータを分離する。前記分離処理は前記画像ストリームのヘッダ部に書き込まれている属性情報に基づいて行われる。
【００２２】
各々メディア（ビデオ、アニメーション、オーディオ）はそれぞれに対応するデコーダ１０９，１２３，１１２によって復号処理が行われる。Ｄ／Ａコンバータ１１３は、オーディオデコーダ１１２で復号されたオーディオデータをＤ／Ａ変換する。スピーカ１１４はＤ／Ａコンバートされたオーディオを再生出力する。
【００２３】
一方、アニメーションデコーダ１２３で復号処理されたアニメーションデータは、アニメーション合成器１２４によって顔や手などのアニメーションが合成される。同期制御部１１１は、オーディオと、ビデオまたはアニメーションの同期制御をつかさどる部分である。
【００２４】
マルチプレクサ１１０は、送信側において、ビデオあるいはアニメーションがどのように多重化されて送信されたかを判断し、その判断結果に基づいて前記ビデオと前記アニメーションとを合成した画像データをディスプレイコントローラ１２５に出力する。尚、マルチプレクサ１１０の詳細については後述する。モニタ１２６には、ビデオ及び／又はアニメーションが表示される。
【００２５】
本実施形態では、送信側において、操作部１３０によりビデオ（自然画像）とアニメーション（人工画像）との合成処理を複数種の中から選択することができる。
【００２６】
複数種の合成処理例を図４に示す。
図４（ａ）では、背景画像及び人物画像ともにビデオカメラから出力されたビデオ（自然画像）を用いた例、図４（ｂ）では、背景画像はアニメーション生成器１１９で生成されたアニメーション（人工画像）を用いて、人物画像はビデオカメラから出力されたビデオを用いる例、図４（ｃ）では背景画像はビデオカメラから出力されたビデオを用いて、人物画像はアニメーション生成器１１９で生成されたアニメーションを用いる例、図４（ｄ）では、背景画像及び人物画像ともにアニメーション生成器１１９で生成されたアニメーションを用いる例を示す。
【００２７】
次に、マルチプレクサ１１０の合成処理について図５を参照しながら説明する。
ビデオデコータ１０９より出力されたビデオデータは一旦１次フレームバッファ１０００に記憶される。
通常ビデオデータは、通常フレーム単位で扱われ、二次元のピクセルデータである。一方、ポリゴンを用いたアニメーションデータの場合は、三次元画像の場合が多い。従って、そのままではビデオとアニメーションとの合成ができない。
【００２８】
そこで、アニメーション合成器１２４で合成処理を行った後、一旦二次元のフレームバッファである１次フレームバッファ１００１にレンダリングを行い、フレームデータを構築する。
【００２９】
アニメーションが後景の場合（図４（ｂ）参照）は、前景のビデオのマスク情報（マスキング情報制御器１００３によりマスク情報を得る）を用い、フレーム単位での合成を行う。一方、アニメーションが前景の場合（図４（ｃ）参照）には、レンダリングを行った結果、形成された二次元ビデオ画像からマスク画像を形成し、このデータに基づいて合成を行う。
【００３０】
また、アニメーションの合成速度は、フレームレートコントロール１００２において、適宜ビデオの再生スピードとの調歩がとられる。フレーム合成器１００４では、各々の１次フレームバッファ１０００、１００１に形成されたフレームデータとマスキング情報制御器１００３から得られたマスク情報とを入力し、前記マスク情報により適宜マスキング処理を行いながら、２フレーム（あるいはそれ以上の数の１次フレーム）の合成を行い、これを表示用フレームバッファ１００５に書き込む。このような処理によって、ビデオとアニメーションの自然な合成が可能となる。
【００３１】
次に、本実施形態におけるアニメーション作成方法を説明する。
図６は、グラフィックスの骨格を表現するメッシュを説明する図である。
図６に示したものはメッシュ（Mesh）と呼ばれ、グラフィックスの骨格を表現するもので、各頂点を結んだ各ユニット（図６の場合は三角形）は、一般にポリゴンと呼ばれる。例えば図６の頂点Ａ、頂点Ｂ及び頂点Ｃで囲まれる部分が１つのポリゴンとして定義される。
【００３２】
図６のような図形を構成するためには、各頂点の座標値、頂点間の組合せ情報（例えば、ＡとＢとＣ、ＡとＧとＨ、ＡとＥなど）を記述することによって達成される。通常このような構成は３次元空間にて構成されるが、ISO／IEC 14496-1(MPEG-4 Systems)規格などでは、これを２次元に縮退したものも考案されている。
【００３３】
なお、実際にはこのような骨格情報の上に、テクスチャと呼ばれる画像（或いは模様）データを、各ポリゴン上にマッピングする（これをテクスチャマッピングとよぶ）ことによって、実在に近いグラフィックスのモデルが形成される。
【００３４】
図６のようなグラフィックスオブジェクトに動きを加えるためには、時間方向に沿って、ポリゴンの各座標位置に変化を与えることで実現される。図６の矢印がその動きの例である。各頂点の動き方向とその大きさが同じであれば、単純な平行移動となり、また、各頂点ごとに動きの大きさとその方向を変化させることにより、グラフィックスオブジェクトの動きと変形を表現することが可能になる。
【００３５】
また、各頂点の動き情報を逐一再定義していくとデータ量が多くなってしまうため、頂点の動きベクトルの差分のみを記録する方式や、移動時間とその移動軌跡をあらかじめ定義しておき、その規則に従ってアニメーション装置内でその軌跡に沿って自動でアニメートする方式などが実用化されている。
【００３６】
ここで顔画像のアニメーション生成方法を説明する。
図７は、顔画像のモデル例を示す図である。
顔モデルの場合、一般的なグラフィックスオブジェクトと異なり、顔、鼻など、そのモデル（固体）にも共通な特徴が存在する。図７の例では、
Ａ：両目の距離
Ｂ：目の縦の長さ
Ｃ：鼻の長さ
Ｄ：鼻下からの口までの長さ
Ｅ：口の幅
のそれぞれのパラメータから形成される。
【００３７】
このパラメータのセット、および、それに付随するテクスチャを複数用意することで、顔アニメーションのテンプレート集とすることが可能である。また、顔画像の場合には、目や口の両端などの「特徴点」が多数存在する。この特徴点の位置を操作することによって、顔に表情を作ることが可能になる。
【００３８】
たとえば、「目じりの特徴点の位置を下げる」（実際には、それに伴って特徴点付近の形状データも変化する）、および、「口の両端の位置を上げる」というコマンドを与えることによって、「笑う」という表情を作成することが可能になる。
【００３９】
このように、グラフィックスデータによるアニメーションは、実動画画像を伝送するのに比較して単位時間当りに必要なビット数が少なくて済むという特徴を有する。
【００４０】
また、顔のアニメーションと同様に、体のアニメーションにも同じような方式が適用可能である。具体的には、手や足の関節などの特徴点データを抽出し、その点について動き情報を付加することによって、少ないデータにて、「歩く」、「手をあげる」などの行動をアニメートすることができる。
【００４１】
第１の実施形態によれば、ユーザーの指示より１画面内におけるビデオとアニメーションとを適宜合成したデータストリームを通信することができるので、前記データストリームのビットレートをビデオとアニメーションの合成比率を変えることによって制御することができる。これを利用することによって、通信状況に応じたデータストリームの通信が可能となる。
【００４２】
＜第２の実施形態＞
図８は、本発明に係る第２の実施形態のテレビ電話システムの構成を示すブロック図である。尚、図８において図１と同一機能を有する部分には同一符号を付し、その説明を省略する。
【００４３】
図８において、アニメーション雛型保存器２０１は顔アニメーションデータの雛型（骨格、肌の色、髪型、眼鏡の有無）情報を保存する。アニメーション選択器２０２は、ユーザーの趣向に応じてアニメーションの雛型及びアニメーションの動作パターン（手を振る、頭を下げるなど）を選択する。
即ち、第２の実施形態ではアニメーションの雛型を予め複数備え、ユーザーが適宜選択してアニメーションを生成して伝送することを可能にする。
【００４４】
第２の実施形態によれば、ユーザーが所望する動きのアニメーションを容易に生成することができ、ユーザーの指示により１画面内におけるビデオとアニメーションとを適宜合成したデータストリームを通信することができるので、前記データストリームのビットレートをビデオとアニメーションの合成比率を変えることによって制御することができる。これを利用することによって、通信状況に応じたデータストリームの通信が可能となる。
【００４５】
＜第３の実施形態＞
図９は、本発明に係る第３の実施形態のテレビ電話システムの構成を示すブロック図である。尚、図９において、図８と同一機能を有する部分には同一符号を付し、その説明を省略する。
図９において、ビデオトラッカ３０１は、ビデオの中から適当な方式を用いて任意のオブジェクト（たとえば人間の顔など）を識別し抽出する装置である。
【００４６】
ビデオ解析部３０２は、ビデオトラッカ３０１により抽出されたオブジェクト画像を解析して、前記ビデオを構成する各オブジェクトを解析し、その解析結果をアニメーション選択装置２０２’に供給する。
例えば、ビデオ解析部３０２が人物のオブジェクトを解析する場合、顔の輪郭抽出、眼球の位置、口の位置等を解析する。
【００４７】
通信状況監視部３０３は、通信路の通信状況（有効ビットレート、混雑状況等）を監視し、その通信状況においてアニメーションを発生させ、適応的にビデオとアニメメーションとを多重化して伝送するように制御する。
【００４８】
図４を用いて通信状況に応じたビデオとアニメーションとの合成処理を説明する。尚、図４において、前景画像（人物）の動きが激しく、背景画像は固定している場合とする。また、図４の各状態における符号化した際のトータルビットレートを図１０に示す。図１０における（ａ），（ｂ），（ｃ），（ｄ）は、夫々図４（ａ），（ｂ），（ｃ），（ｄ）の画像に対応する。
【００４９】
本実施形態では通信状況が良好な場合（例えば、通信路が空いていて、高いビットレートのデータが通信可能な場合）にはビデオ画像のみで伝送し（図４（ａ））を、通信状況が悪くなる（例えば、通信路が混雑して、通信できるビットレートが低くなる）につれて図４（ｂ）→図４（ｃ）→図４（ｄ）と適応的に合成処理を自動制御する。
【００５０】
アニメーション選択装置２０２’では、通信状況監視部３０３とビデオ解析部３０２との結果に応じて、アニメーションの雛型を選択して、実写に近いアニメーションを生成するようにする。
【００５１】
上述したように画面全体を、ビデオとアニメーションを適宜組み合わせて構成することによって、通信状況に適したビデオとアニメーションの組み合わせ（図４参照）を選択（ビデオとアニメーションの合成比率が通信状況により変化する）して通信を行うことができるとともに、ユーザの趣向にも合わせた会話も可能となる。
【００５２】
また、第３の実施形態によれば、通信回線状況に応じてビデオとアニメーションを適応的に多重化して送受信できるため、従来受信側で発生していた画像や音声の途切れを防止することができる。
【００５３】
また、アニメーションを形成するメッシュの細かさをダイナミックに変更することにより、アニメーション単体でのビットレートを削減する方法を利用して、通信回線状況に応じてメッシュの細かさをダイナミックに変更するようにして更にビットレートを削減するようにしてもよい。
【００５４】
尚、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って動作させることによって実施したものも、本発明の範疇に含まれる。
【００５５】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５６】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、通信回線の状況に応じて適応的に多重化された自然画像信号及び人工画像信号を送受信することができるので、従来のように画像が途切れるような状況を回避することができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態のテレビ電話システムの構成を示すブロック図である。
【図２】携帯端末を用いた通信システムの例を説明するための図である。
【図３】従来のテレビ電話システムの構成を示すブロック図である。
【図４】本実施形態の画像合成例を示す図である。
【図５】本実施形態のマルチプレクサ１１０の詳細構成を示すブロック図である。
【図６】グラフィックスの骨格を表現するメッシュを説明する図である。
【図７】顔画像のモデル例を示す図である。
【図８】本発明に係る第２の実施形態のテレビ電話システムの構成を示すブロック図である。
【図９】本発明に係る第３の実施形態のテレビ電話システムの構成を示すブロック図である。
【図１０】図４に示す各画像に対する符号化時のトータルビットレートを説明する図である。
【符号の説明】
１０１は、ビデオカメラ
１０２は、Ａ／Ｄコンバータ
１０３は、ビデオエンコーダ
１０４は、マイクロフォン
１０５は、Ａ／Ｄコンバータ
１０６は、オーディオエンコーダ
１０７は、マルチプレクサ
１０８は、デマルチプレクサ
１０９は、ビデオデコーダ
１１０は、マルチプレクサ
１１１は、同期制御部
１１２は、オーディオデコーダ
１１３は、Ｄ／Ａコンバータ
１１４は、スピーカ
１１５は、通信制御部
１１６は、通信回線
１１７は、中継システム
１１８は、通信回線
１１９は、アニメーション生成器
１２０は、アニメーションエンコーダ
１２１は、マルチプレクサ
１２２は、デマルチプレクサ
１２３は、アニメーションデコーダ
１２４は、アニメーション合成器
１２５は、ディスプレイコントローラ
１２６は、モニタ
２０１は、アニメーション雛型保存器
２０２は、アニメーション選択器
３０１は、ビデオトラッカ
３０２は、ビデオ解析部
３０３は、通信状況監視部
１３０は、操作部
４０１は、携帯端末
４０２は、通信回線
４０３は、中継装置
４０４は、通信回線
４０５は、携帯端末
５０１は、ビデオカメラ
５０２は、Ａ／Ｄコンバータ
５０３は、ビデオエンコーダ
５０４は、マイクロフォン
５０５は、Ａ／Ｄコンバータ
５０６は、オーディオエンコーダ
５０７は、マルチプレクサ
５０８は、デマルチプレクサ
５０９は、ビデオデコーダ
５１０は、Ｄ／Ａコンバータ
５１１は、モニタ
５１２は、オーディオデコーダ
５１３は、Ｄ／Ａコンバータ
５１４は、スピーカ
５１５は、通信制御部
５１６は、通信回線
５１７は、中継装置
５１８は、通信回線
５１９は、同期制御部
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、記録媒体及びプログラムに係り、特に通信回線のトラフィック状況に応じた画像データの送受信処理に関するものである。
【０００２】
【従来の技術】
昨今、携帯電話（あるいは携帯端末）が急激に普及しつつある。
図２は、携帯端末を用いた通信システムの例を説明するための図である。
図２において、４０１および４０５は、携帯端末であり、表示部と操作部、および通信制御部からなっており、４０３の中継装置（基地局）との通信を行う。４０２及び４０４は、通信経路である。
【０００３】
変調方式としては、アナログからディジタルヘの移行が急速に進行し、電話機能としての音声送受信だけではなく、データ用携帯端末としての利用も加速してきている。また、伝送レートの高速化も進み、従来では不可能であったビデオ（動画）の送受信も可能となってきており、テレビ電話としての利用が期待されている。
【０００４】
図３は、従来のテレビ電話システムの構成を示すブロック図を示す。
図３において、ビデオカメラ５０１は人物などを撮影してビデオ信号を出力し、マイクロフォン５０４は音声を取り込んで音声信号を出力する。
Ａ／Ｄコンバータ５０２および５０５は、それぞれビデオカメラ、マイクロフォンの出力信号をデジタル信号に変換する。
【０００５】
ビデオエンコーダ５０３はビデオカメラにより撮影されたビデオ信号を周知の圧縮符号化をおよびオーディオエンコーダ５０６は、それぞれのディジタルデータを圧縮符号化処理する。圧縮符号化処理で作成された符号データを一般的にビットストリームと呼ぶ。
【０００６】
５０７はマルチプレクサであり、ビデオおよびオーディオビットストリームを同期再生が可能なように多重化処理を行い、１本のビットストリームを作成する。
５０８のデマルチプレクサにおいて、ビデオおよびオーディオのビットストリームに弁別される。５０９はビデオデコーダであり、ビデオビットストリームをデコード処理する。５１０はデジタルビデオデータをアナログ信号に変換するデジタル・アナログコンバータ（Ｄ／Ａ）である。５１１はモニタであり、復号されたビデオを表示する。
【０００７】
５１２はオーディオデコーダであり、オーディオビットストリームをデコード処理する。５１３はデジタルオーディオデータをアナログ信号に変換するデジタル・アナログコンバータ（Ｄ／Ａ）である。５１４はスピーカであり、復号された音声を出力する。
【０００８】
５１５は通信制御部であり、前記ビットストリームを送受信する部分である。５１６は通信経路であり、この場合は無線を使った経路を表している。５１７は中継装置（基地局）であり、携帯端末との送受信を行う設備である。５１８は通信経路であり、中継装置５１７と他の携帯端末との通信経路を示す。５１９は同期制御部であり、各ビットストリームに重畳された時間管理情報を用いてビデオとオーディオとの同期再生制御を行う。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では通信回線の混雑状況によって、受信側において映像や音声が途切れてしまい、伝えたい情報を確実に伝えることができないという問題が発生していた。
上述したような背景から本願発明の一つの目的は、上記の欠点を除去するために成されたもので、どのような通信回線状況でも画像が途切れないようにデータ通信することを可能にする画像処理装置、画像処理方法、記録媒体及びプログラムを提供することである。
【００１０】
【課題を解決するための手段】
本発明の一つの好適実施形態における画像処理装置は、自然画像を符号化した自然画像信号を入力する自然画像入力手段と、人工画像を符号化した人工画像信号を入力する人工画像入力手段と、通信回線の通信状況に応じて、前記自然画像信号と前記人工画像信号を選択して前記通信回線により送信する送信手段とを有し、前記送信手段は、前記通信状況が空いている場合は前記自然画像信号を送信し、前記通信状況が混雑している場合は前記人工画像信号を送信することを特徴とする。
【００１２】
また、その一つの好適実施形態における画像処理方法は、自然画像を符号化した自然画像信号を入力する自然画像入力工程と、人工画像を符号化した人工画像信号を入力する人工画像入力工程と、通信回線の通信状況に応じて、前記自然画像信号と前記人工画像信号を選択して前記通信回線により送信する送信工程とを有し、前記送信工程は、前記通信状況が空いている場合は前記自然画像信号を送信し、前記通信状況が混雑している場合は前記人工画像信号を送信することを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態によるテレビ電話システムの構成を示す図である。
図１において、送信部における自然画像を撮影してビデオデータ（自然画像データ）を出力するビデオカメラ１０１、Ａ／Ｄコンバータ１０２、ビデオエンコーダ１０３、マイクロフォン１０４、Ａ／Ｄコンバータ１０５、オーディオエンコーダ１０６は、図３のビデオカメラ５０１、Ａ／Ｄコンバータ５０２、ビデオエンコーダ５０３、マイクロフォン５０４、Ａ／Ｄコンバータ５０５、オーディオエンコーダ５０６と同等であるので、ここでの詳細な説明は省略する。尚、ビデオエンコーダ１０３はISO/IEC 14496-２ (MPEG-4 Visual)規格に準拠した符号化処理を行う。
【００１５】
また、通信制御部１１５、通信路１１６、中継装置１１７、通信路１１８も図３の通信制御部５１５、通信路５１６、中継装置５１７、通信路５１８と同等であるので、ここでの詳細な説明は省略する。
【００１６】
送信部におけるアニメーション生成器１１９は、操作部１３０の指示によりアニメーションデータ（人工画像データ）を生成する。アニメーション生成器１１９は顔の表情や手の動きなどをシミュレートして予め生成されたグラフィックスのアニメーションデータ（後述する骨格データ、動きデータ、テクスチャデータを有する）を出力する。アニメーションの作成方法については後述する。
【００１７】
アニメーションエンコーダ１２０は、アニメーション生成器１１９で生成されたアニメーションデータ（骨格データ、動きデータ、テクスチャデータ）を圧縮符号化する。
【００１８】
マルチプレクサ１０７は、操作部１３０の指示によりビデオエンコーダの出力（ビデオストリーム）と、アニメーションエンコーダの出力（アニメーションストリーム）を適応的に選択して多重化して画像ストリームを出力する。
【００１９】
マルチプレクサ１２１は、マルチプレクサ１０７から出力された画像ストリームと、オーディオエンコーダ１０６から出力されたオーディオストリームとを多重化したデータストリームを通信制御部１１５に供給する。
【００２０】
一方、受信部では、通信制御部１１５から入力されたデータストリームは、デマルチプレクサ１２２により、ビデオデータ及び又はアニメーションデータで構成された画像ストリーム、およびオーディオストリームに分離される。前記分離方法は前記データストリームのヘッダ部に書き込まれている属性情報に基づいて行われる。
【００２１】
デマルチプレクサ１０８は、画像ストリームからビデオデータおよびアニメーションデータを分離する。前記分離処理は前記画像ストリームのヘッダ部に書き込まれている属性情報に基づいて行われる。
【００２２】
各々メディア（ビデオ、アニメーション、オーディオ）はそれぞれに対応するデコーダ１０９，１２３，１１２によって復号処理が行われる。Ｄ／Ａコンバータ１１３は、オーディオデコーダ１１２で復号されたオーディオデータをＤ／Ａ変換する。スピーカ１１４はＤ／Ａコンバートされたオーディオを再生出力する。
【００２３】
一方、アニメーションデコーダ１２３で復号処理されたアニメーションデータは、アニメーション合成器１２４によって顔や手などのアニメーションが合成される。同期制御部１１１は、オーディオと、ビデオまたはアニメーションの同期制御をつかさどる部分である。
【００２４】
マルチプレクサ１１０は、送信側において、ビデオあるいはアニメーションがどのように多重化されて送信されたかを判断し、その判断結果に基づいて前記ビデオと前記アニメーションとを合成した画像データをディスプレイコントローラ１２５に出力する。尚、マルチプレクサ１１０の詳細については後述する。モニタ１２６には、ビデオ及び／又はアニメーションが表示される。
【００２５】
本実施形態では、送信側において、操作部１３０によりビデオ（自然画像）とアニメーション（人工画像）との合成処理を複数種の中から選択することができる。
【００２６】
複数種の合成処理例を図４に示す。
図４（ａ）では、背景画像及び人物画像ともにビデオカメラから出力されたビデオ（自然画像）を用いた例、図４（ｂ）では、背景画像はアニメーション生成器１１９で生成されたアニメーション（人工画像）を用いて、人物画像はビデオカメラから出力されたビデオを用いる例、図４（ｃ）では背景画像はビデオカメラから出力されたビデオを用いて、人物画像はアニメーション生成器１１９で生成されたアニメーションを用いる例、図４（ｄ）では、背景画像及び人物画像ともにアニメーション生成器１１９で生成されたアニメーションを用いる例を示す。
【００２７】
次に、マルチプレクサ１１０の合成処理について図５を参照しながら説明する。
ビデオデコータ１０９より出力されたビデオデータは一旦１次フレームバッファ１０００に記憶される。
通常ビデオデータは、通常フレーム単位で扱われ、二次元のピクセルデータである。一方、ポリゴンを用いたアニメーションデータの場合は、三次元画像の場合が多い。従って、そのままではビデオとアニメーションとの合成ができない。
【００２８】
そこで、アニメーション合成器１２４で合成処理を行った後、一旦二次元のフレームバッファである１次フレームバッファ１００１にレンダリングを行い、フレームデータを構築する。
【００２９】
アニメーションが後景の場合（図４（ｂ）参照）は、前景のビデオのマスク情報（マスキング情報制御器１００３によりマスク情報を得る）を用い、フレーム単位での合成を行う。一方、アニメーションが前景の場合（図４（ｃ）参照）には、レンダリングを行った結果、形成された二次元ビデオ画像からマスク画像を形成し、このデータに基づいて合成を行う。
【００３０】
また、アニメーションの合成速度は、フレームレートコントロール１００２において、適宜ビデオの再生スピードとの調歩がとられる。フレーム合成器１００４では、各々の１次フレームバッファ１０００、１００１に形成されたフレームデータとマスキング情報制御器１００３から得られたマスク情報とを入力し、前記マスク情報により適宜マスキング処理を行いながら、２フレーム（あるいはそれ以上の数の１次フレーム）の合成を行い、これを表示用フレームバッファ１００５に書き込む。このような処理によって、ビデオとアニメーションの自然な合成が可能となる。
【００３１】
次に、本実施形態におけるアニメーション作成方法を説明する。
図６は、グラフィックスの骨格を表現するメッシュを説明する図である。
図６に示したものはメッシュ（Mesh）と呼ばれ、グラフィックスの骨格を表現するもので、各頂点を結んだ各ユニット（図６の場合は三角形）は、一般にポリゴンと呼ばれる。例えば図６の頂点Ａ、頂点Ｂ及び頂点Ｃで囲まれる部分が１つのポリゴンとして定義される。
【００３２】
図６のような図形を構成するためには、各頂点の座標値、頂点間の組合せ情報（例えば、ＡとＢとＣ、ＡとＧとＨ、ＡとＥなど）を記述することによって達成される。通常このような構成は３次元空間にて構成されるが、ISO／IEC 14496-1(MPEG-4 Systems)規格などでは、これを２次元に縮退したものも考案されている。
【００３３】
なお、実際にはこのような骨格情報の上に、テクスチャと呼ばれる画像（或いは模様）データを、各ポリゴン上にマッピングする（これをテクスチャマッピングとよぶ）ことによって、実在に近いグラフィックスのモデルが形成される。
【００３４】
図６のようなグラフィックスオブジェクトに動きを加えるためには、時間方向に沿って、ポリゴンの各座標位置に変化を与えることで実現される。図６の矢印がその動きの例である。各頂点の動き方向とその大きさが同じであれば、単純な平行移動となり、また、各頂点ごとに動きの大きさとその方向を変化させることにより、グラフィックスオブジェクトの動きと変形を表現することが可能になる。
【００３５】
また、各頂点の動き情報を逐一再定義していくとデータ量が多くなってしまうため、頂点の動きベクトルの差分のみを記録する方式や、移動時間とその移動軌跡をあらかじめ定義しておき、その規則に従ってアニメーション装置内でその軌跡に沿って自動でアニメートする方式などが実用化されている。
【００３６】
ここで顔画像のアニメーション生成方法を説明する。
図７は、顔画像のモデル例を示す図である。
顔モデルの場合、一般的なグラフィックスオブジェクトと異なり、顔、鼻など、そのモデル（固体）にも共通な特徴が存在する。図７の例では、
Ａ：両目の距離
Ｂ：目の縦の長さ
Ｃ：鼻の長さ
Ｄ：鼻下からの口までの長さ
Ｅ：口の幅
のそれぞれのパラメータから形成される。
【００３７】
このパラメータのセット、および、それに付随するテクスチャを複数用意することで、顔アニメーションのテンプレート集とすることが可能である。また、顔画像の場合には、目や口の両端などの「特徴点」が多数存在する。この特徴点の位置を操作することによって、顔に表情を作ることが可能になる。
【００３８】
たとえば、「目じりの特徴点の位置を下げる」（実際には、それに伴って特徴点付近の形状データも変化する）、および、「口の両端の位置を上げる」というコマンドを与えることによって、「笑う」という表情を作成することが可能になる。
【００３９】
このように、グラフィックスデータによるアニメーションは、実動画画像を伝送するのに比較して単位時間当りに必要なビット数が少なくて済むという特徴を有する。
【００４０】
また、顔のアニメーションと同様に、体のアニメーションにも同じような方式が適用可能である。具体的には、手や足の関節などの特徴点データを抽出し、その点について動き情報を付加することによって、少ないデータにて、「歩く」、「手をあげる」などの行動をアニメートすることができる。
【００４１】
第１の実施形態によれば、ユーザーの指示より１画面内におけるビデオとアニメーションとを適宜合成したデータストリームを通信することができるので、前記データストリームのビットレートをビデオとアニメーションの合成比率を変えることによって制御することができる。これを利用することによって、通信状況に応じたデータストリームの通信が可能となる。
【００４２】
＜第２の実施形態＞
図８は、本発明に係る第２の実施形態のテレビ電話システムの構成を示すブロック図である。尚、図８において図１と同一機能を有する部分には同一符号を付し、その説明を省略する。
【００４３】
図８において、アニメーション雛型保存器２０１は顔アニメーションデータの雛型（骨格、肌の色、髪型、眼鏡の有無）情報を保存する。アニメーション選択器２０２は、ユーザーの趣向に応じてアニメーションの雛型及びアニメーションの動作パターン（手を振る、頭を下げるなど）を選択する。
即ち、第２の実施形態ではアニメーションの雛型を予め複数備え、ユーザーが適宜選択してアニメーションを生成して伝送することを可能にする。
【００４４】
第２の実施形態によれば、ユーザーが所望する動きのアニメーションを容易に生成することができ、ユーザーの指示により１画面内におけるビデオとアニメーションとを適宜合成したデータストリームを通信することができるので、前記データストリームのビットレートをビデオとアニメーションの合成比率を変えることによって制御することができる。これを利用することによって、通信状況に応じたデータストリームの通信が可能となる。
【００４５】
＜第３の実施形態＞
図９は、本発明に係る第３の実施形態のテレビ電話システムの構成を示すブロック図である。尚、図９において、図８と同一機能を有する部分には同一符号を付し、その説明を省略する。
図９において、ビデオトラッカ３０１は、ビデオの中から適当な方式を用いて任意のオブジェクト（たとえば人間の顔など）を識別し抽出する装置である。
【００４６】
ビデオ解析部３０２は、ビデオトラッカ３０１により抽出されたオブジェクト画像を解析して、前記ビデオを構成する各オブジェクトを解析し、その解析結果をアニメーション選択装置２０２’に供給する。
例えば、ビデオ解析部３０２が人物のオブジェクトを解析する場合、顔の輪郭抽出、眼球の位置、口の位置等を解析する。
【００４７】
通信状況監視部３０３は、通信路の通信状況（有効ビットレート、混雑状況等）を監視し、その通信状況においてアニメーションを発生させ、適応的にビデオとアニメメーションとを多重化して伝送するように制御する。
【００４８】
図４を用いて通信状況に応じたビデオとアニメーションとの合成処理を説明する。尚、図４において、前景画像（人物）の動きが激しく、背景画像は固定している場合とする。また、図４の各状態における符号化した際のトータルビットレートを図１０に示す。図１０における（ａ），（ｂ），（ｃ），（ｄ）は、夫々図４（ａ），（ｂ），（ｃ），（ｄ）の画像に対応する。
【００４９】
本実施形態では通信状況が良好な場合（例えば、通信路が空いていて、高いビットレートのデータが通信可能な場合）にはビデオ画像のみで伝送し（図４（ａ））を、通信状況が悪くなる（例えば、通信路が混雑して、通信できるビットレートが低くなる）につれて図４（ｂ）→図４（ｃ）→図４（ｄ）と適応的に合成処理を自動制御する。
【００５０】
アニメーション選択装置２０２’では、通信状況監視部３０３とビデオ解析部３０２との結果に応じて、アニメーションの雛型を選択して、実写に近いアニメーションを生成するようにする。
【００５１】
上述したように画面全体を、ビデオとアニメーションを適宜組み合わせて構成することによって、通信状況に適したビデオとアニメーションの組み合わせ（図４参照）を選択（ビデオとアニメーションの合成比率が通信状況により変化する）して通信を行うことができるとともに、ユーザの趣向にも合わせた会話も可能となる。
【００５２】
また、第３の実施形態によれば、通信回線状況に応じてビデオとアニメーションを適応的に多重化して送受信できるため、従来受信側で発生していた画像や音声の途切れを防止することができる。
【００５３】
また、アニメーションを形成するメッシュの細かさをダイナミックに変更することにより、アニメーション単体でのビットレートを削減する方法を利用して、通信回線状況に応じてメッシュの細かさをダイナミックに変更するようにして更にビットレートを削減するようにしてもよい。
【００５４】
尚、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って動作させることによって実施したものも、本発明の範疇に含まれる。
【００５５】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５６】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、通信回線の状況に応じて適応的に多重化された自然画像信号及び人工画像信号を送受信することができるので、従来のように画像が途切れるような状況を回避することができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態のテレビ電話システムの構成を示すブロック図である。
【図２】携帯端末を用いた通信システムの例を説明するための図である。
【図３】従来のテレビ電話システムの構成を示すブロック図である。
【図４】本実施形態の画像合成例を示す図である。
【図５】本実施形態のマルチプレクサ１１０の詳細構成を示すブロック図である。
【図６】グラフィックスの骨格を表現するメッシュを説明する図である。
【図７】顔画像のモデル例を示す図である。
【図８】本発明に係る第２の実施形態のテレビ電話システムの構成を示すブロック図である。
【図９】本発明に係る第３の実施形態のテレビ電話システムの構成を示すブロック図である。
【図１０】図４に示す各画像に対する符号化時のトータルビットレートを説明する図である。
【符号の説明】
１０１は、ビデオカメラ
１０２は、Ａ／Ｄコンバータ
１０３は、ビデオエンコーダ
１０４は、マイクロフォン
１０５は、Ａ／Ｄコンバータ
１０６は、オーディオエンコーダ
１０７は、マルチプレクサ
１０８は、デマルチプレクサ
１０９は、ビデオデコーダ
１１０は、マルチプレクサ
１１１は、同期制御部
１１２は、オーディオデコーダ
１１３は、Ｄ／Ａコンバータ
１１４は、スピーカ
１１５は、通信制御部
１１６は、通信回線
１１７は、中継システム
１１８は、通信回線
１１９は、アニメーション生成器
１２０は、アニメーションエンコーダ
１２１は、マルチプレクサ
１２２は、デマルチプレクサ
１２３は、アニメーションデコーダ
１２４は、アニメーション合成器
１２５は、ディスプレイコントローラ
１２６は、モニタ
２０１は、アニメーション雛型保存器
２０２は、アニメーション選択器
３０１は、ビデオトラッカ
３０２は、ビデオ解析部
３０３は、通信状況監視部
１３０は、操作部
４０１は、携帯端末
４０２は、通信回線
４０３は、中継装置
４０４は、通信回線
４０５は、携帯端末
５０１は、ビデオカメラ
５０２は、Ａ／Ｄコンバータ
５０３は、ビデオエンコーダ
５０４は、マイクロフォン
５０５は、Ａ／Ｄコンバータ
５０６は、オーディオエンコーダ
５０７は、マルチプレクサ
５０８は、デマルチプレクサ
５０９は、ビデオデコーダ
５１０は、Ｄ／Ａコンバータ
５１１は、モニタ
５１２は、オーディオデコーダ
５１３は、Ｄ／Ａコンバータ
５１４は、スピーカ
５１５は、通信制御部
５１６は、通信回線
５１７は、中継装置
５１８は、通信回線
５１９は、同期制御部
Claims (12)
- 自然画像を符号化した自然画像信号を入力する自然画像入力手段と、
人工画像を符号化した人工画像信号を入力する人工画像入力手段と、
通信回線の通信状況に応じて、前記自然画像信号と前記人工画像信号を選択して前記通信回線により送信する送信手段とを有し、
前記送信手段は、前記通信状況が空いている場合は前記自然画像信号を送信し、前記通信状況が混雑している場合は前記人工画像信号を送信することを特徴とする画像処理装置。 - 前記送信手段は、１画面が前記自然画像と前記人工画像で構成されるように前記自然画像信号と前記人工画像信号を選択して送信することを特徴とする請求項１に記載の画像処理装置。
- 前記送信手段は、前記通信状況に応じて前記自然画像と前記人工画像との１画面内おける多重比率が変化することを特徴とする請求項１又は２に記載の画像処理装置。
- 前記人工画像信号は、前記自然画像信号内の一部のオブジェクト画像を置換するのに用いられることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
- 前記自然画像入力手段は、被写体像を撮像する撮像手段と、前記撮像手段によって撮像された自然画像信号を符号化する符号化手段とを含むことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
- 前記人工画像入力手段は、人工画像信号を生成するための複数種類のモデルデータを記憶する記憶手段と、前記複数種類のモデルデータから所望のモデルデータを選択する選択手段とを含むことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
- さらに、オーディオ信号を入力するオーディオ信号入力手段を有し、前記送信手段は前記オーディオ信号も多重化して送信することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
- 前記人工画像信号はアニメーション画像であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
- 請求項１〜８のいずれか１項に記載の画像処理装置の送信手段より送信された信号を受信する受信手段と、
前記受信手段で受信された信号を復号する復号手段を有することを特徴とする画像処理装置。 - 自然画像を符号化した自然画像信号を入力する自然画像入力工程と、
人工画像を符号化した人工画像信号を入力する人工画像入力工程と、
通信回線の通信状況に応じて、前記自然画像信号と前記人工画像信号を選択して前記通信回線により送信する送信工程とを有し、
前記送信工程は、前記通信状況が空いている場合は前記自然画像信号を送信し、前記通信状況が混雑している場合は前記人工画像信号を送信することを特徴とする画像処理方法。 - 請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002020385A JP3854871B2 (ja) | 2001-01-30 | 2002-01-29 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001021978 | 2001-01-30 | ||
| JP2001-21978 | 2001-01-30 | ||
| JP2002020385A JP3854871B2 (ja) | 2001-01-30 | 2002-01-29 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002320209A JP2002320209A (ja) | 2002-10-31 |
| JP3854871B2 true JP3854871B2 (ja) | 2006-12-06 |
Family
ID=26608541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002020385A Expired - Fee Related JP3854871B2 (ja) | 2001-01-30 | 2002-01-29 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3854871B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7283674B2 (en) * | 2004-06-25 | 2007-10-16 | Xerox Corporation | Using graphic objects in MFD scan-to-export function |
| JP2006148561A (ja) * | 2004-11-19 | 2006-06-08 | Nippon Syst Design Kk | デジタル動画像伝送方法及びデジタル動画像伝送装置 |
| JP5332818B2 (ja) * | 2009-03-31 | 2013-11-06 | ブラザー工業株式会社 | 通信制御装置、通信制御方法、通信制御プログラム |
| JP6546439B2 (ja) * | 2015-04-23 | 2019-07-17 | キヤノン株式会社 | 送信装置、複合現実システム、送信制御方法、及びプログラム |
| JPWO2019198542A1 (ja) | 2018-04-13 | 2021-05-27 | ソニーグループ株式会社 | 多方向通信装置、多方向通信方法、およびプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH05316491A (ja) * | 1992-05-07 | 1993-11-26 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH0884331A (ja) * | 1994-09-13 | 1996-03-26 | Canon Inc | 画像通信装置およびその画像通信方法 |
| JPH11177436A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JP3843581B2 (ja) * | 1998-03-05 | 2006-11-08 | 富士ゼロックス株式会社 | 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法 |
| JP2001148856A (ja) * | 1999-11-19 | 2001-05-29 | Matsushita Electric Ind Co Ltd | 符号量制御装置、符号量制御方法、及び符号量制御プログラム記録媒体 |
-
2002
- 2002-01-29 JP JP2002020385A patent/JP3854871B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002320209A (ja) | 2002-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4436126B2 (ja) | モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム | |
| KR101768980B1 (ko) | 가상 동영상 통화 방법 및 단말 | |
| US8830244B2 (en) | Information processing device capable of displaying a character representing a user, and information processing method thereof | |
| JP3407287B2 (ja) | 符号化復号システム | |
| JP2006330958A (ja) | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ | |
| US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
| CN100591120C (zh) | 视频通信方法及装置 | |
| US20140139619A1 (en) | Communication method and device for video simulation image | |
| MXPA02002131A (es) | Metodo y sistema para conferencias por video. | |
| KR950030647A (ko) | 화상통신장치 | |
| JP4087935B2 (ja) | 唇動きパラメータ発生装置 | |
| JPH05153581A (ja) | 顔画像符号化方式 | |
| US10984537B2 (en) | Expression transfer across telecommunications networks | |
| JP2000013769A (ja) | 多点画像会議システム及びその具現方法 | |
| CN112543342A (zh) | 虚拟视频直播处理方法及装置、存储介质、电子设备 | |
| JP2020064592A (ja) | 画像生成装置、画像生成システム、画像生成方法、およびプログラム | |
| CN115767206A (zh) | 基于扩展现实的数据处理方法以及系统 | |
| JP3854871B2 (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
| JP2020115299A (ja) | 仮想空間情報処理装置、方法、プログラム | |
| US7154906B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code | |
| JP3927713B2 (ja) | 放送受信装置およびその方法 | |
| JP5265468B2 (ja) | 映像受信装置及び表示装置 | |
| JP4306850B2 (ja) | 放送受信装置およびその方法 | |
| JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
| KR100229538B1 (ko) | 얼글 움직임을 인코딩하기 위한 방법 및 장치한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |