JP3660513B2

JP3660513B2 - 画像通信装置およびローカルデコード処理方法

Info

Publication number: JP3660513B2
Application number: JP36836398A
Authority: JP
Inventors: 敬西
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1998-12-25
Filing date: 1998-12-25
Publication date: 2005-06-15
Anticipated expiration: 2018-12-25
Also published as: JP2000197055A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像通信装置およびローカルデコード処理に関し、特に、ディジタル化された参照画像を適応的に切り換えてフレーム間符号化を行なって圧縮した動画像を送受信する動画像通信装置に用いて好適なものである。
【０００２】
【従来の技術】
移動体通信のインフラ基盤の整備が各国で行なわれつつある。これらを利用した移動端末装置がマルチメディア情報を扱う上で高度な圧縮技術および伝送路における誤り対策が問題になる。そして、帯域を保証しないネットワークでは、輻輳等でパケットが途中で欠落する虞れがあるので、このパケットロス対策も重要な対策項目になる。
【０００３】
現在、国際標準規格、たとえば、ITU-T H.263 （International Telecommunications Union H.263）やISO/IEC MPEG-2（International Organization for Standardization/International Electrotechnical Commission Moving Picture coding Experts Group-2）等の伝送では、時間的に近いフレームの相関性が強いという性質を利用して動画像の圧縮を行なうフレーム間符号化が行なわれている。この符号化を用いた際に誤りが生じると、大規模な画質劣化とともに、時間的・空間的にその影響が伝搬することが知られている。このような画質劣化の防止を行なう方式としてデマンドイントラリフレッシュ方式がある。
【０００４】
この方式は、誤りの発生に応じてフレーム内符号化を行なう。この符号化はフレーム間符号化に比べて発生する符号量が多いので、伝送に遅延が発生する。また、符号量の多いことから伝送誤りが発生する虞れも大きく、この誤りが生じると、より一層伝送遅延が大きくなる。また、誤りが生じた際にH.263 ではGOB （Group of Block）という部分画像単位でリフレッシュさせると符号化効率を向上させることができる。しかしながら、誤りのある画像劣化が著しく、動画の連続性が損なわれてしまう場合がある。
【０００５】
ところで、この誤りによる画質劣化の時間的・空間的な伝搬を回避するように、福永など、「受信確認を利用した誤り耐性動画像符号化方式における適応的モード切替方式」、映像情報メディア学会誌、Vol.51, No.10, pp.1715-1721, (1997) が提案されている。この方式は、復号器からの確認信号に合わせて参照画像を動的に更新する符号化方式である。確認信号には、ACK 信号またはNACK信号を用いる。第１のモード（ACK モード）は、GOB 単位にGOB が到着毎に受信確認の信号として供給されるACK 信号を受けたGOB だけを参照画像にする方式で、誤りの多い伝送路で有効である。また第２のモード（NACKモード）は、GOB 誤り発生毎に返されるNACK信号を受けたGOB だけ参照画像を古い画像に戻す方式で、誤りの少ない伝送路で有効である。これらの方式の有効性を鑑み、伝送路の状況に適応したモード切替を行なうと全体として誤り状況の変化によく適応でき、常によい符号化効率を実現できることが判った。
【０００６】
【発明が解決しようとする課題】
ところで、前述したフレーム間符号化を行なうとともに、送信側での復号、すなわちローカルデコードを行なっている際に、復号異常信号を受ける場合がある。しかしながら、このときの画像は参照画像にはならない。したがって、このローカルデコード処理が意味をなさない。誤りの多い伝送路では無駄が増大することになる。また、ローカルデコードに多くの処理が費やされる符号化方法を用いている場合、たとえ誤りが少ない伝送路であっても無駄な処理量が大きくなってしまう。
【０００７】
そして、復号正常信号を受けた場合には、最新のフレームを優先してフレームメモリに残す制御を行なわなければならない。
【０００８】
本発明はこのような従来技術の欠点を解消し、参照画像にならない画像に対する無駄な処理を回避して処理量を削減できる画像通信装置およびローカルデコード処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入力画像に対する前処理を施すデータ作成手段、このデータ作成手段から出力される画像のうち、基準をなす参照画像に一画像を設定しこの参照画像に基づいて画像に対して予測符号化を行なう第１の符号化手段、およびこの符号化手段の出力に変換符号化を行なう第２の符号化手段を有する送信装置と、この送信装置の送出先での受信状況を示す通知情報を受信する情報受信手段、この情報受信手段に基づいて符号化された画像の復号を行なう復号手段、この復号手段の処理、かつ復号した画像を参照画像とする更新の場合の制御を行なう更新制御手段、およびデータ作成手段に参照画像を供給するメモリ手段を有するローカル復号装置とを備える画像通信装置において、ローカル復号装置に、第１の符号化手段の符号化情報を復号する場合にはこの符号化情報を保存する情報保存手段を含み、更新制御手段は、情報受信手段で受信した通知情報が復号正常を示した際に、情報保存手段の情報の出力、この情報の復号およびメモリ手段の制御をそれぞれ行なうことを特徴とする。
【００１０】
ここで、ローカル復号装置は、第２の符号化手段の送信データを復号する場合、この送信データを保存する送信データ保存手段と、この送信データ保存手段からの出力に第２の符号化手段で施した変換の逆変換を施す逆変換手段とを含み、更新制御手段は、情報受信手段で受信した通知情報が復号正常を示した際に、送信データ保存手段の送信データの出力、逆変換手段の制御、この送信データの復号およびメモリ手段の制御をそれぞれ行なうことが好ましい。
【００１１】
本発明の画像通信装置は、情報受信手段で復号正常を示す通知情報を受信したときだけ情報保存手段から情報を読出し、復号・参照画像の更新という一連のローカルデコード処理を行なうことにより、異常時のローカルデコード処理を回避している。
【００１２】
また、本発明は、入力画像に対する前処理を施し、この前処理した画像のうち、基準をなす参照画像に一画像を設定しこの参照画像に基づいて画像に対して予測符号化を行い、この予測符号化した出力に変換符号化を行なって得られた送信データを送出した際に、この送信データの送出先での受信状況を示す通知情報を受信して得られた通知情報に基づいて符号化された画像の復号をローカルに行なって得られた画像を適応的に参照画像に用いるローカルデコード処理方法において、ローカルデコード処理に備えて予め符号化された画像情報を記憶させる記憶工程と、送信データの送出先からの通知情報のうち、復号が正常におこなわれたことを示す情報が供給された際に記憶工程で記憶された画像情報を読み出す画像読出し工程と、この画像読出し工程で読み出した画像情報に対して復号を行なう復号工程と、この復号工程で得られた画像を参照画像として記憶する参照画像記憶工程とを含むことを特徴とする。
【００１３】
ここで、記憶工程は、予め符号化された画像情報に予測符号化された画像あるいは変換符号化された画像を用い、記憶工程で変換符号化された画像を記憶した場合、前記画像読出し工程で読み出した画像に対して前記変換符号化の逆変換を施した後に復号を行なうことが望ましい。
【００１４】
本発明のローカルデコード処理方法は、復号が正常におこなわれたことを示す情報が供給された際に予め記憶していた画像情報を読み出して復号・参照画像の更新という一連のローカルデコード処理を行なうことにより、異常時のローカルデコード処理を回避している。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明による画像通信装置およびローカルデコード処理の実施例を詳細に説明する。
【００１６】
本発明の画像通信装置は、送出した画像データが正常に復号されたときだけに得られる通知情報を認識し、そのとき予め記憶しておいた情報を情報保存手段から読出し、復号・参照画像の更新という一連のローカルデコード処理を行なうことに特徴がある。本発明を適用した動画像の通信に用いる動画像通信装置10について図１〜図５を参照しながら説明する。
【００１７】
動画像通信装置10には、送信装置12およびローカル復号装置14が備えられている。送信装置12には、入力データ作成部12a 、符号化部12b およびビットストリーム変換部12c が備えられている。入力データ作成部12a には、すでにディジタル化された入力画像データの符号化を行なう際の前処理等を行なう構成が備えられている。この前処理には、入力画像を、たとえば、水平・垂直部ブランキングの除去、フィルタリング、サブサンプリング処理、サブライン処理、およびk × kビット毎にブロック化等を行なう。これらにより、規定されたディジタル信号が符号化部12b に供給される。入力データ作成部12a は、たとえば、NTSC方式の画像データを他の解像度に変換する解像度変換も行なっている。本実施例では、入力画像データと参照画像との差分値を算出する処理も行なっている。
【００１８】
符号化部12b は高能率符号化の基本技術である予測符号化を行なう。予測符号化は、画像信号の相関に基づく冗長度の除去を行なって、既知の画素値を基に原画素値を予測し、真値と予測値との差分値を符号化する。本実施例では、入力画像と参照画像の差分値の符号化が行なわれる。動画像を送信する場合、画面には動画だけでなく動きのない静止画も含まれるし、絵柄としても平坦なものから非常に精細なものまで多種多様である。このような画像が入力されるので、符号化には適応予測を用いると効果的である。このとき、通常、複数の画素をブロックとして扱いブロック単位で適応予測を行なう。この適応予測では、動き補償を考慮したフレーム間予測符号化（interframe predictive ）とフレーム内予測符号化（intraframe predictive ）が適宜行なわれる。
【００１９】
図示しないが適応予測符号化器は、たとえば、入力との差分をとる第１減算器、この第１減算器からの出力を量子化する量子化器、この量子化器の出力と一つ前の予測値とを加算する加算器、この加算器からともに出力を供給して予測するフレーム間予測回路とフレーム内予測回路、上記加算器の出力とフレーム間予測回路との差をとる第２減算器、上記加算器の出力とフレーム内予測回路との差をとる第３減算器、第２および第３減算器の出力を比較する比較器、比較器の出力を１画素分遅延させる遅延回路、ならびにこの遅延回路の出力を予測切換信号としてフレーム間予測回路とフレーム内予測回路からの出力を切り換える切換スイッチを有している。この処理の他に、MPEG等で用いられている直交変換符号化を用いてもよい。そして、伝送レートを低減させるため、量子化が行なわれる。ところで、本実施例では、図１に示すように前述した適応予測符号化器の第１減算器を入力データ作成部12a 内に配している。
【００２０】
ビットストリーム変換部12c は、符号化部12b で符号化された画像データ（量子化代表値）に２進符号化を施して冗長性の除去を行なう。ここでは、平均ビット長を最小とする可変長符号のハフマン符号（Haffman coding）を用いる。この符号化されたデータ、すなわちビットストリームが送信データとして出力される。図示しないが、動画像通信装置10は、このような送信装置12が複数ある場合、それぞれからの出力信号を各チャンネルとして扱って多重化して受信側の復号装置に供給する。
【００２１】
ローカル復号装置14には、確認信号受信部14a 、更新制御部14b 、符号化情報格納部14c 、復号部14d および参照フレームメモリ部14e が備えられている。確認信号受信部14a は、図示しない復号装置から受信した画像データの受信状況を確認信号として受信する。復号装置は正常な受信が行なわれた場合、ACK 信号（A ）を送信し、異常な受信が行なわれた場合、NACK信号（N ）を送信する。確認信号受信部14a は、この復号装置から応答信号としてACK 信号またはNACK信号を受信する。受信結果は更新制御部14b に供給される。
【００２２】
更新制御部14b は、確認信号受信部14からACK 信号が供給されたとき、符号化情報格納部14c 、復号部14d および参照フレームメモリ部14e の動作を制御する。この動作制御については、後段の各部で説明する。符号化情報格納部14c には、送信装置12の符号化部12b からビットストリーム変換部12c に供給するデータと同じデータが供給される。符号化情報格納部14c は、供給されたデータを更新制御部14b によりブロック毎に整理して格納するメモリである。更新制御部14b は、上述した３つの各部をACK 信号の供給に応じて制御するだけでなく、符号化部12b からのデータ書込みにおいても制御を行なっている。符号化情報格納部14c は、フレーム毎の符号化されたデータおよびフレーム番号が格納されている。
【００２３】
復号部14d は、符号化情報格納部14c からの読み出しにおいて読出し制御に対応するフレーム番号が存在するとき、格納されている符号化されたデータを読み出して復号処理を施す。この復号処理は、符号化部12b での処理と全く逆の処理をGOB 単位に行なう。これらの一連の処理をローカルデコード処理という。この処理は、更新制御部14b からの制御信号に応じて行なわれる。参照フレームメモリ部14e は、更新制御部14b の制御により復号した画像を参照画像として記憶する。このローカルな再生画像の記憶において更新制御部14b は参照フレームメモリ部14e を書込み制御する。ローカルな再生画像には、記憶する画像データがフレーム間差分のデータの場合、現在、参照フレームメモリ部14e 内に加える書込み制御が行なわれ、保存される。また、この再生画像がフレーム内符号化データの復号による場合、画像の書き換えを行なう。参照フレームメモリ部14e は、前述したように入力データ作成部12a に参照データを更新制御部14b の読出し制御に応じて出力する。このように構成して正常な復号が復号装置で行なわれた場合にだけローカルデコード処理をするので、動画像通信装置10は、無駄な処理を行なわずに済ますことができる。
【００２４】
次に動画像通信装置10の参照フレームメモリ部14e の動作について図２を参照しながら説明する。ここで、動作は確認信号受信部14a にACK 信号が供給され確認された場合のモード（ACK モード）を説明する。動画像通信装置10の入力データ作成部12a には、入力画像データa 〜h が順次供給される。入力データ作成部12a の前置処理を経て符号化部12b に画像データa 〜h が供給される。この中で最初に供給される画像データa は符号化部12b でフレーム内符号化される。このフレーム内符号化された画像データに復号部14d で復号処理が施された後、得られた画像が参照画像として参照フレームメモリ部14e に格納される。受信側からの応答がない間、更新制御部14b は、参照画像に対する評価が決まらないので、符号化情報格納部14c には参照画像a の次の符号化した画像データ、すなわち画像データb を格納し、参照フレームメモリ部14e の参照画像をそのままにする。
【００２５】
次に供給される画像データb には、入力データ作成部12a で参照画像a とフレーム間差分が施される。符号化部14b はフレーム間符号化の行なわれた画像データb をビットストリーム変換部12c および符号化情報格納部14c にそれぞれ供給する。この場合も参照フレームメモリ部14e のデータ書き換えを行なわない。符号化情報格納部14c には、上述したように符号化した画像データb が格納される。
【００２６】
画像データb と画像データc とが供給される間に、たとえば、受信側の復号装置100 の復号部（図示せず）から正常な復号が行なわれたことを示す画像データa に対するACK 信号（A ）が確認信号受信部14a で受信されたとき、更新制御部14b は、符号化情報格納部14c へのデータ書込み制御、復号部14d の復号処理および参照フレームメモリ部14e の参照画像の更新を行ない、参照フレームメモリ部14e の参照画像a にフラグを付ける制御を行なう。このフラグが、図２の丸印である。更新制御部14b は、特に参照フレームメモリ部14e にすでにある参照画像と更新される参照画像が同じ中でも最初の場合、フラグだけを付ける制御だけ行なうようにしてもよい。
【００２７】
次に画像データc が供給されたとき、画像データc と参照画像a との差分値を符号化部14b で符号化してビットストリーム変換部12c および符号化情報格納部14c に出力を供給する。この段階で正常受信の確認された最新のフレームを参照フレームメモリ部14e に保持する規則にしていることから、画像データa が保持される。このときも符号化情報格納部14c には画像データa が消去され、結果として画像データb, cが格納されることになる。
【００２８】
次に画像データc と画像データd との間に受信側から画像データb が正常に復号されたことを示すACK 信号（A ）が供給される。ここで、更新制御部14b は、これまでの参照画像a とは異なる最新の画像として画像データb の正常受信が確認されたことを受けて供給符号化情報格納部14c から画像データb のデータ読出し制御、復号部14d の復号処理および参照フレームメモリ部14e の参照画像の更新を制御する。ACK 信号（A ）の確認により参照フレームメモリ部14e には参照画像b の更新が行なわれるとともに、フラグも付与される。
【００２９】
画像データd が供給されたとき、入力データ作成部12a では画像データd とフラグ付き参照画像b との差分値が符号化部12b に供給される。この段階では、更新制御部14b の制御により符号化情報格納部14c には符号化した画像データc, dが格納される。
【００３０】
画像データd と画像データe の間で受信側から画像データc の復号に異常があたことを示すNACK信号（N ）が供給される。NACK信号（N ）を受信した際に、参照画像の書換え、すなわち参照画像の変更をしない規則により、この段階ではフラグ付き参照画像b をそのままにする。更新制御部14b は、このとき画像データc が参照画像になることがないのでこの画像データを消去する。
【００３１】
次に画像データe が供給されたとき、フラグ付き参照画像b と画像データe との差分値を符号化してビットストリーム変換部12c と符号化情報格納部14c とにそれぞれ供給する。符号化情報格納部14c には、画像データe に関する符号化した差分値が格納される。この結果、符号化情報格納部14c は、画像データd, eを格納することになる。
【００３２】
次に画像データe と画像データf との間で画像データd の復号に対する確認をした結果が異常であったことを示すNACK信号（N ）の受信を受けて、この場合も参照フレームメモリ部14e では参照画像の更新が行なわれないのでフラグ付き参照画像b をそのままになる。更新制御部14b は、このとき画像データd が参照画像になることがないのでこの画像データを消去する。
【００３３】
画像データe と画像データf との間に供給される確認信号が、この場合、NACK信号（N ）なので、参照画像の書換えは行なわれない。次に画像データf が供給されたとき、参照画像は、フラグ付きの画像データb である。符号化情報格納部14c は、画像データe, fを格納する。画像データf と画像データg との間で送信した画像データe に対する復号が正常に行なわれたことを示すACK 信号が供給されている（図２を参照）。このACK 信号の受信により、更新制御部14b は、符号化情報格納部14c の情報、画像データe を読み出す制御を行なう。更新制御部14b は、読み出した情報（画像データe ）が復号部14d で復号処理されるように復号部14d を制御する。更新制御部14b は、データ書込みの制御してこの復号された画像データe を参照フレームメモリ部14e に書き込ませる。画像データe に対するACK 信号が供給されているので参照画像e にはフラグも同時に付ける。
【００３４】
画像データg が供給されるとき、参照画像e と画像データg との差分値が得られる。符号化部12b では、この差分値を符号化して画像データg に対する符号化したデータをビットストリーム変換部12c と符号化情報格納部14c とに供給する。これにより、符号化情報格納部14c には画像データf, gの符号化したデータが格納されている。同様に、画像データg と画像データh との間で画像データf の復号に関するACK 信号が供給されるので、参照画像f にフラグを付加して参照符号の更新が行なわれる。
【００３５】
これに対して、図３に示すこれまで行なわれてきた動画像通信装置20と本実施例との比較について簡単に説明する。動画像通信装置20には、送信装置22とローカル復号装置24とを備えられている。送信装置22は、本実施例の送信装置12と同じ構成である。一方、ローカル復号装置24には、確認信号受信部24a 、フレームメモリ部24b 、メモリ制御部24c 、復号部24d 、加算器24e および参照フレームメモリ部24f が備えられている。この中で、確認信号受信部24a 、復号部24d および参照フレームメモリ部24f はローカル復号装置14の対応する各部と同じ構成であるので説明を省略する。フレームメモリ部24b は、復号部24d からの信号と参照フレームメモリ部24f からの出力を加算した画像データを格納する記憶部である。また、メモリ制御部24c は、このフレームメモリ部24b の動作（たとえば、格納方法等）を制御する。
【００３６】
動画像通信装置20の動作について図４を用いて説明する。ここで、送信装置22は、送信装置12と同じ動作を行ない入力される画像データを符号化した送信データにして復号装置200 に送信する。復号装置200 は供給されるデータを復号するがその復号が正常に行なわれたか否かを確認信号（ACK 信号あるいはNACK信号）を送信装置22に応答してくる。ローカル復号装置24の確認信号受信部24a は、確認信号を受信する。このときの受信した信号がACK 信号かNACK信号かに応じた信号がフレームメモリ部24b とメモリ制御部24c に供給される。ACK 信号は、前述した通り正常な受信がされたことを示す信号である。また、NACK信号は、異常な受信がされたことを示す信号である。
【００３７】
ACK 信号が確認受信された場合、ACK モードにして正常に受信されたデータを参照画像にするようにフレームメモリ部24b から画像データを出力させる。また、NACK信号が確認受信された場合、NACKモードにして要求する画像データを参照画像にするようにフレームメモリ部24b から画像データを出力させる。確認信号受信部24a は、このように命令する制御データをフレームメモリ部24b に供給する。確認信号受信部24a は、別の方法で制御するためのデータをメモリ制御部24c に供給している（図３を参照）。
【００３８】
フレームメモリ部24b には、符号化部22b で符号化した差分データを復号部24d で復号する。これにより、差分データが得られる。この差分データを加算器24e の一端側に供給し、他端側には参照画像が供給される。この加算により元の入力した画像データが復元され、フレームメモリ部24b に供給される。図４のフレームメモリ部24b には、４フレーム分のメモリが設けられている。したがって、図４のフレームメモリ部24b には、供給される画像データが順次画像データa 〜h が格納される。しかも最も古い画像データは消去しながら次の画像データを記憶させている。弧を描く矢印は差分をとる画像データ同士を示すものである。メモリ制御部24c は、フレーム間符号化が行なえるように正常に受信された画像データを優先してフレームメモリ部24f に格納させる処理を行なう。正常受信の確認された画像データにはフラグを付加している。この規則を端的に表しているのが、たとえば、画像データe と画像データf とが供給される間にある。すなわち、供給される確認信号がNACK信号のため参照画像はフラグ付きの画像データb のままで、参照画像に要求される可能性があるので保存しておかなければならない。画像データf が次に供給される場合、最も古い画像データは、画像データb を除いて一つ前の状態から明らかなように画像データc である。この画像データc は消去し、最新の画像データf がフレームメモリ部24b に入力される（画像データ「f, e, d, b」）。
【００３９】
この場合、フレームメモリ部24b には、最新の画像データと参照画像になる画像データを含め、復号部24d で復号処理されて、その時点で参照画像になり得ない画像データも記憶されている。このように参照画像になり得ない画像の復号処理は無駄である。本実施例では、復号処理を最小限に抑えることにより、参照フレームメモリ部14e のメモリ容量を従来のフレームメモリ部24b に比べて少なくすることができる。本実施例のような手順で処理を抑えることにより、復号処理にかかる負担を軽減させるとともに、消費電力も下げることができる。
【００４０】
たとえば、伝送路の誤り率が10^-4、伝送路の伝送レートが30kbpsの場合、30,000ビットに3 ビットの誤りがあることになる。また受信確認信号をフレーム単位に復号装置から受信するときのフレームレートが10Hzとすると、正常に受信できないフレームは最大10フレーム中3 フレームになる。ここで、ローカルデコードに要する処理が全体の処理の10％とすると、１フレームあたり3 ％の処理量を削減させることができる。上述した仮定でなく、誤り率がさらに上がれば、その処理量はさらに削減されることになる。またローカルデコードに時間を要する符号化方法を用いている場合であれば、より一層の削減効果を見込むことができる。
【００４１】
比較例では、復号部24d の後段に配したフレームメモリ部24b に複数の画像データを保存した上で正常に受信の確認された最新のフレーム（画像データ）を優先してメモリに残す処理をしているが、本実施例では正常に受信され確認のとれた最新のフレームだけを復号して参照画像に用いるので、比較例の動画像通信装置20が行なっている別の方法によるメモリ制御が不要になる。また、参照フレームメモリ部14e のおよび符号化情報格納部14c のメモリ容量が少なくて済ませることができる。
【００４２】
本発明の画像通信装置を適用した動画像通信装置10の他の実施例について図５を参照しながら簡単に説明する。ここで、先の実施例と共通する部分には、同じ参照符号を付して説明を省略する。先の実施例では、符号化部12b から取り出した画像データを用いたが、ビットストリーム変換部12c から送信データをローカルデコード用に取り出してもよい。この場合、ローカル復号装置14は、符号化情報格納部14c に相当するものにビットストリーム格納部14f が用いられる。ビットストリーム格納部14f の適用により、ビットストリーム変換部12c で行なった変換に対する逆変換が必要になる。これがビットストリーム逆変換部14g である。ビットストリーム逆変換部14g は、符号化した段階の差分データにして復号部14d に供給する。復号部14d は、更新制御部14b の制御により復号処理を行なっている。この制御は、復号装置での正常な復号が行なわれたことが確認されたときだけ前述した実施例の場合と全く同じに復号処理をし、参照画像を生成する。この参照画像は、入力データ作成部12a でのフレーム間の差分値を生成するために用いられる。
【００４３】
このようにローカルデコードするために用いるデータをビットストリームにすることにより、情報の圧縮が一層進んでいるので、先の実施例で用いたメモリ容量よりも大幅に少なく抑えることができる。参照フレームメモリ部14e 以外の部分でデータを格納する領域を比較例のフレームメモリ部24b の4 フレーム分とする。輝度信号の解像度が176 ×144 、色差信号の解像度が88×72の場合メモリ容量は、{(176 ×144+88×72×2)×4}=152,064byteとほぼ150kbyteが必要である。図５に示した実施例においてビットストリーム格納部14に4 フレーム分のデータを格納した場合、たとえば、伝送路の伝送レートが30kbps、フレームレート10Hz、圧縮率1/8 と条件を仮定すると、{(30,000/10/8)×4}=1,500byte=1.5kbyte となる。これは、90％以上の削減となる。このように送信データを格納してローカルデコードすると、大幅なメモリ節減ができるようになる。
【００４４】
以上のように構成することにより、応答で供給される確認信号のうち、正常な受信が行なわれたときだけ復号処理を行なって参照画像を生成することにより、消費電力およびメモリ容量の大幅な削減を行なうことができる。
【００４５】
【発明の効果】
このように本発明の画像通信装置によれば、情報受信手段で復号正常を示す通知情報を受信したときだけ情報保存手段から情報を読出し、復号・参照画像の更新という一連のローカルデコード処理を行ない、異常時のローカルデコード処理を回避すると、処理回数の減少して消費電力を大幅に減少させることができる。また、上述の条件により保存する情報も少なく抑えるので、メモリ容量も大幅に削減させることができる。
【００４６】
また、本発明のローカルデコード処理によれば、復号が正常におこなわれたことを示す情報が供給された際に予め記憶していた画像情報を読み出して復号・参照画像の更新という一連のローカルデコード処理を行なうことにより、異常時のローカルデコード処理を回避している。これにより、処理回数を大幅に減少させることができ、結果としてこの方法を適用した装置の消費電力を大幅に低下させることができる。また、上述の条件により保存する情報も少なく抑えるので、メモリ容量も大幅に削減させることができる。
【図面の簡単な説明】
【図１】本発明の画像通信装置を適用した実施例の動画像通信装置の概略的な構成を示すブロック図である。
【図２】図１の装置における動作のうち、参照フレームメモリ部に供給される画像データの関係を説明する模式図である。
【図３】本発明の画像通信装置の比較例である従来の装置の概略的な構成を示すブロック図である。
【図４】図３の装置のフレームメモリ部と本発明を適用した場合の参照フレームメモリ部との動作、手順の違いを比較するために模式図である。
【図５】本発明の画像通信装置を適用した他の実施例の動画像通信装置の概略的な構成を示すブロック図である。
【符号の説明】
10 動画像通信装置
12 送信装置
14 ローカル復号装置
12a 入力データ作成部
12b 符号化部
12c ビットストリーム変換部
14a 確認信号受信部
14b 更新制御部
14c 符号化情報格納部
14d 復号部
14e 参照フレームメモリ部

Claims

入力画像と基準をなす参照画像との差分処理を含む、該入力画像に対して符号化する前までの処理をそれぞれ、施すデータ作成手段、該前処理した画像データに対して符号化する第１の符号化手段、および第１の符号化手段の出力を圧縮符号化する第２の符号化手段を有し、前記参照画像に一画像を設定する送信装置と、該送信装置の送出先での受信状況を示す通知情報を受信する情報受信手段にて正常な受信に対応して供給される応答信号に基づいて符号化された画像を復号手段で復号し、該復号した画像を参照画像としてメモリ手段に一時格納し、該メモリ手段から前記データ作成手段に前記参照画像を供給するローカル復号装置とを備える画像通信装置において、前記ローカル復号装置は、
予め符号化された画像データおよびフレーム番号を符号化情報とし、第１の符号化手段からの前記符号化情報を格納し、前記復号手段に出力する情報保存手段と、
前記情報受信手段で受信した通知情報が示す復号正常に応じて、前記情報保存手段への符号化情報の入力、次に供給される入力画像に対する参照画像の候補として記憶している符号化された画像データを前記復号手段に読み出し、復号異常に応じた前記符号化情報の消去、前記復号手段に供給される画像の入力および復号処理、ならびに前記メモリ手段が扱う参照画像の入出力をそれぞれ、制御する更新制御手段とを含むことを特徴とする画像通信装置。
入力画像と基準をなす参照画像との差分処理を含む、該入力画像に対して符号化する前までの処理をそれぞれ、施すデータ作成手段、該該前処理した画像データに対して符号化する第１の符号化手段、および第１の符号化手段の出力を圧縮符号化する第２の符号化手段を有し、前記参照画像に一画像を設定する送信装置と、該送信装置の送出先での受信状況を示す通知情報を受信する情報受信手段にて正常な受信に対応して供給される応答信号に基づいて符号化された画像を復号手段で復号し、該復号した画像を参照画像としてメモリ手段に一時格納し、該メモリ手段から前記データ作成手段に前記参照画像を供給するローカル復号装置とを備える画像通信装置において、前記ローカル復号装置は、
第２の符号化手段からの送信データを格納し、読み出す送信データ保存手段と、
該送信データ保存手段から出力したデータを取り込み、該取り込んだデータに第２の符号化手段で施した変換の逆変換を前記通知情報が示す正常な復号に応じて施し、得られた逆変換結果を前記復号手段に出力する逆変換手段と、
前記通知情報が示す復号正常に応じて、前記情報保存手段への符号化情報の入力、次に供給される入力画像に対する参照画像の候補として記憶している符号化された画像データを前記復号手段に読み出し、復号異常に応じた前記符号化情報の消去、前記逆変換手段の制御、前記復号手段に供給される画像の入力および復号処理、ならびに前記メモリ手段が扱う参照画像の入出力をそれぞれ、制御する更新制御手段とを含み、
該ローカル復号装置は、前記更新制御手段の制御に応じて逆変換した後の符号化された画像データを前記復号手段で復号し、得られた画像データを参照画像としてフラグを付けて前記メモリ手段に記憶し、前記復号の正常において前記入力画像の入力に応じて前記フラグ付の参照画像を前記メモリ手段から読み出して、前処理することを特徴とする画像通信装置。
基準をなす参照画像に一画像を設定し、入力画像と前記参照画像との差分処理を含む、該入力画像に対して符号化する前までの処理をそれぞれ、施し、該前処理した画像データに対して符号化を行い、該符号化した出力に圧縮符号化を行って得られた送信データを送出した際に、該送出データの送出先での受信状況を示す通知情報を受信して、得られた通知情報に基づいて符号化された画像の復号をローカルに行って、得られた画像を適応的に参照画像に用いるローカルデコード処理方法において、該方法は、
前記ローカルデコード処理に備えて予め符号化された画像データおよびフレーム番号を符号化情報として格納する記憶工程と、
前記送信データの送出先からの通知情報のうち、復号が正常に行われたことを示す情報が供給された際に前記格納する符号化情報のフレーム番号と同じ番号がある場合に前記符号化された画像データを読み出し、復号が異常を示す情報が供給された際に前記参照画像を格納するメモリに維持しながら、該メモリに供給する次に供給される入力画像に対する参照画像の候補として記憶している符号化された画像データを消去する画像読出し工程と、
該画像読出し工程で読み出した符号化された画像データに対して復号し、該復号した画像データを更新する参照画像として出力する復号工程と、
該復号工程で得られた前記参照画像にフラグを付けて記憶する参照画像記憶工程と、
前記復号の正常において前記入力画像の入力に応じて前記フラグ付の参照画像を読み出して、前処理する工程とを含むことを特徴とするローカルデコード処理方法。
基準をなす参照画像に一画像を設定し、入力画像と前記参照画像との差分処理を含む、該入力画像に対して符号化する前までの処理をそれぞれ、施し、該前処理した画像データに対して符号化を行い、該符号化した出力に圧縮符号化を行なって得られた送信データを送出した際に、該送出データの送出先での受信状況を示す通知情報を受信して、得られた通知情報に基づいて符号化された画像の復号をローカルに行なって、得られた画像を適応的に参照画像に用いるローカルデコード処理方法において、該方法は、
前記ローカルデコード処理に備えて予め圧縮符号化された画像データおよびフレーム番号を符号化情報として含む送信データを格納する記憶工程と、
前記送信データの送出先からの通知情報のうち、復号が正常に行われたことを示す情報が供給された際に前記格納する符号化情報のフレーム番号と同じ番号がある場合に前記圧縮符号化された画像データを読み出し、復号が異常を示す情報が供給された際に前記参照画像を格納するメモリに維持しながら、該メモリに供給する次に供給される入力画像に対する参照画像の候補として記憶している圧縮符号化された画像データを消去する画像読出し工程と、
該画像読出し工程で読み出した圧縮符号化された画像データに対して前記圧縮符号化の逆変換を施す逆変換工程と、
該逆変換した後の符号化された画像データを復号し、該復号した画像データを更新する参照画像として出力する復号工程と、
該復号工程で得られた前記参照画像にフラグを付けて記憶する参照画像記憶工程と、
前記復号の正常において前記入力画像の入力に応じて前記フラグ付の参照画像を読み出して、前処理する工程とを含むことを特徴とするローカルデコード処理方法。