JP2792760B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像に含まれる情報
量を削減し、通信回線で伝送するのに適した形に画像を
圧縮符号化する画像符号化装置に関する。

【０００２】

【従来の技術】近年、ディジタル公衆網（以下、ＩＳＤ
Ｎと称する）の普及と画像符号化技術の進歩により、新
しい通信サービスとして画像通信サービスに対する要求
が高まってきており、一部ではテレビ電話、テレビ会議
システムなどで実用化されつつある。また、さらに高度
なサービスの提供を目指し、広帯域ＩＳＤＮに代表され
る新たな通信ネットワークの検討も活発に行われてい
る。

【０００３】一般に画像に含まれる情報量は膨大であ
り、画像信号をそのまま通信回線を使って伝送しようと
すると大容量の伝送路が必要となり、通信コストなどを
考えるとそのような画像伝送は非現実的である。そこで
画像信号に含まれている冗長性を効果的に利用して情報
量の削減を行うことが検討されている。

【０００４】画像の符号化方法としては様々なものが検
討されてきたが、現在最もよく用いられているのは動き
補償フレーム間予測直交変換符号化方法である。図４に
動き補償フレーム間予測直交変換符号化方法を用いた画
像符号化装置の概略構成を示す。

【０００５】図４の画像符号化装置は、差分演算部30、
直交変換部31、符号化制御部32、量子化部33、逆量子化
部34、逆直交変換部35、加算部36、フレ−ムメモリ部37
及び動き補償フレ−ム間予測部38によって構成されてい
る。

【０００６】動き補償フレーム間予測部（以下、予測部
と称する）38及び差分演算部30は、入力画像信号に基づ
いて画像フレームごとに動き補償フレーム間予測を行
う。

【０００７】予測部38は、動き補償における動きの検出
として、フレームメモリ部（以下、メモリ部と称する）
37に記憶された１フレーム前の画像信号と入力画像信号
とをある大きさのブロックに分割し、入力画像信号のブ
ロックが１フレーム前の画像信号のどの部分から動いて
きたものかを検出する。そして、その検出結果に基づい
て、メモリ部37に記憶されている１フレーム前に符号化
された画像信号を予測値として出力する。

【０００８】差分演算部30は、このメモリ部37から出力
された予測値と入力画像信号との差を算出してフレーム
間予測符号化の結果として予測誤差信号を出力する。

【０００９】直交変換部31は予測誤差信号を直交変換
し、量子化部33は得られた直交変換係数を符号化制御部
32の制御に基づいて所定の量子化ステップサイズで量子
化して情報圧縮する。

【００１０】量子化部33は量子化された変換係数を符号
化の結果として外部に出力すると共に、逆量子化部34に
も出力する。

【００１１】逆量子化部34は、量子化部33で量子化され
た変換係数を逆量子化して変換係数を出力し、逆直交変
換部35は、変換係数を逆直交変換して予測誤差信号を算
出する。

【００１２】加算部36は、逆直交変換部35から出力され
た予測誤差信号にメモリ部37から読み出された予測値を
加算して画像信号を生成する。生成された画像信号は、
メモリ部37に格納されて次のフレームの画像信号のフレ
ーム間予測に使われる。

【００１３】入力画像信号は、このようにループ状の構
成により符号化され通信回線に送られる。

【００１４】

【発明が解決しようとする課題】上述した従来の画像符
号化装置では、動き補償予測の動き検出あるいは直交変
換のための演算を効率よく行うために、画面をいくつか
のブロックに分割して処理を行っており、直交変換の結
果を量子化するときに、量子化ステップサイズは、発生
する符号量及び伝送容量に基づいて制御されるので、分
割されたブロックごとに量子化の条件が異なり、その結
果、符号化された画像を画面全体で見た場合にブロック
歪みや画面の粗さがブロックごとにばらついて画像品質
が劣化するという問題点がある。また、直交変換の結果
を量子化するときに、情報量の削減のためにある程度の
誤差を許容しており、その誤差に伴う画像品質の劣化が
生じるという問題点がある。更に、量子化部33のすべて
の出力に対して逆量子化及び逆直交変換を行い、局部復
号してメモリ部37に記憶させてフレーム間予測符号化に
使用しているので通信回線で情報の紛失が発生したとき
には、フレーム間予測符号化が正常に機能せず画像品質
が著しく低下するという問題点がある。

【００１５】本発明は、上述した従来の画像符号化装置
における問題点に鑑み、伝送途中で画像情報が紛失して
も画像のブロック歪みや劣化を回避できるように画像信
号を符号化する画像符号化装置を提供する。

【００１６】

【課題を解決するための手段】本発明は、符号化された
入力画像信号から復号された画像信号を記憶するメモリ
を有する画像符号化装置であって、入力画像信号を符号
化処理の過程で生じる遅延に相当する時間だけ遅延させ
る遅延手段と、遅延手段により遅延された入力画像信号
にフィルタ処理や強調処理の前処理を行う第１処理手段
と、メモリから読み出された復号された画像信号にフィ
ルタ処理や強調処理の前処理を行う第２処理手段と、第
１処理手段により前処理された入力画像信号及び第２処
理手段により前処理された復号された画像信号を比較し
て画像誤差信号を出力する比較手段と、比較手段から出
力された画像誤差信号を符号化する符号化手段とを備え
ている画像符号化装置によって達成される。

【００１７】

【作用】遅延手段は入力画像信号を符号化処理の過程で
生じる遅延に相当する時間遅延させ、第１処理手段は遅
延手段によって遅延された入力画像信号にフィルタ処理
や強調処理の前処理を行い、第２処理手段はメモリから
読み出された復号された画像信号にフィルタ処理や強調
処理の前処理を行い、比較手段は第１処理手段で前処理
された入力画像信号及び第２処理手段で前処理された復
号された画像信号を比較して画像誤差信号を出力し、符
号化手段は比較手段から出力された画像誤差信号を符号
化する。

【００１８】

【実施例】以下、図面を参照して本発明の画像符号化装
置における実施例を詳述する。

【００１９】図１は、本発明の画像符号化装置における
一実施例の構成を示す。

【００２０】図１の画像符号化装置は、遅延手段である
遅延部10、第１前処理手段である前処理部11、第２前処
理手段である前処理部12、比較手段である比較部13及び
符号化手段である誤差符号化部14、差分演算部15、直交
変換部16、符号化制御部17、量子化部18、逆量子化部1
9、逆直交変換部20、加算部21、フレ−ムメモリ部22及
び動き補償フレ−ム間予測部23によって構成されてい
る。

【００２１】次に、上記各構成部分の動作を説明する。

【００２２】図１の画像符号化装置の主要部は、遅延部
10、前処理部11、前処理部12、比較部13及び誤差符号化
部14によって構成されている。

【００２３】遅延部10は、符号化処理の過程で生じる遅
延に相当する時間だけ第２画像信号である入力画像信号
を遅延させてその結果を前処理部11に出力する。

【００２４】前処理部11は、遅延部10により遅延された
第２画像信号である画像信号の全部または一部に対して
前処理であるフィルタ処理や強調処理を行う。

【００２５】前処理部12は、フレームメモリ部22から読
み出された第１画像信号である画像信号の全部または一
部に対して前処理であるフィルタ処理や強調処理を行
う。例えば、ブロック歪みは発生する箇所がブロックの
境界付近であるため、局所的な強調処理を行う。

【００２６】比較部13は、前処理部11，12で前処理され
た画像信号を比較して、符号化画像がどの程度劣化して
いるかを検出する。より具体的には、ブロック歪みが発
生する境界付近では前処理後の入力画像信号と、符号化
画像信号との差分演算を行い、その結果を量子化するこ
とにより、発生するブロック歪みに伴う劣化を検出す
る。また、量子化の際の量子化ステップサイズの違いに
よるブロックごとの画面の粗さの差による画像品質の劣
化や、量子化誤差に伴う画像品質の劣化に対しては、入
力画像信号と符号化画像信号との差分演算を画素単位で
行ってその誤差をブロック単位で累算し、どのブロック
の誤差が大きいかを検出する。

【００２７】誤差符号化部14は上述した検出結果を変換
符号化した後、画像誤差信号として外部に出力する。

【００２８】動き補償フレーム間予測部23及び差分演算
部15は、入力画像信号に基づいて画像フレームごとに動
き補償フレーム間予測を行う。

【００２９】動き補償フレーム間予測部23は、動き補償
における動きの検出として、フレームメモリ部22に記憶
された１フレーム前の画像信号と入力画像信号とを所定
の大きさのブロックに分割し、入力画像信号のブロック
が１フレーム前の画像信号のどの部分から動いてきたも
のかを検出する。そして、その検出結果に基づいて、フ
レームメモリ部22に記憶されている１フレーム前に符号
化された画像信号を予測値として出力する。

【００３０】差分演算部15は、フレームメモリ部22から
出力された予測値と入力画像信号との差を算出してフレ
ーム間予測符号化の結果として予測誤差信号を出力す
る。

【００３１】直交変換部16は、差分演算部15から出力さ
れた予測誤差信号を直交変換し、量子化部18は直交変換
部16で直交変換して得られた直交変換係数を符号化制御
部17の制御に基づいて所定の量子化ステップサイズに量
子化して情報圧縮する。

【００３２】量子化部18は、量子化された変換係数を符
号化の結果として外部に出力すると共に、逆量子化部19
にも送る。

【００３３】逆量子化部19は、量子化部18で量子化され
た変換係数を逆量子化して変換係数を出力し、逆直交変
換部20は逆量子化部19から出力された変換係数を逆直交
変換して予測誤差信号を出力する。

【００３４】加算部21は、逆直交変換部20から出力され
た予測誤差信号にフレ−ムメモリ部22から読み出された
予測値を加算して画像信号を生成する。生成された画像
信号は、フレ−ムメモリ部22に格納されて次のフレーム
の画像信号のフレーム間予測に使われる。

【００３５】次に、図２を参照して上述の処理を説明す
る。

【００３６】入力画像信号24はブロック25に分割され、
符号化ループで符号化されて、量子化部18（図１参照）
から外部に出力されると共に、符号化画像信号26として
フレームメモリ部22（図１参照）に格納される。この符
号化画像信号26は、伝送路での情報紛失が無い限り相手
側の装置で復元される画像信号と同じものでり、ブロッ
ク歪みなどが発生している。

【００３７】符号化画像信号26は、前処理部12（図１参
照）によってブロック歪みなどが強調された画像信号27
となり、比較部13（図１参照）はこの画像信号27を入力
画像信号24と比較する。その比較結果によって、ブロッ
ク歪みの検出結果28が得られ、また、ブロックごとの誤
差の累算結果29が得られる。なお、累算結果29の斜線部
はそれぞれ異なる誤差を表す。これらの比較結果は、誤
差符号化部14（図１参照）で符号化されて外部に出力さ
れる。

【００３８】図３のフロ−チャ−トを参照して図２の処
理動作を詳述する。

【００３９】まず、非優先セルに関して動作を説明す
る。

【００４０】画像が入力され（ステップＳ１）、符号化
処理の過程で生じる遅延に相当する時間だけ入力画像信
号を遅延させ（ステップＳ２）、遅延された画像信号及
びフレームメモリ部22から読み出された画像信号の全部
または一部に対して、それぞれフィルタ処理や強調処理
などの前処理を行って（ステップＳ３）、ブロック歪み
の発生を検出し（ステップＳ４）、前処理された画像信
号の極性比較を行い（ステップＳ５）、同極性か否かを
検出し（ステップＳ６）、上記ステップＳ６でＹＥＳの
場合には、ブロック歪みがしきい値Ｖ_th(1)に等しいか
または小さいかを判断し（ステップＳ７）、上記ステッ
プＳ７でＹＥＳの場合には符号化を行わない。また、上
記ステップＳ７でＮＯの場合には境界誤差を量子化して
（ステップＳ８）、非優先セルを送信する。

【００４１】他方、上記ステップＳ６でＮＯの場合に
は、ブロック歪みがしきい値Ｖ_th(2) に等しいかまたは
小さいかを判断し（ステップＳ９）、上記ステップＳ９
でＹＥＳの場合には符号化を行わない。また、上記ステ
ップＳ９でＮＯの場合には境界誤差を量子化して（ステ
ップＳ10）、非優先セルを送信する。

【００４２】上記巣ステップＳ３で、量子化の際の量子
化ステップサイズの違いによるブロックごとの画面の粗
さの差による画像品質の劣化や、量子化誤差に伴う画像
品質の劣化に対しては、入力画像信号と符号化画像信号
との差分演算を画素単位で行ってその誤差をブロック単
位で累算し（ステップＳ11）、どのブロックの誤差が大
きいかを検出し（ステップＳ12）、最大誤差がしきい値
Ｖ_th(3) に等しいかまたは小さいかを判断し（ステップ
Ｓ13）、上記ステップＳ13でＹＥＳの場合には符号化を
行わない。また、上記ステップＳ13でＮＯの場合には各
ブロックの累算誤差を量子化して（ステップＳ14）、符
号化するブロックを決定して（ステップＳ15）、非優先
セルを送信する。

【００４３】次に、優先セルに関する動作を説明する。

【００４４】入力画像信号に基づいて画像フレームごと
に動き補償フレーム間予測を行って（ステップＳ16）、
予測誤差信号を直交変換し（ステップＳ17）、直交変換
して得られた直交変換係数を所定の量子化ステップサイ
ズに量子化して情報圧縮して（ステップＳ18）、優先セ
ルとして外部に出力する。また、上記ステップＳ18で量
子化された変換係数を逆量子化して変換係数を出力し
（ステップＳ19）、変換係数を逆直交変換して予測誤差
信号を出力し（ステップＳ20）、予測誤差信号にフレ−
ムメモリ部22から読み出された予測値を加算して画像信
号を生成する（ステップＳ21）。

【００４５】生成された画像信号は、上述したステップ
Ｓ４〜Ｓ８，Ｓ10のプロセスを経ると共に、上述したス
テップＳ11〜ステップＳ15のプロセスを経て、非優先セ
ルが出力される。

【００４６】上述したように本実施例の画像符号化装置
では、符号化された画像信号を出力するだけでなく、符
号化された画像の歪や劣化に関連した情報を含む画像誤
差信号をも出力する。従って、画像伝送後に画像信号を
復号するときに、画像誤差信号を用いることによってブ
ロック歪みや画像品質の劣化のない、元の信号（入力画
像信号）により忠実な画像信号を復元することができ
る。

【００４７】また、上述した画像符号化装置によって符
号化された情報は、符号化された画像信号と、画像誤差
信号との２段階に階層化することができ、符号化された
画像信号を優先的に伝送すれば、情報の紛失が起こった
場合でも画像誤差信号だけが紛失することになり、情報
の紛失によってフレーム間予測が影響されない。

【００４８】

【発明の効果】本発明の画像符号化装置は、符号化され
た入力画像信号から復号された画像信号を記憶するメモ
リを有する画像符号化装置であって、入力画像信号を符
号化処理の過程で生じる遅延に相当する時間だけ遅延さ
せる遅延手段と、遅延手段により遅延された入力画像信
号にフィルタ処理や強調処理の前処理を行う第１処理手
段と、メモリから読み出された復号された画像信号にフ
ィルタ処理や強調処理の前処理を行う第２処理手段と、
第１処理手段により前処理された入力画像信号及び第２
処理手段により前処理された復号された画像信号を比較
して画像誤差信号を出力する比較手段と、比較手段から
出力された画像誤差信号を符号化する符号化手段とを備
えているので、画像のブロック歪や劣化が発生していな
い画像信号を伝送できかつ画像情報を符号化された画像
信号と画像誤差信号とに階層化して符号化された画像信
号を優先的に出力でき、その結果、情報の紛失が起こっ
た場合でも画像誤差信号だけが紛失してフレーム間予測
に与える影響を無くすことができる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一例を示すブロ
ック図である。

【図２】図１の画像符号化装置における処理を説明する
ための図である。

【図３】図１の画像符号化装置の動作を説明するための
フロ−チャ−トである。

【図４】従来の画像符号化装置の一例を示すブロック図
である。

【符号の説明】

10 遅延部 11，12 前処理部 13 比較部 14 誤差符号化部 15 差分演算部 16 直交変換部 17 符号化制御部 18 量子化部 19 逆量子化部 20 逆直交変換部 21 加算部 22 フレームメモリ部 23 動き補償フレーム間予測部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 符号化された入力画像信号から復号され
   た画像信号を記憶するメモリを有する画像符号化装置で
   あって、入力画像信号を符号化処理の過程で生じる遅延
   に相当する時間だけ遅延させる遅延手段と、前記遅延手
   段により遅延された前記入力画像信号にフィルタ処理や
   強調処理の前処理を行う第１処理手段と、前記メモリか
   ら読み出された前記復号された画像信号にフィルタ処理
   や強調処理の前処理を行う第２処理手段と、前記第１処
   理手段により前処理された前記入力画像信号及び前記第
   ２処理手段により前処理された前記復号された画像信号
   を比較して画像誤差信号を出力する比較手段と、前記比
   較手段から出力された前記画像誤差信号を符号化する符
   号化手段とを備えていることを特徴とする画像符号化装
   置。