JPH0795566A

JPH0795566A - 画像符号化方法および装置

Info

Publication number: JPH0795566A
Application number: JP5235226A
Authority: JP
Inventors: Hisashi Ibaraki; 久茨木; Yoshio Nakano; 慎夫中野; Kenji Akiyama; 健二秋山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-09-21
Filing date: 1993-09-21
Publication date: 1995-04-07

Abstract

(57)【要約】【目的】入力画像信号の解像度を自動的に変更して符
号化し、画像信号を品質よく圧縮する。【構成】動き量検出部２３０は、入力画像信号の動き
量を検出し、解像度変換部２１０および画像符号化部２
２０に送る。解像度変換部２１０は、動き量が大きい場
合、入力画像信号を解像度の低い画像信号に変換し、動
き量が小さい場合、入力画像信号を解像度の高い画像信
号に変換する。画像符号化部２２０は、解像度変換され
た画像信号を入力し、符号化する。【効果】写真や書類など、静止画の解像度が向上す
る。また、動きの大きい画像は、解像度が低下し、動き
優先で符号化できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号を品質良く圧
縮しする画像符号化方法および装置に係り、詳しくは、
画像信号を端末間で送受信する場合やファイルに蓄積す
る場合などに用いられる画像符号化方法および装置に関
するものである。

【０００２】

【従来の技術】従来の画像符号化方法の主な代表例であ
るＩＴＵ−ＴＳ勧告Ｈ．２６１を用いた画像通信装置の
概要を図６に示す。この画像通信装置の構成はカメラ１
１、Ａ／Ｄ変換部２１、フォーマット変換部３１、映像
符号化部４１、多重・分離部５１、映像復号化部６１、
逆フォーマット変換部７１、Ｄ／Ａ変換部８１、モニタ
９１よりなる。信号１２はカメラ１１から出力された映
像信号であり、信号形式はＮＴＳＣ（Ｎational Ｔelev
ision Ｓystem Ｃomittee）、ＰＡＬ（ＰhaseＡltemate
Ｌine）、ＳＥＣＡＭ（Ｓequential Ｃouleur a Ｍemo
re）等のアナログ信号である。また、信号８２はモニタ
９１への入力信ミであり、カメラ１１の出力信号同様、
信号形式はＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のアナログ
信号である。信号２２はフォーマット変換部３１への入
力信号であり、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のアナ
ログ信号をＡ／Ｄ変換部２１で変換したディジタル映像
信号である。信号７２は逆フォーマット変換部７１から
の出力信号であり、信号形式は信号２２と同様にディジ
タル映像信号である。信号３２は共通中間フォーマット
（Ｃommon Ｉntermediate Ｆormat：ＣＩＦ、又はＱuar
teter ＣＩＦ：ＱＣＩＦ）である。信号６２は画像符号
化部６１からの出力信号であり、信号形式は同様にＣＩ
Ｆ、又はＱＣＩＦである。信号４２は映像符号化部４１
で圧縮された映像信号であり、多重・分離部５１への入
力信号である。信号５２は多重・分離部５１の出力信号
であり、映像復号化部６１でＣＩＦ、又はＱＣＩＦに伸
長される。

【０００３】カメラ１１により人物や風景、書画等を撮
像し、その映像信号１２はカメラ１１からＮＴＳＣ、Ｐ
ＡＬ、ＳＥＣＡＭ等のアナログ信号形式で出力され、Ａ
／Ｄ変換部２１でディジタル信号２２となり、フォーマ
ット変換部３１へ入力される。その際、ＩＴＵ−ＴＳ国
際標準化勧告に従った映像符化部４１を利用するため、
フォーマット変換部３１において、入力された信号２２
はＣＩＦ、又はＱＣＩＦの信号３２に変換され、ＩＴＵ
−ＴＳ勧告Ｈ．２６１で規定される高能率符号化方式に
従う映像符号化部４１で圧縮される。この圧縮されたデ
ィジタル映像信号４２は、さらに、ディジタル化された
音声信号やデータ信号等と共に、多重・分離部５１にお
いてＩＴＵ−ＴＳ勧告Ｈ．２２１で規定されるフレーム
構成に多重化され、ＩＳＤＮ（Ｉntegrated Ｓervices
Ｄigital Ｎetwork）等の回線交換網や、高速ディジタ
ル回線等の専用線を通して相手装置に送られる。

【０００４】一方、相手装置から、同様の多重化された
信号を受信すると、先ず、多重・分離部５１で音声信号
やデータ信号等と分離され、圧縮ディジタル映像信号５
２は、ＩＴＵ−ＴＳ勧告Ｈ．２６１で規定される映像復
号化部６１で復号化される。この復号化された信号６２
はさらに、逆フォーマット変換部７１においてＮＴＳ
Ｃ、ＰＡＬ、ＳＥＣＡＭ等のディジタル信号７２とな
り、Ｄ／Ａ変換部８１において、カメラ１１の出力信号
１２と同様にＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のアナロ
グ信号８２に変換され、モニタ９１へ入力され、相手側
で撮像された人物や風景、書画等の画像がモニタ画面上
に再現される。

【０００５】上述の画像通信装置におけるＣＩＦやＱＣ
ＩＦのフォーマットの決定は、当該装置の利用者があら
かじめ決定しているフォーマットを装置間のネゴシエー
ションにより選択して用いることとなる。

【０００６】図６に、図５の映像符号化部４１、即ち、
ＩＴＵ−ＴＳ勧告Ｈ．２６１で規定される符号化方式に
従う映像符号化装置の構成例を示す。

【０００７】入力される画像信号は動き補償器１００９
に送られるとともに差分器１００１に送られる。画像信
号は、差分器１００１において後述する動き補償処理に
より求められた予測信号との間の差分がとられた後、離
散コサイン変換（ＤiscreateＣosine Ｔransform;ＤＣ
Ｔ）器１００２によりＤＣＴ変換される。さらに、ＤＣ
Ｔ変換された画像信号は、量子化器１００３により量子
化され、可変長符号化器１００４により可変長符号化さ
れる。

【０００８】一方、量子化器１００３で量子化された画
像信号は、逆量子化器１００５でＤＣＴ係数に逆変換さ
れ、さらに、逆ＤＣＴ変換器１００６において、符号化
された差分信号に変換される。この変換された差分信号
は加算器１００７において、差分器１００１で予測に用
いられた予測信号との間の加算がとられ、符号化された
画像信号を生成する。この画像信号はフレームメモリ１
００８に蓄えられる。

【０００９】動き補償器１００９は、入力画像信号を入
力し、この入力画像信号の１フレーム前に符号化された
フレーム信号をフレームメモリ１００８から読み出し、
その２フレームの間で動き補償処理を行い、予測信号を
生成する。この予測信号がフレームメモリ１００８を介
して差分器１００１、加算器１００７に送られる。動き
補償とは、これから符号化するフレームの信号を１フレ
ーム前に符号化された信号から予測するものである。動
き補償処理は予測効率が悪い場合はOFFとなり、その場
合、差分器１００１、加算器１００７における予測信号
との差分、加算はOFFとなる。

【００１０】

【発明が解決しようとする課題】上記従来技術では、端
末間で決定された映像信号形式のＣＩＦまたはＱＣＩＦ
を用いて符号化されるため、書類や写真などの高解像度
を必要とする被写体の映像信号を符号化する場合には、
解像度が不十分となる欠点があった。書類、写真などの
映像信号を符号化する場合には、Ｈ．２６１以外の画像
符号化方式に切り替えて符号化することも考えられる
が、端末などの利用者が被写体の種別により切り替える
こととなり、利用勝手が悪いなどの問題がある。

【００１１】また、上述従来技術では、符号化される画
像信号の動きが激しい部分では、視覚的には細かいディ
ーテイルを識別できないにもかかわらず、ＱＣＩＦ程度
の解像度まででしか符号化できず、本来重要となる動き
情報を符号化する困難になる欠点があった。

【００１２】本発明の目的は、利用者が被写体の異なり
を意識することなく、高解像度が必要な場合には自動的
に解像度を向上させ、動きが必要な場合には自動的に解
像度を低くする符号化方式に切り替えるようにして、画
像信号を品質良く符号化できる画像符号化方法及び装置
を提供することにある。

【００１３】

【課題を解決するための手段】本発明は、入力される画
像信号の動き量を検出し、この検出された動き量に従っ
て、符号化する画像信号の解像度を自動的に変更するよ
うにしたことである。

【００１４】

【作用】検出された動き量が小さい場合は、符号化する
画像信号の解像度を高くし、動き量が大きい場合は、符
号化する画像信号の解像度を低くする。

【００１５】写真や書類などを送信する場合は、高解像
度がは必要となるが、静止画となるため、動きは必要で
無くなる。そこで、被写体などの動き量を検出して、動
き量が小さい場合、すなわち、静止画となった場合に
は、書類、写真などの高解像度を必要となる場合である
として解像度を向上させる。一方、動きの大きな場合に
は、静止画でないため、解像度を低くし、動きを優先さ
せるように切り替える。

【００１６】このように、利用者が被写体の異なりを意
識することなく、必要に応じて解像度を自動的に切り替
え、符号化することにより、利便性および品質の高い画
像符号化方法及び装置を提供できる。

【００１７】

【実施例】図１に、本発明の符号化方法の一実施例のフ
ローチャートを示す。カメラ等により撮映された人物や
風景、書画等の画像信号を入力し（１００）、一旦フレ
ーム単位でメモリ等に記憶する（１１０）。その後、こ
の入力された画像信号のフレーム単位の動き量が測定さ
れ（１２０）、求められた動き量に従って、符号化すべ
き入力画像信号の解像度を決定する（１３０）。そし
て、メモリ等に記憶されている入力画像信号を読み出し
（１４０）、決定された解像度へ変換する（１５０）。
決定された解像度情報は符号化の際にも用いられ、該解
像度に従って解像度変換された入力画像信号を符号化す
る（１６０）。

【００１８】図２に、本発明の符号化装置の一実施例の
ブロック図を示す。符号化するために入力された画像信
号は、解像度変換部２１０に送られるとともに動き量検
出部２３０に送られる。動き量検出部２３０では、入力
された画像信号より、その画像信号の動き量を検出し、
解像度変換部２１０および画像符号化部２２０に送る。
動き量検出方法は、フレーム間差分量などが用いられる
が、入力画像の動きを反映するものであれば良く、これ
以外であってもかまわない。解像度変換部２１０では、
動き量検出部２３０で検出された動き量が大きい場合は
画素数の少ないフレーム信号、すなわち解像度の低い画
像信号に変換し、検出された動き量が小さい場合は、画
素数の多いフレーム信号、すなわち解像度の高い画像信
号に変換する。画像符号化部２２０では、解像度変換さ
けた入力画像信号を符号化する。この画像符号化部２２
０に用いられる画像符号化方式は、解像度が異なる場合
であっても動作するものであれば良い。

【００１９】図６に示した従来の画像符号化方式では、
動き補償などのフレーム間予測を用いて画像信号を効率
良く符号化している。しかし、符号化の途中で画像信号
の解像度が変化すると、これから符号化される画像信号
の画素数（解像度）と先に符号化された予測に用いられ
る画像信号の画素数が異なった場合には、効率化するこ
とが困難となる。

【００２０】図３に、図６に本発明を適用した構成例を
示す。本実施例では、前述の解像度の異なりによるフレ
ーム間予測処理上の問題点を改善できる。図３中、図６
とおなじ番号を付けているブロックは図６と同様の動作
であるので、説明は省略する。また、解像度変換部２１
０、画像符号化部２２０、動き量検出部２３０のブロッ
クは図２中の同じ番号のブロックに対応する。

【００２１】入力された画像信号は解像度変換部２１０
に送られ、動き量検出部２３０で検出された動き量に従
って解像度変換される。ここでは、動き量の検出につい
ては、動き補償部１００９の情報を利用している。具体
的には、動き補償時に求められるブロック単位の動きベ
クトル量を、動きベクトル累積部１０１１において複数
フレーム分累積し、該累積値を動き量として求める。こ
の場合は、解像度変換部２１０に入力された画像信号の
解像度を複数フレーム前に符号化されたフレームの動き
量で求めることになるが、効率上問題なく、また、画像
符号化方式の構成上必要となる動き補償部１００９の情
報を利用しているため、動き検出のために必要となる新
たな処理増加が少なくすむ利点がある。動きベクトルの
累積の方法は単純に加算しても良いし、現在の動きを反
映させるため、過去の値は重荷付けを小さくして加算し
ても良い。また、これ以外の方法であってもかまわな
い。

【００２２】動き量検出部２３０で求められた動き量は
画像符号化部２２０全体に送られ、解像度の異なりによ
る処理画像信号数の変更がなされる。また、動き補償用
解像度変換部１０１０においては、解像度変換部２１０
から入力される画像信号の解像度の１フレーム前に符号
化され、予測に用いられる画像信号の解像度を整合させ
るため、フレームメモリ１００８に蓄積されている画像
信号を現在のフレームの解像度に合わせ拡大／縮小など
を行い、動き補償を実行するため、動き補償部１００９
に送る。これにより、予測に用いられる画像信号と入力
画像の解像度が一致し、前述の問題を解決できる。

【００２３】図３の構成例においては、画像符号化部２
２０内に動き補償用解像度変換部１０１０を持つことが
必要となる。しかし、この解像度変換は変換する解像度
のパターンを限定することで簡単化できる。

【００２４】図４に解像度変換方法の一例を示す。例え
ば、ＣＩＦは３５２画素×２８８ラインの解像度であ
り、ＱＣＩＦは１７６画素×１４４ラインの解像度であ
る。従って、この２つの画像フォーマット間において
は、図４（ａ）に示すように、ＣＩＦからＱＣＩＦへの
変換は１画素、１ライン毎の間引きで可能になる。逆に
ＱＣＩＦからＣＩＦへの変換は、図４（ｂ）に示すよう
に１画素を４画素に置き換えることにより可能となる。
さらに解像度が必要な場合は、ＣＩＦとその４倍の解像
度の画像フーマット間の変換を用いることもできる。こ
れらの解像度変換は、単純な間引き、拡大で実現でき
る。また、符号化においては、動き予測に用いられるフ
レームの解像度と入力フレームの解像度が一致している
ため、予測を簡単に実施できる。

【００２５】以上の説明では、主にＱＣＩＦ、ＣＩＦを
例に示したが、もちろんこれ以外であってもよく、たと
えば、ＱＣＩＦの１／４、またその１／４などの小画像
への変換、ＣＩＦの４倍、または４倍などの画像への変
換と組合せてもよい。

【００２６】

【発明の効果】上述のように、本発明を用いれば、解像
度が必要な部分では自動的に高い解像度の画像信号を符
号化し、また、解像度をあまり必要としない部分では、
自動的に解像度が低くなり、利用者が被写体の異なりを
意識することなく、画像信号を品質良く符号化できる。

【００２７】これらの解像度変換は、入力画像信号の動
き量により決定され、具体的には動きが小さい場合は解
像度が高く、動きが大きい場合は解像度が低く制御され
る。これは、解像度を必要とする対象画像が、写真や書
類等の静止画であることが多いことにもよるが、人間の
視覚特性が、動きが大きい場合は解像度に対する分解能
が劣化し、また、動きが小さい場合は解像度に対する分
解能も高くなるという特性とも一致している。

【図面の簡単な説明】

【図１】本発明の画像符号化方法の一実施例のフローチ
ャートである。

【図２】本発明の画像符号化装置の一実施例のブロック
図である。

【図３】本発明の画像符号化装置の一実施例の詳細構成
図である。

【図４】解像度変換の一例を示す図である。

【図５】従来の画像通信装置の概要を示す図である。

【図６】従来の画像符号化方式の構成例を示す図であ
る。

【符号の説明】

２１０解像度変換部２２０画像符号化部２３０動き量検出部

Claims

【特許請求の範囲】

【請求項１】入力された画像信号の動き量を検出し、
該検出された動き量に従って、入力された画像信号の解
像度を変更し、符号化することを特徴とする画像符号化
方法。
【請求項２】画像信号を入力し、符号化する画像符号
化装置において、入力画像信号の動き量を検出する動き量検出部と、前記
動き量検出部により検出された動き量に従って、入力画
像信号の解像度を変更する解像度変換部と、前記解像度
変換部により解像度変換された画像信号を符号化する画
像符号化部とを有することを特徴とする画像符号化装
置。