JPH06133300A - 画像領域検出装置、該画像領域検出装置を用いた画像符号化装置、及び画像復号化装置 - Google Patents

画像領域検出装置、該画像領域検出装置を用いた画像符号化装置、及び画像復号化装置

Info

Publication number
JPH06133300A
JPH06133300A JP27739492A JP27739492A JPH06133300A JP H06133300 A JPH06133300 A JP H06133300A JP 27739492 A JP27739492 A JP 27739492A JP 27739492 A JP27739492 A JP 27739492A JP H06133300 A JPH06133300 A JP H06133300A
Authority
JP
Japan
Prior art keywords
block
unit
frame
error
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27739492A
Other languages
English (en)
Other versions
JP3133517B2 (ja
Inventor
Akio Suwa
昭夫 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP27739492A priority Critical patent/JP3133517B2/ja
Priority to EP19930308151 priority patent/EP0593275B1/en
Priority to DE1993620292 priority patent/DE69320292T2/de
Publication of JPH06133300A publication Critical patent/JPH06133300A/ja
Priority to US08/642,601 priority patent/US5790695A/en
Application granted granted Critical
Publication of JP3133517B2 publication Critical patent/JP3133517B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

(57)【要約】 【目的】 符号化対象画像における重要部分を認識する
ことができる画像領域検出装置を提供する。 【構成】 入力された画像信号を複数の領域のブロック
に分割するブロック分割部11と、画像信号を記憶するフ
レ−ムメモリ部12と、入力された画像信号及び記憶され
ている画像信号からブロック単位でフレーム毎に動き量
を検出する動き量算出部13と、各ブロック内の平均輝度
及び平均色度を求める輝度ブロック平均算出部15、赤色
差ブロック平均算出部18、青色差ブロック平均算出部19
と、各ブロック内の微分値を求めるブロック微分値算出
部14と、フレーム単位でフレーム全体の平均輝度を求め
るフレーム平均輝度算出部17と、動き量、ブロック平均
輝度及び色度、微分値、及びフレームの平均輝度に基づ
いて複数の領域を特定するベクトル判定部20とを備えて
いる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力された画像信号、
特に動画像を符号化することにより、画像に含まれる情
報量を削減できる画像符号化装置に関する。
【0002】
【従来の技術】近年、サ−ビス総合ディジタル網(サ−
ビス統合ディジタル網とも称される(以下、ISDNと
称する))の普及により、新しい通信サービスとして画
像通信サービスに対する要求が高まっており、テレビ電
話、テレビ会議システムへの期待が大きい。
【0003】一般に、テレビ電話、テレビ会議システム
のように画像情報を伝送する場合には、画像の情報量が
膨大なのに対して、伝送に用いる回線の回線速度やコス
トの点から、伝送する画像の情報量を圧縮符号化し、情
報量を少なくして伝送することが必要である。
【0004】圧縮するための符号化方法としては種々の
方法が検討されており、既にテレビ電話、テレビ会議シ
ステム等で一部実用化されつつある。また、さらに高度
なサービスの提供を目指し、高速広帯域サ−ビス総合デ
ィジタル網(以下、B−ISDNと称する)に代表され
る新たな通信ネットワークの検討も活発に行われてい
る。実用化されつつある画像の高能率符号化方法として
は、画像を複数個のサンプルからなる小ブロックに分割
して、各小ブロックの画像信号または各小ブロックにお
ける各種予測誤差信号に対して離散的コサイン変換等の
直交変換を施し、その変換係数を量子化して符号化伝送
する動き補償フレーム間予測直交変換符号化方法が知ら
れている。
【0005】図9は上記従来の方式を用いた符号化装
置、図10は上記従来の復号化装置の一構成例を示すブ
ロック図である。
【0006】入力画像信号は画像フレーム毎に動き補償
フレーム間予測部40によって動き補償フレーム間予測さ
れる。動き補償に於ける動きの検出は、フレームメモリ
部41に記憶された1フレーム前の画像信号と入力画像信
号とをある大きさのブロックに分割して、入力画像信号
のブロックが1フレーム前の画像信号のどの部分から動
いてきたものかを検出する。動き補償フレーム間予測部
40はこの動きの検出結果を利用して、フレームメモリ部
41に格納された1フレーム前に符号化された画像フレー
ムを予測値として読み出し、差分演算部42に於いて入力
画像フレームとフレームメモリ部41から読みだした予測
値との差を求めることによってフレーム間予測符号化を
行う。
【0007】続いて、差分演算部42から出力される予測
誤差信号は直交変換部43に送られ、直交変換演算が施さ
れる。直交変換部43からは直交変換された直交変換係数
が出力され、量子化部44で符号化制御部45から送られて
くる量子化レベルで量子化されて情報量が圧縮される。
量子化部44からの量子化出力は符号化結果として外部へ
出力されると共に、逆量子化部46へも送られる。逆量子
化部46では量子化部44とは逆の処理が行われて、直交変
換係数が出力され、逆直交変換係数が出力され、逆直交
変換部47に於いて逆直交変換演算が行われる。これら一
連の演算処理も動き補償における動き検出同様演算を効
率的に行うために、画像をある大きさのブロックに分割
して行われる。逆直交変換部47の出力は加算部48に於い
てフレームメモリ部41から読み出された予測値と加算さ
れた後、フレームメモリ部41に格納され、次の入力画像
フレームのフレーム間予測に使われる。入力画像信号
は、このようにループ状の構成(符号化ループ)に従っ
て符号化される。
【0008】復号化装置に於いては、入力符号化信号
は、符号化装置に於ける符号化ループ内での処理と同様
に、逆量子化部49へ送られ量子化部44とは逆の処理が行
われて、直交変換係数が逆直交変換部49へ出力される。
逆直交変換部50に於いて逆直交変換演算が行われる。
【0009】逆直交変換部50の出力は加算部51に於いて
フレ−ム間予測部52よりの予測動き値に基づいてフレー
ムメモリ部53から読み出された予測値と加算された後、
出力信号として出力されると共にフレームメモリ部53に
格納される。
【0010】
【発明が解決しようとする課題】上述した従来の画像符
号化装置では、直交変換した結果を量子化しているが、
量子化時には情報量の削減のためにある程度の誤差を許
容しており、その誤差により画像品質が劣化するという
問題点があった。また量子化の制御は発生する符号量と
伝送容量によって制御されるため、分割されたブロック
毎に量子化の条件が変わり、符号化された画像を画面全
体で見た場合、処理単位であるブロックが目立つブロッ
ク歪や、ブロック毎の画面の粗さにばらつきが発生して
画像品質が劣化するという問題点があった。
【0011】更に、符号化対象ブロックの画像内容が伝
送または蓄積するのに重要な部分であるかどうかに係わ
らず、どのブロックに対しても均等な符号化制御を行っ
てしまうので、重要な部分の画質を保持することができ
ず全体的に画像を劣化させてしまうという問題点があっ
た。また、量子化部の全ての出力に対して逆量子化、逆
直交変換を行い局部復号してフレームメモリに記憶させ
てフレーム間予測符号化に使用しているため、広帯域通
信網などで回線における情報の紛失が発生した場合に
は、フレーム間予測符号化が正常に機能せず、画像品質
が著しく低下するという問題点があった。
【0012】本発明は、上述した従来の符号化方法にお
ける問題点に鑑み、符号化対象画像における重要部分を
認識することができる画像領域検出装置を提供する。
【0013】また、本発明は、符号化対象画像における
重要部分を認識することが可能な画像領域検出装置を用
いており、通信回線で情報の紛失が発生しても、重要部
分の劣化を生じさせないで良質な画像が得られるように
符号化することができる画像符号化装置を提供する。
【0014】更に、本発明は、通信回線で情報の紛失が
発生しても画像品質の著しい低下を避けることができ、
対象画像における重要部分の劣化を生じさせないで良質
な画像が得られるように復号化することができる画像復
号化装置を提供する。
【0015】
【課題を解決するための手段】本発明は、入力された画
像信号を複数の領域のブロックに分割する分割手段と、
画像信号を記憶する記憶手段と、入力された画像信号及
び記憶されている画像信号からブロック単位でフレーム
毎に動き量を検出する動き量検出手段と、各ブロック内
の平均輝度及び平均色度を求めるブロック平均輝度色度
算出手段と、各ブロック内の微分値を求める微分値算出
手段と、フレーム単位でフレーム全体の平均輝度を求め
るフレーム平均輝度算出手段と、動き量、ブロック平均
輝度及び色度、微分値、及びフレームの平均輝度に基づ
いて複数の領域を特定する領域特定手段とを備えている
画像領域検出装置によって達成される。
【0016】また、本発明は、入力された画像信号及び
記憶されている画像信号に基づいてフレーム毎に画像信
号を予測符号化して予測誤差信号を出力する予測符号化
手段と、予測誤差信号を直交変換する直交変換手段と、
直交変換された変換係数を量子化する量子化手段と、入
力された画像信号を複数の領域のブロックに分割し各領
域を特定する画像領域検出手段と、量子化手段による量
子化によって生じる特定された領域の量子化誤差を求め
る量子化誤差算出手段と、量子化誤差算出手段により求
められた量子化誤差を再量子化する量子化誤差再量子化
手段と、量子化手段及び量子化誤差再量子化手段とを備
えており、量子化されたデータを符号化フォーマットに
まとめる画像符号化装置によって達成される。
【0017】更に、本発明は、符号化フォーマットから
量子化されたデータを分離して分離された量子化データ
を逆量子化する逆量子化手段と、デマルチプレクス手段
によって分離された量子化誤差再量子化データを逆量子
化する量子化誤差逆量子化手段と、逆量子化手段によっ
て逆量子化された変換係数に量子化誤差逆量子化手段に
よって逆量子化された誤差データを加算し加算結果を逆
直交変換して予測誤差信号を出力する逆直交変換手段
と、逆直交変換手段から出力される予測誤差信号から画
像信号を得るために前の画像信号を記憶する記憶手段と
を備えている画像復号化装置によって達成される。
【0018】
【作用】本発明の画像領域検出装置では、分割手段は入
力された画像信号を複数の領域のブロックに分割し、記
憶手段は画像信号を記憶し、動き量検出手段は入力され
た画像信号及び記憶されている画像信号からブロック単
位でフレーム毎に動き量を検出し、ブロック平均輝度色
度算出手段は各ブロック内の平均輝度及び平均色度を算
出し、微分値算出手段は各ブロック内の微分値を算出
し、フレーム平均輝度算出手段はフレーム単位でフレー
ム全体の平均輝度を算出し、領域特定手段は動き量、ブ
ロック平均輝度及び色度、微分値、及びフレームの平均
輝度に基づいて複数の領域を特定する。
【0019】また、本発明の画像符号化装置では、予測
符号化手段は入力された画像信号及び記憶されている画
像信号に基づいてフレーム毎に画像信号を予測符号化し
て予測誤差信号を出力し、直交変換手段は予測誤差信号
を直交変換し、量子化手段は直交変換された変換係数を
量子化し、画像領域検出手段は入力された画像信号を複
数の領域のブロックに分割し各領域を特定し、量子化誤
差算出手段は量子化手段による量子化によって生じる特
定された領域の量子化誤差を算出し、量子化誤差再量子
化手段は量子化誤差算出手段により求められた量子化誤
差を再量子化して、量子化手段及び量子化誤差再量子化
手段により量子化されたデータを符号化フォーマットに
まとめる。
【0020】更に、本発明の画像復号化装置では、逆量
子化手段は符号化フォーマットから分離された量子化デ
ータを逆量子化し、量子化誤差逆量子化手段はデマルチ
プレクス手段によって分離された量子化誤差再量子化デ
ータを逆量子化し、逆直交変換手段は逆量子化手段によ
って逆量子化された変換係数に量子化誤差逆量子化手段
によって逆量子化された誤差データを加算し加算結果を
逆直交変換して予測誤差信号を出力し、記憶手段は逆直
交変換手段から出力される予測誤差信号から画像信号を
得るために前の画像信号を記憶する。
【0021】
【実施例】以下、図面を参照して本発明の画像領域検出
装置、該画像領域検出装置を用いた画像符号化装置及び
画像復号化装置の実施例を説明する。
【0022】図1は、本発明の画像領域検出装置の一構
成例を示すブロック図である。
【0023】図1の画像領域検出装置は、分割手段であ
るブロック分割部11、ブロック分割部11に接続された記
憶手段であるフレ−ムメモリ部12、ブロック分割部11及
びフレ−ムメモリ部12に接続された動き量検出手段であ
る動き量算出部13、ブロック分割部11に接続された微分
値算出手段であるブロック微分値算出部14、ブロック分
割部11に接続されたブロック平均輝度色度算出手段の一
部を構成する輝度ブロック平均算出部15、輝度ブロック
平均算出部15に接続された正規化輝度算出部16、ブロッ
ク分割部11及び正規化輝度算出部16に接続されたフレー
ム平均輝度算出手段であるフレーム平均輝度算出部17、
ブロック分割部11に接続されたブロック平均輝度色度算
出手段の一部を構成する赤色差ブロック平均算出部18、
ブロック分割部11に接続されたブロック平均輝度色度算
出手段の一部を構成する青色差ブロック平均算出部19、
及び動き量算出部13、ブロック微分値算出部14、正規化
輝度算出部16、赤色差ブロック平均算出部18、青色差ブ
ロック平均算出部19にそれぞれ接続された領域特定手段
であるベクトル判定部20を備えており、入力された画像
信号を小領域のブロックに分割し、ブロック毎に、その
ブロックの動き量、フレーム全体の平均輝度によって正
規化されたブロック内の平均輝度、ブロック内の平均色
度並びに微分値を求め、特定領域の特徴量と比較して領
域を判定するように構成されている。
【0024】ここでは、重要領域として図2に示すよう
な顔領域を設定した場合について本発明の画像領域検出
装置を説明する。
【0025】顔の部分であるか否かを判別するために、
顔の形状認識等が挙げられるが膨大な演算時間がかかる
ため伝送あるいは蓄積のための符号化装置にはそぐわな
い。そこで、本発明では、 (1)顔の色は肌色である (2)顔輪郭、眉、目、口などがあり微分値量が多い (3)TV電話、TV会議等で用いられる場合には、顔
の輝度は高い状態である (4)またTV電話、TV会議等で用いられる場合に
は、動きのある物体としては主に人物であり、特に顔の
動きが多い を特徴量として顔を判別する。
【0026】まず、顔の色は肌色であるから、横軸及び
縦軸のそれぞれに2つの色差成分(R−Y,B−Y)を
とると、その分布は図3に示すようにある一定の範囲内
に収まる。
【0027】そこで、入力されたブロックのR−Y成分
の平均値及びB−Y成分の平均値をそれぞれ求めて、図
3を参照して顔か否かを判別すればよいが、必ずしも肌
色が顔を示すとは限らず、風景部分が肌色ということも
有り得る。また、輪郭部分を含むブロックには肌色だけ
でなく背景色も含まれてしまう。
【0028】TV電話やTV会議等で用いられる場合に
は、一般に顔の情報を伝送することが重要とされている
ため顔に焦点のあった画像が多く、照明等で明るい状態
に設定されている。従って、伝送される画像は、眉、
目、口等がはっきりと映っているために、顔部分の微分
値が多く、かつ輝度も高くなる。また、顔の情報の伝送
が主な目的であるため伝送される画像で動きがあるのは
顔部分が主である。
【0029】そこで、本発明に於いては、 (a)ある輝度範囲にあり、肌色で、ある程度動きがあ
る領域 (b)ある輝度範囲で微分値が多く、動きがある領域 を顔領域と判定する。
【0030】次に、図1の画像領域検出装置の動作を、
図4のフロ−チャ−トを参照して説明する。
【0031】まず、ブロック分割部11は、入力された信
号を輝度及び色差毎小ブロックに分割し(ステップS
1,S2)、動き量算出部13は、分割された輝度とフレ
ームメモリ部12から読み出された前フレームデータとを
比較して動きを探索し(ステップS3)、動き値Mを求
める(ステップS4)。
【0032】ブロック微分値算出部14は、ブロック毎の
微分値の合計DYを求め(ステップS5)、輝度ブロッ
ク平均算出部15はブロックの平均輝度を求め、フレーム
平均輝度算出部17は算出された前フレームの平均輝度を
算出し、正規化輝度算出部16は輝度変化に対応するため
にフレーム平均輝度算出部17で算出された前フレームの
平均輝度を用いて正規化輝度Yを求める(ステップS
6)。また、赤色差ブロック平均算出部18及び青色差ブ
ロック平均算出部19は、前述の色差成分の平均値R−
Y、B−Yをそれぞれ求める(ステップS7)。
【0033】ベクトル判定部20は、上記求められた5つ
のパラメータを入力して、その入力されたパラメ−タに
基づいて顔を判別する。判別にあたっては、前述の5つ
のパラメータについて、図5に示すように色差成分の平
均値R−Y、色差成分の平均値B−Y、正規化輝度Y、
動き値Mの4次元のベクトル空間と、図6に示すように
ブロック毎の微分値の合計DY、正規化輝度Y、動き値
Mの3次元のベクトル空間を考え、それぞれのベクトル
空間について予め数々の画像データにより顔に相当する
部分の基準ベクトル領域を作成し、入力されたブロック
のベクトルが基準ベクトル領域にあるか否かを判別する
(ステップS8,S9)。
【0034】ベクトル判定部20では、図5の顔領域判定
方法または図6の顔領域判定方法に基づいて入力された
ブロックが顔領域か否か判定されて、その判定結果が出
力される(ステップS10,S11)。
【0035】図7は、本発明の画像符号化装置の一実施
例の構成を示すブロック図である。
【0036】図7の画像符号化装置は、符号化制御部2
1、減算部22、減算部22に切換え接続された直交変換手
段である直交変換部23、直交変換部23に接続された量子
化手段である量子化部24、量子化部24に接続された量子
化誤差再量子化手段の一部を構成する逆量子化部25、逆
量子化部25に接続された量子化誤差再量子化手段の一部
を構成する逆直交変換部26、逆直交変換部26に接続され
た加算部27、加算部27に接続されたフレームメモリ部2
8、フレームメモリ部28に接続された予測符号化手段で
ある動き補償フレーム間予測部29、画像領域検出手段で
ある画像領域検出部30、符号化制御部21に接続された誤
差符号化制御部31、及び直交変換部23、画像領域検出部
30並びに誤差符号化制御部31に接続された量子化誤差算
出手段である誤差量子化部32を備えている。
【0037】次に、図7の画像符号化装置の動作を説明
する。
【0038】まず、入力画像信号は、画像フレーム毎に
動き補償フレーム間予測部29によって動き補償フレーム
間予測される。動き補償に於ける動きの検出は、フレー
ムメモリ部28に記憶された1フレーム前の画像信号と入
力画像信号とを、ある大きさのブロックに分割して、入
力画像信号のブロックが1フレーム前の画像信号のどの
部分から動いてきたものかを検出する。
【0039】動き補償フレーム間予測部29は、この動き
の検出結果を利用して、フレームメモリ部28に格納され
た1フレーム前に符号化された画像フレームを予測値と
して読み出し、減算部(差分演算部)22に於いて入力画
像フレームとフレームメモリ部28から読み出した予測値
との差を求めることによってフレーム間予測符号化を行
う。続いて、差分演算部22から出力される予測誤差信号
は、直交変換部23に送られて直交変換演算が施される。
直交変換部23からは直交変換された直交変換係数が出力
され、量子化部24で符号化制御部21から送られてくる量
子化レベルで量子化されて情報量が圧縮される。量子化
部24からの量子化出力は、符号化結果として外部へ出力
されると共に、逆量子化部25へも送られる。逆量子化部
25では量子化部24とは逆の処理が行われて、直交変換係
数が出力され、逆直交変換係数が出力されて、逆直交変
換部26に於いて逆直交変換演算が行われる。
【0040】これら一連の演算処理も、動き補償におけ
る動き検出と同様に演算を効率的に行うために、画像を
ある大きさのブロックに分割して行われる。逆直交変換
部26の出力は加算部27に於いてフレームメモリ部28から
読み出された予測値と加算された後、フレームメモリ部
28に格納され、次の入力画像フレームのフレーム間予測
に使われる。入力画像信号は、このようにループ状の構
成(符号化ループ)に従って符号化される。
【0041】入力信号は、上述のように符号化ループで
符号化されると共に、画像領域検出部30においてブロッ
ク単位に重要領域か否かの検出を行い、検出結果を誤差
量子化部32へ出力する。誤差符号化制御部31では、重要
領域の画質をより良くするために、符号化制御部21から
の符号化ループ内で制御された量子化レベルに適応し
て、重要領域における量子化レベルを符号化ループ内量
子化レベルよりも細かなレベルに制御して再量子化のレ
ベルを決定し、誤差量子化部32へ出力する。誤差量子化
部32では、画像領域検出部30の検出結果を受け、重要領
域のみ符号化ループで符号化されたことによる符号化誤
差を算出し、その誤差を誤差符号化制御部31からの誤差
量子化レベルにより符号化して出力する。このように、
重要領域の誤差を再量子化することにより、符号化ルー
プのみで画像を伝送する場合に比べて、符号化画像の品
質を向上することができる。
【0042】図8は、本発明の画像復号化装置の一実施
例の構成を示すブロック図である。
【0043】図8の画像復号化装置は、逆量子化手段で
ある逆量子化部33、量子化誤差逆量子化手段である誤差
逆量子化部34、逆量子化部33及び誤差逆量子化部34にそ
れぞれ接続された誤差加算部35、誤差加算部35に接続さ
れた逆直交変換手段である逆直交変換部36、逆直交変換
部36に接続された加算部37、加算部37に接続された記憶
手段であるフレームメモリ部38、及びフレームメモリ部
38に接続されたフレーム間予測部39を備えている。
【0044】次に、図8の画像復号化装置の動作を説明
する。
【0045】図8の画像復号化装置では、符号化入力信
号を逆量子化部33で逆量子化すると共に、誤差逆量子化
部34において誤差符号化入力信号を逆量子化し、それら
の結果を誤差加算部35において加算して復号化すること
により、重要領域における画質を向上することができ
る。
【0046】次に本発明の画像符号化装置及び画像復号
化装置を、広帯域通信などの情報の紛失が発生するよう
な伝送路で使用した場合について説明する。
【0047】本発明の画像符号化装置によって符号化さ
れる情報は、量子化部24からの出力と誤差量子化部32か
らの出力の2段階に階層化して考えることができる。誤
差量子化部32からの出力結果は符号化ループ内に影響を
与えない。従って、量子化部24の出力を優先的に、誤差
量子化部32の出力を非優先的に送ることとすれば、情報
の紛失が起こった場合でも誤差量子化部32の出力だけ紛
失することになり、情報の紛失がフレーム間予測に与え
る影響をなくすことができる。
【0048】また、本発明の画像復号化装置では、誤差
符号化入力信号があるときのみ誤差加算部35において加
算を行い復号化することにより、情報が紛失する可能性
がある場合でも、従来の画像符号化のパスは常に確保さ
れている。従って、従来の画像符号化装置を情報紛失の
ない伝送路に使用した場合の符号化画像品質が保証され
る。
【0049】
【発明の効果】本発明の画像領域検出装置は、入力され
た画像信号を複数の領域のブロックに分割する分割手段
と、画像信号を記憶する記憶手段と、入力された画像信
号及び記憶されている画像信号からブロック単位でフレ
ーム毎に動き量を検出する動き量検出手段と、各ブロッ
ク内の平均輝度及び平均色度を求めるブロック平均輝度
色度算出手段と、各ブロック内の微分値を求める微分値
算出手段と、フレーム単位でフレーム全体の平均輝度を
求めるフレーム平均輝度算出手段と、動き量、ブロック
平均輝度及び色度、微分値、及びフレームの平均輝度に
基づいて複数の領域を特定する領域特定手段とを備えて
いるので、領域に適応した符号化を行うための指標を得
ることができる。
【0050】本発明の画像符号化装置は、入力された画
像信号及び記憶されている画像信号に基づいてフレーム
毎に画像信号を予測符号化して予測誤差信号を出力する
予測符号化手段と、予測誤差信号を直交変換する直交変
換手段と、直交変換された変換係数を量子化する量子化
手段と、入力された画像信号を複数の領域のブロックに
分割し各領域を特定する画像領域検出手段と、量子化手
段による量子化によって生じる特定された領域の量子化
誤差を求める量子化誤差算出手段と、量子化誤差算出手
段により求められた量子化誤差を再量子化する量子化誤
差再量子化手段と、量子化手段及び量子化誤差再量子化
手段とを備えており、量子化されたデータを符号化フォ
ーマットにまとめるので、符号化出力をループ内の量子
化手段の出力と誤差量子化手段との2段階に階層化する
ことができ、符号化画像の重要な領域における符号化ル
ープでの画像品質の低下に対して、誤差信号によって画
像品質を向上することができる。また、画像を伝送する
場合、ループ内の量子化手段の出力を優先的に伝送すれ
ば、情報の紛失の可能性がある伝送路を使用しても、誤
差信号のみが紛失するため、符号化ループのフレーム間
予測に与える影響を無くすることができ、符号化画像の
劣化を最小限に抑えることができる。
【0051】本発明の画像復号化装置は、符号化フォー
マットから量子化されたデータを分離して分離された量
子化データを逆量子化する逆量子化手段と、デマルチプ
レクス手段によって分離された量子化誤差再量子化デー
タを逆量子化する量子化誤差逆量子化手段と、逆量子化
手段によって逆量子化された変換係数に量子化誤差逆量
子化手段によって逆量子化された誤差データを加算し加
算結果を逆直交変換して予測誤差信号を出力する逆直交
変換手段と、逆直交変換手段から出力される予測誤差信
号から画像信号を得るために前の画像信号を記憶する記
憶手段とを備えているので、重要な領域における画像品
質を向上することができる。また、画像を受信する場
合、誤差逆量子化手段は独立しているので、情報の紛失
の可能性がある伝送路を使用しても、誤差信号のみが紛
失するため、符号化ループのフレーム間予測に影響を与
えることなく画像を復号することができる。
【図面の簡単な説明】
【図1】本発明の画像領域検出装置の一実施例の構成を
示すブロック図である。
【図2】図1の画像領域検出装置によって検出する重要
領域の説明図である。
【図3】図1の画像領域検出装置によって検出可能な色
差成分のみで規定できる肌色領域の説明図である。
【図4】図1の画像領域検出装置の動作を説明するため
のフロ−チャ−トである。
【図5】領域検出をするためのベクトル空間の説明図で
ある。
【図6】領域検出をするためのベクトル空間の他の説明
図である。
【図7】本発明の画像符号化装置の一実施例の構成を示
すブロック図である。
【図8】本発明の画像復号化装置の一実施例の構成を示
すブロック図である。
【図9】従来の画像符号化装置の一構成例を示すブロッ
ク図である。
【図10】従来の画像復号化装置の一構成例を示すブロ
ック図である。
【符号の説明】
11 ブロック分割部 12 フレ−ムメモリ部 13 動き量算出部 14 ブロック微分値算出部 15 輝度ブロック平均算出部 16 正規化輝度算出部 17 フレ−ム平均輝度算出部 18 赤色差ブロック平均算出部 19 青色差ブロック平均算出部 20 ベクトル判定部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 入力された画像信号を複数の領域のブロ
    ックに分割する分割手段と、画像信号を記憶する記憶手
    段と、前記入力された画像信号及び前記記憶されている
    画像信号からブロック単位でフレーム毎に動き量を検出
    する動き量検出手段と、各該ブロック内の平均輝度及び
    平均色度を求めるブロック平均輝度色度算出手段と、各
    該ブロック内の微分値を求める微分値算出手段と、フレ
    ーム単位でフレーム全体の平均輝度を求めるフレーム平
    均輝度算出手段と、前記動き量、前記ブロック平均輝度
    及び色度、前記微分値、及び前記フレームの平均輝度に
    基づいて前記複数の領域を特定する領域特定手段とを備
    えていることを特徴とする画像領域検出装置。
  2. 【請求項2】 入力された画像信号及び記憶されている
    画像信号に基づいてフレーム毎に画像信号を予測符号化
    して予測誤差信号を出力する予測符号化手段と、前記予
    測誤差信号を直交変換する直交変換手段と、前記直交変
    換された変換係数を量子化する量子化手段と、前記入力
    された画像信号を複数の領域のブロックに分割し各該領
    域を特定する画像領域検出手段と、前記量子化手段によ
    る量子化によって生じる前記特定された領域の量子化誤
    差を求める量子化誤差算出手段と、前記量子化誤差算出
    手段により求められた量子化誤差を再量子化する量子化
    誤差再量子化手段とを備えており、前記量子化手段及び
    前記量子化誤差再量子化手段により量子化されたデータ
    を符号化フォーマットにまとめることを特徴とする画像
    符号化装置。
  3. 【請求項3】 符号化フォーマットから量子化されたデ
    ータを分離して当該分離された量子化データを逆量子化
    する逆量子化手段と、前記デマルチプレクス手段によっ
    て分離された量子化誤差再量子化データを逆量子化する
    量子化誤差逆量子化手段と、前記逆量子化手段によって
    逆量子化された変換係数に量子化誤差逆量子化手段によ
    って逆量子化された誤差データを加算し当該加算結果を
    逆直交変換して予測誤差信号を出力する逆直交変換手段
    と、前記逆直交変換手段から出力される予測誤差信号か
    ら画像信号を得るために前の画像信号を記憶する記憶手
    段とを備えていることを特徴とする画像復号化装置。
JP27739492A 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置 Expired - Lifetime JP3133517B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP27739492A JP3133517B2 (ja) 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置
EP19930308151 EP0593275B1 (en) 1992-10-15 1993-10-13 Image signal coding device for reducing the amount of the information in the transmitted image by transmitting specified image areas
DE1993620292 DE69320292T2 (de) 1992-10-15 1993-10-13 Bildsignalcodierungsvorrichtung zur Minderung der Datenmenge in dem übertragenen Bild durch Übertragung von bestimmten Bildregionen
US08/642,601 US5790695A (en) 1992-10-15 1996-05-03 Image coding device for coding image signal to reduce the amount of the information in the image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27739492A JP3133517B2 (ja) 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置

Publications (2)

Publication Number Publication Date
JPH06133300A true JPH06133300A (ja) 1994-05-13
JP3133517B2 JP3133517B2 (ja) 2001-02-13

Family

ID=17582932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27739492A Expired - Lifetime JP3133517B2 (ja) 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置

Country Status (4)

Country Link
US (1) US5790695A (ja)
EP (1) EP0593275B1 (ja)
JP (1) JP3133517B2 (ja)
DE (1) DE69320292T2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870960B2 (en) 2000-10-17 2005-03-22 Nec Corporation Image encoder and method of encoding images according to weight of portions of image
KR100695141B1 (ko) * 2005-02-15 2007-03-14 삼성전자주식회사 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법
WO2008102473A1 (ja) * 2007-02-20 2008-08-28 Kabushiki Kaisha Toshiba 顔認証装置および顔認証方法
JP2010015548A (ja) * 2008-06-06 2010-01-21 Nikon Corp 被写体追跡装置、およびカメラ
JP2010092294A (ja) * 2008-10-08 2010-04-22 Nippon Telegr & Teleph Corp <Ntt> 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム
JP2010157015A (ja) * 2008-12-26 2010-07-15 Nikon Corp 画像マッチング装置、およびカメラ
US7970271B2 (en) * 2006-02-23 2011-06-28 Fujifilm Corporation Brightness correction apparatus for moving images, and method and program for controlling same
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP2014506062A (ja) * 2011-01-05 2014-03-06 コーニンクレッカ フィリップス エヌ ヴェ Ppg関連情報を保存するビデオ符号化及び復号化デバイス及び方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US5745178A (en) * 1996-01-22 1998-04-28 Lucent Technologies Inc. Global rate control for model-assisted coding of low bit rate video
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
EP0960531B1 (en) 1997-02-14 2002-05-22 AT&T Corp. Video objects coded by keyregions
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
EP0891075A3 (en) 1997-06-09 2002-03-06 Seiko Epson Corporation An image processing apparatus and method, and an image evaluation device and method
US5987183A (en) * 1997-07-31 1999-11-16 Sony Corporation Image activity data compression and decompression method and apparatus
CN1278385A (zh) * 1997-10-28 2000-12-27 西门子公司 数字化图象的处理方法和装置
EP0969674A3 (en) * 1998-07-03 2004-01-02 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6490319B1 (en) * 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding
GB2360160B (en) * 2000-03-07 2003-12-31 Ian Fletcher Improvements in or relating to image indexing systems
EP1520426A1 (en) * 2002-06-28 2005-04-06 Koninklijke Philips Electronics N.V. Spatial scalable compression
JP4203736B2 (ja) * 2002-09-09 2009-01-07 日本ビクター株式会社 画像の動き検出装置及びコンピュータプログラム
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
JP2008502071A (ja) * 2004-06-09 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バイオメトリック・テンプレートの保護および特徴処理
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US20060117355A1 (en) * 2004-11-29 2006-06-01 Vincent Dureau Pushing content in a two-way network
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN104915639B (zh) * 2015-05-19 2018-01-09 浙江工业大学 基于混合误差编码的人脸识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2461405A1 (fr) * 1979-07-09 1981-01-30 Temime Jean Pierre Systeme de codage et de decodage d'un signal visiophonique numerique
FI842333A (fi) * 1984-06-08 1985-12-09 Valtion Teknillinen Tutkimuskeskus Foerfarande foer identifiering av de mest foeraendrade bildomraodena i levande videosignal.
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
US4842703A (en) * 1988-02-23 1989-06-27 Eaton Corporation Magnetron cathode and method for sputter coating
US4991223A (en) * 1988-06-30 1991-02-05 American Innovision, Inc. Apparatus and method for recognizing image features using color elements
US4943855A (en) * 1988-07-22 1990-07-24 At&T Bell Laboratories Progressive sub-band image coding system
US5051840A (en) * 1988-12-14 1991-09-24 Fuji Photo Film Co., Ltd. Device for coding a picture signal by compression
JP2995745B2 (ja) * 1989-03-31 1999-12-27 ソニー株式会社 動き情報抽出装置
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JPH03124181A (ja) * 1989-10-09 1991-05-27 Toshiba Corp 動画像符号化方式
US5296945A (en) * 1991-03-13 1994-03-22 Olympus Optical Co., Ltd. Video ID photo printing apparatus and complexion converting apparatus
WO1993014600A1 (en) * 1992-01-21 1993-07-22 Supermac Technology Method and apparatus for compression and decompression of color image data
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US5585944A (en) * 1994-05-10 1996-12-17 Kaleida Labs, Inc. Method for compressing and decompressing images by subdividing pixel color distributions

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870960B2 (en) 2000-10-17 2005-03-22 Nec Corporation Image encoder and method of encoding images according to weight of portions of image
KR100695141B1 (ko) * 2005-02-15 2007-03-14 삼성전자주식회사 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법
US7970271B2 (en) * 2006-02-23 2011-06-28 Fujifilm Corporation Brightness correction apparatus for moving images, and method and program for controlling same
WO2008102473A1 (ja) * 2007-02-20 2008-08-28 Kabushiki Kaisha Toshiba 顔認証装置および顔認証方法
JP2010015548A (ja) * 2008-06-06 2010-01-21 Nikon Corp 被写体追跡装置、およびカメラ
JP4565273B2 (ja) * 2008-06-06 2010-10-20 株式会社ニコン 被写体追跡装置、およびカメラ
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP2010092294A (ja) * 2008-10-08 2010-04-22 Nippon Telegr & Teleph Corp <Ntt> 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム
JP2010157015A (ja) * 2008-12-26 2010-07-15 Nikon Corp 画像マッチング装置、およびカメラ
JP2014506062A (ja) * 2011-01-05 2014-03-06 コーニンクレッカ フィリップス エヌ ヴェ Ppg関連情報を保存するビデオ符号化及び復号化デバイス及び方法

Also Published As

Publication number Publication date
EP0593275A1 (en) 1994-04-20
DE69320292D1 (de) 1998-09-17
US5790695A (en) 1998-08-04
EP0593275B1 (en) 1998-08-12
DE69320292T2 (de) 1999-03-11
JP3133517B2 (ja) 2001-02-13

Similar Documents

Publication Publication Date Title
JP3133517B2 (ja) 画像領域検出装置、該画像検出装置を用いた画像符号化装置
KR100539923B1 (ko) 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법
US6496607B1 (en) Method and apparatus for region-based allocation of processing resources and control of input image formation
US5486863A (en) Method for determining whether to intra code a video block
JPH09214963A (ja) イメージ信号を符号化するための方法およびエンコーダ
JPH08181992A (ja) 動画像符号化装置および領域抽出装置
JPH08237657A (ja) 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
JPH0817491B2 (ja) ビデオ信号のハイブリッド・コーディング・システムにおける改良
CN112954367A (zh) 使用调色板译码的编码器、解码器和相应方法
KR100211916B1 (ko) 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
JPH07312756A (ja) 圧縮動画像符号信号の情報量変換回路、装置、及び方法
EP1227684A2 (en) Encoding of video signals
CN114586362A (zh) 色度量化参数指示方法和装置
JP3135015B2 (ja) 画像符号化装置
JPH06133303A (ja) 動画像符号化装置
US6320987B1 (en) Pre-DCT residue filter
CN114556923B (zh) 编码器、解码器和使用插值滤波的对应方法
JP2916027B2 (ja) 画像符号化装置
JPH07222173A (ja) 画像処理装置
JP2914607B2 (ja) 画像信号復号化装置
JPH04266286A (ja) テレビ電話用映像信号圧縮装置
WO2024082971A1 (zh) 一种视频处理方法及相关装置
JP3254425B2 (ja) 画像復号装置
JP2001008208A (ja) 圧縮データ内容判別方法及び圧縮データ内容判別装置
TW202133618A (zh) 編解碼器及編解碼方法、電腦程式產品、非暫態性存儲介質

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081124

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 12

EXPY Cancellation because of completion of term