JP3133517B2 - 画像領域検出装置、該画像検出装置を用いた画像符号化装置 - Google Patents

画像領域検出装置、該画像検出装置を用いた画像符号化装置

Info

Publication number
JP3133517B2
JP3133517B2 JP27739492A JP27739492A JP3133517B2 JP 3133517 B2 JP3133517 B2 JP 3133517B2 JP 27739492 A JP27739492 A JP 27739492A JP 27739492 A JP27739492 A JP 27739492A JP 3133517 B2 JP3133517 B2 JP 3133517B2
Authority
JP
Japan
Prior art keywords
block
image
unit
frame
average luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP27739492A
Other languages
English (en)
Other versions
JPH06133300A (ja
Inventor
昭夫 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP27739492A priority Critical patent/JP3133517B2/ja
Priority to EP19930308151 priority patent/EP0593275B1/en
Priority to DE1993620292 priority patent/DE69320292T2/de
Publication of JPH06133300A publication Critical patent/JPH06133300A/ja
Priority to US08/642,601 priority patent/US5790695A/en
Application granted granted Critical
Publication of JP3133517B2 publication Critical patent/JP3133517B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力された画像信号、
特に動画像を符号化することにより、画像に含まれる情
報量を削減できる画像符号化装置に関する。
【0002】
【従来の技術】近年、サ−ビス総合ディジタル網(サ−
ビス統合ディジタル網とも称される(以下、ISDNと
称する))の普及により、新しい通信サービスとして画
像通信サービスに対する要求が高まっており、テレビ電
話、テレビ会議システムへの期待が大きい。
【0003】一般に、テレビ電話、テレビ会議システム
のように画像情報を伝送する場合には、画像の情報量が
膨大なのに対して、伝送に用いる回線の回線速度やコス
トの点から、伝送する画像の情報量を圧縮符号化し、情
報量を少なくして伝送することが必要である。
【0004】圧縮するための符号化方法としては種々の
方法が検討されており、既にテレビ電話、テレビ会議シ
ステム等で一部実用化されつつある。また、さらに高度
なサービスの提供を目指し、高速広帯域サ−ビス総合デ
ィジタル網(以下、B−ISDNと称する)に代表され
る新たな通信ネットワークの検討も活発に行われてい
る。実用化されつつある画像の高能率符号化方法として
は、画像を複数個のサンプルからなる小ブロックに分割
して、各小ブロックの画像信号または各小ブロックにお
ける各種予測誤差信号に対して離散的コサイン変換等の
直交変換を施し、その変換係数を量子化して符号化伝送
する動き補償フレーム間予測直交変換符号化方法が知ら
れている。
【0005】図9は上記従来の方式を用いた符号化装
置、図10は上記従来の復号化装置の一構成例を示すブ
ロック図である。
【0006】入力画像信号は画像フレーム毎に動き補償
フレーム間予測部40によって動き補償フレーム間予測さ
れる。動き補償に於ける動きの検出は、フレームメモリ
部41に記憶された1フレーム前の画像信号と入力画像信
号とをある大きさのブロックに分割して、入力画像信号
のブロックが1フレーム前の画像信号のどの部分から動
いてきたものかを検出する。動き補償フレーム間予測部
40はこの動きの検出結果を利用して、フレームメモリ部
41に格納された1フレーム前に符号化された画像フレー
ムを予測値として読み出し、差分演算部42に於いて入力
画像フレームとフレームメモリ部41から読みだした予測
値との差を求めることによってフレーム間予測符号化を
行う。
【0007】続いて、差分演算部42から出力される予測
誤差信号は直交変換部43に送られ、直交変換演算が施さ
れる。直交変換部43からは直交変換された直交変換係数
が出力され、量子化部44で符号化制御部45から送られて
くる量子化レベルで量子化されて情報量が圧縮される。
量子化部44からの量子化出力は符号化結果として外部へ
出力されると共に、逆量子化部46へも送られる。逆量子
化部46では量子化部44とは逆の処理が行われて、直交変
換係数が出力され、逆直交変換係数が出力され、逆直交
変換部47に於いて逆直交変換演算が行われる。これら一
連の演算処理も動き補償における動き検出同様演算を効
率的に行うために、画像をある大きさのブロックに分割
して行われる。逆直交変換部47の出力は加算部48に於い
てフレームメモリ部41から読み出された予測値と加算さ
れた後、フレームメモリ部41に格納され、次の入力画像
フレームのフレーム間予測に使われる。入力画像信号
は、このようにループ状の構成(符号化ループ)に従っ
て符号化される。
【0008】復号化装置に於いては、入力符号化信号
は、符号化装置に於ける符号化ループ内での処理と同様
に、逆量子化部49へ送られ量子化部44とは逆の処理が行
われて、直交変換係数が逆直交変換部49へ出力される。
逆直交変換部50に於いて逆直交変換演算が行われる。
【0009】逆直交変換部50の出力は加算部51に於いて
フレ−ム間予測部52よりの予測動き値に基づいてフレー
ムメモリ部53から読み出された予測値と加算された後、
出力信号として出力されると共にフレームメモリ部53に
格納される。
【0010】
【発明が解決しようとする課題】上述した従来の画像符
号化装置では、直交変換した結果を量子化しているが、
量子化時には情報量の削減のためにある程度の誤差を許
容しており、その誤差により画像品質が劣化するという
問題点があった。また量子化の制御は発生する符号量と
伝送容量によって制御されるため、分割されたブロック
毎に量子化の条件が変わり、符号化された画像を画面全
体で見た場合、処理単位であるブロックが目立つブロッ
ク歪や、ブロック毎の画面の粗さにばらつきが発生して
画像品質が劣化するという問題点があった。
【0011】更に、符号化対象ブロックの画像内容が伝
送または蓄積するのに重要な部分であるかどうかに係わ
らず、どのブロックに対しても均等な符号化制御を行っ
てしまうので、重要な部分の画質を保持することができ
ず全体的に画像を劣化させてしまうという問題点があっ
た。また、量子化部の全ての出力に対して逆量子化、逆
直交変換を行い局部復号してフレームメモリに記憶させ
てフレーム間予測符号化に使用しているため、広帯域通
信網などで回線における情報の紛失が発生した場合に
は、フレーム間予測符号化が正常に機能せず、画像品質
が著しく低下するという問題点があった。
【0012】本発明は、上述した従来の符号化方法にお
ける問題点に鑑み、符号化対象画像における重要部分を
認識することができる画像領域検出装置を提供する。
【0013】また、本発明は、符号化対象画像における
重要部分を認識することが可能な画像領域検出装置を用
いており、通信回線で情報の紛失が発生しても、重要部
分の劣化を生じさせないで良質な画像が得られるように
符号化することができる画像符号化装置を提供する。
【0014】
【0015】
【課題を解決するための手段】本発明は、入力された画
像信号を複数の領域のブロックに分割する分割手段と、
画像信号を記憶する記憶手段と、入力された画像信号及
び記憶されている画像信号からブロック単位でフレーム
毎に動き量を検出する動き量検出手段と、各ブロック内
の平均輝度及び平均色度を求めるブロック平均輝度色度
算出手段と、各ブロック内の輝度の微分値を求める微分
値算出手段と、フレーム単位でフレーム全体の平均輝度
を求めるフレーム平均輝度算出手段と、フレーム平均輝
度算出手段によって算出されたフレーム全体の平均輝度
を用いて、各ブロック内の平均輝度のフレーム全体の平
均輝度に対する割合を求める正規化輝度算出手段と、動
き量、フレーム全体の平均輝度に対するブロック内の平
均輝度の割合、ブロック内の平均色度及びブロック内の
平均輝度の微分値に基づいて複数の領域を特定する領域
特定手段とを備えている画像領域検出装置によって達成
される。
【0016】また、本発明は、請求項1に記載された画
像領域検出装置を備えた画像符号化装置であって、該画
像符号化装置は、入力された画像信号と記憶されている
画像信号から生成される予測画像との差分を求める差分
演算手段と、該差分を直交変換する直交変換手段と、直
交変換された変換係数を量子化する量子化手段と、入力
された画像信号を複数の領域のブロックに分割し、分割
された各ブロックが検出すべき特定領域か否かを判別
る画像領域検出装置と、量子化手段による量子化によっ
て生じる特定された領域の量子化誤差を求める量子化誤
差算出手段と、量子化誤差算出手段により求められた量
子化誤差を再量子化する量子化誤差再量子化手段とを備
えており、量子化手段及び量子化誤差再量子化手段によ
り量子化されたデータを符号化フォーマットにまとめる
画像符号化装置によって達成される。
【0017】
【0018】
【作用】本発明の画像領域検出装置では、分割手段は入
力された画像信号を複数の領域のブロックに分割し、記
憶手段は画像信号を記憶し、動き量検出手段は入力され
た画像信号及び記憶されている画像信号からブロック単
位でフレーム毎に動き量を検出し、ブロック平均輝度色
度算出手段は各ブロック内の平均輝度及び平均色度を算
出し、微分値算出手段は各ブロック内の輝度の微分値を
算出し、フレーム平均輝度算出手段はフレーム単位でフ
レーム全体の平均輝度を算出し、正規化輝度算出手段は
フレーム平均輝度算出手段によって算出されたフレーム
全体の平均輝度を用いて、各ブロック内の平均輝度のフ
レーム全体の平均輝度に対する割合を求め、領域特定手
段は動き量、フレーム全体の平均輝度に対するブロック
内の平均輝度の割合、ブロック内の平均色度及びブロッ
ク内の平均輝度の微分値に基づいて複数の領域を特定す
る。
【0019】また、本発明の画像符号化装置は、請求項
1に記載された画像領域検出装置を備え、差分演算手段
は入力された画像信号と記憶されている画像信号から生
成される予測画像との差分を求め、直交変換手段は該差
分を直交変換し、量子化手段は直交変換された変換係数
を量子化し、画像領域検出装置は入力された画像信号を
複数の領域のブロックに分割し、分割された各ブロック
が検出すべき特定領域か否かを判別し、量子化誤差算出
手段は量子化手段による量子化によって生じる特定され
た領域の量子化誤差を算出し、量子化誤差再量子化手段
は量子化誤差算出手段により求められた量子化誤差を再
量子化して、量子化手段及び量子化誤差再量子化手段に
より量子化されたデータを符号化フォーマットにまとめ
る。
【0020】
【0021】
【実施例】以下、図面を参照して本発明の画像領域検出
装置、該画像領域検出装置を用いた画像符合化装置の
施例を説明する。
【0022】図1は、本発明の画像領域検出装置の一構
成例を示すブロック図である。
【0023】図1の画像領域検出装置は、分割手段であ
るブロック分割部11、ブロック分割部11に接続された記
憶手段であるフレ−ムメモリ部12、ブロック分割部11及
びフレ−ムメモリ部12に接続された動き量検出手段であ
る動き量算出部13、ブロック分割部11に接続された微分
値算出手段であるブロック微分値算出部14、ブロック分
割部11に接続されたブロック平均輝度色度算出手段の一
部を構成する輝度ブロック平均算出部15、輝度ブロック
平均算出部15に接続された正規化輝度算出部16、ブロッ
ク分割部11及び正規化輝度算出部16に接続されたフレー
ム平均輝度算出手段であるフレーム平均輝度算出部17、
ブロック分割部11に接続されたブロック平均輝度色度算
出手段の一部を構成する赤色差ブロック平均算出部18、
ブロック分割部11に接続されたブロック平均輝度色度算
出手段の一部を構成する青色差ブロック平均算出部19、
及び動き量算出部13、ブロック微分値算出部14、正規化
輝度算出部16、赤色差ブロック平均算出部18、青色差ブ
ロック平均算出部19にそれぞれ接続された領域特定手段
であるベクトル判定部20を備えており、入力された画像
信号を小領域のブロックに分割し、ブロック毎に、その
ブロックの動き量、フレーム全体の平均輝度によって正
規化されたブロック内の平均輝度、ブロック内の平均色
度並びに微分値を求め、特定領域の特徴量と比較して領
域を判定するように構成されている。
【0024】ここでは、重要領域として図2に示すよう
な顔領域を設定した場合について本発明の画像領域検出
装置を説明する。
【0025】顔の部分であるか否かを判別するために、
顔の形状認識等が挙げられるが膨大な演算時間がかかる
ため伝送あるいは蓄積のための符号化装置にはそぐわな
い。そこで、本発明では、 (1)顔の色は肌色である (2)顔輪郭、眉、目、口などがあり微分値量が多い (3)TV電話、TV会議等で用いられる場合には、顔
の輝度は高い状態である (4)またTV電話、TV会議等で用いられる場合に
は、動きのある物体としては主に人物であり、特に顔の
動きが多い を特徴量として顔を判別する。
【0026】まず、顔の色は肌色であるから、横軸及び
縦軸のそれぞれに2つの色差成分(R−Y,B−Y)を
とると、その分布は図3に示すようにある一定の範囲内
に収まる。
【0027】そこで、入力されたブロックのR−Y成分
の平均値及びB−Y成分の平均値をそれぞれ求めて、図
3を参照して顔か否かを判別すればよいが、必ずしも肌
色が顔を示すとは限らず、風景部分が肌色ということも
有り得る。また、輪郭部分を含むブロックには肌色だけ
でなく背景色も含まれてしまう。
【0028】TV電話やTV会議等で用いられる場合に
は、一般に顔の情報を伝送することが重要とされている
ため顔に焦点のあった画像が多く、照明等で明るい状態
に設定されている。従って、伝送される画像は、眉、
目、口等がはっきりと映っているために、顔部分の微分
値が多く、かつ輝度も高くなる。また、顔の情報の伝送
が主な目的であるため伝送される画像で動きがあるのは
顔部分が主である。
【0029】そこで、本発明に於いては、 (a)ある輝度範囲にあり、肌色で、ある程度動きがあ
る領域 (b)ある輝度範囲で微分値が多く、動きがある領域 を顔領域と判定する。
【0030】次に、図1の画像領域検出装置の動作を、
図4のフロ−チャ−トを参照して説明する。
【0031】まず、ブロック分割部11は、入力された信
号を輝度及び色差毎小ブロックに分割し(ステップS
1,S2)、動き量算出部13は、分割された輝度とフレ
ームメモリ部12から読み出された前フレームデータとを
比較して動きを探索し(ステップS3)、動き値Mを求
める(ステップS4)。
【0032】ブロック微分値算出部14は、ブロック毎の
微分値の合計DYを求め(ステップS5)、輝度ブロッ
ク平均算出部15はブロックの平均輝度を求め、フレーム
平均輝度算出部17は算出された前フレームの平均輝度を
算出し、正規化輝度算出部16は輝度変化に対応するため
にフレーム平均輝度算出部17で算出された前フレームの
平均輝度を用いて正規化輝度Yを求める(ステップS
6)。また、赤色差ブロック平均算出部18及び青色差ブ
ロック平均算出部19は、前述の色差成分の平均値R−
Y、B−Yをそれぞれ求める(ステップS7)。
【0033】ベクトル判定部20は、上記求められた5つ
のパラメータを入力して、その入力されたパラメ−タに
基づいて顔を判別する。判別にあたっては、前述の5つ
のパラメータについて、図5に示すように色差成分の平
均値R−Y、色差成分の平均値B−Y、正規化輝度Y、
動き値Mの4次元のベクトル空間と、図6に示すように
ブロック毎の微分値の合計DY、正規化輝度Y、動き値
Mの3次元のベクトル空間を考え、それぞれのベクトル
空間について予め数々の画像データにより顔に相当する
部分の基準ベクトル領域を作成し、入力されたブロック
のベクトルが基準ベクトル領域にあるか否かを判別する
(ステップS8,S9)。
【0034】ベクトル判定部20では、図5の顔領域判定
方法または図6の顔領域判定方法に基づいて入力された
ブロックが顔領域か否か判定されて、その判定結果が出
力される(ステップS10,S11)。
【0035】図7は、本発明の画像符号化装置の一実施
例の構成を示すブロック図である。
【0036】図7の画像符号化装置は、符号化制御部2
1、減算部22、減算部22に切換え接続された直交変換手
段である直交変換部23、直交変換部23に接続された量子
化手段である量子化部24、量子化部24に接続された量子
化誤差再量子化手段の一部を構成する逆量子化部25、逆
量子化部25に接続された量子化誤差再量子化手段の一部
を構成する逆直交変換部26、逆直交変換部26に接続され
た加算部27、加算部27に接続されたフレームメモリ部2
8、フレームメモリ部28に接続された予測符号化手段で
ある動き補償フレーム間予測部29、画像領域検出手段で
ある画像領域検出部30、符号化制御部21に接続された誤
差符号化制御部31、及び直交変換部23、画像領域検出部
30並びに誤差符号化制御部31に接続された量子化誤差算
出手段である誤差量子化部32を備えている。
【0037】次に、図7の画像符号化装置の動作を説明
する。
【0038】まず、入力画像信号は、画像フレーム毎に
動き補償フレーム間予測部29によって動き補償フレーム
間予測される。動き補償に於ける動きの検出は、フレー
ムメモリ部28に記憶された1フレーム前の画像信号と入
力画像信号とを、ある大きさのブロックに分割して、入
力画像信号のブロックが1フレーム前の画像信号のどの
部分から動いてきたものかを検出する。
【0039】動き補償フレーム間予測部29は、この動き
の検出結果を利用して、フレームメモリ部28に格納され
た1フレーム前に符号化された画像フレームを予測値と
して読み出し、減算部(差分演算部)22に於いて入力画
像フレームとフレームメモリ部28から読み出した予測値
との差を求めることによってフレーム間予測符号化を行
う。続いて、差分演算部22から出力される予測誤差信号
は、直交変換部23に送られて直交変換演算が施される。
直交変換部23からは直交変換された直交変換係数が出力
され、量子化部24で符号化制御部21から送られてくる量
子化レベルで量子化されて情報量が圧縮される。量子化
部24からの量子化出力は、符号化結果として外部へ出力
されると共に、逆量子化部25へも送られる。逆量子化部
25では量子化部24とは逆の処理が行われて、直交変換係
数が出力され、逆直交変換係数が出力されて、逆直交変
換部26に於いて逆直交変換演算が行われる。
【0040】これら一連の演算処理も、動き補償におけ
る動き検出と同様に演算を効率的に行うために、画像を
ある大きさのブロックに分割して行われる。逆直交変換
部26の出力は加算部27に於いてフレームメモリ部28から
読み出された予測値と加算された後、フレームメモリ部
28に格納され、次の入力画像フレームのフレーム間予測
に使われる。入力画像信号は、このようにループ状の構
成(符号化ループ)に従って符号化される。
【0041】入力信号は、上述のように符号化ループで
符号化されると共に、画像領域検出部30においてブロッ
ク単位に重要領域か否かの検出を行い、検出結果を誤差
量子化部32へ出力する。誤差符号化制御部31では、重要
領域の画質をより良くするために、符号化制御部21から
の符号化ループ内で制御された量子化レベルに適応し
て、重要領域における量子化レベルを符号化ループ内量
子化レベルよりも細かなレベルに制御して再量子化のレ
ベルを決定し、誤差量子化部32へ出力する。誤差量子化
部32では、画像領域検出部30の検出結果を受け、重要領
域のみ符号化ループで符号化されたことによる符号化誤
差を算出し、その誤差を誤差符号化制御部31からの誤差
量子化レベルにより符号化して出力する。このように、
重要領域の誤差を再量子化することにより、符号化ルー
プのみで画像を伝送する場合に比べて、符号化画像の品
質を向上することができる。
【0042】図8は、本発明に関連のある画像復号化装
置の一実施例の構成を示すブロック図である。
【0043】図8の画像復号化装置は、逆量子化手段で
ある逆量子化部33、量子化誤差逆量子化手段である誤差
逆量子化部34、逆量子化部33及び誤差逆量子化部34にそ
れぞれ接続された誤差加算部35、誤差加算部35に接続さ
れた逆直交変換手段である逆直交変換部36、逆直交変換
部36に接続された加算部37、加算部37に接続された記憶
手段であるフレームメモリ部38、及びフレームメモリ部
38に接続されたフレーム間予測部39を備えている。
【0044】次に、図8の画像復号化装置の動作を説明
する。
【0045】図8の画像復号化装置では、符号化入力信
号を逆量子化部33で逆量子化すると共に、誤差逆量子化
部34において誤差符号化入力信号を逆量子化し、それら
の結果を誤差加算部35において加算して復号化すること
により、重要領域における画質を向上することができ
る。
【0046】次に本発明の画像符合化装置及び本発明に
関連のある画像復号化装置を、広帯域通信などの情報の
紛失が発生するような伝送路で使用した場合について説
明する。
【0047】本発明の画像符号化装置によって符号化さ
れる情報は、量子化部24からの出力と誤差量子化部32か
らの出力の2段階に階層化して考えることができる。誤
差量子化部32からの出力結果は符号化ループ内に影響を
与えない。従って、量子化部24の出力を優先的に、誤差
量子化部32の出力を非優先的に送ることとすれば、情報
の紛失が起こった場合でも誤差量子化部32の出力だけ紛
失することになり、情報の紛失がフレーム間予測に与え
る影響をなくすことができる。
【0048】また、本発明に関連のある画像復号化装置
では、誤差符号化入力信号があるときのみ誤差加算部3
5において加算を行い復号化することにより、情報が紛
失する可能性がある場合でも、従来の画像符合化のパス
は常に確保されている。従って、従来の画像符合化装置
を情報紛失のない伝送路に使用した場合の符号化画像品
質が保証される。
【0049】
【発明の効果】本発明の画像領域検出装置は、入力され
た画像信号を複数の領域のブロックに分割する分割手段
と、画像信号を記憶する記憶手段と、入力された画像信
号及び記憶されている画像信号からブロック単位でフレ
ーム毎に動き量を検出する動き量検出手段と、各ブロッ
ク内の平均輝度及び平均色度を求めるブロック平均輝度
色度算出手段と、各ブロック内の輝度の微分値を求める
微分値算出手段と、フレーム単位でフレーム全体の平均
輝度を求めるフレーム平均輝度算出手段と、フレーム平
均輝度算出手段によって算出されたフレーム全体の平均
輝度を用いて、各ブロック内の平均輝度のフレーム全体
の平均輝度に対する割合を求める正規化輝度算出手段
と、動き量、フレーム全体の平均輝度に対するブロック
内の平均輝度の割合、ブロック内の平均色度及びブロッ
ク内の平均輝度の微分値に基づいて複数の領域を特定す
る領域特定手段とを備えているので、領域に適応した符
号化を行うための指標を得ることができる。
【0050】本発明の画像符号化装置は、請求項1に記
載された画像領域検出装置を備えた画像符号化装置であ
って、該画像符号化装置は、入力された画像信号と記憶
されている画像信号から生成される予測画像との差分を
求める差分演算手段と、該差分を直交変換する直交変換
手段と、直交変換された変換係数を量子化する量子化手
段と、入力された画像信号を複数の領域のブロックに分
割し、分割された各ブロックが検出すべき特定領域か否
かを判別する画像領域検出装置と、量子化手段による量
子化によって生じる特定された領域の量子化誤差を求め
る量子化誤差算出手段と、量子化誤差算出手段により求
められた量子化誤差を再量子化する量子化誤差再量子化
手段とを備えており、量子化手段及び量子化誤差再量子
化手段により量子化されたデータを符号化フォーマット
にまとめるので、符号化出力をループ内の量子化手段の
出力と誤差量子化手段との2段階に階層化することがで
き、符号化画像の重要な領域における符号化ループでの
画像品質の低下に対して、誤差信号によって画像品質を
向上することができる。また、画像を伝送する場合、ル
ープ内の量子化手段の出力を優先的に伝送すれば、情報
の紛失の可能性がある伝送路を使用しても、誤差信号の
みが紛失するため、符号化ループのフレーム間予測に与
える影響を無くすることができ、符号化画像の劣化を最
小限に抑えることができる。
【0051】
【図面の簡単な説明】
【図1】本発明の画像領域検出装置の一実施例の構成を
示すブロック図である。
【図2】図1の画像領域検出装置によって検出する重要
領域の説明図である。
【図3】図1の画像領域検出装置によって検出可能な色
差成分のみで規定できる肌色領域の説明図である。
【図4】図1の画像領域検出装置の動作を説明するため
のフロ−チャ−トである。
【図5】領域検出をするためのベクトル空間の説明図で
ある。
【図6】領域検出をするためのベクトル空間の他の説明
図である。
【図7】本発明の画像符号化装置の一実施例の構成を示
すブロック図である。
【図8】本発明に関連のある画像復号化装置の一実施例
の構成を示すブロック図である。
【図9】従来の画像符号化装置の一構成例を示すブロッ
ク図である。
【図10】従来の画像復号化装置の一構成例を示すブロ
ック図である。
【符号の説明】
11 ブロック分割部 12 フレ−ムメモリ部 13 動き量算出部 14 ブロック微分値算出部 15 輝度ブロック平均算出部 16 正規化輝度算出部 17 フレ−ム平均輝度算出部 18 赤色差ブロック平均算出部 19 青色差ブロック平均算出部 20 ベクトル判定部

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力された画像信号を複数の領域のブロ
    ックに分割する分割手段と、画像信号を記憶する記憶手
    段と、前記入力された画像信号及び前記記憶されている
    画像信号からブロック単位でフレーム毎に動き量を検出
    する動き量検出手段と、各該ブロック内の平均輝度及び
    平均色度を求めるブロック平均輝度色度算出手段と、各
    該ブロック内の輝度の微分値を求める微分値算出手段
    と、フレーム単位でフレーム全体の平均輝度を求めるフ
    レーム平均輝度算出手段と、前記フレーム平均輝度算出
    手段によって算出されたフレーム全体の平均輝度を用い
    て、各ブロック内の平均輝度のフレーム全体の平均輝度
    に対する割合を求める正規化輝度算出手段と、前記動き
    量、前記フレーム全体の平均輝度に対するブロック内の
    平均輝度の割合、前記ブロック内の平均色度及び前記ブ
    ロック内の平均輝度の微分値に基づいて前記複数の領域
    を特定する領域特定手段とを備えていることを特徴とす
    る画像領域検出装置。
  2. 【請求項2】 請求項1に記載された画像領域検出装置
    を備えた画像符号化装置であって、該画像符号化装置
    は、 入力された画像信号と記憶されている画像信号から生成
    される予測画像との差分を求める差分演算手段と、該差
    分を直交変換する直交変換手段と、前記直交変換された
    変換係数を量子化する量子化手段と、前記入力された画
    像信号を複数の領域のブロックに分割し、分割された各
    ブロックが検出すべき特定領域か否かを判別する前記画
    像領域検出装置と、前記量子化手段による量子化によっ
    て生じる前記特定された領域の量子化誤差を求める量子
    化誤差算出手段と、前記量子化誤差算出手段により求め
    られた量子化誤差を再量子化する量子化誤差再量子化手
    段とを備えており、前記量子化手段及び前記量子化誤差
    再量子化手段により量子化されたデータを符号化フォー
    マットにまとめることを特徴とする画像符号化装置。
JP27739492A 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置 Expired - Lifetime JP3133517B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP27739492A JP3133517B2 (ja) 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置
EP19930308151 EP0593275B1 (en) 1992-10-15 1993-10-13 Image signal coding device for reducing the amount of the information in the transmitted image by transmitting specified image areas
DE1993620292 DE69320292T2 (de) 1992-10-15 1993-10-13 Bildsignalcodierungsvorrichtung zur Minderung der Datenmenge in dem übertragenen Bild durch Übertragung von bestimmten Bildregionen
US08/642,601 US5790695A (en) 1992-10-15 1996-05-03 Image coding device for coding image signal to reduce the amount of the information in the image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27739492A JP3133517B2 (ja) 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置

Publications (2)

Publication Number Publication Date
JPH06133300A JPH06133300A (ja) 1994-05-13
JP3133517B2 true JP3133517B2 (ja) 2001-02-13

Family

ID=17582932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27739492A Expired - Lifetime JP3133517B2 (ja) 1992-10-15 1992-10-15 画像領域検出装置、該画像検出装置を用いた画像符号化装置

Country Status (4)

Country Link
US (1) US5790695A (ja)
EP (1) EP0593275B1 (ja)
JP (1) JP3133517B2 (ja)
DE (1) DE69320292T2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US5745178A (en) * 1996-01-22 1998-04-28 Lucent Technologies Inc. Global rate control for model-assisted coding of low bit rate video
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
DE69805505T2 (de) 1997-02-14 2003-01-09 At & T Corp Mit schlüsselregionen kodierte videoobjekte
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
EP0891075A3 (en) * 1997-06-09 2002-03-06 Seiko Epson Corporation An image processing apparatus and method, and an image evaluation device and method
US5987183A (en) * 1997-07-31 1999-11-16 Sony Corporation Image activity data compression and decompression method and apparatus
JP2001522174A (ja) 1997-10-28 2001-11-13 シーメンス アクチエンゲゼルシヤフト デジタル画像の処理方法および処理装置
EP0969674A3 (en) * 1998-07-03 2004-01-02 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6490319B1 (en) * 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding
GB2360160B (en) * 2000-03-07 2003-12-31 Ian Fletcher Improvements in or relating to image indexing systems
JP3659157B2 (ja) 2000-10-17 2005-06-15 日本電気株式会社 映像内容に重み付けをする画像圧縮方式
AU2003239255A1 (en) * 2002-06-28 2004-01-19 Koninklijke Philips Electronics N.V. Spatial scalable compression
JP4203736B2 (ja) * 2002-09-09 2009-01-07 日本ビクター株式会社 画像の動き検出装置及びコンピュータプログラム
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
KR20070024576A (ko) * 2004-06-09 2007-03-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 생체 측정 템플릿 보호 및 특징 처리
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) * 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
US20060117355A1 (en) * 2004-11-29 2006-06-01 Vincent Dureau Pushing content in a two-way network
KR100695141B1 (ko) * 2005-02-15 2007-03-14 삼성전자주식회사 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법
JP4444218B2 (ja) * 2006-02-23 2010-03-31 富士フイルム株式会社 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム
JP2008234619A (ja) * 2007-02-20 2008-10-02 Toshiba Corp 顔認証装置および顔認証方法
JP4661957B2 (ja) * 2008-12-26 2011-03-30 株式会社ニコン 画像マッチング装置、およびカメラ
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP4565273B2 (ja) * 2008-06-06 2010-10-20 株式会社ニコン 被写体追跡装置、およびカメラ
JP4966946B2 (ja) * 2008-10-08 2012-07-04 日本電信電話株式会社 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
US20130294505A1 (en) * 2011-01-05 2013-11-07 Koninklijke Philips N.V. Video coding and decoding devices and methods preserving
CN104915639B (zh) * 2015-05-19 2018-01-09 浙江工业大学 基于混合误差编码的人脸识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2461405A1 (fr) * 1979-07-09 1981-01-30 Temime Jean Pierre Systeme de codage et de decodage d'un signal visiophonique numerique
FI842333A (fi) * 1984-06-08 1985-12-09 Valtion Teknillinen Tutkimuskeskus Foerfarande foer identifiering av de mest foeraendrade bildomraodena i levande videosignal.
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
US4842703A (en) * 1988-02-23 1989-06-27 Eaton Corporation Magnetron cathode and method for sputter coating
US4991223A (en) * 1988-06-30 1991-02-05 American Innovision, Inc. Apparatus and method for recognizing image features using color elements
US4943855A (en) * 1988-07-22 1990-07-24 At&T Bell Laboratories Progressive sub-band image coding system
US5051840A (en) * 1988-12-14 1991-09-24 Fuji Photo Film Co., Ltd. Device for coding a picture signal by compression
JP2995745B2 (ja) * 1989-03-31 1999-12-27 ソニー株式会社 動き情報抽出装置
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JPH03124181A (ja) * 1989-10-09 1991-05-27 Toshiba Corp 動画像符号化方式
US5296945A (en) * 1991-03-13 1994-03-22 Olympus Optical Co., Ltd. Video ID photo printing apparatus and complexion converting apparatus
WO1993014600A1 (en) * 1992-01-21 1993-07-22 Supermac Technology Method and apparatus for compression and decompression of color image data
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US5585944A (en) * 1994-05-10 1996-12-17 Kaleida Labs, Inc. Method for compressing and decompressing images by subdividing pixel color distributions

Also Published As

Publication number Publication date
DE69320292D1 (de) 1998-09-17
JPH06133300A (ja) 1994-05-13
EP0593275B1 (en) 1998-08-12
US5790695A (en) 1998-08-04
EP0593275A1 (en) 1994-04-20
DE69320292T2 (de) 1999-03-11

Similar Documents

Publication Publication Date Title
JP3133517B2 (ja) 画像領域検出装置、該画像検出装置を用いた画像符号化装置
KR100539923B1 (ko) 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법
US6438165B2 (en) Method and apparatus for advanced encoder system
US6414992B1 (en) Optimal encoding of motion compensated video
US5812197A (en) System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
JP4223571B2 (ja) 画像符号化方法及び装置
JP3431331B2 (ja) 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
US7924923B2 (en) Motion estimation and compensation method and device adaptive to change in illumination
JPH08181992A (ja) 動画像符号化装置および領域抽出装置
JPH04196976A (ja) 画像符号化装置
JPH09214963A (ja) イメージ信号を符号化するための方法およびエンコーダ
KR100211916B1 (ko) 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
JP2003264840A (ja) 符号化動画像データの方式変換装置
JPH06133303A (ja) 動画像符号化装置
JP3135015B2 (ja) 画像符号化装置
JP2914607B2 (ja) 画像信号復号化装置
JP2916027B2 (ja) 画像符号化装置
JPH07222173A (ja) 画像処理装置
JPH06169452A (ja) 画面に重み付けを持たせた画像圧縮方式
JP3254425B2 (ja) 画像復号装置
WO2024082971A1 (zh) 一种视频处理方法及相关装置
JP3652889B2 (ja) 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
KR20040066397A (ko) 디지털 영상압축 시스템 및 그 방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081124

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 12

EXPY Cancellation because of completion of term