JPH08149480A - 画像符号化装置 - Google Patents
画像符号化装置Info
- Publication number
- JPH08149480A JPH08149480A JP29104294A JP29104294A JPH08149480A JP H08149480 A JPH08149480 A JP H08149480A JP 29104294 A JP29104294 A JP 29104294A JP 29104294 A JP29104294 A JP 29104294A JP H08149480 A JPH08149480 A JP H08149480A
- Authority
- JP
- Japan
- Prior art keywords
- image
- residual component
- threshold value
- current frame
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 画像データを高効率に圧縮符号化する。
【構成】 画像の中の対象物の特徴点候補領域を探索す
る探索手段１と、画像の動きパラメータを抽出する動き
解析手段２と、動き解析手段２から得られた画像の動き
パラメータを基に、前フレーム画像を用いて現フレーム
の予測画像を合成する合成手段３と、前記予測画像と入
力画像の残差を求め、前記対象物の特徴点候補領域に合
わせて残差成分を符号化する符号化手段４を有する構成
である。
る探索手段１と、画像の動きパラメータを抽出する動き
解析手段２と、動き解析手段２から得られた画像の動き
パラメータを基に、前フレーム画像を用いて現フレーム
の予測画像を合成する合成手段３と、前記予測画像と入
力画像の残差を求め、前記対象物の特徴点候補領域に合
わせて残差成分を符号化する符号化手段４を有する構成
である。
Description
【０００１】
【産業上の利用分野】本発明は、人物顔画像などの動画
像を伝送したり圧縮したりする際の画像データの圧縮技
術を用いた画像符号化装置に関するものである。
像を伝送したり圧縮したりする際の画像データの圧縮技
術を用いた画像符号化装置に関するものである。
【０００２】
【従来の技術】従来の顔画像等の圧縮技術は、例えば、
特開昭６２−１２０１７９号公報に示されている。図５
は、この従来の画像伝送装置のブロック図、図６は、こ
の従来の画像伝送装置の動作を示す略線図である。この
画像伝送装置において、送信機１０１は、動きのある話
者の顔１０５を受信機１０２に送信する。通常の会話で
は、口の領域１０６に比べて顔の大部分の動きは少な
い。したがって、顔１０５に関する一つの画像と口の形
状の変化とを送信することによって送受信情報量を削減
できる。
特開昭６２−１２０１７９号公報に示されている。図５
は、この従来の画像伝送装置のブロック図、図６は、こ
の従来の画像伝送装置の動作を示す略線図である。この
画像伝送装置において、送信機１０１は、動きのある話
者の顔１０５を受信機１０２に送信する。通常の会話で
は、口の領域１０６に比べて顔の大部分の動きは少な
い。したがって、顔１０５に関する一つの画像と口の形
状の変化とを送信することによって送受信情報量を削減
できる。
【０００３】さらに、現実的には発話中の口の形状の変
化を比較的少ない典型的な形状で表現できる。したがっ
て、口の形状の符合表を発生して受信機１０２に送信し
ておけば、口の形状に関して送信すべき情報はその口か
らの形状（例えば、図６中１１１〜１１５に示す形状）
を認識するための符合語シーケンスだけでよい。
化を比較的少ない典型的な形状で表現できる。したがっ
て、口の形状の符合表を発生して受信機１０２に送信し
ておけば、口の形状に関して送信すべき情報はその口か
らの形状（例えば、図６中１１１〜１１５に示す形状）
を認識するための符合語シーケンスだけでよい。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
この手法によると、入力画像において顔画像全体を動か
す場合、顔に対する口の位置と送信する領域の位置を画
素単位で正確に検出する必要があり、これが少しでもず
れた場合、領域の境界で画像のずれが認知され、不自然
な顔の画像となってしまうため実用化が困難であった。
また、口の画像から、口の形状の符合表を正確に認識す
るための、処理時間が必要となるため、時間遅れを生じ
る。
この手法によると、入力画像において顔画像全体を動か
す場合、顔に対する口の位置と送信する領域の位置を画
素単位で正確に検出する必要があり、これが少しでもず
れた場合、領域の境界で画像のずれが認知され、不自然
な顔の画像となってしまうため実用化が困難であった。
また、口の画像から、口の形状の符合表を正確に認識す
るための、処理時間が必要となるため、時間遅れを生じ
る。
【０００５】本発明は上記課題を解決するもので、画像
データを高効率に圧縮符号化する画像符号化装置を提供
することを目的とする。
データを高効率に圧縮符号化する画像符号化装置を提供
することを目的とする。
【０００６】
【課題を解決するための手段】本発明は上記目的を達成
するため、画像の中の対象物の特徴点候補領域を探索す
る探索手段と、予測画像と入力画像の残差を求める手段
と、前記対象物の特徴点候補領域に合わせて残差成分を
符号化する符号化手段を有する。
するため、画像の中の対象物の特徴点候補領域を探索す
る探索手段と、予測画像と入力画像の残差を求める手段
と、前記対象物の特徴点候補領域に合わせて残差成分を
符号化する符号化手段を有する。
【０００７】
【作用】まず、画像の中の対象物の特徴点候補を探索す
る手段によって、画像中の対象物（例えば顔）の特徴点
（例えば目や口）などの候補位置が、信頼度関数に合わ
せて抽出される。また、前フレーム画像をそのまま予測
画像とするか、または画像の動きパラメータから、前フ
レームの画像を用いて予測画像を合成する手段によっ
て、現フレームの予測画像を得ることができるので、こ
の予測画像と入力画像の差分をとり、この残差成分を符
号化する。送信側から、残差成分の符号化データを伝送
する。または画像の動きパラメータと合わせて伝送す
る。このとき、残差成分を全て符号化し送信すると送信
データが大きくなるので、画像中の目や口などの候補位
置の信頼度関数に合わせて符号化することによって、画
像中の対象物の特徴点の重要な変化を優先的に符号化デ
ータに残すことができる。
る手段によって、画像中の対象物（例えば顔）の特徴点
（例えば目や口）などの候補位置が、信頼度関数に合わ
せて抽出される。また、前フレーム画像をそのまま予測
画像とするか、または画像の動きパラメータから、前フ
レームの画像を用いて予測画像を合成する手段によっ
て、現フレームの予測画像を得ることができるので、こ
の予測画像と入力画像の差分をとり、この残差成分を符
号化する。送信側から、残差成分の符号化データを伝送
する。または画像の動きパラメータと合わせて伝送す
る。このとき、残差成分を全て符号化し送信すると送信
データが大きくなるので、画像中の目や口などの候補位
置の信頼度関数に合わせて符号化することによって、画
像中の対象物の特徴点の重要な変化を優先的に符号化デ
ータに残すことができる。
【０００８】受信側で、前フレームの画像から、（画像
の動きパラメータを用いて）得られる予測画像に、残差
成分の符号化データから復号化された残差成分を加える
ことによって、現フレームの画像を合成できる。候補位
置の信頼度関数に合わせて、残差成分を符号化すると
き、たとえば、信頼度関数に合わせて残差成分の閾値を
調整するような処理で実現できるので、顔に対する目や
口の位置の検出精度の誤差が、直接合成画像に致命的な
劣化を生じさせることがないので、従来例のように画素
単位で正確に位置を検出しないと不自然な画像になって
しまうという欠点がなく、安定であり、よって実用化可
能となる。
の動きパラメータを用いて）得られる予測画像に、残差
成分の符号化データから復号化された残差成分を加える
ことによって、現フレームの画像を合成できる。候補位
置の信頼度関数に合わせて、残差成分を符号化すると
き、たとえば、信頼度関数に合わせて残差成分の閾値を
調整するような処理で実現できるので、顔に対する目や
口の位置の検出精度の誤差が、直接合成画像に致命的な
劣化を生じさせることがないので、従来例のように画素
単位で正確に位置を検出しないと不自然な画像になって
しまうという欠点がなく、安定であり、よって実用化可
能となる。
【０００９】また、候補位置の信頼度関数を得るための
処理は、単純なマッチングで実現することも可能となる
ので、処理時間を小さくすることもできる。
処理は、単純なマッチングで実現することも可能となる
ので、処理時間を小さくすることもできる。
【００１０】
【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１は、本発明の一実施例を示す画
像処理装置のブロック図である。
しながら説明する。図１は、本発明の一実施例を示す画
像処理装置のブロック図である。
【００１１】図１において、１は画像の中の対象物の特
徴点候補領域を探索する探索手段、２は画像の動きパラ
メータを抽出する動き解析手段、３は得られた画像の動
きパラメータを基に、前フレーム画像を用いて現フレー
ムの予測画像を合成する合成手段、４は前記予測画像と
入力画像の残差成分を、前記対象物の特徴点候補領域に
合わせて符号化する符号化手段、５は送信側の復号化手
段、６は受信側の復号化手段、７は合成手段、８は閾値
処理手段である。
徴点候補領域を探索する探索手段、２は画像の動きパラ
メータを抽出する動き解析手段、３は得られた画像の動
きパラメータを基に、前フレーム画像を用いて現フレー
ムの予測画像を合成する合成手段、４は前記予測画像と
入力画像の残差成分を、前記対象物の特徴点候補領域に
合わせて符号化する符号化手段、５は送信側の復号化手
段、６は受信側の復号化手段、７は合成手段、８は閾値
処理手段である。
【００１２】探索手段１は、図２、１１〜１５に示すよ
うに、対象物、例えば顔のモデルを複数持ち、入力画像
１６のエッジ成分について、テンプレートマッチングを
行ない、ある一モデルと入力画像１６が最も一致する位
置を１７に示すように求まる場合、この結果より、目と
口の候補領域が１８に示すように求まる。このとき、信
頼度関数として、画像領域ｘ−ｙについて、この目と口
の候補領域は１．０を出力し、他の領域は０．０を出力
する。
うに、対象物、例えば顔のモデルを複数持ち、入力画像
１６のエッジ成分について、テンプレートマッチングを
行ない、ある一モデルと入力画像１６が最も一致する位
置を１７に示すように求まる場合、この結果より、目と
口の候補領域が１８に示すように求まる。このとき、信
頼度関数として、画像領域ｘ−ｙについて、この目と口
の候補領域は１．０を出力し、他の領域は０．０を出力
する。
【００１３】また、１９に示すように複数のモデルが同
時に入力画像に良く一致する場合、目と口の候補領域が
２０に示すように複数求まり、このとき信頼度関数とし
て、画像領域ｘ−ｙについて、この目と口の候補領域に
それぞれの一致度を加算して０〜１．０の値を出力し、
全く候補領域となっていない領域は、０．０を出力す
る。
時に入力画像に良く一致する場合、目と口の候補領域が
２０に示すように複数求まり、このとき信頼度関数とし
て、画像領域ｘ−ｙについて、この目と口の候補領域に
それぞれの一致度を加算して０〜１．０の値を出力し、
全く候補領域となっていない領域は、０．０を出力す
る。
【００１４】動き解析手段２には、前フレームでの、合
成手段３の出力と復号化手段５の出力の加算、つまり前
フレームでの復号化された画像が、図３の２１に示すよ
うに入力される。また、図３の２２に示すように、現フ
レームの画像が入力される。また、探索手段１の探索結
果から大まかな顔の位置が入力される。この大まかな顔
の位置をもとに、前フレーム画像２１から現フレームの
画像２２への動きパラメータを図３の２３に示すように
抽出する。
成手段３の出力と復号化手段５の出力の加算、つまり前
フレームでの復号化された画像が、図３の２１に示すよ
うに入力される。また、図３の２２に示すように、現フ
レームの画像が入力される。また、探索手段１の探索結
果から大まかな顔の位置が入力される。この大まかな顔
の位置をもとに、前フレーム画像２１から現フレームの
画像２２への動きパラメータを図３の２３に示すように
抽出する。
【００１５】合成手段３は、動き解析手段２から得られ
た動きパラメータに基づいて、前フレーム画像２１を変
形することにより、現フレームの予測画像を図３の２４
に示すように合成する。閾値処理手段８は、現フレーム
の予測画像２４と現フレームの画像２２の残差成分２５
を入力し、また探索手段１から得られた信頼度関数２６
を入力する。画像領域ｘ−ｙについて、信頼度関数が
１．０のときは、閾値を０とし、信頼度関数が０．０に
近付くにつれて閾値を大きくするように調整し、残差成
分２５を閾値処理した結果を、図３の２７に示すように
求め、これを出力する。
た動きパラメータに基づいて、前フレーム画像２１を変
形することにより、現フレームの予測画像を図３の２４
に示すように合成する。閾値処理手段８は、現フレーム
の予測画像２４と現フレームの画像２２の残差成分２５
を入力し、また探索手段１から得られた信頼度関数２６
を入力する。画像領域ｘ−ｙについて、信頼度関数が
１．０のときは、閾値を０とし、信頼度関数が０．０に
近付くにつれて閾値を大きくするように調整し、残差成
分２５を閾値処理した結果を、図３の２７に示すように
求め、これを出力する。
【００１６】符号化手段４は、閾値処理した残差成分２
７を、波形符号化し出力する。図１に示す送信器２０１
側は、この閾値処理した残差成分２７と、動き解析手段
２の出力の動きパラメータを、受信器側２０２に送信す
る。
７を、波形符号化し出力する。図１に示す送信器２０１
側は、この閾値処理した残差成分２７と、動き解析手段
２の出力の動きパラメータを、受信器側２０２に送信す
る。
【００１７】受信器側２０２の合成手段７には、前フレ
ームでの合成手段７出力と復号化手段６の出力の加算、
つまり前フレームでの受信器の出力画像が図４の３１に
示すように入力され、これを送信されてきた動きパラメ
ータ２３に基づいて変形することにより、現フレームの
予測画像３４を合成する。復号化手段６は、送信されて
きた残差成分の符号化データから、残差成分２７を復号
する。
ームでの合成手段７出力と復号化手段６の出力の加算、
つまり前フレームでの受信器の出力画像が図４の３１に
示すように入力され、これを送信されてきた動きパラメ
ータ２３に基づいて変形することにより、現フレームの
予測画像３４を合成する。復号化手段６は、送信されて
きた残差成分の符号化データから、残差成分２７を復号
する。
【００１８】受信器側２０２は、合成手段７から得られ
る現フレームの予測画像３４と、復号化手段６から得ら
れる現フレームの予測画像と現フレームの画像の残差成
分２７を加算することにより、現フレームでの画像３２
を求めこれを出力する。
る現フレームの予測画像３４と、復号化手段６から得ら
れる現フレームの予測画像と現フレームの画像の残差成
分２７を加算することにより、現フレームでの画像３２
を求めこれを出力する。
【００１９】なお、本実施例では、予測画像を得るため
に、前フレームと現フレームの間の動きパラメータを解
析し、この動きパラメータにしたがって、前フレームの
画像を変形することによって予測画像を合成していた
が、これを省略し、前フレームの画像をそのまま予測画
像としても良い。この場合、送信側は、残差成分の符号
化データのみを送信すれば良い。受信側は、前フレーム
の画像に逐次、復号化された残差成分を加えることによ
って、現フレームの画像を合成できる。
に、前フレームと現フレームの間の動きパラメータを解
析し、この動きパラメータにしたがって、前フレームの
画像を変形することによって予測画像を合成していた
が、これを省略し、前フレームの画像をそのまま予測画
像としても良い。この場合、送信側は、残差成分の符号
化データのみを送信すれば良い。受信側は、前フレーム
の画像に逐次、復号化された残差成分を加えることによ
って、現フレームの画像を合成できる。
【００２０】また、本実施例では、画像の符号化装置を
画像伝送装置に応用した例を示したが、画像を圧縮し記
憶蓄積する装置にも応用可能なことは明らかである。
画像伝送装置に応用した例を示したが、画像を圧縮し記
憶蓄積する装置にも応用可能なことは明らかである。
【００２１】
【発明の効果】以上のように本発明によれば、画像の中
の対象物の特徴点候補を探索する手段によって、画像中
の対象物（例えば顔）の特徴点（例えば目や口）などの
候補位置が信頼度関数に合わせて抽出され、この画像中
の目や口などの候補位置の信頼度関数に合わせて、現フ
レームの予測画像と入力画像の残差成分を符号化するこ
とにより、画像中の対象物の特徴点の重要な変化を優先
的に符号化データに残すことができる。
の対象物の特徴点候補を探索する手段によって、画像中
の対象物（例えば顔）の特徴点（例えば目や口）などの
候補位置が信頼度関数に合わせて抽出され、この画像中
の目や口などの候補位置の信頼度関数に合わせて、現フ
レームの予測画像と入力画像の残差成分を符号化するこ
とにより、画像中の対象物の特徴点の重要な変化を優先
的に符号化データに残すことができる。
【００２２】よって、画像データを高効率に圧縮符号化
することができ、そこから復号化された画像のなかで
は、対象物の重要な特徴の変化が良く再現されるので、
その情報効果は大きい。
することができ、そこから復号化された画像のなかで
は、対象物の重要な特徴の変化が良く再現されるので、
その情報効果は大きい。
【００２３】また、候補位置の信頼度関数に合わせて、
残差成分を符号化する構成となっているため、対象物の
特徴点の候補位置の検出精度の誤差が、直接合成画像に
致命的な劣化を生じさせることがないので、従来例のよ
うに画素単位で正確に位置を検出しないと不自然な画像
になってしまうという欠点がなく、撮影条件等によって
検出精度が変化した場合でも、復号化画像の画質の劣化
は少なく安定であり、よって実用的効果は大きい。
残差成分を符号化する構成となっているため、対象物の
特徴点の候補位置の検出精度の誤差が、直接合成画像に
致命的な劣化を生じさせることがないので、従来例のよ
うに画素単位で正確に位置を検出しないと不自然な画像
になってしまうという欠点がなく、撮影条件等によって
検出精度が変化した場合でも、復号化画像の画質の劣化
は少なく安定であり、よって実用的効果は大きい。
【００２４】また、候補位置の信頼度関数を得るための
処理は、単純なマッチングで実現することも可能となる
ので、必要な速度、回路規模を用途に合わせて調整でき
るので、その産業的応用範囲は広い。
処理は、単純なマッチングで実現することも可能となる
ので、必要な速度、回路規模を用途に合わせて調整でき
るので、その産業的応用範囲は広い。
【図１】本発明の一実施例を示す画像圧縮伝送装置のブ
ロック図
ロック図
【図２】本実施例の画像圧縮伝送装置の動作を示す略線
図
図
【図３】本実施例の画像圧縮伝送装置の動作を示す略線
図
図
【図４】本実施例の画像圧縮伝送装置の動作を示す略線
図
図
【図５】従来例の画像伝送装置のブロック図
【図６】従来例の画像伝送装置の動作を示す略線図
１ 探索手段 ２ 動き解析手段 ３ 合成手段 ４ 符号化手段 ５ 復号化手段 ６ 復号化手段 ７ 合成手段 ８ 閾値処理手段
Claims (3)
- 【請求項１】画像の中の対象物の特徴点候補領域を探索
する探索手段と、予測画像と入力画像の残差を求める手
段と、前記対象物の特徴点候補領域に合わせて残差成分
を符号化する符号化手段を有することを特徴とした画像
符号化装置。 - 【請求項２】画像の中の対象物の特徴点候補領域を探索
する探索手段と、画像の動きパラメータを抽出する動き
抽出手段と、前記動き抽出手段から得られた画像の動き
パラメータを基に、前フレーム画像を用いて現フレーム
の予測画像を合成する合成手段と、前記予測画像と入力
画像の残差を求める手段と、前記対象物の特徴点候補領
域に合わせて残差成分を符号化する符号化手段を有する
ことを特徴とした画像符号化装置。 - 【請求項３】符号化手段は、特徴領域の探索結果に合わ
せて閾値を調整して、残差成分を閾値処理した結果を符
号化することを特徴とした請求項１または２記載の画像
符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29104294A JPH08149480A (ja) | 1994-11-25 | 1994-11-25 | 画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29104294A JPH08149480A (ja) | 1994-11-25 | 1994-11-25 | 画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08149480A true JPH08149480A (ja) | 1996-06-07 |
Family
ID=17763692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29104294A Pending JPH08149480A (ja) | 1994-11-25 | 1994-11-25 | 画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08149480A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11136498A (ja) * | 1997-08-29 | 1999-05-21 | Eastman Kodak Co | 赤目検出用コンピュータプログラム物 |
| US7983530B2 (en) | 2005-11-07 | 2011-07-19 | Sony Corporation | Recording and playback apparatus and recording and playback method, recording apparatus and recording method, playback apparatus and playback method, and program |
-
1994
- 1994-11-25 JP JP29104294A patent/JPH08149480A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11136498A (ja) * | 1997-08-29 | 1999-05-21 | Eastman Kodak Co | 赤目検出用コンピュータプログラム物 |
| US7983530B2 (en) | 2005-11-07 | 2011-07-19 | Sony Corporation | Recording and playback apparatus and recording and playback method, recording apparatus and recording method, playback apparatus and playback method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2405382B1 (en) | Region-of-interest tracking method and device for wavelet-based video coding | |
| EP0313612B1 (en) | Video image processing | |
| EP0614318A2 (en) | Video encoder, video decoder, and video motion estimation apparatus | |
| US20050159958A1 (en) | Image processing apparatus, method and program | |
| KR960016581A (ko) | 화상 부호화/복호화 장치 | |
| KR20020021789A (ko) | 모델을 이용하여 영상에서 오브젝트의 위치를 정하는시스템 및 방법 | |
| KR19990008977A (ko) | 윤곽선 부호화 방법 | |
| EP0459363B1 (en) | Voice signal coding system | |
| CN114419702A (zh) | 数字人生成模型、模型的训练方法以及数字人生成方法 | |
| JP2002058031A (ja) | 画像符号化方法及び装置、並びに、画像復号化方法及び装置 | |
| US20070036217A1 (en) | Motion picture encoding method and device | |
| JP3242362B2 (ja) | 映像符号化装置、および映像符号化プログラムを記録した記録媒体 | |
| DE60238458D1 (de) | Speicheradressierung während der Dekodierung eines Audiosignals | |
| KR19990074808A (ko) | 물체 기반 부호화 시스템의 보조 정보 부호화 장치 | |
| KR100239307B1 (ko) | 윤곽선 영상 부호화기 | |
| JPH08149480A (ja) | 画像符号化装置 | |
| EP1156444B1 (en) | Detection of circular pattern in digital image | |
| JPH05197810A (ja) | 映像によるコマンド入力処理方法 | |
| JP2795150B2 (ja) | 動画像の再現装置及び符号化・復号システム | |
| JP4714102B2 (ja) | 画像符号化装置、方法およびシステム | |
| CN110033488B (zh) | 一种基于压缩信息的自适应光源方向分析方法及系统 | |
| US6788741B1 (en) | Device and method of retrieving high-speed motion | |
| JP2507300B2 (ja) | 動き補償符号化方法およびその装置 | |
| JPH08205172A (ja) | 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置 | |
| JPH10178638A (ja) | 文字領域符号化方法、復号方法、文字領域符号化装置および復号装置 |