JP3224514B2 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置

Info

Publication number
JP3224514B2
JP3224514B2 JP7209597A JP7209597A JP3224514B2 JP 3224514 B2 JP3224514 B2 JP 3224514B2 JP 7209597 A JP7209597 A JP 7209597A JP 7209597 A JP7209597 A JP 7209597A JP 3224514 B2 JP3224514 B2 JP 3224514B2
Authority
JP
Japan
Prior art keywords
image
layer frame
lower layer
area
upper layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7209597A
Other languages
English (en)
Other versions
JPH10117355A (ja
Inventor
裕之 堅田
典男 伊藤
友子 青野
寛 草尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP7209597A priority Critical patent/JP3224514B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to KR1019997001407A priority patent/KR100320052B1/ko
Priority to EP97922080A priority patent/EP0921687A4/en
Priority to CA 2263770 priority patent/CA2263770C/en
Priority to US09/242,452 priority patent/US6693960B2/en
Priority to PCT/JP1997/001659 priority patent/WO1998008343A1/ja
Priority to CNB971988129A priority patent/CN1187987C/zh
Publication of JPH10117355A publication Critical patent/JPH10117355A/ja
Application granted granted Critical
Publication of JP3224514B2 publication Critical patent/JP3224514B2/ja
Priority to US10/695,749 priority patent/US20040086043A1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置、および符号化データを復号する動画像復
号装置に関するものである。
【０００２】
【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。文献「階層表
現と多重テンプレートを用いた画像符号化」（信学技報
ＩＥ９４−１５９、ｐｐ９９−１０６（１９９５））で
は、背景となる動画像シーケンスと前景となる部品動画
像の動画像シーケンス（例えばクロマキー技術によって
切り出された人物画像や魚の映像など）を重畳して新た
なシーケンスを作成する手法が述べられている。
【０００３】また文献「画像内容に基づく時間階層符号
化」（“Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ
ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｃｏｎｔｅｎｔ”，Ｉ
ＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥ
Ｇ９５／２１１（１９９５））では、フレームレートの
低い動画像シーケンスにフレームレートの高い部品動画
像の動画像シーケンスを重畳して新たなシーケンスを作
成する手法が述べられている。
【０００４】この方式では図１５に示すように下位レイ
ヤでは低いフレームレートで予測符号化が行われ、上位
レイヤでは選択領域（網点部）についてのみ高いフレー
ムレートで予測符号化が行われる。ただし、上位レイヤ
まで復号した画像フレームは、下位レイヤで復号した画
像フレームと上位レイヤで復号した領域を重畳すること
で得られる。また、下位レイヤで符号化したフレームは
上位レイヤでは符号化せず、下位レイヤの復号画像をそ
のままコピーして用いる。また、選択領域としては例え
ば人物部分など視聴者の注目が集まる部分が選ばれてい
るものとする。
【０００５】図１１に従来手法のブロック図を示す。ま
ず従来手法の符号化側では、入力動画像は第１の駒落し
部１１０１及び第２の駒落し部１１０２によってフレー
ム間引きされ、入力画像のフレームレート以下とされた
後それぞれ上位レイヤ符号化部及び下位レイヤ符号化部
に入力される。ここで上位レイヤのフレームレートは下
位レイヤのフレームレート以上であるとする。
【０００６】下位レイヤ符号化部１１０４では入力され
た動画像全体が符号化される。符号化方式としては例え
ばＭＰＥＧやＨ．２６１などの動画像符号化国際標準化
方式が用いられる。下位レイヤ符号化部１１０４ではま
た、下位レイヤの復号画像が作成され、予測符号化に利
用されると同時に重畳部１１０５に入力される。
【０００７】図１１の上位レイヤ符号化部１１０３では
入力された動画像の選択領域のみが符号化される。ここ
でもＭＰＥＧやＨ．２６１などの動画像符号化国際標準
化方式が用いられるが、領域情報に基づいて選択領域の
みを符号化する。ただし下位レイヤで符号化されたフレ
ームは上位レイヤでは符号化されない。領域情報は人物
部などの選択領域を示す情報であり、例えば選択領域の
位置で値１、それ以外の位置で値０をとる２値画像であ
る。上位レイヤ符号化部１１０３ではまた、動画像の選
択領域のみが復号され、重畳部１１０５に入力される。
【０００８】領域情報符号化部１１０６では領域情報が
チェイン符号などを利用して符号化される。重畳部１１
０５は重畳対象フレームで下位レイヤフレームが符号化
されている場合、下位レイヤの復号画像を出力する。重
畳対象フレームで下位レイヤフレームが符号化されてい
ない場合は、重畳対象フレームの前後２枚の符号化され
た下位レイヤの復号画像と１枚の上位レイヤ復号画像を
用いて動画像を出力する。下位レイヤの２枚の画像フレ
ームは上位レイヤフレームの前及び後である。ここで作
成された動画像は上位レイヤ符号化部１１０３に入力さ
れ、予測符号化に利用される。重畳部１１０５における
画像作成方法は以下の通りである。
【０００９】まず、２枚の下位レイヤの補間画像が作成
される。時間ｔにおける下位レイヤの復号画像をＢ
（ｘ，ｙ，ｔ）（ただし、ｘ，ｙは空間内の画素位置を
表す座標である）とし、２枚の下位レイヤの時間をそれ
ぞれｔ１，ｔ２、上位レイヤの時間をｔ３（ただし、ｔ
１＜ｔ３＜ｔ２である）とすると時間ｔ３における補間
画素Ｉ（ｘ，ｙ，ｔ３）は、次式（１）によって計算さ
れる。
【００１０】 Ｉ（ｘ，ｙ，ｔ３）＝［（ｔ２−ｔ３）Ｂ（ｘ，ｙ，ｔ１） ＋（ｔ３−ｔ１）Ｂ（ｘ，ｙ，ｔ２）］／（ｔ２−ｔ１）・・・（１）
【００１１】次に上式（１）で求めた補間画像Ｉに上位
レイヤの復号画像Ｅを重畳する。このために、領域情報
Ｍ（ｘ，ｙ，ｔ）から重畳のための重み情報Ｗ（ｘ，
ｙ，ｔ）を作成し、次式（２）によって重畳画像Ｓを得
る。
【００１２】 Ｓ（ｘ，ｙ，ｔ）＝［１−Ｗ（ｘ，ｙ，ｔ）］Ｉ（ｘ，ｙ，ｔ） ＋Ｅ（ｘ，ｙ，ｔ）Ｗ（ｘ，ｙ，ｔ）・・・（２）
【００１３】ここで、領域情報Ｍ（ｘ，ｙ，ｔ）は選択
領域内で１、選択領域外で０の値をとる２値画像であ
り、この画像に低域通過フィルタを複数回施す事によっ
て重み情報Ｗ（ｘ，ｙ，ｔ）を得る事ができる。すなわ
ち重み情報Ｗ（ｘ，ｙ，ｔ）は選択領域内で１、選択領
域外で０、選択領域の境界部で０〜１の値をとる。以上
が重畳部１１０５における画像作成方法の説明である。
下位レイヤ符号化部、上位レイヤ符号化部、領域情報符
号化部で符号化された符号化データは、図示しない符号
化データ統合部で統合され、伝送あるいは蓄積される。
【００１４】次に、従来手法の復号側では、符号化デー
タが図示しない符号化データ分解部にて下位レイヤの符
号化データ、上位レイヤの符号化データ、領域情報の符
号化データに分解される。これらの符号化データは、図
１１に示すように下位レイヤ復号部１１０８、上位レイ
ヤ復号部１１０７及び領域情報復号部１１０９によって
復号される。
【００１５】復号側の重畳部１１１０は符号化側の重畳
部１１０５と同一の装置からなり、下位レイヤ復号画像
と上位レイヤ復号画像を用い、符号化側の説明で述べた
ものと同一の方法によって画像が重畳される。ここで重
畳された動画像はディスプレイに表示されると共に上位
レイヤ復号部１１０７に入力され、上位レイヤの予測に
利用される。ここでは下位レイヤと上位レイヤの両方を
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ符号化部１
１０７、重畳部１１１０が不要であり、少ないハードウ
ェア規模で符号化データの一部を再生する事ができる。
【００１６】ところでこの時、下位レイヤと上位レイヤ
のフレームレートが異なっているため、上位レイヤに対
応する下位レイヤは時間的に前後の下位レイヤフレーム
から合成する必要がある。ところが、２枚の下位レイヤ
復号画像と１枚の上位レイヤ復号画像から出力画像を得
る際に２枚の下位レイヤの補間によって合成するため、
選択領域の位置が時間的に変化する場合に選択領域周辺
に大きな歪みが発生し、画質を大きく劣化させてしま
う。
【００１７】これを、文献「画像内容に基づく時間階層
符号化」（“Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔ
ｙ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｍａｇ
ｅｃｏｎｔｅｎｔ”，ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ
２９／ＷＧ１１ ＭＰＥＧ９５／０３７７（１９９
５））などの手法を用いて解消することができる。図１
４は前記文献に示されたこの問題の解決手法を説明する
ものである。図１４（ａ）において、画像Ａ、Ｃは下位
レイヤの２枚の復号画像、画像Ｂは上位レイヤの復号画
像であり、表示時間順はＡ、Ｂ、Ｃの順である。ただ
し、選択領域を斜線で示している。
【００１８】また、上位レイヤでは選択領域のみが符号
化されるため選択領域外を破線で示している。選択領域
が図中矢印の向きに動いているため、画像Ａと画像Ｃか
ら求めた補間画像は図１４（ｂ）の網点部のように２つ
の選択領域が重複したものになる。さらに画像Ｂを式
（２）を用いて重畳すると、出力画像は図１４（ｃ）に
示すように３つの選択領域が重複した画像となる。
【００１９】特に上位レイヤの選択領域周辺（外側）に
下位レイヤの選択領域が残像のようにあらわれ、画質が
大きく劣化する。動画像全体としては下位レイヤのみが
表示されている時には上記の歪みがなく、上位レイヤと
下位レイヤの重畳画像が表示されている時には上記の歪
みが現われるため、フリッカ的歪みが発生し非常に大き
な画質劣化となる。しかし、図１４（ｃ）の左側の網点
部は画像Ｃより得ることができ、また、図１４（ｃ）の
右側の網点部は画像Ａより得ることができるため、こう
して合成した下位レイヤを用いれば前記歪みは解消でき
る。
【００２０】図１２は前記文献に示された従来の画像重
畳装置のブロック図を示す。図１２の第１の領域抽出部
１２０１は、下位レイヤの第１の領域情報及び下位レイ
ヤの第２の領域情報から第１の領域でありかつ第２の領
域でない領域を抽出する。図１３（ａ）で第１の領域情
報を点線で（点線内部が値０、点線外部が値１を持つも
のとする）表し、同様に第２の領域情報を破線であらわ
すとすると、第１の領域抽出部１２０１で抽出される領
域は図１３の斜線部となる。
【００２１】図１２の第２の領域抽出部１２０２は、下
位レイヤの第１の領域情報及び下位レイヤの第２の領域
情報から第２の領域領域でありかつ第１の領域でない領
域を抽出する。図１３（ａ）の場合、網点部が抽出され
る。
【００２２】図１２のコントローラ１２０３は、第１の
領域抽出部１２０１及び第２の領域抽出部１２０２の出
力によりスイッチ１２０４を制御する部分である。すな
わち、注目画素位置が第１の領域のみの場合にはスイッ
チ１２０４を第２の復号画像側に接続し、注目画素位置
が第２の領域のみの場合にはスイッチ１２０４を第１の
復号画像側に接続し、それ以外の場合にはスイッチ１２
０４を補間画像作成部１２０５からの出力に接続する。
【００２３】図１２の補間画像作成部１２０５は、下位
レイヤの第１の復号画像と下位レイヤの第２の復号画像
との補間画像を、式（１）に従って計算する。ただし、
式（１）において、Ｂ（ｘ，ｙ，ｔ１）は第１の復号画
像、Ｂ（ｘ，ｙ，ｔ２）は第２の復号画像、Ｉ（ｘ，
ｙ，ｔ３）は補間画像であり、ｔ１，ｔ２，ｔ３はそれ
ぞれ第１の復号画像、第２の復号画像及び補間画像の時
間である。
【００２４】以上のようにして画像を作成するので、例
えば図１３（ａ）の場合、斜線部では第２の復号画像が
使用されるため選択領域外部の背景画素があらわれ、網
点部では第１の復号画像が使用されるため選択領域外部
の背景画素があらわれ、それ以外の部分では第１の復号
画像と第２の復号画像の補間画像があらわれる。
【００２５】このようにして作成された画像の上に図１
２の加重平均部１２０６によって上位レイヤの復号画像
を重ねるため、重畳された画像は図１３（ｂ）のように
選択領域（斜線部分）周辺に残像がなく、歪みの少ない
画像が得られる。図１２の加重平均部１２０６は、上記
の合成画像と上位レイヤの復号画像を加重平均によって
重畳する。
【００２６】
【発明が解決しようとする課題】しかしながら、従来の
装置によれば以下のような問題があった。 （１）部品領域の動きによる形状変化の度合が小さい場
合に、従来手法では大きな画質改善が期待できず、ま
た、上位レイヤの部品形状に対応する前後２つの形状情
報を符号化する必要があるため、テクスチャ情報符号化
に使用できる符号量が相対的に減るため、結果的に画質
低下を招くという問題（第１の問題）がある。
【００２７】（２）従来手法は部品領域が一方に動く場
合には効果があるが、部品画像が往復するような動きを
する場合には、部品の背後の情報を原理的に得ることが
できず、画質改善が見られないという問題（第２の問
題）がある。図８及び図１０はこの問題を説明するため
の図である。例えば、図１０の画像ＡとＣにおける部品
画像領域の重なった領域の背景画像（図８斜線領域）は
画像ＡとＣより得ることはできない。
【００２８】（３）従来手法では、上位レイヤの画像に
対して時間的に前後する下位レイヤが必要であるが、画
像シーケンスの最初や最後、あるいはシーンチェンジの
前後などで下位レイヤフレームの一方が存在しない場合
があり得る。そのため、部品画像の周囲で画質改善が見
られないという問題（第３の問題）がある。
【００２９】（４）従来手法は、図１３（ａ）に示す４
つの領域毎に、選択的に補間処理を切替える必要があ
り、処理が複雑になるという問題（第４の問題）があ
る。
【００３０】本発明は、特に上記第１、２、４の問題に
鑑みてなされたものであり、復号画像の品質を劣化させ
ることなく、符号化後のデータ量を削減することができ
る動画像符号化装置および動画像復号装置を提供するこ
とを課題とする。
【００３１】
【課題を解決するための手段】本願請求項１に記載の発
明に係る画像符号化装置は、一つの動画像シーケンスを
低いフレームレートの下位レイヤと高いフレームレート
の上位レイヤとに分離する手段と、前記下位レイヤにお
いて、前記動画像シーケンスの画像全体を符号化する下
位レイヤ符号化手段と、前記上位レイヤにおいて、前記
動画像シーケンスの画像の一部領域を部品画像として符
号化する上位レイヤ符号化手段と、前記動画像シーケン
スの画像の一部領域形状を示す領域情報を符号化する領
域情報符号化手段と、前記上位レイヤフレームに時間的
に対応する下位レイヤフレームが存在しない場合、該上
位レイヤフレームに時間的に対応する下位レイヤフレー
ムを、時間的にその前又は後に存在する下位レイヤフレ
ームを用いて、背景画像として生成し、該背景画像に前
記上位レイヤフレームの部品画像を重畳する重畳手段と
を備え、前記重畳手段により作成された画像を利用し
て、前記上位レイヤを予測符号化する動画像符号化装置
であって、前記重畳手段は、前記上位レイヤフレームの
部品画像により覆うことのできない前記下位レイヤフレ
ームの部品画像領域が、所定のしきい値よりも大きい場
合、前記上位レイヤフレームの時間的に前後に存在する
下位レイヤフレームを加重平均して得られるフレーム
と、前記上位レイヤフレームの時間的に前又は後に存在
する下位レイヤフレームとを合成することによって、前
記背景画像を生成し、前記上位レイヤフレームの部品画
像により覆うことのできない前記下位レイヤフレームの
部品画像領域が、所定のしきい値よりも小さい場合、前
記上位レイヤフレームの時間的に前後に存在する下位レ
イヤフレームを加重平均することによって、前記背景画
像を生成することを特徴とする。
【００３２】本願請求項２に記載の発明に係る画像符号
化装置は、前記請求項１に記載の動画像符号化装置にお
いて、前記重畳手段は、前記上位レイヤフレームの部品
画像により覆うことのできない前記下位レイヤフレーム
の部品画像領域が、所定のしきい値よりも大きい場合、
前記上位レイヤフレームの時間的に前に存在する下位レ
イヤフレームにおける前記動画像シーケンスの画像の一
部領域に対応する第１部品画像領域と、前記上位レイヤ
フレームの時間的に後に存在する下位レイヤフレームに
おける前記動画像シーケンスの画像の一部領域に対応す
る第２部品画像領域とが重なる領域、もしくは、前記第
１部品画像領域でも前記第２部品画像領域でもない領域
に対して、前記上位レイヤフレームの時間的に前後に存
在する下位レイヤフレームを加重平均し、前記第１部品
画像領域のみの領域に対して、前記上位レイヤフレーム
の時間的に後に存在する下位レイヤフレームを用い、前
記第２部品画像領域のみの領域に対して、前記上位レイ
ヤフレームの時間的に前に存在する下位レイヤフレーム
を用いることによって、前記背景画像を生成することを
特徴とする。
【００３３】本願請求項３に記載の発明に係る画像符号
化装置は、前記請求項１に記載の動画像符号化装置にお
いて、前記重畳手段は、前記上位レイヤフレームの部品
画橡により覆うことのできない前記下位レイヤフレーム
の部品画像領域が、所定のしきい値よりも大きい場合、
前記上位レイヤフレームの時間的に前に存在する下位レ
イヤフレームにおける前記動画像シーケンスの画像の一
部領域に対応する第１部品画像領域と、前記上位レイヤ
フレームの時間的に後に存在する下位レイヤフレームに
おける前記動画像シーケンスの画像の一部領域に対応す
る第２部品画像領域とが重なる領域に対して、その周囲
の画素値を用いて補間し、前記第１部品画像領域でも前
記第２部品画像領域でもない領域に対して、前記上位レ
イヤフレームの時間的に前後に存在する下位レイヤフレ
ームを加重平均し、前記第１部品画像領域のみの領域に
対して、前記上位レイヤフレームの時間的に後に存在す
る下位レイヤフレームを用い、前記第２部品画像領域の
みの領域に対して、前記上位レイヤフレームの時間的に
前に存在する下位レイヤフレームを用いることによっ
て、前記背景画像を生成することを特徴とする。
【００３４】本願請求項４に記載の発明に係る画像符号
化装置は、一つの動画像シーケンスを低いフレームレー
トの下位レイヤと高いフレームレートの上位レイヤとに
分離する手段と、前記下位レイヤにおいて、前記動画像
シーケンスの画像全体を符号化する下位レイヤ符号化手
段と、前記上位レイヤにおいて、前記動画像シーケンス
の画像の一部領域を部品画像として符号化する上位レイ
ヤ符号化手段と、前記動画像シーケンスの画像の一部領
域形状を示す領域情報を符号化する領域情報符号化手段
と、前記上位レイヤフレームに時間的に対応する下位レ
イヤフレームが存在しない場合、該上位レイヤフレーム
に時間的に対応する下位レイヤフレームを、時間的にそ
の前又は後に存在する下位レイヤフレームを用いて、背
景画像として生成し、該背景画像に前記上位レイヤフレ
ームの部品画像を重畳する重畳手段とを備え、前記重畳
手段により作成された画像を利用して、前記上位レイヤ
を予測符号化する動画像符号化装置であって、前記重畳
手段は、前記上位レイヤフレームの時間的に前に存在す
る下位レイヤフレームにおける前記動画像シーケンスの
画像の一部領域に対応する第１部品画像領域と、前記上
位レイヤフレームの時間的に後に存在する下位レイヤフ
レームにおける前記動画像シーケンスの画像の一部領域
に対応する第２部品画像領域とが重なる領域の内部に対
して、その周囲の画素値を用いて補間することによっ
て、前記背景画像を生成することを特徴とする。
【００３５】本願請求項５に記載の発明に係る画像符号
化装置は、前記請求項４に記載の動画像符号化装置にお
いて、前記重畳手段は、前記第１部品画像領域でも前記
第２部品画像領域でもない領域に対して、前記上位レイ
ヤフレームの時間的に前後に存在する下位レイヤフレー
ムを加重平均し、前記第１部品画像領域のみの領域に対
して、前記上位レイヤの時間的に後に存在する下位レイ
ヤフレームを用い、前記第２部品画像領域のみの領域に
対して、前記上位レイヤの時間的に前に存在する下位レ
イヤフレームを用いることによって、前記背景画像を生
成することを特徴とする。
【００３６】本願請求項６に記載の発明に係る画像符号
化装置は、前記請求項４又は５のいずれかに記載の動画
像符号化装置において、前記重畳手段は、前記上位レイ
ヤフレームの部品画像により覆うことのできない前記下
位レイヤフレームの部品画像領域が、所定のしきい値よ
りも小さい場合、前記上位レイヤフレームの時間的に前
後に存在する下位レイヤフレームを加重平均することに
よって、前記背景画像を生成することを特徴とする。
【００３７】本願請求項７に記載の発明に係る画像符号
化装置は、一つの動画像シーケンスを低いフレームレー
トの下位レイヤと高いフレームレートの上位レイヤとに
分離する手段と、前記下位レイヤにおいて、前記動画像
シーケンスの画像全体を符号化する下位レイヤ符号化手
段と、前記上位レイヤにおいて、前記動画像シーケンス
の画像の一部領域を部品画像として符号化する上位レイ
ヤ符号化手段と、前記動画像シーケンスの画像の一部領
域形状を示す領域情報を符号化する領域情報符号化手段
と、前記上位レイヤフレームに時間的に対応する下位レ
イヤフレームが存在しない場合、該上位レイヤフレーム
に時間的に対応する下位レイヤフレームを、時間的にそ
の前又は後に存在する下位レイヤフレームを用いて、背
景画像として生成し、該背景画像に前記上位レイヤフレ
ームの部品画像を重畳する重畳手段とを備え、前記重畳
手段により作成された画像を利用して、前記上位レイヤ
を予測符号化する動画像符号化装置であって、前記重畳
手段は、前記上位レイヤフレームの時間的に前後に存在
する下位レイヤフレームの部品画像領域の内部を、その
周囲の画素値を用いて補間し、該補間された下位レイヤ
フレームを用いることによって、前記背景画像を生成す
ることを特徴とする。
【００３８】本願請求項８に記載の発明に係る画像符号
化装置は、前記請求項７に記載の動画像符号化装置にお
いて、前記重畳手段は、前記上位レイヤフレームの部品
画像により覆うことのできない前記下位レイヤフレーム
の部品画像領域が、所定のしきい値よりも大きい場合、
前記補間された下位レイヤフレームを加重平均すること
によって、前記背景画像を生成することを特徴とする。
【００３９】本願請求項９に記載の発明に係る画像符号
化装置は、前記請求項７又は８のいずれかに記載の動画
像符号化装置において、前記重畳手段は、前記上位レイ
ヤフレームの部品画像により覆うことのできない前記下
位レイヤフレームの部品画像領域が、所定のしきい値よ
りも小さい場合、前記上位レイヤフレームの時間的に前
後に存在する下位レイヤフレームを加重平均することに
よって、前記背景画像を生成することを特徴とする。
【００４０】本願請求項１０に記載の発明に係る画像符
号化装置は、前記請求項１乃至９のいずれかに記載の動
画像符号化装置において、前記上位レイヤフレームの時
間的に前後に存在する下位レイヤフレームの部品画像領
域の位置又は形状の変化の大きさを比較する比較手段を
備え、前記部品画像領域の位置又は形状の変化が、所定
のしきい値よりも大きい場合、前記上位レイヤフレーム
の時間的に前後に存在する下位レイヤフレームの部品画
像領域を示す第１及び第２の領域情報のそれぞれを、前
記重畳手段に出力し、前記部品画像領域の位置又は形状
の変化が、所定のしきい値よりも小さい場合、前記上位
レイヤフレームの時間的に前又は後に存在する下位レイ
ヤフレームの部品画像領域を示す第１又は第２の領域情
報のいずれかを、前記重畳手段に出力することを特徴と
する。
【００４１】本願請求項１１に記載の発明に係る画像符
号化装置は、前記請求項１乃至１０のいずれかに記載の
動画像符号化装置において、前記上位レイヤフレームの
部品画像により覆うことのできない前記下位レイヤフレ
ームの部品画像領域が、所定のしきい値よりも小さい場
合、前記上位レイヤフレームの部品画像領域を、前記下
位レイヤフレームの部品画像領域を含むように拡張する
ことを特徴とする。
【００４２】本願請求項１２に記載の発明に係る画像復
号装置は、低いフレームレートで動画像シーケンスの画
像全体を符号化した下位レイヤの符号化データを復号す
る下位レイヤ復号手段と、高いフレームレートで動画像
シーケンスの画像の一部領域を部品画像として符号化し
た上位レイヤの符号化データを復号する上位レイヤ復号
手段と、前記動画像シーケンスの画像の一部領域形状を
示す領域情報を符号化した領域情報の符号化データを復
号する領域情報復号手段と、前記上位レイヤフレームに
時間的に対応する下位レイヤフレームが存在しない場
合、該上位レイヤフレームに時間的に対応する下位レイ
ヤフレームを、時間的にその前又は後に存在する下位レ
イヤフレームを用いて、背景画像として生成し、該背景
画像に前記上位レイヤフレームの部品画像を重畳する重
畳手段とを備え、前記重畳手段により作成された画像
を、ディスプレイに表示する動画像復号装置であって、
前記重畳手段は、前記上位レイヤフレームの部品画像に
より覆うことのできない前記下位レイヤフレームの部品
画像領域が、所定のしきい値よりも大きい場合、前記上
位レイヤフレームの時間的に前後に存在する下位レイヤ
フレームを加重平均して得られるフレームと、前記上位
レイヤフレームの時間的に前又は後に存在する下位レイ
ヤフレームとを合成することによって、前記背景画像を
生成し、前記上位レイヤフレームの部品画像により覆う
ことのできない前記下位レイヤフレームの部品画像領域
が、所定のしきい値よりも小さい場合、前記上位レイヤ
フレームの時間均に前後に存在する下位レイヤフレーム
を加重平均することによって、前記背景画像を生成する
ことを特徴とする。
【００４３】本願請求項１３に記載の発明に係る画像復
号装置は、前記請求項１２に記載の動画像復号装置にお
いて、前記重畳手段は、前記上位レイヤフレームの部品
画像により覆うことのできない前記下位レイヤフレーム
の部品画像領域が、所定のしきい値よりも大きい場合、
前記上位レイヤフレームの時間的に前に存在する下位レ
イヤフレームにおける前記動画像シーケンスの画像の一
部領域に対応する第１部品画像領域と、前記上位レイヤ
フレームの時間的に後に存在する下位レイヤフレームに
おける前記動画像シーケンスの画像の一部領域に対応す
る第２部品画像領域とが重なる領域、もしくは、前記第
１部品画像領域でも前記第２部品画像領域でもない領域
に対して、前記上位レイヤフレームの時間的に前後に存
在する下位レイヤフレームを加重平均し、前記第１部品
画像領域のみの領域に対して、前記上位レイヤフレーム
の時間的に後に存在する下位レイヤフレームを用い、前
記第２部品画像領域のみの領域に対して、前記上位レイ
ヤフレームの時間的に前に存在する下位レイヤフレーム
を用いることによって、前記背景画像を生成することを
特徴とする。
【００４４】本願請求項１４に記載の発明に係る画像復
号装置は、前記請求項１２に記載の動画像復号装置にお
いて、前記重畳手段は、前記上位レイヤフレームの部品
画像により覆うことのできない前記下位レイヤフレーム
の部品画像領域が、所定のしきい値よりも大きい場合、
前記上位レイヤフレームの時間的に前に存在する下位レ
イヤフレームにおける前記動画像シーケンスの画像の一
部領域に対応する第１部品画像領域と、前記上位レイヤ
フレームの時間的に後に存在する下位レイヤフレームに
おける前記動画像シーケンスの画像の一部領域に対応す
る第２部品画像領域とが重なる領域に対して、その周囲
の画素値を用いて補間し、前記第１部品画像領域でも前
記第２部品画像領域でもない領域に対して、前記上位レ
イヤフレームの時間的に前後に存在する下位レイヤフレ
ームを加重平均し、前記第１部品画像領域のみの領域に
対して、前記上位レイヤフレームの時間的に後に存在す
る下位レイヤフレームを用い、前記第２部品画像領域の
みの領域に対して、前記上位レイヤフレームの時間的に
前に存在する下位レイヤフレームを用いることによっ
て、前記背景画像を生成することを特徴とする。
【００４５】本願請求項１５に記載の発明に係る画像復
号装置は、低いフレームレートで動画像シーケンスの画
像全体を符号化した下位レイヤの符号化データを復号す
る下位レイヤ復号手段と、高いフレームレートで動画像
シーケンスの画像の一部領域を部品画像として符号化し
た上位レイヤの符号化データを復号する上位レイヤ復号
手段と、前記動画像シーケンスの画像の一部領域形状を
示す領域情報を符号化した領域情報の符号化データを復
号する領域情報復号手段と、前記上位レイヤフレームに
時間的に対応する下位レイヤフレームが存在しない場
合、該上位レイヤフレームに時間的に対応する下位レイ
ヤフレームを、時間的にその前又は後に存在する下位レ
イヤフレームを用いて、背景画像として生成し、該背景
画像に前記上位レイヤフレームの部品画像を重畳する重
畳手段とを備え、前記重畳手段により作成された画像
を、ディスプレイに表示する動画像復号装置であって、
前記重畳手段は、前記上位レイヤフレームの時間的に前
に存在する下位レイヤフレームにおける前記動画像シー
ケンスの画像の一部領域に対応する第１部品画像領域
と、前記上位レイヤフレームの時間的に後に存在する下
位レイヤフレームにおける前記動画像シーケンスの画像
の一部領域に対応する第２部品画像領域とが重なる領域
の内部に対して、その周囲の画素値を用いて補間するこ
とによって、前記背景画像を生成することを特徴とす
る。
【００４６】本願請求項１６に記載の発明に係る画像復
号装置は、前記請求項１５に記載の動画像復号装置にお
いて、前記重畳手段は、前記第１部品画像領域でも前記
第２部品画像領域でもない領域に対して、前記上位レイ
ヤフレームの時間的に前後に存在する下位レイヤフレー
ムを加重平均し、前記第１部品画像領域のみの領域に対
して、前記上位レイヤフレームの時間的に後に存在する
下位レイヤフレームを用い、前記第２部品画像領域のみ
の領域に対して、前記上位レイヤフレームの時間的に前
に存在する下位レイヤフレームを用いることによって、
前記背景画像を生成することを特徴とする。
【００４７】本願請求項１７に記載の発明に係る画像復
号装置は、前記請求項１５又は１６のいずれかに記載の
動画像復号装置において、前記重畳手段は、前記上位レ
イヤフレームの部品画像により覆うことのできない前記
下位レイヤフレームの部品画像領域が、所定のしきい値
よりも小さい場合、前記上位レイヤフレームの時間的に
前後に存在する下位レイヤフレームを加重平均すること
によって、前記背景画像を生成することを特徴とする。
【００４８】本願請求項１８に記載の発明に係る画像復
号装置は、低いフレームレートで動画像シーケンスの画
像全体を符号化した下位レイヤの符号化データを復号す
る下位レイヤ復号手段と、高いフレームレートで動画像
シーケンスの画像の一部領域を部品画像として符号化し
た上位レイヤの符号化データを復号する上位レイヤ復号
手段と、前記動画像シーケンスの画像の一部領域形状を
示す領域情報を符号化した領域情報の符号化データを復
号する領域情報復号手段と、前記上位レイヤフレームに
時間的に対応する下位レイヤフレームが存在しない場
合、該上位レイヤフレームに時間的に応する下位レイヤ
フレームを、時間的にその前又は後に存在する下位レイ
ヤフレームを用いて、背景画像として生成し、該背景画
像に前記上位レイヤフレームの部品画像を重畳する重畳
手段とを備え、前記重畳手段により作成された画像を、
ディスプレイに表示する動画像復号装置であって、前記
重畳手段は、前記上位レイヤフレームの時間的に前後に
存在する下位レイヤフレームの部品画像領域の内部を、
その周囲の画素値を用いて補間し、該補間された下位レ
イヤフレームを用いることによって、前記背景画像を生
成することを特徴とする。
【００４９】本願請求項１９に記載の発明に係る画像復
号装置は、前記請求項１８に記載の動画像復号装置にお
いて、前記重畳手段は、前記上位レイヤフレームの部品
画像により覆うことのできない前記下位レイヤフレーム
の部品画像領域が、所定のしきい値よりも大きい場合、
前記補間された下位レイヤフレームを加重平均すること
によって、前記背景画像を生成することを特徴とする。
【００５０】本願請求項２０に記載の発明に係る画像復
号装置は、前記請求項１８又は１９のいずれかに記載の
動画像復号装置において、前記重畳手段は、前記上位レ
イヤフレームの部品画像により覆うことのできない前記
下位レイヤフレームの部品画像領域が、所定のしきい値
よりも小さい場合、前記上位レイヤフレームの時間的に
前後に存在する下位レイヤフレームを加重平均すること
によって、前記背景画像を生成することを特徴とする。
【００５１】本願請求項２１に記載の発明に係る画像復
号装置は、前記請求項１２乃至２０のいずれかに記載の
動画像復号装置において、前記上位レイヤフレームの時
間的に前後に存在する下位レイヤフレームの部品画像領
域の位置又は形状の変化の大きさを比較する比較手段を
備え、前記部品画像領域の位置又は形状の変化が、所定
のしきい値よりも大きい場合、前記上位レイヤフレーム
の時間的に前後に存在する下位レイヤフレームの部品画
像領域を示す第１及び第２の領域情報のそれぞれを、前
記重畳手段に出力し、前記部品画像領域の位置又は形状
の変化が、所定のしきい値よりも小さい場合、前記上位
レイヤフレームの時間的に前又は後に存在する下位レイ
ヤフレームの部品画像領域を示す第１又は第２の領域情
報のいずれかを、前記重畳手段に出力することを特徴と
する。
【００５２】
【００５３】
【００５４】
【００５５】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明の動画像符号
化装置および動画像復号装置は、図１１に示す従来装置
の画像重畳部１１０５および１１１０に相当する部分に
特徴を有するものであって、下位レイヤフレームを合成
し、これに下位レイヤと上位レイヤを重畳する際に、上
位レイヤの選択領域の周辺に発生する残像のような画像
の歪みを視覚上抑制するものである。
【００５６】以下、本発明の第１の実施の形態について
説明する。本実施形態に係る動画像符号化装置および動
画像復号装置は、前述の第１の問題を解決するためのも
のであり、図１１に示す従来装置の構成において、重畳
部１１０５及び１１１０に代えて、図１に示す画像重畳
部を備えて構成される。
【００５７】この画像重畳部は、一つの動画像シーケン
スの上位レイヤに対応するフレームが下位レイヤ側に存
在しない場合、下位レイヤのフレームを補間し、この補
間により得られたフレームを背景として上位レイヤの部
品領域に重畳して補間画像（画像情報）を得るものであ
る。補間画像は上位レイヤの予測符号化／復号に用いら
れる。以下、この画像重畳部を中心に本実施形態の装置
を説明する。
【００５８】ここで、図１において、第１の領域抽出部
１０１は、下位レイヤの第１の領域情報及び下位レイヤ
の第２の領域情報から第１の領域でありかつ第２の領域
でない領域を抽出する。具体的には、図１３（ａ）にお
いて、第１の領域情報を点線で（点線内部が値０、点線
外部が値１を持つものとする）表し、同様に第２の領域
情報を破線で表すと、第１の領域抽出部１０１で抽出さ
れる領域は斜線部で表す領域となる。
【００５９】図１の第２の領域抽出部１０２は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から第２の領域でありかつ第１の領域でない領域を抽出
する。図１３（ａ）の場合、網点部が抽出される。
【００６０】図１のコントローラ１０３は、第１の領域
抽出部１０１及び第２の領域抽出部１０２の出力により
スイッチ１０４を制御する部分である。すなわち、注目
画素位置が第１の領域のみの場合にはスイッチ１０４を
第２の復号画像側に接続し、注目画素位置が第２の領域
のみの場合にはスイッチ１０４を第１の復号側画像に接
続し、それ以外の場合にはスイッチ１０４を補間画像作
成部１０５からの出力に接続する。
【００６１】図１の補間画像作成部１０５は、下位レイ
ヤの第１の復号画像と下位レイヤの第２の復号画像との
補間画像を上記［従来の技術］で述べた式（１）に従っ
て計算する。ただし、式（１）でＢ（ｘ，ｙ，ｔ１）は
第１の復号画像、Ｂ（ｘ，ｙ，ｔ２）は第２の復号画
像、Ｉ（ｘ，ｙ，ｔ３）は復号画像であり、ｔ１，ｔ
２，ｔ３はそれぞれ第１の復号画像、第２の復号画像及
び補間画像の時間である。
【００６２】図１の加重平均部１０６は、前述の式
（２）に従って作成された補間画像と、上位レイヤの復
号画像を重畳する。図１の背景補間判定部１０７は、下
位レイヤ第１の領域情報、下位レイヤ第２の領域情報お
よび上位レイヤ領域情報の３種類の領域情報をもとに、
図１４（ｃ）の網点で示された上位レイヤが前記２つの
下位レイヤ領域を覆うことのできない領域（即ち、背景
として現れる下位レイヤの部品領域）の大小によって前
記残像のような歪みの発生を抑制する合成処理を行なう
か否かを判定する。
【００６３】前記領域が所定のしきい値よりも大きい場
合にはスイッチ１０８が左側（スイッチ１０４の出力
側）に接続し、合成処理して背景補間が行なわれる。即
ち、下位レイヤを加重平均して得られるフレームと下位
レイヤのフレームとを合成処理して背景補間し、上位レ
イヤを予測符号化／復号するための画像情報を生成す
る。
【００６４】一方、前記領域が所定のしきい値以下の場
合にはスイッチ１０８が右側（補間画像作成部１０５の
出力側）に接続し、補間画像作成部１０５の出力が上位
レイヤに合成される下位レイヤとして使用される。即
ち、補間画像作成部１０５は、下位レイヤを加重平均し
て得られる画像をスイッチ１０８を介して加重平均部１
０６に与える。
【００６５】そして、加重平均部１０６は、この画像を
背景として上位レイヤに重畳して、上位レイヤを予測符
号化／復号するための画像情報を生成する。この場合
（前記領域が所定のしきい値以下の場合）、本実施形態
の装置では、下位レイヤの第１の領域情報、第２の領域
情報ともに用いないため、これらの情報は符号化されな
い。これによって領域情報分の符号量を節約できる。
【００６６】図６は、図１の背景補間判定部１０７の構
成を示すブロック図である。本実施の形態では、前記合
成処理を行なうかどうかの判定を、図１４（ｃ）の網点
部の大きさによって判定するものとするが、これを実現
するための他の手法として、例えば前記領域の面積を用
いる方法を用いてもよい。図６に示す面積測定部６０１
は、前記面積を算出するものであって、図１４（ａ）の
画面Ａの部品領域（前景領域）をＦｒ（Ａ）、部品の背
景領域をＢｒ（Ａ）とした時、前記領域は、
【００６７】 ｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｂ） ・・・ （３） と表すことができる。ただし、この式中の’∪’は集合
の結びを、’∩’は、集合の交わりを表すものとする。
【００６８】また、前記領域の面積は、式（３）にて表
される領域の画素数で表すことができる。あるいは前記
面積は領域の画素数を画像全体の画素数で正規化する手
法も考えられる。また、前記面積の他に前記領域の周囲
の長さ、前記領域の外接四角形の面積などが考えられる
が、これらの値は前記面積の計算と同様に画面全体の画
素数、大きさなどを用いて正規化する必要がある。
【００６９】なお、図１４に例示するように、Ｆｒ
（Ａ）∩Ｆｒ（Ｃ）の領域（Ｆｒ（Ｄ）とする）が全て
Ｆｒ（Ｃ）に含まれている場合には、上式（３）を用い
て前記領域を求めればよいが、より一般的には、前記領
域は、 ｛｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（４） として表される。
【００７０】図６の比較判定部６０２は、面積測定部６
０１で得られた面積と予め定められたしきい値（所定の
しきい値）とを比較し、前記面積がしきい値より大きけ
れば、図１に示すスイッチ１０８はスイッチ１０４側に
接続され、前記合成処理を行なう。また、前記面積が、
しきい値より大きくなければ、スイッチ１０８は図１に
示す補間画像作成部１０５に接続され、前記合成処理を
行なわず、式（１）に従って計算された補間画像が加重
平均部１０６に与えられる。
【００７１】ここまでは、図１の補間画像作成部１０５
は、式（１）を用いて補間画像を作成するものとした
が、この補間画像を作成するかわりに、前後の下位レイ
ヤフレームの一方をそのまま補間画像作成部１０５の出
力としてもよい。例えば、２枚の下位レイヤの時間をそ
れぞれｔ１，ｔ２，上位レイヤの時間をｔ３（ただし、
ｔ１＜ｔ３＜ｔ２である）とすると、現在の上位レイヤ
フレームに時間的に近い下位レイヤフレームの画素を用
いる場合、補間画素Ｉ（ｘ，ｙ，ｔ３）を次式（５ａ）
または（５ｂ）によって計算する。
【００７２】ｔ３−ｔ１＜ｔ２−ｔ３の場合 Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ１） ・・・ （５ａ） ｔ３−ｔ１＞ｔ２−ｔ３の場合 Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ２） ・・・ （５ｂ）
【００７３】この場合、図１４（ｃ）の網点部で示した
歪み領域（すなわち背景補間によって補間される領域）
は、図１６の網点部のようになる。従って、図１の背景
補間判定部１０７で判定に用いる領域としては、図１６
の網点部を用いることになる。式（３）と同じ記号を用
いれば、前記領域（図１６の網点部）は、次式（６）で
表される。 ｛Ｆｒ（Ａ）∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（６）
【００７４】ところで、背景部分が時間的に変化してい
ると、上記の手法では下位レイヤがうまく合成できない
場合がある。このような場合には、援用する図１４にお
いて、Ｂｒ（Ａ）の領域については画像Ｃの画素値をコ
ピーし、Ｆｒ（Ａ）の領域についてはＦｒ（Ａ）の周囲
の画素値を用いて画素値の補間を行って、簡易的に背景
を合成することができる。
【００７５】この手法を実現するための画像重畳部の構
成は、図１の２点鎖線で囲む構成を図１８に示す構成に
置き換えて得られる。ただし、上位レイヤ領域情報の入
力は無いものとする。ここで、図１８に示す選択部１８
０１は、２つの下位レイヤフレームの内、現在の上位レ
イヤフレームに近いものを選択する。選択部１８０１に
より選択された領域情報はコントローラ１８０２と補間
部１８０４に入力され、復号画像（画素情報）はスイッ
チ１８０３に入力される。コントローラ１８０２はスイ
ッチ１８０３を制御し、合成される下位レイヤの画像の
画素が、領域内部（例えばＦｒ（Ａ））であればダミー
データを、領域外部（例えばＢｒ（Ａ））であれば復号
画像の画素値を補間部１８０４に与える。
【００７６】この補間部１８０４は、領域内部の画素値
を周囲の画素値から補間によって求める。この補間処理
は、背景の情報（画素値）を用いて行なうため、補間領
域（領域内部）の画素値は背景画像のそれに近くなり視
覚的な画質低下が軽減される。具体的な補間手法とし
て、文献「ＭＰＥＧ４ Ｖｉｄｅｏ Ｖｅｒｉｆｉｃａ
ｔｉｏｎ Ｍｏｄｅｌ Ｖｅｒｓｉｏｎ ２．０」（Ｉ
ＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９ ｎ１２６０，１９
９６）に示されたパディング手法がある。この他、背景
領域の画素値の平均値や、予め定めた一定の値を用いる
補間方法、或いはフラクタルを利用して背景領域のテク
スチャ情報を再現するような補間画像作成法などを用い
てもよい。
【００７７】次に、本発明の第２の実施の形態を説明す
る。これは、前述の第２の問題を解決するためのもので
あり、図２は、本実施の形態の装置が備える画像重畳部
の構成を示すブロック図である。なお、図２に示す第１
の領域抽出部１０１、第２の領域抽出部１０２、コント
ローラ１０３、スイッチ１０４、補間画像作成部１０
５、加重平均部１０６は、図１に示すものと同様である
ので、これらの詳細な説明は省略する。
【００７８】図２の第３の領域抽出部２０７は、下位レ
イヤの第１の領域と第２の領域が交わる領域（即ち、背
景として現れる下位レイヤの部品領域の重なり領域）を
抽出する。図１３（ａ）の例では点線と破線で囲まれた
白色領域がこれに相当する。
【００７９】図２の画素値補間部２０８は、第３の領域
抽出部２０７にて抽出された領域の補間を行なう。即
ち、画素値補間部２０８は、コントローラ１０３とスイ
ッチ１０４によって作成された合成画素に対し、前記領
域（重なり領域）内の画素値をその周辺部に隣接する情
報（即ち、背景として現れる下位レイヤの部品領域の重
なり領域の周囲の画素値）を元に補間していく。これに
より、上位レイヤを予測符号化／復号するための画像情
報を生成する。この補間処理は、既に説明した図１８に
示す補間部１８０４の処理と同様である。
【００８０】次に、本発明の第３の実施の形態について
説明する。本実施形態の装置は、前述した第１及び第２
の課題を解決するためのものであり、前述の第２の実施
の形態に、第１の実施の形態で述べた適応的な背景補間
判定装置を組み込んで構成される。
【００８１】図３は、第３の実施形態の装置が備える画
像重畳部の構成を示すブロック図である。図３の第１の
領域抽出部１０１、第２の領域抽出部１０２、コントロ
ーラ１０３、スイッチ１０４、補間画像作成部１０５、
背景補間判定部１０８、加重平均部１０６、スイッチ１
１０は、図１に示すものと同様に動作し、また同様に、
第３の領域抽出部２０７、画素値補間部２０８は、図２
に示すものと同様に動作するものものであるため、ここ
での説明は省略する。
【００８２】このように、本実施形態の装置は、前述の
第１及び第２の実施形態の装置の構成を併せ持つことに
より、動きが小さく補間の効果が見られない場合の無駄
な形状情報の符号化が避けられるだけでなく、上位レイ
ヤの部品領域が往復するような（折り返すような）動き
をするために生じる画質低下を軽減できる。
【００８３】次に、本発明の第４の実施の形態について
説明する。これは、前述の第１、第２及び第４の問題を
解決するためのものであって、図４は本実施形態の装置
が備える画像重畳部の構成を示すブロック図である。
【００８４】ここで、図４の第１の画素値補間部４０１
は、下位レイヤの第１の復号画像中の第１の部品領域を
図２の画素値補間部２０８と同様に補間する。同様に、
図４の第２の画素値補間部４０２は、下位レイヤの第２
の復号画像中の第２の部品領域の補間を行なう。具体的
な動作の説明は図２の画素値補間部２０８の説明で既に
なされているので、ここでは省略する。
【００８５】図４の第１の補間画像作成部４０３は、第
１の画素値補間部４０１と第２の画素値補間部４０２の
出力を、前述の式（１）に従って補間する。一方、図４
の第２の補間画像作成部４０４は、下位レイヤの第１の
復号画像と第２の復号画像を、第１の補間画像作成部４
０３と同様に、式（１）に従って補間する。いずれも、
図１の補間画像作成部１０５と全く同様の動作をするの
で、ここでの説明は省略する。また、加重平均部１０６
及びスイッチ１０８は、図１に示すものと同様である。
【００８６】図４の背景補間判定部４０７は、図１の背
景補間作成部１０７と同様に合成処理を行なうかどうか
を判定する部分であり、この判定に基づいて加重平均部
１０６に与える背景画像（上位レイヤに重畳する下位レ
イヤ）を定める。即ち、背景補間判定部４０７が、背景
として現れる下位レイヤの部品領域が所定のしきい値よ
りも大きいと判定した場合、加重平均部１０６は、下位
レイヤの部品領域の周囲の画素値を第１の補間画像作成
部４０３から入力し、これを用いて部品領域の内部の画
素値を補間して画像情報を生成する。
【００８７】また、背景補間判定部４０７が、背景とし
て現れる前記部品領域が前記所定のしきい値よりも小さ
いと判定した場合、加重平均部１０６は、下位レイヤを
加重平均して得られる画像を第２の補間画像作成部４０
４から入力し、これを用いて部品領域の内部の画素値を
補間して画像情報を生成する。本発明は、従来例での合
成処理を簡略化したもので、これによって大きな画質の
低下を招かずにハードウェアの規模を小さくすることか
できる。
【００８８】なお、本実施形態の図４に示す第２の補間
画像作成部４０４は、式（１）に従って補間を行うもの
としたが、式（５）に従って、現在の上位レイヤフレー
ムに時間的に近い下位レイヤフレームの画素を用いて補
間するものとして構成してもよい。即ち、例えば時間的
に前の下位レイヤフレームが時間的に近い場合、背景補
間判定部４０７は、式（６）で表される領域をもとに背
景補間を行うかどうかの判定を行う。また、図４の第１
の補間画像作成部４０３は、第１の画素値補間部４０１
で作成された画像をそのまま出力する。
【００８９】次に、本発明の第５の実施の形態について
説明する。本実施形態の装置は、前述の第１の問題を解
決するためのものであって、下位レイヤの第１の部品領
域と第２の部品領域の位置及び形状の差が小さい場合
に、第２の部品領域を第１の部品領域に置き換えること
によって、第２の部品領域情報に要する符号量を削減す
るものである。
【００９０】本実施形態の装置が備える画像重畳部は、
図１から図４に示す構成において、下位レイヤの第１の
領域情報及び第２の領域情報の入力部に図５に示す構成
要素をさらに備えて構成される。
【００９１】ここで、図５の比較部５０１は、下位レイ
ヤの２つの領域情報の違いを判定する部分である。下位
レイヤの部品画像があまり動かず、これを表す領域情報
の変化が小さければ、下位レイヤの第２の領域情報を利
用する代わりに、図５のスイッチ５０２が上側と接続
し、下位レイヤの第１の領域情報が出力され、符号化す
る必要のある領域情報を１つ減らす。また、下位レイヤ
の部品領域が大きく動く場合には、スイッチは下側に接
続し、それぞれの領域情報が出力される。領域情報の変
化の判断材料としては、例えば図９に示す斜線部の面積
を用いてもよい。
【００９２】次に、本発明の第６の実施の形態を説明す
る。本実施形態の装置は、前述の第３の問題を解決する
ためのものであり、図７は、本実施形態の装置を構成す
る画像重畳部の構成を示すブロック図である。同図に示
すように、本装置が備える画像重畳部は、図１に示す第
１の実施形態の構成において、さらに、存在判定部７０
９、第３の補間画像作成部７１０、スイッチ７１１、７
１２を備えて構成される。
【００９３】なお、図７の第１の領域抽出部１０１、第
２の領域抽出部１０２、加重平均部１０６、スイッチ１
０８の動作は、図１に示すものと同様であるので、ここ
での説明は省略する。また、コントローラ７０３、スイ
ッチ７０４、補間画像作成部７０５は、それぞれ図１の
コントローラ１０３、スイッチ１０４、補間画像作成部
１０５に対応する。
【００９４】先ず、背景補間判定部７０７が、背景とし
て現れる前記下位レイヤの部品領域が所定のしきい値よ
りも大きいと判断した場合、スイッチ１０８は左側（ス
イッチ７０４の出力）に接続する。そして、図７の存在
判定部７０９は、下位レイヤの第１の復号画像及び第２
の復号画像が存在するかどうか、即ち、背景補間に必要
とする下位レイヤのフレームの数が満足されているかど
うかの判定を行なう。
【００９５】図７の補間画像作成部７０５及び背景補間
判定部７０７は、一方の入力が無い場合がある。この場
合、補間画像判定部７０７は、入力された下位レイヤの
部品領域のうち、上位レイヤの部品領域が覆うことので
きない領域の大きさを用いて、背景補間を行なうか判定
する。また、補間画像作成部７０５は補間を行なわず、
復号画像をそのまま出力する。
【００９６】次に、図７の第３の補間画像作成部７１０
は、図２の画素値補間部２０８と同様の動作により、復
号画像の内部の部品領域をその周囲の画素値を用いて補
間処理を行なう。存在判定部７０９にて一方の入力が無
いと判定されている場合には、スイッチ７０４が最も左
に接続されているため、この場合第３の補間画像作成部
７１０の出力が画像フレームの重畳に使用される。
【００９７】図７の補間画像作成部７０５及び背景補間
判定部７０７は、一方の入力が無い場合がある。この場
合、補間画像作成部７０７は、入力された下位レイヤの
部品領域のうち上位レイヤの部品領域が覆うことのでき
ない領域の大きさを用いて背景補間を行なうか判定す
る。また、補間画像作成部７０５は補間を行なわず、復
号画像をそのまま出力する。
【００９８】以上説明した第１から第６の実施の形態で
は、背景補間を行うかどうかの判定を各々の上位レイヤ
フレームについて行うものとしたが、連続した２枚の下
位レイヤフレームの間に複数の上位レイヤフレームが存
在する場合には、以下のようにして背景補間を行うもの
として構成してもよい。
【００９９】すなわち、上記複数の上位レイヤフレーム
（下位レイヤ側に対応するフレームが存在しない上位レ
イヤフレーム）の各々に対して背景補間を行うか否かの
判定を一旦行い、各々の判定結果が全て背景補間を行わ
ないことを示すものである場合には、上記複数の上位レ
イヤフレームの全てについて背景補間を行わない。この
場合、上位レイヤフレームは前後の２枚の下位レイヤフ
レームの補間画像に重畳されるか、あるいは時間的に近
い下位レイヤフレームに重畳される。
【０１００】また、少なくとも一枚の上位レイヤフレー
ムについて背景補間を行う判定が下された場合（複数の
上位レイヤの何れかについて背景として現れる下位レイ
ヤの部品領域が所定のしきい値よりも大きい場合）に
は、上記複数の上位レイヤフレームの全てについて、背
景補間によって合成された下位レイヤフレームを重畳す
る。
【０１０１】具体的には、前記複数の上位レイヤのすべ
てについて、下位レイヤを加重平均して得られるフレー
ムと下位レイヤのフレームとを合成して画像情報を生成
する。この場合、前記複数の上位レイヤのフレームの
内、例えば時間的に最初のフレームに対してのみ背景補
間を行って下位レイヤのフレームを合成し、残りの上位
レイヤフレームについては、最初の上位レイヤフレーム
に対して合成された下位レイヤフレームをそのまま用い
ればよい。
【０１０２】また、第１から第６の実施の形態の装置で
は、図１４（ｃ）や図１６に網点部で示される画像の歪
みが大きい場合に、背景補間によってこの歪みを除去す
る。しかし、画像の歪みが小さい場合には背景補間を行
わず、この画像の歪みはわずかながら存在する。この場
合の画像の歪みは視覚的に目立つものではないが、次の
ようにして、この歪みを視覚上全く発生させないように
することができる。
【０１０３】すなわち、上位レイヤの符号化を行う際
に、上位レイヤの部品領域と共に、図１４（ｃ）や図１
６の網点部で示す下位レイヤの部品領域も符号化する。
このために、上位レイヤの部品領域を図１４（ｃ）や図
１６の斜線部と網点部を両方含むように変更する（拡張
／膨張させる）。
【０１０４】図１７は、この部品領域の変更の処理を行
うための領域変換部のブロック図である。この領域変換
部は、下位レイヤの部品領域を用いて上位レイヤの部品
領域を拡張し、これを画像情報の部品領域として生成す
ることにより、図１１に示す上位レイヤ符号化部１１０
３に与えられる領域情報を変換する。
【０１０５】ここで、図１７に示す領域変換部の各構成
要素の動作について説明する。同図において、スイッチ
１７０１は、領域情報を上位レイヤの領域情報と下位レ
イヤの領域情報とに分離する。図１７のメモリ１７０２
は下位レイヤの領域情報を一時記憶する。領域統合部１
７０３は上位レイヤの領域情報に下位レイヤの領域情報
の一部を統合して新たな領域情報を作成する。
【０１０６】具体的には、例えば、図１の補間画像作成
部１０５は、式（１）に従って補間画像を作成する場
合、図１４（ｃ）の網点部を上位レイヤの領域情報に統
合して新たな領域情報を作成する。また、補間画像作成
部１０５を、式（５）に従って時間的に近い下位レイヤ
を選択して補間画像を作成するものして構成した場合に
は、図１６の網点部が上位レイヤの領域情報に統合され
る。
【０１０７】次に、図１７のスイッチ１７０４は背景補
間を行うときは上側（上位レイヤ領域情報）に、行わな
いときは下側（領域統合部１７０３の出力）に接続され
る。また、スイッチ１７０５はスイッチ１７０１と同期
して、上位レイヤ領域情報が処理されているときは上側
に接続され、下位レイヤ領域情報が処理されているとき
には下側に接続される。このように、背景補間が行われ
ない場合には、上位レイヤの領域情報を変更して膨張／
拡張させることにより、画像の歪みを発生させないよう
にすることができる。
【０１０８】
【発明の効果】以上の説明から明らかなように、本発明
によれば、以下のような効果を得ることができる。 （１）下位レイヤおよび上位レイヤ画像中の部品領域が
あまり動かず、背景補間を行なっても視覚的にその効果
が得られない場合には背景補間を行なわず、逆に、部品
領域が大きく動いた場合には背景補間を行なうことによ
り、背景補間のための形状情報を削減でき、その分の高
画質化を達成できる。
【０１０９】（２）下位レイヤ及び上位レイヤ画像中の
部品画像が、一方向へ動く代わりに往復運動や折り返し
運動、或いは方向転換運動などをする場合に、下位レイ
ヤの部品画像領域が重なる領域に対してその周囲の画素
値を用いて補間することにより視覚的な画質低下を軽減
できる。
【０１１１】
【０１１２】（３）部品画像領域の補間処理に使用する
画面を領域毎に切替えずに、部品画像領域の周囲の画素
値を用いて補間するという簡略化により、ハードウェア
の規模を小さくすることができる。
【０１１３】
【０１１４】（４）背景補間を行わない場合に、上位レ
イヤを符号化するにあたって、上位レイヤの部品領域と
共に、背景補間によって補間される領域を符号化するこ
とによって、背景補間を行わないために生じる画像の歪
みを、視覚上発生させないようにすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。
【図２】本発明の第２の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。
【図３】本発明の第３の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。
【図４】本発明の第４の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。
【図５】本発明の第５の実施形態に係る動画像符号化装
置および動画像復号装置が備える領域情報変換部の構成
を示すブロック図である。
【図６】本発明の第１の実施形態に係る装置の画像重畳
部が備える背景補間判定部の構成を示すブロック図であ
る。
【図７】本発明の第６の実施形態に係る装置が備える画
像重畳部の構成を示すブロック図である。
【図８】従来の装置の問題を説明するための図である。
【図９】本発明の技術の第５の実施形態に係る装置の動
作を説明するための図である。
【図１０】従来の装置の問題を説明するための図であ
る。
【図１１】動画像符号化装置および動画像復号装置の構
成を示すブロック図である。
【図１２】従来の装置が備える画像重畳部の構成を示す
ブロック図である。
【図１３】（ａ）及び（ｂ）は、従来の装置が備える画
像重畳部の動作を説明するための図である。
【図１４】（ａ）〜（ｃ）は、従来の装置が備える画像
重畳部の問題を説明する図である。
【図１５】動画像符号化装置および動画像復号装置にお
けるフレーム合成の概念を説明するための図である。
【図１６】第１の実施形態に係る装置の画像重畳部が備
える補間画像作成部の動作を説明するための図である。
【図１７】本発明の実施形態に係る装置が備える領域情
報変換部の構成を示すブロック図である。
【図１８】本発明の実施形態に係る装置が備える画像重
畳部の他の構成を示すブロック図である。
【符号の説明】
１０１ 第１の領域抽出部 １０２ 第２の領域抽出部 １０３，７０３，１８０２ コントローラ １０４，１０８，５０２，７０４，７１１，７１２ ス
イッチ １０５，７０５ 補間画像作成部 １０６ 加重平均部 １０７，４０７，７０７ 背景補間判定部 ２０７ 第３の領域抽出部 ２０８ 画素値補間部 ３０５，４０３ 第１の補間画像作成部 ４０１ 第１の画素補間部 ４０２ 第２の画素補間部 ４０４ 第２の補間画像作成部 ５０１ 領域比較部 ６０１ 面積測定部 ６０２ 比較判定部 ７０９ 存在判定部 ７１０ 第３の補間画像作成部 １７０２ メモリ １７０３ 領域統合部 １８０１ 選択部 １８０４ 補間部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 草尾 寛 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平７−38899（ＪＰ，Ａ) 特開 昭60−206287（ＪＰ，Ａ) 特開 昭60−128791（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (21)

    (57)【特許請求の範囲】
  1. 【請求項１】 一つの動画像シーケンスを低いフレーム
    レートの下位レイヤと高いフレームレートの上位レイヤ
    とに分離する手段と、 前記下位レイヤにおいて、前記動画像シーケンスの画像
    全体を符号化する下位レイヤ符号化手段と、 前記上位レイヤにおいて、前記動画像シーケンスの画像
    の一部領域を部品画像として符号化する上位レイヤ符号
    化手段と、 前記動画像シーケンスの画像の一部領域形状を示す領域
    情報を符号化する領域情報符号化手段と、 前記上位レイヤフレームに時間的に対応する下位レイヤ
    フレームが存在しない場合、該上位レイヤフレームに時
    間的に対応する下位レイヤフレームを、時間的にその前
    又は後に存在する下位レイヤフレームを用いて、背景画
    像として生成し、該背景画像に前記上位レイヤフレーム
    の部品画像を重畳する重畳手段とを備え、 前記重畳手段により作成された画像を利用して、前記上
    位レイヤを予測符号化する動画像符号化装置であって、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記上
    位レイヤフレームの時間的に前後に存在する下位レイヤ
    フレームを加重平均して得られるフレームと、前記上位
    レイヤフレームの時間的に前又は後に存在する下位レイ
    ヤフレームとを合成することによって、前記背景画像を
    生成し、 前記上位レイヤフレームの部品画像により覆うことので
    きない前記下位レイヤフレームの部品画像領域が、所定
    のしきい値よりも小さい場合、前記上位レイヤフレーム
    の時間的に前後に存在する下位レイヤフレームを加重平
    均することによって、前記背景画像を生成することを特
    徴とする動画像符号化装置。
  2. 【請求項２】 前記請求項１に記載の動画像符号化装置
    において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記上
    位レイヤフレームの時間的に前に存在する下位レイヤフ
    レームにおける 前記動画像シーケンスの画像の一部領域
    に対応する第１部品画像領域と、前記上位レイヤフレー
    ムの時間的に後に存在する下位レイヤフレームにおける
    前記動画像シーケンスの画像の一部領域に対応する第２
    部品画像領域とが重なる領域、もしくは、前記第１部品
    画像領域でも前記第２部品画像領域でもない領域に対し
    て、前記上位レイヤフレームの時間的に前後に存在する
    下位レイヤフレームを加重平均し、 前記第１部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に後に存在する下位レイヤフレー
    ムを用い、 前記第２部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に前に存在する下位レイヤフレー
    ムを用いることによって、前記背景画像を生成すること
    を特徴とする動画像符号化装置。
  3. 【請求項３】 前記請求項１に記載の動画像符号化装置
    において、 前記重畳手段は、前記上位レイヤフレームの部品画橡に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記上
    位レイヤフレームの時間的に前に存在する下位レイヤフ
    レームにおける前記動画像シーケンスの画像の一部領域
    に対応する第１部品画像領域と、前記上位レイヤフレー
    ムの時間的に後に存在する下位レイヤフレームにおける
    前記動画像シーケンスの画像の一部領域に対応する第２
    部品画像領域とが重なる領域に対して、その周囲の画素
    値を用いて補間し、 前記第１部品画像領域でも前記第２部品画像領域でもな
    い領域に対して、前記上位レイヤフレームの時間的に前
    後に存在する下位レイヤフレームを加重平均し、 前記第１部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に後に存在する下位レイヤフレー
    ムを用い、 前記第２部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に前に存在する下位レイヤフレー
    ムを用いることによって、前記背景画像を生成すること
    を特徴とする動画像符号化装置。
  4. 【請求項４】 一つの動画像シーケンスを低いフレーム
    レートの下位レイヤと高いフレームレートの上位レイヤ
    とに分離する手段と、 前記下位レイヤにおいて、前記動画像シーケンスの画像
    全体を符号化する下位レイヤ符号化手段と、 前記上位レイヤにおいて、前記動画像シーケンスの画像
    の一部領域を部品画像として符号化する上位レイヤ符号
    化手段と、 前記動画像シーケンスの画像の一部領域形状を示す領域
    情報を符号化する領域情報符号化手段と、 前記上位レイヤフレームに時間的に対応する下位レイヤ
    フレームが存在しない場合、該上位レイヤフレームに時
    間的に対応する下位レイヤフレームを、時間的にその前
    又は後に存在する下位レイヤフレームを用いて、背景画
    像として生成し、該背景画像に前記上位レイヤフレーム
    の部品画像を重畳する重畳手段とを備え、 前記重畳手段により作成された画像を利用して、前記上
    位レイヤを予測符号化する動画像符号化装置であって、 前記重畳手段は、前記上位レイヤフレームの時間的に前
    に存在する下位レイヤフレームにおける前記動画像シー
    ケンスの画像の一部領域に対応する第１部品画像領域
    と、前記上位レイヤフレームの時間的に後に存在する下
    位レイヤフレームにおける前記動画像シーケンスの画像
    の一部領域に対応する第２部品画像領域とが重なる領域
    の内部に対して、その周囲の画素値を用いて補間するこ
    とによって、前記背景画像を生成することを特徴とする
    動画像符号化装置。
  5. 【請求項５】 前記請求項４に記載の動画像符号化装置
    において、 前記重畳手段は、前記第１部品画像領域でも前記第２部
    品画像領域でもない領域に対して、前記上位レイヤフレ
    ームの時間的に前後に存在する下位レイヤフレームを加
    重平均し、 前記第１部品画像領域のみの領域に対して、前記上位レ
    イヤの時間的に後に存在する下位レイヤフレームを用
    い、 前記第２部品画像領域のみの領域に対して、前記上位レ
    イヤの時間的に前に存在する下位レイヤフレームを用い
    ることによって、前記背景画像を生成することを特徴と
    する動画像符号化装置。
  6. 【請求項６】 前記請求項４又は５のいずれかに記載の
    動画像符号化装置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも小さい場合、前記上
    位レイヤフレームの時間的に前後に存在する下位レイヤ
    フレームを加重平均することによって、前記背景画像を
    生成することを特徴とする動画像符号化装置。
  7. 【請求項７】 一つの動画像シーケンスを低いフレーム
    レートの下位レイヤと高いフレームレートの上位レイヤ
    とに分離する手段と、 前記下位レイヤにおいて、前記動画像シーケンスの画像
    全体を符号化する下位レイヤ符号化手段と、 前記上位レイヤにおいて、前記動画像シーケンスの画像
    の一部領域を部品画像として符号化する上位レイヤ符号
    化手段と、 前記動画像シーケンスの画像の一部領域形状を示す領域
    情報を符号化する領域情報符号化手段と、 前記上位レイヤフレームに時間的に対応する下位レイヤ
    フレームが存在しない場合、該上位レイヤフレームに時
    間的に対応する下位レイヤフレームを、時間的にその前
    又は後に存在する下位レイヤフレームを用いて、背景画
    像として生成し、該背景画像に前記上位レイヤフレーム
    の部品画像を重畳する重畳手段とを備え、 前記重畳手段により作成された画像を利用して、前記上
    位レイヤを予測符号化する動画像符号化装置であって、 前記重畳手段は、前記上位レイヤフレームの時間的に前
    後に存在する下位レイヤフレームの部品画像領域の内部
    を、その周囲の画素値を用いて補間し、該補間された下
    位レイヤフレームを用いることによって、前記背景画像
    を生成することを特徴とする動画像符号化装置。
  8. 【請求項８】 前記請求項７に記載の動画像符号化装置
    において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記補
    間された下位レイヤフレームを加重平均することによっ
    て、前記背景画像を生成することを特徴とする動画像符
    号化装置。
  9. 【請求項９】 前記請求項７又は８のいずれかに記載の
    動画像符号化装置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも小さい場合、前記上
    位レイヤフレームの時間的に前後に存在する下位レイヤ
    フレームを加重平均することによって、前記背景画像を
    生成することを特徴とする動画像符号化装置。
  10. 【請求項１０】 前記請求項１乃至９のいずれかに記載
    の動画像符号化装置において、 前記上位レイヤフレームの時間的に前後に存在する下位
    レイヤフレームの部品画像領域の位置又は形状の変化の
    大きさを比較する比較手段を備え、 前記部品画像領域の位置又は形状の変化が、所定のしき
    い値よりも大きい場合、前記上位レイヤフレームの時間
    的に前後に存在する下位レイヤフレームの部品画像領域
    を示す第１及び第２の領域情報のそれぞれを、前記重畳
    手段に出力し、 前記部品画像領域の位置又は形状の変化が、所定のしき
    い値よりも小さい場合、前記上位レイヤフレームの時間
    的に前又は後に存在する下位レイヤフレームの部品画像
    領域を示す第１又は第２の領域情報のいずれかを、前記
    重畳手段に出力することを特徴とする動画像符号化装
    置。
  11. 【請求項１１】 前記請求項１乃至１０のいずれかに記
    載の動画像符号化装置において、 前記上位レイヤフレームの部品画像により覆うことので
    きない前記下位レイヤフレームの部品画像領域が、所定
    のしきい値よりも小さい場合、前記上位レイヤフレーム
    の部品画像領域を、前記下位レイヤフレームの部品画像
    領域を含むように拡張することを特徴とする動画像符号
    化装置。
  12. 【請求項１２】 低いフレームレートで動画像シーケン
    スの画像全体を符号化した下位レイヤの符号化データを
    復号する下位レイヤ復号手段と、 高いフレームレートで動画像シーケンスの画像の一部領
    域を部品画像として符号化した上位レイヤの符号化デー
    タを復号する上位レイヤ復号手段と、 前記動画像シーケンスの画像の一部領域形状を示す領域
    情報を符号化した領域情報の符号化データを復号する領
    域情報復号手段と、 前記上位レイヤフレームに時間的に対応する下位レイヤ
    フレームが存在しない場合、該上位レイヤフレームに時
    間的に対応する下位レイヤフレームを、時間的にその前
    又は後に存在する下位レイヤフレームを用いて、背景画
    像として生成し、該背景画像に前記上位レイヤフレーム
    の部品画像を重畳する重畳手段とを備え、 前記重畳手段により作成された画像を、ディスプレイに
    表示する動画像復号装置であって、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記上
    位レイヤフレームの時間的に前後に存在する下位レイヤ
    フレームを加重平均して得られるフレームと、前記上位
    レイヤフレームの時間的に前又は後に存在する下位レイ
    ヤフレームとを合成することによって、前記背景画像を
    生成し、 前記上位レイヤフレームの部品画像により覆うことので
    きない前記下位レイヤフレームの部品画像領域が、所定
    のしきい値よりも小さい場合、前記上位レイヤフレーム
    の時間均に前後に存在する下位レイヤフレームを加重平
    均することによって、前記背景画像を生成することを特
    徴とする動画像復号装置。
  13. 【請求項１３】 前記請求項１２に記載の動画像復号装
    置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記上
    位レイヤフレームの時間的に前に存在する下位レイヤフ
    レームにおける前記動画像シーケンスの画像の一部領域
    に対応する第１部品画像領域と、前記上位レイヤフレー
    ムの時間的に後に存在する下位レイヤフレームにおける
    前記動画像シーケンスの画像の一部領域に対応する第２
    部品画像領域とが重なる領域、もしくは、前記第１部品
    画像領域でも前記第２部品画像領域でもない領域に対し
    て、前記上位レイヤフレームの時間的に前後に存在する
    下位レイヤフレームを加重平均し、 前記第１部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的 に後に存在する下位レイヤフレー
    ムを用い、 前記第２部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に前に存在する下位レイヤフレー
    ムを用いることによって、前記背景画像を生成すること
    を特徴とする動画像復号装置。
  14. 【請求項１４】 前記請求項１２に記載の動画像復号装
    置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記上
    位レイヤフレームの時間的に前に存在する下位レイヤフ
    レームにおける前記動画像シーケンスの画像の一部領域
    に対応する第１部品画像領域と、前記上位レイヤフレー
    ムの時間的に後に存在する下位レイヤフレームにおける
    前記動画像シーケンスの画像の一部領域に対応する第２
    部品画像領域とが重なる領域に対して、その周囲の画素
    値を用いて補間し、 前記第１部品画像領域でも前記第２部品画像領域でもな
    い領域に対して、前記上位レイヤフレームの時間的に前
    後に存在する下位レイヤフレームを加重平均し、 前記第１部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に後に存在する下位レイヤフレー
    ムを用い、 前記第２部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に前に存在する下位レイヤフレー
    ムを用いることによって、前記背景画像を生成すること
    を特徴とする動画像復号装置。
  15. 【請求項１５】 低いフレームレートで動画像シーケン
    スの画像全体を符号化した下位レイヤの符号化データを
    復号する下位レイヤ復号手段と、 高いフレームレートで動画像シーケンスの画像の一部領
    域を部品画像として符号化した上位レイヤの符号化デー
    タを復号する上位レイヤ復号手段と、 前記動画像シーケンスの画像の一部領域形状を示す領域
    情報を符号化した領域情報の符号化データを復号する領
    域情報復号手段と、 前記上位レイヤフレームに時間的に対応する下位レイヤ
    フレームが存在しない場合、該上位レイヤフレームに時
    間的に対応する下位レイヤフレームを、時間的にその前
    又は後に存在する下位レイヤフレームを用いて、背景画
    像として生成し、該背景画像に前記上位レイヤフレーム
    の部品画像を重畳する重畳手段とを備え、 前記重畳手段により作成された画像を、ディスプレイに
    表示する動画像復号装置であって、 前記重畳手段は、前記上位レイヤフレームの時間的に前
    に存在する下位レイヤフレームにおける前記動画像シー
    ケンスの画像の一部領域に対応する第１部品画像領域
    と、前記上位レイヤフレームの時間的に後に存在する下
    位レイヤフレームにおける前記動画像シーケンスの画像
    の一部領域に対応する第２部品画像領域とが重なる領域
    の内部に対して、その周囲の画素値を用いて補間するこ
    とによって、前記背景画像を生成することを特徴とする
    動画像復号装置。
  16. 【請求項１６】 前記請求項１５に記載の動画像復号装
    置において、 前記重畳手段は、前記第１部品画像領域でも前記第２部
    品画像領域でもない領域に対して、前記上位レイヤフレ
    ームの時間的に前後に存在する下位レイヤフレームを加
    重平均し、 前記第１部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に後に存在する下位レイヤフレー
    ムを用い、 前記第２部品画像領域のみの領域に対して、前記上位レ
    イヤフレームの時間的に前に存在する下位レイヤフレー
    ムを用いることによって、前記背景画像を生成すること
    を特徴とする動画像復号装置。
  17. 【請求項１７】 前記請求項１５又は１６のいずれかに
    記載の動画像復号装置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも小さい場合、前記上
    位レイヤフレームの時間的に前後に存在する下位レイヤ
    フレームを加重平均することによって、前記背景画像を
    生成することを特徴とする動画像復号装置。
  18. 【請求項１８】 低いフレームレートで動画像シーケン
    スの画像全体を符号化した下位レイヤの符号化データを
    復号する下位レイヤ復号手段と、 高いフレームレートで動画像シーケンスの画像の一部領
    域を部品画像として符号化した上位レイヤの符号化デー
    タを復号する上位レイヤ復号手段と、 前記動画像シーケンスの画像の一部領域形状を示す領域
    情報を符号化した領域情報の符号化データを復号する領
    域情報復号手段と、 前記上位レイヤフレームに時間的に対応する下位レイヤ
    フレームが存在しない場合、該上位レイヤフレームに時
    間的に応する下位レイヤフレームを、時間的にその前又
    は後に存在する下位レイヤフレームを用いて、背景画像
    として生成し、該背景画像に前記上位レイヤフレームの
    部品画像を重畳する重畳手段とを備え、 前記重畳手段により作成された画像を、ディスプレイに
    表示する動画像復号装置であって、 前記重畳手段は、前記上位レイヤフレームの時間的に前
    後に存在する下位レイヤフレームの部品画像領域の内部
    を、その周囲の画素値を用いて補間し、該補間された下
    位レイヤフレームを用いることによって、前記背景画像
    を生成することを特徴とする動画像復号装置。
  19. 【請求項１９】 前記請求項１８に記載の動画像復号装
    置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも大きい場合、前記補
    間された下位レイヤフレームを加重平均することによっ
    て、前記背景画像を生成することを特徴とする動画像復
    号装置。
  20. 【請求項２０】 前記請求項１８又は１９のいずれかに
    記載の動画像復号装置において、 前記重畳手段は、前記上位レイヤフレームの部品画像に
    より覆うことのできない前記下位レイヤフレームの部品
    画像領域が、所定のしきい値よりも小さい場合、前記上
    位レイヤフレームの時間的に前後に存在する下位レイヤ
    フレームを加重平均することによって、前記背景画像を
    生成することを特徴とする動画像復号装置。
  21. 【請求項２１】 前記請求項１２乃至２０のいずれかに
    記載の動画像復号装置において、 前記上位レイヤフレームの時間的に前後に存在する下位
    レイヤフレームの部品画像領域の位置又は形状の変化の
    大きさを比較する比較手段を備え、 前記部品画像領域の位置又は形状の変化が、所定のしき
    い値よりも大きい場合、前記上位レイヤフレームの時間
    的に前後に存在する下位レイヤフレームの部品画像領域
    を示す第１及び第２の領域情報のそれぞれを、前記重畳
    手段に出力し、 前記部品画像領域の位置又は形状の変化が、所定のしき
    い値よりも小さい場合、前記上位レイヤフレームの時間
    的に前又は後に存在する下位レイヤフレームの部品画像
    領域を示す第１又は第２の領域情報のいずれかを、前記
    重畳手段に出力することを特徴とする動画像復号装置。
JP7209597A 1996-08-21 1997-03-25 動画像符号化装置および動画像復号装置 Expired - Fee Related JP3224514B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP7209597A JP3224514B2 (ja) 1996-08-21 1997-03-25 動画像符号化装置および動画像復号装置
EP97922080A EP0921687A4 (en) 1996-08-21 1997-05-16 MOTION IMAGE ENCODER AND DECODER
CA 2263770 CA2263770C (en) 1996-08-21 1997-05-16 Moving image encoding apparatus and moving image decoding apparatus
US09/242,452 US6693960B2 (en) 1996-08-21 1997-05-16 Moving picture encoder and moving picture decoder
KR1019997001407A KR100320052B1 (ko) 1996-08-21 1997-05-16 동화상 부호화 장치 및 동화상 복호화 장치
PCT/JP1997/001659 WO1998008343A1 (en) 1996-08-21 1997-05-16 Moving picture encoder and moving picture decoder
CNB971988129A CN1187987C (zh) 1996-08-21 1997-05-16 活动图像编码设备和活动图像解码设备
US10/695,749 US20040086043A1 (en) 1996-08-21 2003-10-30 Moving image encoding apparatus and moving image decoding apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-219513 1996-08-21
JP21951396 1996-08-21
JP7209597A JP3224514B2 (ja) 1996-08-21 1997-03-25 動画像符号化装置および動画像復号装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP35258099A Division JP3148752B2 (ja) 1996-08-21 1999-12-13 動画像符号化装置
JP35257999A Division JP3148751B2 (ja) 1996-08-21 1999-12-13 動画像符号化装置および動画像復号装置

Publications (2)

Publication Number Publication Date
JPH10117355A JPH10117355A (ja) 1998-05-06
JP3224514B2 true JP3224514B2 (ja) 2001-10-29

Family

ID=26413234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7209597A Expired - Fee Related JP3224514B2 (ja) 1996-08-21 1997-03-25 動画像符号化装置および動画像復号装置

Country Status (7)

Country Link
US (2) US6693960B2 (ja)
EP (1) EP0921687A4 (ja)
JP (1) JP3224514B2 (ja)
KR (1) KR100320052B1 (ja)
CN (1) CN1187987C (ja)
CA (1) CA2263770C (ja)
WO (1) WO1998008343A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
KR20020007511A (ko) * 2000-07-14 2002-01-29 유현중 화상 통신기의 배경화면 변환장치
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
KR20040046890A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 동영상 코덱의 공간 스케일러빌리티 구현방법
KR100553893B1 (ko) 2003-10-14 2006-02-24 삼성전자주식회사 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법
JP2005123856A (ja) * 2003-10-16 2005-05-12 Ricoh Co Ltd 画像処理システム、画像処理方法、プログラム及び情報記録媒体
JP4444709B2 (ja) * 2004-03-26 2010-03-31 富士通株式会社 動画像補正係数算出装置、動画像補正装置、動画像補正係数算出方法および動画像補正係数算出プログラム
KR100679124B1 (ko) * 2005-01-27 2007-02-05 한양대학교 산학협력단 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4453648B2 (ja) * 2005-06-13 2010-04-21 ソニー株式会社 画像処理装置および撮像装置
CN100479516C (zh) * 2005-11-08 2009-04-15 逐点半导体（上海）有限公司 一种插帧处理装置及处理方法
CN100459693C (zh) * 2005-11-08 2009-02-04 逐点半导体（上海）有限公司 一种运动补偿插帧装置及插帧方法
US8472524B2 (en) * 2006-04-03 2013-06-25 Intel Corporation Motion compensated frame rate conversion with protection against compensation artifacts
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
WO2011145256A1 (ja) * 2010-05-18 2011-11-24 パナソニック株式会社 映像端末及び表示画像形成方法
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
JP5886341B2 (ja) * 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11595544B1 (en) * 2022-02-10 2023-02-28 Toshiba Tec Kabushiki Kaisha Image forming apparatus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3408061A1 (de) * 1984-03-05 1985-09-05 ANT Nachrichtentechnik GmbH, 7150 Backnang Verfahren zur bewegungsadaptiven interpolation von fernsehbildsequenzen und anwendungen dieses verfahrens
CA2092076A1 (en) * 1990-09-20 1992-03-21 Graham Alexander Thomas Video image processing
JPH04178074A (ja) * 1990-11-13 1992-06-25 Nec Corp 画像信号の符号化復号化方式とその装置
DE69322769T2 (de) * 1992-03-03 1999-07-22 Kabushiki Kaisha Toshiba, Kawasaki, Kanagawa Koder für zeitveränderliche bilder
JPH0738899A (ja) * 1993-07-01 1995-02-07 Sharp Corp 画像符号化装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR950024600A (ko) * 1994-01-31 1995-08-21 김광호 휘도신호적응 움직임 평가방법
US6052414A (en) * 1994-03-30 2000-04-18 Samsung Electronics, Co. Ltd. Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation
JP3120664B2 (ja) * 1994-10-19 2000-12-25 松下電器産業株式会社 画像符号化装置、画像復号化装置
JPH08331565A (ja) 1995-05-30 1996-12-13 Matsushita Electric Ind Co Ltd 画像符号化方法とその装置
JPH08129646A (ja) 1994-11-02 1996-05-21 Matsushita Electric Ind Co Ltd 画像符号化方法、画像復号化方法、画像処理方法及びその装置
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3249729B2 (ja) * 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
US6192081B1 (en) * 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US6148030A (en) * 1996-02-07 2000-11-14 Sharp Kabushiki Kaisha Motion picture coding and decoding apparatus
JP3247836B2 (ja) 1996-05-16 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
JP3213561B2 (ja) * 1997-02-05 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
JP3213582B2 (ja) * 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置

Also Published As

Publication number Publication date
US6693960B2 (en) 2004-02-17
KR20000035799A (ko) 2000-06-26
CN1233372A (zh) 1999-10-27
JPH10117355A (ja) 1998-05-06
US20030016746A1 (en) 2003-01-23
CA2263770A1 (en) 1998-02-26
EP0921687A1 (en) 1999-06-09
WO1998008343A1 (en) 1998-02-26
CN1187987C (zh) 2005-02-02
CA2263770C (en) 2002-10-22
EP0921687A4 (en) 2002-05-02
KR100320052B1 (ko) 2002-01-12
US20040086043A1 (en) 2004-05-06

Similar Documents

Publication Publication Date Title
JP3224514B2 (ja) 動画像符号化装置および動画像復号装置
US6466622B2 (en) Motion picture coding and decoding apparatus
US6269484B1 (en) Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams
JP4326743B2 (ja) 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ
EP1061749B1 (en) Moving picture decoder
JP3148751B2 (ja) 動画像符号化装置および動画像復号装置
JP3148752B2 (ja) 動画像符号化装置
JP3866946B2 (ja) 動画像符号化装置
JP2006514455A (ja) ビデオ符号化
JP3247836B2 (ja) 画像符号化装置及び画像復号装置
JP4133581B2 (ja) テロップ合成装置、テロップ合成方法及びテロップ合成プログラム
JP2002051336A (ja) 画像符号化装置及び画像復号装置
JPH11285001A (ja) 動画像符号化装置及び動画像復号装置
JP3526258B2 (ja) 画像符号化装置及び画像復号装置
JPH10271509A (ja) 画像符号化装置及び画像復号装置
JP3148734B2 (ja) 画像符号化装置及び画像復号装置
JP2002044671A (ja) 動画像復号装置
JP3474707B2 (ja) 画像符号化装置及び画像復号装置
JP3101262B2 (ja) 画像符号化装置及び画像復号装置
JPH09121346A (ja) 画像符号化装置及び画像復号装置
JP2000324486A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070824

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080824

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080824

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090824

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090824

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees