JP3716478B2 - 画像符号化復号方式 - Google Patents
画像符号化復号方式 Download PDFInfo
- Publication number
- JP3716478B2 JP3716478B2 JP35394495A JP35394495A JP3716478B2 JP 3716478 B2 JP3716478 B2 JP 3716478B2 JP 35394495 A JP35394495 A JP 35394495A JP 35394495 A JP35394495 A JP 35394495A JP 3716478 B2 JP3716478 B2 JP 3716478B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image information
- image
- target frame
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、少なくとも一部のフレームの画像情報をその前後のフレームの画像情報に基づいてフレーム間予測符号化及び復号する画像符号化復号方式に関し、特にコンピュータグラフィックやセルアニメーションのように平坦でエッジが明確な画像情報の符号化及び復号に適した画像符号化復号方式に関する。
【０００２】
【従来の技術】
近年、動画情報を高能率で圧縮符号化する方式としてＭＰＥＧ（Moving Picture coding Experts Group）１，２が標準化されている。
ＭＰＥＧでは、フレーム内符号化画像であるＩ（Intra）ピクチャ、フレーム間順方向予測符号化画像であるＰ（Predictive）ピクチャ、フレーム間両方向予測符号化画像であるＢ（Bidirectionally predictive）ピクチャのいずれか一つにより各フレームの画像情報を符号化する。フレーム間予測には、フレーム間の動きベクトルに応じた動き補償予測が行われる。
上述したピクチャタイプのうち、Ｂピクチャは、前後のフレームを１：１で合成し、この合成画像と対象フレームとの差分を符号化する。
【０００３】
また、コンピュータグラフィックやセルアニメーション等では、少ないコマ数で動きをスムーズに見せるため、モーションブラーの手法を組み込むことがある。この手法は、あるフレームの画像を表示したら、続く２，３枚のフレームに前のフレームの画像を非常に低いコントラストでだぶらせることにより、ストロービング（二重映し）を減少させるようにしたものである。このような場合には、あるフレームで前後のフレームをＮ１：Ｎ２の合成比で合成する必要がある。
また、場面転換に多用されるフェードイン／フェードアウトにおいても、前後のフレームの合成比を連続的に変化させる必要がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧにおけるフレーム間両方向予測符号化画像は、前後のフレームを１：１で合成した合成画像情報と符号化の対象フレームの画像情報との差分を符号化するものであるため、コンピュータグラフィックやセルアニメーションに見られる合成比がＮ１：Ｎ２となる合成画像を符号化する場合、合成画像情報と対象フレームの画像情報との間にコントラスト差の大きい部分が発生し、その部分の情報量が増えて、符号化効率が低下するという問題点があった。
この発明は、このような点に鑑みなされたもので、前後のフレームの合成比が１：１でない合成画像フレームについても符号化効率を低下させることなく高能率の符号化が可能な画像符号化復号方式を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係る画像符号化装置は、連続して入力される各フレームの画像情報を符号化処理により符号化する画像符号化装置において、符号化すべき対象フレームの画像情報とその前後のフレームの合成画像情報との差分を求め、前記差分が所定値以下のときには対象フレームが前後のフレームの合成フレームであると判別し、前記差分が所定値より大きいときには対象フレームが前後のフレームの合成フレームでないと判別する合成フレーム判別手段と、対象フレームの画像情報に含まれる前のフレームの画像情報に対応する部分の画像情報と前のフレームの画像情報との画素値の比率及び対象フレームの画像情報に含まれる後のフレームの画像情報に対応する部分の画像情報と後のフレームの画像情報との画素値の比率を前後のフレームの画像情報の合成比としてそれぞれ検出し前記合成フレーム判別手段で対象フレームが合成フレームであると判別されたときに前記検出された合成比を出力するフレーム合成比検出手段とを備え、対象フレームが合成フレームでないと判定されたときには、前記符号化処理により得られた量子化データを当該対象フレームの符号化情報の少なくとも一部として使用し、対象フレームが合成フレームであると判定されたときには前記フレーム合成比検出手段から出力される合成比を前記符号化処理により得られた量子化データに代えて当該対象フレームの符号化情報の少なくとも一部として用いることを特徴とする。
【０００６】
この発明に係る画像復号装置は、連続して入力される各フレームの画像情報のうち少なくとも一部のフレームを前後のフレームの画像情報に基づいて復号する画像復号装置において、復号すべきフレームの画像情報の符号化データが合成比データで与えられている場合、与えられた合成比に基づいて前後の復号済みのフレームを合成することにより当該フレームの画像情報を復号するようにしたことを特徴とする。
【０００７】
この発明によれば、対象フレームが合成フレームであると判別されると、それに含まれる前後のフレームの合成比が検出され、この合成比が符号化情報の少なくとも一部として使用（送信又は記録）される。そして、対象フレームの復号の際に前後のフレームがその合成比に基づいて合成されて対象フレームが復号されるので、符号化効率は向上する。
【０００８】
なお、対象フレームが前後のフレームの合成フレームであるかどうかを判別するには、例えば、次のように行えばよい。即ち、対象フレームとその前後のフレームの画像情報からエッジ抽出手段で多値画像であるエッジ画像を抽出し、これらエッジ画像をエッジ正規化処理手段で２値化すると共に所定の太さに正規化する。
次に、合成フレーム判別手段で、エッジ正規化処理手段から出力された前後のフレームの正規化エッジ画像を合成し、この合成正規化エッジ画像と対象フレームの正規化エッジ画像との差分に基づいて対象フレームが合成フレームであるかどうかを判別する。
判別処理の対象となる画像情報はエッジ画像であるため、処理対象となる情報量を少なくすることができる。また、判別の際のエッジ画像情報はエッジ幅が一定の幅に正規化されているため、コントラストの差による影響が排除される。
【０００９】
また、エッジ抽出手段で抽出された対象フレームのエッジ画像は、正規化エッジ画像とは異なり、元の画像情報のコントラストをある程度反映したものであるため、フレーム合成比検出手段で対象フレーム及び前後のフレームのエッジ画像の例えば画素値等から合成比を検出することができる。但し、合成比は、各フレームの正規化エッジ画像で規定される範囲で求めるのが好ましい。これにより、処理の範囲を限定することができ、処理効率を高めることができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
図１は、この発明の一実施例に係る画像符号化器の構成を示すブロック図、図２は、同じく画像復号器の構成を示すブロック図である。
【００１１】
図１において、連続して入力される各フレームの画像情報は、符号化器１に入力される。符号化器１は、画像情報を量子化データとするもので、種々の方式が利用できる。符号化器１からは符号化前の画像情報も出力されている。この画像情報のうち、対象フレーム（現フレーム）のデータは、合成フレーム／合成比検出部２に供給され、対象フレームの前後フレームのデータは、フレームメモリ３，４に記憶される。これらフレームメモリ３，４からのデータもまた合成フレーム／合成比検出部２に供給される。
【００１２】
合成フレーム／合成比検出部２は、対象フレームとその前後フレームの画像情報に基づいて、対象フレームがその前後のフレームの合成フレームであるか否かを判別すると共に、合成フレームであると判別されたときには、対象フレームの画像情報に含まれる前後のフレームの画像情報の合成比が検出され、これがフレーム合成比となる。
【００１３】
符号化データ出力部５は、合成フレーム判別の結果に応じて画像情報を制御するとともに、データ列の並びを調整して最終的な符号化データを出力する。すなわち、対象フレームが合成フレームでないときは符号化器１からの量子化データをそのまま出力し、対象フレームが合成フレームであるときには、符号化器１による量子化データに代えて検出されたフレーム合成比データを対象フレームの量子化データとして符号化データを生成出力する。また、符号化出力データ中には、必要に応じて量子化特性データ等が盛り込まれる。
【００１４】
次に、図２に基づき、復号器について説明する。復号器１１には、画像情報およびフレーム合成比の量子化データ並びに量子化特性等が入力される。復号器１１からの画像情報の量子化データのうち、フレーム合成に必要な前後フレームのデータはフレームメモリ１２，１３に記憶される。フレーム合成部１４には、復号器１１からフレーム合成比が供給されるとともに、フレームメモリ１２，１３から前後レームの画像情報が供給される。フレーム合成部１４は、フレーム合成比に基づいて、前後フレームの画像情報データを合成し、合成フレームの画像情報を生成する。復号化データ出力部１５は、フレーム合成部１４の出力である合成フレームの画像情報とフレームメモリ１２，１３からの非合成フレームを選択しかつデータ列の並びを調整して最終的な復号データを出力する。
【００１５】
このように構成された符号化器及び復号器によれば、フレーム合成比に基づく符号化及び復号を行うようにしているので、次のような効果がある。
即ち、図３（ａ）に示すように、セルアニメーションやコンピュータグラフィックス等において、前フレームの画像ａが後フレームの画像ｃの位置に移動する場合、前述したモーションブラーの効果を出すため、それらのフレームの間の現フレームを、画像ｃに対応する画像ｂの背景に、画像ａのコントラストを落とした画像ａ′をだぶらせると、従来のＭＰＥＧによれば、同図（ｂ）に示すように、通常のフレーム間両方向予測によって動き補償された１：１の合成フレームと現フレームとの差分として、画像ａ′がそのまま表れる。このため、符号化すべきデータ量が増大する。
しかしながら、この発明によれば、合成フレームについてはフレーム合成比だけで対処でき、符号化効率が向上する。
【００１６】
図４は、図１に示した符号化器の合成フレーム／合成比検出部１４の具体的な構成例を示す図である。符号化すべき対象フレームの画像情報Ｂとその前後のフレームの画像情報Ａ，Ｃとは、前処理部４１でノイズや細かい絵柄を除去されると、エッジ抽出部４２で１次微分されて、図５（ａ）から同図（ｂ）のように多値画像であるエッジ画像がそれぞれ抽出される。
【００１７】
抽出されたエッジ画像は、画像のコントラストの影響を排除するため、エッジ正規化処理部４３に供給され、ここで図５（ｃ）のように２次微分及び同図（ｄ）のように２値化されて、所定の太さに正規化される。前後のフレームの正規化エッジ画像Ａ″，Ｃ″は、論理和部４４で合成される。合成された合成正規化エッジ画像Ｆは、エッジ面積算出部４５に供給され、ここでそのドットの面積（幅が１である場合には、長さと等しい）Ｓが算出される。また、対象フレームの正規化エッジ画像Ｂ″と合成正規化エッジ画像Ｆとは、減算部４６に供給され、両者の差分が求められる。この差分は、積分処理部４７に供給され、ここでその積分値Ｄが算出される。合成フレーム判別部４８には、予めスレッショルドレベルＴが与えられ、判別式Ｄ／Ｓ≦Ｔに基づいて、対象フレームが合成フレームであるか否かが判別される。
【００１８】
一方、エッジ抽出部４２で抽出された対象フレーム及び前後のフレームのエッジ画像Ａ′，Ｂ′，Ｃ′は、スイッチ４９を介してエリア内画素値積分処理部５０に供給される。エリア内画素値積分処理部５０は、対象フレーム及び前後フレームのエッジ画像Ａ′，Ｂ′，Ｃ′がコントラストを反映しているという事実に基づき、各フレームの画素値を積分して、その積分値ｒａ，ｒｂ，ｒｃを算出する。この場合、処理の効率及び耐ノイズ性を上げるため、合成比導出エリアＥを設定する。この合成比導出エリアＥは、対象フレームの正規化エッジ画像Ｂ″と前フレームの正規化エッジ画像Ａ″及び対象フレームの正規化エッジ画像Ｂ″と後フレームの正規化エッジ画像Ｃ″をスイッチ５１で切り替えて、論理積部５２により、順次供給することにより求められる。スイッチ４９，５１を切り替えることにより、エッジ画像Ｂ′，Ａ′の積分値ｒｂ，ｒａとエッジ画像Ｂ′，Ｃ′の積分値ｒｂ，ｒｃとが順次求められる。
【００１９】
これらの積分値ｒａ，ｒｂ，ｒｃは、合成比導出部５３に供給され、合成比導出部５３は、合成比Ｎａ＝ｒｂ／ｒａ，Ｎｂ＝ｒｂ／ｒｃを導出すると共に、合成フレーム判別部４８で対象フレームが合成フレームであると判別されたときのみ、合成比Ｎａ,Ｎｂを出力し、対象フレームが合成フレームでないと判別されたときには、例えば通常の符号化処理を指示する情報を符号化データ出力部５に送る。
【００２０】
【発明の効果】
以上述べたように、この発明によれば、対象フレームが合成フレームであると判別されると、それに含まれる前後のフレームの合成比が検出され、この合成比が符号化情報として使用される。そして、対象フレームの復号の際に前後のフレームがその合成比に基づいて合成されて対象フレームが復号される。従って、対象フレームが前後のフレームのＮ１：Ｎ２の合成フレームである場合、従来方式と比べて符号化効率は向上する。
【図面の簡単な説明】
【図１】 この発明の一実施例に係る符号化器の構成を示すブロック図である。
【図２】 この発明の一実施例に係る復号器の構成を示すブロック図である。
【図３】 同符号化器における合成フレーム予測を説明するための図である。
【図４】 同実施例における符号化器の合成フレーム／合成比検出部の構成を示す図である。
【図５】 同検出部におけるエッジ処理を説明するための図である。
【符号の説明】
１…符号化器、２…合成フレーム／合成比検出部、３，４，１２，１３…フレームメモリ、５…符号化データ出力部、１１…復号器、１４…フレーム合成部、１５…復号化データ出力部、４１…前処理部、４２…エッジ抽出部、４３…エッジ正規処理部、４４…論理和部、４５…エッジ面積算出部、４６…減算部、４７…積分処理部、４８…合成フレーム判別部、５０…エリア内画素値積分処理部、５２…論理積部、５３…合成比導出部。
【発明の属する技術分野】
この発明は、少なくとも一部のフレームの画像情報をその前後のフレームの画像情報に基づいてフレーム間予測符号化及び復号する画像符号化復号方式に関し、特にコンピュータグラフィックやセルアニメーションのように平坦でエッジが明確な画像情報の符号化及び復号に適した画像符号化復号方式に関する。
【０００２】
【従来の技術】
近年、動画情報を高能率で圧縮符号化する方式としてＭＰＥＧ（Moving Picture coding Experts Group）１，２が標準化されている。
ＭＰＥＧでは、フレーム内符号化画像であるＩ（Intra）ピクチャ、フレーム間順方向予測符号化画像であるＰ（Predictive）ピクチャ、フレーム間両方向予測符号化画像であるＢ（Bidirectionally predictive）ピクチャのいずれか一つにより各フレームの画像情報を符号化する。フレーム間予測には、フレーム間の動きベクトルに応じた動き補償予測が行われる。
上述したピクチャタイプのうち、Ｂピクチャは、前後のフレームを１：１で合成し、この合成画像と対象フレームとの差分を符号化する。
【０００３】
また、コンピュータグラフィックやセルアニメーション等では、少ないコマ数で動きをスムーズに見せるため、モーションブラーの手法を組み込むことがある。この手法は、あるフレームの画像を表示したら、続く２，３枚のフレームに前のフレームの画像を非常に低いコントラストでだぶらせることにより、ストロービング（二重映し）を減少させるようにしたものである。このような場合には、あるフレームで前後のフレームをＮ１：Ｎ２の合成比で合成する必要がある。
また、場面転換に多用されるフェードイン／フェードアウトにおいても、前後のフレームの合成比を連続的に変化させる必要がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧにおけるフレーム間両方向予測符号化画像は、前後のフレームを１：１で合成した合成画像情報と符号化の対象フレームの画像情報との差分を符号化するものであるため、コンピュータグラフィックやセルアニメーションに見られる合成比がＮ１：Ｎ２となる合成画像を符号化する場合、合成画像情報と対象フレームの画像情報との間にコントラスト差の大きい部分が発生し、その部分の情報量が増えて、符号化効率が低下するという問題点があった。
この発明は、このような点に鑑みなされたもので、前後のフレームの合成比が１：１でない合成画像フレームについても符号化効率を低下させることなく高能率の符号化が可能な画像符号化復号方式を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係る画像符号化装置は、連続して入力される各フレームの画像情報を符号化処理により符号化する画像符号化装置において、符号化すべき対象フレームの画像情報とその前後のフレームの合成画像情報との差分を求め、前記差分が所定値以下のときには対象フレームが前後のフレームの合成フレームであると判別し、前記差分が所定値より大きいときには対象フレームが前後のフレームの合成フレームでないと判別する合成フレーム判別手段と、対象フレームの画像情報に含まれる前のフレームの画像情報に対応する部分の画像情報と前のフレームの画像情報との画素値の比率及び対象フレームの画像情報に含まれる後のフレームの画像情報に対応する部分の画像情報と後のフレームの画像情報との画素値の比率を前後のフレームの画像情報の合成比としてそれぞれ検出し前記合成フレーム判別手段で対象フレームが合成フレームであると判別されたときに前記検出された合成比を出力するフレーム合成比検出手段とを備え、対象フレームが合成フレームでないと判定されたときには、前記符号化処理により得られた量子化データを当該対象フレームの符号化情報の少なくとも一部として使用し、対象フレームが合成フレームであると判定されたときには前記フレーム合成比検出手段から出力される合成比を前記符号化処理により得られた量子化データに代えて当該対象フレームの符号化情報の少なくとも一部として用いることを特徴とする。
【０００６】
この発明に係る画像復号装置は、連続して入力される各フレームの画像情報のうち少なくとも一部のフレームを前後のフレームの画像情報に基づいて復号する画像復号装置において、復号すべきフレームの画像情報の符号化データが合成比データで与えられている場合、与えられた合成比に基づいて前後の復号済みのフレームを合成することにより当該フレームの画像情報を復号するようにしたことを特徴とする。
【０００７】
この発明によれば、対象フレームが合成フレームであると判別されると、それに含まれる前後のフレームの合成比が検出され、この合成比が符号化情報の少なくとも一部として使用（送信又は記録）される。そして、対象フレームの復号の際に前後のフレームがその合成比に基づいて合成されて対象フレームが復号されるので、符号化効率は向上する。
【０００８】
なお、対象フレームが前後のフレームの合成フレームであるかどうかを判別するには、例えば、次のように行えばよい。即ち、対象フレームとその前後のフレームの画像情報からエッジ抽出手段で多値画像であるエッジ画像を抽出し、これらエッジ画像をエッジ正規化処理手段で２値化すると共に所定の太さに正規化する。
次に、合成フレーム判別手段で、エッジ正規化処理手段から出力された前後のフレームの正規化エッジ画像を合成し、この合成正規化エッジ画像と対象フレームの正規化エッジ画像との差分に基づいて対象フレームが合成フレームであるかどうかを判別する。
判別処理の対象となる画像情報はエッジ画像であるため、処理対象となる情報量を少なくすることができる。また、判別の際のエッジ画像情報はエッジ幅が一定の幅に正規化されているため、コントラストの差による影響が排除される。
【０００９】
また、エッジ抽出手段で抽出された対象フレームのエッジ画像は、正規化エッジ画像とは異なり、元の画像情報のコントラストをある程度反映したものであるため、フレーム合成比検出手段で対象フレーム及び前後のフレームのエッジ画像の例えば画素値等から合成比を検出することができる。但し、合成比は、各フレームの正規化エッジ画像で規定される範囲で求めるのが好ましい。これにより、処理の範囲を限定することができ、処理効率を高めることができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
図１は、この発明の一実施例に係る画像符号化器の構成を示すブロック図、図２は、同じく画像復号器の構成を示すブロック図である。
【００１１】
図１において、連続して入力される各フレームの画像情報は、符号化器１に入力される。符号化器１は、画像情報を量子化データとするもので、種々の方式が利用できる。符号化器１からは符号化前の画像情報も出力されている。この画像情報のうち、対象フレーム（現フレーム）のデータは、合成フレーム／合成比検出部２に供給され、対象フレームの前後フレームのデータは、フレームメモリ３，４に記憶される。これらフレームメモリ３，４からのデータもまた合成フレーム／合成比検出部２に供給される。
【００１２】
合成フレーム／合成比検出部２は、対象フレームとその前後フレームの画像情報に基づいて、対象フレームがその前後のフレームの合成フレームであるか否かを判別すると共に、合成フレームであると判別されたときには、対象フレームの画像情報に含まれる前後のフレームの画像情報の合成比が検出され、これがフレーム合成比となる。
【００１３】
符号化データ出力部５は、合成フレーム判別の結果に応じて画像情報を制御するとともに、データ列の並びを調整して最終的な符号化データを出力する。すなわち、対象フレームが合成フレームでないときは符号化器１からの量子化データをそのまま出力し、対象フレームが合成フレームであるときには、符号化器１による量子化データに代えて検出されたフレーム合成比データを対象フレームの量子化データとして符号化データを生成出力する。また、符号化出力データ中には、必要に応じて量子化特性データ等が盛り込まれる。
【００１４】
次に、図２に基づき、復号器について説明する。復号器１１には、画像情報およびフレーム合成比の量子化データ並びに量子化特性等が入力される。復号器１１からの画像情報の量子化データのうち、フレーム合成に必要な前後フレームのデータはフレームメモリ１２，１３に記憶される。フレーム合成部１４には、復号器１１からフレーム合成比が供給されるとともに、フレームメモリ１２，１３から前後レームの画像情報が供給される。フレーム合成部１４は、フレーム合成比に基づいて、前後フレームの画像情報データを合成し、合成フレームの画像情報を生成する。復号化データ出力部１５は、フレーム合成部１４の出力である合成フレームの画像情報とフレームメモリ１２，１３からの非合成フレームを選択しかつデータ列の並びを調整して最終的な復号データを出力する。
【００１５】
このように構成された符号化器及び復号器によれば、フレーム合成比に基づく符号化及び復号を行うようにしているので、次のような効果がある。
即ち、図３（ａ）に示すように、セルアニメーションやコンピュータグラフィックス等において、前フレームの画像ａが後フレームの画像ｃの位置に移動する場合、前述したモーションブラーの効果を出すため、それらのフレームの間の現フレームを、画像ｃに対応する画像ｂの背景に、画像ａのコントラストを落とした画像ａ′をだぶらせると、従来のＭＰＥＧによれば、同図（ｂ）に示すように、通常のフレーム間両方向予測によって動き補償された１：１の合成フレームと現フレームとの差分として、画像ａ′がそのまま表れる。このため、符号化すべきデータ量が増大する。
しかしながら、この発明によれば、合成フレームについてはフレーム合成比だけで対処でき、符号化効率が向上する。
【００１６】
図４は、図１に示した符号化器の合成フレーム／合成比検出部１４の具体的な構成例を示す図である。符号化すべき対象フレームの画像情報Ｂとその前後のフレームの画像情報Ａ，Ｃとは、前処理部４１でノイズや細かい絵柄を除去されると、エッジ抽出部４２で１次微分されて、図５（ａ）から同図（ｂ）のように多値画像であるエッジ画像がそれぞれ抽出される。
【００１７】
抽出されたエッジ画像は、画像のコントラストの影響を排除するため、エッジ正規化処理部４３に供給され、ここで図５（ｃ）のように２次微分及び同図（ｄ）のように２値化されて、所定の太さに正規化される。前後のフレームの正規化エッジ画像Ａ″，Ｃ″は、論理和部４４で合成される。合成された合成正規化エッジ画像Ｆは、エッジ面積算出部４５に供給され、ここでそのドットの面積（幅が１である場合には、長さと等しい）Ｓが算出される。また、対象フレームの正規化エッジ画像Ｂ″と合成正規化エッジ画像Ｆとは、減算部４６に供給され、両者の差分が求められる。この差分は、積分処理部４７に供給され、ここでその積分値Ｄが算出される。合成フレーム判別部４８には、予めスレッショルドレベルＴが与えられ、判別式Ｄ／Ｓ≦Ｔに基づいて、対象フレームが合成フレームであるか否かが判別される。
【００１８】
一方、エッジ抽出部４２で抽出された対象フレーム及び前後のフレームのエッジ画像Ａ′，Ｂ′，Ｃ′は、スイッチ４９を介してエリア内画素値積分処理部５０に供給される。エリア内画素値積分処理部５０は、対象フレーム及び前後フレームのエッジ画像Ａ′，Ｂ′，Ｃ′がコントラストを反映しているという事実に基づき、各フレームの画素値を積分して、その積分値ｒａ，ｒｂ，ｒｃを算出する。この場合、処理の効率及び耐ノイズ性を上げるため、合成比導出エリアＥを設定する。この合成比導出エリアＥは、対象フレームの正規化エッジ画像Ｂ″と前フレームの正規化エッジ画像Ａ″及び対象フレームの正規化エッジ画像Ｂ″と後フレームの正規化エッジ画像Ｃ″をスイッチ５１で切り替えて、論理積部５２により、順次供給することにより求められる。スイッチ４９，５１を切り替えることにより、エッジ画像Ｂ′，Ａ′の積分値ｒｂ，ｒａとエッジ画像Ｂ′，Ｃ′の積分値ｒｂ，ｒｃとが順次求められる。
【００１９】
これらの積分値ｒａ，ｒｂ，ｒｃは、合成比導出部５３に供給され、合成比導出部５３は、合成比Ｎａ＝ｒｂ／ｒａ，Ｎｂ＝ｒｂ／ｒｃを導出すると共に、合成フレーム判別部４８で対象フレームが合成フレームであると判別されたときのみ、合成比Ｎａ,Ｎｂを出力し、対象フレームが合成フレームでないと判別されたときには、例えば通常の符号化処理を指示する情報を符号化データ出力部５に送る。
【００２０】
【発明の効果】
以上述べたように、この発明によれば、対象フレームが合成フレームであると判別されると、それに含まれる前後のフレームの合成比が検出され、この合成比が符号化情報として使用される。そして、対象フレームの復号の際に前後のフレームがその合成比に基づいて合成されて対象フレームが復号される。従って、対象フレームが前後のフレームのＮ１：Ｎ２の合成フレームである場合、従来方式と比べて符号化効率は向上する。
【図面の簡単な説明】
【図１】 この発明の一実施例に係る符号化器の構成を示すブロック図である。
【図２】 この発明の一実施例に係る復号器の構成を示すブロック図である。
【図３】 同符号化器における合成フレーム予測を説明するための図である。
【図４】 同実施例における符号化器の合成フレーム／合成比検出部の構成を示す図である。
【図５】 同検出部におけるエッジ処理を説明するための図である。
【符号の説明】
１…符号化器、２…合成フレーム／合成比検出部、３，４，１２，１３…フレームメモリ、５…符号化データ出力部、１１…復号器、１４…フレーム合成部、１５…復号化データ出力部、４１…前処理部、４２…エッジ抽出部、４３…エッジ正規処理部、４４…論理和部、４５…エッジ面積算出部、４６…減算部、４７…積分処理部、４８…合成フレーム判別部、５０…エリア内画素値積分処理部、５２…論理積部、５３…合成比導出部。
Claims (4)
- 連続して入力される各フレームの画像情報を符号化処理及び復号処理により符号化及び復号する画像符号化復号方法において、
符号化すべき対象フレームの画像情報とその前後のフレームの合成画像情報との差分を求め、前記差分が所定値以下のときには対象フレームが前後のフレームの合成フレームであると判別し、前記差分が所定値より大きいときには対象フレームが前後のフレームの合成フレームでないと判別し、
対象フレームの画像情報に含まれる前のフレームの画像情報に対応する部分の画像情報と前のフレームの画像情報との画素値の比率及び対象フレームの画像情報に含まれる後のフレームの画像情報に対応する部分の画像情報と後のフレームの画像情報との画素値の比率を前後のフレームの画像情報の合成比としてそれぞれ検出し、
対象フレームが合成フレームでないと判定されたときには、前記符号化処理により得られた量子化データを当該対象フレームの符号化情報の少なくとも一部として使用し、対象フレームが合成フレームであると判定されたときには前記検出された合成比を前記符号化処理により得られた量子化データに代えて当該対象フレームの符号化情報の少なくとも一部として使用し、
前記対象フレームの復号の際に復号された前後のフレームを前記合成比に基づいて合成することにより前記対象フレームを復号するようにしたことを特徴とする画像符号化復号方法。 - 連続して入力される各フレームの画像情報を符号化処理により符号化する画像符号化装置において、
符号化すべき対象フレームの画像情報とその前後のフレームの合成画像情報との差分を求め、前記差分が所定値以下のときには対象フレームが前後のフレームの合成フレームであると判別し、前記差分が所定値より大きいときには対象フレームが前後のフレームの合成フレームでないと判別する合成フレーム判別手段と、
対象フレームの画像情報に含まれる前のフレームの画像情報に対応する部分の画像情報と前のフレームの画像情報との画素値の比率及び対象フレームの画像情報に含まれる後のフレームの画像情報に対応する部分の画像情報と後のフレームの画像情報との画素値の比率を前後のフレームの画像情報の合成比としてそれぞれ検出し前記合成フレーム判別手段で対象フレームが合成フレームであると判別されたときに前記検出された合成比を出力するフレーム合成比検出手段とを備え、
対象フレームが合成フレームでないと判定されたときには、前記符号化処理により得られた量子化データを当該対象フレームの符号化情報の少なくとも一部として使用し、対象フレームが合成フレームであると判定されたときには前記フレーム合成比検出手段から出力される合成比を前記符号化処理により得られた量子化データに代えて当該対象フレームの符号化情報の少なくとも一部として用いることを特徴とする画像符号化装置。 - 連続して入力される各フレームの画像情報を符号化処理により符号化する画像符号化装置において、
符号化すべき対象フレームの画像情報とその前後のフレームの画像情報とを入力しこれら各画像情報から多値画像であるエッジ画像を抽出するエッジ抽出手段と、
このエッジ抽出手段で抽出されたエッジ画像を２値化すると共に所定の太さに正規化するエッジ正規化処理手段と、
このエッジ正規化処理手段から出力された前後のフレームの正規化エッジ画像を合成しこの合成正規化エッジ画像と対象フレームの正規化エッジ画像との差分を求め、前記差分が所定値以下のときには対象フレームが前後のフレームの合成画像であると判別し、前記差分が所定値より大きいときには対象フレームが前後のフレームの合成フレームでないと判別する合成フレーム判別手段と、
前記エッジ抽出手段で抽出された対象フレームのエッジ画像の画素値と前のフレームのエッジ画像の画素値との比率を前のフレームの正規化エッジ画像と重なる範囲について求めると共に、対象フレームのエッジ画像の画素値と後のフレームのエッジ画像の画素値との比率を後のフレームの正規化エッジ画像と重なる範囲について求めることにより対象フレームのエッジ画像に含まれる前後のフレームのエッジ画像の合成比を検出し前記合成フレーム判別手段で対象フレームが合成フレームであると判別されたときに前記検出された合成比を出力するフレーム合成比検出手段とを備え、
対象フレームが合成フレームでないと判定されたときには、前記符号化処理により得られた量子化データを当該対象フレームの符号化情報の少なくとも一部として使用し、対象フレームが合成フレームであると判定されたときには前記フレーム合成比検出手段から出力される合成比を前記符号化処理により得られた量子化データに代えて当該対象フレームの符号化情報の少なくとも一部として用いることを特徴とする画像符号化装置。 - 連続して入力される各フレームの画像情報のうち少なくとも一部のフレームを前後のフレームの画像情報に基づいて復号する画像復号装置において、
復号すべきフレームの画像情報の符号化データが合成比データで与えられている場合、与えられた合成比に基づいて前後の復号済みのフレームを合成することにより当該フレームの画像情報を復号するようにしたことを特徴とする画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35394495A JP3716478B2 (ja) | 1995-12-28 | 1995-12-28 | 画像符号化復号方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35394495A JP3716478B2 (ja) | 1995-12-28 | 1995-12-28 | 画像符号化復号方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09187014A JPH09187014A (ja) | 1997-07-15 |
| JP3716478B2 true JP3716478B2 (ja) | 2005-11-16 |
Family
ID=18434272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35394495A Expired - Fee Related JP3716478B2 (ja) | 1995-12-28 | 1995-12-28 | 画像符号化復号方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3716478B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4453647B2 (ja) | 2005-10-28 | 2010-04-21 | セイコーエプソン株式会社 | 動画像表示装置および動画像表示方法 |
-
1995
- 1995-12-28 JP JP35394495A patent/JP3716478B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09187014A (ja) | 1997-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1271957B1 (en) | Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus | |
| JP3197420B2 (ja) | 画像符号化装置 | |
| US7949053B2 (en) | Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium | |
| CN100518315C (zh) | 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法 | |
| JP4875007B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| JP2008219870A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| CN101184238A (zh) | 编码装置及编码方法 | |
| JP3115651B2 (ja) | 画像符号化装置 | |
| EP0985318B1 (en) | System for extracting coding parameters from video data | |
| JP3056120B2 (ja) | 映像信号の形状情報予測符号化方法 | |
| JP2003179921A (ja) | 符号化映像復号化装置 | |
| JP3716478B2 (ja) | 画像符号化復号方式 | |
| JPH06133299A (ja) | 動きベクトル検出方法 | |
| JPH1032829A (ja) | 画像情報の再符号化方法及び装置 | |
| WO2004057535A1 (en) | Enhancing video images depending on prior image enhancements | |
| JP2008028707A (ja) | 画質評価装置、符号化装置及び画質評価方法 | |
| EP0817500A2 (en) | Image coding and decoding method and apparatus | |
| JP2621337B2 (ja) | 背景予測を用いた動画像の予測符号化方式とその装置 | |
| JP3597271B2 (ja) | 動画像のカット点画像検出装置 | |
| JP2000152226A (ja) | 画像符号化装置および方法、画像復号装置および方法、並びに提供媒体 | |
| JPH10210480A (ja) | 動画像符号化方式 | |
| CN117915093A (zh) | 基于神经网络的数据处理和生成方法及装置 | |
| KR20050019807A (ko) | 공간적인 스케일러블 압축 | |
| JP2008259018A (ja) | シーンチェンジ検出装置 | |
| JP2001245304A (ja) | 動画像符号化方法および動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050822 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |