JP3764494B2 - 動画像分析合成装置 - Google Patents
動画像分析合成装置 Download PDFInfo
- Publication number
- JP3764494B2 JP3764494B2 JP26665093A JP26665093A JP3764494B2 JP 3764494 B2 JP3764494 B2 JP 3764494B2 JP 26665093 A JP26665093 A JP 26665093A JP 26665093 A JP26665093 A JP 26665093A JP 3764494 B2 JP3764494 B2 JP 3764494B2
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- feature point
- information
- unit
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、たとえば、画像記録、通信などの分野で利用される画像処理および符号化処理を行う装置とその方法に関するものであり、特に、効率のよい動画像データを符号し、さらに符号化した結果を復号することが可能な動画像分析合成装置に関する。
【０００２】
【従来の技術】
効率のよい画像圧縮の方法は数多く考えられているが、依然として、画質、圧縮率をさらに高めなければならないという要請がある。
二次元静止画像に関しては、人間の視覚特性が輝度の急変するエッジに対して敏感であることを考慮して、そのエッジ部分を忠実に再現する試みがされている。しかしながら、動画像に関しては、まだそのような試みを行ったことは知られていない。
したがって、動画像に対しても効率の良い画像圧縮技術を開発することが望まれている。
【０００３】
動画像処理においては、空間二次元信号を時間方向に並べることにより三次元時空間画像として見なすことができる。
人間の視覚特性はこの三次元時空間画像に対して通常の二次元空間におけるエッジ検出と並行して時間方向における動き検出も行なっている。特に動くエッジに対しては敏感な反応が視覚情報処理を司る神経細胞で観測されている。
したがって、二次元空間におけるエッジ検出が視覚にとって重要であったのと同様に時間方向における動くエッジも重要であることが示唆される。
従来の動き検出を用いた画像圧縮は、二次元空間における動き検出を何らかの方法で行なって、それを用いて時間方向に予測を行ない、その誤差の符号化を行っている。
【０００４】
【発明が解決しようとする課題】
しかしながら、この方法では先に述べた動くエッジに注目してそこの情報を忠実に送るという技術ではないから、動画像に対して充分高い効率の符号化が達成されていない。
【０００５】
したがって、本発明は、動画像に対して高画質で高い圧縮率を達成することが可能な画像圧縮技術とそれを用いた装置を提供することを目的とする。
つまり、本発明は、視覚的に遜色のない空間方向、時間方向への画像の拡大あるいは補間を行い、視覚的に遜色のない画質で高い圧縮率を達成できる動画像分析合成装置を提供することを目的とする。
さらに本発明は、上記高い圧縮率で符号化した画像データから元の画像データを復元できる装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明によれば、二次元平面と時間方向とで規定される三次元方向のスムージング関数であって、周波数空間の異なる帯域ごとに定義される複数のスムージング関数のうち、最も粗い解像度に相当する帯域のスムージング関数を元の画像データに畳み込んで前記元の画像データのＤＣ成分を独立に分析し、前記元の画像データから前記分析したＤＣ成分を減じてＤＣ成分を含まない画像データを算出し、該ＤＣ成分を含まない画像データについて、前記複数のスムージング関数を、それぞれ、前記三次元方向の各方向において１回偏微分した複数の第１分析フィルタ関数を畳み込んで、前記異なる帯域ごとに多重解像度分析を行う情報変化分析手段と、該情報変化分析手段で求めた前記ＤＣ成分を含まない画像データについて、前記複数のスムージング関数を、それぞれ、前記三次元方向の各方向において２回偏微分した複数の第２分析フィルタ関数を畳み込み、該畳み込み結果が０となるゼロクロス点を求め、前記異なる帯域ごとに前記ゼロクロス点が発生した位置を検出する特徴点検出手段と、複数のフレームの各フレームごとに、前記特徴点検出手段で検出した前記ゼロクロス点の集合からなる該フレームに属するゼロクロス点を抽出し、該抽出したゼロクロス点の集合からなる曲線についてその曲率の極値を与える点を求め、前記複数のフレームのうち所定のフレームを基準フレームとし、該基準フレームにおける前記曲線の位置情報と、前記極値を与える点の集合のうち前記基準フレームとこれに続く各フレームとの間で対応する点を時間方向に連結した曲線の位置情報とを、前記異なる帯域ごとに符号化する特徴点符号化手段と、前記情報変化分析手段で求めた多重解像度分析結果について、前記極値を与える点における分析結果を、前記異なる帯域ごとに符号化する情報符号化手段とを備えることを特徴とする動画像分析合成装置が提供される。
好ましくは、動画像分析合成装置は、前記特徴点符号化手段の符号化結果と、前記情報符号化手段の符号化結果との冗長度をさらに圧縮し、または、量子化のためのビット割当を行なうため総合的に符号化する、総合符号化手段をさらに有する。
【０００７】
また好ましくは、前記特徴点符号化手段は、前記ゼロクロス点について重複している点がある場合には１つにまとめてゼロクロス点の集合とする。
また好ましくは、前記特徴点符号化手段は、隣接するフレームにおける前記極値を与える点の距離が最小になるもの同士を連結する。
【０００８】
また本発明によれば、前記情報符号化手段から出力されたデータについて、前記特徴点符号化手段における処理と逆の処理を行い前記特徴点検出手段で検出した結果と等価のデータを復号し、該復号したデータについて前記特徴点検出手段における処理と逆の処理を行い前記特徴点検出手段に入力された前記ＤＣ成分を含まない画像データを復号し、前記情報符号化手段の処理と逆の処理を行い前記情報変化分析手段から出力されたデータと等価の分析結果を復号する、情報再生手段と、該情報再生手段で復号した分析結果に基づいて補間と逆変換を反復して収束させて前記符号化前の元の画像データを復号する元画像再生手段とを有する、動画像分析合成装置が提供される。
【０００９】
【実施例】
本発明は動画像を二次元画像平面と時間軸が構成する三次元空間に画像情報（輝度信号、色差信号など）が分布しているものと見なし、その動画像の変化を分析して、動画像の変化の特徴点における情報を用いて元の動画像を近似する。
この実施例では、その近似として、三次元空間における動画像についての特徴点による曲面の検出と、曲面を構成するその特徴点における分析結果を用いて、上記曲面を構成する特徴点以外の曲面を構成すると予想される点の画像情報を補間する。
上記曲面を構成する特徴点の場所も情報であるのでこれも符号化しなければならないが、ここでは、曲面という幾何学的な構造をパラメトリックな関数表現で表し、そのパラメトリックな関数を分析して画像データの圧縮を行う。
【００１０】
以下、図面を参照して本発明の実施例の動画像分析合成装置について詳述する。
説明を容易にするため、白黒の動画像がＦフレームだけフレームメモリへ送られ、このＦフレーム分の動画像をまとめて符号化することを考える。
図１は本実施例の動画像分析合成装置１のブロック図である。
この動画像分析合成装置（システム）１は分析部（動画像分析装置）１０と合成部（動画像合成装置）２０とを有する。分析部１０と合成部２０との間には信号伝送系、たとえば、磁気テープまたは磁気ディスクなどの磁気記録媒体、あるいは、通信システムにおける信号伝送系などが存在するが、図面においては省略している。
分析部１０は、画像メモリ１１、情報変化分析部１２、特徴点検出部１３、特徴点符号化部１４、情報符号化部１５および総合符号化部１６を有する。
合成部２０は、総合再生部２１、情報再生部２２および元画像再生部２３を有する。
【００１１】
まず、上述した構成部分の処理内容の概要を述べる。
画像メモリ１１は入力された白黒動画像をＦフレーム分を記録し、情報変化分析部１２はその動画像の輝度変化の三次元方向の分析を行う。
特徴点検出部１３は、情報変化分析部１２における分析結果から特徴点の存在する場所を三次元空間上に点として表現する。
特徴点符号化部１４は、特徴点検出部１３の解析結果である特徴点の存在する場所を曲面として表現する。
情報符号化部１５は、元の動画像を再生するための分析を、情報変化分析部１２で分析した結果を参照して、特徴点符号化部１４における上述の特徴点の存在する場所において実行し、その分析結果を総合符号化部１６に送出する。
総合符号化部１６は、特徴点符号化部１４と情報符号化部１５から送られてくる情報を総合して適切に符号化する。
【００１２】
総合再生部２１は、総合符号化部１６において符号化された情報を、信号伝送系（図示せず）を介して受信して、その情報から特徴点符号化部１４と情報符号化部１５の出力情報を再生する。
情報再生部２２は、特徴点の位置に関する再生結果を基に特徴点を三次元空間内に選び、情報符号化部１５の分析結果に関する再生結果をその位置に配置する。
情報再生部２２は、特徴点以外の場所における画像成分も補間処理することにより、元の動画像の視覚的に重要である三次元空間で輝度変化の激しい部分は忠実に、その他の部分はなだらかに近似する。
【００１３】
さらに上述した各部の処理内容の詳細について述べる。
画像メモリ１１
画像メモリ１１は、カメラやビデオ装置などの画像信号出力装置（図示せず）からＦフレーム分の動画像を順次連続して入力して記憶する。この入力画像データを元の画像データ（または、原画像データ、あるいは、初期画像データ）Ｉ0(x,y,t)として表す。パラメータｘは（ｘ−ｙ）二次元平面における横（ｘ軸）方向の位置、パラメータｙは縦（ｙ軸）方向の位置、パラメータｔは時間経過を示す。記号Ｉは白黒画像の輝度（強度）を示す。記号Ｉo は初期状態における（または元の画像の）輝度を示す。
この画像メモリ１１に記憶された元の画像データＩ0 (x,y,t) は、ｘ−ｙ二次元平面として規定される画像平面（イメージ平面）と、時系列的な変化を時間（ｔ）軸に置き換えた時間方向との三次元空間上に分布する情報として扱うことができる。
この画像メモリ１１に記憶された三次元的な元の画像データＩ0 (x,y,t) は、情報変化分析部１２において分析を行うために、画像メモリ１１から読み出されて情報変化分析部１２に出力される。
【００１４】
情報変化分析部１２
情報変化分析部１２においては、画像メモリ１１から読み出した元の画像データＩ0 (x,y,t) についての三次元的な変化を分析する。
具体的には、この三次元的な変化の分析として、情報変化分析部１２は、異なる分析スケールを適用する多重解像度での三次元の各方向へ方向性のあるフィルタリング処理を行なう。
多重解像度とは、周波数空間において帯域特性の異なる複数のフィルタを用いて信号を帯域ごとに分割することを意味し、情報変化分析部１２において、複数の分析スケールσj について、サフックス（インデックス）ｊ＝ｊ１，ｊ２，・・・，ｊＪについて行なう。
情報変化分析部１２はまず、画像メモリ１１から読みだした元の画像データＩ 0 (x,y,t) のＤＣ成分を独立に分析する。窓関数あるいはスムージング関数を三次元ガウス関数として表されるＧ(x,y,t: σj ) とおくと、元の画像データＩ 0 (x,y,t) のＤＣ成分は、最も粗い解像度ｊ＝ｊＪに相当する三次元スムージング関数Ｇ(x,y,t: σi ) によるフィルタリング処理結果に相当する。このことは、下記式１で表されるように、元の画像データＩ0 (x,y,t) に三次元スムージング関数Ｇ(x,y,t: σi ) を畳み込むことによって、元の画像データＩ 0 (x,y,t) のＤＣ成分が抽出されること意味している。
【００１５】
【数１】
【００１６】
１つの記号＊は１回の畳み込み演算を表す。式１には３個の＊が存在するから、パラメータｘ，ｙ，ｔについて３回、つまり、三次元の畳み込み演算が行われることを示している。
元の画像データＩ0 (x,y,t) から式１で表されるＤＣ成分を減じたＤＣ成分を含まない画像データＩ(x,y,t) は下記式で表される。
【００１７】
【数２】
【００１８】
以下、式２で表したＤＣ成分を含まない画像データＩ(x,y,t) を単に、画像データとも呼ぶ。
このＤＣ成分を含まない画像データＩ (x,y,t) は特徴点検出部１３に出力される他、下記の演算に使用される。
情報変化分析部１２は、式２で示されるＤＣ成分を含まない画像データＩ(x,y,t) の変化を分析する。以下、情報変化分析部１２の分析処理を述べる。
まず、情報変化分析部１２は三次元スムージング関数Ｇ(x,y,t: σi ) を、ｘ，ｙ，ｔでそれぞれ偏微分した下記式３〜５で表される第１分析フィルタ関数を求める。
【００１９】
【数３】
【００２０】
【数４】
【００２１】
【数５】
【００２２】
情報変化分析部１２は、求めた第１分析フィルタ関数をそれぞれＤＣ成分を含まない画像データＩ (x,y,t) に対して畳み込む。
その演算式を式６〜８に示す。
【００２３】
【数６】
【００２４】
【数７】
【００２５】
【数８】
【００２６】
以上の演算を行うことにより、情報変化分析部１２において、三次元方向ｘ，ｙ，ｔについてそれぞれＤＣ成分を含まない画像データＩ (x,y,t) について多重解像度分析が行われたことになる。
なお、たとえば、式６に示したｘ方向における第１畳み込み演算結果Ｗ x Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を１回偏微分した関数（第１分析フィルタ関数）をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示し、後述する式１２に示すｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を２回偏微分した関数（第２分析フィルタ関数）をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示す。
上記得られた多重解像度分析結果は情報符号化部１５で用いられる。
【００２７】
特徴点検出部１３
特徴点検出部１３は、式６〜８に示した情報変化分析部１２の分析結果（多重解像度分析結果）の極値、つまり、極大値または極小値の場所（位置または点）を求める。
その具体的な処理について述べると、特徴点検出部１３は、式６〜式８の結果について、ｘ，ｙ，ｔ方向それぞれにもう一度同じ方向に微分して、微分した結果についてゼロクロス点を求める。ゼロクロス点が情報変化分析部１２において求めた式６〜８に示した多重解像度分析結果の極値を示しており、特徴点検出部１３はその極値が発生した位置を、多重解像度分析結果の特徴点の位置として記憶する。
なお、上記特徴点検出部１３における、式６〜式８の結果についてそれぞれの方向においてもう一度同じ方向に微分して得た関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込むことは、式３〜６の結果を同じ方向に２回微分して得た第２分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込むことと実質的に同じである。
この特徴点検出部１３における演算は、畳み込みに使用する分析フィルタ関数が、情報変化分析部１２においては式３〜６に示したものであり、特徴点検出部１３においては式６〜８をさらに１回微分したものであるという相違はあるが、画像データＩ (x,y,t) を分析フィルタ関数で畳み込むという点において情報変化分析部１２における演算とほぼ同じである。
特徴点検出部１３においては、三次元スムージング関数Ｇ(x,y,t: σi ) について、式９〜１１に示した、ｘ，ｙ，ｔのそれぞれの方向への２階（２回）微分（偏微分）した第２分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだフィルタ出力のうちゼロクロス点を求めることになる。
スムージング関数Ｇ(x,y,t: σi ) について三次元ｘ，ｙ，ｔのそれぞれの方向への２階（２回）偏微分して求めた第２分析フィルタ関数を下記式９〜式１１に示す。
【００２８】
【数９】
【００２９】
【数１０】
【００３０】
【数１１】
【００３１】
上述したように、特徴点検出部１３は、上記２階偏微分として式９〜１１に定義された第２分析フィルタ関数にＤＣ成分を含まない画像データＩ(x,y,t) を畳み込む。その演算式を下記１２〜１４に示す。
【００３２】
【数１２】
【００３３】
【数１３】
【００３４】
【数１４】
【００３５】
なお、たとえば、式６に示したｘ方向における第１畳み込み演算結果Ｗ x Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を１回偏微分して求めた第１分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示すが、式１２に示したｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を２回偏微分して求めた第２分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示す。
特徴点検出部１３は、式１２〜１４の演算を行って、その演算結果から三次元ｘ，ｙ，ｔ方向それぞれのゼロクロス点を求める。
ここで、式１２において、ｘ方向における第２畳み込み演算結果ＷxxＩ(x,y,t: σj ) が０となるゼロクロス点（ゼロクロス位置）を、Pxi (xxi,yxi,txi: σj ) と表す。但し、インデックスｉ＝１，２，・・，Ｎx j について、Ｎx j 個のゼロクロス点があるものとする。
同様に、式１３において、ｙ方向における第２畳み込み演算結果ＷyyＩ( x,y,t:σj ) が０となるゼロクロス点（ゼロクロス位置）を、Pyh (xyh,yyh,tyh: σj ) と表す。但し、インデックスｈ＝１，２，・・，Ｎy j について、Ｎy j 個のゼロクロス点があるものとする。
また同様に、式１４において、ｔ方向における第２畳み込み演算結果ＷttＩ(
x,y,t:σj ) が０となるゼロクロス点（ゼロクロス位置）を、Ptk (xtk,ytk,ttk: σj ) と表す。但し、インデックスｋ＝１，２，・・，Ｎt j について、Ｎt
j 個のゼロクロス点があるものとする。
簡単な表現にするため、ｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) が０となるゼロクロス点（ゼロクロス位置）Pxi (xxi ,y xi,txi: σj )
を点Pxi (j) 、ｙ方向における第２畳み込み演算結果Ｗ yy Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Pyh (xyh,yyh,tyh: σj ) を点Pyh (j) 、ｔ方向における第２畳み込み演算結果Ｗ tt Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Ptk (xtk,ytk,ttk: σj ) を点Ptk (j) と表す。
【００３６】
以上のように、特徴点検出部１３において、式１２〜１４の演算を行って、ｘ，ｙ，ｔ方向それぞれのゼロクロス点、つまり、ＤＣ成分を含まない画像データＩ (x,y,t) についての極大値または極小値（極値）、および、その位置を求める。
【００３７】
特徴点符号化部１４
特徴点符号化部１４は、特徴点検出部１３で算出した、ｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) が０となるゼロクロス点Pxi (j) 、ｙ方向における第２畳み込み演算結果Ｗ yy Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Pyh (j) 、ｔ方向における第 ２畳み込み演算結果Ｗ tt Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Ptk (j) を曲面上の点としてとらえ、その曲面のパラメータにより、ゼロクロス点Pxi (j) 、ゼロクロス点Pyh (j) 、ゼロクロス点Ptk (j) を表すことにより、符号化する。
図６は特徴点符号化部１４の処理を示すフローチャートである。この詳細については後述する。
特徴点符号化部１４はまず、ゼロクロス点Pxi (j) 、ゼロクロス点Pyh (j) 、ゼロクロス点Ptk (j) が重複している場合は、１つにするようにして特徴点の集合P(j)を作る。つまり、特徴点の集合P(j)は、ｘ方向における第２畳み込み演算結果ＷxxＩ(x,y,t: σj ) が０か、ｙ方向における第２畳み込み演算結果ＷyyＩ( x,y,t:σj ) が０か、ｔ方向における第２畳み込み演算結果ＷttＩ( x,y,t:σj ) が０かのいずれかである。その特徴点の要素をPp(j) と表す。ただし、p=1,2,・・・,Np で全部でNp個の特徴点からなるとする。
ここで、ｘ，ｙ，ｔ方向からなる三次元上に分布する特徴点を二次元上に分布する特徴点としてとらえるために、特徴点符号化部１４は、ｘ−ｙ−ｔで構成される三次元空間をｘ−ｙ二次元平面と平行にスライスして二次元平面に落とす（射影する）。そして、特徴点符号化部１４は、二次元平面上の特徴点を連結して曲線を抽出する。
ここで、連結とはある特徴点Pp(j) に注目し、その画素を中心として（３×３）画素から構成される正方形画像について上述した処理を行ない、その中に同じく特徴点の集合 P(j)の要素である特徴点が含まれていればその点を同一曲線に含むことを言う。
さらに、特徴点符号化部１４は、以上の処理から得られた各二次元平面上の曲線を時間軸方向（ｔ方向）に連結して曲面として表現する。特徴点符号化部１４は、まずある曲線に注目し、この曲線と次のフレームの曲線の各要素点（特徴点）の９個の画素（３×３）の近傍にある点の数を計算する。そして、特徴点符号化部１４は一番一致した曲線同士を連結して曲面を構成する。
【００３８】
次に、特徴点符号化部１４は、上述のごとく連結してグルーピングされた曲面を切断曲線と曲率の極値（極大値または極小値）を連結した曲線で表現する。
図２に曲面の例を示す。
まず、特徴点符号化部１４は、上述のごとく二次元平面上の特徴点を連結して得た曲面をｘ−ｙ平面と平行にスライスする。これにより、上記曲面は各平面上の切断曲線になる。そして、特徴点符号化部１４は、基準となる第１フレーム目の曲線の位置の情報を保持する。
次に、特徴点符号化部１４は各切断曲線に対し曲率κ(s) を求め、さらに曲率の極大値または極小値（極値）の位置を求める。ただし、変数ｓは始点からの位置を表すパラメータである。特徴点符号化部１４における上記切断曲線から曲率κ(s) を求める手法については後述する。
そして、特徴点符号化部１４は求めた曲率κ (s) の極値の位置を、図２に破線で示すｔ( 時間軸) 方向に連結する。
ここで、特徴点符号化部１４は、ｔ方向への連結では、あるフレーム上の曲線Ｌi に含まれる曲率の極値点P niと次のフレーム上の曲線Ｌi+1 に含まれる曲率の極値点P i+1mに対して下記式で定義される距離Ｄを計算する。
【００３９】
【数１５】
【００４０】
そして、特徴点符号化部１４は、距離Ｄが最小になった極値点同士を、図２に付加データとして例示したように、連結する。
以上により、特徴点符号化部１４は、上述のごとく二次元平面上の特徴点を連結して得た曲面をｘ−ｙ平面と平行にスライスして得た各切断曲線を、基準となる第１フレーム目の位置の情報、各フレーム上での極値の位置をｔ方向に連結した情報により得た曲面を表現する。
特徴点符号化部１４は、このとき、上記曲面をｘ−ｙ平面と平行にスライスした結果、新たに出現した切断曲線についてはこれをメモリ（図示せず）に保持する。
図３に、基準となる第１フレームとｔ方向の連結線によって表現された曲面の様子を示す。
【００４１】
情報符号化部１５
情報符号化部１５は、前述の特徴点で構成する曲面の上で情報を分析し、それを参照して情報変化分析部１２における多重解像度分析結果の圧縮処理を行なう。これらの上での圧縮を行なう理由を述べる。
つまり、これらの特徴点は、情報変化分析部１２で多重解像度分析した第１畳み込み演算結果を示す情報（多重解像度分析結果）の極値を与える点であり、その極値は、つながっている特徴点の上は、なだらかにしか変化しないから（連続しているから）、情報変化分析部１２における多重解像度分析結果を圧縮処理を行うことができる。
より具体的に述べると、前述した特徴点の集合ｐ（ｊ）を曲面で表現し、特徴点符号化部１４ではその位置(x,y,t) を符号化したが、情報符号化部１５は、情報変化分析部１２で求めた多重解像度分析結果（第１畳み込み演算結果）Ｗ xＩ(x,y,t: σi ) 、Ｗ yＩ(x,y,t: σi ) 、Ｗ tＩ(x,y,t: σi ) を、第２畳み込み演算結果Ｗ xx Ｉ ( x,y,t: σ j ) 、Ｗ yy Ｉ ( x,y,t: σ j ) 、Ｗ tt Ｉ ( x,y,t: σ j ) について上述した特徴点符号化部１４と同様の手法で符号化する。
情報符号化部１５における曲面の分析結果の符号化では、特徴点符号化部１４において表現された特徴点の位置における分析結果を曲面の情報として持つことにより情報変化分析部１２の多重解像度分析結果について圧縮を行なう。つまり、曲面上に乗っている情報変化分析部１２における多重解像度分析結果を特徴点符号化部１４で表された第１フレームの切断曲線と曲率とを時間方向につないだ連結線の位置の分析結果だけで表して圧縮する。
以上のように、情報符号化部１５は特徴点の上での多重解像度分析結果を、特徴点符号化部１４の結果を参照して圧縮処理を行なう。
【００４２】
総合符号化部１６
総合符号化部１６は、特徴点符号化部１４と情報符号化部１５からのデータを符号化する。
この符号化を簡単に述べると、総合符号化部１６は特徴点符号化部１４における結果と、情報符号化部１５における結果との両者の冗長度をさらに圧縮したり、あるいは量子化のためのビット割当などを行なう。
また、必要であれば、総合符号化部１６は、誤り訂正のための符号化処理を行なう。さらに総合符号化部１６はその結果を記録し、合成部２０に送信する。
【００４３】
以下、合成部２０の処理について述べる。
総合再生部２１
総合再生部２１は、総合符号化部１６の符号化データを入力し総合符号化部１６の逆の操作を行なう。
つまり、総合再生部２１は、特徴点符号化部１４と情報符号化部１５の情報、すなわち、特徴点の場所に関するデータとその上の情報を再構成するのに必要なデータを復号する。
【００４４】
情報再生部２２
情報再生部２２は、総合再生部２１から得られた特徴点符号化部１４の出力と等価なデータから特徴点の位置、および、情報符号化部１５の情報符号化の出力と等価な情報から、（x −y −t ）で規定される三次元空間における全ての特徴点の位置とその位置における情報（本実施の形態では白黒画像データの輝度）を復元する（復号する）。
つまり、情報再生部２２は、特徴点符号化部１４と情報符号化部１５で行なった圧縮の逆処理を行なう。換言すれば、情報再生部２２は、曲面としてグループ化された（連結された）特徴点とその上の情報変化分析部１２の結果を復元する（復号する）。
【００４５】
図４は情報再生部２２において復元（復号）された曲面を示す図である。
情報再生部２２はまず、総合再生部２１で復号された基準となる第１フレーム目の情報を読み込む。
次に、情報再生部２２は総合再生部２１で復元された各フレームの曲率の極値をｔ方向に連結した情報を読み込む。
さらに情報再生部２２は、第１フレームのｉ番目の極値の位置P1(si ) と、第１フレームの(i+1) 番目の極値の位置P1(si+1 ）と、それぞれに対応した次のフレームのｊ番目の極値の位置P2(sj ) と、(j+1) 番目の極値の位置P2(sj+1)を選び出す。
情報再生部２２は、この４点に対し、第１フレーム上のｉ番目と(i+1) 番目の極値に囲まれた曲線の位置情報を使って、次のフレーム上のｉ’番目と（i+1)’番目の極値に囲まれた曲線の位置を補間する。
情報再生部２２は、以上の操作を全てのフレームに対して行ない位置情報を全て復元する（復号する）。上記曲線の位置の補間の方法については後述する。
同様に、情報再生部２２は、第１フレーム目の位置情報の上にある分析結果をｔ方向に順次補間することにより、情報変化分析部１２の結果を復元する（復号する）。
【００４６】
元画像再生部２３
元画像再生部２３は、情報再生部２２における上記の操作で得られた情報変化分析部１２の分析結果の極値である情報に基づいて、補間近似し、（x −y −t）の三次元空間全体での情報変化分析部１２の結果を復元し（復号し）、復号した結果について式６〜８の逆変換を行ない、x-y-t の三次元におけるＤＣ成分を含まない画像データＩ (x,y,t) を復元する（復号する）。
この例では、元画像再生部２３は、Convex Projection 法（凸面突起）法を用いて補間と逆変換を何回か繰り返して収束させる。
元画像再生部２３はまず、特徴点からの補間は簡単のために三次元（x,y,t ）の方向に対して独立に行なう。すなわち、元画像再生部２３は、ｘ方向に全てのｙと全ての時間t に対して全部で（ｙ×ｔ）本の一次元データと見なし、極値における分析結果Ｗ xx Ｉ(x,y,t: σi ) を用いて、Convex Projection 法により、その点を極値とするような射影を取る。元画像再生部２３はｙ方向とｔ方向に対しても、ｘ方向と同様に処理を行なう。
元画像再生部２３は、得られた近似データを式２０で定義された方法で逆変換を行ない、再び式６〜８で定義された方法で元の分析空間に射影する。
元画像再生部２３は、この操作を数回繰り返して、極値における分析結果（第１畳み込み演算結果）Ｗx Ｉ(x,y,t: σi ) 、Ｗy Ｉ(x,y,t: σi ) 、Ｗt Ｉ(x,y,t: σi ) へ収束させる。
元画像再生部２３は、最後に逆変換を行ないＤＣ成分を含まない画像データＩ(x,y,t) を復元する（復号する）。
逆変換は下記式で表されるフィルタ関数を上記分析結果（第１畳み込み演算結果）Ｗ x Ｉ (x,y,t: σ i ) 、Ｗ y Ｉ (x,y,t: σ i ) 、Ｗ t Ｉ (x,y,t: σ i ) に畳み込めばよい。
【００４７】
【数１６】
【００４８】
【数１７】
【００４９】
【数１８】
【００５０】
上記式における記号C(u,v,w)は下記式で定義される。
【００５１】
【数１９】
【００５２】
式１６〜１８の左辺はそれぞれ、スムージング関数（ガウス関数）Ｇx (u,v,w: σi ) 、Ｇy (u,v,w: σi ) 、Ｇt (u,v,w: σi ) のフーリエ変換を表し、つまり、頭部の山形ハットはフーリエ変換を表し、右肩の＊は複素関数を表し、右辺の頭部の−は複素共役を表す。
ＤＣ成分を含まない画像データＩ(x,y,t) は式１６〜１８で定義される逆変換のフィルタを用いて下記式で求められる。
【００５３】
【数２０】
【００５４】
最後に、元画像再生部２３は、下記式に示すように、ＤＣ成分を含まない画像データＩ(x,y,t) にＤＣ成分S iJ(x,y,t) を加えて元の動画像データＩ0 (x,y,t) を復元する（復 号する）。
【００５５】
【数２１】
【００５６】
このようにして、合成部２０は分析部（動画像分析装置）１０において符号化されたデータから元の画像データＩ0 (x,y,t) を再現できた。
以下、特徴点符号化部１４で用いた曲線からの曲率の計算アルゴリズム（方法）、および、情報再生部２２で用いた曲面の補間アルゴリズム（方法）について詳述する。
【００５７】
曲率計算方法
まず、特徴点符号化部１４における曲率の計算方法について述べる。
特徴点符号化部１４は、入力された曲線から曲率を計算し、曲率で曲線を表現する。
いま曲線のデータ列P(s)を、パラメータs として二次元上の位置を下記式で表す。
【００５８】
【数２２】
【００５９】
パラメータl(エル) の関数(x(l),y(l)) の微分が存在しているとすると、曲率κ(l) は次のように計算できる。
【００６０】
【数２３】
【００６１】
として
【００６２】
【数２４】
【００６３】
とする。式２４は次式より導出される。
【００６４】
【数２５】
【００６５】
式２５を、パラメータｘについて１階（１回）微分、さらに２階（２回）微分すると下記式が得られる。
【００６６】
【数２６】
【００６７】
式２６を式２５に代入すると下記式が得られる。
【００６８】
【数２７】
【００６９】
式２７および式２５から下記式が得られる。
【００７０】
【数２８】
【００７１】
ここで、x(s),y(s) に対するパラメータs による１階（１回）微分および２階（２回）微分は、下記式で表される。
【００７２】
【数２９】
【００７３】
したがって、下記式が得られる。
【００７４】
【数３０】
【００７５】
式２８および式３０から曲率κ(l) は下記式で表される。
【００７６】
【数３１】
【００７７】
以上より、特徴点符号化部１４は、式３１を用いて曲線のデータ列P(s)の曲率κ(s) を求めることができる。曲率κ(s) が求められれば曲面が判る。
しかしながら、データ列P(s)は、量子化された位置のデータであるため、得られる曲率は振動的になる。これを改善するために、特徴点符号化部１４は、データ列 P(s) に、スムーシング関数を畳み込む。スムーシング関数としては、一次元のガウス関数g(s,σ）を用いる。ここで、パラメータσは各解像度に対するスケールを表す。
一次元のガウス関数は下記式で表される。
【００７８】
【数３２】
【００７９】
ここで、上記ガウス関数を用いてスムーシングされたデータ列 P(s, σ) を下記式で表す。
【００８０】
【数３３】
【００８１】
１つの畳み込み演算を１つの記号＊で表すと下記式が得られる。
【００８２】
【数３４】
【００８３】
曲率κ(s) を求めるためには、式３４におけるX(s,σ) およびY(s,σ) のそれぞれの１次（１階）微分および２次（２階）微分が必要である。
一次元ガウス関数g(s,σ) の１次微分を下記式３７に示したg1(s, σ) 、２次微分を式３６に示したg1(s, σ) とすれば、式３４におけるX(s,σ) およびY(s,σ) それぞれの１次微分および２次微分は、式３７〜４０で定義される。
【００８４】
【数３５】
【００８５】
【数３６】
【００８６】
【数３７】
【００８７】
【数３８】
【００８８】
【数３９】
【００８９】
【数４０】
【００９０】
式３７〜４０に式３１を代入すると、各解像度における曲率κ(l) が求められる。この曲率κ(l) から曲面が求められる。つまり、特徴点符号化部１４は上述した演算を行って、曲率κ(l) を求める。
【００９１】
曲面補間方法
以下、図５、図７を参照しながら、情報再生部２２で行う曲面補間処理について説明する。
今、図５の様に原点から曲線L i 上の特徴点P in,Pin+1、および、曲線Lii+1
上の特徴点P i+1n,Pi;1n+1までのベクトルを、Ｐin、Ｐin+1、Ｐi+1n+1、Ｐi+1n+1j とする。
ここで、特徴点ＰinとＰin+1間のデータより、特徴点Ｐi+1nとＰi+1n+1との間のデータを補間することを考える。
特徴点ＰinとＰin+1との間の距離をL1、ＰinとＰin+1との間の距離をL2とすると、下記式が得られる。
【００９２】
【数４１】
【００９３】
【数４２】
【００９４】
ここで、曲線L1における単位ベクトルをｅ１、ｅ２とすると、下記式が得られる。
【００９５】
【数４３】
【００９６】
【数４４】
【００９７】
従って、曲線Li上の特徴点Ｐa における高さh1、長さl1はそれぞれ下記式で表される。
【００９８】
【数４５】
【００９９】
【数４６】
【０１００】
同様に、曲線Li+1上の単位ベクトルをｅ１’、ｅ２’とすると、下記式で表される。
【０１０１】
【数４７】
【０１０２】
【数４８】
【０１０３】
従って、曲線Li+1上の特徴点Ｐa'における高さh2、長さl2はそれぞれ、下記式で表される。
【０１０４】
【数４９】
【０１０５】
【数５０】
【０１０６】
ここで、曲線Li+1上の点Ｐa'の高さh2、長さl2を次のように決めると、下記式で表される。
【０１０７】
【数５１】
【０１０８】
【数５２】
【０１０９】
式４９〜５２から曲線Li+1上の特徴点Ｐa'=(Ｐax',Ｐay')の位置は下記式に基づいて計算できる。
【０１１０】
【数５３】
【０１１１】
【数５４】
【０１１２】
以上のように、本発明の実施例においては、元の画像データＩ0 (x,y,t) として白黒の画像を例示したが、本発明の実施に際しては、白黒の動画像に限らず、カラーの動画像データについても、画質および圧縮率を高めて符号化できる。
カラー画像データとしては、たとえば、Ｒ，Ｇ，Ｂの画像データの場合、Ｒ，Ｇ，Ｂのそれぞれについて上述した分析処理を行えばよい。
【０１１３】
【発明の効果】
本発明によれば、動画像データを視覚的に遜色のない画質で高い圧縮率を達成できる。つまり、本発明によれば、視覚的に遜色のない空間方向、時間方向への画像の拡大あるいは補間および視覚的に遜色のない画質で高い圧縮率を達成できる。
【図面の簡単な説明】
【図１】 図１は本発明の実施例の動画像分析合成装置のブロック図である。
【図２】 図２は本発明の動画像分析合成装置における処理を示すグラフである。
【図３】 図３は本発明の動画像分析合成装置における処理を示すグラフであって、第１フレームと時間軸（ｔ）方向連結線によって表現された曲面の様子を示すグラフである。
【図４】 図４は本発明の動画像分析合成装置における処理を示すグラフであって、図１に示した情報再生部において復元された曲面を示す図である。
【図５】 図５は本発明の動画像分析合成装置における処理を示すグラフであって、曲面補間を示す図である。
【図６】 図６は図１に示した特徴点符号化部の符号化処理フローチャートである。
【図７】 図７は図５に示した曲面補間の処理を示す情報再生部の処理フローチャートである。
【符号の説明】
１・・動画像分析合成装置
１０・・分析部（動画像分析装置）
１１・・画像メモリ、１２・・情報変化分析部
１３・・特徴点検出部、１４・・特徴点符号化部
１５・・情報符号化部、１６・・総合符号化部
２０・・合成部（動画像合成装置）
２１・・総合再生部、２２・・情報再生部、
２３・・元画像再生部
【産業上の利用分野】
本発明は、たとえば、画像記録、通信などの分野で利用される画像処理および符号化処理を行う装置とその方法に関するものであり、特に、効率のよい動画像データを符号し、さらに符号化した結果を復号することが可能な動画像分析合成装置に関する。
【０００２】
【従来の技術】
効率のよい画像圧縮の方法は数多く考えられているが、依然として、画質、圧縮率をさらに高めなければならないという要請がある。
二次元静止画像に関しては、人間の視覚特性が輝度の急変するエッジに対して敏感であることを考慮して、そのエッジ部分を忠実に再現する試みがされている。しかしながら、動画像に関しては、まだそのような試みを行ったことは知られていない。
したがって、動画像に対しても効率の良い画像圧縮技術を開発することが望まれている。
【０００３】
動画像処理においては、空間二次元信号を時間方向に並べることにより三次元時空間画像として見なすことができる。
人間の視覚特性はこの三次元時空間画像に対して通常の二次元空間におけるエッジ検出と並行して時間方向における動き検出も行なっている。特に動くエッジに対しては敏感な反応が視覚情報処理を司る神経細胞で観測されている。
したがって、二次元空間におけるエッジ検出が視覚にとって重要であったのと同様に時間方向における動くエッジも重要であることが示唆される。
従来の動き検出を用いた画像圧縮は、二次元空間における動き検出を何らかの方法で行なって、それを用いて時間方向に予測を行ない、その誤差の符号化を行っている。
【０００４】
【発明が解決しようとする課題】
しかしながら、この方法では先に述べた動くエッジに注目してそこの情報を忠実に送るという技術ではないから、動画像に対して充分高い効率の符号化が達成されていない。
【０００５】
したがって、本発明は、動画像に対して高画質で高い圧縮率を達成することが可能な画像圧縮技術とそれを用いた装置を提供することを目的とする。
つまり、本発明は、視覚的に遜色のない空間方向、時間方向への画像の拡大あるいは補間を行い、視覚的に遜色のない画質で高い圧縮率を達成できる動画像分析合成装置を提供することを目的とする。
さらに本発明は、上記高い圧縮率で符号化した画像データから元の画像データを復元できる装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明によれば、二次元平面と時間方向とで規定される三次元方向のスムージング関数であって、周波数空間の異なる帯域ごとに定義される複数のスムージング関数のうち、最も粗い解像度に相当する帯域のスムージング関数を元の画像データに畳み込んで前記元の画像データのＤＣ成分を独立に分析し、前記元の画像データから前記分析したＤＣ成分を減じてＤＣ成分を含まない画像データを算出し、該ＤＣ成分を含まない画像データについて、前記複数のスムージング関数を、それぞれ、前記三次元方向の各方向において１回偏微分した複数の第１分析フィルタ関数を畳み込んで、前記異なる帯域ごとに多重解像度分析を行う情報変化分析手段と、該情報変化分析手段で求めた前記ＤＣ成分を含まない画像データについて、前記複数のスムージング関数を、それぞれ、前記三次元方向の各方向において２回偏微分した複数の第２分析フィルタ関数を畳み込み、該畳み込み結果が０となるゼロクロス点を求め、前記異なる帯域ごとに前記ゼロクロス点が発生した位置を検出する特徴点検出手段と、複数のフレームの各フレームごとに、前記特徴点検出手段で検出した前記ゼロクロス点の集合からなる該フレームに属するゼロクロス点を抽出し、該抽出したゼロクロス点の集合からなる曲線についてその曲率の極値を与える点を求め、前記複数のフレームのうち所定のフレームを基準フレームとし、該基準フレームにおける前記曲線の位置情報と、前記極値を与える点の集合のうち前記基準フレームとこれに続く各フレームとの間で対応する点を時間方向に連結した曲線の位置情報とを、前記異なる帯域ごとに符号化する特徴点符号化手段と、前記情報変化分析手段で求めた多重解像度分析結果について、前記極値を与える点における分析結果を、前記異なる帯域ごとに符号化する情報符号化手段とを備えることを特徴とする動画像分析合成装置が提供される。
好ましくは、動画像分析合成装置は、前記特徴点符号化手段の符号化結果と、前記情報符号化手段の符号化結果との冗長度をさらに圧縮し、または、量子化のためのビット割当を行なうため総合的に符号化する、総合符号化手段をさらに有する。
【０００７】
また好ましくは、前記特徴点符号化手段は、前記ゼロクロス点について重複している点がある場合には１つにまとめてゼロクロス点の集合とする。
また好ましくは、前記特徴点符号化手段は、隣接するフレームにおける前記極値を与える点の距離が最小になるもの同士を連結する。
【０００８】
また本発明によれば、前記情報符号化手段から出力されたデータについて、前記特徴点符号化手段における処理と逆の処理を行い前記特徴点検出手段で検出した結果と等価のデータを復号し、該復号したデータについて前記特徴点検出手段における処理と逆の処理を行い前記特徴点検出手段に入力された前記ＤＣ成分を含まない画像データを復号し、前記情報符号化手段の処理と逆の処理を行い前記情報変化分析手段から出力されたデータと等価の分析結果を復号する、情報再生手段と、該情報再生手段で復号した分析結果に基づいて補間と逆変換を反復して収束させて前記符号化前の元の画像データを復号する元画像再生手段とを有する、動画像分析合成装置が提供される。
【０００９】
【実施例】
本発明は動画像を二次元画像平面と時間軸が構成する三次元空間に画像情報（輝度信号、色差信号など）が分布しているものと見なし、その動画像の変化を分析して、動画像の変化の特徴点における情報を用いて元の動画像を近似する。
この実施例では、その近似として、三次元空間における動画像についての特徴点による曲面の検出と、曲面を構成するその特徴点における分析結果を用いて、上記曲面を構成する特徴点以外の曲面を構成すると予想される点の画像情報を補間する。
上記曲面を構成する特徴点の場所も情報であるのでこれも符号化しなければならないが、ここでは、曲面という幾何学的な構造をパラメトリックな関数表現で表し、そのパラメトリックな関数を分析して画像データの圧縮を行う。
【００１０】
以下、図面を参照して本発明の実施例の動画像分析合成装置について詳述する。
説明を容易にするため、白黒の動画像がＦフレームだけフレームメモリへ送られ、このＦフレーム分の動画像をまとめて符号化することを考える。
図１は本実施例の動画像分析合成装置１のブロック図である。
この動画像分析合成装置（システム）１は分析部（動画像分析装置）１０と合成部（動画像合成装置）２０とを有する。分析部１０と合成部２０との間には信号伝送系、たとえば、磁気テープまたは磁気ディスクなどの磁気記録媒体、あるいは、通信システムにおける信号伝送系などが存在するが、図面においては省略している。
分析部１０は、画像メモリ１１、情報変化分析部１２、特徴点検出部１３、特徴点符号化部１４、情報符号化部１５および総合符号化部１６を有する。
合成部２０は、総合再生部２１、情報再生部２２および元画像再生部２３を有する。
【００１１】
まず、上述した構成部分の処理内容の概要を述べる。
画像メモリ１１は入力された白黒動画像をＦフレーム分を記録し、情報変化分析部１２はその動画像の輝度変化の三次元方向の分析を行う。
特徴点検出部１３は、情報変化分析部１２における分析結果から特徴点の存在する場所を三次元空間上に点として表現する。
特徴点符号化部１４は、特徴点検出部１３の解析結果である特徴点の存在する場所を曲面として表現する。
情報符号化部１５は、元の動画像を再生するための分析を、情報変化分析部１２で分析した結果を参照して、特徴点符号化部１４における上述の特徴点の存在する場所において実行し、その分析結果を総合符号化部１６に送出する。
総合符号化部１６は、特徴点符号化部１４と情報符号化部１５から送られてくる情報を総合して適切に符号化する。
【００１２】
総合再生部２１は、総合符号化部１６において符号化された情報を、信号伝送系（図示せず）を介して受信して、その情報から特徴点符号化部１４と情報符号化部１５の出力情報を再生する。
情報再生部２２は、特徴点の位置に関する再生結果を基に特徴点を三次元空間内に選び、情報符号化部１５の分析結果に関する再生結果をその位置に配置する。
情報再生部２２は、特徴点以外の場所における画像成分も補間処理することにより、元の動画像の視覚的に重要である三次元空間で輝度変化の激しい部分は忠実に、その他の部分はなだらかに近似する。
【００１３】
さらに上述した各部の処理内容の詳細について述べる。
画像メモリ１１
画像メモリ１１は、カメラやビデオ装置などの画像信号出力装置（図示せず）からＦフレーム分の動画像を順次連続して入力して記憶する。この入力画像データを元の画像データ（または、原画像データ、あるいは、初期画像データ）Ｉ0(x,y,t)として表す。パラメータｘは（ｘ−ｙ）二次元平面における横（ｘ軸）方向の位置、パラメータｙは縦（ｙ軸）方向の位置、パラメータｔは時間経過を示す。記号Ｉは白黒画像の輝度（強度）を示す。記号Ｉo は初期状態における（または元の画像の）輝度を示す。
この画像メモリ１１に記憶された元の画像データＩ0 (x,y,t) は、ｘ−ｙ二次元平面として規定される画像平面（イメージ平面）と、時系列的な変化を時間（ｔ）軸に置き換えた時間方向との三次元空間上に分布する情報として扱うことができる。
この画像メモリ１１に記憶された三次元的な元の画像データＩ0 (x,y,t) は、情報変化分析部１２において分析を行うために、画像メモリ１１から読み出されて情報変化分析部１２に出力される。
【００１４】
情報変化分析部１２
情報変化分析部１２においては、画像メモリ１１から読み出した元の画像データＩ0 (x,y,t) についての三次元的な変化を分析する。
具体的には、この三次元的な変化の分析として、情報変化分析部１２は、異なる分析スケールを適用する多重解像度での三次元の各方向へ方向性のあるフィルタリング処理を行なう。
多重解像度とは、周波数空間において帯域特性の異なる複数のフィルタを用いて信号を帯域ごとに分割することを意味し、情報変化分析部１２において、複数の分析スケールσj について、サフックス（インデックス）ｊ＝ｊ１，ｊ２，・・・，ｊＪについて行なう。
情報変化分析部１２はまず、画像メモリ１１から読みだした元の画像データＩ 0 (x,y,t) のＤＣ成分を独立に分析する。窓関数あるいはスムージング関数を三次元ガウス関数として表されるＧ(x,y,t: σj ) とおくと、元の画像データＩ 0 (x,y,t) のＤＣ成分は、最も粗い解像度ｊ＝ｊＪに相当する三次元スムージング関数Ｇ(x,y,t: σi ) によるフィルタリング処理結果に相当する。このことは、下記式１で表されるように、元の画像データＩ0 (x,y,t) に三次元スムージング関数Ｇ(x,y,t: σi ) を畳み込むことによって、元の画像データＩ 0 (x,y,t) のＤＣ成分が抽出されること意味している。
【００１５】
【数１】
１つの記号＊は１回の畳み込み演算を表す。式１には３個の＊が存在するから、パラメータｘ，ｙ，ｔについて３回、つまり、三次元の畳み込み演算が行われることを示している。
元の画像データＩ0 (x,y,t) から式１で表されるＤＣ成分を減じたＤＣ成分を含まない画像データＩ(x,y,t) は下記式で表される。
【００１７】
【数２】
以下、式２で表したＤＣ成分を含まない画像データＩ(x,y,t) を単に、画像データとも呼ぶ。
このＤＣ成分を含まない画像データＩ (x,y,t) は特徴点検出部１３に出力される他、下記の演算に使用される。
情報変化分析部１２は、式２で示されるＤＣ成分を含まない画像データＩ(x,y,t) の変化を分析する。以下、情報変化分析部１２の分析処理を述べる。
まず、情報変化分析部１２は三次元スムージング関数Ｇ(x,y,t: σi ) を、ｘ，ｙ，ｔでそれぞれ偏微分した下記式３〜５で表される第１分析フィルタ関数を求める。
【００１９】
【数３】
【数４】
【数５】
情報変化分析部１２は、求めた第１分析フィルタ関数をそれぞれＤＣ成分を含まない画像データＩ (x,y,t) に対して畳み込む。
その演算式を式６〜８に示す。
【００２３】
【数６】
【数７】
【数８】
以上の演算を行うことにより、情報変化分析部１２において、三次元方向ｘ，ｙ，ｔについてそれぞれＤＣ成分を含まない画像データＩ (x,y,t) について多重解像度分析が行われたことになる。
なお、たとえば、式６に示したｘ方向における第１畳み込み演算結果Ｗ x Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を１回偏微分した関数（第１分析フィルタ関数）をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示し、後述する式１２に示すｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を２回偏微分した関数（第２分析フィルタ関数）をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示す。
上記得られた多重解像度分析結果は情報符号化部１５で用いられる。
【００２７】
特徴点検出部１３
特徴点検出部１３は、式６〜８に示した情報変化分析部１２の分析結果（多重解像度分析結果）の極値、つまり、極大値または極小値の場所（位置または点）を求める。
その具体的な処理について述べると、特徴点検出部１３は、式６〜式８の結果について、ｘ，ｙ，ｔ方向それぞれにもう一度同じ方向に微分して、微分した結果についてゼロクロス点を求める。ゼロクロス点が情報変化分析部１２において求めた式６〜８に示した多重解像度分析結果の極値を示しており、特徴点検出部１３はその極値が発生した位置を、多重解像度分析結果の特徴点の位置として記憶する。
なお、上記特徴点検出部１３における、式６〜式８の結果についてそれぞれの方向においてもう一度同じ方向に微分して得た関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込むことは、式３〜６の結果を同じ方向に２回微分して得た第２分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込むことと実質的に同じである。
この特徴点検出部１３における演算は、畳み込みに使用する分析フィルタ関数が、情報変化分析部１２においては式３〜６に示したものであり、特徴点検出部１３においては式６〜８をさらに１回微分したものであるという相違はあるが、画像データＩ (x,y,t) を分析フィルタ関数で畳み込むという点において情報変化分析部１２における演算とほぼ同じである。
特徴点検出部１３においては、三次元スムージング関数Ｇ(x,y,t: σi ) について、式９〜１１に示した、ｘ，ｙ，ｔのそれぞれの方向への２階（２回）微分（偏微分）した第２分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだフィルタ出力のうちゼロクロス点を求めることになる。
スムージング関数Ｇ(x,y,t: σi ) について三次元ｘ，ｙ，ｔのそれぞれの方向への２階（２回）偏微分して求めた第２分析フィルタ関数を下記式９〜式１１に示す。
【００２８】
【数９】
【数１０】
【数１１】
上述したように、特徴点検出部１３は、上記２階偏微分として式９〜１１に定義された第２分析フィルタ関数にＤＣ成分を含まない画像データＩ(x,y,t) を畳み込む。その演算式を下記１２〜１４に示す。
【００３２】
【数１２】
【数１３】
【数１４】
なお、たとえば、式６に示したｘ方向における第１畳み込み演算結果Ｗ x Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を１回偏微分して求めた第１分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示すが、式１２に示したｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) はスムージング関数Ｇ (x,y,t: σ i ) を２回偏微分して求めた第２分析フィルタ関数をＤＣ成分を含まない画像データＩ (x,y,t) に畳み込んだ結果を示す。
特徴点検出部１３は、式１２〜１４の演算を行って、その演算結果から三次元ｘ，ｙ，ｔ方向それぞれのゼロクロス点を求める。
ここで、式１２において、ｘ方向における第２畳み込み演算結果ＷxxＩ(x,y,t: σj ) が０となるゼロクロス点（ゼロクロス位置）を、Pxi (xxi,yxi,txi: σj ) と表す。但し、インデックスｉ＝１，２，・・，Ｎx j について、Ｎx j 個のゼロクロス点があるものとする。
同様に、式１３において、ｙ方向における第２畳み込み演算結果ＷyyＩ( x,y,t:σj ) が０となるゼロクロス点（ゼロクロス位置）を、Pyh (xyh,yyh,tyh: σj ) と表す。但し、インデックスｈ＝１，２，・・，Ｎy j について、Ｎy j 個のゼロクロス点があるものとする。
また同様に、式１４において、ｔ方向における第２畳み込み演算結果ＷttＩ(
x,y,t:σj ) が０となるゼロクロス点（ゼロクロス位置）を、Ptk (xtk,ytk,ttk: σj ) と表す。但し、インデックスｋ＝１，２，・・，Ｎt j について、Ｎt
j 個のゼロクロス点があるものとする。
簡単な表現にするため、ｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) が０となるゼロクロス点（ゼロクロス位置）Pxi (xxi ,y xi,txi: σj )
を点Pxi (j) 、ｙ方向における第２畳み込み演算結果Ｗ yy Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Pyh (xyh,yyh,tyh: σj ) を点Pyh (j) 、ｔ方向における第２畳み込み演算結果Ｗ tt Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Ptk (xtk,ytk,ttk: σj ) を点Ptk (j) と表す。
【００３６】
以上のように、特徴点検出部１３において、式１２〜１４の演算を行って、ｘ，ｙ，ｔ方向それぞれのゼロクロス点、つまり、ＤＣ成分を含まない画像データＩ (x,y,t) についての極大値または極小値（極値）、および、その位置を求める。
【００３７】
特徴点符号化部１４
特徴点符号化部１４は、特徴点検出部１３で算出した、ｘ方向における第２畳み込み演算結果Ｗ xx Ｉ (x,y,t: σ j ) が０となるゼロクロス点Pxi (j) 、ｙ方向における第２畳み込み演算結果Ｗ yy Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Pyh (j) 、ｔ方向における第 ２畳み込み演算結果Ｗ tt Ｉ ( x,y,t: σ j ) が０となるゼロクロス点Ptk (j) を曲面上の点としてとらえ、その曲面のパラメータにより、ゼロクロス点Pxi (j) 、ゼロクロス点Pyh (j) 、ゼロクロス点Ptk (j) を表すことにより、符号化する。
図６は特徴点符号化部１４の処理を示すフローチャートである。この詳細については後述する。
特徴点符号化部１４はまず、ゼロクロス点Pxi (j) 、ゼロクロス点Pyh (j) 、ゼロクロス点Ptk (j) が重複している場合は、１つにするようにして特徴点の集合P(j)を作る。つまり、特徴点の集合P(j)は、ｘ方向における第２畳み込み演算結果ＷxxＩ(x,y,t: σj ) が０か、ｙ方向における第２畳み込み演算結果ＷyyＩ( x,y,t:σj ) が０か、ｔ方向における第２畳み込み演算結果ＷttＩ( x,y,t:σj ) が０かのいずれかである。その特徴点の要素をPp(j) と表す。ただし、p=1,2,・・・,Np で全部でNp個の特徴点からなるとする。
ここで、ｘ，ｙ，ｔ方向からなる三次元上に分布する特徴点を二次元上に分布する特徴点としてとらえるために、特徴点符号化部１４は、ｘ−ｙ−ｔで構成される三次元空間をｘ−ｙ二次元平面と平行にスライスして二次元平面に落とす（射影する）。そして、特徴点符号化部１４は、二次元平面上の特徴点を連結して曲線を抽出する。
ここで、連結とはある特徴点Pp(j) に注目し、その画素を中心として（３×３）画素から構成される正方形画像について上述した処理を行ない、その中に同じく特徴点の集合 P(j)の要素である特徴点が含まれていればその点を同一曲線に含むことを言う。
さらに、特徴点符号化部１４は、以上の処理から得られた各二次元平面上の曲線を時間軸方向（ｔ方向）に連結して曲面として表現する。特徴点符号化部１４は、まずある曲線に注目し、この曲線と次のフレームの曲線の各要素点（特徴点）の９個の画素（３×３）の近傍にある点の数を計算する。そして、特徴点符号化部１４は一番一致した曲線同士を連結して曲面を構成する。
【００３８】
次に、特徴点符号化部１４は、上述のごとく連結してグルーピングされた曲面を切断曲線と曲率の極値（極大値または極小値）を連結した曲線で表現する。
図２に曲面の例を示す。
まず、特徴点符号化部１４は、上述のごとく二次元平面上の特徴点を連結して得た曲面をｘ−ｙ平面と平行にスライスする。これにより、上記曲面は各平面上の切断曲線になる。そして、特徴点符号化部１４は、基準となる第１フレーム目の曲線の位置の情報を保持する。
次に、特徴点符号化部１４は各切断曲線に対し曲率κ(s) を求め、さらに曲率の極大値または極小値（極値）の位置を求める。ただし、変数ｓは始点からの位置を表すパラメータである。特徴点符号化部１４における上記切断曲線から曲率κ(s) を求める手法については後述する。
そして、特徴点符号化部１４は求めた曲率κ (s) の極値の位置を、図２に破線で示すｔ( 時間軸) 方向に連結する。
ここで、特徴点符号化部１４は、ｔ方向への連結では、あるフレーム上の曲線Ｌi に含まれる曲率の極値点P niと次のフレーム上の曲線Ｌi+1 に含まれる曲率の極値点P i+1mに対して下記式で定義される距離Ｄを計算する。
【００３９】
【数１５】
そして、特徴点符号化部１４は、距離Ｄが最小になった極値点同士を、図２に付加データとして例示したように、連結する。
以上により、特徴点符号化部１４は、上述のごとく二次元平面上の特徴点を連結して得た曲面をｘ−ｙ平面と平行にスライスして得た各切断曲線を、基準となる第１フレーム目の位置の情報、各フレーム上での極値の位置をｔ方向に連結した情報により得た曲面を表現する。
特徴点符号化部１４は、このとき、上記曲面をｘ−ｙ平面と平行にスライスした結果、新たに出現した切断曲線についてはこれをメモリ（図示せず）に保持する。
図３に、基準となる第１フレームとｔ方向の連結線によって表現された曲面の様子を示す。
【００４１】
情報符号化部１５
情報符号化部１５は、前述の特徴点で構成する曲面の上で情報を分析し、それを参照して情報変化分析部１２における多重解像度分析結果の圧縮処理を行なう。これらの上での圧縮を行なう理由を述べる。
つまり、これらの特徴点は、情報変化分析部１２で多重解像度分析した第１畳み込み演算結果を示す情報（多重解像度分析結果）の極値を与える点であり、その極値は、つながっている特徴点の上は、なだらかにしか変化しないから（連続しているから）、情報変化分析部１２における多重解像度分析結果を圧縮処理を行うことができる。
より具体的に述べると、前述した特徴点の集合ｐ（ｊ）を曲面で表現し、特徴点符号化部１４ではその位置(x,y,t) を符号化したが、情報符号化部１５は、情報変化分析部１２で求めた多重解像度分析結果（第１畳み込み演算結果）Ｗ xＩ(x,y,t: σi ) 、Ｗ yＩ(x,y,t: σi ) 、Ｗ tＩ(x,y,t: σi ) を、第２畳み込み演算結果Ｗ xx Ｉ ( x,y,t: σ j ) 、Ｗ yy Ｉ ( x,y,t: σ j ) 、Ｗ tt Ｉ ( x,y,t: σ j ) について上述した特徴点符号化部１４と同様の手法で符号化する。
情報符号化部１５における曲面の分析結果の符号化では、特徴点符号化部１４において表現された特徴点の位置における分析結果を曲面の情報として持つことにより情報変化分析部１２の多重解像度分析結果について圧縮を行なう。つまり、曲面上に乗っている情報変化分析部１２における多重解像度分析結果を特徴点符号化部１４で表された第１フレームの切断曲線と曲率とを時間方向につないだ連結線の位置の分析結果だけで表して圧縮する。
以上のように、情報符号化部１５は特徴点の上での多重解像度分析結果を、特徴点符号化部１４の結果を参照して圧縮処理を行なう。
【００４２】
総合符号化部１６
総合符号化部１６は、特徴点符号化部１４と情報符号化部１５からのデータを符号化する。
この符号化を簡単に述べると、総合符号化部１６は特徴点符号化部１４における結果と、情報符号化部１５における結果との両者の冗長度をさらに圧縮したり、あるいは量子化のためのビット割当などを行なう。
また、必要であれば、総合符号化部１６は、誤り訂正のための符号化処理を行なう。さらに総合符号化部１６はその結果を記録し、合成部２０に送信する。
【００４３】
以下、合成部２０の処理について述べる。
総合再生部２１
総合再生部２１は、総合符号化部１６の符号化データを入力し総合符号化部１６の逆の操作を行なう。
つまり、総合再生部２１は、特徴点符号化部１４と情報符号化部１５の情報、すなわち、特徴点の場所に関するデータとその上の情報を再構成するのに必要なデータを復号する。
【００４４】
情報再生部２２
情報再生部２２は、総合再生部２１から得られた特徴点符号化部１４の出力と等価なデータから特徴点の位置、および、情報符号化部１５の情報符号化の出力と等価な情報から、（x −y −t ）で規定される三次元空間における全ての特徴点の位置とその位置における情報（本実施の形態では白黒画像データの輝度）を復元する（復号する）。
つまり、情報再生部２２は、特徴点符号化部１４と情報符号化部１５で行なった圧縮の逆処理を行なう。換言すれば、情報再生部２２は、曲面としてグループ化された（連結された）特徴点とその上の情報変化分析部１２の結果を復元する（復号する）。
【００４５】
図４は情報再生部２２において復元（復号）された曲面を示す図である。
情報再生部２２はまず、総合再生部２１で復号された基準となる第１フレーム目の情報を読み込む。
次に、情報再生部２２は総合再生部２１で復元された各フレームの曲率の極値をｔ方向に連結した情報を読み込む。
さらに情報再生部２２は、第１フレームのｉ番目の極値の位置P1(si ) と、第１フレームの(i+1) 番目の極値の位置P1(si+1 ）と、それぞれに対応した次のフレームのｊ番目の極値の位置P2(sj ) と、(j+1) 番目の極値の位置P2(sj+1)を選び出す。
情報再生部２２は、この４点に対し、第１フレーム上のｉ番目と(i+1) 番目の極値に囲まれた曲線の位置情報を使って、次のフレーム上のｉ’番目と（i+1)’番目の極値に囲まれた曲線の位置を補間する。
情報再生部２２は、以上の操作を全てのフレームに対して行ない位置情報を全て復元する（復号する）。上記曲線の位置の補間の方法については後述する。
同様に、情報再生部２２は、第１フレーム目の位置情報の上にある分析結果をｔ方向に順次補間することにより、情報変化分析部１２の結果を復元する（復号する）。
【００４６】
元画像再生部２３
元画像再生部２３は、情報再生部２２における上記の操作で得られた情報変化分析部１２の分析結果の極値である情報に基づいて、補間近似し、（x −y −t）の三次元空間全体での情報変化分析部１２の結果を復元し（復号し）、復号した結果について式６〜８の逆変換を行ない、x-y-t の三次元におけるＤＣ成分を含まない画像データＩ (x,y,t) を復元する（復号する）。
この例では、元画像再生部２３は、Convex Projection 法（凸面突起）法を用いて補間と逆変換を何回か繰り返して収束させる。
元画像再生部２３はまず、特徴点からの補間は簡単のために三次元（x,y,t ）の方向に対して独立に行なう。すなわち、元画像再生部２３は、ｘ方向に全てのｙと全ての時間t に対して全部で（ｙ×ｔ）本の一次元データと見なし、極値における分析結果Ｗ xx Ｉ(x,y,t: σi ) を用いて、Convex Projection 法により、その点を極値とするような射影を取る。元画像再生部２３はｙ方向とｔ方向に対しても、ｘ方向と同様に処理を行なう。
元画像再生部２３は、得られた近似データを式２０で定義された方法で逆変換を行ない、再び式６〜８で定義された方法で元の分析空間に射影する。
元画像再生部２３は、この操作を数回繰り返して、極値における分析結果（第１畳み込み演算結果）Ｗx Ｉ(x,y,t: σi ) 、Ｗy Ｉ(x,y,t: σi ) 、Ｗt Ｉ(x,y,t: σi ) へ収束させる。
元画像再生部２３は、最後に逆変換を行ないＤＣ成分を含まない画像データＩ(x,y,t) を復元する（復号する）。
逆変換は下記式で表されるフィルタ関数を上記分析結果（第１畳み込み演算結果）Ｗ x Ｉ (x,y,t: σ i ) 、Ｗ y Ｉ (x,y,t: σ i ) 、Ｗ t Ｉ (x,y,t: σ i ) に畳み込めばよい。
【００４７】
【数１６】
【数１７】
【数１８】
上記式における記号C(u,v,w)は下記式で定義される。
【００５１】
【数１９】
式１６〜１８の左辺はそれぞれ、スムージング関数（ガウス関数）Ｇx (u,v,w: σi ) 、Ｇy (u,v,w: σi ) 、Ｇt (u,v,w: σi ) のフーリエ変換を表し、つまり、頭部の山形ハットはフーリエ変換を表し、右肩の＊は複素関数を表し、右辺の頭部の−は複素共役を表す。
ＤＣ成分を含まない画像データＩ(x,y,t) は式１６〜１８で定義される逆変換のフィルタを用いて下記式で求められる。
【００５３】
【数２０】
最後に、元画像再生部２３は、下記式に示すように、ＤＣ成分を含まない画像データＩ(x,y,t) にＤＣ成分S iJ(x,y,t) を加えて元の動画像データＩ0 (x,y,t) を復元する（復 号する）。
【００５５】
【数２１】
このようにして、合成部２０は分析部（動画像分析装置）１０において符号化されたデータから元の画像データＩ0 (x,y,t) を再現できた。
以下、特徴点符号化部１４で用いた曲線からの曲率の計算アルゴリズム（方法）、および、情報再生部２２で用いた曲面の補間アルゴリズム（方法）について詳述する。
【００５７】
曲率計算方法
まず、特徴点符号化部１４における曲率の計算方法について述べる。
特徴点符号化部１４は、入力された曲線から曲率を計算し、曲率で曲線を表現する。
いま曲線のデータ列P(s)を、パラメータs として二次元上の位置を下記式で表す。
【００５８】
【数２２】
パラメータl(エル) の関数(x(l),y(l)) の微分が存在しているとすると、曲率κ(l) は次のように計算できる。
【００６０】
【数２３】
として
【００６２】
【数２４】
とする。式２４は次式より導出される。
【００６４】
【数２５】
式２５を、パラメータｘについて１階（１回）微分、さらに２階（２回）微分すると下記式が得られる。
【００６６】
【数２６】
式２６を式２５に代入すると下記式が得られる。
【００６８】
【数２７】
式２７および式２５から下記式が得られる。
【００７０】
【数２８】
ここで、x(s),y(s) に対するパラメータs による１階（１回）微分および２階（２回）微分は、下記式で表される。
【００７２】
【数２９】
したがって、下記式が得られる。
【００７４】
【数３０】
式２８および式３０から曲率κ(l) は下記式で表される。
【００７６】
【数３１】
以上より、特徴点符号化部１４は、式３１を用いて曲線のデータ列P(s)の曲率κ(s) を求めることができる。曲率κ(s) が求められれば曲面が判る。
しかしながら、データ列P(s)は、量子化された位置のデータであるため、得られる曲率は振動的になる。これを改善するために、特徴点符号化部１４は、データ列 P(s) に、スムーシング関数を畳み込む。スムーシング関数としては、一次元のガウス関数g(s,σ）を用いる。ここで、パラメータσは各解像度に対するスケールを表す。
一次元のガウス関数は下記式で表される。
【００７８】
【数３２】
ここで、上記ガウス関数を用いてスムーシングされたデータ列 P(s, σ) を下記式で表す。
【００８０】
【数３３】
１つの畳み込み演算を１つの記号＊で表すと下記式が得られる。
【００８２】
【数３４】
曲率κ(s) を求めるためには、式３４におけるX(s,σ) およびY(s,σ) のそれぞれの１次（１階）微分および２次（２階）微分が必要である。
一次元ガウス関数g(s,σ) の１次微分を下記式３７に示したg1(s, σ) 、２次微分を式３６に示したg1(s, σ) とすれば、式３４におけるX(s,σ) およびY(s,σ) それぞれの１次微分および２次微分は、式３７〜４０で定義される。
【００８４】
【数３５】
【数３６】
【数３７】
【数３８】
【数３９】
【数４０】
式３７〜４０に式３１を代入すると、各解像度における曲率κ(l) が求められる。この曲率κ(l) から曲面が求められる。つまり、特徴点符号化部１４は上述した演算を行って、曲率κ(l) を求める。
【００９１】
曲面補間方法
以下、図５、図７を参照しながら、情報再生部２２で行う曲面補間処理について説明する。
今、図５の様に原点から曲線L i 上の特徴点P in,Pin+1、および、曲線Lii+1
上の特徴点P i+1n,Pi;1n+1までのベクトルを、Ｐin、Ｐin+1、Ｐi+1n+1、Ｐi+1n+1j とする。
ここで、特徴点ＰinとＰin+1間のデータより、特徴点Ｐi+1nとＰi+1n+1との間のデータを補間することを考える。
特徴点ＰinとＰin+1との間の距離をL1、ＰinとＰin+1との間の距離をL2とすると、下記式が得られる。
【００９２】
【数４１】
【数４２】
ここで、曲線L1における単位ベクトルをｅ１、ｅ２とすると、下記式が得られる。
【００９５】
【数４３】
【数４４】
従って、曲線Li上の特徴点Ｐa における高さh1、長さl1はそれぞれ下記式で表される。
【００９８】
【数４５】
【数４６】
同様に、曲線Li+1上の単位ベクトルをｅ１’、ｅ２’とすると、下記式で表される。
【０１０１】
【数４７】
【数４８】
従って、曲線Li+1上の特徴点Ｐa'における高さh2、長さl2はそれぞれ、下記式で表される。
【０１０４】
【数４９】
【数５０】
ここで、曲線Li+1上の点Ｐa'の高さh2、長さl2を次のように決めると、下記式で表される。
【０１０７】
【数５１】
【数５２】
式４９〜５２から曲線Li+1上の特徴点Ｐa'=(Ｐax',Ｐay')の位置は下記式に基づいて計算できる。
【０１１０】
【数５３】
【数５４】
以上のように、本発明の実施例においては、元の画像データＩ0 (x,y,t) として白黒の画像を例示したが、本発明の実施に際しては、白黒の動画像に限らず、カラーの動画像データについても、画質および圧縮率を高めて符号化できる。
カラー画像データとしては、たとえば、Ｒ，Ｇ，Ｂの画像データの場合、Ｒ，Ｇ，Ｂのそれぞれについて上述した分析処理を行えばよい。
【０１１３】
【発明の効果】
本発明によれば、動画像データを視覚的に遜色のない画質で高い圧縮率を達成できる。つまり、本発明によれば、視覚的に遜色のない空間方向、時間方向への画像の拡大あるいは補間および視覚的に遜色のない画質で高い圧縮率を達成できる。
【図面の簡単な説明】
【図１】 図１は本発明の実施例の動画像分析合成装置のブロック図である。
【図２】 図２は本発明の動画像分析合成装置における処理を示すグラフである。
【図３】 図３は本発明の動画像分析合成装置における処理を示すグラフであって、第１フレームと時間軸（ｔ）方向連結線によって表現された曲面の様子を示すグラフである。
【図４】 図４は本発明の動画像分析合成装置における処理を示すグラフであって、図１に示した情報再生部において復元された曲面を示す図である。
【図５】 図５は本発明の動画像分析合成装置における処理を示すグラフであって、曲面補間を示す図である。
【図６】 図６は図１に示した特徴点符号化部の符号化処理フローチャートである。
【図７】 図７は図５に示した曲面補間の処理を示す情報再生部の処理フローチャートである。
【符号の説明】
１・・動画像分析合成装置
１０・・分析部（動画像分析装置）
１１・・画像メモリ、１２・・情報変化分析部
１３・・特徴点検出部、１４・・特徴点符号化部
１５・・情報符号化部、１６・・総合符号化部
２０・・合成部（動画像合成装置）
２１・・総合再生部、２２・・情報再生部、
２３・・元画像再生部
Claims (5)
- 二次元平面と時間方向とで規定される三次元方向のスムージング関数であって、周波数空間の異なる帯域ごとに定義される複数のスムージング関数のうち、最も粗い解像度に相当する帯域のスムージング関数を元の画像データに畳み込んで前記元の画像データのＤＣ成分を独立に分析し、前記元の画像データから前記分析したＤＣ成分を減じてＤＣ成分を含まない画像データを算出し、該ＤＣ成分を含まない画像データについて、前記複数のスムージング関数を、それぞれ、前記三次元方向の各方向において１回偏微分した複数の第１分析フィルタ関数を畳み込んで、前記異なる帯域ごとに多重解像度分析を行う情報変化分析手段と、
該情報変化分析手段で求めた前記ＤＣ成分を含まない画像データについて、前記複数のスムージング関数を、それぞれ、前記三次元方向の各方向において２回偏微分した複数の第２分析フィルタ関数を畳み込み、該畳み込み結果が０となるゼロクロス点を求め、前記異なる帯域ごとに前記ゼロクロス点が発生した位置を検出する特徴点検出手段と、
複数のフレームの各フレームごとに、前記特徴点検出手段で検出した前記ゼロクロス点の集合からなる該フレームに属するゼロクロス点を抽出し、該抽出したゼロクロス点の集合からなる曲線についてその曲率の極値を与える点を求め、前記複数のフレームのうち所定のフレームを基準フレームとし、該基準フレームにおける前記曲線の位置情報と、前記極値を与える点の集合のうち前記基準フレームとこれに続く各フレームとの間で対応する点を時間方向に連結した曲線の位置情報とを、前記異なる帯域ごとに符号化する特徴点符号化手段と、
前記情報変化分析手段で求めた多重解像度分析結果について、前記極値を与える点における分析結果を、前記異なる帯域ごとに符号化する情報符号化手段と
を備えることを特徴とする動画像分析合成装置。 - 前記特徴点符号化手段の符号化結果と、前記情報符号化手段の符号化結果との冗長度をさらに圧縮し、または、量子化のためのビット割当を行なうため総合的に符号化する、総合符号化手段をさらに有する、
請求項１記載の動画像分析合成装置。 - 前記特徴点符号化手段は、前記ゼロクロス点について重複している点がある場合には１つにまとめてゼロクロス点の集合とする
ことを特徴とする請求項１に記載の動画像分析合成装置。 - 前記特徴点符号化手段は、隣接するフレームにおける前記極値を与える点の距離が最小になるもの同士を連結する、
請求項１に記載の動画像分析合成装置。 - 請求項２に記載の動画像分析合成装置において、
前記総合符号化手段から出力されたデータについて、前記特徴点符号化手段における処理と逆の処理を行い前記特徴点検出手段で検出した結果と等価のデータを復号し、該復号したデータについて前記特徴点検出手段における処理と逆の処理を行い前記特徴点検出手段に入力された前記ＤＣ成分を含まない画像データを復号し、前記情報符号化手段の処理と逆の処理を行い前記情報変化分析手段から出力されたデータと等価の分析結果を復号する、情報再生手段と、
該情報再生手段で復号した分析結果に基づいて補間と逆変換を反復して収束させて前記符号化前の元の画像データを復号する元画像再生手段と
を有する、動画像分析合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26665093A JP3764494B2 (ja) | 1993-10-25 | 1993-10-25 | 動画像分析合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26665093A JP3764494B2 (ja) | 1993-10-25 | 1993-10-25 | 動画像分析合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07123409A JPH07123409A (ja) | 1995-05-12 |
| JP3764494B2 true JP3764494B2 (ja) | 2006-04-05 |
Family
ID=17433784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26665093A Expired - Fee Related JP3764494B2 (ja) | 1993-10-25 | 1993-10-25 | 動画像分析合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3764494B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0181031B1 (ko) * | 1995-03-20 | 1999-05-01 | 배순훈 | 움직임 보상된 인터폴레이션에서의 엣지 보상 장치 |
| KR0178229B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 |
| KR0178230B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 |
| JP2006185038A (ja) * | 2004-12-27 | 2006-07-13 | Ge Medical Systems Global Technology Co Llc | ４次元ラベリング装置、ｎ次元ラベリング装置、４次元空間フィルタ装置およびｎ次元空間フィルタ装置 |
| JP2006217406A (ja) * | 2005-02-04 | 2006-08-17 | Sony Corp | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法 |
| EP3465532A1 (en) * | 2016-06-07 | 2019-04-10 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
-
1993
- 1993-10-25 JP JP26665093A patent/JP3764494B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07123409A (ja) | 1995-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE602004004379T2 (de) | Verfahren und einrichtungen zur codierung und decodierung einer bildsequenz mittels bewegungs-/texturzerlegung und wavelet-codierung | |
| USRE37668E1 (en) | Image encoding/decoding device | |
| US5835237A (en) | Video signal coding method and apparatus thereof, and video signal decoding apparatus | |
| US6360024B1 (en) | Method and apparatus for removing noise in still and moving pictures | |
| JP2000508488A (ja) | ディジタル画像情報の多重解像度変換のシステム及び方法 | |
| US20030053705A1 (en) | Image processing apparatus and method | |
| JP2010526455A (ja) | 画像データを処理するコンピュータ方法および装置 | |
| JP2008514136A (ja) | ビデオデータを処理する装置および方法 | |
| CN105408935B (zh) | 上采样和信号增强 | |
| EP1555833B1 (en) | Method and apparatus for motion vector field encoding | |
| KR101348931B1 (ko) | 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법 | |
| US8311347B2 (en) | Image compression based on parameter-assisted inpainting | |
| US6571142B1 (en) | Data processing apparatus, data processing method, and medium | |
| JP3764494B2 (ja) | 動画像分析合成装置 | |
| US6009200A (en) | Dynamic image processing apparatus and method | |
| Niu et al. | Edge-based perceptual image coding | |
| Luo et al. | A scene adaptive and signal adaptive quantization for subband image and video compression using wavelets | |
| CN100544396C (zh) | 图像信号处理方法和设备 | |
| JP3208879B2 (ja) | 動画像分析装置およびその方法ならびに動画像合成装置およびその方法 | |
| US6195461B1 (en) | Dynamic image processing apparatus and method | |
| JP3663645B2 (ja) | 動画像処理装置とその方法 | |
| JP3584327B2 (ja) | 画像信号分析方法と装置および画像信号合成方法と装置 | |
| JP3508250B2 (ja) | 動画像処理装置 | |
| Zhou et al. | Fast single image super resolution reconstruction via image separation | |
| JP5410231B2 (ja) | 不等間隔標本化装置、そのプログラム、及び、多次元不等間隔標本化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060120 |
|
| LAPS | Cancellation because of no payment of annual fees |