WO2010026839A1 - 映像信号変換システム - Google Patents

映像信号変換システム Download PDF

Info

Publication number
WO2010026839A1
WO2010026839A1 PCT/JP2009/062949 JP2009062949W WO2010026839A1 WO 2010026839 A1 WO2010026839 A1 WO 2010026839A1 JP 2009062949 W JP2009062949 W JP 2009062949W WO 2010026839 A1 WO2010026839 A1 WO 2010026839A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
image
processing unit
frame
video signal
Prior art date
Application number
PCT/JP2009/062949
Other languages
English (en)
French (fr)
Inventor
和男 寅市
徳安 武
ジョナ ガンバ
康宏 大宮
Original Assignee
独立行政法人科学技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008227630A external-priority patent/JP5042172B2/ja
Priority claimed from JP2008227629A external-priority patent/JP5042171B2/ja
Priority claimed from JP2008227628A external-priority patent/JP5081109B2/ja
Application filed by 独立行政法人科学技術振興機構 filed Critical 独立行政法人科学技術振興機構
Priority to US13/061,931 priority Critical patent/US20110188583A1/en
Priority to EP09811368.1A priority patent/EP2330817B1/en
Priority to CN200980141504.2A priority patent/CN102187664B/zh
Publication of WO2010026839A1 publication Critical patent/WO2010026839A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Definitions

  • the quality of the reproduced signal after DA conversion may be limited.
  • the above wavelet transform theory represents a signal using a mother wavelet that decomposes an object with resolution.
  • the optimum mother wavelet is not always given to the signal, and the quality of the reproduced signal after DA conversion is also used.
  • the fluency function is a function classified by the parameter m (m is a positive integer from 1 to ⁇ ).
  • m represents that the function can be continuously differentiated only (m ⁇ 2) times.
  • m is ⁇ .
  • the corresponding point estimation unit includes, for example, a first partial region extraction unit that extracts a partial region of a frame image and a portion extracted by the first partial region extraction unit.
  • a second partial region extracting unit that extracts a partial region of another continuous frame image similar to the region, and each partial region extracted by the first partial region extracting unit and the second partial region extracting unit.
  • FIG. 1 is a block diagram showing a configuration of a video signal conversion system to which the present invention is applied.
  • FIG. 2 is a block diagram showing a system model used for constructing a preprocessing unit in the video signal conversion system.
  • FIG. 3 is a block diagram showing a restoration system model used for constructing a preprocessing unit in the video signal conversion system.
  • FIG. 4 is a flowchart showing the procedure of each process of the characteristics of the inverse filter used in the preprocessing unit.
  • FIG. 5 is a block diagram showing a configuration of a compression encoding processing unit in the video signal conversion system.
  • FIG. 6 is a block diagram illustrating a configuration of a corresponding point estimation unit provided in the compression encoding processing unit.
  • FIG. 1 is a block diagram showing a configuration of a video signal conversion system to which the present invention is applied.
  • FIG. 2 is a block diagram showing a system model used for constructing a preprocessing unit in the video signal conversion system.
  • FIG. 3
  • FIGS. 16A and 16B are diagrams illustrating changes in the X coordinate and the Y coordinate of corresponding points in an example of the bit format of the D picture.
  • FIG. 23 is a diagram for explaining image interpolation processing for determining a value of a pixel position newly generated when the resolution of an image is converted.
  • 24A and 24B are diagrams illustrating examples of the uniform interpolation function and the non-uniform interpolation function.
  • FIG. 25 is a diagram schematically showing the contents of the image interpolation processing.
  • FIG. 26 is a block diagram illustrating a configuration example of the enlargement interpolation processing device.
  • FIG. 27 is a block diagram illustrating a configuration example of the SRAM selection unit in the above-described enlargement interpolation processing apparatus.
  • FIG. 28 is a block diagram illustrating a configuration example of an image processing block in the enlargement interpolation processing device.
  • the video signal conversion system 100 compresses and encodes the image information subjected to the noise removal processing by the preprocessing unit 20 by the compression encoding processing unit 30, and converts the compression encoded image information to the frame rate conversion processing unit 40. To increase the frame rate.
  • the compression coding processing unit 30 in the video signal conversion system 100 performs compression coding processing based on the fluency theory. As shown in FIG. 5, the first functioning processing unit 31 and the second functioning processing are performed.
  • the correlation value calculation unit 314 calculates the correlation value of the output of the function approximation unit 313. Further, the deviation amount calculation unit 315 calculates the positional deviation of the image that gives the maximum correlation value calculated by the correlation value calculation unit 314, and outputs the calculated value as the deviation amount of the corresponding point.
  • the first partial region extraction unit 311 extracts a partial region of the frame image as a template, and is continuous similar to the partial region extracted by the first partial region extraction unit 311.
  • the partial areas of the other frame images are extracted by the second partial area extraction unit 312, and the respective parts extracted by the function approximation unit 313 by the first partial region extraction unit 311 and the second partial region extraction unit 312.
  • the gradation value of the corresponding point of the interpolation frame is generated by uniform interpolation using the gradation value of the corresponding point estimated by performing the corresponding point estimation process, and further, the correspondence of the interpolation frame by non-uniform interpolation is generated.
  • This is realized by executing the high frame rate processing for generating the gradation value of the point. That is, in the high frame rate processing unit 40, as shown in FIG.
  • the position of the moving partial image on the frame differs for each frame.
  • pixel points on one frame do not always move to pixel points at different positions on other frames, and usually correspond to pixels. That is, when one natural image is continuous information, it represents pixel information at different positions on the two frames.
  • the pixel information on the original frame and the pixels on the new frame are almost all different.
  • the relationship between the pixel points of each frame is The relationship is as shown in FIG. That is, the image shifts.
  • the image interpolation processing for determining the value of the position of the pixel u ( ⁇ x , ⁇ y ) newly generated when the resolution of the image is converted is the original pixel u (x i , y j ) And the interpolation function h (x).
  • the data is read out in synchronization with the output side synchronization signal generated by 52.
  • the image processing module 55 is configured as shown in FIG. 28, for example, which performs image interpolation processing based on inter-frame information. That is, the image processing module 55 receives the window setting unit 55A, the first equal interpolation processing unit 55B, and the second equal interpolation from which two frames of image information simultaneously read from the SRAM 53 via the SRAM selection unit 54 are input.
  • the shift amount estimation unit 55D shifts the window of one frame image g by the shift amount ( ⁇ x, ⁇ y) and performs an inner product operation on the pixel value of the relative position (x, y) in the window. Let the value be a cross-correlation value Rpq ( ⁇ x, ⁇ y).
  • the frame rate conversion apparatus 110 includes a computer that functions as a first function approximation processing unit 111, a corresponding point estimation processing unit 112, a second function approximation processing unit 113, and a third function approximation processing unit 114.
  • the first function approximation processing unit 111 performs a first function approximation process for approximating the density distribution of a plurality of pixels in the reference frame.
  • the corresponding point estimation processing unit 112 performs a correlation operation with the functions of the gray distribution in the plurality of reference frames having different times approximated by the first function approximation processing unit 111, and gives the maximum value thereof. Corresponding point estimation processing is performed in which the position corresponds to the corresponding point position in the plurality of reference frames.
  • the corresponding position in the interpolation frame is set as the corresponding point position, and the gray value at the corresponding point position of the interpolation frame is obtained by interpolation with the gray value at the corresponding point of the reference frame, and the gray value of the corresponding point of the interpolation frame is obtained.
  • a gray distribution near the corresponding point is obtained, and a third function approximation process for converting the gray value near the corresponding point into the gray value of the pixel point in the interpolation frame is performed. .
  • a function interpolation frame is generated by the ratio of the original frame and the number of frames to be converted. That is, the video signal conversion system 100 expresses a contour or the like using a number of fluency functions for each video frame, and expresses a discrete frame sequence by a continuous function based on a piecewise polynomial in the time direction, thereby allowing an arbitrary frame rate. High-definition video can be played back.
  • the signal space in the class specified by the order m is classified based on the frequency that the signal is continuously differentiable. For any m> 0, subspace spanned is expressed by a (m ⁇ 1) -order piecewise polynomial that can be continuously differentiated only (m ⁇ 2) times.
  • a motion vector is obtained from one nearby pixel.
  • uniform horizontal interpolation is performed as follows.
  • image information input from the image input unit 10 such as an imaging device is subjected to noise removal processing by the preprocessing unit 20, and the image information subjected to noise removal processing by the preprocessing unit 20 is processed.
  • the compression encoding processing unit 30 performs compression encoding
  • the high frame rate processing unit 40 tracks video correspondence points between frames, expresses the time transition as a function, and compares the ratio between the original frame and the number of frames to be converted.
  • the image information compression-encoded by the compression-encoding processor 30 is increased in frame rate, so that a video signal with clear and smooth motion can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

　真の画像ｆ（ｘ，ｙ）を入力して劣化画像を出力するぼけ函数Ｈ（ｘ，ｙ）の劣化モデルの出力にノイズｎ（ｘ，ｙ）を付加することにより得られる観測画像ｇ（ｘ，ｙ）を出力する入力画像観測モデルを形成し、入力映像信号を入力し、該入力映像信号と前記観測画像が最小近似で一致するように、ぼけ函数Ｈ（ｘ，ｙ）の再帰的最適化を行って真の映像情報を抽出する逆フィルタを具備し、入力映像信号に含まれるノイズを上記逆フィルタにより除去する前処理部（２０）によりノイズ除去処理が施された入力映像信号について、フルーエンシ理論に基づいて対応点推定を行い、画像の動き情報を函数化して表現するとともに、上記入力映像信号について、圧縮符号化処理部（３０）により、信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現し、上記函数化して表現された画像の動き情報と、上記函数化して表現された信号空間毎の画像情報を所定の形式で記述して、上記入力映像信号を圧縮符号化し、圧縮符号化された映像信号を高フレームレート化処理部（４０）により高フレームレート化する。

Description

映像信号変換システム
　本発明は、動画像を高圧縮化、高解像度化した画情報に変換する映像信号変換システムに関する。
　本出願は、日本国において２００８年９月４日に出願された日本特許出願番号２００８－２２７６２８、日本特許出願番号２００８－２２７６２９及び日本特許出願番号２００８－２２７６３０を基礎として優先権を主張するものであり、これらの出願は参照することにより、本出願に援用される。
　近年、デジタル信号技術の進展に伴い、映像（動画像）、画像又は音声を対象にした、通信、放送、記録媒体［ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）］、医用画像、印刷等の分野がマルチメディア産業或いはＩＴ（Information Technology）として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のＣＤでは、圧縮を伴わないリニアＰＣＭ（Pulse Code Modulation）が用いられるが、信号理論は同様にシャノンの標本化定理である。
　従来、映像、アニメ画像などの動画の圧縮技術としてＭＰＥＧが知られており、デジタル放送やＤＶＤにおけるＭＰＥＧ－２方式の採用や、第３世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるＭＰＥＧ－４方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムＬＳＩの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。
　ＭＰＥＧ２（ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commit ion）１３８１８－２）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。ＭＰＥＧ２では、例えば７２０×４８０画素の標準解像度、飛び越し走査方式の画像データを４～８〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、また１９２０×１０８０画素の高解像度 、飛び越し走査方式の画像データを１８～２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。
　一般に動画像の符号化では、時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
　テレビジョン画像の品質を向上させる手法として、走査線の数を増やすとともに水平画素の数を増やす方法がある。例えば、現行のＮＴＳＣ方式のビデオ信号は、２：１のインタレース走査を行っているため、垂直解像度は３００本程度となる。一般のテレビジョン受像機で用いられている表示装置の走査線は５２５本であり、インタレース走査によって解像度が低下しており、フィールドバッファを用いたフィールド補間によって垂直方向の画素数を増やして走査をノン・インタレース化することにより、垂直方向の解像度を上げる手法が知られている。
　また、高品位テレビジョン受像機に用いられている表示装置には、垂直画素数が通常のテレビジョン受像機の表示装置に比べて２倍程度に設定されたものがあり、走査線方向の画素数を補間によって２倍に増やすことにより、水平方向の解像度を上げる手法が知られている。
　従来から、画像の拡大あるいは縮小を簡単な処理によって行う方法として、所定間隔で同じ画素を繰り返したり間引いたりする手法が知られており、誤差による画像の歪みが少なく、しかも演算量を低減するための手法や、画像データを、より効率的に符号化するための手法が提案されている（例えば、特開平１１－３５３４７２号公報、特開２０００－３０８０２１号公報、特開２００８－４９８４号公報参照）。
　また、動画素の入力と同時に正確な画素と画素との間の副画素のカメラ動き成分を検出して多数の副画素の映像情報を決定し、巡回型(IIR:infinite impulse response) フィルタ等による映像合成で解像度を向上させ、電子ズームによる映像拡大での高画質を実現する手法が提案されている（例えば、特開平９－１６３２１６号公報参照）。
　また、従来、ビデオ信号の撮影時におけるブレ、焦点ボケ、煙などによる不鮮明さなどを適応的に除去するには、フレーム間の差分情報による処理やウィナーフィルタによる処理が行われていた。
　たとえば、遠隔操作により、旋回動作やズーム動作が可能なカメラによる撮影映像の撮像ノイズを除去するために、１フレーム前のフレームの映像を、現フレームの映像に対して帰還させる量を示す帰還係数に相当する比率にて、現フレームの映像と重畳する際に、当該ビデオカメラシステムを旋回動作させた旋回情報及び／又はズーム動作させたズーム情報に基づいて、現フレーム上で対象となる映像信号が、１フレーム前のフレーム画面内のどこに位置していたかを計算し、同一対象物の映像同士を正確に重畳させることにより、旋回動作時やズーム動作時における撮像ノイズ除去処理により残像感を低減することが可能な撮像ノイズ除去方法が提案されている（例えば、特開２００７－１３４８８６号公報参照）。
　また、同じ内容の複数の映像信号入力について画素単位でノイズの有無を検出し、少なくとも１つのノイズのない映像信号を選択的に出力するようにした映像ノイズ除去回路が提案されている（例えば、特開平８－８４２７４号公報）。
　従来のシャノンの標本化定理に基づくＡ－Ｄ変換／Ｄ－Ａ変換系では、ナイキスト周波数によって帯域制限された信号を扱う。このとき、Ｄ－Ａ変換において、標本化によって離散的になった信号の連続波への再生に、制限された帯域内の信号を再現する函数（正則函数）が用いられていた。
　本願発明者の一人は、映像（動画像）、文字図形や自然画等の画像又は音声等の信号の持つ種々の性質を、フルーエンシ関数を用いて分類可能であることを見出した。この理論によれば、シャノンの標本化定理に基づく上記正則関数は、フルーエンシ 関数の一つであり、信号が持つ種々の性質の内の一つの性質に適合するにとどまる。したがって、種々の性質を持つ信号をシャノンの標本化定理に基づく上記正則関数のみで扱うのでは、Ｄ－Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。
　上記ウェーブレット変換理論は、対象を解像度で分解するマザーウェーブレットを用いて信号を表すものであるが、信号に最適のマザーウェーブレットが与えられるとは限らず、やはりＤ－Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。
　ここで、フルーエンシ 関数は、パラメータｍ（ｍは１～∞の正の整数）によって類別される関数である。ｍは、その関数が（ｍ－２）回のみ連続微分可能であることを表す。因みに、上記正則関数は何回でも微分可能であるので、ｍが∞である。更に、フルーエンシ関数は、（ｍ－１）次の関数で構成され、特にフルーエンシ関数の内のフルーエンシＤＡ関数は、標本間隔をτとして、着目するｋ番目の標本点ｋτで数値が与えられるが、その他の標本点では０となる関数である。
　信号の性質は、パラメータｍを持つフルーエンシ関数によって全てが分類可能となり、パラメータｍによってクラス分けされる。そのため、フルーエンシ関数を用いたフルーエンシ 情報理論は、従来の信号の性質の一部を表すにとどまっていたシャノンの標本化定理やウェーブレット変換理論等を包含し、信号の全体を表す理論体系であると位置付けられる。そのような関数を用いることにより、Ｄ－Ａ変換後に、シャノンの標本化定理によって帯域制限されることのない高品質の再生信号を、信号の全体に亘って得ることが期待される。
　ところで、従来のフレーム間の差分情報による処理やウィナーフィルタによる処理では、画像の鮮明化やエッジ強調などを行うことができない。
　また、コンテンツ通信や画像の検索では、鮮明で円滑な動きの映像表示を行うことが要求される。
　しかしながら、デジタル画像には、高倍率に拡大したときに部分画像のエッジでジャギー（jaggy）と呼ばれる階段状のギザギザが発生することにより画質が低下するという問題がある。例えば、映像、アニメ画像などの動画の圧縮技術として知られているＭＰＥＧにおいても、画像の輪郭部にジャギーが発生し、濃淡部のシャープさが欠落したり、濃淡部の色再現性が悪化するなどの問題がある。
　また、フレーム間の情報に関しては、差分情報を利用するのみで、高精細な情報を生成するには至っていない。
　また、海外のビデオ情報や映画をビデオ情報へ変換したり、アニメ制作においてフレーム間情報の補間を行う必要からフレームレート変換が必要であり、例えば、映画の２４フレーム／秒のフレームレートをビデオの３０フレーム／秒に変換したり、ＴＶの映像を高精細化のために高フレームレート化することや、携帯のフレームレートに変換することが要求されている。
　しかし、従来は、フレーム間引きや前後のフレームの内挿補間で新規なフレームを生成する方法が主流となっているため、映像の動きが円滑でない、映像が歪むなどの問題点があった。
　そこで、本発明の目的は、上述の如き従来の実情に鑑み、映像、アニメ等の動画情報を統一的に処理して高圧縮化し、高品質な動画像再生を可能にする映像信号変換システムを提供することにある。
　また、本発明の目的は、ビデオ信号のノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことのできるフィルタリング処理機能を有する映像信号変換システムを提供することにある。
　さらに、本発明の目的は、鮮明で円滑な動きの映像表示を行うことができ、コンテンツ通信や画像の検索に有効な動画処理機能を有する映像信号変換システムを提供することにある。
　本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされる。
　本発明は、映像信号変換システムであって、真の画像ｆ（ｘ，ｙ）を入力して劣化画像が出力されるぼけ函数Ｈ（ｘ，ｙ）の劣化モデルを想定し、その出力にノイズｎ（ｘ，ｙ）が付加することにより観測画像ｇ（ｘ，ｙ）が生成される入力画像モデルを構成し、入力映像信号が上記入力画像モデルの出力である観測画像と最小誤差で近似するように、ぼけ函数Ｈ（ｘ，ｙ）の再帰的最適化を行って推定された真の映像情報を抽出する逆フィルタからなり、入力映像信号に含まれるノイズを上記逆フィルタにより除去する前処理部と、上記前処理部によりノイズ除去処理が施された入力映像信号について、フルーエンシ理論に基づいて対応点推定を行い、画像の動き情報を函数化して表現するとともに、上記入力映像信号について、信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現し、上記函数化して表現された画像の動き情報と、上記函数化して表現された信号空間毎の画像情報を所定の形式で記述して、上記入力映像信号を圧縮符号化する符号化処理部と、上記符号化処理部により圧縮符号化された映像信号を高フレームレート化する高フレームレート化処理部とを備えることを特徴とする。
　本発明に係る映像信号変換システムにおいて、上記符号化処理部は、例えば、上記前処理部によりノイズ除去処理が施された入力映像信号について、フルーエンシ理論に基づいて対応点推定を行う対応点推定部と、この対応点推定部による対応点推定の結果に基づいて画像の動き情報を函数化して表現する第１の函数化処理部と、上記入力映像信号について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現する第２の函数化処理部と、上記第１の函数化処理部により函数化して表現された画像の動き情報と、上記第２の函数化処理部により函数化して表現された信号空間毎の画像情報を所定の形式で記述して、上記入力映像信号を圧縮符号化する圧縮符号化処理部とを備えるものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記対応点推定部は、例えば、フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とからなるものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記第２の函数化処理部は、例えば、上記前処理部によりノイズ除去処理が施された映像信号について、フルーエンシ理論に基づいて信号空間を選択する領域自動分類処理部と、この領域自動分類処理部により選択した信号空間毎に画像情報を函数化して表現する函数化処理部からなり、上記函数化処理部は、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の濃淡を面函数で近似して表現し濃淡情報を函数化する濃淡函数化処理部と、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の輪郭線函数で近似して表現し輪郭情報を函数化する輪郭線函数化処理部とを備えるものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記濃淡函数化処理部は、例えば、上記領域自動分類処理部により選択された多項式表現可能な区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）の画像情報について、それぞれフルーエンシ函数を用いて濃淡情報を函数化するものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記輪郭線函数化処理部は、上記領域自動分類処理部により選択された画像情報について、区分的直線、区分的２次曲線、区分的円弧を抽出し、分類する輪郭自動分類処理部と、上記輪郭自動分類処理部により分類された区分的直線、区分的２次曲線、区分的円弧をそれぞれフルーエンシ函数を用いて近似することにより、輪郭情報を函数化するものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記高フレーム化処理部は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各対応点の階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素点の階調値を生成する第３の階調値生成処理部とを備えるものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記高フレーム化処理部は、上記符号化処理部により圧縮符号化された映像信号について、函数表現された画像の動き情報及び画像情報により、画像の大きさを所定の大きさに拡大又は縮小するサイズ変換処理とともに高フレームレート化処理を行うものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記高フレーム化処理部は、上記符号化処理部により圧縮符号化された画像情報を入力とし、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似処理手段と、上記第１の函数近似処理手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理手段と、上記対応点推定処理手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似処理手段と、上記第２の函数近似処理手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似処理手段とを備えるものとすることできる。
　また、本発明に係る映像信号変換システムにおいて、上記前処理部における逆フィルタは、観測画像ｇ（ｘ，ｙ）と劣化モデルのぼけ函数Ｈ（ｘ，ｙ）について、各特異値分解（SVD:singular value decomposition）の結果から、ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）を代表してＨｆとして表し、システムの方程式を
Figure JPOXMLDOC01-appb-M000012
 とし、また、
Figure JPOXMLDOC01-appb-M000013
 （ここで、
Figure JPOXMLDOC01-appb-M000014
 は、クロネッカー積演算子を表し、
Figure JPOXMLDOC01-appb-M000015
 は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。）
としてｆを近似して、目的とする新たな画像ｇＥを
Figure JPOXMLDOC01-appb-M000016
 （ここで、βとγは制御パラメータであり、ＣＥＰとＣＥＮはそれぞれエッジ保存とエッジ強調の演算子である。）
Figure JPOXMLDOC01-appb-M000017
 として算出し、算出した新たな画像ｇＫＰＡについて、
Figure JPOXMLDOC01-appb-M000018
 なる最小化処理を行い、得られたｆＫについて、テスト条件を満たすか否かを判定し、テスト条件を満たしていない場合に上記劣化モデルのぼけ函数ＨＫについて、
Figure JPOXMLDOC01-appb-M000019
 なる最小化処理を行い、得られたぼけ函数ぼけ函数ＨＫ＋１について、
Figure JPOXMLDOC01-appb-M000020
 上記劣化モデルのぼけ函数Ｈを
Figure JPOXMLDOC01-appb-M000021
 として推定する処理を、新たな画像ｇＫＰＡについての最小化処理により得られるｆＫがテスト条件を満たすまで繰り返し行う学習処理により得られたフィルタ特性を有するものとすることできる。
　さらに、本発明に係る映像信号変換システムにおいて、上記学習処理では、算出した新たな画像ｇＫＰＡについての最小化処理により得られたｆＫについて、
Figure JPOXMLDOC01-appb-M000022
 （ここで、ｋは繰り返し番号であり、ε，ｃは、それぞれ判定の閾値である。）
なるテスト条件を満たすか否かを判定するものとすることできる。
図１は、本発明を適用した映像信号変換システムの構成を示すブロック図である。 図２は、上記映像信号変換システムにおける前処理部を構築するために用いるシステムモデルを示すブロック図である。 図３は、上記映像信号変換システムにおける前処理部を構築するために用いるリストレーションシステムモデルを示すブロック図である。 図４は、上記前処理部に用いる逆フィルタの特性の各処理の手順を示すフローチャートである。 図５は、上記映像信号変換システムにおける圧縮符号化処理部の構成を示すブロック図である。 図６は、上記圧縮符号化処理部に備えられた対応点推定部の構成を示すブロック図である。 図７は、フレーム間の相関関数が属する２ｍ次補間を行う空間の説明に供する図である。 図８Ａ、図８Ｂ、図８Ｃ、図８Ｄは、上記対応点推定部による対応点推定による動きベクトルの決定の様子を模式的に示す図である。 図９は、上記対応点推定部による対応点推定により決定した動きベクトルと、従来のブロックマッチングにより決定された動きベクトルとを比較して示す図である。 図１０は、上記圧縮符号化処理部に備えられた動き函数化処理部で扱うフレーム画像の原点の説明に供する図である。 図１１Ａ、図１１Ｂ、図１１Ｃは、各フレームの画像の動きを各フレームのＸ座標、Ｙ座標の動きとして模式的に示す図である。 図１２は、フレーム間の位置を推定処理の内容を模式的に示す図である。 図１３Ａ及び図１３Ｂは、ＭＰＥＧ符号化により生成した映像データストリームの構成例と、上記映像信号変換システムにおける符号化処理部により生成された生成映像データストリームの構成例を模式的に示す図である。 図１４は、上記符号化処理部により生成される映像データストリームにおけるＩピクチャ及びＱピクチャのビットフォーマットの一例を示す図である。 図１５は、上記符号化処理部により生成される映像データストリームにおけるＤピクチャのビットフォーマットの一例を示す図である。 図１６Ａ及び図１６Ｂは、上記Ｄピクチャのビットフォーマットの一例における対応点のＸ座標の変化及びＹ座標の変化を示す図である。 図１７は、対応領域内の各Ｄピクチャの各Ｘ座標値を前後のピクチャのＸ座標値から補間演算により算出する例を模式的に示す図である。 図１８は、上記映像信号変換システムにおける高フレームレート化処理部の構成を示すブロック図である。 図１９Ａ及び図１９Ｂは、上記高フレームレート化処理部による高フレームレート化処理を模式的に示す図である。 図２０は、上記高フレームレート化処理部による高フレームレート化処理の実行手順を示すフローチャートである。 図２１Ａ，図２１Ｂ，図２１Ｃ，図２１Ｄは、上記高フレームレート化処理部による高フレームレート化処理の内容を模式的に示す図である。 図２２は、上記フレームレート変換部における不均等補間処理の説明に供する図である。 図２３は、画像の解像度を変換した際に新たに生成された画素位置の値を決める画像補間処理の説明に供する図である。 図２４Ａ及び図２４Ｂは、均等補間函数と不均等補間函数の例を示す図である。 図２５は、上記画像補間処理の内容を模式的に示す図である。 図２６は、拡大補間処理装置の構成例を示すブロック図である。 図２７は、上記拡大補間処理装置におけるＳＲＡＭ選択部の構成例を示すブロック図である。 図２８は、上記拡大補間処理装置における画像処理ブロックの構成例を示すブロック図である。 図２９Ａ及び図２９Ｂは、上記拡大補間処理装置における画像処理モジュールに入力される２つのフレーム画像を模式的に示す図である。 図３０は、上記拡大補間処理装置における拡大補間処理の手順を示すフローチャートである。 図３１は、拡大補間処理機能を有するフレームレート変換装置の構成例を示すブロック図である。 図３２は、（ｍ＝３）クラスの不均等フルーエンシ補間函数を示す図である。 図３３は、高解像度補間アプローチの実例を示す図である。 図３４は、補間のためのピクセル構造の具体例を示す図である。 図３５は、上記高フレームレート化処理部により生成される中間フレームと従来手法により生成される中間フレームとを比較して示す図であり、（Ａ），（Ｂ１），（Ｃ１）は従来の１／２精度の動き推定の例を示し、（Ａ），（Ｂ２），（Ｃ２）は不均等補間の例を示す。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
　本発明は、例えば図１に示すような構成の映像信号変換システム１００に適用される。
　この映像信号変換システム１００は、撮像装置等の画像入力部１０から入力される画像情報にノイズ除去処理を施す前処理部２０、上記前処理部２０によりノイズ除去処理が施された画像情報が入力され、入力された画像情報を圧縮符号化する圧縮符号化処理部３０、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化する高フレームレート化処理部４０などからなる。
　この映像信号変換システム１００における前処理部２０は、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、図２に示すようなシステムモデルにより、真の入力画像ｆ（ｘ，ｙ）が入力されるぼけ函数Ｈ（ｘ，ｙ）の劣化モデル２１の出力
Figure JPOXMLDOC01-appb-M000023
 にノイズｎ（ｘ，ｙ）を付加することにより観測画像ｇ（ｘ，ｙ）を得て、図３に示すようなリストレーションシステムモデルにより、入力画像が上記観測画像ｇ（ｘ，ｙ）と最小誤差で一致するようにぼけ函数を適応修正し、その結果推定された画像
Figure JPOXMLDOC01-appb-M000024
 を真の入力画像として得る逆フィルタ２２からなる。
　前処理部２０は、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、原画像をクロネッカー積の特性を利用して評価する。
　クロネッカー積は、次のように定義される。
　Ａ＝［ａｉｊ］をｍｎ行列、Ｂ＝［ｂｉｊ］をｓｔ行列とするとき、クロネッカー積
Figure JPOXMLDOC01-appb-M000025
 は、次のような、ｍｓ×ｎｔ行列である。
Figure JPOXMLDOC01-appb-M000026
 　ここで、
Figure JPOXMLDOC01-appb-M000027
 は、クロネッカー積演算子を表す。
　また、クロネッカー積の基本的な性質は、次の通りである。
Figure JPOXMLDOC01-appb-M000028
 　ここで、
Figure JPOXMLDOC01-appb-M000029
 は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。
　この前処理部２０における画像モデルでは、未知の真の入力画像ｆ（ｘ，ｙ）が存在するものと仮定して、上記劣化モデル２１の出力
Figure JPOXMLDOC01-appb-M000030
 にノイズｎ（ｘ，ｙ）を付加することにより得られる観測画像ｇ（ｘ，ｙ）は、次の式（１）にて表すことができる。
Figure JPOXMLDOC01-appb-M000031
 　ここで、
Figure JPOXMLDOC01-appb-M000032
 は、この画像システムにより得られる劣化画像を代表し、また、ｎ（ｘ，ｙ）は付加したノイズである。そして、劣化画像
Figure JPOXMLDOC01-appb-M000033
 は、次の式（２）で示される。
Figure JPOXMLDOC01-appb-M000034
 　ここで、ｈ（ｘ，ｙ；ｘ’，ｙ’）は、劣化システムのインパルス応答を代表している。
　使用される画像は離散量であるから、入力画像ｆ（ｘ，ｙ）の画像モデルは、式（３）のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000035
 　ここで、Ｈｋ（ｘ）Ｈｌ（ｙ）は、次の式（４）のようにマトリクス形式で表すことにより、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈとなる。
Figure JPOXMLDOC01-appb-M000036
 　上記逆フィルタ２２の特性は、図４のフローチャートに示す手順に従った学習処理により決定される。
　すなわち、学習処理では、先ず、入力画像ｇを観測画像ｇ（ｘ，ｙ）として読み込み（ステップＳ１ａ）、
Figure JPOXMLDOC01-appb-M000037
 として画像ｇＥを構成して（ステップＳ２ａ）、
Figure JPOXMLDOC01-appb-M000038
 の特異値分解（SVD:singular value decomposition）を行う（ステップＳ３ａ）。
　また、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈを読み込み（ステップＳ１ｂ）、
Figure JPOXMLDOC01-appb-M000039
 なるクロネッカー積で示される劣化モデルを構築して（ステップＳ２ｂ）、上記劣化モデルの函数Ｈの特異値分解（SVD:singular value decomposition）を行う（ステップＳ３ｂ）。
　ここで、システム方程式ｇは
Figure JPOXMLDOC01-appb-M000040
 と書き直すことができる。
　そして、
Figure JPOXMLDOC01-appb-M000041
 として新たな画像ｇＫＰＡを算出する（ステップＳ４）。
　そして、算出した新たな画像ｇＫＰＡについて、
Figure JPOXMLDOC01-appb-M000042
 なる最小化処理を行い（ステップＳ５）、得られたｆＫについて、
Figure JPOXMLDOC01-appb-M000043
 なるテスト条件を満たすか否かを判定する（ステップＳ６）。
　ここで、ｋは繰り返し番号であり、ε，ｃは、それぞれ判定の閾値である。
　そして、上記ステップＳ６における判定結果がFalse、すなわち、上記ステップＳ５で得られたｆＫが上記テスト条件を満たしていない場合には、上記劣化モデルの函数Ｈについて、
Figure JPOXMLDOC01-appb-M000044
 なる最小化処理を行い（ステップＳ７）、上記ステップＳ３ｂに戻り、上記ステップＳ６で得られた函数ＨＫ＋１について特異値分解（SVD:singular value decomposition）を行い、上記ステップＳ３ｂからステップＳ７の処理を繰り返し行い、上記ステップＳ６における判定結果がTrue、すなわち、上記ステップＳ５で得られたｆＫが上記テスト条件を満たす場合に、上記ステップＳ５で得られたｆＫを
Figure JPOXMLDOC01-appb-M000045
 　として（ステップＳ８）、１の入力画像ｇに対する学習処理を終了する。
　上記逆フィルタ２２の特性は、上記学習処理を多数の入力画像ｇについて行うことにより決定される。
　すなわち、ここでは、ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）を代表してＨｆとして表し、システムの方程式を
Figure JPOXMLDOC01-appb-M000046
 とし、また、
Figure JPOXMLDOC01-appb-M000047
 として、ｆを近似して、目的とする新たな画像ｇＥを次のように導出している。
Figure JPOXMLDOC01-appb-M000048
 　ここで、Ｅは予測を示す。新たな画像ｇＥは、原画像のエッジ細部の保存や強調として構成される。
　新たな画像ｇＥは、
Figure JPOXMLDOC01-appb-M000049
 として得られる。ここで、ＣＥＰとＣＥＮは、それぞれエッジ保存とエッジ強調の演算子である。
　そして、シンプルなラプラシアンカーネルＣＥＮ＝∇２ｆと制御パラメータβとγを持ったガウシャンカーネルＣＥＰを選択し、
Figure JPOXMLDOC01-appb-M000050
 とする。
　そして、
Figure JPOXMLDOC01-appb-M000051
 として、最小化問題を再構築し、次の特異値分解（SVD:singular value decomposition）から
Figure JPOXMLDOC01-appb-M000052
 上記劣化モデルの函数Ｈを
Figure JPOXMLDOC01-appb-M000053
 として推定して用いる。
　この映像信号変換システム１００における前処理部２０のように、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うことにより、ノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことができる。
　この映像信号変換システム１００は、上記前処理部２０によりノイズ除去処理が施された画像情報について、圧縮符号化処理部３０により圧縮符号化し、圧縮符号化された画像情報をフレームレート化処理部４０により高フレームレート化する。
　この映像信号変換システム１００における圧縮符号化処理部３０は、フルーエンシ理論に基づく圧縮符号化処理を行うもので、図５に示すように、第１の函数化処理部３１、第２の函数化処理部３２、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する符号化処理部３３などを備える。
　第１の函数化処理部３１は、上記前処理部２０によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う対応点推定部３１Ａと、上記対応点推定部３１Ａにより推定された各フレーム画像の対応点の画像情報を用いて、動き部分の画像情報を函数化する動き函数化処理部３１Ｂからなる。
　対応点推定部３１Ａは、例えば、図６に示すように構成される。
　すなわち、対応点推定部３１Ａは、フレーム画像の部分領域を抽出する第１の部分領域抽出部３１１と、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出部３１２と、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する函数近似部３１３と、上記函数近似部３１３の出力の相関値を演算する相関値演算部３１４と、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算部３１５とからなる。
　この対応点推定部３１Ａでは、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
　この対応点推定部３１Ａは、画像の濃淡を連続的な変化状態として捉え、フルーエンシ情報理論により、画像の対応点を推定するものであって、第１の部分領域抽出部３１１と、第２の部分領域抽出部３１２と、函数近似部３１３と、相関値演算部３１４と、ずれ量演算部３１５からなる。
　この対応点推定部３１Ａにおいて、第１の部分領域抽出部３１１は、入力画像についてフレーム画像の部分領域を抽出する。
　また、第２の部分領域抽出部３１２は、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する。
　また、函数近似部３１３は、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する。
　また、相関値演算部３１４は、上記函数近似部３１３の出力の相関値を演算する。
　さらに、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力する。
　そして、この対応点推定部３１では、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
　ここで、画像ｆ１（ｘ，ｙ），ｆ２（ｘ，ｙ）は、空間Ｓ（ｍ）（Ｒ２）に属していると仮定し、φｍ（ｔ）を（ｍ－２）次の区分多項式で次の式（５）のように表し、
Figure JPOXMLDOC01-appb-M000054
 上記空間Ｓ（ｍ）（Ｒ２）を次の式（６）のように表すと、
Figure JPOXMLDOC01-appb-M000055
 フレーム間の相関関数ｃ（τ１，τ２）は、次の式（７）として表すことができる。
Figure JPOXMLDOC01-appb-M000056
 とすると、
　そして、上記仮定、すなわち、
Figure JPOXMLDOC01-appb-M000057
 から、フレーム相関関数を表す式（７）は、次の式（８）で示すことができる。
Figure JPOXMLDOC01-appb-M000058
 　すなわち、上記フレーム間の相関関数ｃ（τ１，τ２）は、図７に示すような２ｍ次補間を行う空間Ｓ（２ｍ）（Ｒ２）に属し、上記２ｍ次補間を行う空間Ｓ（２ｍ）（Ｒ２）の標本化周波数ψ２ｍ（τ１，τ２）は一意的に存在し、上記フレーム間の相関関数ｃ（τ１，τ２）は、次の式（９）にて表される。
Figure JPOXMLDOC01-appb-M000059
 　式（８）から、相関面を補間するために、（２ｍ－１）次の区分的な多項式の関数を構築することができる。
　すなわち、ブロックに基づく動きベクトル評価アプローチによって、適切に式（７）の別々のブロック動きベクトルの初期の推定を得て、それから、任意の正確さの本当の動きを得る式（８）を適用する。
　分離可能な相関面補間関数の一般形は、式（１０）にて表され、
Figure JPOXMLDOC01-appb-M000060
 　ここで、Ｃｋとｄｌが補間係数であり、Ｍ２ｍ（ｘ）＝φ２ｍ（ｘ＋２）・φｍ（ｘ）は、（ｍ－１）次のＢ－スプラインである。
　式（１０）における適切な打ちきり制限により、上記相関関数ｃ（τ１，τ２）は、次の式（１１）によって近似することができる。
Figure JPOXMLDOC01-appb-M000061
 　ここで、Ｋ１＝［τ１］－ｓ＋１，Ｋ２＝［τ２］＋ｓ，Ｌ１＝［τ２］－ｓ＋１，Ｌ２＝［τ２］＋ｓであり、ｓはφｍ（ｘ）を定める。
　そして、例えば、ｍ＝２のとき、次の式（１２）を式（１１）に代入することにより、望ましい補間式を得る。
Figure JPOXMLDOC01-appb-M000062
 　動きベクトルvは、次の式（１３）を使って導出される。
Figure JPOXMLDOC01-appb-M000063
 　上記相関関数ｃ（τ１，τ２）は、整数点の情報だけを用いて再生することができ、相関値演算部３１４は、上記相関関数ｃ（τ１，τ２）により上記函数近似部３１３の出力の相関値を算出する。
　そして、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを示す式（１３）により動きベクトルＶを演算し、得られる動きベクトルＶを対応点のずれ量として出力する。
　ここで、上記対応点推定部３１Ａによる対応点推定による動きベクトルＶの決定の様子を図８Ａ、図８Ｂ、図８Ｃ、図８Ｄに模式的に示す。
　すなわち、この対応点推定部３１Ａでは、図８Ａに示すように、フレーム画像（ｋ）の部分領域を取り出し、この部分領域に相似な連続する他のフレーム画像の部分領域を抽出して、図８Ｂに示すように、
Figure JPOXMLDOC01-appb-M000064
 にて表される相関関数ｃ（τ１，τ２）を用いて各フレーム間の相関を計算して、図８Ｃに示すように、相関曲面のピーク点で動きを検出し、動きベクトルvを上記式（１３）にて求めることにより、図８Ｄに示すように、フレーム画像（ｋ）における画素の動きを決定する。
　このようにして決定されたフレーム画像（ｋ）の各ブロックの動きベクトルは、同じフレーム画像（ｋ）の各ブロックの動きベクトルを従来のブロックマッチングにより決定されたものと比較して、各ブロック間で滑らかに変化するものとなる。
　すなわち、例えば、図９の（Ａ）に示すように、被写体が回転する動きのあるフレーム１とフレーム２について、２フレーム対応点推定と不均等補間により４倍拡大を行ったところ、図９の（Ｂ１），（Ｃ１）に示すように、従来のブロックマッチングによる推定対応点で推定された動きベクトルには変化が滑らかでない部分が生じたが、上述の如き構成の対応点推定部３１Ａによる推定対応点で推定された動きベクトルの変化は、図９の（Ｂ２），（Ｃ２）に示すように、全体的に滑らかなものとなっている。しかも、１／Ｎの精度での計算量は、従来手法ではＮ２であるのに対し、本手法ではＮとなる。
　そして、動き函数化処理部３１Ｂでは、上記対応点推定部３１Ａにおける対応点推定により得られる動きベクトルＶを用いて、動き部分の画像情報を函数化する。
　すなわち、動き函数化処理部３１Ｂでは、基準フレーム毎に部分動画像の対応点が推定されると、その移動量すなわち対応点のずれ量はフレームの座標位置ｘ、ｙの変化に対応するので、図１０に示すように、フレームの原点を左上隅に取った場合、例えば、図１１Ａに示すような各フレームの画像の動きについて、図１１Ｂ，図１１Ｃに示すように各フレームのＸ座標、Ｙ座標の動きとして表し、Ｘ座標、Ｙ座標それぞれの動きの変化を函数近似して函数化する。そして、図１２に示すように、その函数で補間してフレーム間Ｔの位置を推定することにより動き補償を行う。
　また、第２の函数化処理部３２は、フルーエンシ情報理論に基づき、輪郭、濃淡、フレーム間情報を近似するフルーエンシ函数化処理により、入力画像を符号化するものであって、領域自動分類処理部３２Ａ、輪郭線函数近似処理部３２Ｂ、濃淡函数化処理部３２Ｃ、周波数函数近似処理部３２Ｄなどからなる。
　領域自動分類処理部３２Ａは、入力画像をフルーエンシ情報理論に基づいて、区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）、不規則領域（高次領域、例えばｍ≧４）に分類する。
　フルーエンシ情報理論では、信号を信号空間という概念で次数ｍによって指定されるクラスに分類する。
　信号空間ｍＳは、（ｍ－２）回連続微分可能な変数を持つ（ｍ－１）次の区分的多項式によって表される。
　信号空間ｍＳは、ｍ＝１のとき、階段関数のものと等しくなり、またｍ＝∞のとき、ＳＩＮＣ関数のものと等しくなることが証明されている。フルーエンシモデルは、フルーエンシ標本化関数を定義することで、この信号空間ｍＳに属する信号と離散時間信号との関係を明確化するモデルである。
　輪郭線函数近似処理部３２Ｂは、輪郭自動分類処理部３２１と関数近似処理部３２２からなり、上記領域自動分類処理部３２Ａにより分類された区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）に含まれる直線、円弧、２次曲線を上記輪郭自動分類処理部３２１により抽出して関数近似処理部３２２により関数近似する。
　濃淡函数化処理部３２Ｃは、上記領域自動分類処理部３２Ａにより分類される区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）について、フルーエンシ函数を用いて濃淡函数化処理を行う。
　周波数函数近似処理部３２Ｄは、上記領域自動分類処理部２により分類される不規則領域、すなわち、多項式表現できない領域について、ＬＯＴ（２次元矩形波変換）等により周波数函数近似処理を行う。
　この第２の函数化処理部３２では、映像のフレーム毎に多数の多変数フルーエンシ函数を使って、画像の濃淡や輪郭を表現することができる。
　そして、符号化処理部３３は、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する。
　ここで、ＭＰＥＧ符号化では、画面全てを記録したフレーム画像データで示されるＩピクチャ、前後のピクチャから予測した差分画像データで示されるＢピクチャ、直前のＩピクチャ、Ｐピクチャから予測した変化部分の差分画像データで示されるＰピクチャが定義され、時間軸に沿ったフレームをグループ化した画像群（ＧＯＰ）毎に、輝度信号と色信号の符号化データであってＤＣＴ変換後の量子化された値を持つ各ピクチャの符号化データ列として例えば図１３Ａに示すような構成の映像データストリームを生成する符号化処理が行われていたのに対し、この映像信号変換システム１００における符号化処理部３３では、例えば図１３Ｂに示すような構成の映像データストリームを生成する符号化処理が行われる。
　すなわち、上記符号化処理部３３では、画面全てを記録したフレーム画像函数データで示されるＩピクチャ、前後のＩピクチャ－Ｑピクチャ、Ｑピクチャ－Ｑピクチャのフレーム補間差分画像函数データで示されるＤピクチャ、直前のＩピクチャ又はＱピクチャからの差分フレーム画像函数データで示されるＱピクチャが定義され、時間軸に沿ったフレームをグループ化した画像群（ＧＯＰ）毎に、各画像函数データで示される各ピクチャの符号化データ列として例えば図１３Ｂに示すような構成の映像データストリームを生成する符号化処理が行われる。
　なお、図１３Ａ，図１３Ｂに示した映像データストリームには、シーケンスヘッダＳが付加されている。
　上記符号化処理部３３により生成される映像データストリームにおけるＩピクチャ及びＱピクチャのビットフォーマットの一例を図１４に示すように、Ｉピクチャ及びＱピクチャを示す画像函数データには、ヘッダ情報、画像の幅情報、画像の高さ情報、オブジェクトの種類が輪郭で有ることを示す情報、輪郭オブジェクトにおけるセグメントの種類を示す情報と、その始点、中点、終点の座標情報、オブジェクトの種類が領域で有ることを示す情報、領域オブジェクトの色情報などが含まれている。
　また、上記符号化処理部３３により生成される映像データストリームにおけるＤピクチャのビットフォーマットの一例を図１５に示す。Ｄピクチャを示す画像函数データには、フレーム分割数、フレーム内領域数、対応領域番号、前のＩピクチャ又はＱピクチャの対応領域の中心Ｘ座標及び中心Ｙ座標、後ろのＩピクチャ又はＱピクチャの対応領域の中心Ｘ座標及び中心Ｙ座標等の情報が含まれている。上記図１５に示したＤピクチャのビットフォーマットの一例における領域番号１の対応点のＸ座標の変化及びＹ座標の変化を図１６Ａ，図１６Ｂに示す。
　そして、例えば図１７に示すように、対応領域内の各Ｄピクチャ（Ｄ２１、Ｄ２２、Ｄ２３）の各Ｘ座標値は、前後のピクチャ（Ｑ１、Ｑ２，Ｑ３，Ｑ４）のＸ座標値から、補間演算により算出することができる。また、対応領域内の各Ｄピクチャ（Ｄ２１、Ｄ２２、Ｄ２３）の各Ｙ座標値は、前後のピクチャ（Ｑ１、Ｑ２，Ｑ３，Ｑ４）のＹ座標値から、補間演算により算出することができる。
　さらに、高フレームレート化処理部４０は、例えば、図１８に示すように構成される。
　この高フレームレート化処理部４０は、例えば図１９Ａ，図１９Ｂに示すように、原フレームＦＯ間に補間フレームＦＩを挿入することにより、図１９Ａに示す低フレームレート（この例では３０フレーム／秒）の動画を図１９Ｂに示す高フレームレートの動画（この例では６０フレーム／秒）に変換する高フレームレート化処理を行うもので、対応点推定処理部４１、第１の階調値生成処理部４２、第２の階調値生成処理部４３、第３の階調値生成処理部４４などからなる。
　この高フレームレート化処理部４０において、対応点推定処理部４１は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する。
　また、第１の階調値生成処理部４２は、上記対応点推定処理部４１により推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める。
　また、第２の階調値生成処理部４３は、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める。
　さらに、第３の階調値生成処理部４４は、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点近傍の画素の階調値を生成する。
　この映像信号変換システム１００において、上記高フレームレート化処理部４０の機能は、図示しない記憶部から読み出される映像信号変換プログラムをコンピュータにより実行することに実現され、図２０のフローチャートに示すステップＳ１１～ステップＳ１４の手順に従って、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理を実行することに実現される。
　すなわち、この高フレームレート化処理部４０では、先ず、図２１Ａに示すように、時間ｔ＝ｋの画像フレームを基準フレームＦ（ｋ）とし、基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）について、時間ｔ＝ｋ＋１の画像フレームＦ（ｋ＋１）、時間ｔ＝ｋ＋２の画像フレームＦ（ｋ＋２）、・・・時間ｔ＝ｋ＋ｍの画像フレームＦ（ｋ＋ｍ）における各動きベクトルを求めて、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）を推定する対応点推定処理を行う（ステップＳ１１）。
　次に、上記ステップＳ１１で推定した各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）について、図２１Ｂに示すように、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理を行う（ステップＳ１２）。
　次に、上記基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）に対して、図２１Ｃに示すように、上記ステップＳ１２で生成した各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）における各階調値、すなわち、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）の対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）間の補間フレームにおける対応点の各階調値を求める第２の階調値生成処理を行う（ステップＳ１３）。
　次のステップＳ１４では、図２１Ｄに示すように、上記ステップＳ１３の第２の階調値生成処理により生成した補間フレームＦ（ｋ＋１／２）における各対応点の階調値から、不均等補間により時間ｔ＝ｋ＋１／２の補間フレームＦ（ｋ＋１／２）における各画素の階調値を生成する第３の階調値生成処理を行う（ステップＳ１４）。
　ここで、複数フレームからなる動画像は、その動きのある部分画像のフレーム上の位置はフレーム毎に異なる。また、一つのフレーム上の画素点は、他のフレーム上の異なる位置の画素点に移動するとは限らず、画素間に対応することが通常である。すなわち、１つの自然画は、連続した情報としたとき、２つのフレーム上では異なる位置の画素情報をそれぞれ表していることになる。特に、フレーム間の補間により、新規フレーム画像を生成する場合は、元のフレーム上の画素情報と新規フレーム上での画素上は殆ど全て異なる。例えば、図２２の（Ａ），（Ｂ）に示すような２つのフレーム画像を同一点で重ね合わせると、各フレームの画素点（ここでは、説明のための粗くしている）の関係は、図２２の（Ｃ）に示すような関係となる。すなわち、画像の移動分ずれる。この２つのフレーム画像を用いて、第１フレームの格子点（印のない画素点）の濃淡値を求めるためには、不均等補間処理が必要となる。
　例えば、図２３に示すように、画像の解像度を変換した際に新たに生成された画素ｕ（τｘ，τｙ）位置の値を決める画像補間処理は、原画素ｕ（ｘｉ，ｙｊ）と補間函数ｈ（ｘ）の畳み込み処理により行われる。
Figure JPOXMLDOC01-appb-M000065
 　そして、複数のフレーム画像を用いて同一部分画像を対応させ、図２４Ａに示すような均等補間函数を用いて所望の対応点近傍における水平（垂直）方向の画素情報から均等補間により求めた各フレーム毎の補間情報、すなわち、例えば図２５に示すように、フレーム１（Ｆ１）及びフレーム２（Ｆ２）の各内挿画素値×，△を垂直（水平）方向の画素情報として、図２４Ｂに示すような不均等補間函数を用いてフレームのずれ量に基づき不均等補間を行い、フレーム１における所望の位置の画素情報○を決定する。
　ここで、高フレームレート化処理部４０では、上述の如き高フレームレート化処理を行うとともに、２フレーム画像を用いて拡大補間処理を行う機能を備える。２フレーム画像を用いて拡大補間処理を行う機能は、例えば、例えば図２６に示すように、入力データ制御回路５１、出力同期信号生成回路５２、ＳＲＡＭ５３、ＳＲＡＭ選択部５４、画像処理モジュール５５により構成される拡大補間処理装置５０により実現される。
　この拡大補間処理装置５０において、入力データ制御回路５１は、水平同期信号及び垂直同期信号とともに供給される入力画像すなわち各画素の画像情報をＳＲＡＭ選択部５４に順次入力する制御を行う。
　出力同期信号生成回路５２は、供給される水平同期信号及び垂直同期信号に基づいて出力側同期信号を生成し、生成した出力側同期信号を出力するとともにＳＲＡＭ選択部５４に供給する。
　ＳＲＡＭ選択部５４は、例えば、図２７に示すように構成され、供給される同期信号に生成される書き込み制御信号及び読み出し制御信号に基づいて制御信号切り換え回路５４Ａから供給されるメモリ選択信号に応じた動作を行う書き込みデータ選択部５４Ｂと読み出しデータ選択部５４Ｃにより、入力データ制御回路５１を介して入力される入力画像を１フレームごとＳＲＡＭ５３に格納し、同時に２フレームの画像を出力同期信号生成回路５２により生成された出力側同期信号に同期して読み出す。
　また、画像処理モジュール５５は、フレーム間情報による画像補間処理を行う例えば、図２８に示すように構成される。
　すなわち、画像処理モジュール５５は、ＳＲＡＭ選択部５４を介してＳＲＡＭ５３から同時に読み出された２フレームの画像情報が入力される窓設定部５５Ａ、第１の均等補間処理部５５Ｂ及び第２の均等補間処理部５５Ｃ、上記窓設定部５５Ａにより上記２フレームの画像情報から抽出された画素の情報が入力されるずれ量推定部５５Ｄ、このずれ量推定部５５Ｄにより推定されたずれ量ベクトルと上記第２の均等補間処理部５５Ｃにより補間された画素の情報入力されるずれ補正部５５Ｅ、このずれ補正部５５Ｅにより補正された画素の情報及び上記第１の補間処理部５５Ｂにより補間された画素の情報が入力される不均等補間処理部５５Ｆからなる。
　画像処理モジュール５５では、図２９Ａ，図２９Ｂに示すように、ＳＲＡＭ選択部５４を介して入力される２つのフレーム画像ｆ，ｇについて、窓設定部５５Ａにより所定のポイント（ｐ，ｑ）にウインドウを設定し、ずれ量推定部５５Ｄにより、片方のフレーム画像ｇのウインドウをずれ量（τｘ，τｙ）だけずらして、ウインドウ内の相対位置（ｘ，ｙ）の画素値により内積演算を行い、その値を相互相関値Ｒｐｑ（τｘ，τｙ）とする。
Figure JPOXMLDOC01-appb-M000066
 　そして、ずれ量（τｘ，τｙ）を変化させてポイント（ｐ，ｑ）の回りでの相互相関値Ｒｐｑ（τｘ，τｙ）が最大となるずれ量（τｘ，τｙ）を抽出する。
Figure JPOXMLDOC01-appb-M000067
 　なお、２つのフレーム画像ｆ，ｇのウインドウ内画素データをそれぞれフーリエ変換して相互相関値Ｒｐｑ（τｘ，τｙ）を求めることもできる。
　そして、この拡大補間処理装置５０では、図３０のフローチャートに示すように手順に従って拡大補間処理を行う。
　すなわち、画像処理モジュール５５では、ＳＲＡＭ５３からＳＲＡＭ選択部５４を介して２つのフレーム画像ｆ，ｇが読み出されると（ステップＡ）、ずれ量推定部５５Ｄで相関演算処理により２つのフレーム画像ｆ，ｇのずれ量（τｘ，τｙ）を演算する（ステップＢ）。
　そして、フレーム１の画像ｆについて均等補間による内挿画素値を第１の均等補間処理部５５Ｂで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＣ）。
　また、フレーム２の画像ｇについて均等補間による内挿画素値を第２の均等補間処理部５５Ｃで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＤ）。
　さらに、フレーム２の拡大画像をフレーム１に対するずれ量分移動した画素位置での画素値をずれ量補正部５５Ｅにより演算する（ステップＥ）。
　そして、不均等補間処理部５５Ｆにおいて、フレーム１の内挿画素値２点とフレーム２の移動位置の画素値２点の計４点の画素値からフレーム１における求める位置の画素値を不均等補間で垂直方向あるいは水平方向に拡大演算を行い（ステップＦ）、フレーム１の補間演算結果を拡大画像として出力する（ステップＧ）。
　このような拡大補間処理を行う機能を備えるフレームレート変換装置１１０は、例えば、図３１に示すように構成される。
　このフレームレート変換装置１１０は、第１の函数近似処理部１１１、対応点推定処理部１１２、第２の函数近似処理部１１３、第３の函数近似処理部１１４として機能するコンピュータからなる。
　第１の函数近似処理部１１１は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似処理を行う。
　対応点推定処理部１１２は、上記第１の函数近似処理部１１１により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理を行う。
　第２の函数近似処理部１１３は、上記対応点推定処理部１１２により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似を行う。
　第３の函数近似処理部１１４は、上記第２の函数近似処理部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似処理を行う。
　このフレームレート変換装置１１０では、第１の函数近似処理部１１１により、基準フレームにおける複数個の画素について、その濃淡分布を函数近似し、対応点推定処理部１１２により、上記第１の函数近似処理部１１１で近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とし、第２の函数近似処理部１１３により、上記対応点推定処理部１１２で推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する。そして、第３の函数近似処理部１１４により、第２の函数近似処理部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換することにより、拡大補間処理とともに高フレームレート化処理を行う。
　この映像信号変換システム１００では、上述の如く、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記フレームレート変換装置１を用いた高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成する。
　すなわち、この映像信号変換システム１００は、映像のフレーム毎に多数のフルーエンシ函数を使って輪郭などを表現し、離散フレーム列を時間方向で区分多項式に基づく連続関数で表すことで、任意フレームレートの高品位な映像を再生できるようにしたものである。
　フルーエンシ情報理論では、信号が連続的に微分可能であるという度数に基づいて、次数ｍによって指定されるクラスにおける信号空間を分類する。
　そして、どのようなｍ＞０に対しても、subspace spannedは、（ｍ－２）回のみ連続微分可能な（ｍ－１）次の区分的な多項式によって表される。
（ｍ＝３）クラスの標本化関数ψ(x)は、１回のみ連続微分可能な２次の区分多項式の線形結合により次の式（１４）で表される。
Figure JPOXMLDOC01-appb-M000068
 　ここで、φ(x)は次の式（１５）で示される。
Figure JPOXMLDOC01-appb-M000069
 　そして、ψ(x)は、標本化函数であるため、標本列と畳み込み演算で区間の函数を求めることができる。
　ここで、τ＝１のとき、式（１３）は、次の式（１６）よって与えられる区分的な多項式として表されることができる。
Figure JPOXMLDOC01-appb-M000070
 　例えば、（ｍ＝３）クラスの不均等フルーエンシ補間函数
Figure JPOXMLDOC01-appb-M000071
 は、図３２に示すような函数である。
　不均等補間フルーエンシ関数
Figure JPOXMLDOC01-appb-M000072
 は、度数２の８部分多項式から成り、（ｍ＝３）クラスの不均等補間フルーエンシ関数は、図３２で示すようにｓ１（ｘ）～Ｓ８（ｘ）に指定される不均等の間隔で定められ、その構成要素は、次の式（１７）で与えられる。
Figure JPOXMLDOC01-appb-M000073
 　ここで、
Figure JPOXMLDOC01-appb-M000074
 である。
　ここで、高解像度補間の実例を図３３に示す。また、図３４は、補間のためのピクセル構造の具体例を示している。
　図３４において、Frame_1のピクセルＰｘＦ１は、Frame_2でピクセルＰｘＦ２を変える、異なる動きベクトル
Figure JPOXMLDOC01-appb-M000075
 を持つ。ピクセルＰｘＴｇは、補間のターゲット画素である。
　図３５は２つの連続的なフレームから一次元イメージ補間の概念を例示している。
　動き評価は、ブロック・サイズと検索ウィンドウ・サイズが知られている全検索ブロックマッチングのアルゴリズムによるものとされる。
　高解像度フレームピクセルは、f（τx，τy）によって表され、ピクセル構造は、図３４の高解像度補間アプローチの１例に示すようである。
　第１のステップでは、ビデオ・シーケンスから２つの連続的なフレームを得て、ｆ１（ｘ，ｙ）とｆ２（ｘ，ｙ）によって表す。
　第２のステップでは、動きベクトルの初期推定を行う。
Figure JPOXMLDOC01-appb-M000076
 にて、動きベクトルの初期推定を行う。
　ここで、
Figure JPOXMLDOC01-appb-M000077
 である。
　式（１８）において、
Figure JPOXMLDOC01-appb-M000078
 はサーチウインドウの平均を表し、そして、
Figure JPOXMLDOC01-appb-M000079
 はマッチングにおける現ブロックの平均を表す。
　第３のステップでは、式（１３）と式（１７）を用いた全ピクセル
Figure JPOXMLDOC01-appb-M000080
 のために、第２のステップから動きベクトル
Figure JPOXMLDOC01-appb-M000081
 付近の一つのピクセルの中から動きベクトルを得る。
　第４のステップでは、以下の通りに均等水平補間を実行する。
Figure JPOXMLDOC01-appb-M000082
 　第５のステップでは、第４のステップで得られるピクセルを使っている不均等垂直補間を式（２０）により実行する。
Figure JPOXMLDOC01-appb-M000083
 　第４のステップと第５のステップは、高解像度イメージで全てのピクセルのために繰り返される。
　フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
　フルーエンシ理論に基づいて、フレーム間の相関函数の属する函数空間を正確に決定することにより、任意精度で動きベクトルを求めることができる。
　フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
　このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
　例えば、図３５の（Ａ）に示すように、フレームｋとフレームｋ＋１の間の任意時刻におけるフレームを生成する場合、均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、図３５の（Ｂ１），（Ｃ１）に示すように、挿入される補間フレームの画像は動きのある部分が劣化するが、上記高フレームレート化処理部４０のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、図３５の（Ｂ２），（Ｃ２）に示すように、動きのある部分が劣化することなく高フレームレート化することができた。
　この映像信号変換システム１００では、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化することにより、鮮明で円滑な動きの映像信号を得ることができる。

Claims (11)

  1. １．入力映像信号に含まれるブレやノイズを除去する前処理部として、真の画像ｆ（ｘ，ｙ）を入力し劣化画像を出力するぼけ函数Ｈ（ｘ，ｙ）の出力にノイズｎ（ｘ，ｙ）を付加することにより得られる観測画像ｇ（ｘ，ｙ）を出力する入力画像観測モデルを具備し、入力映像信号と上記観測画像が一致するように、ぼけ函数Ｈ（ｘ，ｙ）の再帰的最適化を行って、前記入力映像信号から真の入力映像信号を抽出する逆フィルタを備えた前処理部と、
    　上記前処理部によりノイズ除去処理が施された真の入力映像信号について、フルーエンシ理論に基づいて対応点推定を行い、画像の動き情報を函数化して表現するとともに、上記真の入力映像信号について、信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現し、上記函数化して表現された画像の動き情報と、上記函数化して表現された信号空間毎の画像情報を所定の形式で記述して、上記入力映像信号を圧縮符号化する符号化処理部と
    　上記符号化処理部により圧縮符号化された映像信号を高フレームレート化する高フレームレート化処理部と、
    　を備える映像信号変換システム。
  2. ２．上記符号化処理部は、
    　上記前処理部によりノイズ除去処理が施された入力映像信号について、フルーエンシ理論に基づいて対応点推定を行う対応点推定部と、この対応点推定部による対応点推定の結果に基づいて画像の動き情報を函数化して表現する第１の函数化処理部と、
    　上記入力映像信号について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現する第２の函数化処理部と、
    　上記第１の函数化処理部により函数化して表現された画像の動き情報と、上記第２の函数化処理部により函数化して表現された信号空間毎の画像情報を所定の形式で記述して、上記入力映像信号を圧縮符号化する圧縮符号化処理部と
    　を備えることを特徴とする請求の範囲第１項記載の映像信号変換システム。
  3. ３．上記対応点推定部は、フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とからなる
    　ことを特徴する請求の範囲第２項記載の映像信号変換システム。
  4. ４．上記第２の函数化処理部は、上記前処理部によりノイズ除去処理が施された映像信号について、フルーエンシ理論に基づいて信号空間を選択する領域自動分類処理部と、この領域自動分類処理部により選択した信号空間毎に画像情報を函数化して表現する函数化処理部からなり、
    　上記函数化処理部は、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の濃淡を面函数で近似して表現し濃淡情報を函数化する濃淡函数化処理部と、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の輪郭線函数で近似して表現し輪郭情報を函数化する輪郭線函数化処理部とを備える
    　ことを特徴する請求の範囲第２項又は請求項第３項のいずれか１項に記載の映像信号変換システム。
  5. ５．上記濃淡函数化処理部は、上記領域自動分類処理部により選択された多項式表現可能な区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）の画像情報について、それぞれフルーエンシ函数を用いて濃淡情報を函数化する
    　ことを特徴する請求の範囲第４項記載の映像信号変換システム。
  6. ６．上記輪郭線函数化処理部は、上記領域自動分類処理部により選択された画像情報について、区分的直線、区分的２次曲線、区分的円弧を抽出する分類する輪郭自動分類処理部と、上記輪郭自動分類処理部により分類された区分的直線、区分的２次曲線、区分的円弧をそれぞれフルーエンシ函数を用いて近似することにより、輪郭情報を函数化する
    　ことを特徴する請求の範囲第４項記載の映像信号変換システム。
  7. ７．上記高フレーム化処理部は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各対応点の階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点近傍の画素点の階調値を生成する第３の階調値生成処理部とを備える
    　ことを特徴する請求の範囲第１項乃至第３項のいずれか１項に記載の映像信号変換システム。
  8. ８．上記高フレーム化処理部は、上記符号化処理部により圧縮符号化された映像信号について、函数表現された画像の動き情報及び画像情報により、画像の大きさを所定の大きさに拡大又は縮小するサイズ変換処理とともに高フレームレート化処理を行う
    　ことを特徴する請求の範囲第１項乃至第３項のいずれか１項に記載の映像信号変換システム。
  9. ９．上記高フレーム化処理部は、上記符号化処理部により圧縮符号化された画像情報を入力とし、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似処理手段と、上記第１の函数近似処理手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理手段と、上記対応点推定処理手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似処理手段と、上記第２の函数近似処理手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似処理手段とを備える
    　ことを特徴する請求の範囲第１項乃至第３項のいずれか１項に記載の映像信号変換システム。
  10. １０．上記前処理部における逆フィルタは、観測画像ｇ（ｘ，ｙ）と劣化モデルのぼけ函数Ｈ（ｘ，ｙ）について、各特異値分解（SVD:singular value decomposition）の結果から、ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）を代表してＨｆとして表し、システムの方程式を
    Figure JPOXMLDOC01-appb-M000001
     とし、また、
    Figure JPOXMLDOC01-appb-M000002
     （ここで、
    Figure JPOXMLDOC01-appb-M000003
     は、クロネッカー積演算子を表し、
    Figure JPOXMLDOC01-appb-M000004
     は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。）
    としてｆを近似して、目的とする新たな画像ｇＥを
    Figure JPOXMLDOC01-appb-M000005
     （ここで、βとγは制御パラメータであり、ＣＥＰとＣＥＮはそれぞれエッジ保存とエッジ強調の演算子である。）
    Figure JPOXMLDOC01-appb-M000006
     として算出し、算出した新たな画像ｇＫＰＡについて、
    Figure JPOXMLDOC01-appb-M000007
     なる最小化処理を行い、得られたｆＫについて、テスト条件を満たすか否かを判定し、テスト条件を満たしていない場合に上記劣化モデルのぼけ函数ＨＫについて、
    Figure JPOXMLDOC01-appb-M000008
     なる最小化処理を行い、得られたぼけ函数ぼけ函数ＨＫ＋１について、
    Figure JPOXMLDOC01-appb-M000009
     上記劣化モデルのぼけ函数Ｈを
    Figure JPOXMLDOC01-appb-M000010
     として推定する処理を、新たな画像ｇＫＰＡについての最小化処理により得られるｆＫがテスト条件を満たすまで繰り返し行う学習処理により得られたフィルタ特性を有する
    　ことを特徴する請求の範囲第１項乃至第３項のいずれか１項に記載の映像信号変換システム。
  11. １１．上記学習処理では、算出した新たな画像ｇＫＰＡについての最小化処理により得られたｆＫについて、
    Figure JPOXMLDOC01-appb-M000011
     （ここで、ｋは繰り返し番号であり、ε，ｃは、それぞれ判定の閾値である。）
    なるテスト条件を満たすか否かを判定する
    　ことを特徴する請求の範囲第１０項記載の映像信号変換システム。
PCT/JP2009/062949 2008-09-04 2009-07-17 映像信号変換システム WO2010026839A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/061,931 US20110188583A1 (en) 2008-09-04 2009-07-17 Picture signal conversion system
EP09811368.1A EP2330817B1 (en) 2008-09-04 2009-07-17 Video signal converting system
CN200980141504.2A CN102187664B (zh) 2008-09-04 2009-07-17 影像信号变换系统

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2008-227630 2008-09-04
JP2008-227629 2008-09-04
JP2008227630A JP5042172B2 (ja) 2008-09-04 2008-09-04 動画処理装置及び動画処理方法
JP2008-227628 2008-09-04
JP2008227629A JP5042171B2 (ja) 2008-09-04 2008-09-04 フィルタリング処理装置及びフィルタリング処理方法
JP2008227628A JP5081109B2 (ja) 2008-09-04 2008-09-04 映像信号変換システム

Publications (1)

Publication Number Publication Date
WO2010026839A1 true WO2010026839A1 (ja) 2010-03-11

Family

ID=41797012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/062949 WO2010026839A1 (ja) 2008-09-04 2009-07-17 映像信号変換システム

Country Status (4)

Country Link
US (1) US20110188583A1 (ja)
EP (1) EP2330817B1 (ja)
CN (1) CN102187664B (ja)
WO (1) WO2010026839A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014523708A (ja) 2011-07-01 2014-09-11 モトローラ モビリティ エルエルシー 動きベクトル予測設計の簡易化
KR101616010B1 (ko) * 2011-11-04 2016-05-17 구글 테크놀로지 홀딩스 엘엘씨 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9123145B2 (en) * 2012-06-15 2015-09-01 Disney Enterprises, Inc. Temporal noise control for sketchy animation
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
CN103501418A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像缩放拼接方法、系统以及图像缩放拼接控制装置
JP6344934B2 (ja) * 2014-03-04 2018-06-20 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
CN103873879A (zh) * 2014-03-18 2014-06-18 中山大学深圳研究院 一种基于双重奇异值分解的视频图像压缩方法
EP3257039A1 (en) * 2015-02-11 2017-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for emulating continuously varying frame rates
CN107533755B (zh) * 2015-04-14 2021-10-08 皇家飞利浦有限公司 用于改进医学图像质量的设备和方法
CN107742521B (zh) * 2016-08-10 2021-08-13 华为技术有限公司 多声道信号的编码方法和编码器
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
US10635984B2 (en) * 2018-07-23 2020-04-28 Falkonry Inc. System and method for the assessment of condition in complex operational systems based on multi-level pattern recognition
CN109698977B (zh) * 2019-01-23 2022-04-05 深圳大普微电子科技有限公司 视频图像的还原方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246992A (ja) * 1991-01-31 1992-09-02 Sony Corp 画像変換装置
JPH0884274A (ja) 1994-09-09 1996-03-26 Clarion Co Ltd 映像ノイズ除去回路
JPH09163216A (ja) 1995-11-15 1997-06-20 Samsung Electron Co Ltd 高解像度の電子式映像拡大装置及びその方法
JPH1168515A (ja) * 1997-08-19 1999-03-09 Kazuo Toraichi データ補間方法
JPH1169170A (ja) * 1997-08-19 1999-03-09 Kazuo Toraichi 画像通信システム
JPH11353472A (ja) 1998-06-10 1999-12-24 Fluency Kenkyusho:Kk 画像処理装置
JP2000004363A (ja) * 1998-06-17 2000-01-07 Olympus Optical Co Ltd 画像復元方法
JP2000308021A (ja) 1999-04-20 2000-11-02 Niigata Seimitsu Kk 画像処理回路
JP2002199400A (ja) * 2000-12-22 2002-07-12 Victor Co Of Japan Ltd 動画像表示システム、フレーム間補間方法及び背景動画像作成方法
JP3732978B2 (ja) * 1999-08-23 2006-01-11 ペンタックス株式会社 画像圧縮および伸張装置とその方法
JP2007134886A (ja) 2005-11-09 2007-05-31 Nec Corp ビデオカメラシステムおよび撮像ノイズ除去方法
JP2008004984A (ja) 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体
JP2008099281A (ja) * 2006-10-12 2008-04-24 Thomson Licensing 動き補償画像の補間方法、及びその方法を実現する装置
JP2008227628A (ja) 2007-03-08 2008-09-25 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像形成装置
JP2008227630A (ja) 2007-03-08 2008-09-25 Sharp Corp 放送受信システム及び受像機
JP2008227629A (ja) 2007-03-08 2008-09-25 Sharp Corp 放送受信装置及び放送録画装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69826146D1 (de) * 1997-12-05 2004-10-14 Force Technology Corp Kontinuierliche Gradationskomprimierung und -entkomprimierung von Bilddaten oder akustischen Daten mittels Approximation durch Polynome
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP3709106B2 (ja) * 1999-09-10 2005-10-19 ペンタックス株式会社 画像圧縮および伸張装置
WO2001045036A1 (en) * 1999-12-14 2001-06-21 Dynapel Systems, Inc. Slow motion system
US7561752B2 (en) * 2001-05-10 2009-07-14 Panasonic Corporation Image processing apparatus
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4053021B2 (ja) * 2004-05-12 2008-02-27 三洋電機株式会社 画像拡大装置、及びプログラム
EP1765020A4 (en) * 2004-06-14 2010-10-06 Jbf Partners Inc METHOD FOR ENCODING MOVING IMAGES AND METHOD FOR DECODING MOVING IMAGES
BRPI0513536A (pt) * 2004-07-20 2008-05-06 Qualcomm Inc método e equipamento para conversão ascendente de taxa de quadro com múltiplos quadros de referência e tamanhos de blocos variáveis
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246992A (ja) * 1991-01-31 1992-09-02 Sony Corp 画像変換装置
JPH0884274A (ja) 1994-09-09 1996-03-26 Clarion Co Ltd 映像ノイズ除去回路
JPH09163216A (ja) 1995-11-15 1997-06-20 Samsung Electron Co Ltd 高解像度の電子式映像拡大装置及びその方法
JPH1168515A (ja) * 1997-08-19 1999-03-09 Kazuo Toraichi データ補間方法
JPH1169170A (ja) * 1997-08-19 1999-03-09 Kazuo Toraichi 画像通信システム
JPH11353472A (ja) 1998-06-10 1999-12-24 Fluency Kenkyusho:Kk 画像処理装置
JP2000004363A (ja) * 1998-06-17 2000-01-07 Olympus Optical Co Ltd 画像復元方法
JP2000308021A (ja) 1999-04-20 2000-11-02 Niigata Seimitsu Kk 画像処理回路
JP3732978B2 (ja) * 1999-08-23 2006-01-11 ペンタックス株式会社 画像圧縮および伸張装置とその方法
JP2002199400A (ja) * 2000-12-22 2002-07-12 Victor Co Of Japan Ltd 動画像表示システム、フレーム間補間方法及び背景動画像作成方法
JP2007134886A (ja) 2005-11-09 2007-05-31 Nec Corp ビデオカメラシステムおよび撮像ノイズ除去方法
JP2008004984A (ja) 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体
JP2008099281A (ja) * 2006-10-12 2008-04-24 Thomson Licensing 動き補償画像の補間方法、及びその方法を実現する装置
JP2008227628A (ja) 2007-03-08 2008-09-25 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像形成装置
JP2008227630A (ja) 2007-03-08 2008-09-25 Sharp Corp 放送受信システム及び受像機
JP2008227629A (ja) 2007-03-08 2008-09-25 Sharp Corp 放送受信装置及び放送録画装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAZUO TORAICHI ET AL.: "Fluency Kaiseki no Gazo Shori eno Oyo -Atarashii Digital Gazo Henkan Gijutsu", JAPAN PRINTER, vol. 84, no. 6, 15 June 2001 (2001-06-15), pages 23 - 28, XP008144502 *
KOICHI MORI ET AL.: "Gazo Rinkaku no Kansu Kinji o Mochiita Ko Seido Bunsho System", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 28, no. 5, 25 October 1999 (1999-10-25), pages 627 - 635, XP008144497 *
See also references of EP2330817A4

Also Published As

Publication number Publication date
EP2330817B1 (en) 2016-08-31
CN102187664B (zh) 2014-08-20
US20110188583A1 (en) 2011-08-04
EP2330817A4 (en) 2013-06-26
CN102187664A (zh) 2011-09-14
EP2330817A1 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
WO2010026839A1 (ja) 映像信号変換システム
Song et al. Video super-resolution algorithm using bi-directional overlapped block motion compensation and on-the-fly dictionary training
WO2010026838A1 (ja) フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム
US7420487B2 (en) Denoising video
CN102714726B (zh) 使用元数据的用于时间缩放的边缘增强
JP6352173B2 (ja) プリプロセッサ方法および装置
US20100220939A1 (en) Method and Apparatus for Edge-Based Spatio-Temporal Filtering
JP2008518318A (ja) ボケた画像部分の画質を向上する方法
US20030206591A1 (en) System for and method of sharpness enhancement for coded digital video
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
JP3674186B2 (ja) 画像情報変換装置および方法
JP4931884B2 (ja) フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム
KR101098300B1 (ko) 공간 신호 변환
JP5081109B2 (ja) 映像信号変換システム
JP5042171B2 (ja) フィルタリング処理装置及びフィルタリング処理方法
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP5042172B2 (ja) 動画処理装置及び動画処理方法
JP4743449B2 (ja) 対応点推定装置、対応点推定方法及び対応点推定プログラム
Lagendijk et al. Video enhancement and restoration
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
EP2460141B1 (en) Method of filtering a signal and of obtaining filter coefficients
Van Roosmalen et al. Restoration and storage of film and video archive material
JP2001285882A (ja) ノイズ低減装置および方法
JP3922286B2 (ja) 係数学習装置および方法
Yang Video noise reduction based on motion complexity classification

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980141504.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811368

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009811368

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009811368

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13061931

Country of ref document: US