JP4670918B2 - フレーム補間装置及びフレーム補間方法 - Google Patents
フレーム補間装置及びフレーム補間方法 Download PDFInfo
- Publication number
- JP4670918B2 JP4670918B2 JP2008216641A JP2008216641A JP4670918B2 JP 4670918 B2 JP4670918 B2 JP 4670918B2 JP 2008216641 A JP2008216641 A JP 2008216641A JP 2008216641 A JP2008216641 A JP 2008216641A JP 4670918 B2 JP4670918 B2 JP 4670918B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- frame
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
Claims (9)
- 動画像信号の第1参照フレームと、該第1参照フレームよりも時間的に過去の第2参照フレームとを所定のブロック単位に分割するブロック分割部と、
前記ブロック分割部により分割された前記第1参照フレームのブロックと前記第2参照フレームのブロックとの相関に基づき、各ブロックの周辺の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部により検出された各ブロックの周辺の動きベクトルの統計量を求め、該統計量から少なくとも第1の動きベクトルと第2の動きベクトルをブロック毎に求める候補ベクトル抽出部と、
前記候補ベクトル抽出部により求めた前記第1の動きベクトルと前記第2の動きベクトルからブロック毎に第1の動きベクトル又は第2の動きベクトルを推定するブロックの動き推定部と、
前記第1参照フレームと前記第2参照フレームとの間に設ける補間フレームの生成画素に対して、前記補間フレームの生成画素の位置を通過するように前記第1の動きベクトルと前記第2の動きベクトルを平行移動し、該平行移動された第1の動きベクトル及び第2の動きベクトルの始点と終点の各々4ヶ所の局所領域を特定し、各局所領域において前記ブロックの動き推定部により推定された4つの動きベクトルと、第1の動きベクトル、第2の動きベクトルとを比較した結果に応じて生成画素の動きベクトルを推定する生成画素の動き推定部と、
生成画素の動き推定部により推定された前記動きベクトルを用いて前記生成画素に対して動き補償を行うフレーム補間部と
を備えるフレーム補間装置。 - 前記第1のベクトルは背景の動きを示して前記第2の動きベクトルは前景の動きを示す場合であって、
前記生成画素の動き推定部は、前記平行移動した前記第2の動きベクトルの終点の動きベクトルと前記第2の動きベクトルとが略等しく、かつ前記平行移動した前記第2の動きベクトルの始点の動きベクトルと前記第2の動きベクトルが略等しいと判定した場合、前記第2の動きベクトルに基づいて前記動き補償を行うための動きベクトルを求める
請求項1に記載のフレーム補間装置。 - 前記生成画素の動き推定部は、前記平行移動した前記第1の動きベクトルの終点の動きベクトルと前記第1の動きベクトルが略等しく、かつ前記平行移動した前記第1の動きベクトルの始点の動きベクトルと前記第1の動きベクトルが略等しいと判定した場合、前記第1の動きベクトルに基づいて前記動き補償を行うための動きベクトルを求める
請求項2に記載のフレーム補間装置。 - 前記生成画素の動き推定部は、前記平行移動した第2の動きベクトルの始点の動きベクトルと第1の動きベクトルが略等しいと判定した場合、前記第1の動きベクトルに基づいて、前記第2参照フレーム上の画素を引き寄せて前記動き補償を行うための動きベクトルを求める
請求項3に記載のフレーム補間装置。 - 前記生成画素の動き推定部は、前記平行移動した第2の動きベクトルの終点の動きベクトルと前記第1の動きベクトルが略等しいと判定した場合、前記第1の動きベクトルv1に基づいて、前記第1参照フレーム上の画素を引き寄せて前記動き補償を行うための動きベクトルを求める
請求項4に記載のフレーム補間装置。 - 前記動画像信号を第1の画像信号とし、該第1の画像信号の解像度を向上させた画像信号を第2の画像信号としたとき、
前記生成画素の動き推定部により特定された動きベクトルから、前記第2の画像信号における生成画素の位置の画素データが属するクラスを分類する第1のクラス分類部と、
前記第1のクラス分類部で分類されたクラス毎に予め求められ、前記第1の画像信号に対応した生徒信号と前記第2の画像信号に対応して高解像度の教師信号との誤差を最小にする係数データを保存する係数メモリと、
前記第2の画像信号における前記生成画素の位置の周辺に位置する画素データを前記第1の画像信号から選択する予測タップ選択部と、
前記係数メモリに保存された係数データおよび前記データ選択手段で選択された画素データを演算して前記第2の画像信号における前記生成画素データを求める演算部と
をさらに備える請求項1に記載のフレーム補間装置。 - 前記第2の画像信号における前記生成画素の位置の周辺に位置する画素データを前記第1の画像信号から選択するクラスタップ選択部と、
前記クラスタップ選択部により選択された画素データのレベル分布から、前記第2の画像信号における生成画素の位置の画素データが属するクラスを検出する第2のクラス分類部とをさらに備え、
前記係数メモリには、前記第1のクラス分類部で分類されたクラスと前記第2のクラス分類部で分類されたクラスを一つにしたクラス毎に予め求められ、前記第1の画像信号に対応した生徒信号と前記第2の画像信号に対応して高解像度の教師信号との誤差を最小にする係数データを保存する
請求項6に記載のフレーム補間装置。 - 前記第1の画像信号の空間方向に画素を補間する位相シフトフィルタをさらに備え、
前記位相シフトフィルタは、前記第1の画像信号の空間方向に画素を補間した補間画像信号を生成して、前記予測タップ選択部及び前記クラスタップ選択部に前記補間画像信号を出力する
請求項7に記載のフレーム補間装置。 - 動画像の第1参照フレームと、該第1参照フレームと時間方向に異なる第2参照フレームとを所定のブロック単位に分割するステップと、
分割された前記第1参照フレームのブロックと前記第2参照フレームのブロックとの相関に基づき、各ブロックの周辺の動きベクトルを検出するステップと、
検出された各ブロックの周辺の動きベクトルの統計量を求め、該統計量から少なくとも第1の動きベクトルと第2の動きベクトルをブロック毎に求めるステップと、
求めた前記第1の動きベクトルと前記第2の動きベクトルからブロック毎に第1の動きベクトル又は第2の動きベクトルを推定するステップと、
前記第1参照フレームと前記第2参照フレームとの間に設ける補間フレームの生成画素に対して、前記補間フレームの生成画素の位置を通過するように前記第1の動きベクトルと前記第2の動きベクトルを平行移動するステップと、
平行移動された第1の動きベクトル及び第2の動きベクトルの始点と終点の各々4ヶ所の局所領域を特定し、各局所領域において推定された4つの動きベクトルと、第1の動きベクトル、第2の動きベクトルとを比較した結果に応じて生成画素の動きベクトルを推定するステップと、
推定された前記動きベクトルを用いて前記生成画素に対して動き補償を行うステップと
を有するフレーム補間方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008216641A JP4670918B2 (ja) | 2008-08-26 | 2008-08-26 | フレーム補間装置及びフレーム補間方法 |
US12/539,188 US8335258B2 (en) | 2008-08-26 | 2009-08-11 | Frame interpolation device and frame interpolation method |
CN2009101666803A CN101662631B (zh) | 2008-08-26 | 2009-08-26 | 帧内插装置和帧内插方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008216641A JP4670918B2 (ja) | 2008-08-26 | 2008-08-26 | フレーム補間装置及びフレーム補間方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010056629A JP2010056629A (ja) | 2010-03-11 |
JP4670918B2 true JP4670918B2 (ja) | 2011-04-13 |
Family
ID=41725393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008216641A Expired - Fee Related JP4670918B2 (ja) | 2008-08-26 | 2008-08-26 | フレーム補間装置及びフレーム補間方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8335258B2 (ja) |
JP (1) | JP4670918B2 (ja) |
CN (1) | CN101662631B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4915341B2 (ja) * | 2007-12-20 | 2012-04-11 | ソニー株式会社 | 学習装置および方法、画像処理装置および方法、並びにプログラム |
JP2009212969A (ja) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5200788B2 (ja) * | 2008-09-09 | 2013-06-05 | 富士通株式会社 | 映像信号処理装置、映像信号処理方法および映像信号処理プログラム |
JP5287509B2 (ja) * | 2009-05-28 | 2013-09-11 | 富士通株式会社 | フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム |
TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
JP4991890B2 (ja) * | 2010-03-01 | 2012-08-01 | 株式会社東芝 | 補間フレーム生成装置及び方法 |
JP5623102B2 (ja) | 2010-03-12 | 2014-11-12 | 株式会社フジモト・コーポレーション | セレギリン含有貼付製剤 |
WO2012056686A1 (ja) | 2010-10-27 | 2012-05-03 | パナソニック株式会社 | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 |
TWI466550B (zh) * | 2011-02-23 | 2014-12-21 | Novatek Microelectronics Corp | 多媒體裝置及其移動偵測方法 |
TW201306568A (zh) * | 2011-07-20 | 2013-02-01 | Novatek Microelectronics Corp | 移動估測方法 |
ES2572577B1 (es) | 2011-09-23 | 2017-06-13 | Kt Corporation | Método para inducir un bloque candidato de fusión y dispositivo que usa el mismo |
TW201322777A (zh) * | 2011-11-25 | 2013-06-01 | Novatek Microelectronics Corp | 偵測背景移動向量的方法 |
CN102724504B (zh) * | 2012-06-14 | 2015-01-07 | 华为技术有限公司 | 视频编码滤波方法及装置 |
GB2521491B (en) * | 2014-06-17 | 2016-10-19 | Imagination Tech Ltd | Motion estimation |
JP2016053849A (ja) * | 2014-09-03 | 2016-04-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに固体撮像装置 |
JP6412819B2 (ja) | 2015-03-30 | 2018-10-24 | 株式会社東芝 | 画像処理装置、画像処理方法、および画像処理プログラム |
CN110447052B (zh) * | 2017-04-05 | 2023-03-14 | 奥林巴斯株式会社 | 相关值运算装置 |
CN111641829B (zh) * | 2020-05-16 | 2022-07-22 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007504700A (ja) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 閉塞検出に基づく画素の時間的補間 |
JP2007506333A (ja) * | 2003-09-17 | 2007-03-15 | コニンクリユケ フィリップス エレクトロニクス エヌ.ブイ. | 動きベクトルフィールド再タイミング |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5808685A (en) * | 1994-12-30 | 1998-09-15 | Daewoo Electronics Co., Ltd. | Block matching motion estimation apparatus employing a weight function |
JP3873017B2 (ja) | 2002-09-30 | 2007-01-24 | 株式会社東芝 | フレーム補間方法及び装置 |
-
2008
- 2008-08-26 JP JP2008216641A patent/JP4670918B2/ja not_active Expired - Fee Related
-
2009
- 2009-08-11 US US12/539,188 patent/US8335258B2/en not_active Expired - Fee Related
- 2009-08-26 CN CN2009101666803A patent/CN101662631B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007504700A (ja) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 閉塞検出に基づく画素の時間的補間 |
JP2007506333A (ja) * | 2003-09-17 | 2007-03-15 | コニンクリユケ フィリップス エレクトロニクス エヌ.ブイ. | 動きベクトルフィールド再タイミング |
Also Published As
Publication number | Publication date |
---|---|
JP2010056629A (ja) | 2010-03-11 |
CN101662631B (zh) | 2011-12-21 |
US8335258B2 (en) | 2012-12-18 |
US20100054336A1 (en) | 2010-03-04 |
CN101662631A (zh) | 2010-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4670918B2 (ja) | フレーム補間装置及びフレーム補間方法 | |
CN1265633C (zh) | 去隔行装置和方法 | |
US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
US7042512B2 (en) | Apparatus and method for adaptive motion compensated de-interlacing of video data | |
US7720150B2 (en) | Pixel data selection device for motion compensated interpolation and method thereof | |
US8749703B2 (en) | Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts | |
EP1885129A2 (en) | Interpolation frame generating method and interpolation frame forming apparatus | |
US20020036705A1 (en) | Format converter using bi-directional motion vector and method thereof | |
US8817878B2 (en) | Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach | |
EP1223748A2 (en) | Motion detection in an interlaced video signal | |
US20040101047A1 (en) | Motion estimation apparatus, method, and machine-readable medium capable of detecting scrolling text and graphic data | |
JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
US20100328530A1 (en) | Video display apparatus | |
JP2004518341A (ja) | 単一のテレビジョン信号フィールド中で並行して生ずるフィルム及びビデオオブジェクトの認識 | |
JP2006324979A (ja) | 画像静止領域判定装置 | |
JP5216984B2 (ja) | 動き情報取得装置及び画像処理装置 | |
KR20060047635A (ko) | 필름 모드 표시 결정 방법, 움직임 보상의 화상 처리 수행방법, 필름 모드 검출기 및 움직임 보상기 | |
EP1691545B1 (en) | Apparatus for interpolating scanning lines | |
JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
KR20020068065A (ko) | 비디오 스캔 속도 컨버전을 위한 움직임 보상 업컨버전 | |
JP4341347B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
US8244072B2 (en) | System and method for determining color value of pixel | |
EP1689192A2 (en) | Method and device for scanning in a data frame | |
KR20200079739A (ko) | 영상 처리 방법 및 이를 이용한 표시 장치 | |
JP2008124868A (ja) | テロップ検出装置及び方法、並びに画像表示装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090916 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110103 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |