JP5140637B2 - 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム - Google Patents
時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム Download PDFInfo
- Publication number
- JP5140637B2 JP5140637B2 JP2009147866A JP2009147866A JP5140637B2 JP 5140637 B2 JP5140637 B2 JP 5140637B2 JP 2009147866 A JP2009147866 A JP 2009147866A JP 2009147866 A JP2009147866 A JP 2009147866A JP 5140637 B2 JP5140637 B2 JP 5140637B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- spatial
- upsampling
- horizontal
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 48
- 238000000354 decomposition reaction Methods 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
図1は、本発明による一実施例の符号化装置を示している。本実施例の符号化装置1は、時間ダウンサンプリング処理器2と空間ダウンサンプリング処理器3と、符号化器4とを備える。時間ダウンサンプリング処理器2は、図2に示すように、動きベクトル検出部21と、フレーム間引き部22とを有する。また、空間ダウンサンプリング処理器3は、図3に示すように、2次元1階離散Wavelet分解処理部31と、帯域制限処理部32と、2次元1階離散Wavelet再構成部33と、水平・垂直1:2画素間引処理部34とを有する。本発明による一実施例の符号化装置1の各処理に用いるデータは、符号化装置1が備える記憶部(図示せず)に適宜格納することができる。
図4は、本発明による一実施例の復号装置を示す図である。本実施例の復号装置5は、復号器6と、時間アップサンプリング処理器7と、空間アップサンプリング処理器8とを備える。時間アップリング処理器7は、図5に示すように動きベクトル検出部71と、フレーム内挿部72とを有する。また、空間アップサンプリング処理器8は、図6に示すように、2次元2階離散Wavelet分解処理部81と、高周波成分推定処理部82と、2次元1階離散Wavelet再構成部83とを有する。本発明による一実施例の復号装置5の各処理に用いるデータは、復号装置5が備える記憶部(図示せず)に適宜格納することができる。
ステップS1101にて、本実施例の符号化装置1の動きベクトル検出部21は、当該記憶部から処理対象の動画像の時刻tにおけるフレーム画像F(t)及び時刻t+1におけるフレーム画像F(t+1)を読み出す。
ステップS1201にて、本実施例の復号装置5は、復号器6により、本実施例の符号化装置1によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号する。
2 時間ダウンサンプリング処理器
3 空間ダウンサンプリング処理器
4 符号化器
5 復号装置
6 復号器
7 時間アップサンプリング処理器
8 空間アップサンプリング処理器
21 動きベクトル検出部
22 フレーム間引き部
31 2次元1階離散Wavelet分解処理部
32 帯域制限処理部
33 2次元1階離散Wavelet再構成部
34 水平・垂直1:2画素間引処理部
71 動きベクトル検出部
72 フレーム内挿部
81 2次元2階離散Wavelet分解処理部
82 高周波成分推定処理部
83 2次元1階離散Wavelet再構成部
Claims (10)
- 複数のフレーム画像からなるフレーム画像列を時間及び空間領域においてダウンサンプリングする時空間ダウンサンプリング処理装置であって、
処理対象のフレーム画像列について動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルに基づいて前記フレーム画像列を間引くとともに、当該間引きに関する補助情報を出力するフレーム間引き部と、
前記間引かれたフレーム画像列の各々のフレーム画像について、水平方向及び垂直方向に2次元1階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の要素の平均値を空間アップサンプリング時の高空間周波成分の推定に用いる倍数情報として算出する2次元1階離散Wavelet分解処理部と、
前記水平及び垂直方向における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、
前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて1階離散ウェーブレット再構成を施す2次元1階離散Wavelet再構成部と、
再構成した画像データについて水平及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部と、
を備えることを特徴とする時空間ダウンサンプリング処理装置。 - 前記フレーム間引き部は、前記動きベクトル検出部により検出された所定数のフレーム分の前記動きベクトルを読み出して該動きベクトルの大きさを計算し、該動きベクトルの大きさが小さいものから順に間引くことを特徴とする、請求項1に記載の時空間ダウンサンプリング処理装置。
- 前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、水平方向に1次元1階離散ウェーブレット分解を行い、高周波成分側を0に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、垂直方向に1次元1階離散ウェーブレット分解を行い、高周波成分側を0に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを0に変換することを特徴とする、請求項1に記載の時空間ダウンサンプリング処理装置。
- 請求項1〜3のいずれかに記載の時空間ダウンサンプリング処理装置と、
該時空間ダウンサンプリング処理装置から出力される間引き縮小画像信号を任意の圧縮符号化方式により圧縮符号化して符号化データを生成する符号化器と、
を備えることを特徴とする、符号化装置。 - 請求項1〜3のいずれかに記載の時空間ダウンサンプリング処理装置によって生成される間引き縮小画像信号からなる画像データについて、時間及び空間領域においてアップサンプリングを施す時空間アップサンプリング処理装置であって、
復号した間引かれたフレーム画像列について動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルに基づいてフレーム画像を内挿して時間アップサンプリングを施すフレーム内挿部と、
該画像データについて2次元2階ウェーブレット変換を施す2次元2階離散Wavelet分解処理部と、
前記2次元2階離散Wavelet分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いて空間アップサンプリングを施すとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、
前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて1階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する2次元1階離散Wavelet再構成部と、
を備えることを特徴とする時空間アップサンプリング処理装置。 - 前記フレーム内挿部が、間引かれたフレーム画像を線形補間法により内挿することにより時間アップサンプリングを施すことを特徴とする、請求項5に記載の時空間アップサンプリング処理装置。
- 前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、
水平高周波・垂直低周波成分の推定の場合には、2階水平高周波・垂直低周波成分及び1階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
垂直高周波・水平低周波成分の推定の場合には、2階垂直高周波・水平低周波成分及び1階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
垂直高周波・水平高周波成分の推定の場合には、2階垂直高周波・水平高周波成分及び1階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする、請求項5に記載の時空間アップサンプリング処理装置。 - 請求項5〜7のいずれかに記載の時空間アップサンプリング処理装置と、
請求項4に記載の符号化装置によって符号された符号化データを復号する復号器と、
を備えることを特徴とする、復号装置。 - フレーム画像を時間及び空間領域においてダウンサンプリングする時空間ダウンサンプリング処理装置として構成するコンピュータに、
処理対象のフレーム画像列について動きベクトルを検出するステップと、
前記動きベクトルに基づいて前記フレーム画像列を間引くとともに、当該間引きに関する補助情報を出力するステップと、
前記間引かれたフレーム画像列の各々のフレーム画像について、水平方向及び垂直方向に2次元1階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の要素の平均値を空間アップサンプリング時の高空間周波成分の推定に用いる倍数情報として算出するステップと、
前記水平及び垂直方向における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、
前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて1階離散ウェーブレット再構成を施すステップと、
再構成した画像データについて水平及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップと、
を実行させることを特徴とするプログラム。 - 請求項1〜3のいずれかに記載の時空間ダウンサンプリング処理装置によって生成される間引き縮小画像信号からなる画像データについて、時間及び空間領域においてアップサンプリングを施す時空間アップサンプリング処理装置として構成するコンピュータに、
復号した間引かれたフレーム画像列について動きベクトルを検出するステップと、
前記動きベクトルに基づいてフレーム画像を内挿して時間アップサンプリングを施すステップと、
該画像データについて2次元2階ウェーブレット変換を施すステップと、
前記2次元2階離散Wavelet分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いて空間アップサンプリングを施すとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、
前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて1階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元するステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009147866A JP5140637B2 (ja) | 2009-06-22 | 2009-06-22 | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009147866A JP5140637B2 (ja) | 2009-06-22 | 2009-06-22 | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011004343A JP2011004343A (ja) | 2011-01-06 |
JP5140637B2 true JP5140637B2 (ja) | 2013-02-06 |
Family
ID=43561878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009147866A Expired - Fee Related JP5140637B2 (ja) | 2009-06-22 | 2009-06-22 | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5140637B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6316640B2 (ja) * | 2014-04-18 | 2018-04-25 | 日本放送協会 | 映像記録装置、映像再生装置及び映像記録プログラム |
JP6312934B2 (ja) * | 2015-06-16 | 2018-04-18 | 三菱電機株式会社 | 画像符号化方式変換装置及び画像符号化方式変換方法 |
US20240121395A1 (en) * | 2022-10-10 | 2024-04-11 | Alibaba Damo (Hangzhou) Technology Co., Ltd. | Methods and non-transitory computer readable storage medium for pre-analysis based resampling compression for machine vision |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2639323B2 (ja) * | 1993-11-29 | 1997-08-13 | 日本電気株式会社 | 画像拡大装置 |
JPH07336651A (ja) * | 1994-06-13 | 1995-12-22 | Canon Inc | 映像処理装置 |
JP4244094B2 (ja) * | 1999-02-17 | 2009-03-25 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
JP4245576B2 (ja) * | 2005-03-18 | 2009-03-25 | ティーオーエー株式会社 | 画像圧縮伸張法、画像圧縮装置及び画像伸張装置 |
WO2007012659A1 (fr) * | 2005-07-28 | 2007-02-01 | Thomson Licensing | Dispositif de generation d'une image interpolee |
-
2009
- 2009-06-22 JP JP2009147866A patent/JP5140637B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011004343A (ja) | 2011-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5140638B2 (ja) | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
JP5590574B2 (ja) | 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算 | |
JP5529293B2 (ja) | メタデータによる時間スケーリングのためのエッジエンハンスメントのための方法 | |
JP3385077B2 (ja) | 動きベクトル検出装置 | |
JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
KR102062764B1 (ko) | 모바일 단말 화면을 위한 3k해상도를 갖는 디스플레이 영상 생성 방법 및 장치 | |
US20140247890A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
KR101773279B1 (ko) | 업샘플링 및 신호 향상 | |
JP2000156858A (ja) | ダウンコンバ―ジョンシステム用アップサンプリングフィルタ | |
EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
EP1743298B1 (en) | Method of down-sampling data values | |
JP2005039837A (ja) | 映像雑音除去方法及び装置 | |
US20060067403A1 (en) | Information processing device and information processing method | |
JP5140637B2 (ja) | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
JP5717548B2 (ja) | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム | |
US20080170628A1 (en) | Video decoding method and apparatus having image scale-down function | |
KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
Muramatsu et al. | Invertible deinterlacing with sampling-density preservation: Theory and design | |
JP5894422B2 (ja) | 時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラム | |
JP2000032463A (ja) | 映像情報をサイズ変更する方法及び装置 | |
JPH0884336A (ja) | 画像信号伝送装置 | |
JP4373384B2 (ja) | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP2016076758A (ja) | 再生装置、符号化装置、および再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5140637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |