JP4824703B2 - 2次元フィルタ演算装置及び方法 - Google Patents
2次元フィルタ演算装置及び方法 Download PDFInfo
- Publication number
- JP4824703B2 JP4824703B2 JP2007551015A JP2007551015A JP4824703B2 JP 4824703 B2 JP4824703 B2 JP 4824703B2 JP 2007551015 A JP2007551015 A JP 2007551015A JP 2007551015 A JP2007551015 A JP 2007551015A JP 4824703 B2 JP4824703 B2 JP 4824703B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- pixel
- processing
- processing unit
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 54
- 238000004364 calculation method Methods 0.000 claims description 78
- 230000015654 memory Effects 0.000 claims description 74
- 230000001186 cumulative effect Effects 0.000 claims description 28
- 238000003672 processing method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 43
- 239000000872 buffer Substances 0.000 description 35
- 239000004065 semiconductor Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明の実施の形態1は、例として、H.264|MPEG−4 AVCに準拠した動き補償予測演算における2次元フィルタ処理を扱う。
図1は、本発明の実施の形態1における整数画素と1/2画素の配置図である。図1において、大きい白丸で示される整数画素は、水平方向に整数画素F00、F01、F02・・・F08の順に並んでおり、垂直方向に整数画素F00、F10、F20・・・F80の順に並んでいる。
図2は、本発明の実施の形態1における1/2画素の配置図である。図2は、符号を見やすくするために、小さい白丸の1/2画素(1/2画素H20〜H58)とそれらの間にある整数画素の配置を示している。
変数「X0」に整数画素F00の画素値を代入し、
変数「X1」に整数画素F10の画素値を代入し、
変数「X2」に整数画素F20の画素値を代入し、
変数「X3」に整数画素F30の画素値を代入し、
変数「X4」に整数画素F40の画素値を代入し、
変数「X5」に整数画素F50の画素値を代入して、生成される。
変数「X0」に1/2画素H20の画素値を代入し、
変数「X1」に1/2画素H21の画素値を代入し、
変数「X2」に1/2画素H22の画素値を代入し、
変数「X3」に1/2画素H23の画素値を代入し、
変数「X4」に1/2画素H24の画素値を代入し、
変数「X5」に1/2画素H25の画素値を代入して、生成される。
クロック4において、
PE10には、積和結果「a*X0+b*X1+c*X2+d*X3+e*X4」が保持され、
PE20には、積和結果「a*X1+b*X2+c*X3+d*X4」が保持され、
PE30には、積和結果「a*X2+b*X3+c*X4」が保持され、
PE40には、積和結果「a*X3+b*X4」が保持される。
PE10には、積和結果「a*X0+b*X1+c*X2+d*X3+e*X4+f*X5」が保持され、
PE20には、積和結果「a*X1+b*X2+c*X3+d*X4+e*X5」が保持され、
PE30には、積和結果「a*X2+b*X3+c*X4+d*X5」が保持され、
PE40には、積和結果「a*X3+b*X4+c*X5」が保持される。
画素値X0〜X5として、1/2画素H20〜H25の画素値を選択して第2フィルタモジュール(#A)210に送り、
画素値X0〜X5として、1/2画素H21〜H26の画素値を選択して第2フィルタモジュール(#B)220に送り、
画素値X0〜X5として、1/2画素H22〜H27の画素値を選択して第2フィルタモジュール(#C)230に送り、
画素値X0〜X5として、1/2画素H23〜H28の画素値を選択して第2フィルタモジュール(#D)240に送る。
図10は、本発明の実施の形態2における2次元フィルタ演算装置のブロック図である。本形態の2次元フィルタ演算装置は、画像メモリ300、ラインメモリ400、垂直フィルタ処理部640、水平フィルタ処理部650、第1セレクタ610、第2セレクタ620、及び、第3セレクタ630を備える。
図13は、本発明の実施の形態3における半導体集積回路のブロック図である。
図14は、本発明の実施の形態4における半導体集積回路のブロック図である。図14において、図13と同様な構成要素については、同一の符号を付すことにより、説明を省略する。
図15は、本発明の実施の形態5における携帯電話システム900のブロック図である。
2a、2e、400 ラインメモリ
3、100、711 垂直フィルタ処理部
4、200、712 水平フィルタ処理部
5、6 レジスタ
10、20、30、40 プロセッサエレメント
11、214、215、216 乗算器
12、211、212、213、217、218 加算器
13、14、219、260、270、280 フリップフロップ
15、91 係数入力端子
16 係数出力端子
17 画素データ入力端子
18 画素データ出力端子
50、250 セレクタ
110 第1フィルタモジュール(#0)
120 第1フィルタモジュール(#1)
190 第1フィルタモジュール(#8)
210 第2フィルタモジュール(#A)
220 第2フィルタモジュール(#B)
230 第2フィルタモジュール(#C)
240 第2フィルタモジュール(#D)
500 バッファ
610 第1セレクタ
620 第2セレクタ
630 第3セレクタ
640 垂直フィルタ処理部
650 水平フィルタ処理部
700、800 半導体集積回路
710、810 2次元フィルタ演算部
720 CPU
730 符号化/復号部
740、908、911 メモリ
750 機能回路部
811 再構成フィルタ処理部
812 構成情報レジスタ
900 携帯電話システム
901 アンテナ
902 RF回路
903 スピーカ
904 マイク
905 ベースバンドLSI
906 キー
907 USB
909 カメラ
910 アプリケーションLSI
912 SDカード
913 LCDコントローラ
914 メインLCD
915 サブLCD
Claims (9)
- 被フィルタ画像データを格納する記憶部と、
前記記憶部に格納されている被フィルタ画像データに対して、第1のフィルタ演算を実行する第1フィルタ処理部と、
前記第1フィルタ処理部がフィルタ処理した画像データに対して、第2のフィルタ演算を実行する第2フィルタ処理部とを備え、
前記第1フィルタ処理部と前記第2フィルタ処理部とは、垂直方向フィルタ演算と水平方向フィルタ演算の内の互いに異なるフィルタ演算を実行し、
前記垂直方向フィルタ演算と前記水平方向フィルタ演算とは、互いに異なる並列処理によって実行され、
前記第1フィルタ処理部は、複数の第1フィルタモジュールを有し、
前記第2フィルタ処理部は、少なくとも1つの第2フィルタモジュールを有し、
前記複数の第1フィルタモジュールは、前記被フィルタ画像データに対して前記第1のフィルタ演算をそれぞれ実行し、前記第1フィルタ処理部は、複数の第1フィルタ結果を出力し、
前記少なくとも1つの第2フィルタモジュールは、前記複数の第1フィルタ結果の内の少なくとも一部を入力して、前記第2のフィルタ演算を実行し、前記第2フィルタ処理部は、少なくとも1つの第2フィルタ結果を出力し、
前記複数の第1フィルタモジュールのそれぞれは、
初段の累積加算部と少なくとも1つの後段の累積加算部が縦続接続された複数の累積加算部と、
前記複数の累積加算部のそれぞれの出力を順次選択して、出力する選択部とを有し、
前記初段の累積加算部には、所定のフィルタ係数が、1処理時間ごとに順次入力され、
前記少なくとも1つの後段の累積加算部には、それぞれの前段の累積加算部から、前記所定のフィルタ係数が、1処理時間ごとに順次転送され、
前記複数の累積加算部のそれぞれには、前記被フィルタ画像データの垂直または水平に並んだ画素の画素値が、前記記憶部から1処理時間ごとに順次入力され、
前記複数の累積加算部は、それぞれ、1処理時間ごとに前記画素値と前記所定のフィルタ係数との積和演算を行って、前記複数の第1フィルタ結果を出力する2次元フィルタ演算装置。 - 前記並列処理は、被フィルタ画像データに対して、並列に実行される順次演算処理と並列に実行される並列演算処理とを含む、請求項1記載の2次元フィルタ演算装置。
- 前記第1フィルタ処理部は、前記複数の第1フィルタモジュールを用いて、前記第1のフィルタ演算を並列に実行し、
前記第2フィルタ処理部が複数の第2フィルタモジュールを有する場合は、前記第2フィルタ処理部は、前記複数の第2フィルタモジュールを用いて、前記第2のフィルタ演算を並列に実行する、請求項1記載の2次元フィルタ演算装置。 - 前記少なくとも1つの第2フィルタモジュールは、
複数の加算部と、
複数の積算部とを有し、
前記複数の第1フィルタ結果の内の少なくとも一部と、所定の複数のフィルタ係数との積和演算を行い、前記少なくとも1つの第2フィルタ結果を出力する、請求項1記載の2次元フィルタ演算装置。 - 前記複数の第1フィルタモジュールは、ループ内パイプライン処理方式とループ内並列処理方式の内の一方の処理方式に従って、前記第1のフィルタ演算を実行し、
前記少なくとも1つの第2フィルタモジュールは、前記ループ内パイプライン処理方式と前記ループ内並列処理方式の内、前記複数の第1フィルタモジュールが従っていない方の処理方式に従って、前記第2のフィルタ演算を実行する、請求項1記載の2次元フィルタ演算装置。 - 前記記憶部から1ライン分の画素の画素値を取得して一時的に格納し、前記第1フィルタ処理部に出力する、ラインメモリをさらに備える、請求項1記載の2次元フィルタ演算装置。
- 被フィルタ画像データを格納する格納ステップと、
格納されている被フィルタ画像データに対して、第1のフィルタ演算を実行する第1フィルタ処理ステップと、
前記第1フィルタ処理ステップでフィルタ処理した画像データに対して、第2のフィルタ演算を実行する第2フィルタ処理ステップとを備え、
前記第1フィルタ処理ステップと前記第2フィルタ処理ステップ部とでは、垂直方向フィルタ演算と水平方向フィルタ演算の内の互いに異なるフィルタ演算を実行し、
前記垂直方向フィルタ演算と前記水平方向フィルタ演算とは、互いに異なる並列処理によって実行され、
前記第1フィルタ処理ステップでは、複数の第1フィルタモジュールが使用され、
前記第2フィルタ処理ステップでは、少なくとも1つの第2フィルタモジュールが使用され、
前記複数の第1フィルタモジュールは、前記被フィルタ画像データに対して前記第1のフィルタ演算をそれぞれ実行し、前記第1フィルタ処理ステップでは、複数の第1フィルタ結果を出力し、
前記少なくとも1つの第2フィルタモジュールは、前記複数の第1フィルタ結果の内の少なくとも一部を入力して、前記第2のフィルタ演算を実行し、前記第2フィルタ処理ステップでは、少なくとも1つの第2フィルタ結果を出力し、
前記複数の第1フィルタモジュールのそれぞれは、
初段の累積加算部と少なくとも1つの後段の累積加算部が縦続接続された複数の累積加算部と、
前記複数の累積加算部のそれぞれの出力を順次選択して、出力する選択部とを使用し、
前記初段の累積加算部には、所定のフィルタ係数が、1処理時間ごとに順次入力され、
前記少なくとも1つの後段の累積加算部には、それぞれの前段の累積加算部から、前記所定のフィルタ係数が、1処理時間ごとに順次転送され、
前記複数の累積加算部のそれぞれには、前記被フィルタ画像データの垂直または水平に並んだ画素の画素値が、前記記憶部から1処理時間ごとに順次入力され、
前記複数の累積加算部は、それぞれ、1処理時間ごとに前記画素値と前記所定のフィルタ係数との積和演算を行って、前記複数の第1フィルタ結果を出力する2次元フィルタ演算方法。 - 前記並列処理は、被フィルタ画像データに対して、並列に実行される順次演算処理と並列に実行される並列演算処理とを含む、請求項7記載の2次元フィルタ演算方法。
- 前記垂直方向フィルタ演算と前記水平方向フィルタ演算の処理順序を、前記被フィルタ画像データが準拠する動画像符号化規格に従って変更する、請求項7記載の2次元フィルタ演算方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007551015A JP4824703B2 (ja) | 2005-12-19 | 2006-11-21 | 2次元フィルタ演算装置及び方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005364373 | 2005-12-19 | ||
JP2005364373 | 2005-12-19 | ||
PCT/JP2006/323214 WO2007072644A1 (ja) | 2005-12-19 | 2006-11-21 | 2次元フィルタ演算装置及び方法 |
JP2007551015A JP4824703B2 (ja) | 2005-12-19 | 2006-11-21 | 2次元フィルタ演算装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007072644A1 JPWO2007072644A1 (ja) | 2009-05-28 |
JP4824703B2 true JP4824703B2 (ja) | 2011-11-30 |
Family
ID=38188427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007551015A Expired - Fee Related JP4824703B2 (ja) | 2005-12-19 | 2006-11-21 | 2次元フィルタ演算装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8260075B2 (ja) |
JP (1) | JP4824703B2 (ja) |
WO (1) | WO2007072644A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5323252B2 (ja) * | 2010-03-30 | 2013-10-23 | 株式会社東芝 | 動画像符号化方法、復号化方法、符号化装置および復号化装置 |
US9172972B2 (en) * | 2011-01-05 | 2015-10-27 | Qualcomm Incorporated | Low complexity interpolation filtering with adaptive tap size |
US8989512B2 (en) | 2011-09-02 | 2015-03-24 | Panasonic Intellectual Property Management Co., Ltd. | Symmetric filter arithmetic apparatus and symmetric filter arithmetic method |
US9077313B2 (en) * | 2011-10-14 | 2015-07-07 | Vivante Corporation | Low power and low memory single-pass multi-dimensional digital filtering |
WO2013145221A1 (ja) * | 2012-03-29 | 2013-10-03 | 富士通株式会社 | パイプライン型プロセッサ |
JP6649750B2 (ja) * | 2015-11-16 | 2020-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US11170481B2 (en) * | 2018-08-14 | 2021-11-09 | Etron Technology, Inc. | Digital filter for filtering signals |
CN109767408B (zh) * | 2018-12-29 | 2021-11-12 | 广州方硅信息技术有限公司 | 图像处理方法、装置、存储介质及计算机设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10304184A (ja) * | 1997-05-02 | 1998-11-13 | Fuji Xerox Co Ltd | 画像処理装置および画像処理方法 |
JP2002197454A (ja) * | 2000-12-27 | 2002-07-12 | Sony Corp | 画像変換装置及び方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4602285A (en) * | 1983-04-08 | 1986-07-22 | Ampex Corporation | System and method for transforming and filtering a video image |
JPH04347969A (ja) * | 1991-05-24 | 1992-12-03 | Victor Co Of Japan Ltd | 画素密度変換装置 |
JP3066199B2 (ja) * | 1992-10-09 | 2000-07-17 | 浩詔 寺田 | 2次元ディジタルフィルタ |
EP0644684B1 (en) * | 1993-09-17 | 2000-02-02 | Eastman Kodak Company | Digital resampling integrated circuit for fast image resizing applications |
JP2002304624A (ja) | 2001-04-05 | 2002-10-18 | Canon Inc | フィルタ処理装置及び撮像装置 |
US7127121B1 (en) * | 2002-03-20 | 2006-10-24 | Ess Technology, Inc. | Efficient implementation of a noise removal filter |
-
2006
- 2006-11-21 WO PCT/JP2006/323214 patent/WO2007072644A1/ja active Application Filing
- 2006-11-21 US US12/097,994 patent/US8260075B2/en not_active Expired - Fee Related
- 2006-11-21 JP JP2007551015A patent/JP4824703B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10304184A (ja) * | 1997-05-02 | 1998-11-13 | Fuji Xerox Co Ltd | 画像処理装置および画像処理方法 |
JP2002197454A (ja) * | 2000-12-27 | 2002-07-12 | Sony Corp | 画像変換装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2007072644A1 (ja) | 2009-05-28 |
US20100046851A1 (en) | 2010-02-25 |
WO2007072644A1 (ja) | 2007-06-28 |
US8260075B2 (en) | 2012-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4824703B2 (ja) | 2次元フィルタ演算装置及び方法 | |
JP2007174634A (ja) | 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム | |
US8259808B2 (en) | Low complexity video decoder | |
JP2007060673A (ja) | 画像予測装置、画像符号化装置、画像復号化装置、画像予測方法、画像符号化方法、画像復号化方法、記録媒体及びプログラム | |
JP6409516B2 (ja) | ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 | |
US7965767B2 (en) | Two-dimensional filtering architecture | |
JP2007174283A (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
US9100650B2 (en) | Video encoding method, decoding method, and apparatus | |
US20070071103A1 (en) | Apparatus for digital video format down-conversion with arbitrary conversion ratio and method therefor | |
WO2008072500A1 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2009159287A (ja) | 半導体装置および信号処理方法 | |
JP4844456B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
JP2008022530A (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
JP2002058026A (ja) | 画像符号化装置及び方法並びに画像復号装置及び方法 | |
JP2006340211A (ja) | 動き補償予測装置 | |
JP4565393B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
US6724822B1 (en) | Efficient motion compensation apparatus for digital video format down-conversion using generalized orthogonal transformation | |
WO2001082630A1 (en) | Pixel calculating device | |
JP5522736B2 (ja) | 画像超解像装置およびそのプログラム | |
JP2008532335A (ja) | 画像内挿方法及び画素内挿装置 | |
JP2013093668A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラム | |
JP2009141445A (ja) | サンプリングレート変換装置、およびサンプリングレート変換方法 | |
JP2009278473A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP2024007635A (ja) | 映像処理装置、アップスケーリング方法、及び映像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4824703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |