JP4982907B2 - 1/4画素色差用動き予測機構及び1/4画素輝度・色差用動き予測機構 - Google Patents
1/4画素色差用動き予測機構及び1/4画素輝度・色差用動き予測機構 Download PDFInfo
- Publication number
- JP4982907B2 JP4982907B2 JP2010272208A JP2010272208A JP4982907B2 JP 4982907 B2 JP4982907 B2 JP 4982907B2 JP 2010272208 A JP2010272208 A JP 2010272208A JP 2010272208 A JP2010272208 A JP 2010272208A JP 4982907 B2 JP4982907 B2 JP 4982907B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color difference
- stored
- ram
- rectangular area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
(全体構成)
図1はこの発明の実施の形態1である動き予測機構及びその周辺の構成を示すブロック図である。同図に示すように、組合せ輝度・色差用動き予測機構であるME2はSDRAM1より輝度データD1及び色差データD2を受け、動き予測結果として輝度・色差データD3をMC3に出力する。なお、H.264のエンコーダにおいて、SDRAM1のフレームメモリに相当し、ME2は動き予測機構に相当し、MC3は動き補償機構に相当する。
図1で示したRAM_HIME21及びIME11によって、輝度データに対する整数画素動き予測機構を構成する。
図2はRAM_HIME21が格納する元画像領域30を模式的に示す説明図である。同図において、n(pixel)×m(line)の元画像領域30(所定の画像領域)における任意の8(pixel)×4(line)の抽出矩形領域42(所定の基準抽出領域)が抽出可能に格納される。図2ではn=40,m=40の場合を示している。
(2) 縦横方向に隣接する8×2の格納輝度データは、RAM_HIME21a〜21d間で異なるように格納される。
(3) 横方向に4連続隣接する8×2の格納輝度データは、RAM_HIME21a〜21d間で異なるように格納される。
(4) 読み出しは元画像領域30全てのデータが、SDRAM1からRAM_HIME21a〜21dに格納された後に行う。
(5) 読み出しは4枚のRAM_HIME21a〜21dに対し同時に行い、1サイクル(1回の読み出し)で16×4あるいは、32×2の読み出し矩形領域を得る。
(6)16×4の読み出し矩形領域に対し、8×4の矩形領域を抽出矩形領域として抽出する。
(7)32×2の読み出し矩形領域に対し、16×2の矩形領域を抽出矩形領域として抽出する。
図1のRAM_HMEY22、QPG12、RAM_HSME23及びSME13によって、輝度データに対する1/4画素輝度用動き予測機構を構成する。
図9はRAM_HMEY22が格納する元画像領域35を模式的に示す説明図である。同図において、n(pixel)×m(line)の元画像領域35における16(pixel)×1(line)の抽出矩形領域46が抽出可能に格納される。図9ではn=40,m=40の場合を示している。
(2) SDRAM1から読み出される8×2の輝度データを、2つの8×1の輝度データに分割してRAM_HMEY22a及び22bにそれぞれ同時に書き込む。
(3) 横方向に隣接する16×1の格納輝度データは、RAM_HMEY22a及び22b間で異なるように格納される。
(4) 読み出しは元画像領域35全てのデータが、SDRAM1からRAM_HMEY22a及び22bに格納された後に行う 。
(5) 読み出しは2枚のRAM_HMEY22a及び22bに対し同時に行い、1サイクルで32×1の読み出し矩形領域を得る。
(6) 32×1の読み出し矩形領域に対し、16×1の矩形領域を抽出矩形領域として抽出する。
図11は輝度用1/4画素生成処理におけるQPG12の整数画素読み出し内容を模式的に示す説明図である。同図(a) に示すRAM_HMEY22に格納された40×40の元画像領域35から、同図(a) ,(b) に示すように、抽出矩形領域46の水平位置を8または9(pixel)毎にずらせながら、0〜39(line)にかけて整数画素を順次読み出し、QPG12は、1/4画素演算領域36から1/4画素生成領域37内の整数画素に1/2補間画素62及び垂直方向の1/4補間画素64を加えた一部1/4画素輝度データS12を生成する。
RAM_HSME23は、8枚のRAM_HSME23a〜23hで構成され、QPG12より生成される一部1/4画素輝度データS12を1/4画素単位で縦方向4lineと横方向16pixelとが、RAM_HSME23a〜23h間で異なるように格納する。
0/4line:整数画素(I)及び水平1/2画素(H)
1/4line:1/4画素(iv)及び1/4画素(hs)
2/4line:垂直1/2画素(V)及び斜め1/2画素(S)
3/4line:1/4画素(vi)及び1/4画素(sh)
(2) 書き込みは27×1または29×1ずつ2〜3分割して、2〜3枚のRAM_HSME23xに対し同時に行う(2つのRAM_HSME23xで最大32×1格納できる)。
(3) 横方向に隣接する16×1の格納一部1/4画素輝度データは、RAM_HSME23a〜23h間で異なるように格納される。
(4) 縦方向に整数画素単位に4隣接する16×1の格納一部1/4画素輝度データは、RAM_HSME23a〜23h間で異なるように格納される。
(5) 読み出しは元画素領域70全てのデータが、RAM_HSME23a〜23hに格納された後に行う。
(6) 読み出しは8枚のRAM_HSME23a〜23hに対し同時に行い、1サイクルで1/4画素位置精度で32×4の読み出し矩形領域を得る。
(7)32×4の読み出し矩形領域を用いて得られる、16×4の矩形領域を1/4画素単位の演算用抽出矩形領域47として抽出する。
(8)16×4の演算用抽出矩形領域47に対し、所定の演算処理である水平方向1/2補間演算(2tap filter)を行い、一部1/4画素輝度データS12をさらに水平方向に1/4画素補間した後、水平方向及び垂直方向の位置精度が1/4画素精度の8×4の矩形領域を演算後矩形領域48として得る。
RAM_HMEC24及びQPG14によって、1/4画素色差用動き予測機構を構成する。
図18はRAM_HMEC24が格納する元画素領域(元画像領域)38U及び元画素領域(元画像領域)38Vを模式的に示す説明図である。同図(a) において、n(pixel)×m(line)の元画素領域38Uにおける5(pixel)×5(line)の演算用矩形領域39U(色差データ演算用抽出領域)が抽出可能に格納される。同様にして、同図(b) において、n(pixel)×m(line)の元画素領域38Vにおける5(pixel)×5(line)の演算用矩形領域39V(色差データ演算用抽出領域)が抽出可能に格納される。図18ではn=40,m=40の場合を示している。
(2) U,Vそれぞれに於ける格納色差データは横方向に4画素分重複させながら、U,V共に8pixel分を1アドレスに格納する。
(3) 縦方向に5隣接する16×1(2×(8×1))の色差データ(U,Vそれぞれに於ける8×1の格納色差データ)は、RAM_HMEC24a〜24e間で異なるように格納される。
(4) 読み出しは元画素領域38U及び元画素領域38V全てのデータが、SDRAM1からRAM_HMEC24a〜24eに格納された後に行う。
(5) 読み出しは5枚のRAM_HMEC24a〜24eに対し同時に行い、1サイクルで16(8+8)×5の読み出し矩形領域を得る。
(6) 読み出した(8+8)×5の読み出し矩形領域から(5+5)×5の演算用矩形領域39U及び演算用矩形領域39Vを得る。
(7) (5+5)×5の演算用矩形領域39U及び演算用矩形領域39Vに対し、2次元線形補間処理(bi-linear filter)をかけて1/4画素精度の(4+4)×4の演算後矩形領域40U及び演算後矩形領域40V(色差用演算後基準領域)を抽出する。
実施の形態1では、RAM_HIME21及びIME11からなる整数画素動き予測機構、RAM_HMEY22、QPG12、RAM_HSME23及びSME13からなる1/4画素輝度用動き予測機構、並びにRAM_HMEC24及びQPG14からなる1/4画素色差用動き予測機構によって、組合せ輝度・色差用動き予測機構であるME2が構成されている例を示している。これ以外の構成として以下の構成の動き予測機構も考えられる。
(全体構成)
図22はこの発明の実施の形態2である動き予測機構及びその周辺の構成を示すブロック図である。同図に示すように、1/4画素探索用記憶部であるRAM_HME(H.264 Motion Estimation)26はSDRAM4より輝度データD4及び色差データD5を受け、後述する条件を満足して格納する。
図23はRAM_HME26が格納する元画素領域80を模式的に示す説明図である。同図において、nL(pixel)×mL(line)の元画素領域80における14(pixel)×10(line)の読み出し矩形領域91が抽出可能に格納される。この読み出し矩形領域91から後述する垂直方向及び水平方向1/4画素生成処理後に1/4画素単位精度の位置で、8×4の演算後矩形領域60(輝度用演算後基準領域)を得る。図23ではnL=32,mL=32の場合を示している。
(2) 横方向に4画素分重複させながら、格納輝度データの16pixel分を1アドレスに格納する。
(3) 縦方向に10隣接(少なくとも9隣接)する16×1の格納輝度データは、RAM_HME26a〜26j間で異なるように格納される。
(4) 読み出しは元画素領域80全てのデータが、SDRAM4からRAM_HME26a〜26jに格納された後に行う。
(5) 読み出しは10枚のRAM_HME26a〜26jに対し同時に行い、1サイクルで16×10の読み出し矩形領域を得る。
(6) 読み出した16×10の読み出し矩形領域から13×9の演算用矩形領域59を得る。
(7) 13×9の演算用矩形領域59に対し、2tap filter及び6tap filterによる演算を並行して実行し、水平方向及び垂直方向双方における1/4画素精度の8×4の演算後矩形領域60を抽出する。
(2):垂直方向に隣接する6個の整数画素61による6タップフィルタ処理を行い、(垂直方向)1/2補間画素62b(V)を順次得る(6tap filter)。
(3):垂直方向に隣接する6個の1/2補間画素62aによる6タップフィルタ処理を行い、斜め1/2補間画素62c(S)を得る(6tap filter)。
(4):垂直方向に隣接する整数画素61及び1/2補間画素62bによる2タップフィルタ処理を行い、(垂直方向)1/4補間画素64a(iv)及び64c(vi)を得る。
(5):垂直方向に隣接する1/2補間画素62a及び1/2補間画素62cによる2タップフィルタ処理を行い、(垂直方向)1/4補間画素64b(hs)及び64d(sh)を得る。
(6):水平方向に隣接する整数画素61及び1/2補間画素62aによる2タップフィルタ処理を行い、(水平方向)1/4補間画素69a(ih)及び69b(hi)を得る(「ih」,「hi」については図12(c) 参照)。
(7):水平方向に隣接する1/4補間画素64a及び1/4補間画素64bによる2タップフィルタ処理を行い、(水平方向)1/4補間画素69c(vh)及び69d(hv)を得る(「vh」,「hv」については図12(c) 参照)。
(8):水平方向に隣接する1/2補間画素62b及び1/2補間画素62cによる2タップフィルタ処理を行い、(水平方向)1/4補間画素69e(vs)及び69f(sv)を得る(「vs」,「sv」については図12(c) 参照)。
(9):水平方向に隣接する1/4補間画素64c及び1/4補間画素64dによる2タップフィルタ処理を行い、(水平方向)1/4補間画素69g(vh′)及び69h(hv′)を得る(「vh」,「hv」については図12(c) 参照)。
図28はRAM_HME26が格納するU用及びV用の元画素領域85及び86を模式的に示す説明図である。同図において、nC(pixel)×mC(line)の元画素領域85及び86それぞれにおける5(pixel)×5(line)のU演算用矩形領域87及びV演算用矩形領域88(色差データ演算用抽出領域)を抽出可能に格納される。このU演算用矩形領域87及びV演算用矩形領域88から、上述した予測結果輝度データに基づく8×4の演算後矩形領域60に対応するU演算後矩形領域89及びV演算後矩形領域90(色差データ演算後基準領域)を得る。
(1) RAM_HME26xの1アドレス当たりの格納単位は16×1(2×(8×1))である。格納する色差画素はU,Vそれぞれ8画素分である。すなわち、U,Vそれぞれについて格納色差データの格納単位は8×1となる。
(2) 横方向に画素重複なく、U,V共に8pixel分を1アドレスに格納する。
(3) 横方向に隣接する16×1(2×(8×1))の色差データ(U,Vそれぞれについて8×1の格納色差データ)は、RAM_HME26a〜26j間で異なるように格納される。
(4) 縦方向に5隣接する16×1(2×(8×1))の色差データ(U,Vそれぞれについて8×1の格納色差データ)は、RAM_HME26a〜26j間で異なるように格納される。
(5) 読み出しは元画素領域85及び86全てのデータが、SDRAM4からRAM_HME26a〜26jに格納された後に行う。
(6) 読み出しは10枚のRAM_HME26a〜26jに対し同時に行い、1サイクルで16(8+8)×5の読み出し矩形領域を得る。
(7) 読み出した(8+8)×5の読み出し矩形領域から(5+5)×5のU演算用矩形領域87及びV演算用矩形領域88を得る。
(8) (5+5)×5のU演算用矩形領域87及びV演算用矩形領域88に対し、bi-linar filterをかけて1/4画素精度の(4+4)×4のU演算後矩形領域89及びV演算後矩形領域90として抽出する。
2 ME
3 MC
4 SDRAM
5 ME
6 MC
11 IME
12 QPG
13 SME
14 QPG
21 RAM_HIME
22 RAM_HMEY
23 RAM_HSME
24 RAM_HMEC
26 RAM_HME
Claims (2)
- 所定の画像領域における整数画素精度の色差データを分割して、格納色差データ単位に格納する第1所定数の色差用記憶部と、
前記第1所定数の色差用記憶部から読み出される前記格納色差データの組合せから、1/4画素精度の基準位置情報に基づき演算処理を行い、1/4画素精度の所定の色差用演算後基準領域を予測結果色差データとして生成する色差用1/4画素生成部とを備え、
前記第1所定数の色差用記憶部において、水平方向に隣接する前記格納色差データが第1の数分画素を重複させながら格納され、垂直方向に第2の数分連続して隣接する前記格納色差データが前記第1所定数の色差用記憶部間で異なるように格納されることを特徴とする、
1/4画素色差用動き予測機構。 - 所定の画像領域における整数画素精度の輝度データ及び色差データを分割して、格納輝度データ及び格納色差データ単位にそれぞれ格納する第1所定数の1/4画素探索用記憶部と、
前記第1所定数の1/4画素探索用記憶部から読み出される前記格納輝度データの組合せに基づき、所定の演算処理を実行することにより、水平方向及び垂直方向共に1/4画素精度で所定の輝度用演算後基準領域を取得して動き予測を行い予測結果輝度データを得るとともに、
前記第1所定数の1/4画素探索用記憶部から読み出される前記格納色差データの組合せに基づき、前記予測結果輝度データの1/4画素精度の位置情報に対応して、1/4画素精度の所定の色差用演算後基準領域を予測結果色差データとして生成する、1/4画素動き予測部とを備え、
前記第1所定数の1/4画素探索用記憶部において、
水平方向に隣接する前記格納輝度データが第1の数分画素を重複させながら格納され、垂直方向に第2の数分連続して隣接する前記格納輝度データが前記第1所定数の1/4画素用記憶部間で異なるように格納され、
水平方向に隣接する前記格納色差データ及び垂直方向に第3の数分連続して隣接する前記格納色差データが、前記第1所定数の1/4画素探索用記憶部間で異なるように格納されることを特徴とする、
1/4画素輝度・色差用動き予測機構。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010272208A JP4982907B2 (ja) | 2010-12-07 | 2010-12-07 | 1/4画素色差用動き予測機構及び1/4画素輝度・色差用動き予測機構 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010272208A JP4982907B2 (ja) | 2010-12-07 | 2010-12-07 | 1/4画素色差用動き予測機構及び1/4画素輝度・色差用動き予測機構 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006190453A Division JP4682384B2 (ja) | 2006-07-11 | 2006-07-11 | 1/4画素輝度用動き予測機構、組合せ輝度用動き予測機構、及び組合せ輝度・色差用動き予測機構 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011050113A JP2011050113A (ja) | 2011-03-10 |
JP4982907B2 true JP4982907B2 (ja) | 2012-07-25 |
Family
ID=43835900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010272208A Active JP4982907B2 (ja) | 2010-12-07 | 2010-12-07 | 1/4画素色差用動き予測機構及び1/4画素輝度・色差用動き予測機構 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4982907B2 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61154362A (ja) * | 1984-12-27 | 1986-07-14 | Canon Inc | 画像記憶装置 |
JP3803122B2 (ja) * | 1995-05-02 | 2006-08-02 | 松下電器産業株式会社 | 画像メモリ装置および動きベクトル検出回路 |
JPH10191236A (ja) * | 1996-12-25 | 1998-07-21 | Nec Corp | 画像処理装置及び画像データメモリ配置方法 |
JP3417473B2 (ja) * | 1999-01-07 | 2003-06-16 | 日本電気株式会社 | メモリアクセスシステム |
JP2002199404A (ja) * | 2000-12-25 | 2002-07-12 | Seiko Epson Corp | 画像処理装置 |
KR100543443B1 (ko) * | 2003-01-14 | 2006-01-23 | 삼성전자주식회사 | 동영상 압축을 위한 내장형 메모리 장치 |
JP4511842B2 (ja) * | 2004-01-26 | 2010-07-28 | パナソニック株式会社 | 動きベクトル検出装置及び動画撮影装置 |
CN1942870B (zh) * | 2004-04-15 | 2010-05-12 | 松下电器产业株式会社 | 信息处理装置及数据访问方法 |
KR100668302B1 (ko) * | 2004-07-28 | 2007-01-12 | 삼성전자주식회사 | 비디오 디코더/엔코더에서의 메모리 맵핑 장치 및 그 방법 |
JP2007189518A (ja) * | 2006-01-13 | 2007-07-26 | Matsushita Electric Ind Co Ltd | 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム |
-
2010
- 2010-12-07 JP JP2010272208A patent/JP4982907B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011050113A (ja) | 2011-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100907843B1 (ko) | 비디오 모션 보상용 캐싱 방법 및 장치 | |
JP5115498B2 (ja) | 画像符号化装置、画像符号化制御方法およびプログラム | |
US8135224B2 (en) | Generating image data | |
JP4682384B2 (ja) | 1/4画素輝度用動き予測機構、組合せ輝度用動き予測機構、及び組合せ輝度・色差用動き予測機構 | |
JP4709155B2 (ja) | 動き検出装置 | |
JP2010119084A (ja) | 高速動き探索装置及びその方法 | |
JP2008022134A5 (ja) | ||
JP4982907B2 (ja) | 1/4画素色差用動き予測機構及び1/4画素輝度・色差用動き予測機構 | |
CN110381321B (zh) | 一种用于运动补偿的插值计算并行实现方法 | |
US8305500B2 (en) | Method of block-based motion estimation | |
JPH11196425A (ja) | 動きベクトル検出装置 | |
CN102215404B (zh) | 嵌入式系统中视频的解码方法和系统 | |
JPH05300497A (ja) | 画像処理装置及びディジタル信号処理プロセッサ | |
Biswas et al. | An efficient VLSI architecture of the enhanced three step search algorithm | |
KR100719939B1 (ko) | 영상 움직임 추정기 및 그 영상 움직임 추정기를 이용한영상 압축방법 | |
KR100836534B1 (ko) | 저전력 서브 픽셀 보간 블록 구조 | |
KR100243469B1 (ko) | 프레임 메모리에 있어서 어드레스 발생장치 | |
KR100235486B1 (ko) | 프레임 메모리에 있어서 예측 매크로블록에 대한 어드레스 발생시 슬라이스 위치 보상방법 및 회로 | |
KR100226705B1 (ko) | 어드레스 발생시 프레임 메모리 상태 천이방법 및 장치 | |
KR100672376B1 (ko) | 움직임 보상 방법 | |
TWI478589B (zh) | 區塊方式的動作估算方法及圖框速率提高方法 | |
KR100243473B1 (ko) | 프레임 메모리에 있어서 예측 매크로블록에 대한 어드레스 발생시 움직임 벡터 보상회로 | |
JPH10210481A (ja) | メモリ制御装置 | |
JP2007243366A (ja) | 動きベクトル探索装置 | |
Chen et al. | A High Performance Hardware Architecture of Sub-Pixel Interpolator for H. 264/AVC Encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120406 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4982907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |