JP5917907B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5917907B2 JP5917907B2 JP2011281870A JP2011281870A JP5917907B2 JP 5917907 B2 JP5917907 B2 JP 5917907B2 JP 2011281870 A JP2011281870 A JP 2011281870A JP 2011281870 A JP2011281870 A JP 2011281870A JP 5917907 B2 JP5917907 B2 JP 5917907B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- luminance data
- memory
- internal memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 claims description 316
- 239000013598 vector Substances 0.000 claims description 30
- 238000010586 diagram Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 16
- 238000002360 preparation method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
また、第1の態様に係る画像処理装置によれば、第1の内部メモリの単位記憶領域には、画素空間における8列×2行分の輝度データに相当する単位輝度データ、又は画素空間における8列×4行分の色差データに相当する単位色差データが格納される。従って、第2の内部メモリの単位記憶領域に格納すべき8列×2行分の単位輝度データ、及び第3の内部メモリの単位記憶領域に格納すべき4列×4行分の単位輝度データを、第1の内部メモリの単位記憶領域に格納されている単位輝度データに基づいて容易に作成することが可能となる。
また、第1の態様に係る画像処理装置によれば、列方向に2個かつ行方向に4個並ぶ8個の単位輝度データは、第1の内部メモリの異なるメモリバンクに格納される。従って、これら8個の単位輝度データを、第1の内部メモリに同時に書き込むことができるとともに、第1の内部メモリから同時に読み出すことができる。
また、第1の態様に係る画像処理装置によれば、列方向に1個かつ行方向に8個並ぶ8個の単位輝度データは、第1の内部メモリの異なるメモリバンクに格納される。従って、これら8個の単位輝度データを、第1の内部メモリに同時に書き込むことができるとともに、第1の内部メモリから同時に読み出すことができる。
本発明の第5の態様に係る画像処理装置は、第1〜第4のいずれか一つの態様に係る画像処理装置において特に、前記外部メモリよりも高速にアクセス可能な第3の内部メモリと、前記第2の探索処理部による探索結果に基づいて前記第2画像内の所定範囲の第5画像を前記第1の内部メモリから読み出し、当該第5画像を前記第3の内部メモリに格納する転送処理部と、前記第3の内部メモリから前記第5画像を読み出し、当該第5画像に基づいて前記第2の動き探索よりも詳細な第3の動き探索を行う第3の探索処理部と、をさらに備えることを特徴とするものである。
第5の態様に係る画像処理装置によれば、転送処理部は、第1の内部メモリから読み出した第5画像を第2の内部メモリに格納する。また、第3の探索処理部は、第3の内部メモリから読み出した第5画像に基づいて第3の動き探索を行う。ここで、第3の内部メモリは、外部メモリよりも高速にアクセス可能なメモリである。従って、転送処理部及び第3の探索処理部が外部メモリから画像を読み出す場合と比較すると、読み出しの所要時間が短縮されるため、全体として動き探索を高速に行うことが可能となる。
BI=((x%2)^((y/4)%2))*4+(y%4)
となる。なお、式中の「^」は排他的論理和を求める演算を意味している。
BI=((((y/4)%2)==(x%2))<<2)+((〜((y/2)%2))<<1)+((y/4)%2)
となる。なお、式中の「〜」はビット単位の反転を意味している。
BA=(x/2)+(y/4)*128
となる。
BA=(x/2)+(y/8)*128+2560
となる。
2 フレームメモリ
4 動き探索部
11 LSRAM
12 画像作成部
13 MSRAM
14,15,18 探索処理部
16 転送処理部
17 SSRAM
23,43,76 アドレス生成部
74 第1セット
75 第2セット
Claims (26)
- 外部メモリに格納されている第1画像を参照して動き探索を行う画像処理装置であって、
前記第1画像内の所定範囲の第2画像を格納する、前記外部メモリよりも高速にアクセス可能な第1の内部メモリと、
前記第2画像内の所定範囲の画像を前記第1の内部メモリから読み出し、当該画像に基づいて粗探索用の第3画像を作成する画像作成部と、
前記画像作成部によって作成された前記第3画像を格納する、前記外部メモリよりも高速にアクセス可能な第2の内部メモリと、
前記第2の内部メモリから前記第3画像を読み出し、当該第3画像に基づいて第1の動き探索を行う第1の探索処理部と、
前記第1の探索処理部による探索結果に基づいて前記第2画像内の所定範囲の第4画像を前記第1の内部メモリから読み出し、当該第4画像に基づいて前記第1の動き探索よりも詳細な第2の動き探索を行う第2の探索処理部と、
を備え、
前記第2画像は輝度データ及び色差データを含み、
前記第1の内部メモリの単位記憶領域には、画素空間における8列×2行分の輝度データに相当する単位輝度データ、又は画素空間における8列×4行分の色差データに相当する単位色差データが格納され、
前記第1の内部メモリは複数のメモリバンクを有し、
列方向に2個かつ行方向に4個並ぶ8個の単位輝度データは、異なるメモリバンクに格納され、
列方向に1個かつ行方向に8個並ぶ8個の単位輝度データは、異なるメモリバンクに格納される、画像処理装置。 - 前記第1の内部メモリは複数のメモリバンクを有し、
列方向に2個かつ行方向に4個並ぶ8個の単位色差データは、異なるメモリバンクに格納される、請求項1に記載の画像処理装置。 - 前記第1の内部メモリは複数のメモリバンクを有し、
列方向に1個かつ行方向に4個並ぶ4個の単位輝度データ、及び当該4個の単位輝度データに対応する画像箇所において列方向に1個かつ行方向に2個並ぶ2個の単位色差データは、異なるメモリバンクに格納される、請求項1又は2に記載の画像処理装置。 - 前記第1の内部メモリは複数のメモリバンクを有し、
列方向に2個かつ行方向に2個並ぶ4個の単位輝度データ、及び当該4個の単位輝度データに対応する画像箇所において列方向に2個かつ行方向に1個並ぶ2個の単位色差データは、異なるメモリバンクに格納される、請求項1〜3のいずれか一つに記載の画像処理装置。 - 前記外部メモリよりも高速にアクセス可能な第3の内部メモリと、
前記第2の探索処理部による探索結果に基づいて前記第2画像内の所定範囲の第5画像を前記第1の内部メモリから読み出し、当該第5画像を前記第3の内部メモリに格納する転送処理部と、
前記第3の内部メモリから前記第5画像を読み出し、当該第5画像に基づいて前記第2の動き探索よりも詳細な第3の動き探索を行う第3の探索処理部と、
をさらに備える、請求項1〜4のいずれか一つに記載の画像処理装置。 - 画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、前記第1の内部メモリが有する複数のメモリバンクのうち、各単位輝度データ及び各単位色差データを格納すべきメモリバンクを設定する第1のアドレス設定部をさらに備える、請求項1〜5のいずれか一つに記載の画像処理装置。
- 前記第1のアドレス設定部はさらに、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、各単位輝度データ及び各単位色差データを格納するメモリバンク内のアドレスを設定する、請求項6に記載の画像処理装置。
- 前記第1の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われる、請求項1〜7のいずれか一つに記載の画像処理装置。
- 行方向に関する前記第2画像のサイズを所定の行数単位で設定することにより、前記第1の内部メモリ内に一又は複数の前記第2画像を格納可能である、請求項1〜8のいずれか一つに記載の画像処理装置。
- あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データ及び色差データが、前記第1の内部メモリに書き込まれる、請求項1〜9のいずれか一つに記載の画像処理装置。
- 前記画像作成部は、前記第1の内部メモリ内において列方向に2個かつ行方向に2個並ぶ4個の単位輝度データに基づいて、画素空間における8列×2行分の1個の単位輝度データを作成し、当該単位輝度データを前記第2の内部メモリの単位記憶領域に格納する、請求項1〜10のいずれか一つに記載の画像処理装置。
- 前記第2の内部メモリは複数のメモリバンクを有し、
列方向に2個かつ行方向に4個並ぶ8個の単位輝度データは、異なるメモリバンクに格納される、請求項11に記載の画像処理装置。 - 前記第2の内部メモリは複数のメモリバンクを有し、
列方向に1個かつ行方向に8個並ぶ8個の単位輝度データは、異なるメモリバンクに格納される、請求項11又は12に記載の画像処理装置。 - 画素空間内における単位輝度データの位置座標に基づいて、前記第2の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する第2のアドレス設定部をさらに備える、請求項11〜13のいずれか一つに記載の画像処理装置。
- 前記第2のアドレス設定部はさらに、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する、請求項14に記載の画像処理装置。
- 前記第2の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われる、請求項11〜15のいずれか一つに記載の画像処理装置。
- 行方向に関する前記第3画像のサイズを所定の行数単位で設定することにより、前記第2の内部メモリ内に一又は複数の前記第3画像を格納可能である、請求項11〜16のいずれか一つに記載の画像処理装置。
- あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データが、前記第2の内部メモリに書き込まれる、請求項11〜17のいずれか一つに記載の画像処理装置。
- 前記転送処理部は、前記第1の内部メモリ内において列方向に1個かつ行方向に2個並ぶ2個の単位輝度データに基づいて、画素空間における4列×4行分の2個の単位輝度データを生成し、当該単位輝度データを前記第3の内部メモリの単位記憶領域に格納する、請求項5に記載の画像処理装置。
- 前記第3の内部メモリは複数のメモリバンクを有し、
列方向に4個かつ行方向に4個並ぶ16個の単位輝度データは、異なるメモリバンクに格納される、請求項19に記載の画像処理装置。 - 画素空間内における単位輝度データの位置座標に基づいて、前記第3の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する第3のアドレス設定部をさらに備える、請求項19又は20に記載の画像処理装置。
- 前記第3のアドレス設定部はさらに、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する、請求項21に記載の画像処理装置。
- 前記第3の内部メモリが有する複数のメモリバンクには、第1セットに属する複数のメモリバンクと、第2セットに属する複数のメモリバンクとが含まれ、
前記第1セット及び前記第2セットの各々に対するデータの読み出し及び書き込みは、時分割で行われる、請求項20〜22のいずれか一つに記載の画像処理装置。
- あるカレントマクロブロックを対象とする動き探索を行うために前記第1セット及び前記第2セットの一方からデータの読み出しが行われている期間内に、次のカレントマクロブロックを対象とする動き探索を行うために必要となるデータが、前記第1セット及び前記第2セットの他方に書き込まれる、請求項23に記載の画像処理装置。
- 前記第2の探索処理部による探索結果に含まれるマクロブロックパートモードに応じて、所定数の単位輝度データが前記第3の内部メモリに格納される、請求項19〜24のいずれか一つに記載の画像処理装置。
- 前記第3の内部メモリには、画素空間内におけるカレントマクロブロックの位置に基づいて、Skip/Directベクトル用参照画像、及び(0,0)ベクトル用参照画像がさらに格納される、請求項19〜25のいずれか一つに記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011281870A JP5917907B2 (ja) | 2011-12-22 | 2011-12-22 | 画像処理装置 |
PCT/JP2012/081111 WO2013094388A1 (ja) | 2011-12-22 | 2012-11-30 | 画像処理装置 |
US14/367,632 US9443319B2 (en) | 2011-12-22 | 2012-11-30 | Image processor for motion searches |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011281870A JP5917907B2 (ja) | 2011-12-22 | 2011-12-22 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013132002A JP2013132002A (ja) | 2013-07-04 |
JP5917907B2 true JP5917907B2 (ja) | 2016-05-18 |
Family
ID=48668287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011281870A Active JP5917907B2 (ja) | 2011-12-22 | 2011-12-22 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9443319B2 (ja) |
JP (1) | JP5917907B2 (ja) |
WO (1) | WO2013094388A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5917907B2 (ja) * | 2011-12-22 | 2016-05-18 | 株式会社メガチップス | 画像処理装置 |
JP5865696B2 (ja) * | 2011-12-22 | 2016-02-17 | 株式会社メガチップス | 画像処理装置 |
JP6490896B2 (ja) * | 2013-12-17 | 2019-03-27 | 株式会社メガチップス | 画像処理装置 |
CN104954796B (zh) * | 2014-03-28 | 2019-06-11 | 联咏科技股份有限公司 | 视频处理装置与其视频处理电路 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4195969B2 (ja) * | 2002-08-05 | 2008-12-17 | パナソニック株式会社 | 動きベクトル検出装置 |
JP2004248024A (ja) * | 2003-02-14 | 2004-09-02 | Kanebo Ltd | 画像処理装置 |
US7038612B2 (en) * | 2003-08-05 | 2006-05-02 | Raytheon Company | Method for SAR processing without INS data |
US7705884B2 (en) * | 2004-07-21 | 2010-04-27 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
JP2007006381A (ja) * | 2005-06-27 | 2007-01-11 | Toshiba Corp | 画像処理装置 |
JP4590335B2 (ja) | 2005-09-28 | 2010-12-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2007189518A (ja) * | 2006-01-13 | 2007-07-26 | Matsushita Electric Ind Co Ltd | 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム |
JP4682384B2 (ja) * | 2006-07-11 | 2011-05-11 | 株式会社メガチップス | 1/4画素輝度用動き予測機構、組合せ輝度用動き予測機構、及び組合せ輝度・色差用動き予測機構 |
JP2008052522A (ja) * | 2006-08-25 | 2008-03-06 | Fujitsu Ltd | 画像データアクセス装置及び画像データアクセス方法 |
JP4764807B2 (ja) * | 2006-11-30 | 2011-09-07 | 富士通セミコンダクター株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
US20100086053A1 (en) * | 2007-04-26 | 2010-04-08 | Panasonic Corporation | Motion estimation device, motion estimation method, and motion estimation program |
JP2009284208A (ja) * | 2008-05-22 | 2009-12-03 | Renesas Technology Corp | 動画像符号化装置及び動画像記録装置 |
KR100994983B1 (ko) * | 2008-11-11 | 2010-11-18 | 한국전자통신연구원 | 고속 움직임 탐색 장치 및 그 방법 |
TWI506595B (zh) * | 2011-01-11 | 2015-11-01 | Altek Corp | 全景影像產生方法及裝置 |
JP5865696B2 (ja) * | 2011-12-22 | 2016-02-17 | 株式会社メガチップス | 画像処理装置 |
JP5917907B2 (ja) * | 2011-12-22 | 2016-05-18 | 株式会社メガチップス | 画像処理装置 |
-
2011
- 2011-12-22 JP JP2011281870A patent/JP5917907B2/ja active Active
-
2012
- 2012-11-30 WO PCT/JP2012/081111 patent/WO2013094388A1/ja active Application Filing
- 2012-11-30 US US14/367,632 patent/US9443319B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9443319B2 (en) | 2016-09-13 |
WO2013094388A1 (ja) | 2013-06-27 |
JP2013132002A (ja) | 2013-07-04 |
US20140369562A1 (en) | 2014-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200327079A1 (en) | Data processing method and device, dma controller, and computer readable storage medium | |
US20180137414A1 (en) | Convolution operation device and convolution operation method | |
JP2004007337A5 (ja) | ||
JP5917907B2 (ja) | 画像処理装置 | |
CA2929403C (en) | Multi-dimensional sliding window operation for a vector processor | |
US20200327078A1 (en) | Data processing method and device, dma controller, and computer readable storage medium | |
US8953904B2 (en) | Image processing apparatus and method of operating image processing apparatus | |
JPWO2010134347A1 (ja) | グラフィクス描画装置、グラフィクス描画方法、グラフィクス描画プログラム、グラフィクス描画プログラムを記録した記録媒体、グラフィクス描画用集積回路 | |
JP5865696B2 (ja) | 画像処理装置 | |
CN116010299A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
WO2009116115A1 (ja) | メモリコントローラ及びそれを使用したメモリシステム | |
JP4970378B2 (ja) | メモリコントローラおよび画像処理装置 | |
JP2016134005A (ja) | 画像処理装置 | |
KR20150078951A (ko) | 메모리 관리 방법 및 장치 | |
WO2013099518A1 (ja) | 画像処理装置及びメモリアクセス制御方法 | |
US10387997B2 (en) | Information processing device, information processing method, and storage medium | |
CN101996142A (zh) | 一种访问存储器的方法及装置 | |
JP2008541259A (ja) | ブロックアクセスが可能なバッファメモリを有する画像処理回路 | |
JP3906234B1 (ja) | 画像用メモリ回路 | |
US10726516B2 (en) | Arithmetic logic unit (ALU)-centric operations in graphics processing units (GPUs) | |
JP4332013B2 (ja) | 擬似多ポートメモリ装置および擬似多ポートメモリ装置の画素読み出し方法 | |
JP4170173B2 (ja) | ブロックマッチング演算装置 | |
US6489967B1 (en) | Image formation apparatus and image formation method | |
JP5605225B2 (ja) | メモリ制御装置、メモリマッピング方法、及び、プログラム | |
JP4650459B2 (ja) | 半導体装置およびデータ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5917907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |