JP5655100B2 - 画像音声信号処理装置及びそれを用いた電子機器 - Google Patents
画像音声信号処理装置及びそれを用いた電子機器 Download PDFInfo
- Publication number
- JP5655100B2 JP5655100B2 JP2013018161A JP2013018161A JP5655100B2 JP 5655100 B2 JP5655100 B2 JP 5655100B2 JP 2013018161 A JP2013018161 A JP 2013018161A JP 2013018161 A JP2013018161 A JP 2013018161A JP 5655100 B2 JP5655100 B2 JP 5655100B2
- Authority
- JP
- Japan
- Prior art keywords
- data bus
- data
- processing
- unit
- parallel processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 368
- 230000005236 sound signal Effects 0.000 title claims description 11
- 230000015654 memory Effects 0.000 claims description 108
- 238000007906 compression Methods 0.000 claims description 27
- 230000006835 compression Effects 0.000 claims description 25
- 230000006837 decompression Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 108
- 230000008569 process Effects 0.000 description 74
- 238000001514 detection method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 29
- 239000013598 vector Substances 0.000 description 22
- 238000012937 correction Methods 0.000 description 21
- 238000013139 quantization Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Multi Processors (AREA)
- Image Processing (AREA)
Description
Union−Telecommunication Standardization
Sector)は、共同で次世代の圧縮伸張技術として、MPEG−4 AVC(Advanced Video Coding)を規格化策定中である。MPEG−4 AVCは、4×4画素の整数変換、最大9方向のイントラ予測、7種類のサブマクロブロックタイプ、マクロブロックあたり最大16本の動きベクトル、マルチフレーム参照、ループ内のデブロックフィルタ、算術符号などの新しい技術を導入することによって、画像の高圧縮率を実現し、既に実用化されているMPEG−2方式の50%に圧縮された符号量を目指している。
Multiple Data stream)型の並列データ処理装置とを組み合わせた、並列処理装置である。
データを処理する。
を持っている。したがって、並列度を増すことによって、画像処理に十分対応できていた。これは、従来の動き検出処理が、最大16×16ペルで最小8×8ペルのマクロブロックサイズに対するものであったことによる。
のローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第1共有メモリと、入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われ、第2データバスには、命令並列プロセッサのローカルメモリと、第2共有メモリとが接続され、これらのメモリの間でのデータ転送が行われ、ブリッジユニットを介して、第1データバスに接続された各メモリと、第2データバスに接続された各メモリとの間のデータ転送が行われる。
図1は、本発明の第1の実施の形態における信号処理装置のブロック図である。本形態の信号処理装置は、ローカルメモリ110を有する命令並列プロセッサ100、ローカルメモリ111を有する第1データ並列プロセッサ101、ローカルメモリ112を有する第2データ並列プロセッサ102、ローカルメモリ113を有する動き検出ユニット103、ローカルメモリ114を有するデブロックフィルタ処理ユニット104、ローカルメモリ115を有する可変長符号化/復号処理ユニット105、ローカルメモリ116を有する入出力インターフェース106、第1共有メモリ121、第1命令バス130、及び、第1データバス132を備え、第1命令バス130には、各プロセッサ100〜102と各ユニット112〜116とが接続され、第1データバス132には、ローカルメモリ110〜116と、第1共有メモリ121と、入出力インターフェース106とが接続されている。可変長符号化/復号処理ユニット105は、さらに、外部装置に対してビットストリーム入出力135を有しており、入出力インターフェース106は、外部装置に対してオーディオ入出力136とビデオ入出力137を有している。
図2は、本発明の第2の実施の形態における信号処理装置のブロック図である。図2において、図1と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
インターフェース106、及び、ブリッジユニット120とが接続されている。第2データバスには、ローカルメモリ110と第2共有メモリ122とブリッジユニット120とが接続されている。
図3は、本発明の第3の実施の形態におけるビデオエンコーダのブロック図である。
T係数が求められる。次に、量子化部305においてDCT係数が量子化される。
た、出現確率の操作は、テーブルによって行われることから、これらの符号化処理と復号処理を、VLIW(極長命令語)対応の命令並列プロセッサ(上述した第2の実施の形態では、図2に示す命令並列プロセッサ100に相当)や、SIMD型のデータ並列プロセッサ(同じく、第1データ並列プロセッサ101、あるいは、第2データ並列プロセッサ102に相当)で行ったのでは、処理性能は、改善されない。むしろ、これらの処理は、専用ハードウェア(同じく、可変長符号化/復号処理ユニット105に相当)を用いて処理することによって、命令並列プロセッサとデータ並列プロセッサの負荷分散ができ、その結果、動作周波数が低減され、処理装置の周波数バランスを良好にすることが出来る。これが、本実施の形態において、図3に示す可変長符号化部308を、図2に示す専用ハードウェアである可変長符号化/復号処理ユニット105によって、処理している理由である。
に処理できないために、並列設置された演算器が有効に活用できない。それに代わって、図7に示したように、デブロックフィルタ処理を、BS条件判定処理部602とフィルタ処理部605とからなる専用ハードウェアで実行すれば、BS計算処理とフィルタ処理を別々に演算することができ、BS条件の判定処理が高速化され、フィルタ処理が並列処理出来る。その結果、デブロックフィルタ処理を、効率よく行うことが出来る。さらに、フィルタ処理部は、輝度Yと色差UVにデータの依存がないため、並列動作が可能であり、演算器を導入すると更に処理サイクル数の削減が可能である。これが、本実施の形態において、図3に示すデブロックフィルタ310を、図2に示す専用ハードウェアであるデブロックフィルタ処理ユニット104によって、処理している理由である。
7」メガサイクルである。
図10は、本発明の第4の実施の形態におけるビデオデコーダのブロック図である。
す。
図11は、本発明の第5の実施の形態におけるオーディオエンコーダのブロック図であり、図12は、同じく、本発明の第5の実施の形態におけるオーディオデコーダのブロック図である。
、符号化が行われ、符号化オーディオ出力354として、出力される。
図13は、本発明の第6の実施の形態におけるAV再生システムのブロック図である。
図14は、本発明の第7の実施の形態におけるAV記録システムのブロック図である。
図15は、本発明の第8の実施の形態におけるAV記録/再生システムのブロック図である。本形態のAV記録/再生システムは、制御部840、記録/再生装置841、変復調/エラー処理部842、AVエンコーダ/デコーダ部843、AVインターフェース845、及び、メモリ844を備え、AVエンコーダ/デコーダ部843は、ビデオエンコーダ/デコーダ843Aとオーディオエンコーダ/デコーダ843Bを有し、AVインターフェース845は、ビデオの入出力とオーディオの入出力を行う。
、デコード後のAV信号と、その他のデータとを保存する。
ロセッサと専用ハードウェアを用いて高速に行う分野あるいはその関連分野等において利用できる。
101 第1データ並列プロセッサ
102 第2データ並列プロセッサ
103 動き検出ユニット
104 デブロックフィルタ処理ユニット
105 可変長符号化/復号処理ユニット
106 入出力インターフェース
110〜116 ローカルメモリ
120 ブリッジユニット
121 第1共有メモリ
122 第2共有メモリ
130 第1命令バス
131 第2命令バス
132 第1データバス
133 第2データバス
301 符号化制御部
302 差分検出部
303 モード切替部
304 4×4DCT変換部
305 量子化部
306 逆量子化部
307 逆4×4DCT変換部
308 可変長符号部
309 再構築部
310、338 デブロックフィルタ
311、339 フレームメモリ
312 動き補償部
313 動き検出部
316 動きベクトル
317 予測画像
318 イントラモード
319 インターモード
331 復号制御部
332 可変長復号部
333 逆量子化部
334 逆4×4DCT変換部
335 再構築部
336 動きベクトル復号部
337 動き補償部
351 圧縮部
352 符号化部
361 復号部
362 伸長部
401 コンテキストモデリング部
402 バイナリ化部
403 出現確立予測部
404 符号化部
405 適応2進算術符号化処理部
406 隣接ブロックA
407 隣接ブロックB
408 符号化対象ブロックC
602 BS条件判定処理部
603、606、804、826、844 メモリ
604 制御部
605 フィルタ処理部
607〜609 フィルタ
801 再生装置
802 復調/エラー訂正部
803 AVデコーダ部
803A ビデオデコーダ
803B オーディオデコーダ
805、807 D/A変換器
822、824 A/D変換器
825 AVエンコーダ部
825A ビデオエンコーダ
825B オーディオエンコーダ
827 エラー訂正符号付与/変調部
828 記録装置
840 制御部
841 記録/再生装置
842 変復調/エラー処理部
843 AVエンコーダ/でコーダ部
843A ビデオエンコーダ/デコーダ
843B オーディオエンコーダ/デコーダ
845 AVインターフェース
901 システム制御部
902 SIMD型並列データ処理装置
903 MIMD型並列データ処理装置
904 共有メモリバス
905 共有メモリ
910、920 全体制御部
911〜914、925〜928 演算器
915〜918、929〜932 ローカルメモリ
921〜924 制御部
1001 画像処理装置
1002 命令メモリ
1003 プロセッサ
1004 SIMD型演算手段
1005 VLC(可変長符号化)処理手段
1006 外部データインターフェース
1007 内部データバス
1008 ビデオデータバス
1009 ビデオ入力装置
1010 ビデオ出力装置
1011 外部メモリ
Claims (6)
- 第1データバスと、
前記第1データバスに接続され、前記第1データバスを介して共有される第1共有メモリと、
前記第1データバスとは独立分離した状態に設けられる第2データバスと、
前記第2データバスに接続され、前記第2データバスを介して共有される第2共有メモリと、
前記第1データバスと前記第2データバスとを仲介し、前記第1データバスと前記第2データバスとを間接的に接続するブリッジユニットと、
音声オーディオの圧縮処理を行い、前記第2データバスに接続される命令並列プロセッサと、
前記第1データバスに接続されるが前記第2データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像圧縮処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、
前記命令並列プロセッサ、前記データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して圧縮処理を実行することを特徴とする画像音声信号処理装置。 - 第1データバスと、
前記第1データバスに接続され、前記第1データバスを介して共有される第1共有メモリと、
前記第1データバスとは独立分離した状態に設けられる第2データバスと、
前記第2データバスに接続され、前記第2データバスを介して共有される第2共有メモリと、
前記第1データバスと前記第2データバスとを仲介し、前記第1データバスと前記第2データバスとを間接的に接続するブリッジユニットと、
音声オーディオの伸長処理を行い、前記第2データバスに接続される命令並列プロセッサと、
前記第1データバスに接続されるが前記第2データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像伸長処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、
前記命令並列プロセッサ、前記データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して伸長処理を実行することを特徴とする画像音声信号処理装置。 - 前記データ並列プロセッサは第1のローカルメモリを有し、
前記専用ハードウェアは第2のローカルメモリを有し、
前記命令並列プロセッサは第3のローカルメモリを有し、
前記第1のローカルメモリと前記第2のローカルメモリは前記第1データバスに接続され、
前記第3のローカルメモリは前記第2データバスに接続され、
前記ブリッジユニットは、前記第1データバスと前記第2データバスとに互いに独立した状態で接続される第1、第2ローカルメモリと第3のローカルメモリ間のデータ転送を仲介する請求項1または2記載の画像音声信号処理装置。 - ローカルメモリを有する入出力インターフェイスをさらに備え、
前記入出力インターフェイスの前記ローカルメモリは前記第1データバスに接続される請求項1から3のいずれかに記載の画像音声信号処理装置。 - 前記命令並列プロセッサは、前記入出力インターフェイスによる入出力処理を制御する請求項4記載の画像音声信号処理装置。
- 請求項1から5のいずれかの画像音声信号処理装置を有する電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013018161A JP5655100B2 (ja) | 2013-02-01 | 2013-02-01 | 画像音声信号処理装置及びそれを用いた電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013018161A JP5655100B2 (ja) | 2013-02-01 | 2013-02-01 | 画像音声信号処理装置及びそれを用いた電子機器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009271743A Division JP2010055629A (ja) | 2009-11-30 | 2009-11-30 | 画像音声信号処理装置及びそれを用いた電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013084311A JP2013084311A (ja) | 2013-05-09 |
JP5655100B2 true JP5655100B2 (ja) | 2015-01-14 |
Family
ID=48529362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013018161A Expired - Lifetime JP5655100B2 (ja) | 2013-02-01 | 2013-02-01 | 画像音声信号処理装置及びそれを用いた電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5655100B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165989A (ja) * | 1997-08-22 | 1999-03-09 | Sony Computer Entertainment:Kk | 情報処理装置 |
JP3410669B2 (ja) * | 1997-11-28 | 2003-05-26 | 松下電器産業株式会社 | 映像音声処理装置 |
JP2001309386A (ja) * | 2000-04-19 | 2001-11-02 | Mitsubishi Electric Corp | 画像処理装置 |
JP2002024084A (ja) * | 2000-07-12 | 2002-01-25 | Mitsubishi Electric Corp | 半導体集積回路装置および電子システム |
JP2002358288A (ja) * | 2001-05-31 | 2002-12-13 | Hitachi Ltd | 半導体集積回路及びコンピュータ読取り可能な記録媒体 |
-
2013
- 2013-02-01 JP JP2013018161A patent/JP5655100B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2013084311A (ja) | 2013-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4699685B2 (ja) | 信号処理装置及びそれを用いた電子機器 | |
KR101927283B1 (ko) | 비디오 코딩을 위한 저 복잡성 인트라 예측 | |
JP4920034B2 (ja) | マルチスレッドsimd処理を利用したメディア符号化の並列実行 | |
US8009740B2 (en) | Method and system for a parametrized multi-standard deblocking filter for video compression systems | |
US9270988B2 (en) | Method of determining binary codewords for transform coefficients | |
WO2013069530A1 (ja) | 画像符号化及び復号方法、装置、プログラム | |
JP6989699B2 (ja) | ビデオ符号化のためのインター予測機器及び方法の補間フィルタ | |
KR20040054776A (ko) | 고레벨 화소-그리드 모션 보상을 사용하여 복잡성을감소시키기 위한 디코딩 | |
US20130188694A1 (en) | Method of determining binary codewords for transform coefficients | |
US20210044799A1 (en) | Adaptive resolution change in video processing | |
JP4318019B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2023027401A (ja) | 復号装置、プログラム、及び復号方法 | |
US11962784B2 (en) | Intra prediction | |
JP5655100B2 (ja) | 画像音声信号処理装置及びそれを用いた電子機器 | |
JP2010055629A (ja) | 画像音声信号処理装置及びそれを用いた電子機器 | |
US11317122B2 (en) | Filters for motion compensation interpolation with reference down-sampling | |
Lin et al. | Introduction to Video Coding and H. 264/AVC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130201 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130528 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5655100 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |