JPWO2006129518A1 - メモリアクセス方法 - Google Patents

メモリアクセス方法 Download PDF

Info

Publication number
JPWO2006129518A1
JPWO2006129518A1 JP2006519711A JP2006519711A JPWO2006129518A1 JP WO2006129518 A1 JPWO2006129518 A1 JP WO2006129518A1 JP 2006519711 A JP2006519711 A JP 2006519711A JP 2006519711 A JP2006519711 A JP 2006519711A JP WO2006129518 A1 JPWO2006129518 A1 JP WO2006129518A1
Authority
JP
Japan
Prior art keywords
data
memory
bank
dimensional image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006519711A
Other languages
English (en)
Other versions
JP5147102B2 (ja
Inventor
岡本 彰
彰 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2006519711A priority Critical patent/JP5147102B2/ja
Publication of JPWO2006129518A1 publication Critical patent/JPWO2006129518A1/ja
Application granted granted Critical
Publication of JP5147102B2 publication Critical patent/JP5147102B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0607Interleaved addressing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Input (AREA)

Abstract

同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリを対象として、アクセス間の空き時間を解消してパフォーマンスを向上し得る、メモリアクセス方法を得る。データ(D21,D22,D23,D24)が、それぞれ第0バンク(70)、第1バンク(71)、第2バンク(72)、第3バンク(73)に書き込まれる。異なるバンクへの連続アクセスであるため、互いに連続するデータ間には空き時間は発生しない。また、データ(D21〜D24)のバースト長がいずれも8であるため、データ(D21)の書き込みが開始されてからデータ(D25)の書き込みが開始されるまでの間には、15サイクル以上の16サイクルの間隔が空いている。従って、データ(D21)の書き込みが終了してからデータ(D25)の書き込みが開始されるまでの間にも空き時間は発生しない。

Description

本発明は、メモリアクセス方法に関し、特に、トランスコーダ処理装置に用いられるメモリへのアクセス方法に関する。
画像符号化データを異なるビットレートに再符号化する従来のトランスコーダ処理装置が、下記特許文献1に開示されている。図20は、下記特許文献1に示された従来のトランスコーダ処理装置の構成を示すブロック図である。図20を参照して、復号器201は、画像符号化データを復号し、その小ブロック単位の第1の動きベクトルを抽出する機能手段を備える。変換処理部203は、第1の動きベクトルを縮小して第3の動きベクトルを算出する機能手段と、再符号化対象の小ブロックに含まれる第3の動きベクトルと周囲の第3の動きベクトルとのノルムの和が最小のものを第2の動きベクトルとする機能手段と、その最小値を評価値とする機能手段と、該評価値が表す動きベクトルの精度が高いほど狭くした再探索範囲を小ブロック毎に決定し、評価値又は再探索範囲に応じて優先度を決定する機能手段とを備える。再探索処理部204は、該優先度の順に該優先度に対応した再探索範囲で再探索し再符号化時の動きベクトルを求める。
特開2002−344971号公報(要約書)
しかしながら、上記特許文献1に示された従来のトランスコーダ処理装置によると、復号器201から出力された復号画像データを格納しておくためのメモリとして、例えばDDR(Double Data Rate)メモリのような、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリが採用された場合の対策がとられていないという問題がある。
本発明はかかる問題を解決するために成されたものであり、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリを対象として、アクセス間の空き時間を解消してパフォーマンスを向上し得る、メモリアクセス方法を得ることを目的とする。
第1の発明に係るメモリアクセス方法は、第1及び第2のバンクを含む複数のバンクを有し、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリを対象とした、メモリアクセス方法であって、前記メモリへ書き込むべき2次元画像データは、一度のバースト転送によって転送可能なデータ量ごとに複数のデータ群に分割され、前記メモリへの前記2次元画像データの書き込み動作は、同一バンクへの書き込みが連続しないよう、前記所定数のクロックサイクル内において、(a)前記複数のデータ群に含まれる第1のデータ群を、前記第1のバンクに書き込むステップと、(b)前記第1のデータ群に連続する第2のデータ群を、前記第2のバンクに書き込むステップとを有することを特徴とする。
第2の発明に係るメモリアクセス方法は、第1の発明に係るメモリアクセス方法において特に、前記第1及び第2のデータ群はそれぞれ、前記メモリ内に格納された前記2次元画像データ内においては複数行に分割されて配置され、前記第1のデータ群は奇数行に配置され、前記第2のデータ群は偶数行に配置されることを特徴とする。
第3の発明に係るメモリアクセス方法は、第1及び第2のバンクを含む複数のバンクを有し、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリを対象とした、メモリアクセス方法であって、前記メモリ内に格納されている2次元画像データは、一度のバースト転送によって転送可能なデータ量ごとに複数のデータ群に分割されて前記メモリから読み出され、前記メモリからの前記2次元画像データの読み出し動作は、同一バンクからの読み出しが連続しないよう、前記所定数のクロックサイクル内において、(a)前記複数のデータ群に含まれる第1のデータ群を、前記第1のバンクから読み出すステップと、(b)前記第1のデータ群に連続する第2のデータ群を、前記第2のバンクから読み出すステップとを有することを特徴とする。
第4の発明に係るメモリアクセス方法は、第1又は第3の発明に係るメモリアクセス方法において特に、前記2次元画像データ内の着目ブロックの動きベクトルを抽出するために、前記着目ブロックの移動先と予想される参照ブロック内に含まれる複数のデータ群と、前記参照ブロックに隣接して規定される複数のブロック内に含まれる複数のデータ群とが、前記メモリから連続的に読み出されることを特徴とする。
第5の発明に係るメモリアクセス方法は、第1又は第3の発明に係るメモリアクセス方法において特に、前記第1のバンクにアクセスしている途中に、前記第1のバンクに対する他のアクセス要求が発生した場合において、前記第2のバンクに対するアクセス要求も発生しているときには、前記他のアクセス要求に応じた前記第1のバンクへのアクセスよりも、前記第2のバンクへのアクセスが優先されることを特徴とする。
第6の発明に係るメモリアクセス方法は、第1又は第3の発明に係るメモリアクセス方法において特に、いずれも異なるバンクに対応するn個(n:前記複数のバンクの個数)のデータ群が行方向に連続することによって構成されるデータ集合が、前記メモリ内に格納された前記2次元画像データの各行内において繰り返し配置されるように、前記2次元画像データを構成するデータ群が前記メモリに書き込まれることを特徴とする。
第1の発明に係るメモリアクセス方法によれば、メモリへ2次元画像データを書き込む際に第1及び第2のバンクを切り換えることにより、第1及び第2のデータ群を連続して書き込むことができる。その結果、前後のアクセス間に生じる空き時間を回避又は低減でき、パフォーマンスの向上を図ることができる。
第2の発明に係るメモリアクセス方法によれば、メモリから第1のデータ群を読み出すことによって、2次元画像データのうちの奇数行のデータのみを読み出すことができ、メモリから第2のデータ群を読み出すことによって、2次元画像データのうちの偶数行のデータのみを読み出すことができる。その結果、インタレース方式の画像を容易に読み出すことが可能となる。
第3の発明に係るメモリアクセス方法によれば、メモリから2次元画像データを読み出す際に第1及び第2のバンクを切り換えることにより、第1及び第2のデータ群を連続して読み出すことができる。その結果、前後のアクセス間に生じる空き時間を回避又は低減でき、パフォーマンスの向上を図ることができる。
第4の発明に係るメモリアクセス方法によれば、バースト転送によって高速なデータ転送が可能なメモリを使用した場合に、多数のブロック内に含まれる多数のデータ群を1回の動作で連続的に転送することにより、少数のデータ群を複数回に分けて転送する方法と比較すると、データ転送の効率を高めることができる。
第5の発明に係るメモリアクセス方法によれば、第1のバンクに対する前後のアクセス間に生じる空き時間を有効に利用することができ、他のアクセス要求に応じた第1のバンクへのアクセスが完了した後に第2のバンクへアクセスする場合と比較すると、全体として処理時間の短縮化を図ることができる。
第6の発明に係るメモリアクセス方法によれば、メモリ内に格納されている2次元画像データを行方向へのスキャンによって読み出す場合、いずれも異なるバンクに対応するn個のデータ群が順番に読み出される。その結果、行方向へのスキャンを行う場合にも、前後のアクセス間に生じる空き時間を回避又は低減でき、パフォーマンスの向上を図ることができる。
この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態に係るトランスコーダ処理装置の構成を示すブロック図である。 動き探索部における第1の動きベクトル抽出処理を説明するための模式図である。 動き探索部における第1の動きベクトル抽出処理を説明するための模式図である。 動き探索部における第1の動きベクトル抽出処理を説明するための模式図である。 動き探索部における第2の動きベクトル抽出処理を説明するための模式図である。 DDR2の読み出し特性を説明するためのタイミングチャートである。 DDR2の書き込み特性を説明するためのタイミングチャートである。 メモリへの復号データの書き込みシーケンスを説明するためのタイミングチャートである。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリへの復号データのマッピング方法を順に説明するための図である。 メモリ内に格納されている2次元画像データを示す図である。 メモリからのデータの読み出しシーケンスを説明するためのタイミングチャートである。 メモリ内に格納されている2次元画像データの配置の変形例を示す図である。 前後のアクセス間に空き時間が発生した場合の処理を説明するためのタイミングチャートである。 従来のトランスコーダ処理装置の構成を示すブロック図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相当する要素を示すものとする。
図1は、本発明の実施の形態に係るトランスコーダ処理装置の構成を示すブロック図である。本実施の形態に係るトランスコーダ処理装置では、一例として、MPEG2フォーマットで符号化された符号化データが、H.264フォーマットの符号化データに再符号化されるものとする。
トランスコーダ処理装置は、メモリ1、復号器2、動き探索部3、及び符号器4を備えている。メモリ1は、複数のバンクを有し、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル(以下「サイクル」と略す)以上の間隔を空けることが要求されるメモリである。本実施の形態に係るトランスコーダ処理装置では、メモリ1として、バス幅が32ビットであり、バースト長が8であり、4個のバンク(第0バンク70、第1バンク71、第2バンク72、及び第3バンク73)を有するDDR2を想定している。バス幅が32ビットで、バースト長が8であるため、一度のバースト転送で256(=32×8)ビットのデータを転送することが可能である。また、メモリ1の記憶領域の一部は、バッファ領域5,6として割り当てられている。
MPEG2フォーマットで符号化された符号化データD1のビットストリームは、バッファ領域5に書き込まれる。本実施の形態に係るトランスコーダ処理装置では、符号化データD1は、一例として、8ビットのYUV420形式の画像データであるものとする。8ビットのYUV420形式の場合は、1ピクセルあたりのデータ量は12ビットとなる。なお、本実施の形態に係るトランスコーダ処理装置は、8ビットのYUV420形式に限らず、他の任意の形式の画像データを処理することが可能である。
復号器2は、バッファ領域5から読み出した符号化データD1のビットストリームを復号して、復号データD2を出力する。復号データD2はメモリ1に書き込まれ、これにより、メモリ1内に2次元画像データが格納される。メモリ1内に格納された2次元画像データ、及びメモリ1への復号データD2の書き込みシーケンスについては、後に詳述する。また、復号器2は、符号化データD1内に含まれている動きベクトルに関する情報を抽出して、データD3として動き探索部3に入力する。
動き探索部3は、データD3に基づき、メモリ1内に格納されている2次元画像データの中から、参照ブロックに関するデータD4を読み出す。そして、ブロックマッチング法によって着目ブロックの動きベクトルを求め、データD5として符号器4に入力する。動き探索部3における処理については、後に詳述する。
符号器4は、データD5に基づいて、H.264フォーマットで再符号化された符号化データD6を作成し、符号化データD6のビットストリームをバッファ領域6に書き込む。符号化データD6のビットストリームは、バッファ領域6から読み出される。
なお、符号化データD1のビットストリームは、バッファ領域5を介さずに復号器2に直接入力されてもよいし、符号化データD6のビットストリームは、バッファ領域6を介さずに直接出力されてもよい。
<動き探索部3における第1の処理>
図2〜4は、動き探索部3における第1の動きベクトル抽出処理を説明するための模式図である。図2を参照して、動き探索部3は、第nフレームの2次元画像データ内における着目ブロックBL0(縦横各16ピクセル)の位置と、復号器2から入力された動きベクトルV0に関するデータD3とに基づいて、第n−1フレームの2次元画像データ内において着目ブロックBL0の移動先と予想されるブロックBL1(縦横各16ピクセル)を割り出す。次に、動き探索部3は、ブロックBL1を中心として、ブロックBL1よりも縦方向及び横方向にそれぞれ±1ピクセル大きいサイズの参照ブロックBL2(縦横各18ピクセル)を規定する。そして、メモリ1内に格納されている第n−1フレームの2次元画像データの中から、参照ブロックBL2に対応する部分のデータD4を読み出す。メモリ1からのデータD4の読み出しシーケンスについては、後に詳述する。
図3を参照して、次に、動き探索部3は、参照ブロックBL2内で着目ブロックBL0を順次移動させながら、各位置において類似度を判定し、参照ブロックBL2内で着目ブロックBL0に最も類似している箇所を求める。類似度の判定手法としては、周知のブロックマッチング法を用い、着目ブロックBL0内の各ピクセルと参照ブロックBL2内の各ピクセルとの画素値の差分を求め、差分の絶対値の総和によって類似度を判定する。ここでは、図3に示した着目ブロックBL0の箇所(参照ブロックBL2の左上隅)で、類似度が最も高かったものとする。
次に、動き探索部3は、参照ブロックBL2の左上隅の着目ブロックBL0を中心として、その着目ブロックBL0よりも縦方向及び横方向にそれぞれ±1ピクセル大きいサイズの参照ブロックBL3(縦横各18ピクセル)を規定する。そして、メモリ1内に格納されている第n−1フレームの2次元画像データの中から、参照ブロックBL3に対応する部分のデータD4を読み出す。そして、上記と同様に、ブロックマッチング法によって、参照ブロックBL3内で着目ブロックBL0に最も類似している箇所を求める。図4には、参照ブロックBL3内で着目ブロックBL0に最も類似している箇所を、ブロックBL4(縦横各16ピクセル)として抜き出して示している。
図4を参照して、次に、動き探索部3は、ブロックBL4を4個の小ブロックBL4a〜4d(いずれも縦横各8ピクセル)に区切り、その後、小ブロックBL4aを中心として、小ブロックBL4aよりも縦方向及び横方向にそれぞれ±1ピクセル大きいサイズの参照ブロックBL5(縦横各10ピクセル)を規定する。そして、メモリ1内に格納されている第n−1フレームの2次元画像データの中から、参照ブロックBL5に対応する部分のデータD4を読み出す。そして、上記と同様にブロックマッチング法によって類似判定を行うことにより、小ブロックBL4aに関する最適動きベクトルを求める。小ブロックBL4b〜BL4dについても同様の処理を行い、小ブロックBL4b〜BL4dに関する最適動きベクトルをそれぞれ求める。
<動き探索部3における第2の処理>
図5は、動き探索部3における第2の動きベクトル抽出処理を説明するための模式図である。まず、動き探索部3は、第nフレームの2次元画像データ内における着目ブロックBL0の位置と、復号器2から入力された動きベクトルV0に関するデータD3とに基づいて、第n−1フレームの2次元画像データ内において着目ブロックBL0の移動先と予想されるブロックBL1を割り出す。次に、動き探索部3は、上下左右方向及び斜め方向でブロックBL1に隣接するブロックBL1a〜BL1h(いずれも縦横各16ピクセル)を規定する。これにより、ブロックBL1を中心とした、縦横各48ピクセルの領域RAが規定される。但し、領域RAのサイズは縦横各48ピクセルに限らず、ブロックBL1a〜BL1hのサイズを変更することにより、任意のサイズに設定することが可能である。
次に、動き探索部3は、メモリ1内に格納されている第n−1フレームの2次元画像データの中から、領域RAに対応する部分のデータD4を連続的に読み出す。そして、領域RA内で着目ブロックBL0を順次移動させながら、各位置においてブロックマッチング法によって類似度を判定することにより、領域RA内で着目ブロックBL0に最も類似している箇所を探索する。次に、図4に示した処理と同様に、領域RA内で着目ブロックBL0に最も類似しているブロックを4個の小ブロックに区切り、各小ブロックに関する最適動きベクトルをそれぞれ求める。
<DDR2の読み出し特性及び書き込み特性>
以下、図1に示したメモリ1として使用されるDDR2の読み出し特性及び書き込み特性について説明する。図6は、DDR2の読み出し特性を説明するためのタイミングチャートである。図6では、この順に読み出すべきデータD41,D42が、いずれも第0バンク70に書き込まれている場合を想定している。DDR2では、例えば12サイクルで同一バンクからのデータの読み出しが可能である。つまり、図6に示した例では、データD41の読み出しがクロックC0の立ち上がりから開始されているため、続くデータD42の読み出しは、クロックC12の立ち上がりから開始されることとなる。その結果、バースト長が8であることを考慮すると、データD41の読み出しが終了してからデータD42の読み出しが開始されるまでの間に、例えば8サイクルの空き時間が発生してしまう。
図7は、DDR2の書き込み特性を説明するためのタイミングチャートである。図7では、この順に書き込むべきデータD21,D22を、いずれも第0バンク70に書き込む場合を想定している。DDR2では、例えば15サイクルで同一バンクへのデータの書き込みが可能である。つまり、図7に示した例では、データD21の書き込みがクロックC0の立ち上がりから開始されているため、続くデータD22の書き込みは、クロックC15の立ち上がりから開始されることとなる。その結果、バースト長が8であることを考慮すると、データD21の書き込みが終了してからデータD22の書き込みが開始されるまでの間に、例えば11サイクルの空き時間が発生してしまう。
また、図6,7には示していないが、DDR2では、同一バンクに対する読み出しアクセス及び書き込みアクセスをこの順に連続させる場合には、例えば7サイクルの空き時間が発生してしまい、同一バンクに対する書き込みアクセス及び読み出しアクセスをこの順に連続させる場合には、例えば12サイクルの空き時間が発生してしまう。
そこで、本実施の形態に係るトランスコーダ処理装置では、前後のアクセス間に空き時間が発生しないように、メモリ1への復号データD2の書き込みシーケンス、及びメモリ1からのデータD4の読み出しシーケンスを、以下のように規定する。
<メモリ1への書き込みシーケンス>
まず、復号器2からメモリ1への復号データD2の書き込みシーケンスについて説明する。図8は、メモリ1への復号データD2の書き込みシーケンスを説明するためのタイミングチャートである。図1,8を参照して、本実施の形態に係るトランスコーダ処理装置では、この順に書き込むべきデータD21,D22,D23,D24,D25,・・・が、それぞれ第0バンク70、第1バンク71、第2バンク72、第3バンク73、第0バンク70、・・・に書き込まれる。異なるバンクへの連続アクセスであるため、データD21とデータD22との間、データD22とデータD23との間、データD23とデータD24との間、及びデータD24とデータD25との間には、いずれも空き時間は発生しない。また、データD21,D25はいずれも第0バンク70へ書き込まれるが、データD21〜D24のバースト長がいずれも8であるため、データD21の書き込みが開始されてからデータD25の書き込みが開始されるまでの間には、15サイクル以上の16サイクルの間隔が空いている。従って、データD21の書き込みが終了してからデータD25の書き込みが開始されるまでの間にも、空き時間は発生しない。
このように本実施の形態に係るトランスコーダ処理装置によれば、メモリ1としてDDR2を用いた場合であっても、復号器2からメモリ1へ復号データD2を書き込む際に生じる空き時間を回避又は低減できるため、パフォーマンスの向上を図ることができる。
図9〜15は、メモリ1への復号データD2のマッピング方法を順に説明するための図である。ここでは図面の簡略化のため、2行×3列の合計6個のマクロブロックMB11〜MB13,MB21〜MB23(いずれも縦横各16ピクセル)を代表的に示している。なお、一度のバースト転送で256ビットのデータを転送可能であり、1ピクセルあたりのデータ量は12ビットであるため、一度のバースト転送で最大21ピクセル分のデータを転送可能である。しかし、偶数個のピクセルのほうが扱いが容易であるため、本実施の形態に係るトランスコーダ処理装置では、一度のバースト転送で20ピクセル分のデータが転送されるものとする。
図9を参照して、まず、第0バンク70に書き込まれる20ピクセル分のデータD21が、10ピクセル単位で2つに分割されて、マクロブロックMB11の第1行第1〜10列と第3行第1〜10列とに、それぞれ配置される。なお、各ピクセル内に付した数字は、そのピクセルのデータが書き込まれるバンクの番号を意味する。
図10を参照して、次に、第1バンク71に書き込まれる20ピクセル分のデータD22が、同様に10ピクセル単位で2つに分割されて、マクロブロックMB11の第2行第1〜10列と第4行第1〜10列とに配置される。
バンクを切り換えながら下方向に向かって書き込みが進行し、データD21,D22と同様の処理がデータD23〜D28についても繰り返されることにより、図11に示すように、マクロブロックMB11の第1〜16行第1〜10列までの配置が完了する。
図12を参照して、第2バンク72に書き込まれる20ピクセル分のデータD29が、同様に10ピクセル単位で2つに分割されて、マクロブロックMB11の第1行第11〜16列と第3行第11〜16列とに、それぞれ配置される。なお、マクロブロックMB12にマスク処理を施すことによって、×印を付した部分のデータD29がマクロブロックMB12に書き込まれることが防止される。
データD29と同様の処理をデータD210〜D216についても繰り返すことにより、図13に示すように、マクロブロックMB11の第1〜16行第11〜16列までの配置が完了する。つまり、マクロブロックMB11へのデータの書き込みが完了する。
図14を参照して、次に、データD29〜D216と同様の処理をデータD217〜D224についても繰り返すことにより、図14に示すように、マクロブロックMB12の第1〜16行第1〜4列までの配置が完了する。なお、マクロブロックMB11にマスク処理を施すことによって、×印を付した部分のデータD217〜D224がマクロブロックMB11に書き込まれることが防止される。
その後は、上記と同様の処理が繰り返されることにより、マクロブロックMB12,MB13,MB21,MB22,MB23の順で書き込みが進行し、図15に示した2次元画像データが得られる。
<メモリ1からの読み出しシーケンス>
次に、動き探索部3によるメモリ1からのデータD4の読み出しシーケンスについて説明する。図16は、メモリ1内に格納されている2次元画像データを示す図であり、図15に示した2次元画像データに対応する。以下、図16中に一点鎖線で示した箇所に参照ブロックBL2が規定されたものと仮定する。また、以下では、動き探索部3が第1の動きベクトル抽出処理(図2〜4参照)を行う場合の読み出し動作について説明するが、第2の動きベクトル抽出処理(図5参照)を行う場合であっても、基本的な動作の内容は同様である。
まず、メモリブロックMB12の第9行第5〜14列及び第11行第5〜14列に配置されている20ピクセル分のデータD41が、第0バンク70から読み出される。次に、メモリブロックMB12の第10行第5〜14列及び第12行第5〜14列に配置されている20ピクセル分のデータD42が、第1バンク71から読み出される。同様に、バンクを切り換えながら下方向に向かって読み出しが進行することにより、データD43,D44,D45,・・・,D410の順に読み出しが行われる。その後、列を切り換えて、データD411〜D420がこの順に読み出され、さらに列を切り換えて、データD421〜D430がこの順に読み出される。
図17は、メモリ1からのデータD4の読み出しシーケンスを説明するためのタイミングチャートである。本実施の形態に係るトランスコーダ処理装置では、この順に読み出されるべきデータD41,D42,D43,D44,D45,・・・が、それぞれ第0バンク70、第1バンク71、第2バンク72、第3バンク73、第0バンク70、・・・に書き込まれている。従って、読み出しの際には異なるバンクへの連続アクセスとなるため、データD41とデータD42との間、データD42とデータD43との間、データD43とデータD44との間、及びデータD44とデータD45との間には、いずれも空き時間は発生しない。また、データD41,D45はいずれも第0バンク70から読み出されるが、データD41〜D44のバースト長がいずれも8であるため、データD41の読み出しが開始されてからデータD45の読み出しが開始されるまでの間には、12サイクル以上の16サイクルの間隔が空いている。従って、データD41の読み出しが終了してからデータD45の読み出しが開始されるまでの間にも、空き時間は発生しない。
このように本実施の形態に係るトランスコーダ処理装置によれば、メモリ1としてDDR2を用いた場合であっても、動き探索部3がメモリ1からデータD4を読み出す際に生じる空き時間を回避又は低減できるため、パフォーマンスの向上を図ることができる。
なお、図16を参照して、インタレース方式の参照ブロックBL2が必要な場合には、データD41,D43,D45,・・・,D429の順に読み出しを行えばよい。例えばデータD41は、10ピクセル単位で2つに分割され、10ピクセル分のデータが2次元画像データの奇数行に配置されている。従って、データD41を読み出すことによって奇数2行分のデータが自動的に読み出されるため、インタレース方式の参照ブロックBL2を容易に得ることができる。
また、データD41〜D430のうち図16において砂地のハッチングを付した部分は、参照ブロックBL2の外に配置されているため、本来ならば読み出しが不要なデータである。しかし、本実施の形態に係るトランスコーダ処理装置は、20ピクセル分のデータ群を一単位としたバースト転送を想定しているため、これらの不要なデータもメモリ1から読み出されて動き探索部3に転送される。
参照ブロックBL2のデータを読み出す場合と同様に、図3に示した参照ブロックBL3のデータをメモリ1から読み出す場合にも、動き探索部3への不要なデータの転送が行われる。従って、図2〜4に示した方法によると、メモリ1から動き探索部3へ転送されるデータの全転送量のうち、不要なデータの転送量が占める割合が大きくなる。
一方、図5に示した方法によると、互いに隣接するブロックBL1,BL1a〜BL1h同士の境界では不要なデータは発生せず、領域RAの外周部分でしか不要なデータは発生しない。そのため、メモリ1から動き探索部3へ転送されるデータの全転送量のうち、不要なデータの転送量が占める割合は、図2〜4に示した方法よりも少なくなる。
また、DDR2ではバースト転送によって高速なデータ転送が可能であるため、少量のデータを複数回に分けて転送する図2〜4に示した方法よりも、多量のデータを1回で転送する図5に示した方法のほうがデータ転送の効率が高い。
<2次元画像データの配置の変形例>
図18は、メモリ1内に格納されている2次元画像データの配置の変形例を示す図である。図15に示した例では、2次元画像データ内の全領域において、奇数行が第0バンク70及び第2バンク72に対応し、偶数行が第1バンク71及び第3バンク73に対応していた。これに対し、図18に示した2次元画像データでは、全列中の半分の列において、行の奇偶とバンク番号との対応関係が、図15に示した2次元画像データとは逆になっている。図18に示した例によると、メモリブロックMB12,MB22の第5〜16列、及びメモリブロックMB13,MB23の第1〜8列においては、図15に示した例とは逆に、奇数行が第1バンク71及び第3バンク73に対応し、偶数行が第0バンク70及び第2バンク72に対応している。
その結果、図18に示した2次元画像データの例えば第1行を参照すると、左端のピクセルを含む最初の10列分が第0バンク70に対応し、次の10列分が第2バンク72に対応し、さらに次の10列分が第1バンク71に対応し、さらに次の10列分が第3バンク73に対応している。つまり、1行内で連続する40列分のデータ集合の中に、第0バンク70から第3バンク73までの全てのバンクに対応するデータが含まれている。そして、実際にはマクロブロックの個数は多数であるため、この1行×40列分のデータ集合(つまり、全てのバンクに対応するデータを含むデータ集合)が、2次元画像データの第1行内において繰り返し配置されることになる。以上では2次元画像データの第1行を例にとり説明したが、第2行以降の全ての行についても同様である。
図18に示した2次元画像データをラスタスキャンによって読み出す場合、例えば2次元画像データの第1行を左端から右方向に走査する場合には、第0バンク70、第2バンク72、第1バンク71、第3バンク73、・・・の順にアクセスされる。つまり、4個のバンクが順番にアクセスされて読み出しが行われる。そのため、図17に示した例と同様に、ラスタスキャンを行う場合にも前後のアクセス間に空き時間は発生しない。従って、図18に示した2次元画像データは、メモリ1内に格納されている2次元画像データをラスタスキャンしてディスプレイ(図示しない)に表示する等の用途がある場合に、特に有効となる。
<空き時間が生じた場合の割り込み処理>
図19は、前後のアクセス間に空き時間が発生した場合の処理を説明するためのタイミングチャートである。ここでは、データD2W0の書き込みのために第0バンク70へアクセスしている途中に、第0バンク70からデータD4R0を読み出すためのアクセス要求が発生した場合を想定している。上記の通り、DDR2では、同一バンクに対する書き込みアクセス及び読み出しアクセスをこの順に連続させる場合には、12サイクルの空き時間が発生してしまう。つまり、図19に示した例では、データD2W0の書き込みがクロックC0の立ち上がりから開始されているため、データD4R0の読み出しは、クロックC16の立ち上がりから開始されることとなる。
このような場合において、データD4R0を読み出すための第0バンク70へのアクセス要求のほかに、他のバンクへのアクセス要求も発生している場合には、当該他のバンクへのアクセス要求を優先して処理する。例えば、データD2W1の書き込みのために第1バンク71へのアクセス要求が発生している場合には、図19に示したように、第0バンク70へのデータD2W0の書き込みが終了した後、第1バンク71へのデータD2W1の書き込みを行い、その後に、第0バンク70からのデータD4R0の読み出しを行う。
これにより、空き時間を有効に利用することができ、データD4R0を読み出した後にデータD2W1を書き込む場合と比較すると、全体として処理時間の短縮化を図ることができる。
以上では、同一バンクに対する書き込みアクセス及び読み出しアクセスをこの順に連続させる場合の空き時間の有効利用について説明したが、同一バンクに対する複数の書き込みアクセスを連続させる場合、同一バンクに対する複数の読み出しアクセスを連続させる場合、又は、同一バンクに対する読み出しアクセス及び書き込みアクセスをこの順に連続させる場合についても、上記と同様に他のバンクへのアクセス要求を優先して処理することによって、空き時間を有効利用することが可能である。
以下、空き時間が発生した場合に優先して実行する処理内容及び優先順位について説明する。
本実施の形態に係るトランスコーダ処理装置は、メモリ1内に格納されている2次元画像データを読み出して、ディスプレイ(図示しない)に画像を表示する機能を有している。画像を表示するために2次元画像データを読み出す処理にはリアルタイム性が要求されるため、空き時間が発生した場合には、この処理(表示のための2次元画像データの読み出し処理)を最優先に実行する。つまり、表示のための2次元画像データの読み出し処理の優先順位を1番とする。
動き探索部3がメモリ1から読み出す参照ブロックBL2,BL3(図3参照)や領域RA(図5参照)のデータD4は、データ量が多い。また、動き探索部3が速やかに処理を進めるためには、メモリ1から動き探索部3へデータD4を素早く転送する必要がある。そこで、空き時間が発生した場合には、データD4の読み出し処理を、上記表示のための2次元画像データの読み出し処理に次いで優先して実行する。つまり、データD4の読み出し処理の優先順位を2番とする。
図1を参照して、符号化データD1はMPEG2フォーマットで符号化されたデータであるため、データ量は少ない。また、メモリ1に対する読み出しアクセスと書き込みアクセスとの切り換え回数は、なるべく抑える必要がある。そこで、空き時間が発生した場合には、バッファ領域5からの符号化データD1の読み出し処理を、上記データD4の読み出し処理に次いで優先して実行する。つまり、符号化データD1の読み出し処理の優先順位を3番とする。
同様に、符号化データD6はH.264フォーマットで符号化されたデータであるため、データ量は少ない。また、メモリ1に対する読み出しアクセスと書き込みアクセスとの切り換え回数は、なるべく抑える必要がある。そこで、空き時間が発生した場合には、バッファ領域6からの符号化データD6の読み出し処理を、上記符号化データD1の読み出し処理に次いで優先して実行する。つまり、符号化データD6の読み出し処理の優先順位を4番とする。
復号器2からメモリ1に書き込まれる復号データD2は、符号化データD1が復号されたものであるため、データ量が多い。そこで、空き時間が発生した場合には、メモリ1への復号データD2の書き込み処理を、上記符号化データD6の読み出し処理に次いで優先して実行する。つまり、復号データD2の書き込み処理の優先順位を5番とする。
上記の通り、符号化データD1はMPEG2フォーマットで符号化されたデータであるため、データ量は少ない。そこで、空き時間が発生した場合には、バッファ領域5への符号化データD1の書き込み処理を、上記データD2の書き込み処理に次いで優先して実行する。つまり、符号化データD1の書き込み処理の優先順位を6番とする。
同様に、符号化データD6はH.264フォーマットで符号化されたデータであるため、データ量は少ない。そこで、空き時間が発生した場合には、バッファ領域6への符号化データD6の書き込み処理を、上記符号化データD1の書き込み処理に次いで優先して実行する。つまり、符号化データD6の書き込み処理の優先順位を7番とする。
なお、以上で説明した各処理の優先順位は一例であり、任意に変更することが可能である。
この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

Claims (6)

  1. 第1及び第2のバンクを含む複数のバンク(70〜73)を有し、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリ(1)を対象とした、メモリアクセス方法であって、
    前記メモリへ書き込むべき2次元画像データ(D2)は、一度のバースト転送によって転送可能なデータ量ごとに複数のデータ群に分割され、
    前記メモリへの前記2次元画像データの書き込み動作は、同一バンクへの書き込みが連続しないよう、前記所定数のクロックサイクル内において、
    (a)前記複数のデータ群に含まれる第1のデータ群(D21)を、前記第1のバンクに書き込むステップと、
    (b)前記第1のデータ群に連続する第2のデータ群(D22)を、前記第2のバンクに書き込むステップと
    を有する、メモリアクセス方法。
  2. 前記第1及び第2のデータ群はそれぞれ、前記メモリ内に格納された前記2次元画像データ内においては複数行に分割されて配置され、
    前記第1のデータ群は奇数行に配置され、前記第2のデータ群は偶数行に配置される、請求項1に記載のメモリアクセス方法。
  3. 第1及び第2のバンクを含む複数のバンク(70〜73)を有し、同一バンクへ連続してアクセスする際には前後のアクセス間に所定数のクロックサイクル以上の間隔を空けることが要求されるメモリ(1)を対象とした、メモリアクセス方法であって、
    前記メモリ内に格納されている2次元画像データ(D4)は、一度のバースト転送によって転送可能なデータ量ごとに複数のデータ群に分割されて前記メモリから読み出され、
    前記メモリからの前記2次元画像データの読み出し動作は、同一バンクからの読み出しが連続しないよう、前記所定数のクロックサイクル内において、
    (a)前記複数のデータ群に含まれる第1のデータ群(D41)を、前記第1のバンクから読み出すステップと、
    (b)前記第1のデータ群に連続する第2のデータ群(D42)を、前記第2のバンクから読み出すステップと
    を有する、メモリアクセス方法。
  4. 前記2次元画像データ内の着目ブロック(BL0)の動きベクトルを抽出するために、前記着目ブロックの移動先と予想されるブロック(BL1)内に含まれる複数のデータ群と、前記ブロックに隣接して規定される複数のブロック(BL1a〜BL1h)内に含まれる複数のデータ群とが、前記メモリから連続的に読み出される、請求項1又は3に記載のメモリアクセス方法。
  5. 前記第1のバンクにアクセスしている途中に、前記第1のバンクに対する他のアクセス要求が発生した場合において、前記第2のバンクに対するアクセス要求も発生しているときには、前記他のアクセス要求に応じた前記第1のバンクへのアクセスよりも、前記第2のバンクへのアクセスが優先される、請求項1又は3に記載のメモリアクセス方法。
  6. いずれも異なるバンクに対応するn個(n:前記複数のバンクの個数)のデータ群が行方向に連続することによって構成されるデータ集合が、前記メモリ内に格納された前記2次元画像データの各行内において繰り返し配置されるように、前記2次元画像データを構成するデータ群が前記メモリに書き込まれる、請求項1又は3に記載のメモリアクセス方法。
JP2006519711A 2005-05-30 2006-05-23 メモリアクセス方法 Expired - Fee Related JP5147102B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006519711A JP5147102B2 (ja) 2005-05-30 2006-05-23 メモリアクセス方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005157009 2005-05-30
JP2005157009 2005-05-30
PCT/JP2006/310196 WO2006129518A1 (ja) 2005-05-30 2006-05-23 メモリアクセス方法
JP2006519711A JP5147102B2 (ja) 2005-05-30 2006-05-23 メモリアクセス方法

Publications (2)

Publication Number Publication Date
JPWO2006129518A1 true JPWO2006129518A1 (ja) 2008-12-25
JP5147102B2 JP5147102B2 (ja) 2013-02-20

Family

ID=37481447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519711A Expired - Fee Related JP5147102B2 (ja) 2005-05-30 2006-05-23 メモリアクセス方法

Country Status (3)

Country Link
US (1) US7979622B2 (ja)
JP (1) JP5147102B2 (ja)
WO (1) WO2006129518A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269348A (ja) * 2007-04-20 2008-11-06 Toshiba Corp メモリ制御装置およびメモリ制御方法
US20080310515A1 (en) * 2007-06-14 2008-12-18 Yasutomo Matsuba MPEG-2 2-Slice Coding for Simple Implementation of H.264 MBAFF Transcoder
JPWO2009125572A1 (ja) * 2008-04-08 2011-07-28 パナソニック株式会社 メモリ制御回路及びメモリ制御方法
JP5401909B2 (ja) * 2008-10-16 2014-01-29 富士通株式会社 トランスコード装置およびトランスコード方法
US8914580B2 (en) * 2010-08-23 2014-12-16 Apple Inc. Reducing cache power consumption for sequential accesses
JP6050583B2 (ja) 2011-12-27 2016-12-21 株式会社メガチップス 画像処理装置及びメモリアクセス制御方法
US20140105305A1 (en) * 2012-10-15 2014-04-17 Vixs Systems, Inc. Memory cache for use in video processing and methods for use therewith
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置
US10225569B2 (en) 2014-03-31 2019-03-05 Megachips Corporation Data storage control apparatus and data storage control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307875A (ja) * 1995-05-02 1996-11-22 Matsushita Electric Ind Co Ltd 画像メモリ装置および動きベクトル検出回路
JP2002300597A (ja) * 2001-03-29 2002-10-11 Toshiba Corp ディジタルフィルタ処理装置
JP2002354400A (ja) * 2001-05-28 2002-12-06 Toyota Central Res & Dev Lab Inc データ格納/読み出し方法及びその方法を用いた画像データ記憶装置並びにその記憶装置を用いた画像補正装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189292A (ja) 1992-12-15 1994-07-08 Sony Corp 動画像復号装置
CA2145365C (en) * 1994-03-24 1999-04-27 Anthony M. Jones Method for accessing banks of dram
JP2000172556A (ja) 1998-12-07 2000-06-23 Sanyo Electric Co Ltd メモリ制御回路およびそれを備えるディジタルカメラ
JP2002344971A (ja) 2001-05-16 2002-11-29 Nippon Telegr & Teleph Corp <Ntt> 画像符号化データの再符号化装置、再符号化方法、再符号化プログラム、及び再符号化プログラムを記録した記録媒体
US6927776B2 (en) * 2001-05-17 2005-08-09 Matsushita Electric Industrial Co., Ltd. Data transfer device and method
US6912616B2 (en) * 2002-11-12 2005-06-28 Hewlett-Packard Development Company, L.P. Mapping addresses to memory banks based on at least one mathematical relationship
US7386651B2 (en) * 2003-07-03 2008-06-10 Broadcom Corporation System, method, and apparatus for efficiently storing macroblocks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307875A (ja) * 1995-05-02 1996-11-22 Matsushita Electric Ind Co Ltd 画像メモリ装置および動きベクトル検出回路
JP2002300597A (ja) * 2001-03-29 2002-10-11 Toshiba Corp ディジタルフィルタ処理装置
JP2002354400A (ja) * 2001-05-28 2002-12-06 Toyota Central Res & Dev Lab Inc データ格納/読み出し方法及びその方法を用いた画像データ記憶装置並びにその記憶装置を用いた画像補正装置

Also Published As

Publication number Publication date
US7979622B2 (en) 2011-07-12
WO2006129518A1 (ja) 2006-12-07
JP5147102B2 (ja) 2013-02-20
US20100037013A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
JP5147102B2 (ja) メモリアクセス方法
JP4910576B2 (ja) 動画像処理装置
KR101226394B1 (ko) 메모리 장치
JP6208993B2 (ja) 画像復号装置及び画像復号装置の復号処理方法
CN110650346B (zh) 一种3d-hevc深度图运动估计并行实现方法及结构
JP4695124B2 (ja) 動画像符号化における動き探索装置
JP5865696B2 (ja) 画像処理装置
US6577776B1 (en) Transforming video images
US20080049035A1 (en) Apparatus and method for accessing image data
JP3560804B2 (ja) 動画像符号化方法及び装置
JP6050583B2 (ja) 画像処理装置及びメモリアクセス制御方法
JP2017169022A (ja) 動画像符号化装置、方法、プログラム、および動画像符号化システム
CN102098477B (zh) 一种获得像素值的方法及装置
KR100846791B1 (ko) 비디오 데이터 저장 방법 및 장치
JP4504861B2 (ja) 画像処理方法及び画像処理装置
JP2009123306A (ja) 画像処理用メモリ
JP2008146235A (ja) 画像処理装置
JP4332013B2 (ja) 擬似多ポートメモリ装置および擬似多ポートメモリ装置の画素読み出し方法
JP5605225B2 (ja) メモリ制御装置、メモリマッピング方法、及び、プログラム
JP4735008B2 (ja) データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム
JP2023082579A (ja) 画像処理装置
JP4390822B2 (ja) 画像処理装置
JP4506256B2 (ja) データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム
JP6084000B2 (ja) 画像処理装置
JP2005165678A (ja) メモリアクセス方法、及びメモリアクセス装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

R150 Certificate of patent or registration of utility model

Ref document number: 5147102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees