JP4099578B2 - 半導体装置及び画像データ処理装置 - Google Patents

半導体装置及び画像データ処理装置 Download PDF

Info

Publication number
JP4099578B2
JP4099578B2 JP2002356530A JP2002356530A JP4099578B2 JP 4099578 B2 JP4099578 B2 JP 4099578B2 JP 2002356530 A JP2002356530 A JP 2002356530A JP 2002356530 A JP2002356530 A JP 2002356530A JP 4099578 B2 JP4099578 B2 JP 4099578B2
Authority
JP
Japan
Prior art keywords
data
address
pixel
additional information
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002356530A
Other languages
English (en)
Other versions
JP2004192110A (ja
Inventor
哲二郎 近藤
秀雄 中屋
一隆 安藤
志津男 近岡
勉 渡辺
勉 市川
泰史 野出
芳晃 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002356530A priority Critical patent/JP4099578B2/ja
Priority to US10/640,380 priority patent/US7002587B2/en
Priority to KR1020030056462A priority patent/KR101017688B1/ko
Priority to CNB031545203A priority patent/CN100378867C/zh
Publication of JP2004192110A publication Critical patent/JP2004192110A/ja
Application granted granted Critical
Publication of JP4099578B2 publication Critical patent/JP4099578B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C8/00Arrangements for selecting an address in a digital store
    • G11C8/06Address interface arrangements, e.g. address buffers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Description

【0001】
【発明の属する技術分野】
本発明は、半導体装置、例えば、主データ及び付加情報データを含む複合データを一つのアクセス単位として書き込みまたは読み出し可能な記憶手段とその書き込み及び読み出しを行うアクセス手段を含む半導体装置、特にこれらを一つの半導体チップ上に形成した半導体装置、並びに画像データとそれに関連付けられた付加情報データを含む複合データを処理する画像データ処理装置に関するものである。
【0002】
【従来の技術】
データ記憶手段を含む従来の半導体装置では、主データと個々の主データに対応付けられた付加情報データを含む複合データを取り扱う場合、通常主データと付加情報データをそれぞれ別々に記憶し、別々に書き込みまたは読み出しを行っていた。特に、従来の画像データ処理装置において、画素データと当該画素データに関連する付加情報データは別々のメモリによって記憶されて、別々に扱われることが一般的である。このため、画素データとその付加情報データは、それぞれ別々のメモリから読み出されて処理される。
【0003】
一方、画像データ及びその付加情報データを格納するメモリブロックにおいて、データの読み出し及び書き込みは、外部から指定されたアドレスに対して行われる。このため、複数のデータを一度にアクセスする場合、所定の開始位置からアドレスを1つずつ順次指定して、指定されたアドレスから画像データが読み出され、または指定されたアドレスに画像データが書き込まれる。
【0004】
また、階層構造を持つ画像データ、例えば、同一内容でただ解像度の異なる画像データを扱うには、解像度ごとにそれぞれ別々のメモリで画像データを記憶する。これによって、異なる解像度の画像データを扱うとき、それぞれのアドレスを指定してデータの読み出しと書き込みを行わなければならない。
【0005】
【発明が解決しようとする課題】
上述した従来の画像データ処理装置において、画像データのアクセスは、外部から指定されたアドレスに基づいて行うのが一般的であった。このため、例えば、動き推定などの処理において、前フレームの画像データで検出した動きベクトルを基に、探索領域のオフセットならびに面積を少なくして動き検出の高速化と効率化を図ろうとすると、メモリアクセス時のアドレス制御が複雑になることと、アドレス制御のための回路部分を重複して持たなければならず、処理回路の規模が大きくなるという不具合があった。
【0006】
一方、異なる解像度を持つ画像データを階層的に扱う場合、解像度の階層ごとに画像データを記憶しておき、データ処理を行うため、それぞれの解像度に対応した画像データを格納しているメモリに別々アクセスして、画像データの読み出しと書き込みを行う必要がある。これによって、画像データのアクセスが複雑になり、かつデータを格納するメモリの容量も階層の増加に伴って大きくなるという不具合があった。
【0007】
さらに、画像メモリに格納されているある特定のオブジェクトの全画素データを取得しようとする場合、外部からそのオブジェクトの全画素データを格納するメモリのアドレスを順次指定し、指定されたメモリから画素データの読み出しを行う必要がある。この場合、アドレスの制御が複雑になり、データ読み出し時のアドレス制御の自由度が低かったという不具合があった。
【0008】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、複合データを扱う場合のアドレス制御を容易に実現でき、かつアドレス制御のための回路を簡素化でき、階層構造を持つ異なる解像度の画像データの容量を低減しながら、画像データのアクセスを容易に実現できる半導体装置並びに画像データ処理装置を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するため、本発明の半導体装置は、画像データである主データと、上記主データとは異なる領域に対応した所定の位置関係で格納され上記主データに対応付けられた付加情報データを含む複合データを一つのアクセス単位として記憶する記憶手段と、上記記憶手段に記憶されている上記複合データを一括して読み出し、また、上記記憶手段に上記複合データを一括して書き込むアクセス手段とを有し、上記アクセス手段は、上記異なる領域に対応した所定の関係で対応付けられた付加情報データを用いて求められたアドレスに基づいて動作する、ことを特徴とする。
【0010】
好ましくは、上記アクセス手段は、上記付加情報データを用いて求められた上記アドレスに基づいて、上記記憶手段に記憶されている上記複合データを一括して読み出す、ことを特徴とする。
【0011】
また好ましくは、上記記憶手段及び上記アクセス手段は、一つの半導体チップ上に形成されている、ことを特徴とする。
【0012】
好ましくは、上記アクセス手段は、上記記憶手段より一括して読み出した上記複合データに含まれている上記付加情報データを用いて、上記記憶手段から上記複合データを一括して読み出す上記アドレスを求めるアドレス発生手段を有する。
【0013】
本発明のデータ処理装置は、画素データと、上記画素データとは異なる領域に対応した所定の位置関係で格納され上記画素データに付加されている付加情報データとを含む複合データを一つのアクセス単位として記憶する記憶手段と、上記記憶手段から上記複合データを一括して読み出すデータ読み出し手段とを備え、記データ読み出し手段は、上記付加情報データを用いて求められたアドレスに基づいて動作する、ことを特徴とする。
【0014】
好ましくは、上記データ読み出し手段によって読み出した上記複合データに含まれている上記画素データと上記付加情報データとを分離して、分離されたそれぞれのデータに基づき所定の処理を行う画像処理手段をさらに備える、ことを特徴とする。
【0015】
また好ましくは、上記記憶手段は、上記画素データと上記画素データに対応付けられた動きベクトルとを含む上記複合データを一つのアクセス単位として記憶し、上記データ読み出し手段は、読み出した上記複合データに含まれている上記動きベクトルに応じて動き推定を行う探索領域を設定する、ことを特徴とする。
【0016】
さらに好ましくは、上記設定した探索領域において動き推定を行う動き推定手段をさらに備える、ことを特徴とする。
【0017】
好ましくは、上記動き推定手段は、上記設定した探索領域において、ブロックマッチング法で動き推定を行う、ことを特徴とする。
【0018】
好ましくは、上記記憶手段は、所定のオブジェクトを形成する画素データと、上記オブジェクトに含まれる各画素ごとに形成され、当該画素に隣接する他の画素との位置関係を示す走査方向データとを含む上記複合データを一つのアクセス単位として記憶し、
上記読み出し手段によって読み出した上記走査方向データに基づき、上記画素に隣接する他の画素の画素データを読み出すための上記アドレスを生成し、当該生成したアドレスを上記読み出し手段に供給するアドレス生成手段をさらに備える。
【0019】
好ましくは、上記データ処理装置は、画像データ処理装置であることを特徴とする。
【0020】
本発明のデータ処理方法は、画素データと、上記画素データとは異なる領域に対応した所定の位置関係で格納され上記画素データに付加されている付加情報データとを含む複合データを一つのアクセス単位として記憶する記憶手段と、上記記憶手段から上記複合データを一括して読み出すデータ読み出し手段とを備えたデータ処理装置を用いたデータ処理方法であって、上記データ読み出し手段は上記付加情報データを用いて求められたアドレスに基づいて動作する、ことを特徴とする。
【0021】
また本発明の半導体装置は、画像データである主データと、上記主データとは異なる領域に対応した所定の位置関係で格納され上記主データに対応付けられた付加情報データとを記憶する記憶手段と、上記記憶手段に対する第1のアドレスを指定する第1アドレスデコーダ手段と、上記記憶手段に対する第2のアドレスを指定する第2アドレスデコーダ手段とを有し、上記第1アドレスデコーダ手段と上記第2アドレスデコーダ手段の動作により、上記主データと上記主データと対応付けられた付加情報データとを一括してアクセスする、アクセス手段と、上記アクセス手段の読み出しアクセスに応じて上記記憶手段から同時に読みだされた上記主データを保持する第1のデータ保持手段と、上記付加情報データを保持する第2のデータ保持手段と、データ読み出し時に上記第2のデータ保持手段に保持されているデータを出力し、データ書き込みときに固定のデータを出力する、選択手段と、上記選択手段から出力されたデータと、アクセスすべきアクセスに対応するデータとを加算する、加算手段と、上記加算手段で加算された結果の一部を上記第1アドレスデコーダ手段に印加し、上記加算手段で加算された結果の一部の残りを上記第2アドレスデコーダ手段に印加する、データ保持手段とを有する、ことを特徴とする。
【0022】
本発明によれば、主データと当該主データに対応付けられた付加情報データを含む複合データを一つのアクセス単位として、記憶手段に書き込みまたは記憶手段から読み出される。これにより、記憶手段に対するデータアクセスの効率化と高速化が図れる。
また、本発明によれば、画像データ処理装置に画素データと各画素に対応付けられた付加情報データを含む複合データを記憶する第2の記憶手段が設けられている。複合データに含まれている付加情報データに基づき、画素データに対して種々の画像データ処理が行われる。
例えば、付加情報データとして、過去の画像推定によって得られた動きベクトルを記憶することで、動き推定処理のおいて過去の動きベクトルに応じて探索領域を適宜設定し、当該探索領域において、例えばブロックマッチング法によって動き推定を行うことにより、動き推定の高速化と効率化が図れる。
【0023】
また、付加情報データとして、解像度の異なる複数の階層の画像信号において上位階層の画素として選択された画素データを示すフラグデータを記憶することで、解像度の異なる複数の階層の画像データを容易に扱うことができる。
【0024】
さらに、付加情報データとして、隣接する画素間の位置情報を示す走査方向データを記憶することで、所定のオブジェクトの画素データを読み出す場合、開始画素のアドレスのみを指定して、開始画素に対応付けられた走査方向データに基づき次回の読み出し対象となる画素データに対応するアドレスが生成されるので、アドレスが読み出した付加情報データに応じて自動的に更新されるので、所定のオブジェクトの画素データの読み出しにおいてアドレスの制御が簡素化される。
【0025】
【発明の実施の形態】
図1は、本発明に係る半導体装置の一実施形態を示す構成図である。
図示のように、本発明の半導体装置は、メモリセルアレイ10、アドレス発生部20、アドレスデコード42,44、レジスタ52,54,62,64,66を有する。
【0026】
本実施形態の半導体装置において、メモリセルアレイ10は、主データと付加情報データを含む複合データを一つのアクセス単位として記憶する。なお、ここで、アクセス単位とは、データを書き込みまたは読み出しの場合の単位を意味する。即ち、メモリセルアレイ10において、データの書き込み及び読み出しは、複合データの単位で行われる。例えば、主データが16ビットを有し、付加情報データが4ビットを有する場合、主データと付加情報データからなる複合データは20ビットを有する。メモリセルアレイ10において、データの書き込み及び読み出しは、ひとつの複合データを単位として、即ち20ビット分を一括して行われる。
【0027】
以下、図1に示す半導体装置の各構成部分について説明する。
メモリセルアレイ10は、例えば、行列状に配置されている複数のメモリセルと、行列の各行ごとに配置されているワード線及び行列の各列ごとに配置されているビット線を備えている。ワード線を指定することにより、当該ワード線に接続されているメモリセルが指定され、また、ビット線を指定することにより、当該ビット線に接続されているメモリセルが指定される。さらに、ビット線を通じて、指定したメモリセルに対してデータを書き込み、または指定したメモリセルの記憶データを読み出すことができる。
【0028】
このため、ワード線及びビット線をそれぞれ指定することによって、指定されたワード線とビット線との交点にあるメモリセルが選択され、当該選択メモリセルに対してデータの書き込みまたは読み出しを行うことができる。
なお、本実施形態のメモリセルアレイ10において、アクセスは複合データを単位として行われる。即ち、一回の書き込みまたは読み出しにおいて、複合データのビット数分のメモリセルが一括して選択される。
【0029】
アドレス発生部20は、メモリセルアレイ10に対して書き込みまたは読み出しを行うアドレスADRを発生する。その一例として、例えばアドレス発生部20は、カウンタによって構成され、クロック信号CKに応じてアドレスADRを生成して、レジスタ62に供給する。
【0030】
アドレス発生部20によって生成したアドレスADRのうち、メモリセルアレイ10に対して、列を指定するXアドレスADRXと行を指定するYアドレスADRYがそれぞれXアドレスデコーダ42及びYアドレスデコーダ44に入力される。
【0031】
Xアドレスデコーダ42は、入力されるXアドレス(列アドレス)に応じて、メモリセルアレイ10にある複数の列のうち、指定された列のみを選択する。本実施形態の半導体装置において、一回のアクセスにおいて、複数のメモリセルが指定される。即ち、Xアドレスデコーダ42は、入力される列アドレスADRXに応じて、複数本のビット線を選択する。
【0032】
Yアドレスデコーダ44は、入力されるYアドレス(行アドレス)に応じて、メモリセルアレイ10にある複数の行のうち、指定された行のみを選択する。
【0033】
レジスタ64と66は、それぞれ書き込む主データ及び付加情報データを保持する。上述したように、本実施形態の半導体装置において、書き込みは複合データ単位で行われる。即ち、一回の書き込みにより、レジスタ64に保持されている主データ及びレジスタ66に保持されている付加情報データが一括してメモリセルアレイ10の指定領域に書き込まれる。
【0034】
レジスタ52と54は、それぞれメモリセルアレイ10から読み出されている主データ及び付加情報データを保持する。本実施形態の半導体装置において、読み出しも複合データ単位で行われる。即ち、一回の読み出しにより、メモリセルアレイ10の指定領域から一つの複合データが読み出される。当該複合データに含まれている主データがレジスタ52に保持され、付加情報データがレジスタ54に保持される。そして、レジスタ52と54の保持データがそれぞれ外部に出力される。
【0035】
上述した構成を有する本実施形態の半導体装置において、アドレス発生部20によって生成したアドレスADRに応じて、Xアドレスデコーダ42及びYアドレスデコーダ44により、メモリセルアレイ10における所定のビット線及びワードが選択され、それに応じて複合データのビット数分のメモリセルが指定される。書き込みのとき、レジスタ64と66に保持されている主データと付加情報データからなる複合データが一括して指定されたメモリセルに書き込まれる。一方、読み出しのとき、指定されたメモリセルから、複数ビットからなる複合データが一括して読み出され、当該複合データに含まれている主データがレジスタ52によって保持され、付加情報データがレジスタ54によって保持される。そして、これらのレジスタの保持データがそれぞれ外部に出力される。
【0036】
このように、本実施形態の半導体装置において、メモリセルアレイ10に対する書き込み及び読み出しが複合データを単位として行われる。このため、データアクセスの高速化を実現できる。従来主データと付加情報データをそれぞれ別々に取り扱う記憶方法では、主データと付加情報データがそれぞれ書き込み、または読み出しが行われるが、本実施形態によれば、一回のアクセスにおいて主データと付加情報データを含む複合データを一括してアクセスできる。これにより、データアクセスの高速化のほか、書き込み及び読み出しの制御を行う周辺回路の構成も簡略化でき、回路規模の削減を実現できる。
【0037】
さらに、図1に示す半導体装置において、メモリセルアレイ10、アドレス生成部20を含む各構成部分は、並びに複合データを扱う他のデータ処理回路をすべて一つの半導体チップ上に形成されている。これによって、一つの半導体チップ上に大規模な機能回路を集積でき、複雑なデータ処理機能を一つのチップに集約することができ、処理の高速化が図れ、さらに半導体機器の小型化並びに低消費電力化を実現できる。
【0038】
次に、本発明の半導体装置を適用した画像データ処理装置の幾つかの実施形態について説明する。
【0039】
第1実施形態
図2は本発明に係る画像データ処理装置の第1の実施形態を示す概念図である。
図示のように、本実施形態の画像データ処理装置は、メモリセルアレイ10、アドレス発生部20、アドレス演算部30、アドレスデコーダ40及びレジスタ50によって構成されている。
【0040】
メモリセルアレイ10には、画素データと各画素データに対応付けられている付加情報データとを含む複合データが格納されている。なお、本実施形態の画像データ処理装置において、画素データとそれに対応付けられた付加情報データを含む複合データが1つのアクセス単位として扱われる。即ち、メモリセルアレイ10に対してデータの読み出し及び書き込みは、複合データのビット数分で一括して行われる。
【0041】
メモリセルアレイ10には、所定の単位、例えば、1フレームまたは複数フレームの画像の画素データとそれに対応付けられている付加情報データが記憶されている。なお、本実施形態の画像データ処理装置において、付加情報データは、例えば画像の動きベクトルを表す動きベクトルデータ(以下、便宜上単に動きベクトルと表記する)である。
【0042】
本実施形態の画像データ処理装置は、各画素データに対応付けられた付加情報データを用いて、画像の動き推定に際して用いられる探索領域を過去の処理によって得られた動きベクトルを用いて予測、設定することによって、探索領域を小さくすることで、動きベクトルの推定における処理負荷を低減し、処理の高速化を図る。即ち、過去の動き推定結果を用いて、画像の動きに応じて探索領域を予測し、適宜設定することによって、等価的に大きな探索領域で動き推定を行うことができ、動き推定の効率化、高速化を実現しながら、推定精度の向上を実現する。
【0043】
図3は、本実施形態における上述した動き推定の概念を示す概念図である。図示のように、例えば、フレーム単位で入力される画像データに対して、時間的に前後する2つのフレーム、即ち、図中の現在フレームと過去フレームにおいて、現在フレームにある注目ブロックにもっとも近いブロックが過去フレーム中の位置を求める。この結果に応じて、注目ブロックが連続するフレーム間の移動状況を推定でき、その移動状況を示す動きベクトルを求めることができる。
【0044】
この場合、図3に示すように、例えば、現在フレームにある注目ブロックが過去フレームにおける位置を求めるため、通常ブロックマッチングという探索処理方法が利用される。ブロックマッチング処理では、予め過去フレームに指定された探索領域において、注目ブロックと同じ大きさの比較ブロックを取り出し、注目ブロックと画素ごとに差分を求める。そして、2つのブロックの全画素の差分の絶対値の和が算出される。探索領域において、垂直と水平方向に1画素ずつ比較ブロックの位置をずらしながら、比較ブロックと注目ブロックの画素ごとの比較が行われ、探索領域全体において処理を終えた時点で、もっとも差分の絶対値の和が小さかった位置に基づき、注目ブロックの動きベクトルが算出される。
【0045】
上述した処理が探索領域全体に対して行われるので、ブロックマッチングのデータ処理量が大きい。このため、動き推定を高速に行う場合、高速で、演算能力の高い信号処理プロセッサを使用する必要がある。
【0046】
画像の中に、動きのある物体(以下、オブジェクトと表記する)の動きは短い時間の間にある程度の連続性が認められる。このため、あるオブジェクトに注目した場合、これまでに推定した動きと近い推定結果が得られることが予測できる。即ち、あるオブジェクトに対して、過去の動きベクトルを参考に今回の動き推定を行うことで、探索領域をある程度絞ることができる。図3に示すように、注目ブロックに対して過去に求めた動きベクトルに基づき、新しい探索領域を予測て設定する。この新しい探索領域にブロックマッチングを行うことで、通常のブロックマッチングで用いる探索領域に比べて、より小さい探索領域で動き推定を実施することができ、動き推定における処理負荷を低減でき、効率的に動き推定を行うことができる。
【0047】
図4は、本実施形態の動き推定処理を実現するための画像データ処理装置の一構成例を示すブロック図である。
図示のように、本例の画像データ処理装置は、メモリセルアレイ10、カウンタ22、加算器32、Xアドレスデコーダ42、Yアドレスデコーダ44、レジスタ52,54、レジスタ62,64,66及び選択回路70によって構成されている。
【0048】
以下、本例の画像データ処理装置の各構成部分について説明する。
メモリセルアレイ10は、図2に示す本実施形態の概念図とほぼ同じように、画素データと付加情報データとを含む複合データを記憶する。
【0049】
メモリセルアレイ10において、指定された1つのアドレスにおいて、画素データと付加情報データを合わせて複数ビットのメモリ領域に対して書き込みまたは読み出しが行われる。例えば、読み出しのとき、指定されたアドレスに対して、メモリセルアレイ10から、x(xは整数、x>0)ビットの画素データと当該xビットの画素データに対応付けられたy(yは整数、y>0)ビットの付加情報データとを含む複合データが読み出される。即ち、1つのアドレス指定に対して、合計x+yビットの複合データに対してアクセスが行われる。
【0050】
カウンタ22は、外部から供給されるクロック信号CKに応じて、カウント値CNTを更新し、このカウント値CNTを加算器32に供給する。
加算器32は、カウント値CNTと選択回路70によって選択された信号を加算し、加算結果をアドレスADRとして、レジスタA(レジスタ62)に供給する。
【0051】
レジスタ62は、加算器32によって求められたアドレスADRをXアドレスデコーダ42及びYアドレスデコーダ44に供給する。
Xアドレスデコーダ42は、例えば、レジスタ62に保持されているアドレスADRの上位mビットに応じて、メモリセルアレイ10においてカラムを選択するカラムデコーダである。
Yアドレスデコーダ44は、例えば、レジスタ62に保持されているアドレスADRの下位nビットに応じて、メモリセルアレイ10においてロウを選択するロウデコーダである。
【0052】
メモリセルアレイ10において、Xアドレスデコーダ42及びYアドレスデコーダ44によって選択されたメモリセルから、画素データDp とそれに対応付けられた付加情報データDa が読み出される。画素データDp がレジスタB(レジスタ52)に出力され、付加情報データDa がレジスタC(レジスタ54)に出力される。
【0053】
レジスタ52は、メモリセルアレイ10から読み出した画素データDp を保持し、外部に出力する。
レジスタ54は、メモリセルアレイ10から読み出した付加情報データDa を保持し、外部に出力する。
【0054】
レジスタ64は、外部から入力される画素データを保持し、保持した画素データをメモリセルアレイ10に供給する。
レジスタ66は、外部から入力される付加情報データを保持し、保持した付加情報データをメモリセルアレイ10に供給する。
レジスタ64と66の出力データを合わせて、複合データが形成される。即ち、本実施形態の画像データ処理装置において、レジスタ64と66によって、複合データ形成手段が構成されている。
【0055】
選択回路70は、レジスタ54から読み出した付加情報データまたはデータ0の何れかを選択し、選択したデータを加算器32に供給する。
図4に示すように、選択回路70は、読み出し/書き込み信号(R/W)に応じて、入力データを選択して加算器32に供給する。読み出しのとき、選択回路70は付加情報データを選択して加算器32に供給し、書き込みのとき、選択回路70はデータ“0”を選択して加算器32に供給する。
【0056】
次に、上述した構成を有する本実施形態の画像データ処理装置の動作について説明する。
【0057】
本実施形態の画像データ処理装置において、メモリセルアレイ10において、画素データ及び画素データに対応付けられた付加情報データを含む複合データが記憶されている。ここで、付加情報データは、例えば、過去の画素データに基づいた動き推定で得られた動きベクトルである。
【0058】
書き込みのとき、選択回路70によってデータ“0”が選択されるので、カウンタ22によって出力されるカウント値CNTは、アドレスADRとしてレジスタ62に供給される。この場合に、カウント値CNTに応じてメモリセルアレイ10において順次記憶領域が選択され、選択された記憶領域に外部から入力される画素データと付加情報データとを含む複合データが書き込まれる。
【0059】
読み出しのとき、選択回路70によって、メモリセルアレイ10から読み出された付加情報データが選択され、加算器32に供給される。加算器32において、カウンタ22によって生成されたカウント値CNTに付加情報データが加算され、当該加算結果がアドレスADRとしてXアドレスデコーダ42及びYアドレスデコーダ44に供給される。
【0060】
本実施形態の画像データ処理装置において、メモリセルアレイ10から読み出しを行う場合、まず、指定されたアドレスから画素データとそれに対応付けられた付加情報データをそれぞれ読み出して、付加情報データを選択回路70を介して加算器32に供給する。これに応じて、カウンタ22によって発生されたカウント値CNTに付加情報データ、即ち、過去に求めた動きベクトルが加算される。これによって、動き推定のための新しい探索領域が設定される。この新しい探索領域において、例えば、ブロックマッチングによって動き推定を行い、注目の画像ブロックの動きベクトルが求められる。
【0061】
このように、本実施形態の画像データ処理装置において、動き推定において過去に求められた動きベクトルに基づき、新しい探索領域を設定し、この新しい探索領域においてブロックマッチングを行うことで、通常のブロックマッチング処理で用いる探索領域に比べて、面積の小さい探索領域で動き推定を行うことができるので、動き推定のための処理負荷を低減でき、効率的に動き推定を行うことができる。
【0062】
第2実施形態
図5は本発明に係る画像データ処理装置の第2の実施形態を示す構成図である。
図示のように、本実施形態の画像データ処理装置は、画像メモリ100、画素選択器120、選択回路130及び判定回路140によって構成されている。
【0063】
以下、本実施形態の画像データ処理装置の各構成部分について説明する。
【0064】
画像メモリ100は、画素データと付加情報データとを含む複合データを記憶する。本実施形態の画像データ処理装置において、画素データに対応付けられた付加情報データは、例えば、解像度の異なる複数の階層をもつ画像において、下位の階層の画素データのうち上位階層の画素データを形成する画素を示すフラグデータである。
【0065】
画素選択器120は、画像メモリ100に記憶されている画素データに応じて、付加情報データであるフラグデータFLGを生成する。そして、生成したフラグデータFLGを付加情報データとして、画素データに対応付けて複合データを生成して、画像メモリ100に格納する。
【0066】
判定回路140は、画像メモリ100から読み出した複合データに含まれている付加情報データに基づき、選択制御信号SC を生成し、選択回路130に供給する。
選択回路130は、判定回路140からの選択制御信号SC に応じて画像メモリ100から読み出した画素データを選択して出力する。
【0067】
以下、本実施形態の画像データ処理装置の動作について説明する。
上述したように、本実施形態の画像データ処理装置において、画像メモリ100は、画素データと画素データに対応付けられた付加情報データを含む複合データを記憶する。
また、本実施形態において、付加情報データは、例えば、解像度の異なる画像データを表す場合、解像度の高い下位階層の画素データに対して、その上位にある解像度の低い画像を形成する画素データを示すフラグデータである。
【0068】
図6は、上位階層と下位階層の画像を形成する画素データを示す概念図である。図示のように、例えば、下位階層の4つの画素データに対して、上位階層に1つの画素データが関連付けられている。下位階層の画像において4つの画素ごとに1つの画素が上位階層の画素として選択される。これによって、上位階層と下位階層の画素データによって、解像度の異なる画像を表示することができる。
【0069】
本実施形態の画像データ処理装置において、上位階層の画素データと下位階層の画素データを別々に保存せず、図5に示すように、1つの画像メモリ100によって、下位階層と上位階層の画素データを同時に格納する。これを実現するために、下位階層の画素データに付加情報データ、即ち、フラグデータFLGが付与される。画像メモリ100において、下位階層の画素データとそれに対応付けられたフラグデータFLGからなる複合データが格納される。
【0070】
次に、付加情報データの生成について説明する。
付加情報データは、図5に示す画素選択器120によって生成される。画素選択器120は、画像メモリ100に格納されている下位階層の画素データに対して、4つの画素ごとに1つの画素を選択して、その画素を示すフラグデータFLGを生成する。画素選択器110によって生成されるフラグデータFLGは、付加情報データとして画素データに付加されて、複合データが生成され、画像メモリ100に記憶される。
【0071】
画素選択器120における画素の選択は、予め設定された選択方法に基づいて行われる。選択方法として、最頻値画素、中央値(メディアン)画素、平均値にもっとも近い画素などから指定される。
最頻値画素は、即ち、4つの画素のうち、もっとも出現頻度の高い画素である。また、中央値画素は、4つの画素の画素データを用いて、所定のフィルタ処理、例えば、メディアンフィルタ処理を行い、フィルタ処理の結果にもっとも近い画素データが選択される。
また、4つの画素データの平均値にもっとも近い画素データを選択することもできる。
【0072】
画素選択器120において、上述した何れかの方法によって4つの画素ごとに上位階層の1画素を選択して、選択された画素を示すフラグデータFLGを生成する。フラグデータFLGは、例えば、1ビットからなり、以下、これを付加情報ビットとも表記する。4つの画素のうち、上位階層の画素データとして選択された画素に対応する付加情報ビットが、例えば、“1”に設定され、他の3つの画素に対応する付加情報ビットが“0”に設定される。
【0073】
本実施形態の画像処理装置において、画素データが入力されるとき、画素選択器120において、予め決められた選択方法を用いて、入力される画素データ4つごとに1つの画素データを上位階層の画像を形成する画素データとして選択して、この画素データに対応する付加情報ビットを“1”に設定する。そして、他の3つの画素に対応する付加情報ビットを“0”に設定する。
このように、画素選択器120において、入力される画素データに応じて付加情報ビットが生成され、そして、画素データとそれに対応付けられる付加情報ビットを合わせて、複合データが生成されて画像メモリ100に格納される。
【0074】
画像メモリ100から画素データを読み出すとき、画素データとそれに対応付けられた付加情報ビットが同時に読み出される。付加情報ビットが判定回路140に出力され、判定回路140において付加情報ビットに応じて、上位階層の画素データを選択して出力する。以下、画素データ読み出し時の動作について説明する。
【0075】
下位階層の画素データが要求されたとき、選択回路130は選択を行わず、画像メモリ100から読み出した複合データに含まれている画素データと取り出して外部に出力される。
一方、上位階層の画素データが要求されたとき、選択回路130は、画像メモリ100から読み出した複合データに含まれている付加情報ビットに応じて、画素データを選択して出力する。
【0076】
画像メモリ100から読み出された複合データに含まれている付加情報ビットが判定回路140に出力される。判定回路140において、付加情報ビットの値に応じて、選択制御信号SC が生成され、選択回路130に出力される。例えば、付加情報ビットが“0”のとき、選択制御信号SC がローレベルに保持され、逆に付加情報ビットが“1”のとき、選択制御信号SC がハイレベルに保持される。このため、選択回路130は、判定回路140から入力される選択制御信号SC に応じて、画素データ記憶部110から読み出された画素データを選択して出力する。即ち、選択制御信号SC がハイレベルのとき、選択回路130はその画素データを選択して出力する。逆に、選択制御信号SC がローレベルのとき、選択回路130はその画素データを掃き捨てる。
【0077】
このように、本実施形態の画像データ処理装置において、付加情報ビットに応じて、判定回路140及び選択回路130によって、上位階層の画素データを選択して出力することができる。これによって、下位階層の画素データ及び付加情報データを記憶することで、異なる解像度を持つ下位階層と上位階層の画素データを記憶することができる。
【0078】
図7は、本実施形態の画像メモリ100に記憶されている画素データ及び付加情報データを示す概念図である。図示のように、画素データは、複数のビットからなり、それによって下位階層の画像を表示することができる。そして、各画素データに付加情報データが対応付けられている。付加情報データが、上述した例では、1ビットのデータからなるが、本発明において、ビット数はこれに限定されるものではない。ビット数の増加は、画像メモリの容量の増大を招くが、付加情報の情報量が増える。例えば、付加情報のビット数をさらに増やすことで、2層以上の階層を表すことが可能である。これによって、解像度が異なる2以上の階層をもつ画素データを1つの画像メモリによって記憶することが可能である。
【0079】
なお、図7に示す階層構造の画素データでは、上位階層の画素数が下位階層の1/4となる。本発明の画像データ処理装置において、上位階層と下位階層の画素数の比は、他の値でもよい。図8には、上位階層と下位階層の対応関係の幾つかの例を示している。
【0080】
図8(a)は、図6に示す例と同様に、下位階層の4画素に対して、上位階層の1画素が選択される。図8(b)では、下位階層の2画素に対して、上位階層の1画素が選択される。また、同図(c)の例では、下位階層の9画素に対して、上位階層の1画素が選択される。同図(d)の例では、下位階層の6画素に対して、上位階層の1画素が選択される。
【0081】
図9は、本実施形態の画像データ処理装置の他の構成例を示している。
本例の画像データ処理装置では、画素選択器120a以外の各構成部分は、図5に示す画像データ処理装置の各対応部分とほぼ同じ構成を有する。本例の画素選択器120aは、図9に示すように、外部から入力される画素関係信号Sd に応じて、画素データを選択し、それに応じてフラグデータFLGまたは他の付加情報データを生成し、画素データに付加して複合データを生成し、画像メモリ100に格納する。
【0082】
画素選択器120aは、外部から入力される画素関係信号Sd に従って、上位階層の画素を選択する。ここで、上位階層の画素を選択する場合、画素関係信号Sd によって指定された解像度に応じて、下位階層の所定数の画素から、上位階層の画素を選択する。
【0083】
これによって、画素関係信号Sd に従って上位階層の画像の解像度を制御することが可能である。即ち、下位階層の画素に対して、例えば、図8に示した例のように、4画素ごとに上位階層の1画素を選択する以外に、上位階層と下位階層の画素数の比を任意の値に設定することが可能である。
【0084】
上述したように、図9に示す画像データ処理装置の構成例では、画素選択器120aが上位階層の画素を選択する場合、外部から入力される画素関係信号Sdに従って、上位階層の解像度が設定される。この解像度に従って、下位階層の画素から上位階層の画素が選択される。
なお、本発明の画像データ処理装置において、画素関係信号Sd は上位階層の解像度を制御するほか、例えば、上位階層の画素を選択する方法を制御することも可能である。即ち、画素選択器120aは、上述した最頻値画素、中央値画素及び平均値画素などの選択方法のうち、画素関係信号Sd によって指定された方法で上位階層の画素を選択する。
【0085】
以上説明したように、本実施形態によれば、画像メモリ100に画素データと画素データに対応付けられた付加情報データを含む複合データが画像メモリ100に格納され、画素データは下位階層の画素データであり、付加情報データは、例えば、上記下位階層と異なる解像度の上位階層の画素データを示すフラグデータFLGである。画素選択器120によって、画素データに応じて所定の選択方法で上位階層の画素を選択し、当該選択された上位階層の画素を示すフラグデータFLGを生成し、画素データとともに画像メモリ100に書き込む。上位階層の画素データを読み出すとき、フラグデータFLGに従って、所定数の下位階層の画素から上位階層の画素を選択して、その画素データを出力するので、画像メモリの容量を大幅に増加させることなく、解像度の異なる複数の階層の画素データを記憶することができる。
【0086】
第3実施形態
図10は本発明に係る画像データ処理装置の第3の実施形態を示す構成図である。
図示のように、本実施形態の画像データ処理装置は、メモリセルアレイ10、アドレス発生部20、選択回路24、Xアドレスデコーダ42、Yアドレスデコーダ44、レジスタ52,54及びレジスタ62,64,66によって構成されている。
【0087】
本実施形態の画像データ処理装置において、画素データに対応付けられた付加情報データは、次の画素データを読み出すための読み出しアドレスからなる。即ち、メモリセルアレイ10から画素データを読み出す場合、所定のアドレスを指定して複合データを読み出して、当該読み出した複合データに含まれている付加情報データは、次の複合データを読み出すときのアドレスを示している。このため、当該付加情報データをアドレスとして、Xアドレスデコーダ及びYアドレスデコーダに供給すれば、指定された次の複合データを読み出すことができる。これによって、例えば、一つのオブジェクトを構成するすべての画素データを順次読み出すことができ、アドレスの制御を簡単に実現できる。
【0088】
本実施形態の画像データ処理装置は、図4に示す本発明の画像データ処理装置の第1の実施形態に較べて、アドレス発生部20及び選択回路24以外の各構成部分は、ほぼ同じ構成を有する。このため、以下、本実施形態におけるアドレス発生部20及び選択回路24を中心に、本実施形態の画像データ処理装置について説明する。
【0089】
アドレス発生部20は、画素データを読み出すためのアドレスを生成し、選択回路24を介してレジスタ62に供給する。そして、レジスタ62に保持されているアドレスのうち、XアドレスADRX、即ち、列アドレスがXアドレスデコーダ42に、YアドレスADRY、即ち、行アドレスがYアドレスデコーダ44にそれぞれ入力される。このため、行アドレス及び列アドレスによって指定されたメモリセルから、複合データが読み出される。
【0090】
読み出された複合データに含まれている画素データがレジスタ52に保持され、外部に出力される。一方、複合データに含まれている付加情報データがレジスタ54に保持されて、選択回路24に出力される。
【0091】
選択回路24は、アドレス発生回路20によって発生したアドレスADR0とレジスタ54から入力される付加情報データの何れかを選択して、選択されたアドレスADRをレジスタ62に出力する。
【0092】
上述したように、本実施形態の画像データ処理装置において、付加情報データは、次の画素データを読み出すためのアドレスを示している。即ち、付加情報データをアドレスADRとしてXアドレスデコーダ42及びYアドレスデコーダ44に指定することによって、次に所望の画素データを読み出すことができる。これによって、例えば、一つのオブジェクトを構成する複数の画素において、各画素データに次の画素を格納するメモリセルアレイ10のアドレスを付加情報データとして指定することによって、オブジェクトを構成するすべての画素データを順次読み出すことができ、かつアドレスの指定を容易に実現できる。
【0093】
次に、上述した構成を有する本実施形態の画像データ処理装置の動作について説明する。
まず、選択回路24は、アドレス発生部20によって発生したアドレスADR0を選択して、レジスタ62に出力する。
【0094】
レジスタ62によって選択回路24から入力されるアドレスを保持し、さらにそれに含まれている行アドレスADRY及び列アドレスADRXをそれぞれYアドレスデコーダ44及びXアドレスデコーダ42に出力する。
Xアドレスデコーダ42及びYアドレスデコーダ44は、それぞれ入力される列アドレスADRX及び行アドレスADRYに応じて、メモリセルアレイ10において所定のメモリセルを指定する。
【0095】
メモリセルアレイ10において、Xアドレスデコーダ42及びYアドレスデコーダ44によって指定されたメモリセルに記憶されている複合データが読み出される。即ち、本実施形態において、メモリセルアレイ10は、前述した他の実施形態と同様に、複合データを単位としてアクセスが行われる。
【0096】
メモリセルアレイ10から読み出された複合データのうち、画素データがレジスタ52に保持され、付加情報データがレジスタ54に保持される。そして、レジスタ52に保持されている画素データが外部に出力され、レジスタ54に保持されている付加情報データが外部に出力されるとともに、選択回路24にも出力される。
【0097】
そして、次回の読み出しを行うとき、選択回路24によって、レジスタ54から入力される付加情報データが選択される。当該付加情報データがレジスタ62に入力され、それに含まれている行アドレスADRY及び列アドレスADRXがそれぞれYアドレスデコーダ44及びXアドレスデコーダ42に入力され、これらのアドレスに応じてメモリセルアレイ10において所望のメモリセルが選択される。
【0098】
上述したように、例えば、所望のオブジェクトに含まれているすべての画素データを読み出す場合、まず、予め設定された初期画素に対応する初期アドレスをアドレス発生部20によって発生する。当該初期アドレスに応じて、最初の画素データを含む複合データが読み出され、それに含まれている付加情報データによって次の読み出しアドレスが指定されるので、各画素データを含む複合データを順次に読み出すことができる。また、こうした読み出し制御によって、初期アドレスを発生するためのアドレス発生部20と選択回路24によってアドレスの指定をでき、簡易な回路構成によって読み出しアドレスの制御を実現できる。
【0099】
第4実施形態
図11は本発明に係る画像データ処理装置の第4の実施形態を示す構成図である。
図示のように、本実施形態の画像データ処理装置は、画像メモリ200、アドレス生成回路220、選択回路230、アドレスバッファ240、ロウデコーダ250、カラムデコーダ260及び入出力バッファ270によって構成されている。
【0100】
以下、本実施形態の画像データ処理装置の各構成部分について説明する。
画像メモリ200は、画素データと画素データに対応付けられた付加情報データからなる複合データを記憶する。また、本実施形態の画像メモリ200は、前述した本発明の他の各実施形態のメモリセルアレイと同様に、複合データを一つのアクセス単位としてデータの書き込みまたは読み出しを行う。
即ち、画像メモリ200において、入力されたアドレスに応じて、当該アドレスによって指定されたメモリセルが選択され、選択されたメモリセルに対して、画素データ及びそれに対応付けられた付加情報データを含む複合データの書き込みまたは読み出しが行われる。
【0101】
なお、本実施形態の画像データ処理装置において、付加情報データは、例えば、画素データを読み出すときの走査方向を示す走査方向情報である。走査方向情報に基づき画素データの読み出しについて後に詳しく説明する。
【0102】
アドレス生成回路220は、画像メモリ200から読み出した複合データに含まれる付加情報データ、即ち、走査方向情報に基づき、次の複合データを読み出すためのアドレスADR1を生成し、選択回路230に供給する。
なお、走査方向情報に基づくアドレスADR1の生成について後にさらに詳しく説明する。
【0103】
選択回路230は、選択制御信号SC に従って、外部から供給されるアドレスADR0またはアドレス生成回路220によって生成されたアドレスADR1の何れかを選択して、アドレスバッファ240に出力する。
アドレスバッファ240は、選択回路230によって選択されたアドレスADRを保持し、ロウデコーダ250及びカラムデコーダ260にそれぞれ出力する。
【0104】
ロウデコーダ250及びカラムデコーダ260は、アドレスバッファ240から入力されるアドレスに応じて、画像メモリ200に対してアドレスによって指定されたメモリセルを選択する。
【0105】
入出力バッファ270は、書き込みデータまたは読み出しデータを保持する。書き込みのとき、入出力バッファ270に保持されている書き込みデータがロウデコーダ250及びカラムデコーダ260によって選択されたメモリセルに書き込まれる。読み出しのとき、ロウデコーダ250及びカラムデコーダ260によって選択されたメモリセルから読み出したデータが、入出力バッファ270によって保持され、外部に出力される。
【0106】
以下、本実施形態の画像データ処理装置の動作について説明する。
本実施形態の画像データ処理装置は、画像メモリ200から複合データを読み出すとき、通常の動作モードと始点指定モードの2つの動作モードで動作可能である。
【0107】
通常の動作モードにおいて、外部から入力されるアドレスADR0が選択回路230によって選択され、アドレスバッファ240に入力される。そして、ロウデコーダ250及びカラムデコーダ260は、アドレスバッファ240から供給されたアドレスに応じて、画像メモリ200において指定されたメモリセルを選択する。このため、通常動作モードにおいて、外部からのアドレスADR0によって指定されたメモリセルに対して、データの書き込みまたは読み出しが行われる。
【0108】
始点指定モードにおいて、例えば、読み出しの開始点である1つの開始画素に対応するアドレスADR0が指定される。画像メモリ200から当該開始画素に対応する画素データ及び付加情報データを含む複合データが読み出される。そして、読み出した複合データに含まれている付加情報データがアドレス生成回路220に入力され、アドレス生成回路220により付加情報データに従って次の読み出しのアドレスADR1が生成される。2回目の読み出しでは、選択回路230においてアドレス生成回路220によって生成されたアドレスADR1が選択され、これに応じてロウデコーダ250及びカラムデコーダ260により、アドレスADR1が指定したメモリセルが選択され、選択メモリセルから画素データ及び付加情報データを含む複合データが読み出される。
【0109】
このように、始点指定モードで動作するとき、最初に開始画素のアドレスを指定するのみで、以降この開始画素に対応付けられた付加情報データに応じて、次回の読み出しアドレスが自動的に生成されるので、一回のアドレス指定によって所定の画像領域にあるすべての画素データを読み出すことが可能となる。このため、始点指定モードは、例えば、画像に含まれている所定のオブジェクトにあるすべての画素データを読み出すときに有効である。この場合、オブジェクトにあるすべての画素データを順次走査できるように、始点画素から次の画素のアドレスを指定する走査情報データを生成し、この走査情報データを付加情報データとして、画素データに対応付けて複合データを生成して画像メモリ200に格納する。これによって、読み出しのとき、開始画素に対応するアドレスADR0だけを選択回路230に入力すれば、画像メモリ200から読み出した複合データに含まれている付加情報データに応じて、次の読み出しアドレスが自動的に生成されるので、所望のオブジェクトに含まれる全画素データを順次読み出すことができる。
【0110】
次に、図12と図13を参照しつつ、本実施形態の画像データ処理装置における付加情報について説明する。
図12は、本実施形態の画像メモリ200に格納されている画素データ及び付加情報データを含む複合データの一例を示す概念図である。図示のように、各画素データに付加情報データである走査方向データが対応付けられている。画像メモリ200において、画素データとそれに対応付けられている走査方向データからなる複合データが記憶される。
【0111】
図13は、走査方向データの一例を示している。図13に示す例において、走査方向は3ビットのデータによって示されている。即ち、この例では、全部で8つの方向を走査方向として表記することができる。この走査方向データによって、1つの画素とそれに隣接する画素の位置関係が示される。
【0112】
図13に示す走査方向データを付加情報データとして、画像データに付加して複合データを生成し、画像メモリ200に格納することによって、読み出しのとき、この走査方向データに応じて、次回の読み出しの対象となる画素の位置を取得することができる。そして、アドレス生成回路220において、取得した画素位置に応じてその画素データに対応するアドレスが計算できる。計算したアドレスに応じて画像メモリ200から、次の複合データが読み出される。当該複合データに含まれている走査情報データに応じて、さらに次の画像データを含む複合データを読み出すアドレスを計算できる。このように、読み出した複合データに含まれている走査方向データに応じて、次回の読み出し時のアドレスを算出できるので、所望のオブジェクトに含まれているすべての画素データを順次に読み出すことができる。
【0113】
また、走査方向データを用いて次回の読み出しアドレスを演算できるほか、図13に示す走査方向データに対して、所定の処理を施すことによって走査方向を所望の方向に設定することが可能である。例えば、走査方向を示す3ビットのデータのうち、上位ビットを反転させることによって、走査方向を反転させることができる。また、3ビットの走査方向データに“001”を加算することで、走査方向を時計廻りで45°回転することができる。同様に、3ビットの走査方向データから“001”を減算することで、走査方向を反時計廻りで45°回転することができる。
【0114】
次に、走査方向データを用いたアドレスの演算について、具体例を用いて説明する。当該アドレスの演算処理は、図11に示すアドレス生成回路220によって行われる。
【0115】
図14は、走査方向データに基づいて、所定の形状を有するオブジェクトの画素データを読み出す場合の画素指定の一例を示している。
図14において、例えば、画素P0は開始画素である。読み出しにおいて、最初に開始画素P0に対応するアドレスが外部から入力される。このアドレスに応じて、開始画素P0の画素データ及びそれに対応付けられた付加情報データ、即ち、走査方向データが読み出される。アドレス生成回路220によって、画素P0に対応付けられた走査方向データD0に基づき、次の読み出し対象となる画素P1に対応するアドレスが生成され、これに応じて画素P1の画素データ及びそれに対応付けられた走査方向データD1が読み出される。そして、読み出した走査方向データに基づき、さらに次の読み出し対象となる画素P2に対応するアドレスD2が生成される。
【0116】
ここで、例えば、一画面におけるすべての画素データが画面の上部端から各行ごとに画像メモリ200に格納される。各画像データ及びそれに対応付けられた付加情報データにより複合データが形成され、各複合データに増加順にアドレスが付与される。
【0117】
各複合データに付与されたアドレスには、行アドレスと列アドレスが含まれている。ここで、行アドレスは、画面の上端から下端に向かって、一行ごとに増加し、また、列アドレスは、画面の左端から右端に向かって、一列ごとに増加すると仮定する。
【0118】
また、図13に示す走査方向データは、画面上実際の移動方向に対応すると仮定する。このため、例えば、走査方向データが“010”の場合、画面上一つ右の画素を示し、走査方向データが“100”の場合、画面上一つ下の画素を示す。
【0119】
ここで、現在の読み出しアドレスをADRi とし、次の読み出しアドレスをADRi+1 とする。また、現在の読み出しアドレスADRi によって指定されたメモリセルから読み出した複合データに含まれている走査方向データをDi とする。
読み出しアドレスADRi には、行アドレスADRYi と列アドレスADRXi が含まれている。即ち、ADRi =(ADRYi ,ADRXi )である。同様に、読み出しアドレスADRi+1 には、行アドレスADRYi+1 と列アドレスADRXi+1 が含まれている。即ち、ADRi+1 =(ADRYi+1 ,ADRXi+1)である。
【0120】
走査方向データDi =000〜111までの各データに応じて、現在の読み出しアドレスADRi から次の読み出しアドレスADRi+1 を求める演算は、次に示す数1〜数8によって行われる。
【0121】
【数1】
i =000のとき、
ADRYi+1 =ADRYi −1
ADRXi+1 =ADRXi
【0122】
【数2】
i =001のとき、
ADRYi+1 =ADRYi −1
ADRXi+1 =ADRXi +1
【0123】
【数3】
i =010のとき、
ADRYi+1 =ADRYi
ADRXi+1 =ADRXi +1
【0124】
【数4】
i =011のとき、
ADRYi+1 =ADRYi +1
ADRXi+1 =ADRXi +1
【0125】
【数5】
i =100のとき、
ADRYi+1 =ADRYi +1
ADRXi+1 =ADRXi
【0126】
【数6】
i =101のとき、
ADRYi+1 =ADRYi +1
ADRXi+1 =ADRXi −1
【0127】
【数7】
i =110のとき、
ADRYi+1 =ADRYi
ADRXi+1 =ADRXi −1
【0128】
【数8】
i =111のとき、
ADRYi+1 =ADRYi −1
ADRXi+1 =ADRXi −1
【0129】
走査方向データDi に応じて、上述した数1〜数8の何れかによって、次回の読み出しアドレスADRi+1 に含まれている列アドレスADRYi+1 と行アドレスADRXi+1 を演算できる。このように算出したアドレスADRi+1 を用いて、画像メモリ200から次の画素に対応する複合データを読み出せる。
【0130】
上述したように、始点モードにおいて、開始画素のアドレスを与えるだけで、各画素に対応付けられた付加情報データ、即ち走査方向データに基づき、次の読み出し対象の画素データのアドレスが自動的に生成されるので、所望のオブジェクトにおけるすべての画素に対応する画素データを順次に読み出すことができ、オブジェクトの画素データの読み出し制御が容易に実現できる。
【0131】
以上説明したように、本実施形態の画像データ処理装置によれば、通常モードと始点指定モードの2つの動作モードが設けられ、通常モードのとき、外部から入力されたアドレスADR0に応じて、画像メモリ200に記憶されている画素データのうち、所定の画素データ及びそれに対応付けられた付加情報データを記憶するメモリセルに対してアクセスが行われる。始点指定モードにおいて、開始画素に対応するアドレスが外部から指定され、それに応じて開始画素の画素データ及びそれに対応付けられた付加情報データが読み出され、当該付加情報データに基づき、アドレス生成回路220によって次の読み出し対象となる画素データに対応するアドレスが生成される。これによって、開始画素のみを指定することで、所望のオブジェクトにある各画素データに対応するアドレスが自動的に更新されるので、オブジェクトに含まれるすべての画素データを順次読み出すことが可能となり、オブジェクトの画素データの読み出しにおけるアドレス制御を容易に実現できる。
【0132】
【発明の効果】
以上説明したように、本発明の半導体装置及び画像データ処理装置によれば、主データと当該主データに対応付けられた付加情報データからなる複合データを一つのアクセス単位として書き込みまたは読み出しが行われる。このため、アドレスの指定を容易にでき、データアクセスの効率化、高速化を実現できる。
画素データとそれにに対応付けられた付加情報データを含む複合データが画像メモリの所定の領域に記憶され、読み出しのとき、指定された画素の画素データとともに、その画素に対応付けられた付加情報データも同時に読み出される。当該付加情報データに基づいて所定の画像データ処理を実現できる。
例えば、付加情報として、連続して入力されるフレーム画像において所定の注目ブロックに対応する過去の動きベクトルを格納することで、動き推定において当該過去の動きベクトルに応じて探索領域を適宜予測して設定することによって、例えばブロックマッチング処理における探索領域を小さく設定することができ、等価的に大きな探索領域において動き推定を実現でき、動き推定の高速化、効率化を実現でき、推定精度の向上を実現できる。
また、本発明の画像データ処理装置によれば、付加情報として解像度の異なる複数の階層の画像データを示すフラグ信号を記憶することによって、解像度の高い下位階層の画素データと上位階層の画素データを示すフラグを読み出すことで、解像度の低い上位階層の画素データを得ることができる。これによって、下位階層の画素データとフラグ情報のみを記憶することで、異なる解像度を持つ画像信号を少ない記憶容量の画像メモリで記憶することができ、解像度変換などの画像処理を容易に実現できる。
さらに、本発明の画像データ処理装置によれば、付加情報として、ある注目のオブジェクトにおける画素の走査方向を示す走査方向情報を記憶し、読み出しのとき、読み出しの開始点となる開始画素のアドレスのみを指定することで、当該開始画素の画素データに対応付けられた付加情報データから次の読み出し対象の画素データのアドレスが自動的に生成できるので、オブジェクトを形成するすべての画素の画素データを順次読み出すことができる。これによって、任意の形状を有するオブジェクトの画素データの読み出しにおいて、アドレス制御を容易に実現できる利点がある。
【図面の簡単な説明】
【図1】本発明に係る半導体装置の一実施形態を示す構成図である。
【図2】本発明に係る画像データ処理装置の第1の実施形態を示す概念図である。
【図3】ブロックマッチング処理による画像信号の動き推定を示す図である。
【図4】画像データ処理装置の第1の実施形態の一構成例を示すブロック図である。
【図5】本発明に係る画像データ処理装置の第2の実施形態を示すブロック図である。
【図6】上位階層と下位階層の画素データを示す概念図である。
【図7】画像メモリに記憶されている画素データ及び付加情報データを示す概念図である。
【図8】解像度の比が異なる上位階層と下位階層の画素データの例を示す図である。
【図9】画像データ処理装置の第2の実施形態の他の構成例を示すブロック図である。
【図10】本発明に係る画像データ処理装置の第3の実施形態を示すブロック図である。
【図11】本発明に係る画像データ処理装置の第4の実施形態を示すブロック図である。
【図12】画像データ処理装置の第4の実施形態における画素データと走査方向情報を示す概念図である。
【図13】走査方向データの一例を示す図である。
【図14】走査方向データに基づき所望のオブジェクトから画素データの読み出しを示す図である。
【符号の説明】
10…メモリセルアレイ、20…アドレス発生部、30…アドレス演算部、40…アドレスデコーダ、50…レジスタ、70…選択回路、100…画像メモリ、120,120a…画素選択器、130…選択回路、140…判定回路、200…画像メモリ、220…アドレス発生回路、230…選択回路、240…アドレスバッファ、250…ロウデコーダ、260…カラムデコーダ、270…入出力バッファ。

Claims (13)

  1. 画像データである主データと、上記主データとは異なる領域に対応した所定の位置関係で格納され上記主データに対応付けられた付加情報データを含む複合データを一つのアクセス単位として記憶する記憶手段と、
    上記記憶手段に記憶されている上記複合データを一括して読み出し、また、上記記憶手段に上記複合データを一括して書き込むアクセス手段と
    を有し、
    上記アクセス手段は、上記異なる領域に対応した所定の関係で対応付けられた付加情報データを用いて求められたアドレスに基づいて動作する、
    ことを特徴とする半導体装置。
  2. 上記アクセス手段は、上記付加情報データを用いて求められた上記アドレスに基づいて、上記記憶手段に記憶されている上記複合データを一括して読み出す、
    ことを特徴とする請求項1に記載の半導体装置。
  3. 上記記憶手段及び上記アクセス手段は、一つの半導体チップ上に形成されている、
    ことを特徴とする請求項1に記載の半導体装置。
  4. 上記アクセス手段は、上記記憶手段より一括して読み出した上記複合データに含まれている上記付加情報データを用いて、上記記憶手段から上記複合データを一括して読み出す上記アドレスを求めるアドレス発生手段を有する、
    ことを特徴とする請求項1に記載の半導体装置。
  5. 画素データと、上記画素データとは異なる領域に対応した所定の位置関係で格納され上記画素データに付加されている付加情報データとを含む複合データを一つのアクセス単位として記憶する記憶手段と、
    上記記憶手段から上記複合データを一括して読み出すデータ読み出し手段と
    を備え、
    上記データ読み出し手段は、上記付加情報データを用いて求められたアドレスに基づいて動作する、
    ことを特徴とするデータ処理装置。
  6. 上記データ読み出し手段によって読み出した上記複合データに含まれている上記画素データと上記付加情報データとを分離して、分離されたそれぞれのデータに基づき所定の処理を行う画像処理手段をさらに備える、
    ことを特徴とする請求項5に記載のデータ処理装置。
  7. 上記記憶手段は、上記画素データと上記画素データに対応付けられた動きベクトルとを含む上記複合データを一つのアクセス単位として記憶し、
    上記データ読み出し手段は、読み出した上記複合データに含まれている上記動きベクトルに応じて動き推定を行う探索領域を設定する、
    ことを特徴とする請求項5に記載のデータ処理装置。
  8. 上記設定した探索領域において動き推定を行う動き推定手段をさらに備える、
    ことを特徴とする請求項6に記載のデータ処理装置。
  9. 上記動き推定手段は、上記設定した探索領域において、ブロックマッチング法で動き推定を行う、
    ことを特徴とする請求項8に記載のデータ処理装置。
  10. 上記記憶手段は、所定のオブジェクトを形成する画素データと、上記オブジェクトに含まれる各画素ごとに形成され、当該画素に隣接する他の画素との位置関係を示す走査方向データとを含む上記複合データを一つのアクセス単位として記憶し、
    上記読み出し手段によって読み出した上記走査方向データに基づき、上記画素に隣接する他の画素の画素データを読み出すための上記アドレスを生成し、当該生成したアドレスを上記読み出し手段に供給するアドレス生成手段をさらに備える、
    ことを特徴とする請求項5に記載のデータ処理装置。
  11. 上記データ処理装置は、画像データ処理装置である
    ことを特徴とする請求項5に記載のデータ処理装置。
  12. 画素データと、上記画素データとは異なる領域に対応した所定の位置関係で格納され上記画素データに付加されている付加情報データとを含む複合データを一つのアクセス単位として記憶する記憶手段と、上記記憶手段から上記複合データを一括して読み出すデータ読み出し手段とを備えたデータ処理装置を用いたデータ処理方法であって、
    上記データ読み出し手段は、上記付加情報データを用いて求められたアドレスに基づいて動作する
    ことを特徴とするデータ処理方法。
  13. 画像データである主データと、上記主データとは異なる領域に対応した所定の位置関係で格納され上記主データに対応付けられた付加情報データとを記憶する記憶手段と、
    上記記憶手段に対する第1のアドレスを指定する第1アドレスデコーダ手段と、上記記憶手段に対する第2のアドレスを指定する第2アドレスデコーダ手段とを有し、上記第1アドレスデコーダ手段と上記第2アドレスデコーダ手段の動作により、上記主データと上記主データと対応付けられた付加情報データとを一括してアクセスする、アクセス手段と、
    上記アクセス手段の読み出しアクセスに応じて上記記憶手段から同時に読みだされた上記主データを保持する第1のデータ保持手段と、上記付加情報データを保持する第2のデータ保持手段と、
    データ読み出し時に上記第2のデータ保持手段に保持されているデータを出力し、データ書き込みときに固定のデータを出力する、選択手段と、
    上記選択手段から出力されたデータと、アクセスすべきアクセスに対応するデータとを加算する、加算手段と、
    上記加算手段で加算された結果の一部を上記第1アドレスデコーダ手段に印加し、上記加算手段で加算された結果の一部の残りを上記第2アドレスデコーダ手段に印加する、データ保持手段と
    を有する、ことを特徴とする、半導体装置。
JP2002356530A 2002-12-09 2002-12-09 半導体装置及び画像データ処理装置 Expired - Fee Related JP4099578B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002356530A JP4099578B2 (ja) 2002-12-09 2002-12-09 半導体装置及び画像データ処理装置
US10/640,380 US7002587B2 (en) 2002-12-09 2003-08-14 Semiconductor device, image data processing apparatus and method
KR1020030056462A KR101017688B1 (ko) 2002-12-09 2003-08-14 반도체 장치, 화상 데이터 처리 장치 및 그 방법
CNB031545203A CN100378867C (zh) 2002-12-09 2003-08-15 半导体器件、图像数据处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002356530A JP4099578B2 (ja) 2002-12-09 2002-12-09 半導体装置及び画像データ処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007174640A Division JP4650459B2 (ja) 2007-07-02 2007-07-02 半導体装置およびデータ処理装置

Publications (2)

Publication Number Publication Date
JP2004192110A JP2004192110A (ja) 2004-07-08
JP4099578B2 true JP4099578B2 (ja) 2008-06-11

Family

ID=32756849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002356530A Expired - Fee Related JP4099578B2 (ja) 2002-12-09 2002-12-09 半導体装置及び画像データ処理装置

Country Status (4)

Country Link
US (1) US7002587B2 (ja)
JP (1) JP4099578B2 (ja)
KR (1) KR101017688B1 (ja)
CN (1) CN100378867C (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW522374B (en) * 2000-08-08 2003-03-01 Semiconductor Energy Lab Electro-optical device and driving method of the same
US6992652B2 (en) * 2000-08-08 2006-01-31 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device and driving method thereof
TW518552B (en) 2000-08-18 2003-01-21 Semiconductor Energy Lab Liquid crystal display device, method of driving the same, and method of driving a portable information device having the liquid crystal display device
US7180496B2 (en) * 2000-08-18 2007-02-20 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device and method of driving the same
US6987496B2 (en) * 2000-08-18 2006-01-17 Semiconductor Energy Laboratory Co., Ltd. Electronic device and method of driving the same
TW514854B (en) * 2000-08-23 2002-12-21 Semiconductor Energy Lab Portable information apparatus and method of driving the same
US7184014B2 (en) * 2000-10-05 2007-02-27 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device
US6747623B2 (en) * 2001-02-09 2004-06-08 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device and method of driving the same
TWI273539B (en) * 2001-11-29 2007-02-11 Semiconductor Energy Lab Display device and display system using the same
JP3913534B2 (ja) * 2001-11-30 2007-05-09 株式会社半導体エネルギー研究所 表示装置及びこれを用いた表示システム
JP4067878B2 (ja) * 2002-06-06 2008-03-26 株式会社半導体エネルギー研究所 発光装置及びそれを用いた電気器具
US6982727B2 (en) * 2002-07-23 2006-01-03 Broadcom Corporation System and method for providing graphics using graphical engine
TWI237261B (en) * 2004-06-16 2005-08-01 Himax Tech Inc Method for accessing a single port memory
CN100366092C (zh) * 2005-04-08 2008-01-30 北京中星微电子有限公司 一种视频编码中基于运动矢量预测的搜索方法
JP2009065283A (ja) * 2007-09-04 2009-03-26 For-A Co Ltd 画像ぶれ補正装置
CN102292774B (zh) 2008-06-30 2014-07-02 富士通半导体股份有限公司 存储器装置以及控制该存储器装置的存储器控制器
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
CN102012865A (zh) * 2010-10-27 2011-04-13 威海威高电子工程有限公司 量化数据存储方法
CN111193901B (zh) * 2018-11-15 2021-11-23 北京图森智途科技有限公司 一种图像的传输方法、成像设备、系统及车辆

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
GB2286740B (en) * 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
US5694143A (en) * 1994-06-02 1997-12-02 Accelerix Limited Single chip frame buffer and graphics accelerator
JPH0851526A (ja) * 1994-08-09 1996-02-20 Matsushita Electric Ind Co Ltd 画像処理装置
JP3722619B2 (ja) * 1997-07-10 2005-11-30 沖電気工業株式会社 メモリ装置及びそのアクセス制御方法
DE69824554T2 (de) * 1997-12-22 2005-06-30 Koninklijke Philips Electronics N.V. Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung
KR19990060797A (ko) * 1997-12-31 1999-07-26 구자홍 복호화된 이미지 데이타의 메모리 할당방법과 그장치
JP4535563B2 (ja) * 2000-04-28 2010-09-01 ルネサスエレクトロニクス株式会社 半導体記憶装置
JP2002083292A (ja) * 2000-09-08 2002-03-22 Nikon Corp 画像信号処理装置
US20030161399A1 (en) * 2002-02-22 2003-08-28 Koninklijke Philips Electronics N.V. Multi-layer composite objective image quality metric
US7206940B2 (en) * 2002-06-24 2007-04-17 Microsoft Corporation Methods and systems providing per pixel security and functionality
US20040165776A1 (en) * 2002-09-20 2004-08-26 Albert-Jan Brouwer Means of matching 2D motion vector fields in a render, match, and refine iterative 3D scene model refinement system so as to attain directed hierarchical convergence and insensitivity to color, lighting, and textures

Also Published As

Publication number Publication date
CN100378867C (zh) 2008-04-02
US20040164322A1 (en) 2004-08-26
US7002587B2 (en) 2006-02-21
JP2004192110A (ja) 2004-07-08
CN1506971A (zh) 2004-06-23
KR101017688B1 (ko) 2011-02-25
KR20040050829A (ko) 2004-06-17

Similar Documents

Publication Publication Date Title
JP4099578B2 (ja) 半導体装置及び画像データ処理装置
CN1149485C (zh) 能够将图象旋转180度的显示设备和方法
JP4236713B2 (ja) 記憶装置およびアクセス方法
JP3226426B2 (ja) 半導体メモリ及びその使用方法並びに画像プロセッサ
JP4224876B2 (ja) 記憶装置、並びに書き込み方法および読み出し方法
US20070229507A1 (en) Data processor with a built-in memory
US6560686B1 (en) Memory device with variable bank partition architecture
KR100528560B1 (ko) 계층적 코딩에 이용하기 위한 저장 장치 및 기록 및 판독 방법
TWI240221B (en) Memory access device, semiconductor device, memory access method and recording medium
KR101106080B1 (ko) 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체
JP4650459B2 (ja) 半導体装置およびデータ処理装置
JP4251675B2 (ja) 記憶装置およびアクセス方法
JP2005228073A (ja) 画像処理装置、マイクロコンピュータ及び電子機器
JP2633251B2 (ja) 画像メモリ素子
US5812829A (en) Image display control system and memory control capable of freely forming display images in various desired display modes
JPH09106374A (ja) 画像メモリ装置
JPH07110786A (ja) 半導体記憶装置
JP3879110B2 (ja) 記憶装置およびデータ処理方法
JP4273435B2 (ja) 記憶装置およびアクセス方法
JP2022164244A (ja) メモリアクセス制御装置
JPH0773100A (ja) 画像メモリ
JPS60198652A (ja) 画像記憶装置
JPH0651751A (ja) 画像表示装置
JPH0695937A (ja) メモリアクセス装置
JPH032941A (ja) 画像メモリ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080303

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees