JP4789753B2 - 画像データバッファ装置、画像転送処理システム、及び画像データバッファ方法 - Google Patents

画像データバッファ装置、画像転送処理システム、及び画像データバッファ方法 Download PDF

Info

Publication number
JP4789753B2
JP4789753B2 JP2006230977A JP2006230977A JP4789753B2 JP 4789753 B2 JP4789753 B2 JP 4789753B2 JP 2006230977 A JP2006230977 A JP 2006230977A JP 2006230977 A JP2006230977 A JP 2006230977A JP 4789753 B2 JP4789753 B2 JP 4789753B2
Authority
JP
Japan
Prior art keywords
block
data
memory
image
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006230977A
Other languages
English (en)
Other versions
JP2008054222A (ja
Inventor
喜史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2006230977A priority Critical patent/JP4789753B2/ja
Priority to US11/651,968 priority patent/US8687222B2/en
Priority to EP07250116A priority patent/EP1895470B1/en
Priority to CN2007100034667A priority patent/CN101137052B/zh
Publication of JP2008054222A publication Critical patent/JP2008054222A/ja
Application granted granted Critical
Publication of JP4789753B2 publication Critical patent/JP4789753B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Storing Facsimile Image Data (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Information Transfer Systems (AREA)

Description

本発明は、一般に画像データバッファ装置及び画像転送処理システムに関し、詳しくはブロック単位で画像データを転送する画像データバッファ装置及び画像転送処理システムに関する。
画像処理において、画像データを複数のブロックに分割し、ブロック単位にフィルタリングや圧縮符号化等の処理を行うことが多い。あるブロックにフィルタ処理を施す場合、ブロック境界に近い位置の画素についてフィルタ処理後の値を求めるためには、ブロック境界の外側の画素のデータも必要になる。例えば、1つのブロックの大きさがn×m画素であるとすると、n×m画素の外側にフィルタ処理のフィルタサイズに応じた大きさの計算用画像データを付加して、s×t(s>n及びt>m)画素の画像データを用意する。このようにして得られた本来のブロックサイズよりも大きなサイズであるs×t画素の画像ブロックを、画像データバッファから順次画像処理部に供給することになる。
図1は、従来の画像転送・処理システムの構成の一例を示す図である。図1の画像転送・処理システムは、画像メモリ部10と、画像データバッファ11と、画像処理部12を含む。画像メモリ部10は、画像メモリ15及び画像メモリ15のデータ入出力等を制御するメモリインターフェース16を含む。画像データバッファ11は、RAM17及びRAM17のデータ入出力等を制御するFIFO制御部18を含む。FIFO制御部18は、RAM17についての書き込み位置を示す書き込みポインタ及び読み出し位置を示す読み出しポインタを制御して、FIFO(First-In First-Out)動作を実現する。
画像メモリ部10のメモリインターフェース16には、例えば、画像データ20として示すような3×3ブロックの画像データが格納されている。この例では、画像データ20はブロックB1乃至B9の9つのブロックからなり、各ブロックはn×m画素(例えば16×32画素)で構成される。
メモリインターフェース16は、画像メモリ15からB1乃至B9の順(即ちラスタ走査の順)で各ブロックデータを読み出して、各ブロックデータを順に画像データバッファ11に供給する。この際メモリインターフェース16は、例えばブロックB5を読み出す場合、その上下左右の周囲の画素データも同時に読み出すことにより、n×mよりも大きなs×t画素(例えば28×37画素)の画像データを読み出して、ブロックB5に対応する画像データとして画像データバッファ11に供給する。なおs×t画素の画像データの各画素のデータは、ラスタ走査順で順次供給される。
このようにして供給されたs×t画素の画像データは、画像データバッファ11においてFIFO制御部18がRAM17に書き込む。この例では、RAM17は2ブロック分のデータを格納できるFIFOとしてFIFO制御部18により動作制御される。図1に示されるように、例えばブロックB5に対応するs×t画素の画像データと次のブロックに対応するs×t画素の画像データとが、画像データ21としてRAM17に格納されている。
画像データバッファ11のFIFO制御部18は、先に書き込まれたブロックの画像データを先に読み出してRAM17から画像処理部12に供給する。図1に示されるように、例えばブロックB5に対応するs×t画素の画像データ22が、画像データバッファ11から画像処理部12に供給される。画像処理部12は、供給されたs×t画素の画像データ22に対してフィルタ処理を含む画像処理を実行する。
図2は、画像データバッファ11の詳細な構成の一例を示す図である。図2に示す画像データバッファ11は、RAM17、FIFO制御部18、ブロックカウンタ25、及びブロックカウンタ26を含む。RAM17には画像メモリ部10からの画像データが入力データとして供給される。入力データは、FIFO制御部18が管理する書き込みポインタWPの示すRAM17内のアドレスに書き込まれる。なお画像メモリ部10からの入力データは、同時にブロックカウンタ25にも供給される。
ブロックカウンタ25には、1ブロック辺りの画像データの画像サイズの情報が供給されている。ブロックカウンタ25は、入力データのビット数をカウントし、カウント値と画像サイズとを比較することにより、1ブロック分の画像データが供給されたか否かを判断する。1ブロック分の画像データが供給される毎に、ブロックカウンタ25は書き込みポインタWPの更新を指示する信号をFIFO制御部18に供給する。この信号に応答して、FIFO制御部18は書き込みポインタWPを更新する(次のブロックの書き込み位置を示すポインタ値に更新する)。
FIFO制御部18が管理する読み出しポインタRPの示すRAM17のアドレスから読み出された出力データは、画像処理部12に供給される。この出力データは、同時にブロックカウンタ26にも供給される。
ブロックカウンタ26には、1ブロック辺りの画像データの画像サイズの情報が供給されている(図示省略)。ブロックカウンタ26は、出力データのビット数をカウントし、カウント値と画像サイズとを比較することにより、1ブロック分の画像データが出力されたか否かを判断する。1ブロック分の画像データが出力される毎に、ブロックカウンタ26は読み出しポインタRPの更新を指示する信号をFIFO制御部18に供給する。この信号に応答して、FIFO制御部18は読み出しポインタRPを更新する(次のブロックの読み出し位置を示すポインタ値に更新する)。
図1及び図2に示すような構成によって、1つのブロックの大きさがn×m画素である場合に、ブロックの大きさよりも大きなs×t(s>n及びt>m)画素の画像データを用意して、画像データバッファ11から順次画像処理部12に供給することができる。しかしこのような構成では、画像メモリ15から各ブロック毎にn×m画素ではなくs×t画素のデータを読み出すことになり、画像メモリ15からのデータ転送量が多くなる。しかもs×t画素の画像データの周辺部分にある計算用画像データは、少なくとも2回、多い場合には4回重複して読み出されることになり、非常に効率の悪いデータ転送を行っていることになる。画像メモリ15に対して他の装置からのアクセスも行われるような構成では、このようなデータ転送量の増大は性能低下につながるものであり好ましくない。
特開平8−9385号公報 特開2002−142149号公報
以上を鑑みて本発明は、ブロック毎の画像データを画像メモリから画像データバッファを介して画像処理装置に転送する構成において画像メモリからの効率的なデータ読み出しを実現する画像データバッファ装置及び画像転送処理システムを提供することを目的とする。
画像データバッファ装置は、メモリと、該メモリへの書き込み位置を示す書き込みポインタと該メモリからの読み出し位置を示す読み出しポインタを有し、該メモリをFIFOとして動作させるFIFO制御部を含み、該FIFO制御部は、画像中の連続したブロックとして供給される画像データを該メモリの該書き込みポインタが順次示す位置に複数のブロックとして格納するとともに、該メモリの該読み出しポインタが示す位置から該複数のブロックのうちの1つである第1のブロックを読み出す際に該第1のブロックに隣接する少なくとも1つの第2のブロックの一部である部分データを同時に読み出して、該第1のブロックと該部分データとを纏めて1つのブロックとして送出するよう構成され、該部分データは、該第2のブロックの端に位置し該画像中において該第1のブロックと隣接していることを特徴とする。
画像転送処理システムは、メモリと、該メモリへの書き込み位置を示す書き込みポインタと該メモリからの読み出し位置を示す読み出しポインタを有し、該メモリをFIFOとして動作させるFIFO制御部と、画像処理部を含み、該FIFO制御部は、画像中の連続したブロックとして供給される画像データを該メモリの該書き込みポインタが順次示す位置に複数のブロックとして格納するとともに、該メモリの該読み出しポインタが示す位置から該複数のブロックのうちの1つである第1のブロックを読み出す際に該第1のブロックに隣接する少なくとも1つの第2のブロックの一部である部分データを同時に読み出して、該第1のブロックと該部分データとを纏めて1つのブロックとして該画像処理部に送出するよう構成され、該部分データは、該第2のブロックの端に位置し該画像中において該第1のブロックと隣接していることを特徴とする。
本発明の少なくとも1つの実施例によれば、画像メモリからFIFOへのデータ転送において同一データの重複転送をなるべく避けることにより、データ転送量を削減することができるという効果が得られる。またFIFOの段数が同一段数の構成であるとして従来技術と比較すると、本発明の少なくとも1つの実施例では1ブロック辺りの画像データ量が少ないので、FIFOのサイズを小さくすることができる。
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
図3は、本発明による画像転送・処理システムの構成の一例を示す図である。図3の画像転送・処理システムは、画像メモリ部30と、画像データバッファ31と、画像処理部32と、コントローラ33を含む。画像メモリ部30は、画像メモリ35及び画像メモリ35のデータ入出力等を制御するメモリインターフェース36を含む。画像データバッファ31は、RAM37及びRAM37のデータ入出力等を制御するFIFO制御部38を含む。FIFO制御部38は、RAM37についての書き込み位置を示す書き込みポインタ及び読み出し位置を示す読み出しポインタを制御して、FIFO(First-In First-Out)動作を実現する。コントローラ33は、画像処理部32からの処理データ要求に応答してアクナレッジを返すと共に、画像メモリ部30及び画像データバッファ31を制御して、画像メモリ部30から画像データバッファ31へのデータ転送、画像データバッファ31から画像処理部32へのデータ転送を実現する。なおコントローラ33を実装する位置は特定の箇所に限定されるものではなく、例えば画像データバッファ31の内部にコントローラ33の機能をインターフェースユニットとして設けるように構成してもよい。
図4は、図3の画像転送・処理システムの動作原理を説明するための図である。図3及び図4を参照して、図3の画像転送・処理システムの動作について説明する。
画像メモリ部30のメモリインターフェース36には、例えば、図4に画像データ20として示すような3×3ブロックの画像データが格納されている。この例では、画像データ20はブロックB1乃至B9の9つのブロックからなり、各ブロックはn×m画素(例えば横16画素×縦32画素)で構成される。
メモリインターフェース36は、画像メモリ35からB1乃至B9の順(即ちラスタ走査の順)で各ブロックデータを読み出して、各ブロックデータを順に画像データバッファ31に供給する。この際メモリインターフェース36は、例えばブロックB5を読み出す場合、その上下の画素データのみを同時に読み出すことにより、垂直方向(副走査方向)にのみn×m画素よりも大きなサイズを有するn×t画素(例えば横16画素×縦37画素)の画像データを読み出して、ブロックB5に対応する画像データとして画像データバッファ11に供給する。なおn×t画素の画像データの各画素のデータは、ラスタ走査順で順次供給される。
このようにして供給されたn×t画素の画像データは、画像データバッファ31においてFIFO制御部38がRAM37に書き込む。この例では、RAM37は4ブロック分のデータを格納できるFIFOとしてFIFO制御部38により動作制御される。図4に示されるように、例えばブロックB5に対応するn×t画素の画像データとその前後のブロックに対応するそれぞれn×t画素の画像データとが、画像データ41としてRAM37に格納されている。
画像データバッファ31のFIFO制御部38は、先に書き込まれたブロックの画像データを先に読み出してRAM37から画像処理部32に供給する。この際、FIFO制御部38は、出力対象のn×t画素の画像データの左右必要な部分に計算用画像データを付加することによりs×t画素の画像データを生成し、画像処理部32に供給する。このs×t画素の画像データが画像データ22として図4に示される。なお以下に説明するように、全体画像の左端又は右端のブロックについては、画像処理部32に供給するデータのサイズは(n+(s-n)/2)×t画素となる。
例えば、ブロックB5の場合であれば、横一列に並ぶ3つのブロックB4乃至B6のうちの真ん中のブロックであるので、ブロックB5に対応するn×t画素の画像データ42と、左隣のブロックB4の右端部分の部分データ43と、右隣のブロックB6の左端部分の画部分データ44とを合わせて、s×t画素の画像データがRAM37から読み出される。これにより、ブロックB5の右側と左側とに計算用画像データを付加することができる。
また例えば、ブロックB4の場合であれば、横一列に並ぶ3つのブロックB4乃至B6のうちの左端のブロックであるので、ブロックB4に対応するn×t画素の画像データと、その右隣のブロックB5の左端部分の部分データとを合わせることにより、ブロックB4の右側の部分に計算用データを付加することができる。ブロックB4の左側に関しては、計算用データは付加しない。これにより、(n+(s-n)/2)×t画素の画像データがRAM37から画像処理部32に供給される。
また同様に、ブロックB6の場合であれば、横一列に並ぶ3つのブロックB4乃至B6のうちの右端のブロックであるので、ブロックB6に対応するn×t画素の画像データと、その左隣のブロックB5の右端部分の部分データとを合わせることにより、ブロックB6の左側の部分に計算用データを付加することができる。またブロックB6の右側に関しては、計算用データは付加しない。これにより、(n+(s-n)/2)×t画素の画像データがRAM37から画像処理部32に供給される。
なお画像メモリ35からメモリインターフェース36が画像データを読み出す場合、画像の上端のブロックB1乃至B3については、各ブロックの下側にのみ計算用データを付加するようにしてよい。同様に、画像の下端のブロックB7乃至B9については、各ブロックの上側にのみ計算用データを付加するようにしてよい。
図5は、画像データバッファ31の詳細な構成の一例を示す図である。図5に示す画像データバッファ31は、RAM37、FIFO制御部38、ブロックカウンタ45、ブロックカウンタ46、及び位置バッファ47を含む。RAM37には画像メモリ部30からの画像データが入力データとして供給される。入力データは、FIFO制御部38が管理する書き込みポインタWPの示すRAM37内のアドレスに書き込まれる。なお画像メモリ部30からの入力データは、同時にブロックカウンタ45にも供給される。
ブロックカウンタ45には、1ブロック辺りの画像データの画像サイズの情報が供給されている。ブロックカウンタ45は、入力データのビット数をカウントし、カウント値と画像サイズとを比較することにより、1ブロック分の画像データが供給されたか否かを判断する。1ブロック分の画像データが供給される毎に、ブロックカウンタ25は書き込みポインタWPの更新を指示する信号をFIFO制御部38に供給する。この信号に応答して、FIFO制御部38は書き込みポインタWPを更新する(次のブロックの書き込み位置を示すポインタ値に更新する)。
またブロックカウンタ45は、現在入力データが供給されているブロックの位置に関する情報(位置情報)を位置バッファ47に供給する。ブロックの位置に関する情報とは、例えば「左」、「中」、「右」を示すデータである。「左」とは、対応するブロックが、横一列に並ぶ複数のブロックのうちの左端のものであることを示す。「中」とは、対応するブロックが、横一列に並ぶ複数のブロックのうちで端に位置していない途中のものであることを示す。「右」とは、対応するブロックが、横一列に並ぶ複数のブロックのうちの右端のものであることを示す。具体的には、図4に示す画像データ20の例の場合、ブロックB1、B4、及びB7が「左」であり、ブロックB2、B5、及びB8が「中」であり、ブロックB3、B6、及びB9が「右」である。
ブロックカウンタ45は、「左」、「中」、及び「右」のそれぞれのブロックの画像サイズの情報を入力情報として供給されているので、入力データのビット数をカウントし、カウント値と画像サイズとを比較することにより、現在入力データが供給されているブロックの位置を特定することができる。特定されたブロックの位置に関する情報(位置情報)は、ブロックカウンタ45から位置バッファ47に供給される。位置バッファ47は、FIFO制御部38から供給される書き込みポインタWPの示す位置に、ブロックカウンタ45から供給される位置情報を格納する。これにより、位置バッファ47は、FIFOに格納される各ブロック毎にそのブロックの位置に関する情報(位置情報)を記録することができる。
また位置バッファ47は、FIFO制御部38から供給される読み出しポインタRPが示す位置の位置情報を、FIFO制御部38に供給する。これによりFIFO制御部38は、読み出しポインタRPが示すブロックの位置情報を知ることができる。この位置情報に基づいて、FIFO制御部38は、データ読み出し時に左右両方に部分データを付加するのか、右側にのみ部分データを付加するのか、或いは左側にのみ部分データを付加するのかを決定することができる。
FIFO制御部38が管理する読み出しポインタRPの示すRAM37のアドレスから読み出された出力データは、画像処理部32に供給される。この出力データは、同時にブロックカウンタ46にも供給される。
ブロックカウンタ46には、読み出しブロックの位置情報及び1ブロック辺りの画像データの画像サイズの情報が供給されている(図示省略)。ブロックカウンタ46は、出力データのビット数をカウントし、カウント値と画像サイズとを比較することにより、1ブロック分の画像データが出力されたか否かを判断する。1ブロック分の画像データが出力される毎に、ブロックカウンタ46は読み出しポインタRPの更新を指示する信号をFIFO制御部38に供給する。この信号に応答して、FIFO制御部38は読み出しポインタRPを更新する(次のブロックの読み出し位置を示すポインタ値に更新する)。
図6は、4段のFIFOにブロックデータが格納される場合のFIFO及び位置バッファ47の内容の一例を示す図である。
FIFO制御部38の制御下でRAM37への読み書きを行うことで、4段のFIFOを実現する。ここで初期状態においては、FIFOの内容及び位置バッファ47の内容はバッファデータ51で示すものとなっている。バッファデータ51の4つの矩形枠が4段のFIFOの4つのブロック格納位置を示す。各矩形枠内で、上側には格納ブロックを示し、下側には位置バッファ47に格納される各ブロック毎の位置情報を示してある。初期状態においては、格納ブロックはなく、位置情報は「左」に初期化されている。図中の「RP」の矢印は読み出しポインタRPの指し示す位置を示し、「WP」の矢印は書き込みポインタWPの指し示す位置を示す。
書き込み動作を4回繰り返すと(WR×4)、FIFOの内容及び位置バッファ47の内容はバッファデータ52で示すものとなる。即ち、FIFOにはブロックB1乃至B4が格納され、位置バッファ47には「左」、「中」、「右」、「左」が格納される。読み出しポインタRP及び書き込みポインタWP共に、1番(一番左)の格納位置を指し示している。
この状態で、一番先に書き込んだブロックB1を読み出すと(RD×1)、読み出しポインタRPの指し示す位置は2番(左から2番目)の格納位置となる。このときFIFOの内容及び位置バッファ47の内容はバッファデータ53で示すものである。
通常のFIFOであれば、ブロックB1を読み出した後は、直ちに次に書き込むブロック(この場合はB5)でブロックB1を上書きしてしまってよい。しかし本願発明の場合には、ブロックB1を読み出した直後の状態では、ブロックB1を消去することはできない。何故なら、次に読み出すブロックB2は、ブロックB1のデータを計算用画像データとして左側に付加する必要があるからである。
このように本発明による画像データバッファ31においては、FIFO制御部38によるFIFO制御が通常のFIFO制御とは異なることになる。図7は、FIFO制御部38におけるFIFO制御に使用するパラメータが変化していく様子を示す図である。
図7に示すように、FIFO制御部38には、書き込みポインタWP及び読み出しポインタRPに加え、有効データ数AVL、書き込み可能条件フラグFULL、読み出し可能条件フラグRDY、及びデータが空の状態を示すフラグEMPが設けられている。図7のリセットから始まる各行は、図6に示すバッファデータ51乃至57の7つの状態に対応する。
有効データ数AVLは、格納されているデータの内でこれから読み出すべきデータの数(まだ読み出されていないデータの数)であり、WP−RPで計算される値である。この例ではFIFOは4段であり、FIFO内はループになっているので、図6のバッファデータ53に示すようにWPが1番の位置にありRPが2番の位置にあれば、AVLは1−2+4(4段のループの一周分)で3となる。これに対応して、図7において、上から3行目のRD×1の行のAVLが3になっている。
図7において「位置」として示すのは、読み出しポインタRPが示す格納位置の位置情報である。図5に示すように位置バッファ47は、FIFO制御部38から供給される読み出しポインタRPが示す位置の位置情報を、FIFO制御部38に供給する。FIFO制御部38は、この位置バッファ47から供給される位置情報を「位置」として内部レジスタに格納しておく。以降、このレジスタの内容である「位置」を位置フラグと呼ぶ。
書き込み可能条件フラグFULLは、この位置フラグが左端(前記位置情報の「左」に対応)を示すか、真中(前記位置情報の「中」に対応)を示すか、右端(前記位置情報の「右」に対応)を示すかにより異なる値を有する。書き込み可能条件フラグFULLが"1"の場合には、次のデータをFIFOに書き込むことは許可されない。書き込み可能条件フラグFULLが"0"の場合には、次のデータをFIFOに書き込むことが許可される。
位置フラグが左端を示す場合、AVL?4が満たされる場合にはFULLは"1"となり、それ以外の場合に"0"となる。何故なら、位置フラグが左端を示す場合、FIFOから次に読み出すべきデータは左端のブロックである。計算用付加データとして必要なのはその右隣のブロックのデータであり、先に書いたデータが先に消されるというFIFOの動作上、読み出し対象のブロックより先にその右隣のブロックが消去されることはあり得ない。また読み出し対象のブロック以前にFIFOに書き込んだブロックのデータは不要である。従って、AVLが4である状態(FIFOが読み出し必要なデータで満杯になっている状態)では、当然にFIFOへの次のデータの書き込みは許されないのでFULLは"1"となるが、それ以外の場合には、FULLは"0"となり書き込み許可状態となる。
位置フラグが真中を示す場合、AVL?3が満たされる場合にはFULLは"1"となり、それ以外の場合に"0"となる。何故なら、位置フラグが真中を示す場合、FIFOから次に読み出すべきデータは真中のブロックである。計算用付加データとして必要なのはその左右に隣接するブロックのデータであり、先に書いたデータが先に消されるというFIFOの動作上、読み出し対象のブロックより先にその右隣のブロックが消去されることはあり得ない。また読み出し対象のブロックの直前にFIFOに書き込んだブロックのデータは必要であるが、それ以前に書き込んだブロックのデータは不要である。AVLが3の状態では、次に消去されるのは読み出し対象のブロックの直前にFIFOに書き込んだブロックのデータである。従って、AVLが3の状態(及び4の満杯状態)では、FIFOへの次のデータの書き込みは許されずにFULLは"1"となるが、AVLがそれより小さい場合には、FULLは"0"となり書き込み許可状態となる。
位置フラグが右端を示す場合、AVL?3が満たされる場合にはFULLは"1"となり、それ以外の場合に"0"となる。何故なら、位置フラグが右端を示す場合、FIFOから次に読み出すべきデータは右端のブロックである。計算用付加データとして必要なのはその左隣のブロックのデータであり、これは、読み出し対象のブロックの直前にFIFOに書き込んだブロックのデータである。しかしながらそれ以前に書き込んだブロックのデータは不要である。AVLが3の状態では、次に消去されるのは読み出し対象のブロックの直前にFIFOに書き込んだブロックのデータである。従って、AVLが3の状態(及び4の満杯状態)では、FIFOへの次のデータの書き込みは許されずにFULLは"1"となるが、AVLがそれより小さい場合には、FULLは"0"となり書き込み許可状態となる。
読み出し可能条件フラグRDYもまた、位置フラグが左端を示すか、真中を示すか、右端を示すかにより異なる値を有する。読み出し可能条件フラグRDYが"1"の場合には、次のデータをFIFOから読み出すことが許可される。読み出し可能条件フラグRDYが"0"の場合には、次のデータをFIFOから読み出すことが許可されない。
位置フラグが左端を示す場合、AVL?2が満たされる場合にはRDYは"1"となり、それ以外の場合に"0"となる。何故なら、位置フラグが左端を示す場合、FIFOから次に読み出すべきデータは左端のブロックである。この場合、計算用付加データとして必要なのはその右隣のブロックのデータである。従って、この右隣のブロックのデータを書き込むことにより、書き込みポインタWPが読み出しポインタRPよりも少なくとも2つ先に進んだ状態であれば、読み出しポインタRPが示すブロックのデータを読み出す準備ができていることになる。
位置フラグが真中を示す場合、AVL?2が満たされる場合にはRDYは"1"となり、それ以外の場合に"0"となる。何故なら、位置フラグが真中を示す場合、FIFOから次に読み出すべきデータは真中のブロックである。この場合、計算用付加データとして必要なのはその左右に隣接するブロックのデータである。FIFOへの書き込み順は左のブロックから先に書き込むので、左隣のブロックは当然FIFO内に格納されている。従って、右隣のブロックのデータを書き込むことにより、書き込みポインタWPが読み出しポインタRPよりも少なくとも2つ先に進んだ状態であれば、読み出しポインタRPが示すブロックのデータを読み出す準備ができていることになる。
位置フラグが右端を示す場合、AVL?1が満たされる場合にはRDYは"1"となり、それ以外の場合に"0"となる。何故なら、位置フラグが右端を示す場合、FIFOから次に読み出すべきデータは右端のブロックである。この場合、計算用付加データとして必要なのはその左隣のブロックのデータである。FIFOへの書き込み順は左のブロックから先に書き込むので、左隣のブロックは当然FIFO内に格納されている。従って、読み出し対象のブロックのデータを書き込むことにより、書き込みポインタWPが読み出しポインタRPよりも少なくとも1つ先に進んだ状態であれば、読み出しポインタRPが示すブロックのデータを読み出す準備ができていることになる。
上述のようにして決定された書き込み可能条件フラグFULL及び読み出し可能条件フラグRDYを参照して、コントローラ33が、画像データバッファ31に対するデータ書き込み及びデータ読み出しを制御する。即ち、書き込み可能条件フラグFULLが許可する場合にデータ書き込みを行い、書き込み可能条件フラグFULLが許可しない場合にはデータ書き込みを行なわない。また読み出し可能条件フラグRDYが許可する場合にデータ読み出しを行い、読み出し可能条件フラグRDYが許可しない場合にはデータ読み出しを行なわない。これにより、例えば図6にバッファデータ51からバッファデータ57として示すように各ブロックのデータの書き込み・読み出しを行い、各ブロックに付加する計算用データを喪失することなく、確実に計算用データが付加されたブロックデータを供給することが可能となる。
図8は、FIFO制御部38の構成の一例を示す図である。図8のFIFO制御部38は、フリップチップ61乃至65、加算器66及び67、減算器68、デコーダ69及び70、及び比較器71乃至73を含む。
フリップチップ61は、書き込みポインタWPを格納するフリップチップである。フリップチップ61は、ブロックカウンタ45からの書き込みポインタWP更新信号に応答して、現在の書き込みポインタWPの値に加算器66で"1"を加えた値をラッチする。
フリップチップ62は、読み出しポインタRPを格納するフリップチップである。フリップチップ62は、ブロックカウンタ46からの読み出しポインタRP更新信号に応答して、現在の読み出しポインタRPの値に加算器67で"1"を加えた値をラッチする。なおフリップチップ61及び62は、その出力の示す値がFIFOの段数に達するとリセットするよう構成されてよい。
減算器68は、書き込みポインタWPの値から読み出しポインタRPの値を減算することで、有効データ数AVLを算出する。算出した有効データ数AVLは、比較器71乃至73の一方の入力に供給される。
比較器71乃至73のもう一方の入力には、デコーダ69の出力、デコーダ70の出力、及び0がそれぞれ供給される。デコーダ69及び70には、読み出しポインタRPが示す読み出し対象ブロックの位置情報(前記位置フラグ)が供給される。
デコーダ69は位置情報をデコードして、位置情報が「左」又は「中」のときに2を出力し、位置情報が「右」のときに1を出力する。比較器71は、AVLがデコーダ69の出力以上であるときに、出力信号をアサートする。この出力信号のアサートに応答して、フリップフロップ63が"1"に設定される。
デコーダ70は位置情報をデコードして、位置情報が「左」のときに4を出力し、位置情報が「中」又は「右」のときに3を出力する。比較器72は、AVLがデコーダ70の出力以上であるときに、出力信号をアサートする。この出力信号のアサートに応答して、フリップフロップ64が"1"に設定される。
また比較器73は、AVLが"0"出力以上であるときに、出力信号をアサートする。この出力信号のアサートに応答して、フリップフロップ65が"1"に設定される。
図9は、コントローラ33及び画像データバッファ31の動作の一例を示すフローチャートである。
初期状態においては、書き込みポインタWP、読み出しポインタRP、有効データ数AVL、読み出し可能条件フラグRDY、及び書き込み可能条件フラグFULLは全て"0"であり、空フラグEMPは"1"、位置フラグは「左」である。
ステップS1で、FULLが"0"であるか否かが判断される。FULLが"1"である場合には、ステップS2で、RDYが"1"であるか否かが判断される。FULLが"0"である場合には、ステップS3で、EMPが"1"であるか否かが判断される。EMPの条件判断後の動作は、本発明に直接関係がないので示していない。図9では、EMPの値に関わらず処理はステップS1に戻る。これらのステップS1乃至S3の判断は、コントローラ33により行われる。
ステップS1でFULLが"0"と判断された場合には、ステップS4で、FIFOへのデータ入力を行うと共に、位置バッファ47への位置データ入力を行う。即ち、コントローラ33からの書き込み指示に基づき、FIFO制御部38の制御の下で、書き込みポインタWPの示すRAM37中の位置に次のブロックのデータを書き込むと共に、書き込みポインタWPの示す位置バッファ47中の位置にこのブロックの位置情報を格納する。
その後、ブロックカウンタ45からの書き込みポインタWP更新信号がアサートされると、それに応答して、ステップS5で書き込みポインタWPを更新する。次に、ステップS6で有効データ数AVLを計算する。ステップS6の後、処理はステップS1に戻る。
ステップS2でRDYが"1"と判断された場合には、ステップS7でデータを出力する。即ち、コントローラ33からの読み出し指示に基づき、FIFO制御部38の制御の下で、読み出しポインタRPが示す位置に格納されるブロックのデータ及びその左右の必要な部分のデータをRAM37から読み出して、出力データとして画像処理部32に供給する。またステップS7と並行してステップS8において、位置データが更新される。即ちFIFO制御部38が保持する位置フラグの内容が、更新後の読み出しポインタRPが示す位置バッファ47中の位置情報に更新される。またステップS9において、FULLとRDYとの値を更新する。
その後、ブロックカウンタ46からの読み出しポインタRP更新信号がアサートされると、それに応答して、ステップS10で読み出しポインタRPを更新する。即ち、FIFO制御部38において読み出しポインタRPをインクリメントする。次に、ステップS6で有効データ数AVLを計算する。ステップS6の後、処理はステップS1に戻る。
上記説明から分かるように、本発明の少なくとも1つの実施例によれば、画像メモリからFIFOへのデータ転送において同一データの重複転送をなるべく避けることにより、データ転送量を削減することができるという効果が得られる。なお本発明ではFIFOに最低3段が必要となる。それに対して従来の構成ではFIFOに必要な最低段数は1段である。しかしながら、画像メモリにDRAMを使用した場合、DRAMのリフレッシュに要する数千サイクルの期間中にDRAMへのアクセスが不可であっても画像処理部が動作可能なように、従来の構成でもFIFOを3段又は4段程度の構成にするのが一般的である。従って、例えば従来技術も本発明も両方共に3段構成であるとして比較すると、1ブロック辺りの画像データ量が少ない本願発明の方が、FIFOのサイズを小さくすることができる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
従来の画像転送・処理システムの構成の一例を示す図である。 画像データバッファの詳細な構成の一例を示す図である。 本発明による画像転送・処理システムの構成の一例を示す図である。 図3の画像転送・処理システムの動作原理を説明するための図である。 画像データバッファの詳細な構成の一例を示す図である。 4段のFIFOにブロックデータが格納される場合のFIFO及び位置バッファの内容の一例を示す図である。 FIFO制御部におけるFIFO制御に使用するパラメータが変化していく様子を示す図である。 FIFO制御部の構成の一例を示す図である。 コントローラ及び画像データバッファの動作の一例を示すフローチャートである。
符号の説明
30 画像メモリ部
31 画像データバッファ
32 画像処理部
33 コントローラ
35 画像メモリ
36 メモリインターフェース
37 RAM
38 FIFO制御部
45 ブロックカウンタ
46 ブロックカウンタ
47 位置バッファ

Claims (11)

  1. メモリと、
    該メモリへの書き込み位置を示す書き込みポインタと該メモリからの読み出し位置を示す読み出しポインタを有し、該メモリをFIFOとして動作させるFIFO制御部
    を含み、該FIFO制御部は、画像中の連続したブロックとして供給される画像データを該メモリの該書き込みポインタが順次示す位置に複数のブロックとして格納するとともに、該メモリの該読み出しポインタが示す位置から該複数のブロックのうちの1つである第1のブロックを読み出す際に該第1のブロックに隣接する少なくとも1つの第2のブロックの一部である部分データを同時に読み出して、該第1のブロックと該部分データとを纏めて1つのブロックとして送出するよう構成され
    該部分データは、該第2のブロックの端に位置し該画像中において該第1のブロックと隣接していることを特徴とする画像データバッファ装置。
  2. 該画像中でのブロック位置を示す位置情報を該複数のブロックの各ブロック毎に格納する位置バッファを更に含み、該FIFO制御部は、該メモリに格納されている未読み出しのブロックの数と該読み出しポインタが示す位置のブロックの該位置情報とに応じて、データ読み出し可能であるか否かを示す第1のフラグの値を設定することを特徴とする請求項1記載の画像データバッファ装置。
  3. 該FIFO制御部は、該メモリに格納されている未読み出しのブロックの数と該読み出しポインタが示す位置のブロックの該位置情報とに応じて、データ書き込み可能であるか否かを示す第2のフラグの値を設定することを特徴とする請求項2記載の画像データバッファ装置。
  4. 該第1のフラグの値に応じて該FIFO制御部にデータ読み出しを要求するとともに、該第2のフラグの値に応じて該FIFO制御部にデータ書き込みを要求するよう構成されるコントローラを更に含むことを特徴とする請求項3記載の画像データバッファ装置。
  5. メモリと、
    該メモリへの書き込み位置を示す書き込みポインタと該メモリからの読み出し位置を示す読み出しポインタを有し、該メモリをFIFOとして動作させるFIFO制御部
    を含み、該FIFO制御部は、画像中の連続したブロックとして供給される画像データを該メモリの該書き込みポインタが順次示す位置に複数のブロックとして格納するとともに、該メモリの該読み出しポインタが示す位置から該複数のブロックのうちの1つのブロックを読み出す際に該1つのブロックに隣接する少なくとも1つのブロックの一部である部分データを同時に読み出して、該1つのブロックと該部分データとを纏めて1つのブロックとして送出するよう構成され、
    該画像中でのブロック位置を示す位置情報を該複数のブロックの各ブロック毎に格納する位置バッファを更に含み、
    該FIFO制御部は、該メモリに格納されている未読み出しのブロックの数と該読み出しポインタが示す位置のブロックの該位置情報とに応じて、データ読み出し可能であるか否かを示す第1のフラグの値を設定し、
    該供給される画像データの量をカウントし、該カウントしたデータ量とブロックサイズとの比較に応じて該位置情報を生成するブロックカウンタを更に含む
    ことを特徴とする画像データバッファ装置。
  6. 該位置バッファは、該FIFO制御部から供給される該書き込みポインタが示す位置に該ブロックカウンタから供給される該位置情報を格納することを特徴とする請求項5記載の画像データバッファ装置。
  7. 該位置バッファは、該FIFO制御部から供給される該読み出しポインタが示す位置に格納されている該位置情報を該FIFO制御部に供給することを特徴とする請求項6記載の画像データバッファ装置。
  8. メモリと、
    該メモリへの書き込み位置を示す書き込みポインタと該メモリからの読み出し位置を示す読み出しポインタを有し、該メモリをFIFOとして動作させるFIFO制御部と、
    画像処理部
    を含み、該FIFO制御部は、画像中の連続したブロックとして供給される画像データを該メモリの該書き込みポインタが順次示す位置に複数のブロックとして格納するとともに、該メモリの該読み出しポインタが示す位置から該複数のブロックのうちの1つである第1のブロックを読み出す際に該第1のブロックに隣接する少なくとも1つの第2のブロックの一部である部分データを同時に読み出して、該第1のブロックと該部分データとを纏めて1つのブロックとして該画像処理部に送出するよう構成され
    該部分データは、該第2のブロックの端に位置し該画像中において該第1のブロックと隣接していることを特徴とする画像転送処理システム。
  9. 該画像中でのブロック位置を示す位置情報を該複数のブロックの各ブロック毎に格納する位置バッファを更に含み、該FIFO制御部は、該メモリに格納されている未読み出しのブロックの数と該読み出しポインタが示す位置のブロックの該位置情報とに応じて、データ読み出し可能であるか否かを示す第1のフラグの値を設定することを特徴とする請求項8記載の画像転送処理システム。
  10. 該FIFO制御部は、該メモリに格納されている未読み出しのブロックの数と該読み出しポインタが示す位置のブロックの該位置情報とに応じて、データ書き込み可能であるか否かを示す第2のフラグの値を設定することを特徴とする請求項9記載の画像転送処理システム。
  11. メモリへの書き込み位置を示す書き込みポインタと該メモリからの読み出し位置を示す読み出しポインタとを用いて、該メモリをFIFOとして動作させる画像データバッファ方法であって、
    画像中の連続したブロックとして供給される画像データを該メモリの該書き込みポインタが順次示す位置に複数のブロックとして格納し、
    該メモリの該読み出しポインタが示す位置から該複数のブロックのうちの1つである第1のブロックを読み出す際に該第1のブロックに隣接する少なくとも1つの第2のブロックの一部である部分データを同時に読み出し、
    該第1のブロックと該部分データとを纏めて1つのブロックとして送出する
    各段階を含み、該部分データは、該第2のブロックの端に位置し該画像中において該第1のブロックと隣接していることを特徴とする画像データバッファ方法。
JP2006230977A 2006-08-28 2006-08-28 画像データバッファ装置、画像転送処理システム、及び画像データバッファ方法 Expired - Fee Related JP4789753B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006230977A JP4789753B2 (ja) 2006-08-28 2006-08-28 画像データバッファ装置、画像転送処理システム、及び画像データバッファ方法
US11/651,968 US8687222B2 (en) 2006-08-28 2007-01-11 Image data buffer apparatus and data transfer system for efficient data transfer
EP07250116A EP1895470B1 (en) 2006-08-28 2007-01-12 Image data buffer apparatus and data transfer system for efficient data transfer
CN2007100034667A CN101137052B (zh) 2006-08-28 2007-02-05 用于高效数据传输的图像数据缓冲装置和数据传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006230977A JP4789753B2 (ja) 2006-08-28 2006-08-28 画像データバッファ装置、画像転送処理システム、及び画像データバッファ方法

Publications (2)

Publication Number Publication Date
JP2008054222A JP2008054222A (ja) 2008-03-06
JP4789753B2 true JP4789753B2 (ja) 2011-10-12

Family

ID=38698331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006230977A Expired - Fee Related JP4789753B2 (ja) 2006-08-28 2006-08-28 画像データバッファ装置、画像転送処理システム、及び画像データバッファ方法

Country Status (4)

Country Link
US (1) US8687222B2 (ja)
EP (1) EP1895470B1 (ja)
JP (1) JP4789753B2 (ja)
CN (1) CN101137052B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147535B2 (ja) * 2008-05-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN101635844B (zh) * 2008-07-23 2012-05-30 比亚迪股份有限公司 一种图像数据传输方法及装置
CN101634677B (zh) * 2008-07-24 2012-05-23 芯原股份有限公司 一种基于uvc传输协议的数字仪器及其使用方法
FR2940572B1 (fr) * 2008-12-24 2011-04-22 Sagem Comm Procede de traitement d'image pour impripmante multifonctions
US8130229B2 (en) * 2009-11-17 2012-03-06 Analog Devices, Inc. Methods and apparatus for image processing at pixel rate
JP5121978B2 (ja) 2010-08-30 2013-01-16 キヤノン株式会社 画像処理装置及びその制御方法
US9497466B2 (en) 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof
US8990435B2 (en) * 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
JP5829094B2 (ja) * 2011-10-20 2015-12-09 オリンパス株式会社 画像処理装置および画像処理方法
EP2740270A4 (en) 2011-10-31 2015-04-29 Mediatek Inc APPARATUS AND METHOD FOR BUILDING REFERENCED CONTEXT TABLES TO PERFORM AN ENTROPTIC DECODING OF A MULTI-TILE ENCODED IMAGE AND CORRESPONDING ENTROPY DECODER
TWI470575B (zh) * 2011-11-24 2015-01-21 聯發科技股份有限公司 用於緩衝裝置之讀取指標暫存的方法、緩衝控制器以及緩衝裝置
US10261903B2 (en) * 2017-04-17 2019-04-16 Intel Corporation Extend GPU/CPU coherency to multi-GPU cores
CN107633477B (zh) * 2017-10-20 2021-04-20 上海兆芯集成电路有限公司 图像处理方法及其装置
US10652535B1 (en) * 2019-02-27 2020-05-12 Google Llc Memory-efficient filtering approach for image and video coding
US10990782B2 (en) * 2019-09-09 2021-04-27 Novatek Microelectronics Corp. Operating method of an optical fingerprint capture apparatus and operating method of an optical fingerprint recognition system
CN114501036A (zh) * 2020-11-13 2022-05-13 联发科技股份有限公司 熵解码装置及相关熵解码方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4285038A (en) * 1976-10-15 1981-08-18 Tokyo Shibaura Electric Co., Ltd. Information transfer control system
JPS62208153A (ja) * 1986-03-08 1987-09-12 Nec Corp 入出力バツフア装置
FR2606187B1 (fr) 1986-10-31 1988-12-09 Thomson Grand Public Procede et dispositif de reduction du bruit engendre par un codeur-decodeur d'images numeriques operant par blocs
GB8923508D0 (en) 1989-10-18 1989-12-06 Bartle Andrew D Waste paper bins
EP0489504B1 (en) 1990-11-30 1997-03-05 International Business Machines Corporation Bidirectional FIFO buffer for interfacing between two buses
US5412611A (en) * 1992-03-17 1995-05-02 Fujitsu, Limited FIFO memory device capable of writing contiguous data into rows
JP3360942B2 (ja) 1994-06-20 2003-01-07 沖電気工業株式会社 動画像符号化装置
US5977947A (en) * 1996-08-19 1999-11-02 International Business Machines Corp. Method and apparatus for resizing block ordered video image frames with reduced on-chip cache
US6381659B2 (en) * 1999-01-19 2002-04-30 Maxtor Corporation Method and circuit for controlling a first-in-first-out (FIFO) buffer using a bank of FIFO address registers capturing and saving beginning and ending write-pointer addresses
FI117534B (fi) 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
CN1227904C (zh) * 2000-10-03 2005-11-16 汤姆森特许公司 缓冲像素数据的方法和系统
JP2002142149A (ja) 2000-11-06 2002-05-17 Mega Chips Corp 画像処理回路
US6771271B2 (en) * 2002-06-13 2004-08-03 Analog Devices, Inc. Apparatus and method of processing image data
US7418148B2 (en) * 2003-09-29 2008-08-26 Casio Computer Co., Ltd. Image compression method and image compression device
CN2791752Y (zh) * 2005-04-04 2006-06-28 苏州鹞鹰数据技术有限公司 高速数据存储设备

Also Published As

Publication number Publication date
US20080049240A1 (en) 2008-02-28
EP1895470A2 (en) 2008-03-05
EP1895470A3 (en) 2011-02-23
CN101137052A (zh) 2008-03-05
JP2008054222A (ja) 2008-03-06
EP1895470B1 (en) 2012-12-19
US8687222B2 (en) 2014-04-01
CN101137052B (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
CN101137052B (zh) 用于高效数据传输的图像数据缓冲装置和数据传输系统
JP4991816B2 (ja) 画像処理装置
CN101552916B (zh) 视频yuv数据的dma传输方法、装置及dma控制器
JP5593060B2 (ja) 画像処理装置、および画像処理装置の動作方法
JPWO2005109205A1 (ja) 情報処理装置およびデータアクセス方法
US8345113B2 (en) Image processing apparatus and image processing system
US10284743B2 (en) Image processing apparatus and method for controlling the same
CN108346131A (zh) 一种数字图像缩放方法、装置及显示设备
JP2015109037A (ja) 画像処理装置
US20110010472A1 (en) Graphic accelerator and graphic accelerating method
US7460136B2 (en) Efficient scaling of image data in graphics display systems
US20050047510A1 (en) Data processing device for MPEG
US7933465B2 (en) Processing data supply method and image processing apparatus
JP5884037B2 (ja) データ処理装置、データ処理方法及びデータ共有システム
JP2008033688A (ja) キャッシュメモリ制御方法、及び装置
CN100419792C (zh) 数据存储设备和控制设备及数据存储控制方法
JP2010033507A (ja) メモリコントローラおよび画像処理装置
JP2016134005A (ja) 画像処理装置
US8934736B2 (en) Image processing apparatus, image processing system, and method for having computer process image
JP2014154000A (ja) メモリ制御装置、その制御方法、および制御プログラム
US20120327096A1 (en) Image generating device
WO2001006461A1 (fr) Procede et dispositif de dessin
JP2006338334A (ja) データ処理装置及びデータ処理方法
JP2000299879A (ja) 画像処理装置及び画像処理方法
JP2007140936A (ja) 制御システム、表示装置および制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4789753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees