JP4540552B2 - 画像伝送装置 - Google Patents

画像伝送装置 Download PDF

Info

Publication number
JP4540552B2
JP4540552B2 JP2005158169A JP2005158169A JP4540552B2 JP 4540552 B2 JP4540552 B2 JP 4540552B2 JP 2005158169 A JP2005158169 A JP 2005158169A JP 2005158169 A JP2005158169 A JP 2005158169A JP 4540552 B2 JP4540552 B2 JP 4540552B2
Authority
JP
Japan
Prior art keywords
image
output
encoding
transmission
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005158169A
Other languages
English (en)
Other versions
JP2006333409A (ja
Inventor
浩二 村岡
亨 桐村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2005158169A priority Critical patent/JP4540552B2/ja
Publication of JP2006333409A publication Critical patent/JP2006333409A/ja
Application granted granted Critical
Publication of JP4540552B2 publication Critical patent/JP4540552B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

この発明は、画像伝送装置及び画像伝送システムに関し、例えば、パーソナルコンピュータの画面に表示されている画像を液晶プロジェクタなどに転送し、この液晶プロジェクタ側でも同じ画像の表示を行うことなどに利用される。
従来より、例えば、パーソナルコンピュータの画面に表示されている画像を液晶プロジェクタなどに転送し、この液晶プロジェクタ側でも同じ画像の表示を行うシステムが提案されている(特許文献1参照)。
特開2003−330441号公報
ところで、例えばパーソナルコンピュータでDVD等の動画を再生し、これを伝送しようとする場合には、その伝送帯域を効率良く利用するためにMPEG等の画像圧縮を行うことが望ましい。一方、パーソナルコンピュータで表示している静止画面(例えば、ワードプロセッサ画面等)の画像に対して同様に前記MPEG等の画像圧縮を行って伝送すると、受信側の画面上にはいわゆるモスキートノイズが乗った画像が表示されてしまう。
この発明は、上記の事情に鑑み、種類が異なる画像が伝送される場合でも受信側の画像表示装置上では良好な画質の画像を表示することができる画像伝送装置及び画像伝送システムを提供することを目的とする。
この発明の画像伝送装置は、上記の課題を解決するために、画像出力装置に接続され、この画像出力装置から出力される画像を符号化して伝送する画像伝送装置であって、第1の種に属する画像を圧縮する第1の符号化手段と、前記第1の符号化手段とは異なる圧縮方式を採用し、前記第1の種に属しない画像を前記第1の符号化手段で圧縮した場合の画像品質よりも高い画像品質を得ることができる第2の符号化手段と、前記画像出力装置から出力される画像が第1の種に属する画像か否かを判断し、第1の種に属する画像は前記第1の符号化手段に供給する一方、それ以外の画像は前記第2の符号化手段に供給する手段と、前記第1の符号化手段又は前記第2の符号化手段から出力された符号化画像を伝送する伝送手段と、を備えたことを特徴とする(以下、この項において第1構成という)。
上記の構成であれば、前記画像出力装置から第1の種に属する画像が出力される場合には、前記第1の符号化手段によって画像圧縮が施された上で画像伝送が実行される。一方、前記画像出力装置から第1の種に属しない画像が出力される場合には、前記第2の符号化手段によって画像圧縮が施された上で画像伝送が実行され、前記画像を第1の符号化手段によって画像圧縮がなされるよりも高画質な画像伝送を実現できることになる。
上記第1構成において、フレーム内の画素の相関が大きい画像については前記第1の種に属さない画像であると判断するように構成されていてもよい。或いは、第1構成において、フレーム間の画素の相関が大きい画像については前記第1の種に属さない画像であると判断するように構成されていてもよい。或いは、第1の構成において、フレーム間で動きが存在しない又は殆ど存在しない画像については前記第1の種に属さない画像であると判断するように構成されていてもよい。或いは、第1構成において、文字認識によって文字を含むと判断した画像については前記第1の種に属さない画像であると判断するように構成されていてもよい。これら構成において、前記第1の種に属する画像かどうかを判定するための手法を複数備え、ユーザー選択で前記手法の選択が行えるように構成されていもよい。
また、この発明の画像伝送装置は、画像出力装置に接続され、この画像出力装置から出力される画像を符号化して伝送する画像伝送装置であって、第1の種に属する画像を圧縮する第1の符号化手段と、前記第1の符号化手段とは異なる圧縮方式を採用し、前記第1の種に属しない画像を前記第1の符号化手段で圧縮した場合の画像品質よりも高い画像品質を得ることができる第2の符号化手段と、前記画像出力装置の第1の出力端子から出力される第1の種に属する画像と前記画像出力装置の第2の出力端子から出力される前記第1の種に属しない画像とのいずれを入力するかを切り替える入力切替部と、前記入力切替部の動作に連動して前記画像出力装置から出力される画像を第1の符号化手段又は前記第2の符号化手段のいずれかに供給する手段と、前記第1の符号化手段又は前記第2の符号化手段から出力された符号化画像を伝送する伝送手段と、を備えたことを特徴とする(以下、この項において第2構成という)。
上記の構成においては、前記画像出力装置から第1の種に属する画像が出力される場合と、前記画像出力装置から第1の種に属しない画像が出力される場合とに応じてユーザーは前記入力切替部を操作することになる。この切替により、前記画像出力装置から第1の種に属する画像が出力される場合には、前記第1の符号化手段によって画像圧縮が施された上で画像伝送が実行される。一方、前記画像出力装置から第1の種に属しない画像が出力される場合には、前記第2の符号化手段によって画像圧縮が施された上で画像伝送が実行され、前記画像を第1の符号化手段によって画像圧縮がなされるよりも高画質な画像伝送を実現できることになる。
上記第2構成において、前記画像出力装置の第1の出力端子はD端子であり、前記第2の出力端子はVGA端子であってもよい。
これら画像伝送装置において、前記画像出力装置はパーソナルコンピュータであってもよい。
また、この発明の画像伝送システムは、上述したいずれかの画像伝送装置と、前記画像伝送装置から伝送された符号化画像を受信し、この受信した符号化画像を復号して画像を生成し、この画像を画像表示装置に供給する画像受信装置とから成ることを特徴とする。
上記画像伝送システムにおいて、前記画像表示装置はプロジェクタであってもよい。
この発明によれば、種類が異なる画像が伝送される場合でも受信側の画像表示装置上では良好な画質の画像を表示することができるという効果を奏する。
以下、この発明の実施形態の画像伝送装置及び画像伝送システムを図1乃至図3に基づいて説明する。
図1に示すように、画像伝送システムは、画像伝送装置1及び画像受信装置2とから成る。前記画像伝送装置1はパーソナルコンピュータ101に接続されており、前記画像受信装置2はプロジェクタ102に接続されている。前記画像伝送装置1は、前記パーソナルコンピュータ101から電力の供給を受けてもよいし、ACアダプタから電力の供給を受けてもよいし、電池から電力の供給を受けてもよい。同様に、前記画像受信装置2は、前記プロジェクタ102から電力の供給を受けてもよいし、ACアダプタから電力の供給を受けてもよいし、電池から電力の供給を受けてもよい。
前記画像伝送装置1の画像入力端子11は、パーソナルコンピュータ101のアナログRGB出力端子(D−sub15ピン:VGA端子)101aに接続されている。前記画像入力端子11にはA/Dコンバータ12が接続されている。パーソナルコンピュータ101から出力されたアナログRGB信号はA/Dコンバータ12によってディジタル信号に変換され(以下、ディジタル画像信号という)、このディジタル画像信号はデータ圧縮部13に供給される。また、前記ディジタル画像信号は画像判別部14にも供給される。
データ圧縮部13は第1符号化回路13aと第2符号化回路13bとを備えている。各符号化回路はそれぞれの圧縮方式を用いて前記ディジタル画像信号を圧縮する(圧縮された前記ディジタル画像信号を、以下、圧縮画像信号という)。そして、各符号化回路は前記圧縮画像信号にそれぞれの圧縮方式(圧縮フォーマット)を示すための識別子(記述子)を付加する。
第1符号化回路13aは符号アルゴリズムAによる符号化処理を行う。この符号アルゴリズムAはフレーム内の相関が低い画像に適した符号アルゴリズムである。フレーム内の相関が低い画像とは、隣り合うピクセルの色の変化が多く、同一の値が連続して出現しない傾向が高い画像であり、一般に動画はフレーム内の相関が低い画像であるといえる。フレーム内の相関が低い画像に適した符号アルゴリズムとしては、MPEG処理等がある。
第2符号化回路13bは符号アルゴリズムBによる符号化処理を行う。この符号アルゴリズムBはフレーム内の相関が高い画像に適した符号化アルゴリズムである。フレーム内の相関が高い画像とは、隣り合うピクセルの色の変化が少なく、同一の値が連続して出現する傾向が高い画像であり、一般にパーソナルコンピュータ上で表示される文字を含む画像(静止画像)はフレーム内の相関が高い画像である。フレーム内の相関が高い画像に適した符号アルゴリズムとしては、ランレングス符号化を利用する処理(例えば、gif画像化処理等)がある。別言すれば、符号アルゴリズムBとして可逆の符号/復号化処理を採用するのがよい。
画像判別部14は、前記ディジタル画像信号を入力し、このディジタル画像信号の1フレーム全て又は1フレームの一部を図示しないメモリに一時的に格納し、フレーム内の相関が高い画像かどうかを判定する。フレーム内の相関が高い画像であるとの判定は、例えば、ライン内全画素に対する輝度や色が同一又は略同一である画素群の割合が所定値以上であるラインが所定本数存在する場合に行う。或いは、ライン内全画素の輝度や色が同一又は略同一であるラインが1本或いは数本でも存在する場合に、フレーム内の相関が高い画像であるとの判定を行うこととしてもよい。勿論、これら以外の判定法を用いて前記相関を把握するようにしてもよい。
画像判別部14は、前記パーソナルコンピュータ101の出力画像がフレーム内の相関が高い画像でないとの判定を下した場合、データ圧縮部13に対して第1符号化回路13aを選択するよう指令する。それ以外のときには、データ圧縮部13に対して第2符号化回路13bを選択するよう指令する。すなわち、図2のフローチャートに示しているように、画像入力を行い(ステップS1)、フレーム内の画素の相関が高いかどうかを判断し(ステップS2)、高ければ第2符号化回路13bにて符号化処理を実行させ(ステップS3)、高くなければ第1符号化回路13aにて符号化処理を実行させる(ステップS4)。
データ圧縮部13から出力された圧縮画像信号は、送信ブロック15に供給される。送信ブロック15は、前記圧縮画像信号をディジタル変調してRF(高周波)送信信号を生成する。RF送信信号はアンテナ16によって空間に送出される。
前記画像受信装置2は、そのアンテナ21によって前記RF送信信号を受信する。受信したRF送信信号は受信ブロック22に供給される。
受信ブロック22は前記RF送信信号に対してディジタル復調処理を施すことによって前記圧縮画像信号を復元する。この圧縮画像信号は伸長部23に供給される。
データ伸長部23は、前記圧縮画像信号に付加されている識別子(記述子)に基づいて当該圧縮画像信号の圧縮方式(圧縮フォーマット)を判定する。この判定結果に基づいて前記圧縮画像信号を第1復号化回路23a又は第2復号化回路23bのいずれかに供給する。
第1復号化回路23aは復号アルゴリズムAによる復号化処理を行う。この復号アルゴリズムAはフレーム内の相関が低い画像に適した符号化方式の画像を復号するアルゴリズムである。この第1復号化回路23aは、例えば、MPEG画像を復号する。
第2復号化回路23bは復号アルゴリズムBによる復号化処理を行う。この復号アルゴリズムBはフレーム内の相関が高い画像に適した符号化方式の画像を復号するアルゴリズムである。この第2復号化回路23bは、例えば、ランレングス符号化を利用する符号化画像(例えば、gif画像等)を復号する。
D/Aコンバータ24は、前記復号(伸長)によって得られたディジタル画像信号を受け取り、このディジタル画像信号を例えばアナログRGB信号に変換する。前記D/Aコンバータ24には画像出力端子25が接続されている。この画像出力端子25はプロジェクタ102のアナログRGB入力端子(D−sub15ピン)102aに接続される。これにより、前記アナログRGB信号がプロジェクタ102に供給され、このプロジェクタ102の画像投写によって図示しないスクリーン上には前記パーソナルコンピュータ101の画面に表示されている画像と同一の画像が表示される。
上述の例では、画像判別部14は、フレーム内の相関が高い画像かどうかを判定したが、これに限定されない。例えば、画像判別部14は、フレーム間の画素の相関が高い画像かどうかを判定してもよい。動画であればフレーム間の画素の相関は低く、静止画であればフレーム間の画素の相関は高い。フレーム内の一つ又は複数に検査ポイント(画素)を設定し、この検査ポイント(画素)において変化が無い或いは殆ど無い場合(相関高い)には、静止画と判断し、前記検査ポイント(画素)において変化が存在する場合(相関低い)には、動画と判断すればよい。また、画像判別部14は、フレーム間で動きが存在しない又は殆ど存在しない画像については静止画であると判断するようになっていてもよい。この判断処理には、周知の動きベクトル算出処理を用いることができるが、動きの方向を知る必要はなく、単に動きを検出できれば足りる。また、画像判別部14は、文字認識のための処理を実行するように構成され、例えばフレーム画像上で一つ又は複数の文字を認識できたときには、文字を含む画像(静止画像)であると判断するようになっていてもよい。文字を正確に認識することを主眼とするものではないので、文字認識の精度は低くても構わない。また、フレーム画像内の比較的狭い一つ又は複数の領域に対してのみ文字認識処理を行うこととしてもよい。また、画像判別部14は静止画判定手法(動画判定法)を複数備え、ユーザー設定で静止画判定手法(動画判定法)を選択できるようにしておいてもよい。字幕が存在するDVDソフトを再生する場合には、前記文字認識による静止画判定を避けることになろう。
また、上述の例では、画像判別部14を備えることによって第1符号化回路13aと第2符号化回路13bとの選択(切替)を行ったが、これに限らない。例えば、図3に示すように、第1の入力端子11Aと第2の入力端子11Bとを備えるとともに、入力切替ボタン17を備える構成としてもよい。第1の入力端子11Aはパーソナルコンピュータ101の出力端子101A(例えば、D端子(Y/Cb/Crのコンポーネント出力)など)に接続される。また、第2の入力端子11Bはパーソナルコンピュータ101の出力端子101B(例えば、VGA端子(アナログRGB出力)など)に接続される。入力切替ボタン17を操作することで、いずれかの出力端子からの画像が選択されてA/Dコンバータ12に供給される。
入力切替ボタン17の操作情報は切替制御部14Aに入力される。切替制御部14Aは、第1の入力端子11Aからの画像が入力されるときには、データ圧縮部13に対して第1符号化回路13aを選択するよう指令する。その一方、切替制御部14Aは、第2の入力端子11Bからの画像が入力されるときには、データ圧縮部13に対して第2符号化回路13bを選択するよう指令する。図3に示した構成であれば、入力切替に連動して符号化回路の選択を行うので、静止画判定(動画判定)を行わなくてもよい。
なお、上記の例では無線による画像伝送を示したが、有線による画像伝送を行うこととしてもよい。また、無線LAN(ローカルエリアネットワーク)或いは有線LANの形態で画像伝送を行うようにしてもよいものである。LANを用いる場合に、パーソナルコンピュータ101及びプロジェクタ102に設けられたLANカード用スロットに装填できるように、画像伝送装置1及び画像受信装置2はLANカードとして構成されることになる。
この発明の実施形態の画像伝送システムを示した構成図である。 処理内容を示したフローチャートである。 この発明の画像伝送装置の他の例を示した構成図である。
符号の説明
1 画像伝送装置
13 データ圧縮部
13a 第1符号化回路
13b 第2符号化回路
14 画像判別部
14A 切替制御部
2 画像受信装置
23 データ伸長部
23a 第1復号化回路
23b 第2復号化回路

Claims (5)

  1. 画像出力装置に接続され、この画像出力装置から出力される画像を符号化して伝送する画像伝送装置であって、第1の種に属する画像を圧縮する第1の符号化手段と、前記第1の符号化手段とは異なる圧縮方式を採用し、前記第1の種に属しない画像を前記第1の符号化手段で圧縮した場合の画像品質よりも高い画像品質を得ることができる第2の符号化手段と、前記画像出力装置の第1の出力端子から出力される第1の種に属する画像と前記画像出力装置の第2の出力端子から出力される前記第1の種に属しない画像とのいずれを入力するかを切り替える入力切替部と、前記入力切替部の動作に連動して前記画像出力装置から出力される画像を第1の符号化手段又は前記第2の符号化手段のいずれかに供給する手段と、前記第1の符号化手段又は前記第2の符号化手段から出力された符号化画像を伝送する伝送手段と、を備えたことを特徴とする画像伝送装置。
  2. 請求項に記載の画像伝送装置において、前記画像出力装置の第1の出力端子はD端子であり、前記第2の出力端子はVGA端子であることを特徴とする画像伝送装置。
  3. 請求項1又は請求項2に記載の画像伝送装置において、前記画像出力装置はパーソナルコンピュータであることを特徴とする画像伝送装置。
  4. 請求項1乃至請求項のいずれかに記載の画像伝送装置と、前記画像伝送装置から伝送された符号化画像を受信し、この受信した符号化画像を復号して画像を生成し、この画像を画像表示装置に供給する画像受信装置とから成る画像伝送システム。
  5. 請求項に記載の画像伝送システムにおいて、前記画像表示装置はプロジェクタであることを特徴とする画像伝送システム。
JP2005158169A 2005-05-30 2005-05-30 画像伝送装置 Expired - Fee Related JP4540552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005158169A JP4540552B2 (ja) 2005-05-30 2005-05-30 画像伝送装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005158169A JP4540552B2 (ja) 2005-05-30 2005-05-30 画像伝送装置

Publications (2)

Publication Number Publication Date
JP2006333409A JP2006333409A (ja) 2006-12-07
JP4540552B2 true JP4540552B2 (ja) 2010-09-08

Family

ID=37554569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005158169A Expired - Fee Related JP4540552B2 (ja) 2005-05-30 2005-05-30 画像伝送装置

Country Status (1)

Country Link
JP (1) JP4540552B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5263640B2 (ja) 2007-04-17 2013-08-14 株式会社リコー 駆動装置または画像形成装置
JP5593514B2 (ja) * 2010-12-14 2014-09-24 奇揚網科股▲ふん▼有限公司 スクリーンフレームの符号化方法、及び、それを応用した電子装置
JP6037435B2 (ja) * 2012-09-28 2016-12-07 Kddi株式会社 映像コンテンツ配信装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01175472A (ja) * 1987-12-29 1989-07-11 Hitachi Ltd デイジタル記録再生装置
JPH06332998A (ja) * 1993-05-21 1994-12-02 Fuji Xerox Co Ltd 画像処理装置
JPH0846911A (ja) * 1994-07-27 1996-02-16 Sony Corp データ記録装置及びデータ再生装置
JPH09252462A (ja) * 1996-01-08 1997-09-22 Canon Inc 送信処理装置、テレビ会議システム、送信処理方法及び記憶媒体
JPH10145796A (ja) * 1996-11-15 1998-05-29 Hitachi Ltd 映像表示システム
JP2000013795A (ja) * 1998-06-18 2000-01-14 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2005033762A (ja) * 2003-06-19 2005-02-03 Matsushita Electric Ind Co Ltd 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01175472A (ja) * 1987-12-29 1989-07-11 Hitachi Ltd デイジタル記録再生装置
JPH06332998A (ja) * 1993-05-21 1994-12-02 Fuji Xerox Co Ltd 画像処理装置
JPH0846911A (ja) * 1994-07-27 1996-02-16 Sony Corp データ記録装置及びデータ再生装置
JPH09252462A (ja) * 1996-01-08 1997-09-22 Canon Inc 送信処理装置、テレビ会議システム、送信処理方法及び記憶媒体
JPH10145796A (ja) * 1996-11-15 1998-05-29 Hitachi Ltd 映像表示システム
JP2000013795A (ja) * 1998-06-18 2000-01-14 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2005033762A (ja) * 2003-06-19 2005-02-03 Matsushita Electric Ind Co Ltd 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP2006333409A (ja) 2006-12-07

Similar Documents

Publication Publication Date Title
US8184127B2 (en) Apparatus for and method of generating graphic data, and information recording medium
KR100742798B1 (ko) 화상 데이터 처리 장치
US20060044320A1 (en) Video display control apparatus and video display control method
US8982426B2 (en) Image processing apparatus, printing apparatus and image processing method
JP4540552B2 (ja) 画像伝送装置
US11006119B1 (en) Compression encoding of images
JP2004193818A (ja) ワイヤレス画像送受信システム、ワイヤレス画像送信装置及びワイヤレス画像受信装置
JP2004128776A (ja) 画像圧縮方法及びこれを使用した電送装置
JP3462867B2 (ja) 画像圧縮方法および装置、画像圧縮プログラムならびに画像処理装置
JPWO2004056084A1 (ja) 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム
CN111935509A (zh) 一种多媒体数据播放的方法、相关装置、设备及存储介质
JP2005033763A (ja) 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
KR101871946B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
US7003165B2 (en) Image processor and image processing method for decompressing progressive-coded compressed image data
JP5757904B2 (ja) 画像圧縮装置
CN113038179A (zh) 视频编码方法、视频解码方法、装置及电子设备
JP4789060B2 (ja) 画像圧縮装置、画像伸長装置、画像処理方法及びプログラム
JP2010041454A (ja) 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
KR20050062116A (ko) 이동통신 단말기의 영상 출력 방법
JP4906603B2 (ja) 圧縮画像伸張装置及び重畳画像データ処理装置
US11233999B2 (en) Transmission of a reverse video feed
KR100828320B1 (ko) 알에이피를 위한 영상신호의 송신 및 수신 방법
JPH1132331A (ja) 画像信号伝送装置及び方法
JP2002185961A (ja) 画像データ受信方法及びアダプタ装置及び携帯端末
JP2006042224A (ja) 映像信号記録表示装置、これに用いるカメラ、そのシステム、及び映像信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100622

R151 Written notification of patent or utility model registration

Ref document number: 4540552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees