JP3548013B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP3548013B2
JP3548013B2 JP26652598A JP26652598A JP3548013B2 JP 3548013 B2 JP3548013 B2 JP 3548013B2 JP 26652598 A JP26652598 A JP 26652598A JP 26652598 A JP26652598 A JP 26652598A JP 3548013 B2 JP3548013 B2 JP 3548013B2
Authority
JP
Japan
Prior art keywords
image
image display
screen
display
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26652598A
Other languages
English (en)
Other versions
JP2000098990A (ja
Inventor
裕氏 棚野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP26652598A priority Critical patent/JP3548013B2/ja
Publication of JP2000098990A publication Critical patent/JP2000098990A/ja
Application granted granted Critical
Publication of JP3548013B2 publication Critical patent/JP3548013B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Calculators And Similar Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像表示装置に関する。特に、装置を手に取った向きに応じた表示内容の確認をする場合や、対面した複数の人物が双方から表示内容を確認する場合や、表示する情報によって画像表示部の縦横を切り替えて使用する場合等に好適である。
【0002】
【従来の技術】
従来の携帯型等の画像表示装置においては、使用者が装置を持ち替えることなく、対面した相手に対して、画像表示部表面(以下、「画面」と記す)に表示された内容を確認させることを容易にするために、画面の中心点を回転軸として180度回転した画像を表示する機能や、縦長の表示と横長の表示を切り替えて使用する機能を持つものがあるが、いずれも使用者が画像表示の向きを切り替える命令を明示的に与える必要があった。
【0003】
【発明が解決しようとする課題】
一般に人間は、正対した画像を認知する能力に比べて、横転あるいは反転した画像を認知する能力は劣っているため、装置を手に取った際に画面が左右を向いていたり上下が反対であった場合には、正対して見えるように装置を持ち替えなければ、表示内容の確認に支障をきたす。このため、表示された画像情報を対面している相手に見せる際にも、これを持ち替えて相手に対して正対させるか、画像表示を反転させる機能を持つ画像表示装置であれば、装置に対して画像反転の命令を入力して画像表示を反転させてから相手に見せるという手間をかける必要がある。
【0004】
また、画面が長方形であれば、表示される情報によっては長辺を縦にした方が閲覧しやすい場合と横にした方が閲覧しやすい場合がある。リストを見る時のように一覧性を重視する場合等は前者、文章を読む場合等は後者の例として挙げることができる。閲覧しやすい向きの異なるアプリケーションを切り替えて使用する場合、まず次に使いたいアプリケーションを起動する命令を与え、続いて画像表示の縦横を切り替えるために表示切り替えの命令を入力するという手間が必要であった。
さらに、地図のように図面の向きを変えて見たいが、それに伴って文字の向きも変わってしまうと内容の確認が困難になることがある。
【0005】
また、画面が重力方向に対して下を向いている場合、その装置は使用されていないのに電源が入ったまま放置されてしまっていることがある。
さらに、画面の各辺が地面に平行な姿勢になると姿勢検知結果が不安定になるため、地面にほぼ平行な面上に装置を据え置いた状態での使用に対しては、特別な措置を講じる必要が生じる。
本発明はこのような従来技術における課題に鑑みて、装置を手に取った際に自動的に正対した画像を表示することができ、姿勢検知機能を利用した電源制御が可能で、据置使用時にも安定した動作を行う画像表示装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明の画像表示装置は、画面に画像を表示する画像表示手段を備える画像表示装置において、前記画像表示手段の画面の法線方向ベクトルの重力方向成分が重力座標系において下向きであるか上向きであるか、および重力方向に対する前記画像表示手段の姿勢を検知する姿勢検知手段と、該姿勢検知手段により画面の法線方向ベクトルの重力方向成分が下向きであることが検知された場合、前記画像表示手段の表示を停止する電源制御手段と、該姿勢検知手段により画面の法線方向ベクトルの重力方向成分が上向きであることが検知された場合、該姿勢検知手段で検知された前記画像表示手段の姿勢に基づいて画像の縦横の表示方向を判別する表示方向判別手段とを備え、前記画像表示手段は前記表示方向判別手段で判別された表示方向の画像を表示するものである。
【0007】
また画像表示手段の構成は従来のままで、信号出力手段での信号処理だけで表示方向を変更することができる。さらに画像表示手段の姿勢に応じてそれぞれの姿勢に適した内容の画像を出力することが可能となる。
【0008】
また画像表示手段の姿勢に応じて、画像の一部のみが表示方向を変えることで使用者の内容確認を容易にすることができる。また不安定な動作を抑止して、据置状態での使用も可能となる。
【0009】
また携帯型等の画像表示装置の通常使用時において、画面の法線方向ベクトルの重力方向成分が鉛直下向きになること(以下、このことを「画面が下向きになる」と記す)は一般には考えられないという性質を利用して、自動的に装置の電源を切ることができる。また、本発明は、コンピュータを上記画像表示装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0010】
【発明の実施の形態】
以下添付図面を参照しながら本発明の好適な実施の形態について詳細に説明する。
図1は、本発明の一実施の形態による画像表示装置の構成を示すブロック図である。姿勢検知部3は画面の法線方向が、重力方向を1座標軸とする重力座標系においていずれの向きに傾いているかを検知する。姿勢検知部3から送られる姿勢情報を元にして、表示方向判別部4が適切な画像表示方向を判別する。信号出力部1は表示方向判別部4の判別結果に基づいて使用者にとって適正な向きの画像を生成する。出力画像制御部5にも画像表示方向の判別結果が送られ、表示内容を変更する場合は出力画像制御部5が出力画像を切り替える。信号出力部1が複数の画像信号を出力して、これを重ね合わせる場合は、それぞれの画像信号が多重画像生成部6に送られ、重ね合わせた1つの画像信号に重畳される。生成した信号は画像表示部2に送られ、画像情報として出力される。姿勢検知部3で画面が下向き、すなわち通常の使用状態でないと判別すれば、電源制御部7が電源オフの信号を出力して装置の電源を切断する。
【0011】
図2は、本実施の形態の動作を説明するフローチャートである。
まず、姿勢検知部3が画像表示部2の姿勢を検知する(ステップS1)。姿勢検知部3は画面の法線方向が、重力座標系においていずれの向きに傾いているかを検知する。続いて、姿勢検知部3から送られる姿勢情報を元にして、表示方向判別部4が適切な画像表示方向を判別する(ステップS2)。ここでは姿勢検知に水銀スイッチを使った方法を例示するが、本発明における姿勢検知の目的を達成するものであれば、姿勢検知には水銀スイッチ以外の素子を用いてもよい。
【0012】
図3に示すように、水銀スイッチは水銀11を封入したガラス管12の傾きに応じて水銀11が移動し、ガラス管12の一端にある端子13間の電流が流れるか否かによって重力方向における向きを検出するため、端子13間電流の「導通」「非導通」の2状態間遷移近傍(水銀スイッチの軸と重力方向の成す角度rがπ/2に近いとき)の動作は不安定になる(図3(c))。したがって、姿勢検知のための水銀スイッチは通常使用時の状態において図3(c)の状態にならないように考慮する必要があるが、画像表示装置を手に取って表示内容を正対して見ることを前提とすると、長方形の画面を持つ画像表示装置であれば、使用者が画面に正対して見ることができるのは、画面の各辺が垂直/水平方向になるように90度ずつ回転させた4つの場合であり、これら4つの状態それぞれの中間状態において水銀スイッチの状態変化が起きるように配置すればよい。
【0013】
例えば、図4に示すように画面と平行な平面上において、画面の各辺との間に一定の角度をもつように水銀スイッチを2つ配置すれば、具体的には、この例のようにスイッチAが−45度の方向としたとき、スイッチBを+45度の方向となるようにすれば、図5に示す4つのパターンを2つの水銀スイッチA,Bの動作で判別可能となる。
すなわち、図5(a)〜(d)の各姿勢をそれぞれ「横順向き(a)」「縦順向き(b)」「横逆向き(c)」「縦逆向き(d)」と呼ぶことにすると、横順向き状態で2つの水銀スイッチA,Bはいずれも「非導通」となり、Aが「非導通」でBが「導通」ならば縦順向き状態、A,Bが「導通」ならば横逆向き状態、Aが「導通」でBが「非導通」ならば縦逆向き状態という具合に4つの姿勢を判別でき、それぞれの状態において姿勢検知動作が不安定になることはない。このとき表示方向判別部4は、姿勢検知部3から送られる「導通」「非導通」の組み合わせによる4種類の姿勢情報のパターンに対して、縦/横および順向き/逆向きの組み合わせによる4種類の表示方向を出力することになる。ただし、図4に示す例における姿勢検知部3の構成は、使用者が手に持つこと、すなわち画面が地面と平行にならないことを前提とした構成であるので、図6に示すように、地面と平行な平面上に据え置いた状態で使用すると2つの水銀スイッチA,Bが地面と平行になり、姿勢検知動作が不安定になる。
【0014】
これを防ぐ手段として据置検知部8を備えた装置の例を図7に示す。図7(a),(b)の例では、装置を据置状態にした場合に据置検知部8の突起状の据置検知スイッチ21が押下され、据置状態であることを検知する。据置検知部8の構成は、図7(c)に示すように地面と水平な状態の近傍では水銀がガラス管中央部に溜り、両端に設置された端子22,23がいずれも非導通状態になるように設計された水銀スイッチを用いてもよい。据置状態である間は、装置の姿勢検知処理(ステップS1)は中断され、据置状態が解消され次第、処理を再開する。
【0015】
さらに、画面の法線方向ベクトルの重力方向成分が下向きになる姿勢は通常の使用状態でないと判断できる場合は、図8(a)に示すように画面の法線方向に設置する水銀スイッチを姿勢検知部3の構成に追加することにより、画面が上向きか(図8(b))下向きか(図8(c))、すなわち通常の使用状態であるかどうかを水銀スイッチの非導通・導通により判別可能になる(ステップS3)。このとき通常の使用状態でないと判別すれば、電源制御部7が電源オフの信号を出力して装置の電源を切断する。このとき電源制御の及ぶ範囲は装置の使用方法に応じて、装置全体の電源に対して作用してもよいし、信号出力部1又は画像表示部2に限るなど装置の一部分に対して作用してもよい。
【0016】
画像表示方向を変更するのに連動して表示内容も変更する場合は、出力画像制御部5にも画像表示方向の判別結果が送られ、表示内容を変更する必要があるかどうかを判断し(ステップS4)、変更する場合は出力画像制御部5が出力画像を切り替える(ステップS5)。
信号出力部1は表示方向判別部4の判別結果に基づいて使用者にとって適正な向きの画像を生成する(ステップS6)。ここで信号出力部1は、画像の内容によって表示方向を変えた画像を生成することもあれば、方向性のない映像信号等のように画像の内容によっては敢えて表示方向を変えないで生成することがあってもよい。
また、信号出力部1が複数の画像信号を出力して、これを重ね合わせて1つの画像を生成するか否かを判断し(ステップS7)、重ね合わせる場合は、それぞれの画像信号が多重画像生成部6に送られ、重ね合わせた1つの画像信号に重畳される(ステップS8)。
【0017】
信号出力部1又は多重画像生成部6において生成した信号は画像表示部2に送られ、画像情報として出力される(ステップS9)。この後、ステップS1に戻り姿勢検知を継続し、姿勢の変化に応じて出力画像が変化する一連の処理を繰り返す。
図9(a)は電子メールやページャのメッセージ等の表示例で、手に取った向きに応じて着信メッセージを表示する。すなわち、手に取った向きに応じた文字数・行数の画像として、かつ、表示する文字の方向も変更して表示する。また、図9(b)は、携帯型通訳装置に適用した場合の画像表示例で、使用者が原語である日本語と翻訳語である英語が併記されたメッセージを確認した後、自分の側の辺を上にして対面者側の辺を下げ、画面を対面者に見せると、対面者に見せるためのメッセージが対面者に正対して表示される様子を示している。この例では、対面者には原語のメッセージを見せる必要がないということを考慮して表示内容も変更して翻訳語だけの画像を表示している。
【0018】
図10も画像表示方向の変化に応じて表示内容そのものを変化させる事例であり、横向き使用時には月間カレンダーを表示しているが、90度回転させた縦向き使用時には週間スケジュールを表示している例である。
また、図11は地図の表示例であり、図11(a)のように図面情報と文字情報を重ね合わせて図11(b)のように画像を生成して出力する。図11(b)は、使用者から見て画面の向きを横向きから縦向きに変えたときに、文字情報のみ表示方向を変更して出力する様子を示している。このとき、単に文字の向きを変えるだけではなく、図示のように横書きから縦書きへの変更を併せて行うことが望ましい。同様に、使用者が対面者の方に画面を向けた場合には、地図の方向すなわち図面情報の向きはそのままで文字情報のみが対面者に正対して見えるように表示方向を変更した画像を出力できる(図11(c))。
【0019】
なお、本発明は上記実施の形態に限定されるものではない。
画像全体の左右反転や上下逆転、180度回転等は画像表示部2の走査を制御することによって実現することもできる。
この明細書での画像には、映像だけのもの、映像と文字が混合したもの、及び、文字だけのものが含まれる。また、画像には、動画だけのもの、動画と静止画が混合したもの、及び、静止画だけのものが含まれる。
また、本発明の図1の構成は、コンピュータを上記画像表示装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な、画像表示装置本体に対し着脱自在な記録媒体であってもよく、例えば、磁気テープ、CD−ROM、ICカード、RAMカード等のいかなるタイプの記録媒体であってもよい。
【0020】
【発明の効果】
以上詳述したことから明らかなように、本発明によれば、使用者が手に取った時点での画像表示部の姿勢に応じて使用者に正対した画像を出力することが可能となることから、装置をとっさに手にした場合でも常に正対した画像表示が確認できたり、対面者が居る場合のように複数の視点から同じ画像表示を確認する際にいずれの視点からも確認を容易にするための表示切り替えの実施等が画面の向きを変えるだけで可能になる等の効果がある。
【0021】
また、画面方向の変更に連動して出力画像の内容そのものを変更する機能により、画面の方向を変えるだけで画像表示内容やアプリケーションを切り替えたりすることができる。
さらに、地図の図面情報と文字情報のような複数の画像情報を重ね合わせて1つの画像を生成することにより、画像の一部分だけが画面の向きの変化に連動して向きを変えることができるようになり、全体の表示の向きは変えたくないが地図の文字情報のような画像中のある要素だけは常に正対して見られるように画像を生成することができる。
【0022】
また、姿勢検知部に画面が下向きになったかどうかを判別する機能を加えることによって、画像表示装置の使用中に画面が下向きになったら電源制御部が電源オフの信号を出力して、自動的に装置の電源を切ることが可能となり、このことにより、電源切断の操作が簡単になることや、電源の切り忘れ等による不要な電力の消費を抑制できる等の効果が期待できる。
【0023】
さらに、据置使用であることを検知する据置検知部を設けることによって、姿勢検知動作が不安定になる据置状態において、誤って画面切り替えが不意に行われることが回避され、据置状態においても安定した状態で使用できる携帯型等の画像表示装置を提供できる。
【図面の簡単な説明】
【図1】本発明の一実施の形態による画像表示装置の構成を示すブロック図。
【図2】本実施の形態の動作を説明するフローチャート。
【図3】水銀スイッチの動作説明図。
【図4】画像表示部に対する水銀スイッチの設置例の説明図。
【図5】図4の設置例に対する姿勢検知の説明図。
【図6】据置状態における図4の設置例に対する姿勢検知の説明図。
【図7】据置検知方法の説明図。
【図8】通常使用外の姿勢になったときの自動電源オフ動作の説明図。
【図9】検知姿勢の変化に対する画像表示方向の変更例の説明図(その1)。
【図10】検知姿勢の変化に対する画像表示方向の変更例の説明図(その2)。
【図11】検知姿勢の変化に対する画像表示方向の変更例の説明図(その3)。
【符号の説明】
11 水銀
12 ガラス管
13 端子
21 据置検知スイッチ
22、23 端子

Claims (2)

  1. 画面に画像を表示する画像表示手段を備える画像表示装置において、
    前記画像表示手段の画面の法線方向ベクトルの重力方向成分が重力座標系において下向きであるか上向きであるか、および重力方向に対する前記画像表示手段の姿勢を検知する姿勢検知手段と、
    該姿勢検知手段により画面の法線方向ベクトルの重力方向成分が下向きであることが検知された場合、前記画像表示手段の表示を停止する電源制御手段と、
    該姿勢検知手段により画面の法線方向ベクトルの重力方向成分が上向きであることが検知された場合、該姿勢検知手段で検知された前記画像表示手段の姿勢に基づいて画像の縦横の表示方向を判別する表示方向判別手段とを備え、
    前記画像表示手段は、前記表示方向判別手段で判別された表示方向の画像を表示するものであることを特徴とする画像表示装置。
  2. コンピュータを請求項1記載の画像表示装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP26652598A 1998-09-21 1998-09-21 画像表示装置 Expired - Fee Related JP3548013B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26652598A JP3548013B2 (ja) 1998-09-21 1998-09-21 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26652598A JP3548013B2 (ja) 1998-09-21 1998-09-21 画像表示装置

Publications (2)

Publication Number Publication Date
JP2000098990A JP2000098990A (ja) 2000-04-07
JP3548013B2 true JP3548013B2 (ja) 2004-07-28

Family

ID=17432110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26652598A Expired - Fee Related JP3548013B2 (ja) 1998-09-21 1998-09-21 画像表示装置

Country Status (1)

Country Link
JP (1) JP3548013B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3982998B2 (ja) 2001-02-08 2007-09-26 三洋電機株式会社 首掛け式オーディオプレーヤ
JP4717287B2 (ja) * 2001-08-29 2011-07-06 シャープ株式会社 表示装置
JP2004279719A (ja) * 2003-03-14 2004-10-07 Sony Corp 情報表示装置及び情報選択表示方法
JP2008070884A (ja) * 2004-01-28 2008-03-27 Softbank Mobile Corp 移動体通信端末
JP4153479B2 (ja) * 2004-10-20 2008-09-24 株式会社ナビタイムジャパン 路線情報提供装置、路線情報提供システム
JP4949857B2 (ja) * 2005-01-05 2012-06-13 パナソニック株式会社 スクリーン表示装置
JPWO2007113905A1 (ja) * 2006-04-05 2009-08-13 パナソニック株式会社 携帯端末装置及び表示切替方法
JP2008198040A (ja) * 2007-02-15 2008-08-28 Fujitsu Ltd 携帯端末装置及びその表示制御方法
CN101903858A (zh) * 2007-12-27 2010-12-01 富士通株式会社 便携装置及其显示控制方法
JP2008209915A (ja) * 2008-01-29 2008-09-11 Fujitsu Ten Ltd 表示装置
JP4737207B2 (ja) * 2008-02-14 2011-07-27 株式会社ニコン 電子写真立て
US8217964B2 (en) * 2008-02-14 2012-07-10 Nokia Corporation Information presentation based on display screen orientation
JP2012094005A (ja) * 2010-10-27 2012-05-17 Seiko Epson Corp スケジュール管理装置
JP5533891B2 (ja) 2012-01-05 2014-06-25 コニカミノルタ株式会社 操作表示装置、その制御方法およびその制御プログラム
CN102867474B (zh) * 2012-09-03 2016-05-18 惠州Tcl移动通信有限公司 一种手持式电子设备及其背光源控制方法
JP6278479B2 (ja) * 2013-10-17 2018-02-14 株式会社アンカーエンターテイメント 情報共有システム及びプログラム
JP6325369B2 (ja) * 2014-06-24 2018-05-16 株式会社東芝 電子機器、制御方法及びプログラム
JP6876936B2 (ja) * 2016-11-11 2021-05-26 パナソニックIpマネジメント株式会社 翻訳装置の制御方法、翻訳装置、および、プログラム
WO2018087969A1 (ja) * 2016-11-11 2018-05-17 パナソニックIpマネジメント株式会社 翻訳装置の制御方法、翻訳装置、および、プログラム

Also Published As

Publication number Publication date
JP2000098990A (ja) 2000-04-07

Similar Documents

Publication Publication Date Title
JP3548013B2 (ja) 画像表示装置
US8922487B2 (en) Switching between a first operational mode and a second operational mode using a natural motion gesture
EP1445920A2 (en) Portable electronic device, display direction switching method, and recording medium
US20050212764A1 (en) Display apparatus, display switching method thereof, and electronic equipment including display device
JP2011041067A (ja) 携帯端末
CN106896922A (zh) 用于从惯性传感器确定用户输入的方法和装置
CN101640762A (zh) 信息处理设备、方法和程序
US20150029224A1 (en) Imaging apparatus, control method and program of imaging apparatus, and recording medium
WO2008013044A1 (fr) dispositif de terminal portable et programme de commande de transmission de données
CN105573626A (zh) 终端显示界面的显示方法及装置
CN100435538C (zh) 移动通信终端的图像控制装置和方法
CN110445925B (zh) 屏幕显示方法、移动设备、计算设备及计算机存储介质
JP3278668B2 (ja) カーソルの表示制御装置
JP2008046567A (ja) 情報処理装置,情報処理装置における外部表示監視方法及びプログラム
WO2012006944A1 (zh) 移动终端和用于移动终端的显示方法
US20200280623A1 (en) Display screen switching method and mobile terminal
JP7005160B2 (ja) 電子機器及びその制御方法
JP2003058099A (ja) 表示装置
WO2018186004A1 (ja) 電子機器及びその制御方法
JPH10171382A (ja) 表示装置および電子機器
JP3301266B2 (ja) 折り畳み式携帯表示装置
JP2005091561A (ja) 電子機器
JP2018019305A (ja) 携帯端末装置及び画像記録システム
JPH01314382A (ja) 画像表示装置
CN110602271A (zh) 电子装置及其显示屏的显示方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080423

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120423

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120423

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees