JP4006601B2 - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Download PDF

Info

Publication number
JP4006601B2
JP4006601B2 JP2004095935A JP2004095935A JP4006601B2 JP 4006601 B2 JP4006601 B2 JP 4006601B2 JP 2004095935 A JP2004095935 A JP 2004095935A JP 2004095935 A JP2004095935 A JP 2004095935A JP 4006601 B2 JP4006601 B2 JP 4006601B2
Authority
JP
Japan
Prior art keywords
image
projection
information
aspect ratio
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004095935A
Other languages
English (en)
Other versions
JP2005286572A (ja
Inventor
雅暢 小林
修 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004095935A priority Critical patent/JP4006601B2/ja
Priority to US11/050,710 priority patent/US7537350B2/en
Priority to TW094105314A priority patent/TWI278227B/zh
Priority to DE602005000058T priority patent/DE602005000058T2/de
Priority to EP05004438A priority patent/EP1583370B1/en
Priority to CNB2005100569066A priority patent/CN100369471C/zh
Priority to KR1020050025677A priority patent/KR100637308B1/ko
Publication of JP2005286572A publication Critical patent/JP2005286572A/ja
Application granted granted Critical
Publication of JP4006601B2 publication Critical patent/JP4006601B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)

Description

本発明は、画像の形状の補正が可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
プロジェクタ等の画像投写装置からの投写光の光軸とスクリーン等の投写対象物との相対的な角度によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。
したがって、画像表示装置は、画像を表示する場合には、画像の歪みをなくした状態で画像を表示する必要がある。
しかし、一般的な画像の補正機能付きプロジェクタは、傾きセンサーを内蔵して画像の縦方向の歪みのみを補正し、画像の横方向の歪みは補正できていない。
また、画像の横方向の歪みも補正する場合、例えば、特許文献１では、ユーザーがマウス等を用いてスクリーンの４隅の点を指示することにより、プロジェクタが当該指示情報に基づいて半自動的に画像の歪みを補正する方式が提案されている。
また、例えば、特許文献２では、プロジェクタが撮像部を用いてスクリーンの外形を識別し、識別した外形と同じ外形になるように画像を補正するプロジェクタが開示されている。
特開２００２−４４５７１号公報 特開２００２−２４７６１４号公報
しかし、プロジェクタが、特許文献１、２のようにスクリーンの外形の形状に画像の形状を変化させてしまうと、変化後の画像が元の画像の外形とは異なってしまうことになる。この場合、観察者に元の画像とは異なる印象を与えてしまうため、このような処理方式を採用することは好ましくない。
また、投写対象物の縦横比を基準とする場合であっても、所望のアスペクト比で画像が表示されることが望ましい。
本発明は、上記の課題に鑑みなされたものであり、その目的は、所望のアスペクト比となるように画像の歪みを補正することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
前記位置調整情報に基づき、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段と、
を含み、
前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とする。
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
前記位置調整情報に基づき、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段として機能させ、
前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とする。
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
また、本発明に係る画像処理方法は、画像を、矩形の投写対象物へ向け投写パネルを介して投写し、
ユーザーによる前記画像の位置調整に基づく位置調整情報を生成し、
ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、
当該縦横比に基づき、前記画像が所定のアスペクト比となるように、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成し、
前記位置補正情報に基づき、前記画像を投写するための画像情報を補正し、
補正した画像情報に基づき、前記画像を投写することを特徴とする。
本発明によれば、画像処理システム等は、画像の４隅と投写対象物の４隅が一致した状態における位置調整情報に基づき、投写対象物の縦横比と、投写対象物における画像の４隅の位置を把握することができる。これらの情報を用いることにより、画像処理システム等は、所望のアスペクト比となるように画像の歪みを補正することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、
前記補正情報生成手段は、
前記画像投写手段における投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
前記投写パネルの２次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を３次元目として加えた３次元空間を設定し、
前記位置調整情報に基づく前記２次元平面における前記投写対象物の位置を示す第１の２次元位置情報と、前記奥行き位置情報とに基づき、前記３次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第１の３次元位置情報を生成し、
当該第１の３次元位置情報に基づき、前記投写対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記縦横比を演算してもよい。
また、前記画像処理方法は、投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
前記投写パネルの２次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を３次元目として加えた３次元空間を設定し、
前記位置調整情報に基づく前記２次元平面における前記投写対象物の位置を示す第１の２次元位置情報と、前記奥行き位置情報とに基づき、前記３次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第１の３次元位置情報を生成し、
当該第１の３次元位置情報に基づき、前記投写対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記縦横比を演算してもよい。
これによれば、画像処理システム等は、画像を拡大したり縮小したりして投写する場合であっても、投写用のレンズの水平方向または垂直方向の画角に応じて所望のアスペクト比となるように画像の歪みを補正することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、
前記補正情報生成手段は、前記第１の３次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記３次元空間における補正後の前記画像の位置を示す第２の３次元位置情報を生成し、
当該第２の３次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第２の２次元位置情報を生成し、
当該第２の２次元位置情報に基づき、前記位置補正情報を生成してもよい。
また、前記画像処理方法は、前記第１の３次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記３次元空間における補正後の前記画像の位置を示す第２の３次元位置情報を生成し、
当該第２の３次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第２の２次元位置情報を生成し、
当該第２の２次元位置情報に基づき、前記位置補正情報を生成してもよい。
これによれば、画像処理システム等は、３次元空間における投写対象物の４隅の位置を特定し、投写対象物の対向する辺の長さが等しく平行であるという条件を利用して所望のアスペクト比となるように画像の歪みを補正することができる。
以下、本発明を、画像の形状の補正を行うプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
（システム全体の説明）
図１は、画像投写時の状態を示す模式図である。
画像処理システムの一種であるプロジェクタ２０は、レンズユニット２４から投写対象物の一種であるスクリーン１０へ向け画像を投写する。本実施例では、プロジェクタ２０は、スクリーン１０に正対していない状態となっている。このため、投写画像１２の形状は台形状に歪んでいる。
このような画像の歪みを補正するため、本実施例では、ユーザーがリモコン２６を用いて投写画像１２の４隅がスクリーン１０の４隅に一致するように投写画像１２を調整できるようにプロジェクタ２０が形成されている。なお、このような機能は、現在市販されているプロジェクタに備わっている機能である。具体的には、例えば、セイコーエプソン株式会社のプロジェクタに備わっている「Quick Corner」等がある。
しかし、スクリーン１０の形状が所望の縦横比になっていない場合、投写画像１２の４隅をスクリーン１０の４隅に一致させただけでは、投写画像１２は所望のアスペクト比にならず、原画像とは異なる印象をユーザーに与えてしまうことになる。
そこで、本実施形態では、リモコン２６からの操作情報に基づき、スクリーン１０の縦横比を把握し、所望のアスペクト比で投写画像１２が表示されるように画像情報を補正する。
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
プロジェクタ２０は、画像情報（例えば、ＲＧＢ信号等）を入力する画像情報入力部１１０と、画像の歪みが補正されるように、入力された画像情報を補正する補正部１３０と、補正された画像情報を出力する画像情報出力部１６０と、画像情報に基づき、画像を投写する画像投写部１９０とを含んで構成されている。
また、プロジェクタ２０は、リモコン２６からの操作情報に基づいて位置調整情報を生成する位置調整情報生成部１４０と、位置調整情報に基づき、スクリーン１０における投写画像１２の４隅の位置を補正するための位置補正情報を生成する補正情報生成部１２０とを含んで構成されている。
また、画像投写部１９０は、液晶パネルを有する空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズユニット２４に含まれるレンズ１９８と、画角調整部１９９とを含んで構成されている。
駆動部１９４は、画像情報出力部１６０からの画像情報に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
また、上述したプロジェクタ２０の各部を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
例えば、画像情報入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、補正部１３０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、画像情報出力部１６０としては、例えばＤ／Ａコンバーター９４０等、補正情報生成部１２０、位置調整情報生成部１４０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
さらに、補正情報生成部１２０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って補正情報生成部１２０等の機能をコンピュータに実装してもよい。
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
（画像処理の流れの説明）
次に、これらの各部を用いた画像処理の流れについて説明する。
図４は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
ユーザーは、図１に示すように、投写画像１２の外枠がスクリーン１０をはみ出すようにプロジェクタ２０を設置する。そして、ユーザーは、プロジェクタ２０を起動し、白色の画像を投写する（ステップＳ１）。これにより、投写画像１２の外枠がスクリーン１０からはみ出して表示される。
ユーザーは、図１の太線の矢印で示すように、リモコン２６を用いて投写画像１２の４隅がスクリーン１０の４隅に一致するように投写画像１２の４隅の位置を調整する（ステップＳ２）。位置調整情報生成部１４０は、リモコン２６からの操作情報に基づいて４隅それぞれの位置調整情報を生成する。
また、補正情報生成部１２０は、投写画像１２の４隅とスクリーン１０の４隅が一致した状態において、位置調整情報生成部１４０からの位置調整情報と、画像投写部１９０における液晶パネル９２０の水平画角を示す値と、レンズ１９８の水平方向の画角θＨを示す画角情報を取得する。
図５は、本実施形態の一例に係る投写パネル領域１９を示す模式図である。
例えば、液晶パネル９２０の２次元平面は、投写パネル領域１９として表すことができる。例えば、スクリーン１０に相当する領域である投写対象領域１１は、図５に示す領域ＥＦＧＨであり、投写画像１２に相当する領域である補正前投写領域は、投写パネル領域１９と一致し、図５に示す領域ＡＢＣＤである。
補正情報生成部１２０は、位置調整情報と、液晶パネル９２０の水平解像度と、画角情報に基づき、補正情報を生成する（ステップＳ３）。
より具体的には、補正情報生成部１２０は、まず、既知である液晶パネル９２０の水平解像度と、画角情報とに基づき、スクリーン１０を透視投影した仮想投写面におけるスクリーン１０の奥行き値Ｐｚを演算する。そして、補正情報生成部１２０は、投写パネル領域１９の２次元平面における投写対象領域１１の４隅の位置を示す第１の２次元位置情報と、奥行き値Ｐｚを示す奥行き位置情報に基づき、上記２次元平面にレンズ１９８の主点を原点とし、レンズ１９８の光軸を３次元目として加えた３次元空間における仮想投写面に透視投影した場合のスクリーン１０の４隅の位置を示す第１の３次元位置情報を生成する。
図６は、本実施形態の一例に係る３次元空間と奥行き値Ｐｚを示す模式図である。
例えば、レンズユニット２４（レンズ１９８）の平面をｘｙの２次元平面と仮定し、レンズ１９８の光軸であるｚ軸を仮定する。この場合、スクリーン１０の領域Ｅ’Ｆ’Ｇ’Ｈ’は、投写パネル領域１９が相当する仮想投写面における投写対象領域１１となる。この３次元空間における原点から仮想投写面までの距離が奥行き値Ｐｚである。
この場合、３次元空間における投写対象領域１１の４隅の座標は、Ｅ(Ex,Ey,Pz)、Ｆ(Fx,Fy,Pz)、Ｇ(Gx,Gy,Pz)、Ｈ(Hx,Hy,Pz)と表すことができる。また、実際のスクリーン１０の４隅の座標は、E'=s*E、F'=t*F、G'=u*G、H'=v*Hと表すことができる。ここで、スクリーン１０は、長方形であるため、対向する２辺の長さは等しく平行である。すなわち、E'F'、H'G'のベクトルは等しい。また、この条件に加え、s=1と仮定することにより、補正情報生成部１２０は、実数s、t、u、vを一意に決定することができる。
さらに、補正情報生成部１２０は、スクリーン１０の縦横比＝E'F'/F'G'を演算する。
そして、補正情報生成部１２０は、スクリーン１０の縦横比と、投写画像１２の所望のアスペクト比Saを比較し、適切なアスペクト比となる補正後投写領域１４の４隅IJKLの座標を演算する。
図７は、本実施形態の一例に係るスクリーン１０と補正後の投写画像１２との関係を示す図であり、図７（Ａ）は、縦より横が長い場合のスクリーン１０を示す図であり、図７（Ｂ）は、図７（Ａ）のスクリーン１０における補正後の投写画像１２を示す図である。また、図８は、本実施形態の一例に係るスクリーン１０と補正後の投写画像１２との関係を示す図であり、図８（Ａ）は、縦より横が短い場合のスクリーン１０を示す図であり、図８（Ｂ）は、図８（Ａ）のスクリーン１０における補正後の投写画像１２を示す図である。
ここでは、所望のアスペクト比Sa=0.75であると仮定する。
スクリーン１０の縦横比が0.75とほぼ等しい場合（0.75に一致しなくても許容範囲内であればよい。）、補正情報生成部１２０は、投写画像１２の形状をスクリーン１０の形状に一致させるように補正情報を生成する。説明を簡単にするため、本実施例では、補正情報生成部１２０は、スクリーン１０の縦横比が0.75とほぼ等しい場合は投写画像１２の形状をスクリーン１０の形状に一致させるように補正情報を生成するものと仮定する。
また、図７（Ａ）に示すように、縦横比<0.75の場合、すなわち、スクリーン１０が横長の場合、補正情報生成部１２０は、図７（Ｂ）に示すように、スクリーン１０の左右に余白を有する領域に補正後の投写画像１２（領域A'B'C'D'）が表示されるように補正情報を生成する。
アスペクト比Sa<0.75の場合、A'はE'H'をm:nに分割する点であることからA'=(n*E'+m*H')/(m+n)である。なお、ここで、m+n=1であるものと仮定する。
また、スクリーン１０の縦：横＝Sa:1であることから補正後の投写画像１２のアスペクト比を0.75に維持するためには、m=(1-4*Sa/3)/2,n=1-(1-4*Sa/3)/2にする必要がある。補正情報生成部１２０は、A'以外のB'C'D'も同様に演算する。
また、図８（Ａ）に示すように、縦横比>0.75の場合、すなわち、スクリーン１０が縦長の場合、補正情報生成部１２０は、図８（Ｂ）に示すように、スクリーン１０の上下に余白を有する領域に補正後の投写画像１２が形成されるように補正情報を生成する。
アスペクト比Sa>0.75の場合、A'はE'F'をm:nに分割する点であることからA'=(n*E'+m*F')/(m+n)である。なお、ここで、m+n=1であるものと仮定する。
また、スクリーン１０の縦：横＝Sa:1であることから補正後の投写画像１２のアスペクト比を0.75に維持するためには、m= (Sa-3/4)/2,n=Sa-(Sa-3/4)/2にする必要がある。補正情報生成部１２０は、A'以外のB'C'D'も同様に演算する。
このようにして補正情報生成部１２０は、第１の３次元位置情報と、スクリーン１０の縦横比と、アスペクト比に基づき、補正後の投写画像１２の４隅の３次元座標A'(A'x,A'y,A'z)、B'(B'x,B'y,B'z)、C'(C'x,C'y,C'z)、D'(D'x,D'y,D'z)を示す第２の３次元位置情報を生成することができる。
さらに、補正情報生成部１２０は、補正後の投写画像１２を若干拡大するように補正情報を生成してもよい。これにより、いわゆる縁なし状態の画像とし、画像の見栄えをよくすることができる。例えば、拡大率をPs、原点をO、補正後の投写領域の対角線の交点をPとすると、補正情報生成部１２０は、拡大後の投写領域の頂点A'=Ps*PA'+OPで求めることができる。補正情報生成部１２０は、A'以外のB'C'D'も同様に演算する。
次に、補正情報生成部１２０は、このようにして求めた３次元座標系におけるA'B'C'D'（第２の３次元位置情報）を、図６に示す仮想投写面上に透視投影することにより、仮想投写面における補正後投写領域１４の４隅の座標ＩＪＫＬを示す第２の２次元位置情報を生成する。
ここで、補正後投写領域１４の４隅の座標をＩ(X0,Y0)、Ｊ(X1,Y1)、Ｋ(X2,Y2)、Ｌ(X3,Y3)と仮定する。この場合、Ｉについては、X0=Pz*A'x/A'zであり、Y0=Pz*A'y/A'zである。Ｊ、Ｋ、Ｌも同様に求められる。
また、補正前投写領域の４隅の座標をＡ(x0,y0)、Ｂ(x1,y1)、Ｃ(x2,y2)、Ｄ(x3,y3)と仮定する。なお、補正前投写領域は、投写パネル領域１９と一致するため、補正前投写領域の４隅の座標は既知である。
このようにして補正情報生成部１２０は、ＡＢＣＤおよびＩＪＫＬの座標を示す位置補正情報を生成することができる。
補正部１３０は、補正情報生成部１２０からの位置補正情報に基づき、画像情報を補正する（ステップＳ４）。より具体的には、以下の変換式を用いて投写画像１２の形状を変換するための変換用パラメータを求めることができる。
図９は、本実施形態の一例に係る変換用パラメータを求める演算式を示す図である。
補正部１３０は、図９に示す演算式を用いて８つの変換用パラメータPa〜Phを演算する。
さらに、補正部１３０は、入力された画像情報の各画素に対して以下の式を用いて各画素の座標を補正する。
X=(Pa*x+Pb*y+Pc)/(Pg*x+Ph*y+1)、Y=(Pd*x+Pe*y+Pf)/(Pg*x+Ph*y+1)
なお、ここで、(x,y)は補正前の画素の座標であり、(X,Y)は補正後の画素の座標である。
そして、画像投写部１９０は、補正部１３０によって補正された画像情報に基づき、画像を投写する（ステップＳ５）。
これにより、プロジェクタ２０は、スクリーン１０の中央に、スクリーン１０をできるだけ有効に活用して歪みのない投写画像１２を表示することができる。
以上のように、本実施形態によれば、プロジェクタ２０は、所望のアスペクト比でスクリーン１０の領域を有効に使用して画像を投写することができる。これにより、プロジェクタ２０は、スクリーン１０の形状の影響を受けずに観察者にとって見やすい画像を投写することができる。
また、本実施形態によれば、プロジェクタ２０は、投写画像１２の４隅とスクリーン１０の４隅が一致した状態における位置調整情報に基づき、スクリーン１０の縦横比を把握することができる。位置調整情報やスクリーン１０の縦横比等を用いることにより、プロジェクタ２０は、所望のアスペクト比となるように画像の歪みを補正することができる。
また、本実施形態によれば、スクリーン１０の４隅の情報を利用することにより、縦横の歪み検出角度に制限無く補正することができる。
また、本実施形態によれば、プロジェクタ２０は、投写画像１２を拡大したり縮小したりして投写する場合であっても、投写用のレンズ１９８の水平方向の画角に応じて所望のアスペクト比となるように画像の歪みを補正することができる。
また、本実施形態によれば、プロジェクタ２０は、３次元空間におけるスクリーン１０の４隅の位置を特定し、スクリーン１０の対向する辺の長さが等しく平行であるという条件を利用して所望のアスペクト比となるように画像の歪みを補正することができる。
また、本実施形態によれば、ＣＣＤカメラを利用しないため、プロジェクタ２０に搭載するメモリの容量も少なくて済み、ＣＣＤカメラを利用する場合と比べ、より安価でプロジェクタ２０を構成することができる。
（変形例）
本発明は、上述した実施例に限定されず、種々の変形が可能である。
例えば、上述した実施例では、投写対象物としてスクリーン１０を用いたが、４隅を検出可能な矩形状のものであればよく、投写対象物は、例えば、ホワイトボード、壁等であってもよい。
また、上述した実施例では、プロジェクタ２０は、水平方向の解像度と水平方向の画角を用いたが、変形例として、垂直方向の解像度と垂直方向の画角を用いてもよく、水平と垂直の両者を併用してもよい。
また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本発明は、プロジェクタ２０以外にもＣＲＴ(Cathode Ray Tube)、ＬＥＤ(Light Emitting Diode)、ＥＬ(Electro Luminescence)等のディスプレイ用の画像処理システムにも有効である。
また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。投写パネルも液晶パネル９２０に限定されず、ＤＭＤ用の投写パネルであってもよい。
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
画像投写時の状態を示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る画像処理の流れを示すフローチャートである。 本実施形態の一例に係る投写パネル領域を示す模式図である。 本実施形態の一例に係る３次元空間と奥行き値Ｐｚを示す模式図である。 本実施形態の一例に係るスクリーンと補正後の投写領域との関係を示す図であり、図７（Ａ）は、縦より横が長い場合のスクリーンを示す図であり、図７（Ｂ）は、図７（Ａ）のスクリーンにおける補正後の投写領域を示す図である。 本実施形態の一例に係るスクリーンと補正後の投写領域との関係を示す図であり、図８（Ａ）は、縦より横が短い場合のスクリーンを示す図であり、図８（Ｂ）は、図８（Ａ）のスクリーンにおける補正後の投写領域を示す図である。 本実施形態の一例に係る変換用パラメータを求める演算式を示す図である。
符号の説明
１０ スクリーン（投写対象物）、１２ 投写画像、２０ プロジェクタ（画像処理システム）、６０ センサー、１２０ 補正情報生成部、１３０ 補正部、１４０ 位置調整情報生成部、１９０ 画像投写部、１９９ 画角調整部、９００ 情報記憶媒体、９２０ 液晶パネル（投写パネル）

Claims (9)

  1. 画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
    前記位置調整情報に基づき、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段と、
    を含み、
    前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とする画像処理システム。
  2. 請求項１において、
    前記補正情報生成手段は、
    前記画像投写手段における投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
    前記投写パネルの２次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を３次元目として加えた３次元空間を設定し、
    前記位置調整情報に基づく前記２次元平面における前記投写対象物の位置を示す第１の２次元位置情報と、前記奥行き位置情報とに基づき、前記３次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第１の３次元位置情報を生成し、
    当該第１の３次元位置情報に基づき、前記投写対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記縦横比を演算することを特徴とする画像処理システム。
  3. 請求項２において、
    前記補正情報生成手段は、前記第１の３次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記３次元空間における補正後の前記画像の位置を示す第２の３次元位置情報を生成し、
    当該第２の３次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第２の２次元位置情報を生成し、
    当該第２の２次元位置情報に基づき、前記位置補正情報を生成することを特徴とする画像処理システム。
  4. 画像を、矩形の投写対象物へ向け投写パネルを介して投写する画像投写手段と、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
    前記位置調整情報に基づき、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段と、
    を含み、
    前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とするプロジェクタ。
  5. 画像投写手段を制御するコンピュータにより読み取り可能なプログラムであって、
    コンピュータを、
    画像を、矩形の投写対象物へ向け投写パネルを介して前記画像投写手段に投写させる画像投写制御手段と、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成する位置調整情報生成手段と、
    前記位置調整情報に基づき、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成する補正情報生成手段と、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正する補正手段として機能させ、
    前記補正情報生成手段は、ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、当該縦横比に基づき、前記画像が所定のアスペクト比となるように前記位置補正情報を生成することを特徴とするプログラム。
  6. 画像投写手段を制御するコンピュータにより読み取り可能な情報記憶媒体であって、
    請求項５に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
  7. 画像を、矩形の投写対象物へ向け投写パネルを介して投写し、
    ユーザーによる前記画像の位置調整に基づく位置調整情報を生成し、
    ユーザーによる前記画像の位置調整によって前記画像の４隅と前記投写対象物の４隅が一致した状態における前記位置調整情報に基づき、前記投写対象物の縦横比を演算し、
    当該縦横比に基づき、前記画像が所定のアスペクト比となるように、前記投写対象物における前記画像の４隅の位置を補正するための位置補正情報を生成し、
    前記位置補正情報に基づき、前記画像を投写するための画像情報を補正し、
    補正した画像情報に基づき、前記画像を投写することを特徴とする画像処理方法。
  8. 請求項７において、
    投写用のレンズの水平方向または垂直方向の画角を示す画角情報と、前記投写パネルの水平解像度または垂直解像度とに基づき、仮想投写面を設定するための奥行き位置を示す奥行き位置情報を生成し、
    前記投写パネルの２次元平面に、前記レンズの主点を原点とし、前記レンズの光軸を３次元目として加えた３次元空間を設定し、
    前記位置調整情報に基づく前記２次元平面における前記投写対象物の位置を示す第１の２次元位置情報と、前記奥行き位置情報とに基づき、前記３次元空間における前記仮想投写面に透視投影した状態の前記投写対象物の位置を示す第１の３次元位置情報を生成し、
    当該第１の３次元位置情報に基づき、前記投写対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記縦横比を演算することを特徴とする画像処理方法。
  9. 請求項８において、
    前記第１の３次元位置情報と、前記縦横比と、前記アスペクト比とに基づき、前記３次元空間における補正後の前記画像の位置を示す第２の３次元位置情報を生成し、
    当該第２の３次元位置情報に基づき、前記仮想投写面に透視投影した状態の前記画像の補正後の位置を示す第２の２次元位置情報を生成し、
    当該第２の２次元位置情報に基づき、前記位置補正情報を生成することを特徴とする画像処理方法。
JP2004095935A 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Expired - Fee Related JP4006601B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004095935A JP4006601B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US11/050,710 US7537350B2 (en) 2004-03-29 2005-02-07 Image processing system, projector, program, information storage medium, and image processing method
TW094105314A TWI278227B (en) 2004-03-29 2005-02-22 Image processing system, projector, information storage medium, and image processing method
EP05004438A EP1583370B1 (en) 2004-03-29 2005-03-01 Image processing system, projector, information storage medium, and image processing method
DE602005000058T DE602005000058T2 (de) 2004-03-29 2005-03-01 Bildverarbeitungssystem, Bildprojektor, Informationsspeichermedium und Bildverarbeitungsverfahren
CNB2005100569066A CN100369471C (zh) 2004-03-29 2005-03-23 图像处理系统、投影机及图像处理方法
KR1020050025677A KR100637308B1 (ko) 2004-03-29 2005-03-28 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004095935A JP4006601B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Publications (2)

Publication Number Publication Date
JP2005286572A JP2005286572A (ja) 2005-10-13
JP4006601B2 true JP4006601B2 (ja) 2007-11-14

Family

ID=34879915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004095935A Expired - Fee Related JP4006601B2 (ja) 2004-03-29 2004-03-29 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Country Status (7)

Country Link
US (1) US7537350B2 (ja)
EP (1) EP1583370B1 (ja)
JP (1) JP4006601B2 (ja)
KR (1) KR100637308B1 (ja)
CN (1) CN100369471C (ja)
DE (1) DE602005000058T2 (ja)
TW (1) TWI278227B (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150924B2 (ja) * 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2007078821A (ja) * 2005-09-12 2007-03-29 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
JP4344888B2 (ja) * 2005-12-09 2009-10-14 株式会社カシオ日立モバイルコミュニケーションズ 撮像装置、撮像画像処理方法及びプログラム
JP2007205030A (ja) * 2006-02-01 2007-08-16 Bunka Shutter Co Ltd 開閉装置利用によるディスプレイシステム
JP3953500B1 (ja) * 2006-02-07 2007-08-08 シャープ株式会社 画像投影方法及びプロジェクタ
AU2007305216A1 (en) 2006-10-06 2008-04-10 Lalley Brothers Scientific, Llc Three-dimensional internal back-projection system and method for using the same
JP4978152B2 (ja) * 2006-10-25 2012-07-18 セイコーエプソン株式会社 プロジェクタ、プログラムおよび情報記憶媒体
JP5187480B2 (ja) * 2007-02-23 2013-04-24 セイコーエプソン株式会社 プロジェクタ、プログラム、情報記憶媒体および画像生成方法
JP4340923B2 (ja) 2007-02-23 2009-10-07 セイコーエプソン株式会社 プロジェクタ、プログラムおよび情報記憶媒体
JP5386828B2 (ja) * 2008-01-29 2014-01-15 セイコーエプソン株式会社 画像投影システムおよびプログラム
JP5093517B2 (ja) * 2009-03-12 2012-12-12 セイコーエプソン株式会社 プロジェクタ、プログラム、情報記憶媒体および画像生成方法
JP5327468B2 (ja) 2009-08-04 2013-10-30 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP5728814B2 (ja) * 2010-03-12 2015-06-03 セイコーエプソン株式会社 画像表示装置および画像処理方法
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP5754124B2 (ja) * 2010-12-14 2015-07-29 セイコーエプソン株式会社 プロジェクターおよび制御方法
JP2013038626A (ja) * 2011-08-09 2013-02-21 Seiko Epson Corp 撮像装置およびプロジェクター
US8884937B2 (en) * 2012-01-09 2014-11-11 Himax Display, Inc. Projection apparatus and projection method
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
WO2013172314A1 (ja) * 2012-05-16 2013-11-21 株式会社Ｊｖｃケンウッド 画像投射装置および画像投射方法
JP5958072B2 (ja) 2012-05-18 2016-07-27 株式会社Ｊｖｃケンウッド 投射装置および画像補正方法
JP5958079B2 (ja) * 2012-05-22 2016-07-27 株式会社Ｊｖｃケンウッド 投射装置、画像補正方法およびプログラム
JP6035947B2 (ja) 2012-07-26 2016-11-30 セイコーエプソン株式会社 画像表示装置、画像表示方法および画像表示プログラム
CN102970498A (zh) * 2012-11-30 2013-03-13 深圳Tcl新技术有限公司 菜单立体显示的显示方法及显示装置
JP6205777B2 (ja) * 2013-03-22 2017-10-04 カシオ計算機株式会社 投影装置、投影方法、及び投影のためのプログラム
JP6244638B2 (ja) * 2013-03-22 2017-12-13 カシオ計算機株式会社 投影装置、投影方法及び投影プログラム
CN104580966A (zh) * 2013-10-22 2015-04-29 光宝科技股份有限公司 投影装置以及其投影图像处理方法
US10318067B2 (en) 2014-07-11 2019-06-11 Hewlett-Packard Development Company, L.P. Corner generation in a projector display area
CN104601916B (zh) * 2015-01-20 2017-11-07 苏州佳世达光电有限公司 投影装置及其梯形校正方法
CN106250791A (zh) * 2015-06-30 2016-12-21 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106384065B (zh) 2015-06-30 2019-08-06 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN105187751A (zh) * 2015-09-06 2015-12-23 青岛海信信芯科技有限公司 一种投影图像校正方法和装置
CN107368829B (zh) * 2016-05-11 2020-08-14 富士通株式会社 确定输入图像中的矩形目标区域的方法和设备
US20190355104A1 (en) * 2016-09-29 2019-11-21 Huawei Technologies Co., Ltd. Image Correction Method and Apparatus
CN107027014A (zh) * 2017-03-23 2017-08-08 广景视睿科技（深圳）有限公司 一种动向智能投影系统及其方法
CN110505398B (zh) * 2019-07-16 2021-03-02 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112004072B (zh) * 2020-07-31 2022-05-03 海尔优家智能科技（北京）有限公司 投影图像检测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000021282A1 (en) 1998-10-02 2000-04-13 Macronix International Co., Ltd. Method and apparatus for preventing keystone distortion
JP2002044571A (ja) 2000-07-27 2002-02-08 Nec Viewtechnology Ltd 投射型の格子状表示装置及び投射映像の歪み補正方法
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
JP2002158946A (ja) * 2000-11-20 2002-05-31 Seiko Epson Corp プロジェクタおよび画像歪補正方法
JP2002247614A (ja) 2001-02-15 2002-08-30 Ricoh Co Ltd プロゼェクタ
US7352913B2 (en) * 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
JP3761491B2 (ja) * 2002-05-10 2006-03-29 Ｎｅｃビューテクノロジー株式会社 投射映像の歪補正方法、歪補正プログラム及び投射型映像表示装置
JP2004040395A (ja) 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
JP3620537B2 (ja) * 2003-05-02 2005-02-16 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3846592B2 (ja) * 2003-06-26 2006-11-15 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7175285B2 (en) * 2003-07-29 2007-02-13 Sharp Laboratories Of America, Inc. Projection system that adjusts for keystoning
US7399086B2 (en) * 2004-09-09 2008-07-15 Jan Huewel Image processing method and image processing device
US7252387B2 (en) * 2005-03-21 2007-08-07 Mitsubishi Electric Research Laboratories, Inc. System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment

Also Published As

Publication number Publication date
DE602005000058D1 (de) 2006-09-14
KR20060044871A (ko) 2006-05-16
EP1583370A1 (en) 2005-10-05
CN1678048A (zh) 2005-10-05
TW200536384A (en) 2005-11-01
CN100369471C (zh) 2008-02-13
KR100637308B1 (ko) 2006-10-24
US7537350B2 (en) 2009-05-26
EP1583370B1 (en) 2006-08-02
TWI278227B (en) 2007-04-01
DE602005000058T2 (de) 2007-02-15
JP2005286572A (ja) 2005-10-13
US20050214662A1 (en) 2005-09-29

Similar Documents

Publication Publication Date Title
JP4006601B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4150924B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3879858B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
TWI249351B (en) Image processing system, projector, and image processing method
JP5266954B2 (ja) 投写型表示装置および表示方法
KR100571175B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
JP3844076B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5266953B2 (ja) 投写型表示装置および表示方法
JP4572377B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008211354A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2010044255A (ja) 投写型表示装置および画像の補正方法
KR20130043300A (ko) 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법
JP2008211355A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP6749402B2 (ja) 投射型映像表示装置および投射映像の調整方法
JP5348035B2 (ja) プロジェクター
JP2008211356A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2006214922A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005286573A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2009135972A (ja) プロジェクタ、プログラムおよび情報記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050725

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4006601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130907

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees