JP3664114B2 - プロジェクタによって投写される画像の画像処理 - Google Patents
プロジェクタによって投写される画像の画像処理 Download PDFInfo
- Publication number
- JP3664114B2 JP3664114B2 JP2001215496A JP2001215496A JP3664114B2 JP 3664114 B2 JP3664114 B2 JP 3664114B2 JP 2001215496 A JP2001215496 A JP 2001215496A JP 2001215496 A JP2001215496 A JP 2001215496A JP 3664114 B2 JP3664114 B2 JP 3664114B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- projector
- image data
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 96
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 22
- 239000004973 liquid crystal related substance Substances 0.000 description 19
- 230000006866 deterioration Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Description
【発明の属する技術分野】
本発明は、プロジェクタによって投写される画像の画像処理に関する。
【0002】
【従来の技術】
プロジェクタは、光源から入射された光を、液晶パネル等の光変調手段によって画像データに基づいて変調し、その変調光を投写光学系を用いてスクリーン上に結像させて画像を表示する。プロジェクタの使用に際しては、装置とスクリーンとの間の障害物が投写画像の観賞の妨げとならないように、いわゆる「あおり投写」が行われることが多い。
【0003】
図11は、プロジェクタ100を用いてスクリーンSC上に画像Pを投写する様子を示す説明図である。図11(a)に示すように、プロジェクタ100の投射光学系の光軸とスクリーンSCの法線とのなす角度(あおり角)が0の場合には、図11(b)に示すように、画像Pは、歪みのない正規の形状で投写される。一方、図11(c)に示すように、プロジェクタ100の投射光学系の光軸とスクリーンSCの法線とのなす角度がθ(≠0)となる条件で垂直方向にあおり投写する場合には、図11(d)に示すように、画像P’は、台形に歪んだ形状で投写される。
【0004】
近年、このような光学的な画像歪み(一般に、台形歪、キーストーン歪と呼ばれる)を画像処理によって正規の形状(例えば長方形)に補正する技術が一般化されている。これによって、プロジェクタの設置の自由度が高くなり、ユーザは、あおり角を従来よりも大きくして設置することが多くなった。更に、ユーザは、スクリーンの法線に対してプロジェクタの投射光学系の光軸を水平方向に大きく傾けて設置する場合も増加した。
【0005】
図12は、プロジェクタ100を用いて水平方向にあおり角θ’であおり投写した場合の様子を示す説明図である。なお、本明細書中で「あおり投写」とは、プロジェクタの投写光学系の光軸をスクリーンSCの法線に対して垂直方向に傾ける場合だけでなく、水平方向に傾ける場合も含むものとする。この場合も、垂直方向のあおり投射の場合と同様に、画像処理によって投写画像P”の形状を長方形に補正することは可能である。
【0006】
【発明が解決しようとする課題】
ところで、プロジェクタは、投写レンズの焦点距離を調整することによって、スクリーンSC上に画像を鮮明に投写する。しかし、スクリーンSC上で焦点が合う位置は一部のみであり、その他の位置では厳密には焦点が合わない。そして、焦点が合わない位置では、投写される画像はピントのボケた不明瞭な画像となる。従来、あおり角を比較的小さくして投写していたときは、この焦点距離のずれは小さく、画質の低下はそれ程気にならなかった。一方、あおり角を比較的大きくして投写すると、スクリーンSC上の位置によって焦点距離のずれが大きくなり、画質の低下が顕著に視認されるようになった。このようなピントボケによる画質の低下は、特に、投写距離やあおり角を任意に設定可能な、いわゆるフロント・プロジェクタで顕著である。
【0007】
上述した画質の低下は、あおり投写に限らず、画像の投写に共通の課題であった。この課題を光学系の改善によって解決することは非常に困難であった。
【0008】
本発明は、上述の課題を解決するためになされたものであり、プロジェクタによって投写される画像の焦点距離のずれによる画質低下を容易に抑制する技術を提供することを目的とする。
【0009】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の画像処理装置は、
原画像データに対して所定の画像処理を施すことによって、画像を投写するプロジェクタに供給される画像データを生成する画像処理装置であって、
原画像データを入力する原画像データ入力部と、
前記原画像データに対して、前記投写される画像の各部位ごとに異なる強調度で表示明瞭度を強調する画像処理を施す画像処理部と、
を備えることを要旨とする。
【0010】
先に説明したように、プロジェクタによる画像の投写においては、スクリーン上で投写レンズの焦点の合う部位は、厳密には一部のみである。従って、この他の部位では焦点は合わず、表示明瞭度が低下した画像となる。つまり、投写される画像の各部位ごとに表示明瞭度の低下の程度が異なる。
【0011】
通常、プロジェクタに供給される画像データを生成する画像処理装置では、画質を向上させたり、画質の低下を抑制する画像処理は、原画像データ全体に対して均一に施される。本発明では、原画像データに対して、投写される画像の各部位ごとに異なる強調度で画質の低下を補償するように表示明瞭度を強調する画像処理を施す。この結果、プロジェクタで投写される画像の各部位ごとに光学的な焦点距離の調整を行うことなく、画像処理装置での画像処理によって焦点距離のずれによる画質低下を容易に抑制することができる。なお、「各部位ごと」とは、「各画素ごと」であってもよいし、「各領域ごと」であってもよい。
【0012】
本発明の画像処理装置において、表示明瞭度を強調する画像処理として、コントラスト調整や輝度調整など種々の画像処理を適用可能であるが、
前記画像処理は、鮮鋭化処理であることが好ましい。
【0013】
こうすることによって、ピントのボケた不明瞭な画像を、画像の各部位におけるボケ具合に応じて鮮鋭化処理(シャープネス調整)することができるので、画質低下を抑制することができる。なお、鮮鋭化処理を施すと、画像のコントラストや輝度などもその影響を受ける場合がある。従って、鮮鋭化処理とともに、その強調度に応じてコントラスト調整や輝度調整も行うようにしてもよい。シャープネス調整に関わらず、画像の各部位ごとにコントラスト調整や輝度調整等の表示明瞭度に影響を与える画像処理を行うようにしてもよい。
【0014】
また、本発明の画像処理装置において、
前記強調度は、前記投写される画像と相対的に設定された基準点からの距離に応じて異なるようにすることが好ましい。
【0015】
一般に、投写レンズの焦点距離のずれによる画質の低下は、スクリーン上で焦点距離が最も合っている点を中心として同心円状に2次元的に広がる。従って、基準点からの距離に応じて異なる強調度で表示明瞭度を強調することによって、効果的に画質低下を抑制することができる。なお、「基準点」は、投写される画像と相対的に設定された点であるので、必ずしも投写される画像上の点でなくてもよい。つまり、投写される画像の外の領域であってもよい。また、基準点は、予め設定された点であってもよいし、ユーザによって任意に設定された点であってもよい。
【0016】
上記画像処理装置において、
前記基準点は、前記投写された画像の合焦点位置であることが好ましい。
【0017】
スクリーン上に投写される画像は、合焦点位置を中心に画質が低下する。従って、合焦点位置を基準点とすることによって、画質低下をより効果的に抑制することができる。
【0018】
上記画像処理装置において、合焦点位置は、ユーザの目視によって検出することもできるが、更に、
前記投写された画像を撮像する撮像手段と、
前記画像を解析することによって、前記合焦点位置を検出する合焦点検位置出手段と、
を備えるようにすることが好ましい。
【0019】
こうすることによって、自動的に合焦点位置を検出し、基準点として利用できるので、画像処理装置の利便性を向上することができる。合焦点位置の検出は、例えば、所定の空間周波数を有するテスト画像をプロジェクタで投写して、投写画像を撮像し、その空間周波数分布を解析することによって行うことができる。こうすれば、撮像したテスト画像の空間周波数の分布から、正確に合焦点位置を検出することができる。
【0020】
また、上記画像処理装置において、
前記強調度は、更に、前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角度に応じて設定されることが好ましい。
【0021】
こうすることによって、プロジェクタの多様な設置条件に応じて、各部位ごとの画像処理の強調度を柔軟に設定して、画像処理を施すことができる。なお、「プロジェクタの光軸」とは、プロジェクタが備える投写光学系の光軸、あるいは、投写レンズの光軸と同義である。また、本明細書中において、プロジェクタの光軸とスクリーンの法線とのなす角のことを、単に「あおり角」とも呼ぶ。
【0022】
上記画像処理装置において、あおり角は、プロジェクタの設置条件に応じて、ユーザによって設定された値とすることもできるが、更に、
前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角度であるあおり角を検出するあおり角検出手段を備えるようにすることが好ましい。
【0023】
こうすることによって、自動的にあおり角を検出し、利用することができるので、画像処理装置の利便性を向上することができる。あおり角検出手段としては、例えば、超音波センサでスクリーン上の3点までの距離を測定し、測定結果からあおり角を検出する手段を適用することが可能である。また、垂直方向のあおり角については、プロジェクタの垂直方向のあおり角を調整するための脚と連動させて検出するようにすることも可能である。
【0024】
本発明の画像処理装置において、更に、
前記表示明瞭度を強調するための補償係数と前記部位との関係を予め記憶する補償係数記憶部を備え、
前記画像処理部は、該補償係数記憶部によって与えられる補償係数を用いて前記画像処理を施すようにすることができる。
【0025】
こうすることによって、補償係数を補償係数記憶部から適宜読み出して、高速に画像処理を施すことができる。
【0026】
本発明は、プロジェクタ(投写型表示装置)の発明として構成することもできる。即ち、本発明のプロジェクタは、
画像を投写するプロジェクタであって、
入力された原画像データに対して所定の画像処理を施すことによって画像データを生成する画像処理部と、
前記画像データに基づいて投写すべき画像を形成する画像形成部と、
前記画像を投写する投写光学系と、を備え、
前記画像処理部は、
前記原画像データに対して、前記投写される画像の各部位ごとに異なる強調度で表示明瞭度を強調する画像処理を施すことを要旨とする。
【0027】
本発明では、先に画像処理装置の発明で説明したのと同様に、画像処理部での画像処理によって投写される画像の各部位の表示明瞭度を補償することができる。従って、前記投写光学系で画像の各部位ごとに光学的な焦点距離の補償を行うことなく、表示画像の画質の低下を抑制することができる。
【0028】
本発明は、上述の画像処理装置、プロジェクタとしての構成の他、画像処理方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【0029】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像処理装置やプロジェクタを駆動するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例に基づき以下の順で説明する。
A.プロジェクタの全体構成:
B.ビデオプロセッサの内部構成:
C.輪郭補償:
D.変形例:
【0031】
A.プロジェクタの全体構成:
図1は、本発明の実施例としてのプロジェクタ10の全体構成を示す説明図である。このプロジェクタ10は、アナログ画像入力端子12と、ディジタル画像入力端子14と、3つのA−D変換器20と、ビデオデコーダ(同期分離回路)22と、フレームメモリ24と、ビデオプロセッサ26と、液晶パネル駆動部30と、液晶パネル32と、リモートコントローラ制御部34と、を備えている。なお、フレームメモリ24とビデオプロセッサ26とは、1つの画像処理用集積回路60として集積化されている。
【0032】
このプロジェクタ10は、また、液晶パネル32を照明するための照明装置50と、液晶パネル32を透過した透過光をスクリーンSC上に投射する投写光学系52とを備えている。液晶パネル32は、透過型の液晶パネルであり、照明装置50から射出された照明光を変調するライトバルブ(光変調器)として使用されている。なお、液晶パネル32が本発明の画像形成部に相当する。また、照明装置50と投写光学系52とが本発明の投写光学系に相当する。また、これら以外が本発明の画像処理部、画像処理装置に相当する。
【0033】
なお、図示は省略しているが、このプロジェクタ10は、RGBの3色分の3枚の液晶パネル32を有している。また、後述する各回路は3色分の画像信号を処理する機能を有している。照明装置50は、白色光を3色の光に分離する色光分離光学系を有している。また、投写光学系52は、3色の画像光を合成してカラー画像を表す画像光を生成する合成光学系を有している。なお、このようなプロジェクタ(投写型表示装置)の光学系の構成については、例えば本出願人により開示された特願平8−352003号公報に詳述されているので、ここではその説明は省略する。
【0034】
入力画像信号としては、アナログ画像入力端子12に入力されるアナログ画像信号AVと、ディジタル画像入力端子14に入力されるディジタル画像信号DVとのうちのいずれか一方を選択的に利用可能である。アナログ画像信号AVは、A−D変換器20によって3色の画像信号成分を含むディジタル画像信号に変換される。
【0035】
ビデオプロセッサ26に入力された画像信号は、フレームメモリ24内に一時的に格納された後、フレームメモリ24から読み出されて液晶パネル駆動部30に供給される。ビデオプロセッサ26は、この書き込みと読み出しの間に、入力された画像信号に対して種々の画像処理を実行する。液晶パネル駆動部30は、与えられた画像信号に応じて、液晶パネル32を駆動するための駆動信号を生成する。液晶パネル32は、この駆動信号に応じて照明光を変調する。
【0036】
ユーザは、リモートコントローラ40を使用して、シャープネス調整や、コントラスト調整、輝度調整等の、画像全体に対して施す各種の調整のための設定値を入力することが可能である。また、後述するプロジェクタ10の設置条件に応じて各画素ごとに異なる強度で行うシャープネス調整に関する設定値を入力することも可能である。また、図示は省略しているが、プロジェクタ10の本体にも、各種の設定値を入力するためのキーやボタンが設けられている。
【0037】
B.ビデオプロセッサの内部構成:
図2は、ビデオプロセッサ26の内部構成を示すブロック図である。ビデオプロセッサ26は、フレームメモリコントローラ62と、台形歪補正部64と、拡大/縮小制御部66と、画質調整部68と、輪郭補償部70とを備えている。
【0038】
フレームメモリコントローラ62は、図1に示したA−D変換器20またはビデオデコーダ22から供給されるディジタル画像信号DV0をフレームメモリ24に書き込むとともに、フレームメモリ24からディジタル画像信号を読み出すための制御を行う。
【0039】
台形歪補正部64は、プロジェクタ10によって、あおり投写がなされるときに生じる台形歪みを画像処理によって補正する。拡大/縮小制御部66は、ユーザの設定に従って画像の拡大や縮小を実行するとともに、拡大や縮小の際に、必要に応じて補間処理を行う。画質調整部68は、ユーザの設定に従って画像全体のコントラストや輝度やシャープネス等を調整する。なお、台形歪補正部64、拡大/縮小制御部66、画質調整部68での処理は、周知であるので、詳細な説明は省略する。
【0040】
輪郭補償部70は、プロジェクタ10の設置条件に応じて各画素ごとに異なる強度でシャープネス調整を行う。この輪郭補償部70は、あおり角入力部71と、基準点入力部72と、補償係数生成部73とを備えている。
【0041】
あおり角入力部71は、あおり角の垂直成分θvと水平成分θhとを入力する。図3は、あおり角の各成分について示す説明図である。図示するように、あおり角の水平成分θhは、スクリーンSCの法線ONとx軸とのなす平面へのプロジェクタ10の投写光学系52の光軸の投影OHとスクリーンSCの法線ONとのなす角度である。また、あおり角の垂直成分θvは、プロジェクタ10の投写光学系52の光軸とOHとのなす角度である。あおり投写を行わない場合は、あおり角入力部71は、あおり角の各成分として0を入力する。
【0042】
これらの値は、ユーザがプロジェクタ10の設置状態に応じて、リモートコントローラ40等で設定した値である。なお、入力されたあおり角は、上述した台形歪補正部64においても利用される。
【0043】
基準点入力部72は、スクリーンSC上に投写される画像PG上の焦点が合う位置である合焦点位置を基準点(xi,yi)として入力する。図4は、基準点の設定について示す説明図である。図4(a)に示すように、基準点のデフォルト値は、画像の中央に設定されていている。これは、ユーザが画像の中央に焦点を合わせることが多いからである。デフォルトの基準点を利用する場合、ユーザは、投写時に焦点を画像の中央に合わせるようにする。基準点は、ユーザが任意に設定することも可能である。例えば、プロジェクタ10の各種設定を行うためのメニューに基準点の入力の項目を設けるようにする。そして、図4(b)に示すように、ユーザは、リモートコントローラ40を用いてカーソルCを画像PGの左下に合わせることによって基準点を画像の左下に設定することができる。この場合、ユーザは、投写時に自らが設定した基準点に焦点を合わせる。
【0044】
補償係数生成部73は、あおり角入力部71が入力したあおり角の垂直成分θvおよび水平成分θhと、基準点入力部72が入力した基準点とを用いて、画像の各部位のシャープネス調整に用いる補償係数Gを生成する。補償係数Gについては、後述する。
【0045】
C.輪郭補償:
図5は、輪郭補償部70の構成を示すブロック図である。輪郭補償部70は、輪郭補償データ生成回路74と、遅延回路75と、乗算器76と、加算器77とを備えている。遅延回路75の遅延量は、水平方向には1画素分、垂直方向には1ライン分である。
【0046】
図6は、輪郭補償データ生成回路74の構成を示すブロック図である。輪郭補償データ生成回路74は、水平フィルタ80と、垂直フィルタ90とが直列に接続された2次元フィルタである。水平フィルタ80は、2つの水平遅延回路81,82と、3つの乗算器83,84,85と、加算器86とで構成されたFIRフィルタ(有限インパルス応答フィルタ)である。水平遅延回路81,82の遅延量Dhは、1画素分である。また、乗算器83,84,85で乗算される値、即ち、フィルタ係数は、それぞれ−1/4,1/2,−1/4である。垂直フィルタ90も水平フィルタ80と同様の構成を有している。即ち、垂直フィルタ90は、2つの水平遅延回路91,92と、3つの乗算器93,94,95と、加算器96とで構成されたFIRフィルタである。水平遅延回路91,92の遅延量Dvは、1ライン分である。また、乗算器93,94,95で乗算される値、即ち、フィルタ係数は、それぞれ−1/4,1/2,−1/4である。これらのフィルタ係数は、一般的なシャープネス調整に用いられる値である。
【0047】
図7は、輪郭補償部70での画像処理について示す説明図である。図中の各マスは、それぞれ画素を表している。また、マス中には、画像データを示した。輪郭補償部70には、画質調整部68(図2参照)で生成された画像データが画像の左上から順次入力される。今、図7の右下に示した画素Aまで画像データが入力されたものとする。このときの画像処理(シャープネス調整)の対象画素は、図7の中央に示した画素Bである。これは、遅延回路75の遅延量が水平方向(x方向)に1画素分、垂直方向(y方向)に1ライン分だからである。輪郭補償データ生成回路74では、図示した9画素分の画像データを用いて輪郭補償データが生成される。そして、図5から分かるように、この輪郭補償データと補償係数生成部73で生成された補償係数Gとが乗算され、この乗算結果と対象画素である画素Bの画像データN(i−1,j−1)とが加算される。こうして、画素Bの輪郭補償処理後の画像データが生成される。これらの処理は、全ての画素について順次実行される。なお、補償係数Gは、後述するように、各画素ごとに生成され、シャープネス調整の強調度を決定している。
【0048】
図8は、補償係数生成部73で生成される補償係数Gの分布を示す説明図である。図8(a)は、図4(a)に示した基準点(xi,yi)が画像の中央に設定されている場合の補償係数Gの分布を示している。また、図8(b)は、図4(b)に示した基準点(xi,yi)が画像の左下に設定されている場合の補償係数Gの分布を示している。補償係数生成部73は、あおり角の水平成分θhと、垂直成分θvと、基準点(xi,yi)と、処理対象の画素位置(x,y)とを用いて補償係数Gを生成する。なお、画像の左上が画素位置(1,1)に対応する。本実施例では、各画素位置(x,y)における補償係数G(x,y)は、以下に示す関数によって算出するものとした。
【0049】
G(x,y)=1+A(x,θh)+B(y,θv)+C
ここで、
A(x,θh)=sin(θh・π/180)・|x−xi|/x_max
B(y,θv)=sin(θv・π/180)・|y−yi|/y_max
C:定数
である。
【0050】
上式において、|x−xi|と|y−yi|は、処理対象画素と基準点との距離に関係する値である。x_maxおよびy_maxは、それぞれ液晶パネル32の水平方向および垂直方向の画素数に対応する。例えば、液晶パネル32がXGA解像度である場合には、x_max,y_maxは、それぞれ1024,768となる。また、定数Cは、任意に設定可能であり、画像全体に施すシャープネス調整の強調度を表している。従って、画質調整部68(図2参照)での画像全体の画質調整で定数Cに相当するシャープネス調整を行ってもよい。
【0051】
本実施例では、水平方向と垂直方向で独立かつ線形の関数A,Bを用いて補償係数Gを生成したが、投写光学系52の光学特性に応じて、他の任意の関数に従って、生成するようにしてもよい。例えば、水平方向と垂直方向とが独立でない関数や、非線形の関数を適用してもよい。
【0052】
また、各あおり角における処理対象画素と基準点との距離と、補償係数との関係を表したルックアップテーブルを用意し、これを参照して補償係数を生成するようにしてもよい。こうすれば、上記演算を実行することなく、高速に補償係数を生成することができる。
【0053】
図9は、輪郭補償部70で行われる処理の流れを示すフローチャートである。ビデオプロセッサ26のCPUが実行する処理である。まず、原画像データを入力する(ステップS100)。本実施例では、この原画像データは、画質調整部68で生成されたデータである。次に、先に説明した補償係数生成用の各パラメータを入力する(ステップS110)。そして、先に説明した輪郭補償データおよび関数に従って、各画素ごとの補償係数Gを生成する(ステップS120)。そして、輪郭補償処理(シャープネス調整)を実行する(ステップS130)。そして、全画素について処理が終了したか否かを判定する(ステップS140)。終了していなければ、以上のステップS100〜ステップS130の処理を繰り返す。全画素について終了すれば、この処理を抜ける。こうして処理された画像データは、液晶パネル駆動部30に供給される。
【0054】
プロジェクタ10による画像の投写においては、投写光学系の焦点距離を調整しても、スクリーンSC上で焦点の合う位置は厳密には一点のみである。従って、この他の位置では、ピントボケによる画質の低下が生じる。以上説明した本実施例のプロジェクタ10によれば、画像データに対して、各画素ごとに異なる強調度でピントボケを補償するようにシャープネス調整を施すことができる。この結果、各画素について光学的な調整を行うことなく、画像処理によって画質の低下を容易に抑制することができる。また、プロジェクタ10のスクリーンSCの法線に対するあおり角および基準点(合焦点位置)に基づいて、各画素についてのシャープネス調整の強調度を変化させることができるので、多様な設置条件に応じて柔軟に画像処理を施すことができる。
【0055】
以上で説明した本実施例のプロジェクタは、コンピュータによる処理を含んでいることから、この処理を実現するためのプログラムを記録した記録媒体としての実施の態様を採ることもできる。このような記録媒体としては、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置等の、コンピュータが読み取り可能な種々の媒体を利用できる。
【0056】
D.変形例:
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
【0057】
D1.変形例1:
図10は、変形例としてのプロジェクタ10Aの輪郭補償部70Aの構成を示す説明図である。プロジェクタ10Aは、上記実施例のプロジェクタ10の構成の他に、あおり角検出手段78と、基準点検出手段79とを備えている。そして、輪郭補償部70Aは、これらと接続されている。あおり角検出手段78は、超音波センサによってスクリーンSC上の所定の3点までの距離を測定し、測定結果からあおり角の垂直成分および水平成分を自動検出する装置である。なお、他の手段によってあおり角の垂直成分および水平成分を検出するようにしてもよい。あおり角入力部71は、あおり角検出手段78での検出結果を入力する。基準点検出手段79は、図示しない撮像装置と、撮像された画像の空間周波数を解析することによって合焦点位置を検出する検出装置とを備えており、投写された画像の合焦点位置を自動検出することが可能である。基準点入力部72は、基準点検出手段79で検出された合焦点位置を基準点として入力する。なお、合焦点位置の自動検出に際し、所定の空間周波数を有するテスト画像を投写して、撮像し解析することが好ましい。こうすれば、撮像したテスト画像の空間周波数分布から、より正確に合焦点位置を検出することができる。このような変形例のプロジェクタ10Aによれば、自動的にあおり角および基準点を入力して、これらに基づいた画像処理を実行することができるので、プロジェクタの利便性を向上することができる。
【0058】
D2.変形例2:
上記実施例では、画素ごとに強調度を変化させてシャープネス調整を行っているが、画像領域ごとに強調度を変化させてシャープネス調整を行うようにしてもよい。例えば、画像の8×8のブロック(画像領域)ごとに同じ補償係数を適用するものとし、基準点から各ブロックの中央までの距離に応じた補償係数でシャープネス調整を行うようにすることができる。
【0059】
D3.変形例3:
上記実施例では、画素ごとに強調度を変化させてシャープネス調整を行っているが、これに限られるものではない。本発明は、一般に、プロジェクタで投写される画像の各部位ごとに異なる強調度で表示明瞭度を強調する画像処理を施すものである。従って、シャープネス調整に関わらず、各部位ごとにコントラスト調整や輝度調整等の表示明瞭度に影響を与える画像処理を行うようにしてもよい。
【0060】
D4.変形例4:
上記実施例では、補償係数の生成に用いるパラメータとして、あおり角度および合焦点位置を適用しているが、プロジェクタとスクリーンとの距離を含めるようにしてもよい。プロジェクタとスクリーンとの距離も投写される画像の表示明瞭度に影響を与えるパラメータであるからである。
【0061】
D5.変形例5:
上記実施例では、輪郭補償データ生成回路74として、ディジタルフィルタである2次元のFIRフィルタを用いたが、他のフィルタ、例えば、アナログフィルタや、空間フィルタを用いるようにしてもよい。また、ソフトウェアによって同様の処理を行うようにしてもよい。
【0062】
D6.変形例6:
上記実施例では、透過型液晶パネルを利用したプロジェクタの構成について説明したが、本発明は、他のタイプのプロジェクタにも適用可能である。他のタイプのプロジェクタとしては、反射型液晶パネルを利用したものや、マイクロ・ミラー・デバイス(テキサスインスツルメント社の商標)を用いたもの、また、CRTを用いたものなどがある。また、プロジェクタは、いわゆるフロント・プロジェクタであってもよいし、リア・プロジェクタであってもよい。
【図面の簡単な説明】
【図1】本発明の実施例としてのプロジェクタ10の全体構成を示す説明図である。
【図2】ビデオプロセッサ26の内部構成を示すブロック図である。
【図3】あおり角の各成分について示す説明図である。
【図4】基準点の設定について示す説明図である。
【図5】輪郭補償部70の構成を示すブロック図である。
【図6】輪郭補償データ生成回路74の構成を示すブロック図である。
【図7】輪郭補償部70での画像処理について示す説明図である。
【図8】補償係数生成部73で生成される補償係数Gの分布を示す説明図である。
【図9】輪郭補償部70で行われる処理の流れを示すフローチャートである。
【図10】変形例としての輪郭補償部70Aの構成を示す説明図である。
【図11】プロジェクタ100を用いてスクリーンSC上に画像Pを投写する様子を示す説明図である。
【図12】プロジェクタ100を用いて水平方向にあおり角θ’であおり投写した場合の様子を示す説明図である。
【符号の説明】
10,10A…プロジェクタ
12…アナログ画像入力端子
14…ディジタル画像入力端子
20…A−D変換器
22…ビデオデコーダ
24…フレームメモリ
26…ビデオプロセッサ
30…液晶パネル駆動部
32…液晶パネル
34…リモートコントローラ制御部
40…リモートコントローラ
50…照明装置
52…投写光学系
60…画像処理用集積回路
62…フレームメモリコントローラ
64…台形歪補正部
66…拡大/縮小処理回路
68…画質調整部
70,70A…輪郭補償部
71…あおり角入力部
72…基準点入力部
73…補償係数生成部
74…輪郭補償データ生成回路
75…遅延回路
76…乗算器
77…加算器
78…あおり角検出手段
79…基準点検出手段
80…水平フィルタ
81,82…水平遅延回路
83〜85…乗算器
86…加算器
90…垂直フィルタ
91,92…垂直遅延回路
93〜95…乗算器
96…加算器
100…プロジェクタ
Claims (11)
- 原画像データに対して所定の画像処理を施すことによって、画像を投写するプロジェクタに供給される画像データを生成する画像処理装置であって、
原画像データを入力する原画像データ入力部と、
前記原画像データに対して、前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角度と、前記投写される画像と相対的に設定された基準点からの距離とに基づいて、前記投写される画像の各部位ごとに異なる強調度を設定し、該設定された強調度で表示明瞭度を強調する画像処理を施す画像処理部と、
を備える画像処理装置。 - 請求項1記載の画像処理装置であって、
前記画像処理は、鮮鋭化処理である、画像処理装置。 - 請求項1記載の画像処理装置であって、更に、
前記基準点を検出する基準点検出部を備える、
画像処理装置。 - 請求項3記載の画像処理装置であって、
前記基準点は、前記投写された画像の合焦点位置である、画像処理装置。 - 請求項4記載の画像処理装置であって、
前記基準点検出部は、
前記投写された画像を撮像する撮像手段と、
前記撮像された画像を解析することによって、前記合焦点位置を検出する合焦点位置検出手段と、
を備える画像処理装置。 - 請求項1記載の画像処理装置であって、更に、
前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角であるあおり角を検出するあおり角検出手段を備える、画像処理装置。 - 請求項1記載の画像処理装置であって、更に、
前記表示明瞭度を強調するための補償係数と前記部位との関係を予め記憶する補償係数記憶部を備え、
前記画像処理部は、該補償係数記憶部によって与えられる補償係数を用いて前記画像処理を施す、画像処理装置。 - 画像を投写するプロジェクタであって、
入力された原画像データに対して所定の画像処理を施すことによって画像データを生成する画像処理部と、
前記画像データに基づいて投写すべき画像を形成する画像形成部と、
前記画像を投写する投写光学系と、を備え、
前記画像処理部は、
前記原画像データに対して、前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角度と、前記投写される画像と相対的に設定された基準点からの距離とに基づいて、前記投写される画像の各部位ごとに異なる強調度を設定し、該設定された強調度で表示明瞭度を強調する画像処理を施す、プロジェクタ。 - 原画像データに対して所定の画像処理を施すことによって、画像を投写するプロジェクタに供給される画像データを生成する画像処理方法であって、
(a)前記原画像データを取得する工程と、
(b)前記原画像データに対して、前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角度と、前記投写される画像と相対的に設定された基準点からの距離とに基づいて、前記投写される画像の各部位ごとに異なる強調度を設定し、該設定された強調度で表示明瞭度を強調する画像処理を施す工程と、
を備える画像処理方法。 - 原画像データに対して所定の画像処理を施すことによって、画像を投写するプロジェクタに供給される画像データを生成するコンピュータプログラムであって、
前記原画像データを取得する機能と、
前記原画像データに対して、前記プロジェクタの光軸と前記画像を投写するスクリーンの法線とのなす角度と、前記投写される画像と相対的に設定された基準点からの距離とに基づいて、前記投写される画像の各部位ごとに異なる強調度を設定し、該設定された強調度で表示明瞭度を強調する画像処理を施す機能と、
をコンピュータに実現させるためのコンピュータプログラム。 - 請求項10記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001215496A JP3664114B2 (ja) | 2001-07-16 | 2001-07-16 | プロジェクタによって投写される画像の画像処理 |
US10/190,696 US7003172B2 (en) | 2001-07-16 | 2002-07-09 | Image processing technique for images projected by projector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001215496A JP3664114B2 (ja) | 2001-07-16 | 2001-07-16 | プロジェクタによって投写される画像の画像処理 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003032580A JP2003032580A (ja) | 2003-01-31 |
JP3664114B2 true JP3664114B2 (ja) | 2005-06-22 |
Family
ID=19050126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001215496A Expired - Fee Related JP3664114B2 (ja) | 2001-07-16 | 2001-07-16 | プロジェクタによって投写される画像の画像処理 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7003172B2 (ja) |
JP (1) | JP3664114B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI222830B (en) * | 2003-03-26 | 2004-10-21 | Coretronic Corp | Image transmission system for rear projection television |
JP2005033703A (ja) * | 2003-07-11 | 2005-02-03 | Seiko Epson Corp | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP4020043B2 (ja) * | 2003-08-25 | 2007-12-12 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
JP3827662B2 (ja) * | 2003-09-10 | 2006-09-27 | Necビューテクノロジー株式会社 | 投射型表示装置 |
JP4535714B2 (ja) * | 2003-11-19 | 2010-09-01 | Necディスプレイソリューションズ株式会社 | プロジェクタ |
JP4497900B2 (ja) * | 2003-11-20 | 2010-07-07 | キヤノン株式会社 | 画像投射装置及びそれを有する画像投射システム |
JP4923383B2 (ja) * | 2004-03-18 | 2012-04-25 | セイコーエプソン株式会社 | 光学表示装置、光学表示装置制御プログラム |
JP4508750B2 (ja) * | 2004-07-01 | 2010-07-21 | シャープ株式会社 | プロジェクタ |
JP2006253838A (ja) * | 2005-03-08 | 2006-09-21 | Sanyo Electric Co Ltd | 投射型映像表示装置 |
JP4114669B2 (ja) | 2005-03-25 | 2008-07-09 | セイコーエプソン株式会社 | プロジェクションシステム及びプロジェクタ |
TWI260922B (en) * | 2005-04-14 | 2006-08-21 | Coretronic Corp | A projection system with a built-in digital video player |
US20070052695A1 (en) * | 2005-09-07 | 2007-03-08 | Barnes Ted W | Generating and displaying spatially offset sub-frames |
KR101225063B1 (ko) * | 2006-04-04 | 2013-01-24 | 삼성전자주식회사 | 투사되는 영상을 은닉적으로 보정하는 방법 및 이를 위한장치 |
JP4716026B2 (ja) | 2006-05-24 | 2011-07-06 | セイコーエプソン株式会社 | 投写装置、画像表示システム、プログラム、情報記憶媒体および投写方法 |
JP4525945B2 (ja) | 2007-08-07 | 2010-08-18 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 |
JP5217537B2 (ja) * | 2008-03-18 | 2013-06-19 | セイコーエプソン株式会社 | プロジェクタ、電子機器、および、プロジェクタの制御方法 |
US8016434B2 (en) | 2008-06-05 | 2011-09-13 | Disney Enterprises, Inc. | Method and system for projecting an animated object and concurrently moving the object's projection area through an animation pattern |
JP5504806B2 (ja) * | 2009-10-01 | 2014-05-28 | セイコーエプソン株式会社 | 画像処理装置、プロジェクター、画像処理方法およびプログラム |
JP2010027077A (ja) * | 2009-11-02 | 2010-02-04 | Seiko Epson Corp | カメラ、並びに画像の輝度調整方法及びプログラム |
JP5397632B2 (ja) * | 2010-06-23 | 2014-01-22 | セイコーエプソン株式会社 | 投写装置、画像表示システム、プログラム、情報記憶媒体および投写方法 |
JP5803184B2 (ja) * | 2010-11-19 | 2015-11-04 | 株式会社リコー | 画像投影装置、メモリアクセス方法 |
US20130335643A1 (en) * | 2011-03-04 | 2013-12-19 | Kenji Ishida | Projection-type image display device and light quantity adjustment method |
CN103034030B (zh) | 2011-09-30 | 2016-05-04 | 精工爱普生株式会社 | 投影仪以及投影仪的控制方法 |
JP6361111B2 (ja) * | 2013-10-31 | 2018-07-25 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法および投射装置 |
FR3090907A1 (fr) * | 2018-12-21 | 2020-06-26 | Valeo Vision | Procédé de pilotage de module de projection pixélisé pour véhicule automobile |
CN113542733A (zh) * | 2021-06-25 | 2021-10-22 | 苏州智瞳道和显示技术有限公司 | 一种光机清晰度调测方法和系统 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62193459A (ja) | 1986-02-20 | 1987-08-25 | Nec Home Electronics Ltd | テレビジヨン受像機の画質調整装置 |
GB2222047A (en) * | 1988-07-25 | 1990-02-21 | Unisearch Ltd | Optical mapping of field of view and information storage |
JPH0329577A (ja) | 1989-06-27 | 1991-02-07 | Mitsubishi Electric Corp | テレビジョン受像機の輪郭強調回路 |
JP2653899B2 (ja) * | 1990-06-07 | 1997-09-17 | 松下電器産業株式会社 | 画像補正装置 |
US5347294A (en) * | 1991-04-17 | 1994-09-13 | Casio Computer Co., Ltd. | Image display apparatus |
JPH05130452A (ja) | 1991-10-31 | 1993-05-25 | Hitachi Ltd | 可変フイルタ装置 |
JP3476843B2 (ja) | 1992-03-27 | 2003-12-10 | オリンパス株式会社 | 輪郭強調回路 |
JPH063577A (ja) | 1992-06-19 | 1994-01-14 | Sony Corp | フォーカス調整装置およびその方法 |
JPH0715692A (ja) | 1993-06-24 | 1995-01-17 | Matsushita Electric Ind Co Ltd | 投射型ディスプレイの画像補正装置 |
JPH07162712A (ja) | 1993-12-02 | 1995-06-23 | Matsushita Electric Ind Co Ltd | デジタル周辺解像度補正回路 |
US5622417A (en) * | 1995-11-01 | 1997-04-22 | Lightware, Inc. | Invertible and orthoscopic liquid crystal display projector |
JPH10171045A (ja) | 1996-12-10 | 1998-06-26 | Seiko Epson Corp | 投写型表示装置 |
JPH10319506A (ja) | 1997-05-22 | 1998-12-04 | Toshiba Corp | プロジェクションテレビのフォーカス調整装置 |
JP4119533B2 (ja) | 1998-06-19 | 2008-07-16 | 富士フイルム株式会社 | 電子カメラおよびその制御方法 |
DE19851000C2 (de) * | 1998-11-05 | 2001-07-26 | Dornier Gmbh | Projektionsanordnung |
US6104443A (en) * | 1998-12-30 | 2000-08-15 | Adcock; David | Suspended television and video monitor |
JP3649043B2 (ja) * | 1999-06-07 | 2005-05-18 | セイコーエプソン株式会社 | 画像表示装置及び方法、並びに、画像処理装置及び方法 |
US6666558B1 (en) * | 1999-07-02 | 2003-12-23 | Matsushita Electric Industrial Co., Ltd. | Projection image display |
US6753907B1 (en) * | 1999-12-23 | 2004-06-22 | Justsystem Corporation | Method and apparatus for automatic keystone correction |
JP3677188B2 (ja) * | 2000-02-17 | 2005-07-27 | セイコーエプソン株式会社 | 画像表示装置および方法、並びに、画像処理装置および方法 |
-
2001
- 2001-07-16 JP JP2001215496A patent/JP3664114B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-09 US US10/190,696 patent/US7003172B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US7003172B2 (en) | 2006-02-21 |
US20030035590A1 (en) | 2003-02-20 |
JP2003032580A (ja) | 2003-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3664114B2 (ja) | プロジェクタによって投写される画像の画像処理 | |
EP1117088B1 (en) | Image displaying apparatus and method, and image processing device and method | |
JP4126564B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP4232042B2 (ja) | 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法 | |
JP4085283B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP5527931B2 (ja) | 映像の視認性を向上させる装置及び方法 | |
US20050162620A1 (en) | Image processing apparatus | |
JP5257108B2 (ja) | プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム | |
JP3630166B2 (ja) | 投写画像の歪補正量調整 | |
JP3677188B2 (ja) | 画像表示装置および方法、並びに、画像処理装置および方法 | |
JP4578341B2 (ja) | 画像投射方法、プロジェクタ、及びコンピュータプログラム | |
JPH07284011A (ja) | デジタル電子スチルカメラ | |
JP2003078842A (ja) | プロジェクタに供給されるディジタル画像データの台形歪補正を伴う画像処理 | |
JP2000278532A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
JP6031327B2 (ja) | 投影システム、プロジェクタ及び制御方法 | |
US8545025B2 (en) | Image processing apparatus, projector, image processing method, and program | |
JP4746892B2 (ja) | 画像表示装置のフレア補正回路、および画像表示装置のフレア補正方法 | |
JP3695374B2 (ja) | フォーカス調整装置およびフォーカス調整方法 | |
JP4379029B2 (ja) | 画像処理装置、画像処理方法および画像投射装置 | |
JP4186640B2 (ja) | 画像処理装置および方法 | |
JP2012129747A (ja) | 画像投影装置及びその制御方法、プログラム | |
JP2007249026A (ja) | プロジェクタ | |
JP2006510931A (ja) | 光学的及び電子的lcdパネル補償を有するカラー不均一性補正方法及び装置 | |
JP2000350031A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
JP2020188307A (ja) | 画像投射装置、画像投射システム、補正値の算出方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050321 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080408 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120408 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |