JP3716265B2 - Method for detecting zoom state of projector and projector - Google Patents

Method for detecting zoom state of projector and projector Download PDF

Info

Publication number
JP3716265B2
JP3716265B2 JP2003407883A JP2003407883A JP3716265B2 JP 3716265 B2 JP3716265 B2 JP 3716265B2 JP 2003407883 A JP2003407883 A JP 2003407883A JP 2003407883 A JP2003407883 A JP 2003407883A JP 3716265 B2 JP3716265 B2 JP 3716265B2
Authority
JP
Japan
Prior art keywords
image
zoom state
reference pattern
size
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003407883A
Other languages
Japanese (ja)
Other versions
JP2005167948A (en
Inventor
陽一 田村
Original Assignee
Necビューテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necビューテクノロジー株式会社 filed Critical Necビューテクノロジー株式会社
Priority to JP2003407883A priority Critical patent/JP3716265B2/en
Publication of JP2005167948A publication Critical patent/JP2005167948A/en
Application granted granted Critical
Publication of JP3716265B2 publication Critical patent/JP3716265B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明はプロジェクタに関し、プロジェクタのズーム状態検出方法に関する。   The present invention relates to a projector, and to a zoom state detection method for a projector.

近年、液晶技術やDMD(Digital Micromirror Device。DMDは登録商標)の発達によって、プロジェクタの小型化、高性能化が進み、オフィスだけでなく、学校や家庭での用途も拡大している。   In recent years, with the development of liquid crystal technology and DMD (Digital Micromirror Device, DMD is a registered trademark), projectors have become smaller and have higher performance, and are being used not only in offices but also in schools and homes.

しかし、プロジェクタはディスプレイ型テレビと異なり、映像をプロジェクタ前方のスクリーンや壁に投射するため、スクリーンや壁の状態、およびプロジェクタの設置姿勢等によっては映像に歪が生じるという問題がある。   However, unlike a display-type television, a projector projects an image on a screen or a wall in front of the projector, so that there is a problem that the image is distorted depending on the state of the screen or wall, the installation posture of the projector, and the like.

このような映像の歪が発生する仕組みを図6を用いて説明する。図6(a)はプロジェクタ101の投写レンズ102の光軸がスクリーン4に対して垂直方向にセットされている場合の投射状況を示している。光軸(図中鎖線で示す)の上下方向の映像の高さa1とb1は等しく、上下方向に等しく投射されている。この状態では所定の映像が歪なく正確に投射されている(なお、以下の説明では投写レンズでスクリーン上に投射された映像を投射映像という。)。しかし、プロジェクタは、スクリーンに対して常にこのような位置関係でセットされるとは限らず、投射場所やスクリーンの位置の制約により、例えば図6(b)に示すように、プロジェクタを上向きにセットせざるを得ない場合も生じる。このとき光軸より上方向の投射映像の高さa2は下方向の高さb2よりも大きくなり、上下方向に歪んだ投射映像が生じてしまう。同様の問題はプロジェクタ101がスクリーン4に対して右側または左側から斜めに投射される場合にも生じる。この場合は、図6をプロジェクタの平面図、すなわちプロジェクタを上から見た図と考えれば、図6(b)において、プロジェクタから見て光軸の左側がより拡大されて投射されることが理解できよう。   A mechanism for generating such image distortion will be described with reference to FIG. FIG. 6A shows a projection situation when the optical axis of the projection lens 102 of the projector 101 is set in a direction perpendicular to the screen 4. The heights a1 and b1 of the image in the vertical direction of the optical axis (indicated by the chain line in the figure) are equal and are projected in the same direction in the vertical direction. In this state, a predetermined image is accurately projected without distortion (in the following description, an image projected on a screen by a projection lens is referred to as a projected image). However, the projector is not always set in such a positional relationship with respect to the screen. Due to restrictions on the projection location and the position of the screen, the projector is set upward as shown in FIG. 6B, for example. In some cases, it must be done. At this time, the height a2 of the projection image above the optical axis is larger than the height b2 below, and a projection image distorted in the vertical direction is generated. A similar problem also occurs when the projector 101 is projected obliquely from the right or left side with respect to the screen 4. In this case, if FIG. 6 is considered as a plan view of the projector, that is, a view of the projector from above, it is understood that in FIG. 6B, the left side of the optical axis as viewed from the projector is enlarged and projected. I can do it.

このような投射映像の歪は、実際には、本来長方形として投射されるべき映像が台形状に歪んで投射されることから台形歪といわれ、台形歪を補正する技術は台形補正といわれる。台形補正の技術はこれまでにも多数開示されている。例えば、液晶プロジェクタの据付角度の検出手段と、プロジェクタとスクリーンとの間の距離を検出する距離検出手段とを有し、両検出手段による検出結果に基づいて液晶表示ユニットの角度を調整する方法を挙げることができる(例えば、特許文献1参照。)。   Such a distortion of the projected image is actually referred to as trapezoidal distortion because an image that should originally be projected as a rectangle is projected in a trapezoidal shape, and a technique for correcting the trapezoidal distortion is referred to as trapezoidal correction. Many techniques for keystone correction have been disclosed so far. For example, a method for adjusting the angle of the liquid crystal display unit based on the detection results of both detection means, including a detection means for the installation angle of the liquid crystal projector and a distance detection means for detecting the distance between the projector and the screen. (For example, refer to Patent Document 1).

ところで、プロジェクタには通常ズーム機能が付いており、映像を大きく投射するワイドモード、映像を小さく投射するテレモード、およびそれらの間の任意の状態で映像を投射することができる。しかしながら、このようなズーム状態の違いによっても投射映像の歪み方が変わってしまう。図7を用いて、ズーム状態の違いが投射映像に与える影響を説明する。図中ワイドモードでは投射角θwで投射され、テレモードでは投射角θTで投射されている。ワイドモードでは、スクリーン4には光軸の上方に高さa3の映像が、下方には高さb3の映像が投射される。また、テレモードでは、スクリーン4には光軸の上方に高さc3の映像が、下方には高さd3の映像が投射される。しかしながら、a3:b3の比率とc3:d3の比率は異なり、ズーム状態では、投射映像の歪がより拡大してしまう。したがって、ズーム機能のついたプロジェクタではズーム状態によっても映像の補正を調整しなければならない。   By the way, the projector is usually provided with a zoom function, and can project an image in a wide mode for projecting a large image, a tele mode for projecting a small image, and any state therebetween. However, the distortion of the projected video changes depending on the difference in zoom state. With reference to FIG. 7, the influence of the difference in zoom state on the projected image will be described. In the drawing, projection is performed at the projection angle θw in the wide mode, and projection is performed at the projection angle θT in the tele mode. In the wide mode, the screen 4 projects an image with a height a3 above the optical axis and a video with a height b3 below. In the tele mode, an image having a height c3 is projected above the optical axis and an image having a height d3 is projected below the screen 4. However, the ratio of a3: b3 and the ratio of c3: d3 are different, and the distortion of the projected video is further enlarged in the zoom state. Therefore, in a projector with a zoom function, it is necessary to adjust image correction depending on the zoom state.

そのためには、まずプロジェクタのズーム状態を検出する手段が必要なことが明らかである。さらに、ズーム状態の検出は、台形補正のときだけでなく、ズーム状態を記憶しておくときや、一定のズーム状態に復帰させるようなときにも不可欠である。   To that end, it is apparent that a means for detecting the zoom state of the projector is necessary. Furthermore, the detection of the zoom state is indispensable not only when correcting the keystone, but also when storing the zoom state or when returning to a certain zoom state.

ズーム手段の検出手段としては、ズームリングにギアを設け、ギアを介して可変抵抗器を動かしズームリングがどの位置にあるかを検出する方法や、投写レンズを構成しているレンズ群を光軸方向に移動させるためのカム機構の回転量をポテンショメータやロータリースイッチ、ロータリーエンコーダ、光学式位置検出機構等で検出する手段、さらには位置検出電極を鏡筒方向に多数配置する方法等が多数開示されている(例えば、特許文献2〜4参照。)。
特開平9−281597号公報 特開2002−90880号公報 特開2003−143620号公報 特開2003−131323号公報
As a detecting means of the zoom means, a gear is provided on the zoom ring, a variable resistor is moved through the gear to detect the position of the zoom ring, and a lens group constituting the projection lens is an optical axis. A number of methods for detecting the amount of rotation of the cam mechanism for moving in the direction with a potentiometer, rotary switch, rotary encoder, optical position detection mechanism, etc., and a method for arranging a large number of position detection electrodes in the direction of the lens barrel are disclosed. (For example, refer to Patent Documents 2 to 4.)
Japanese Patent Laid-Open No. 9-281597 JP 2002-90880 A JP 2003-143620 A JP 2003-131323 A

しかしながら、これらのズーム状態検出機構はどのような方式を採用するにせよ、専用の部品や装置を設ける必要があった。近年では、プロジェクタは家庭用等に用途が広がり、一層の低価格化が強く要請されており、このような専用の検出機構を必要とする従来の技術ではコスト低減に限界があった。   However, these zoom state detection mechanisms have to be provided with dedicated parts and devices, regardless of what method is adopted. In recent years, projectors have been used for home use and the like, and there has been a strong demand for further cost reduction. Conventional techniques that require such a dedicated detection mechanism have limited cost reduction.

そこで、本発明は以上の状況に鑑みて、専用の検出機構を不要としコスト低減を図ることのできるズーム状態検出方法およびプロジェクタを提供することを目的とする。   In view of the above situation, an object of the present invention is to provide a zoom state detection method and a projector that do not require a dedicated detection mechanism and can reduce costs.

本発明のプロジェクタの投写レンズのズーム状態検出方法は、投写レンズから所定の基準パターンを投射し、基準パターンの投射映像を被投射面に表示するステップと、被投射面に表示された投射映像を撮像して投射映像画像を得るステップと、基準パターンが投射映像画像において占める大きさを得るステップと、大きさに基づいて投写レンズのズーム状態を算出するステップとを有する。   According to a method of detecting a zoom state of a projection lens of a projector according to the present invention, a step of projecting a predetermined reference pattern from a projection lens and displaying a projected image of the reference pattern on a projection surface, and a projection image displayed on the projection surface There are steps of obtaining a projected video image by imaging, obtaining a size occupied by the reference pattern in the projected video image, and calculating a zoom state of the projection lens based on the size.

近年のプロジェクタにおいては、オートフォーカス機能等のために撮像素子が通常装着されており、投射映像の撮像はこの撮像素子によっておこなうことができるため、新たな部品は不要であり、従来用いられてきたズーム状態検出のための機構も不要である。したがって、新たなソフトウェアを追加するだけで従来のプロジェクタと同等のズーム検出機能を得ることができ、部品点数削減によるコスト低減を図ることができる。   In recent projectors, an image pickup device is usually mounted for an autofocus function or the like, and since a projected image can be picked up by this image pickup device, no new parts are required and it has been used in the past. A mechanism for detecting the zoom state is also unnecessary. Therefore, a zoom detection function equivalent to that of a conventional projector can be obtained only by adding new software, and the cost can be reduced by reducing the number of parts.

ここで、基準パターンは所定距離離れた2つの点とすることができる。   Here, the reference pattern can be two points separated by a predetermined distance.

また、投射映像画像は多数の光電素子が配列された撮像素子によって撮像され、大きさは基準パターンが撮像された光電素子が配列されている位置に基づき得られるようにしてもよい。   The projected video image may be picked up by an image pickup device in which a large number of photoelectric elements are arranged, and the size may be obtained based on the position where the photoelectric elements in which the reference pattern is picked up are arranged.

さらに、大きさは基準パターンの所定の2箇所の部位が各々記録された光電素子の間隔と、多数の撮像素子の所定の光電素子同士の間隔の比として得るようにしてもよい。   Further, the size may be obtained as a ratio of the interval between the photoelectric elements in which two predetermined portions of the reference pattern are recorded and the interval between the predetermined photoelectric elements of a large number of imaging elements.

基準パターンは、多数の光変調素子が配列されている光変調デバイスの所定の前記光変調素子だけを駆動し、または駆動しないで得ることができる。   The reference pattern can be obtained by driving or not driving only the predetermined light modulation element of the light modulation device in which a large number of light modulation elements are arranged.

本発明のプロジェクタの投写レンズのズーム状態検出方法は、大きさと、投写レンズの光軸と被投射面の法線との角度と、ズーム状態との対応関係を示すテーブルをあらかじめ作成するステップと、角度を検出するステップと、大きさおよび角度をテーブルと照合することによってズーム状態を算出するステップとをさらに有するものであってもよい。   A method for detecting a zoom state of a projection lens of a projector according to the present invention includes a step of creating in advance a table indicating a correspondence relationship between a size, an angle between an optical axis of the projection lens and a normal of a projection surface, and a zoom state; The method may further include a step of detecting an angle and a step of calculating a zoom state by comparing the size and the angle with a table.

本発明のプロジェクタは、所定の基準パターンを投射する投写レンズと、被投射面に表示された基準パターンの投射映像を撮像して投射映像画像を得る撮像素子と、基準パターンが投射映像画像において占める大きさを算出し、大きさに基づいて投写レンズのズーム状態を算出する画像制御部とを有している。   The projector according to the present invention includes a projection lens that projects a predetermined reference pattern, an imaging device that captures a projected image of the reference pattern displayed on the projection surface to obtain a projected image, and the reference pattern occupies the projected image. An image control unit that calculates a size and calculates a zoom state of the projection lens based on the size.

撮像素子は配列された多数の光電素子を有し、画像制御部は、基準パターンが記録された光電素子の配列されている位置に基づき大きさを得るように構成してもよい。   The imaging device may have a large number of arranged photoelectric elements, and the image control unit may be configured to obtain a size based on the arranged positions of the photoelectric elements on which the reference pattern is recorded.

さらに、本発明のプロジェクタは、投写レンズの光軸と被投射面の法線との角度を検出する傾斜角度出力装置と、大きさと、角度と、ズーム状態との対応関係を示すテーブルをあらかじめ記憶する記憶部とをさらに有し、画像制御部は、大きさおよび傾斜角度出力装置によって検出された角度をテーブルと照合することによってズーム状態を算出するように構成することもできる。   Furthermore, the projector of the present invention stores in advance a tilt angle output device that detects the angle between the optical axis of the projection lens and the normal of the projection surface, and a table that indicates the correspondence between the size, the angle, and the zoom state. The image control unit can be configured to calculate the zoom state by comparing the size and the angle detected by the tilt angle output device with a table.

以上説明したように、本発明のプロジェクタのズーム状態検出方法およびプロジェクタは既に一般的に装着されている撮像素子を用いて基準パターンを撮像して、そのデータを分析することによって投写レンズのズーム状態を検出することができる。このため、従来用いられてきたズーム状態検出のための機構が不要となり、新たなソフトウェアを追加するだけで同等の機能を得ることができる。したがって部品点数が減りコスト低減に寄与するとともに、削除された部品の機能がソフトウェアに置き換えられたことにより、電気・機械的な不具合が発生する可能性も小さくなり、プロジェクタの信頼性向上を図ることもできる。   As described above, the zoom state detection method for a projector according to the present invention and the projector capture an image of a reference pattern using an already installed image sensor, and analyze the data to capture the zoom state of the projection lens. Can be detected. For this reason, a conventionally used mechanism for detecting the zoom state is not required, and an equivalent function can be obtained only by adding new software. Therefore, the number of parts is reduced and costs are reduced, and the function of the deleted parts is replaced with software, so that the possibility of electrical and mechanical malfunctions is reduced, and the reliability of the projector is improved. You can also.

以下、図面を用いて本発明のプロジェクタの詳細について説明する。図1は、本発明のプロジェクタの概略構成図を示す。プロジェクタ1は、ズーム調整機構を有する投写レンズ2と、光変調デバイスや光合成プリズムを有する画像表示部11と、画像表示部11の光変調機能を制御する画像制御部12と、プロジェクタ全体の動作を制御する中央処理装置13と、投写レンズ2の光軸と前方にあるスクリーン4法線との水平・垂直方向の角度を検出し出力する傾斜角度出力装置14とを有している。また、プロジェクタ1は、投写レンズ2のズーム調整を手動でおこなうズーム手動調整器21と、投射映像を撮像する撮像素子3とを有している。   Details of the projector of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic configuration diagram of a projector according to the present invention. The projector 1 includes a projection lens 2 having a zoom adjustment mechanism, an image display unit 11 having a light modulation device and a light combining prism, an image control unit 12 for controlling the light modulation function of the image display unit 11, and operations of the entire projector. A central processing unit 13 to be controlled and an inclination angle output device 14 for detecting and outputting the horizontal and vertical angles between the optical axis of the projection lens 2 and the normal of the screen 4 in front are provided. The projector 1 also includes a zoom manual adjuster 21 that manually performs zoom adjustment of the projection lens 2 and an image sensor 3 that captures a projected image.

画像表示部11は、光源と、光源から出射された光を赤(R)、緑(G),青(B)の各色に分光する色分離光学系と、液晶パネル(図示せず)やDMDで構成され、分光された光を入力信号に応じて変調する光変調部と、変調された光を合成する色合成プリズム(図示せず)とを有している。   The image display unit 11 includes a light source, a color separation optical system that splits light emitted from the light source into red (R), green (G), and blue (B) colors, a liquid crystal panel (not shown), and a DMD. And a light modulating unit that modulates the dispersed light in accordance with an input signal, and a color combining prism (not shown) that combines the modulated light.

また、投写レンズ2が備えられた面には被投射面を構成する前方のスクリーン4に投射された投射画像を撮像し、投射映像画像を得る撮像素子3が設けられている。撮像素子3は、例えばCCD(Charge Coupled Device)デバイスによって構成されている。CCDデバイスは、一般的には数10万〜数100万のホトダイオードが格子状に配列されており、光を受けて光電変換によってホドダイオードに蓄積された信号電荷が、ホドダイオードに隣接する垂直転送CCDや水平転送CCDを経由して順次出力回路に転送され、格子状の各ホトダイオードの受光量が1次元の信号として得られる。なお、CCDデバイスは例示であって、投射画像を撮像可能であれば他のデバイスを使用してもよい。   An imaging element 3 is provided on the surface provided with the projection lens 2 to capture a projected image projected on the front screen 4 constituting the projection surface and obtain a projected video image. The image sensor 3 is configured by, for example, a CCD (Charge Coupled Device) device. CCD devices generally have hundreds of thousands to millions of photodiodes arranged in a grid, and signal charges accumulated in the photodiodes upon receiving light are photoelectrically transferred vertically adjacent to the photodiodes. The data is sequentially transferred to the output circuit via the CCD or the horizontal transfer CCD, and the amount of light received by each of the lattice-shaped photodiodes is obtained as a one-dimensional signal. The CCD device is an example, and other devices may be used as long as it can capture a projected image.

傾斜角度出力装置14は、スクリーン4の法線とプロジェクタ1の光軸の垂直方向および/または水平方向の傾斜角度に対応する出力値を画像制御部12に出力する。手動出力、自動出力、それらの組み合わせのいずれでもよい。傾斜角度の自動検出方法は従来技術を用いることができる。例えば、重力センサを用いる方法が特開2003−5278号公報に開示されている。また、水平方向の傾斜については、レーザポインタと撮像素子を有するデジタルカメラとを用いて正確に測定する方法や、1個の投光用レンズを通して複数の発光素子からの光をスクリーンに投射し、反射光を1個の受光用レンズを通して複数の受光素子で受光してその受光位置や光強度を用いて傾斜角度を取得する方法や、投影装置の投写レンズから均一輝度光をスクリーンに投射し、スクリーンからの反射光を1個の導光部を経由して受光素子で受光してその受光位置や光強度を用いて傾斜角度を取得する方法が利用可能である。   The tilt angle output device 14 outputs an output value corresponding to the tilt angle in the vertical direction and / or horizontal direction of the normal line of the screen 4 and the optical axis of the projector 1 to the image control unit 12. Manual output, automatic output, or a combination thereof may be used. A conventional technique can be used as the method of automatically detecting the tilt angle. For example, a method using a gravity sensor is disclosed in Japanese Patent Application Laid-Open No. 2003-5278. In addition, for the horizontal inclination, a method of accurately measuring using a laser pointer and a digital camera having an image sensor, or projecting light from a plurality of light emitting elements through a single light projecting lens, The reflected light is received by a plurality of light receiving elements through one light receiving lens, and a tilt angle is obtained by using the light receiving position and light intensity, or uniform luminance light is projected from a projection lens of a projection device onto a screen, It is possible to use a method in which reflected light from the screen is received by a light receiving element via a single light guide, and an inclination angle is obtained using the light receiving position and light intensity.

図2は、基準パターンと撮像素子による投射映像画像との関係を示す模式図である。図2(a)、(b)、(c)の各左側に示す図は、プロジェクタ1を上方から見た平面図であり、各右側に示す図は、左側の図中A−A、B−B、C−Cで示す断面矢視図である。   FIG. 2 is a schematic diagram showing the relationship between the reference pattern and the projected video image by the image sensor. 2A, 2B and 2C are plan views of the projector 1 as viewed from above, and the diagrams on the right side are AA and B- It is a cross-sectional arrow view shown by B and CC.

図2(a)、(b)、(c)の各図において、プロジェクタ1が画像を投射するスクリーン4に対向して設置されている。プロジェクタ1のスクリーン4と対向する面には投写レンズ2および撮像素子3が設けられている。   2A, 2 </ b> B, and 2 </ b> C, the projector 1 is installed facing the screen 4 on which an image is projected. A projection lens 2 and an image sensor 3 are provided on the surface of the projector 1 that faces the screen 4.

図2(a)において、プロジェクタ1はワイドモードにセットされており、投写レンズ2は投射角θwで投射している。投写レンズ2とスクリーン4との間は距離L1だけ離れている。ズーム状態はズーム手動調整器21で手動で調整することができ、また、プロジェクタ1の本体に設けられたインタフェース部(図示せず)から適宜調整するようにしてもよい。   In FIG. 2A, the projector 1 is set to the wide mode, and the projection lens 2 projects at the projection angle θw. The projection lens 2 and the screen 4 are separated by a distance L1. The zoom state can be manually adjusted with the zoom manual adjuster 21, and may be adjusted as appropriate from an interface unit (not shown) provided on the main body of the projector 1.

投写レンズ2は、画像制御部12からの制御によって所定の基準パターンMa、Naを投射している(詳細は後述)。また、撮像素子3は撮像角θsの範囲を撮像している。   The projection lens 2 projects predetermined reference patterns Ma and Na under the control of the image control unit 12 (details will be described later). Further, the image sensor 3 captures an image of the imaging angle θs.

ここで、図3を用いて基準パターンについて説明する。図3は、30×20のマトリックス状に配列された液晶素子17で構成されている液晶パネル16の平面図を示している。実際の液晶素子17の数がこれに限定されないことは勿論である。図3において、液晶素子17のうち、(10行、10列)に位置する液晶素子Mと、(10行、20列)に位置する液晶素子Nだけが駆動され、それ以外は駆動されていない。このような所定距離離れた2つの点から構成される基準パターンで液晶パネル16が駆動されると、図2(a)右図に示すように、スクリーン4には相互に離れた2つの輝点Ma、Naが表示される。   Here, the reference pattern will be described with reference to FIG. FIG. 3 is a plan view of the liquid crystal panel 16 including the liquid crystal elements 17 arranged in a 30 × 20 matrix. Of course, the actual number of liquid crystal elements 17 is not limited to this. In FIG. 3, among the liquid crystal elements 17, only the liquid crystal element M located at (10 rows, 10 columns) and the liquid crystal element N located at (10 rows, 20 columns) are driven, and the others are not driven. . When the liquid crystal panel 16 is driven with such a reference pattern composed of two points separated by a predetermined distance, as shown in the right figure of FIG. Ma and Na are displayed.

図2(a)右図は、図2(a)左図のA−A断面図であり、スクリーン4上の輝点Ma、Naの表示状態を平面図で示している。破線で示した枠は投射映像の範囲であり、スクリーン4上で幅B1を有している。そして投射映像中に、図3に示した液晶素子M、Nに対応する位置に2つの輝点Ma、Naが現れ、スクリーン4上では相互に間隔A1だけ離れて表示されている。また、撮像素子3は投射映像を含むスクリーン4の一定の範囲を投射映像画像として撮像しており、スクリーン4のうち幅C1の範囲が撮像範囲となっている。   2A is a cross-sectional view taken along line AA in FIG. 2A, and shows a display state of the bright spots Ma and Na on the screen 4 in a plan view. A frame indicated by a broken line is a range of a projected image, and has a width B1 on the screen 4. In the projected image, two bright spots Ma and Na appear at positions corresponding to the liquid crystal elements M and N shown in FIG. 3, and are displayed on the screen 4 at a distance A1 from each other. The imaging device 3 captures a certain range of the screen 4 including the projected video as a projected video image, and the range of the width C1 in the screen 4 is the imaging range.

次に、ズーム状態をワイドモードに保ったまま、投写レンズ2とスクリーン4との間を距離L2に変えた(離した)場合の状況を説明する。図2(b)において、破線で示した枠は投射映像の範囲であり、スクリーン4上で幅B2を有している。そして投射映像中の液晶素子M、Nに対応する位置に2つの輝点Mb、Nbが現れ、スクリーン4上では相互に間隔A2だけ離れて表示されている。また、スクリーン4のうち幅C2の範囲が撮像素子3の撮像範囲となっている。   Next, the situation when the distance between the projection lens 2 and the screen 4 is changed (separated) to the distance L2 while the zoom state is maintained in the wide mode will be described. In FIG. 2B, a frame indicated by a broken line is a range of a projected image, and has a width B2 on the screen 4. Two bright spots Mb and Nb appear at positions corresponding to the liquid crystal elements M and N in the projected image, and are displayed on the screen 4 at a distance A2 from each other. Further, the range of the width C <b> 2 of the screen 4 is the imaging range of the imaging device 3.

ここで、図2(a)と(b)を比べると、投写レンズ2とスクリーン4との距離が開いた分、間隔A2、幅B2、幅C2は各々間隔A1、幅B1、幅C1より大きくなっている。しかし、図2(a)と(b)はともにワイドモードであるため投射角θwは同一であり、かつ撮像素子3の撮像角θsも同一であるため、A1:B1:C1の比率とA2:B2:C2の比率は、比率L2/L1で一定となる。   2A and 2B, when the distance between the projection lens 2 and the screen 4 is increased, the distance A2, the width B2, and the width C2 are larger than the distance A1, the width B1, and the width C1, respectively. It has become. However, since both FIGS. 2A and 2B are in the wide mode, the projection angle θw is the same, and the imaging angle θs of the imaging device 3 is also the same, so the ratio of A1: B1: C1 and A2: The ratio of B2: C2 is constant at the ratio L2 / L1.

次に、図2(c)を用いて、投写レンズ2とスクリーン4との距離L2を保ったまま、ズーム状態をテレモードに変えた場合の状況を説明する。図中の説明は(a)、(b)と同様である。破線で示した枠は投射映像の範囲であり、スクリーン4上で幅B3を有している。そして投射映像中の液晶素子M、Nに対応する位置に2つの輝点Mc、Ncが現れ、スクリーン4上では相互に間隔A3だけ離れて表示されている。また、スクリーン4のうち幅C3の範囲が撮像素子3の撮像範囲となっている。   Next, the situation when the zoom state is changed to the tele mode while maintaining the distance L2 between the projection lens 2 and the screen 4 will be described with reference to FIG. The explanation in the figure is the same as (a) and (b). A frame indicated by a broken line is a range of a projected image, and has a width B3 on the screen 4. Two bright spots Mc and Nc appear at positions corresponding to the liquid crystal elements M and N in the projected image, and are displayed on the screen 4 at a distance A3 from each other. Further, the range of the width C <b> 3 in the screen 4 is the imaging range of the imaging device 3.

ここで、図2(b)と(c)とを比べると、投写レンズ2とスクリーン4との距離は同じであるが、ズーム状態が異なっており、投射角θwが投射角θTに縮小されている。したがって、スクリーン4上での表示は、間隔A3は間隔A2より小さくなり、幅B3も幅B2より小さくなる。しかし、A2:B2とA3:B3の比率は、液晶素子M、Nの位置関係のみに依存するので一定である。一方、撮像素子3の撮像角θsは一定であり、かつ投写レンズ2(すなわち撮像素子3)とスクリーン4との距離も一定であるため、幅C3は幅C2と同じである。以上より、A2:C2(またはB2:C2)の比率とA3:C3(またはB3:C3)の比率が異なることになる。   Here, comparing FIGS. 2B and 2C, the distance between the projection lens 2 and the screen 4 is the same, but the zoom state is different, and the projection angle θw is reduced to the projection angle θT. Yes. Accordingly, in the display on the screen 4, the interval A3 is smaller than the interval A2, and the width B3 is also smaller than the width B2. However, the ratio of A2: B2 and A3: B3 is constant because it depends only on the positional relationship between the liquid crystal elements M and N. On the other hand, since the imaging angle θs of the imaging device 3 is constant and the distance between the projection lens 2 (that is, the imaging device 3) and the screen 4 is also constant, the width C3 is the same as the width C2. From the above, the ratio of A2: C2 (or B2: C2) and the ratio of A3: C3 (or B3: C3) are different.

以上より、ズーム状態が同じであれば、投写レンズ2とスクリーン4との距離に拘らず、間隔Aと幅Cの比率は一定となり、ズーム状態が異なれば、間隔Aと幅Cの比率は異なる。そこで、これらの比率を分析することでズーム状態を検出することが可能となる。以上が、撮像素子と基準パターンを用いたズーム状態検知の基本的な原理である。なお、ここでは輝点を投射するとものとして説明したが、撮像素子3で投射映像画像を撮像したときに周囲と区別できる基準点を提供できれば輝点である必要はない。例えば輝点の代わりに黒点を投射してもよい。通常スクリーン4や壁は白色ないし淡色であるので、黒点を投射すればそこだけ輝度が下がるので、同様に基準点として利用することができる。また、点の代わりに縦横の線が交差した十字形の基準パターンを用いてもよく、縦横の線を各々認識することで交点の位置をより正確に求めることができる。   From the above, if the zoom state is the same, the ratio of the interval A and the width C is constant regardless of the distance between the projection lens 2 and the screen 4, and if the zoom state is different, the ratio of the interval A and the width C is different. . Therefore, the zoom state can be detected by analyzing these ratios. The above is the basic principle of zoom state detection using an image sensor and a reference pattern. In addition, although it demonstrated as what projects a bright spot here, it is not necessary to be a bright spot if the reference point which can be distinguished from the circumference | surroundings can be provided when the image pick-up image 3 is imaged. For example, a black spot may be projected instead of a bright spot. Since the screen 4 and the wall are usually white or light in color, if a black dot is projected, the luminance is reduced accordingly, and can be used as a reference point in the same manner. Further, a cross-shaped reference pattern in which vertical and horizontal lines intersect may be used instead of the points, and the position of the intersection can be determined more accurately by recognizing the vertical and horizontal lines.

図4にはズーム状態検出の処理フローを示す。以下に図4に従って、具体的なズーム状態検知方法を詳述していく。   FIG. 4 shows a processing flow for zoom state detection. Hereinafter, a specific zoom state detection method will be described in detail with reference to FIG.

まず、プロジェクタ1の電源を入れ(ステップ51)、または、台形補正開始命令をインタフェース部から入力する(ステップ51’)。プロジェクタ1やスクリーン4が固定されていて台形補正の必要がないときは、プロジェクタ1の電源を入れても以下の処理を開始しないようにあらかじめセットしておいてもよい。   First, the projector 1 is turned on (step 51), or a trapezoidal correction start command is input from the interface unit (step 51 '). When the projector 1 and the screen 4 are fixed and trapezoid correction is not necessary, the projector 1 may be set in advance so that the following processing is not started even when the projector 1 is turned on.

次に、プロジェクタ1は基準パターンをスクリーン4上に投射する。これによってスクリーン4上に相互に離れた2つの輝点Md、Ndが表示される(ステップ52)。   Next, the projector 1 projects the reference pattern on the screen 4. As a result, two bright spots Md and Nd separated from each other are displayed on the screen 4 (step 52).

次に、撮像素子3で輝点Md、Ndが表示されているスクリーン4を撮像する(ステップ53)。   Next, the screen 4 on which the bright points Md and Nd are displayed is imaged by the image sensor 3 (step 53).

次に、撮像素子3は、輝点Md、Ndの間隔Aを取得する。以下、図5を用いて説明する。図5はCCDデバイスのホトダイオードの配列を示したものである。CCDデバイスには画素数に対応するホトダイオート31が配置されており、例えば水平画素400、垂直画素480のCCDデバイスであれば、(1、1)のアドレスから(400、480)のアドレスまで計192000個のホトダイオート31が配列されている。これらのホトダイオート31は受光量に応じた信号を出力する。そしてこれらのホトダイオート31は通常、輝点Md、Nd付近を撮像するホトダイオード31を中心とした略同心円状の輝度分布を有しているので、同心円の中心を求めることで、最大輝度に対応するホトダイオード31のアドレスを取得できる。このようなアドレスは輝点Md、Ndに対応して2つあるので(図5中、輝点Ndは省略)、間隔Aは最大輝度に対応するホトダイオード31のアドレス(またはビット)の離隔距離(2つの輝点の間にある素子の数)として求めることができる。また、C値は水平画素数に等しいので、上記の場合C=400となる。以上よりA/C値を求めることができる。なお、A/C値は、基準パターンの所定の2箇所の部位が各々記録された画素の間隔と、多数の画素のうちの所定の画素同士の間隔との比であればよく、C値として水平画素数以外の任意の2つの画素の離隔距離を用いてもよい。   Next, the image sensor 3 acquires the interval A between the bright spots Md and Nd. Hereinafter, a description will be given with reference to FIG. FIG. 5 shows the arrangement of photodiodes in a CCD device. The photo diode auto 31 corresponding to the number of pixels is arranged in the CCD device. For example, in the case of the CCD device of the horizontal pixel 400 and the vertical pixel 480, a total of 192000 from the address (1, 1) to the address (400, 480). A number of Photo Dai Autos 31 are arranged. These photo die autos 31 output signals according to the amount of received light. These photodiodes 31 usually have a substantially concentric luminance distribution centered on the photodiode 31 that captures the vicinity of the bright spots Md and Nd, so that the photodiode corresponding to the maximum luminance is obtained by obtaining the center of the concentric circle. 31 addresses can be acquired. Since there are two such addresses corresponding to the bright spots Md and Nd (in FIG. 5, the bright spot Nd is omitted), the interval A is the distance (the bit) separation distance (or bit) of the photodiode 31 corresponding to the maximum luminance. The number of elements between two bright spots). Since the C value is equal to the number of horizontal pixels, C = 400 in the above case. From the above, the A / C value can be obtained. The A / C value may be a ratio between the interval between the pixels where the two predetermined portions of the reference pattern are recorded and the interval between the predetermined pixels of a large number of pixels. A separation distance between any two pixels other than the number of horizontal pixels may be used.

このように、A/C値は、基準パターンが投射映像画像において占める大きさを示す指標である。A/C値は、工場出荷時に、例えばワイドモードで基準パターンを投射した投射映像画像において、基準パターン相互の離隔が何ビットにあたるかを記憶しておけば、ワイドモードを基準としてズーム状態を得ることもできる。   Thus, the A / C value is an index indicating the size that the reference pattern occupies in the projected video image. When the A / C value is stored at the factory, for example, how many bits the distance between the reference patterns is in a projected video image in which the reference pattern is projected in the wide mode, the zoom state is obtained based on the wide mode. You can also.

これと平行して、プロジェクタ1は上述の方法に従って傾斜角度を取得する(ステップ55)。   In parallel with this, the projector 1 acquires the tilt angle according to the above-described method (step 55).

次に、求められたA/C値と傾斜角度とからズーム状態を求める。具体的には、A/C値と傾斜角度に対応したズーム量のテーブルをあらかじめ用意しておき、この表を参照することによって容易にズーム量を求めることができる。   Next, the zoom state is obtained from the obtained A / C value and the tilt angle. Specifically, a zoom amount table corresponding to the A / C value and the tilt angle is prepared in advance, and the zoom amount can be easily obtained by referring to this table.

そして、算出したズーム量に基づき台形補正をおこない(ステップ57)、台形補正を終了したら所定の画像データを投射することが可能になる。   Then, keystone correction is performed based on the calculated zoom amount (step 57), and when the keystone correction is completed, it becomes possible to project predetermined image data.

以上説明したとおり、本発明のプロジェクタによれば投写レンズのズーム状態を撮像素子とソフトウエア処理で行うことが可能となり、しかも撮像素子はオートフォーカス等の目的で従来のプロジェクタにすでに装備されているのが一般的であるため、実質的に新たな機構は不要である。しかも従来必要としていたギアや可変抵抗器等の機構が不要となる。これによって、プロジェクタの部品点数が削減し、従来と同等の機能を維持しながらコスト低減を図ることができる。また、電気・機械的な不具合が発生する可能性も小さくなり、プロジェクタの信頼性向上を図ることもできる。   As described above, according to the projector of the present invention, the zoom state of the projection lens can be performed by the image sensor and software processing, and the image sensor is already equipped in a conventional projector for the purpose of autofocusing or the like. In general, no new mechanism is required. In addition, mechanisms such as gears and variable resistors that have been conventionally required are not required. As a result, the number of parts of the projector can be reduced, and the cost can be reduced while maintaining the same function as the conventional one. Further, the possibility of occurrence of electrical / mechanical problems is reduced, and the reliability of the projector can be improved.

本発明の第1の実施形態によるプロジェクタの、スクリーンに投射された画像と撮像画面との関係を示す模式図である。It is a schematic diagram which shows the relationship between the image projected on the screen and the imaging screen of the projector by the 1st Embodiment of this invention. 投射画像と撮像素子による撮像範囲との関係を示す模式図である。It is a schematic diagram which shows the relationship between a projection image and the imaging range by an image pick-up element. 基準パターンの説明図である。It is explanatory drawing of a reference | standard pattern. ズーム状態検出の処理フロー図である。It is a processing flow figure of zoom state detection. CCDデバイスのホトダイオードの配列を示したものである。2 shows an arrangement of photodiodes of a CCD device. 従来技術のプロジェクタの側面図である。It is a side view of the projector of a prior art. 従来技術におけるズーム状態の違いが投射映像に与える影響を説明する図である。It is a figure explaining the influence which the difference in the zoom state in a prior art has on a projection image | video.

符号の説明Explanation of symbols

1 プロジェクタ
11 画像表示部
12 画像制御部
13 中央処理装置
14 傾斜角度出力装置
16 液晶パネル
17 液晶素子
2 投写レンズ
21 ズーム手動調整器
3 撮像素子
31 ホトダイオート
4 スクリーン

DESCRIPTION OF SYMBOLS 1 Projector 11 Image display part 12 Image control part 13 Central processing unit 14 Inclination angle output device 16 Liquid crystal panel 17 Liquid crystal element 2 Projection lens 21 Zoom manual adjuster 3 Image pick-up element 31 Photodai auto 4 Screen

Claims (9)

投写レンズから所定の基準パターンを投射し、該基準パターンの投射映像を被投射面に表示するステップと、
該被投射面に表示された該投射映像を撮像して投射映像画像を得るステップと、
前記基準パターンが該投射映像画像において占める大きさを得るステップと、
該大きさに基づいて投写レンズのズーム状態を算出するステップとを有する、プロジェクタの投写レンズのズーム状態検出方法。
Projecting a predetermined reference pattern from the projection lens and displaying a projected image of the reference pattern on the projection surface;
Capturing the projected video displayed on the projection surface to obtain a projected video image;
Obtaining a size occupied by the reference pattern in the projected video image;
Calculating a zoom state of the projection lens based on the size.
前記基準パターンは所定距離離れた2つの点である、請求項1に記載のズーム状態検出方法。   The zoom state detection method according to claim 1, wherein the reference pattern is two points separated by a predetermined distance. 前記投射映像画像は多数の光電素子が配列された撮像素子によって撮像され、
前記大きさは前記基準パターンが撮像された前記光電素子が配列されている位置に基づき得られる、請求項1または2に記載のズーム状態検出方法。
The projected video image is captured by an image sensor in which a large number of photoelectric elements are arranged,
The zoom state detection method according to claim 1, wherein the size is obtained based on a position where the photoelectric elements in which the reference pattern is imaged are arranged.
前記大きさは前記基準パターンの所定の2箇所の部位が各々記録された該光電素子の間隔と、前記多数の撮像素子の所定の光電素子同士の間隔との比として得られる、請求項3に記載のズーム状態検出方法。   The size is obtained as a ratio of an interval between the photoelectric elements in which two predetermined portions of the reference pattern are recorded and an interval between the predetermined photoelectric elements of the multiple imaging elements. The zoom state detection method described. 多数の光変調素子が配列されている光変調デバイスの所定の前記光変調素子だけを駆動し、または駆動しないで前記基準パターンを得るステップをさらに有する、請求項1から4のいずれか1項に記載のズーム状態検出方法。   5. The method according to claim 1, further comprising: driving the predetermined light modulation element of a light modulation device in which a large number of light modulation elements are arranged, or obtaining the reference pattern without driving the light modulation element. The zoom state detection method described. 前記大きさと、前記投写レンズの光軸と前記被投射面の法線との角度と、ズーム状態との対応関係を示すテーブルをあらかじめ作成するステップと、
該角度を検出するステップと、
前記大きさおよび前記角度を前記テーブルと照合することによって前記ズーム状態を算出するステップとをさらに有する、請求項1から5のいずれか1項に記載のズーム状態検出方法。
Creating in advance a table indicating the correspondence between the size, the angle between the optical axis of the projection lens and the normal of the projection surface, and the zoom state;
Detecting the angle;
The zoom state detection method according to claim 1, further comprising a step of calculating the zoom state by comparing the size and the angle with the table.
所定の基準パターンを投射する投写レンズと、
被投射面に表示された該基準パターンの投射映像を撮像して投射映像画像を得る撮像素子と、
前記基準パターンが該投射映像画像において占める大きさを算出し、該大きさに基づいて投写レンズのズーム状態を算出する画像制御部とを有するプロジェクタ。
A projection lens that projects a predetermined reference pattern;
An image sensor that captures a projected image of the reference pattern displayed on the projection surface to obtain a projected image; and
A projector having an image control unit that calculates a size occupied by the reference pattern in the projection video image and calculates a zoom state of the projection lens based on the size;
前記撮像素子は配列された多数の光電素子を有し、
前記画像制御部は、前記基準パターンが記録された前記光電素子の配列されている位置に基づき前記大きさを得る、請求項7に記載のプロジェクタ。
The image sensor has a large number of photoelectric elements arranged,
The projector according to claim 7, wherein the image control unit obtains the size based on a position where the photoelectric elements on which the reference pattern is recorded are arranged.
前記投写レンズの光軸と前記被投射面の法線との角度を検出する傾斜角度出力装置と、
前記大きさと、前記角度と、ズーム状態との対応関係を示すテーブルをあらかじめ記憶する記憶部とをさらに有し、
前記画像制御部は、前記大きさおよび前記傾斜角度出力装置によって検出された前記角度を前記テーブルと照合することによって前記ズーム状態を算出する、請求項8に記載のプロジェクタ。

An inclination angle output device for detecting an angle between an optical axis of the projection lens and a normal line of the projection surface;
A storage unit that stores in advance a table indicating a correspondence relationship between the size, the angle, and the zoom state;
The projector according to claim 8, wherein the image control unit calculates the zoom state by comparing the size and the angle detected by the tilt angle output device with the table.

JP2003407883A 2003-12-05 2003-12-05 Method for detecting zoom state of projector and projector Expired - Fee Related JP3716265B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003407883A JP3716265B2 (en) 2003-12-05 2003-12-05 Method for detecting zoom state of projector and projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003407883A JP3716265B2 (en) 2003-12-05 2003-12-05 Method for detecting zoom state of projector and projector

Publications (2)

Publication Number Publication Date
JP2005167948A JP2005167948A (en) 2005-06-23
JP3716265B2 true JP3716265B2 (en) 2005-11-16

Family

ID=34729794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003407883A Expired - Fee Related JP3716265B2 (en) 2003-12-05 2003-12-05 Method for detecting zoom state of projector and projector

Country Status (1)

Country Link
JP (1) JP3716265B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5110260B2 (en) * 2007-02-23 2012-12-26 セイコーエプソン株式会社 Projector, program, information storage medium, and image distortion correction method
JP5401940B2 (en) * 2008-11-17 2014-01-29 セイコーエプソン株式会社 Projection optical system zoom ratio measurement method, projection image correction method using the zoom ratio measurement method, and projector for executing the correction method
JP5556556B2 (en) * 2010-10-05 2014-07-23 セイコーエプソン株式会社 Projector and keystone correction method
JP5539422B2 (en) * 2012-02-27 2014-07-02 キヤノン株式会社 Projection lens device and optical apparatus having projection lens device

Also Published As

Publication number Publication date
JP2005167948A (en) 2005-06-23

Similar Documents

Publication Publication Date Title
CN1825194B (en) Projector and processing line specification method
US7422331B2 (en) Image processing system, projector, and image processing method
TWI390195B (en) Inspection method and inspection apparatus of display panel
US6002429A (en) Image input device in which the image sensing conditions are changed depending on a data format required by an external device
US8210688B2 (en) Projector, multi-screen system, projector control method, computer program product, and information storage medium
US9538067B2 (en) Imaging sensor capable of detecting phase difference of focus
CN105372916B (en) Image projecting equipment and its control method
JP2007078821A (en) Projector, projecting method and program
WO2010116837A1 (en) Multiprojection display system and screen forming method
JP2003280089A (en) Projector
CN104184940A (en) Control apparatus, image pickup system, and control method
US8870385B2 (en) Display system
JP2005124131A (en) Image processing system, projector, program, information storing medium, and image processing method
CN103843318A (en) Image capturing apparatus and control method thereof
US6471355B1 (en) Image control system
JP2019176356A (en) Projector, and method for controlling projector
JP2008294545A (en) Projection type video display device and projection type video display system
JP4367510B2 (en) Image display device, display position adjustment method, and display position adjustment program
JP3716265B2 (en) Method for detecting zoom state of projector and projector
JP3736350B2 (en) Projection system and projector
CN113556524B (en) Projector with a light source for projecting light
JP2017032650A (en) Projection type display device and projection type display system
JP3769568B2 (en) Projector having an image sensor with a spectrum selection mechanism
JP2007127728A (en) Projector
JP2011022216A (en) Projection type image display system and method for controlling the same

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080902

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130902

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees