JP4529137B2 - Presentation device and photographing method - Google Patents

Presentation device and photographing method Download PDF

Info

Publication number
JP4529137B2
JP4529137B2 JP2005230447A JP2005230447A JP4529137B2 JP 4529137 B2 JP4529137 B2 JP 4529137B2 JP 2005230447 A JP2005230447 A JP 2005230447A JP 2005230447 A JP2005230447 A JP 2005230447A JP 4529137 B2 JP4529137 B2 JP 4529137B2
Authority
JP
Japan
Prior art keywords
light
subject
backlight
emitted
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005230447A
Other languages
Japanese (ja)
Other versions
JP2007049333A (en
Inventor
浩平 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2005230447A priority Critical patent/JP4529137B2/en
Publication of JP2007049333A publication Critical patent/JP2007049333A/en
Application granted granted Critical
Publication of JP4529137B2 publication Critical patent/JP4529137B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、書類や立体物などの資料を撮像し、プロジェクタ投影用画像信号として出力するプレゼンテーション装置及びプレゼンテーション方法に関する。   The present invention relates to a presentation apparatus and a presentation method for capturing an image of a document or a three-dimensional object and outputting the image as a projector projection image signal.

従来から、会議や学会などで透明のOHPシートにマーカーペンで記述し、拡大照射する投影装置がプレゼンテーション用装置として用いられている。高輝度のランプを用いて直接スクリーンに投影し、明るい投影画像が得られている。そして、投影画像の品位を保つため使用者は目的の画像をスクリーンの中央に配置させたり、投影画像の境界をスクリーン境界との位置合わせを、投影画像を見つつOHPシート位置を調整しながら行っている。特に、投影装置とスクリーンとの位置関係が正規の位置関係からずれて斜めに配置されている場合ではOHPシートを正規の位置に載置しても投影画像はスクリーンに対して位置ずれが生じる。その位置ずれを打ち消すようにOHPシートの載置場所をずらし、補正している。   2. Description of the Related Art Conventionally, projection devices that are described with a marker pen on a transparent OHP sheet at a conference or academic meeting, and that are enlarged are used as presentation devices. A bright projection image is obtained by projecting directly onto a screen using a high-intensity lamp. In order to maintain the quality of the projected image, the user arranges the target image in the center of the screen, or aligns the boundary of the projected image with the screen boundary while adjusting the OHP sheet position while viewing the projected image. ing. In particular, when the positional relationship between the projection device and the screen is shifted from the normal positional relationship and is obliquely arranged, the projected image is displaced with respect to the screen even if the OHP sheet is placed at the normal position. The place where the OHP sheet is placed is shifted and corrected so as to cancel the positional deviation.

一方、最近になり、ビデオカメラで撮影された画像をスクリーンに投影する投射型テレビが実用化されるようになってきた。ビデオカメラは不透明の資料や立体物を撮影することが出来るため、プレゼンテーション用資料の作成が容易である。ビデオカメラを用いる場合では、カメラの画角に合わせて撮影された画像はスクリーンの画角に合わされた所定の位置の画像として表示される。しかし、スクリーン輝度に関しては、輝度レベルの高い投射型テレビは開発されているものの、OHP投射によるほど高くは得られない。プレゼンテーションルームの照明を減光し、スクリーン投射画像を見やすくする工夫がなされている。   On the other hand, recently, a projection television for projecting an image taken with a video camera onto a screen has come into practical use. Since video cameras can shoot opaque materials and three-dimensional objects, it is easy to create presentation materials. In the case of using a video camera, an image taken in accordance with the angle of view of the camera is displayed as an image at a predetermined position adjusted to the angle of view of the screen. However, regarding the screen luminance, although a projection television with a high luminance level has been developed, it cannot be as high as that obtained by OHP projection. The lighting of the presentation room is dimmed to make it easier to see the screen projection image.

特許文献1には、書類や立体物をCCDカメラで撮影し、撮影画像を装置外部のスクリーン等に再生する資料提示装置が開示されている。操作者に資料の載置位置を案内するガイド機能を有する資料台を実現している。CCDカメラのブランキング区間に資料載置台上にガイドパターンを投射するようにし、ガイドに合わせた資料の載置を容易にし、CCDカメラの撮影視野内の画角に合わせた画像を得ることができる資料提示装置が開示されている。
特開2002−94836号公報
Patent Document 1 discloses a material presentation device that captures a document or a three-dimensional object with a CCD camera and reproduces the captured image on a screen or the like outside the device. A material table having a guide function for guiding the placement position of the material to the operator is realized. A guide pattern is projected onto the material placement table in the blanking section of the CCD camera, making it easy to place the material in alignment with the guide and obtaining an image that matches the angle of view within the field of view of the CCD camera. A material presentation device is disclosed.
JP 2002-94836 A

しかしながら、特許文献1に開示されている資料提示装置では、資料配置ガイド表示をビーム投影手段や反射ミラーを設け、その投影タイミングをビデオカメラの垂直同期期間と同期させて表示させる必要があり、構造が複雑になってしまう。簡易な構成で、配置精度の高い画像を提示でき、プレゼンテーション効果が得られ易いプレゼンテーション装置の実現が望まれている。   However, in the material presentation device disclosed in Patent Document 1, it is necessary to display the material arrangement guide display by providing beam projection means and a reflecting mirror, and display the projection timing in synchronization with the vertical synchronization period of the video camera. Becomes complicated. It is desired to realize a presentation device that can present an image with high arrangement accuracy with a simple configuration and that can easily obtain a presentation effect.

そこで、本発明は、上記のような問題点を解消するためになされたもので、カメラにより撮像され、投影される被写体をスクリーン上の所定の位置に配置させるためのガイド表示を使用者に対して行うと共に、ガイド表示はカメラにより撮影されなく、提示用資料のみが撮像されてスクリーンに投影されるようにした構造が簡易なプレゼンテーション装置及びプレゼンテーション方法を提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems, and provides a guide display for a user to place a subject imaged and projected by a camera at a predetermined position on the screen. In addition, an object of the present invention is to provide a presentation apparatus and a presentation method in which a guide display is not captured by a camera but only a presentation material is captured and projected onto a screen.

本願発明における第1の発明は、
光透過性の載置台(12a)に載置された被写体にランプ(11,11a)から出射された光を照射して反射された被写体光を撮像カメラ(15)で撮影し、プレゼンテーションを行うプレゼンテーション装置(1)において、
前記被写体の動きを検出する動き検出部(16)と、
室内の照度を検出する外光受光部(18a)と、
照明光を出射するバックライト(14)と、
前記照明光により照射される基準領域が形成された光透過性のガイド表示板(13a)と、
前記被写体の動きと前記室内の照度に基づいて、前記ランプ及び前記バックライトから出射される光量を制御する制御部(18)と、
前記光透過性のガイド表示板を透過し前記制御部により光量が制御され、前記バックライトから出射された照明光からP偏光光又はS偏光光のいずれかの偏光光を生成し、前記生成した偏光光を前記光透過性の載置台に出射る偏光フィルタ(13)と、
撮像カメラの撮像側に配置された前記光透過性の載置台を透過した前記偏光を過せずに、前記光透過性の載置台を透過した前記偏光光と直交し、かつ前記制御部により光量が制御され、前記ランプから出射されて前記被写体で反射された前記被写体光の偏光を透過る偏光板(15a)と、
を有することを特徴とするプレゼンテーション装置を提供する。
第2の発明は、
光透過性の載置台に載置された被写体にランプから出射された光を照射して反射された被写体光を撮像カメラで撮影する撮影方法において、
前記被写体の動きを検出し、
室内の照度を検出し、
バックライトから出射した照明光を基準領域が形成された光透過性のガイド表示板に照射し、
前記被写体の動きと前記室内の照度に基づいて、前記ランプ及び前記バックライトから出射される光量を制御し、
前記光透過性のガイド表示板を透過し、光量が制御され、前記バックライトから出射された照明光を偏光フィルタに照射し、
前記偏光フィルタでP偏光光又はS偏光光のいずれかの偏光光を生成し、前記生成した偏光光を前記光透過性の載置台に出射
偏光板により前記光透過性の載置台を透過した前記偏光を過せずに、前記光透過性の載置台を透過した前記偏光光と直交し、かつ光量が制御され、前記ランプから出射されて前記被写体で反射された前記被写体光の偏光光を透過て前記撮像カメラで撮影す
とを特徴とする撮影方法を提供する。
The first invention in the present invention is:
A presentation in which a subject placed on a light-transmitting stage (12a) is irradiated with light emitted from a lamp (11, 11a) and reflected by the imaging camera (15) to give a presentation. In device (1) :
A motion detector (16) for detecting the motion of the subject;
An external light receiving unit (18a) for detecting the illuminance in the room;
A backlight (14) for emitting illumination light;
A light-transmissive guide display plate (13a) in which a reference region irradiated with the illumination light is formed;
A control unit (18) for controlling the amount of light emitted from the lamp and the backlight based on the movement of the subject and the illuminance in the room;
Transmitted through the light transmissive guide display panel, the light quantity is controlled by the control unit, to generate either polarized light of P-polarized light or S-polarized light from the illumination light emitted from the backlight, the product a polarization filter (13) polarized light you emitted to the light transmissive table that,
Without spend before Symbol permeable to Kihen light before passing through the light transmissive table arranged on the imaging side of the imaging camera, and perpendicular to the polarized light transmitted through the light-transmitting of the mounting table, and the amount of light is controlled by the control unit, the polarizing plate is emitted you transmit polarized light of the object light reflected by the object from the lamps and (15a),
A presentation device is provided.
The second invention is
In a shooting method of shooting a subject light reflected by irradiating light emitted from a lamp onto a subject placed on a light-transmissive mounting table with an imaging camera,
Detecting the movement of the subject,
Detect indoor illuminance,
Irradiate illumination light emitted from the backlight onto a light-transmissive guide display board on which a reference area is formed,
Based on the movement of the subject and the illuminance in the room, the amount of light emitted from the lamp and the backlight is controlled,
The light transmitting guide display plate is transmitted , the amount of light is controlled, and the illumination light emitted from the backlight is irradiated to the polarizing filter,
The polarizing filter to generate either polarized light of P-polarized light or S-polarized light, emitted from the polarization light the product to the light transmitting the mounting table,
The Kihen light before passing through the light transparent table without Toru spend the polarizing plate, the transmitted through the light transmissive of the table orthogonal to the polarized light, and the light amount is controlled, from the lamp Shoots by the imaging camera through the polarized light of the subject light reflected by the exit has been the subject
To provide the imaging method which is characterized a call.

本発明によれば、
被写体の動きを検出する動き検出部と、室内の照度を検出する外光受光部と、
照明光を出射するバックライトと、前記照明光により照射される基準領域が形成された光透過性のガイド表示板と、前記被写体の動きと前記室内の照度に基づいて、ランプ及び前記バックライトから出射される光量を制御する制御部と、前記光透過性のガイド表示板を透過し前記制御部により光量が制御され、前記バックライトから出射された照明光からP偏光光又はS偏光光のいずれかの偏光光を生成し、前記生成した偏光光を前記光透過性の載置台に出射る偏光フィルタと、撮像カメラの撮像側に配置された前記光透過性の載置台を透過した前記偏光を過せずに、前記光透過性の載置台を透過した前記偏光光と直交し、かつ前記制御部により光量が制御され、前記ランプから出射されて前記被写体で反射された前記被写体光の偏光を透過る偏光板と、を有するので、撮像カメラにより撮像され、投影される被写体をスクリーン上の所定の位置に配置させるためのガイド表示を使用者に対して行うと共に、ガイド表示は撮像カメラにより撮影されなく、提示用資料のみがスクリーンに投影されるようにした簡易な構成のプレゼンテーション装置及びプレゼンテーション方法を実現できる。
According to the present invention,
A motion detector that detects the movement of the subject, an external light receiver that detects the illuminance in the room,
Based on a backlight that emits illumination light, a light-transmissive guide display board in which a reference region irradiated with the illumination light is formed, the movement of the subject and the illuminance in the room, the lamp and the backlight a control unit for controlling the amount of light emitted, transmitted through the light transmissive guide display panel, the light quantity is controlled by the control unit, the illumination light emitted from the backlight P-polarized light or S-polarized light generating one of polarized light, prior to the polarized light the generated and transmitted with polarization filter you emitted to the light transmissive table, the light permeability of the mounting table disposed in the imaging side of an imaging camera without spend permeable to Kihen light said that, the transmitted through the light transmissive of the table orthogonal to the polarized light, and the light amount is controlled by the control unit, reflected by the object is emitted from the lamp polarized object light Since a polarizing plate you transmit light, and is imaged by the imaging camera, performs a guide display for disposing the object to be projected to a predetermined position on the screen to the user, the guide display is imaged It is possible to realize a presentation apparatus and a presentation method with a simple configuration in which only presentation materials are projected on a screen without being photographed by a camera.

以下に本発明の各実施例に係るプレゼンテーション装置について図1〜図8を用いて説明する。
図1は、本発明の実施に係るプレゼンテーション装置の構成例を示すブロック図である。
図2は、本発明の実施に係るプレゼンテーション装置の外観を示す斜視図である。
図3は、本発明の実施に係るプレゼンテーション装置の要部の構成例を示す斜視図である。
図4は、本発明の実施に係る動作を説明するための斜視図である。
図5は、本発明の実施に係るプレゼンテーション装置の要部の構成例を示すブロック図である。
図6は、本発明の実施に係るプレゼンテーション装置の動作をフローチャートで示した図である。
図7は、本発明の実施に係るプレゼンテーション装置の要部の応用構成例を示す斜視図である。
図8は、本発明の実施に係るプレゼンテーション装置の要部の外観を示す斜視図である。
Hereinafter, presentation devices according to embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram illustrating a configuration example of a presentation apparatus according to an embodiment of the present invention.
FIG. 2 is a perspective view showing an appearance of the presentation apparatus according to the embodiment of the present invention.
FIG. 3 is a perspective view showing a configuration example of a main part of the presentation apparatus according to the embodiment of the present invention.
FIG. 4 is a perspective view for explaining an operation according to the embodiment of the present invention.
FIG. 5 is a block diagram illustrating a configuration example of a main part of the presentation apparatus according to the embodiment of the present invention.
FIG. 6 is a flowchart showing the operation of the presentation apparatus according to the embodiment of the present invention.
FIG. 7 is a perspective view showing an application configuration example of a main part of the presentation apparatus according to the embodiment of the present invention.
FIG. 8 is a perspective view showing the external appearance of the main part of the presentation apparatus according to the embodiment of the present invention.

プレゼンテーション装置の構成について述べる。
図1に示すプレゼンテーション装置1は、ランプ11、11a、原稿載置台12a、偏光フィルタ13、ガイド表示板13a、バックライト14、カメラ15、偏光板15a、動き検出部16、メモリ16a、処理部17、メモリ17a、制御部18、外光受光部18a、及び操作部19より構成される。
図5に示す制御部18は動き時間計測器181、動き時間判定器182、動作判定器183、バックライト制御器184、及びランプ制御器185より構成される。
The configuration of the presentation device will be described.
The presentation apparatus 1 shown in FIG. 1 includes lamps 11 and 11a, a document placing table 12a, a polarizing filter 13, a guide display board 13a, a backlight 14, a camera 15, a polarizing plate 15a, a motion detection unit 16, a memory 16a, and a processing unit 17. , A memory 17a, a control unit 18, an external light receiving unit 18a, and an operation unit 19.
The control unit 18 illustrated in FIG. 5 includes a motion time measuring device 181, a motion time determining device 182, an operation determining device 183, a backlight controller 184, and a lamp controller 185.

プレゼンテーション装置の動作について述べる。
図1を参照し説明する。
まず、操作部19を操作してバックライト14を点灯する。ガイド表示板13aに描かれるプレゼンテーション用資料を載置するためのガイド表示が照射される。偏光フィルタ13は入射される光のうち、所定の偏光角の光のみを通過させるフィルタである。ガイド表示は原稿載置台を通過する例えばP偏光光(又はS偏光光)である所定の偏光角を有する光として出射される。使用者はガイド表示を基にプレゼンテーション用資料を原稿載置台12a上に載置する。載置されたプレゼンテーション用資料はランプ11、11aにより照射される。プレゼンテーション用資料に反射した光は、P偏光光(又はS偏光光)である所定の偏光角と直交する偏光角であるS偏光光(又はP偏光光)の光を通過させる偏光板15aを介してカメラ15に入射される。カメラ15はプレゼンテーション用資料の反射光を撮影する。
偏光フィルタ13を介して所定の偏光角を有して出射されるガイド表示光は偏光板15aを通過しないためカメラ15により撮影されない。プレゼンテーション用資料のみの画像は中央の位置で且つスクリーン枠と平行な位置に載置された画像としてカメラ15により撮影され、図示しないプロジェクタが用いられて図示しないスクリーンに投影される。
The operation of the presentation device will be described.
A description will be given with reference to FIG.
First, the operation unit 19 is operated to turn on the backlight 14. A guide display for placing presentation materials drawn on the guide display board 13a is irradiated. The polarizing filter 13 is a filter that allows only light having a predetermined polarization angle out of incident light. The guide display is emitted as light having a predetermined polarization angle, for example, P-polarized light (or S-polarized light) that passes through the document table. The user places the presentation material on the document placement table 12a based on the guide display. The placed presentation material is irradiated by the lamps 11 and 11a. The light reflected on the presentation material passes through the polarizing plate 15a that transmits the light of S-polarized light (or P-polarized light) having a polarization angle orthogonal to a predetermined polarization angle that is P-polarized light (or S-polarized light). Is incident on the camera 15. The camera 15 captures reflected light of the presentation material.
Guide display light emitted with a predetermined polarization angle through the polarizing filter 13 does not pass through the polarizing plate 15a and is not photographed by the camera 15. An image of only the presentation material is taken by the camera 15 as an image placed at a central position and parallel to the screen frame, and is projected onto a screen (not shown) using a projector (not shown).

スクリーンへの投影画像は視聴者により視聴される。ここで、室内の照明が減光されている場合にはランプ11、11aの漏れ光が視聴者からも見えてしまう。効果的なプレゼンテーションを行うためには、室内照明が暗い場合にはランプ11、11aを減光させるのが好ましい。ランプ11、11aの減光制御について述べる。
動き検出部16は、カメラ15で撮影されるプレゼンテーション用資料の位置を検出する。検出して得られたプレゼンテーション用資料の輪郭情報を含む画像位置情報をメモリ16aに記憶する。動き検出部16はメモリ16aに記憶された画像位置情報と入力される画像の位置情報とを比較し、所定の時間静止しているとして検出された場合には静止状態信号を制御部18に入力する。制御部18は外光受光部18aにより検出されるプレゼンテーション会場内の照度が所定の照度以下であるとして検出された場合にはバックライト14をオフし、処理部17に入力される画像をメモリ17aに記憶する。プレゼンテーション装置1からはメモリ17aに記憶された画像が読み出されて出力される。制御部18はランプ11、11aを減光させる。動き検出部16において、カメラ15により撮像される画像を基にした動き検出が可能とされるまでランプ11、11aの光量を減光する。
The projected image on the screen is viewed by the viewer. Here, when the indoor lighting is dimmed, the leaked light from the lamps 11 and 11a is also visible to the viewer. In order to make an effective presentation, it is preferable to dimm the lamps 11 and 11a when the room lighting is dark. The dimming control of the lamps 11 and 11a will be described.
The motion detector 16 detects the position of the presentation material photographed by the camera 15. Image position information including the outline information of the presentation material obtained by the detection is stored in the memory 16a. The motion detection unit 16 compares the image position information stored in the memory 16a with the position information of the input image, and inputs a stationary state signal to the control unit 18 when it is detected that the image is stationary for a predetermined time. To do. The control unit 18 turns off the backlight 14 when the illuminance in the presentation venue detected by the external light receiving unit 18a is detected to be equal to or lower than the predetermined illuminance, and the image input to the processing unit 17 is stored in the memory 17a. To remember. From the presentation device 1, the image stored in the memory 17a is read and output. The control unit 18 dims the lamps 11 and 11a. In the motion detector 16, the light amounts of the lamps 11 and 11 a are reduced until motion detection based on the image captured by the camera 15 is possible.

動き検出部16は、プレゼンテーション用資料の移動を検出した場合には動き検出信号を制御部18に出力する。制御部18はバックライト14を点灯し、ランプ11、11aの減光を解除する。次のプレゼンテーション用資料が原稿載置台12aに載置された後、動き検出部16が所定時間以上の静止状態を検出した場合には上記の減光動作を行う。
ガイド表示板13aに描かれるガイド表示は使用者にのみ識別され、カメラ15に入射されないため、例えば小さなプレゼンテーション用資料や透明なプレゼンテーション用資料を撮影する場合であってもガイド表示はカメラ15により撮影されなく、スクリーンに表示されることはない。
The motion detector 16 outputs a motion detection signal to the controller 18 when it detects the movement of the presentation material. The control unit 18 turns on the backlight 14 and cancels the dimming of the lamps 11 and 11a. After the next presentation material is placed on the document placement table 12a, the dimming operation is performed when the motion detection unit 16 detects a stationary state for a predetermined time or longer.
Since the guide display drawn on the guide display board 13a is identified only by the user and is not incident on the camera 15, for example, even when shooting a small presentation material or a transparent presentation material, the guide display is captured by the camera 15. Not displayed on the screen.

ここで、偏光フィルタ13の偏光角と偏光板15aの偏光角との間の角度が直交関係に対して誤差がある場合には、カメラ15によりガイド表示が誤差に応じて通過する漏れ光成分が撮像されてしまうことになる。バックライトの光量を減光させずにランプ11、11aの光量を減光させるとガイド表示がプレゼンテーション用資料と共に撮像され易くなる。プレゼンテーション装置1はバックライト14を減光した後にランプ11、11aを減光すれば、偏光角の直交関係に誤差がある場合であってもガイド表示は撮像されにくい。   Here, when the angle between the polarization angle of the polarizing filter 13 and the polarization angle of the polarizing plate 15a has an error with respect to the orthogonal relationship, the leakage light component that the guide display passes through the camera 15 according to the error is detected. It will be imaged. If the light amount of the lamps 11 and 11a is reduced without reducing the light amount of the backlight, the guide display is easily imaged together with the presentation material. If the presentation apparatus 1 dimmes the lamps 11 and 11a after dimming the backlight 14, the guide display is difficult to image even if there is an error in the orthogonal relationship of the polarization angles.

図2を用いてプレゼンテーション装置1について更に説明する。
ランプ11、11aの背面には外光受光部18aが設置されておりプレゼンテーションルーム内の照明が検出される。室内照度が所定値以下にされた場合にはランプ11、11aの照度が下げられる。室内の視聴者がランプ11、11aからの漏れ光によるスクリーン照射画像の鑑賞の妨げになるのを防ぐ。
The presentation apparatus 1 will be further described with reference to FIG.
An external light receiving unit 18a is installed on the back of the lamps 11 and 11a to detect illumination in the presentation room. When the room illuminance falls below a predetermined value, the illuminance of the lamps 11 and 11a is lowered. This prevents an indoor viewer from hindering viewing of the screen irradiation image due to light leaked from the lamps 11 and 11a.

図3を用いて原稿載置部12について更に述べる。
原稿載置部12は上部より光透過性の原稿載置台12a、偏光フィルタ13、ガイド表示板13a、及びバックライト14の順で配置されている。ガイド表示板13aには例えばA4の大きさの資料を縦方向、及び横方向に載置する場合に用いるガイド線が記されている。ガイド表示はバックライト14により照射され、照射光は偏光フィルタ13を介して所定の偏光角を有する光として出射される。原稿載置台12aは原稿載置部12に資料が載置され、資料の重さで原稿載置部12が変形しないように設けられている。
The document placement unit 12 will be further described with reference to FIG.
The document placing section 12 is arranged in the order of a light transmissive document placing table 12a, a polarizing filter 13, a guide display plate 13a, and a backlight 14 from the top. On the guide display board 13a, for example, a guide line used when a document having a size of A4 is placed in the vertical direction and the horizontal direction is described. The guide display is irradiated by the backlight 14, and the irradiated light is emitted as light having a predetermined polarization angle through the polarizing filter 13. The document placement table 12a is provided so that a document is placed on the document placement unit 12 and the document placement unit 12 is not deformed by the weight of the document.

図4を用いて偏光角の関係について述べる。
(A)は原稿載置台12aから出射される光を偏光角と共に示す。(B)は偏光板15aを介してカメラ15に入射可能な光を偏光角と共に示す。(A)に示す偏光角と(B)に示す偏光角とは直交(90度)の関係にある。(A)の偏光角の光は偏光板15aを介してカメラ15に入射されることはない。ガイド表示は使用者により認識できるがカメラ15により撮影されない。
The relationship between the polarization angles will be described with reference to FIG.
(A) shows the light radiate | emitted from the original mounting base 12a with a polarization angle. (B) shows the light which can enter the camera 15 through the polarizing plate 15a together with the polarization angle. The polarization angle shown in (A) and the polarization angle shown in (B) are orthogonal (90 degrees). The light having the polarization angle (A) is not incident on the camera 15 via the polarizing plate 15a. The guide display can be recognized by the user but is not photographed by the camera 15.

図5を参照し、ランプ11、11a及びバックライト14の点灯を制御する制御部18について述べる。
まず、動作判定器183には外光受光部18aで受光された室内の照度情報が入力される。室内照度が低いと判定された場合にはランプ11、11a及びバックライト14の減光制御を行う。動き時間計測器181には動き検出部16で検出された「静止情報」又は「動き情報」が入力される。プレゼンテーション用資料が移動させられたと判定するための動き時間の閾値、及び静止状態を判定する静止時間の閾値は予め操作部19が操作されて入力される。動き時間判定器182は「静止情報」の継続時間が予め設定されている閾値時間を超えた場合であり、且つ動作判定器183により室内照度が閾値より低い場合に室内の照度が低いと判定する。室内照度が所定値以下と判定された場合にバックライト制御器184はバックライト14を消灯し、次にランプ制御器185はランプ11、11を減光する。減光時のランプ11、11aの照度を動き検出部16で資料の動き情報が検出可能な明るさの範囲で減光する。
With reference to FIG. 5, the control part 18 which controls lighting of the lamps 11 and 11a and the backlight 14 will be described.
First, the illuminance information in the room received by the external light receiving unit 18a is input to the operation determination unit 183. When it is determined that the room illuminance is low, dimming control of the lamps 11 and 11a and the backlight 14 is performed. The motion time measuring device 181 receives “static information” or “motion information” detected by the motion detector 16. The threshold for the movement time for determining that the presentation material has been moved and the threshold for the stationary time for determining the stationary state are input by operating the operation unit 19 in advance. The movement time determination unit 182 determines that the indoor illuminance is low when the duration of the “still information” exceeds a preset threshold time and the indoor determination is lower than the threshold by the operation determination unit 183. . When it is determined that the room illuminance is equal to or less than the predetermined value, the backlight controller 184 turns off the backlight 14, and then the lamp controller 185 dims the lamps 11 and 11. The illuminance of the lamps 11 and 11a at the time of dimming is dimmed within a brightness range in which the motion detection unit 16 can detect the motion information of the material.

次に、動き検出部16でプレゼンテーション資料に動きがあるとして検出された場合は「動き情報」の継続時間を、予め設定されている閾値時間と比較する。「動き情報」の継続時間が閾値時間を超えた場合にプレゼンテーション用資料が移動されたと判定する。
動き時間判定器182の判定は、動き量と動き時間の両者に対して行う。動き量が所定以上の場合に「動き情報」を出力し、その動き情報が閾値時間を越えたときにプレゼンテーション用資料が移動されたと判定する。動き量閾値を小さな値に設定するとプレゼンテーション用資料に手を触れた場合などで原稿が微少に動いたときに「動き情報」が出力されてしまう。また、プレゼンテーション中に使用者の手がカメラ14aの視野を横切ってしまうこともある。その場合でも「動き情報」が出力される。手がカメラ14aの視野を遮った後には元の画像が得られる。出力される「動き情報」の時間は短い。プレゼンテーション用資料が移動したとして判定しない。「動き情報」の連続して存在する期間を閾値と比較することにより、プレゼンテーション用資料の移動を正しく判定することができる。好ましくないランプ11、11aのオンオフの繰り返しを防ぐことができる。動き量に対する閾値は例えば画像全体のうち70%の領域が一致するとして検出される場合は「動き情報」を出力しない。閾値時間は例えば3秒程度に設定する方法がある。
ランプ11、11a及びバックライト14の照度調整を操作部19に設置される操作ノブを用いて行う方法もある。
Next, when the motion detection unit 16 detects that the presentation material has a motion, the duration of the “motion information” is compared with a preset threshold time. When the duration of “motion information” exceeds the threshold time, it is determined that the presentation material has been moved.
The determination by the movement time determination unit 182 is performed for both the movement amount and the movement time. If the amount of movement is greater than or equal to a predetermined amount, “movement information” is output, and it is determined that the presentation material has been moved when the movement information exceeds a threshold time. If the movement amount threshold is set to a small value, “movement information” is output when the document is moved slightly, such as when the user touches the presentation material. In addition, the user's hand may cross the field of view of the camera 14a during the presentation. Even in this case, “motion information” is output. The original image is obtained after the hand blocks the field of view of the camera 14a. The output “motion information” time is short. It is not determined that the presentation material has moved. By comparing a period in which “motion information” exists continuously with a threshold, it is possible to correctly determine the movement of the presentation material. Undesirable repetition of ON / OFF of the lamps 11 and 11a can be prevented. For example, when it is detected that 70% of the entire image matches the threshold for the amount of motion, “motion information” is not output. For example, there is a method of setting the threshold time to about 3 seconds.
There is also a method of adjusting the illuminance of the lamps 11, 11 a and the backlight 14 by using an operation knob installed in the operation unit 19.

図6を参照してプレゼンテーション装置1の動作の流れについて述べる。
まず、S(ステップ)71でランプ11、11aを点灯し、S72でバックライト14を点灯する。S73ではカメラ15で撮像された画像を出力する。S74ではプレゼンテーション用資料の動きを検出し、S75では検出される静止時間が予め設定される閾値を超えたか否かを検出する。静止時間が予め設定された閾値を超えない場合はS74からの動作を繰り返す。超えた場合はS76でスライド(提示するプレゼンテーション用資料)は最後であるか否かを判断し、最後でない場合にはS77で外光の照度レベルが閾値以下であるか否かを検出する。閾値を越えている場合はS82からのステップに進み、閾値以下として検出された場合にはS78でバックライトを消灯し、S79でカメラ15から出力される画像信号をメモリ17aに記憶し、記憶された画像信号を出力する。次にS81でランプ11、11aを減光し、S82のステップに進む。
The operation flow of the presentation apparatus 1 will be described with reference to FIG.
First, the lamps 11 and 11a are turned on in S (step) 71, and the backlight 14 is turned on in S72. In S73, the image captured by the camera 15 is output. In S74, the movement of the presentation material is detected, and in S75, it is detected whether or not the detected stationary time exceeds a preset threshold value. If the stationary time does not exceed the preset threshold, the operation from S74 is repeated. If exceeded, it is determined in S76 whether or not the slide (presentation material to be presented) is the last, and if it is not the last, it is detected in S77 whether or not the illuminance level of the external light is below the threshold value. If the threshold value is exceeded, the process proceeds to the step from S82. If it is detected that the threshold value is not more than the threshold value, the backlight is turned off in S78, and the image signal output from the camera 15 is stored in the memory 17a in S79. Output the image signal. Next, in S81, the lamps 11 and 11a are dimmed, and the process proceeds to S82.

S82ではプレゼンテーション用資料の動きを検出し、S83で動き時間は閾値を越えたか否かを検出する。S83では動き時間は閾値を越えたか否かを検出する。閾値を越えない場合はS82からの動作を繰り返し、越えたとして検出された場合にはS84で減光したランプの照度を基の照度に戻す。S85で消灯したバックライトの照度を所定の照度に戻す。S86ではカメラ15で撮影した画像信号を処理部17を介して出力し、S74からのステップを繰り返す。S76でスライドは最後であるとして判断された場合にはS87で画像出力をオフとし、S88でバックライトを消灯し、S89でランプを減光又は消灯する。   In S82, the movement of the presentation material is detected, and in S83, it is detected whether or not the movement time exceeds a threshold value. In S83, it is detected whether or not the movement time exceeds a threshold value. When the threshold value is not exceeded, the operation from S82 is repeated. When it is detected that the threshold value is exceeded, the illuminance of the lamp dimmed at S84 is returned to the basic illuminance. The illuminance of the backlight turned off in S85 is returned to a predetermined illuminance. In S86, the image signal captured by the camera 15 is output via the processing unit 17, and the steps from S74 are repeated. If it is determined in S76 that the slide is the last, the image output is turned off in S87, the backlight is turned off in S88, and the lamp is dimmed or turned off in S89.

図7を参照してプレゼンテーション装置の応用構成について述べる。
同図に示すプレゼンテーション装置の原稿載置部120は、図3に示した原稿載置部12に比し、偏光フィルタ13とガイド表示板13aとの間に透明部材13b及びフィルム原稿13cが配置されている点で異なっている。原稿載置部120にはフィルム原稿13cを挿入するための原稿挿入口12bが設けられている。
The application configuration of the presentation apparatus will be described with reference to FIG.
The document placement unit 120 of the presentation apparatus shown in the figure has a transparent member 13b and a film document 13c arranged between the polarizing filter 13 and the guide display plate 13a, as compared to the document placement unit 12 shown in FIG. Is different in that. The document placing portion 120 is provided with a document insertion opening 12b for inserting a film document 13c.

バックライト14に照射されるガイド表示板13aのガイド表示は、偏光フィルタ13を介して所定の偏光角の光で照射される。ガイド表示は偏光板15aで遮断され、カメラ15には入射されない。同様にして、バックライト14と偏光フィルタ13との間に挿入されるフィルム原稿13cの記述内容は使用者からは見ることは出来る一方、カメラ15では撮影されない。使用者はフィルム原稿13cを見ながらプレゼンテーションを行うことが出来る。   The guide display on the guide display plate 13 a irradiated on the backlight 14 is irradiated with light having a predetermined polarization angle via the polarizing filter 13. The guide display is blocked by the polarizing plate 15 a and is not incident on the camera 15. Similarly, the description content of the film original 13c inserted between the backlight 14 and the polarizing filter 13 can be viewed by the user, but is not photographed by the camera 15. The user can make a presentation while viewing the film original 13c.

図8に応用例における原稿載置部120の外観図を示す。
フィルム原稿13cはプレゼンテーション用資料に隣接する位置で読むことが可能であり、フィルム原稿の記述内容はカメラ15により撮影されないためスクリーンには投射されない。フィルム原稿13cは、プレゼンテーション中であってもフィルム原稿13cを原稿挿入口12bから挿入及び交換が可能である。プレゼンター(使用者)はフィルム原稿13cの記述内容13eを参照しながらプレゼンテーションを行うことが出来る。
FIG. 8 shows an external view of the document placing portion 120 in the application example.
The film manuscript 13c can be read at a position adjacent to the presentation material, and the description content of the film manuscript is not photographed by the camera 15 and is not projected on the screen. The film original 13c can be inserted and exchanged from the original insertion port 12b even during a presentation. The presenter (user) can make a presentation while referring to the description content 13e of the film document 13c.

以上のように、実施例で述べたプレゼンテーション装置1によれば、照明光を出射するバックライト14と、前記照明光により照射される基準領域が形成された光透過性のガイド表示板13aと、前記光透過性のガイド表示板を透過した前記照明光からP偏光光(S偏光光)を生成し、前記P偏光光又はS偏光光を前記光透過性の載置台に出射させる偏光フィルタ13と、撮像カメラの撮像側に配置された前記光透過性の載置台を透過した前記P偏光光(前記S偏光光)を透過させずに、前記被写体光のS偏光光(前記P偏光光)を透過させる偏光板15aとを有するので、撮像カメラにより撮像され、投影される被写体をスクリーン上の所定の位置に配置させるためのガイド表示を使用者に対して行うと共に、ガイド表示は撮像カメラにより撮影されなく、提示用資料のみがスクリーンに投影されるようにした簡易な構成のプレゼンテーション装置及びプレゼンテーション方法を実現出来ている。   As described above, according to the presentation apparatus 1 described in the embodiment, the backlight 14 that emits illumination light, the light-transmissive guide display board 13a in which the reference region irradiated with the illumination light is formed, A polarizing filter 13 for generating P-polarized light (S-polarized light) from the illumination light transmitted through the light-transmissive guide display plate, and emitting the P-polarized light or S-polarized light to the light-transmissive mounting table; The S-polarized light (the P-polarized light) of the subject light is transmitted without transmitting the P-polarized light (the S-polarized light) transmitted through the light-transmissive mounting table disposed on the imaging side of the imaging camera. Since the polarizing plate 15a is transmitted, a guide display for arranging a subject imaged and projected by the imaging camera at a predetermined position on the screen is performed to the user, and the guide display is performed by the imaging camera. Not been taken, only the presentation material is able to realize a presentation device and the presentation method of simple configuration so as to be projected on the screen.

さらに、原稿載置部120にフィルム原稿13cを表示させる領域を設け、カメラ15に撮影させることなく使用者はスクリーンに投射されないフィルム原稿を見ながらプレゼンテーションをスムーズに進光させることが出来る。   Further, an area for displaying the film original 13c is provided on the original placement unit 120, and the user can smoothly advance the presentation while watching the film original not projected on the screen without causing the camera 15 to take an image.

書類や立体物などの資料を撮像し、プロジェクタ投影用画像信号として出力するプレゼンテーション装置に適用できる。   The present invention can be applied to a presentation device that takes an image of a document or a three-dimensional object and outputs it as a projector projection image signal.

本発明の実施に係るプレゼンテーション装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the presentation apparatus which concerns on implementation of this invention. 本発明の実施に係るプレゼンテーション装置の外観を示す斜視図である。It is a perspective view which shows the external appearance of the presentation apparatus which concerns on implementation of this invention. 本発明の実施に係るプレゼンテーション装置の要部の構成例を示す斜視図である。It is a perspective view which shows the structural example of the principal part of the presentation apparatus which concerns on implementation of this invention. 本発明の実施に係る動作を説明するための斜視図である。It is a perspective view for demonstrating the operation | movement which concerns on implementation of this invention. 本発明の実施に係るプレゼンテーション装置の要部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the principal part of the presentation apparatus which concerns on implementation of this invention. 本発明の実施に係るプレゼンテーション装置の動作をフローチャートで示した図である。It is the figure which showed the operation | movement of the presentation apparatus based on implementation of this invention with the flowchart. 本発明の実施に係るプレゼンテーション装置の要部の応用構成例を示す斜視図である。It is a perspective view which shows the application structural example of the principal part of the presentation apparatus which concerns on implementation of this invention. 本発明の実施に係るプレゼンテーション装置の要部の外観を示す斜視図である。It is a perspective view which shows the external appearance of the principal part of the presentation apparatus which concerns on implementation of this invention.

符号の説明Explanation of symbols

1 プレゼンテーション装置
11、11a ランプ
12、120 原稿載置部
12a 原稿載置台
13 偏光フィルタ
13a ガイド表示板
14 バックライト
15 カメラ
15a 偏光板
16 動き検出部
16a メモリ
17 処理部
17a メモリ
18 制御部
18a 外光受光部
19 操作部
181 動き時間計測器
182 動き時間判定器
183 動作判定器
184 バックライト制御器
185 ランプ制御器
DESCRIPTION OF SYMBOLS 1 Presentation apparatus 11, 11a Lamp 12, 120 Document mounting part 12a Document mounting base 13 Polarizing filter 13a Guide display board 14 Backlight 15 Camera 15a Polarizing plate 16 Motion detection part 16a Memory 17 Processing part 17a Memory 18 Control part 18a External light Light receiver 19 Operation unit 181 Motion time measuring device 182 Motion time determiner 183 Motion determiner 184 Backlight controller 185 Lamp controller

Claims (2)

光透過性の載置台に載置された被写体にランプから出射された光を照射して反射された被写体光を撮像カメラで撮影し、プレゼンテーションを行うプレゼンテーション装置において、
前記被写体の動きを検出する動き検出部と、
室内の照度を検出する外光受光部と、
照明光を出射するバックライトと、
前記照明光により照射される基準領域が形成された光透過性のガイド表示板と、
前記被写体の動きと前記室内の照度に基づいて、前記ランプ及び前記バックライトから出射される光量を制御する制御部と、
前記光透過性のガイド表示板を透過し前記制御部により光量が制御され、前記バックライトから出射された照明光からP偏光光又はS偏光光のいずれかの偏光光を生成し、前記生成した偏光光を前記光透過性の載置台に出射る偏光フィルタと、
撮像カメラの撮像側に配置された前記光透過性の載置台を透過した前記偏光を過せずに、前記光透過性の載置台を透過した前記偏光光と直交し、かつ前記制御部により光量が制御され、前記ランプから出射されて前記被写体で反射された前記被写体光の偏光を透過る偏光板と、
を有することを特徴とするプレゼンテーション装置。
In a presentation device that shoots a subject light reflected by irradiating light emitted from a lamp onto a subject placed on a light-transmissive placement table, and gives a presentation,
A motion detector for detecting the motion of the subject;
An external light receiving unit for detecting the illuminance in the room;
A backlight that emits illumination light;
A light-transmissive guide display plate in which a reference region irradiated with the illumination light is formed;
A control unit for controlling the amount of light emitted from the lamp and the backlight based on the movement of the subject and the illuminance in the room;
Transmitted through the light transmissive guide display panel, the light quantity is controlled by the control unit, to generate either polarized light of P-polarized light or S-polarized light from the illumination light emitted from the backlight, the product a polarizing filter for polarizing the light you emitted to the light transmissive table that,
Without spend before Symbol permeable to Kihen light before passing through the light transmissive table arranged on the imaging side of the imaging camera, and perpendicular to the polarized light transmitted through the light-transmitting of the mounting table, and quantity is controlled by the control unit, and a polarizing plate you transmit polarized light is emitted from the lamp is reflected by the object the object light,
A presentation apparatus characterized by comprising:
光透過性の載置台に載置された被写体にランプから出射された光を照射して反射された被写体光を撮像カメラで撮影する撮影方法において、
前記被写体の動きを検出し、
室内の照度を検出し、
バックライトから出射した照明光を基準領域が形成された光透過性のガイド表示板に照射し、
前記被写体の動きと前記室内の照度に基づいて、前記ランプ及び前記バックライトから出射される光量を制御し、
前記光透過性のガイド表示板を透過し、光量が制御され、前記バックライトから出射された照明光を偏光フィルタに照射し、
前記偏光フィルタでP偏光光又はS偏光光のいずれかの偏光光を生成し、前記生成した偏光光を前記光透過性の載置台に出射
偏光板により前記光透過性の載置台を透過した前記偏光を過せずに、前記光透過性の載置台を透過した前記偏光光と直交し、かつ光量が制御され、前記ランプから出射されて前記被写体で反射された前記被写体光の偏光光を透過て前記撮像カメラで撮影す
とを特徴とする撮影方法。
In a shooting method for shooting a subject light reflected by irradiating light emitted from a lamp to a subject placed on a light-transmissive mounting table with an imaging camera,
Detecting the movement of the subject,
Detect indoor illuminance,
Irradiate illumination light emitted from the backlight onto a light-transmissive guide display board on which a reference area is formed,
Based on the movement of the subject and the illuminance in the room, the amount of light emitted from the lamp and the backlight is controlled,
The light transmitting guide display plate is transmitted , the amount of light is controlled, and the illumination light emitted from the backlight is irradiated to the polarizing filter,
The polarizing filter to generate either polarized light of P-polarized light or S-polarized light, emitted from the polarization light the product to the light transmitting the mounting table,
The Kihen light before passing through the light transparent table without Toru spend the polarizing plate, the transmitted through the light transmissive of the table orthogonal to the polarized light, and the light amount is controlled, from the lamp Shoots by the imaging camera through the polarized light of the subject light reflected by the exit has been the subject
Imaging method, wherein a call.
JP2005230447A 2005-08-09 2005-08-09 Presentation device and photographing method Expired - Fee Related JP4529137B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005230447A JP4529137B2 (en) 2005-08-09 2005-08-09 Presentation device and photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005230447A JP4529137B2 (en) 2005-08-09 2005-08-09 Presentation device and photographing method

Publications (2)

Publication Number Publication Date
JP2007049333A JP2007049333A (en) 2007-02-22
JP4529137B2 true JP4529137B2 (en) 2010-08-25

Family

ID=37851812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005230447A Expired - Fee Related JP4529137B2 (en) 2005-08-09 2005-08-09 Presentation device and photographing method

Country Status (1)

Country Link
JP (1) JP4529137B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5023829B2 (en) * 2007-06-15 2012-09-12 富士ゼロックス株式会社 Image recording apparatus and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05219501A (en) * 1991-05-31 1993-08-27 Nippon Telegr & Teleph Corp <Ntt> Picture communication system
JPH09238275A (en) * 1996-02-21 1997-09-09 Samsung Aerospace Ind Ltd Video device incorporating illumination function in head part
JP2001169146A (en) * 1999-12-09 2001-06-22 Nippon Avionics Co Ltd Image pickup optical system for image input device
JP2005117533A (en) * 2003-10-10 2005-04-28 Nec Viewtechnology Ltd Material presentation apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05219501A (en) * 1991-05-31 1993-08-27 Nippon Telegr & Teleph Corp <Ntt> Picture communication system
JPH09238275A (en) * 1996-02-21 1997-09-09 Samsung Aerospace Ind Ltd Video device incorporating illumination function in head part
JP2001169146A (en) * 1999-12-09 2001-06-22 Nippon Avionics Co Ltd Image pickup optical system for image input device
JP2005117533A (en) * 2003-10-10 2005-04-28 Nec Viewtechnology Ltd Material presentation apparatus

Also Published As

Publication number Publication date
JP2007049333A (en) 2007-02-22

Similar Documents

Publication Publication Date Title
CN104730827B (en) The control method of projecting apparatus, optical projection system and projecting apparatus
US10051251B2 (en) Video projector with automated image enhancement
JP5023587B2 (en) Image display device and image display method
CN104062829A (en) Projection type display device and control method thereof
JP5298425B2 (en) Projector and camera
CN104658462B (en) The control method of projector and projector
KR101171491B1 (en) Auto screen adjusting apparatus for beam projector
JP2006522559A (en) Facilities and methods to enable eye contact between video conference participants
CN104898894A (en) Position detecting device and position detecting method
CN115086624A (en) Projection control device, spatial projection system, and spatial projection method
JP2010034820A (en) Projector, control method of projector, and control program
JP4529137B2 (en) Presentation device and photographing method
JP4047554B2 (en) Illumination method, illumination device, display method, display device, and photographing system
JP2012027104A (en) Display device
JPWO2015025485A1 (en) Imaging device and strobe device
JP4462145B2 (en) Presentation device and presentation method
JP2012181721A (en) Position input device, projector, control method for projector, and display system
JP2005292563A (en) Projector
JPH11271675A (en) Projector system
JP2018537884A (en) How to take a picture with a mobile device
JP4332856B2 (en) Presentation device
JP2005258456A (en) Projection display device
JP2004198817A (en) Presentation device
JP2004077958A (en) Photographic print preparing apparatus
JP2012027302A (en) Imaging apparatus with projection function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100514

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100527

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees