JP4770197B2 - Presentation control apparatus and program - Google Patents
Presentation control apparatus and program Download PDFInfo
- Publication number
- JP4770197B2 JP4770197B2 JP2005052680A JP2005052680A JP4770197B2 JP 4770197 B2 JP4770197 B2 JP 4770197B2 JP 2005052680 A JP2005052680 A JP 2005052680A JP 2005052680 A JP2005052680 A JP 2005052680A JP 4770197 B2 JP4770197 B2 JP 4770197B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pointer
- projector
- projection
- projection range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、例えばプロジェクタによる投影画像を用いて行うプレゼンテーションを支援するためのプレゼンテーション制御装置に関する。 The present invention relates to a presentation control apparatus for supporting a presentation performed using, for example, a projection image by a projector.
パーソナルコンピュータで作成した資料画像を用いてプレゼンテーションを行う際は、当該パーソナルコンピュータにて作成・記録したプレゼンテーションの画像データをプロジェクタによって光学画像に変換しスクリーン上に投影している。 When a presentation is performed using a document image created by a personal computer, presentation image data created and recorded by the personal computer is converted into an optical image by a projector and projected onto a screen.
そして、このようなプレゼンテーションを実際に行う場合には、プレゼンテーション画像を投影しているスクリーン上の任意の位置を指し示すために、可視光レーザを用いたレーザポインタが使用される。 When such a presentation is actually performed, a laser pointer using a visible light laser is used to indicate an arbitrary position on the screen on which the presentation image is projected.
従来、レーザポインタによるレーザ光で指定されているスクリーン上の投影画像をカメラで撮影し、このカメラで撮影した投影画像上のレーザポインタの移動状態を検出して、マウス動作データとしてプレゼン画像出力元のパーソナルコンピュータへ送信する装置が考えられている(例えば、特許文献1参照。)。 Conventionally, a projected image on the screen specified by the laser beam from the laser pointer is captured by a camera, the movement state of the laser pointer on the projected image captured by this camera is detected, and a presentation image output source as mouse operation data An apparatus for transmitting to a personal computer is considered (for example, see Patent Document 1).
また、プロジェクタに内蔵したカメラによってスクリーン上の投影画像を撮影し、プレゼン画像のページ送りやページ戻しなどのコマンドをパソコンに送信する装置が考えられている(例えば、特許文献2参照。)。 In addition, there has been considered an apparatus that captures a projected image on a screen with a camera built in a projector and transmits commands such as page-forward and page-return of a presentation image to a personal computer (for example, see Patent Document 2).
さらに、スクリーン上の投影画像を撮影するカメラをプレゼン画像出力元のパーソナルコンピュータに接続し、当該パーソナルコンピュータでの撮影画像の解析によりレーザポインタの指示位置を検出し、このポインタ位置に応じてプレゼン画像を加工して出力する装置も考えられている(例えば、特許文献3参照。)。
前記従来のプレゼンテーションを支援する装置では、その何れの装置もプロジェクタによってクリーン上に投影された投影画像をカメラによって撮影し、この撮影された投影画像に基づいて、レーザポインタによる指示位置の検出などを行うことができるものの、この場合には、投影画像の座標領域と撮影画像の座標領域とが合うように、カメラによる撮影範囲をスクリーン上に投影された投影画像の範囲にうまく合わせる必要があり、当該カメラの設置位置や画角の設定が非常にシビアで面倒な問題がある。 In the conventional devices that support the presentation, any of the devices captures a projected image projected on a clean screen by a projector, and detects a designated position by a laser pointer based on the captured projection image. Although it is possible to do this, in this case, it is necessary to match the shooting range by the camera well with the range of the projection image projected on the screen so that the coordinate area of the projection image matches the coordinate area of the shot image, There is a problem that the installation position and angle of view of the camera are very severe and troublesome.
本発明は、前記のような問題に鑑みなされたもので、好適なプレゼンテーションが可能になるプレゼンテーション制御装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a presentation control apparatus that enables suitable presentation .
本発明の請求項1に記載のプレゼンテーション制御装置は、プロジェクタによって投影される画像と該投影画像上のポインタによる光点とを撮影するカメラを有し、前記プロジェクタに出力して投影すべき画像データを制御するプレゼンテーション制御装置であって、特定の色の画像データをプロジェクタに出力して投影させる特定画像投影制御手段と、この特定画像投影制御手段により特定の色の画像データがプロジェクタによって投影されている状態で、前記カメラによる撮影画像内の背景画像に対する前記特定の色の画像のエッジを検出するエッジ検出手段と、このエッジ検出手段によって検出されたエッジに基づき、当該撮影画像に含まれる投影範囲に対応した位置の座標情報を取得する投影範囲位置取得手段と、この投影範囲位置取得手段により取得されたプロジェクタ投影範囲の位置の座標情報に基づき、当該投影範囲内での画像上の前記ポインタによる光点の座標を取得するポインタ指示座標取得手段と、このポインタ指示座標取得手段により取得されたプロジェクタ投影範囲でのポインタによる光点の座標に対応させて、当該ポインタによる光点の周辺の一定小領域の画像輝度を一定割合さげる画像を合成するポインタ強調表示制御手段と、を備えたことを特徴とする。
The presentation control apparatus according to
本発明の請求項2に記載のプレゼンテーション制御装置は、前記請求項1に記載のプレゼンテーション制御装置にあって、前記特定画像投影制御手段は、プレゼンテーション画像を当該プロジェクタによってスクリーンへ投影する以前に、初期設定専用の画像として、前記特定の色の画像データをプロジェクタに出力して投影させることを特徴とする。
本発明の請求項3に記載のプレゼンテーション制御装置は、前記請求項1または請求項2に記載のに記載のプレゼンテーション制御装置にあって、前記特定画像投影制御手段は、全領域黒色とした画像データをプロジェクタに出力して投影させることを特徴とする。
本発明の請求項4に記載のプレゼンテーション制御装置は、前記請求項1ないし請求項3の何れか1項に記載のプレゼンテーション制御装置にあって、前記投影範囲位置取得手段によって取得された投影範囲の歪みを補正する補正手段をさらに備えたことを特徴とする。
本発明の請求項5に記載のプレゼンテーション制御装置は、前記請求項1ないし請求項4の何れか1項に記載のプレゼンテーション制御装置にあって、前記ポインタ指示座標取得手段は、前記投影範囲位置取得手段により取得されたプロジェクタ投影範囲の位置の座標情報に基づいた当該投影範囲内の画像の各画素データから閾値以上の輝度のある画素データを検出し、この検出された画素の位置の座標を前記ポインタによる光点の座標として取得することを特徴とする。
The presentation control device according to
The presentation control apparatus according to claim 3 of the present invention is the presentation control apparatus according to
A presentation control device according to a fourth aspect of the present invention is the presentation control device according to any one of the first to third aspects, wherein the projection range acquired by the projection range position acquisition means is the same. The image processing apparatus further includes correction means for correcting distortion.
The presentation control device according to
本発明の請求項6に記載のプレゼンテーション制御装置は、前記請求項1ないし請求項5の何れか1項に記載のプレゼンテーション制御装置にあって、前記ポインタ指示座標取得手段により取得されたプロジェクタ投影範囲でのポインタによる光点の座標に対応するところの前記撮影画像の画素の変調パターンを検出して制御コマンドを判断するコマンド判断手段と、このコマンド判断手段により判断された制御コマンドに応じて前記プロジェクタに出力して投影すべき画像データを制御する投影画像制御手段と、をさらに備えたことを特徴とする。
本発明の請求項7に記載の発明は、プロジェクタによって投影される画像と該投影画像上のポインタによる光点とを撮影するカメラを有し、前記プロジェクタに出力して投影すべき画像データを制御するプレゼンテーション制御装置のプログラムであって、特定の色の画像データをプロジェクタに出力して投影させる特定画像投影制御機能と、この特定画像投影制御機能により特定の色の画像データがプロジェクタによって投影されている状態で、前記カメラによる撮影画像内の背景画像に対する前記特定の色の画像のエッジを検出するエッジ検出機能と、このエッジ検出機能によって検出されたエッジに基づき、当該撮影画像に含まれる投影範囲に対応した位置の座標情報を取得する投影範囲位置取得機能と、この投影範囲位置取得機能により取得されたプロジェクタ投影範囲の位置の座標情報に基づき、当該投影範囲内での画像上の前記ポインタによる光点の座標を取得するポインタ指示座標取得機能と、このポインタ指示座標取得機能により取得されたプロジェクタ投影範囲でのポインタによる光点の座標に対応させて、当該ポインタによる光点の周辺の一定小領域の画像輝度を一定割合さげる画像を合成するポインタ強調表示制御機能と、を実現させることを特徴とする。
A presentation control apparatus according to a sixth aspect of the present invention is the presentation control apparatus according to any one of the first to fifth aspects, wherein the projector projection range is acquired by the pointer instruction coordinate acquisition means. Command determining means for determining a control command by detecting a modulation pattern of a pixel of the photographed image corresponding to the coordinates of the light spot by the pointer, and the projector according to the control command determined by the command determining means And a projection image control means for controlling image data to be output and projected.
The invention according to claim 7 of the present invention includes a camera that captures an image projected by a projector and a light spot by a pointer on the projected image, and controls image data to be output to the projector and projected. A program for a presentation control device that outputs a specific color image data to a projector and projects the specific color image data, and the specific image projection control function projects the specific color image data by the projector. An edge detection function for detecting an edge of the image of the specific color with respect to a background image in a photographed image by the camera, and a projection range included in the photographed image based on the edge detected by the edge detection function Projection range position acquisition function that acquires coordinate information of the position corresponding to, and this projection range position acquisition function Based on the coordinate information of the position of the acquired projector projection range Ri, and a pointer indicated coordinate obtaining function for obtaining a light spot of coordinates by the pointer on the image within the projection range, obtained by this pointer pointing coordinate acquisition function And a pointer emphasis display control function for compositing an image that reduces the image brightness of a certain small area around the light spot by the pointer by a certain ratio in correspondence with the coordinates of the light spot by the pointer in the projector projection range. It is characterized by.
本発明のプレゼンテーション制御装置によれば、好適なプレゼンテーションが可能になる。 According to the presentation control apparatus of the present invention, the preferred presentation is possible.
以下図面により本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
(第1実施形態)
図1は、本発明の実施形態に係るプレゼンテーション制御装置10を組み込んだプレゼンテーションシステムの外観構成を示す図である。
(First embodiment)
FIG. 1 is a diagram showing an external configuration of a presentation system incorporating a
図2は、前記プレゼンテーション制御装置10を組み込んだプレゼンテーションシステムの接続構成を示す図である。
FIG. 2 is a diagram showing a connection configuration of a presentation system in which the
プレゼンテーション制御装置10は、プレゼンテーション用画像データの出力元になるパーソナルコンピュータ(PC)11と、このパーソナルコンピュータ(PC)11から出力されたプレゼンテーション用画像データを光学画像Gに変換してスクリーン12上に投影するためのプロジェクタ13との間に接続され、このプレゼンテーション制御装置10は、前記スクリーン12上にその投影範囲14として投影された画像(G)を撮影するためのCCDカメラ部15を備えている。
The
プレゼンテーション制御装置10において、カメラ部15により撮影された前記スクリーン12上の投影画像(G)はモニタ部16によってモニタ表示される。
In the
ここで、カメラ部15によるスクリーン13上での投影画像Gの撮像範囲17は、当該投影画像の投影範囲14が十分収まる範囲とすればよく、撮像範囲17を投影範囲14に必ずしも合わせる必要はないので、カメラ部15による撮影方向の設定作業は簡単に行うことができる。
Here, the
プレゼンテーション用画像Gの投影表示されたスクリーン12上は、そのプレゼンテーションに伴い任意の位置がレーザポインタ18により指示され、このレーザポインタ18の可視光レーザによる画像G上での指定位置Pは、カメラ部15による投影画像Gの撮像に伴い撮影され、前記モニタ部16においても同様にモニタ表示される。
On the
また、前記モニタ部16におけるモニタ画面上には、透明のタッチパネル部19が重ねて設けられ、当該モニタ画面上でのユーザによるタッチ操作に応じた指示位置が座標位置として検出される。
In addition, a transparent
また、プレゼンテーション制御装置10は、電源のON/OFF設定や動作モードを初期設定モードとプレゼンテーション制御モードとで切り換えるためのキー・ボタンなどによるユーザI/F部20を備えている。
In addition, the
すなわち、このようなプレゼンテーション制御装置10において、初期設定モードの設定状態では、カメラ部15により撮影されたスクリーン12上の投影画像Gがモニタ部16に表示される。そして、このモニタ部16に表示された投影画像Gの表示画面にあって、例えば図1に示すように、カメラ部15による撮像範囲17の中に収まっている投影画像Gの四隅、つまり投影範囲14の4つの角の点a,b,c,dをユーザによって指示操作すると、当該投影範囲(画像G)14上の4角の座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)がそれぞれタッチパネル部19により検出され、これに基づき投影範囲(画像G)14上での全領域でのXY方向の座標値、つまりはパーソナルコンピュータ(PC)11から出力されてプロジェクタ13によってスクリーン12上に投影されているプレゼンテーション用の画像領域に関する座標値(X,Y)が管理される。
That is, in such a
図3は、前記プレゼンテーション制御装置10の電子回路の構成を示すブロック図である。
FIG. 3 is a block diagram showing a configuration of an electronic circuit of the
プレゼンテーション制御装置10の電子回路は、メインコントローラ(CPU)21によって回路各部の動作が制御されるもので、その制御プログラムはメモリ部22内のROMに予め記憶される。メモリ部22内のROMに予め記憶される制御プログラムとしては、このプレゼンテーション制御装置10の全体の動作を司るメイン処理プログラムを主体として、初期設定モード処理プログラム、プレゼンテーション制御モードプログラム、そしてこのプレゼンテーション制御モードプログラムのサブルーチンであるポインタ指示位置検出処理プログラムなどが記憶される。
The electronic circuit of the
メインコントローラ(CPU)21には、前記メモリ部22をはじめ、カメラ部15、モニタ部16、タッチパネル部19、ユーザI/F部20が接続される他に、パーソナルコンピュータ(PC)11との間での入出力制御を行うためのPC−I/F部23、プロジェクタ13との間での入出力制御を行うためのプロジェクタI/F部24、DVD,CD,FD,メモリカードなどの各種の外部記録メディアとの間での入出力制御を行うためのメディアI/F部25が接続される。
The main controller (CPU) 21 is connected to the personal computer (PC) 11 in addition to the
図4は、前記プレゼンテーション制御装置10のメモリ部22内のRAMに備えられる各種データメモリの構成を示す図である。
FIG. 4 is a diagram showing the configuration of various data memories provided in the RAM in the
メモリ部22内のRAMには、プレゼンテーション画像メモリ22a、投影状態撮影画像メモリ22b、投影範囲指示位置メモリ22c、投影モニタ表示補正パラメータメモリ22d、投影モニタ表示補正画像メモリ22e、ポインタ検出座標メモリ22f、解析コマンドメモリ22g、ポインタ強調用合成画像メモリ22hなど、各種のデータが一時記憶される作業用メモリが備えられる。
The RAM in the
プレゼンテーション画像メモリ22aには、パーソナルコンピュータ(PC)11から転送されてプロジェクタ13へ出力すべきプレゼンテーション用の画像データ(G)が記憶される。
The
投影状態撮影画像メモリ22bには、カメラ部15により撮影されたスクリーン12上の投影画像データが記憶される。
Projection image data on the
投影範囲指示位置メモリ22cには、初期設定モードにおけるモニタ部16での投影画像Gの表示状態にあってその投影範囲14に対応する4角の点a,b,c,dのユーザ指示操作に伴いタッチパネル19により検出された各座標データa(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)が記憶される。
The projection range
投影モニタ表示補正パラメータメモリ22dには、スクリーン12に対するカメラ部15の設置位置や撮影画角に応じて、モニタ部16に撮影表示された投影画像Gが台形状の画像として表示されるなどの撮影歪みが生じた場合に、前記投影範囲指示位置メモリ22cに記憶された投影範囲14に対応する4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)に基づき計算された画像歪み量に応じて、投影モニタ表示用の歪み補正パラメータが算出されて記憶される。
In the projection monitor display
投影モニタ表示補正画像メモリ22eには、前記投影モニタ表示補正パラメータメモリ22dに記憶された投影モニタ表示用の歪み補正パラメータに応じて歪み補正された後の投影画像Gが記憶される。
The projection monitor display corrected
ポインタ検出座標メモリ22fには、前記投影範囲指示位置メモリ22cに記憶された投影範囲14に対応する4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)に囲まれる領域のXY座標に基づき検出計算されたレーザポインタ18による指示位置座標P(X,Y)が記憶される。
The pointer detection coordinate
解析コマンドメモリ22gには、スクリーン12上の投影画像Gに対するレーザポインタ18による指示光の変調パターンが、前記投影状態撮影画像メモリ22bに撮影されながら更新記憶される投影画像データ内でのレーザ光の入射パターンを検出することで解析され、この指示光変調パターンに対応したコマンドコード(プレゼン画像の頁送り/頁戻しコマンドなど)が記憶される。
In the
ポインタ強調用合成画像メモリ22hには、前記プロジェクタ13によってスクリーン12に投影しているプレゼンテーション画像(22a)にあって、レーザポインタ18による指示位置Pの周辺小領域の画像輝度を画像合成により下げることで当該レーザポインタ18による指示位置Pを強調して表示させるためのマスク画像データM(図10参照)が記憶される。
The pointer emphasizing
次に、前記構成のプレゼンテーション制御装置10を組み込んだプレゼンテーションシステムの動作について説明する。
Next, the operation of the presentation system incorporating the
このプレゼンテーションシステムでは、まず、プレゼンテーション制御装置10のカメラ部15によって撮影されてモニタ部16にてモニタ表示されるプレゼンテーション画像(撮影画像)Gに基づき、その投影範囲14の4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)を取得し、投影モニタ表示用の歪み補正パラメータを取得するための初期設定処理が行われる。
In this presentation system, first, based on a presentation image (captured image) G photographed by the
図5は、前記プレゼンテーション制御装置10による第1実施形態の初期設定処理を示すフローチャートである。
FIG. 5 is a flowchart showing the initial setting process of the first embodiment by the
この初期設定処理は、例えばパーソナルコンピュータ(PC)11によって初期のプレゼンテーション画像Gまたはそのテスト画像が出力されプロジェクタ13によってスクリーン12に投影表示された状態で実施される。
This initial setting process is performed, for example, in a state where an initial presentation image G or a test image thereof is output by the personal computer (PC) 11 and projected and displayed on the
プレゼンテーション制御装置10において、初期設定処理が起動されると、カメラ部15によって撮影されているスクリーン12上の投影画像Gが取り込まれモニタ部16によってモニタ表示される(ステップA1)。
In the
ここで、モニタ部16にてモニタ表示されている投影画像Gに対して、例えば図1で示したように、その投影範囲14の4角の点a,b,c,dについて、矢印j,kに示すように、タッチ操作によって指示すると、このモニタ表示上での投影範囲14の4点指示位置それぞれの座標がタッチパネル19によって検出され、a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)としてメモリ部22内の投影範囲指示位置メモリ22cに記憶される(ステップA2)。
Here, with respect to the projection image G displayed on the monitor by the
すると、モニタ部16に撮影表示された投影画像Gが台形状の画像として表示されるなどの撮影歪みが生じている場合に、前記投影範囲指示位置メモリ22cに記憶された投影範囲14に対応する4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)に基づき計算された画像歪み量に応じて、投影モニタ表示用の歪み補正パラメータが算出され、投影モニタ表示補正パラメータメモリ22dへ記憶される(ステップA3)。
Then, when a shooting distortion occurs such that the projected image G photographed and displayed on the
図6は、前記プレゼンテーション制御装置10によるプレゼンテーション制御処理を示すフローチャートである。
FIG. 6 is a flowchart showing a presentation control process by the
図7は、前記プレゼンテーション制御装置10によるプレゼンテーション制御処理に伴うポインタ指示位置検出処理を示すフローチャートである。
FIG. 7 is a flowchart showing a pointer indication position detection process accompanying the presentation control process by the
このプレゼンテーション制御処理が起動されると、パーソナルコンピュータ(PC)11から転送されてメモリ22内のプレゼンテーション画像メモリ22aに書き込まれるプレゼンテーション画像データGがプロジェクタ13に出力され、光学画像に変換されてスクリーン12に対して投影されて表示される(ステップB1)。
When this presentation control process is activated, presentation image data G transferred from the personal computer (PC) 11 and written in the
図8は、前記プレゼンテーション制御装置10のカメラ部15により撮影されて投影状態撮影画像メモリ22bに記憶されると共にモニタ部16に表示されるプレゼンテーション画像Gを示す図である。
FIG. 8 is a diagram showing a presentation image G that is photographed by the
このカメラ部15により撮影されてモニタ表示されているプレゼンテーション画像Gにおける投影範囲14の4角の座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)は、前記初期設定処理でのステップA2における同モニタ表示画面上でのユーザ指示操作に伴い検出されて投影範囲指示位置メモリ22cに記憶されている。
Four coordinates a (x1, y1), b (x2, y2), c (x3, y3), d (x4, d4) of the
前記ステップB1におけるプレゼンテーション画像Gのプロジェクタ13による投影表示処理の後、図7におけるポインタ指示位置検出処理(ステップBS)に移行されると、当該スクリーン12に投影表示されているプレゼンテーション画像Gがカメラ部15により撮影されて投影状態撮影画像メモリ22bに記憶され、モニタ部15においてモニタ表示される(ステップS1)。
After the projection display process of the presentation image G by the
すると、前記カメラ部15により撮影されてモニタ表示されているプレゼンテーション画像Gについて、当該カメラ部15の設置位置や画角設定に応じてモニタ画像が台形状に表示されるなどの歪みが生じている場合には、前記初期設定処理に伴い予め計算されて投影モニタ表示補正パラメータメモリ22dに記憶されている投影モニタ表示用の歪み補正パラメータが読み出され、モニタ中の撮影画像歪みが補正されて投影モニタ表示補正画像メモリ22に記憶されると共にモニタ部16に表示される(ステップS2)。
Then, the presentation image G photographed by the
これにより、モニタ部16によってモニタ表示されるスクリーン12上の投影画像(プレゼンテーション画像G)は、カメラ部15の設置位置や画角設定に関わらず歪み無くモニタ表示される。
Thereby, the projected image (presentation image G) on the
一方、カメラ部15により撮影されて投影状態撮影画像メモリ22bに記憶されている投影画像について、投影範囲指示位置メモリ22cに記憶されている投影範囲14を定める4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)に従い、当該投影範囲14内の画像データの各画素データの中から、所定の閾値を超える画素データを有する画素位置が検索され(ステップS3)、この検索された画素位置の前記4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)により定められた投影範囲14内でのXY座標値が、レーザポインタ18による指示位置P(X,Y)として計算され、ポインタ検出座標値メモリ22fに記憶される(ステップS4)。
On the other hand, four-point coordinates a (x1, y1) defining the
これにより、カメラ部15による撮影範囲17とスクリーン12上に投影されているプレゼンテーション画像Gの投影範囲14を合わせなくても、ユーザ指定に応じた4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)により定められる投影範囲14内でのレーザポインタ18による指示位置座標P(X,Y)を、正確に検出することができる。
Thus, the four-point coordinates a (x1, y1), b (x2) according to the user designation can be obtained without matching the
こうして、スクリーン12に対するプレゼンテーション画像Gの投影範囲14内でのレーザポインタ18による指示位置座標P(X,Y)が検出されると、この指示位置座標Pの画素データの変化に従いレーザポインタ18によるレーザ光の変調パターンが検出される(ステップS5)。
Thus, when the designated position coordinate P (X, Y) by the
図9は、前記プレゼンテーション制御装置10でのプレゼンテーション制御処理に伴いカメラ撮影したスクリーン12上の投影画像から検出可能なレーザポインタ18によるレーザ光の各変調パターンに対応したコマンドの内容を示す図である。
FIG. 9 is a diagram showing the contents of commands corresponding to each modulation pattern of the laser beam by the
すなわち、前記ステップS3,S4により検出された撮影投影画像範囲(14)内でのレーザポインタ18による指示位置座標P(X,Y)に対応したところの画素データの“1”“0”変化に従いそのレーザ光の変調パターンが検出され(ステップS5)、予め記憶された図9に示すような各コマンド毎の変調パターンとの比較一致の有無により、レーザポインタ18によるプレゼンテーション制御へのコマンドの有無およびその内容が判断される(ステップS6)。
That is, according to the change of “1” and “0” of the pixel data corresponding to the designated position coordinate P (X, Y) by the
ここで、前記スクリーン12上の投影画像(14)に対するレーザポインタ18による指示操作に伴い、ページ送りコマンドやページ戻しコマンドがあったと判断された場合には、このページ制御コマンドはパーソナルコンピュータ(PC)11へ送信され、現在投影表示中のプレゼンテーション画像のページ送り制御やページ戻し制御が行われる(ステップS6→S7)。
Here, when it is determined that there is a page feed command or a page return command in response to an instruction operation by the
これにより、プロジェクタ13によってスクリーン12に投影しているプレゼンテーション画像G(22a)に対するレーザポインタ18による指示位置座標P(X,Y)を容易に検出できるだけでなく、当該レーザポインタ18が出力するレーザ光の変調パターンに従った制御コマンドも検出することができ、プレゼンテーション画像G(22a)のページ送り制御やページ戻し制御などを当該画像Gの出力元であるパーソナルコンピュータ(PC)11へ指令して容易に行わせることができる。
Thereby, not only the designated position coordinates P (X, Y) by the
なお、前記レーザポインタ18によるレーザ光の変調パターンを検出することによるコマンド判断処理において、当該レーザポインタ18による指示位置座標P(X,Y)がプレゼンテーション画像Gの投影範囲14(あるいは撮影範囲17)から外れてしまったときには、その時点で当該レーザ光の変調パターン検出によるコマンド判断処理はリセットされる。
In the command determination process by detecting the modulation pattern of the laser beam by the
一方、前記スクリーン12上の投影画像(14)に対するレーザポインタ18による指示操作に伴い、コマンド無しと判断された場合には、当該レーザポインタ18による撮影投影画像範囲(14)内での指示位置座標P(X,Y)に対応させてその指示位置座標Pの点が強調して見えるようにするための画像(ポインタ強調用合成画像22h)が合成される(ステップS8)。
On the other hand, when it is determined that there is no command in accordance with an instruction operation by the
図10は、前記プレゼンテーション制御装置10でのプレゼンテーション画像(投影画像22a)に対するレーザポインタ指示位置Pに対応させたポインタ強調用合成画像(22h)の合成処理状態を示す図である。
FIG. 10 is a diagram showing a composite processing state of the pointer emphasizing composite image (22h) corresponding to the laser pointer instruction position P with respect to the presentation image (projected
すなわち、ポインタ強調用合成画像(22h)は、プレゼンテーション画像(22a)の一定小領域の画像輝度を一定割合で下げるためのマスク画像データMであり、図10(B)に示すように、現在プロジェクタ13によって投影表示中であるプレゼンテーション画像(22a)に対して、図10(A)に示すように前記検出されたレーザポインタ18による指示位置座標P(X,Y)に対応させて、図10(C)に示すようなマスク画像データMを、図10(D)に示すように合成した合成画像22ahとし、図10(E)に示すようにプロジェクタ13へ出力してスクリーン12上へ投影することで、画像投影範囲14内でのレーザポインタ18による指示位置座標Pの点が強調されて見えるようになる。
That is, the pointer emphasizing composite image (22h) is mask image data M for reducing the image brightness of a certain small area of the presentation image (22a) at a certain rate, and as shown in FIG. As shown in FIG. 10A, the presentation image (22a) being projected and displayed by 13 is associated with the detected position coordinate P (X, Y) by the
したがって、前記構成のプレゼンテーション制御装置10を組み込んだプレゼンテーションシステムによれば、パーソナルコンピュータ(PC)11から転送されてくるプレゼンテーション画像Gを記憶すると共にプロジェクタ13に出力してスクリーン12へ投影させた状態で、スクリーン12上の投影画像(14)をカメラ部15により撮影してタッチパネル19を有するモニタ部16にてモニタ表示させると共に、このモニタ表示されたプレゼンテーション画像Gの投影範囲14の4角[a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)]をユーザによりタッチ指定させることで当該画像投影範囲14に対応する座標領域を取得する。そして、前記プレゼンテーション画像Gの投影状態撮影画像(22b)における前記4点座標[a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)]から定められた投影範囲14内の各画素データについて、所定の閾値を超える輝度の画素データのある位置をレーザポインタ18による指示位置座標P(X,Y)として検出し、プレゼンテーション画像G上でのポインタ指示位置Pを明確にして当該ポインタ指示位置Pの強調表示処理などを適切に行うようにしたので、カメラ部15による撮影範囲17をプロジェクタ13により投影したプレゼンテーション画像Gの投影範囲14にシビアに合わせる必要なく、投影画像上でのレーザポインタ18による指示動作を正しく解析することが可能になる。
Therefore, according to the presentation system incorporating the
また、前記スクリーン12に投影しているプレゼンテーション画像G(22a)に対するレーザポインタ18による指示位置座標P(X,Y)を容易に検出できるだけでなく、当該レーザポインタ18が出力するレーザ光の変調パターンに従った制御コマンドも検出でき、プレゼンテーション画像G(22a)のページ送り制御やページ戻し制御などを当該画像Gの出力元であるパーソナルコンピュータ(PC)11へ指令して容易に行わせることができる。
Further, not only the indication position coordinates P (X, Y) by the
なお、前記第1実施形態のプレゼンテーション制御装置では、カメラ部15により撮影してモニタ部16にてモニタ表示される、スクリーン12上の投影画像(G)からその投影範囲14に対応する座標領域を取得するのに、モニタ表示されている撮影画像上の前記投影画像(G)の投影範囲14をユーザにより指示操作することで、当該モニタ画面上に設けたタッチパネル19からの検出信号に基づき投影範囲14に対応する座標情報を取得する構成としたが、次の第2実施形態で説明するように、プレゼンテーション画像Gと同じ画像サイズを有し全領域黒色とした初期設定専用の画像14Gをプロジェクタ13によってスクリーン12上に投影するのと共に、この投影状態をカメラ部15により撮影してモニタ表示した画像データから、その白黒画像のエッジ検出処理によって黒画像14Gに対応する範囲の座標を投影範囲14の座標情報として取得する構成としてもよい。
In the presentation control device of the first embodiment, a coordinate area corresponding to the
(第2実施形態)
図11は、前記プレゼンテーション制御装置10による第2実施形態の初期設定処理を示すフローチャートである。
(Second Embodiment)
FIG. 11 is a flowchart showing an initial setting process of the second embodiment by the
図12は、前記プレゼンテーション制御装置10の第2実施形態の初期設定処理に伴いスクリーン12上に投影した専用画像14Gをカメラ部15で撮影した投影状態撮影画像を示す図である。
FIG. 12 is a diagram showing a projection state photographed image obtained by photographing the dedicated image 14G projected on the
すなわち、この第2実施形態の初期設定処理では、パーソナルコンピュータ(PC)11から転送されるプレゼンテーション画像Gをプロジェクタ13によってスクリーン12へ投影する以前に、まず、当該プレゼンテーション画像Gと同じ画像サイズを有し全領域黒色とした初期設定専用の画像14Gをスクリーン12に投影して表示させる(ステップ21)。
That is, in the initial setting process of the second embodiment, before the presentation image G transferred from the personal computer (PC) 11 is projected onto the
そして、スクリーン12上に投影した初期設定専用の黒色画像14Gの投影状態を、カメラ部15によって撮影して取り込み、モニタ部16によってモニタ表示させる(ステップA22)。
Then, the projection state of the black image 14G dedicated to the initial setting projected on the
ここで、例えば図12に示すように、モニタ部16にてモニタ表示されている前記黒色画像14Gを投影した状態での撮影画像(撮像範囲17)において、白色の画素領域(撮像範囲17)内での黒色の画素領域(投影範囲14)のエッジ検出処理を行い、このエッジ検出処理された黒色画像14Gに対応する投影範囲14の4角の座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)が取得され、メモリ部22内の投影範囲指示位置メモリ22cに記憶される(ステップA23)。
Here, for example, as shown in FIG. 12, in the photographed image (imaging range 17) in a state where the
すると、前記第1実施形態と同様に、モニタ部16に撮影表示された黒色投影画像14Gが台形状の画像として表示されるなどの撮影歪みが生じている場合に、前記投影範囲指示位置メモリ22cに記憶された投影範囲14に対応する4点座標a(x1,y1)、b(x2,y2)、c(x3,y3)、d(x4,y4)に基づき計算された画像歪み量に応じて、投影モニタ表示用の歪み補正パラメータが算出され、投影モニタ表示補正パラメータメモリ22dへ記憶される(ステップA24)。
Then, as in the first embodiment, the projection range
したがって、前記プレゼンテーション制御装置10による第2実施形態の初期設定処理によれば、カメラ部15により撮影されてモニタ部15にモニタ表示されるスクリーン12上のプレゼンテーション画像Gの投影範囲14をユーザにより指示操作する作業なしに、当該プレゼンテーション画像Gと同じ画像サイズを有し全領域黒色とした初期設定専用の画像14Gをスクリーン12に投影表示させ、これをカメラ部15により撮影して取り込むだけで、その画像投影範囲14の座標情報を容易に得ることができるようになる。
Therefore, according to the initial setting process of the second embodiment by the
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。 Note that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, each of the embodiments includes inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in each embodiment or some constituent features are combined, the problems described in the column of the problem to be solved by the invention can be solved. When the effects described in the column of the effect of the invention can be obtained, a configuration in which these constituent elements are deleted or combined can be extracted as an invention.
10 …プレゼンテーション制御装置
11 …パーソナルコンピュータ(PC)
12 …スクリーン
13 …プロジェクタ
14 …投影範囲
14G…初期設定専用の黒色画像
15 …カメラ部
16 …モニタ部
17 …撮像(撮影)範囲
18 …レーザポインタ
19 …タッチパネル
20 …ユーザI/F部
21 …メインコントローラ(CPU)
22 …メモリ部
22a…プレゼンテーション画像メモリ
22b…投影状態撮影画像メモリ
22c…投影範囲指示位置メモリ
22d…投影モニタ表示補正パラメータメモリ
22e…投影モニタ表示補正画像メモリ
22f…ポインタ検出座標メモリ
22g…解析コマンドメモリ
22h…ポインタ強調用合成画像メモリ
23 …PC I/F部
24 …プロジェクタI/F部
25 …メディアI/F部
P …レーザポインタ指示位置
M …マスク画像データ
10: Presentation control device 11: Personal computer (PC)
DESCRIPTION OF
22 ...
Claims (7)
特定の色の画像データをプロジェクタに出力して投影させる特定画像投影制御手段と、
この特定画像投影制御手段により特定の色の画像データがプロジェクタによって投影されている状態で、前記カメラによる撮影画像内の背景画像に対する前記特定の色の画像のエッジを検出するエッジ検出手段と、
このエッジ検出手段によって検出されたエッジに基づき、当該撮影画像に含まれる投影範囲に対応した位置の座標情報を取得する投影範囲位置取得手段と、
この投影範囲位置取得手段により取得されたプロジェクタ投影範囲の位置の座標情報に基づき、当該投影範囲内での画像上の前記ポインタによる光点の座標を取得するポインタ指示座標取得手段と、
このポインタ指示座標取得手段により取得されたプロジェクタ投影範囲でのポインタによる光点の座標に対応させて、当該ポインタによる光点の周辺の一定小領域の画像輝度を一定割合さげる画像を合成するポインタ強調表示制御手段と、
を備えたことを特徴とするプレゼンテーション制御装置。 A presentation control device having a camera for photographing an image projected by a projector and a light spot by a pointer on the projected image, and controlling image data to be output to the projector and projected.
Specific image projection control means for outputting and projecting image data of a specific color to the projector;
Edge detection means for detecting an edge of the image of the specific color with respect to a background image in a photographed image by the camera in a state where image data of a specific color is projected by the projector by the specific image projection control means;
A projection range position acquisition unit that acquires coordinate information of a position corresponding to the projection range included in the captured image based on the edge detected by the edge detection unit;
Based on the coordinate information of the position of the projector projection range acquired by the projection range position acquisition means, pointer indication coordinate acquisition means for acquiring the coordinates of the light spot by the pointer on the image within the projection range;
Pointer emphasis that synthesizes an image that reduces the image brightness of a certain small area around the light spot by the pointer in correspondence with the coordinates of the light spot by the pointer in the projector projection range acquired by the pointer instruction coordinate acquisition means Display control means ;
A presentation control device comprising:
ことを特徴とする請求項1に記載のプレゼンテーション制御装置。 The specific image projection control means outputs the specific color image data to the projector and projects it as an image for initial setting before projecting the presentation image onto the screen by the projector.
The presentation control apparatus according to claim 1.
ことを特徴とする請求項1または請求項2に記載のプレゼンテーション制御装置。 The specific image projection control means outputs the image data in the entire area black to the projector and projects it.
The presentation control apparatus according to claim 1, wherein the presentation control apparatus is configured as described above.
前記投影範囲位置取得手段により取得されたプロジェクタ投影範囲の位置の座標情報に基づいた当該投影範囲内の画像の各画素データから閾値以上の輝度のある画素データを検出し、この検出された画素の位置の座標を前記ポインタによる光点の座標として取得する、
ことを特徴とする請求項1ないし請求項4の何れか1項に記載のプレゼンテーション制御装置。 The pointer instruction coordinate acquisition means includes
Based on the coordinate information of the position of the projector projection range acquired by the projection range position acquisition means, pixel data having a luminance equal to or higher than a threshold is detected from each pixel data of the image in the projection range, and the detected pixel is detected. Obtaining the coordinates of the position as the coordinates of the light spot by the pointer;
The presentation control apparatus according to any one of claims 1 to 4, wherein the presentation control apparatus is characterized in that:
このコマンド判断手段により判断された制御コマンドに応じて前記プロジェクタに出力して投影すべき画像データを制御する投影画像制御手段と、
をさらに備えたことを特徴とする請求項1ないし請求項5の何れか1項に記載のプレゼンテーション制御装置。 Command determination means for detecting a modulation pattern of pixels of the captured image corresponding to the coordinates of the light spot by the pointer in the projector projection range acquired by the pointer instruction coordinate acquisition means, and determining a control command;
Projection image control means for controlling image data to be output and projected to the projector according to the control command determined by the command determination means;
Presentation control apparatus according to any one of claims 1 to 5 and further comprising a.
特定の色の画像データをプロジェクタに出力して投影させる特定画像投影制御機能と、
この特定画像投影制御機能により特定の色の画像データがプロジェクタによって投影されている状態で、前記カメラによる撮影画像内の背景画像に対する前記特定の色の画像のエッジを検出するエッジ検出機能と、
このエッジ検出機能によって検出されたエッジに基づき、当該撮影画像に含まれる投影範囲に対応した位置の座標情報を取得する投影範囲位置取得機能と、
この投影範囲位置取得機能により取得されたプロジェクタ投影範囲の位置の座標情報に基づき、当該投影範囲内での画像上の前記ポインタによる光点の座標を取得するポインタ指示座標取得機能と、
このポインタ指示座標取得機能により取得されたプロジェクタ投影範囲でのポインタによる光点の座標に対応させて、当該ポインタによる光点の周辺の一定小領域の画像輝度を一定割合さげる画像を合成するポインタ強調表示制御機能と、
を実現させるためのプログラム。 A computer of a presentation control apparatus that has a camera that captures an image projected by a projector and a light spot by a pointer on the projected image, and that controls image data to be output to the projector and projected;
A specific image projection control function for outputting and projecting image data of a specific color to a projector;
An edge detection function for detecting an edge of the image of the specific color with respect to a background image in the image captured by the camera in a state where image data of the specific color is projected by the projector by the specific image projection control function ;
A projection range position acquisition function for acquiring coordinate information of a position corresponding to the projection range included in the captured image based on the edge detected by the edge detection function;
Based on the coordinate information of the position of the projector projection range acquired by the projection range position acquisition function, the pointer instruction coordinate acquisition function for acquiring the coordinates of the light spot by the pointer on the image in the projection range;
Pointer emphasis that synthesizes an image that reduces the image brightness of a certain small area around the light spot by the pointer in correspondence with the coordinates of the light spot by the pointer in the projector projection range acquired by this pointer instruction coordinate acquisition function Display control function ,
A program to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005052680A JP4770197B2 (en) | 2005-02-28 | 2005-02-28 | Presentation control apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005052680A JP4770197B2 (en) | 2005-02-28 | 2005-02-28 | Presentation control apparatus and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010285243A Division JP5152317B2 (en) | 2010-12-22 | 2010-12-22 | Presentation control apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006236195A JP2006236195A (en) | 2006-09-07 |
JP4770197B2 true JP4770197B2 (en) | 2011-09-14 |
Family
ID=37043746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005052680A Expired - Fee Related JP4770197B2 (en) | 2005-02-28 | 2005-02-28 | Presentation control apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4770197B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7746321B2 (en) | 2004-05-28 | 2010-06-29 | Erik Jan Banning | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
JP4984791B2 (en) * | 2006-09-27 | 2012-07-25 | カシオ計算機株式会社 | Pointing device, pointing method and program |
JP5077698B2 (en) * | 2008-09-30 | 2012-11-21 | サクサ株式会社 | Presentation material distribution system and distribution system of designated position data on presentation material |
JP5307108B2 (en) * | 2010-10-29 | 2013-10-02 | 株式会社コナミデジタルエンタテインメント | Detection system, electronic blackboard apparatus to which the detection system is applied, its control method, and computer program |
EP2693330A1 (en) * | 2012-08-03 | 2014-02-05 | Alcatel Lucent | A method, a server and a pointing device for enhancing presentations |
JP6135195B2 (en) * | 2013-03-05 | 2017-05-31 | 株式会社リコー | Pointing coordinate value detection system, video processing device, and pointing coordinate value detection program |
JP2015037250A (en) * | 2013-08-14 | 2015-02-23 | 株式会社リコー | Image projection device and presentation system |
JP6464599B2 (en) * | 2014-07-31 | 2019-02-06 | 株式会社リコー | Image processing apparatus, image processing system, control method for image processing apparatus, and program |
CN112822468B (en) * | 2020-12-31 | 2023-02-17 | 成都极米科技股份有限公司 | Projection control method and device, projection equipment and laser controller |
CN115118536A (en) * | 2021-03-18 | 2022-09-27 | 上海博泰悦臻网络技术服务有限公司 | Sharing method, control device and computer-readable storage medium |
TWI768778B (en) * | 2021-03-19 | 2022-06-21 | 友達光電股份有限公司 | Display system and display method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0980372A (en) * | 1995-09-07 | 1997-03-28 | Toshiba Corp | Projection type display device |
JP4142814B2 (en) * | 1999-07-01 | 2008-09-03 | 株式会社リコー | Image projection system |
JP2001343962A (en) * | 2000-06-01 | 2001-12-14 | Ricoh Co Ltd | System and method for image projection and computer readable recording medium on which program for making computer execute the method is recorded |
JP3867205B2 (en) * | 2002-08-30 | 2007-01-10 | カシオ計算機株式会社 | Pointed position detection device, pointed position detection system, and pointed position detection method |
JP2004227230A (en) * | 2003-01-22 | 2004-08-12 | Nokodai Tlo Kk | Light indicating system, questionnaire collecting system, game system, light indicator, imaging device, projector, light indicating method, position specifying method, questionnaire collecting method, and game executing method |
JP2004310334A (en) * | 2003-04-04 | 2004-11-04 | Canon Inc | Input device, method, and storage medium |
-
2005
- 2005-02-28 JP JP2005052680A patent/JP4770197B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006236195A (en) | 2006-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4770197B2 (en) | Presentation control apparatus and program | |
US10044946B2 (en) | Facilitating analysis and interpretation of associated visible light and infrared (IR) image information | |
US20150302626A1 (en) | Presentation system and display device for use in the presentation system | |
CN106851234B (en) | Projector and control method of projector | |
JP2006115139A (en) | Image correction apparatus and method of controlling it | |
JP2009010782A (en) | Image processor and control program | |
KR20050018256A (en) | Method for displaying an image of wall painting effect in portable terminal | |
JP5870586B2 (en) | Projector control device, display device, and program. | |
US20050243073A1 (en) | Presentation device and display method | |
JPWO2010073619A1 (en) | Imaging device | |
JP5152317B2 (en) | Presentation control apparatus and program | |
JP2016178608A (en) | Image processing apparatus, image processing method and program | |
JP2008233462A (en) | Projector and projection method for projector | |
JP4588366B2 (en) | Image display device | |
JP4661499B2 (en) | Presentation control apparatus and presentation system | |
JP5245805B2 (en) | Projector, control method therefor, and control program therefor | |
JP5423300B2 (en) | Electronic camera | |
JP4715653B2 (en) | Laser pointer position determination system and laser pointer position determination method | |
JP5061696B2 (en) | Projection apparatus, projection control method, and program | |
JP5250980B2 (en) | Projector and image correction method for the projector | |
JP5162855B2 (en) | Image processing apparatus, remote image processing system, and image processing method | |
JP2006054824A (en) | Projection image display device | |
JP6679430B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
JP5108693B2 (en) | Image processing apparatus and image processing system | |
JP5448799B2 (en) | Display control apparatus and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4770197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |