JP3770308B2 - 光ポインタ - Google Patents

光ポインタ Download PDF

Info

Publication number
JP3770308B2
JP3770308B2 JP2000230948A JP2000230948A JP3770308B2 JP 3770308 B2 JP3770308 B2 JP 3770308B2 JP 2000230948 A JP2000230948 A JP 2000230948A JP 2000230948 A JP2000230948 A JP 2000230948A JP 3770308 B2 JP3770308 B2 JP 3770308B2
Authority
JP
Japan
Prior art keywords
light
instruction
projection
display area
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000230948A
Other languages
English (en)
Other versions
JP2002041238A (ja
Inventor
武志 降幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2000230948A priority Critical patent/JP3770308B2/ja
Publication of JP2002041238A publication Critical patent/JP2002041238A/ja
Application granted granted Critical
Publication of JP3770308B2 publication Critical patent/JP3770308B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lasers (AREA)
  • Position Input By Displaying (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、指示用の光を投射する光ポインタに関する。
【0002】
【背景技術および発明が解決しようとする課題】
液晶プロジェクタ等を用いたプレゼンテーションシステムでは、一般にレーザーポインタ等の光ポインタを用いて指示が行われている。
【0003】
しかし、従来の光ポインタは発光点が小さいため、高速に移動させた場合、どこを指示しているか聴衆にとっては分かりづらかった。
【0004】
また、例えば、プレゼンテーション画像上のアイコンを、レーザーポインタで指示した場合でも、アイコン画像の変化が乏しいため、クリックなのかドラッグなのか聴衆にとっては分かりづらかった。
【0005】
本発明は、上記の課題に鑑みなされたものであり、その目的は、光ポインタによる指示操作が視覚的に分かりやすい光ポインタを提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る光ポインタは、所定の画像表示領域へ向け指示用の光を投射する光ポインタであって、
前記光を投射する光投射手段と、
当該光ポインタの使用者の指示を入力する投射指示手段と、
当該投射指示手段に入力された指示情報に基づき、前記指示の内容に応じて前記光の点滅制御、形状制御、色制御のうち少なくとも1つを行うように前記光投射手段を制御する制御手段と、
を含むことを特徴とする。
【0007】
また、本発明に係る情報記憶媒体は、所定の画像表示領域へ向け指示用の光を投射するための情報を記憶したコンピュータ読み取り可能な情報記憶媒体であって、
前記情報は、
使用者の指示を入力する投射指示手段に入力された指示情報に基づき、前記指示の内容に応じて前記光の点滅制御、形状制御、色制御のうち少なくとも1つを行うように前記光を投射する光投射手段を制御する制御手段を実現するための情報を含むことを特徴とする。
【0008】
また、本発明に係る情報は、上記各手段を実現するためのプログラムを含むことを特徴とする。
【0009】
本発明によれば、操作者の指示の内容に応じて光の点滅制御、形状制御、色制御を行うことができる。これにより、指示内容に対応した光を投射することができ、当該光を見ている者にとって指示内容が分かりやすい光を投射することができる。
【0010】
また、前記制御手段は、通常指示時と、クリック指示時と、ドラッグ指示時とで前記光の形状を変化させるように前記光投射手段を制御することが好ましい。
【0011】
これによれば、通常指示時と、クリック指示時と、ドラッグ指示時とで光の形状を変化させることにより、当該当該光を見ている者は、操作者がどの指示を行っているか容易に識別することができる。
【0012】
また、前記光ポインタは、前記画像表示領域における前記光の照射状態を検出する所定の処理装置へ向け前記光の投射状態を示す投射状態情報を無線で送信し、前記処理装置に、前記投射状態情報に基づき、前記光投射手段の投射状態を把握させる指示側送信手段を含むことが好ましい。
【0013】
また、前記情報記憶媒体および前記プログラムは、前記画像表示領域における前記光の照射状態を検出する所定の処理装置へ向け前記光の投射状態を示す投射状態情報を無線で指示側送信手段に送信させ、前記処理装置に、前記投射状態情報に基づき、前記光投射手段の投射状態を把握させる手段を実現するための情報を含むことが好ましい。
【0014】
これによれば、光投射手段の投射状態を処理装置に把握させることができる。これにより、処理装置は、光投射手段の投射状態を容易に把握することができる。すなわち、光投射手段の投射状態を処理装置が把握する場合、例えば、光投射手段から投射された光を検出して投射状態を把握することも可能であるが、専用の投射状態情報を受信して投射状態を把握することにより、正確かつ迅速に投射状態を把握することができる。
【0015】
また、前記光ポインタは、前記画像表示領域における前記光の照射状態を検出する所定の処理装置から制御情報を無線で受信する指示側受信手段を含み、
前記制御手段は、前記指示側受信手段で受信された制御情報に基づき、前記光投射手段を制御することが好ましい。
【0016】
また、前記情報記憶媒体および前記プログラムは、前記画像表示領域における前記光の照射状態を検出する所定の処理装置から制御情報を無線で指示側受信手段に受信させる手段を実現するための情報を含み、
前記制御手段は、前記指示側受信手段で受信された制御情報に基づき、前記光投射手段を制御することが好ましい。
【0017】
これによれば、処理装置から制御情報を受信し、当該制御情報に基づき光投射手段を制御することにより、処理装置の状態を反映した制御が可能となる。例えば、光ポインタが正常に動作していても画像の表示等を行う処理装置が正常に動作していない場合、光ポインタを動作させ続けるのは無駄に電力を消費することになる。処理装置から光ポインタによる光の投射を停止するための制御情報を送信することにより、光ポインタによる光の投射を停止させ、無駄な電力消費を低減させることができる。
【0018】
また、前記光投射手段は、方向指示形状を有する光を投射するとともに、前記制御情報が前記方向指示形状を有する光が前記画像表示領域外から前記画像表示領域内の指示位置を指示していることを示す情報である場合には、前記方向指示形状を有する光の照射位置および指示方向を変更することが好ましい。
【0019】
これによれば、例えば、左向き矢印形状の指示用スポット光が、画像表示領域の右端から少しだけ画像表示領域外にはみ出してしまった場合でも、スポット光を右向き矢印形状に変更することにより、適切に指示位置を指示することができる。
【0020】
また、本発明に係る画像生成システムは、光ポインタによる指示用の光の投射される所定の画像表示領域に表示される画像を生成する画像生成システムにおいて、
前記画像表示領域を撮像する撮像手段と、
当該撮像手段による撮像情報に基づき、前記光ポインタによる指示位置を検出する指示位置検出手段と、
前記撮像情報に基づき前記光の照射状態を検出して指示内容を判別する判別手段と、
前記画像表示領域に表示される画像であって、前記指示位置検出手段の位置検出情報に基づく指示位置および前記判別手段により判別された指示内容を反映した画像を生成する画像生成手段と、
を含むことを特徴とする。
【0021】
また、本発明に係る情報記憶媒体は、光ポインタによる指示用の光の投射される所定の画像表示領域に表示される画像を生成するための情報を記憶したコンピュータ読み取り可能な情報記憶媒体であって、
前記情報は、
前記画像表示領域を撮像する撮像手段と、
当該撮像手段による撮像情報に基づき、前記光ポインタによる指示位置を検出する指示位置検出手段と、
前記撮像情報に基づき前記光の照射状態を検出して指示内容を判別する判別手段と、
前記画像表示領域に表示される画像であって、前記指示位置検出手段の位置検出情報に基づく指示位置および前記判別手段により判別された指示内容を反映した画像を生成する画像生成手段と、
を実現するための情報を含むことを特徴とする。
【0022】
また、本発明に係る情報は、上記各手段を実現するためのプログラムを含むことを特徴とする。
【0023】
本発明によれば、指示用の光の照射状態を検出して指示内容を判別し、指示内容を反映した画像を生成することにより、当該指示用の光を見ている者にとって指示内容が分かりやすい画像表示が行える。
【0024】
また、前記判別手段は、クリック操作を示す光を検出してクリック操作を判別し、
前記画像生成手段は、前記画像表示領域内の所定のアイコン画像の表示領域で前記クリック操作が行われた場合、前記アイコン画像の色および形状の少なくとも一方を変化させたアイコン画像を生成することが好ましい。
【0025】
これによれば、クリック操作を判別してアイコン画像の色および形状の少なくとも一方を変化させることにより、クリック操作を聴衆に対して視覚的に分かりやすく示すことができる。
【0026】
また、前記判別手段は、ドラッグ操作を示す光を検出してドラッグ操作を判別し、
前記画像生成手段は、前記画像表示領域内の所定のアイコン画像の表示領域で前記ドラッグ操作が行われた場合、前記アイコン画像の色および形状の少なくとも一方を変化させたアイコン画像を生成し、前記光の移動に基づき当該アイコン画像を移動するように画像を生成することが好ましい。
【0027】
これによれば、ドラッグ操作を判別してアイコン画像の色および形状の少なくとも一方を変化させることにより、ドラッグ操作を聴衆に対して視覚的に分かりやすく示すことができる。
【0028】
また、前記画像生成手段は、前記指示位置検出手段の位置検出情報に基づく指示位置付近に指示用カーソルが表示されるように画像を生成することが好ましい。
【0029】
また、前記画像生成手段は、方向指示可能な形状の指示用カーソルによって前記画像表示領域外から前記画像表示領域内の指示位置を指示する場合、当該指示用カーソルを前記画像表示領域内に表示するように、当該指示用カーソルの表示位置および指示方向を調整した画像を生成することが好ましい。
【0030】
これによれば、例えば、左向き矢印形状の指示用カーソルが、画像表示領域の右端から少しだけ画像表示領域外にはみ出してしまった場合でも、指示用カーソルを右向き矢印形状に変更して表示することにより、適切に指示位置を指示することができる。
【0031】
また、前記画像生成システムは、前記光ポインタから前記光の投射状態を示す投射状態情報を無線で受信する処理側受信手段を含み、
前記判別手段は、受信された投射状態情報に基づき、前記光ポインタの投射状態を把握することが好ましい。
【0032】
また、前記情報記憶媒体および前記プログラムは、前記光ポインタから前記光の投射状態を示す投射状態情報を無線で処理側受信手段に受信させる手段を実現するための情報を含み、
前記判別手段は、受信された投射状態情報に基づき、前記光ポインタの投射状態を把握することが好ましい。
【0033】
これによれば、専用の投射状態情報を受信して投射状態情報を把握することにより、投射光のみで投射状態情報を把握する場合と比べて正確かつ迅速に投射状態情報を把握することができる。
【0034】
また、前記判別手段は、前記処理側受信手段で受信された前記光ポインタから前記画像表示領域までの距離情報を含む投射状態情報に基づき、前記光ポインタの投射距離を把握し、把握した投射距離に基づき前記光ポインタの指示許容範囲を調整することが好ましい。
【0035】
これによれば、投射距離に応じて適切な指示許容範囲を設定することができる。この場合、投射距離が長くなれば、手ぶれ量が大きくなるため、指示許容範囲を広めに設定することが好ましい。
【0036】
また、前記判別手段は、前記指示許容範囲を、前記光ポインタの指示操作方向については、当該指示操作方向とは異なる方向に比べて相対的に大きくしていることが好ましい。
【0037】
これによれば、手ぶれの起きやすい方向を広めにした許容範囲を設定することにより、より適切に指示操作を判別することができる。
【0038】
例えば、スイッチを下方向に押すことにより光の点滅操作を行う場合、下方向に光がぶれやすい。したがって、下方向に許容範囲を広げることにより、当該光のぶれを考慮して適切な指示許容範囲を設定することができる。
【0039】
また、前記画像生成システムは、前記光ポインタへ向け前記判別手段で生成される制御情報を無線で送信する処理側送信手段を含み、
前記判別手段は、検出された前記光の指示位置に基づき、前記光ポインタから投射される方向指示形状を有する光が前記画像表示領域外から前記画像表示領域内の指示位置を指示している場合、前記画像表示領域における前記方向指示形状を有する光の照射位置および指示方向を変更するように前記制御情報を生成し、前記光ポインタに、当該制御情報に基づき、前記画像表示領域における前記光の照射位置および指示方向を変更させることが好ましい。
【0040】
また、前記情報記憶媒体および前記プログラムは、前記光ポインタへ向け前記判別手段で生成される制御情報を無線で処理側送信手段に送信させる手段を実現するための情報を含み、
前記判別手段は、検出された前記光の指示位置に基づき、前記光ポインタから投射される方向指示形状を有する光が前記画像表示領域外から前記画像表示領域内の指示位置を指示している場合、前記画像表示領域における前記方向指示形状を有する光の照射位置および指示方向を変更するように前記制御情報を生成し、前記光ポインタに、当該制御情報に基づき、前記画像表示領域における前記光の照射位置および指示方向を変更させることが好ましい。
【0041】
これによれば、例えば、左向き矢印形状の指示用の光が、画像表示領域の右端から少しだけ画像表示領域外にはみ出してしまった場合でも、指示用の光を右向き矢印形状に変更することにより、適切に指示位置を指示することができる。
【0042】
また、本発明に係るプレゼンテーションシステムは、上記の画像生成システムと、
前記画像表示領域へ向け前記画像生成手段で生成されるプレゼンテーション用画像を投写する投写手段と、
を含むことを特徴とする。
【0043】
本発明によれば、プレゼンテーションにおいて、特別な指示具を用いることなく、指示操作が視覚的に分かりやすいプレゼンテーションシステムを実現できる。
【0044】
【発明の実施の形態】
以下、本発明を、光ポインタを用いて指示を行うプレゼンテーションシステムに適用した場合を例に採り、図面を参照しつつ説明する。
【0045】
(システム全体の説明)
図1は、本実施の形態の一例に係るプレゼンテーションシステムの概略説明図である。
【0046】
スクリーンのほぼ正面に設けられたプロジェクタ20から、所定のプレゼンテーション用の画像が投写される。プレゼンター30は、スクリーン10上の画像が表示されている領域すなわち画像表示領域12の画像の所望の位置をレーザーポインタ100で指し示しながら、聴衆に対するプレゼンテーションを行なう。
【0047】
プレゼンター30がレーザーポインタ100から投射されるスポット光200を用いてスクリーン上の画像表示領域12の所望の位置を指示すると、画像表示領域12、プレゼンター30の一部およびレーザーポインタ100が、画像表示領域12のほぼ正面に設けられ、撮像手段として機能するCCDカメラ40により、指示画像として撮像される。
【0048】
指示画像は、重心検出処理等の画像処理が行われ、スポット光200の重心位置が指示位置として検出される。
【0049】
このように、プレゼンテーション画像を投写し、プレゼンテーション画像上のアイコンをレーザーポインタ100で指示する場合、通常の手法では、アイコン画像の変化が乏しいため、クリックなのかドラッグなのか聴衆にとっては分かりづらい。
【0050】
また、プレゼンテーション画像のうち所望の部分に下線を引く等の機能をレーザーポインタ100を用いて実現する場合、レーザーポインタ100に複数のボタンを設けると、レーザーポインタ100自体が大きくなる上、重くなり、指示操作時の操作性や携帯性が真に快適とは言えない状態となってしまう。
【0051】
そこで、本実施の形態では、スポット光200の形状を変化させることが可能なレーザーポインタ100を用いて視覚的に分かりやすい指示操作を行えるようにしている。
【0052】
図2は、画像表示領域12におけるスポット光200の表示状態を示す図であり、図2(A)は、指示時の状態を示し、図2(B)は、クリック時の状態を示し、図2(C)は、ドラッグ時の状態を示す図である。
【0053】
例えば、指示時には、図2(A)に示すように矢印形状にし、クリック時には、図2(B)に示すように円形状にし、ドラッグ時には、図2(C)に示すように楕円形状にする。
【0054】
次に、より具体的な使用場面を想定して説明する。
【0055】
図3は、画像表示領域12におけるスポット光200とアイコン300の状態を示す図であり、図(A)は、スポット光202移動時の状態を示し、図(B)は、スポット光202がアイコンに重なった状態を示し、図(C)は、クリック時のスポット光204の状態を示し、図(D)は、ドラッグ時のスポット光206の状態を示す図である。
【0056】
図3(A)および図3(B)に示すように、画像表示領域12内のアイコン300に向かってスポット光202を移動させている間は、スポット光202の形状は矢印形状である。
【0057】
図3(C)に示すように、クリック操作時には、スポット光204の形状は円形状に変わる。
【0058】
そして、図3(D)に示すように、ドラッグ操作時には、スポット光206の形状は楕円形状に変わる。
【0059】
このように、スポット光200の形状を変化させることにより、当該スポット光200を見ている聴衆は、プレゼンター30がどのような操作を行っているか容易に判別することができる。
【0060】
さらに、本実施の形態では、画像表示領域12の端点においても指示用のスポット光202が見えやすいようにスポット光202を表示している。
【0061】
図4は、画像表示領域12におけるスポット光202とアイコン300の状態を示す他の図であり、図4(A)は、画像表示領域12の中央付近にアイコン300をスポット光202で指示している状態を示し、図4(B)は、右端付近にあるアイコン300を従来のスポット光202で指示している状態を示し、図4(C)は、右端付近にあるアイコン300を本実施形態のスポット光202で指示している状態を示す図である。
【0062】
例えば、通常の状態では、図4(A)に示すように、画像表示領域の中央付近にアイコン300がある場合、左向き矢印形状のスポット光202で指示することは可能である。
【0063】
しかし、図4(B)に示すように、右端付近にあるアイコン300を左向き矢印形状のスポット光202で指示しようとしても、スポット光202の位置はアイコン300に対して右側であるため、画像表示領域12からスポット光202がはみ出してしまう。このため、実際には、指示可能であるにも関わらず、スポット光202が表示されなくなってしまう。
【0064】
本実施の形態では、図4(C)に示すように、右端付近にあるアイコン300を左向き矢印形状のスポット光202で指示する場合、スポット光202の向きを逆にし、スポット光202をアイコン300の左側に表示することにより、このような問題を解決している。
【0065】
また、本実施の形態では、スポット光200を用いて指示を行う場合、スポット光200の指示許容範囲をレーザーポインタ100から画像表示領域12までの光の投射距離に応じて調整するようにしている。
【0066】
図5は、レ―ザー光の投射距離とスポット光200のずれ量との関係を示す模式図である。
【0067】
レーザーポインタ100から画像表示領域12までの距離がD1、D2、D3と長くなるに従って、手ぶれ角度はθとして一定であっても、スポット光200のずれ量は、L1、L2、L3と大きくなる。
【0068】
したがって、レーザーポインタ100から画像表示領域12までの距離が長くなる場合には、指示許容範囲も大きめに設定することが好ましい。
【0069】
特に、指示許容範囲については、左右方向に対して上下方向を広めに設定してある。これは、レーザーポインタ100のスイッチは、上下方向に押されるように設けられており、スイッチの操作時には、上下方向の手ぶれ量が左右方向の手ぶれ量に比べて大きいと考えられるからである。なお、レーザーポインタ100のスイッチが、左右方向に押されるように設けられている場合には、指示許容範囲を、上下方向に対して左右方向を広めに設定することが好ましい。
【0070】
このように、指示許容範囲を設けることにより、多少の手ぶれがあった場合でも適切に指示操作として判別することができる。
【0071】
また、手ぶれの起きやすい方向を広めにした指示許容範囲を設定することにより、より適切に指示操作を判別することができる。
【0072】
さらに、本実施の形態では、レーザーポインタ100と、プロジェクタ20と接続された送受信部60との間で信号を送受信し、レーザー光の投射状態やシステムの稼働状態等を把握できるようにシステムを構成している。
【0073】
(機能ブロックについての説明)
次に、これらの機能を実現するための本システムの機能ブロックについて説明する。
【0074】
図6は、本実施の形態の一例に係るレーザーポインタ100の機能ブロック図である。
【0075】
レーザーポインタ100は、送受信部60へ向けレーザー光の投射状態を示す投射状態情報を送信し、送受信部60から制御情報を受信する送受信部180と、受信した制御情報等を一時的に記憶する記憶部140と、プレゼンター30が投射指示を行う投射指示部190とを含んで構成されている。
【0076】
また、レーザーポインタ100は、レーザー光を投射するレーザー光投射部110と、投射指示および記憶部140に記憶された制御情報に基づきレーザー光の投射を制御し、投射状態を示す投射状態情報を生成して記憶部140に記憶する制御部130とを含んで構成されている。なお、記憶部140に記憶された投射状態情報は、送受信部180により送受信部60へ向け送信される。
【0077】
さらに、レーザーポインタ100は、レーザー光投射部110の投射角度を調整する手ぶれ補正部170を含んで構成されている。これにより、レーザーポインタ100と画像表示領域12との距離が多少離れた場合であっても手ぶれを補正でき、正確な指示を行うことができる。
【0078】
次に、レーザー光投射部110の詳細について説明する。
【0079】
図7は、本実施の形態の一例に係るレーザー光投射部110の機能ブロック図である。
【0080】
レーザー光投射部110は、点光源であるLED111と、レンズ116と、LED111から発光された光を反射するミラー114と、ミラー114からの光をさらに反射して投射光として出力するミラー115とを含んで構成されている。
【0081】
ここで、ミラー114およびミラー115は、平板形状となっている。ミラー114は、軸114aを軸として矢印方向に回転自在に形成され、同様に、ミラー115は、軸115aを軸として矢印方向に回転自在に形成されている。
【0082】
また、レーザー光投射部110は、制御部130からの制御信号に基づき、LED111の点滅制御や、ミラー114およびミラー115の回転駆動制御を行う発光駆動部117を含んで構成されている。
【0083】
例えば、発光駆動部117は、ミラー114の回転角度を変更することにより、図7のY軸方向の上下方向への投射光の投射位置の変更が可能である。また、同様に、発光駆動部117は、ミラー115の回転角度を変更することにより、図7のY軸方向の左右方向への投射光の投射位置の変更が可能である。
【0084】
したがって、発光駆動部117は、ミラー114およびミラー115のどちらか一方を回転駆動することにより、線を描くことができ、ミラー114およびミラー115の両方を回転駆動することにより、円、楕円、矢印といった種々の形状の投射光の軌跡を描くことができる。
【0085】
図11は、円、楕円および矢印形状の投射光の軌跡を示す図である。
【0086】
発光駆動部117、ミラー114、115により、指示位置5100を中心として投射可能範囲5000内で任意の形状の軌跡を描くことができる。
【0087】
具体的には、例えば、図3(A)および図3(B)に示す矢印形状のスポット光202に対応した軌跡5202や、図3(C)に示す円形状のスポット光204に対応した軌跡5204や、図3(D)に示す楕円形状のスポット光206に対応した軌跡5206等を描くことができる。なお、このように、ミラーを用いて光の軌跡を描く方法としては、公知の技術を利用できる。
【0088】
さらに、例えば、図4(B)および図4(C)に示すように、画像表示領域12外から画像表示領域12内の指示位置を指示する場合、スポット光202が画像表示領域12内から画像表示領域12内の指示位置を指示するように、ミラー114およびミラー115を以下のように駆動する。
【0089】
図4(B)に示すように、画像表示領域12外から画像表示領域12内の指示位置を指示する場合、ミラー115はY軸に対して右向きになっている。制御部130は、ミラー115がY軸に対して左向きになるように発光駆動部117に制御信号を送る。これによって、ミラー115がY軸に対して左向きになることにより、スポット光202の表示位置が変更される。
【0090】
これと併せて、制御部130は、スポット光202が逆向きの矢印になるように発光駆動部117に制御信号を送る。発光駆動部117が、ミラー114およびミラー115の回転角度を調整することによって、スポット光202の指示方向が変更される。
【0091】
これにより、図11に示すように、もともと指示位置5100の右側から左向きの矢印形状の軌跡5202で指示位置5100を指示していたものが、指示位置5100の左側から右向きの矢印形状の軌跡5203で指示位置5100を指示するように変更される。
【0092】
以上のようにして指示位置と指示方向が適切に調整されることにより、聴衆はプレゼンター30がどこを指示しているか容易に判断することができる。
【0093】
なお、レーザー光投射部110としては、例えばLED111等、制御部130としては例えばCPU等、記憶部140としては例えばRAM等、投射指示部190としては例えばスイッチ等を適用できる。
【0094】
また、送受信部180の送信機能を実現するためには、投射状態情報の送信を行うため、投射状態情報を含む送信データを増幅させるTXアンプ、増幅された送信データを変調する変調器等を適用できる。
【0095】
また、送受信部180の受信機能を実現するためには、制御情報を含む受信データを増幅させるRXアンプ、増幅された送信データのノイズを除去するLPF(ローパスフィルタ)、ノイズ除去された受信データを復調する復調器等を適用できる。
【0096】
なお、送受信部180は、いわゆる半二重通信方式、すなわち、送信と受信が可能であるが常にどちらか片方しか行わない方式を採用している。これにより、送信と受信を同時に行う全二重通信方式と比べて回路規模を小さくすることができ、省電力化を図ることができる。
【0097】
また、切替制御信号による送信と受信の切替は撮像周期(フレームレート)よりも短い時間で行う。これにより、送信や受信のタイムラグをなくし、リアルタイムな制御が可能となる。なお、送受信部180を全二重通信方式で実現することも可能である。
【0098】
さらに、手ぶれ補正部170としては、例えば、ビデオカメラ等で一般的に用いられている光学式手ぶれ補正手段を用いることができる。
【0099】
次に、プレゼンテーション画像を投写表示し、レーザーポインタ100と信号を送受信するシステム側の機能ブロックについて説明する。
【0100】
図8は、本実施の形態の一例に係るシステムの機能ブロック図である。
【0101】
本システムは、送受信部60と、撮像手段であるCCDカメラ40と、プロジェクタ20(前面投写型の液晶プロジェクタ)とを含んで構成されている。
【0102】
プロジェクタ20は、CCDカメラ40の撮像信号に基づき指示位置の検出を行う位置検出部510と、指示位置の検出結果に基づき、カーソル200の画像等を生成してプロジェクタ20に出力する画像生成部520と、生成された画像の投写する画像投写部530とを含んで構成されている。
【0103】
より具体的には、位置検出部510は、撮像画像のノイズを除去するノイズフィルタ511と、撮像情報に対してデータ処理を行いやすいように2値化を行う2値化処理部512と、2値化された撮像情報に基づきスポット光200の重心を検出する重心検出部513と、検出された重心位置に基づき指示位置(ポインティング位置)を検出するポインティング座標検出部514とを含んで構成されている。
【0104】
また、位置検出部510は、上述したスポット光200の指示許容範囲等を記憶する記憶部516と、スポット光200が指示許容範囲内にあるか判別する判別部518とを含んで構成されている。
【0105】
位置検出部510で検出された指示位置を示す情報や、指示許容範囲内にあるかどうかを示す情報等は、位置検出部510から画像生成部520に出力され、画像生成に用いられる。
【0106】
また、判別部518は、送受信部60との間で信号をやりとりする。具体的には、判別部518は、送受信部60を介して、レーザーポインタ100から投射状態情報を受信し、レーザーポインタ100へ向け制御情報を送信する。
【0107】
例えば、判別部518は、レーザーポインタ100の光の照射状態を検出して指示内容を判別し、さらに、ポインティング座標検出部514からの出力により、図4(B)に示すような画像表示領域12外からアイコン300を指示していることを判別すると、スポット光202の投射表示方向を変更するための制御信号を、送受信部60を介してレーザーポインタ100へ向け送信する。
【0108】
送受信部180によって当該制御信号を受信したレーザーポインタ100は、制御部130によりレーザー光投射部110を制御してスポット光202の投射表示方向および投射位置を変更する。これにより、図4(C)に示すように、画像表示領域12内からアイコン300を指示している状態となる。
【0109】
また、画像生成部520は、位置検出部510からの位置検出情報に基づく指示位置および判別部518によって判別された指示内容を反映した画像を生成する。
【0110】
また、画像投写部530は、画像生成部520によって生成された画像の光を図1に示す画像表示領域12へ向け投射する。これにより、画像表示領域12にプレゼンテーション画像が表示される。
【0111】
なお、判別部518を含む位置検出部510は、例えば、CPU等を用いて実現でき、画像生成部520は、例えば、画像生成用IC等を用いて実現でき、画像投写部530は、例えば、光源、液晶ライトバルブ、液晶パネル等を用いて実現できる。
【0112】
また、判別部518等の機能を、情報記憶媒体590から情報(例えば、プログラム等)を読み取って実現することも可能である。さらに、情報記憶媒体590からでなく、例えば、ホスト装置からネットワークを介して情報を読み取ってもよい。すなわち、判別部518等の機能を実現するための情報は搬送波に具現化される(embodied)ものであってもよい。
【0113】
なお、情報記憶媒体としては、例えば、レーザー光により情報を読み取らせるCD−ROMやDVD−ROM等、磁気により情報を読み取らせるハードディスクや、メモリ等を適用できる。また、情報記憶媒体からの情報の読み取り方式は接触方式でも非接触方式でもよい。
【0114】
次に、上述した各部を用いた指示動作の検出の流れについてフローチャートを用いて説明する。
【0115】
(指示動作の検出の流れについての説明)
図9は、本実施の形態の一例に係る指示動作の検出の流れを示すフローチャートである。
【0116】
ここでは、図3を用いて説明した指示、クリック、ドラッグの各操作を、各部の動作に対応づけて説明する。また、投射指示部190は、3段構成のスイッチになっており、1段目で指示、2段目でクリック、3段目でドラッグを行うように構成されているものとする。
【0117】
プレゼンター30が、投射指示部190を用いてスイッチを1段目に設定して投射指示を行うことにより、レーザー光投射部110から矢印形状のレーザー光が投射される。
【0118】
判別部518は、レーザーポインタ100から投射状態情報を受信し、当該投射状態情報が指示動作を示すものであることを判別すると(ステップS2)、指示動作に応じた投射表示を行うための制御信号を生成し、送受信部60を介してレーザーポインタ100へ向け送信する。
【0119】
レーザーポインタ100は、送受信部180を介して当該制御情報を受信し、当該制御情報を記憶部140に一時的に記憶する。そして、制御部130は、投射指示部190から投射指示が行われ、かつ、記憶部140に記憶された制御情報が矢印表示を行うことを示す制御情報である場合、レーザー光投射部110から矢印形状のレーザー光を投射する。
【0120】
これにより、図3(A)および図3(B)に示すように、画像表示領域12には、矢印形状のスポット光202が表示される(ステップS4)。
【0121】
次に、クリックを行う場合について説明する。
【0122】
クリックを行う場合、プレゼンター30が、投射指示部190を用いてスイッチを2段目に設定して投射指示を行うことにより、レーザー光投射部110からレーザー光が投射される。
【0123】
判別部518は、ポインティング座標検出部514からの出力により、スポット光202がアイコン300の範囲内にあるかどうかを判別する(ステップS6)。
【0124】
そして、判別部518は、スポット光202がアイコン300の範囲内にあり、かつ、レーザーポインタ100から投射状態情報を受信し、当該投射状態情報がクリック操作を示すものであることを判別すると(ステップS8)、クリック操作に応じた投射表示を行うための制御信号を生成し、送受信部60を介してレーザーポインタ100へ向け送信する。
【0125】
レーザーポインタ100は、送受信部180を介して当該制御情報を受信し、当該制御情報を記憶部140に一時的に記憶する。そして、制御部130は、投射指示部190から投射指示が行われ、かつ、記憶部140に記憶された制御情報がクリック表示を行うことを示す制御情報である場合、レーザー光投射部110から円形状のレーザー光を投射する。
【0126】
これにより、図3(C)に示すように、画像表示領域12には、円形状のスポット光204が表示される(ステップS10)。
【0127】
また、判別部518は、当該クリック操作に応じた画像表示が行われるように、画像生成部520に制御命令を出力する。画像生成部520は、クリックに応じてアイコン300の色を変化させた画像を生成し、画像投写部530によってアイコン300の色が変化した画像が投写表示される(ステップS12)。
【0128】
次に、ドラッグを行う場合について説明する。
【0129】
ドラッグを行う場合、プレゼンター30が、投射指示部190を用いてスイッチを3段目に設定して投射指示を行うことにより、レーザー光投射部110からレーザー光が投射される。
【0130】
判別部518は、ポインティング座標検出部514からの出力により、スポット光202がアイコン300の範囲内にあるかどうかを判別する(ステップS6)。
【0131】
そして、判別部518は、スポット光202がアイコン300の範囲内にあり、かつ、レーザーポインタ100から投射状態情報を受信し、当該投射状態情報がクリック操作を示すものではないことを判別すると(ステップS8)、さらに、当該投射状態情報がドラッグ操作を示すものであるか判別する(ステップS14)。
【0132】
ドラッグ操作を示すものである場合、判別部518は、ドラッグ操作に応じた投射表示を行うための制御信号を生成し、送受信部60を介してレーザーポインタ100へ向け送信する。
【0133】
レーザーポインタ100は、送受信部180を介して当該制御情報を受信し、当該制御情報を記憶部140に一時的に記憶する。そして、制御部130は、投射指示部190から投射指示が行われ、かつ、記憶部140に記憶された制御情報がドラッグ表示を行うことを示す制御情報である場合、レーザー光投射部110から楕円形状のレーザー光を投射する。
【0134】
これにより、図3(D)に示すように、画像表示領域12には、楕円形状のスポット光206が表示される(ステップS16)。
【0135】
また、判別部518は、当該ドラッグ操作に応じた画像表示が行われるように、画像生成部520に制御命令を出力する。画像生成部520は、ドラッグに応じてアイコン300を移動させる画像を生成し、画像投写部530によってアイコン300が移動する画像が投写表示される(ステップS18)。
【0136】
なお、クリックでもドラッグでもないと判別された場合や、アイコン300の範囲内にないと判別された場合には、矢印形状のスポット光202の表示が継続される。
【0137】
次に、上述した手ぶれ量を考慮するために、レーザーポインタ100と画像表示領域12との距離を判定する処理について説明する。
【0138】
図10は、本実施の形態の一例に係る距離判定の流れを示すフローチャートである。
【0139】
距離の判定の手法としては、種々の手法が考えられるが、ここでは、次の手法を採用した例について説明する。
【0140】
すなわち、送受信部180を用いて、レーザーポインタ100から画像表示領域12へ向け超音波を送信し、画像表示領域12からの超音波の反射を受信する。そして、制御部130を用いて超音波の送受信にかかった時間から距離を計測する(ステップS22)。
【0141】
制御部130は、記憶部140に記憶された基準距離データと、計測した距離とを比較し、どれくらいの違いがあるか判定する(ステップS24)。
【0142】
そして、制御部130は、上述した指示許容範囲を決定するための情報を生成する(ステップS26)。
【0143】
生成された指示許容範囲を決定するための情報は、送受信部180により、送受信部60へ向け送信される(ステップS28)。
【0144】
判別部518は、送受信部60を介して当該指示許容範囲を決定するための情報を受信する(ステップS30)。
【0145】
そして、判別部518は、当該指示許容範囲を決定するための情報に基づき、記憶部516内の指示許容範囲を示す情報を更新する(ステップS32)
【0146】
これにより、レーザーポインタ100と画像表示領域12との距離に応じて適切な指示許容範囲が設定される。したがって、上記距離が変動した場合でも常に適切な指示検出が行える。
【0147】
以上のように、本実施の形態によれば、レーザーポインタ100等の光ポインタを用いてクリック操作等を行うことができる。また、クリック操作等の際にスポット光200の形状やアイコン300の画像を変化させることにより、聴衆にとってクリック操作等の指示内容が視覚的に分かりやすく、効果的にプレゼンテーションを行うことができる。
【0148】
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【0149】
(変形例)
例えば、アイコン300や、スポット光200等の表示の変更としては、形状だけの変更、色だけの変更、形状と色の両方の変更、通常表示から点滅表示や反転表示等への変更、発光光量の変更、光の大きさの変更等であってもよい。これらによっても光ポインタの操作者による指示操作を視覚的に分かりやすく示すことができる。なお、光ポインタは、上述したレーザーポインタに限られず、赤外ポインタ等の各種の光を投射するポインタを適用できる。
【0150】
また、例えば、レーザー光投射部110の構成は図7に示すものに限定されず、種々の構成を採用できる。例えば、矢印形状の光を発光する光源、円形状の光を発光する光源、だ円形状の光を発光する光源を、それぞれ独立に設け、各光源を選択的に点灯させることにより、図3(A)〜図3(D)に示す各形状のスポット光202〜206を投射表示させることができる。
【0151】
また、上述した実施例では、指示位置を指示する光の形状として矢印の例について説明したが、矢印以外にも<(左を指示)、>(右を指示)のようなより簡略にした形状や、より複雑にした形状を、方向指示可能な形状として適用することが可能である。
【0152】
さらに、距離の判定手法としては、図10で説明した手法以外にも、例えば、レーザーポインタ100側で送信時刻を示す情報を送受信部60に送信し、送受信部60を介して判別部518で当該情報を受信し、受信した送信時刻を示す情報に基づき、距離を演算する手法等を適用することも可能である。
【0153】
なお、アイコン300の表示を変化させるだけでなく、検出された指示位置に追従して表示されるカーソルの表示を変化させることも可能である。
【0154】
また、レーザーポインタ100からのスポット光200の形状を変化させる手法に代えて、画像生成部520を用いて、指示位置検出部510の位置検出情報に基づく指示位置付近に指示用カーソルが表示されるように画像を生成する手法を採用してもよい。
【0155】
さらに、画像生成部520を用いて、方向指示可能な形状の指示用カーソルによって前記画像表示領域外から前記画像表示領域内の指示位置を指示する場合、当該指示用カーソルを前記画像表示領域内に表示するように、当該指示用カーソルの表示位置および指示方向を調整した画像を生成する手法を採用してもよい。
【0156】
これらの手法によっても、上述したスポット光200の形状や、表示位置等を変更する場合と同様の作用効果を得ることができる。
【0157】
また、CCDカメラ40による撮像情報に基づき、スポット光200の形状を認識してどのような指示操作が行われているか判別することも可能である。上述した実施例では、このようなスポット光200の形状認識に代えて投射状態情報を送受信することにより、指示内容を把握する手法を採用している。このように、専用の情報を送受信する手法によれば、正確かつ迅速に指示内容を把握することができる。
【0158】
なお、送受信部60からレーザーポインタ100に送る情報としては、制御情報以外に処理部500や、プロジェクタ20等の稼働状態を示す情報を送信してもよい。例えば、プロジェクタ20が稼働していない場合には、レーザーポインタ100からのレーザー光の投射を停止することにより、レーザーポインタ100の電池寿命を延ばすことができる。
【0159】
また、上述したプロジェクタのような投写手段以外にも表示手段で画像表示を行ってプレゼンテーション等を行う場合にも本発明を適用できる。このような表示手段としては、例えば、液晶プロジェクタのほか、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、FED(Field Emission Display)、EL(Electro Luminescence)、直視型液晶表示装置等のディスプレイ装置等が該当する。
【0160】
さらに、上述した実施例では、前面投写型のプロジェクタを適用した例について説明したが、背面投写型のプロジェクタを適用することも可能である。
【0161】
また、本発明は、プレゼンテーションシステムに限定されず、指示位置を検出して検出結果に基づき画像を生成する各種の画像生成システムにも適用できる。
【図面の簡単な説明】
【図1】本実施の形態の一例に係るプレゼンテーションシステムの概略説明図である。
【図2】画像表示領域におけるスポット光の表示状態を示す図であり、図2(A)は、指示時の状態を示し、図2(B)は、クリック時の状態を示し、図2(C)は、ドラッグ時の状態を示す図である。
【図3】画像表示領域におけるスポット光とアイコンの状態を示す図であり、図3(A)は、スポット光移動時の状態を示し、図3(B)は、スポット光がアイコンに重なった状態を示し、図3(C)は、クリック時のスポット光の状態を示し、図3(D)は、ドラッグ時のスポット光の状態を示す図である。
【図4】画像表示領域におけるスポット光とアイコンの状態を示す他の図であり、図4(A)は、画像表示領域の中央付近にアイコンをスポット光で指示している状態を示し、図4(B)は、右端付近にあるアイコンを従来のスポット光で指示している状態を示し、図4(C)は、右端付近にあるアイコンを本実施形態のスポット光で指示している状態を示す図である。
【図5】レ―ザー光の投射距離とスポット光のずれ量との関係を示す模式図である。
【図6】本実施の形態の一例に係るレーザーポインタの機能ブロック図である。
【図7】本実施の形態の一例に係るレーザー光投射部の機能ブロック図である。
【図8】本実施の形態の一例に係るシステムの機能ブロック図である。
【図9】本実施の形態の一例に係る指示動作の検出の流れを示すフローチャートである。
【図10】本実施の形態の一例に係る距離判定の流れを示すフローチャートである。
【図11】円、楕円および矢印形状の投射光の軌跡を示す図である。
【符号の説明】
12 画像表示領域
20 プロジェクタ
30 プレゼンター
40 CCDカメラ
100 レーザーポインタ
510 位置検出部
520 画像生成部
590 情報記憶媒体

Claims (4)

  1. 所定の画像表示領域へ向け指示用の光を投射する光ポインタであって、
    前記光を投射する光投射手段と、
    当該光ポインタの使用者の指示を入力する投射指示手段と、
    当該投射指示手段に入力された指示情報に基づき、前記指示の内容に応じて前記光の点滅制御、形状制御、色制御のうち少なくとも1つを行うように前記光投射手段を制御する制御手段と、
    前記画像表示領域における前記光の位置を検出する所定の処理装置から制御情報を無線で受信する指示側受信手段と、
    を含み、
    前記光投射手段は、方向指示形状を有する光を投射し、
    前記制御手段は、前記指示側受信手段で受信された制御情報に基づき、前記制御情報が前記方向指示形状を有する光が前記画像表示領域外から前記画像表示領域内の指示位置を指示していることを示す情報である場合には、前記方向指示形状を有する光の前記画像表示領域内の位置および指示方向が変更されるように前記光投射手段を制御することを特徴とする光ポインタ。
  2. 請求項1において、
    前記投射指示手段は、スイッチを含み、
    前記制御手段は、前記スイッチの押下による前記画像表示領域におけるアイコンに対するクリック指示時と、前記スイッチが押下された状態で前記光ポインタが移動したことによる前記アイコンに対するドラッグ指示時と、前記クリック指示時および前記ドラッグ指示時以外の通常指示時とで前記光の形状を変化させるように前記光投射手段を制御することを特徴とする光ポインタ。
  3. 請求項1、2のいずれかにおいて、
    前記画像表示領域における前記処理装置へ向け前記光投射手段の投射状態を示す投射状態情報を無線で送信し、前記処理装置に、前記投射状態情報に基づき、前記光投射手段の投射状態を把握させる指示側送信手段を含むことを特徴とする光ポインタ。
  4. 請求項1〜3のいずれかにおいて、
    前記指示側受信手段は、前記処理装置から前記処理装置の稼働状態を示す情報を受信し、
    前記制御手段は、前記指示側受信手段で受信された前記稼働状態を示す情報に基づき、前記処理装置が稼働していない場合、前記光の投射を停止するように前記光投射手段を制御することを特徴とする光ポインタ。
JP2000230948A 2000-07-31 2000-07-31 光ポインタ Expired - Fee Related JP3770308B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000230948A JP3770308B2 (ja) 2000-07-31 2000-07-31 光ポインタ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000230948A JP3770308B2 (ja) 2000-07-31 2000-07-31 光ポインタ

Publications (2)

Publication Number Publication Date
JP2002041238A JP2002041238A (ja) 2002-02-08
JP3770308B2 true JP3770308B2 (ja) 2006-04-26

Family

ID=18723840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000230948A Expired - Fee Related JP3770308B2 (ja) 2000-07-31 2000-07-31 光ポインタ

Country Status (1)

Country Link
JP (1) JP3770308B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4590858B2 (ja) * 2003-11-18 2010-12-01 富士ゼロックス株式会社 書き込み可能プロジェクタおよび光ポインタ
JP5168906B2 (ja) * 2007-01-11 2013-03-27 カシオ計算機株式会社 投影システム、投影装置、光ポイント装置、投影制御方法、ポイント光制御方法及びプログラム
CN102707795B (zh) * 2011-07-25 2015-07-15 京东方科技集团股份有限公司 显示系统
US11029766B2 (en) * 2013-06-26 2021-06-08 Sony Corporation Information processing apparatus, control method, and storage medium
JP2023149788A (ja) * 2022-03-31 2023-10-13 セイコーエプソン株式会社 表示方法および表示システム
CN115031710A (zh) * 2022-07-11 2022-09-09 王强 一种投线装置及其投线方法

Also Published As

Publication number Publication date
JP2002041238A (ja) 2002-02-08

Similar Documents

Publication Publication Date Title
US6698897B2 (en) Presentation system using laser pointer
US6910778B2 (en) Presentation system using laser pointer
US20030222849A1 (en) Laser-based user input device for electronic projection displays
US20120044140A1 (en) Information display system and program, and optical input system, projection-type images and display apparatus
US8188973B2 (en) Apparatus and method for tracking a light pointer
US20070115254A1 (en) Apparatus, computer device, method and computer program product for synchronously controlling a cursor and an optical pointer
US20090115971A1 (en) Dual-mode projection apparatus and method for locating a light spot in a projected image
TW201108751A (en) Device and method for displaying an image
CA2378154A1 (en) Computer presentation system and method with optical tracking of wireless pointer
JP2008192146A (ja) 画像表示装置の制御装置及び方法
JP2001236179A (ja) 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
US20030067441A1 (en) Presentation system using laser pointer
WO2016157803A1 (ja) 表示装置、表示装置の制御方法、書画カメラ、及び、書画カメラの制御方法
CN105938410B (zh) 显示装置以及显示装置的控制方法
JP3770308B2 (ja) 光ポインタ
CN112687216A (zh) 激光投影设备及其控制方法
WO2016157804A1 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2003173235A (ja) レーザポインタを用いたプレゼンテーションシステム
JP2009182435A (ja) 投影システム、リモコン、プロジェクタ、投影システムの操作方法およびプログラム
JP2002116878A (ja) 画像生成システム、プレゼンテーションシステムおよび情報記憶媒体
JP2018054880A (ja) 表示装置、情報処理装置および情報処理方法
JP2012053603A (ja) 情報表示システム
JP4180403B2 (ja) プロジェクタシステム、プロジェクタ装置、画像投射方法
US10771749B2 (en) Electronic apparatus, display system, and control method of electronic apparatus
JP6098153B2 (ja) 表示装置、及び、表示装置の制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051215

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060131

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130217

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130217

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees