JP5981810B2 - 座標入力装置及びその制御方法 - Google Patents

座標入力装置及びその制御方法 Download PDF

Info

Publication number
JP5981810B2
JP5981810B2 JP2012192298A JP2012192298A JP5981810B2 JP 5981810 B2 JP5981810 B2 JP 5981810B2 JP 2012192298 A JP2012192298 A JP 2012192298A JP 2012192298 A JP2012192298 A JP 2012192298A JP 5981810 B2 JP5981810 B2 JP 5981810B2
Authority
JP
Japan
Prior art keywords
sensor
sensor unit
angle
bar
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012192298A
Other languages
English (en)
Other versions
JP2014048959A (ja
JP2014048959A5 (ja
Inventor
孝之 小峰
孝之 小峰
鷹野 博邦
博邦 鷹野
松下 明弘
明弘 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012192298A priority Critical patent/JP5981810B2/ja
Publication of JP2014048959A publication Critical patent/JP2014048959A/ja
Publication of JP2014048959A5 publication Critical patent/JP2014048959A5/ja
Application granted granted Critical
Publication of JP5981810B2 publication Critical patent/JP5981810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、座標入力領域の指示位置を検出する座標入力装置に関する。
座標入力面に、指示具(例えば、専用入力ペン、指等)によって指示し座標入力することで、接続されたコンピュータの制御、文字や図形などの入力をおこなう座標入力装置が存在する。
従来、この種の座標入力装置としては、各種方式のものが提案、または製品化されており、特殊な器具などを用いずに画面上でパーソナルコンピュータ等の端末の操作が簡単にできることから、広く利用されている。
座標入力方式としては、抵抗膜を用いたもの、超音波を用いたものなどさまざまなものがあるが、光を用いたものとして、例えば、特許文献1がある。この特許文献1では、座標入力領域の外側に再帰反射部材を設け、座標入力領域の角端部に光を投光する投光部と光を受光する受光部とを配置している。そして座標入力領域内において指等の光を遮蔽する遮蔽物と受光部間の角度を検出し、その結果に基づいて遮蔽物の座標を決定する構成が開示されている。
特許文献2では、微分等の波形処理演算によって受光部が受光する遮蔽物による遮光部分のピークを検出し、受光部に対する遮光部分の角度を検出して遮蔽物の座標を算出する構成が示されている。
また、特許文献3では、特定のレベルパターンとの比較によって遮光部位の一方の端と他方の端を検出し、それらの座標の中心を検出する構成が示されている。
また、特許文献4ではセンサ部の取り付け角度のずれを、基準点等を設けることなしに検出する為に、センサ間での直接光と再帰反射部以外で反射した正規反射光から求める校正が示されている。
上述した座標入力装置のシステムとして、フロントプロジェクタ等により座標入力装置の入力面に画像を投影し、投影画像に対して直接的に入力が可能な構成とする場合が考えられる。
一方、フロントプロジェクタの小型化が進んだことから、フロントプロジェクタを会議室等へ持ち込み、投影画像を利用して会議を行うケースが増えてきている。これに伴い、フロントプロジェクタを持ち込んだ会議室で、座標入力装置も一緒に利用して会議を行いたい要望が増えてきている。この為、持ち運びが可能で簡単に設置できる着脱式の座標入力装置が求められる様になってきた。また、会議室の状況(参加者の人数や会議室の広さ等)によって、座標入力装置がさまざまな投影サイズに対応する事も望まれている。
米国特許第4507557号公報 特開2000−105671号公報 特開2001−142642号公報 特許第3964079号公報
着脱式の装置構成とするために、センサユニットを再帰反射部材の両端に構成したバー状のユニット(以下センサバー)を、2つを1組として座標入力領域を構成することが考えられる。このとき、センサバーを上下に配置したり、左右に配置したり、センサバー間の距離を変更することにより、ある程度自由な画面サイズに対応する事が可能となる。
各センサユニット間の距離は可変となる為、絶対座標は求める事は出来ないが、各センサユニットの相対的な位置関係から、相対的な座標を求める事は出来る。センサユニットの相対的な座標を求める手順を、図6を使って説明する。
この図で、4つのセンサユニットを1A、1B、1C、1Dとし、仮にセンサユニット1Aの座標を(0, 0)、センサユニット1Cの座標を(1, 0)とする。センサユニット1Aと1Cを結んだ直線と、センサユニット1Aと1B、センサユニット1Cと1Bを結んだ直線とがなす角度をそれぞれθ1、θ4とした時、この2つの角度からセンサユニット1Bの座標を算出する事ができる。また、センサユニット1Aと1Cを結んだ直線と、センサユニット1Dと1C、1Aと1Dを結んだ直線とがなす角度をそれぞれθ2、θ3とすると、この2つの角度からセンサユニット1Dの座標を算出する事が求まる。
対向するセンサユニットの角度測定は、センサバー4Aのセンサユニットからの赤外投光をセンサバー4Bのセンサユニットで受光する事により測定する。同様にセンサバー4Bのセンサユニットからの赤外投光をセンサバー4Aのセンサユニットで受光する事により測定する。
ここで、同一センサバー内のセンサユニットは、視野範囲の制限から同一センサバー内にセンサユニットの位置を直接観測する事が出来ない。この為、取り付け等によるセンサユニット間のズレを補正する為、センサ間を結んだ直線に対して垂直方向の角度を測定し、これを基準として角度を測定する事により、センサユニット間の角度補正を行う。つまり、θ3はセンサユニット1Aで測定したセンサユニット1Cの角度とセンサユニット1Aの基準の角度の差を90度から引くことにより求まる。また、θ4はセンサユニット1Cで測定したセンサユニット1Aの角度とセンサユニット1Cの基準の角度の差を90度から引くことにより求まる。
さて、座標検出領域のサイズに対して更なる自由度を与えるには、センサバーに伸縮機構を持たせることである。しかし、この場合には、更なる問題に直面する。すなわち、伸縮自在にするわけであるから、大小の差はあっても、その伸縮する部分にはガタが発生し、その結果、同じセンサバー内の2つのセンサユニットの基準の角度にずれが生じる点である。これを、図7を使って説明する。
図7において、センサユニット1Aの基準の角度は、センサバー4A(センサユニット1Aと1Dを結ぶ直線)に対して直角の方向を示す。しかし、センサバーの伸縮機構によるガタがあると、センサユニットの基準の角度とセンサユニット1A,1D間を結ぶ直線が直角でなくなり、基準の角度は誤差e1を持つ。この為、この基準の角度から求めたセンサユニット1Dの座標は実際の位置からずれた位置701として算出される虞があり、正しい座標検出の妨げとなる。同様に、センサユニット1Bの座標にもセンサバーのガタつきによる基準の角度の誤差によってずれた位置が算出される問題もある。
本発明は上記課題に鑑みなされたものであり、座標入力領域のサイズに対して自由度を持たせるだけでなく、高い精度で座標を検出を可能にする技術を提供しようとするものである。
上記目的を達成するための一手段として、本発明の座標入力装置は以下の構成を備える。
互いに対向するように配置される第1、第2のセンサバーを有する座標入力装置であって、
ここで、前記第1,第2のセンサバーそれぞれは、長手方向に伸縮する機構を有すると共に、相手側のセンサバーのセンサユニットからの投光された光を反射する再帰反射部を前記長手方向に沿って有し、前記第1のセンサバーは、投光及び受光を行うための第1、第2のセンサユニットをその両端部に有すると共に、前記第2のセンサバーは、投光及び受光を行うための第3、第4のセンサユニットをその両端部に有する;
前記第1のセンサユニットら前記第4のセンサユニットに向かう角度、前記第2のセンサユニットから前記第4のセンサユニットに向かう角度、前記第4のセンサユニットから見て前記第1のセンサユニットと前記第2のセンサ成す角度から、前記第1のセンサバーの折れ曲がりによる前記第1のセンサユニットに対する前記第2のセンサユニットの相対位置の誤差を調整し、
前記第3のセンサユニットら前記第1のセンサユニット向かう角度、前記第4のセンサユニットから前記第1のセンサユニット向か角度、前記第1のセンサユニットら見て前記第3のセンサユニットと前記第4のセンサユニットの成す角度ら、前記第2のセンサバーの折れ曲がりによる前記第4のセンサユニット対する前記第3のセンサユニット相対位置の誤差を調整する調整手段とを有する。
本発明の構成によれば、座標入力領域のサイズに対して自由度を持たせるだけでなく、高い精度で座標の検出が可能になる。
本発明の構成を説明する平面図。 センサユニットの構成の説明図。 制御・演算ユニットのブロック図 発光のタイミングチャート。 光量分布の説明図。 センサユニット座標算出の説明図。 センサバーの筺体の折れ曲がりによる誤差の説明図。 座標入力領域の説明図。 座標算出の説明図。 基準角度補正の説明図。 センサバー伸縮機構の説明図。 センサバーの筺体の折れ曲がりの説明図。 センサバー伸縮機構の説明図。 センサバーの筺体の折れ曲がりの説明図。 センサバーの位置調整に係る処理手順を示すフローチャート。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
[実施形態1]
<装置構成の概略説明>
先ず、実施形態に係る座標入力装置の概略構成について図1を用いて説明する。
図1において、1A〜1Dは赤外線を投光する投光部および赤外光を受光する受光部を有するセンサユニットである。各センサユニットから出ている破線矢印は、それぞれのセンサユニットが受光することができる赤外光の視野角を表している。センサユニットは制御・演算を行う制御・演算ユニット2A、2Bに2個ずつ接続され、制御信号を制御・演算ユニットから受け取ると共に、受光部で受光した信号を制御・演算ユニットに送信する。
3A,3Bは、再帰反射部であって、入射光を到来方向に反射する再帰反射面を有し、それぞれのセンサユニットの投光部から投光された赤外光を、投光したセンサユニットに向けて再帰的に反射する。反射された赤外光は、センサユニットの受光部によって1次元的に受光され、その受光データが制御・演算ユニットに送られる。
4A、4Bは上記説明したセンサユニット、制御・演算ユニット等を収納し、伸縮自在であり、且つ、再帰反射部を具備するセンサバー(第1,第2のセンサバー)である。センサバー4A、4Bが設置固定される対象物は、その表面が適度に平坦であれば良く、その種類を問わないし、設置方法も設置対象物に応じたものとすれば良い。ただし、設置固定の容易性から、実施形態におけるセンサバー4A、4Bの設置固定対象物はホワイトボードとする。多くのホワイトボードはマグネットを固定可能とするため、強磁性体の板(例えば鉄板)を内蔵していることに鑑み、実施形態におけるセンサバー4A、4Bはマグネットを内蔵し、それを利用してホワイトボードに設置固定するものとした。
5は座標を入力する座標入力領域である。この座標入力領域5は、各センサバーの両端部に設けられたセンサユニット1A〜1Dにより検出される領域である。座標入力領域5の縦横比や大きさは、センサバー4A,4Bの伸縮の度合、並びに、の設置条件により任意の縦横比、大きさとなる。
本実施形態において、再帰反射部3A、3Bは、座標入力領域5の2辺に構成されており、センサユニット1A、1Dは、2辺の再帰反射部のうち一方の再帰反射部3Bに対して投光した赤外光の反射光を受光する。同様に、センサユニット1B、1Cは、もう一方である再帰反射部3Aに対して投光した赤外光の反射光を受光する。
なお、現実には、センサバー4A,4Bをホワイトボードに設置固定し、そのホワイトボード上にプロジェクタ等で画面を投影表示した後、ユーザがその投影画像の4隅を指示して有効な座標検出領域を規定し、その座標検出領域が図示の座標入力領域5として機能することになる。従って、図示の座標入力領域5の境界が視覚的な実線で示されるわけではない。
上記構成において、座標入力領域5で指などによる入力指示がなされると、上記センサユニット1A〜1Dの投光部から投光された赤外光が遮られ、入力指示方向のみ再帰反射による反射光が得られなくなる。
制御・演算ユニット2A、2Bは、1A〜1Dのセンサユニットの光量変化から、入力指示された部分の遮光範囲を検出し、同範囲内での検出点を特定してそれぞれの角度を算出する。制御・演算ユニット2A、2Bは双方に通信する通信手段を有し、それぞれで算出された角度情報の交換を行い、入力エリア上の指などの指示位置の座標を算出する。そしてプロジェクタ等の表示装置に接続されているPCなどに、USBなどのインタフェースを経由して入力位置の座標値を出力する。
このようにして、指などによって、画面上に線の描画やアイコンの選択などのPCの操作が可能になる。以降各部分毎に詳細説明を行う。
<センサユニットの詳細説明>
センサユニット1A〜1Dの構成について、図2を用いて説明する。各センサユニットは同じ構造であるので、ここではセンサユニット1Aについて説明する。センサユニット1Aは、大きく分けて投光部と受光部から構成される。
図2は本発明の実施形態のセンサユニット1Aの詳細構成を示す図である。
図2(a)は、センサユニットの投光部を示している。101は、赤外光を発する赤外LEDであり、投光レンズ102によって、所定範囲に赤外光を投光する。図2(b)は、センサユニットの受光部を示している。受光部は、1次元のラインCCD103、集光光学系としての集光レンズ104、入射光の入射方向を概略制限する絞り105、及び可視光等の余分な光(外乱光)の入射を防止する赤外フィルター106からなる。図2(c)は、図1のセンサユニット1A,1B側から見た断面図である。センサユニット1Aの赤外LED101Aからの赤外光は、投光レンズ102Aにより、座標入力面に略平行に制限された光束として、主に再帰反射部3Bに対して投光される。同様に、センサユニット1Bの赤外LED101Bからの赤外光は、投光レンズ102Bにより、主に再帰反射部3Aに対して投光される。
本実施形態の場合、投光部と受光部は、座標入力面である座標入力領域5の垂直方向に対し重ねた配置構成となっている。そして、正面方向(座標入力面に対し垂直方向)から見て、投光部の発光中心と受光部の基準位置(つまり、角度を計測するための基準点位置に相当し、本実施形態にあっては絞り105の位置)が一致する構造となっている。また、投光部により投光された座標入力面に略平行な光束であって、面内方向に所定角度方向に投光されている赤外光は、再帰反射部3により赤外光の到来方向に反射される。そして、赤外フィルター106A(106B)、絞り105A(105B)、集光レンズ104A(104B)を経て、ラインCCD103の検出素子面上に集光、結像することになる。従って、ラインCCD103の出力信号は、反射光の入射角に応じた光量分布を出力することになるので、ラインCCD103を構成する各画素の画素番号が角度情報を示すことになる。
尚、図2(c)に示す投光部と受光部の距離Lは、投光部から再帰反射部3までの距離に比べて十分に小さな値であり、距離Lを有していても十分な反射光を受光部で検出することが可能な構成となっている。
以上説明したように、センサユニット1A〜1Dは、投光部と、各々の投光部で投光された赤外光を各々検出する受光部を有する構成である。
<制御・演算ユニットの説明>
図1の制御・演算ユニット2A、2Bとセンサユニット1A〜1Dの間では、CCDの制御信号、CCD用クロック信号とCCDの出力信号、および、LEDの駆動信号がやり取りされている。なお、制御・演算ユニット2Aは、センサユニット1A,1Dと接続されていて、同様に制御・演算ユニット2Bは、センサユニット1B,1Cと接続されている。
図3は制御・演算ユニットのブロック図である。なお、本実施形態では、制御・演算ユニット2A、2Bは、いずれも同様の回路構成となっている。
CCD制御信号は、ワンチップマイコンなどで構成されるCPU41から出力されており、CCDのシャッタタイミングや、データの出力制御などを行っている。CCD用のクロックはクロック発生回路であるCLK42からセンサユニットに送信されるとともに、CCDとの同期をとって、各種制御を行うために、CPU41にも入力されている。なお、LED駆動信号はCPU41から、センサユニットの赤外LEDに供給されている。
センサユニットのCCDからの出力信号は、制御・演算ユニットのA/Dコンバータ43に入力され、CPU41からの制御によって、デジタル値に変換される。変換されたデジタル値はメモリ44に記憶され、角度計算に用いられる。そして、計算された角度から、座標値が求められ外部PCなどにシリアルインタフェース48を介して出力される。なお、シリアルインタフェース48は、制御・演算ユニット2A、2Bのいずれか1つがPCと接続される。
ここで、図1に示したように、本実施形態においては、2つのセンサバーが配置された構成となっている。
2つのセンサバー4A、4B内の制御・演算ユニット2Aと2B間の通信には、無線の通信手段が用いられる。本実施形態では、赤外線通信インタフェース46を介して、サブCPU45で処理されたデータにより、制御・演算ユニット間のやりとりが行われる。
なお、制御・演算ユニット2A、2Bは、角度算出までを行うスレーブと、スレーブからの角度情報を受信し、その情報と自ユニットからの角度情報から座標を算出するマスタの2種類の動作をする。本実施形態の場合は、制御・演算ユニット2Aがスレーブで、制御・演算ユニット2Bがマスタとして動作する。なお、各制御・演算ユニットは、マスタ・スレーブのどちらにもなりうるが、不図示のディップスイッチなどで、CPUのポートに切替え信号を入力することで切替えることが可能となっている。
<光量分布検出の説明>
図4はセンサユニットを制御する制御信号のタイミングチャートである。
51,52,53がCCD制御用の制御信号であり、SH信号51の間隔で、CCDのシャッタ時間が決定される。信号52は制御・演算ユニット2Aからセンサユニット1A、1Dへの、信号53は制御・演算ユニット2Bからセンサユニット1B、1Cへのゲート信号であり、CCD108内部の光電変換部の電荷を読み出し部へ転送する信号である。
信号54、55はLEDの駆動信号であり、信号SH51の最初の周期でセンサバー4Aのセンサユニット1A、1Dの投光部にあるLEDを点灯するために信号LEDU54の駆動信号がLED駆動回路を経てLEDに供給される。そして、次の周期でセンサバー4Bのセンサユニット1B、1Cの投光部にあるLEDを点灯するために信号LEDD55の駆動信号がLED駆動回路を経てLEDに供給される。双方のLEDの駆動が終了した後に、CCDの信号がセンサから読み出される。したがって、センサバー4Aと4Bでは、異なるタイミング(56Uと56D)で赤外光が投光され、再帰反射部3A、3Bで反射した赤外光がCCDで受光されることになる。
読み出される信号は、指などによる座標入力がない場合には、それぞれのセンサユニットからの出力として、図5(a)のような光量分布が得られる。もちろん、このような分布がどのシステムでも必ず得られるわけではなく、再帰反射部材の反射特性や投光部の投光特性、受光部の受光特性、計時変化(反射面の汚れなど)等によって分布は変化する。
同図においては、Aのレベルが最大光量であり、Bのレベルが最低のレベルとなる。つまり反射光のない状態では、得られるレベルがB付近になり、反射光量が増えるほどAのレベルの方向になっている。この様にCCDから出力されたデータは、逐次A/D変換されCPUにデジタルデータとして取り込まれる。
図5(b)は指などで座標入力を行った、つまり、赤外光を遮った場合のCCD出力の例である。Cの部分が指などで赤外光が遮られたため、その部分のみ光量が低下している。座標入力の検出は、この光量分布の変化から行う。
具体的には、図5(a)のような座標入力の無い初期状態を予め記憶しておき、それぞれのサンプル期間に図5(b)のような変化があるか初期状態との差分によって検出し、変化があった場合その部分を座標入力点として入力角度を決定する演算を行う。
<角度計算の説明>
角度計算にあたっては、まず、遮光範囲を検出する必要がある。
先述したように、光量分布は経時変化などで一定ではないため、システムの起動時などに記憶する事が望ましい。そうする事で、例えば、再帰反射面がほこりなどで汚れていても、完全に反射しないような場合を除いて使用可能になる。
以降一つのセンサのデータについて説明するが、全てのセンサで同様の処理を行っている。
座標入力の無い状態で、投光部から赤外光を投光することなしにCCDの出力を取込み、これをBas_Data[N]として、メモリに記憶する。これは、CCDのバイアスのばらつき等を含んだデータとなり、図5(a)のBのレベル付近のデータとなる。ここで、Nは画素番号をあらわす。
次に、座標入力の無い状態で、投光部から赤外光を投光した状態でのCCDの出力を取込み、Ref_Data[N]としてメモリに記憶する。これは図5(a)の実線で表されたデータである。
これらのデータを用いて、最初に座標入力がされた(遮光範囲がある)かどうかを、データの変化の絶対量によって判定する。これは、ノイズ等による誤判定を防止し、所定量の確実な変化を検出するためである。
あるサンプル期間のCCDの出力をCur_Data[N]とする。変化の絶対量を各々の画素において以下の計算を行い、予め決定してある閾値Vthaと比較する。
Dif_Data[N] = Cur_Data[N] - Ref_Data[N] …(1)
ここで、Dif_Data[N]は各画素における絶対変化量である。
この処理は、差を取り閾値と比較するだけなので処理時間をさほど使わず、座標入力の有無の判定を高速に行う事が可能である。なお、Vthaを超えた画素が所定数以上検出されたときに座標入力があったと判定する。
次に、より高精度に座標入力を検出するために、変化量の比を計算して入力点の決定を行う。
Nrm_Data[N] = Dif_Data[N] / (Bas_Data[N] - Ref_Data[N]) …(2)
このデータに対して、閾値Vthrを適用して、その立ち上がり部と立下り部の画素番号から、両者の中央を入力画素として、角度を求める。
図5(c)は比計算を終わったあとの検出の例である。いま閾値Vthrで検出すると遮光領域の立ち上がり部分は、Nr番目の画素で閾値を超えたとする。さらに、Nf番の画素でVthrを下まわったとする。
このまま中心画素Npを
Np = Nr + (Nf - Nr) / 2 …(3)
のように計算してもよいが、そうすると、画素間隔が最小の分解能になってしまう。より細かく中心画素を検出するために、それぞれの画素のレベルとその一つ前の画素のレベルを用い閾値を横切った仮想の画素番号を計算する。
今、NrのレベルをLr,Nr−1番画素のレベルをLr−1とする。また、NfのレベルをLf、Nf−1番がそのレベルをLf−1とすれば、それぞれの仮想画素番号Nrv,Nfvは、
Nrv = Nr-1 + ( Vthr - Lr-1 ) / ( Lr -Lr-1 ) … (4)
Nfv = Nf-1 + ( Vthr - Lf-1 ) / ( Lf -Lf-1 ) … (5)
と計算でき、仮想中心画素Npv
Npv = Nrv + ( Nfv - Nrv ) / 2 (6)
で決定される。
このように、画素番号とそのレベルから仮想的な画素番号を計算することで、より分解能の高い検出ができる。
上記のようにして得られた中央画素番号から、実際の座標値を計算するためには、画素番号を角度情報に変換する必要がある。
後述する実際の座標計算では、角度そのものよりもその角度における正接(tangent)の値を求めるほうが都合がよい。なお、画素番号から、tanθへの変換には、テーブル参照や変換式を用いる。
変換式は例えば高次の多項式を用いると精度を確保できるが次数などは計算能力および精度スペック等を鑑みて決定すればよい。
ここで、5次多項式を用いる場合の例を示す。多項式の係数は各センサユニットのCCDの画素番号と角度の関係を実測し、それに対する近似式となることから、センサユニット毎に異なる値となる。5次多項式を用いる場合には係数が6個必要になり、出荷時などにこのセンサユニット固有のデータを不揮発性メモリなどに記憶しておく。今、5次多項式の係数をL5,L4,L3,L2,L1,L0としたとき、tanθは
tanθ = ((((L5 * Npr + L4) * Npr + L3) * Npr + L2) * Npr + L1) * Npr + L0 …(7)
であらわす事ができる。
もちろん、上記例ではtanθを求めているが、角度そのものを求め、その後tanθを求めても構わない。
<センサ座標算出の説明>
次にセンサバーにガタがある場合のセンサユニット1A〜1Dのセンサ座標の算出方法を、図10を用いて説明する。
図10(a)において、各センサユニットは、センサバー4に対して垂直(直交)方向の角度を予め測定し、基準角度として保持している。また、センサユニット間の角度を測定する為に、センサユニット1Aと1Dの投光部から赤外光を投光し、センサユニット1Bと1Cで受光する。同様に、センサユニット1Bと1Cの投光部から赤外光を投光し、センサユニット1Aと1Dで受光する。
ここで、センサユニット1Aの座標を(0,0)、センサユニット1Cの座標を(1,0)とし、センサユニット1Aと1Cとを結ぶ線より下方をy座標のプラスの領域、上方向をマイナス領域とした時、センサユニット1Dの誤差を軽減した座標は下記の手順で求める事が出来る。
θ2はセンサユニット1Cで測定したセンサユニット1Aと1Dの角度の差分である。また、θ3は、センサユニット1Aで測定したセンサユニット1Cの角度とセンサユニット1Aの基準角度との差分θbを、90度から引く事で求まる角度である。θaはセンサユニット1Dで測定したセンサユニット1Cの角度とセンサユニット1Dの基準角度との差分θcを90度から引く事で求まる。ここで、θ2、θ3、θaはセンサユニット1A、1C、1Dで構成される三角形の内角であるため、その合計は180度となるはずである。しかし、センサバーの筺体折れ曲がりによる誤差θe1とθe2を含んでいる事から、
θ2+θ3+θa−180=θe1+θe2
となる。ここで、θe1とθe2それぞれの角度は不明であるが、『θe1+θe2』は、上式のごとく、実測したθ2、θ3、θaの合算から「180」を減じることで求めることができる。
ここで、θ3の真の値をθ3’と定義すると、
θ3=θ3’+θe1
と表わせる。既知の値『θe1+θe2』をθv1と表わし、センサバーの折れ曲がり位置が、その長手方向のほぼ中央部にあるとみなせる場合、θe1≒θe2となる。
故に、θ3’は次式で近似できる。
θ3’=θ3−θe1≒θ3−1/2*θv1
として求めることができる。
ここで、センサユニット1Aの座標を(0、0)、1Cの座標を(1,0)としているわけであるから(センサユニット1A、1Cを結ぶ線分が水平線であって、その間の距離が“1”としている)、センサユニット1Dの座標(XD、YD)は次式で得られる。
XD=tanθ2/(tanθ2+tanθ3’)
=tanθ2/(tanθ2+tan(θ3−1/2*θv1))
YD=XD*tan(θ3−1/2・θv1)
なお、ここではセンサーユニットAを原点(0,0)としているので、調整対象はセンサーユニット1Dとなるが、センサーユニット1Aの位置を相対的に移動させても構わない。
同様にセンサ1Bの座標を求める事が出来る。図10(b)において、θ1はセンサユニット1Aで測定したセンサユニット1Bと1Cの角度の差分で求まる。また、θ4はセンサユニット1Cで測定したセンサユニット1Aの角度とセンサユニット1Cの基準角度との差分θiを90度から引く事で求まる。θhはセンサユニット1Bで測定したセンサユニット1Aの角度とセンサユニット1Dの基準角度との差分θjを90度から引く事で求まる。ここで、θ1、θ4、θhはセンサユニット1A、1B、1Cで構成される三角形の内角であるため、その合計は180度となるはずである。しかし、センサバーの筺体の折れ曲がりによる誤差θe3とθe4がある事から、
θ1+θ4+θh−180=θe3+θe4
となる。ここで、θe3とθe4それぞれの角度は分からないが、『θe3+θe4』は上記の如く、実測したθ1+θ4+θhから180度を減じて求めることができる。
ここで、θ4の真の値をθ4’と定義すると、
θ4=θ4’+θe4
と表わせる。既知の値『θe3+θe4』をθv2と表わし、センサバーの折れ曲がり位置が、その長手方向のほぼ中央部にあるとみなせる場合、θe3≒θe4となる。
故に、θ4’は次式で近似できる。
θ4’=θ4−θe4≒θ4−1/2*θv2
今、センサユニット1Aの座標を(0、0)と1Cの座標を(1,0)としているわけであるから、センサユニット1Bの座標(XB、YB)は次式で得られる。
XB=tan(θ4−1/2×θv2)/(tanθ1+tan(θ4−1/2*θv2))
YB=−XB×tanθ1
ここで、Y座標の値YBが負の値となるのは、センサユニット1Bが、センサユニット1Aと1Cを結ぶ線分の上方向に位置するためである。
上記は、センサ座標を求める時には、センサユニット1Aとセンサユニット1Cを結んだ直線をx軸とした。しかし、指示具による座標を求める場合はセンサユニット1Aとセンサユニット1Bを結んだ直線をx軸とする為、求めたセンサ座標をセンサユニット1Aのセンサ座標を中心に角度θ3’だけ反時計周りに回転させる。以下の説明では、この座標回転を行った後の座標系、すなわち、センサユニット1Aの座標を(0、0)、センサユニット1Bの座標を(1、0)として説明することとする。
<座標計算方法の説明>
上記で得られた角度データとセンサユニット座標から指示座標を算出する方法を説明する。
図8は、各センサユニットの組み合わせで座標計算可能な座標入力領域5の座標検出範囲を示している。
図8に示すように、各センサユニットの投光および受光範囲が交わる領域が座標計算可能な領域となる。したがって、センサユニット1A,1Dで座標計算可能な範囲は、図8(a)の斜線の範囲91である。同様にセンサユニット1A,1Bで座標計算可能な範囲は、図8(b)の斜線の範囲92、センサユニット1B,1Cで座標計算可能な範囲は、図8(c)の斜線の範囲93、センサユニット1C,1Dで座標計算可能な範囲は、図8(d)の斜線の範囲94となる。
次に、図9を用いて各領域の座標計算方法を説明する。
図9はセンサバーの配置図であり、センサユニット1Aの座標を(0, 0)、センサユニット1Bの座標を(1, 0)、センサユニット1Cの座標を(XC, YC)、センサユニット1Dの座標を(XD, YD)としている。センサユニット1Aと1Bを結ぶ直線を出力する座標のx軸とすると、センサユニット1Aのx軸方向はセンサユニット1Bの角度となり、θpaはこの角度と遮光位置の角度の差分となる。センサユニット1Bのx軸方向はセンサユニット1Aの方向となり、θpbはこの角度と遮光位置の角度の差分となる。センサユニット1Cのx軸方向はセンサユニット1Cからみたセンサユニット1Aの角度からセンサユニット1Aからみたセンサユニット1Bと1Cの角度の差分を引いた角度となる。そして遮光位置の角度とこのx軸方向の角度の差分がθpcとなる。センサユニット1Dのx軸方向は、センサユニット1Dから見たセンサユニット1Bの角度から、センサユニット1Bから見たセンサユニット1Aと1Dの角度の差分を引いた角度となる。そして遮光位置の角度とこのx軸方向の角度の差分がθpdとなる。
センサユニットの組み合わせにより、4つの領域の座標を計算する事ができる。
・センサユニット1Aと1Bの組み合わせの場合:
xpt=tanθpb/(tanθpa+tanθpb) …(8)
ypt=xpa*tanθpa …(9)
・センサユニット1Cと1Dの組み合わせの場合:
xpb=(YD-YC+XD*tanθpd+XC*tanθpc)/(tanθpd+tanθpc) …(10)
ypb=YC-(xpb-XC)*tanθpd …(11)
・センサユニット1Bと1Cの組み合わせの場合:
xpl=(tanθpb+XC*tanθpc-YC)/(tanθpb+tanθpc) …(12)
ypl=(1-xpl)*tanθpb …(13)
・センサユニット1Aと1Dの組み合わせの場合:
xpr=(YD+XD*tanθpd)/(tanθpa+tanθpd) …(14)
ypr=xpr*tanθpa …(15)
以上説明したように本実施形態によれば、座標入力領域の自由度を増すため、センサバーを伸縮自在な構造にする。そして、その際に、その伸縮部に仮に「ガタ」が発生し、センサバーが多少折れ曲がるようになったとしても、その折れ曲がりの度合に応じて各センサユニットの位置を修正することにより、正確な座標を検出することができる。
なお、実施形態では、センサの折れ曲がりの位置を、センサバーの長手方向の中央位置するものとして説明したが、その折れ曲がり位置は中央位置から多少ずれた位置にあっても、上記のような処理で十分な精度で座標検出が行えることが確認された。
上記実施形態1では、2つのセンサバーそれぞれが互いに独立したCPUを有し、互いに通信し合うものとして説明した。しかしながら、2つのセンサバーが高速な通信インタフェースで接続できるのであれば、4つのセンサにかかる制御は1つのCPUで行ってもよい。この場合、2つのセンサバーの一方に全体の制御を司るCPUを有し、他方のセンサバーにはそのCPUからの指示に従い投光と受光結果を送信する回路を設ければ良い。
以上、実施形態1に係る原理を説明したが、各センサの位置調整は、操作者が一対のセンサバーをホワイトボードに対向するように設置、固定した後、センサバーに設けられた不図示の座標入力領域5の設定の開始指示するスイッチを操作した場合、その領域5を決定する前段階で行えば良いであろう。
以下、図15のフローチャートに従い、上記実施形態における座標入力領域設定に係る処理を説明する。なお、ここでは、センサバー4A(第1のセンサバー)内の制御・演算ユニット2Aがマスターとなり、センサバー4B(第2のセンサバー)内の制御・演算ユニット2Bがスレーブなった場合における、制御・演算ユニット2Aの処理を中心に説明する。

先ず、ステップS1にて、座標入力領域設定が指示されたか否かを判定する。座標入力領域5の設定が指示された場合、その座標入力領域5の設定に先立ち、実施形態のように伸縮自在なセンサバーとすることによる誤差調整処理(S2乃至S4)を行う。
先ず、ステップS2では、第1の角度検出処理を行う。この第1の角度検出処理の具体的な一例は次の通りである。
先ず、制御・演算ユニット2Aは、相手側であるセンサバー4Bに対し、センサユニット1Cを投光を実行するように指示する。そして、センサバー4A自身のセンサユニット1A、1Dにてセンサユニット1Cの角度θ3、θa(図10(a)参照)を検出する。この後、今度はセンサユニット1A、1Dによる投光を開始し、センサバー4Bのセンサユニット1Cに対して、センサユニット1A,1Dの成す角度θ2を測定させ、その結果を受信する。この結果、制御・演算ユニット2Aは、図10(a)におけるθ3、θa、θ2を得ることができる。
先ず、ステップS3では、第2の角度検出処理を行う。この第2の角度検出処理の具体的な一例は次の通りである。
先ず、制御・演算ユニット2Aは、センサバー4Bに対し、センサユニット1B、1Cを投光を実行するように指示する。そして、センサバー4A自身のセンサユニット1Aにて、センサユニット1B、1Cの存在する方向を検出させ、その成す角度θ1(図10(b)参照)を検出する。この後、制御・演算ユニット2Aは、センサユニット1Aを投光を行ない、センサバー4Bに対し、センサユニット1B、1Cそれぞれからセンサユニット1Aの方向である角度θh、θ4(図10(b)参照)の検出を行なわせ、その結果を受信する。この結果、制御・演算ユニット2Aは、図10(b)におけるθ1、θh、θ4を得ることができる。
この後、制御・演算ユニット2Aは、ステップS4にて、センサユニット1Aの座標を(0、0)と見なし、センサユニット1Cの座標を(1、0)と見なし、センサバーの折れ曲がりに対処したセンサユニット1B、1Cの相対位置の調整を行う。このあと、センサユニット1Aの座標を(0、0)、センサユニット1Bの座標を(1、0)とする回転変換を行ない、その結果を、センサバー4Bに送信する。また、このとき、センサバー4Bの制御・演算ユニット2Bに対し、『θe3+θe4』もしくは『(θe3+θe4)/2』を通知して、角度のズレを通知する。
上記の結果、センサバー4A,4Bの折れ曲がりの影響を最小にした各センサユニットの位置合せが完了したことになり、処理はステップS5に進んで、いよいよ座標入力領域5の設定処理を行う。この座標入力領域5の設定では、プロジェクタを利用して、ホワイトボード上に画面を表示し、その四隅を指示入力することで、座標入力の有効領域を決定することになる。
[実施形態2]
センサバーを伸縮自在にする場合、ガタが発生するとしても、その位置がセンサバーの長手方向の中央位置になるようにすることが望ましい(折れ曲がる位置から両端のセンサーユニットまでの距離が等しいことが望ましい)。理由は、センサユニット1Aの基準角度に対する90度の方向とセンサ間を結ぶ直線の誤差e1と、センサ1Dの基準角度に対する90度の方向とセンサ間を結ぶ直線の誤差e2が等しくできるからである。そこで、本実施形態では、仮にガタが発生するとしても、積極的に、その位置がセンサバーの中央位置にする方法を説明する。
図11はセンサバーの概略構成を示しており、図11(a)はセンサバー4Aが縮んだ状態、図11(b)はセンサバー4Aが伸びた状態である。図11において、1A、1Dはセンサユニット、4Aはセンサバーである。1101はセンサバーの伸縮機構を格納しているセンサバー筺体連結部である。1102A、1102Bはセンサ1A、1Bを格納するセンサバー筺体伸縮部である。1103は外側パイプ、1104A、1104Bは内側パイプで、外側パイプ1103の内径と内側パイプ1104A、1104Bの外形が略勘合の関係にある。外側パイプ1103はセンサバー筺体連結部1101に固定され、内側パイプ1104A、1104Bはセンサバー筺体伸縮部1102A、1102Bに固定される。センサバーの長さを伸縮させようとすると、外側パイプと1103と内側パイプ1104A、1104Bが勘合関係を維持した状態でスライドする。
本実施形態にあっては、これらのパイプを金属製とする事で、伸縮動作時のセンサバーの伸縮方向や機械的強度を得ている。金属製パイプの一端は絞り加工が施され、押しつぶされた状態となり、その部分で筺体ケースに機械的に結合されると共に、センサユニット1A、1Dが装着される。1105はピニオン、1106A、1106Bはラックで、これによりセンサバー筺体連結部1101に対するセンサバー筺体伸縮部1102Aと1102Bの伸縮量を等しくしている。1107Aと1107Bはパイプガタを片寄せする為の負性ばねである。
図12は上記構成におけるセンサバー4Aの伸縮時の状態を示している。ラック1106A、1106Bとピニオン1105によりセンサバー筺体連結部1101から伸びるセンサバー筺体伸縮部1102A、1102Bの長さは、伸縮状態によらず常に等しくなる。また、負性ばね1107A、1107Bにより外パイプ1103に対して内パイプ1104A、1104Bが同じ方向に押される。この為、伸縮状態のよらず外パイプ1103に対する内パイプ1104Aと1104Bの角度はほぼ等しくなる。つまりセンサバー筺体連結部1101とセンサバー筺体伸縮部1102A、1102Bの角度θ1とθ2、θ3とθ4が等しくなる。この事から、センサバー4Aの筺体の折れ曲がりによるセンサユニットの基準角度の誤差をほぼなくすことが可能となる。
[実施形態3]
実施形態3では、センサユニット1Aと1Dの基準角度の誤差が、センサバーの伸縮部を一番伸ばした時(最大伸長時)に最小となる様、伸縮部を一番伸ばした時にセンサバーの長手方向の中心でセンサバーの筺体が折れ曲がる構成を示す。
図13(A)(B)は、センサバーの概略構成を示しており、上側筺体ケース1301、及び下側筺体ケース1302で構成される。1303は外側パイプ、1304は内側パイプで有り、外側パイプ1303の内径と内側パイプ1304の外形が略勘合の関係にある。外側パイプ1303は上側筺体1301に固定され、内側パイプ1304は下側筺体1302に固定される。上側筺体1301と下側筺体1302とでセンサバーの長さを伸縮させようとすると、外側パイプ1303と内側パイプ1304が勘合関係を維持した状態でスライドする(図13(B)参照)。本願発明にあっては、これらのパイプを金属製とする事で、伸縮動作時のセンサバーの伸縮方向や機械的強度を得ている。金属製パイプの一端は絞り加工が施され、押しつぶされた状態となり、その部分で筺体ケースに機械的に結合されると共に、センサユニット1A、1Bが装着される。
図14はセンサバーの上側筺体1301と下側筺体1302の伸縮時の位置関係を示す図で、図14(A)はセンサバーが最も縮んだ状態となる。図14(B)と(C)はセンサバーが最も伸びた状態で、この時上側筺体1301と下側筺体1302は伸縮部の勘合部分のスペースによって、わずかにセンサバーが折れ曲がる様子を表している。この時、センサバーの筺体の折れ曲がりの中心は、勘合部分の中心となるが、これがセンサバー内のセンサユニットの中心となるよう、勘合部分を配置している。
この実施形態では、センサバーを縮めた状態で持ち運び、座標入力装置として使用する場合はセンサバーを伸ばして使う事を想定している。これにより、実使用状態でのセンサバーの筺体の折れ曲がりによるセンサユニットの基準角度の誤差をほぼなくすことが可能となる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (5)

  1. 互いに対向するように配置される第1、第2のセンサバーを有する座標入力装置であって、
    ここで、前記第1,第2のセンサバーそれぞれは、長手方向に伸縮する機構を有すると共に、相手側のセンサバーのセンサユニットからの投光された光を反射する再帰反射部を前記長手方向に沿って有し、前記第1のセンサバーは、投光及び受光を行うための第1、第2のセンサユニットをその両端部に有すると共に、前記第2のセンサバーは、投光及び受光を行うための第3、第4のセンサユニットをその両端部に有する;
    前記第1のセンサユニットら前記第4のセンサユニットに向かう角度、前記第2のセンサユニットから前記第4のセンサユニットに向かう角度、前記第4のセンサユニットから見て前記第1のセンサユニットと前記第2のセンサ成す角度から、前記第1のセンサバーの折れ曲がりによる前記第1のセンサユニットに対する前記第2のセンサユニットの相対位置の誤差を調整し、
    前記第3のセンサユニットら前記第1のセンサユニット向かう角度、前記第4のセンサユニットから前記第1のセンサユニット向か角度、前記第1のセンサユニットら見て前記第3のセンサユニットと前記第4のセンサユニットの成す角度ら、前記第2のセンサバーの折れ曲がりによる前記第4のセンサユニット対する前記第3のセンサユニット相対位置の誤差を調整する調整手段と、
    を有することを特徴とする座標入力装置。
  2. 各センサは、自身が固定されたセンサバーの長手方向に対して直交する方向を基準の軸とし、当該基準の軸に対する他方のセンサバーに固定されたセンサの存在する方向の角度を検出することを特徴とする請求項1に記載の座標入力装置。
  3. 前記第1,第2のセンサバーの長手方向に伸縮する機構は、両端部に設けられたセンサが、センサバーの中心置から等しい距離となることを維持しながら移動が可能に構成されることを特徴とする請求項1又は2に記載の座標入力装置。
  4. 前記第1,第2のセンサバーは、最大伸長時の折れ曲がる位置が、両端のセンサから等しい距離に位置することを特徴とする請求項2に記載の座標入力装置。
  5. 互いに対向するように配置される機構を有する第1、第2のセンサバーを有する座標入力装置の制御方法であって、
    ここで、前記第1,第2のセンサバーそれぞれは、長手方向に伸縮する機構を有すると共に、相手側のセンサバーのセンサユニットからの投光された光を反射する再帰反射部を前記長手方向に沿って有し、前記第1のセンサバーは、投光及び受光を行うための第1、第2のセンサユニットをその両端部に有すると共に、前記第2のセンサバーは、投光及び受光を行うための第3、第4のセンサユニットをその両端部に有する;
    第1のセンサユニットら前記第4のセンサユニット向かう角度、前記第2のセンサユニットら前記第4のセンサユニット向か角度、前記第4のセンサユニットら見て前記第1のセンサユニットと前記第2のセンサ成す角度から、前記第1のセンサバーの折れ曲がりによる前記第1のセンサユニットに対する前記第2のセンサユニットの相対位置の誤差を調整し、
    第3のセンサユニットら前記第1のセンサユニット向かう角度、前記第4のセンサユニットら前記第1のセンサユニットに向か角度、前記第1のセンサユニットら見て前記第3のセンサユニットと前記第4のセンサユニット成す角度ら、前記第2のセンサバーの折れ曲がりによる前記第4のセンサユニット対する前記第3のセンサユニット相対位置の誤差を調整する、
    ことを特徴とする座標入力装置の制御方法。
JP2012192298A 2012-08-31 2012-08-31 座標入力装置及びその制御方法 Active JP5981810B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012192298A JP5981810B2 (ja) 2012-08-31 2012-08-31 座標入力装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012192298A JP5981810B2 (ja) 2012-08-31 2012-08-31 座標入力装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2014048959A JP2014048959A (ja) 2014-03-17
JP2014048959A5 JP2014048959A5 (ja) 2015-07-30
JP5981810B2 true JP5981810B2 (ja) 2016-08-31

Family

ID=50608548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012192298A Active JP5981810B2 (ja) 2012-08-31 2012-08-31 座標入力装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP5981810B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4093666B2 (ja) * 1999-02-04 2008-06-04 リコーエレメックス株式会社 座標入力装置
JP3964079B2 (ja) * 1999-09-13 2007-08-22 株式会社リコー 座標入力装置
JP2002268807A (ja) * 2001-03-14 2002-09-20 Ricoh Co Ltd 座標入力装置、座標入力機能を実行するプログラムおよび該プログラムを記録した記録媒体
JP5333151B2 (ja) * 2009-10-26 2013-11-06 セイコーエプソン株式会社 光学式位置検出装置および位置検出機能付き表示装置
JP5725774B2 (ja) * 2010-09-13 2015-05-27 キヤノン株式会社 座標入力装置及び座標入力方法

Also Published As

Publication number Publication date
JP2014048959A (ja) 2014-03-17

Similar Documents

Publication Publication Date Title
JP5725774B2 (ja) 座標入力装置及び座標入力方法
US20110074738A1 (en) Touch Detection Sensing Apparatus
JP5875445B2 (ja) 座標入力装置
TWI498792B (zh) 光學觸控系統及觸控顯示系統
EP2325734A2 (en) Display apparatus and method for calibrating a touch system
JP6031293B2 (ja) 座標入力装置及びその制御方法、プログラム
JP5981810B2 (ja) 座標入力装置及びその制御方法
JP4968915B2 (ja) 座標入力装置、座標検出方法、及びコンピュータプログラム
JP5530809B2 (ja) 位置検出装置、及び画像処理システム
JP2014115179A (ja) 測長装置、書画カメラおよび測長方法
JP2012048403A (ja) 座標入力装置及びその制御方法、プログラム
JP6334980B2 (ja) 座標入力装置及びその制御方法、プログラム
JP6218590B2 (ja) 座標入力装置及びその制御方法
JP5814608B2 (ja) 座標入力装置及びその制御方法、プログラム
JP2016146047A (ja) 投影装置、座標入力装置、および処理方法
JP2005173684A (ja) 光学式座標入力装置
JP2015207063A (ja) 座標入力装置、座標入力装置の制御方法およびプログラム
JP5150986B2 (ja) プロジェクタ
JP2015127888A (ja) 座標入力装置及びその製造方法、制御方法、プログラム
JP2009169488A (ja) 光学センサ装置
JP2007072506A (ja) 座標入力装置
JP5738112B2 (ja) 座標入力装置及びその制御方法、プログラム
JP5629595B2 (ja) 座標入力装置
JP5969794B2 (ja) 座標入力装置
JP2010134215A (ja) プロジェクター、プログラムおよび情報記憶媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160729

R151 Written notification of patent or utility model registration

Ref document number: 5981810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151