JP6410245B2 - 移動自在型デバイスの振動ベースの軌道計算 - Google Patents

移動自在型デバイスの振動ベースの軌道計算 Download PDF

Info

Publication number
JP6410245B2
JP6410245B2 JP2017514292A JP2017514292A JP6410245B2 JP 6410245 B2 JP6410245 B2 JP 6410245B2 JP 2017514292 A JP2017514292 A JP 2017514292A JP 2017514292 A JP2017514292 A JP 2017514292A JP 6410245 B2 JP6410245 B2 JP 6410245B2
Authority
JP
Japan
Prior art keywords
vibration signal
electronic pen
motion
signal
pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514292A
Other languages
English (en)
Other versions
JP2017533496A (ja
Inventor
ユルゲン レッシンゲル，
ユルゲン レッシンゲル，
ベルンハルト クライナー，
ベルンハルト クライナー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2017533496A publication Critical patent/JP2017533496A/ja
Application granted granted Critical
Publication of JP6410245B2 publication Critical patent/JP6410245B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、特許請求項１の前文に明記されているタイプの方法、及び、特許請求項１２の前文に明記されているタイプの移動自在型デバイス（freely-guided device）に関する。
日常生活、レジャー及び仕事における電子情報並びに通信システム、特に、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット及びスマートフォンの使用が増加し続けていることによって、改善されたヒューマンマシンインターフェースを開発することが価値あるものになっている。
ヒューマンマシンインターフェースとして、キーボード、マウス又はタッチセンシティブ面のような入力デバイスに加えて、電子メス又は特に電子ペンのような他の電子ツールのような、電子ベースの移動自在型デバイスに、特に関心が集まっている。
電子ペンには、とりわけ、表面上にペンで書くという機能性及び単純さを、電子データ処理のはるかにより多数の可能性と組み合わせることができるという利点がある。以て、電子ペンは、外観及び取り扱いにおいて可能な限り従来のペンと類似していることが望ましい。
国際公開第０２／０７４２４号において、例えば、手書き文字認識のための電子情報システムが記載されており、当該システムは、ペンと、圧力検知面又は動き検知面を有するタブレットとを有し、当該システムにおいて、ペン又はペン先の運動が、タブレットの圧力検知面若しくは動き検知面から、又は、加速度センサ若しくは光センサによってのいずれかで捕捉される。
センサデータはその後、ＰＣに無線送信することができ、ＰＣは、受信されたペン運動データに基づいて、手書き文字認識を実施することができる。
一般的に、例えば、加速度センサ又は回転速度センサのような測定センサによる、移動自在型デバイス、例えば、電子ペンの運動の捕捉のために、上記センサのデータは、移動自在型デバイスの、例えば、電子ペンの速度信号（第１の積分）又は軌道若しくは配置信号（第２の積分）を得るように１回又は２回積分されなければならない。
この二重積分の欠点は主に、移動自在型電子デバイス、例えば、電子スタイラスの測定センサによる加速度及び／又は角速度の測定における小さい誤差でさえも、第１の積分において、速度／速度信号の決定のより大きい誤差をもたらす場合があり、結果として、速度信号の積分後に、決定された軌道又は決定された配置信号のさらにより大きい誤差をもたらす可能性がある。
それゆえ、本発明の目的は、特に移動自在型デバイスの運動又は軌道を捕捉及び決定することができる精度に関して、移動自在型電子デバイスを改善することである。
本発明によれば、この目的は、請求項１の前文に明記されているタイプの移動自在型電子デバイスの少なくとも１つの運動パラメータを決定するための方法、及び、請求項１２の前文に明記されているタイプの移動自在型電子デバイスによって達成される。
有利な実施形態及びさらなる発展が、従属請求項の主題である。
移動自在型電子デバイスとは、本明細書においては、ユーザによって、例えば、手又は足で自由に移動させることができ、例えば、測定センサのような電子構成要素を設けられ得るデバイスとして理解され得る。
例えば、上記移動自在型電子デバイスは、電子ペン、例えば、マッサージを伴う用途、又は、整形外科用途のための電子グローブ、人工器官、電子ツール、例えば、機械加工ツール、ブラシなどであってもよい。
本発明による、電子デバイスの運動の速度のような、被作用物（ｓｕｂｓｔｒａｔｅ）上で移動自在型電子デバイスの少なくとも１つの運動パラメータを決定するための方法は、電子デバイスと被作用物との間の相互作用によって発生する振動信号を測定するステップと、電子デバイスの上記測定される振動信号から、電子デバイスの運動パラメータ、例えば、電子デバイスの運動の上記速度を決定するステップとを含むことができる。
例えば、決定されるべき少なくとも１つの運動パラメータは、電子ペンのペン運動の速度であってもよく、振動信号は、例えば、電子ペンを被作用物、例えば、紙のような被作用物と相互作用させることによって生成することができる。電子ペンのペン運動の速度の決定はこのとき、例えば、本発明によれば、上記測定される振動信号から決定することができる。
以て、振動信号は、移動自在型電子デバイスが被作用物と接触することによって発生させることができ、とりわけ、例えば、例としてマイクロフォンのような振動センサ又は音響センサを用いて測定することができる。
例えば、電子ペンの先端、例えば、筆記棒先端が、筆記面上で特定の接触圧をかけながら運動しているとき、振動が発生し得る。手書きしている間、これらの振動は、感じること、聞くことの両方ができ、とりわけ、振動センサ又は音響マイクロフォンを介して測定することができる。
一方、同様に、振動又は振動信号は、移動自在型電子デバイス、例えば、電子ペンの測定センサによって、加速度センサデータから測定又は決定することができ、移動自在型電子デバイスの運動、向き及び位置を決定する役割を担うことができる。
以て、振動信号は、１つの軸に沿って又は１つの次元について測定することができ、或いは、２つ若しくは３つの軸に沿って又は２つ若しくは３つの次元について測定することもできる。例えば、振動信号は、移動自在型電子デバイスの運動、向き及び位置の決定のために、２次元又は３次元基準系に関して測定することができる。
本発明に従って、移動自在型電子デバイス、例えば、電子ペンの測定される振動信号から、移動自在型電子デバイス、例えば、電子ペンの運動パラメータが決定されることによって、有利には、移動自在型電子デバイス、例えば、電子ペンの１つ又は複数の軌道の計算を改善することが可能である、すなわち、移動自在型電子デバイス、例えば、電子ペンによってカバーされる、トラバースされる距離（複数可）の計算の精度、又は、移動自在型デバイス、例えば、電子ペンの位置／配置信号を決定することができる精度を改善することが可能である。
移動自在型電子デバイスの測定される振動信号から、移動自在型電子デバイス、例えば、電子ペンの運動パラメータを決定することは、例えば、移動自在型電子デバイスの運動の速度、例えば、ペン運動の速度すなわちペン速度を決定することを含むことができ、速度という用語はまた、角速度を含む場合がある。
運動パラメータの決定、特に、移動自在型電子デバイスの運動の速度の決定、すなわち、例えば、ペン運動の速度の決定は、以て、加速度データを積分することなく、特に、並進加速度データを積分することなく実行することができるのが有利である。
デバイス運動、例えば、ペン運動のこのように決定される速度／決定される速度データ、すなわち、デバイス運動速度、例えば、筆記速度は、移動自在型電子デバイス、例えば、電子ペンの１つ又は複数の軌道を計算するための基礎としての役割を担うことができ、移動自在型電子デバイス、例えば、電子ペンの１つ又は複数の軌道は、例えば、移動自在型電子デバイス、例えば、電子ペンの上記測定される振動信号から導出される速度データの単一の積分から決定することができる。
言い換えれば、例えば、移動自在型電子デバイス、例えば、電子ペンの１つ又は複数の軌道の計算は、従来の加速度データの二重積分ではなく、単一の積分、すなわち、移動自在型電子デバイス、例えば、電子ペンの振動信号から決定される速度データに基づく単一の積分によってすでに達成することができる。
必要な積分ステップの数が低減されることに加えて、移動自在型電子デバイス、例えば、電子ペンの軌道を計算するための従来の方法と比較して速度データの単一の積分の積分時間が短縮される結果として、移動自在型電子デバイスの一般的な運動、例えば、筆記運動は通常、数秒だけで終わり得るため、軌道計算の精度を改善することができる。
その上、移動自在型電子デバイス、例えば、電子ペンの運動パラメータを決定する役割を担う振動信号は、加速度信号及び／又は音響信号から決定することができる。
これは、例えば、移動自在型電子デバイスの測定センサ、例えば、電子ペンの測定センサからのデータを介して、並びに、例えば、既存の加速度センサからのデータを介して、及び／又は、上記振動信号の測定のために特に設計されている振動センサからのデータを介して、及び／又は、音響センサ、例えば、マイクロフォンのデータから、達成することができる。
通常、移動自在型電子デバイス、例えば、電子ペンは、位置及び運動を決定するための加速度センサをすでに備えているため、振動信号を決定するために、これらの既存の加速度センサの加速度データを使用することが有利であり得る。以て、振動信号は、既存の加速度データから追加の情報としてフィルタリング除外することができる。
従来の移動自在型電子デバイス、例えば、電子ペンの筆記面上の軌道を決定するための方法においては、この追加の情報は考慮に入れられないか、又は、さらには干渉源として考えられるが、本発明は、加速度データから振動信号を抽出することが可能であり、これによって、移動自在型電子デバイス、例えば、電子ペンの軌道計算の精度を大幅に改善することができる。
加えて、追加の内部センサ及び／又は外部センサが必要とされないため、移動自在型電子デバイス、例えば、電子ペンの構築の複雑度が不必要に増大することを回避することができる。
本発明による移動自在型電子デバイス、例えば、電子ペンの運動パラメータを決定する枠組みの中で、振動信号の１つの／その振幅及び／又は振動信号の周波数スペクトルを決定することができる。
振動信号は、その／１つの振幅及びその周波数スペクトルによって特性化することができる。以て、振幅及び周波数スペクトルは、決定されるべき運動パラメータに依存し得、例えば、デバイス運動の速度、例えば、ペン運動の速度に依存し得る。
振動信号のその／１つの振幅は、本明細書においては、とりわけ、例えば、フィルタリング及び乗算のような、１つ又は複数の方法ステップによって処理されている、処理済み振動信号の振幅としても理解することができる。
例えば、デバイス運動の速度のような、決定されるべき運動パラメータの、振動信号の１つの／その振幅又は周波数スペクトルとの相関は、同様の被作用物材料のクラス内では被作用物による影響をほぼ受けることがない。
例えば、決定されるべき運動パラメータ、例えば、ペン運動の速度の、振動信号の１つの／その振幅又は周波数スペクトルとの相関は、例えば、紙、厚紙、箔などのような、同様の被筆記物（ｗｒｉｔｉｎｇ ｓｕｂｓｔｒａｔｅ）材料のクラス内では被筆記物による影響をほぼ受けることがない。
しかしながら、測定される振動信号から導出されるか、又は、振動信号の振幅及び／若しくは周波数スペクトルから導出される、例えば、デバイス運動の速度、例えば、筆記運動の速度のような既知の運動パラメータについて、複数の異なるクラスの被作用物が認識又は区別され得、そのため、例えば、黒板、ホワイトボード、布地又は石といったような、異なる被筆記物材料が区別され得る、ことも考えられる。
測定される振動信号と決定されるべき運動パラメータとの間の有利な線形相関が、例えば、振動信号のエンベロープ曲線の計算から生成される。
上記エンベロープ曲線の計算又はエンベロープ曲線の決定は、以下のステップのうちの少なくとも一部分を含み得る。
最初に、振動信号の任意選択的なハイパスフィルタリングを実行することができる。
その後、現在の測定時点を取り巻く所定の時間窓範囲にわたる振動信号の平均パワーの計算を実行することができる。
ここで、例示的な時間窓範囲は、例えば、１２〜６０サンプルに及び得る。
５０Ｈｚ、１００Ｈｚを超えるか、又は、２００Ｈｚを超える振動信号の例示的なサンプリング周波数について、現在の測定時点を取り巻く時間窓範囲は、例えば、サンプル／サンプリング周波数の商によって導出することができる、すなわち、例えば、２００Ｈｚのサンプリング周波数において、５０サンプルは０．２５秒に対応する。
その後、任意選択で、振動信号のローパスフィルタリングを実行することができる。
最後に、振動信号の平均パワーから、振動信号の振幅の計算を実施することができる、すなわち、言い換えれば、振動信号の平均パワーの、振動信号の振幅への逆変換を実行することができ、それによって、振動信号のエンベロープ曲線を得ることができる。
エンベロープ曲線は、本明細書においては、振動信号の振幅の過程又は挙動として、特に、例えば、振動信号の振幅の２乗又は２乗根の最大値の過程として理解することができる。
振動信号の得られているエンベロープ曲線の振幅過程は、以て、少なくとも部分的に、例えば、電子ペンのペン運動の速度のような、移動自在型電子デバイスの決定されるべき運動パラメータと線形関係にあることができる。
加えて、例えば、例えば、現在の測定時点を取り巻く所定の時間窓範囲にわたって、例えば、１２〜６０サンプル、好ましくは１５〜２５サンプルの所定の時間窓範囲にわたって、振動信号の上記得られているエンベロープ曲線の平均振幅の最終的な計算を実行することができる。
上記例示的なハイパスフィルタリングを通じて、振動信号の直接成分を抑制することができ、それによって、振動信号は有利には、基準点又は基準値あたり、例えば、ゼロ点あたりにあることができる。
振動信号の平均パワーの上記例示的な計算は、振動信号を２乗することを含み得る。
代替的に、振動信号の平均パワーの計算における振動信号の調整も考えられる。
例えば、順変換としての振動信号の平均パワーの上記計算に関して、振動信号の平均パワーの振動信号の振幅への上記逆変換は、例えば、上記２乗に関する逆演算によって、すなわち、根をとる演算によって、すなわち、２乗根をとる演算によって実行することができる。
上記示的なローパスフィルタリングは有利には、望ましくないより高い周波数の振動を抑制する役割を担うことができ、それによって、ノイズが可能な限り低いエンベロープ曲線を得ることができる。
ハイパスフィルタリングは、以て、例えば、２０、３０、又は４０Ｈｚを超えるものであり得るカットオフ周波数で実施することができる。
ローパスフィルタリングは、例えば、１０又は５Ｈｚ未満であり得るカットオフ周波数で実施することができる。
１つの／そのハイパスフィルタリング及び／又は１つの／そのローパスフィルタリングのために、とりわけ、有限インパルス応答を有する多極フィルタ、例えば、５極フィルタ（トランスバーサルフィルタと呼ばれることもある「有限インパルス応答フィルタ」、ＦＩＲフィルタ）を使用することができる。
言い換えれば、振動信号は、スライディング平均（移動平均フィルタ）を用いて平滑化することができる。
スペクトルエネルギー及び／又はスペクトルエントロピーのような変数を使用することによって、振動信号の任意のさらなる量子化も行うことができる。
エンベロープ曲線決定に加えて、又は、それに代えて、振動信号のパワー周波数スペクトルを決定することができる。
この事例において、デバイス運動、例えば、ペン運動の速度の、例えば複数の異なる速度値の、中央周波数（ＭＰＦ）ファクタとも呼ばれる、様々な運動パラメータ値の中央周波数が決定される。このＭＰＦファクタは、有利には、振動信号のパワー周波数スペクトルを、１つの値で特性化することができる。
中央周波数と運動パラメータ、例えば、移動自在型電子デバイスの運動、例えば、ペン運動の速度との間の少なくとも部分的にほぼ線形的に延伸する相関は、以て、測定される振動信号から、移動自在型電子デバイス、例えば、電子ペンの上記運動パラメータを決定する役割を担うことができる。
本発明による、振動信号、より特定的には振動信号のエンベロープ曲線の振幅及び／又は振動信号のパワー周波数の中央値と、移動自在型デバイスの決定されるべき運動パラメータとの間の少なくとも部分的に線形の相関の例示的な導出によって、例えば、電子ペンの運動の速度、特に、それらの運動パラメータ値、例えば、１０ｍｍ／ｓ未満である速度値を有利に決定することができ、これは、従来の方法においては、加速度信号のノイズのような、ノイズにおいて失われることが多いものであり得、従来の軌道決定のための二重積分においては望ましくない問題を引き起こすものであり得る。
言い換えれば、被作用物上の移動自在型電子デバイス、例えば、筆記面上の電子ペンの軌道を決定するための方法は、移動自在型電子デバイス、例えば、電子ペンの運動パラメータを決定することを含むことができ、例えば、移動自在型電子デバイスの運動の速度信号を決定すること、例えば、電子ペンのペン運動の速度信号を決定することを含むことができる。
以て、運動パラメータの決定、すなわち、例えば移動自在型電子デバイスの運動、例えば、ペン運動の速度信号の決定は、振動信号の測定に基づくことができ、測定される振動信号は、移動自在型電子デバイスと被作用物との間の相互作用によって、例えば、電子ペンと被筆記物との間の相互作用によって生成することができる。
最後に、例えば、振動信号から決定される運動パラメータの積分、例えば、移動自在型電子デバイスの運動、例えば、電子ペンのペン運動の速度信号の積分の結果として、移動自在型電子デバイス、例えば、電子ペンの軌道を決定することができる。
第１の速度信号、例えば、本発明に従って振動信号から導出される、移動自在型電子デバイスの運動、例えば、ペン運動の速度に加えて、例えば、加速度データの積分から導出される第２の速度信号も、軌道計算に使用され得る。
２つの独立して決定される速度信号を使用することによって、軌道計算の精度をさらに増大させることができる。
その上、例えば、移動自在型デバイスの軌道決定のための積分又は二重積分を終了することを可能にするために、又は、移動自在型デバイスの運動と、移動自在型デバイスが運動していないこととの間で区別することを可能にするために、振動信号がないこと、又は、最小振動信号閾値を下回っていることに関する情報も利用することができることが考えられる。
以て、たとえ移動自在型デバイス自体が静止していない場合であっても、被作用物上で移動自在型デバイスが停止していることを有利に認識することができる。
例えば、電子ペンが、ペン先が旋回点になっている状態で手が動くことによって移動しているときに、例えば、電子ペンのペン先が被筆記物上で停止していることが、たとえペン自体が静止していない場合であっても、認識することができる。
しかしながら、加速度センサ信号の標準偏差の評価のような、停止検出のための一般的に使用される方法は、そのような事例においては失敗することになる。
本発明による位置検出を伴う移動自在型電子デバイスは、少なくとも１つの電圧源と、少なくとも１つのデジタル制御ユニットと、少なくとも１つのデータ伝送モジュールと、測定センサとを備えることができる。
例示的に、本発明によるペン位置検出を伴う電子ペンは、筆記棒と、少なくとも１つの電圧源と、少なくとも１つのデジタル制御ユニットと、少なくとも１つのデータ伝送モジュールと、測定センサとを備えることができる。
測定センサは、以て、それらのセンサが、移動自在型電子デバイスと被作用物との間の相互作用によって、例えば、電子ペンと被筆記物との間の相互作用によって発生する振動信号を捕捉することができるように構成することができる。
さらに、測定センサ及び／又はデジタル制御ユニットは、測定される振動信号から、移動自在型電子デバイス、例えば、電子ペンの運動パラメータ、例えば、移動自在型電子デバイスの運動の速度信号、例えば、電子ペンのペン運動の速度信号を決定できるように構成することができ、それによって、移動自在型電子デバイスの軌道及び位置の決定、例えば、電子ペンの軌道及び位置の決定が可能になり得る。
測定センサシステムのセンサは、とりわけ、その測定原理が、ばね荷重試験質量の慣性及び機械的偏向に基づく慣性センサとして実現されてもよい。そのような慣性センサは、例えば、機械的構造をポリシリコンの層において実現することができる微小電気機械システム（ＭＥＭＳ）によって具現化することができるのが好ましい。
しかしながら、ホール効果又は巨大磁気抵抗効果に基づいて動作し、いかなる稼働機械部品も用いずに実現することができる磁場センサのような、慣性センサではない、他の測定原理に基づくセンサも考えられる。好ましい実施形態は、例えば、フラックスゲートセンサとしても知られている、タイプフォルスタープローブ（ｔｙｐｅ Ｆｏｒｓｔｅｒ ｐｒｏｂｅ）のセンサを含んでもよい。
移動自在型電子デバイスの、例えば、電子ペンの上記測定センサシステムは、特に、加速度センサ及び／又は回転速度センサ及び／又は磁場センサ及び／又は音響センサのうちの少なくとも１つのタイプの１つ又は複数のセンサを含んでもよい。
以下の図面は例示的に、以下を示している。
デバイス運動の第１の速度についての移動自在型電子デバイスの例示的な振動信号／ペン運動の第１の速度についての電子ペンの例示的な振動信号を示す図である。 デバイス運動の第２の速度についての移動自在型電子デバイスの例示的な振動信号／ペン運動の第２の速度についての電子ペンの例示的な振動信号を示す図である。 デバイス運動の第３の速度についての移動自在型電子デバイスの例示的な振動信号／ペン運動の第３の速度についての電子ペンの例示的な振動信号を示す図である。 例示的な未処理の又はフィルタリングされていない振動信号を示す図である。 例示的なハイパスフィルタリングされている振動信号を示す図である。 ハイパスフィルタリングされている、及び２乗されている振動信号の振幅の例示的な過程を示す図である。 ハイパスフィルタリングされている、２乗されている及びローパスフィルタリングされている振動信号の振幅の例示的な過程を示す図である。 ハイパスフィルタリングされている、２乗されている、ローパスフィルタリングされている、及び２乗根をとられている振動信号の振幅の例示的な過程／例示的なエンベロープ曲線を示す図である。 エンベロープ曲線振幅と、決定されるべき運動パラメータ、例えば、ペン運動の速度との間の例示的な関係を示す図である。
図１ａ、図１ｂ及び図１ｃは、デバイス運動の、例えば、ペン運動の３つの異なる連続した増大する速度１００、２００、３００についての、移動自在型電子デバイス、例えば、電子ペンの例示的な、例えば、フィルタリングされていない振動信号１０５、２０５、３０５の例示的な時系列図を示す。
縦座標軸１０１、２０１及び３０１は、例えば、加速度の軸、例えば、加速度信号のベクトルの和を表すことができ、縦座標値１０３、２０３、及び３０３は、例えば、ゼロ値又は地球加速度の値といったような、振動信号１０５、２０５、３０５に対する基準値を表すことができる。例示的な時系列図である図１ａ、図１ｂ及び図１ｃにおいて、例えば、振動信号１０５、２０５、３０５は、平均的に、縦座標値１０３、２０３及び３０３に関して対称に上下している。
横座標軸１０２、２０２及び３０２は、例えば、時間軸であってもよい。
例示的な時系列図である図１ａ、図１ｂ及び図１ｃの尺度は、振動信号１０５、２０５、３０５を良好に比較するために、等しい。
言い換えれば、振動信号１０５、２０５、３０５の振幅又は平均振幅は、デバイス運動、例えば、ペン運動の速度１００、２００、３００と線形相関し、それによって、振動信号１０５、２０５、３０５の振幅又は平均振幅１０４、２０４、３０４は、デバイス運動、例えば、ペン運動の速度１００、２００、３００の増大とともに増大する。
振動信号１０５、２０５、３０５の平均振幅１０４、２０４、３０４の値（破線としてマークされている）は、例えば、この事例においてはとりわけ、振動信号１０５、２０５、３０５のエンベロープ曲線をも規定することができる。
平均振幅１０４、２０４、３０４及び／又は振動信号１０５、２０５、３０５の平均パワーのような、振動信号１０５、２０５、３０５の測定パラメータと、デバイス運動、例えば、電子ペンの運動の１００、２００、３００の速度のような、被作用物上での移動自在型電子デバイス、例えば、被筆記物上での電子ペンの運動パラメータとの相関は、振動信号１０５、２０５、３０５から、例えば、デバイス運動の速度１００、２００、３００、例えば、ペン運動の速度のような、移動自在型電子デバイス、例えば、電子ペンの上記運動パラメータを決定することを可能にする。
図２ａは、移動自在型電子デバイス、例えば、電子ペンのフィルタリングされていない又は処理されていない振動信号４０４の時系列図を例示的に示し、移動自在型電子デバイスは、例えば、可変時間依存速度で運動する。
上記振動信号４０４は、例えば、複数の振動信号チャネルのうちの１つを表すことができ、例えば、振動信号チャネルは、１つの軸に沿った又は１つの次元についての振動信号を表すことができる。
縦座標軸４０１は、例えば、加速度軸、例えば、加速度信号のベクトルの和を表すことができ、縦座標値４０３は、例えば、ゼロ値又は地球加速度の値のような、振動信号４０４に対する基準値を表すことができ、例えば、振動信号４０４は、縦座標値４０３を中心として上下し得る。
横座標軸４０２は、例えば、時間軸であってもよい。
振動信号４０４は、例示的な初期振動信号と考えることができ、後続の図２ｂ、図２ｃ、図２ｄ及び図２ｅは、この初期振動信号又は振動信号４０４に関連する例示的な処理ステップ又は方法ステップとして解釈することができる。
図２ｂは、ハイパスフィルタリングされている振動信号５０４、例えば、ハイパスフィルタリングされている振動信号４０４の時系列図を例示的に示す。
縦座標軸５０１は、例えば、ここでも、加速度軸、例えば、加速度信号のベクトルの和を表すことができ、縦座標値５０３は、例えば、ここでも、振動信号５０４がそれを中心として上下し得る、ゼロ値のような、振動信号５０４に対する基準値を表すことができる。
ハイパスフィルタリングされている振動信号５０４に対して、対応するフィルタリングされていない又は未処理の振動信号、例えば、振動信号４０４を比較すると、縦座標値５０３は、例えば、地球加速度の値を差し引くことによるフィルタリングされていない振動信号の補正に起因して、フィルタリングされていない振動信号の縦座標値、例えば、４０４とは異なり得る。
横座標軸５０２は、例えば、ここでも時間軸であってもよく、これは横座標軸４０２と同一であってもよい。
図２ｃは、ハイパスフィルタリングされている及び２乗されている振動信号６０４の振幅の過程、例えば、ハイパスフィルタリングされている及び２乗されている振動信号４０４の振幅の過程の時系列図を例示的に示す。
軸６０２は図２ｂの軸５０２に対応する。
軸６０１は、軸５０１と同様に加速度軸を表し、軸６０１の尺度は、縦座標軸６０１の原点がずれていることを除いて、軸５０１と同様のものと考えることができる。
縦座標軸６０１の原点として、例えば、縦座標値６０３、例えば、ゼロ値を指定することができる。
ハイパスフィルタリングされている及び２乗されている振動信号６０４の振幅過程は、振動信号の平均パワー６０５又は振動信号の平均パワーの過程を例示的に示す。
図２ｄは、ハイパスフィルタリングされている、２乗されている及びローパスフィルタリングされている振動信号７０４の振幅の過程、例えば、ハイパスフィルタリングされている、２乗されている及びローパスフィルタリングされている振動信号４０４の振幅の過程の時系列図を例示的に示す。
軸７０１、７０２は、以て、図２ｃの軸６０１、６０２に対応し、軸の尺度は、同一と考えることができる。
エンベロープ曲線決定におけるこの任意選択的な方法ステップは、有利には、決定されるべきエンベロープ曲線の信号対雑音比を改善することができ、これは、移動自在型電子デバイスの決定されるべき運動パラメータ、例えば、ペン運動の速度を計算するための基礎としての役割を担うことができる。
図２ｅは、ハイパスフィルタリングされている、２乗されている、ローパスフィルタリングされている、また２乗根をとられている振動信号８０４の振幅の過程、例えば、ハイパスフィルタリングされている、２乗されている、ローパスフィルタリングされている、また２乗根をとられている振動信号４０４の振幅の過程の時系列図を例示的に示す。
軸８０１、８０２は、以て、それぞれ、図２ｃからの軸６０１、６０２、図２ｄからの軸７０１、７０２に対応し、ここでも、軸の尺度は、同一と考えることができる。
ハイパスフィルタリングされている、２乗されている、ローパスフィルタリングされている、また２乗根をとられている振動信号８０４の振幅過程は、エンベロープ曲線８０５を例示的に表し、その振幅は、移動自在型デバイスの決定されるべき運動パラメータ、例えば、ペン運動の速度と少なくとも部分的に線形関係にあり得る。
図３は、振動信号のエンベロープ曲線振幅と、決定されるべき運動パラメータ、例えば、ペン運動の速度との間の少なくとも部分的に線形的な関係を例示的に示す。
ここで、軸９０２は、決定されるべき運動パラメータ、例えば、ペン運動の速度の軸を例示的に示し、軸９０１は、エンベロープ曲線振幅軸、例えば、平均エンベロープ曲線振幅の軸を例示的に示す。
例示的なエンベロープ曲線振幅測定値９０４から明らかであるように、決定されるべき運動パラメータ、例えば、ペン運動の速度と、上記運動パラメータに対応する振動信号から導出されるエンベロープ曲線振幅との間の少なくとも部分的に線形の関係９０３が確立され得る。このために、とりわけ、例えば、線形回帰方法が使用されてもよい。
この関係９０３は有利には、移動自在型デバイスの振動信号から、例えば、ペン運動の速度のような、移動自在型デバイスの決定されるべきパラメータを決定することを可能にすることができる。
７ページにわたる９つの図面が添付される。以下のとおり、参照符号が割り当てられている。
１００ 被筆記物上での電子ペンのペン運動の（第１の）速度、又は、移動自在型電子デバイスのデバイス運動の第１の速度
１０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
１０２ 横座標軸、例えば、時間軸
１０３ 振動信号に対する基準値、例えば、ゼロ値又は地球加速度の値
１０４ 平均振幅
１０５ 振動信号
２００ 被筆記物上での電子ペンのペン運動の（第２の）速度、又は、移動自在型電子デバイスのデバイス運動の第２の速度
２０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
２０２ 横座標軸、例えば、時間軸
２０３ 振動信号に対する基準値、例えば、ゼロ値又は地球加速度の値
２０４ 平均振幅
２０５ 振動信号
３００ 被筆記物上での電子ペンのペン運動の（第３の）速度、又は、移動自在型電子デバイスのデバイス運動の第３の速度
３０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
３０２ 横座標軸、例えば、時間軸
３０３ 振動信号に対する基準値、例えば、ゼロ値又は地球加速度の値
３０４ 平均振幅
３０５ 振動信号
４０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
４０２ 横座標軸、例えば、時間軸
４０３ 振動信号に対する基準値、例えば、ゼロ値又は地球加速度の値
４０４ 振動信号、例えば、フィルタリングされていない又は処理されていない振動信号
５０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
５０２ 横座標軸、例えば、時間軸
５０３ 振動信号に対する基準値、例えば、ゼロ値
５０４ ハイパスフィルタリングされている振動信号
６０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
６０２ 横座標軸、例えば、時間軸
６０３ 振動信号に対する基準値、例えば、ゼロ値
６０４ ハイパスフィルタリングされている、及び２乗されている振動信号の振幅の例示的な過程
６０５ 振動信号の平均パワー
７０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
７０２ 横座標軸、例えば、時間軸
７０３ 振動信号に対する基準値、例えば、ゼロ値
７０４ ハイパスフィルタリングされている、２乗されている及びローパスフィルタリングされている振動信号の振幅の例示的な過程
８０１ 縦座標軸、例えば、加速度軸、例えば、加速度信号のベクトルの和
８０２ 横座標軸、例えば、時間軸
８０３ 振動信号に対する基準値、例えば、ゼロ値
８０４ 本発明によるハイパスフィルタリングされている、２乗されている、ローパスフィルタリングされている、及び２乗根をとられている振動信号の振幅の例示的な過程、例示的なエンベロープ曲線
８０５ 本発明によるハイパスフィルタリングされている、２乗されている、ローパスフィルタリングされている、及び２乗根をとられている振動信号の振幅の例示的な過程、例示的なエンベロープ曲線
９０１ エンベロープ曲線振幅軸、例えば、平均エンベロープ曲線振幅の軸
９０２ 移動自在型デバイスの決定されるべきパラメータ、例えば、電子ペンの運動の速度の軸
９０３ 決定されるべき運動パラメータ、例えば、ペン運動の速度と、エンベロープ曲線振幅軸、例えば、平均エンベロープ曲線振幅との間の少なくとも部分的に線形の関係
９０４ 例えば、平均エンベロープ曲線振幅の例示的なエンベロープ曲線振幅測定値（複数可）

Claims (16)

  1. 被作用物上での電子ペンの少なくとも１つの運動パラメータを決定するための方法であって、
    前記電子ペンと前記被作用物との間の相互作用によって発生する振動信号（４０４）を測定するステップと、
    前記電子ペンの前記測定される振動信号（４０４）から前記電子ペンの前記運動パラメータを決定するステップと、
    を含み、
    前記振動信号のエンベロープ曲線（８０５）が計算され、
    前記エンベロープ曲線の計算が、
    現在の測定時点を取り巻く所定の時間窓範囲にわたる前記振動信号の平均パワー（６０５）を計算するステップと、
    前記振動信号の前記平均パワー（６０５）から前記振動信号の振幅を計算するステップと、
    のうちの少なくとも一方を含む、方法。
  2. 前記少なくとも１つの運動パラメータが、前記電子ペンの運動の速度である、請求項１に記載の方法。
  3. 前記振動信号（４０４）が、加速度信号及び／又は音響信号から決定される、請求項１又は２に記載の方法。
  4. 前記振動信号（４０４）の振幅が決定される、及び／又は前記振動信号（４０４）の周波数スペクトルが決定される、請求項１〜３のいずれか一項に記載の方法。
  5. 前記振動信号の前記平均パワーの前記計算の前に、前記振動信号のハイパスフィルタリングが実行される、請求項１〜４のいずれか一項に記載の方法。
  6. 前記ハイパスフィルタリングは、２０Ｈｚを超えるカットオフ周波数で実行される、請求項５に記載の方法。
  7. 前記振動信号の前記平均パワーからの前記振動信号の前記振幅の前記計算の前に、前記振動信号のローパスフィルタリングが実行されており、前記ローパスフィルタリングは、１０Ｈｚ未満のカットオフ周波数で実行される、請求項１〜６のいずれか一項に記載の方法。
  8. 前記エンベロープ曲線（８０５）の平均振幅の計算が実行される、請求項１〜７のいずれか一項に記載の方法。
  9. 前記振動信号（４０４）のパワー周波数スペクトルが決定される、請求項１〜８のいずれか一項に記載の方法。
  10. 複数の運動パラメータ値について、中央周波数が決定される、請求項９に記載の方法。
  11. 前記複数の運動パラメータ値は、前記電子ペンの運動の速度の複数の異なる速度値である、請求項１０に記載の方法。
  12. 前記電子ペンの軌道を決定するステップをさらに含み、該ステップは、前記電子ペンの前記軌道の前記決定のために、前記電子ペンの前記決定される運動パラメータの積分を含む、請求項１〜１１のいずれか一項に記載の方法。
  13. 前記電子ペンの前記決定される運動パラメータの前記積分は、前記電子ペンの運動の速度信号の積分である、請求項１２に記載の方法。
  14. 少なくとも１つの電圧源と、少なくとも１つのデジタル制御ユニットと、少なくとも１つのデータ伝送モジュールと、測定センサとを備える、位置検出を伴う電子ペンにおいて、
    前記測定センサが、前記電子ペンと被作用物との間の相互作用によって発生する振動信号（４０４）を捕捉することができるように構成されており、
    前記測定センサ及び／又は前記デジタル制御ユニットが、前記電子ペンの軌道及び位置を決定するために、前記振動信号（４０４）から、前記電子ペンの運動パラメータを決定できるように構成され、
    前記振動信号のエンベロープ曲線（８０５）が計算され、
    前記エンベロープ曲線の計算が、
    現在の測定時点を取り巻く所定の時間窓範囲にわたる前記振動信号の平均パワー（６０５）を計算するステップと、
    前記振動信号の前記平均パワー（６０５）から前記振動信号の振幅を計算するステップと、
    のうちの少なくとも一方を含むことを特徴とする、電子ペン。
  15. 前記電子ペンの前記運動パラメータは、前記電子ペンの運動の速度信号である、請求項１４に記載の電子ペン。
  16. 前記測定センサが、加速度センサ、回転速度センサ、磁場センサ、音響センサのうちの少なくとも１つのタイプの１つ又は複数のセンサを含むことを特徴とする、請求項１４に記載の電子ペン。
JP2017514292A 2014-09-23 2015-09-23 移動自在型デバイスの振動ベースの軌道計算 Active JP6410245B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014219169.6 2014-09-23
DE102014219169.6A DE102014219169A1 (de) 2014-09-23 2014-09-23 Vibrationsgestützte Trajektorienberechnung einer frei geführten Vorrichtung
PCT/EP2015/071895 WO2016046276A1 (en) 2014-09-23 2015-09-23 Vibration-based trajectory calculation of a freely-guided device

Publications (2)

Publication Number Publication Date
JP2017533496A JP2017533496A (ja) 2017-11-09
JP6410245B2 true JP6410245B2 (ja) 2018-10-24

Family

ID=54185963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514292A Active JP6410245B2 (ja) 2014-09-23 2015-09-23 移動自在型デバイスの振動ベースの軌道計算

Country Status (10)

Country Link
US (1) US10365729B2 (ja)
EP (1) EP3198385B1 (ja)
JP (1) JP6410245B2 (ja)
KR (1) KR102010430B1 (ja)
CN (1) CN106716311B (ja)
DE (1) DE102014219169A1 (ja)
DK (1) DK3198385T3 (ja)
ES (1) ES2848067T3 (ja)
PT (1) PT3198385T (ja)
WO (1) WO2016046276A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157099B2 (en) * 2019-08-05 2021-10-26 Adx Research, Inc. Electronic writing device and a method for operating the same
TWI731650B (zh) * 2020-04-15 2021-06-21 宏碁股份有限公司 觸控筆、觸控電子裝置與觸控系統
CN116940812A (zh) * 2021-12-31 2023-10-24 深圳市韶音科技有限公司 振动信号源定位方法、系统及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3779019D1 (de) * 1986-06-27 1992-06-17 Canon Kk Koordinateneingabegeraet.
JPH07110736A (ja) 1993-10-13 1995-04-25 Oki Electric Ind Co Ltd 手書き入力ペン及び手書き入力ペン装置
JPH07110737A (ja) * 1993-10-13 1995-04-25 Oki Electric Ind Co Ltd 手書き入力ペン、手書き入力ペン装置及び情報処理システム
JP3543893B2 (ja) * 1996-05-16 2004-07-21 株式会社リコー 手書き入力装置
JP4532631B2 (ja) * 1999-10-26 2010-08-25 キヤノン株式会社 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
JP2001264151A (ja) * 2000-03-23 2001-09-26 Mitsubishi Heavy Ind Ltd 衝撃物の質量検知方法及び装置
DE10034284A1 (de) 2000-07-14 2002-01-24 Siemens Ag Eingabevorrichtung zur Handschriftenerkennung für ein elektronisches Informations- und Kommunikationssystem und Verfahren zur Erfassung von Eingabedaten
GB0114455D0 (en) * 2001-06-14 2001-08-08 Koninkl Philips Electronics Nv Data inut system
RO121497B1 (ro) * 2005-02-09 2007-06-29 Softwin S.R.L. Sistem informatic şi metodă pentru achiziţia, analiza şi autentificarea semnăturii olografe
JP2008188092A (ja) * 2007-02-01 2008-08-21 Mitsubishi Chemicals Corp データ処理方法，データ処理装置及びデータ処理プログラム
US7493220B2 (en) * 2007-03-22 2009-02-17 Commtest Instruments Limited Method and system for vibration signal processing
US9092071B2 (en) * 2008-02-13 2015-07-28 Logitech Europe S.A. Control device with an accelerometer system
ATE523839T1 (de) * 2008-05-07 2011-09-15 Tyco Electronics Services Gmbh Verfahren zur bestimmung der position eines aufpralls auf der oberfläche eines objekts
US9639187B2 (en) * 2008-09-22 2017-05-02 Apple Inc. Using vibration to determine the motion of an input device
EP2264580A2 (en) * 2009-06-10 2010-12-22 Samsung Electronics Co., Ltd. Method and apparatus for processing motion data
JP5555200B2 (ja) * 2011-04-14 2014-07-23 レノボ・シンガポール・プライベート・リミテッド タッチ・パネルを備える電子機器をウェイク・アップする方法および電子機器
JP2012232617A (ja) * 2011-04-28 2012-11-29 Calsonic Kansei Corp セーフィング動作判断装置
US9507464B2 (en) * 2013-03-15 2016-11-29 Elo Touch Solutions, Inc. Acoustic touch apparatus and methods using touch sensitive lamb waves

Also Published As

Publication number Publication date
WO2016046276A1 (en) 2016-03-31
US10365729B2 (en) 2019-07-30
KR102010430B1 (ko) 2019-08-13
KR20170055545A (ko) 2017-05-19
EP3198385B1 (en) 2020-12-30
CN106716311B (zh) 2020-02-18
ES2848067T3 (es) 2021-08-05
JP2017533496A (ja) 2017-11-09
EP3198385A1 (en) 2017-08-02
CN106716311A (zh) 2017-05-24
DK3198385T3 (da) 2021-01-18
DE102014219169A1 (de) 2016-03-24
PT3198385T (pt) 2021-01-27
US20170308183A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
KR100674090B1 (ko) 착용형 범용 3차원 입력 시스템
US9046937B2 (en) High fidelity remote controller device for digital living room
Landin et al. Dimensional reduction of high-frequency accelerations for haptic rendering
US11861072B2 (en) Self-mixing interferometry-based input device
JP2020098643A (ja) 多次元トラックパッド
JP6410245B2 (ja) 移動自在型デバイスの振動ベースの軌道計算
KR20100054701A (ko) 움직임 감지를 통한 힘 강도 및 회전 강도를 입력하는 방법 및 디바이스
CN1554044A (zh) 用于在多维空间中选择信息的方法和设备
US20170269691A1 (en) Haptic method and device to capture and render sliding friction
US11449154B1 (en) Multi-dimensional controller apparatus
WO2007025382A1 (en) Computer mouse pressure acquisition module
KR100543710B1 (ko) 동시에 발생되는 복수의 공간적 움직임으로부터 정보 완료신호를 인식하는 공간형 정보 입력 장치 및 방법
KR101639351B1 (ko) 웨어러블 입력 시스템 및 모션 인식 방법
US8432360B2 (en) Input apparatus, method and program
KR101127249B1 (ko) 가속도 센서 기반의 동작 인식 방법 및 그 장치
KR101173400B1 (ko) 내장 가속도 센서를 이용한 휴대 기기에서의 터치스크린 조작 방법 및 휴대기기
US11917356B2 (en) Apparatus and method for identifying head gestures
JPH09274535A (ja) ペン型入力装置
CA3093461A1 (en) Multi-dimensional controller apparatus
KR20160072055A (ko) 관성 센서의 교정 및 자체 테스트를 위한 장치 및 방법
CN105681649B (zh) 一种控制方法及图像采集装置
TWI501164B (zh) 光學手寫筆、光學手寫筆系統與其換行書寫方法
CN112462932A (zh) 带可穿戴或手持设备基于自混合干涉测量的手势输入系统
KR20180068348A (ko) 스마트폰 기반 가상현실 환경에서 사용자의 자세 추론 방법
KR20100040536A (ko) 가속도 신호의 처리 방법 및 이를 채용한 인터페이스 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180918

R150 Certificate of patent or registration of utility model

Ref document number: 6410245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250