JP5877409B2 - 触覚式対話型装置と触覚および音響効果生成方法 - Google Patents

触覚式対話型装置と触覚および音響効果生成方法 Download PDF

Info

Publication number
JP5877409B2
JP5877409B2 JP2011198870A JP2011198870A JP5877409B2 JP 5877409 B2 JP5877409 B2 JP 5877409B2 JP 2011198870 A JP2011198870 A JP 2011198870A JP 2011198870 A JP2011198870 A JP 2011198870A JP 5877409 B2 JP5877409 B2 JP 5877409B2
Authority
JP
Japan
Prior art keywords
sensitive surface
touch
actuator
chassis
interaction effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011198870A
Other languages
English (en)
Other versions
JP2012064210A (ja
Inventor
コニ、フィリップ
オージュロー、フィリップ
Original Assignee
テールズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テールズ filed Critical テールズ
Publication of JP2012064210A publication Critical patent/JP2012064210A/ja
Application granted granted Critical
Publication of JP5877409B2 publication Critical patent/JP5877409B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/28Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
    • H04R1/2807Enclosures comprising vibrating or resonating arrangements
    • H04R1/2815Enclosures comprising vibrating or resonating arrangements of the bass reflex type
    • H04R1/2819Enclosures comprising vibrating or resonating arrangements of the bass reflex type for loudspeaker transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Description

本発明は「タッチスクリーン」としても知られる接触感知画面(touch−sensitive screen)に関する。
これらの画面は、ユーザの指または手、あるいは任意の他の活性化手段により活性化される高感度表面であり、グラフィカルインターフェースを介し装置またはシステムを制御するためにしばしば使用される。多くの可能な用途が存在する。パイロットが航空機のアビオニクスシステムにより表示されるすべての機能を監視し制御することができる航空アプリケーションが特に挙げられることができる。
このようなインターフェースは、オペレータが非活性状態から活性状態への遷移を見ることができしたがって自分の相互作用を確認することができるようにユーザ情報フィードバック(例えば、ボタンの状態変化)を提供する必要がある。
この可視化モード(visualization mode)はあまり協調的ではなく、命令の活性化または非活性化に関する疑いに伴いエラーが生じる可能性がある。この可視化モードはブラインド命令(blind command)の場合(パイロットが外を見ることにより一次タスクを何よりも先に処理しなければならない場合)は適用されない。
このため、活性化された物体の状態に関するフィードバックを与えることにより相互作用の現実性を増す力フィードバック触覚式システム(force feedback haptic system)を使用する。一般的に受け入れられている最先端技術によると、このフィードバックは本質的に震動性または慣性であり、音を全くあるいはほとんど発しなくしかもかなり不愉快なやり方のものである。オーディオシステムを追加することができるが、これを収容し駆動するのはかなり難しい。実際には、航空用途の触覚式装置は環境制約条件により制限される。さらに、通常数センチメートルの厚さを有する接触感知タブレット型装置は、航空機操縦室の雑音環境に適したオーディオシステムの組み入れの実現性を複雑にする。
触覚式装置を補足するオーディオシステムを収容する課題に対応して、最先端技術として米国特許出願公開第2008/0055277号明細書と国際公開第2010065207号パンフレットが知られている。これらの文書には、表面の移動に一定の剛性を与える可撓性サスペンション上に搭載された接触感知表面を含む触覚式装置が記載されている。これらの装置はまた、組立体を動かして触覚効果または音声を生成する中心部または周辺部に置かれたアクチュエータを含む。したがって接触感知スラブとアクチュエータは接触感知スラブの振動により音響組立体を形成できるようにする。
さらに、これらの触覚式装置は、上記特許に記載されるように、効果音ライブラリに関連付けられたマイクロプロセッサベースの触覚制御装置を使用する。この制御装置は専用ソフトウェア制御装置(すなわち「ドライバ」)により実施される。さらに、触覚効果を利用するアプリケーションはこのドライバに適合するように設計される必要があった。
既存の触覚式装置の欠点を要約すると、すべての公知の触覚システムは、触覚効果の再生において(特に、例えば10インチを越える対角線を有する大きな画面上で)あまり信頼できなく、隣接物体(ダッシュボード、机、支持体等)を共振させる傾向のある大きな慣性力を生じる。
さらに、触覚式装置はそれらの様々な部品の共振から生じる音を発し、偶発的に嫌な雑音を生じる。
さらに、触覚効果生成電子回路をソフトウェアドライバと専用アプリケーショントと共に接触感知画面に追加する必要がある。
本発明の第1の目的は、対話型装置の相互作用を強化するために、触覚機能と音響機能を含む対話型装置を提案することである。
本発明の第2の目的は、例えば航空機操縦室等の強い制約条件を有する環境に適したオーディオ触覚式装置を提案することである。このため触覚式装置は、操縦タスク中に航空機パイロットにより操作されるのに十分にコンパクトでかつ信頼できなければならない。
具体的には、本発明は、構造組立体と少なくとも1つの相互作用効果を制御するための制御組立体とを含む対話型装置に関する。構造組立体は、空洞を形成するシャーシと、接触感知表面により形成される平面部品と、少なくとも1つのアクチュエータと、を含み、制御組立体は、接触感知表面の作動に応答して接触制御信号を生成する手段と、シャーシの空洞に対し平面部品を移動するためにアクチュエータを駆動する手段と、を含む。構造組立体は、平面部品が空洞を覆うようにアクチュエータにより浮遊状態で保持されるように、配置され、制御組立体はまた、アクチュエータ駆動手段を制御するために、接触制御信号により制御される演算手段であって音声相互作用効果を表す周波数成分を含む第1のオーディオ信号を生成することができる演算手段を含む。構造組立体と制御組立体は、接触感知表面の作動が音声相互作用効果を生成するようにシャーシの空洞に対する平面部品の移動を制御するように配置される。
有利には、演算手段は、接触感知表面の作動が音響効果と触覚効果を同時に生成するようにシャーシの空洞に対する平面部品の移動を制御するように、触覚相互作用効果を表す第1の周波数成分と音声相互作用効果を表す第2の周波数成分とを含む第2のオーディオ信号を生成することができる。
一変形態様によると、対話型装置はまた、駆動手段に関連する第2のアクチュエータを含み、演算手段は、第2のアクチュエータ駆動手段を制御するために音声相互作用効果を表す周波数成分を含む第3のオーディオ信号を生成することができる。
有利には、演算手段は、接触感知表面の作動が前記音響効果と前記触覚効果を同時に生成するためにシャーシの空洞に対する平面部品の移動を第2のアクチュエータにより制御するように、触覚相互作用効果を表す第1の周波数成分と音声相互作用効果を表す第2の周波数成分とを含む第4のオーディオ信号を生成することができる。
一変形態様によると、平面部品はまた、前記接触感知表面の周辺部に固定された枠を含み、枠は、シャーシの周辺部と平面部品の周辺部との間にベントを形成するように画定された形状を有し、ベント部は、平面部品が空洞に対して移動されると共振周波数における裏面波がその位相が反転されて前面波に加算されるように、寸法決めされる。
一変形態様によると、枠の外縁は、シャーシの周辺部(シャーシの周辺部とベントを形成する外縁との間の空間)を覆うように接触感知表面に固定された枠の内端に対し垂直に曲げられる。
好ましくは、アクチュエータは接触感知表面の面に対し垂直に平面部品を移動するように構成される。
本発明はまた、請求項1に記載の対話型装置の少なくとも1つの相互作用効果を生成する方法に関する。本発明は、
前記接触感知表面の作動に応答して接触制御信号を生成する第1の工程と、
音声相互作用効果を表す周波数成分を含むオーディオ信号を生成する第2の工程と、
接触感知表面の作動が音声相互作用効果を生成するようにシャーシの空洞に対する平面部品の移動を制御するように、オーディオ信号に基づいてアクチュエータを制御する第3の工程と、の連続工程を含む。
一変形態様によると、第2の工程では、触覚相互作用効果を表す周波数成分を含む信号はオーディオ信号と合成され、第3の工程では、アクチュエータは、接触感知表面の作動が音響効果と触覚効果を同時に生成するようにシャーシの空洞に対する平面部品の移動を制御するように、オーディオ信号に基づいて制御される。
好ましくは、対話型装置はまた表示手段を含み、本方法は表示手段に対する視覚的相互作用効果を生成する工程を含む。
本発明の第1の利点は、特に音声を生成する手段を追加することなく音声相互作用効果機能性を有することである。実際には、対話型装置のまさにその構成は拡声器のように振る舞い、対話型装置のシャーシにより形成される空洞上の接触感知表面の移動により音波を生成することができる。好ましくは、シャーシと接触感知表面は少なくとも10インチの対角線を有し、接触感知表面の周囲の枠の取り付けは音波の生成に好都合な剛性を呈示するように構成される。
接触制御命令に応じたオーディオ信号の生成と、同オーディオ信号によるアクチュエータの直接駆動とから生じる第2の利点は、触覚効果制御電子回路を内蔵する必要が無いということである。公知のシステム(このようなシステムは米国特許出願公開第2008/0055277号明細書に一例として記載される)とは異なり、触覚効果は制御リンクにより伝達されるのではない。本発明によると、この複雑な制御装置はもはや有用ではなく、したがって触覚式装置への特別の接続あるいはこれを実施するためのソフトウェアドライバの必要はもはや無い。
本発明によると、接触感知表面は膜として使用され、アクチュエータは表面を支持する剛性枠に搭載されてオーディオおよび触覚トランスデューサとして使用される。したがってこの機能は0Hz(準静的状態)から20kHzを越えるまでの範囲の帯域幅を有するアクチュエータ自体(音波の再生に適合した剛性を有する)により提供されるので、このような装置はサスペンションを必要としない。
本発明は、添付図面と併せ、非限定的例として与えられる以下の説明を読むことによりさらに良く理解され他の利点が明らかになる。
本発明による対話型装置の構造組立体の図を表す。 アクチュエータを駆動するオーディオ信号の成分を説明するグラフを表す。 本発明による対話型装置の相互作用効果を制御する制御組立体の図を表す。
本発明は、オペレータにより操作されなければならない可視化インターフェースを表示する可視化画面を含む対話型装置10に関する。図1によると、対話型装置は、構造を形成する第1の組立体であって、シャーシ4と、1つまたは優先的にはいくつかのアクチュエータ31、32と、接触感知表面1を含む平面部品と、を含む第1の組立体を含む。
シャーシ4は、対話型装置の対話機能を生成するのに用いられる電子的手段を収容することを目的とする。これらの手段は、可視化画面の表示電子回路(図1に表されない)と、接触感知表面1上の位置と力として接触を測定する電子回路と、アクチュエータ31、32の制御電子回路と、を含む。シャーシ4は、これらの電子的手段のすべてが取り込まれる空洞の形式の容器である。シャーシ4は好ましくは、例えば硬質プラスチックまたは金属材で作られる。当業者は、電子的手段を保護し固定するようにされた剛性容器を形成するために好適な材料を適合させることができる。航空アプリケーションに関しては、シャーシ4は航空機操縦室内に固定されることができるか、あるいは接触感知タブレット型用途については着脱可能であってよい。本明細書の残りの部分では、シャーシ4は、対話型装置の他の部品に関する基部と考えられ、したがって空間において不動であると考えられる。
可視化装置10において用いられる画面のタイプは本発明を制限する特徴ではない。好ましくは、狭い奥行を有する可視化装置を提供するために平面型画面技術が用いられる。例えば引用する価値があるものとして、LCD画面、プラズマ画面、LED(発光ダイオード)照明またはOLED(有機発光ダイオード)照明を有する装置、あるいは像を表示する任意の他の装置がある。画面は、接触感知表面の面に直接固定されることができるか、あるいは接触感知表面1と視覚化装置のシャーシ4との間の視覚化装置内に搭載されることができる。
アクチュエータ31、32は一方ではシャーシ4に固定され、他方では接触感知表面1を含む平面部品に固定される。アクチュエータは、例えば接着剤、樹脂、機械的手段等の任意の固定手段により固定される。当業者は固定手段を対話型装置の特定の構成に適合させることができる。アクチュエータは、電気エネルギーをしばしば機械部品の動きの形式で機械エネルギーに変換できるようにする電気機械システムである。アクチュエータ31、32は、接触感知表面1の面に垂直な方向に平面部品を移動する機能を行なう。接触感知表面の面に垂直な方向のこの移動は、接触感知表面周囲およびシャーシ4の空洞の周囲の空気分子の移動により音波100を生成することができる。音波は、平面部品の前面(シャーシ4の外側)のレベルとシャーシ内の平面部品の裏面のレベルとにおいて形成される。アクチュエータ31、32の駆動はまた、オペレータが接触感知表面1に触れることにより非活性状態から活性状態への遷移を感知し、したがって自身の相互作用を確認することができるように情報フィードバック(例えばボタンの状態変化)を模擬するように構成されてよい。制御組立体が情報フィードバック触覚効果を生成する構成について以下に説明する。
市場に存在する様々な種類のアクチュエータを非制限的例として挙げることができる。
−偏心回転質量(ERM:Eccentric rotary mass):これは半径方向の慣性力を生成する偏心質量である。
−弾性波共振質量(LRM:Seismic resonant mass):ばねにより吊るされた質量が電磁気または静電素子により共振するように設定される。
−電磁気:このアクチュエータはコイル内の鉄心の移動により変形可能な枠からなる。
−圧電バイモルフ:振動ビーム(圧電ビーム)とブリスタ(blister)ディスク(圧電ディスク)の2つのタイプのアクチュエータが用いられる。これらのアクチュエータは、アクチュエータの片面または両面を覆う圧電セラミックにより誘起されるせん断力を用いる。このような装置の例は米国特許出願公開第2008122315A1号明細書に記載される。
−静電気:容量性効果により、画面を覆う2つの平行層が互いに引き付けられまたは反発されて相互作用物体を活性化する。
−形状記憶により:いくつかの材料はある温度にさらされると特定形状に戻る。
要件によっては1つまたは複数のアクチュエータが存在することができる。好ましくは、4つのアクチュエータがシャーシ内に配置される。
接触感知表面1は、観察者に示される面であって像を示す面として定義された前面上に搭載される。画面に関しては、ここで使用される接触感知表面技術は本発明の範囲を制限しない。接触感知表面1は、容量性の、抵抗性の、あるいは接触感知表面のある領域を指すアクチュエータの存在を検出できるようにする任意の他の技術の、接触感知層であってよい。接触感知表面1は、アクチュエータにより指された領域を検知するようにアクチュエータと画面間に配置される。用語「アクチュエータ」は、例えば画面のある領域を指すのに使用される任意の物体(すなわち、オペレータの指またはスタイラス)を意味するように理解すべきである。
接触感知表面1は、アクチュエータによりシャーシ4上に吊り下げられ固定される。接触感知表面1の面はシャーシ4の空洞を覆う。アクチュエータは、接触感知表面に直接、あるいは好ましくは接触感知表面の周辺部に固定された剛性枠2に、固定されることができる。後者の場合、接触感知表面1と枠2とで併せて平面部品を形成する。枠は平面部品を強化するように構成される。接触感知表面は膜として使用され、アクチュエータは前記表面を支持する剛性枠に搭載されオーディオおよび触覚トランスデューサとして使用される。したがって、この機能は0Hz(準静的状態)から20kHzを越えるまでの範囲の帯域幅を有するアクチュエータ31、32自体(音波の再生に適合する剛性を有する)により提供されるので、このような装置はサスペンションを必要としない。
接触感知表面1は通常、市場の可視化画面に適した矩形であるが、任意の接触感知面形状が可能である。
図1に表されるような最適変形態様によると、枠2はシャーシ4の周辺部と平面部品の周辺部との間のベント5を形成するように画定された形状を有し、ベント5の部分は、平面部品1、2が空洞に対して移動されると共振周波数における裏面波101がその位相が反転されて前面波100に加算されるように、寸法決めされる。このような構成により、一般的に「バスレフ」システムと呼ばれる強化オーディオシステムを得ることができる。このベントの機能は、前面波と裏面波の有利な組み合わせを得るように共振時に音波の位相回転を引き起こすことである。
枠2の変形設計によると、枠2の外縁22は、接触感知表面1に固定された枠2の内端21に対し垂直に曲げられ、外縁22はさらに、シャーシ4の周辺部(シャーシの周辺部とベントを形成する外縁22との間の空間5)を覆うように接触感知表面1の面の延長方向に延びる。10インチを越える対角線を有する大きいサイズの可視化装置に関しては、ベントはシャーシ4の周辺部の容積により形成されると有利である。シャーシを囲むベント5の容積は、対話型装置が「バスレフ」システムとして振る舞うのに十分に大きい寸法により特徴付けられる。このベントは、枠2が同軸方向にシャーシ4の周辺部の一部またはすべてを覆うように構成されれば、枠2の任意の形状により得られることができる。シャーシの空洞内に延びる端22を有する枠は、図1の構成の1つの可能な変形態様である。
対話型装置は、アクチュエータ31、32を制御する電子的手段と接触機能とを含む。コンピュータ50は接触制御信号52に応答して1つまたは複数のオーディオ信号(図3によると2つの信号53、54)を供給する。この接触制御信号52は、接触感知表面1上で測定された位置および/または力を計算するコンピュータ51により生成される。制御信号51の位置と力のデータに依存して、コンピュータ50は出力上に1つまたは複数のオーディオ信号53、54を生成する。これらのオーディオ信号はアクチュエータ31、32の駆動手段61、62に供給される。駆動手段61は、オーディオ制御信号64によりアクチュエータ31(接触感知表面1の2つの角に配置されている)を制御するようにオーディオ信号53を修正する増幅器である。駆動手段62は、オーディオ制御信号63によりアクチュエータ32(接触感知表面1の2つの角に配置されている)を制御するようにオーディオ信号54を修正する増幅器である。
コンピュータ50は、その音の強さまたは音色が例えば指の移動速度に、印加される圧力に、あるいは1つまたは複数の指が接触感知表面との相互作用に使用されるという事実に基づいて変調可能なオーディオ信号を生成する。
制御組立体の電子的手段は、1つまたは複数の相互作用を生成するための方法を実施できるようにする。音響効果だけを生成する方法の第1の変形態様によると、多くの連続工程が実行される。本方法は、
−前記接触感知表面の作動に応答して接触制御信号を生成する第1の工程と、
−音声相互作用効果を表す周波数成分を含むオーディオ信号を生成する第2の工程と、
−接触感知表面の作動が音声相互作用効果を生成するようにシャーシの空洞に対する平面部品の移動を制御するように、オーディオ信号に基づいてアクチュエータを制御する第3の工程と、を含む。
本方法の別の変形態様によると、音響効果と触覚効果を生成することが可能である。本方法によれば、第2の工程では、図3に表されるオーディオ信号は、触覚相互作用効果を表す周波数成分201を含む信号と組み合わせられ、第3の工程では、アクチュエータは、接触感知表面の作動が前記音響効果と前記
触覚効果を同時に生成するようにシャーシの空洞に対する平面部品の移動を制御するように、オーディオ信号に基づいて制御される。この変形態様によると、信号は触覚周波数成分201とオーディオ周波数成分200を含む。
本方法の別の変形態様によると、触覚効果だけを生成することが可能である。この場合、第2の工程において、コンピュータ50は、触覚効果を表す周波数成分と人間の耳に感知されない音響効果を表す周波数成分とを含むオーディオ信号を生成する。
コンピュータ50はアクチュエータ31または32の駆動手段61または62に直接供給されるオーディオ信号53または54を生成するので、通常複雑で高価である電子回路(特に触覚効果用の)を使用する必要無く触覚効果の寄与を調整することが可能である。したがって、利点は、アクチュエータを駆動する電子的手段の削減であり、これにより接触感知スラブの作動に応答してオーディオおよび音響効果を生成するよりコンパクトで信頼できる対話型装置を得ることができる。本発明によって、触覚効果に加えて、引用された最先端技術の解決策におけるようなオーディオおよび触覚の特定ハードウェア電子的手段を使用する必要無く音源を有することが可能である。このため、例えば仮想ミキシングコンソール(ソフトウェア)の手段によりプロセッサ50を構成することで十分である。オーディオ信号ミキシングコンソールを使用して、ソフトウェアインターフェースを介し主音量、音声、外部オーディオ装置を調整することが可能である。その利点は、触覚機能の恩恵を得るために特定のアプリケーションを必要としない点にあり、ソフトウェアオペレーティングシステムにおける共通形式のデジタルオーディオファイルを使用することができる。触覚効果を活性化するやり方の1つは、音声ファイル内の触覚効果のスペクトルを含むことである。オペレーティングシステム内の多数のアプリケーションは実際に、音声と行為とを関連付ける(例えば、キーが押されるたびに仮想キーボードがビープ音を発する)ことができる。したがって、触覚キーボードを得るために、ビープ音に対応するデジタルオーディオファイルを本発明による別のデジタルオーディオファイルで置換することで十分である。
さらに図3に表されるように、音の広がり効果(spatialization effect)を得て相互作用の場所に音声を配置できるようにするために、左右のアクチュエータは、表面上に局所化音声を生成するように、そして2つの音声出力(オーディオコンピュータの左右チャネルでよい)を使用することによりそうするように使用可能である。コンピュータ50は特定の機能を行なう単一プロセッサまたはいくつかのプロセッサであってよい。例えば、コンピュータ50は音の広がりを可能にする2つのオーディオチャネルを有するオーディオ専用電子モジュールであってよい。この構成によると、オーディオ電子モジュールの出力はアクチュエータ駆動手段に直接接続される。この音の広がり構成は、音源と相互作用の場所とをマージすることによりオーディオリアリズムを強化できるようにする。
既存の触覚システムの欠点の1つは、表面の強い変位が接触感知表面の共振に伴う不愉快な音を生じることである。本発明の強化された変形態様によると、生成されたオーディオスペクトルは、触覚相互作用効果を妨害しないように、重ね合わせ触覚効果に基づきスラブの共振周波数における振幅が補正される。また本発明によると、触覚効果により生成される望ましくない雑音を相殺し触覚効果だけを保持するように、この望ましくない雑音を記録しその位相を反転してスペクトルに加算することも可能である。
さらに、音響効果と触覚効果とを引き起こすオーディオ信号の使用により、触覚効果と音響効果の完全な同期を得ることができる。さらに、触覚効果は、触覚効果用のアクチュエータの駆動電子回路の削減のおかげで、接触感知表面1からの接触制御命令とほぼ同時的に得られる。実際には、専用触覚制御回路によりアクチュエータを駆動する必要はもはやない。
本発明は、接触感知表面を有し触覚および音響効果を生成する可視化装置に適用される。本発明は、任意のタイプの可視化装置(テレビ、表示端末、タッチパッド、デスクトップコンピュータ、ラップトップコンピュータ、電話等)に関する。その好ましい実施形態では、本発明は、操縦室内に組み入れられる機上画面としてあるいは着脱可能なポータブルタブレットとして使用される航空機操縦室の触覚および音響効果を生成する表示装置に関する。
1:接触感知表面
2:枠
4:シャーシ
5:ベント
10:可視化装置
21:内端
22:外縁
31:アクチュエータ
32:アクチュエータ
50:コンピュータ
51:制御信号
52:接触制御信号
53:オーディオ信号
54:オーディオ信号
61:駆動手段
62:駆動手段
63:オーディオ制御信号
64:オーディオ制御信号
100:前面波
101:裏面波
200:オーディオ周波数成分
201:触覚周波数成分

Claims (9)

  1. 構造組立体(1、2、31、4)と、少なくとも1つの相互作用効果を制御するための制御組立体(50、51、61)と、を含む対話型装置(10)であって、
    前記構造組立体は、空洞を形成するシャーシ(4)と、接触感知表面(1)により形成された平面部品と、少なくとも1つのアクチュエータ(31)と、を含み、
    前記制御組立体は、前記接触感知表面(1)の作動に応答して接触制御信号(52)を生成する手段(51)と、前記シャーシ(4)の前記空洞に対し前記平面部品を移動するために前記アクチュエータを駆動する手段(61)と、を含み、
    −前記構造組立体は、前記平面部品が前記空洞を覆うように前記アクチュエータ(31)により浮遊状態で保持されるように、配置され、
    −前記制御組立体はまた、前記アクチュエータを駆動する前記手段(61、62)を制御するために、前記接触制御信号(52)により制御され音声相互作用効果を表す周波数成分(200)を含む第1のオーディオ信号(53)を生成することができる演算手段(50)を含み、
    −前記構造組立体と前記制御組立体は、前記接触感知表面(1)の作動が前記音声相互作用効果を生成するように前記シャーシ(4)の前記空洞に対する前記平面部品(1)の移動を制御するように配置され
    前記平面部品(1)はまた、前記接触感知表面(1)の周辺部に固定された枠(2)を含み、
    前記枠は、前記シャーシ(4)の周辺部と前記平面部品(1、2)の周辺部との間にベント(5)を形成するように画定された形状を有し、
    前記ベント(5)の部分は、前記平面部品(1、2)が前記空洞に対して移動されると共振周波数における裏面波(101)がその位相が反転されて前面波(100)に加算されるように寸法決めされる装置。
  2. 前記演算手段(50)は、前記接触感知表面(1)の前記作動が音響効果と触覚効果を同時に生成するように前記シャーシ(4)の前記空洞に対する前記平面部品(1)の移動を制御するように、触覚相互作用効果を表す第1の周波数成分(201)と音声相互作用効果を表す第2の周波数成分(200)とを含む第2のオーディオ信号を生成することができる、請求項1に記載の装置。
  3. 前記駆動手段(62)に関連する第2のアクチュエータ(32)をさらに含む請求項1〜2のいずれか一項に記載の装置であって、
    前記演算手段(50)は、前記第2のアクチュエータ(32)の前記駆動手段(62)を制御するために音声相互作用効果を表す周波数成分を含む第3のオーディオ信号(54)を生成することができる、装置。
  4. 前記演算手段(50)は、前記接触感知表面(1)の前記作動が音響効果と触覚効果を同時に生成するために前記シャーシの前記空洞に対する前記平面部品(1)の前記移動を前記第2のアクチュエータ(32)により制御するように、触覚相互作用効果を表す第1の周波数成分と音声相互作用効果を表す第2の周波数成分とを含む第4のオーディオ信号を生成することができる、請求項3に記載の装置。
  5. 前記枠(2)の外縁(22)は、前記シャーシ(4)の周辺部と、前記シャーシ(4)の周辺部と前記ベント(5)を形成する外縁(22)との間の空間と、を覆うように前記接触感知表面(1)に固定された前記枠の内端(21)に対し垂直に曲げられる、請求項1に記載の装置。
  6. 前記アクチュエータは前記平面部品を前記接触感知表面(1)の面に対し垂直に移動するように構成される、請求項1〜のいずれか一項に記載の装置。
  7. 請求項1に記載の対話型装置の少なくとも1つの相互作用効果を生成する方法であって、
    前記接触感知表面の前記作動に応答して接触制御信号を生成する第1の工程と、
    音声相互作用効果を表す周波数成分を含むオーディオ信号を生成する第2の工程と、
    前記接触感知表面の前記作動が音声相互作用効果を生成するように前記シャーシの前記空洞に対する前記平面部品の前記移動を制御するように、前記オーディオ信号に基づいて前記アクチュエータを制御する第3の工程と、を含む方法。
  8. 前記第2の工程では、触覚相互作用効果を表す周波数成分を含む信号は前記オーディオ信号と合成され、
    前記第3の工程では、前記アクチュエータは、前記接触感知表面の前記作動が音響効果と触覚効果を同時に生成するように前記シャーシの前記空洞に対する前記平面部品の前記移動を制御するように前記オーディオ信号に基づいて制御される、請求項に記載の方法。
  9. 前記対話型装置はまた表示手段を含む、請求項またはに記載の方法であって、
    前記表示手段上に視覚的相互作用効果を生成する工程を含む。方法。
JP2011198870A 2010-09-14 2011-09-12 触覚式対話型装置と触覚および音響効果生成方法 Expired - Fee Related JP5877409B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1003655 2010-09-14
FR1003655A FR2964761B1 (fr) 2010-09-14 2010-09-14 Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores

Publications (2)

Publication Number Publication Date
JP2012064210A JP2012064210A (ja) 2012-03-29
JP5877409B2 true JP5877409B2 (ja) 2016-03-08

Family

ID=43813721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011198870A Expired - Fee Related JP5877409B2 (ja) 2010-09-14 2011-09-12 触覚式対話型装置と触覚および音響効果生成方法

Country Status (6)

Country Link
US (1) US20120062491A1 (ja)
EP (1) EP2428879A1 (ja)
JP (1) JP5877409B2 (ja)
CN (1) CN102566813B (ja)
CA (1) CA2752001A1 (ja)
FR (1) FR2964761B1 (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306449B1 (en) 2011-03-04 2022-03-09 Apple Inc. Linear vibrator providing localized and generalized haptic feedback
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
WO2013052883A1 (en) * 2011-10-05 2013-04-11 Immerz, Inc. Systems and methods for improved acousto-haptic speakers
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
CN104395860B (zh) 2012-05-09 2018-06-22 苹果公司 用于确定计算设备中的反馈的阈值
US10108265B2 (en) 2012-05-09 2018-10-23 Apple Inc. Calibration of haptic feedback systems for input devices
JP2013242803A (ja) * 2012-05-22 2013-12-05 Kyocera Corp 電子機器
US10209791B2 (en) 2012-05-22 2019-02-19 Kyocera Corporation Electronic device and panel device
WO2013188307A2 (en) 2012-06-12 2013-12-19 Yknots Industries Llc Haptic electromagnetic actuator
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
GB2507783B (en) * 2012-11-09 2015-03-11 Ge Aviat Systems Ltd Aircraft haptic touch screen and method for operating same
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
EP2981876A4 (en) 2013-04-02 2016-12-07 Nokia Technologies Oy CONTRAPTION
JP6276385B2 (ja) * 2013-04-26 2018-02-07 イマージョン コーポレーションImmersion Corporation フレキシブルディスプレイのための、受動的剛性及び能動的変形の触覚出力装置
JP6851197B2 (ja) 2013-05-30 2021-03-31 ティーケー ホールディングス インク.Tk Holdings Inc. 多次元トラックパッド
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
CN110058697B (zh) * 2013-10-08 2023-02-28 Tk控股公司 具有集成的多感觉反馈的基于力的触摸界面
US9817521B2 (en) 2013-11-02 2017-11-14 At&T Intellectual Property I, L.P. Gesture detection
US10025431B2 (en) 2013-11-13 2018-07-17 At&T Intellectual Property I, L.P. Gesture detection
FR3015383B1 (fr) * 2013-12-19 2017-01-13 Dav Dispositif de controle pour vehicule automobile et procede de commande
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
US9366546B2 (en) 2014-02-24 2016-06-14 Lockheed Martin Corporation Projected synthetic vision
US9563276B2 (en) * 2014-03-26 2017-02-07 Lockheed Martin Corporation Tactile and peripheral vision combined modality hover drift cueing
US9594429B2 (en) * 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9635440B2 (en) * 2014-07-07 2017-04-25 Immersion Corporation Second screen haptics
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
US9600083B2 (en) 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
CN115756154A (zh) * 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
DK179034B1 (en) * 2016-06-12 2017-09-04 Apple Inc Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
CN109032558B (zh) * 2018-07-23 2021-08-17 Oppo广东移动通信有限公司 发声控制方法、装置、电子装置及计算机可读介质
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
EP3677996B1 (en) * 2019-01-07 2022-03-23 Goodix Technology (HK) Company Limited Audio-haptic signal generator
KR20200126158A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 사운드를 출력하는 액추에이터를 포함하는 전자 장치와 이의 동작 방법
US20200379570A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Haptics application programming interface
JP2021015488A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 制御装置、呈示装置、およびデータ
CN114902165A (zh) 2019-12-27 2022-08-12 阿尔卑斯阿尔派株式会社 操作装置
US11422629B2 (en) 2019-12-30 2022-08-23 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
EP4280034A1 (en) * 2022-05-19 2023-11-22 Aito BV A haptic touch module and a method for manufacturing the haptic touch module

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3247925A (en) * 1962-03-08 1966-04-26 Lord Corp Loudspeaker
JPH0298593U (ja) * 1989-01-23 1990-08-06
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
TR200100136T2 (tr) * 1998-07-03 2001-06-21 New Transducers Limited Panel biçiminde rezonant hoparlör
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP3632594B2 (ja) * 2000-11-28 2005-03-23 日本電気株式会社 電子装置
TW507465B (en) * 2000-12-28 2002-10-21 Tai-Yan Kam Transparent planar speaker
JP2002281576A (ja) * 2001-03-19 2002-09-27 Matsushita Electric Ind Co Ltd ポータブルコンピュータ装置
DE10238325A1 (de) * 2002-08-16 2004-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lautsprecher
KR101085996B1 (ko) * 2003-06-02 2011-11-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 광전자 입력 디바이스, 이러한 디바이스의 제조 방법 및 이러한 디바이스에 의한 물체의 동작 측정 방법
KR100698256B1 (ko) * 2004-07-16 2007-03-22 엘지전자 주식회사 디스플레이 윈도우를 이용한 스피커 장치
JP4063269B2 (ja) * 2004-10-29 2008-03-19 ヤマハ株式会社 オーディオアンプ及びオーディオシステム
JP4229098B2 (ja) * 2005-07-29 2009-02-25 ソニー株式会社 タッチパネルディスプレイ装置、タッチパネルディスプレイ装置を備えた電子機器、及びタッチパネルディスプレイ装置を備えたカメラ
JP4697095B2 (ja) * 2006-08-29 2011-06-08 ソニー株式会社 タッチパネルディスプレイ装置、電子機器および遊技機器
JP4968515B2 (ja) 2006-11-15 2012-07-04 ソニー株式会社 基板支持振動構造、触覚機能付きの入力装置及び電子機器
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
JP2008225690A (ja) * 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器
JP2009169612A (ja) * 2008-01-15 2009-07-30 Taiheiyo Cement Corp タッチパネル式入力装置
US20100141408A1 (en) 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8310458B2 (en) * 2009-07-06 2012-11-13 Research In Motion Limited Electronic device including a moveable touch-sensitive input and method of controlling same
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体

Also Published As

Publication number Publication date
US20120062491A1 (en) 2012-03-15
JP2012064210A (ja) 2012-03-29
FR2964761A1 (fr) 2012-03-16
CN102566813A (zh) 2012-07-11
EP2428879A1 (fr) 2012-03-14
CA2752001A1 (en) 2012-03-14
CN102566813B (zh) 2016-05-11
FR2964761B1 (fr) 2012-08-31

Similar Documents

Publication Publication Date Title
JP5877409B2 (ja) 触覚式対話型装置と触覚および音響効果生成方法
JP6078935B2 (ja) 電子機器
JP6265958B2 (ja) 横方向に駆動される圧電アクチュエータを使用する触覚フィードバックのためのシステムおよび方法
JP5942152B2 (ja) 電子機器
JP4697095B2 (ja) タッチパネルディスプレイ装置、電子機器および遊技機器
EP2527956B1 (en) Aircraft user interfaces with multi-mode haptics
JP6111315B1 (ja) 触感呈示装置
WO2015045064A1 (ja) 駆動制御装置、電子機器、及び駆動制御方法
US10055021B2 (en) Electronic device
JP5909682B2 (ja) 電子機器
JPWO2013168338A1 (ja) 電子機器
JP2007034954A (ja) 入出力装置及び入出力装置を備えた電子機器
US10656716B2 (en) Control device, input system, and control method
JP2004334740A (ja) 座標入力装置
JP5994991B2 (ja) 電子機器
US20180224939A1 (en) Control device, input system, and control method
US20200142492A1 (en) Haptic effects using a high bandwidth thin actuation system
JP6819783B2 (ja) 駆動制御装置、電子機器、及び駆動制御方法
JP6613153B2 (ja) 触感呈示装置
WO2016092644A1 (ja) 電子機器及び駆動制御方法
JP2017138828A (ja) 携帯型情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R150 Certificate of patent or registration of utility model

Ref document number: 5877409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees