JP5174009B2 - デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 - Google Patents

デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 Download PDF

Info

Publication number
JP5174009B2
JP5174009B2 JP2009505477A JP2009505477A JP5174009B2 JP 5174009 B2 JP5174009 B2 JP 5174009B2 JP 2009505477 A JP2009505477 A JP 2009505477A JP 2009505477 A JP2009505477 A JP 2009505477A JP 5174009 B2 JP5174009 B2 JP 5174009B2
Authority
JP
Japan
Prior art keywords
event
haptic
events
signal
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009505477A
Other languages
English (en)
Other versions
JP2009533714A (ja
Inventor
クリストファー ジェイ. ウルリッチ
ダニー エー. グラント
ステファン ディー. ランク
ムニベ エム. バキルチオグル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2009533714A publication Critical patent/JP2009533714A/ja
Application granted granted Critical
Publication of JP5174009B2 publication Critical patent/JP5174009B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Description

(関連出願)
本出願は、2006年4月13日付け米国仮出願第60/792137号明細書、発明者名ステファン・D・ランク及びクリストファ・J・ウルリッヒ、発明の名称「音楽からハプティック・コードへの変換」の優先権の利益を主張し、本願明細書に取り入れるものとする。
(技術分野)
本願明細書に記載の主題は一般的にハプティック分野に関し、より具体的にはハプティック効果制御信号の生成又はデジタル音声又は音声/視覚ファイルに対応するハプティック追跡に関する。
触覚振動はしばしばユーザ・インタフェース機器において好適である。接触は空間感覚、すなわち、世界に通じる進路案内のために人々が用いるものである視覚、音、及び接触を統合する。接触はミリ秒(ms)の反射速度の反応を生成し、視覚や音では代替できない完全さを補う。
ユーザ・インタフェース機器においては、音楽ファイルが携帯電話で鳴る場合のように、触覚振動を音に適合させることが有用である。エンド・ユーザ機器のための音声は、再生される音が公知シンボル(例えば、楽器デジタル・インタフェース又は“MIDI”)のストリングに符号化される構造化表現フォーマット、及び音声波形の周期的なサンプルのセットであるデジタル標本化音声等の二つの基本的なやり方で符号化される場合がある。
現在、標本化された音声ファイルは手操作による変換を通じて変換されうる。人間であるデザイナは、標本化された音声ファイルを聴取、分析、及び判定し、いずれのハプティック効果を生成すべきかということから当該標本化された音声ファイルの特徴を選択する。しかしながら、人間のデザインを介することは制約の多い手法である。
音楽ファイルをハプティック効果に変換する、十分に自動化された、又は半自動化された方法が必要である。
一実施形態において、デジタル音声信号を操作する方法は、音声信号を複数のサブバンド信号に分離するステップと、当該サブバンド信号の少なくとも一つを複数のイベントにセグメント化するステップと、アクチュエータによりハプティック・イベントを生成するために当該イベントの少なくとも一つにハプティック効果を割り当てるステップと、を含む。
一実施形態において、デジタル音声信号を操作する装置は、音声信号を複数のサブバンド信号に分離するための回路と、当該サブバンド信号の少なくとも一つを複数のイベントにセグメント化するための回路と、アクチュエータによりハプティック・イベントを生成するために当該イベントの少なくとも一つにハプティック効果を割り当てるための回路と、ハプティック・イベントを出力するために構成されるアクチュエータと、を含む。
一実施形態において、デジタル音声信号を操作する装置は、音声信号を複数のサブバンド信号に分離するための手段と、当該サブバンド信号の少なくとも一つを複数のイベントにセグメント化するための手段と、アクチュエータによりハプティック・イベントを生成するために当該イベントの少なくとも一つにハプティック効果を割り当てるための手段と、を含む。
一実施形態において、システム及び方法は、音声信号のスペクトル分解を計算する。一実施形態において、システム及び方法は、イベント間の最短分離時間を指定する。一実施形態において、システム及び方法は、第一のハプティック・イベントに先立って最短アクチュエータ始動時間を指定する。一実施形態において、システム及び方法は、複数のハプティック・イベントにおけるそれぞれのハプティック・イベントに対する時間の最短期間を指定する。一実施形態において、システム及び方法は、イベント間の最短分離時間を指定する。一実施形態において、システム及び方法は、第一のハプティック・イベントに先立って最短アクチュエータ始動時間を指定する。一実施形態において、サブバンド信号内のイベントは、ユーザが指定した毎秒平均ハプティック・イベント数に対応する。一実施形態において、サブバンド信号内のイベントが有する折り返し値は、最大折り返し目標値以下である。一実施形態において、システム及び方法は一以上のサブバンド信号のパラメータに対する時間の指定された期間にわたる平均を計算する。
一実施形態において、システム及び方法は、サブバンド信号のパラメータの短期間の値がパラメータに対する平均の倍数を超えるならば、イベントを指定する。一実施形態において、システム及び方法は、音声信号のスペクトル分解のパワースペクトルを計算し、パワースペクトルの少なくとも一部に基づいて周波数を選択し、選択した周波数の少なくとも一部に基づいてイベントを識別する。一実施形態において、システム及び方法は、ネットワーク上でクライアントと通信可能なサーバにハプティック・イベントを保存し、サーバはクライアントにハプティック・イベントを送る。
主題の実施形態は、音声からハプティックへの自動的な変換のためのシステムの文脈において本願明細書に記載される。当業者であれば、以下の本発明の詳細な記載は例示のみであり、いかなる制限をも意図していないことを理解するだろう。本発明の他の実施形態は、本開示の利益を有する当業者には直ちにこれら自身が示唆を与えるであろう。添付図面に示す本発明の実装に対しては詳細に参照する。同一又は同様のものを参照するために、図面及び以下の詳細な記載を通じて、同じ参照符号が用いられる。
明確さを重視し、本願明細書に記載した実装のルーチン的な特徴は、必ずしも全てを図示し記載していない。もちろん、任意のこのような実際の実装の開発においては、アプリケーション及びビジネスに関連した制約へのコンプライアンス等の、開発者の特定の目標を達成するために無数の実装を特定した決定が行われる必要があり、これらの特定の目標は実装によっても開発者によっても変化するであろうと考えられる。更に、このような開発努力は複雑で時間を要する場合があるが、それでもなお、本開示の利益を有する当業者にとっては技術のルーチン的実施であると考えられる。
本願明細書に記載の主題に従った、構成要素、システム、デバイス、方法ステップ、及び/又はデータ構造は、様々な種類のオペレーティング・システム、コンピューティング・プラットフォーム、コンピュータ・プログラム、及び/又は汎用機器を用いて製造、動作、及び/又は実装されてもよい。加えて、当業者であれば、ハードウェア組み込みデバイス、現場でプログラム可能なゲートアレイ(FPGA)、特定アプリケーション向け集積回路(ASIC)、又は同様のもの等の、一般用途の性質が低いデバイスもまた本願明細書に記載の発明の概念の範囲及び精神を外れることなく使用してもよいことを認識するだろう。発明を含む方法がコンピュータ、デバイス、又は機械に実装され、指示のように方法が機械読み取り可能に保存される場合、それらは、ROM(読み出し専用メモリ)、PROM(プログラム可能な読み出し専用メモリ)、EEPROM(電気的に消去可能なプログラム可能な読み出し専用メモリ、フラッシュ・メモリ、ジャンプ・ドライブ、及び同様のもの)、磁気保存媒体(例えば、テープ、磁気ディスク・ドライブ、及び同様のもの)、光学保存媒体(例えば、CD−ROM、DVD−ROM、紙カード及び紙テープ、及び同様のもの)及び他の公知形式のプログラムメモリ等、有形の媒体に保存されてもよいが、これらに限定しない。加えて、人間の又は創造的な判定を必要とせずに、方法はソフトウェア・ツールを用いる人間のオペレータにより実施しうることを認識すべきである。
本願明細書に記載の方法及びシステムは、デジタル・ファイルを受信して自動的に当該ファイルをハプティック・イベントに変換することを目的とする。一実施形態において、受信ファイルは、標本化デジタル又はデジタル化されたアナログの音声ファイルからなる。別の実施形態において、受信ファイルは構造化表現ファイル(例えば、MIDIファイル)である。MIDIファイルは本願明細書において構造化表現ファイルという用語で記載されるが、任意の他のプロトコルがシステムに用いられてよく、これによりプロトコルは音声、ビデオ又は他の信号でありうる構造化表現ファイルを利用する場合があることに注意されたい。変換されるハプティック・イベントはエンド・デバイスにより出力処理され、ユーザはこのエンド・デバイス及び/又は他のデバイスにより出力される音声に対応する愉快なハプティック経験を経験する。エンド・デバイスには、音声プレイヤ、PDA、コンピュータ、テレビ、ビデオゲーム機、コンピュータ周辺機器(例えば、マウス、ジョイスティック、ローラ・ボール、キーボード)、ステアリング・ホイール、家具、スライダ、ノブ、ヘッドホン、タッチスクリーン、携帯型又は非携帯型ラジオ、一方向/二方向ページャ及び他の適切なユーザ操作可能デバイスが挙げられるが、これらに限定しない。
システム及び方法はエンド・デバイスによる出力であることを本願明細書に記載するが、複数のエンド・デバイスが同時又は様々な時間で、実施形態に従って同一のハプティック・イベント及び/又は異なる分量の同一のハプティック・イベントを出力してもよいこともまた注意されたい。エンド・デバイスは一以上のアクチュエータを内蔵してもよいことに注意されたい。エンド・デバイス内の複数アクチュエータの実施形態において、複数アクチュエータにより出力されるハプティック・イベントはそれぞれのハプティック・イベントに対して同時に、選択的に、交互に、及び/又は独立して行われてもよい。
図4に、実施形態に従ってシステムを具体化する全体的なアーキテクチャを示す。図4に示すように、様々な信号源(source)がシステム300に入力信号99を提供する場合がある。例えば、デジタル標本化された音声信号又は構造化表現信号は、サーバ402、音声信号源(CD、DVD、DAT他)、ホスト・コンピュータ406、モバイル・デバイス408及び/又は商用キオスク410から受信される場合がある。入力信号は電線又は無線の私用又は公用ネットワーク98を介してシステム300の受信モジュール412に送られる。次いで信号は、より詳細は後述するように、プロセッサ414により処理される。処理後、システム300は、ポート416を通じて一以上のエンド・デバイス420に、有線又は無線によりハプティック・イベント・シーケンスを出力する。エンド・デバイス420は、ハプティック・イベント・シーケンス(音声を伴う場合も伴わない場合もある)を有する出力ファイルを受信すると、次に適宜音声スピーカ424と共に一以上のアクチュエータを用いてハプティック・イベントを出力しうる。図4に示したアーキテクチャは実施形態であり、これには本願明細書に記載の主題の範囲を外れることなく追加の及び/又は代替の構成要素が利用されてもよいことに注意されたい。
図面に戻り、図1は、音符、コード及び休止を含む伝統的な楽譜スタイルを用いて視覚認知可能な様式で表現された楽曲部分100を示す図である。楽曲は、例えばデジタル標本化形式又は構造化表現形式で再生及び録音される場合がある。それぞれの音楽記号は機械振動の周波数を表す。音階の形式(例えば、A、A#、B、C、C#、D、D#、E、F、F#、G、G#)は音程の点において互いに異なっている。全音符、二分音符、四分音符、八分音符、十六分音符、及び同様のものはそれぞれの音符又は周波数に対する再生期間を表す。同様に、全休符、二分休符、四分休符、八分休符、十六分休符、及び同様のものは音符が再生されない時間の長さを表す。音符及びその長さのシーケンスは、いかなる周波数がいかなる時間で再生されるかという表現を決定するものである。
本発明の実施形態は、デジタル標本化された音声ファイルにハプティック・イベントを自動的にマッピングすることを目的とする。標本化された音声源(及びファイル)は、WAV、MP3、MP4、ACC、ASX、WMAフォーマットを有するがこれらに限定せず、全て、標本化レート及び時系列サンプルのセット(しばしば左及び右チャネル)等の基本的に同一の形式の情報を提供するものである。しかしながら、構造化表現ファイルとは異なり、標本化された音源からは楽器、音程、テンポ又は他の音楽的コンテキストについての明示的な情報は利用できず、全体が描写された音声のみが利用可能である。図2に、標本化された音声信号の時間−振幅グラフを例示する。
加えて、又は代替として、システムは構造化表現信号からハプティック・イベントを自動的にマッピングしうる。特に、音声ファイルの特定の構造化表現が与えられると、システムは、構造化表現信号により固有に提供されるデータを分析することによりハプティック・イベントを自動的にマップしうる。しかしながら、いずれかの形式のファイルを自動的にマッピングすると、入力信号は注意深く処理され、ファイル内の音声信号から愉快で明確なハプティック・シーケンスを生成するために、エンド・デバイス内のアクチュエータの性能制限により分析は単純化される。
現在のハプティック技術は、約4個のハプティック・イベントを同時に再生し、約1msの制御ループで動作可能である。これは現状のアクチュエータの制限による。現状の偏芯回転質量(ERM、Eccentric Rotating Mass)モータ技術には制限があり、ハプティック効果の同時再生は予期しないアクチュエータの挙動を生じうる。同様にERMモータは機械的帯域が比較的狭く、ハプティック・イベントの周波数は毎秒約4個のハプティック・イベントに制限される。ERMモータはピーク加速度に到達するまでに約50−80msの始動遅延もあり、このようなERMモータを駆動するハプティック制御信号の生成において、この始動遅延を考慮しておかなければならない。本願明細書に記載の主題の文脈においてはERMモータを記載するが、他の形式のモータ又はアクチュエータを、エンド・デバイス、ハプティック効果の解決、変換すべき音声のデジタル品質、及び使用アプリケーションの形式に依存して用いてもよいことを想定する。例示のみとして、アクチュエータは、ERMモータよりも優れた分解能を有するリニア共振アクチュエータ(LRA)でもよい。他の形式のアクチュエータには、リニア電流制御モータ、ステッピング・モータ、磁気アクチュエータ、空気圧/水圧作動アクチュエータ、トルク発生器(角度範囲を制限したモータ)、及びボイスコイル・アクチュエータを含んで想定するが、これらに限定しない。
ハプティック動作可能なエンド・デバイスに触れているユーザに愉快なハプティック経験を提供するためには、システムは一つの期間内にあまりに多数のハプティック・イベントを生成してはならない。加えて、ハプティック・イベントは、一定振動又は「ずれ」を生成しないために十分な間隔で離れなければならないが、それでもなお効果音、音楽のテンポ、及び/又は旋律と一致しなければならない。キー変化、旋律遷移、及び同様のもの等の例外的イベントがハプティック・イベントにより強調されなければならないことがしばしばある。音楽のリズムが、音声プログラム信号のテンポ及び音楽プログラム信号の始まりに対する当該テンポの位相オフセットを識別することにより強調されなければならないことがしばしばある。前もって実質的にある量の沈黙を有する音声イベントは、音楽中のアクセント(例えば、シンバル、効果音としての車の衝突)によりハプティック・イベント類似である場合もある。
図3は、実施形態に従って受信したデジタル標本化信号をマッピングするハプティック効果のためのシステム及び方法を示す、方法のブロック図である。一般的に、実施形態によれば、受信標本化音声入力は、受信されてシステムにより自動的に「変換」又は「マップ」され、信号中に識別される音声イベントの再生と共に、同調しているエンド・デバイスにおいてハプティック効果の再生を制御するハプティック制御信号又はハプティック・イベントを生成する。図3のブロックはアナログ又はデジタル・ハードウェアでありうる一般的な構成要素として示され、ハードウェア組み込み回路、集積回路、及びASICが挙げられるが、これらに限定しない。加えて又は代替として、図3のブロックは、プロセッサ及びメモリ内に具体化されるか又はこれに用いられる、ルーチン、サブルーチン、コード、スレッド及び同様のソフトウェア・コード構成要素である。
図3の実施形態によれば、受信標本化音声信号は、ブロック310内のコンピュータ機器のメモリにロードされる。コンピュータ機器は通常のパーソナル・コンピュータ、処理モジュール、サーバ、クライアント、上記定義のエンド・デバイス自身、又は十分な処理能力を有する任意の他の電子機器でもよい。標本化音声信号はコンパクト・ディスク(CD)、ミニディスク、DVD、DAT、ハード・ドライブ又は他の媒体から取ってもよい。一実施形態において、音声信号は商用又は非商用のウェブサイトから直接(有線又は無線で)ダウンロードされ、次いで変換されてエンド・デバイスにより再生可能である場合がある。別の実施形態において、音声トラックは遠隔的に変換された後にサーバに保存され、変換されたハプティック・トラックはサーバから一以上のエンド・デバイスに直接ダウンロードして再生可能である。一実施形態において、受信ファイルはシステムによりオフライン処理され、ファイルの一部又は全体をシステムは受信後に処理する。一実施形態において、受信ファイルはシステムによりリアルタイムの様式で処理され、これによりシステムはファイルを受信しながらデータを処理して出力する。
受信ファイルは、Microsoft Windows(登録商標) Media Player、RealPlayer(登録商標)、iTunes(登録商標)、MusicMatch Jukebox(登録商標)、又はサーバ及び/又はエンド・デバイス上の他の専用プログラム等、市販コンピュータ・ソフトウェア・プログラムに含まれるファイル・リーダ/プレイヤへの入力でもよい。あるいは、PCM形式の出力を生成する任意のコーデック(エンコーダ/デコーダ)をシステムと共に用いてもよい。
一実施形態において、システムは標本化音声を単一(モノラル)の入力信号として受信する。一実施形態において、システムは標本化音声をステレオ又は例えばプリミックス又はサブセレクトにより変換又はマップされる多チャネル入力として受信する。加えて、所望により、複数のハプティック・トラックが同時に又は異なる時間において処理されうる。
後に、入力信号は、一実施形態におけるシステムの任意メモリにロードされる。システムはメモリからその信号を回収し、ブロック312において時間あたりのエネルギー内容及び周波数の観点から入力信号を分析する。一実施形態において、システムはブロック312における音声信号のエネルギー分布データを生成するために、窓処理付き高速フーリエ変換(FFT)アルゴリズムを用いる一実施形態において、ウェーブレット変換を含むがこれに限らず、信号のエネルギー分布情報を生成するために任意の他の適切な手順又はアルゴリズムが利用される。スペクトル分解分析は、信号処理においてシステムにより利用される複素数係数として符号化される位相情報を生成する場合もある。
一実施形態において、システムは、周波数サブバンドのセグメント化に先立ち、スペクトル分解計算に補正係数を利用し、人の耳の(Human Ear)伝達関数及び認知係数を考慮する。例えば、人の耳は60Hzの音とは対照的に3−4kHzの音に対してより高感度である。一例において、システムが60Hz周辺の周波数成分を約40dB抑圧する一方、3kHzと4kHzの間の周波数は抑圧されない。このため、より顕著なビートが60Hzにある場合においても、ユーザはその抑圧により目立つようになる高い周波数帯でビートを認知するようになる。
同様にターゲットのハプティック・デバイス用スピーカの音声伝送機能が考慮され、セグメント化に先立ってスペクトル分解に適用されうる。例えば、ほとんどの携帯電話スピーカにおける周波数応答は200Hz以下の周波数は伝達されないものである。このため、このようなスピーカにより出力される音声信号が伴うときには、200Hz以下のビートを強調すると予期せぬハプティック効果を生じうる。スペクトル分解において処理中にこれらの周波数帯を無視することで、より整合性のある結果を得られる場合がある。
一実施形態において、システムは、音声信号のサブバンド信号及びクロスオーバー周波数の指定を可能とするための周波数の観点において、音声信号のエネルギー分布をマップするためにスペクトル分解分析から複素係数の絶対値を利用する。これは、図3にブロック314として示されている。
図3に示すように、システム及び方法はブロック314における入力信号のエネルギー分布からサブバンド周波数の数を決定する。上述の用に、システムは、ソフトウェア、アナログ又はデジタル・ハードウェア及び/又はファームウェアを用いてこの分析を実施する場合がある。一実施形態において、システムは信号のエネルギー分布を分析し、エネルギーを周波数上の3つのサブバンド・カテゴリに指定する。一実施形態において、サブバンド・カテゴリは高周波数サブバンド、中周波数サブバンド、及び低周波数サブバンドである。図5に、入力音声信号の高周波数サブバンド信号500及び中周波数サブバンド信号502を表す時間−周波数グラフを例示する。一実施形態において、システム及び方法は、入力音声信号のエネルギー分布を3つのサブバンド・カテゴリよりも多いか又は少ないものに指定する。
一実施形態において、低周波数サブバンドはシステムにより低周波数の値の範囲内に指定され、高周波数サブバンドは高周波数の値の範囲内に指定される。システムは、中周波数サブバンドが、低サブバンドにおける最高周波数と高サブバンドにおける最低周波数との間であるように指定する。周波数サブバンド範囲のそれぞれはこれらの説明に限定されず、それぞれのサブバンドは設計者の所望に基づいてより高い及びより低い周波数限界を有するように指定されうることに注意すべきである。一実施形態において、低、中及び高周波数範囲は、全体の信号又は全体の信号のセグメント化部分のパワースペクトルの包括平均に基づいてシステムより決定される。低、中、高周波数範囲は任意の他の適切な方法を用いてシステムにより決定される場合があることを想定する。
特に、システム及び方法は、サブバンド・クロスオーバー周波数の観点で入力音声信号を分析する。一実施形態において、システムは低周波数サブバンドと中周波数サブバンドとの間で一以上のサブバンド・クロスオーバー周波数fを計算する。加えて、システム及び方法は、中周波数サブバンドと高周波数サブバンドとの間で一以上のサブバンド・クロスオーバー周波数fを計算する。一実施例において、fは約300Hzから約1000Hzの範囲内に指定される。一実施例において、fは約3500Hzから約5000Hzの範囲内に指定される。これらの範囲は例示のみであり、システム及び方法の範囲内に他の周波数範囲が想定されることに注意すべきである。
一実施形態において、f及びfという周波数は百分位の15番目及び85番目のスペクトルのロールオフの平均値として算出され、当該スペクトルのロールオフとは、音声入力の全エネルギーの特定パーセンテージがその下方に見られる周波数である。これらの特定パーセンテージはブロック312において計算される信号のエネルギー分布から算出されてもよい。他のスペクトルのロールオフ百分位が想定され、15番目及び85番目に限定する必要はないことに注意すべきである。一実施形態において、システム及び方法は指定周波数に対し、それぞれの時間ウィンドウにおけるエネルギーを正規化し、特定の百分位に対応する累積値を計算する。これはクロスオーバー周波数を計算するひとつの方法であり、他のクロスオーバー周波数の計算方法が想定されることに注意すべきである。例えば、一実施形態において、サブバンド信号クロスオーバー周波数は全信号のFFT計算及びロールオフ値計算により算出される場合がある。次いで3つのサブバンド信号が、各サブバンドにおけるエネルギー値を合計することにより、入力音声信号のエネルギー分布(例えばスペクトログラム)から導かれてもよい。スペクトル分解計算中に44kHzの時間情報(オリジナルの音声サンプル速度)が128Hzの時間データ変換される場合があるため、この手順は入力信号をダウンサンプルする役割を担う場合もある。
一実施形態において、高、中及び低周波数サブバンド信号はそれぞれシステムによりセグメント化されて処理される。図3に示すように、中周波数サブバンド信号は、ブロック316で示される中域最適化部に送られる。中域最適化部316は、毎秒のエフェクト(EPS)の所望の数に対応する個別のイベントのトラックを生成する。一実施形態において、EPSは、アクチュエータの分解能、音楽の種類、エンド・デバイスの形式、及びシステムの処理能力又はユーザの所望を含むが限定しない、ある要因に基づいて定義される場合があるが、目標とするEPSはユーザにより定義される。
システムは、エンド・デバイス内アクチュエータが出力するそれぞれのハプティック・イベントに適切な始動及び終了のための時間を許容するため、ハプティック・イベント間を強制的に最小分離する。この最小分離により、エンド・デバイス内アクチュエータが独立して複数のハプティック・イベントを生成することが可能になり、二以上のハプティック・イベントの重複又は互いに重複する複数のハプティック・イベント部分の「ぶれた」感覚が防がれる。一実施形態において、サブバンドに依存するが、ハプティック・イベント間の時間制限長は50msであり、特定の期間は100−250msである。システムはこれらの数値には限定せず、他の数値も想定されることに注意すべきである。
中域最適化部316は、音声入力信号におけるボーカル旋律に対応するために、別個のハプティック・イベントのトラックを生成することによりボーカル・イベントの旋律を取り込むことを意図している。このようにして、システムは、所望EPSの目標範囲内に最大エネルギー量を有するイベントを識別するために切取り(clipping)パラメータを利用する。
切取られた入力信号が中域最適化部316から出力されると、この信号は、図3に示す局所セグメント化部318への入力となる。一般的に、局所セグメント化部318は、中周波数サブバンド信号をそれぞれのイベントに対する一連の開始及び終了時間にセグメント化するために、切取られた入力信号の長時間平均を、切取られた入力信号の短時間値と比較するアルゴリズムを利用する。図3に示すように、次いで、局所セグメント化部318はこの情報を最適化部316に戻して提供し、これにより、別個のイベントのセグメント化が所望EPSの目標範囲内にある間に、最適化部316は一次元ラインサーチを適用して一以上の切取られたパラメータを単調に調節する。一実施形態において、信号に対してEPSの所望の数が達するまで、この過程が繰り返される。一実施形態において、プリセットされた繰り返し(iteration)回数に対して現在のセグメント化過程が繰り返される。セグメント化の詳細を以下に説明する。
図6に、一実施形態に係る別個のハプティック・イベントに中周波数サブバンド信号をセグメント化するために用いられる、平均パワー及び短時間パワーを代表して表す時間−信号グラフを示す。図6のグラフは、中周波数サブバンド信号の時間平均600並びに20秒ウィンドウ内の短時間信号値602を示す。他の時間の長さのウィンドウがシステムに用いられる場合があることに注意すべきである。
一実施形態において、短時間信号値は、5Hzバタワース・フィルタを通じる入力音声信号のローパス・フィルタリングによって得られてもよい。アナログ又はデジタル領域のいずれにおいても任意の他の機器又は方法を利用して入力信号がフィルタされることに注意すべきである。一実施形態において、時間におけるある点に対する短時間平均値信号が特定のしきい値を超過する、その時刻にシステムは新規なイベントを生成する。図6のグラフの観点において、イベントは短時間平均値が長時間平均値を所望の方向(例えば、上向き又は下向きに)に横切る点で開始し、終了する。例えば、図6において、局所セグメント化部318は短時間平均602が長時間平均線600を上向きの方向に横切る場所を識別することにより、イベントが開始する場所(点604)を決定する。局所セグメント化部318は、短時間平均602が長時間平均線600を下向きの方向に横切る場所を識別することにより、イベントが終了する場所も決定する。上述はセグメント化過程の例示のみであることに注意すべきであり、他のセグメント化過程及びアルゴリズムがシステムにより用いられる場合があることは明らかである。
低周波及び高周波に対しては、エンド・デバイス内アクチュエータが毎秒生成しうる以上に多くのハプティック・イベントとして適格なイベントがあることが一般的である。通常は高周波数及び低周波数サブバンドに固有の密接した周波数ピークが多数あることから(図5)、中周波数サブバンドに関する上述の最適化過程は、高周波数及び低周波数サブバンドに対しては好ましくない。これらの多数の密接周波数ピークは、入力音声信号のテンポと一致しない折り返された結果をアクチュエータに発生させる場合がある。
この件に対処するため、システムは、高周波数及び低周波数サブバンド信号に対して中周波数サブバンドのものとは異なる最適化及びセグメント化アプローチを利用する。図3に、システムにより高周波数及び低周波数サブバンドが異なって処理されていることが示されている。高周波数サブバンドに関しては、折り返しはシステムが信号を処理するときに考慮する重要事項である。つまり、この折り返しを考慮せずに生成されるハプティック・イベントは音楽と一致しないビート又はリズムに従う場合がある。
一般的に、図3に示すように、システムは、高周波数信号上で一以上の切取られたパラメータを調節するために、一次元(1−D)ラインサーチを実施する高周波数最適化部320ブロックを備える。最適化部ブロック320は出力信号内の折り返し量測定を用い、次いでセグメント部ブロック322に提供される切取り値を調節する。高サブバンド・セグメント部322はそれぞれのハプティック・イベントの開始及び/又は終了時間を計測し、図示の矢印のように結果を最適化部ブロック320に戻して提供する。次いで、最適化部320は、目標とする折り返しレベルに達するか、又はある数の所定のステップが発生するまで、応答して切取り値を調節する。
折り返しは、生成されたハプティック・イベントの開始時間の間の差の分布を調べることにより測定されるアクチュエータにより指令された最小エフェクト分離としての同一デルタに、この分布が非常に大きなピークを有するならば、セグメント化の結果には大きな折り返しがあると考えられる。妥当な目標折り返し値は30%でありうるが、これはエフェクトの30%は正確に最小分離値だけ異なる開始時間を有するという意味である。
セグメント・ブロック322に用いられるアルゴリズムは、一実施形態における中サブバンド320に用いられるものと同一である。一実施形態において、ブロック322により高周波数サブバンド信号の処理に用いられるアルゴリズムは、中周波数サブバンド信号に対してブロック318により実施されるアルゴリズムと同様であるが、種々の相違を有する。一実施形態において、長時間平均は高周波数信号に対して50msである。
一実施形態において、信号対雑音比(S/N)を増加するために入力信号は前処理される。S/Nは、信号の最大値に対する切取られた信号平均の割合として算出され、これによれば処理信号は入力信号から1.5秒移動平均を差し引いて負の値をゼロに設定することで算出される。これは例示のみであり、信号中の信号対雑音比を改善するためにシステムは別の方法を利用しうることに注意すべきである。
一実施形態において、250msよりも長いことが測定されるハプティック効果は、高周波数信号に対して最大250msに切取られる。一実施形態において、直近の50msウィンドウ内の最大ピークよりも切取られた信号が大きい場合にのみ、新たなセグメントが生成される。上述は例示のみであり、これらの上述の要因に限定しないことに注意すべきである。一以上の上述の要因はアルゴリズムの実施において用いられる場合があることにも注意すべきである。高周波数サブバンド・セグメント化の結果は、典型的には入力音声信号のテンポに大まかに対応する短いハプティック・イベントのセットである。
図3に戻り、一実施形態において、低周波数サブバンド信号は中周波数サブバンド信号とは異なる処理を受ける。入力音声信号の低周波数部分は、典型的には音楽のリズムに対応し、典型的には様々な形式の打楽器及び/又は非常に低い周波数のボーカル(例えばベース・ボーカル)にも支配される。高周波数に関しては、システム及び方法は低周波数サブバンド信号を処理し、リズムと整合性があり過剰な折り返しアーティファクトを実際に生じるハプティック・イベントを生成する。音楽のドラムのビートは、低周波数サブバンド・スペクトル内のある周波数範囲内にあるのが通常である。従って、一実施形態において、システムは、ビートを識別するために低周波数サブバンド内の狭い範囲の周波数を考慮する。
一実施形態において、システムは、まずブロック312と比較して非常に長時間のフレーム・ウィンドウを用いてオリジナルの入力信号の低周波数サブバンド信号のスペクトル分解分析(ブロック324)を実施し、この特定の周波数範囲を識別する。一実施形態において、時間フレーム・ウィンドウは1/32秒又は31msであるが、他の期間も想定し、31msに限定しない。時間フレーム・ウィンドウは、信号のスペクトル・ロールオフを評価するためのブロック312において算出されるスペクトル分解よりも、低周波数領域で顕著により多くの分解能を提供する。システム及び方法がより分解能の高いエネルギー分布を計算(ブロック324)した後、システムは信号のパワースペクトルを計算する。これはブロック326により実施され、システムは指定された時間ウィンドウにわたってスペクトル分解からエネルギー分布を合計する。入力信号は二つのスペクトル分解分析(図3のブロック312及び324)を受けることが示されているが、低周波数サブバンド信号のスペクトル分解は代替としてブロック312で行われてもよく、これにより低周波数サブバンド信号のパワースペクトル算出において結果がブロック325に用いられることに注意すべきである。
システム及び方法は、パワーレベルに基づいて周波数を並び替える(ブロック328)ために、低周波数サブバンド信号上でパワースペクトル計算(ブロック326)を利用する。パワースペクトルにおいては様々な周波数が同一のピークに対応することが通常であり、これによる冗長な周波数は、周波数ピークをより効率的に並び替えるために消去される。
図7に、一実施形態に係る低周波数サブバンド信号のセグメント化に用られる周波数−パワー・グラフ(すなわちパワースペクトル)を示す。パワースペクトルは、周波数ビン(bin)番号セットにおいて入力信号に存在するエネルギー量を表している。この情報はシステムが周波数をパワー全体のビンに並び替えるために用いられる。例えば、2.1−2.8(×10)の間の全パワーは、全パワーの降順にランク付けると、640Hz、672Hz、416Hz、320Hz及び608Hzの周波数ピークを有する。
これらの冗長な周波数を消去するため、並びに同一のビート等のエネルギー又はパワーが正確に等しく時間分布しうる他のピークを消去するために、各周波数ビンに付随する時間信号間の相互相関行列がシステムにより算出されるが、より詳しくは後述する。一実施形態において、相関行列は、周波数ビンfi及びfjにおける時間信号が性の相関を有するならば、(i j)の位置に適切に高い値を有する。一実施形態によれば、より高いパワーを伴うビンのある0.5よりも大きな相関係数を有する全ての周波数ビンが切取られる。換言すれば、システムは最大エネルギーの信号を保持し、切取られた相関係数を超えるより低いエネルギーの信号を用いない。相関係数は0.5に限定せず、0.5以外の値も想定することに注意すべきである。これらの残りの周波数に対しては、ブロック324において利用されるアルゴリズムは最大折り返し目標を15%として最適化部及びセグメント化部(ブロック330、332)を用いるが、他の目標パーセントも想定する。
一実施形態において、システムは、低周波数帯において全ての連続する周波数ビンの間で相関係数を算出する。周期的なスネアドラム・ビート、拍手、他に対応する音声セグメントは、通常は高い帯域のイベントであり、最大の相関係数を検索することにより最も容易に識別される。ローパス検出アルゴリズムにおけるさらなる処理のために、隣の周波数に対して最大の相関係数を有する周波数帯域がシステムにより選択される。二つのランダムな変数x及びyの相関係数が与えられる。
Figure 0005174009
高、中及び低周波数信号が切取られセグメント化された後に、上述のように、システム及び方法は、それぞれのサブバンド信号に対するハプティック・イベント候補のリストを生成する。特に、図3に示すように、セグメント化された高周波数サブバンド信号は、高周波数セグメント化ブロック322から優先切取りブロック334を通過する。加えて、セグメント化された中周波数サブバンド信号は、ブロック318から優先切取りブロック334を通過する。更に、セグメント化された低周波数サブバンド信号は、ブロック332から優先切取りブロック334を通過する。
システム及び方法はこれらを通過せずに優先切取りブロック334を通じて直接的にハプティック・イベントを単純に出力することも可能であるが、このようにするとエンド・デバイス内のアクチュエータにより、混乱して不明瞭なハプティック感覚が生じる可能性がある。これは、様々なハプティック・イベントが時間的に重複するためであろう。これを克服するために、システムは優先切取りブロック334を利用し、それぞれのサブバンド信号からハプティック・イベント候補を優先付けする。
特に、優先切取りブロック334は、同一又は異なる周波数サブバンドからの一以上のハプティック・イベントが、互いの特定の時間の期間内に入る場合にアクチュエータによって出力されないようにする。これは、急激及び強大なイベントの重複が互いを相殺することも防ぐ。例えば、ブレーキをかけるパルス等の急激なイベント(下記参照)は、強大なイベントとの両者が同時又は実質的に同じ時間にアクチュエータにより出力されると、早期にこれを中断する場合がある。
実施形態によれば、低、中及び高周波数ハプティック・イベントは任意の優先度において、これらの重複に関わらず、優先切取りブロック334によって出力されてもよい。一実施形態において、異なるサブバンドからの二つのハプティック・イベントが互いに重複することが検出されるときに、周波数のサブバンドに優先度を割り当てうる。この優先度は、特定の音楽ジャンル、曲のテンポ、アクチュエータの分解能、及び/又は入力音声信号の情報量(ロス有り対ロス無し、等)に基づいて割り当てうる。
図3に示すように、優先切取りブロック334は、優先付けしたハプティック・イベントをエフェクト・マッピング・ブロック336に出力する。一実施形態において、エフェクト・マッピング・ブロックは優先付けしたハプティック・イベントを受信し、これらの独立したイベントにハプティック効果を割り当てる。一実施形態において、システムは二つの基本的なハプティック効果、すなわち周期的及び強度依存的なものを利用する。周期的効果により、振動の期間又は速度は強度と独立して明確に制御されうる。周期的効果は、デバイスに依存するが、約30Hz以下の振動周波数を正確に生成する。強度依存的効果は、強度及びデバイス依存の速度で振動する。
これら二つの効果の形式は、更に3つの動作形式、すなわち強い、スムーズ及び急激という特徴を有する。それぞれの形式は異なる制御機構を有し、ユーザに対してやや異なる感覚を生じる。強い効果はユーザに最大の感覚を与える効果である。スムーズな効果は、効果の強度は低下し、周期的効果に対して周波数がより高くなる特徴を有する。強度依存性の効果に対しては、この効果の強度は低下しない。急激な効果は、周期的効果に対して強度を減少せずに周波数が最も高くなるが、強度依存性の効果に対してはやや強度を低下させる。
それぞれの効果はシステム又はユーザにより調節又は設定可能なパラメータを備える。周期的ハプティック効果に対するこのようなパラメータは、周期/周波数、期間、アタック・タイム、アタック・レベル、消失時間、消失レベル及びエンベロープを含むが、これらに限定しない。強度依存的ハプティック効果に対するパラメータは、強度、期間及びエンベロープを含むが、これらに限定しない。記載のハプティック効果及び上述の割り当ては例示のみであり、ハプティック効果及び割り当ては多重に用いられる場合があることを認識すべきである。生成される効果は、通常、セグメントにわたる最大信号値(0−10000に正規化される)となる強度仕様も任意に有している。
図8に、上述の入力音声信号に付随する楽曲に対するハプティック・イベントのシーケンスの時間−シンボル表示を例示する。図8に示すように、時間−シンボル表示800は、入力音声信号802の時間−周波数グラフを含む。加えて、時間−シンボル表示800は、低音804として示す低周波数サブバンド、ハイパス806として示す高周波数サブバンド、及びボーカル808及び中域アクセント810として示す二つの中周波数サブバンドを備える。
図8に示すように、システムは、一度にひとつのハプティック・イベントのみが発生し、指定された期間により隣接するハプティック・イベントから分離するように、それぞれのサブバンドにハプティック・イベントをマップする。一実施形態において、システムは、それぞれのイベントに対するハプティック効果が互いに類似していない場合に、一以上のハプティック・イベントが一度に発生することを許容する。例えば、図8に示すように、システムは、強い強度依存性の効果808A、808B及び短期間効果804A、806Aが、ユーザにより二つの分離したイベントとして効果的に感じられることを考慮して、重複を許容する。図8に表す例示においては、システムは、高周波数ハプティック・イベントを超えて低周波数ハプティック・イベントに優先度を与えるように構成される一方、中周波数ハプティック・イベントは高周波数及び低周波数ハプティック・イベントとの重複が許容される。システムは、ユーザ、エンド・デバイスにより、又は入力音声信号それ自身により構成され、任意の又は全ての周波数サブバンドに対して優先度及び重複する権利を与えることを注意すべきであり、これは図8に示すものに限定しない。
上述の一以上の実施形態において、システムは、標本化された音声信号に対応し、ユーザに愉快な様式で出力されるハプティック・イベントを自動的に受信、識別、及び生成することが可能である。システムは、符号化音楽ファイルに対応するハプティック・イベントを生成するために、MIDIファイルを含むが限定しない表現的に構造化された符号化音楽ファイルを受信及び処理することも可能である。表現的構造化ファイルは音楽ファイルとして本願明細書に記載されているが、表現的構造化ファイルは効果音、又は音声に付随する他のイベントを有するファイルである場合があることに注意すべきである。
図9は、実施形態に係る楽曲を作製している一連のMIDIイベントの時間−音符表示である。MIDIファイル・フォーマットは同時に16の楽器チャネルを備え、これにより各チャネルは演奏可能な127個までのユニークな音程(キーと呼ぶ)であるイベントを有することが可能である。加えて、MIDIファイル・フォーマットは、一般的に音程のない打楽器のために予約されたチャネルを備える。打楽器はキー範囲を横切るように打楽器チャネルに配置される。
図10に、実施形態に係る楽曲を作製している一連のMIDIイベントの時間−楽器−音符表示を示す。MIDI音楽ファイルにおいては、全ての楽器の全ての音符は、システムによりハプティック・イベントであると指定されてもよいイベントである。しかしながら、アクチュエータに関する物理的及び性能上の限界を考慮して、システムはMIDIファイルを分析及び処理し、ユーザが楽しみうるハプティック経験を生成する独立したハプティック・イベントを生成する。
図11A、11B、及び11Cは、一体として、システムがMIDIファイルを自動処理してエンド・プレイヤにおいて独立したハプティック・イベントを生成するために用いられる方法のフロー図を示す。一般的に、システムはMIDIデータを分析し、構造化表現から旋律及び/又は打楽器イベント・シーケンスを抽出する。次いでシステムは、それぞれの楽器に対応するそれぞれのチャネルに対してスコアを生成し、これにより非打楽器系チャネルのスコアは当該チャネルにおける音符の可変性に関連づけられる。これは、経験的には、他の方法からは未知の入力チャネルのセットから旋律を選択することに有効であると考えられてきた。打楽器に関しては、スコア付けの方針は、種々の打楽器の支配性についての先験的な知識に依存する。例えば、バスドラムは、最も支配的な打楽器系チャネルと考えられるので、打楽器系チャネルにおいてバスドラムに伴う音符は一般的により高いスコアを受ける。
MIDIシーケンスから入力チャネルをスコア付けることに加えて、エンド・デバイス内に独立したハプティック・イベントが生成できるようにするために、システム及び方法はイベントについて一以上の切取り操作を実施する。一実施形態において、システムは一以上の音符を所望の期間に切取り、コード等の重複する音符を除去するためにチャネルを処理する。一実施形態において、システムは、他のチャネルを超える一以上のチャネル(例えば、打楽器対旋律)の相対的な優先度を制御するために操作される場合がある多数のパラメータに基づいて構成可能である。
図11Aに示すように、選択された一つの、いくつかの、又は全てのMIDIシーケンスのチャネルがシステム(1102)内に受信される。シーケンスはエンド・デバイスのメモリ、エンド・デバイスと通信するサーバ、及び/又は他の中間構成要素、コンピュータ又はプロセッサにインポートされる。一実施形態において、インポートされたMIDIファイルからの情報は実際にはハプティック・イベントの生成には用いられず、実際にはメモリから消去される。一実施形態において、実際にはハプティック・イベントの生成に用いられない情報は、開発者又はエンド・ユーザによるハプティック・イベントの再構成又は微調整を可能とするために。システムに保持されてもよい。
一実施形態において、システムはファイル受信後にこれに対する様々な前処理手順を実施する。一実施形態において、システムは、イベントのタイムラインを分析することにより(図11A、ブロック1104)、イベントにおける前の音階の識別及び次の音階の識別を実施する。ブロック1104では、一実施形態において、各チャネルには、あるイベントから同一チャネルにおける以前のイベントへのリンク設定の処理が行われる。各チャネルには、あるイベントから同一チャネルにおける次のイベントへのリンク設定の処理も行われる。一実施形態において、システムは、構造化音声表現ファイル全体のタイムラインを一度に分析する。別の実施形態において、システムは、音声表現ファイルの部分的なタイムラインを一度に分析する。これにより、システムは、長いタイムラインを有する大きな音声ファイルを迅速に処理することができる(映画の効果音等)。
図11Aに示すように、次いでシステムは、ブロック1106に示すように旋律及び打楽器イベントが発生するチャネルを識別することにより、関心の旋律及び打楽器イベントを識別する。旋律及び打楽器イベントを識別すると、システムは、図11Bの旋律イベント(ブロック1116)及び打楽器イベント(ブロック1132)をスコア付けするために、識別されたイベントを効率的に利用することができる。
図11に示すように、システムは、一実施形態(1108)においてコードを除去するために各チャネルを適宜処理する。一実施形態において、システムはMIDIファイルから、同一チャネルにおいて相互のある期間内に開始し、かつ非打楽器チャネルにあるイベントとしてコードを識別する。一実施形態において、この期間は15msに設定されるが、他の時間の期間も想定する。一実施形態において、システムは、いったんMIDIイベント・チャネルにおいてコードを識別すると、最も高い音程を有するイベントのみを保持し、当該コードを生成する他のイベントをタイムラインから破棄する。別の実施形態において、システムは最も高い音程のイベントを除去し、より低いか又は最も低い音程のイベントを保持する。詳細に後述するように、タイムラインからコードを削除することにより、多くのコードを有するチャネルに与えるスコアを削減し、これによりシステムはタイムライン内の旋律を識別しやすくなる。
1110において、システムは、同じ又は実質的に同じ時間において同一又は同一に近い音符を有するチャネルペアを識別する。これは二以上の楽器が和音を演奏するときにしばしばある(例えば、2本のギターが同じリフを同時に演奏する等)。各チャネルに対して時間サンプリングされた時間上のベクトルが生成され、ここで時間上とはイベントが発生する点のことである。システムは各チャネルのイベントを調査し、イベントが発生する時間的な期間に対して数値の1を設定することにより、これを達成する。さもなければ、ベクトルには数値の0が設定される。これにより長さnのベクトルのセットが生成される。
Figure 0005174009
式中、TはMIDI入力ファイルの全期間であり、tはサンプリング期間である。
重複する音符を有するチャネルを識別するために、チャネルのそれぞれに対して補正計算が行われる。
Figure 0005174009
式中、v、vは時間サンプリングされたベクトルであり、σは時間シリーズとして扱われるベクトルvの標準偏差である。二以上のチャネルの補正が補正しきい値を超えるならば、チャネルの一部又は全体がタイムラインから除去される。
例えば、図9に戻って参照すると、チャネル902及び904は、ライン900及び908の間で実質的に同一であることが示されている。システムは、いったんチャネル902及び904において上述の計算を実施すると、これらが同一の旋律を同時に演奏することを考慮し、二つのチャネルのひとつを除去する。二つのチャネルのいずれが除去されるかは、ユーザ及び/又はシステムにより設定されるパラメータに依存する。
図11Aに示すように、システムは切り取り処理(1112)を用いて最大長及び最小長を設定することにより、イベントを所望の長さに制限する。システムは、所定の最短期間よりも短いイベントを切り取り、少なくとも最短期間と同じ長さとする。加えて、所定の最長期間よりも長いイベントは変更又は切り取られ、最長期間以下とする。更に、二以上のイベントにおいて間隔の期間が所定の最短以下であるものは、少なくとも最短の間隔の期間を有するように変更される。これは、最短の間隔の期間を生成するために、シーケンス内イベントの一方又は両方を短縮することにより行われてもよい。
ここで図11Bに戻り、システムは、いったん各チャネルのインポート及び前処理を完了すると、受信ファイル内の各チャネルのスコア付けを初期化する(1116)。一実施形態において、システムは、受信ファイルのインポート/前処理が実行されているときにスコア付け処理を開始しうることに注意すべきである。一実施形態において、システムは、ファイルのインポート/前処理が実施された後にスコア付け処理を開始する。
一実施形態において、システムは2組のルールセットを用いてチャネルをスコア付けする。第一のルールセットは、何らかの可変性を有して旋律を受けもつらしいチャネルに、より高いスコアを与えるよう設計される。第二のルールセットは、曲中のリズムを定義する伝統的な重要性の観点から、打楽器チャネルへのランキングを提供する
スコア付けは、タイムライン内の全てのイベントを調査することにより完成する。各イベントは、個別のイベントに対するスコアを割り当てるスコアリングフィルタに通される。全てのイベントが処理されると、タイムラインを介する第二のループにより各チャネルにおける全てのイベントに対するスコアが導出され、チャネルごとの全スコアが得られる。一実施形態において、これは、単純にイベントのスコアを積算することにより行われる。別の実施形態において、これは、適切なアルゴリズムを用いて行われる。図11Bに示すように、システムは、一実施形態において旋律及び打楽器のイベントを別個にスコア付けするが、スコア付けは同時でもよく、次々に行われてもよい。一実施形態において、システムは、旋律及び打楽器のイベントをまとめてスコア付けすることができ、これにより一つの種類のイベント(旋律又は打楽器)に対して計測される情報を、他の種類のイベント(すなわち、打楽器又は旋律)を分析又は評価するために用いてもよい。
タイムライン内の旋律のイベントに対して、システムは、図11Bの1116に示すように、イベントのスコア付けにおけるルールのサブセットを利用する。一実施形態において、サブセットのルールのそれぞれはシステムにより同時に実行される。一実施形態において、一以上のサブセットのルールはシステムによりシーケンス内で実行される。
図11Bに示すように、システムは、一実施形態のブロック1118に従ってイベント間の音程変化をスコア付ける。ブロック1118のように、システムは、現在のイベントの音程と、一以上の以前のイベントの音程との差の絶対値を計算し、これによりそれぞれの音程は計測値を有する。システムは、音声表現ファイルに固有に符号化されたチャネルデータから音程の値を割り当てることができる。一実施形態において、この差は、音程スコアとしての出力である。一実施形態において、この差の値は、音程スコアを得るための所定の係数(例えば500)によりスケーリングされる。
図11Bに示すように、システムは、一実施形態のブロック1120に従ってイベント間の開始時間をスコア付ける。ブロック1120のシステムは、リズムがチャネル内で演奏されているか否かを決定するためにイベント期間を分析する。一実施形態において、ブロック1120において、開始時間における差は、イベントと直前のイベントとの間で計算される。一実施形態において、ブロック1120において、開始時間における差は、直前のイベントと直前のイベントに先行するイベントとの間で計算される。一実施形態において、システムは、開始時間スコアの出力前に、これらの差を重みづけする。一実施形態において、重みづけの量は5倍である。しかしながら、5以外の係数も想定する。ファイル中の他のリズム又は曲のジャンルによっては、システムは、適切に分解されたハプティック・イベントを出力するように、これらの期間をより高く又はより低くスコア付けてもよい。
図11Bに示すように、システムは、一実施形態のブロック1122に従ってイベントの大きさ又は強度をスコア付ける。ブロック1122は、イベントの大きさの関数に基づいて等しいスコアを指定する。システムは、構造化表現ファイル内に固有に符号化されたチャネルデータから、各イベントの大きさを決定することができる。
図11Bに示すように、システムは、一実施形態におけるブロック1124に従ってイベントの期間をスコア付ける。ブロック112は、イベントの期間の関数に基づいてスコアを指定する。一実施形態において、システムは、より短い期間を有するイベントよりも、より長い期間を有するイベントに、より高いスコアを割り当てる。別の実施形態において、システムは、より短い期間を有するイベントよりも、より長い期間を有するイベントに対して、より低いスコアを割り当てる。
図11Bに示すように、システムは、一実施形態のブロック1126に従って、イベント期間の変化をスコア付ける。特に、システムは、ブロック1126において現在のイベントと以前のイベントとの期間の変化に基づいてスコアを指定する。
図11Bに示すように、システムは、一実施形態のブロック1128に従ってイベントの期間の変化をスコア付ける。特に、システムはブロック1128にあるイベント内の各音符以前の無音期間に基づいてスコアを指定する。例えば、特定のチャネルにおいて長い無音期間後に発生するイベントを指定するならば、システムはハプティック・イベントとしての出力になりそうなイベントに対して高いスコアを割り当てる。この例では、ドラムロールの最後でのシンバルクラッシュであろう。
一実施形態において、ブロック1130に図示するように、旋律のイベントはそのエントロピーに関連してシステムにより適宜スコア付ける。このルールを評価する過程において、システムは、あるチャネルに割り当てられるスコアと、そのチャネルに伴う音響エントロピーとの関係を利用してもよい。それぞれの旋律チャネルのエントロピーを評価するために、音符の分布をシステムに導入する。音符の音程が等価なクラス{p(k),k=1..12}を定義するために伝統的な12音階を用いる。各イベントは、12音階のいずれの音にイベントのキーが関連づけられるかに従って分類される。知覚アクセント・ルールを用いて各イベントの寄与を拡大縮小して分布を構築し、これにより重みづけを式4から決定する。
Figure 0005174009
式中、変数dは現在のイベントと以前のイベントとの間の無音期間(秒)である。変数τは飽和休止長(saturation rest length)(0.5秒にとる)及び最小弁別可能期間(minimum discriminable duration)(2秒にとる)である。飽和休止長及び最小弁別可能期間は他の値も考えられ、本願明細書にて言及の値に限定されないことに注意すべきである。
この分布のエントロピーは、式5の数式を用いて計算される。
Figure 0005174009
式中、p(k)は1から12(12音スケールに対して)の調性の音程のクラスである。
旋律イベントをスコア付けることに加えて、システムは、図11Bのブロック1132に示すように打楽器イベントをスコア付ける。一実施形態において、システムは、打楽器イベントのスコア付けにおいて二つのルールを利用する。特に、システムは、それぞれの打楽器の音符の前の無音期間をスコア付ける。無音期間はミリ秒と考えられ、スコアは一実施形態において重みづけされる。一実施形態において、スコア付けされた無音の値は数値4で除算されるが、他の値も想定する。
図11Bに示すように、システムは、それぞれの打楽器に打楽器の種類による数値を割り当てる。一実施形態において、システムによりそれぞれの打楽器に対して、支配的な楽器ほど高い値となるように1から5の重み値が割り当てられる。例えば、バスドラム楽器に対する属性となるイベントには値5が与えられ、一方でハイハット・シンバルの属性となるイベントには値1が与えられる。一実施形態において、これらの値はイベントあたりのスコア生成において係数(例えば100)により重みづけされる。打楽器イベントに対する全イベント・スコアは、これらのルールのサブセットに基づく。
一実施形態において、打楽器系及び旋律系のルールの両者に対するスコア付けの積算は、チャネルの絶対的なランキングが生成されるときに、旋律系の楽器を打楽器系のものよりも強調するよう、システムにより重みづけられる。この過程は、チャネルのスコアが生成されるときにブロック1138で発生する。重みづけは、音楽のジャンル、音声ファイルの種類(例えば、ビデオの音楽と効果音の対比)、ユーザの好み、エンド・デバイスの種類、他に基づいてもよい。
チャネルごとのスコア生成を追って図11Cに戻り、システムは、ブロック1142に示すように、スコアの値に基づいてチャネルを並び替えることができる。一実施形態において、システムは、旋律系のチャネルと打楽器系のチャネルを別々に並び替えるが、両方の種類のチャネルをまとめて並び替えることも可能である。一実施形態において、スコア付けられたチャネルは降順に並び替えられ、これにより最大スコアを有するチャネルが「高い」ランクとなる。一実施形態において、スコア付けられたチャネルは昇順に並び替えられる。一実施形態において、システムは、所望のスコア範囲内にあるか又は所望のスコアと有するチャネルを並び替える。一実施形態において、システムはこれらのスコアを最大から最小にランキングし、最高ランクのイベントがハプティック・イベントとして出力され、最低ランクのイベントはハプティック・イベントとしては出力されない。
システムがスコアに基づいてチャネルをランキング又は選択すると、システムはどのチャネルがハプティック・イベントの基礎となるイベントを提供するかを決定することができる。一実施形態において、システムは以下の擬似コードを用い、ブロック1144でハプティック効果を生成する。
Figure 0005174009
換言すれば、システムは、自動的に最高ランクのハプティック・イベントを曲の最初から最後までマッピングする。従って、システムは「空白を埋め」て再び曲の空白又は非ハプティック・イベント部分の中に置き換え可能な次の最高ランクのハプティック・イベントをマッピングする。アクチュエータの分解能、クッション期間、ユーザの好み、ハプティック効果のスタイル及び曲の種類を考慮し、許容された最大数のハプティック・イベントが曲中にマッピングされるまで、この過程を繰り返す。上述は例示の擬似コードのみであり、システムは異なるクッション期間を利用してもよく、並びに最低にスコア付けられたチャネル又は他の規範を利用してもよいことに注意すべきである。
イベントがハプティック・イベントとして割り当てられると、システムは所望の範囲内の期間を有するようにハプティック・イベントを切り取る。一実施形態において、切り取り範囲は200msから300msの間であるが、より長い又はより短い期間も想定し、ハプティック・アクチュエータの特性に依存してもよい。加えて、イベント開始時間は、異なる種類のアクチュエータにおいて音声とハプティック・イベントとの知覚的な結合を確実にするために所望の量だけオフセットされうる。一実施形態において、ハプティック・イベントの強度はシステム内で調節してもよい。例えば、最短期間をより小さな値に設定してもよく、クッション時間を増してもよい。
図11Cに示すように、一実施形態においてシステムは打楽器系の重複を削除する。システムは、「空白を埋める」アルゴリズムを用いて旋律系及び打楽器系チャネルを独立して適宜構築し、次いでこれらを結合して最終的にマッピングされたハプティック・イベントを生成する。これは、急峻な効果が重なり合うと予想外の雰囲気が得られるように、「強い」効果のみが用いられているときに最も効果的と思われる。あるいは、システムは、打楽器系イベントの重複があるハプティック・イベントの強度を抑圧することも可能であり、これにより抑圧されたハプティック・イベントは次いで最大強度で出力される。これにより、エンド・デバイスに、旋律を保存しながら知覚的にリズムの強調が表される特徴が提供される。
一実施形態において、システムは構造化表現信号のタイムライン内のある点に、カスタム・フェード(ブロック1150)を加えることができる。デザイナは、長い期間の音符に、より短いフェードアウトする効果を選択して置き換えてもよい(例えば500ms)。同様に、類似のフェード効果を追加することにより、フレーズ又は旋律の最後をより強調することも可能である。
一実施形態において、システムは、上述のルールに従ってタイムラインに追加されるような長い期間(約500ミリ秒以上)を有するイベントを探す。特定のイベントと次のイベントとの間に大きな時間のギャップ(約1000ミリ秒)があると、システムは自動的に特定のイベントをフェードイン又はフェードアウトさせてもよい。このアプローチを実装するために、システムは、フェードイン又はフェードアウトの特徴又は特性を有するそのようなハプティック・イベントを識別して列挙構築する。タイムライン全体が構成された後に、システムはこのリストにより、存在するハプティック・イベントをフェードしたハプティック・イベントに入れ替える。フェード効果は、周期的な、又はその全体の期間に対して減衰する強度依存的な効果として実装されてもよい。
デジタル標本化された音声及び/又は上記記載の構造化表現ファイルを変換する方法により、音符からハプティック・イベントへの自動変換が可能である。いったん変換されると、これらのハプティック・イベント・シーケンスは保存され、適切な方式により他のエンド・デバイスに再配布することができる。例えば、ハプティック・イベント・シーケンスは、ネットワーク上で一以上のクライアントと通信するサーバに出力ファイルとして保存されてもよい。クライアントとの通信が確立すると、サーバはクライアントにおいて電気的に演奏される出力ファイルを送達してもよい。同様に、ハプティック・イベント・シーケンスは当業に公知の様々な設定において用いることが可能である。例えば、ユーザに電話の呼び出し又はアポイントメント等のイベント、アラーム、天気予報等の受信メッセージ又はテキストメッセージ等を知らせることである。一実施形態において、構造化表現ファイルは、ファイルの自動変換によりボーカル歌手に合図を出し、その後にカラオケ曲に適用されてエンド・デバイス(例えばカラオケマイク)がハプティック効果を出力してもよい。一実施形態において、エンド・デバイスは、エンド・デバイスへのダウンロードが可能なビデオ、ビデオゲーム、音楽ビデオ又は映画フィルムの効果音又は他の音声に対するハプティック・イベントを自動変換し、マッピングし、出力することができる。
本発明の実施形態及び応用を図示し記載してきたが、本開示の利益を有する当業者であれば、本願明細書の発明の概念から離れることなく上述以上により多くの変形が可能であることは明白であろう。従って、本発明は添付の特許請求の範囲の主旨のみにより限定される。
添付図面は、本明細書に取り入れられて一部を構成するものであり、本願発明の一以上の実施形態を図示し、記載の明細書と共に、本発明の原理及び実装を説明する役割をもつ。
(図面参照)
音符、コード及び休止を含む伝統的な楽譜スタイルを用いる、視覚的に認知可能な様式で表現された楽曲の一部である。 標本化信号の一部の時間−振幅グラフである。 実施形態に従ってハプティック効果をマッピングする方法を図示する、方法のフロー図である。 実施形態に従ったシステム部品の全体的アーキテクチャの構成図である。 実施形態に従った図4の楽曲に対する高周波数及び中周波数(middle frequency)のサブバンド信号を表す、フィルタ後の時間−強度グラフである。 実施形態に従って中周波数サブバンド信号をセグメント化するために用いられる平均パワー及び瞬間パワーを表す、正規化した時間−信号グラフである。 実施形態に従って低周波数サブバンド信号をセグメント化するために用いられる周波数−パワー・グラフである。 実施形態に従った図4の楽曲例に対するハプティック効果シーケンスの時間−シンボル表現である。 実施形態に従った楽曲を作製する一連のMIDIイベントの時間−音符表現である。 実施形態に従った楽曲を作製する一連のMIDIイベントの、時間−楽器−音符の代替表現である。 図11A、図11B及び図11Cは共に、実施形態に従って対応するハプティック効果を生み出すためのMIDIシーケンス処理のための方法を示す方法フロー図を構成する。 図11A、図11B及び図11Cは共に、実施形態に従って対応するハプティック効果を生み出すためのMIDIシーケンス処理のための方法を示す方法フロー図を構成する。 図11A、図11B及び図11Cは共に、実施形態に従って対応するハプティック効果を生み出すためのMIDIシーケンス処理のための方法を示す方法フロー図を構成する。

Claims (3)

  1. デジタル音声信号を操作する方法であって、
    前記音声信号のスペクトル分解を計算することにより、前記音声信号を複数のチャネルの複数のサブバンド信号に分離するステップと、
    前記サブバンド信号の少なくとも一つを複数のイベントにセグメント化するステップと、
    アクチュエータによりハプティック・イベントを生成するために前記イベントの少なくとも一つにハプティック効果を割り当てるステップと、を含むと共に、
    前記音声信号のスペクトル分解のパワースペクトルを計算するステップと、
    前記パワースペクトルの少なくとも一部に基づく周波数を選択するステップと、
    前記選択した周波数の少なくとも一部に基づくイベントを識別するステップと、
    を含み、
    前記ハプティック効果を割り当てるステップは、
    旋律に関するチャネルに対して高いスコアを付ける第1のルールセットと、支配的な打楽器に関するチャネルに対して高いスコアを付ける第2のルールセットとに基づいて、一以上のチャネルのイベントに対してスコアを付けるステップと、
    前記スコアを最高から最低にランキングし、最高ランクのスコアが付されたイベントに対してハプティック効果を割り当てるステップと、をさらに含む、前記方法。
  2. デジタル音声信号を操作する装置であって、
    前記音声信号のスペクトル分解を計算することにより、前記音声信号を複数のチャネルの複数のサブバンド信号に分離するための回路と、
    前記サブバンド信号の少なくとも一つを複数のイベントにセグメント化するための回路と、
    ハプティック・イベントを生成するために前記イベントの少なくとも一つにハプティック効果を割り当てるための回路と、
    前記ハプティック・イベントを出力するために構成されるアクチュエータと、
    前記音声信号のスペクトル分解のパワースペクトルを計算するための回路と、
    前記パワースペクトルの少なくとも一部に基づく周波数を選択するための回路と、
    前記選択した周波数の少なくとも一部に基づくイベントを識別するための回路と、
    を含み、
    前記ハプティック効果を割り当てるための回路は、旋律に関するチャネルに対して高いスコアを付ける第1のルールセットと、支配的な打楽器に関するチャネルに対して高いスコアを付ける第2のルールセットとに基づいて、一以上のチャネルのイベントに対してスコアを付けるためにさらに構成され、
    前記ハプティック効果を割り当てるための回路は、前記スコアを最高から最低にランキングし、最高ランクのスコアが付されたイベントに対してハプティック効果を割り当てるためにさらに構成される、前記装置。
  3. デジタル音声信号を操作する装置であって、
    前記音声信号のスペクトル分解を計算することにより、前記音声信号を複数のチャネルの複数のサブバンド信号に分離するための手段と、
    前記サブバンド信号の少なくとも一つを複数のイベントにセグメント化するための手段と、
    アクチュエータによりハプティック・イベントを生成するために前記イベントの少なくとも一つにハプティック効果を割り当てるための手段と、
    前記音声信号のスペクトル分解のパワースペクトルを計算するための手段と、
    前記パワースペクトルの少なくとも一部に基づく周波数を選択するための手段と、
    前記選択した周波数の少なくとも一部に基づくイベントを識別するための手段と、
    旋律に関するチャネルに対して高いスコアを付ける第1のルールセットと、支配的な打楽器に関するチャネルに対して高いスコアを付ける第2のルールセットとに基づいて、一以上のチャネルのイベントに対してスコアを付けるための手段と、
    前記スコアを最高から最低にランキングし、最高ランクのスコアが付されたイベントに対してハプティック効果を割り当てるための手段と、を含む前記装置。
JP2009505477A 2006-04-13 2007-04-12 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 Expired - Fee Related JP5174009B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US79213706P 2006-04-13 2006-04-13
US60/792,137 2006-04-13
US11/515,146 2006-08-31
US11/515,146 US7979146B2 (en) 2006-04-13 2006-08-31 System and method for automatically producing haptic events from a digital audio signal
PCT/US2007/009029 WO2007120765A2 (en) 2006-04-13 2007-04-12 System and method for automatically producing haptic events from a digital audio signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011245275A Division JP2012027509A (ja) 2006-04-13 2011-11-09 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法

Publications (2)

Publication Number Publication Date
JP2009533714A JP2009533714A (ja) 2009-09-17
JP5174009B2 true JP5174009B2 (ja) 2013-04-03

Family

ID=38604405

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2009505477A Expired - Fee Related JP5174009B2 (ja) 2006-04-13 2007-04-12 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2011245275A Pending JP2012027509A (ja) 2006-04-13 2011-11-09 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2014222604A Expired - Fee Related JP5922742B2 (ja) 2006-04-13 2014-10-31 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2016080239A Expired - Fee Related JP6178456B2 (ja) 2006-04-13 2016-04-13 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2011245275A Pending JP2012027509A (ja) 2006-04-13 2011-11-09 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2014222604A Expired - Fee Related JP5922742B2 (ja) 2006-04-13 2014-10-31 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2016080239A Expired - Fee Related JP6178456B2 (ja) 2006-04-13 2016-04-13 デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法

Country Status (5)

Country Link
US (2) US7979146B2 (ja)
EP (2) EP2011105A4 (ja)
JP (4) JP5174009B2 (ja)
CN (2) CN102736732B (ja)
WO (1) WO2007120765A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2007030603A2 (en) 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
WO2007117418A2 (en) * 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
KR100845321B1 (ko) * 2006-08-18 2008-07-10 주식회사 애트랩 광 네비게이션 장치 및 이 장치의 오프셋 보정 방법.
US7599475B2 (en) * 2007-03-12 2009-10-06 Nice Systems, Ltd. Method and apparatus for generic analytics
US20080229200A1 (en) * 2007-03-16 2008-09-18 Fein Gene S Graphical Digital Audio Data Processing System
US20090083281A1 (en) * 2007-08-22 2009-03-26 Amnon Sarig System and method for real time local music playback and remote server lyric timing synchronization utilizing social networks and wiki technology
US7733214B2 (en) * 2007-08-22 2010-06-08 Tune Wiki Limited System and methods for the remote measurement of a person's biometric data in a controlled state by way of synchronized music, video and lyrics
US20120126959A1 (en) * 2008-11-04 2012-05-24 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
KR101615872B1 (ko) * 2009-05-08 2016-04-27 삼성전자주식회사 휴대단말기의 햅틱 기능 전송 방법 및 시스템
CN101640057A (zh) * 2009-05-31 2010-02-03 北京中星微电子有限公司 一种音视频匹配方法及装置
KR101045668B1 (ko) 2009-08-14 2011-07-14 한국과학기술원 시계열 데이터를 사운드 파일에 인코딩하는 방법, 인코딩된 사운드 파일로부터 시계열 데이터를 디코딩하는 방법 및 이들 방법을 이용한 시계열 데이터 입출력 시스템
WO2011113883A1 (en) * 2010-03-17 2011-09-22 Bayer Materialscience Ag Statistic analysis of audio signals for generation of discernable feedback
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
US9389688B2 (en) * 2010-12-31 2016-07-12 Nokia Technologies Oy Display apparatus producing audio and haptic output
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8942828B1 (en) 2011-04-13 2015-01-27 Stuart Schecter, LLC Minimally invasive cardiovascular support system with true haptic coupling
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9449456B2 (en) 2011-06-13 2016-09-20 Bally Gaming, Inc. Automated gaming chairs and wagering game systems and machines with an automated gaming chair
US9220635B2 (en) * 2011-12-22 2015-12-29 Douglas D. Churovich Tactile pattern music generator and player
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP6082458B2 (ja) * 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
EP3401773A1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
AU2013259637B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9727140B2 (en) * 2012-08-31 2017-08-08 Nec Corporation Tactile force sense presentation device, information terminal, tactile force sense presentation method, and computer-readable recording medium
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US10111013B2 (en) * 2013-01-25 2018-10-23 Sense Intelligent Devices and methods for the visualization and localization of sound
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US20140379588A1 (en) 2013-03-15 2014-12-25 Compology, Inc. System and method for waste managment
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
CN103885744B (zh) * 2013-05-30 2017-04-19 美声克(成都)科技有限公司 一种基于声音的手势识别方法
TWI557596B (zh) 2013-08-19 2016-11-11 瑞昱半導體股份有限公司 具有觸感補償功能之音訊裝置及音訊使用方法
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9520036B1 (en) * 2013-09-18 2016-12-13 Amazon Technologies, Inc. Haptic output generation with dynamic feedback control
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9262940B2 (en) 2013-11-28 2016-02-16 Shlomo Michael Farber Musical notation interface for the visually impaired
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
EP3167350A4 (en) * 2014-07-07 2018-01-24 Immersion Corporation Second screen haptics
AU2014210579B2 (en) * 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US10186138B2 (en) * 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
CN105472505A (zh) * 2014-09-26 2016-04-06 深圳市三诺数字科技有限公司 一种用于音频输出的多段限幅控制系统
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
KR102414356B1 (ko) * 2015-06-26 2022-06-29 삼성전자 주식회사 전자 장치 및 그의 햅틱 피드백 제공 방법
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248207B2 (en) * 2015-10-28 2019-04-02 Capital One Services, Llc Systems and methods for providing variable haptic feedback
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
WO2018151770A1 (en) 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
CN109036461A (zh) 2017-06-12 2018-12-18 杭州海康威视数字技术股份有限公司 一种通知信息的输出方法、服务器及监控系统
US11009957B2 (en) 2017-06-27 2021-05-18 Ford Global Technologies, Llc Haptic device operation
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) * 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
WO2019181955A1 (ja) * 2018-03-23 2019-09-26 日本電産株式会社 音声/振動変換装置
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
DE102018006210A1 (de) 2018-07-24 2020-01-30 Feelbelt GmbH Verfahren und Vorrichtung zur Steigerung der Musikemotionalität
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
CN109144257B (zh) * 2018-08-22 2021-07-20 音曼(北京)科技有限公司 从歌曲中提取特征并转化为触觉感受的方法
JPWO2020071136A1 (ja) * 2018-10-03 2021-09-30 パイオニア株式会社 振動制御装置、振動制御方法、振動制御プログラム、及び記憶媒体
US11812218B1 (en) * 2018-10-12 2023-11-07 Cirrus Logic Inc. Concurrent audio and haptics from a single mechanical transducer
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10798522B1 (en) 2019-04-11 2020-10-06 Compology, Inc. Method and system for container location analysis
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
CN110336960B (zh) * 2019-07-17 2021-12-10 广州酷狗计算机科技有限公司 视频合成的方法、装置、终端及存储介质
US11467667B2 (en) 2019-09-25 2022-10-11 Neosensory, Inc. System and method for haptic stimulation
WO2021074107A1 (en) * 2019-10-14 2021-04-22 Lofelt Gmbh Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11361633B2 (en) * 2019-11-20 2022-06-14 Texas Instruments Incorporated Audio to haptics waveform generation using onset detection
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
CN111261185A (zh) * 2020-01-10 2020-06-09 腾讯音乐娱乐科技(深圳)有限公司 播放音频的方法、装置、系统、设备及存储介质
CN111276113B (zh) * 2020-01-21 2023-10-17 北京永航科技有限公司 基于音频生成按键时间数据的方法和装置
JP2021157279A (ja) * 2020-03-25 2021-10-07 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
TWI769498B (zh) * 2020-08-17 2022-07-01 美商美國未來科技公司 隨著音樂轉場而改變動作之方法
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11606636B2 (en) * 2021-06-03 2023-03-14 Feng-Chou Lin Somatosensory vibration generating device and method for forming somatosensory vibration
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
TWI798783B (zh) * 2021-08-05 2023-04-11 詮亞科技股份有限公司 即時處理音頻訊號並轉換成可編程之控制系統
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
TWI805145B (zh) * 2021-12-22 2023-06-11 中原大學 敲擊型樂器之自動伴奏系統

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4334280A (en) 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4355348A (en) 1980-07-30 1982-10-19 Williams Theodore R Audio signal responsive optical display
US4768412A (en) 1986-05-09 1988-09-06 Sanderson Stephen N Low profile keyboard device and system for recording and scoring music
JPH057239U (ja) 1991-05-03 1993-02-02 カツトラー スタンレイ マツサージ装置
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
JPH0796016A (ja) * 1991-08-13 1995-04-11 Iwasaki Kiyoko 皮膚の触角を刺激する方法及び其の装置
US5532936A (en) * 1992-10-21 1996-07-02 Perry; John W. Transform method and spectrograph for displaying characteristics of speech
US5438529A (en) 1994-01-26 1995-08-01 Immersion Human Interface Corporation Percussion input device for personal computer systems
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
WO1996006392A1 (en) 1994-08-18 1996-02-29 Interval Research Corporation Content-based haptic input device for video
US5669818A (en) 1995-03-23 1997-09-23 Thorner; Craig Seat-based tactile sensation generator
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
ATE250801T1 (de) 1996-03-08 2003-10-15 Motorola Inc Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
JPH1138865A (ja) 1997-07-22 1999-02-12 Mitsuo Yamada 分離振動レシーバ
US6140568A (en) 1997-11-06 2000-10-31 Innovative Music Systems, Inc. System and method for automatically detecting a set of fundamental frequencies simultaneously present in an audio signal
US6104998A (en) 1998-03-12 2000-08-15 International Business Machines Corporation System for coding voice signals to optimize bandwidth occupation in high speed packet switching networks
JP2000024500A (ja) * 1998-07-09 2000-01-25 Mitsubishi Heavy Ind Ltd 排ガス処理用触媒、排ガス処理方法及び処理装置
US6292776B1 (en) 1999-03-12 2001-09-18 Lucent Technologies Inc. Hierarchial subband linear predictive cepstral features for HMM-based speech recognition
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US6885876B2 (en) 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
JP3564501B2 (ja) 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
JP4258991B2 (ja) * 2001-04-02 2009-04-30 カシオ計算機株式会社 楽音発生装置及び楽音発生処理のプログラム
US7283954B2 (en) 2001-04-13 2007-10-16 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
MXPA03010749A (es) * 2001-05-25 2004-07-01 Dolby Lab Licensing Corp Comparacion de audio usando caracterizaciones basadas en eventos auditivos.
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US20050190199A1 (en) 2001-12-21 2005-09-01 Hartwell Brown Apparatus and method for identifying and simultaneously displaying images of musical notes in music and producing the music
ITBO20020361A1 (it) 2002-06-07 2003-12-09 Roland Europ Spa Sistema per la variazione dei parametri musicali che caratterizzano un brano musicale digitale
CA2469674C (en) * 2002-09-19 2012-04-24 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method
US20040070596A1 (en) 2002-10-15 2004-04-15 Hideya Kawahara Method and apparatus for synchronizing sensory stimuli with user interface operations
US7336266B2 (en) 2003-02-20 2008-02-26 Immersion Corproation Haptic pads for use with user-interface devices
JP2005165194A (ja) * 2003-12-05 2005-06-23 Nippon Hoso Kyokai <Nhk> 音楽データ変換装置及び音楽データ変換プログラム
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
WO2006017612A2 (en) 2004-08-06 2006-02-16 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
JP3113563U (ja) * 2005-03-14 2005-09-15 一郎 亀田 携帯リズム体感器具
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors

Also Published As

Publication number Publication date
EP2166432A2 (en) 2010-03-24
US7979146B2 (en) 2011-07-12
US20110202155A1 (en) 2011-08-18
US8688251B2 (en) 2014-04-01
EP2011105A4 (en) 2009-05-13
JP2009533714A (ja) 2009-09-17
CN102736732B (zh) 2015-11-18
CN102736732A (zh) 2012-10-17
JP5922742B2 (ja) 2016-05-24
EP2166432B1 (en) 2012-08-15
JP2012027509A (ja) 2012-02-09
EP2011105A2 (en) 2009-01-07
WO2007120765A2 (en) 2007-10-25
US20070242040A1 (en) 2007-10-18
CN101421707B (zh) 2012-05-30
EP2166432A3 (en) 2010-06-09
CN101421707A (zh) 2009-04-29
JP6178456B2 (ja) 2017-08-09
WO2007120765A3 (en) 2008-06-19
JP2016157136A (ja) 2016-09-01
JP2015045879A (ja) 2015-03-12

Similar Documents

Publication Publication Date Title
JP6178456B2 (ja) デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
US9330546B2 (en) System and method for automatically producing haptic events from a digital audio file
US9239700B2 (en) System and method for automatically producing haptic events from a digital audio signal
KR100832360B1 (ko) 음원 재생기에서의 이퀄라이저 조정 방법 및 그 시스템
JP2002529773A5 (ja)
US20080160943A1 (en) Method and apparatus to post-process an audio signal
US11146907B2 (en) Audio contribution identification system and method
WO2015092492A1 (en) Audio information processing
JP2008216486A (ja) 音楽再生システム
JP2023539121A (ja) オーディオコンテンツの識別
JP2017139592A (ja) 音響処理方法および音響処理装置
EP3772224B1 (en) Vibration signal generation apparatus and vibration signal generation program
JP6182894B2 (ja) 音響処理装置および音響処理方法
CN115910009A (zh) 电子设备、方法和计算机程序

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R150 Certificate of patent or registration of utility model

Ref document number: 5174009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees