JP7653787B2 - 符号化装置、符号化方法、プログラム - Google Patents
符号化装置、符号化方法、プログラム Download PDFInfo
- Publication number
- JP7653787B2 JP7653787B2 JP2020536347A JP2020536347A JP7653787B2 JP 7653787 B2 JP7653787 B2 JP 7653787B2 JP 2020536347 A JP2020536347 A JP 2020536347A JP 2020536347 A JP2020536347 A JP 2020536347A JP 7653787 B2 JP7653787 B2 JP 7653787B2
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- encoding
- unit
- frequency
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.第一実施形態>
[1-1.触覚再現システムの概要]
[1-2.符号化装置の構成]
[1-3.再生装置の構成]
[1-4.第一例]
(符号化手法)
(符号化側の構成)
(復号手法)
(復号側の構成)
[1-5.第二例]
[1-6.第三例]
[1-7.第四例]
<2.第二実施形態>
[2-1.符号化手法]
[2-2.符号化側の構成]
[2-3.復号側の構成]
<3.実施形態の変形例>
<4.実施形態のまとめ>
<5.本技術>
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。狭義にはアナログ信号又はデジタル信号であるとするが、広義には人間の触覚により知覚される情報(振動のように特定の周波数帯域や振幅範囲でのみ知覚可能とされている情報も含む)そのものを指すこととする。
受触者:触覚提示を受ける人。
触覚特性:人間の触覚に関する特性。部位(手、顔、足等)や受容器によって異なる。
触覚感度:触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
[1-1.触覚再現システムの概要]
図1は、本技術に係る第一実施形態としての復号装置(再生装置3)を含んで構成される触覚再現システム1の構成例を示している。
触覚再現システム1は、触覚センサ5が接続された符号化装置2と、符号化装置2との間で所定のネットワーク4を介して通信可能に構成された再生装置3と、再生装置3と接続された触覚提示装置6とを備えている。
ここで、触覚は人体の全身に分布するため、人体の複数部位に触覚提示装置6を装着して触覚の再現を行うことが考えられるが、ここでは説明の簡単化のため、例えば物体の振動を指先等の人体における単一部位で触った際に得られる触覚信号を再現する例とし、触覚再現システム1としては、図示のように触覚センサ5、触覚提示装置6がそれぞれ単数設けられた構成であるとする。
本例において、触覚センサ5は符号化装置2に対して有線接続されている。
触覚提示装置6は、受触者に装着され(本例では指先)、触覚センサ5でセンシングされた触覚信号を再現するようにされる。
図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した触覚センサ5を併せて示している。
図示のように符号化装置2は、増幅器21、A/Dコンバータ22、前処理部23、符号化部24、制御部25、記憶部26、通信部27、及びバス28を備えている。
図示のように前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバス28を介して接続され、互いにデータ通信可能とされている。
前処理部23による信号処理を施された触覚信号は、符号化部24に入力される。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、ネットワーク4を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワーク4に接続された外部装置(特に本例では再生装置3)との間でデータ通信を行うことが可能とされている。特に、符号化部24により符号化された触覚信号を通信部27を介して再生装置3に送信させることが可能とされる。
図3は、再生装置3の内部構成例を説明するための図であり、再生装置3の内部構成例と共に図1に示した触覚提示装置6を併せて示している。
再生装置3は、増幅器31、D/Aコンバータ32、後処理部33、復号部34、制御部35、記憶部36、通信部37、及びバス38を備えている。
後処理部33、復号部34、制御部35、記憶部36、及び通信部37はバス38を介して接続され、互いにデータ通信可能とされている。
例えば、制御部35は、通信部37を介して外部装置との間でのデータ通信を行う。
通信部37は、ネットワーク4を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部35は、通信部37を介してネットワーク4に接続された外部装置(特に本例では符号化装置2)との間でデータ通信を行うことが可能とされている。
これにより、触覚提示装置6が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚信号を再現することができる)。
(符号化手法)
以下、第一実施形態における第一例としての触覚再現手法について説明する。
先ず、第一、第二実施形態を問わず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図4に示す振動検出閾値曲線が報告されている。なお図4において、横軸は周波数、縦軸は触覚刺激(振動:ここでは変位)の大きさを表す。
図4に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
マイスナー、パチニはそれぞれ「FA 1」、「FA 2」とも呼ばれ、FAは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「SA 1」、「SA 2」とも呼ばれ、SAは「Slow Adapting」の略称である。
メルケル(SA 1)は物体を押し付つけている間は継続して神経発火をしており、強度(変位、圧力)検出をしているとされる。マイスナー(FA 1)は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ(FA 2)は押し込み量が変化する区間、つまり加速度検出を担っているとされる。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数kHzといった高い周波数を含んでいる。これを数100Hzまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
具体的に本実施形態では、現実に発生した振動等の触覚刺激をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図4に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸(振動)が50dB(-20dB~30dB)以上、横軸が1000Hz程度である。本例では、実際に人間の感じる触覚信号の分布を考慮し、閾値曲線から+20dBの範囲の信号をセンシングすることとする。
具体的には、図7に示すように、振動の範囲が70dB(-20dB~50dB)であるとする。
B0=12bit/sample×2000sample/sec=24kbit/sec・・・[式1]
具体的に、第一例では、図4や図7に示した振動検出閾値曲線において、振動検出閾値が高域側で大きく低下する特性に着目し、触覚信号を二つの周波数帯域に分けて符号化するという手法を挙げる。
本例では、LPCM信号としての触覚信号を、50Hzを境に二つの周波数帯域に分割し、図示のように低域側の帯域(例えば50Hz未満の帯域)については量子化ビット数=7bit(40dB)且つサンプリング周波数=100Hzとし、高域側の帯域(例えば50Hz以上且つ1kHz以下の帯域)については量子化ビット数=8bit(48dB)且つサンプリング周波数=100Hzとする符号化を行う。
BL1=7bit/sample×100sample/sec=0.7kbit/sec・・・[式2]
BH1=8bit/sample×2000sample/sec=16kbit/sec・・・[式3]
BL1+BH1で求まる総ビットレートは16.7kbpsとなり、帯域分割をしない場合のビットレートB0と比べると約30%もの低減が実現される。
図9は、上記した第一例としての符号化手法を実現するための符号化部24の具体的な構成例を示した図である。
なお、ここでは、符号化部24に対しては量子化ビット数=12bit、サンプリング周波数=2000Hzによる触覚信号が入力されるものとする。
帯域分割フィルタ41は、前処理部23より触覚信号(量子化ビット数=12bit、サンプリング周波数=2000Hz)を入力し、該触覚信号について周波数帯域の分割処理を行って、上述した低域側の帯域の成分(以下「低域成分」と表記)と、高域側の帯域の成分(以下「高域成分」と表記)とを抽出する。
そして、ダウンサンプラー42によりダウンサンプリングされた触覚信号の低域成分はビットマスク部43-1による上位ビット取出しにより、量子化ビット数が12bitから7bitに減少され、多重化部44に入力される。
本例の多重化部44では、触覚信号の低域成分、高域成分をそれぞれ個別のフレームと呼ばれる単位のデータとして扱う。フレームは、図示のようにフレームヘッダとしての領域と触覚信号の実データを格納する領域とを有する。フレームヘッダには、フレームについてのヘッダ情報として、少なくとも低域成分と高域成分の何れのフレームであるかを識別可能とする情報を格納する。
再生装置3側では、符号化装置2側より入力された上記のストリームデータに基づいて触覚信号の復号が行われる。
図11は、再生装置3が有する復号に係る機能を説明するための機能ブロック図である。
図示のように再生装置3は、取得処理部F1と復号処理部F2としての機能を有している。
取得処理部F1は、周波数帯域ごとに符号化された触覚信号を取得する。具体的に本例では、触覚信号の低域成分と高域成分とを取得する。この取得処理部F1としての機能は、本例では図3に示した通信部37により実現される。
この復号処理部F2としての機能は、本例では復号部34により実現される。
図12は、第一例としての復号手法を実現するための復号部34の具体的な構成例を示した図である。
図示のように復号部34は、多重分離部51、ビット付加部52-1、ビット付加部52-2、アップサンプラー53、及び帯域合成フィルタ54を備えている。
多重分離部51は、通信部37により取得されたストリームデータ(図10参照)を入力し、該ストリームデータから触覚信号の低域成分と高域成分とを分離し抽出する。
図示のように、抽出された低域成分は、ビット付加部52-1による下位ビット付加により量子化ビット数が12bitに変換された後、アップサンプラー53においてサンプリング周波数=2000Hzによるアップサンプリング処理が施され、帯域合成フィルタ54に入力される。
また、多重分離部51で抽出された高域成分は、ビット付加部52-2による上位ビット付加により量子化ビット数が12bitに変換された後、帯域合成フィルタ54に入力される。
続いて、第一実施形態の第二例について説明する。
第二例は、符号化の対象とする周波数帯域を受容器の特性に応じて分割した帯域とするものである。
図6に示したように、メルケル、マイスナー、パチニの各受容器は、それぞれ良好な反応を示す周波数帯域が異なっており、概ね、メルケルは低域に、マイスナーは中域に、パチニは高域に良好な反応を示すと言える。
受容器の特性は明確に分割された帯域だけに反応するわけではないが、ここでは一例として、低域をメルケルの特性に合わせて3Hz未満とし、中域をマイスナーの特性に合わせて3Hz以上40Hz未満とし、高域をパチニの特性に合わせて40Hz以上1000Hz以下と定義し、符号化の対象とする周波数帯域をこれら低域、中域、高域の三つの周波数帯域とする。
BL2=4bit/sample×6sample/sec=0.024kbit/sec・・・[式4]
BM2=5bit/sample×80sample/sec=0.4kbit/sec・・・[式5]
BH2=9bit/sample×2000sample/sec=18kbit/sec・・・[式6]
この場合における触覚信号の総ビットレートは18.424kbpsとなり、前述した総ビットレートB0と比べると約23%の低減が実現される。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
図示のように符号化部24Aは、帯域分割フィルタ41A、ダウンサンプラー42A-1、ダウンサンプラー42A-2、ビットマスク部43A-1、ビットマスク部43A-2、ビットマスク部43A-3、及び多重化部44Aを備えている。
ダウンサンプリングされたメルケル成分はビットマスク部43A-1による上位ビット取出しにより、量子化ビット数が12bitから4bitに減少され、多重化部44Aに入力される。また、ダウンサンプリングされたマイスナー成分はビットマスク部43A-2による中位ビット取出しにより、量子化ビット数が12bitから5bitに減少され、多重化部44Aに入力される。
第二例において、再生装置3には、復号部34に代えて復号部34Aが設けられる。
多重分離部51Aは、符号化部24Aで得られたストリームデータを通信部37経由で入力し、該ストリームデータから触覚信号のメルケル成分、マイスナー成分、及びパチニ成分を分離し抽出する。
抽出されたメルケル成分、マイスナー成分、パチニ成分は、ビット付加部52A-1、52A-2、52A-3に入力され、それぞれ下位ビット付加、上下位ビット付加、上位ビット付加により量子化ビット数が12bitに変換される。
また、ビット付加されたパチニ成分は、サンプリング周波数が2000Hzのまま維持されて帯域合成フィルタ54Aに入力される。
これにより、触覚提示装置6は、メルケル成分、マイスナー成分、及びパチニ成分が合成された触覚信号に基づき駆動される。
上記した第二例は、第一例と比較するとビットレートは悪化するものとなるが、第二例のように受容器の特性に応じた周波数帯域ごとに符号化を行うことによっては、触覚提示装置6を受容器ごとに設けることができるという利点がある。換言すれば、触覚提示装置6として、平坦性を示す周波数帯域が広い触覚提示装置を用いる必要がなくなるという利点がある。
ここでは、第二例の符号化を行う場合において、触覚提示装置6を受容器ごとに設けた例を説明する。
図示のように触覚再現システム1Bは、触覚提示装置6として、受容器ごとの触覚提示装置6-1、触覚提示装置6-2、及び触覚提示装置6-3を設けた点と、再生装置3に代えて再生装置3Bを設けた点とが触覚再現システム1の場合と異なる。
本例において、触覚提示装置6-1はメルケル、触覚提示装置6-2はマイスナー、触覚提示装置6-3はパチニにそれぞれ対応した触覚提示装置6とされる。
図示のように復号部34Aとの差異点は帯域合成フィルタ54Aが省略された点であり、復号部34Bは、ストリームデータから復号したメルケル成分、マイスナー成分、及びパチニ成分を後処理部33に個別に出力する。
第三例によれば、触覚提示装置6を受容器ごとに分割して設けることで、触覚提示装置6個々の周波数特性の平坦性が低い場合であっても、全体として平坦性を示す周波数帯域を広げることができ、周波数特性の平坦性向上を図ることができる。これは、図20に示す三つの触覚提示装置6の合成特性(図中「合成後の特性」)と先の図17の特性との比較からも明らかである。
従って、触覚提示装置6の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
図21Aは、サイズの異なる二つの触覚提示装置6(振動デバイス)についての振動閾値検出曲線を例示している。具体的に、図21Aにおいては、一方の触覚提示装置6のサイズを2.9cm^2(^はべき乗を意味する)、他方の触覚提示装置6のサイズを0.008cm^2とした場合の結果を示している。
この図21Aより、40~50Hz以下では触覚提示装置6の接触面積による触覚感度の差は殆どないが、それ以上の周波数帯域では触覚感度が大きく変わっていることが分かる。これは、接触面積が大きいとパチニが発火しやすく、接触面積が小さいとパチニは発火しにくいが、接触面積が小さくとも振幅を増加させることで他の受容器(ルフィニやマイスナー)が発火することにより、人間が振動を知覚できることを示している。
ただし、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ろうとすると必要なエネルギーが急激に増加する。場合によっては振動デバイスが駆動できなかったり、駆動できてもデバイスがそのエネルギーに耐えられず破損したりする可能性もある。このため、人間に高い周波数の振動を知覚させるには、振幅が小さくとも接触面積を大きくすることで発火しやすいパチニをターゲットとすることが望ましい。本例では、高い周波数についてはターゲットとする受容器をパチニとして話を進める。
前述の通り、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ることは困難となるため、特にパチニについての触覚提示装置6-3のサイズが小さいと、高域の触覚信号の再現性が低下する虞がある。上記のような触覚提示装置6のサイズ設定を行うことで、このような再現性低下の防止を図ることができる。
図21Bでは、触覚提示装置6-1、6-2、6-3を一体的に構成した例を示している。この例では、最もサイズが大きい触覚提示装置6-3に対し、触覚提示装置6-1、6-2を一体的に組み込む構成としている。
上記では、触覚提示装置6について周波数特性の平坦性に課題があることを述べたが、周波数特性の平坦性の課題は触覚センサ5側についても同様のことが言える。
第四例の触覚再現システム1Cは、このような触覚センサ5側における周波数特性の平坦性の課題解決を図るものであり、図22に示すように、触覚センサ5を複数設けるものである。具体的に、この場合の触覚センサ5としては、メルケルに対応する触覚センサ5-1、マイスナーに対応する触覚センサ5-2、パチニに対応する触覚センサ5-3が設けられる。
触覚再現システム1Cにおいては、第二例や第三例で用いられていた符号化装置2に代えて、これら触覚センサ5-1、5-2、5-3の検出信号に基づき符号化を行う符号化装置2Cが設けられる。
なお、触覚再現システム1Cにおいて、再生装置3B及び触覚提示装置6-1、6-2、6-3が設けられる点は第三例の場合と同様である。
第二例や第三例との差異点は、増幅器21及びA/Dコンバータ22が触覚センサ5ごとに設けられた点と、符号化部24A(図14参照)に代えて符号化部24Cが設けられた点である。
触覚センサ5-1、5-2、5-3の検出信号は、それぞれ対応する増幅器21で増幅された後、対応するA/Dコンバータ22によりデジタル信号に変換された上で、前処理部23を介してそれぞれ符号化部24Cに入力される。
符号化部24Cは、図14に示した符号化部24Aと比較して、帯域分割フィルタ41Aに代えてバンドパスフィルタ41C-1、バンドパスフィルタ41C-2、及びバンドパスフィルタ41C-3が設けられた点が異なる。
バンドパスフィルタ41C-1は、前処理部23より、触覚センサ5-1の検出信号に基づく触覚信号を入力し、図13で例示したメルケルに対応する周波数帯域の成分を抽出してダウンサンプラー42A-1に出力する。バンドパスフィルタ41C-2は、前処理部23より、触覚センサ5-2の検出信号に基づく触覚信号を入力し、マイスナーに対応する周波数帯域の成分を抽出してダウンサンプラー42A-2に出力する。
バンドパスフィルタ41C-3は、前処理部23より、触覚センサ5-3の検出信号に基づく触覚信号を入力し、パチニに対応する周波数帯域の成分を抽出してビットマスク部43A-3に出力する。
従って、触覚センサ5の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
この点を考慮し、帯域分割フィルタ41Aやバンドパスフィルタ41Cについては、図25に示すようにカットオフ特性を緩やかにすることで、上記オーバーラップの特性を再現することもできる。この場合、符号化におけるサンプリング周波数は上記オーバーラップの特性に応じた値を設定することになる。すなわち、符号化後の触覚信号のビットレートは、上記のオーバーラップ特性に応じて変化し得る。
[2-1.符号化手法]
続いて、第二実施形態について説明する。
第一実施形態の符号化は、何れもLPCM信号(時間信号)による触覚信号に対して実施するものであった。すなわち、時間領域において周波数帯域ごとの符号化を行うものであった。
しかしながら、図13等の特性図を参照して分かるように、各受容器の特性は周波数領域で観察・表現されている。
そこで、時間信号を帯域分割して周波数成分として取り扱うのではなく、時間信号であるLPCM信号を離散コサイン変換(DCT)や離散フーリエ変換(DFT)等の直交変換によって周波数成分に変換してから符号化を行う方が効率的である。
先ず、再現する触覚信号の周波数上限を1000Hz+αとし、説明の簡単化のためにサンプリング周波数を2560Hzとする。また、前述の例ではダイナミックレンジを70dBとし量子化ビット数を12bitとして考えたが、より一般化して考えるため量子化ビット数は16bitであるとする。
MDCTのブロックに含まれるLPCMのサンプル数をNとすると、これを二つ合わせた2N個のサンプルを直交変換してN個の周波数成分を得る。この周波数成分をスペクトルと呼ぶ。つまり、LPCM がN個につきN個のスペクトルが得られる。
この際、スペクトルには低域側から順にインデックスIdx=0~127を割り当てる。
次いで、マイスナーは10Hz~50Hz程度の周波数を担うものとして、第二グループにはインデックスIdx1~4のスペクトルを割り当てる。
さらに、パチニはマイスナー以上の周波数を担うものとして、第三グループにはインデックスIdx5~127のスペクトルを割り当てる。
量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。つまり、ゲインが大きいバンドの精度を上げて、ゲインの小さいバンドの精度を下げる。なお、ここでのゲインの大きさとは、振動検出閾値からシステムが表現できる最大値までの区間の大きさと換言できるものである。
そして、この場合の量子化では、バンドが振動検出閾値以下の場合には、量子化をせず(符号化対象とはせず)にバンドごと切り捨てる。このように閾値以下の成分を切り捨てる、すなわち量子化や符号化を行わないことで、触覚信号のビットレートを効果的に削減することが可能となる。
また、上記のようなバンドごとの量子化ステップ数の設定が行われることで、少なくとも一部のバンド間(周波数帯域間)で異なる量子化ステップ数による量子化が行われる。具体的に本例では、ゲインの小さいバンドの量子化ステップ数は、ゲインの大きいバンドの量子化ステップ数よりも小さくされる。これによりビットレートの削減が図られる。
すなわち、量子化されたスペクトルについて、予めその出現頻度を調べておき、出現頻度の高いものに短い符号長を、出現頻度の低いものに長い符号長を割り当てる。なお、エントロピー符号化の例としては、例えばハフマン符号化を挙げることができる。具体的には、振動検出閾値以下のスペクトル(値がゼロ)の出現頻度が高く、それ以外のスペクトル(値がゼロ以外)の出現頻度が低い場合には、前者に対して短い符号長を割り当てることで効率的な符号化が可能となる。
図27は、第二実施形態としての符号化手法を実現するための符号化部24Dの具体的な構成例を示している。
なお、ここでは、前述した第一実施形態の第二例や第三例のように触覚センサ5を1種のみ用いる場合に対応した構成を説明する。すなわち、この場合における符号化装置2の構成は、符号化部24Aに代えて符号化部24Dが設けられる点以外は、図2に示した構成と同様である。
グルーピング部62-2は上述した第二グループのグルーピングを行い、インデックスIdx=1~4のスペクトルを正規化部63-2に出力する。
グルーピング部62-3は上述した第三グループのグルーピングを行い、インデックスIdx=5~127のスペクトルを正規化部63-3に出力する。
また、各正規化部63は、バンドごとの正規化係数を多重化部66に出力する。
上述のように、量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。また、バンドが振動検出閾値以下の場合には、そのバンド自体の符号化を行わない。
ここで、もし正規化係数が特定の値(例えば振動検出閾値以下)を持つ場合、そのバンドのスペクトルは符号化しないようにすることで、バンド自体の符号化を行うか否かを切り替えても良い。
ビットレートを一定値としたいという要求がある場合には、図示のように調整器67を設けて、各量子化部64による量子化と各符号化部65による符号化とを所定のビットレートに一致するまで繰り返し行う構成としても良い。具体的に、調整器67は、各符号化部65より符号化後のデータを入力してビットレートを計算し、計算したビットレートが所定ビットレートに一致するまで、各量子化部64-1における量子化パラメータ(例えば量子化ステップ数)を変更させる。このとき、量子化ステップ数の初期値の設定により、量子化ステップ数は初期値より小さくなるだけでなく大きくなる場合もある。
図28は、図27に示した符号化部24Dにより符号化された触覚信号を復号するための第二実施形態としての復号部34Dについて、具体的な構成例を示している。
ここでは、前述した第一実施形態の第三例や第四例のように、触覚提示装置6を受容器ごとに設ける場合に対応した構成を説明する。すなわち、この場合における再生装置3Bの構成は、復号部34Bに代えて復号部34Dが設けられる点以外は、図19に示した構成と同様である。
また、本例において多重分離部71は、ストリームデータに含まれるバンドごとの正規化係数を取得する。
ここで、もし正規化係数が特定の値(例えば振動検出閾値以下)を持つ場合、そのバンドのスペクトルは符号化されていないと判定し、スペクトルデータの分離、抽出が行われないようにしても良い。
上記では、符号化された触覚信号を再生装置3(又は3B)がネットワーク4経由で取得する例としたが、例えば符号化された触覚信号を可搬型の記録媒体に記録しておき、該記録媒体を介して再生装置3(又は3B)に触覚信号を取得させる等、通信以外の手法により触覚信号を取得する手法を採ることもできる。
上記のように実施形態としての復号装置(再生装置3又は3B)は、周波数帯域ごとに符号化された触覚信号を取得する取得部(取得処理部F1、通信部37)と、取得部が取得した触覚信号を復号する復号部(復号処理部F2、復号部34、34A、34B、34D、34D’)とを備えるものである。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
従って、触覚の再現性を高めることができる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
従って、触覚信号の符号化や復号を実現するにあたっての構成の簡易化や処理負担軽減を図ることができる。
従って、触覚再現システムの効率化を図ることができる。
従って、触覚再現システムのさらなる効率化を図ることができる。
従って、人間が知覚し難い触覚信号についてビット配分を少なくする効率的な符号化を実現可能となり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができる。
従って、触覚信号のデータ量削減を図ることができる。
従って、触覚再現システムのさらなる効率化を図ることができる。
従って、周波数特性の平坦性が低い触覚提示装置が用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
従って、周波数特性の平坦性が低い触覚センサが用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
なお本技術は以下のような構成も採ることができる。
(1)
周波数帯域ごとに符号化された触覚信号を復号する復号部を備えた
復号装置。
(2)
前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号である
前記(1)に記載の復号装置。
(3)
前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号である
前記(1)又は(2)に記載の復号装置。
(4)
前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号である
前記(1)乃至(3)の何れかに記載の復号装置。
(5)
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なる
前記(4)に記載の復号装置。
(6)
前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号である
前記(1)乃至(3)の何れかに記載の復号装置。
(7)
前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号である
前記(6)に記載の復号装置。
(8)
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号である
前記(6)又は(7)に記載の復号装置。
(9)
前記符号化された触覚信号は、エントロピー符号化された触覚信号である
前記(6)乃至(8)の何れかに記載の復号装置。
(10)
前記復号部は、
復号した前記周波数帯域ごとの触覚信号を個別に出力する
前記(1)乃至(9)の何れかに記載の復号装置。
(11)
前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号である
前記(1)乃至(10)の何れかに記載の復号装置。
Claims (9)
- 対象物に接触させることで受触者に再現する触覚刺激のセンシングを行う触覚センサについて、受容器ごとの複数の触覚センサの検出信号のそれぞれ対応する周波数帯域を抽出した後に符号化を行う符号化部を備えた
符号化装置。 - 前記符号化部は、帯域分割後の時間領域において前記周波数帯域ごとに符号化を行う
請求項1に記載の符号化装置。 - 前記符号化部は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかを異ならせる
請求項2に記載の符号化装置。 - 前記符号化部は、直交変換後の周波数領域において前記周波数帯域ごとに符号化を行う
請求項1に記載の符号化装置。 - 前記符号化部は、所定の振幅閾値未満の触覚信号成分を量子化の対象から除外する
請求項4に記載の符号化装置。 - 前記符号化部は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化を行う
請求項4に記載の符号化装置。 - 前記符号化部は、量子化後の前記検出信号についてエントロピー符号化を行う
請求項4に記載の符号化装置。 - 対象物に接触させることで受触者に再現する触覚刺激のセンシングを行う触覚センサについて、受容器ごとの複数の触覚センサの検出信号のそれぞれ対応する周波数帯域を抽出した後に符号化を行う
符号化方法。 - 対象物に接触させることで受触者に再現する触覚刺激のセンシングを行う触覚センサについて、受容器ごとの複数の触覚センサの検出信号のそれぞれ対応する周波数帯域を抽出した後に符号化を行う機能を情報処理装置に実現させる
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023180338A JP2023181284A (ja) | 2018-08-08 | 2023-10-19 | 復号装置、復号方法、プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018149514 | 2018-08-08 | ||
| JP2018149514 | 2018-08-08 | ||
| PCT/JP2019/022345 WO2020031483A1 (ja) | 2018-08-08 | 2019-06-05 | 復号装置、復号方法、プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023180338A Division JP2023181284A (ja) | 2018-08-08 | 2023-10-19 | 復号装置、復号方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020031483A1 JPWO2020031483A1 (ja) | 2021-11-18 |
| JP7653787B2 true JP7653787B2 (ja) | 2025-03-31 |
Family
ID=69414627
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020536347A Active JP7653787B2 (ja) | 2018-08-08 | 2019-06-05 | 符号化装置、符号化方法、プログラム |
| JP2023180338A Pending JP2023181284A (ja) | 2018-08-08 | 2023-10-19 | 復号装置、復号方法、プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023180338A Pending JP2023181284A (ja) | 2018-08-08 | 2023-10-19 | 復号装置、復号方法、プログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11496152B2 (ja) |
| EP (1) | EP3836405A4 (ja) |
| JP (2) | JP7653787B2 (ja) |
| KR (2) | KR20250129118A (ja) |
| CN (1) | CN112534723B (ja) |
| WO (1) | WO2020031483A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102141889B1 (ko) * | 2019-02-19 | 2020-08-06 | 주식회사 동운아나텍 | 적응적 햅틱 신호 발생 장치 및 방법 |
| CN115209960A (zh) * | 2020-03-04 | 2022-10-18 | 索尼集团公司 | 解码装置、解码方法、程序、编码装置和编码方法 |
| DE112021002539T5 (de) * | 2020-04-29 | 2023-03-23 | Sony Group Corporation | Decodiervorrichtung, decodierverfahren, programm, codiervorrichtung und codierverfahren |
| JP7436328B2 (ja) * | 2020-05-27 | 2024-02-21 | 太陽誘電株式会社 | 駆動装置、触覚提示装置及び駆動方法 |
| EP4250060A1 (en) * | 2022-03-25 | 2023-09-27 | Nokia Technologies Oy | Apparatus, systems, methods and computer programs for transferring sensations |
| CN115050378B (zh) * | 2022-05-19 | 2024-06-07 | 腾讯科技(深圳)有限公司 | 音频编解码方法及相关产品 |
| CN118018745A (zh) * | 2022-11-08 | 2024-05-10 | 维沃移动通信有限公司 | 触觉信号编码方法、触觉信号解码方法、装置及设备 |
| CN118732828B (zh) * | 2023-03-31 | 2025-10-17 | 维沃移动通信有限公司 | 触觉信号编码处理方法、解码处理方法及相关设备 |
| CN117251055A (zh) * | 2023-08-25 | 2023-12-19 | 歌尔股份有限公司 | 一种马达驱动方法及处理装置 |
| JP7605937B1 (ja) | 2023-10-25 | 2024-12-24 | レノボ・シンガポール・プライベート・リミテッド | 入力デバイスおよび情報処理システム |
| WO2025197507A1 (ja) * | 2024-03-22 | 2025-09-25 | ソニーグループ株式会社 | 情報処理装置および情報処理方法、伝送システム、並びにプログラム |
| CN118990628B (zh) * | 2024-08-07 | 2025-09-26 | 浙江大学 | 面向智能机器人大面积触觉感知的可拓展单线信号采集系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005004113A1 (ja) | 2003-06-30 | 2005-01-13 | Fujitsu Limited | オーディオ符号化装置 |
| JP2006279272A (ja) | 2005-03-28 | 2006-10-12 | Toshiba Corp | 動画像符号化装置およびその符号化制御方法 |
| WO2014097499A1 (ja) | 2012-12-19 | 2014-06-26 | パナソニック株式会社 | 触覚入出力装置 |
| JP2015216456A (ja) | 2014-05-08 | 2015-12-03 | 富士通株式会社 | 制御信号生成方法、制御信号生成装置及びプログラム |
| JP2016122363A (ja) | 2014-12-25 | 2016-07-07 | ダイキン工業株式会社 | 触感測定方法 |
| WO2017175868A1 (ja) | 2016-04-07 | 2017-10-12 | 国立研究開発法人科学技術振興機構 | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体 |
| JP2017221631A (ja) | 2016-06-10 | 2017-12-21 | 任天堂株式会社 | ゲームコントローラ |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0990867A (ja) * | 1995-09-27 | 1997-04-04 | Olympus Optical Co Ltd | 触覚呈示装置 |
| CN1288625C (zh) * | 2002-01-30 | 2006-12-06 | 松下电器产业株式会社 | 音频编码与解码设备及其方法 |
| KR100634506B1 (ko) | 2004-06-25 | 2006-10-16 | 삼성전자주식회사 | 저비트율 부호화/복호화 방법 및 장치 |
| KR100851970B1 (ko) * | 2005-07-15 | 2008-08-12 | 삼성전자주식회사 | 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치 |
| JP4396683B2 (ja) * | 2006-10-02 | 2010-01-13 | カシオ計算機株式会社 | 音声符号化装置、音声符号化方法、及び、プログラム |
| US9264094B2 (en) * | 2011-06-09 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Voice coding device, voice decoding device, voice coding method and voice decoding method |
| US10599218B2 (en) | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
| EP2887350B1 (en) * | 2013-12-19 | 2016-10-05 | Dolby Laboratories Licensing Corporation | Adaptive quantization noise filtering of decoded audio data |
| JP6035270B2 (ja) * | 2014-03-24 | 2016-11-30 | 株式会社Nttドコモ | 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム |
| JP6295342B2 (ja) * | 2014-05-09 | 2018-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | 疑似ホワイトノイズを使用した音声信号に制御信号を埋め込むスキーム |
| KR20180112847A (ko) * | 2016-04-07 | 2018-10-12 | 재팬 사이언스 앤드 테크놀로지 에이전시 | 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램 |
| EP3254739B1 (en) | 2016-06-10 | 2020-03-25 | Nintendo Co., Ltd. | Game controller |
| CN112313604B (zh) * | 2018-06-28 | 2024-08-02 | 索尼公司 | 解码设备、解码方法和程序 |
-
2019
- 2019-06-05 JP JP2020536347A patent/JP7653787B2/ja active Active
- 2019-06-05 CN CN201980050579.3A patent/CN112534723B/zh active Active
- 2019-06-05 US US17/265,171 patent/US11496152B2/en active Active
- 2019-06-05 WO PCT/JP2019/022345 patent/WO2020031483A1/ja not_active Ceased
- 2019-06-05 EP EP19845950.5A patent/EP3836405A4/en active Pending
- 2019-06-05 KR KR1020257027649A patent/KR20250129118A/ko active Pending
- 2019-06-05 KR KR1020217002043A patent/KR102849175B1/ko active Active
-
2023
- 2023-10-19 JP JP2023180338A patent/JP2023181284A/ja active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005004113A1 (ja) | 2003-06-30 | 2005-01-13 | Fujitsu Limited | オーディオ符号化装置 |
| JP2006279272A (ja) | 2005-03-28 | 2006-10-12 | Toshiba Corp | 動画像符号化装置およびその符号化制御方法 |
| WO2014097499A1 (ja) | 2012-12-19 | 2014-06-26 | パナソニック株式会社 | 触覚入出力装置 |
| JP2015216456A (ja) | 2014-05-08 | 2015-12-03 | 富士通株式会社 | 制御信号生成方法、制御信号生成装置及びプログラム |
| JP2016122363A (ja) | 2014-12-25 | 2016-07-07 | ダイキン工業株式会社 | 触感測定方法 |
| WO2017175868A1 (ja) | 2016-04-07 | 2017-10-12 | 国立研究開発法人科学技術振興機構 | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体 |
| JP2017221631A (ja) | 2016-06-10 | 2017-12-21 | 任天堂株式会社 | ゲームコントローラ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3836405A4 (en) | 2021-09-01 |
| KR20210031916A (ko) | 2021-03-23 |
| US20210359703A1 (en) | 2021-11-18 |
| EP3836405A1 (en) | 2021-06-16 |
| WO2020031483A1 (ja) | 2020-02-13 |
| CN112534723B (zh) | 2024-06-18 |
| KR20250129118A (ko) | 2025-08-28 |
| KR102849175B1 (ko) | 2025-08-25 |
| JP2023181284A (ja) | 2023-12-21 |
| US11496152B2 (en) | 2022-11-08 |
| JPWO2020031483A1 (ja) | 2021-11-18 |
| CN112534723A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7653787B2 (ja) | 符号化装置、符号化方法、プログラム | |
| JP7814352B2 (ja) | 復号装置、復号方法、プログラム | |
| JP7790405B2 (ja) | 復号装置、復号方法、プログラム | |
| US11967976B2 (en) | Coding device, coding method, decoding device, decoding method, and program | |
| KR101666465B1 (ko) | 다채널 오디오 신호 부호화/복호화 장치 및 방법 | |
| JP2006011456A (ja) | 低ビット率符号化/復号化方法及び装置並びにコンピュータ可読媒体 | |
| JP2006201785A (ja) | デジタル信号の符号化/復号化方法及びその装置並びに記録媒体 | |
| TW202123220A (zh) | 使用方向性元資料之多通道音頻編碼及解碼 | |
| EP2489036B1 (en) | Method, apparatus and computer program for processing multi-channel audio signals | |
| WO2009088258A2 (ko) | 프레임 타입 식별 방법 및 장치 | |
| KR102765676B1 (ko) | 복호 장치, 복호 방법 및 프로그램 | |
| US12586594B2 (en) | Guiding ambisonic audio compression by deconvolving long window frequency analysis | |
| CN105336334B (zh) | 多声道声音信号编码方法、解码方法及装置 | |
| US20240105190A1 (en) | Guiding ambisonic audio compression by deconvolving long window frequency analysis | |
| CN107945810B (zh) | 用于编码和解码hoa或多声道数据的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230206 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230626 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231019 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231031 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7653787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |