JP3369458B2 - 3次元音像による物体表現装置およびその方法 - Google Patents

3次元音像による物体表現装置およびその方法

Info

Publication number
JP3369458B2
JP3369458B2 JP01889898A JP1889898A JP3369458B2 JP 3369458 B2 JP3369458 B2 JP 3369458B2 JP 01889898 A JP01889898 A JP 01889898A JP 1889898 A JP1889898 A JP 1889898A JP 3369458 B2 JP3369458 B2 JP 3369458B2
Authority
JP
Japan
Prior art keywords
sound image
dimensional
distance
calculation
dimensional sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01889898A
Other languages
English (en)
Other versions
JPH11220799A (ja
Inventor
徹 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP01889898A priority Critical patent/JP3369458B2/ja
Publication of JPH11220799A publication Critical patent/JPH11220799A/ja
Application granted granted Critical
Publication of JP3369458B2 publication Critical patent/JP3369458B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Transmission And Conversion Of Sensor Element Output (AREA)
  • Stereophonic System (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は音によって物体の
存在を人間に認知させる装置、特に3次元音像によって
物体の表現を行う3次元音像による物体表現装置および
その方法に関するものである。
【0002】
【従来の技術】例えば特開平8−86868号公報に開
示された従来の音声による物体の表現方法をより具現化
したものを図5に示す。図5の(a)は使用者と障害物を
上からみた図、(b)は使用者の情報伝達部から聞こえる
音声の状態を示す上面図である。図において、1は使用
者、3と8は使用者が装着する3次元センサと情報伝達
部で例えば一体に形成されている。4は障害物、9は点
音像である。
【0003】使用者1は、聴覚で障害物4の方向と距離
を認識する。音声発生器で構成される情報伝達部8は、
使用者1に装着され、使用者1に対し音声を出力する。
3次元センサ3は、情報伝達部8と共に使用者1に装着
され、使用者1に対する障害物4の相対方向と距離を得
る。障害物4は3次元センサ3によって検出される障害
物の1例である。図5の(b)に示す点音像9は、情報伝
達部8によって使用者1に出力される音声の位置であ
り、どこから音声が聞こえるかという場所を表す。
【0004】上記従来の音声による物体の表現方法は、
障害物4の方向と距離を情報伝達部8から出力させるこ
とで使用者1に認知させる方式を取る。
【0005】図5を用いて従来の方法の動作を説明す
る。使用者1は、3次元センサ3と情報伝達部8を装着
して障害物4の近傍にいるとする。この時、3次元セン
サ3は障害物4の方向と距離を検出し、情報伝達部8か
ら出力する音声で使用者1に認知させる。
【0006】情報伝達部8から発生される音声は使用者
1の頭部内に定位し、点音像9で表す位置から聞こえ
る。この音声は例えば、「1時の方向から2時の方向
1.2mに障害物」といった言葉である。
【0007】
【発明が解決しようとする課題】従来の音声による物体
の表現方法は以上のように構成されているため、物体を
認知するために言葉を理解しなければならないという問
題点があった。
【0008】この発明は上記のような問題点を解消する
ためになされたもので、言葉を理解することだけに頼ら
ずに、直感的に物体を認知することができる、3次元音
像による物体表現装置およびその方法を得ることを目的
とする。
【0009】
【課題を解決するための手段】上記の目的に鑑み、この
発明は、物体の少なくとも相対方向および距離の情報を
検出する3次元センサと、この3次元センサで検出され
た情報に従って、該物体の少なくとも方向と距離を音声
のみで直感的に認知できるように表現する3次元音像を
生成するための演算を行う3次元音像演算手段を含む演
算部、およびこの演算部の出力に従って上記3次元音像
を発生する3次元音場発生部からなる3次元音像生成器
と、を備え、上記3次元音像演算手段が、上記物体の存
在の境界の線に合わせて線状に音像を移動させる演算を
行うことを特徴とす3次元音像による物体表現装置にあ
る。また、物体の少なくとも相対方向および距離の情報
を検出する3次元センサと、この3次元センサで検出さ
れた情報に従って、該物体の少なくとも方向と距離を音
声のみで直感的に認知できるように表現する3次元音像
を生成するための演算を行う3次元音像演算手段を含む
演算部、およびこの演算部の出力に従って上記3次元音
像を発生する3次元音場発生部からなる3次元音像生成
器と、を備え、上記3次元音像演算手段が、上記物体の
存在の境界の面に合わせて面状に音像を移動させる演算
を行うことを特徴とする3次元音像による物体表現装置
にある。また、物体の少なくとも相対方向および距離の
情報を検出する3次元センサと、この3次元センサで検
出された情報に従って、該物体の少なくとも方向と距離
を音声のみで直感的に認知できるように表現する3次元
音像を生成するための演算を行う3次元音像演算手段を
含む演算部、およびこの演算部の出力に従って上記3次
元音像を発生する3次元音場発生部からなる3次元音像
生成器と、を備え、上記3次元音像演算手段が、上記物
体の存在に合わせて立体状に音像を移動させる演算を行
うことを特徴とする3次元音像による物体表現装置にあ
る。また、3次元センサで検出された物体の、少なくと
も方向と距離を音声のみで直感的に認知できるように3
次元音像により表現し、上記物体の存在の境界の線に合
わせて線状に音像を移動させることを特徴とする3次元
音像による物体表現方法にある。 また、3次元センサで
検出された物体の、少なくとも方向と距離を音声のみで
直感的に認知できるように3次元音像により表現し、上
記物体の存在の境界の面に合わせて面状に音像を移動さ
せることを特徴とする3次元音像による物体表現方法に
ある。また、3次元センサで検出された物体の、少なく
とも方向と距離を音声のみで直感的に認知できるように
3次元音像により表現し、上記物体の存在に合わせて立
体状に音像を移動させることを特徴とする3次元音像に
よる物体表現方法にある。
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【発明の実施の形態】以下、この発明による3次元音像
による物体表現装置およびその方法を図示した実施の形
態に従って説明する。図1はこの発明の一実施の形態に
よる3次元音像による物体表現装置およびその方法を示
す図である。(a)は使用者と障害物を上からみた図、
(b)は使用者の3次元音像生成器から聞こえる3次元音
像空間の状態を示す上面図である。図において、1は使
用者、3と2は使用者が装着する3次元センサと3次元
音像生成器で例えば一体に形成されている。4は認知す
る物体である障害物、5、6は線音像、7は面音像であ
る。
【0022】3次元音像生成器2はモノラルの音声を、
例えばヘッドホンで再生する3次元の音場の中に音像定
位し、使用者1に出力する。線音像5は、3次元音像生
成器2によって使用者1に出力される音像であり、例え
ば障害物4の左端と同じ位置と方向に音像定位されてい
る。線音像6は、3次元音像生成器2によって使用者1
に出力される音像であり、例えば障害物4の右端と同じ
位置と方向に音像定位されている。面音像7は、3次元
音像生成器2によって使用者1に出力される音像であ
り、例えば障害物4の位置と方向に音像定位されてい
る。
【0023】また、図2にはこの発明の物体表現装置の
構成をブロック図で示す。3次元センサ3は例えば音波
反射や赤外線によるセンサからなる。また後述する障害
物4の色や温度の属性情報を得るためのセンサ3aやカ
メラ3bも備え得る。
【0024】また3次元音像生成器2は、内蔵するプロ
グラムに従って動作するマイコン等からなる演算部21
と、2チャンネル以上のヘッドホン等で構成される3次
元音場発生部28とからなる。そして、演算部21は3
次元センサ3で検出された情報に従って、該障害物の少
なくとも方向と距離を音声のみで直感的に認知できるよ
うに表現する3次元音像を生成するための演算を行う3
次元音像演算手段22と、各種センサ等で検出された障
害物の属性情報を音像化する属性情報音像化手段23と
を備える。
【0025】この実施の形態の、3次元音像による物体
の表現方法は、物体を認知させるための音声を三次元の
音場に出力する方式を採る。
【0026】図1および図2を用いてこの実施の形態
の、3次元音像による物体の表現方法を説明する。使用
者1は、3次元センサ3と3次元音像生成器2を装着し
て障害物4の近傍にいるとする。この時、3次元センサ
3は障害物4の方向と距離を検出し、3次元音像生成器
2から出力する音声で使用者1に認知させる。
【0027】まず、線音像5が3次元音像生成器2から
使用者1に出力される。線音像5の音声は例えば、「1
時の方向から」といった言葉である。線音像5は障害物
4の左端と同じ位置と方向に音像定位されているので、
使用者1は障害物4の左端を直感的に認知できる。次に
線音像6が3次元音像生成器2から使用者1に出力され
る。線音像6の音声は例えば、「2時の方向」といった
言葉である。線音像6は障害物4の右端と同じ位置と方
向に音像定位されているので、使用者1は障害物4の右
端を直感的に認知できる。
【0028】次に面音像7が3次元音像生成器2から使
用者1に出力される。面音像7の音声は例えば、「1.
2mに障害物」といった言葉である。面音像7は障害物
4と同じ位置と方向に音像定位されているので、使用者
1は障害物4の位置と方向を直感的に認知できる。以上
のように、障害物4を認知するために使用者1に出力さ
れる音像は、音像定位の位置を変えながら、連続して
「1時の方向から2時の方向1.2mに障害物」といっ
た言葉で出力される。
【0029】3次元音像生成器2は例えば、演算部21
において所定の関数に従って演算を行い、モノラル音声
を2チャンネル以上の音に分解・合成し、ヘッドホン等
の再生装置である3次元音場発生部28から出力するも
のである。また、予め距離、方向について、多くのパタ
ーンをダミーヘッドによるバイノーラル録音等で記録し
ておき、これを選択して、適当な2チャンネル以上の音
で再生、出力してもよい。
【0030】次にこの実施の形態による障害物4が複数
存在する場合、および障害物4の色、温度なども認知す
るための動作を説明する。この場合、図2のセンサ3
a、カメラ3b、および3次元音像生成器2の演算部2
1の属性情報音像化手段23も必要とする。
【0031】図3、図4はこの実施の形態による3次元
音像による物体表現方法の、障害物4が複数存在する場
合、および障害物4の色、温度なども認知する場合の動
作を示すフローチャートである。図においてSlからS
18までの符号は手続き(ステップ)を表す。
【0032】図3のステップS1において、この実施の
形態に関わる3次元音像による物体の表現方法の動作が
開始される。ステップS2において、3次元センサ3に
よって、使用者1の近傍に存在する障害物4の方向、距
離、大きさの測定を行う。ステップS3において、存在
する障害物4の色、温度の測定を例えばカメラ3b、各
種センサ3aによって行う。
【0033】ステップS4において大きさ、色、温度に
対応する音像の選択および発生を行う。例えば、音声合
成で大きさ、色、温度を読み上げることでステップS4
を実現してもよい。図3のステップS4からステップS
7までと、図4のステップS9からステップS18まで
は、3次元音像生成器2の動作である。
【0034】ステップS5において、存在する障害物4
の方向と距離に合わせ上述の音像を3次元音像空間に音
像定位する。ステップS6ではステップS2からステッ
プS5までのくり返しを行い、複数の障害物4に対して
同様な動作を行う。ステップS7においては、くり返し
によってできた複数の3次元音像の畳み込み演算処理を
行う。そしてステップS8において、3次元音像による
障害物4の表現方法の動作が終了する。
【0035】次にステップS5による音像定位につい
て、図4を用いて説明する。ステップS9において、ス
テップS5による音像定位の動作が開始される。ステッ
プS10において、障害物4の左端の方向を例えば音声
「1時の方向」に合成して表現する。ステップS11に
おいて、ステップS10で合成した、方向を告げる音声
を、実際の障害物4と同じ方向、距離に音像定位する。
ステップS12において、障害物4の存在の境界に合わ
せて音像を移動させることで、例えば垂直に音源が移動
していく線音像5を出力する。
【0036】ステップS13において、障害物4の右端
の方向を例えば音声「2時の方向」に合成して表現す
る。ステップS14において、ステップS13で合成し
た、方向を告げる音声を、実際の障害物4と同じ方向、
距離に音像定位する。ステップS15において、障害物
4の存在の境界に合わせて音像を移動させることで、例
えば垂直に音源が移動していく線音像6を出力する。
【0037】ステップS16において、障害物4の距離
と障害物報知メッセージを音声に合成する。ステップS
17において、メッセージを障害物4と同じ方向、距離
に音像定位する。この時、ステップS12で出力される
方向とステップS15で出力される方向の間の、障害物
4が検出された面に合わせて、音像を移動させ、音像が
面に聞こえるようにして、面音像7を出力する。ステッ
プS18において、ステップS5に相当する音像定位の
動作が終了する。
【0038】また、上記実施の形態において、図1の面
音像7を距離を変化させながら連続して再生すること
で、立体音像として障害物4の大きさを表現してもよ
い。
【0039】
【発明の効果】以上のように、この発明によれば、物体
の少なくとも相対方向および距離の情報を検出する3次
元センサと、この3次元センサで検出された情報に従っ
て、該物体の少なくとも方向と距離を音声のみで直感的
に認知できるように表現する3次元音像を生成するため
の演算を行う3次元音像演算手段を含む演算部、および
この演算部の出力に従って上記3次元音像を発生する3
次元音場発生部からなる3次元音像生成器と、を備えた
3次元音像による物体表現装置およびその方法としたの
で、障害物などの物体の相対方向や距離に従った3次元
音像を発生することで、音のみで直感的に物体の存在お
よびそれの相対方向や距離を認知させることができる。
【0040】またこの発明では、特に物体の存在の境界
の線に合わせて線状に音像を移動させることにより、物
体の相対方向や距離をより正確かつ確実に認知させるこ
とができる。
【0041】またこの発明では、物体の存在の境界の面
に合わせて面状に音像を移動させることにより、物体の
相対方向や距離、さらには平面的な大きさを認知させる
ことができる。
【0042】またこの発明では、物体の存在に合わせて
立体状に音像を移動させることにより、物体の相対方向
や距離、さらには立体的な大きさを認知させることがで
きる。
【0043】またこの発明では、物体の属性情報を検出
して音声化して3次元音像と共に発生することにより、
物体の属性情報である色、温度等も合わせて認知させる
ことができる。
【0044】またこの発明では、複数の物体について検
出を行い、それぞれの3次元音像さらには属性情報を発
生するようにしたので、複数の物体の相対方向や距離を
音のみで直感的に認知させることができる。
【図面の簡単な説明】
【図1】 この発明の一実施の形態による3次元音像に
よる物体表現装置およびその方法を説明するための図で
ある。
【図2】 この発明の一実施の形態による3次元音像に
よる物体表現装置の構成を示すブロック図である。
【図3】 この発明の実施の形態による3次元音像によ
る物体表現装置の動作を示すフローチャートである。
【図4】 図3のステップS5の動作をより詳細に示す
フローチャートである。
【図5】 従来の音声による物体の表示方法を説明する
ための図である。
【符号の説明】 1 使用者、2 3次元音像生成器、3 3次元セン
サ、3a センサ、3bカメラ、4 障害物(物体)、
5,6 線音像、7 面音像、21 演算部、22 3
次元音像演算手段、23 属性情報音像化手段、28
3次元音場発生部。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04S 1/00 H04S 7/00 G01B 21/00 G01D 7/00 302 G01D 5/12 G01C 21/00

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 物体の少なくとも相対方向および距離の
    情報を検出する3次元センサと、 この3次元センサで検出された情報に従って、該物体の
    少なくとも方向と距離を音声のみで直感的に認知できる
    ように表現する3次元音像を生成するための演算を行う
    3次元音像演算手段を含む演算部、およびこの演算部の
    出力に従って上記3次元音像を発生する3次元音場発生
    部からなる3次元音像生成器と、 を備え 上記3次元音像演算手段が、上記物体の存在の境界の線
    に合わせて線状に音像を移動させる演算を行う ことを特
    徴とす3次元音像による物体表現装置。
  2. 【請求項2】 物体の少なくとも相対方向および距離の
    情報を検出する3次元センサと、 この3次元センサで検出された情報に従って、該物体の
    少なくとも方向と距離を音声のみで直感的に認知できる
    ように表現する3次元音像を生成するための演算を行う
    3次元音像演算手段を含む演算部、およびこの演算部の
    出力に従って上記3次元音像を発生する3次元音場発生
    部からなる3次元音像生成器と、 を備え、 上記3次元音像演算手段が、上記物体の存在の境界の面
    に合わせて面状に音像を移動させる演算を行うことを特
    徴とする3次元音像による物体表現装置。
  3. 【請求項3】 物体の少なくとも相対方向および距離の
    情報を検出する3次元センサと、 この3次元センサで検出された情報に従って、該物体の
    少なくとも方向と距離を音声のみで直感的に認知できる
    ように表現する3次元音像を生成するための演算を行う
    3次元音像演算手段を含む演算部、およびこの演算部の
    出力に従って上記3次元音像を発生する3次元音場発生
    部からなる3次元音像生成器と、 を備え、 上記3次元音像演算手段が、上記物体の存在に合わせて
    立体状に音像を移動させる演算を行うことを特徴とする
    3次元音像による物体表現装置
  4. 【請求項4】 3次元センサで検出された物体の、少な
    くとも方向と距離を 音声のみで直感的に認知できるよう
    に3次元音像により表現し、上記物体の存在の境界の線
    に合わせて線状に音像を移動させることを特徴とする3
    次元音像による物体表現方法。
  5. 【請求項5】 3次元センサで検出された物体の、少な
    くとも方向と距離を音声のみで直感的に認知できるよう
    に3次元音像により表現し、上記物体の存在の境界の面
    に合わせて面状に音像を移動させることを特徴とする3
    次元音像による物体表現方法。
  6. 【請求項6】 3次元センサで検出された物体の、少な
    くとも方向と距離を音声のみで直感的に認知できるよう
    に3次元音像により表現し、上記物体の存在に合わせて
    立体状に音像を移動させることを特徴とする3次元音像
    による物体表現方法。
JP01889898A 1998-01-30 1998-01-30 3次元音像による物体表現装置およびその方法 Expired - Fee Related JP3369458B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01889898A JP3369458B2 (ja) 1998-01-30 1998-01-30 3次元音像による物体表現装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01889898A JP3369458B2 (ja) 1998-01-30 1998-01-30 3次元音像による物体表現装置およびその方法

Publications (2)

Publication Number Publication Date
JPH11220799A JPH11220799A (ja) 1999-08-10
JP3369458B2 true JP3369458B2 (ja) 2003-01-20

Family

ID=11984412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01889898A Expired - Fee Related JP3369458B2 (ja) 1998-01-30 1998-01-30 3次元音像による物体表現装置およびその方法

Country Status (1)

Country Link
JP (1) JP3369458B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690562B1 (ko) 2005-06-20 2007-03-09 경북대학교 산학협력단 청각을 이용한 시각 재현 장치 및 제어방법
JP5389322B2 (ja) 2006-10-12 2014-01-15 ヤマハ株式会社 音像移動装置
JP2013013042A (ja) * 2011-06-02 2013-01-17 Denso Corp 立体音響装置

Also Published As

Publication number Publication date
JPH11220799A (ja) 1999-08-10

Similar Documents

Publication Publication Date Title
US10939225B2 (en) Calibrating listening devices
US11804027B2 (en) Method for generating a customized/personalized head related transfer function
JP6017854B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
KR102036545B1 (ko) 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
RU2719025C2 (ru) Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания
CN107533134A (zh) 用于至少检测物体在空间中的位置的方法和系统
JP7206027B2 (ja) 頭部伝達関数学習装置および頭部伝達関数推論装置
Strumillo et al. Different approaches to aiding blind persons in mobility and navigation in the “Naviton” and “Sound of Vision” projects
Yang et al. Hearing is believing: synthesizing spatial audio from everyday objects to users
JP3369458B2 (ja) 3次元音像による物体表現装置およびその方法
Mäkivirta et al. Accuracy of photogrammetric extraction of the head and torso shape for personal acoustic HRTF modeling
Bolaños et al. HRIR database with measured actual source direction data
Kubanek et al. Device for acoustic support of orientation in the surroundings for blind people
Watabe et al. Mental map generation assistance tool using relative pitch difference and angular information for visually impaired people
Bujacz et al. Sonification of 3d scenes in an electronic travel aid for the blind
JP6456171B2 (ja) 情報処理装置、情報処理方法及びプログラム
Fontana et al. A cross-modal electronic travel aid device
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
KR100690562B1 (ko) 청각을 이용한 시각 재현 장치 및 제어방법
KR100920952B1 (ko) 시각정보와 청각정보의 상호전환 시스템
Skulimowski et al. Interactive travel aid for the visually impaired: from depth maps to sonic patterns and verbal messages
WO2022220182A1 (ja) 情報処理方法、プログラム、及び情報処理システム
JP4534014B2 (ja) 視覚障害者のための歩行訓練環境生成システム
WO2020008655A1 (ja) 頭部伝達関数生成装置、頭部伝達関数生成方法およびプログラム
JP2001084484A (ja) 景色認識装置及び景色認識方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071115

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081115

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081115

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091115

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091115

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101115

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111115

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121115

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121115

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131115

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees