JP4264042B2 - 触覚情報伝達装置及び触覚情報伝達プログラム - Google Patents

触覚情報伝達装置及び触覚情報伝達プログラム Download PDF

Info

Publication number
JP4264042B2
JP4264042B2 JP2004260121A JP2004260121A JP4264042B2 JP 4264042 B2 JP4264042 B2 JP 4264042B2 JP 2004260121 A JP2004260121 A JP 2004260121A JP 2004260121 A JP2004260121 A JP 2004260121A JP 4264042 B2 JP4264042 B2 JP 4264042B2
Authority
JP
Japan
Prior art keywords
information
tactile
surrounding
dimensional
tactile information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004260121A
Other languages
English (en)
Other versions
JP2006079206A (ja
Inventor
百合子 鈴木
悟 近藤
忠裕 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2004260121A priority Critical patent/JP4264042B2/ja
Publication of JP2006079206A publication Critical patent/JP2006079206A/ja
Application granted granted Critical
Publication of JP4264042B2 publication Critical patent/JP4264042B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、触覚情報伝達装置及び触覚情報伝達プログラムに係り、特に、高精度な情報伝達を実現するための触覚情報伝達装置及び触覚情報伝達プログラムに関する。
近年では、バーチャルリアリティの進展により、仮想空間上の物体(立体オブジェクト)の立体形状を視覚、触覚へ伝達する研究がなされている(例えば、非特許文献1参照。)。非特許文献1では、コンピュータ上で生成された立体の空間的な情報を、機械的な反力で触覚受容器にフィードバックすることで仮想的に立体感を得ることができる。
また同様に、力覚ディスプレイのインターフェースとして、糸を使用して三次元の位置を計測し、同時に糸の張力で指先に任意の力を加えて触覚へ伝達する技術も提案されている(例えば、非特許文献2参照。)。非特許文献2では、指先に対して4本の糸を張り、ロータリーエンコーダで糸の長さを計測して指先の三次元位置を計算し、モータで糸の張力を制御して指先に任意の力を加えるものである。
また、これらの情報を利用して視覚や聴覚に障害を有するユーザに対し、視覚、聴覚以外の間隔を媒体に情報を伝達するための技術が提案されている(例えば、特許文献1参照。)。特許文献1は、触覚提示装置で触知している部分の名称や特徴を音声や点字で知らせるものである。
センサブルテクノロジー社、「PHAMToM」、[2004年7月7日検索]、インターネット<URL:http://www.nihonbinary.co.jp/virtual/phantom/index.htm> 東京工業大学 精密工学研究所、佐藤 誠、「ハプティックインターフェース SPIDER」、[2004年7月16日検索]、インターネット<URL:http://sklab−www.pi.titech.ac.jp/ ̄msato/spidar.pdf> 特開2002−125999号公報
ところで、仮想空間上の立体オブジェクトの立体情報を触覚で伝える手法は、現在の放送の分野では未だ確立されておらず、例えば、視覚に障害を有する人は、放送局からの映像及び音声に関して音声のみの伝達しか行われていない。そのため、正確な情報が伝達しきれない可能性がある。
ここで、上述した特許文献1に示されている多感覚情報伝達装置は、立体情報を提供することで触知している部分の名称や特徴を音声や点字で知らせるような手段が考えられている。しかしながら、立体オブジェクトから逸脱してしまうと、視覚情報がない状態で再度立体オブジェクトを触察するのに時間がかかってしまう恐れがある。そこで、視覚情報なしでも立体オブジェクトを容易に触察できる環境が必要である。
本発明は、上述した問題点に鑑みなされたものであり、高精度な情報伝達を実現するための触覚情報伝達装置及び触覚情報伝達プログラムを提供することを目的とする。
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
請求項1に記載された発明は、仮想空間上に形成される立体オブジェクトを触覚によりユーザに伝達するための触覚情報伝達装置において、前記立体オブジェクトのオブジェクト情報に含まれる立体情報に基づいて、前記立体オブジェクトを包囲する包囲オブジェクトを生成する包囲オブジェクト生成手段と、前記包囲オブジェクト生成手段により得られる包囲オブジェクトと、前記立体オブジェクトとを前記ユーザに提示する触覚提示出力手段と、前記ユーザが前記立体オブジェクトを触察する前記仮想空間上の位置情報を検出する位置検出手段と、前記位置検出手段により得られる位置情報に基づいて、前記立体オブジェクト又は前記包囲オブジェクトに対する触覚情報を生成する触覚情報生成手段とを有し、前記触覚情報生成手段は、前記位置情報が前記包囲オブジェクトよりも外側に移動できないようにするための触覚情報を生成することを特徴とする。
請求項1記載の発明によれば、高精度な情報伝達を実現することができる。具体的には、立体オブジェクト又は包囲オブジェクトに対応する触覚情報により仮想空間上のユーザの移動可能範囲を制限することで、ユーザの触察位置が立体オブジェクトから逸脱してしまった場合でも、視覚情報なしに容易に立体オブジェクトを再び触察することができる。これにより、例えば、視覚障害者や視覚と聴覚に重複して障害を持っているような盲ろう者でも触察する際に立体オブジェクトの位置を迷うことなく容易に触れることができる。
請求項に記載された発明は、前記触覚情報生成手段は、前記位置情報が前記包囲オブジェクトに接する場合、前記ユーザに音声又は点字により前記包囲オブジェクトと接していることを伝達するための触覚情報を生成することを特徴とする。
請求項記載の発明によれば、音声又は点字等の視覚情報以外の感覚情報を用いて、ユーザに触察位置情報を伝達することができる。
請求項に記載された発明は、前記包囲オブジェクト生成手段は、前記仮想空間上に提示される前記立体オブジェクトの立体情報から得られる3次元の軸の最大値及び最小値に基づいて、球状又は単位立方体群からなる包囲オブジェクトを生成することを特徴とする。
請求項記載の発明によれば、容易に包囲オブジェクトを生成することができる。これにより、立体オブジェクトを視覚情報なしに容易に触察することができ、高精度な情報伝達を実現することができる。
請求項に記載された発明は、前記包囲オブジェクト生成手段は、前記包囲オブジェクト内に磁場を発生させることを特徴とする。
請求項記載の発明によれば、ユーザは、立体オブジェクトから逸脱してしまっても、磁場により立体オブジェクトに引き寄せられるため、視覚情報なしに容易に立体オブジェクトを再度触察することができる。
請求項に記載された発明は、前記包囲オブジェクト生成手段は、前記仮想空間上に提示される前記包囲オブジェクトが複数存在する場合、包囲オブジェクト間を連結する連結オブジェクトを生成することを特徴とする。
請求項記載の発明によれば、立体オブジェクトが仮想空間上に複数存在する場合に包囲オブジェクト間を連結する連結オブジェクトを生成し、ユーザが視覚情報のない状態であっても立体オブジェクト間の触察位置の移動を容易に行うことができる。
請求項に記載された発明は、前記立体オブジェクトを画面に出力するための画面提示出力制御手段を有し、前記画面提示出力制御手段は、前記包囲オブジェクト及び/又は前記連結オブジェクトを透明又は半透明にして表示されるよう制御することを特徴とする。
請求項記載の発明によれば、包囲オブジェクトにより囲まれた立体オブジェクトを画面に表示することができる。また、半透明にして健常者が包囲オブジェクトを実際に触れて形状や触覚感を認知することで、新たな感覚を引き起こす可能性を生み出すことができる。
請求項に記載された発明は、仮想空間上に形成される立体オブジェクトを触覚によりユーザに伝達する処理をコンピュータに実行させるための触覚情報伝達プログラムにおいて、コンピュータを、前記立体オブジェクトのオブジェクト情報に含まれる立体情報に基づいて、前記立体オブジェクトを包囲する包囲オブジェクトを生成する包囲オブジェクト生成手段、前記包囲オブジェクト生成手段により得られる包囲オブジェクトと、前記立体オブジェクトとを前記ユーザに提示する触覚提示出力手段、前記ユーザが前記立体オブジェクトを触察する前記仮想空間上の位置情報を検出する位置検出手段、及び、前記位置検出手段により得られる位置情報に基づいて、前記立体オブジェクト又は前記包囲オブジェクトに対する触覚情報を生成する触覚情報生成手段として機能させ、前記触覚情報生成手段は、前記位置情報が前記包囲オブジェクトよりも外側に移動できないようにするための触覚情報を生成することを特徴とする
請求項記載の発明によれば、高精度な情報伝達を実現することができる。また、特別な装置構成を必要とせず、低コストで触覚情報伝達処理を実現することができる。更に、プログラムをインストールすることにより、容易に触覚情報伝達処理を実現することができる。
本発明によれば、立体オブジェクトを視覚情報なしに容易に触察することができる。これにより、高精度な情報伝達を実現することができる。
<本発明の概要>
本発明は、仮想空間上にある立体オブジェクトを予め設定される範囲で囲む新たな領域オブジェクト(包囲オブジェクト)を生成し、ユーザの移動範囲を制限することにより、視覚情報がなくても容易に立体オブジェクトを再度触察することができる。これにより、ユーザに対して高精度な情報伝達を実現することができる。
以下に、本発明における触覚情報伝達装置及び触覚情報伝達プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下に示す本発明に係る実施形態の一例として、放送番組で用いられる映像情報を触覚で提示して伝えるための触覚情報伝達装置を用いて説明するが、他の実施形態でも適用可能である。上述の触覚情報伝達装置の場合、例えば、立体の形状や硬さ、音声情報等のデータ等を番組とは別に統合ディジタル放送(ISDB:Integrated Services Digital Broadcasting)のデータ放送、あるいはインターネット等の通信により受信し、受信したデータから仮想の立体オブジェクトを生成することで、ユーザに視聴覚の他に触覚でも提示することができる。
<実施形態>
まず、本発明の触覚情報伝達装置が用いられる触覚情報伝達システムの例について図を用いて説明する。図1は、触覚情報伝達システムの概要構成の一例を示す図である。
図1に示す触覚情報伝達システム1は、送信装置2と、受信装置3と、触覚情報伝達装置4とを有するよう構成されている。また、送信装置2と受信装置3とは、例えばインターネット等のネットワーク網5やTV放送等の放送網6を介して接続されている。
送信装置2は、図・立体オブジェクト情報生成手段11と、放送番組コンテンツ入力手段12と、インターネット発信手段13と、データ放送多重手段14と、TV送信手段15とを有するよう構成されている。
図・立体オブジェクト情報生成手段11は、例えば放送番組で用いられる美術品や建物、人形等の図、立体の位置、固さ、表面性、形状等の立体情報を検出する。なお、空間上の実体として存在しない場合は、上述の立体情報を設定する。また、図・立体オブジェクト情報生成手段11は、検出又は設定した立体情報に基づいてオブジェクト情報を生成する。
ここで、図・立体オブジェクト情報生成手段11は、例えば上述の特許文献1に示されているような手法等によりオブジェクト情報を生成する。具体的には、図・立体オブジェクト情報生成手段11は、放送番組で用いられる図、立体等(以下、「オブジェクト」という)の表面を適切な数に分割した部分(以下、「ポリゴン」という)に分割し、分割した各ポリゴンの空間位置、固さ、表面性、形状等のテクスチャ(Texture)を立体情報として検出する。
また、名称、特徴等を表すタグ情報を付加する空間位置を指定し、指定された空間位置に含まれるポリゴンを選択し、選択した各ポリゴンの仮想空間上の位置を検出する。また、各ポリゴンにタグ情報を付加して、各ポリゴンの立体情報、タグ情報等からオブジェクト情報を生成する。最後に、オブジェクト情報をVRML(Virtual Reality Modeling Language)等で符号化し、符号化したオブジェクト情報(以下、「符号化オブジェクト情報」という)にURL(Uniform Resource Locator)を付加し、URLを付加した符号化オブジェクト情報をインターネット発信手段13に出力する。
なお、図・立体オブジェクト情報生成手段11は、符号化オブジェクト情報をネットワーク網5を利用して送信する場合には、URLをデータ放送多重手段14に出力し、放送網6を利用して送信する場合には、符号化オブジェクト情報のインデックス又はアドレスをデータ放送多重手段14に出力する。
インターネット発信手段13は、図・立体オブジェクト情報生成手段11から得られる符号化オブジェクト情報をネットワーク網5に送信する。一方、データ放送多重手段14は、図・立体オブジェクト情報生成手段11から得られる符号化オブジェクト情報をデータ放送用データに挿入してTV送信手段15に出力する。
具体的には、データ放送多重手段14は、符号化オブジェクト情報、URL、インデックス又はアドレス等をデータ放送用データに挿入してTV送信手段15に出力する。
TV送信手段15は、放送番組コンテンツ入力手段12から通常の放送番組用データを入力し、またデータ放送多重手段14からデータ放送用データを入力して放送番組用データ及びデータ放送用データをTV放送波として放送網6に送信する。ネットワーク網5に送信された符号化オブジェクト情報及び放送網6に送信されたTV放送波は、受信装置3に受信される。
次に、受信装置3について説明する。受信装置3は、インターネット受信手段16と、TV受信手段17と、データ放送受信手段18とを有するよう構成されている。インターネット受信手段16は、ネットワーク網5を介して符号化オブジェクト情報を受信する。インターネット受信手段16は、受信した符号化オブジェクト情報を触覚情報伝達装置4の図・立体オブジェクト情報再生手段19に出力する。
なお、インターネット受信手段16は、受信した符号化オブジェクト情報からURLを抽出し、抽出したURLからインターネット網5を介してサーバ等から符号化オブジェクト情報や立体情報等をダウンロードにより取得することができる。
TV受信手段17は、放送網6からTV放送波を受信し、受信したTV放送波から放送番組用データ及びデータ放送用データを検出する。また、TV受信手段17は、検出した放送番組用データを触覚情報伝達装置4の放送番組コンテンツ表示手段23に出力すると共に、データ放送用データをデータ放送受信手段18に出力する。
データ放送受信手段18は、入力したデータ放送用データから符号化オブジェクト情報を検出し、検出した符号化オブジェクト情報を触覚情報伝達装置4の
図・立体オブジェクト情報再生手段19に出力する。
次に、触覚情報伝達装置4について説明する。触覚情報伝達装置4は、図・立体オブジェクト情報再生手段19と、触覚・力覚提示手段20と、音声・点字出力手段21と、画面出力手段22と、放送番組コンテンツ表示手段23とを有するよう構成されている。
図・立体オブジェクト情報再生手段19は、インターネット受信手段16、又はデータ放送受信手段18とから得られる符号化オブジェクト情報を入力し、その情報に基づいて放送番組で用いられる図、立体の位置、固さ、表面性、形状等の立体情報を再生する。また、図・立体オブジェクト情報再生手段19は、再生した立体情報に基づいて、触覚・力覚提示手段20、音声・点字出力手段21、画面出力手段22を制御する制御信号をそれぞれに出力する。
触覚・力覚提示手段20は、図・立体オブジェクト情報再生手段19からの制御信号に基づいて放送番組で用いられる図、立体を触覚で提示する。音声・点字出力手段21は、図・立体オブジェクト情報再生手段19からの制御信号に基づいて放送番組で用いられる図、立体に関する情報を音声又は点字で出力する。
画面出力手段22は、図・立体オブジェクト情報再生手段19からの制御信号に基づいて放送番組で用いられる図、立体を画像で出力する。また、放送番組コンテンツ表示手段23は、TV受信手段17から送信される放送番組用データを受信し、放送番組を表示する。
このように、本発明の触覚情報伝達システム1は、通常の放送番組用データとは別に放送番組で用いられる図、立体の位置、固さ、表面性、形状等の立体情報をネットワーク網5や放送網6を用いて伝送することができ、受信側で図、立体の位置、固さ、表面性、形状等を視覚、触覚、聴覚等の多感覚で提示することが可能である。
次に、本発明における触覚情報伝達装置4について、図を用いて具体的に説明する。図2は、本発明における触覚情報伝達装置の一構成例を示す図である。図2に示す触覚情報伝達装置4について、図・立体オブジェクト情報再生手段19は、オブジェクト情報復号手段31と、包囲オブジェクト生成手段32と、オブジェクト触覚情報生成手段33と、触覚位置ポインタ付加手段34と、画像提示出力制御手段35と、タグ情報抽出出力制御手段36と、触覚提示出力制御手段37と、触覚提示位置検出手段38とを有するよう構成されている。
オブジェクト情報復号手段31は、インターネット受信手段16又はデータ放送受信手段18から得られるVRML等で符号化された符号化オブジェクト情報を復号化し、復号化したオブジェクト情報に基づいてオブジェクトの立体情報、タグ情報等を再生する。また、オブジェクト情報復号手段31は、再生した立体情報、タグ情報を包囲オブジェクト生成手段32、オブジェクト触覚情報生成手段33、及び画像提示出力制御手段35に出力する。
包囲オブジェクト生成手段32は、復号化したオブジェクトの立体情報、タグ情報等に基づいて、そのオブジェクトを所定の範囲で包囲するオブジェクトを生成する。具体的には、立体情報から得られるオブジェクトの頂点情報やオブジェクトの提示領域を3次元とした場合に立体オブジェクトにおけるx、y、z軸のそれぞれの最大値、最小値等を求め、包囲オブジェクトの形状、立体オブジェクトにおける包囲オブジェクトの包囲範囲、表面性、固さ等の包囲オブジェクトの立体情報、タグ情報を生成する。次に、包囲オブジェクト生成手段32は、包囲オブジェクトの立体情報をオブジェクト触覚情報生成手段33及び画面提示出力制御手段35に出力する。
なお、立体オブジェクトが触覚情報を提示する仮想空間上(触覚情報提示空間上)に複数存在する場合、立体オブジェクト毎に対応して生成される包囲オブジェクト間を連結する連結オブジェクトを生成し、立体オブジェクト間の触察位置(触覚位置ポインタ)の移動を容易に行うことができるようにする。この場合には、包囲オブジェクト生成手段32は、連結オブジェクトの立体情報、タグ情報も生成する。連結オブジェクトについての説明は後述する。
オブジェクト触覚情報生成手段33は、立体オブジェクト及び包囲オブジェクト(連結オブジェクトも含む。)の立体情報、タグ情報に基づいて触覚情報を生成し、生成した触覚情報を触覚提示出力制御手段37に出力する。
また、触覚提示出力制御手段37は、入力された触覚情報を伝達するため、例えば「PHAMToM(センサブルテクノロジー社)」のような触覚・力覚提示手段20の駆動制御を行う。また、触覚・力覚提示手段20は、触覚提示出力制御手段37の制御に対応してオブジェクトを触覚情報としてユーザが取得できるように提示する。
触覚提示位置検出手段38は、ユーザの手や指先等が触れている触察部分の位置情報を検出し、検出した位置情報をオブジェクト触覚情報生成手段33にフィードバックする。オブジェクト触覚情報生成手段33は、触察部分の位置情報からその触察部分に対応する触覚情報を生成し、生成した触覚情報を再び触覚提示出力制御手段37に出力する。
つまり、ユーザが手や指先等を移動させることにより、その触察部分の位置情報を触覚提示位置検出手段38で検出し、検出した位置情報がオブジェクト触覚情報生成手段33にフィードバックされ、フィードバックされた位置情報からその触察部分に対応する触覚情報が順次生成される。
そして、オブジェクト触覚情報生成手段33は、順次生成した触覚情報を触覚提示出力制御手段37に出力し、触覚・力覚提示手段20による反力等を制御することにより、あたかもオブジェクトが存在するような感覚をユーザに与えることができ、ユーザに立体形状を触覚で認識させることができる。
更に、包囲オブジェクト又は連結オブジェクトにより、ユーザの触覚情報提示空間上(仮想空間上)の触察位置の移動範囲を制限し、触察位置が立体オブジェクトから逸脱した場合でも、容易に立体オブジェクトを再度触察することができる。
ここで、具体的に説明すると、まずユーザの触察位置が立体オブジェクトから離れていくと、包囲オブジェクト又は連結オブジェクトに接触することになる。このとき、包囲オブジェクト又は連結オブジェクトから外にポインタが行かないように反力等を加えたり音声による警告をすることにより、立体オブジェクトを再度触察し易くすることができる。これにより、目の不自由な人にとっても操作性を向上させることができる。
また、オブジェクト触覚情報生成手段33は、オブジェクト情報復号手段31、包囲オブジェクト生成手段32、及び触覚提示位置検出手段38から得られた触察情報とタグ情報とをタグ情報抽出出力制御手段36に出力する。タグ情報抽出出力制御手段36は出力された供給された触察情報とタグ情報とを利用して触察部分のタグ情報を抽出し、抽出したタグ情報に応じて音声・点字出力手段21の駆動制御を行う。
音声・点字出力手段21は、タグ情報抽出出力制御手段36の制御信号に基づいて音声情報又は点字情報を出力する。つまり、ユーザの手や指先等が触れている触察部分の名称や特徴等を位置情報及びタグ情報から取得し、音声又は点字でユーザに伝達することができる。
また、オブジェクト触覚情報生成手段33は、触察情報を触覚位置ポインタ付加手段34に出力する。触覚位置ポインタ付加手段34は、触覚提示位置検出手段38で検出された触察部分の位置をポインタとして画面上に付加するための情報を生成し、その情報を画面提示出力制御手段35に出力する。
画面提示出力制御手段35は、オブジェクト情報復号手段31から入力した立体オブジェクトと、包囲オブジェクト生成手段32から入力した包囲オブジェクト又は連結オブジェクトと、触覚位置ポインタ付加手段34から入力したポインタとを画面出力手段22に表示させるための駆動制御を行う。
なお、画面提示出力制御手段35は、包囲オブジェクト及び/又は連結オブジェクトを透明又は半透明にして表示されるよう制御する。これにより、包囲オブジェクトにより囲まれた立体オブジェクトを画面に表示することができる。また、半透明にして健常者が包囲オブジェクトを実際に触れて形状や触覚感を認知することで、新たな感覚を引き起こす可能性を生み出すことができる。
画面出力手段22は、画面提示出力制御手段35の制御信号に基づいてオブジェクト、ポインタを画面に表示する。放送番組コンテンツ表示手段23は、TV受信部17から送信される放送番組用データを受信し、放送番組を表示する。また、放送番組コンテンツ表示手段23は、データ番組用データが含まれる場合は、データ番組を表示する。
このように、触覚情報伝達装置により放送番組で用いられる図・立体のオブジェクトを仮想的に空間上に触覚で検知できる物体として存在し、触れる位置により部分の名称、特徴を音声や点字等を用いて伝達することができる。
したがって、ユーザは触覚で検知できる物体を触れつつ触れている位置の名称、特徴を音声、点字で確認することができ、美術品等の立体形状を容易に理解できる。これにより、ユーザは、立体オブジェクトを視覚情報なしに容易に触察することができ、高精度な情報伝達を実現することができる。
また、例えば視覚障害者や盲ろう者が触察する際にもオブジェクトの位置を迷うことなく容易に触れることができる。なお、上述した触覚情報伝達装置は、視覚情報等を提供することもできる。
また、上述の実施形態では、触覚提示を行う触覚受容器の一例として触覚・力覚提示手段20を利用したが、これに限るものではなく、マイクロマシン又はその他のアクチュエータ等で形成される触覚受容器であってもよい。また、本実施形態では、符号化オブジェクト情報をネットワーク網5又は放送網6を利用して伝送する例について説明したが、伝送容量に応じてネットワーク網5及び放送網6を併用する伝送、ネットワーク網5又は放送網6の何れか一方のみを利用する伝送等が可能である。
ここで、本発明における触覚情報伝達装置は、上述した専用の装置構成により本発明における触覚情報の伝達処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における触覚情報伝達処理を実現することができる。
<ハードウェア構成>
ここで、本発明における触覚情報の伝達処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図3は、本発明における触覚情報伝達処理が実現可能なハードウェア構成の一例を示す図である。
図3におけるコンピュータ本体には、入力装置41と、出力装置42と、ドライブ装置43と、補助記憶装置44と、メモリ装置45と、各種制御を行うCPU(Central Processing Unit)46と、ネットワーク接続装置47とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
入力装置41は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置42は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU46が有する制御プログラムにより触覚情報伝達処理における実行経過や結果等を表示することができる。
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、CD−ROM等の記録媒体48等により提供される。プログラムを記録した記録媒体48は、ドライブ装置43にセット可能であり、記録媒体48に含まれる実行プログラムが、記録媒体48からドライブ装置43を介して補助記憶装置44にインストールされる。
補助記憶装置44は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
CPU46は、OS(Operating System)等の制御プログラム、及びメモリ装置45により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、触覚情報伝達における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置44から取得することができ、また格納することもできる。
ネットワーク接続装置47は、ネットワーク網等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで触覚情報伝達処理を実現することができる。また、プログラムをインストールすることにより、容易に触覚情報の伝達処理を実現することができる。
<包囲オブジェクト又は連結オブジェクトの実施例>
次に、本発明の触覚情報伝達で適用される包囲オブジェクト又は連結オブジェクトについて具体的な実施例を用いて説明する。
<実施例1>
まず、実施例1として、包囲オブジェクトが球状である場合における立体オブジェクトの触覚情報の伝達処理手順について説明する。図4は、包囲オブジェクトの実施例1を説明するための一例のフローチャートである。
図4において、まず、図・立体オブジェクト情報再生手段19が、符号化オブジェクト情報から立体情報を取得する(S01)。具体的には、TV受信手段17で受信される立体オブジェクト情報のデータ放送のアドレスやURLが抽出され、これらの情報に基づいて立体情報をダウンロードする。また、インターネットより配信される立体オブジェクト情報は、インターネット受信手段16を介してダウンロードされる。
なお、ダウンロードされたデータは、VRMLや高品質なカラーイメージで立体オブジェクトを創作するために作られたグラフィックスハードウェアのために用意されたソフトウェアインターフェースであるOpenGL等の記述形式の立体オブジェクト情報、多重化された音声データ等となっているため、その情報を立体情報として取得する。
次に、取得した立体情報を復号する(S02)。また、包囲オブジェクトを生成するため、立体情報から提示装置等に提示される3次元座標(X、Y、Z)の最大値(Xmax、Ymax、Zmax)、最小値(Xmin、Ymin、Zmin)を取得する(S03)。
次に、取得した3次元座標の最大値、最小値から立体オブジェクトを囲む球状の包囲オブジェクトを生成する(S04)。具体的には、仮想の立体オブジェクトを囲む球の半径を決定して立体を囲む球体を生成する。このとき、包囲する範囲は、ユーザの設定や触覚・力覚提示手段20の動作環境等により異なるため、予め可変に設定することができるパラメータ値等に基づいて設定される。
なお、このとき生成される球体は透明又は半透明とする。したがって、画面出力手段22により立体オブジェクトと包囲オブジェクトが表示された場合でも、包囲オブジェクトにより立体オブジェクトが見えなくなるということはない。
また、S04では、生成する球体の法線ベクトルを中心部に反転させる処理を行う。S04にて、包囲オブジェクトを生成後、S02にて得られる立体情報から生成される立体オブジェクトと、S04にて生成した包囲オブジェクトとを合成する(S05)。次に、それぞれの提示装置に適した信号で立体情報を再生し(S06)、各提示装置に出力する(S07)。
これにより、包囲オブジェクトを有する立体オブジェクトを提示させることができる。また、S04では、生成する球体の法線ベクトルを反転させる処理を行うため、触覚・力覚提示手段20にてポインタが包囲オブジェクトの外側から入る場合には、反力等が加わらない。一方、包囲オブジェクトの内側から外側にポインタを移動させようとした場合、包囲ベクトルとの接点より外に移動させることができなくすることができる。
また、生成した球の法線を反転させ、ユーザの触察位置が包囲オブジェクト(球体)の内側からに接触した場合には、「ここは壁である」等のタグ情報を付加し、そのタグ情報に基づいてユーザに音声等の出力(警告)を行うことができる。
これにより、ユーザは、立体オブジェクトから逸脱した場合でも視覚情報なしに容易に立体オブジェクトを再度触察することができる。なお、立体オブジェクトを囲む包囲オブジェクトは球体に限定されず、例えば楕円や円錐、直方体等でもよく、それらを組み合わせてもよい。
ここで、図4によりユーザに提示されるオブジェクトの例について図を用いて説明する。図5は、実施例1によりユーザに提示されるオブジェクトについて説明するための一例の図である。なお、図5(a)は、立体オブジェクトのみが提示された例を示し、図5(b)は、立体オブジェクトと包囲オブジェクトとが提示されている例を示している。
図5(a)に示すように、従来では仮想空間としての触覚情報提示空間51の所定の位置に立体オブジェクト52のみが提示される。しかしながら、本発明では、図5(b)に示すように上述した球状の包囲オブジェクト53が、立体オブジェクト52を囲む状態で提示されている。また、本発明により図5(b)の斜線で示す範囲内しか触察位置(触覚位置ポインタ)の移動ができないように設定される。これにより、ユーザが触察する際、立体オブジェクトから逸脱した場合でも視覚情報なしに容易に立体オブジェクトを再度触察することができる。なお、包囲オブジェクト53は、透明でも半透明でもよく立体オブジェクト52が認識できる程度の透過度を有していればよい。
<実施例2>
次に、実施例2として、包囲オブジェクトが単位立方体群からなる場合における立体オブジェクトの触覚情報の伝達処理手順について説明する。図6は、包囲オブジェクトの実施例2を説明するための一例のフローチャートである。また、図7は、図6の処理ステップに対応して形成されるオブジェクトの一例を示す図である。
図6において、まず上述したように符号化オブジェクト情報から立体情報を取得する(S11)。また、取得した立体情報を復号する(S12)。これにより、図7(a)に示す立体オブジェクトの形状を取得できる。
次に、包囲オブジェクトを生成するため、立体情報から提示装置等に提示される3次元座標(X、Y、Z)の最大値(Xmax、Ymax、Zmax)、最小値(Xmin、Ymin、Zmin)を取得する(S13)。
次に、取得した3次元座標の最大値、最小値から、図7(b)に示すように立体オブジェクトを囲む立方体の包囲オブジェクトを生成する(S14)。また、立方体を図7(c)に示すようにnの単位立方体に分割する(S15)。ここで、単位立方体毎の位置は触覚情報提示空間上に、例えば「aijk」で表すことができる。
また、S12により得られる復号された立体情報から頂点情報を抽出する(S16)。その後、S16にて得られる立体オブジェクトの頂点情報を包含する単位立方体を抽出する(S17)。例えば、ある頂点が2つの立方体に接していれば、2つの単位立方体を共に抽出する。抽出された単位立方体群は図7(d)のように示され、「a000、a001、・・・、aijk、annn」と表される。
次に、S17にて得られる単位立方体群を連結し、図7(e)に示すように1つのオブジェクトを生成する(S18)。S18にて、生成されたオブジェクトが包囲オブジェクトとなる。また、包囲オブジェクトは、透明又は半透明で生成する。更に、包囲オブジェクトの外面以外は全て空洞となるようにし、外面の面ベクトルは内側を向くようにする。また、ユーザの触察位置が包囲オブジェクトの内側から接触した場合には、「ここは壁である」等のタグ情報を付加し、そのタグ情報に基づいてユーザに音声等の出力(警告)を行うことができる。
ここで、生成された包囲オブジェクトの立体情報と、S12から得られる復号された立体情報とを図7(f)に示すように合成し(S19)、合成した立体情報をそれぞれの提示装置に適した信号で再生し(S20)、各提示装置に出力する(S21)。これにより、立体オブジェクトの形に対応して包囲オブジェクトを生成することができるため、立体オブジェクトから離れる範囲も略一定にすることができる。
ここで、図6によりユーザに表示されるオブジェクトの例について図を用いて説明する。図8は、実施例2によりユーザに提示されるオブジェクトについて説明するための一例の図である。
図8に示すように、触覚情報提示空間51の所定の位置に図6の処理にて生成された包囲オブジェクト54が、立体オブジェクト52を囲む状態で提示されている。実施例2では、本発明により斜線で示す範囲内しか触察位置の移動ができないように設定される。これにより、ユーザが触察する際、立体オブジェクトから逸脱した場合でも視覚情報なしに容易に立体オブジェクトを再度触察することができる。
なお、実施例1と同様に包囲オブジェクト54は、透明でも半透明でもよく、立体オブジェクト52が認識できる程度の透過度を有していればよい。
<実施例3>
ここで、立体オブジェクトが触覚情報提示空間上に複数存在する場合は、包囲オブジェクトがあっても、複数の立体オブジェクトが離れている場合には、視覚情報がなければ一方の立体オブジェクトから他方の立体オブジェクトにポインタを移動させることは非常に困難となる。
そこで、実施例3として、立体オブジェクトが触覚情報提示空間上に複数存在する場合に包囲オブジェクト間を連結する連結オブジェクトを生成することで、ユーザが視覚情報がない状態であっても立体オブジェクト間のポインタの移動を容易に行うことができるようにする。
ここで、上述した連結オブジェクトを含む立体オブジェクトの触覚情報の伝達処理手順について説明する。図9は、連結オブジェクトを含む包囲オブジェクトの実施例3を説明するための一例のフローチャートである。なお、図9では、触覚情報提示空間上に複数の立体オブジェクトが存在するものとして説明する。
図9において、まず上述したように符号化オブジェクト情報から立体情報を取得する(S31)。また、取得した立体情報を復号する(S32)。
次に、取得した立体オブジェクトの数をカウントし、更に包囲オブジェクト、連結オブジェクトを生成するために変数の初期値設定を行う(S33)。なお、S33では、例えばカウント値nとオブジェクトを識別するための変数i(初期値0)とを設定しておく。
ここで、立体オブジェクトのカウント値nと、変数iとが一致しているかを判断する(S34)。立体オブジェクトのカウント値nと変数iとが一致していない場合(S34において、NO)、変数iに1を増加し(S35)、i番目の立体オブジェクトを囲む包囲オブジェクト(N)を生成する(S36)。
次に、生成した包囲オブジェクトの数が1であるか否かを判断する(S37)。つまり、生成した包囲オブジェクトの数が1つ目である場合である場合(S37において、YES)、S34に戻り以降の処理を行う。
また、S37にて、包囲オブジェクトの数が1つ目でない場合(S37において、NO)、今回生成した包囲オブジェクトNと、その前に生成した包囲オブジェクトNi−1とを連結する連結オブジェクトCi−1を生成する(S38)。
なお、連結オブジェクトを生成する際には、例えば2つの包囲オブジェクトとのそれぞれの重心を基準として所定の範囲を有する円筒又は立方等からなる形状のオブジェクトを生成する。その後、S34に戻り、全ての立体オブジェクトに対して上述の処理行う。ここで、S34においてカウント値nと変数iとが一致している場合(S34において、YES)、包囲オブジェクトと連結オブジェクトとを連結する(S39)。また、生成する包囲オブジェクト及び連結オブジェクトは透明又は半透明で生成する。更に、包囲オブジェクト及び連結オブジェクトの内側は全て空洞となるようにし、外面の面ベクトル(オブジェクトが円型部を有する場合は法線ベクトル)は内側を向くようにする。また、ユーザの触察位置が包囲オブジェクト又は連結オブジェクト内側から外面に接触した場合には、「ここは壁である」等のタグ情報を付加し、そのタグ情報に基づいてユーザに音声等の出力(警告)を行うことができる。なお、触察位置が連結オブジェクトの空間上にある場合は、「立体オブジェクトの連結部である」等のタグ情報を付加することもできる。
ここで、生成された包囲オブジェクト、連結オブジェクトの立体情報と、S32から得られる復号された立体情報とを合成し(S40)、合成した立体情報をそれぞれの提示装置に適した信号で立体情報を再生し(S41)、各提示装置に出力する(S42)。
これにより、立体オブジェクトが触覚情報提示空間上に複数存在する場合に包囲オブジェクト間を連結する連結オブジェクトを生成し、ユーザが視覚情報のない状態であっても立体オブジェクト間のポインタの移動を容易に行うことができる。
ここで、図9によりユーザに提示されるオブジェクトの例について図を用いて説明する。図10は、実施例3によりユーザに提示されるオブジェクトについて説明するための一例の図である。なお、図10(a)は、立体オブジェックのみが提示された例を示し、図10(b)は、立体オブジェクト、包囲オブジェクト、及び連結オブジェクトが提示されている例を示している。また、図10では、実施例1に基づき生成される球体の包囲オブジェクトを示している。
図10(a)に示すように、従来では触覚情報提示空間51の所定の位置に複数の立体オブジェクト52−1、52−2が表示される。しかしながら、図10(a)の場合、視覚情報なしではオブジェクト間の移動を行うのが困難となる。
そこで、本発明では図10(b)に示すように包囲オブジェクト53−1が立体オブジェクト52−1を囲むように提示され、包囲オブジェクト53−2が立体オブジェクト52−2を囲むように提示される。更に、包囲オブジェクト53−1と、包囲オブジェクト53−2とを連結するように連結オブジェクト55が提示される。
つまり、本発明により図10(b)の斜線又は網線で示す範囲内しか触察位置の移動ができないように設定される。これにより、ユーザが触察する際、立体オブジェクトから逸脱した場合でも視覚情報なしに容易に立体オブジェクトを再度触察することができる。また、連結オブジェクトを設けているため、立体オブジェクト間の移動も容易に行うことができる。
<実施例4>
上述した実施例1〜3は、立体オブジェクトに対して包囲オブジェクト又は連結オブジェクトよりも外側に触察位置(触覚位置ポインタ)が行かないようにするものであったが、仮想空間としての触覚情報提示空間上において、例えば立体オブジェクトに基づいて磁場を発生するようにしてもよい。これは、触覚情報提示空間上で触覚位置ポインタが立体オブジェクトに磁石のように引き付けられるイメージである。
ここで、上述の内容を実施例4として立体オブジェクトの触覚情報の伝達処理手順について説明する。図11は、実施例4を説明するための一例のフローチャートである。まず、上述と同様に符号化オブジェクト情報から立体情報を取得する(S51)。
次に、取得した立体情報を復号する(S52)。次に、提示空間と立体オブジェクトの関係から空間内の磁場を設定する(S53)。ここでは、立体情報の重心や位置等に基づいて磁場を設定する。また、このとき、磁場の強度や、距離に応じて減少する磁力の設定等の行う。次に、S52にて得られる立体情報から生成される立体オブジェクトと、S53から得られる磁場情報とを合成し(S54)、それぞれの提示装置に適した信号で立体情報を再生して(S55)、各提示装置に出力する(S56)。
これにより、ユーザは、立体オブジェクトから逸脱してしまっても、磁場により立体オブジェクトに引き寄せられるため、視覚情報なしに再度立体オブジェクトを触察することができる。
ここで、図11によりユーザに提示されるオブジェクトの例について図を用いて説明する。図12は、実施例4によりユーザに提示されるオブジェクトについて説明するための一例の図である。
図12(a)に示すように、触覚情報提示空間51の所定の位置に立体オブジェクト52が表示される。このとき、触覚情報提示空間51内に磁場を発生することにより、ユーザの触察位置が立体オブジェクトから逸脱した場合でも図12(a)の矢印方向に引き寄せられるため、容易に立体オブジェクトを再度触察することができる。
なお、上述の実施例1〜4は、それぞれが2つ以上の実施例を組み合わせて使用することができる。したがって、図12(b)に示すように、上述した包囲オブジェクトを生成し、その包囲オブジェクトの内部でのみ磁場を発生させることもできる。
上述したように本発明によれば、高精度な情報伝達を実現することができる。具体的には、包囲オブジェクトにより仮想空間上のユーザの移動可能範囲を制限することで、ユーザの触察位置が立体オブジェクトから逸脱してしまった場合でも、視覚情報なしに容易に立体オブジェクトを再び触察することができる。これにより、例えば、視覚障害者や視覚と聴覚に重複して障害を持っているような盲ろう者でも触察する際に立体オブジェクトの位置を迷うことなく容易に触れることができる。
また、包囲オブジェクトを半透明にして画面に表示することで、健常者が包囲オブジェクトを実際に触れて形状や触覚感を認知することで、新たな感覚を引き起こす可能性を生み出すことができる。
また、上述した包囲オブジェクト及び連結オブジェクトにユーザの触察位置が接触した場合に、音声や点字等、又は上述した磁場等の実施例を組み合わせてユーザに知らせることにより、使用性を向上させることができる。
なお、上述した実施形態では、放送とインターネットを利用して放送番組に用いられた立体形状を視覚・聴覚・触覚を含めて伝達できる例を説明したが、本発明の適用範囲はこの限りではなく、例えば、放送とインターネットを併用した伝送、あるいは、伝送容量が十分であるときにはそれぞれ単独の伝送について適用することができる。また、立体情報があれば、放送・インターネットを使用して符号化オブジェクト情報等を取得せずに、本発明における触覚情報の伝達が可能となる。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
触覚情報伝達システムの概要構成の一例を示す図である。 本発明における触覚情報伝達装置の一構成例を示す図である。 本発明における触覚情報伝達処理が実現可能なハードウェア構成の一例を示す図である。 包囲オブジェクトの実施例1を説明するための一例のフローチャートである。 実施例1によりユーザに提示されるオブジェクトについて説明するための一例の図である。 包囲オブジェクトの実施例2を説明するための一例のフローチャートである。 図6の処理ステップに対応して形成されるオブジェクトの一例を示す図である。 実施例2によりユーザに提示されるオブジェクトについて説明するための一例の図である。 連結オブジェクトを含む包囲オブジェクトの実施例3を説明するための一例のフローチャートである。 実施例3によりユーザに提示されるオブジェクトについて説明するための一例の図である。 実施例4を説明するための一例のフローチャートである。 実施例4によりユーザに提示されるオブジェクトについて説明するための一例の図である。
符号の説明
1 触覚情報伝達システム
2 送信装置
3 受信装置
4 触覚情報伝達装置
5 ネットワーク網
6 放送網
11 図・立体オブジェクト情報生成手段
12 放送番組コンテンツ入力手段
13 インターネット発信手段
14 データ放送多重手段
15 TV送信手段
16 インターネット受信手段
17 TV受信手段
18 データ放送受信手段
19 図・立体オブジェクト情報再生手段
20 データ放送受触覚・力覚提示手段
21 音声・点字出力手段
22 画面出力手段
23 放送番組コンテンツ表示手段
31 オブジェクト情報復号手段
32 包囲オブジェクト生成手段
33 オブジェクト触覚情報生成手段
34 触覚位置ポインタ付加手段
35 画像提示出力制御手段
36 タグ情報抽出出力制御手段
37 触覚提示出力制御手段
38 触覚提示位置検出手段
41 入力装置
42 出力装置
43 ドライブ装置
44 補助記憶装置
45 メモリ装置
46 CPU
47 ネットワーク接続装置
48 記録媒体
51 触覚情報提示空間
52 立体オブジェクト
53,54 包囲オブジェクト
55 連結オブジェクト

Claims (7)

  1. 仮想空間上に形成される立体オブジェクトを触覚によりユーザに伝達するための触覚情報伝達装置において、
    前記立体オブジェクトのオブジェクト情報に含まれる立体情報に基づいて、前記立体オブジェクトを包囲する包囲オブジェクトを生成する包囲オブジェクト生成手段と、
    前記包囲オブジェクト生成手段により得られる包囲オブジェクトと、前記立体オブジェクトとを前記ユーザに提示する触覚提示出力手段と
    前記ユーザが前記立体オブジェクトを触察する前記仮想空間上の位置情報を検出する位置検出手段と、
    前記位置検出手段により得られる位置情報に基づいて、前記立体オブジェクト又は前記包囲オブジェクトに対する触覚情報を生成する触覚情報生成手段とを有し、
    前記触覚情報生成手段は、
    前記位置情報が前記包囲オブジェクトよりも外側に移動できないようにするための触覚情報を生成することを特徴とする触覚情報伝達装置。
  2. 前記触覚情報生成手段は、
    前記位置情報が前記包囲オブジェクトに接する場合、前記ユーザに音声又は点字により前記包囲オブジェクトと接していることを伝達するための触覚情報を生成することを特徴とする請求項に記載の触覚情報伝達装置。
  3. 前記包囲オブジェクト生成手段は、
    前記仮想空間上に提示される前記立体オブジェクトの立体情報から得られる3次元の軸の最大値及び最小値に基づいて、球状又は単位立方体群からなる包囲オブジェクトを生成することを特徴とする請求項1又は2に記載の触覚情報伝達装置。
  4. 前記包囲オブジェクト生成手段は、
    前記包囲オブジェクト内に磁場を発生させることを特徴とする請求項1乃至の何れか1項に記載の触覚情報伝達装置。
  5. 前記包囲オブジェクト生成手段は、
    前記仮想空間上に提示される前記包囲オブジェクトが複数存在する場合、包囲オブジェクト間を連結する連結オブジェクトを生成することを特徴とする請求項1乃至の何れか1項に記載の触覚情報伝達装置。
  6. 前記立体オブジェクトを画面に出力するための画面提示出力制御手段を有し、
    前記画面提示出力制御手段は、前記包囲オブジェクト及び/又は前記連結オブジェクトを透明又は半透明にして表示されるよう制御することを特徴とする請求項に記載の触覚情報伝達装置。
  7. 仮想空間上に形成される立体オブジェクトを触覚によりユーザに伝達する処理をコンピュータに実行させるための触覚情報伝達プログラムにおいて、
    コンピュータを、
    前記立体オブジェクトのオブジェクト情報に含まれる立体情報に基づいて、前記立体オブジェクトを包囲する包囲オブジェクトを生成する包囲オブジェクト生成手段
    前記包囲オブジェクト生成手段により得られる包囲オブジェクトと、前記立体オブジェクトとを前記ユーザに提示する触覚提示出力手段、
    前記ユーザが前記立体オブジェクトを触察する前記仮想空間上の位置情報を検出する位置検出手段、及び、
    前記位置検出手段により得られる位置情報に基づいて、前記立体オブジェクト又は前記包囲オブジェクトに対する触覚情報を生成する触覚情報生成手段として機能させ、
    前記触覚情報生成手段は、
    前記位置情報が前記包囲オブジェクトよりも外側に移動できないようにするための触覚情報を生成することを特徴とする触覚情報伝達プログラム。
JP2004260121A 2004-09-07 2004-09-07 触覚情報伝達装置及び触覚情報伝達プログラム Expired - Fee Related JP4264042B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004260121A JP4264042B2 (ja) 2004-09-07 2004-09-07 触覚情報伝達装置及び触覚情報伝達プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004260121A JP4264042B2 (ja) 2004-09-07 2004-09-07 触覚情報伝達装置及び触覚情報伝達プログラム

Publications (2)

Publication Number Publication Date
JP2006079206A JP2006079206A (ja) 2006-03-23
JP4264042B2 true JP4264042B2 (ja) 2009-05-13

Family

ID=36158638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004260121A Expired - Fee Related JP4264042B2 (ja) 2004-09-07 2004-09-07 触覚情報伝達装置及び触覚情報伝達プログラム

Country Status (1)

Country Link
JP (1) JP4264042B2 (ja)

Also Published As

Publication number Publication date
JP2006079206A (ja) 2006-03-23

Similar Documents

Publication Publication Date Title
JP6893868B2 (ja) 空間依存コンテンツのための力覚エフェクト生成
CN110337318B (zh) 混合现实装置中的虚拟和真实对象记录
KR102254385B1 (ko) 햅틱 와핑 시스템
CN111052770B (zh) 空间音频下混频的方法及系统
US8411091B2 (en) Image drawing system, image drawing server, image drawing method, and computer program
Sodnik et al. Spatial sound localization in an augmented reality environment
JP2020024752A (ja) 情報処理装置及びその制御方法、プログラム
KR20140082266A (ko) 혼합현실 콘텐츠 시뮬레이션 시스템
JP2018506765A (ja) ハプティック効果のオーバレイ
KR20140113567A (ko) 멀티미디어 파일 내에 햅틱 정보를 인코딩 및 디코딩하는 방법 및 장치
EP3343348A1 (en) An apparatus and associated methods
EP3489882A1 (en) An apparatus and associated methods for communication between users experiencing virtual reality
US11200739B2 (en) Virtual scene
JP2006201912A (ja) 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム
WO2021262453A1 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3d environment
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
WO2022255262A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
Gigante Virtual reality: Enabling technologies
JP6975370B1 (ja) 画像表示方法、プログラム及びデータ生成方法
JP4264042B2 (ja) 触覚情報伝達装置及び触覚情報伝達プログラム
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的系统
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
CN115087957A (zh) 虚拟场景
JP4173951B2 (ja) 多感覚情報送信装置及び多感覚情報受信装置
JP2019121918A (ja) 電子機器及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090213

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees