JP4173951B2 - Multisensory information transmitter and multisensory information receiver - Google Patents
Multisensory information transmitter and multisensory information receiver Download PDFInfo
- Publication number
- JP4173951B2 JP4173951B2 JP2000326099A JP2000326099A JP4173951B2 JP 4173951 B2 JP4173951 B2 JP 4173951B2 JP 2000326099 A JP2000326099 A JP 2000326099A JP 2000326099 A JP2000326099 A JP 2000326099A JP 4173951 B2 JP4173951 B2 JP 4173951B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- state
- tag
- multisensory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、多感覚情報送信装置及び多感覚情報受信装置に係り、特に、画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報送信装置及び多感覚情報受信装置に関する。
【0002】
【従来の技術】
従来、視覚,聴覚に障害を有するユーザに対し、視覚,聴覚以外の感覚を媒体に情報を伝達するための研究がなされている。
【0003】
例えば視覚に障害を有するユーザへの感覚代行として、画像から輪郭情報を抽出し、触覚受容器に2次元又は3次元の情報を伝達する「オプタコン」,「TVSS」(「視覚障害とその代行技術」,市川ほか,名古屋大学出版、「生体情報工学」,星宮ほか,共立出版など)等の情報伝達装置がある。これらの装置は、光電変換して得られた画像情報から2値化した情報を抽出し、2次元に配列された触覚刺激素子を駆動して振動で指や背中に刺激呈示するものである。
【0004】
また、3次元ディスプレイでは、「盲人用三次元情報表示装置」(医療福祉機器技術研究開発成果報告書)のように、2次元上に配置されたステッピングモータによる触覚刺激素子がコンピュータで作成された物体のデータに対応して上下に駆動され、擬似的な3次元の形状を表すものである。
【0005】
さらに、近年のバーチャルリアリティの進展により、仮想物体の立体形状を視覚,触覚へ伝達する研究がなされている。触覚への情報伝達では、例えば「PHAMTOM」(センサブルテクノロジー社)のように立体形状やテクスチャー等を指で触れて感じさせるものがある。この装置は、コンピュータで作成された立体の空間的な情報を、機械的な反力で触覚受容器にフィードバックすることで仮想的に立体感を再現している。
【0006】
【発明が解決しようとする課題】
放送・通信の分野では、視覚,聴覚を媒体に情報が伝達されている。したがって、視覚に障害を有するユーザに対し、聴覚を媒体に情報を伝達していた。しかしながら、地図や教育番組におけるグラフ等の図,又は美術品,教育番組における分子モデル,地形等の立体情報を触覚で伝達する手段は確立されておらず、前述のような図又は立体情報を音声のみで伝達することには限界があった。また、視覚及び聴覚に障害を有するユーザは触覚だけが唯一の情報入手手段であり現状では形状などの情報を伝達することができない。
【0007】
一方、従来の2次元,3次元の触覚呈示装置で利用する立体情報や図形情報をディジタルデータ放送で送信する方法も考えられる。しかしながら、限られた放送の伝送容量では十分な伝送容量を確保することが難しい。また、2次元,3次元の触覚呈示装置は空間や平面上の位置情報から立体や図形を触知することができるが、視覚に障害を有するユーザが触知だけで立体や図形の細部を理解することは困難であるという問題があった。
【0008】
本発明は、上記の点に鑑みなされたもので、画像に含まれる対象物の図形情報又は立体情報を触覚呈示装置に送信することができ、画像に含まれる対象物の状態を多感覚でユーザに伝達することが可能な多感覚情報送信装置及び多感覚情報受信装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明の多感覚情報送信装置は、画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報伝達システムに用いられる多感覚情報送信装置であって、前記画像に含まれる対象物の状態情報を生成する状態情報生成部と、前記生成した状態情報を送信する状態情報送信部とを備えることを特徴とする。
【0010】
このように、画像に含まれる対象物の状態情報を生成し、生成した状態情報を画像情報とは別に受信側に送信することにより、画像に含まれる対象物の状態を視覚,聴覚,触覚等の多感覚で呈示することができる。
【0011】
また、本発明の多感覚情報送信装置は、前記状態情報生成部が、前記画像に含まれる対象物を所定単位の部分に分割する分割部と、前記分割した部分の位置及び特徴を部分毎に検出し、前記検出した部分毎の位置及び特徴に応じて前記状態情報を生成する生成部と、前記生成した状態情報にアドレス情報を付加する一方、前記対象物を含む画像情報に前記アドレス情報を付加するアドレス情報付加部とを備えることを特徴とする。
【0012】
このように、状態情報生成部は、画像に含まれる対象物を所定単位(例えば、所定面積)に分割し、分割した部分の位置及び特徴(例えば、形状,固さ等)に応じて状態情報を生成することにより、受信側で画像に含まれる対象物の状態を視覚,聴覚,触覚等の多感覚で呈示することができる。
【0013】
また、本発明の多感覚情報送信装置は、前記状態情報生成部が、前記対象物の所定範囲を指定する範囲指定部と、前記分割した部分のうち前記指定された所定範囲に含まれる1以上の部分を検出する検出部と、前記検出した1以上の部分にタグ情報を付加するタグ情報付加部とを備えることを特徴とする。
【0014】
このように、対象物の所定範囲を指定し、分割した部分のうち所定範囲に含まれる1以上の部分にタグ情報を付加することにより、部分毎に名称,特徴等の情報を付加することができる。
【0015】
また、上記課題を解決するため、本発明の多感覚情報受信装置は、画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報伝達システムに用いられる多感覚情報受信装置であって、前記画像に含まれる対象物の状態情報を受信する状態情報受信部と、前記受信した状態情報に基づいて前記対象物の状態を抽出し、前記抽出した対象物の状態を状態呈示装置に呈示させるように制御する制御部とを備えることを特徴とする。
【0016】
このように、画像に含まれる対象物の状態情報を画像情報とは別に受信し、受信した状態情報に基づいて対象物の状態を抽出し、抽出した対象物の状態を状態呈示装置に呈示させるように制御することにより、画像に含まれる対象物の状態を多感覚でユーザに伝達することができる。
【0017】
また、本発明の多感覚情報受信装置は、前記制御部が、前記受信した状態情報から前記分割した部分毎の位置及び特徴を抽出する抽出部と、前記抽出した部分毎の位置及び特徴に基づいて前記触覚呈示装置に前記対象物を触覚で呈示させる触覚呈示制御部と、前記触覚で呈示された対象物のうちユーザが触れた位置を検出する位置検出部と、前記検出されたユーザが触れた位置に付加されているタグ情報を抽出し、前記抽出したタグ情報に基づいて前記ユーザが触れた位置に関する情報をタグ情報呈示装置に呈示させるタグ情報呈示制御部とを備えることを特徴とする。
【0018】
このように、制御部は、受信した状態情報から分割した部分毎の位置及び特徴を抽出し、抽出した部分毎の位置及び特徴に基づいて前記触覚呈示装置に前記対象物を触覚で呈示させる。したがって、ユーザは触覚呈示装置が触覚で呈示した対象物を触れることにより、対象物の形状を触知することができる。
【0019】
また、制御部は、ユーザが触れた位置を検出し、ユーザが触れた位置にタグ情報が付加されていれば、タグ情報に基づいて前記ユーザが触れた位置に関する情報をタグ情報呈示装置に呈示させることができる。タグ情報呈示装置は、例えばユーザが触れた位置に関する情報を音声又は点字などで出力する構成とすることができる。
【0020】
【発明の実施の形態】
次に、本発明の実施例について図面に基づいて説明する。図1は、本発明の多感覚情報伝送システムの一例の概要図を示す。図1の多感覚情報伝送システム1は、送信部2,受信部3,表示部4を含むように構成される。送信部2と受信部3とは、例えばインターネット等のネットワーク網5,TV放送等の放送網6を介して接続されている。
【0021】
送信部2は、図・立体オブジェクト情報生成部11,放送番組コンテンツ入力部12,インターネット発信部13,データ放送多重部14,TV送信部15を含む。図・立体オブジェクト情報生成部11は、放送番組で用いられる図,立体の位置,固さ,表面性,形状などの物理情報を検出し、検出した物理情報に基づいてオブジェクト情報を生成する。例えば、放送番組で用いられる図,立体としては、「日曜美術館」等の放送番組で紹介される美術品などがある。
【0022】
図・立体オブジェクト情報生成部11は、生成したオブジェクト情報をネットワーク網5を利用して送信する場合、そのオブジェクト情報をインターネット発信部13に供給する。また、図・立体オブジェクト情報生成部11は、生成したオブジェクト情報を放送網6を利用して送信する場合、そのオブジェクト情報をデータ放送多重部14に供給する。
【0023】
インターネット発信部13は、図・立体オブジェクト情報生成部11から供給されたオブジェクト情報をネットワーク網5に送信する。一方、データ放送多重部14は、図・立体オブジェクト情報生成部11から供給されたオブジェクト情報をデータ放送用データに挿入してTV送信部15に供給する。
【0024】
TV送信部15は、放送番組コンテンツ入力部12から通常の放送番組用データが供給されると共にデータ放送多重部14からデータ放送用データが供給され、供給された放送番組用データ及びデータ放送用データをTV放送波として放送網6に送信する。ネットワーク網5に送信されたオブジェクト情報及び通信網6に送信されたTV放送波は、受信部3に受信される。
【0025】
受信部3は、インターネット受信部16,TV受信部17,データ放送受信部18,図・立体オブジェクト情報再生部19を含む。インターネット受信部16は、ネットワーク網5を介してオブジェクト情報を受信する。インターネット受信部16は、受信したオブジェクト情報を図・立体オブジェクト情報再生部19に供給する。
【0026】
TV受信部17は、放送網6からTV放送波を受信し、受信したTV放送波から放送番組用データ及びデータ放送用データを検出する。TV受信部17は、検出した放送番組用データを後述する放送番組コンテンツ表示部23に送信すると共に、データ放送用データをデータ放送受信部18に供給する。
【0027】
データ放送受信部18は、供給されたデータ放送用データから送信部2で挿入されたオブジェクト情報を検出し、検出したオブジェクト情報を図・立体オブジェクト情報再生部19に供給する。図・立体オブジェクト情報再生部19は、インターネット受信部16,データ放送受信部18から供給されるオブジェクト情報を供給され、そのオブジェクト情報に基づいて放送番組で用いられる図,立体の位置,固さ,表面性,形状などの物理情報を再生する。図・立体オブジェクト情報再生部19は、再生した物理情報に基づいて後述する触覚・力覚呈示装置20,音声・点字出力装置21,画面出力装置22の処理を制御する。
【0028】
表示部4は、触覚・力覚呈示装置20,音声・点字出力装置21,画面出力装置22,放送番組コンテンツ表示部23を含む。触覚・力覚呈示装置20は、図・立体オブジェクト情報再生部19からの制御に応じて放送番組で用いられる図,立体を触覚で呈示する。音声・点字出力装置21は、図・立体オブジェクト情報再生部19からの制御に応じて放送番組で用いられる図,立体に関する情報を音声又は点字で出力する。
【0029】
画面出力装置22は、図・立体オブジェクトデータ再生部19からの制御に応じて放送番組で用いられる図,立体を画像で出力する。また、放送番組コンテンツ表示部23は、TV受信部17から送信される放送番組用データを受信し、放送番組を表示する。
【0030】
このように、本発明の多感覚情報伝送システム1は、通常の放送番組用データとは別に放送番組で用いられる図,立体の位置,固さ,表面性,形状などの物理情報をネットワーク網5,放送網6を用いて伝送することができ、受信側で図,立体の位置,固さ,表面性,形状などを視覚,触覚,聴覚等の多感覚で呈示することが可能である。
【0031】
以下、本発明の多感覚情報伝送システム1を構成する送信部2,受信部3の詳細について説明する。図2は、本発明の送信部の一実施例の構成図を示す。図2の送信部2は、図・立体オブジェクト情報生成部11,放送番組コンテンツ入力部12,インターネット発信部13,データ放送多重部14,TV送信部15,符号部38,URL・データアドレス付加部39,URL付加部40を含むように構成される。また、図・立体オブジェクト情報生成部11は、2・3次元オブジェクト表面分割部31,オブジェクト空間位置&パラメータ検出部32,タグ情報付加位置指定部33,タグ情報空間位置検出部34,タグ情報入力部35,2・3次元オブジェクト/タグ空間位置比較部36及びオブジェクト情報生成部37を含む。
【0032】
2・3次元オブジェクト表面分割部31は、放送番組で用いられる図,立体(以下、「オブジェクト」という)の表面を適切な数に分割した部分(以下、「ポリゴン」という)に分割し、分割したポリゴンをオブジェクト空間位置&パラメータ検出部32に供給する。オブジェクト空間位置&パラメータ検出部32は、各ポリゴンの空間位置,固さ,表面性,形状等のテクスチャ(Texture)を物理情報として検出する。
【0033】
タグ情報付加位置指定部33は、名称,特徴などを表すタグ情報を付加する空間位置を指定し、指定した空間位置をタグ情報空間位置検出部34に供給する。タグ情報空間位置検出部34は、指定された空間位置に含まれるポリゴンを選択し、選択した各ポリゴンの空間位置を検出する。タグ情報空間位置検出部34は、選択した各ポリゴンの空間位置をタグ情報入力部35に供給する。また、タグ情報入力部35は、タグ情報空間位置検出部34で選択された各ポリゴンにタグ情報を付加する。
【0034】
2・3次元オブジェクト/タグ空間位置比較部36は、オブジェクト空間位置&パラメータ検出部32から各ポリゴンの空間位置等の物理情報が供給されると共に、タグ情報入力部35からタグ情報及びそのタグ情報が付加された各ポリゴンの空間位置が供給される。
【0035】
2・3次元オブジェクト/タグ空間位置比較部36は、オブジェクト空間位置&パラメータ検出部32で検出した各ポリゴンの空間位置と、タグ情報空間位置検出部34で選択した各ポリゴンの空間位置との比較を行い、その比較結果をオブジェクト情報生成部37に供給する。なお、2・3次元オブジェクト/タグ空間位置比較部36は、オブジェクト空間位置&パラメータ検出部32から供給された各ポリゴンの空間位置等の物理情報、タグ情報入力部35から供給されたタグ情報及びそのタグ情報が付加された各ポリゴンの空間位置もオブジェクト情報生成部37に供給する。
【0036】
オブジェクト情報生成部37は、供給された比較結果に基づいて、タグ情報空間位置検出部34で選択した各ポリゴンの空間位置と一致するオブジェクトの各ポリゴンにタグ情報を付加する。そして、オブジェクト情報生成部37は、各ポリゴンの物理情報,タグ情報等からオブジェクト情報を生成し、符号部38に供給する。
【0037】
符号部38は、オブジェクト情報生成部37から供給されたオブジェクト情報をVRML(Virtual Reality Modeling Language)などで符号化し、符号化したオブジェクト情報(以下、「符号化オブジェクト情報」という)をURL付加部40,データ放送多重部14に供給する。URL付加部40は、符号部38から供給された符号化オブジェクト情報にURL(Uniform Resource Locator)を付加し、URLを付加した符号化オブジェクト情報をインターネット発信部13に供給する。インターネット発信部13は、URL付加部40から供給された符号化オブジェクト情報を符号化オブジェクト情報に付加したURLに基づいて、例えばTCP/IPフォーマットでネットワーク網5に配置されたサーバに送信する。
【0038】
URL・データアドレス付加部39は、符号化オブジェクト情報をネットワーク網5を利用して送信する場合、URLをデータ放送多重部14に供給し、符号化オブジェクト情報を放送網6を利用して送信する場合、符号化オブジェクト情報のインデックス或いはアドレスをデータ放送多重部14に供給する。
【0039】
データ放送多重部14は、符号部38から供給された符号化オブジェクト情報及びURL・データアドレス付加部39から供給されたURL,インデックス或いはアドレス等をデータ放送用データに挿入してTV送信部15に供給する。TV送信部15は、放送番組コンテンツ入力部12から通常の放送番組用データが供給されると共にデータ放送多重部14からデータ放送用データが供給され、供給された放送番組用データ及びデータ放送用データをTV放送波として放送網6に送信する。
【0040】
ここで、図・立体オブジェクト情報生成部11のオブジェクト情報生成処理について図2〜図5を参照しつつ詳細に説明する。図3は、オブジェクト情報生成処理の一例のフローチャートを示す。図4は、ポリゴンに分割されたオブジェクトの一例について説明する図を示す。図5は、空間位置情報とタグ情報との関係を説明する一例の図を示す。
【0041】
例えば放送番組で図4に示すオブジェクト42を用いる場合、図・立体オブジェクト情報生成部11は図3のフローチャートに示す手順に従ってオブジェクト情報を生成する。図3中、ステップS1では、2・3次元オブジェクト表面分割部31はオブジェクト42の表面を適切な数のポリゴンに分割する。なお、オブジェクト42の表面に記載された1〜38は、ポリゴンナンバー(ポリゴンNO)を示している。ポリゴンナンバーは、ポリゴン毎に付与される。
【0042】
ステップS1に続いてステップS2に進み、オブジェクト空間位置&パラメータ検出部32はステップS1で分割されたポリゴンの空間位置を例えばレーザによる距離測定手段で検出する。検出されたポリゴンの空間位置は図5の2・3次元オブジェクト空間位置情報に示すように、(X,Y,Z)座標で表された空間的な位置情報で記録される。また、ステップS2では、ポリゴンの空間位置以外の物理情報も検出される。
【0043】
ステップS2に続いてステップS3に進み、オブジェクト空間位置&パラメータ検出部32は全ポリゴンの物理情報を取得したか否かを判定する。全ポリゴンの物理情報を取得していないと判定すると(S3においてNO)、ステップS2に進み、オブジェクト空間位置&パラメータ検出部32は、まだ物理情報を取得していないポリゴンの物理情報を検出する。
【0044】
全ポリゴンの物理情報を取得していると判定すると(S3においてYES)、ステップS4に進み、タグ情報付加位置指定部33はタグ情報を付加する空間位置を指定する。例えばオブジェクト42の円又は楕円で囲まれたA部43,B部44に夫々「水平尾翼」,「胴体」というタグ情報を付加する場合、オブジェクト42のA部43,B部44をレーザによる距離測定手段でスキャンすることによりタグ情報の付加位置を指定する。
【0045】
ステップS4に続いてステップS5に進み、タグ情報空間位置検出部34はステップS4で指定されたタグ情報付加位置に含まれるポリゴンの空間位置を検出する。そして、ステップS5に続いてステップS6に進み、タグ情報入力部35はテキストタグ情報を入力する。
【0046】
例えばオブジェクト42の円又は楕円で囲まれたA部43,B部44に夫々「水平尾翼」,「胴体」というタグ情報を付加する場合、A部43に含まれるポリゴンの空間位置を検出すると共に、「水平尾翼」というテキストタグ情報を入力する。また、B部44に含まれるポリゴンの空間位置を検出すると共に、「胴体」というテキストタグ情報を入力する。
【0047】
ステップS6に続いてステップS7に進み、ステップS4で指定したタグ情報位置に対する全タグ情報の入力が終了したか否かを判定する。ステップS4で指定したタグ情報位置に対する全タグ情報の入力が終了していないと判定すると(S7においてNO)、ステップS5に進む。また、ステップS4で指定したタグ情報位置に対する全タグ情報の入力が終了したと判定すると(S7においてYES)、ステップS8に進む。
【0048】
ステップS8では、必要な全タグ情報の入力が終了,言い替えればタグ情報を付加したいと所望するタグ情報の位置指定が終了したか否かを判定する。全タグ情報の位置指定が終了したと判定すると(S8においてYES)、ステップS9に進む。また、全タグ情報の位置指定が終了していないと判定すると(S8においてNO)、ステップS4に進む。
【0049】
ステップS9では、2・3次元オブジェクト/タグ空間位置比較部36はステップS2で検出された各ポリゴンの空間位置と、ステップS5で検出された各ポリゴンの空間位置とを比較する。ステップS9に続いてステップS10に進み、2・3次元オブジェクト/タグ空間位置比較部36は空間位置が等しいポリゴンを検出すると(S10においてYES)、ステップS11に進み、図5の2・3次元オブジェクト空間位置情報及びタグ位置情報に示すように、ステップS2で検出されたポリゴンにタグ情報を付加する。
【0050】
タグ位置情報は、ポリゴンナンバー,(X,Y,Z)座標で表された空間的な位置情報,テキストタグ情報を含むように構成される。なお、2・3次元オブジェクト/タグ空間位置比較部36は空間位置が等しいポリゴンを検出しないと(S10においてNO)、ステップS9に進む。そして、ステップS11に続いてステップS12に進み、オブジェクト情報生成部37は、物理情報,タグ情報等からオブジェクト情報を作成する。
【0051】
なお、ステップS9,S10において、ステップS2で検出された各ポリゴンの空間位置と、ステップS5で検出された各ポリゴンの空間位置とは測定誤差などにより完全に一致しないことがあるので、適切な誤差範囲を設定しておくことが望ましい。
【0052】
次に、本発明の多感覚情報伝送システム1を構成する受信部3の詳細について説明する。図6は、本発明の受信部及び表示部の一実施例の構成図を示す。図6の受信部3は、インターネット受信部16,TV受信部17,データ放送受信部18,図・立体オブジェクト情報再生部19,ダウンロード制御部51,URL・データアドレス抽出部52を含むように構成される。
【0053】
また、図・立体オブジェクト情報再生部19は、オブジェクト情報復号部53,触覚位置ポインタ付加部54,オブジェクト触覚情報生成部55,画面呈示出力制御部56,タグ情報抽出出力制御部57,触覚呈示出力制御部58,触覚呈示位置検出部59を含む。表示部4は、触覚・力覚呈示装置20,音声・点字出力装置21,画面出力装置22,放送番組コンテンツ表示部23,データ番組表示部60を含むように構成される。
【0054】
インターネット受信部16はネットワーク網5を介して符号化オブジェクト情報を受信し、受信した符号化オブジェクト情報をダウンロード制御部51に供給する。TV受信部17は、放送網6からTV放送波を受信し、受信したTV放送波から放送番組用データ及びデータ放送用データを検出する。TV受信部17は、検出した放送番組用データを放送番組コンテンツ表示部23に送信すると共に、データ放送用データをデータ放送受信部18に供給する。
【0055】
データ放送受信部18は、供給されたデータ放送用データを受信し、データ番組表示部60及びURL・データアドレス抽出部52にデータ番組用データを供給する。URL・データアドレス抽出部52は、データ番組用データに挿入された符号化オブジェクト情報のURL,インデックス或いはアドレス等を抽出し、抽出したURLをダウンロード制御部51に供給する一方、抽出したインデックス或いはアドレス等をデータ放送受信部18に供給する。
【0056】
ダウンロード制御部51は、URL・データアドレス抽出部52から供給されたURLに基づいて、例えばネットワーク網5に配置されたサーバから符号化オブジェクト情報をダウンロードするようにインターネット受信部16を制御する。ダウンロード制御部51は、ダウンロードした符号化オブジェクト情報をオブジェクト情報復号部53に供給する。
【0057】
データ放送受信部18は、URL・データアドレス抽出部52から供給されたインデックス或いはアドレス等に基づいて、データ放送用データに挿入した符号化オブジェクト情報を抽出する。データ放送受信部18は、抽出したオブジェクト情報をオブジェクト情報復号部53に供給する。
【0058】
オブジェクト情報復号部53は、ダウンロード制御部51又はデータ放送受信部18から供給されるVRMLなどで符号化された符号化オブジェクト情報を復号化し、復号化したオブジェクト情報に基づいてオブジェクトの物理情報,タグ情報等を再生する。オブジェクト情報復号部53は、再生した物理情報,タグ情報をオブジェクト触覚情報生成部55,画面呈示出力制御部56に供給する。
【0059】
オブジェクト触覚情報生成部55は供給された物理情報に応じて触覚情報を生成し、生成した触覚情報を触覚呈示出力制御部58に供給する。触覚呈示出力制御部58は、供給された触覚情報に応じて例えばPHAMTOMのような触覚・力覚呈示装置20を駆動制御する。触覚・力覚呈示装置20は、触覚呈示出力制御部58の制御に応じてオブジェクトを触覚で呈示する。
【0060】
触覚呈示位置検出部59は、ユーザの手,指先等が触れている触察部分の位置情報を検出し、検出した位置情報をオブジェクト触覚情報生成部55にフィードバックする。オブジェクト触覚情報生成部55は、触察部分の位置情報からその触察部分に対応する触覚情報を生成し、生成した触覚情報を触覚呈示出力制御部58に供給する。
【0061】
つまり、ユーザが手,指先等を移動することにより、その触察部分の位置情報が触覚呈示位置検出部59で検出され、検出された位置情報がオブジェクト触覚情報生成部55にフィードバックされ、フィードバックされた位置情報からその触察部分に対応する触覚情報が順次生成される。
【0062】
そして、順次生成した触覚情報を触覚呈示出力制御部58に供給し、触覚・力覚呈示装置20による反力を制御することにより、あたかもオブジェクトが存在するような感覚をユーザに与えることができ、ユーザに立体形状を認識させることができる。
【0063】
また、オブジェクト触覚情報生成部55は、触覚呈示位置検出部59から供給された位置情報とタグ情報とをタグ情報抽出出力制御部57に供給する。タグ情報抽出出力制御部57は供給された位置情報とタグ情報とを利用して触察部分のタグ情報を抽出し、抽出したタグ情報に応じて音声・点字出力装置21を駆動制御する。音声・点字出力装置21は、タグ情報抽出出力制御部57の制御に応じて音声情報又は点字情報を出力する。つまり、ユーザの手,指先等が触れている触察部分の名称,特徴などを位置情報及びタグ情報から取得し、音声又は点字でユーザに伝達することができる。
【0064】
触覚位置ポインタ付加部54は、触覚呈示位置検出部59で検出された触察部分の位置をポインタとして画面上に付加するための情報を作成し、その情報を画面呈示出力制御部56に供給する。画面呈示出力制御部56は、オブジェクト情報復号部53で再生したオブジェクトと触覚位置ポインタ付加部54で付加したポインタとを画面出力装置22に呈示させる。
【0065】
なお、放送番組コンテンツ表示部23は、TV受信部17から送信される放送番組用データを受信し、放送番組を表示する。データ番組表示部60は、データ放送受信部18から送信されるデータ番組用データを受信し、受信したデータ番組を表示する。画面出力装置22は、画面呈示出力制御部56の制御に応じてオブジェクト,ポインタを画面に呈示する。
【0066】
以上のように、放送番組で用いられる図,立体のオブジェクトは、視覚に加えて仮想的に空間上に触覚で検知できる物体として存在し、触れる位置により部分の名称,特徴を音声,点字で伝達される。したがって、ユーザは触覚で検知できる物体を触れつつ触れている位置の名称,特徴を音声,点字で確認することができ、美術品などの立体形状を容易に理解できる。
【0067】
本実施例では、触覚呈示を行う触覚受容器の一例として触覚・力覚呈示装置20を利用したが、これに限るものではなく、マイクロマシン又はその他の微小アクチュエータ等で形成される触覚受容器であってもよい。また、本実施例では、オブジェクト情報をネットワーク網5又は放送網6を利用して伝送する例について記載しているが、伝送容量に応じてネットワーク網5及び放送網6を併用する伝送,ネットワーク網又は放送網6の何れか一方を利用する伝送などが可能である。
【0068】
なお、特許請求の範囲に記載した多感覚情報送信装置は送信部2に相当し、多感覚情報受信装置は受信部3に相当し、状態情報生成部は図・立体オブジェクト情報生成部11に相当し、制御部は図・立体オブジェクト情報再生部19に相当する。
【0069】
【発明の効果】
上述の如く、本発明によれば、画像に含まれる対象物の状態情報を生成し、生成した状態情報を画像情報とは別に受信側に送信することで、受信側で画像に含まれる対象物の状態を視覚,聴覚,触覚等の多感覚で呈示することができる。
【0070】
また、対象物の所定範囲を指定し、分割した部分のうち所定範囲に含まれる1以上の部分にタグ情報を付加することにより、部分毎に名称,特徴等の情報を付加することができる。
【0071】
また、画像に含まれる対象物の状態情報を画像情報とは別に受信し、受信した状態情報に基づいて対象物の状態を抽出し、抽出した対象物の状態を状態呈示装置に呈示させるように制御することで、画像に含まれる対象物の状態を多感覚でユーザに伝達することができる。
【0072】
また、触覚で呈示された対象物を触れることにより、ユーザは対象物の形状を触知することができる。さらに、ユーザが触れた位置に関する情報をタグ情報呈示装置に音声又は点字等で呈示させることができる。
【0073】
【図面の簡単な説明】
【図1】本発明の多感覚情報伝送システムの一例の概要図である。
【図2】本発明の送信部の一実施例の構成図である。
【図3】オブジェクト情報生成処理の一例のフローチャートである。
【図4】ポリゴンに分割されたオブジェクトの一例について説明する図である。
【図5】空間位置情報とタグ情報との関係を説明する一例の図である。
【図6】本発明の受信部及び表示部の一実施例の構成図である。
【符号の説明】
1 多感覚情報伝送システム
2 送信部
3 受信部
4 表示部
5 ネットワーク網
6 放送網
11 図・立体オブジェクト情報生成部
12 放送番組コンテンツ入力部
13 インターネット発信部
14 データ放送多重部
15 TV送信部
16 インターネット受信部
17 TV受信部
18 データ放送受信部
19 図・立体オブジェクト情報再生部
20 触覚・力覚呈示装置
21 音声・点字出力装置
22 画面出力装置
23 放送番組コンテンツ表示部
31 2・3次元オブジェクト表面分割部
32 オブジェクト空間位置&パラメータ検出部
33 タグ情報付加位置指定部
34 タグ情報空間位置検出部
35 タグ情報入力部
36 2・3次元オブジェクト/タグ空間位置比較部
37 オブジェクト情報生成部
38 符号部
39 URL・データアドレス付加部
40 URL付加部
51 ダウンロード制御部
52 URL・データアドレス抽出部
53 オブジェクト情報復号部
54 触覚位置ポインタ付加部
55 オブジェクト触覚情報生成部
56 画面呈示出力制御部
57 タグ情報抽出出力制御部
58 触覚呈示出力制御部
59 触覚呈示位置検出部
60 データ番組表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multisensory information transmitting apparatus and a multisensory information receiving apparatus, and more particularly, to a multisensory information transmitting apparatus and a multisensory information receiving apparatus that transmit the state of an object included in an image to a user multisensory.
[0002]
[Prior art]
Conventionally, research has been conducted to transmit information to a user with a visual or auditory impairment using a sense other than visual or auditory sense.
[0003]
For example, as a sensory proxy for visually impaired users, “Optacon”, “TVSS” (“Visual impairment and its proxy technology” extracts contour information from images and transmits two-dimensional or three-dimensional information to tactile receptors. ”, Ichikawa et al., Nagoya University Press,“ Biomedical Engineering ”, Hoshimiya et al., Kyoritsu Publishing, etc.). These devices extract binarized information from image information obtained by photoelectric conversion, drive tactile stimulation elements arranged in two dimensions, and present a stimulus to a finger or back by vibration.
[0004]
In the 3D display, a tactile stimulation device using a stepping motor arranged in 2D was created by a computer, as in the “3D information display device for the blind” (medical welfare equipment technology R & D report). It is driven up and down corresponding to the object data and represents a pseudo three-dimensional shape.
[0005]
Furthermore, research on transmitting the three-dimensional shape of a virtual object to vision and tactile sensation has been made with recent progress of virtual reality. In the information transmission to the tactile sense, for example, there is one such as “PHAMTOM” (Sensable Technology Co., Ltd.) that touches and feels a three-dimensional shape, texture or the like with a finger. This device virtually reproduces a three-dimensional effect by feeding back spatial information created by a computer to a tactile receptor using a mechanical reaction force.
[0006]
[Problems to be solved by the invention]
In the field of broadcasting and communication, information is transmitted using visual and auditory media. Therefore, information is transmitted to the user through hearing as a medium for visually impaired users. However, no means has been established for tactile transmission of three-dimensional information such as maps and graphs in educational programs, or art objects, molecular models in educational programs, and topography. There was a limit to transmitting only. In addition, for a user who has a visual or auditory impairment, only the sense of touch is the only information acquisition means, and at present, information such as shape cannot be transmitted.
[0007]
On the other hand, a method of transmitting three-dimensional information and graphic information used in a conventional two-dimensional and three-dimensional tactile presentation device by digital data broadcasting is also conceivable. However, it is difficult to secure a sufficient transmission capacity with a limited broadcast transmission capacity. In addition, 2D and 3D tactile presentation devices can touch solids and figures based on spatial and planar position information, but users with visual impairments can understand details of solids and figures simply by touching them. There was a problem that it was difficult to do.
[0008]
The present invention has been made in view of the above points, and can transmit graphic information or three-dimensional information of an object included in an image to a tactile sensation presentation device, so that the state of the object included in the image can be sensed by the user. It is an object of the present invention to provide a multisensory information transmitting apparatus and multisensory information receiving apparatus that can be transmitted to a mobile phone.
[0009]
[Means for Solving the Problems]
Therefore, in order to solve the above-described problem, the multisensory information transmission device of the present invention is a multisensory information transmission device used in a multisensory information transmission system that multisenses the state of an object included in an image to a user. And a state information generation unit that generates state information of an object included in the image, and a state information transmission unit that transmits the generated state information.
[0010]
As described above, the state information of the object included in the image is generated, and the generated state information is transmitted to the receiving side separately from the image information, so that the state of the object included in the image is visually, auditory, tactile, etc. Can be presented with multiple senses.
[0011]
Further, in the multisensory information transmitting apparatus of the present invention, the state information generation unit divides the object included in the image into predetermined unit parts, and the position and characteristics of the divided parts for each part. A generating unit that detects and generates the state information according to the position and characteristics of each detected part; and adds address information to the generated state information, while adding the address information to image information including the object. And an address information adding unit to be added.
[0012]
As described above, the state information generation unit divides the object included in the image into predetermined units (for example, predetermined areas), and the state information according to the position and characteristics (for example, shape, hardness, etc.) of the divided parts. By generating, the state of the object included in the image can be presented on the receiving side with multiple senses such as visual, auditory, and tactile sensations.
[0013]
Also, in the multisensory information transmitting apparatus of the present invention, the state information generating unit includes a range specifying unit that specifies a predetermined range of the object, and one or more included in the specified predetermined range among the divided portions And a tag information adding unit for adding tag information to the detected one or more parts.
[0014]
In this way, by specifying a predetermined range of the object and adding tag information to one or more parts included in the predetermined range among the divided parts, information such as names and features can be added to each part. it can.
[0015]
In order to solve the above-described problem, the multisensory information receiving apparatus of the present invention is a multisensory information receiving apparatus used in a multisensory information transmission system that transmits the state of an object included in an image to a user multisensory. A state information receiving unit that receives state information of the object included in the image, and extracts the state of the object based on the received state information, and the state of the extracted object is displayed in the state presenting device. And a control unit that controls to be presented.
[0016]
In this way, the state information of the object included in the image is received separately from the image information, the state of the object is extracted based on the received state information, and the state presenting apparatus presents the state of the extracted object. By controlling in this way, the state of the object included in the image can be transmitted to the user with multiple senses.
[0017]
Further, in the multisensory information receiving apparatus of the present invention, the control unit is based on the extraction unit that extracts the position and the feature of each divided part from the received state information, and the position and the feature of each extracted part. A tactile sensation presentation control unit that causes the tactile sensation presentation apparatus to present the object by tactile sense, a position detection unit that detects a position touched by the user among the objects presented by the tactile sense, and a touch by the detected user. A tag information presentation control unit that extracts tag information added to a position and causes a tag information presentation device to present information related to the position touched by the user based on the extracted tag information. .
[0018]
In this way, the control unit extracts the position and feature for each part divided from the received state information, and causes the tactile sense presentation device to present the target object by tactile sense based on the extracted position and feature for each part. Therefore, the user can feel the shape of the object by touching the object presented by the tactile sense presentation device.
[0019]
In addition, the control unit detects a position touched by the user, and if tag information is added to the position touched by the user, the control unit presents information related to the position touched by the user to the tag information presenting device based on the tag information. Can be made. The tag information presentation device can be configured to output information on the position touched by the user, for example, by voice or Braille.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic diagram of an example of the multisensory information transmission system of the present invention. The multisensory
[0021]
The
[0022]
When transmitting the generated object information using the
[0023]
The
[0024]
The
[0025]
The receiving
[0026]
The
[0027]
The data broadcast receiving
[0028]
The
[0029]
The
[0030]
As described above, the multisensory
[0031]
Hereinafter, details of the
[0032]
The 2 / 3-dimensional object
[0033]
The tag information addition
[0034]
The 2 / 3-dimensional object / tag space
[0035]
The 2 · 3D object / tag space
[0036]
The object
[0037]
The
[0038]
When transmitting the encoded object information using the
[0039]
The data broadcast multiplexing
[0040]
Here, the object information generation processing of the figure / stereoscopic object
[0041]
For example, when the
[0042]
Progressing to step S2 following step S1, the object space position &
[0043]
Progressing to step S3 following step S2, the object space position &
[0044]
If it is determined that physical information of all the polygons has been acquired (YES in S3), the process proceeds to step S4, where the tag information addition
[0045]
Progressing to step S5 following step S4, the tag information space
[0046]
For example, when tag information “horizontal tail” and “fuselage” is added to the
[0047]
Progressing to step S7 following step S6, it is determined whether or not the input of all tag information for the tag information position designated in step S4 is completed. If it is determined that the input of all tag information for the tag information position specified in step S4 has not been completed (NO in S7), the process proceeds to step S5. If it is determined that the input of all tag information for the tag information position specified in step S4 is completed (YES in S7), the process proceeds to step S8.
[0048]
In step S8, it is determined whether or not the input of all necessary tag information has been completed, in other words, whether or not the position designation of the desired tag information to which tag information is to be added has been completed. If it is determined that the position designation of all tag information has been completed (YES in S8), the process proceeds to step S9. If it is determined that the position designation of all tag information has not been completed (NO in S8), the process proceeds to step S4.
[0049]
In step S9, the 2 / 3-dimensional object / tag space
[0050]
The tag position information is configured to include polygon number, spatial position information represented by (X, Y, Z) coordinates, and text tag information. If the 2 / 3-dimensional object / tag space
[0051]
Note that in steps S9 and S10, the spatial position of each polygon detected in step S2 and the spatial position of each polygon detected in step S5 may not completely match due to a measurement error or the like. It is desirable to set a range.
[0052]
Next, the detail of the receiving
[0053]
The figure / stereoscopic object
[0054]
The
[0055]
The data broadcast receiving
[0056]
Based on the URL supplied from the URL / data
[0057]
The data broadcast receiving
[0058]
The object
[0059]
The object tactile
[0060]
The tactile sensation presentation position detection unit 59 detects position information of a touched part touched by the user's hand, fingertip, etc., and feeds back the detected position information to the object tactile
[0061]
That is, when the user moves the hand, the fingertip, etc., the position information of the touched portion is detected by the tactile sensation presentation position detecting unit 59, and the detected position information is fed back to the object tactile
[0062]
Then, by supplying the tactile information generated sequentially to the tactile sensation presentation
[0063]
The object tactile
[0064]
The tactile position pointer adding unit 54 creates information for adding the position of the tactile part detected by the tactile sense position detecting unit 59 on the screen as a pointer, and supplies the information to the screen presenting
[0065]
The broadcast program
[0066]
As described above, figures and solid objects used in broadcast programs exist as objects that can be detected by touch in a virtual space in addition to vision, and the names and features of the parts are transmitted by voice and Braille depending on the touched position. Is done. Therefore, the user can confirm the name and characteristics of the touched position while touching the object that can be detected by tactile sensation, and can easily understand a three-dimensional shape such as a work of art.
[0067]
In this embodiment, the tactile / force-sensing
[0068]
The multisensory information transmitter described in the claims corresponds to the
[0069]
【The invention's effect】
As described above, according to the present invention, the state information of the object included in the image is generated, and the generated state information is transmitted to the receiving side separately from the image information, so that the object included in the image on the receiving side. Can be presented with multiple senses such as visual, auditory, and tactile sensations.
[0070]
Further, by designating a predetermined range of the object and adding tag information to one or more parts included in the predetermined range among the divided parts, information such as names and features can be added for each part.
[0071]
In addition, the state information of the object included in the image is received separately from the image information, the state of the object is extracted based on the received state information, and the state presenting apparatus presents the state of the extracted object. By controlling, the state of the object included in the image can be transmitted to the user with multiple senses.
[0072]
Moreover, the user can touch the shape of a target object by touching the target object presented by tactile sense. Furthermore, the information regarding the position touched by the user can be presented to the tag information presentation device by voice or Braille.
[0073]
[Brief description of the drawings]
FIG. 1 is a schematic diagram of an example of a multisensory information transmission system of the present invention.
FIG. 2 is a configuration diagram of an embodiment of a transmission unit according to the present invention.
FIG. 3 is a flowchart of an example of object information generation processing.
FIG. 4 is a diagram illustrating an example of an object divided into polygons.
FIG. 5 is a diagram illustrating an example of a relationship between space position information and tag information.
FIG. 6 is a configuration diagram of an embodiment of a receiving unit and a display unit of the present invention.
[Explanation of symbols]
1 Multisensory information transmission system
2 Transmitter
3 receiver
4 display section
5 network
6 Broadcasting network
11 Figure and 3D object information generator
12 Broadcast program content input section
13 Internet transmission department
14 Data Broadcast Multiplexer
15 TV transmitter
16 Internet receiver
17 TV receiver
18 Data broadcasting receiver
19 Figure and 3D object information playback unit
20 Tactile / force-sensing device
21 Voice / Braille output device
22 Screen output device
23 Broadcast program content display
31 2 / 3-dimensional object surface division
32 Object space position & parameter detector
33 Tag information addition position designation part
34 Tag information space position detector
35 Tag information input section
36 2 / 3D Object / Tag Space Position Comparison Unit
37 Object information generator
38 Code part
39 URL / data address adding section
40 URL addition part
51 Download controller
52 URL / data address extractor
53 Object Information Decoding Unit
54 Tactile position pointer addition unit
55 Object tactile information generator
56 Screen presentation output controller
57 Tag information extraction output control unit
58 Tactile presentation output control unit
59 Tactile sense presentation position detector
60 Data program display section
Claims (4)
前記画像に含まれる対象物の状態情報を生成する状態情報生成部と、
前記生成した状態情報を送信する状態情報送信部と
を備え、
前記状態情報生成部は、前記画像に含まれる対象物を所定単位の部分に分割する分割部と、
前記分割した部分の位置及び特徴を部分毎に検出し、前記検出した部分毎の位置及び特徴に応じて前記状態情報を生成する生成部と、
前記生成した状態情報にアドレス情報を付加する一方、前記対象物を含む画像情報に前記アドレス情報を付加するアドレス情報付加部と、
前記対象物の所定範囲を指定する範囲指定部と、
前記分割した部分のうち前記指定された所定範囲に含まれる1以上の部分を検出する検出部と、
前記検出した1以上の部分にタグ情報を付加するタグ情報付加部と
を備える多感覚情報送信装置。A multisensory information transmitting device used in a multisensory information transmission system that multi-senses the state of an object included in an image that outputs a figure or a solid ,
A state information generating unit that generates state information of an object included in the image;
And a status information transmitting unit for transmitting the generated status information,
The state information generating unit includes a dividing unit that divides an object included in the image into predetermined unit parts;
A generating unit that detects the position and characteristics of the divided parts for each part, and generates the state information according to the detected position and characteristics of each part;
An address information adding unit for adding address information to the image information including the object, while adding address information to the generated state information;
A range designating unit for designating a predetermined range of the object;
A detection unit for detecting one or more parts included in the designated predetermined range among the divided parts;
A tag information adding unit for adding tag information to the detected one or more parts;
Multi-sensory information transmission apparatus that includes a.
前記画像に含まれる対象物の状態情報を受信する状態情報受信部と、
前記受信した状態情報に基づいて前記対象物の状態を抽出し、前記抽出した対象物の状態を状態呈示装置に呈示させるように制御する制御部と
を備え、
前記制御部は、前記受信した状態情報から前記分割した部分毎の位置及び特徴を抽出する抽出部と、
前記抽出した部分毎の位置及び特徴に基づいて前記触覚呈示装置に前記対象物を触覚で呈示させる触覚呈示制御部と、
前記触覚で呈示された対象物のうちユーザが触れた位置を検出する位置検出部と、
前記検出されたユーザが触れた位置に付加されているタグ情報を抽出し、前記抽出したタグ情報に基づいて前記ユーザが触れた位置に関する情報をタグ情報呈示装置に呈示させるタグ情報呈示制御部と
を備える多感覚情報受信装置。A multisensory information receiving device used in a multisensory information transmission system that multi-senses the state of an object included in an image that outputs a figure or a solid ,
A state information receiving unit for receiving state information of an object included in the image;
A controller that extracts the state of the object based on the received state information and controls the state presenting apparatus to present the state of the extracted object ;
The control unit is configured to extract a position and a feature for each of the divided parts from the received state information;
A tactile sensation presentation control unit that causes the tactile sensation presentation apparatus to present the object in a tactile sense based on the position and characteristics of each of the extracted parts;
A position detection unit for detecting a position touched by a user among the objects presented by the tactile sense;
A tag information presentation control unit that extracts tag information added to a position touched by the detected user and causes a tag information presentation device to present information related to the position touched by the user based on the extracted tag information;
Multi-sensory information receiving apparatus that includes a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000326099A JP4173951B2 (en) | 2000-10-25 | 2000-10-25 | Multisensory information transmitter and multisensory information receiver |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000326099A JP4173951B2 (en) | 2000-10-25 | 2000-10-25 | Multisensory information transmitter and multisensory information receiver |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002125999A JP2002125999A (en) | 2002-05-08 |
JP4173951B2 true JP4173951B2 (en) | 2008-10-29 |
Family
ID=18803350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000326099A Expired - Lifetime JP4173951B2 (en) | 2000-10-25 | 2000-10-25 | Multisensory information transmitter and multisensory information receiver |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4173951B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2691608A1 (en) * | 2007-06-27 | 2008-12-31 | Karen Knowles Enterprises Pty Ltd | Communication method, system and products |
JP2009194597A (en) * | 2008-02-14 | 2009-08-27 | Sony Corp | Transmission and reception system, transmitter, transmission method, receiver, reception method, exhibition device, exhibition method, program, and recording medium |
EP3118723A1 (en) | 2015-07-13 | 2017-01-18 | Thomson Licensing | Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace) |
-
2000
- 2000-10-25 JP JP2000326099A patent/JP4173951B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002125999A (en) | 2002-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107835971B (en) | Method and apparatus for providing haptic feedback and interaction based on user haptic space (HapSpace) | |
KR102254385B1 (en) | Haptic warping system | |
EP3561661A1 (en) | Method and haptic device for encoding and decoding haptic information | |
CN106648083A (en) | Playing scene synthesis enhancement control method and device | |
US20070291035A1 (en) | Horizontal Perspective Representation | |
JP2006201912A (en) | Processing method for three-dimensional virtual object information providing service, three-dimensional virtual object providing system, and program | |
KR100860547B1 (en) | Method and Apparatus for Authoring Tactile Information, and Computer Readable Medium Including the Method | |
CN111386517A (en) | Apparatus, and associated method, for communication between users experiencing virtual reality | |
WO2008038866A1 (en) | Apparatus for providing sensing information | |
CN108269460B (en) | Electronic screen reading method and system and terminal equipment | |
EP3539124A1 (en) | Spatialized verbalization of visual scenes | |
CN102411486A (en) | Information processing apparatus, program and information processing method | |
JP4173951B2 (en) | Multisensory information transmitter and multisensory information receiver | |
Jacobson et al. | Multi-modal virtual reality for presenting geographic information | |
CN107408186A (en) | The display of privacy content | |
KR101408921B1 (en) | Apparatus and method for sound processing in vitual reality system | |
KR101731476B1 (en) | Method and Device for Haptic Interaction using Virtual Human | |
JP6760667B2 (en) | Information processing equipment, information processing methods and information processing programs | |
JP4264042B2 (en) | Tactile information transmission device and tactile information transmission program | |
CN101960849A (en) | Broadcast system, transmission device, transmission method, reception device, reception method, presentation device, presentation method, program, and recording medium | |
KR101398004B1 (en) | Coupled Motion and Vibration Management Systems Sound Chair | |
WO2016009695A1 (en) | Information processing device, information processing method, written work providing system and computer program | |
JP2004363817A (en) | Tactile information transmission system, solid information transmission device, tactile information molding device and tactile information transmission method | |
US20080131849A1 (en) | Apparatus and method for generating tactile sensation by using constellation metaphor | |
KR20080050268A (en) | Apparatus and method for generating haptic with constellation metaphor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4173951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140822 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |