JP3734978B2 - COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM - Google Patents

COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM Download PDF

Info

Publication number
JP3734978B2
JP3734978B2 JP07208099A JP7208099A JP3734978B2 JP 3734978 B2 JP3734978 B2 JP 3734978B2 JP 07208099 A JP07208099 A JP 07208099A JP 7208099 A JP7208099 A JP 7208099A JP 3734978 B2 JP3734978 B2 JP 3734978B2
Authority
JP
Japan
Prior art keywords
data
transmission
indicating
input
transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07208099A
Other languages
Japanese (ja)
Other versions
JP2000267556A (en
Inventor
忠裕 坂井
達哉 石原
崇之 伊藤
春雄 磯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP07208099A priority Critical patent/JP3734978B2/en
Publication of JP2000267556A publication Critical patent/JP2000267556A/en
Application granted granted Critical
Publication of JP3734978B2 publication Critical patent/JP3734978B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はコミュニケーション装置および方法、並びに記録媒体に関し、特に、目や耳に障害を持つ人の間で、あるいは健常者との間で遠隔コミュニケーションを可能とするコミュニケーション装置およびコミュニケーション方法、並びに当該方法のプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
従来、モデムを用いて遠隔データ通信を行う方法として、コンピュータおよびモデムを用いてeメールなどによりデータを送受する技術が周知である。また、障害者が電話回線を介してコミュニケーションをとる手段としては、米国で聴覚障害者用に開発された電話コミュニケーション機器TDD/TTYが普及している。これは、タイプライタから入力された文字情報が電話回線を経由して送信され、受信側では液晶表示装置に文字を表示するものである。また、TDD/TTYを改修して液晶表示装置の受信部を点字ディスプレイに置き換えて使用している例がある(「盲ろう者によるコンピュータ・ネットワーク利用の可能性と課題」信学技報ET97−79)。
【0003】
一方、視覚と聴覚の両方に障害を持つ盲ろう者が日常コミュニケーションをとる手段の一つとして、指点字が知られている。指点字のパターンで情報を伝達する装置として、6本の指の指腹あるいは指背に備え付けられた刺激素子の刺激により文字情報を呈示する方式(以下、6指点字方式)が報告されている(▲1▼「 点字情報伝達装置」 、特開平10−105048号公報,▲2▼「受動的触知による新しい点字伝達方式」、映像情報メディア学会誌,VOL52,98−4、▲3▼「指点字表示のための最適刺激モードの検討」,電子情報通信学会論文誌(A),VOL.J81−A,No9,pp.1273−1279)。
【0004】
しかしながら、指点字で遠隔コミュニケーションを行える有効な機器は現時点では存在しない。このように、盲ろう者が介助者なしに遠隔コミュニケーションを行える機器は極く限られている。
【0005】
【発明が解決しようとする課題】
上記したコンピュータ、およびモデムを用いてeメールなどのデータを送受する従来技術による方式では、出力装置が視覚的あるいは聴覚的なディスプレイであり、盲ろう者が使用することはできない。また、コンピュータに点字ディスプレイを備えることにより画面上の文字情報を点字で表現することも可能であるが、コンピュータ自体の操作が盲ろう者にとって困難であることに加え、メール形式ではリアルタイムのコミュニケーションを行うことができないという課題がある。さらに、会話の開始終了や発言者/聞き手の交代などを使用者に知らせるような機能を持つものはないため、通常の口頭による会話のような形態を成すことが困難である。
【0006】
また、TDD/TTYを改修して液晶表示装置の受信部を点字ディスプレイに置き換えたタイプでは、リアルタイムに近い会話形態を成すことは可能であるが、完全に口頭会話と同様にリアルタイムに伝えることは困難である。また、このタイプは、口頭会話に独特な聞き直しや相づち、あるいは言い直しなどを表現する形態にはなっていない。
【0007】
さらに、前述の点字ピン・ディスプレイを用いる方式では、小さなサイズの点字を習得した障害者は使用することができるが、指先の感覚には限界があり、点字の読めない障害者は使用することができないなどの課題がある。
【0008】
そこで、本発明は上記の課題を解決するためになされたものであって、盲ろう者をはじめ、コミュニケーションに障害を持つ人が、さまざまな障害によるコミュニケーションの障壁を解消し、障害者間あるいは障害者と健常者との遠隔コミュニケーションを実現可能とするコミュニケーション装置およびコミュニケーション方法、並びに当該方法のプログラムを記録した記録媒体を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の課題を解決するために本発明の一態様では、コンピュータの制御により交信して触覚を刺激する点字情報を伝送するコミュニケーション装置であって、所定方式にしたがった会話データを入力する入力手段と、当該入力データを検出して通信媒体を介し送信する送信手段と、当該送信データを受信する受信手段と、当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとを備えており、前記送信手段は前記入力手段が操作されたことに応答して、前記会話データとは別のデータであって前記送信データおよび前記受信データの交信のやり直しを示すデータ並びに送信主体についてのデータを含むものを前記受信手段へ送信し、および、前記報知手段は、前記受信手段により受信された前記別のデータに基づき、前記やり直しを示すデータおよび前記送信主体についてのデータに応じた触覚刺激をさらに呈示することを特徴とするコミュニケーション装置を提供する。
【0010】
ここで、前記報知手段は、前記会話データおよび前記別のデータを移動部材の機械的変位により呈示する触覚刺激手段と、該機械的変位のタイミング前記会話データと前記別のデータとで異ならせて前記移動部材を駆動し、前記別のデータについてはさらに、該タイミングを前記やり直しを示すデータと前記送信主体についてのデータとで異ならせて前記移動部材を駆動する駆動手段とを備えることができる。
【0011】
ここで、前記やり直しを示すデータは、前記送信データの訂正を示すものと前記受信データの再送要求を示すものとを含み、前記送信主体についてのデータは、交信相手に対する送信を開始できる状態であることを示すものと、前記受信手段による受信中に前記入力手段により入力されて交信相手に送信の継続を促すものとを含むことができる。
【0012】
ここで、前記送信データを受信すると電波を送信する無線送信手段と、当該送信電波を受信して機械的振動を発生する振動手段であって、使用者に装着して前記使用者を刺激可能なものとを備えることができる。
【0013】
本発明の他の態様では、所定方式にしたがった会話データを入力する入力手段と、当該入力データを検出して通信媒体を介し送信する送信手段と、当該送信データを受信する受信手段と、当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとを備えたコミュニケーション装置を用いたコンピュータの制御によるコミュニケーション方法において、前記入力手段が操作されたことに応答して、前記会話データとは別のデータであって前記送信データおよび前記受信データの交信のやり直しを示すデータ並びに送信主体についてのデータを含むものを前記送信手段により前記受信手段へ送信するステップと、前記受信手段により受信された前記別のデータに基づき、前記報知手段、前記やり直しを示すデータおよび前記送信主体についてのデータに応じた触覚刺激をさらに呈示するステップとを含むことを特徴とするコミュニケーション方法を提供する。
【0014】
ここで、前記やり直しを示すデータは、前記送信データの訂正を示すものと前記受信データの再送要求を示すものとを含み、前記送信主体についてのデータは、交信相手に対する送信を開始できる状態であることを示すものと、前記受信手段による受信中に前記入力手段により入力されて交信相手に送信の継続を促すものとを含むことができる。
【0015】
本発明の他の態様では、所定方式にしたがった会話データを入力する入力手段と、当該入力データを検出して通信媒体を介し送信する送信手段と、当該送信データを受信する受信手段と、当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとを備えたコミュニケーション装置を用いたコミュニケーション方法のプログラムを記録した記録媒体において、 コンピュータに、前記入力手段が操作されたことに応答して、前記会話データとは別のデータであって前記送信データおよび前記受信データの交信のやり直しを示すデータ並びに送信主体についてのデータを含むものを前記送信手段により前記受信手段へ送信させるステップと、前記受信手段により受信された前記別のデータに基づき、前記報知手段により、前記やり直しを示すデータおよび前記送信主体についてのデータに応じた触覚刺激をさらに呈示させるステップとを行わせることを特徴とするプログラムを記録した記録媒体を提供する。
【0016】
ここで、前記やり直しを示すデータは、前記送信データの訂正を示すものと前記受信データの再送要求を示すものとを含み、前記送信主体についてのデータは、交信相手に対する送信を開始できる状態であることを示すものと、前記受信手段による受信中に前記入力手段により入力されて交信相手に送信の継続を促すものとを含むことができる。
【0017】
【作用】
上記構成の本発明に係る装置、方法、記録媒体によれば、例えば6点点字パターン等の所定方式にしたがった会話データを入力する入力手段と、当該入力データを検出してモデムなどで電話回線等の通信媒体を介し送信する送信手段と、当該送信データを受信する受信手段と、当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとにより、会話データと、例えば話者が聞き手に対し自らの発言を取消して訂正すること、聞き手が話者に対し相手が発言を再度繰り返して送信すること、送信主体の変更なしに話者が送信権を維持したまま発言を続けることを求めること、交信しようとする2人のうちいずれか一方が発言権を取得して送信主体となり得る状態であることを相手に知らせる、会話データとは別のデータとを別に交信し、機械的変位により状態に応じたタイミングで会話内容とともに触覚刺激により呈示することができる。また、報知手段の触覚刺激手段はキー入力機能による入力を行える。
【0018】
【発明の実施の形態】
以下、添付図面を参照し本発明の実施の形態を詳細に説明する。
【0019】
図1は本発明に係るコミュニケーション装置の一実施の形態のハードウェア構成を示すブロック図である。図2は図1中の6指点字方式による入出力装置(6指点字端末)の一実施の形態を示す概略斜視図であり、これにより触覚受容器に会話用の文字データを呈示する。なお、本明細書中で「触覚」と記した場合には圧覚も含むものとする。
【0020】
最初に触覚情報伝達装置で遠隔コミュニケーションを実現するハードウェアの構成を説明する。
【0021】
図1において、1,11は送受信のコンピュータを示し、両コンピュータはROM,RAM等の記録媒体とCPU(ともに図示せず)を備え、本実施の形態のコミュニケーション装置を用いたコミュニケーション方法のプログラムを予めROMに記憶し、RAMにロードしてCPUに実行させることができる。
【0022】
2,12はボイス・モデムであり、コンピュータ間でデータの送受を行う。3,13は一般的構成のキーボードであり,各種キー入力を行うことができる。4,14はマイクロフォンであり、音声を電気信号に変換してデータと共に送信するためのものである。5,15は6指点字端末であり、6指点字方式による入出力部を同一のキー上に一体化し兼ね備えている。6,16は点字ピン・ディスプレイ、7,17は音声合成装置である。8,18はモニタ装置であり、表示画面を備える。
【0023】
9,19は振動モータなどの振動子を備えた構成の装着型振動呈示器であり、コンピュータ1,11の使用者が体の一部位に装着することができ、これにより、電話の受信を振動で体性感覚に知らせるようになっている。10,20は送信器であり、これにより、コンピュータから離れた装着型振動呈示器9にFM波などの微弱な電波を送信して、電話着信を伝達する。装着型振動呈示器9はこの微弱な電波を受信する受信器を内蔵しており、当該電波を受信すると振動呈示を開始する。
【0024】
上記各要素のうち、マイクロフォン4,14、およびキーボード3,13は入力装置、コンピュータ1,11、ボイス・モデム2,12、および6指点字端末5,15は入出力装置であり、その他要素は出力装置である。
【0025】
次に、6指点字端末5,15の構成、および6指点字端末5,15が指に対して出力する触覚刺激の呈示方法について、図2を参照して説明する。
【0026】
図2において、6個の点字入力キー部21〜26は人間の手指に触覚刺激を与えるよう盲ろう者用に構成され、左右各3指、合わせて6指の指腹を載置可能に配置されている。各点字入力キー部は、それぞれ複数の刺激ピン21a〜c,22a〜c,23a〜c,24a〜c,25a〜c,26a〜cを備える。各刺激ピンは各点字入力キー部によりガイドされて上下運動を行い、入力キーとしても機能する。各刺激ピンは、圧電素子、電磁ソレノイド、形状記憶合金など刺激ピンを上下運動するアクチュエータ機構を備え、上下運動により皮膚に触覚刺激を与える。1本の指に対する刺激ピンは1個でも良いが、図2には複数の刺激ピンによる例を示す。
【0027】
27〜32は、触覚情報伝達装置で遠隔コミュニケーションを行う場合に、会話の状態を制御するための各種スイッチである。スイッチ28はバック・スペース(BS)キー、スイッチ27はエスケープ(ESC)キー、スイッチ29はスペース(SP)キー、スイッチ30はキャリッジ・リターン(CR)キー、スイッチ31は戻り方向への1文字分のカーソル移動(←)キー、スイッチ32は進み方向への1文字分のカーソル移動(→)キーの各種キー入力機能を遂行する。33はジョグ・シャトル・ダイアルであり、これにより、データを触読する際に呈示速度などを調節する。
【0028】
図3は6指点字端末5,15の刺激ピン駆動方法の一例を説明する模式的説明図、図4は6指点字端末5,15の刺激ピン駆動方法による駆動タイミングの一例を示すタイミング図である。
【0029】
図2乃至図4を参照して、6指点字端末5,15における刺激ピンの駆動方法について説明する。図3において、黒丸の刺激ピンは駆動されるピン、白抜きの刺激ピンは駆動されないピンを示している(後述の図6においても同様である)。図4において、(a),(b)中の時間軸(横軸)の起点は同一である。また、各曲線に付与した参照番号は刺激ピンに付与した参照番号と対応する(後述の図7においても同様である)。
【0030】
各指に対応する刺激ピン21a〜c,22a〜c,23a〜c,24a〜c,25a〜c,26a〜cは、呈示される点字に対応したものだけが所定タイミングで上下に駆動される。例えば点字の「う」の場合には、刺激ピン21a〜cと24a〜cが次の通りにスキャン駆動される。
【0031】
ここで、1指に対応する点字入力キー部21の横方向に整列した刺激ピン21aが同時に時間t1だけ駆動され、同じく刺激ピン21bは刺激ピン21aに対して遅延時間Δtで時間t2だけ駆動され、同じく刺激ピン21cは刺激ピン21bに対して遅延時間Δtで時間t3だけ駆動される。点字入力キー部21の上記スキャン対して遅延時間ΔMで、点字入力キー部24により別の指に対してスキャンする。ここでも同様に、横方向に整列した刺激ピン24aが同時に時間t1だけ駆動され、同じく刺激ピン24bは刺激ピン24aに対して遅延時間Δtで時間t2だけ駆動され、同じく刺激ピン24cは刺激ピン24bに対して遅延時間Δtで時間t3だけ駆動される。
【0032】
このように各刺激ピンは、それぞれ同時、あるいは1指内、6指間でそれぞれ遅延時間Δt,ΔMを持った信号によって駆動される。点字「う」の場合は、刺激ピン22a〜c、23a〜c、25a〜c、26a〜cは駆動されない。このように、どの指とどの指がどのようなタイミングで刺激されたかで、点字を伝えることができる。
【0033】
次に、6指点字端末5,15を備えた本発明に係るコミュニケーション装置を用いて遠隔コミュニケーションを実施する一方法について説明する。遠隔コミュニケーション実施の説明に際し、会話の開始と終了や発言権の取得(発言者交代)、相づち、聞き直し、発言者の発言訂正などのように、会話に必要な状態を知らせる触覚刺激は、前出の「6指点字方式」による文字情報に対応する触覚刺激とは別の、本発明に固有な種々のタイミングの刺激(図6参照)として付与する。
【0034】
図5は本発明に係るコミュニケーション装置を用いて遠隔コミュニケーションを実現するプロトコルおよび方法を示すフローチャートを示す。図6は会話の状態を伝えるための上記種々のタイミングによる刺激の種類を例示する説明図である。図7は6指点字端末5,15の刺激ピン駆動方法の一例を説明する模式的説明図、図8は6指点字端末5,15の刺激ピン駆動方法による駆動タイミングの一例を示すタイミング図である。
【0035】
以下、図5のフローチャートに従い、図1、図6乃至図8を参照してコミュニケーション方法を順に説明する。
【0036】
発信者、すなわち送信者(本実施の形態では、図1の左側ブロックの使用者とする)は、6指点字端末5が備える点字入力キー部21〜26またはキーボード3のテンキーを用いて送信相手の電話番号を入力する(S500)。ボイス・モデム2によりコード化された会話用の文字データは、送信されて受信側のコンピュータ11により検出される。これにより、コンピュータ11は送信器20を送信状態にする。
【0037】
装着型振動呈示器19が送信器20から微弱電波を受信すると、例えば振動モータを駆動して呼出振動を呈示することで(S504)、受信者に電話の着信を呈示する(S506)。上記電波の送信中は、送信側において、6指点字端末5によってDISP1の刺激信号(図6)により送信者(コンピュータ1の使用者)に呼出振動を呈示して(S501)、電話の呼出中であることを知らせる(S503)。
【0038】
ここで、DISP1並びに以下に説明する各刺激信号は、図7に示した通り、例えば点字入力キー部21の横方向に整列した刺激ピン21a,21b,21cを同時に、呈示時間tで、伝えたい各会話状態に応じたそれぞれのタイミングで駆動するものである。当該タイミングは、図8に示す振動周波数f、呈示時間t、休止時間t0、周期Tの繰り返し回数を、図6に例示した値とするものであり、また、1指内、6指間の遅延時間も図6に例示した値とされる。これにより、各種刺激条件を6本の指に伝達して会話の状態を伝えることになる。
【0039】
例えば上記電話呼出中のDISP1の場合は、図6から、受信側、送信側双方に呈示し、一定周波数f1の振動を3sec間ずつ、1secの休止時間toで、6指同時に(6指間遅延なし)、受信側の応答があるまで駆動する。またこの刺激信号は、6指点字端末5,15および装着型振動呈示器9,19を用いて伝えられる。
【0040】
図5に戻って説明すると、受信側のコンピュータ11が電話の着信を検出すると、両コンピュータ1,11は予め登録された自分の名前、電話番号等の情報を互いに送信する(S507)。さらに、送信および受信側両方の6指点字端末5,15の呈示部により、DISP2(図6)の刺激信号を呈示する(S509)。これにより、通信相手の確認準備ができたことを両使用者に知らせる。
【0041】
交信された使用者名、電話番号などの情報はそれぞれのコンピュータ1,11のメモリ・バッファに一時格納され、6指点字端末5,15に出力されて通信相手の情報が両使用者に知らされる(S510,S511)。通信相手を確認できた時に送信側および受信側の両使用者は、6指点字端末5,15のスイッチ30またはキーボード3,13のキャリッジ・リターン・キー、エンター・キー(図示せず)を押下する。
【0042】
S513において、送受信者名とモードが確認され、スイッチ30またはキャリッジ・リターン・キーまたはエンター・キーの押下を検出すると、コンピュータ1,11は「確認終了信号」を通信相手に送信する。送信された「確認終了信号」を各コンピュータが検出すると、DISP3(図6)の触覚刺激をそれぞれ6指点字端末5,15の呈示部により出力して会話準備完了振動を呈示する(S155)。すなわち、DISP3は遠隔コミュニケーションの会話準備が整い、いずれか一方が発言権を取得できる状態を知らせる信号である。この状態では、いずれの側でもキーボード3,13はキー入力禁止とされており、たとえキー入力してもデータは送信されない。同時に、6指点字端末5,15では機械的にも入力できないようにキーロックしておく。
【0043】
この状態で、先に発言したい使用者(本実施の形態では図1の左側ブロックの使用者とし、S517以下では発言者と記す)は、6指点字端末5のスイッチ29あるいはキーボード3のスペース・キーを押下する。スイッチ29あるいはスペース・キーの押下を検出すると、S517からS519に進んでコンピュータ1は、「発言開始信号」を聞き手側に送信し(S519)、同時にキー入力禁止あるいはキーロックを解除する(S521)。聞き手側のコンピュータ11はこの「発言開始信号」を受信すると、キーボード13をキー入力禁止とし、6指点字端末15の点字入力キー部を機械的にロックする(S520,S522)。
【0044】
このように、スイッチ29あるいはスペース・キーを先に押下した発言者側が発言権を取得して会話用の文字データを送信することができ、発言権を持たない聞き手側はキー入力しても送信することができない。発言権を得た発言者側は、S523において後述エスケープ・キー等が押下されていなければ、キーボード3あるいは6指点字端末5の点字入力キー部21〜26から、会話を入力する(S525〜S529)。ここで、コンピュータ1は1文字毎にボイス・モデム2にデータを出力し、聞き手側に送信する(S527)。
【0045】
聞き手側で受信された1文字分のデータはメモリ・バッファに一時格納されるとともに、6指点字端末15の呈示部に出力されて、リアルタイムで通信相手の聞き手に知らされる(S524〜S532)。聞き手側における呈示は、後述の「発言終了信号」を受信するまで続けられる。
【0046】
発言者が会話を終了すると、キーボード3のエスケープ・キーあるいは6指点字端末5のスイッチ27を押下する。コンピュータ1はエスケープ・キーあるいはスイッチ27の押下を検出すると、S523〜S531に進んで発言者側のキーボード3をキー入力禁止とし、6指点字端末5の点字入力キー部を機械的にロックする。さらにコンピュータ1は、聞き手側に「発言終了信号」を送信してS517に戻る。
【0047】
聞き手側はこの「発言終了信号」を受信してS517に戻り、双方の発言待ち状態となる。ここで、前回聞き手であった者が6指点字端末15のスイッチ29あるいはキーボード13のスペース・キーを押下することで、発言権が移行して発言者と聞き手が交代して会話が成立する。
【0048】
上記のプロトコルにより、使用者はトランシーバのようにリアルタイムで、順次会話を行うことができる。
【0049】
なお、最初に発信したときに発信相手が別の相手と電話中のとき(話中)は、図6の通りにDISPの刺激信号が当該電話が切られるまで送信側(発言者)に呈示され、発信相手が通話中であることを知らせる。
【0050】
また、上記したS517以降の方法で会話を行っている最中に、聞き手の相づちや聞き直し、あるいは発言者側のキー入力誤りや会話の取消を、以下の触覚刺激を用いた方法で通信相手に伝えることができる。
【0051】
例えば、聞き手は会話が不明の時に6指点字端末15のスイッチ31またはキーボード13のカーソル移動キー(←)を押下する。コンピュータ11はスイッチ31または当該カーソル移動キーの押下を検出すると、発言者側に「聞き直し信号」を送出する。「聞き直し信号」は、図6においてDISP4で示される。発言者側のコンピュータ1は「聞き直し信号」を受信すると、6指点字端末5によりDISP4の触覚刺激を呈示する。また、聞き手の相づちは図6に示すDISP5の触覚刺激を用いて伝達する。
【0052】
ところで、6指点字の会話において発言の訂正を行う方法として、相手の手の甲に乗せた指を左右に往復運動させることで訂正を伝えることが行われている。そこで、発言者側の取消は図6に示すDISP6の触覚刺激を用いて伝達している。
【0053】
上記のDISP6は、一定周波数の振動を0.5sec間、0secの休止時間toで、0.1secの6指間の遅延をもって時間差駆動し、点字入力キー部23→22→21→24→25→26の順で各指に呈示するものである。従って、個々の指への刺激部位は静止しているが、上記の条件で各指を次々に刺激することで触覚の仮現運動を生じさせている。このように、6指点字端末5の呈示部において、上記の順に適当な時間差で順次刺激呈示を行うことにより、あたかも指点字の場合の訂正動作と同様の感覚を与えることができる。なお、上記刺激順序は逆でも良い。
【0054】
以上、6指点字端末を用いた本発明に係るコミュニケーション装置で遠隔コミュニケーションを行う一実例施の形態ついて説明したが、会話の開始と終了や発言権の取得、および相づち、聞き直し、発言者の発言訂正などを6指点字端末上で指腹以外の刺激部位に呈示しても良い。また、6指点字端末で表した遠隔コミュニケーションの方法は、他の出力装置であるモニタ装置上の文字や音声合成装置による音声、あるいは点字ピン・ディスプレイ上の刺激ピンで適切に呈示し、会話用の文字データや会話の状態を知らせる方法に適用できることは自明である。
【0055】
【発明の効果】
以上説明したように本発明によれば、コミュニケーションに障害を持つ人同士で、あるいはコミュニケーションに障害を持つ人と健常者とで、会話内容とともに交信のやり直しや送信権の帰属を相手に呈示しながら、口頭会話と同様にリアルタイム性が向上した、点字情報の遠隔コミュニケーションを実施することができ、障害による情報伝達の障壁を解消することができる効果がある。
【図面の簡単な説明】
【図1】本発明に係るコミュニケーション装置の一実施の形態のハードウェア構成を示すブロック図である。
【図2】図1中の6指点字方式による入出力装置(6指点字端末)の一実施の形態を示す概略斜視図である。
【図3】6指点字端末の刺激ピン駆動方法の一例を説明する模式的説明図である。
【図4】6指点字端末の刺激ピン駆動方法による駆動タイミングの一例を示すタイミング図である。
【図5】本発明に係るコミュニケーション装置を用いて遠隔コミュニケーションを実現する方法およびプロトコルを示すフローチャートである。
【図6】会話の状態を伝えるための上記種々のタイミングによる刺激の種類を例示する説明図である。
【図7】6指点字端末の刺激ピン駆動方法の一例を説明する模式的説明図である。
【図8】6指点字端末の刺激ピン駆動方法による駆動タイミングの一例を示すタイミング図である。
【符号の説明】
1,11 コンピュータ
2,12 ボイス・モデム
3,13 キーボード
4,14 マイクロフォン
5,15 6指点字端末
6,16 点字ピン・ディスプレイ
7,17 音声合成装置
8,18 モニタ装置
9,19 装着型振動呈示器
10,20 送信器
11a〜c,22a〜c,23a〜c,24a〜c,25a〜c,26a〜c刺激ピン
21〜26 点字入力キー部
27 スイッチ(エスケープ)
28 スイッチ(バック・スペース)
29 スイッチ(スペース)
30 スイッチ(キャリッジ・リターン)
31,32 スイッチ(カーソル移動)
33 ジョグ・シャトル・ダイヤル
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication device and method, and a recording medium, and in particular, a communication device and communication method that enables remote communication between persons with impaired eyes or ears or between healthy persons, and the method. The present invention relates to a recording medium on which a program is recorded.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a method for performing remote data communication using a modem, a technique for transmitting and receiving data by e-mail or the like using a computer and a modem is well known. In addition, telephone communication devices TDD / TTY developed for hearing impaired persons in the United States are widely used as a means for persons with disabilities to communicate via telephone lines. In this method, character information input from a typewriter is transmitted via a telephone line, and characters are displayed on a liquid crystal display device on the receiving side. In addition, there is an example in which the TDD / TTY is modified and the receiving unit of the liquid crystal display device is replaced with a braille display ("Possibility and problems of computer network use by deafblind people", IEICE Tech. 79).
[0003]
On the other hand, finger braille is known as one of the means by which a deafblind person who has both visual and auditory disabilities communicates everyday. As a device for transmitting information in a finger braille pattern, a method of presenting character information by stimulation of a stimulating element provided on the finger pad or finger back of six fingers (hereinafter referred to as a six finger braille method) has been reported. ((1) “Braille information transmission device”, Japanese Patent Laid-Open No. 10-105048, (2) “New Braille transmission method by passive tactile”, IPSJ Journal, VOL52, 98-4, (3) "Study of Optimal Stimulus Mode for Finger Braille Display", IEICE Transactions (A), VOL. J81-A, No. 9, pp. 1273-1279).
[0004]
However, there is currently no effective device that can perform remote communication using finger braille. Thus, there are very few devices that allow deafblind people to perform remote communication without assistance.
[0005]
[Problems to be solved by the invention]
In the above-described computer and the conventional method of sending and receiving data such as e-mail using a modem, the output device is a visual or audible display and cannot be used by a deaf-blind person. In addition, it is possible to express the character information on the screen in Braille by providing a Braille display on the computer, but in addition to making it difficult for the deafblind to operate the computer itself, real-time communication is possible in the mail format. There is a problem that it cannot be done. Furthermore, since there is no function that informs the user of the start / end of a conversation or the change of a speaker / listener, it is difficult to form a normal verbal conversation.
[0006]
In addition, the TDD / TTY modified type that replaces the receiving part of the liquid crystal display device with a braille display can form a conversation mode close to real time, but it is not possible to convey it completely in real time just like verbal conversation. Have difficulty. In addition, this type is not in a form that expresses rehearsals, reconciliations, or rephrasings unique to oral conversation.
[0007]
Furthermore, the above-mentioned method using a braille pin display can be used by people with disabilities who have learned small-sized braille, but there is a limit to the sense of the fingertips and can be used by people with disabilities who cannot read braille. There are issues such as being unable to do so.
[0008]
Therefore, the present invention has been made to solve the above-mentioned problems, and a person who has a communication disability, such as a deafblind person, has solved communication barriers caused by various disabilities, so An object of the present invention is to provide a communication device and a communication method capable of realizing remote communication between a person and a healthy person, and a recording medium on which a program of the method is recorded.
[0009]
[Means for Solving the Problems]
In order to solve the above problems, according to one aspect of the present invention, there is provided a communication device that transmits braille information that communicates and stimulates tactile sensation under the control of a computer, and an input unit that inputs conversation data according to a predetermined method; A transmission means for detecting the input data and transmitting it via a communication medium; a reception means for receiving the transmission data; and a notification means for informing the conversation content according to the reception data, wherein the conversation content is predetermined. As the Braille information of the method By tactile stimulation It has something to present, The transmission means , In response to the operation of the input means, Data different from the conversation data Before Transmission data and data indicating re-communication of the received data and transmission About the subject Including data Transmitting to said receiving means; and , The notification means Is based on the other data received by the receiving means. , Data indicating the redo and the About the sender data Tactile stimulation according to Further present Ruko A communication device characterized by the above is provided.
[0010]
Here, the notification means includes the conversation data and the other data. Move Tactile stimulation means presented by mechanical displacement of moving member When, The mechanical displacement No Imming The The conversation data differs from the other data Drive the moving member For the other data, The timing Data indicating the redo And the sender data And a driving means for driving the moving member. be able to.
[0011]
Here, the data indicating the redo includes the one indicating the correction of the transmission data and the one indicating the retransmission request for the received data, The data about the sending subject indicates that it is ready to start sending to the other party, Input by the input means during reception by the receiving means to prompt the communication partner to continue transmission And Can be included.
[0012]
Here, when the transmission data is received, a wireless transmission unit that transmits a radio wave and a vibration unit that receives the transmission radio wave and generates mechanical vibration, which can be attached to a user and stimulate the user Things can be provided.
[0013]
In another aspect of the present invention, an input unit that inputs conversation data according to a predetermined method, a transmission unit that detects the input data and transmits it via a communication medium, a reception unit that receives the transmission data, Informing means for informing the conversation content according to the received data, wherein the conversation content is used as the Braille information of a predetermined method By tactile stimulation In a communication method controlled by a computer using a communication device equipped with what to present, In response to the input means being operated The data is different from the conversation data. Before Data indicating the re-communication of the transmitted data and the received data, and About the sender Including data Send to the receiving means by the sending means Steps, Based on the other data received by the receiving means, Notifying means But , Data indicating the redo and About the sender data Tactile stimulation according to Present to Rusu A communication method characterized by including tep.
[0014]
Here, the data indicating the redo includes the one indicating the correction of the transmission data and the one indicating the retransmission request for the received data, The data about the sending subject indicates that it is ready to start sending to the other party, Input by the input means during reception by the receiving means to prompt the communication partner to continue transmission And Can be included.
[0015]
In another aspect of the present invention, an input unit that inputs conversation data according to a predetermined method, a transmission unit that detects the input data and transmits it via a communication medium, a reception unit that receives the transmission data, Informing means for informing a conversation content according to received data, wherein the conversation content is used as the Braille information of a predetermined method. By tactile stimulation In a recording medium on which a program of a communication method using a communication device provided with a recording medium is recorded, In response to the input means being operated The data is different from the conversation data. Before Data indicating re-communication of the transmission data and the reception data, and About the sender Including data Transmitting to the receiving means by the transmitting means Steps, Based on the other data received by the receiving means, Notifying means By , Data indicating the redo and About the sender data Tactile stimulation according to Presented To make Provided is a recording medium on which a program is recorded.
[0016]
Here, the data indicating the redo includes the one indicating the correction of the transmission data and the one indicating the retransmission request for the received data, The data about the sending subject indicates that it is ready to start sending to the other party, Input by the input means during reception by the receiving means to prompt the communication partner to continue transmission And Can be included.
[0017]
[Action]
According to the apparatus, method, and recording medium of the present invention having the above configuration, for example, conversation data according to a predetermined method such as a six-point braille pattern. Enter Input means for receiving data, transmitting means for detecting the input data and transmitting it via a communication medium such as a telephone line by a modem, etc., receiving means for receiving the transmission data, and notification of the conversation contents corresponding to the received data Notification means for performing the conversation content as the Braille information of a predetermined method By tactile stimulation Depending on what is presented, conversation data and, for example, The speaker cancels and corrects his / her speech to the listener, the listener sends the speaker to the speaker again and again, and the speaker keeps the transmission right without changing the sender. Requesting to continue, or one of the two people trying to communicate must be able to acquire the right to speak and become the sender Separate from conversation data De With the conversation content at the timing according to the state due to mechanical displacement Presented by tactile stimulation Can be shown. Further, the tactile stimulation means of the notification means can perform input by a key input function.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0019]
FIG. 1 is a block diagram showing a hardware configuration of an embodiment of a communication apparatus according to the present invention. FIG. 2 is a schematic perspective view showing an embodiment of an input / output device (six-finger braille terminal) using the six-finger braille method in FIG. 1, and presents character data for conversation to the tactile receptor. In the present specification, “tactile sensation” includes pressure sensation.
[0020]
First, the hardware configuration for realizing remote communication with the tactile information transmission device will be described.
[0021]
In FIG. 1, reference numerals 1 and 11 denote transmission / reception computers. Both computers are provided with a recording medium such as a ROM and a RAM and a CPU (both not shown), and a program for a communication method using the communication apparatus of the present embodiment. It can be stored in the ROM in advance, loaded into the RAM, and executed by the CPU.
[0022]
Reference numerals 2 and 12 denote voice modems which exchange data between computers. Reference numerals 3 and 13 denote general-structured keyboards that can perform various key inputs. Reference numerals 4 and 14 denote microphones for converting sound into an electric signal and transmitting it together with data. Reference numerals 5 and 15 denote 6-finger Braille terminals, which have an input / output unit based on a 6-finger Braille system integrated on the same key. 6 and 16 are braille pin displays, and 7 and 17 are speech synthesizers. Reference numerals 8 and 18 denote monitor devices each having a display screen.
[0023]
Reference numerals 9 and 19 denote wearable vibration presenters having a vibrator such as a vibration motor, which can be worn by a user of the computers 1 and 11 on one part of the body, thereby vibrating the reception of the phone. It is designed to inform somatosensory. Reference numerals 10 and 20 denote transmitters, which transmit weak radio waves such as FM waves to the wearable vibration presenter 9 remote from the computer to transmit incoming calls. The wearable vibration presenter 9 has a built-in receiver that receives this weak radio wave, and starts receiving the vibration when receiving the radio wave.
[0024]
Among the above elements, the microphones 4 and 14 and the keyboards 3 and 13 are input devices, the computers 1 and 11, the voice modems 2 and 12, and the 6-finger Braille terminals 5 and 15 are input / output devices, and the other elements are Output device.
[0025]
Next, the configuration of the six-finger Braille terminals 5 and 15 and a method for presenting tactile stimulation that the six-finger Braille terminals 5 and 15 output to the finger will be described with reference to FIG.
[0026]
In FIG. 2, six Braille input keys 21 to 26 are configured for a deafblind person to give a tactile stimulus to human fingers, and are arranged so that three fingers can be placed on the left and right, and a total of six fingers. Has been. Each braille input key unit includes a plurality of stimulation pins 21a to c, 22a to c, 23a to c, 24a to c, 25a to c, and 26a to c, respectively. Each stimulation pin is guided by each braille input key unit to move up and down, and also functions as an input key. Each stimulation pin includes an actuator mechanism that moves the stimulation pin up and down, such as a piezoelectric element, an electromagnetic solenoid, and a shape memory alloy, and applies tactile stimulation to the skin by the vertical movement. Although one stimulation pin may be used for one finger, FIG. 2 shows an example using a plurality of stimulation pins.
[0027]
Reference numerals 27 to 32 denote various switches for controlling the state of conversation when remote communication is performed by the tactile information transmission device. The switch 28 is a back space (BS) key, the switch 27 is an escape (ESC) key, the switch 29 is a space (SP) key, the switch 30 is a carriage return (CR) key, and the switch 31 is one character in the return direction. The cursor movement (←) key and the switch 32 perform various key input functions of the cursor movement (→) key for one character in the advance direction. Reference numeral 33 denotes a jog / shuttle dial, which adjusts the presentation speed and the like when reading data.
[0028]
FIG. 3 is a schematic explanatory diagram for explaining an example of the stimulation pin driving method for the six-finger Braille terminals 5 and 15, and FIG. 4 is a timing diagram showing an example of the driving timing by the stimulation pin driving method for the six-finger Braille terminals 5 and 15. is there.
[0029]
With reference to FIG. 2 thru | or FIG. 4, the drive method of the stimulation pin in the 6-finger braille terminals 5 and 15 is demonstrated. In FIG. 3, the black circle stimulation pins are driven pins, and the white stimulation pins are not driven pins (the same applies to FIG. 6 described later). In FIG. 4, the starting point of the time axis (horizontal axis) in (a) and (b) is the same. Further, the reference number given to each curve corresponds to the reference number given to the stimulation pin (the same applies to FIG. 7 described later).
[0030]
For the stimulation pins 21a-c, 22a-c, 23a-c, 24a-c, 25a-c, and 26a-c corresponding to each finger, only those corresponding to the Braille to be presented are driven up and down at a predetermined timing. . For example, in the case of “U” in Braille, the stimulation pins 21a to 21c and 24a to 24c are scan-driven as follows.
[0031]
Here, the stimulation pins 21a aligned in the horizontal direction of the braille input key unit 21 corresponding to one finger are simultaneously driven for a time t1, and similarly the stimulation pin 21b is driven for a time t2 with a delay time Δt with respect to the stimulation pin 21a. Similarly, the stimulation pin 21c is driven for the time t3 with a delay time Δt with respect to the stimulation pin 21b. The Braille input key unit 21 scans another finger with a delay time ΔM with respect to the above scan of the Braille input key unit 21. Again, the laterally aligned stimulation pins 24a are simultaneously driven for a time t1, the stimulation pin 24b is also driven for a time t2 with a delay time Δt relative to the stimulation pin 24a, and the stimulation pin 24c is also the stimulation pin 24b. On the other hand, it is driven for a time t3 with a delay time Δt.
[0032]
In this way, each stimulation pin is driven by a signal having delay times Δt and ΔM respectively at the same time or within one finger and between six fingers. In the case of Braille “U”, the stimulation pins 22a to c, 23a to c, 25a to c, and 26a to c are not driven. Thus, Braille can be transmitted depending on which finger and which finger are stimulated at what timing.
[0033]
Next, a method for carrying out remote communication using the communication device according to the present invention including the six-finger Braille terminals 5 and 15 will be described. When explaining the implementation of remote communication, tactile stimulation that informs the state necessary for the conversation, such as the start and end of the conversation, acquisition of the right to speak (speaker change), coordinating, re-listening, and correcting the speaker's speech, The stimulus is applied as a stimulus (see FIG. 6) of various timings unique to the present invention, different from the tactile stimulus corresponding to the character information by the “six-finger braille system”.
[0034]
FIG. 5 is a flowchart showing a protocol and method for realizing remote communication using the communication apparatus according to the present invention. FIG. 6 is an explanatory view exemplifying the types of stimuli at the above-mentioned various timings for conveying the state of conversation. FIG. 7 is a schematic explanatory diagram for explaining an example of the stimulation pin driving method for the six-finger Braille terminals 5 and 15, and FIG. 8 is a timing diagram showing an example of the driving timing by the stimulation pin driving method for the six-finger Braille terminals 5 and 15. is there.
[0035]
Hereinafter, according to the flowchart of FIG. 5, the communication method will be described in order with reference to FIGS.
[0036]
A sender, that is, a sender (in this embodiment, a user of the left block in FIG. 1) uses a braille input key unit 21 to 26 included in the six-finger Braille terminal 5 or a numeric keypad of the keyboard 3 to transmit a partner. Is entered (S500). The character data for conversation encoded by the voice modem 2 is transmitted and detected by the computer 11 on the receiving side. As a result, the computer 11 puts the transmitter 20 in a transmission state.
[0037]
When the wearable vibration presenter 19 receives a weak radio wave from the transmitter 20, for example, by driving a vibration motor to present a ringing vibration (S504), the receiver is presented with an incoming call (S506). During the transmission of the radio wave, the transmitting side presents a ringing vibration to the sender (user of the computer 1) by the stimulus signal (FIG. 6) of the DISP1 by the 6-finger Braille terminal 5 (S501), and the telephone is ringing. (S503).
[0038]
Here, as shown in FIG. 7, for example, the DISP 1 and the stimulation signals to be described below are simultaneously transmitted to the stimulation pins 21a, 21b, and 21c aligned in the horizontal direction of the Braille input key unit 21 at the presentation time t. It is driven at each timing according to each conversation state. The timing is such that the vibration frequency f, the presentation time t, the rest time t0, and the period T shown in FIG. 8 are set to the values illustrated in FIG. The time is also the value illustrated in FIG. As a result, various stimulation conditions are transmitted to the six fingers to convey the state of conversation.
[0039]
For example, in the case of DISP1 during a telephone call, from FIG. 6, it is presented to both the reception side and the transmission side, and vibration of a constant frequency f1 is performed every 3 seconds for 6 seconds with a pause time to 1 second (a delay between 6 fingers). None) Drive until there is a response from the receiver. The stimulation signal is transmitted using the 6-finger Braille terminals 5 and 15 and the wearable vibration presenters 9 and 19.
[0040]
Returning to FIG. 5, when the receiving computer 11 detects an incoming call, both the computers 1 and 11 transmit information such as their names and telephone numbers registered in advance to each other (S507). Furthermore, the stimulation signal of DISP2 (FIG. 6) is presented by the presenting units of the six-finger Braille terminals 5 and 15 on both the transmission and reception sides (S509). This informs both users that the communication partner is ready to check.
[0041]
Information such as the user name and telephone number communicated is temporarily stored in the memory buffer of each computer 1, 11 and output to the 6-finger Braille terminals 5, 15 to inform both users of the information of the communication partner. (S510, S511). When the communication partner is confirmed, both the transmitting side and receiving side users press the switch 30 of the 6-finger Braille terminals 5 and 15 or the carriage return key and enter key (not shown) of the keyboards 3 and 13 To do.
[0042]
In S513, when the name of the sender / receiver and the mode are confirmed, and pressing of the switch 30, the carriage return key or the enter key is detected, the computers 1 and 11 transmit a “confirmation end signal” to the communication partner. When each computer detects the transmitted “confirmation end signal”, the tactile stimulus of DISP3 (FIG. 6) is output by the presenting unit of each of the six-finger Braille terminals 5 and 15 to present a conversation ready vibration (S155). In other words, DISP3 is a signal notifying that a remote communication conversation is ready and either one can acquire the right to speak. In this state, the keyboards 3 and 13 are prohibited from key input on either side, and no data is transmitted even if a key is input. At the same time, the 6-finger Braille terminals 5 and 15 are key-locked so that they cannot be input mechanically.
[0043]
In this state, a user who wants to speak first (in this embodiment, a user of the left block in FIG. 1 and described as a speaker in S517 and the following) speaks the space 29 of the switch 29 of the 6-finger Braille terminal 5 or the keyboard 3. Press the key. When it is detected that the switch 29 or the space key is pressed, the process proceeds from S517 to S519, and the computer 1 transmits a “speech start signal” to the listener (S519), and simultaneously cancels the key input prohibition or the key lock (S521). . Upon receiving this “speech start signal”, the listener's computer 11 prohibits key input from the keyboard 13 and mechanically locks the braille input key portion of the six-finger Braille terminal 15 (S520, S522).
[0044]
In this way, the speaker side who first presses the switch 29 or the space key can acquire the right to speak and transmit the text data for conversation, and the listener side who does not have the right to speak can transmit even by key input. Can not do it. The speaker side who has obtained the speaking right inputs a conversation from the braille input key portions 21 to 26 of the keyboard 3 or the six-finger Braille terminal 5 if an escape key or the like is not pressed in S523 (S525 to S529). ). Here, the computer 1 outputs data to the voice modem 2 for each character and transmits it to the listener (S527).
[0045]
The data for one character received on the listener side is temporarily stored in the memory buffer and output to the presenting unit of the six-finger Braille terminal 15 to notify the communication partner's listener in real time (S524 to S532). . The presentation on the listener side is continued until a “speech end signal” described later is received.
[0046]
When the speaker finishes the conversation, the user presses the escape key on the keyboard 3 or the switch 27 on the six-finger Braille terminal 5. When the computer 1 detects pressing of the escape key or the switch 27, the process proceeds to S523 to S531, and the keyboard 3 on the speaker side is prohibited from being keyed, and the braille input key portion of the six-finger Braille terminal 5 is mechanically locked. Furthermore, the computer 1 transmits a “speech end signal” to the listener and returns to S517.
[0047]
The listener side receives this “speech end signal”, returns to S517, and waits for both to speak. Here, when the person who was the previous listener presses the switch 29 of the six-finger Braille terminal 15 or the space key of the keyboard 13, the right to speak is transferred, and the speaker and the listener are changed to establish a conversation.
[0048]
With the above protocol, the user can have a conversation sequentially in real time like a transceiver.
[0049]
When the first caller is on the phone with another party (busy), the DISP stimulus signal is presented to the sender (speaker) until the call is disconnected as shown in FIG. , Inform the caller that you are busy.
[0050]
In addition, during the conversation in the method after S517 described above, communication with the other party can be performed by using the following tactile stimulation method, such as listening to the listener, re-listening, or canceling the speaker's key input error or conversation. Can tell.
[0051]
For example, the listener presses the switch 31 of the six-finger Braille terminal 15 or the cursor movement key (←) of the keyboard 13 when the conversation is unknown. When the computer 11 detects the pressing of the switch 31 or the cursor movement key, it sends a “rehearsal signal” to the speaker. The “rehearsal signal” is indicated by DISP4 in FIG. When the computer 1 on the speaker side receives the “rehearsal signal”, the six-finger Braille terminal 5 presents a tactile stimulus of the DISP 4. Further, the listener's friendship is transmitted using the tactile stimulus of DISP5 shown in FIG.
[0052]
By the way, as a method of correcting a statement in a 6-finger braille conversation, the correction is transmitted by reciprocating a finger placed on the back of the opponent's hand to the left and right. Therefore, the cancellation on the speaker side is transmitted using the tactile stimulus of DISP 6 shown in FIG.
[0053]
The above-mentioned DISP 6 is driven by a time difference with a delay of 6 fingers of 0.1 sec with a constant frequency of vibration for 0.5 sec, with a rest time to 0 sec for 0.5 sec, and the Braille input key unit 23 → 22 → 21 → 24 → 25 → It is presented to each finger in the order of 26. Therefore, although the stimulation site | part to each finger | toe is stationary, the apparent movement of the tactile sensation is produced by stimulating each finger one by one under the above conditions. As described above, by sequentially presenting the stimulus at an appropriate time difference in the above order in the presenting unit of the six-finger Braille terminal 5, it is possible to give the same feeling as in the correction operation in the case of the finger Braille. The stimulation order may be reversed.
[0054]
As described above, the embodiment of performing the remote communication with the communication device according to the present invention using the 6-finger Braille terminal has been described. However, the start and end of the conversation, the acquisition of the right to speak, and the re-listening of the speaker A speech correction or the like may be presented on a stimulation site other than the finger pad on the 6-finger Braille terminal. In addition, the method of remote communication represented by a 6-finger braille terminal is suitable for presentation by using characters on a monitor device which is another output device, speech by a speech synthesizer, or stimulus pins on a braille pin display. It is obvious that the method can be applied to the method of notifying the character data and the state of conversation.
[0055]
【The invention's effect】
As described above, according to the present invention, between persons with disabilities in communication, or between persons with disabilities in communication and healthy persons, while presenting the re-communication and attribution of the transmission right to the other party together with the conversation contents. In the same way as oral conversation, real-time performance can be improved, remote communication of Braille information can be implemented, and there is an effect that barriers to information transmission due to obstacles can be eliminated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration of an embodiment of a communication apparatus according to the present invention.
2 is a schematic perspective view showing an embodiment of an input / output device (six-finger braille terminal) using the six-finger braille method in FIG. 1. FIG.
FIG. 3 is a schematic explanatory diagram illustrating an example of a stimulation pin driving method for a six-finger Braille terminal.
FIG. 4 is a timing chart showing an example of driving timing according to a stimulation pin driving method for a six-finger Braille terminal.
FIG. 5 is a flowchart showing a method and protocol for realizing remote communication using the communication device according to the present invention.
FIG. 6 is an explanatory view exemplifying types of stimulation at various timings for transmitting a conversation state.
FIG. 7 is a schematic explanatory view illustrating an example of a stimulation pin driving method for a six-finger Braille terminal.
FIG. 8 is a timing chart showing an example of driving timing according to a stimulation pin driving method for a six-finger Braille terminal.
[Explanation of symbols]
1,11 computer
2,12 voice modem
3,13 keyboard
4,14 Microphone
5,15 6-finger braille terminal
6,16 Braille pin display
7, 17 Speech synthesizer
8,18 Monitor device
9,19 Wearable vibration presenter
10,20 Transmitter
11a-c, 22a-c, 23a-c, 24a-c, 25a-c, 26a-c stimulation pins
21-26 Braille input key
27 Switch (Escape)
28 switches (back space)
29 switches (space)
30 switch (carriage return)
31, 32 switch (cursor movement)
33 Jog shuttle dial

Claims (8)

コンピュータの制御により交信して触覚を刺激する点字情報を伝送するコミュニケーション装置であって、
所定方式にしたがった会話データを入力する入力手段と、
当該入力データを検出して通信媒体を介し送信する送信手段と、
当該送信データを受信する受信手段と、
当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとを備えており、
前記送信手段は前記入力手段が操作されたことに応答して、前記会話データとは別のデータであって前記送信データおよび前記受信データの交信のやり直しを示すデータ並びに送信主体についてのデータを含むものを前記受信手段へ送信し、および
前記報知手段は、前記受信手段により受信された前記別のデータに基づき、前記やり直しを示すデータおよび前記送信主体についてのデータに応じた触覚刺激をさらに呈示す
とを特徴とするコミュニケーション装置。
A communication device that transmits braille information that communicates and stimulates tactile sensation under computer control,
An input means for inputting conversation data according to a predetermined method;
Transmitting means for detecting the input data and transmitting it via a communication medium;
Receiving means for receiving the transmission data;
Informing means for informing the conversation content according to the received data, the conversation content is presented by tactile stimulation as the Braille information of a predetermined method,
Said transmitting means is responsive to said input means is operated, data for the data as well as transmitting entity said conversation data indicating a redo of traffic before Symbol transmission data and the reception data to a separate data Including, to the receiving means, and
The notification means, based on the specific data received by the receiving means, still presenting a tactile stimulation corresponding to the data for the data and the transmitting entity indicating the Redo
Communication device comprising a call.
請求項1において、
前記報知手段は、
前記会話データおよび前記別のデータを移動部材の機械的変位により呈示する触覚刺激手段と、
該機械的変位のタイミング前記会話データと前記別のデータとで異ならせて前記移動部材を駆動し、前記別のデータについてはさらに、該タイミングを前記やり直しを示すデータと前記送信主体についてのデータとで異ならせて前記移動部材を駆動する駆動手段と
を備えることを特徴とするコミュニケーション装置。
In claim 1,
The notification means includes
A tactile stimulation means for presenting the mechanical displacement of the conversation data and the specific data moving member,
The timing of the mechanical displacement different et allowed between the different data and the speech data to drive the moving member, the said further data further, for the transmitting entity and data indicating the redo the timing Driving means for driving the moving member in accordance with the data of
Communications apparatus comprising: a.
請求項2において、
前記やり直しを示すデータは、前記送信データの訂正を示すものと前記受信データの再送要求を示すものとを含み、
前記送信主体についてのデータは、交信相手に対する送信を開始できる状態であることを示すものと、前記受信手段による受信中に前記入力手段により入力されて交信相手に送信の継続を促すものとを含む、
ことを特徴とするコミュニケーション装置。
In claim 2,
The data indicating redo includes the one indicating the correction of the transmission data and the one indicating the retransmission request for the received data,
Data for the transmitting entity comprises a an indication that is ready to start transmission to the partner station, and one which facilitates a continuation of transmission is input to the partner station by the input means during reception by said receiving means ,
A communication device characterized by that.
請求項1〜3のいずれかにおいて、
前記送信データを受信すると電波を送信する無線送信手段と、
当該送信電波を受信して機械的振動を発生する振動手段であって、使用者に装着して前記使用者を刺激可能なものと
を備えることを特徴とするコミュニケーション装置。
In any one of Claims 1-3,
Wireless transmission means for transmitting radio waves when receiving the transmission data;
A communication device comprising vibration means for receiving the transmission radio wave and generating mechanical vibration, which can be worn on a user and can stimulate the user.
所定方式にしたがった会話データを入力する入力手段と、当該入力データを検出して通信媒体を介し送信する送信手段と、当該送信データを受信する受信手段と、当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとを備えたコミュニケーション装置を用いたコンピュータの制御によるコミュニケーション方法において、
前記入力手段が操作されたことに応答して、前記会話データとは別のデータであって前記送信データおよび前記受信データの交信のやり直しを示すデータ並びに送信主体についてのデータを含むものを前記送信手段により前記受信手段へ送信するステップと、
前記受信手段により受信された前記別のデータに基づき、前記報知手段、前記やり直しを示すデータおよび前記送信主体についてのデータに応じた触覚刺激をさらに呈示するステップと
を含むことを特徴とするコミュニケーション方法。
An input means for inputting conversation data in accordance with a predetermined method, a transmission means for detecting the input data and transmitting it via a communication medium, a reception means for receiving the transmission data, and conversation contents corresponding to the received data In a communication method by computer control using a communication device that is a notification means for notifying and presenting the conversation content as the Braille information of a predetermined method by tactile stimulation ,
In response to said input means is operated, the one containing the data for the data as well as transmitting entity indicating rework communication before Symbol transmission data and the reception data to a separate data from said speech data Transmitting to the receiving means by a transmitting means ;
Based on the different data received by the receiving means, that before Symbol notifying means, including the absence steps be presented to the al tactile stimulation corresponding to the data for the data and the transmitting entity indicating the Redo A communication method characterized by
請求項5において、
前記やり直しを示すデータは、前記送信データの訂正を示すものと前記受信データの再送要求を示すものとを含み、
前記送信主体についてのデータは、交信相手に対する送信を開始できる状態であること を示すものと、前記受信手段による受信中に前記入力手段により入力されて交信相手に送信の継続を促すものとを含む、
ことを特徴とするコミュニケーション方法。
In claim 5,
The data indicating redo includes the one indicating the correction of the transmission data and the one indicating the retransmission request for the received data,
Data for the transmitting entity comprises a an indication that is ready to start transmission to the partner station, and one which facilitates a continuation of transmission is input to the partner station by the input means during reception by said receiving means ,
A communication method characterized by this.
所定方式にしたがった会話データを入力する入力手段と、当該入力データを検出して通信媒体を介し送信する送信手段と、当該送信データを受信する受信手段と、当該受信データに応じた会話内容を報知する報知手段であって、前記会話内容を所定方式の前記点字情報として触覚刺激により呈示するものとを備えたコミュニケーション装置を用いたコミュニケーション方法のプログラムを記録した記録媒体において、
コンピュータに、
前記入力手段が操作されたことに応答して、前記会話データとは別のデータであって前記送信データおよび前記受信データの交信のやり直しを示すデータ並びに送信主体についてのデータを含むものを前記送信手段により前記受信手段へ送信させるステップと、
前記受信手段により受信された前記別のデータに基づき、前記報知手段により、前記やり直しを示すデータおよび前記送信主体についてのデータに応じた触覚刺激をさらに呈示させるステップと
を行わせることを特徴とするプログラムを記録した記録媒体。
An input means for inputting conversation data in accordance with a predetermined method, a transmission means for detecting the input data and transmitting it via a communication medium, a reception means for receiving the transmission data, and conversation contents corresponding to the received data In a recording medium for recording a communication method program using a communication device, which is a notification means for notifying, the conversation content being presented as tactile stimulation as the Braille information of a predetermined method,
On the computer,
In response to said input means is operated, the one containing the data for the data as well as transmitting entity indicating rework communication before Symbol transmission data and the reception data to a separate data from said speech data Transmitting to the receiving means by a transmitting means ;
Based on the different data received by the receiving means, the pre-Symbol notification unit, to carry out the steps to be presented to the al tactile stimulation corresponding to the data for the data and the transmitting entity indicating the Redo The recording medium which recorded the program characterized by this.
請求項7において、
前記やり直しを示すデータは、前記送信データの訂正を示すものと前記受信データの再送要求を示すものとを含み、
前記送信主体についてのデータは、交信相手に対する送信を開始できる状態であることを示すものと、前記受信手段による受信中に前記入力手段により入力されて交信相手に送信の継続を促すものとを含む、
ことを特徴とする記録媒体。
In claim 7,
The data indicating redo includes the one indicating the correction of the transmission data and the one indicating the retransmission request for the received data,
Data for the transmitting entity comprises a an indication that is ready to start transmission to the partner station, and one which facilitates a continuation of transmission is input to the partner station by the input means during reception by said receiving means ,
A recording medium characterized by the above.
JP07208099A 1999-03-17 1999-03-17 COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM Expired - Fee Related JP3734978B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07208099A JP3734978B2 (en) 1999-03-17 1999-03-17 COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07208099A JP3734978B2 (en) 1999-03-17 1999-03-17 COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM

Publications (2)

Publication Number Publication Date
JP2000267556A JP2000267556A (en) 2000-09-29
JP3734978B2 true JP3734978B2 (en) 2006-01-11

Family

ID=13479090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07208099A Expired - Fee Related JP3734978B2 (en) 1999-03-17 1999-03-17 COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM

Country Status (1)

Country Link
JP (1) JP3734978B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2370943A (en) 2000-12-21 2002-07-10 Nokia Mobile Phones Ltd Communication unit provided with intra-changeable elements
JP4130463B2 (en) * 2006-09-01 2008-08-06 日本エコロジー有限会社 Communication terminal device
WO2009069259A1 (en) * 2007-11-27 2009-06-04 Nec Corporation Tactile force sense communication terminal device
JP5294989B2 (en) * 2009-05-28 2013-09-18 Kddi株式会社 Mobile terminal with vibration communication function

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301481A (en) * 1997-04-22 1998-11-13 Kyocera Corp Surrounding area information transmitting device

Also Published As

Publication number Publication date
JP2000267556A (en) 2000-09-29

Similar Documents

Publication Publication Date Title
US7098776B2 (en) Methods and apparatus for vibrotactile communication
CA2268582C (en) Relay for personal interpreter
Chang et al. ComTouch: design of a vibrotactile communication device
US6510206B2 (en) Relay for personal interpreter
EP1246432B1 (en) Mobile phone featuring audio-modulated vibrotactile module
US6934366B2 (en) Relay for personal interpreter
US7319740B2 (en) System for text assisted telephony
US8093997B2 (en) System and apparatus for silent pulsating communications
JP3414359B2 (en) Method of transmitting perceptual information of mobile phone and mobile phone with perceptual information transmitting function
US20050025290A1 (en) Telephone interface for a handicapped individual
US11475793B2 (en) Method and device for reading, writing, and communication by deafblind users
JP3734978B2 (en) COMMUNICATION DEVICE AND METHOD, AND RECORDING MEDIUM
JP3685363B2 (en) Communication device and recording medium
JP2004015250A (en) Mobile terminal
JP2002232944A (en) Mobile communication terminal communication repeater, communication relay program and recording medium for recording the communication relay program
JP2003188948A (en) Portable terminal device
JPH09248315A (en) Portable miniaturized radio vibrator equipment for blind and deaf-and-dumb person
JP3048347U (en) Portable phone with voice function
JP4418997B2 (en) Finger braille device
KR20050094092A (en) Mobile phone which allows users to edit text messages with one keypad
KR101121063B1 (en) Mobile communication terminal
JP2003069678A (en) Radio terminal
JPS6387053A (en) Telephone with voice/character transducing function
JPH0795280A (en) Device for preventing erroneous transmission of information
WO2003096552A2 (en) System and method for simultaneous communication and apparatus activation and control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050620

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051020

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131028

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees