JP3933449B2 - コミュニケーション支援装置 - Google Patents
コミュニケーション支援装置 Download PDFInfo
- Publication number
- JP3933449B2 JP3933449B2 JP2001357949A JP2001357949A JP3933449B2 JP 3933449 B2 JP3933449 B2 JP 3933449B2 JP 2001357949 A JP2001357949 A JP 2001357949A JP 2001357949 A JP2001357949 A JP 2001357949A JP 3933449 B2 JP3933449 B2 JP 3933449B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- input
- pen
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000004891 communication Methods 0.000 title claims description 44
- 238000013519 translation Methods 0.000 claims description 66
- 230000014616 translation Effects 0.000 description 65
- 238000000034 method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Document Processing Apparatus (AREA)
Description
【発明の属する技術分野】
本発明は、利用者間で用いられる言語を翻訳して相手に効果的に提示するコミュニケーション支援装置及びコミュニケーション支援方法に関する。
【0002】
【従来の技術】
近年、一般の人でも海外に出かける機会が増加しており、また、他国に暮らす外国人も増加している。更に、インターネット等、通信技術や計算機ネットワーク技術の進歩も著しく、外国語に接する機会や、外国人と交流する機会が増大し、異言語間あるいは異文化間交流の必要性が高まってきている。これは、世界規模のボーダーレスからも必至の流れであり、今後もその傾向が加速されていくものと考えられる。
【0003】
このような異言語間又は異文化間交流のために、異なる言葉を母語とする人同士のコミュニケーションである異言語間コミュニケーションや、異なる文化的背景を持つ人同士のコミュニケーションである異文化間コミュニケーションの必要性が増大している。
【0004】
自分の母国語と異なる言語を話す人とコミュニケーションをする方法としては、いずれか一方の人が外国語である相手の言語を修得する方法、複数の言語を相互に翻訳して会話相手に伝える通訳者を利用する方法等が考えられる。
【0005】
しかし、外国語の習得は誰にとっても容易ではなく、また、習得のために多大な時間と費用を要する。更に、仮に1つの外国語を習得できたとしても、コミュニケーションを行いたい相手がその習得できた言語を使用することができない場合には、第2、第3の外国語を習得する必要があり、言語の修得の困難性が増大する。また、通訳者は特殊な技能を持った専門職であり、人数も限られ、その費用も高く、一般にはあまり利用されていない。
【0006】
そこで、一般の人が海外旅行をする際等に遭遇しそうな場面で想定される会話フレーズを対訳とともに記載した会話フレーズ集を利用する方法が考えられる。会話フレーズ集には、定型フレーズ等のコミュニケーションのための表現が収録されている。
【0007】
しかしながら、会話フレーズ集等では収録数が限られるために、実際の会話において必要となる表現を網羅することができず不充分である。また、会話集等に収録されている定型フレーズを利用者が記憶することは、外国語習得と同様に極めて困難である。しかも、会話フレーズ集は書籍であることから、実際の会話の場面において、必要な表現が記載されているページを迅速に探し出すことが困難であり、実際のコミュニケーションでは必ずしも有効ではない。
【0008】
そこで、このような会話集のデータを電子化して、例えば携帯可能なサイズの電子機器とした電訳機が利用されることがある。利用者は電訳機を例えば手に持って、キーボードやメニュー選択操作によって翻訳する文章を指定する。電訳機は入力された文章を他国語に変換し、変換(翻訳)後の文章をディスプレイ上に表示したり他国語で音声出力する。こうして、相手とのコミュニケーションがとられる。
【0009】
しかしながら、電訳機は、必要とするフレーズの検索の手間を、書籍である会話集に比べて若干は軽減しているものの、相変わらず限られた定型フレーズと、そのフレーズを部分的に変形した若干の拡張表現が扱えるのみであり、異なる言語を使う人同士の十分なコミュニケーションを可能にすることはできない。
【0010】
また、電訳機の収録フレーズ数を増加させると、電訳機の操作が基本的にキーボードやメニュー選択によって行われることから、翻訳する文章の選択が困難となってしまい、実際のコミュニケーションにおける有効性が低下してしまう。
【0011】
【発明が解決しようとする課題】
このように、従来、異なる言語を用いる人同士のコミュニケーションを十分に円滑にすることを可能にするコミュニケーションツールはないという問題点があった。
【0012】
本発明は、かかる問題点に鑑みてなされたものであって、異なる言語を用いる人同士の円滑なコミュニケーションを可能にすることができるコミュニケーション支援装置及びコミュニケーション支援方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
本発明の請求項1に係るコミュニケーション支援装置は、画像表示部と;第1の識別信号を含む第1の磁気信号をペン先から出力する第1のペンデバイスと;第2の識別信号を含む第2の磁気信号をペン先から出力する第2のペンデバイスと;前記第1及び第2の磁気信号を受信し、前記第1及び第2のペンデバイスの前記画像表示部上での位置に関する情報を解析することによって、前記第1及び第2のペンデバイスのペン入力情報として出力する磁気センサー部と;前記ペン入力情報によって、前記第1のペンデバイスの利用者及び前記第2のペンデバイスの利用者と、前記画像表示部との位置関係を把握する制御部と;前記第1のペンデバイスの利用者及び前記第2のペンデバイスの利用者と、前記画像表示部との位置関係を記憶する記憶部と;前記第1のペンデバイスの利用者が前記画像表示部に第1の言語情報を入力すると、第2の言語情報に翻訳する翻訳部と;を備えるコミュニケーション支援装置であって、前記制御部は、前記第1のペンデバイスの利用者及び前記第2のペンデバイスの利用者と、前記画像表示部との位置関係に基づいて、前記第2の言語情報を、前記第2のペンデバイスの利用者から見て正立するように、前記画像表示部に表示させることを特徴とするものである。
【0014】
本発明の請求項9に係るコミュニケーション支援装置は、複数の利用者の空間的配置を検出して位置情報を取得する配置検出手段と、前記配置検出手段が得た位置情報を保存する位置記憶手段と、前記複数の利用者のうちの第1の利用者からの第1の言語による入力メッセージを受け入れる入力手段と、前記第1の言語の入力メッセージを第2の利用者への第2の言語の出力メッセージに変換する翻訳手段と、前記位置記憶手段に記憶されている位置情報を用いて前記第1及び第2の利用者の位置に応じた指向性で前記第1及び第2の言語による入出力メッセージを提示する提示手段とを具備したものであり、
本発明の請求項10に係るコミュニケーション支援方法は、複数の利用者の空間的配置を検出して位置情報を取得する配置検出手順と、前記配置検出手段が得た位置情報を保存する位置記憶手順と、前記複数の利用者のうちの第1の利用者からの第1の言語による入力メッセージを受け入れる入力手順と、前記第1の言語の入力メッセージを第2の利用者への第2の言語の出力メッセージに変換する翻訳手順と、前記位置記憶手順において記憶した位置情報を用いて前記第1及び第2の利用者の位置に応じた指向性で前記第1及び第2の言語による入出力メッセージを提示する提示手順とを具備したものである。
【0015】
本発明の請求項1において、第1の描画手段は、表示画面との間に所定の位置関係を有して位置する複数の利用者のうちの所定の利用者による第1の言語に基づく基準描画を前記表示画面上に描画する。変換手段は、基準描画によって得られる情報を第2の言語に基づく情報に変換すると共に、基準描画と所定の関係を有する関連描画を得る。第2の描画手段は、得られた関連描画を、基準描画とは異なる位置及び向きで表示画面上に描画する。基準描画と所定の関係を有する関連描画は、基準描画と異なる位置及び向きで表示画面上に配置され得るので、表示画面に対する位置関係が異なる複数の利用者において、基準描画と関連描画の少なくとも一方が見やすい位置及び向きに表示させることも可能である。
【0016】
本発明の請求項3において、第1の利用者からの第1の言語による入力メッセージは、入力手段によって受け入れられる。翻訳手段は、第1の言語の入力メッセージを第2の利用者への第2の言語の出力メッセージに変換する。変換された出力メッセージは、第2の利用者の位置に応じた指向性を有して提示される。これにより、出力メッセージを第2の利用者が用いる第2の言語で見やすい方向に提示することができる。
【0017】
本発明の請求項9においては、配置検出手段によって、複数の利用者の空間的配置が検出され位置情報が取得される。この位置情報は位置記憶手段に保存される。入力手段が受け入れた第1の利用者からの第1の言語による入力メッセージは、翻訳手段によって第2の利用者への第2の言語の出力メッセージに変換される。提示手段は、位置記憶手段に記憶されている位置情報を用いて第1及び第2の利用者の位置に応じた指向性で第1及び第2の言語による入出力メッセージを提示する。これにより、第1及び第2の利用者は、夫々第1,第2の言語による入出力メッセージが、自分の位置に応じた向きに提示され、意志の疎通が容易となる。
【0018】
本発明の請求項10においては、配置検出手順において、複数の利用者の空間的配置が検出されて、その位置情報が記憶される。複数の利用者のうちの第1の利用者からの第1の言語による入力メッセージが受け入れられると、第1の言語の入力メッセージは第2の利用者への第2の言語の出力メッセージに変換される。第1及び第2の言語による入出力メッセージは、記憶された位置情報を用いて第1及び第2の利用者の位置に応じた指向性で提示される。
【0019】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の一実施の形態に係るコミュニケーション支援装置を示すブロック図である。
【0020】
本実施の形態は、近年の音声認識技術や手書き文字入力の自動認識技術の発展、自然言語処理技術、特にテキストに対する機械翻訳技術の高速化及び精度の向上等の背景に鑑み、これらの技術を活用して異言語間のコミュニケーションを円滑にするものである。
【0021】
即ち、本実施の形態は利用者からの入力メッセージを受け付け、メッセージの提供先の他の利用者が理解可能にする翻訳処理を行った後、この利用者の位置に応じて翻訳されたメッセージの提示方向を決定することにより、利用者相互間のコミュニケーションを効果的に支援するようになっている。
【0022】
ところで、他国語を話す外国人とのコミュニケーションをとる方法として有効なものに、ペンや鉛筆とメモ帳等を利用して、図や文字を書きながら相手と会話する筆談という方法がある。絵や画像等を手書きで表示することによって、相手との効果的なコミュニケーションが得られる。しかし、絵や画像だけでは、表現可能な具体的な事物以外を相手に伝えることは困難であり、また、コミュニケーションを行う双方の人の文化的背景が異なるため、記号や文化に依存したシンボルや図形は必ずしも有効でない。
【0023】
また、例えば日本語と中国語のように、双方とも漢字という共通のアルファベット(文字)を用いていると考えられている言語同士であっても、実際に使われる漢字の種類(形状)が相違するため、必ずしも筆談が有効なコミュニケーション手段になるとは限らない。
【0024】
そこで、本実施の形態においては、筆談の持つ有効性を考慮して、手書き入力を可能にし、手書き入力された文章を翻訳すると共に、翻訳した文章を相手の位置に応じた向きに表示するか又は音声出力することによって、効果的なコミュニケーションを可能にするようになっている。また、この場合には、各種記号及びシンボルについても、各国の言語及び文化に応じて翻訳(変換)処理を行うことで、コミュニケーションの有効化を図るようになっている。
【0025】
図1において、コミュニケーション支援装置10は、少なくとも1つ以上のペンデバイス11と、画像表示部12、磁気センサー部13、文字記号認識部14、言語記号翻訳部15、表示情報記憶部16、配置情報記憶部17、及び制御部18等によって構成されている。
【0026】
ペンデバイス11(11a,11b,…)は、それぞれのデバイス毎に固有の識別信号を含む磁気信号をペン先から出力するようになっている。画像表示部12上には磁気センサー部13が設けられており、利用者がペンデバイス11を手で保持して、画像表示部12上をペン先でトレースすることによって、文字や、記号や、図形等の画像情報を手書き入力することができるようになっている。
【0027】
画像表示部12は、例えば液晶ディスプレイ(LCD)等によって構成され、後述する制御部18の指示に従って、文字や、記号や、図形等の画像情報を利用者に適宜提示することができるようになっている。
【0028】
磁気センサー部13は、各ペンデバイス11が発する磁気信号を受け取り解析することによって、各ペンデバイス11の空間内での位置や、動き等の軌跡に関する情報や、本体との接触の状態、あるいはペンデバイス11の姿勢に関する情報をペン入力情報として得て、制御部18に出力するようになっている。
【0029】
本実施の形態においては、制御部18は、ペンデバイス11の姿勢等に関する情報によって、ペンデバイス11を使用した利用者と装置10(画像表示部12)との相対的な位置関係を把握することができるようになっている。
【0030】
文字記号認識部14は、制御部18から供給されるペン入力情報を解析することによって、手書き入力による文字や、記号や、図形や、描画画像を分離抽出し、ペン先の軌跡と、種別と、内容や位置あるいは向きに関する情報を認識結果情報として得て制御部18に出力する。なお、ペンデバイスによる手書き入力の認識処理は、例えば、特許第3167799号「オンライン手書き文字認識」で用いられている方法と同様の方法を採用することができる。
【0031】
本実施の形態においては、制御部18は、文字記号認識部14の認識結果によって入力された文字記号等の向きを検出して、認識対象となった文字等を手書き入力した利用者と装置10(画像表示部12)との相対的な位置関係を把握することができるようになっている。また、制御部18は、文字記号等がいずれの言語に対応しているかを検出し、検出結果に応じて各言語に対応した文字を入力した利用者と装置10(画像表示部12)との相対的な位置関係を把握することもできるようになっている。
【0032】
また、制御部18は、手書き入力を解析し、手書き入力時の筆跡や筆圧に関する情報や、入力画像の特徴等を抽出して分析することによって、手書き入力を行った利用者を判定することも可能である。
【0033】
言語記号翻訳部15は、制御部18から供給される認識結果情報の中から、言語情報と、言語種又は文化固有の記号を抽出し、翻訳先の言語への翻訳を行い、翻訳結果情報を制御部18に出力するようになっている。なお、言語情報の翻訳処理は、例えば特許第3131432号「機械翻訳方法及び機械翻訳装置」で用いられている方法と同様の方法を採用することができる。
【0034】
制御部18は、ペン入力情報、認識結果情報、翻訳結果情報等に基づいて各種の表示情報を得る。制御部18は、これらの各種表示情報を適宜分類して表示情報記憶部16に保存させるようになっている。
【0035】
図2は図1中の表示情報記憶部16の記憶内容の一例を示す説明図である。
【0036】
図2に示すように、表示情報記憶部16は、入力された情報を、ID情報、位置情報、向き情報、種別情報、軌跡情報、対訳ID情報、内容情報等に分類して記憶するようになっている。
【0037】
図2に示す表示情報記憶部16の各エントリにおいて、ID情報の欄は、各エントリの識別記号が記述されている。位置情報の欄には、各表示情報の画像表示部12及び磁気センサー部13における位置及び領域が、画像表示部12の座標系に基づく座標として記録される。例えば、画像表示部12上の画面位置が、その左上隅を原点として、右方向に伸びるX軸での座標値と、下方向に伸びるY軸での座標値の組で(X,Y)と表されるようになっており、例えば、ID情報がI3 のエントリの位置情報の値L3 が、具体的には(10,20)等のように記述されるようになっている。
【0038】
図2の例ではこのI3 のエントリに対応する入力は日本語の「家」を表す日本語文字であって、表示画面上の座標(10,20)の位置に表示されていることを示している。
【0039】
向き情報の欄には、各表示情報の正立方向を、画面上の座標系に基づくベクトル表現で記憶される。なお、正立方向を持たない表示情報に関しては、記号「−」が記録される。
【0040】
種別情報の欄には、各表示情報の種類が、「図形」、「日本語」、「英語」、「日記号」、「英記号」等のように記録されるようになっている。軌跡情報の欄には、ペン入力情報から得られる各表示情報に対応する入力描画軌跡が記録されるようになっている。なお、言語記号翻訳部15によって得られる翻訳結果に対応するエントリでは、軌跡情報が存在しないため、記号「−」が記録されている。
【0041】
また、対訳ID情報の欄には、翻訳対として対応する表示情報のエントリのID情報が記録されるようになっている。なお、翻訳対の存在しないエントリでは、記号「−」が記録される。
【0042】
内容情報の欄には、画像表示部12に表示すべき情報の内容(コンテンツ)が記録されるようになっている。なお、図形等においては、この欄に記号「−」が記述されるが、これは軌跡情報がそのまま表示すべき情報であることを示している。
【0043】
図1において、配置情報記憶部17は、各利用者の装置10(画像表示部12)に対する空間的な配置に関する情報が記録されるようになっている。
【0044】
図3は図1中の配置情報記憶部17の内容の一例を示す説明図である。
【0045】
図3に示すように、配置情報は、ユーザID情報、配置情報及び正立方向情報等に分類されて記憶される。配置情報記憶部17の各エントリにおいて、ユーザID情報の欄には、各ユーザを識別するための記号が記録される。配置情報の欄には、対応するユーザと装置10の空間的な位置関係が、装置10の画像表示部12の画面上の座標系に沿って記述されるようになっている。
【0046】
つまり、画像表示部12の画面上の座標系として採用されているX軸及びY軸を+,−双方向に外挿した座標軸によって、装置10と各利用者との位置が表現される。例えば、図3のユーザID情報が利用者Jであるエントリの、配置情報P1 の値が、(200、−1500)である場合には、利用者がY軸のマイナス方向(画像表示部12の画面から見て上方向)の座標値1500に対応する位置に、利用者が位置することが示される。
【0047】
また、正立方向情報の欄には、対応するユーザに対して情報を提示する際に、提示するメッセージを、そのユーザからみて正立となる方向が画像表示部12の画面上の座標形に沿ってベクトル表現で記録されるようになっている。
【0048】
図1において、制御部18は、装置10の各部を制御するようになっている。
【0049】
また、制御部18は、手書き入力を解析して、その手書き入力で用いられている表現の様式に関する情報である入力様式情報を検出する様式検出機能も有しており、言語種情報と、入力様式情報の組を記憶し、記憶した情報の組を参照して、出力メッセージの言語種に応じて、同一の言語でなされた入力の様式と同様の様式となるよう出力の様式を制御することも可能である。
【0050】
次に、このように構成された実施の形態の動作について図4を参照して説明する。図4は制御部18が行う処理手順に対応するフローチャートである。
【0051】
なお、各利用者について配置情報記憶部17にエントリが用意され、利用者の装置10に対する位置と正立方向に関する情報とが、例えば上述した各方法によって取得されて予め配置情報記憶部17に記録されているものとする。
【0052】
図4のステップS1 において、制御部18は、ペン入力発生の待機状態となる。利用者がペンデバイス11を用いた手書き入力を行うと、磁気センサー部13は、利用者のペンデバイス11の操作によるペン先の位置、状態等を検出し、制御部18にペン入力情報として随時出力する。
【0053】
次に、ステップS2 において、表示情報の記憶が行われる。即ち、制御部18は、ペン入力情報を受け取ると、その情報を文字記号認識部14に出力する。ステップS3 において、文字記号認識部14はペン入力に対する言語記号認識処理を行い、認識結果情報を制御部18に出力する。
【0054】
制御部18は、文字記号認識部14からの認識結果情報を受け取ると、新たなエントリを用意して、表示情報記憶部16に受け取った情報を適宜分類して記録する。そして、その際、そのエントリの対訳ID情報の欄には記号「−」を記録する。
【0055】
制御部18は、ステップS4 において、表示情報記憶部16の各エントリを、種別情報の欄と対訳ID情報の欄に注目して検索し、対訳ID情報の内容が「−」であるもののなかから、種別情報の内容が、日本語、英語等の言語の種類であるか、あるいは日記号や英記号等の言語依存の記号の種類であるエントリを抽出する。
【0056】
制御部18は、抽出した全てのエントリEsについて、以後ステップS5 〜S7 の処理を繰返す。即ち、制御部18は、対訳が記録されていないエントリの認識結果情報を言語記号翻訳部15に送る。言語記号翻訳部15は、認識結果情報に対する翻訳処理を行って、翻訳結果情報Rsを得る(ステップS5 )。言語記号翻訳部15は、翻訳結果情報Rsを制御部18に出力する。
【0057】
次に、制御部18は、表示情報記憶部16に新たなエントリEtを用意し、エントリEtの種別情報の欄に、翻訳結果情報Rsの翻訳結果の種別を記録する。また、制御部18は、エントリEtの内容情報の欄に、翻訳結果情報Rsの翻訳結果を記録する。
【0058】
次に、制御部18は、ステップS7 において、配置情報記憶部17を参照して、このエントリEdに対応する翻訳結果を受け取るべきユーザの配置情報の値Ptと、正立方向情報の値Vtとを得る。そして、制御部18は、エントリEt向き情報の欄に、値Vtを記録する。制御部18は、表示情報記憶部16の内容を参照して、他のエントリの位置情報と重複せず、且つエントリEsの位置情報の示す位置と近い位置Ltを探して、エントリEtの位置情報の欄に記録する。
【0059】
次に、ステップS8 において、次のエントリの情報を読出して、ステップS4 〜S8 の処理を繰返す。全てのエントリについての対訳を記録すると、次のステップS9 に移行して、表示を行う。
【0060】
即ち、制御部18は、表示情報記憶部16の内容を参照して、それぞれのエントリが表す情報を、それぞれのエントリの位置情報が示す位置に、それぞれのエントリの向き情報が示す方向を正立方向として表示させるように、画像表示部12に出力する。
【0061】
次に、図5及び図6の説明図を参照して、具体的な使用法について説明する。図5及び図6の説明は図2に対応している。
【0062】
図5は日本語を用いる第1の利用者Jと、英語を用いる第2の利用者Eとが、向かい合って、装置10を両者の間において、地図を描きながら場所を説明するために装置10を利用する場面を想定している。図6は画像表示部12の画面表示を示している。
【0063】
いま、図6(a)に示すように、利用者Jが、ペンデバイス11によって、川を表す線描I1 を記入するものとする。この入力により、図4のステップS1 ,S2 の処理が実行されて、表示情報記憶部16のID情報=I1 のエントリが生成される。
【0064】
このエントリI2は、種別が図形である。文字記号認識部14は、手書き入力が文字又は記号でないことを認識する。従って、この場合には、制御部18は、図4のステップS4 からステップS9 に処理を移行して、ユーザが記入した線描のみを、そのまま画像表示部12に出力する。こうして、画像表示部12の画面上に川の絵が表示される。
【0065】
次に、利用者Jが、家を表す線描図形I2 を入力するものとする。そうすると、同様にして、表示情報記憶部16のI2 のエントリが生成され、その線描図形がそのまま追加されて画像表示部12の画面上に表示される。
【0066】
ここで、利用者Jが、家を表す線描図形の近くに、日本語で「家」と入力するものとする。そうすると、制御部18によって、表示情報記憶部16にI3 のエントリが生成される。このエントリは、翻訳可能な言語情報であり、文字記号認識部14の認識結果によって、表示情報記憶部16に対訳である英語の"HOME"のエントリI4 が生成される。また、制御部18は、エントリI4 に対応する表示を、その位置が他の表示に重複せず、翻訳の元である日本語の「家」に近くで、且つ利用者Eに配置位置が近く、その文字の向きが利用者Eから見て正立する方向となるように設定する。
【0067】
制御部18の設定に基づいて、ステップS14において、これまでの表示内容に加えて、利用者Jによって入力された日本語の文字「家」が表示され、更にその近くに英語対訳である英語文字列「HOME」が、利用者Eから見て正立するように表示される。
【0068】
次いで、図6(e)に示すように、利用者Eによって、橋を表す線描図形と、英語文字列"bridge"とが手書き入力されるものとする。これに対して上記各処理が同様に行われて、日本語の対訳文字列「橋」が利用者Jから見て正立するように追加される。
【0069】
次に、利用者Jが、郵便局を表す記号「〒」を手書き入力するものとする。そうすると、文字記号認識部14は手書きで描画された絵柄を言語文化依存のシンボルとして抽出する。更に、言語記号翻訳部15は、このシンボルに対して、英語の文字列"post office"の翻訳結果を得る。制御部18は、この文字列を利用者Eから正立する注釈として追加表示させる(図6(f))。
【0070】
このように本実施の形態においては、利用者の手書きメッセージが文字記号であるか否かを判定し、文字だけでなく記号についても他の利用者のための翻訳処理を行い、更に、翻訳結果をこの利用者に正立するメッセージとして提示している。文字だけでなく、記号や絵を利用した筆談を採用していることから、定型フレーズ等のコミュニケーションのための表現の収録数が少ない場合でも、コミュニケーションに必要な多くの情報を相手に提供することが可能である。しかも、文字や絵の手書きによる入力が可能であり、入力操作が極めて容易である。絵や記号と文字との複合的な翻訳処理を行っており、画像イメージを利用したコミュニケーションを極めて簡単にし、例えば、場所の説明等に有効である。しかも、本来翻訳の対象とならない記号やシンボル等についても文字によって表現するという翻訳処理を行っており、メッセージの理解を容易にすることができる。
【0071】
更に、本実施の形態においては、各利用者の位置に応じて、メッセージの提示位置及び方向を決定していることから、自分が書いた文字記号や相手が書いた文字記号の翻訳結果を同時に正立して見ることができ、コミュニケーションを極めて効果的に支援することができる。
【0072】
例えば、1つの共有表示画面を複数の利用者が共有し、複数の利用者がその共有表示画面内に、各々のペンデバイスで手書き入力を行うようにして利用するようにすると共に、例えば日本語を話す第1の利用者が描いたある図形の横に第1の利用者が日本語で更に注釈を書き込んだ際に、その日本語の注釈を例えば英語を話す第2の利用者向けに英語に翻訳して、元の日本語のメッセージと並べて表示する。この場合に、例えば、その図形の下の近傍領域の中で、第2の利用者に物理的に近い位置に、英語に翻訳された注釈を表示するようにしている。
【0073】
また例えば、机をはさんで対面している、日本語を話す第1の利用者と英語を話す第2の利用者とが、1つの共有表示画面を両者の間に有る机の上に平らに置いて利用するような場合において、第1の利用者が描いたある図形の横に日本語で更に注釈を書き込んだ際に、日本語の注釈の英語の翻訳結果を第2の利用者向けに表示する際に、その図形の下の近傍領域の中で、第2の利用者から見て英語の注釈が正立する方向に向けて表示させる。
【0074】
また例えば、利用者からの手書きによる入力を受付ける場合に、例えば入力される文字や図形の向きや、あるいは入力ストロークの進行方向等を解析することで、その入力を行っている利用者の装置10に対する空間的な位置関係を検出して記憶し、その情報に基づいて、各利用者に対して提示されるメッセージの提示方法を制御し、その利用者に対して例えば文字情報によるメッセージを提示する際に、上述の処理で検出された利用者の位置情報を参照して、その利用者の位置から見て正立するように、そのユーザに対する文字情報を出力させる。
【0075】
また例えば、利用者からの手書きによる入力を受付け、例えば、そこに含まれる文字の種類を解析することによって、そこで使われた言語の種類を同定し、その情報を利用して、利用者への出力の様式の制御に利用するように構成したものである。
【0076】
また例えば、第1の利用者からの手書き入力を解析することによって、その入力が例えば日本語でなされていることと、そこに含まれる文字の正立方向とを同定し、第2の利用者からの例えば英語による入力を日本語に翻訳して第1の利用者に提示する際に、前述の処理によって同定された、第1の利用者からの日本語による手書き入力の正立方向と同じ方向で、第2の利用者からの英語による入力の翻訳結果である日本語によるメッセージを出力するように構成したものである。
【0077】
また、第1の利用者は例えば日本語を用い、第2の利用者は例えば英語を用いるといった情報を記憶しておくことで、ある入力を受け取った際にその入力を解析してその言語種を同定したり、利用者の空間的な位置情報の同定結果に付与したりして記憶して、後のメッセージの提示方法の制御に活用することもできる。
【0078】
上記実施の形態においては、入力装置としてペンデバイス及び磁気センサー部を有する画像表示部を用い、提示装置として画像表示部を用いたが、音声を入出力するマイク及びスピーカを用いることで、音響によっても同様のコミュニケーション支援が可能であることは明らかである。
【0079】
図7は本発明の第2の実施の形態を示すブロック図であり、音響によるコミュニケーション支援を可能にした装置を示している。図7において図1と同一の構成要素には同一符号を付して説明を省略する。
【0080】
本実施の形態のコミュニケーション支援装置20はマイクロフォン(マイク)21a,21b及びスピーカ22a,22bを付加すると共に、音響認識部25、音響翻訳部26及び音響出力部27を付加した点が図1の実施の形態と異なる。
【0081】
図8はマイク21a,21b及びスピーカ22a,22bの実際の配置を説明するための説明図である。図8に示すように、一対のマイク21a,21bは画像表示部12の一辺の両端に取り付けられ、一つのスピーカ22a,22bはマイクが取り付けられた一辺に対向する辺の両端に取り付けられる。
【0082】
マイク21a,21bは取り込んだ音声信号を制御部18に出力する。一対のマイク21a,21bは所定の距離だけ離間して配置されており、各マイク21a,21bからの音声信号の時間的な遅延関係等によって、制御部18は、マイク21a,21bに取り込まれた音声信号を発した利用者の位置を特定することができるようになっている。
【0083】
制御部18はマイク21a,21bからの音声信号を音響認識部25に与える。音響認識部25は入力された音声信号を音声認識し、認識結果を制御部18に戻す。制御部18は音声認識結果を音響翻訳部26に出力する。音響翻訳部26は入力された音声認識結果を翻訳して制御部18に戻す。制御部18は音響翻訳部26からの翻訳結果を音響出力部27に出力する。
【0084】
音響出力部27は音像定位装置28を備えている。音響出力部27は、入力された翻訳結果を音声信号に変換すると共に、音像定位装置28によって、翻訳結果の音声信号をその提供先である利用者に向けて定位させるように、音声信号のレベル、音質及び位相を調整して、各スピーカ22a,22bに出力する。
【0085】
なお、マイク及びスピーカの数は2個だけでなく、夫々3個以上設けたマイクアレイ、スピーカアレイを採用してもよい。
【0086】
なお、制御部18は、音声入力を解析し、例えば、音声入力信号から得られる声紋や発声様式に関する情報等を抽出して分析することによって、音声入力を行った利用者を判定することも可能である。
【0087】
このように構成された実施の形態においては、手書き入力だけでなく、音声入力が可能であり、そして、この音声入力による言語を相手の利用者が認識可能な言語に翻訳して、その相手に向けて音声出力することができる。
【0088】
また、制御部18は、手書き入力の認識結果を音響翻訳部26に与えることにより、手書き入力された文章を相手の言語で相手に向けて音声で出力させることも可能である。また逆に、制御部18は、音声入力の認識結果を言語記号翻訳部15に与えることにより、音声入力された文章を相手の言語に対応した文字記号に変換して画像表示部12の画面上に表示させることも可能である。
【0089】
このように、本実施の形態においては、共有表示画面上において相互の言語に基づく画像表示を相互の位置に応じて行うだけでなく、利用者が発した音声を相手の言語の音声に変換して、相手の位置に向かって音声出力させることができる。これにより、コミュニケーションの効率を著しく向上させることが可能である。
【0090】
例えば、日本語を話す第1の利用者と、英語を話す第2の利用者とが、1つの共有表示画面の右方向と左方向にいる状態で、第1の利用者に向けて出力される日本語の音声信号は、第1の利用者のいる右方向で例えば音量が大きくなるように制御されて出力され、第2の利用者に向けて出力される英語による音声信号は、第2の利用者のいる左方向で例えば音量が大きくなるように制御されて出力される。
【0091】
例えば、複数のマイクロフォンを持ち、各マイクロフォンから得られる音声信号の、時間的な遅延関係等に基づいて、それぞれの音声信号が発せられている空間内の位置を検出するマイクロフォンアレイ技術等によって、装置20と利用者との間の空間的な配置関係を検出し、その情報に基づいて、文字や画像によるメッセージを、そのメッセージ情報を受け取る利用者の近くに配置したり、あるいはその利用者から正立するように構成したり、あるいは、音声によるメッセージを、そのメッセージ情報を受け取る利用者の位置に定位させることが可能である。
【0092】
また例えば、利用者からの音声による入力を受付け、音声入力を解析することによって、各音声入力を発した利用者を同定し、その情報を利用して、装置20と各利用者との空間的な位置関係を解析して利用者への出力の様式の制御に利用するようにすることもできる。
【0093】
本発明は上記各実施の形態に限定されるものではない。例えば、手書き入力に使われるペンデバイスに、例えば磁気タグ等を埋め込み、例えば磁気センサーでそのタグ情報を解析することによって、ペンデバイスの空間的な位置や姿勢を解析することで、本装置と利用者との間の空間的な配置関係を検出することも可能である。
【0094】
また、本装置を利用する各利用者が例えば無線タグ等を身につけ、例えば指向性を持つアンテナでその無線タグ情報を読み取り解析することによって、本装置と利用者との間の空間的な配置関係を検出することも可能である。
【0095】
また、入力は利用者からリアルタイムになされるものではなく、例えば媒体やネットワーク経由で提供されるように構成することもできる。
【0096】
また、手書き入力と音声入力など、複数個の入力手段が同時に併用されてもよい。
【0097】
また、入力は例えばメニュー選択等によって行うようにしてもよい。
【0098】
また、入力は音声でなされ、出力は文字画像情報でなされるなど、入力と出力で手段(メディア)が異なっていてもよい。
【0099】
また、一方の利用者は音声で入力を行い、他方の利用者は手書きで入力を行うなど、利用者毎の入力手段が異なっていてもよい。
【0100】
また、一方の利用者へは音声で出力を行い、他方の利用者へは文字画像で出力を行うなど、利用者毎の出力手段が異なっていてもよい。
【0101】
また、言語の翻訳をおこなう機能に加えて、例えば音声信号を文字信号に変換するなどと言った、メディア変換機能を併用してもよい。
【0102】
また、複数の利用者に同時に出力されてもよい。
【0103】
また、出力部や入力部が複数有ってもよい
また、上記実施の形態では、複数の利用者が共有して使う1つの装置の例を示したが、例えば互いに通信し合う複数の機器で構成されてもよい。
【0104】
また、言語種判定処理の結果を翻訳方向の決定に利用してもよい。
【0105】
また、入力者判定処理の結果を翻訳方向の決定に利用してもよい。
【0106】
また、例えば利用者が手で持つことのできる携帯型の装置として実現した場合等には、本体の空間内での姿勢を検出する手段を加えて、その情報も併用して出力の形式を制御してもよい。
【0107】
また、上述の例では、文字の向きを制御する例を示したが、例えば、半透明表示や、多色表示や、立体表示等を用いていてもよい。
【0108】
また、各利用者の用いる言語は1つに限定されるものではなく、利用言語が複数合っても良い。
【0109】
また、利用者の用いる言語は、あらかじめ設定しておいたり、あるいは、利用者が適宜設定できるようにしておいてもよい。
【0110】
また、利用者との本装置との位置関係の検出処理では、例えば対人センサーや、あるいは、顔や手認識など画像認識技術や、モーションキャプチャ技術などを使ってもよい。また、音声信号の出力形式を制御する際に、その音声信号を受け手である利用者ではない利用者の位置では、その音声信号が、小さくなるかあるいは聞こえなくなるようにマスキングされるように、制御しても良い。
【0111】
また、上記各実施の形態では、装置として本発明を実現する場合の例を示したが、上述の具体例の中で示した処理手順、フローチャートをプログラムとして記述し、実装し、汎用の計算機システムで実行することによっても同様の機能と効果を得ることが可能である。
【0112】
すなわち、上述の実施の形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フロッピー(R)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリ等の記録媒体を用いてコンピュータにプログラムを読み込み、CPU部で実行させれば、本発明のコミュニケーション支援装置を実現することができる。
【0113】
【発明の効果】
以上説明したように本発明によれば、異なる言語を用いる人同士の円滑なコミュニケーションを可能にすることができるという効果を有する。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係るコミュニケーション支援装置を示すブロック図。
【図2】図1中の表示情報記憶部16の記憶内容の一例を示す説明図。
【図3】図1中の配置情報記憶部17の内容の一例を示す説明図。
【図4】実施の形態の動作を説明するためのフローチャート。
【図5】具体的な使用法を説明するための説明図。
【図6】具体的な使用法を説明するための説明図。
【図7】本発明の第2の実施の形態を示すブロック図。
【図8】図7中のマイク21a,21b及びスピーカ22a,22bの実際の配置を説明するための説明図。
【符号の説明】
11a,11b…ペンデバイス、12…画像表示部、13…磁気センサー部、14…文字記号認識部、15…言語記号翻訳部、16…表示情報記憶部、17…配置情報記憶部、18…制御部。
Claims (1)
- 画像表示部と、
第1の識別信号を含む第1の磁気信号をペン先から出力する第1のペンデバイスと、
第2の識別信号を含む第2の磁気信号をペン先から出力する第2のペンデバイスと、
前記第1及び第2の磁気信号を受信し、前記第1及び第2のペンデバイスの前記画像表示部上での位置に関する情報を解析することによって、前記第1及び第2のペンデバイスのペン入力情報として出力する磁気センサー部と、
前記ペン入力情報によって、前記第1のペンデバイスの利用者及び前記第2のペンデバイスの利用者と、前記画像表示部との位置関係を把握する制御部と、
前記第1のペンデバイスの利用者及び前記第2のペンデバイスの利用者と、前記画像表示部との位置関係を記憶する記憶部と、
前記第1のペンデバイスの利用者が前記画像表示部に第1の言語情報を入力すると、第2の言語情報に翻訳する翻訳部と、を備えるコミュニケーション支援装置であって、
前記制御部は、前記第1のペンデバイスの利用者及び前記第2のペンデバイスの利用者と、前記画像表示部との位置関係に基づいて、前記第2の言語情報を、前記第2のペンデバイスの利用者から見て正立するように、前記画像表示部に表示させることを特徴とするコミュニケーション支援装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001357949A JP3933449B2 (ja) | 2001-11-22 | 2001-11-22 | コミュニケーション支援装置 |
US10/294,819 US7277845B2 (en) | 2001-11-22 | 2002-11-15 | Communication support apparatus and method |
CNB021524084A CN100429649C (zh) | 2001-11-22 | 2002-11-22 | 信息提示装置以及方法 |
US11/892,448 US8676562B2 (en) | 2001-11-22 | 2007-08-23 | Communication support apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001357949A JP3933449B2 (ja) | 2001-11-22 | 2001-11-22 | コミュニケーション支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003162527A JP2003162527A (ja) | 2003-06-06 |
JP3933449B2 true JP3933449B2 (ja) | 2007-06-20 |
Family
ID=19169214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001357949A Expired - Lifetime JP3933449B2 (ja) | 2001-11-22 | 2001-11-22 | コミュニケーション支援装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US7277845B2 (ja) |
JP (1) | JP3933449B2 (ja) |
CN (1) | CN100429649C (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4064020A1 (en) | 2021-03-23 | 2022-09-28 | Ricoh Company, Ltd. | Display system, display method, and carrier means |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100440189C (zh) * | 2003-06-04 | 2008-12-03 | 无敌科技(西安)有限公司 | 结合图形描绘的语言学习系统及其运作方法 |
US20060116925A1 (en) * | 2004-11-29 | 2006-06-01 | Yoo Seung Kim | System and method(s) for marketing by providing information of life in a foreign country and/or area, via CD-ROM, in the airplane and/or any vehicle in a language familiar to the passengers |
JP4263181B2 (ja) * | 2005-03-28 | 2009-05-13 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
JP4050755B2 (ja) * | 2005-03-30 | 2008-02-20 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
JP4064413B2 (ja) * | 2005-06-27 | 2008-03-19 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
JP4559946B2 (ja) * | 2005-09-29 | 2010-10-13 | 株式会社東芝 | 入力装置、入力方法および入力プログラム |
JP2007220045A (ja) * | 2006-02-20 | 2007-08-30 | Toshiba Corp | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
WO2007120418A2 (en) * | 2006-03-13 | 2007-10-25 | Nextwire Systems, Inc. | Electronic multilingual numeric and language learning tool |
JP4393494B2 (ja) * | 2006-09-22 | 2010-01-06 | 株式会社東芝 | 機械翻訳装置、機械翻訳方法および機械翻訳プログラム |
JP5121252B2 (ja) * | 2007-02-26 | 2013-01-16 | 株式会社東芝 | 原言語による音声を目的言語に翻訳する装置、方法およびプログラム |
US20090024707A1 (en) * | 2007-07-18 | 2009-01-22 | Gm Global Technology Operations, Inc. | Electronic Messaging System and Method For A Vehicle |
US20090132257A1 (en) * | 2007-11-19 | 2009-05-21 | Inventec Corporation | System and method for inputting edited translation words or sentence |
JP5178484B2 (ja) * | 2008-12-08 | 2013-04-10 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US9323854B2 (en) * | 2008-12-19 | 2016-04-26 | Intel Corporation | Method, apparatus and system for location assisted translation |
JP2010176543A (ja) * | 2009-01-30 | 2010-08-12 | Toshiba Corp | 翻訳装置、方法、及びプログラム |
US20110112822A1 (en) * | 2009-11-10 | 2011-05-12 | Charles Caraher | Talking Pen and Paper Translator |
CN101882025A (zh) * | 2010-06-29 | 2010-11-10 | 汉王科技股份有限公司 | 手写输入方法及系统 |
CN102314781A (zh) * | 2010-07-08 | 2012-01-11 | 无敌科技股份有限公司 | 答题系统、答题方法及其计算机程序产品和储存介质 |
US8775156B2 (en) * | 2010-08-05 | 2014-07-08 | Google Inc. | Translating languages in response to device motion |
US9058814B2 (en) | 2010-11-15 | 2015-06-16 | At&T Intellectual Property I, L.P. | Mobile devices, methods, and computer program products for enhancing social interactions with relevant social networking information |
US8527259B1 (en) * | 2011-02-28 | 2013-09-03 | Google Inc. | Contextual translation of digital content |
US9104661B1 (en) * | 2011-06-29 | 2015-08-11 | Amazon Technologies, Inc. | Translation of applications |
EP2581816A1 (en) * | 2011-10-12 | 2013-04-17 | Research In Motion Limited | Apparatus and associated method for modifying media data entered pursuant to a media function |
US9323746B2 (en) * | 2011-12-06 | 2016-04-26 | At&T Intellectual Property I, L.P. | System and method for collaborative language translation |
US8499258B1 (en) * | 2012-03-04 | 2013-07-30 | Lg Electronics Inc. | Touch input gesture based command |
JP5284523B1 (ja) * | 2012-09-05 | 2013-09-11 | 株式会社東芝 | 情報処理システム、プログラムおよび情報処理システムの処理方法 |
JP6148163B2 (ja) * | 2013-11-29 | 2017-06-14 | 本田技研工業株式会社 | 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム |
KR102214178B1 (ko) * | 2013-12-13 | 2021-02-10 | 한국전자통신연구원 | 자동 통역 장치 및 방법 |
JP6500376B2 (ja) * | 2014-06-26 | 2019-04-17 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
JP2016181077A (ja) * | 2015-03-24 | 2016-10-13 | シャープ株式会社 | 情報処理装置、情報処理プログラムおよび情報処理方法 |
WO2016208396A1 (ja) * | 2015-06-23 | 2016-12-29 | 株式会社リコー | 通信端末、管理システム、通信システム、表示方法、及びプログラム |
JP6355823B2 (ja) * | 2016-02-08 | 2018-07-11 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
CN113407743A (zh) * | 2016-04-08 | 2021-09-17 | 北京三星通信技术研究有限公司 | 物体信息翻译、以及衍生信息获取方法和装置 |
JP6460286B2 (ja) * | 2016-08-25 | 2019-01-30 | ソニー株式会社 | 情報提示装置、および情報提示方法 |
JP2019003433A (ja) * | 2017-06-15 | 2019-01-10 | 株式会社リクルートライフスタイル | プログラム、表示方法及び情報処理装置 |
US11182567B2 (en) * | 2018-03-29 | 2021-11-23 | Panasonic Corporation | Speech translation apparatus, speech translation method, and recording medium storing the speech translation method |
JP2022141344A (ja) | 2021-03-15 | 2022-09-29 | 株式会社リコー | 表示装置、表示方法、プログラム |
JP2022147337A (ja) | 2021-03-23 | 2022-10-06 | 株式会社リコー | 表示装置、表示方法、プログラム |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6244873A (ja) | 1985-08-22 | 1987-02-26 | Toshiba Corp | 機械翻訳装置 |
US4882681A (en) * | 1987-09-02 | 1989-11-21 | Brotz Gregory R | Remote language translating device |
JPH03131432A (ja) | 1989-10-13 | 1991-06-05 | Nissan Motor Co Ltd | ワーク位置決め固定装置 |
JP3131432B2 (ja) | 1989-11-24 | 2001-01-31 | 株式会社東芝 | 機械翻訳方法及び機械翻訳装置 |
JPH03167799A (ja) | 1989-11-27 | 1991-07-19 | Matsushita Electric Works Ltd | 調光用放電灯点灯装置 |
JPH05197507A (ja) | 1992-01-17 | 1993-08-06 | Hitachi Ltd | ポータブルコンピュータ |
JP3167799B2 (ja) | 1992-07-29 | 2001-05-21 | 株式会社東芝 | オンライン手書き文字認識装置 |
US5583761A (en) * | 1993-10-13 | 1996-12-10 | Kt International, Inc. | Method for automatic displaying program presentations in different languages |
US5526268A (en) * | 1994-05-11 | 1996-06-11 | Westinghouse Electric Corporation | Dynamic language changing process graphics |
JPH08137385A (ja) | 1994-11-14 | 1996-05-31 | Hitachi Ltd | 会話装置 |
US6339754B1 (en) * | 1995-02-14 | 2002-01-15 | America Online, Inc. | System for automated translation of speech |
US6292769B1 (en) * | 1995-02-14 | 2001-09-18 | America Online, Inc. | System for automated translation of speech |
JPH0916602A (ja) * | 1995-06-27 | 1997-01-17 | Sony Corp | 翻訳装置および翻訳方法 |
TW347503B (en) * | 1995-11-15 | 1998-12-11 | Hitachi Ltd | Character recognition translation system and voice recognition translation system |
EP0810533B1 (en) * | 1996-05-29 | 2002-04-10 | Matsushita Electric Industrial Co., Ltd. | Document conversion apparatus |
US6122606A (en) * | 1996-12-10 | 2000-09-19 | Johnson; William J. | System and method for enhancing human communications |
JP3388153B2 (ja) | 1997-09-30 | 2003-03-17 | シャープ株式会社 | 機械翻訳装置および機械翻訳プログラムを記録したコンピュータ読取可能な記録媒体 |
US6593956B1 (en) * | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
US6356866B1 (en) * | 1998-10-07 | 2002-03-12 | Microsoft Corporation | Method for converting a phonetic character string into the text of an Asian language |
JP3274652B2 (ja) | 1998-10-30 | 2002-04-15 | シャープ株式会社 | 翻訳装置 |
US6807563B1 (en) * | 1999-05-21 | 2004-10-19 | Terayon Communications Systems, Inc. | Automatic teleconferencing control system |
US6795107B1 (en) * | 1999-07-15 | 2004-09-21 | International Business Machines Corporation | Video conferencing apparatus and method therefor |
JP2001101187A (ja) * | 1999-09-30 | 2001-04-13 | Sony Corp | 翻訳装置および翻訳方法、並びに記録媒体 |
US6816468B1 (en) * | 1999-12-16 | 2004-11-09 | Nortel Networks Limited | Captioning for tele-conferences |
US6424264B1 (en) * | 2000-10-12 | 2002-07-23 | Safetzone Technologies Corporation | System for real-time location of people in a fixed environment |
US6980953B1 (en) * | 2000-10-31 | 2005-12-27 | International Business Machines Corp. | Real-time remote transcription or translation service |
JP2002215621A (ja) * | 2001-01-19 | 2002-08-02 | Nec Corp | 翻訳サーバ及び翻訳方法並びにプログラム |
US7050979B2 (en) * | 2001-01-24 | 2006-05-23 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for converting a spoken language to a second language |
US7084765B2 (en) * | 2001-07-12 | 2006-08-01 | Intel Corporation | Processor-based positioning system |
US7272575B2 (en) * | 2001-07-13 | 2007-09-18 | Lilly Mae Vega | Method and system for facilitating service transactions |
US6583808B2 (en) * | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
GB2381638B (en) * | 2001-11-03 | 2004-02-04 | Dremedia Ltd | Identifying audio characteristics |
US20030125959A1 (en) * | 2001-12-31 | 2003-07-03 | Palmquist Robert D. | Translation device with planar microphone array |
-
2001
- 2001-11-22 JP JP2001357949A patent/JP3933449B2/ja not_active Expired - Lifetime
-
2002
- 2002-11-15 US US10/294,819 patent/US7277845B2/en active Active
- 2002-11-22 CN CNB021524084A patent/CN100429649C/zh not_active Expired - Fee Related
-
2007
- 2007-08-23 US US11/892,448 patent/US8676562B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4064020A1 (en) | 2021-03-23 | 2022-09-28 | Ricoh Company, Ltd. | Display system, display method, and carrier means |
Also Published As
Publication number | Publication date |
---|---|
CN100429649C (zh) | 2008-10-29 |
US20080033728A1 (en) | 2008-02-07 |
US7277845B2 (en) | 2007-10-02 |
US20030097250A1 (en) | 2003-05-22 |
CN1423216A (zh) | 2003-06-11 |
JP2003162527A (ja) | 2003-06-06 |
US8676562B2 (en) | 2014-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3933449B2 (ja) | コミュニケーション支援装置 | |
US7659915B2 (en) | Portable reading device with mode processing | |
US7840033B2 (en) | Text stitching from multiple images | |
US20160344860A1 (en) | Document and image processing | |
CN101998107B (zh) | 信息处理装置、会议系统和信息处理方法 | |
US8036895B2 (en) | Cooperative processing for portable reading machine | |
US7325735B2 (en) | Directed reading mode for portable reading machine | |
JP2009205579A (ja) | 音声翻訳装置およびプログラム | |
US7641108B2 (en) | Device and method to assist user in conducting a transaction with a machine | |
US20060020486A1 (en) | Machine and method to assist user in selecting clothing | |
JP4356745B2 (ja) | 機械翻訳システム、機械翻訳方法及びプログラム | |
CN104253904A (zh) | 一种实现点读学习的方法及智能手机 | |
US20090267923A1 (en) | Digital Bookclip | |
EP1756802A2 (en) | Portable reading device with mode processing | |
US20180293440A1 (en) | Automatic narrative creation for captured content | |
TW201314638A (zh) | 具虛擬實境擴充功能的點讀裝置 | |
Johnston et al. | MATCHKiosk: a multimodal interactive city guide | |
JP2014085998A (ja) | 電子ノート作成支援装置および電子ノート作成支援装置用プログラム | |
Gayathri et al. | Sign language recognition for deaf and dumb people using android environment | |
Shilkrot et al. | FingerReader: A finger-worn assistive augmentation | |
JP2000112610A (ja) | コンテンツ表示選択システム及びコンテンツ記録媒体 | |
JP2004118720A (ja) | 翻訳装置、翻訳方法及び翻訳プログラム | |
US20240118745A1 (en) | Describing content entities for visually impaired users of augmented reality applications | |
JP2005222316A (ja) | 会話支援装置、会議支援システム、受付業務支援システム及びプログラム | |
Abdella et al. | Smart Tour Guide: A Novel Artificial Intelligence System for Replacing Human Guides in Cultural Heritage Sites |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030825 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3933449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |