JP6790856B2 - 電子情報処理システム及びコンピュータプログラム - Google Patents
電子情報処理システム及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6790856B2 JP6790856B2 JP2017006728A JP2017006728A JP6790856B2 JP 6790856 B2 JP6790856 B2 JP 6790856B2 JP 2017006728 A JP2017006728 A JP 2017006728A JP 2017006728 A JP2017006728 A JP 2017006728A JP 6790856 B2 JP6790856 B2 JP 6790856B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- exchange
- input
- user
- exchange candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 26
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims description 130
- 230000007177 brain activity Effects 0.000 claims description 90
- 238000000034 method Methods 0.000 claims description 33
- 238000012790 confirmation Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 description 49
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 6
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 5
- 108010064719 Oxyhemoglobins Proteins 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 108010002255 deoxyhemoglobin Proteins 0.000 description 5
- 210000003710 cerebral cortex Anatomy 0.000 description 4
- 230000005684 electric field Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003702 neurovascular coupling effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- WQZGKKKJIJFFOK-VFUOTHLCSA-N beta-D-glucose Chemical compound OC[C@H]1O[C@@H](O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-VFUOTHLCSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0237—Character input methods using prediction or retrieval techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Computational Linguistics (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Document Processing Apparatus (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、電子情報処理システム及びコンピュータプログラムに関する。
電子情報処理システムでは、様々なアプリケーションプログラム（以下、アプリプログラムと称する）を実行可能である。ユーザからの文字入力の操作を受け付けるアプリプログラムでは、ユーザからの文字入力の操作を受け付けると、ユーザが意図しない文字が入力される場合がある。例えばユーザがひらがな入力を意図しているにも拘らず文字入力モードの初期設定が半角英数入力モードになっていれば、ユーザが文字入力の操作を行うと、ユーザが意図しない半角英数文字が入力される。そのような場合、ユーザは当該入力された半角英数文字を消去する操作を行い、文字入力モードを半角英数入力モードからひらがな入力モードに変更する操作を行い、文字入力の操作を再度行うという煩雑な手間が必要となる。
一方、特許文献１には、ユーザが文字入力の操作を行うときの言語中枢の働きにより発生する磁場や電場の変化を時系列で検出し、そのユーザが入力しようとする文字の文字コードを発生させる技術が記載されている。
上記したような煩雑な手間が必要となる問題に対し、特許文献１の技術を適用することで、ユーザが意図する文字が入力されると想定される。しかしながら、特許文献１では、言語中枢の働きにより発生する磁場や電場の変化を時系列で検出する必要がある。そのため、ユーザが意図する文字が入力されるまで多大な処理時間がかかるという問題がある。又、１文字毎に文字コードを発生させるので、多大な文字数の文字入力には適さないという問題もある。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザが文字入力の操作を行う際の利便性を高めることができる電子情報処理システム及びコンピュータプログラムを提供することにある。
請求項１に記載した発明によれば、操作受付部（１６）は、ユーザからの文字入力の操作を受け付ける。脳活動検出部（８）は、ユーザの脳活動を検出する。視線方向検出部（１２）は、ユーザの視線方向を検出する。第１の表示制御部（６ａ）は、ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として文字表示領域（３２）に表示させる。提示必要判定部（６ｂ）は、ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の脳活動検出部の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する。第２の表示制御部（６ｃ）は、交換候補文字を提示する必要が有ると判定されると、複数の交換候補文字を交換候補表示領域（３４ｃ〜３４ｅ）に表示させる。交換必要判定部（６ｄ）は、交換候補文字が表示された後の視線方向検出部の検出結果及び脳活動検出部の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する。文字確定部（６ｆ）は、交換候補文字のうちから交換対象文字が選択されると、その選択された交換対象文字を確定文字として確定する。
ユーザが文字入力の操作を行うときに、ユーザが意図する文字が入力された場合と意図しない文字が入力された場合とでユーザの脳活動に差が発生することに着目した。ユーザが文字入力の操作を行うと、その後のユーザの脳活動の検出結果を用い、入力文字に対応する交換候補文字を提示する必要が有ると判定すると、複数の交換候補文字を表示する。そして、その後のユーザの視線方向及び脳活動の検出結果を用い、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択し、その選択した交換対象文字を確定文字として確定する。
ユーザが文字入力モードを変更する操作や文字入力の操作を再度行わなくとも、ユーザが視線方向を変えるだけで、交換候補文字のうちから意図する文字を交換対象文字として選択して確定文字として確定することができる。これにより、ユーザが文字入力の操作を行う際の利便性を高めることができる。この場合、言語中枢の働きにより発生する磁場や電場の時系列の変化を利用する従来とは異なり、ユーザの脳活動の差を利用するので、多大な処理時間がかかることがなく、多大な文字数の文字入力にも適する。
以下、本発明を車両に搭載される電子情報処理システムに適用した一実施形態について図面を参照して説明する。電子情報処理システム１は、図２に示すように、車室内において運転者であるユーザが視認可能な表示器２を有する。表示器２は、ユーザの前方視界を妨げない位置に配置されている。表示器２には、ユーザの顔を撮影する２つのカメラ３，４が配置されていると共に、各種の電子部品を含む制御ユニット５が内蔵されている。
電子情報処理システム１は、制御部６と、通信部７と、脳活動検出部８と、挙動検出部９と、音声検出部１０と、操作検出部１１と、視線方向検出部１２と、記憶部１３と、表示部１４と、音声出力部１５と、操作受付部１６と、信号入力部１７とを有する。
制御部６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成されている。制御部６は、非遷移的実体的記録媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、電子情報処理システム１の動作全般を制御する。
カメラ３，４は、ユーザの顔の略全体を撮影し、その撮影した映像を含む映像信号を制御部６に出力する。通信部７は、ユーザの頭部に装着されるヘッドセット１８に複数設けられている脳活動センサ１９、ユーザが発話した音声を集音するマイク２０、ユーザが操作可能な手元スイッチ２１との間で例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の通信規格に準拠した近距離無線通信を行う。マイク２０は、例えばハンドル２２の周辺等のユーザが発話した音声を集音し易い位置に配置されている。尚、マイク２０は、ヘッドセット１８と一体に取り付けられていても良い。手元スイッチ２１は、例えばユーザがハンドル２２を把持したまま操作し易い位置に配置されている。
脳活動センサ１９は、ユーザの頭皮上に近赤外光を照射し、その照射した近赤外光が乱反射した光を受光し、ユーザの脳活動を監視する。近赤外光がユーザの頭皮上に照射されると、皮膚や骨を透過する高い生体透過性により、その近赤外光の光成分が脳組織内に拡散し、頭皮上から約２０〜３０ｍｍの深部にある大脳皮質に到達する。脳活動センサ１９は、血液中のオキシヘモグロビン濃度とデオキシヘモグロビン濃度とで光吸収特性が異なる性質を利用し、照射点から数ｃｍ離れた箇所で乱反射した光成分を検出する。脳活動センサ１９は、このようにして光成分を検出すると、大脳皮質のオキシヘモグロビン濃度とデオキシヘモグロビン濃度との変化を推定し、その推定した変化を示す脳活動監視信号を通信部７に送信する。尚、脳活動センサ１９は、大脳皮質のオキシヘモグロビン濃度とデオキシヘモグロビン濃度とに加え、両者の総計である総ヘモグロビン濃度の変化も推定し、その推定した変化を示す脳活動監視信号を通信部７に送信しても良い。
マイク２０は、ユーザが発話した音声を集音して検出すると、その検出した音声を示す音声検出信号を通信部７に送信する。手元スイッチ２１は、ユーザの操作を検出すると、その検出した操作を示す操作検出信号を通信部７に送信する。通信部７は、脳活動センサ１９、マイク２０、手元スイッチ２１からそれぞれ脳活動監視信号、音声検出信号、操作検出信号を受信すると、その受信した脳活動監視信号、音声検出信号、操作検出信号を制御部６に出力する。尚、脳活動センサ１９、マイク２０、手元スイッチ２１は、何れも無線給電されるように構成されており、給電線の配線が不要とされている。
脳活動検出部８は、ＮＩＲＳ（Near Infra-Red Spectoroscopy）の技術を用いてユーザの脳活動を検出する。脳の情報処理では、神経活動が担う情報伝達系と、神経活動を支えるエネルギー供給系との２つの系が密接に関係していると考えられている。神経活動が起こると、その周囲にある血管が拡張し、エネルギー源となる酸素やグルコースを含む多くの動脈血を供給する調整機構が働く。そして、活動神経の近傍の組織では、血流量及び血液量が増大し、血液の酸化状態（即ちオキシヘモグロビン濃度とデオキシヘモグロビン濃度との比率）が変化すると仮定されている。このような神経活動と脳血液反応との関係はニューロバスキュラーカップリングと称されており、ＮＩＲＳの技術ではニューロバスキュラーカップリングが存在するという仮定に基づき脳の局所ヘモグロビン濃度を検出することで、ユーザの脳活動を検出する。
脳活動検出部８は、脳活動センサ１９から脳活動監視信号が通信部７に受信され、その受信された脳活動監視信号が制御部６に入力されると、その入力された脳活動監視信号から大脳皮質のオキシヘモグロビン濃度とデオキシヘモグロビン濃度との変化を検出する。脳活動検出部８は、その検出結果を数値化した脳活動データを脳活動データベース２３に逐一記憶し、脳活動データベース２３に記憶されている脳活動データを更新すると共に、その検出した脳活動データを過去の脳活動データと照合する。
脳活動検出部８は、脳活動データベース２３に記憶されている脳活動データから判定基準となる快適閾値と不快閾値とを設定しており、脳活動データの数値が快適閾値以上であれば、ユーザが快適と感じていると検出する。脳活動検出部８は、脳活動データの数値が快適閾値未満であり不快閾値以上であれば、ユーザが平常（即ち快適でも不快でもない）と感じていると検出する。脳活動検出部８は、脳活動データの数値が不快閾値未満であれば、ユーザが不快と感じていると検出する。脳活動検出部８は、このようにして検出したユーザの脳活動の検出結果を示す検出結果信号を制御部６に出力する。
挙動検出部９は、画像解析や音声認識の技術を用いてユーザの挙動を検出する。挙動検出部９は、カメラ３，４から映像信号が制御部６に入力されると、その入力された映像信号からユーザの目の動きや口の動きや表情を検出し、その検出結果を数値化した挙動データを挙動データベース２４に逐一記憶し、挙動データベース２４に記憶されている挙動データを更新すると共に、その検出した挙動データを過去の挙動データと照合する。
挙動検出部９は、挙動データベース２４に記憶されている挙動データから判定基準となる快適閾値と不快閾値とを設定しており、挙動データの数値が快適閾値以上であれば、ユーザが快適と感じていると検出する。挙動検出部９は、挙動データの数値が快適閾値未満であり不快閾値以上であれば、ユーザが平常（即ち快適でも不快でもない）と感じていると検出する。挙動検出部９は、挙動データの数値が不快閾値未満であれば、ユーザが不快と感じていると検出する。挙動検出部９は、このようにして検出したユーザの挙動の検出結果を示す検出結果信号を制御部６に出力する。
音声検出部１０は、ユーザが発話したことでマイク２０から音声検出信号が通信部７に受信され、その受信された音声検出信号が制御部６に入力されると、その入力された音声検出信号からユーザが発話した音声を検出し、その検出した検出結果を示す検出結果信号を制御部６に出力する。操作検出部１１は、ユーザが手元スイッチ２１を操作したことで手元スイッチ２１から操作検出信号が通信部７に受信され、その受信された操作検出信号が制御部６に入力されると、その入力された操作検出信号からユーザの操作を検出し、その検出した検出結果を示す検出結果信号を制御部６に出力する。視線方向検出部１２は、カメラ３，４から映像信号が制御部６に入力されると、その入力された映像信号からユーザの視線方向を検出し、その検出結果を示す検出結果信号を制御部６に出力する。
記憶部１３は、制御部６が実行可能な複数のプログラムを記憶している。記憶部１３に記憶されているプログラムには、文字入力を複数の文字入力モードにより受け付け可能な複数種類のアプリプログラムＡ，Ｂ，Ｃ，…と、日本語入力のかな漢字変換プログラムとが含まれる。日本語入力のかな漢字変換プログラムは、日本語の文章を入力するためにかな漢字変換を行うソフトウェアであり、日本語入力プログラム、日本語入力フロントエンドプロセッサ（ＦＥＰ：Front End Processor）、かな漢字変換プログラムとも称される。文字入力モードは、半角英数入力モード、全角英数入力モード、半角カタカナ入力モード、全角カタカナ入力モード、ひらがな入力モード等である。
表示部１４は、例えば液晶ディスプレイ等により構成されており、制御部６から表示指令信号を入力すると、その入力した表示指令信号により指定される画面を表示する。音声出力部１５は、例えばスピーカー等により構成されており、制御部６から音声出力指令信号を入力すると、その入力した音声出力指令信号により指定される音声を出力する。操作受付部１６は、表示部１４の画面上に形成されるタッチパネルや機械的なスイッチ等により構成されており、ユーザからの文字入力の操作を受け付けると、その受け付けた文字入力の操作の内容を示す文字入力検出信号を制御部６に出力する。信号入力部１７は、車両に搭載されている各種ＥＣＵ（Electronic Control Unit）２５や各種センサ２６から各種信号を入力する。
制御部６は、記憶部１３に記憶されている各種プログラムを実行する。制御部６は、何れかのアプリプログラムを実行中では、その実行中のアプリプログラムの文字入力モードがひらがな入力モードであるときには日本語入力のかな漢字変換プログラムを併せて起動する。即ち、制御部６は、ひらがな入力モードであるときに日本語入力のかな漢字変換プログラムを併せて起動することで、かな文字入力を可能とし、更にかな漢字変換（即ちかな文字から漢字への変換）を可能としている。
制御部６は、本発明に関連する機能として、第１の表示制御部６ａと、提示必要判定部６ｂと、第２の表示制御部６ｃと、交換必要判定部６ｄと、第３の表示制御部６ｅと、文字確定部６ｆとを有する。これらの各部６ａ〜６ｆは制御部６が実行するコンピュータプログラムにより構成されており、ソフトウェアにより実現されている。
第１の表示制御部６ａは、ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として表示部１４に表示させる。提示必要判定部６ｂは、ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示されると、その後の脳活動検出部８の検出結果及び挙動検出部９の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する。
第２の表示制御部６ｃは、交換候補文字を提示する必要が有ると提示必要判定部６ｂにより判定されると、その交換候補文字を表示部１４に表示させる。交換必要判定部６ｄは、交換候補文字が表示されると、その後の視線方向検出部１２の検出結果、脳活動検出部８の検出結果及び挙動検出部９の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定する。交換必要判定部６ｄは、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する。
第３の表示制御部６ｅは、入力文字を交換候補文字と交換する必要が有ると判定され、交換候補文字のうちから交換対象文字が選択されると、入力文字に代えて交換対象文字を表示部１４に表示させる。文字確定部６ｆは、交換候補文字のうちから交換対象文字が選択されると、その選択された交換対象文字を確定文字として確定する。
次に、上記した構成の作用について図３から図２８を参照して説明する。
電子情報処理システム１において、制御部６は、文字入力処理を開始すると、ユーザからの文字入力の操作を監視し（Ｓ１）、ユーザからの文字入力の操作を受け付けたか否かを判定する（Ｓ２、操作受付手順に相当する）。制御部６は、文字入力検出信号を操作受付部１６から入力し、ユーザからの文字入力の操作を受け付けたと判定すると（Ｓ２：ＹＥＳ）、その時点で設定されている文字入力モードに応じた文字を入力文字として表示部１４に表示させる（Ｓ３、第１の表示制御手順に相当する）。
電子情報処理システム１において、制御部６は、文字入力処理を開始すると、ユーザからの文字入力の操作を監視し（Ｓ１）、ユーザからの文字入力の操作を受け付けたか否かを判定する（Ｓ２、操作受付手順に相当する）。制御部６は、文字入力検出信号を操作受付部１６から入力し、ユーザからの文字入力の操作を受け付けたと判定すると（Ｓ２：ＹＥＳ）、その時点で設定されている文字入力モードに応じた文字を入力文字として表示部１４に表示させる（Ｓ３、第１の表示制御手順に相当する）。
即ち、制御部６は、図５に示すように、表示部１４に文字入力画面３１が表示されている状態でユーザからの文字入力の操作が操作受付部１６により受け付けられると、その受け付けられた文字を入力文字として文字表示領域３２に表示させる。図５の例示では、制御部６は、ユーザからの文字入力の操作として、最初に「Ａ」のキーが押下され、続いて「Ｉ」のキーが押下された場合に、半角英数入力モードが設定されていれば「AI（半角）」を文字表示領域３２に表示させる。又、制御部６は、入力文字を文字表示領域３２に表示させた直後では、文字表示領域３２の周辺である周辺領域３３の背景色を例えば白色で表示させる。
尚、制御部６は、最初に「Ａ」のキーが押下され、続いて「Ｉ」のキーが押下された場合に、全角英数入力モードが設定されていれば「ＡＩ（全角）」を表示させる。又、制御部６は、半角カタカナ入力モードが設定されていれば「アイ（半角）」を表示させ、全角カタカナ入力モードが設定されていれば「アイ（全角）」を表示させ、ひらがな入力モードが設定されていれば「あい」を表示させる。又、音声認識の機能を有する構成であれば、ユーザが発話することでユーザからの文字入力の操作が受け付けられる構成でも良い。ユーザは、文字表示領域３２に表示された文字を視認することで、自分の意図通りに文字が入力されたか否かを判断可能となる。
制御部６は、脳活動検出部８から入力した検出結果信号を用いて脳活動データを解析し（Ｓ４）、挙動検出部９から入力した検出結果信号を用いて挙動データを解析する（Ｓ５）。制御部６は、その時点でのユーザの脳活動及び挙動、即ちユーザが自らの文字入力の操作により入力した文字を視認した直後の感情を判定し、交換候補文字を提示する必要の有無を判定する（Ｓ６、提示必要判定手順に相当する）。
図５の例示では、ユーザは、半角英数入力を意図していれば、自分の意図通りに文字が入力されたことを視認する。このとき、ユーザは快適又は平常と感じており、ユーザが不快と感じることはなく、ユーザの脳活動及び挙動の変化が活性化することはない。一方、ユーザは、半角英数入力を意図しておらず例えばひらがな入力を意図していれば、自分の意図に反した文字が入力されたことを視認する。このとき、ユーザは不快と感じており、ユーザの脳活動及び挙動の変化が活性化する。
制御部６は、脳活動データ及び挙動データの両方が不快閾値未満でなく、ユーザが不快と感じていないと判定すると、交換候補文字を提示する必要が無いと判定する（Ｓ６：ＮＯ）。制御部６は、その時点で文字表示領域３２に表示されている文字、即ち入力文字を確定文字として確定し（Ｓ７）、文字入力処理を終了する。即ち、ユーザからの文字入力の操作により入力された入力文字である「AI（半角）」に対してユーザが不快と感じていなければ、制御部６は、「AI（半角）」を確定文字として確定する。
一方、制御部６は、脳活動データ及び挙動データのうち少なくとも何れかが不快閾値未満であり、ユーザが不快と感じていると判定すると、交換候補文字を提示する必要が有ると判定する（Ｓ６：ＹＥＳ）。制御部６は、図６に示すように、周辺領域３３の背景色を白色から例えば赤色に変更し、入力文字に対応する交換候補文字を表示する交換対象文字選択処理に移行する（Ｓ８）。
制御部６は、交換対象文字選択処理を開始すると、図７に示すように、周辺領域３３の背景色を赤色から例えば緑色に変更し、文字入力画面３１上において交換候補画面３４のポップアップ表示を開始し（Ｓ１１、第２の表示制御手順に相当する）、監視タイマによる計時を開始する（Ｓ１２）。このとき、制御部６は、交換候補画面３４を文字入力画面３１の略中心部に表示させる。監視タイマは、交換候補画面３４の表示時間の上限を規定するタイマである。交換候補画面３４は、入力文字区画３４ａ、交換候補文字区画３４ｂ〜３４ｄ（交換候補表示領域に相当する）、スクロール区画３４ｅ，３４ｆ、インジケータ区画３４ｇを有する。制御部６は、文字表示領域３２に表示させている文字、即ち入力文字を入力文字区画３４ａに表示させ、その入力文字に対応する交換候補文字を交換候補文字区画３４ｂ〜３４ｄに表示させる。図７の例示では、制御部６は、入力文字として「AI（半角）」を入力文字区画３４ａに表示させ、交換候補文字として「愛」、「あい」、「アイ（全角）」を交換候補文字区画３４ｂ〜３４ｄに表示させる。又、制御部６は、左矢印アイコン３５をスクロール区画３４ｅに表示させ、右矢印アイコン３６をスクロール区画３４ｆに表示させ、感情を示すインジケータ３７をインジケータ区画３４ｇに表示させる。このとき、制御部６は、入力文字区画３４ａ及びインジケータ３７を赤色で表示させる。
制御部６は、このようにして交換候補画面３４を文字入力画面３１上にポップアップ表示させると、視線方向検出部１２から入力する検出結果信号を用いてユーザの視線方向を検出する（Ｓ１３）。そして、制御部６は、ユーザの視線方向が特定の区画に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したか否かを判定すると共に（Ｓ１４）、監視タイマによる計時が満了したか否かを判定する（Ｓ１５）。
制御部６は、監視タイマによる計時が満了したと判定するよりも前に、ユーザの視線方向が特定の区画に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると（Ｓ１４：ＹＥＳ）、その区画を判定する（Ｓ１６，Ｓ１７、交換必要判定手順に相当する）。
制御部６は、ユーザの視線方向が向けられた区画が交換候補文字区画３４ｂ〜３４ｄであると判定すると（Ｓ１６：ＹＥＳ）、そのユーザの視線方向が向けられた区画に属する交換候補文字を交換対象文字として選択し（Ｓ１８）、監視タイマによる計時を終了する（Ｓ１９）。即ち、制御部６は、図８に示すように、そのユーザの視線方向が向けられた区画が交換候補文字区画３４ｃであれば、その交換候補文字区画３４ｃに属する「あい」を交換対象文字として選択する。このとき、制御部６は、その交換候補文字区画３４ｃを例えば黄色で表示させ、入力文字区画３４ａ及びインジケータ３７を赤色から緑色に変更する。
制御部６は、図９に示すように、交換対象文字として選択した交換候補文字区画３４ｃに属する「あい」と、入力文字区画３４ａに属する「AI（半角）」とを交換する。このとき、制御部６は、入力文字区画３４ａを緑色から黄色に変更し、交換候補文字区画３４ｃを黄色から緑色に変更する。又、制御部６は、文字表示領域３２に表示されている文字を「AI（半角）」から「あい」に変更する（Ｓ２０）。
制御部６は、図１０に示すように、周辺領域３３の背景色を緑色から白色に変更し（即ち白色に戻し）、文字入力画面３１上において交換候補画面３４のポップアップ表示を終了し（Ｓ２１）、交換対象文字選択処理を終了して文字入力処理に戻る。以上の処理により、ユーザは、所望の交換候補文字に視線方向を所定時間継続して向けるだけで、文字入力の操作を行うことなく、文字表示領域３２に表示されている文字を所望の交換候補文字に変更することができる。
一方、制御部６は、ユーザの視線方向が向けられた区画がスクロール区画３４ｅ，３４ｆであると判定すると（Ｓ１７：ＹＥＳ）、交換候補文字をスクロール表示させ（Ｓ２２）、上記したステップＳ１４，１５に戻る。即ち、制御部６は、図１１に示すように、そのユーザの視線方向が向けられた区画がスクロール区画３４ｅであれば、その交換候補文字区画３４ｂ〜３４ｄに属する交換対象文字を左方向にスクロール表示させ、交換候補文字区画３４ｂ〜３４ｄに「あい」、「アイ（全角）」、「アイ（半角）」を表示させる。又、制御部６は、図１２に示すように、そのユーザの視線方向が向けられた区画がスクロール区画３４ｆであれば、その交換候補文字区画３４ｂ〜３４ｄに属する交換対象文字を右方向にスクロール表示させ、交換候補文字区画３４ｂ〜３４ｄに「相」、「愛」、「あい」を表示させる。
これ以降、制御部６は、同様にしてユーザの視線方向が向けられた区画が交換候補文字区画３４ｂ〜３４ｄであると判定すると、そのユーザの視線方向が向けられた区画に属する交換候補文字を交換対象文字として選択する。以上の処理により、ユーザは、所望の交換候補文字が表示されていなくても、左矢印アイコン３５や右矢印アイコン３６に視線方向を所定時間継続して向けるだけで、所望の交換候補文字を表示させることができる。そして、これ以降、ユーザは、同様にして所望の交換候補文字に視線方向を所定時間継続して向けるだけで、文字入力の操作を行うことなく、文字表示領域３２に表示されている文字を所望の交換候補文字に変更することができる。
尚、制御部６は、ユーザの視線方向が向けられた区画が交換候補文字区画３４ｂ〜３４ｄ及びスクロール区画３４ｅ，３４ｆの何れでもないと判定すると（Ｓ１６：ＮＯ，Ｓ１７：ＮＯ）、上記したステップＳ１４，１５に戻る。
又、制御部６は、ユーザの視線方向が特定の区画に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定するよりも前に、監視タイマによる計時が満了したと判定すると（Ｓ１５：ＹＥＳ）、交換対象文字を選択せずに交換候補画面３４のポップアップ表示を終了し（Ｓ２１）、交換対象文字選択処理を終了して文字入力処理に戻る。
制御部６は、文字入力処理に戻ると、交換対象文字選択処理において交換対象文字を選択したか否かを判定する（Ｓ９）。制御部６は、交換対象文字を選択したと判定すると（Ｓ９：ＹＥＳ）、その選択した交換対象文字を確定文字として確定し（Ｓ１０、文字確定手順に相当する）、文字入力処理を終了する。即ち、ユーザからの文字入力の操作により入力された入力文字である「AI（半角）」に対してユーザが不快と感じ、ユーザが交換候補画面３４で視線方向を定めて例えば「あい」を交換対象文字として選択していれば、制御部６は、その交換対象文字として選択した「あい」を確定文字として確定する。
一方、制御部６は、交換対象文字を選択しなかったと判定すると（Ｓ９：ＮＯ）、文字表示領域３２に表示されている文字、即ち入力文字を確定文字として確定し（Ｓ７）、文字入力処理を終了する。即ち、ユーザが交換候補画面３４で視線方向を定めずに交換対象文字を選択していなければ、制御部６は、入力文字を確定文字として確定する。
制御部６は、以上の処理を行うことで確定文字を以下のようにして確定する。ユーザが「あい」の文字入力を意図している場合であれば、図１３に示すように、制御部６は、ユーザの視線方向が「あい」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「あい」と「AI（半角）」とを交換し、「あい」を確定文字として確定する。又、ユーザが「アイ（全角）」の文字入力を意図している場合であれば、図１４に示すように、制御部６は、ユーザの視線方向が「あい」に向けられても「あい」を確定文字として確定しない。制御部６は、ユーザの視線方向が「アイ（全角）」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「アイ（全角）」と「あい」とを交換し、「アイ（全角）」と「AI（半角）」とを交換し、「アイ（全角）」を確定文字として確定する。
又、ユーザが「愛」の文字入力を意図している場合であれば、図１５に示すように、制御部６は、ユーザの視線方向が「あい」や「アイ」に向けられても「あい」や「アイ」を確定文字として確定しない。制御部６は、ユーザの視線方向が「愛」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「愛」と「あい」とを交換し、「愛」と「AI（半角）」とを交換し、「愛」を確定文字として確定する。更に、ユーザが「相」の文字入力を意図している場合であれば、図１６に示すように、制御部６は、ユーザの視線方向が左矢印アイコン３５に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、交換候補文字をスクロール表示させて「相」を表示させる。制御部６は、ユーザの視線方向が「相」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「相」と「愛」とを交換し、「相」と「AI（半角）」とを交換し、「相」を確定文字として確定する。
尚、制御部６は、左矢印アイコン３５によるスクロール表示としては、図１７に示すように、ユーザの視線方向が左矢印アイコン３５に向けられている時間が長くなるにしたがって交換候補文字を左方向にスクロール表示させ、例えば「アイ（半角）」、「Ai（半角）」、「ai（半角）」等を順次表示させる。又、制御部６は、右矢印アイコン３６によるスクロール表示としては、図１８に示すように、ユーザの視線方向が右矢印アイコン３６に向けられている時間が長くなるにしたがって交換候補文字を右方向にスクロール表示させ、例えば「相」、「合」、「藍」等を順次表示させる。
以上は、ユーザの脳活動及び挙動を判定し、交換候補文字を提示する必要の有無を判定する構成を説明したが、ユーザが発話することやユーザが手元スイッチ２１を操作することを判定し、交換候補文字を提示する必要の有無を判定する構成でも良い。即ち、制御部６は、ユーザが例えば「交換候補文字を提示して」等を発話したり手元スイッチ２１を所定操作したりしたと判定すると、交換候補文字を提示する必要が有ると判定しても良い。
又、以上は、ユーザの脳活動及び挙動を判定し、入力文字を交換候補文字と交換する必要の有無を判定する構成を説明したが、ユーザが発話することやユーザが手元スイッチ２１を操作することを判定し、入力文字を交換候補文字と交換する必要の有無を判定する構成でも良い。即ち、制御部６は、ユーザが例えば「その文字と交換して」等を発話したり手元スイッチ２１を所定操作したりしたと判定すると、入力文字を交換候補文字と交換する必要が有ると判定しても良い。
又、以上は、交換候補文字区画３４ｂ〜３４ｄの区画数を「３」とすることで、３個の交換候補文字を同時に表示させる構成を説明したが、交換候補文字区画の区画数を「４」以上とすることで、４個以上の交換候補文字を同時に表示させる構成でも良い。
又、以上は、文字入力画面３１の略中心部に交換候補画面３４を表示させる構成を説明したが、図１９に示すように、文字表示領域３２の真下に交換候補画面３８を表示させる構成でも良い。交換候補画面３８は、上記した交換候補画面３４よりも簡素な画面であり、交換候補文字区画３８ａ〜３８ｃ（交換候補表示領域に相当する）、スクロール区画３８ｄ，３８ｅを有する。制御部６は、交換候補文字として「愛」、「あい」、「アイ（全角）」を交換候補文字区画３８ａ〜３８ｃに表示させ、左矢印アイコン３９をスクロール区画３８ｄに表示させ、右矢印アイコン４０をスクロール区画３８ｅに表示させる。
この場合も、交換候補画面３４が表示された場合と同様であり、制御部６は、図２０に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画３８ｂであれば、その交換候補文字区画３８ｂに属する「あい」を交換対象文字として選択し、文字表示領域３２に表示されている文字を「AI（半角）」から「あい」に変更する。又、制御部６は、ユーザの視線方向が向けられた区画がスクロール区画３８ｄ，３８ｅであれば、その交換候補文字区画３８ａ〜３８ｃに属する交換対象文字をスクロール表示させる。
又、制御部６は、文中の文節を単位とし、交換候補文字を提示する必要の有無を判定し、入力文字を交換候補文字と交換する必要の有無を判定する構成でも良い。即ち、制御部６は、図２１に示すように、ユーザからの文字入力の操作により「愛らしい」が操作受付部１６により受け付けられると、その受け付けられた「愛らしい」を文字表示領域４１に表示させる。続いて、制御部６は、図２２に示すように、「ことば」が操作受付部１６により受け付けられると、その受け付けられた「ことば」を「愛らしい」に続けて文字表示領域４１に表示させる。
ここで、制御部６は、脳活動データ及び挙動データのうち少なくとも何れかが不快閾値未満であり、ユーザが不快と感じていると判定すると、交換候補文字を提示する必要が有ると判定し、入力文字に対応する交換候補文字を表示する。即ち、制御部６は、図２３に示すように、文字表示領域４１の真下に交換候補画面４２を表示させる。交換候補画面４２は、交換候補文字区画４２ａ〜４２ｃ（交換候補表示領域に相当する）、スクロール区画４２ｄ，４２ｅを有する。制御部６は、最初の文節である「愛らしい」に対応する交換候補文字として「あいらしい」、「アイラシイ」、「「愛らしい」削除」を交換候補文字区画４２ａ〜４２ｃに表示させ、左矢印アイコン４３をスクロール区画４２ｄに表示させ、右矢印アイコン４４をスクロール区画４２ｅに表示させる。
この場合も、前述した交換候補画面３４や交換候補画面３８が表示された場合と同様である。制御部６は、図２４に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ａであれば、その交換候補文字区画４２ａに属する「あいらしい」を交換対象文字として選択し、文字表示領域４１に表示されている文字を「愛らしい」から「あいらしい」に変更する。又、制御部６は、図２５に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ｃであれば、文字表示領域４１に表示されている「愛らしい」を削除する。
続いて、制御部６は、図２６に示すように、次の文節である「ことば」に対応する交換候補文字として「言葉」、「コトバ」、「「ことば」削除」を交換候補文字区画４２ａ〜４２ｃに表示させる。制御部６は、図２７に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ａであれば、その交換候補文字区画４２ａに属する「言葉」を交換対象文字として選択し、文字表示領域４１に表示されている文字を「ことば」から「言葉」に変更する。又、制御部６は、図２８に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ｃであれば、文字表示領域４１に表示されている「ことば」を削除する。
以上に説明したように本実施形態によれば、次に示す効果を得ることができる。
電子情報処理システム１において、ユーザが文字入力の操作を行うときに、ユーザが意図する文字が入力された場合と意図しない文字が入力された場合とでユーザの脳活動や挙動に差が発生することに着目した。ユーザが文字入力の操作を行うと、その後のユーザの脳活動や挙動の検出結果を用い、入力文字に対応する交換候補文字を提示する必要が有ると判定すると、交換候補文字を表示するようにした。そして、その後のユーザの視線方向、脳活動及び挙動の検出結果を用い、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択し、その選択した交換対象文字を確定文字として確定するようにした。
電子情報処理システム１において、ユーザが文字入力の操作を行うときに、ユーザが意図する文字が入力された場合と意図しない文字が入力された場合とでユーザの脳活動や挙動に差が発生することに着目した。ユーザが文字入力の操作を行うと、その後のユーザの脳活動や挙動の検出結果を用い、入力文字に対応する交換候補文字を提示する必要が有ると判定すると、交換候補文字を表示するようにした。そして、その後のユーザの視線方向、脳活動及び挙動の検出結果を用い、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択し、その選択した交換対象文字を確定文字として確定するようにした。
ユーザが文字入力モードを変更する操作や文字入力の操作を再度行わなくとも、ユーザが視線方向を変えるだけで、交換候補文字のうちから意図する文字を交換対象文字として選択して確定文字として確定することができる。これにより、ユーザが文字入力の操作を行う際の利便性を高めることができる。この場合、言語中枢の働きにより発生する磁場や電場の時系列の変化を利用する従来とは異なり、ユーザの脳活動の差を利用するので、多大な処理時間がかかることがなく、多大な文字数の文字入力にも適する。
又、電子情報処理システム１において、交換候補文字のうちから交換対象文字を選択すると、入力文字に代えて交換対象文字を文字表示領域３２に表示し、その文字表示領域３２に表示した交換対象文字を確定文字として確定するようにした。入力文字に代えて交換対象文字を文字表示領域３２に表示することで、入力文字と交換対象文字とを交換した旨をユーザに適切に把握させることができる。
又、電子情報処理システム１において、ユーザの視線方向が交換候補文字のうち特定の文字に向けられ且つユーザの脳活動が不快でない状態が所定時間継続すると、入力文字を交換候補文字と交換する必要が有ると判定し、その特定の文字を交換対象文字として選択するようにした。ユーザの視線方向が特定の文字に向けられている時間を判定することで、入力文字を交換候補文字と交換する必要の有無を容易に判定することができる。
又、電子情報処理システム１において、ユーザの脳活動や挙動の検出結果に加え、ユーザが発話した音声やユーザの操作の検出結果をも用い、入力文字に対応する交換候補文字を提示する必要の有無を判定するようにした。ユーザの脳活動や挙動の検出結果が不確かな場合でも、ユーザが音声を発話したり手元スイッチ２１を操作したりすることで、交換候補文字を提示させることができる。又、ユーザの脳活動や挙動の検出結果に加え、ユーザが発話した音声やユーザの操作の検出結果をも用い、入力文字を交換候補文字と交換する必要の有無を判定するようにした。ユーザの脳活動や挙動の検出結果が不確かな場合でも、ユーザが音声を発話したり手元スイッチ２１を操作したりすることで、入力文字を交換候補文字と交換することができる。
又、電子情報処理システム１において、入力文字を文字表示領域３２に表示している状態で交換候補文字を表示するようにした。入力文字と交換候補文字とを同時にユーザに把握させることができ、入力文字と対比させながら交換対象文字を適切に選択させることができる。又、電子情報処理システム１において、複数の交換候補文字を同時に表示するようにした。複数の交換候補文字を対比させながら交換対象文字を適切に選択させることができる。
又、電子情報処理システム１において、交換候補文字を提示する必要が無いと判定すると、文字表示領域３２に表示されている入力文字を確定文字として確定ようにした。ユーザからの文字入力の操作により受け付けられた文字が意図する文字であれば、その入力文字をそのまま確定文字として確定することができる。
本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
車載の用途に適用する構成に限らず、車載以外の用途に適用する構成でも良い。
本実施形態では、ユーザの脳活動を検出する技術としてＮＩＲＳの技術を用いたが、他の技術を用いても良い。
本実施形態では、脳活動検出部８の検出結果と挙動検出部９の検出結果とを併用したが、脳活動検出部８の検出結果のみを用い、交換候補文字を提示する必要の有無を判定したり、入力文字を交換候補文字と交換する必要の有無を判定したりする構成でも良い。
文字入力画面及び交換候補画面のレイアウトは、例示した以外のレイアウトでも良い。
車載の用途に適用する構成に限らず、車載以外の用途に適用する構成でも良い。
本実施形態では、ユーザの脳活動を検出する技術としてＮＩＲＳの技術を用いたが、他の技術を用いても良い。
本実施形態では、脳活動検出部８の検出結果と挙動検出部９の検出結果とを併用したが、脳活動検出部８の検出結果のみを用い、交換候補文字を提示する必要の有無を判定したり、入力文字を交換候補文字と交換する必要の有無を判定したりする構成でも良い。
文字入力画面及び交換候補画面のレイアウトは、例示した以外のレイアウトでも良い。
図面中、１は電子情報処理システム、６ａは第１の表示制御部、６ｂは提示必要判定部、６ｃは第２の表示制御部、６ｄは交換必要判定部、６ｅは第３の表示制御部、６ｆは文字確定部、８は脳活動検出部、９は挙動検出部、１０は音声検出部、１１は操作検出部、１２は視線方向検出部、１６は操作受付部、３２は文字表示領域、３４ｃ〜３４ｅは交換候補表示領域である。
Claims (10)
- ユーザからの文字入力の操作を受け付ける操作受付部（１６）と、
ユーザの脳活動を検出する脳活動検出部（８）と、
ユーザの視線方向を検出する視線方向検出部（１２）と、
ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として文字表示領域（３２）に表示させる第１の表示制御部（６ａ）と、
ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の前記脳活動検出部の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する提示必要判定部（６ｂ）と、
交換候補文字を提示する必要が有ると判定されると、複数の交換候補文字を交換候補表示領域（３４ｃ〜３４ｅ）に表示させる第２の表示制御部（６ｃ）と、
交換候補文字が表示された後の前記視線方向検出部の検出結果及び前記脳活動検出部の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する交換必要判定部（６ｄ）と、
交換候補文字のうちから交換対象文字が選択されると、その選択された交換対象文字を確定文字として確定する文字確定部（６ｆ）と、を備えた電子情報処理システム（１）。 - 入力文字を交換候補文字と交換する必要が有ると判定され、交換候補文字のうちから交換対象文字が選択されると、入力文字に代えて交換対象文字を前記文字表示領域に表示させる第３の表示制御部（６ｅ）を備え、
前記文字確定部は、前記文字表示領域に表示された交換対象文字を確定文字として確定する請求項１に記載の電子情報処理システム。 - 前記交換必要判定部は、ユーザの視線方向が交換候補文字のうち特定の文字に向けられ且つユーザの脳活動が不快でない状態が所定時間継続すると、入力文字を交換候補文字と交換する必要が有ると判定し、その特定の文字を交換対象文字として選択する請求項１又は２に記載の電子情報処理システム。
- ユーザの挙動を検出する挙動検出部（９）、ユーザが発話した音声を検出する音声検出部（１０）、ユーザの操作を検出する操作検出部（１１）のうち少なくとも何れかを備え、
前記提示必要判定部は、ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の前記脳活動検出部の検出結果に加え、前記挙動検出部の検出結果、前記音声検出部の検出結果、前記操作検出部の検出結果のうち少なくとも何れかを用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する請求項１から３の何れか一項に記載の電子情報処理システム。 - ユーザの挙動を検出する挙動検出部（９）、ユーザが発話した音声を検出する音声検出部（１０）、ユーザの操作を検出する操作検出部（１１）のうち少なくとも何れかを備え、
前記交換必要判定部は、交換候補文字が表示された後の前記視線方向検出部の検出結果及び前記脳活動検出部の検出結果に加え、前記挙動検出部の検出結果、前記音声検出部の検出結果、前記操作検出部の検出結果のうち少なくとも何れかを用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する請求項１から３の何れか一項に記載の電子情報処理システム。 - 前記第２の表示制御部は、入力文字が前記文字表示領域に表示されている状態で交換候補文字を前記交換候補表示領域に表示させる請求項１から５の何れか一項に記載の電子情報処理システム。
- 前記第２の表示制御部は、複数の交換候補文字を前記交換候補表示領域に同時に表示させる請求項１から６の何れか一項に記載の電子情報処理システム。
- 前記第２の表示制御部は、複数の交換候補文字を前記交換候補表示領域にスクロール表示させる請求項７に記載の電子情報処理システム。
- 前記文字確定部は、交換候補文字を提示する必要が無いと判定されると、前記文字表示領域に表示されている入力文字を確定文字として確定する請求項１から８の何れか一項に記載の電子情報処理システム。
- ユーザからの文字入力の操作を受け付ける操作受付部（１６）と、ユーザの脳活動を検出する脳活動検出部（８）と、ユーザの視線方向を検出する視線方向検出部（１２）と、を備えた電子情報処理システム（１）の制御部（６）に、
ユーザからの文字入力の操作を受け付ける操作受付手順と、
ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として文字表示領域（３２）に表示させる第１の表示制御手順と、
ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の前記脳活動検出部の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する提示必要判定手順と、
交換候補文字を提示する必要が有ると判定すると、複数の交換候補文字を交換候補表示領域（３４ｃ〜３４ｅ）に表示させる第２の表示制御手順と、
交換候補文字が表示された後の前記視線方向検出部の検出結果及び前記脳活動検出部の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する交換必要判定手順と、
交換候補文字のうちから交換対象文字を選択すると、その選択した交換対象文字を確定文字として確定する文字確定手順と、を実行させるコンピュータプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017006728A JP6790856B2 (ja) | 2017-01-18 | 2017-01-18 | 電子情報処理システム及びコンピュータプログラム |
| PCT/JP2017/038718 WO2018135064A1 (ja) | 2017-01-18 | 2017-10-26 | 電子情報処理システム及びコンピュータプログラム |
| US16/511,087 US20190339772A1 (en) | 2017-01-18 | 2019-07-15 | Electronic information process system and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017006728A JP6790856B2 (ja) | 2017-01-18 | 2017-01-18 | 電子情報処理システム及びコンピュータプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018116468A JP2018116468A (ja) | 2018-07-26 |
| JP2018116468A5 JP2018116468A5 (ja) | 2019-01-24 |
| JP6790856B2 true JP6790856B2 (ja) | 2020-11-25 |
Family
ID=62908047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017006728A Active JP6790856B2 (ja) | 2017-01-18 | 2017-01-18 | 電子情報処理システム及びコンピュータプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190339772A1 (ja) |
| JP (1) | JP6790856B2 (ja) |
| WO (1) | WO2018135064A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7308430B2 (ja) * | 2018-03-15 | 2023-07-14 | パナソニックＩｐマネジメント株式会社 | ユーザの心理状態を推定するためのシステム、記録媒体、および方法 |
| WO2020105349A1 (ja) * | 2018-11-20 | 2020-05-28 | ソニー株式会社 | 情報処理装置および情報処理方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2899194B2 (ja) * | 1993-06-30 | 1999-06-02 | キヤノン株式会社 | 意思伝達支援装置及び意思伝達支援方法 |
| US7013258B1 (en) * | 2001-03-07 | 2006-03-14 | Lenovo (Singapore) Pte. Ltd. | System and method for accelerating Chinese text input |
| JP3949469B2 (ja) * | 2002-02-22 | 2007-07-25 | 三菱電機株式会社 | 脳波信号を用いた制御装置及び制御方法 |
| CN100387192C (zh) * | 2004-07-02 | 2008-05-14 | 松下电器产业株式会社 | 生体信号利用机器及其控制方法 |
| JP5176112B2 (ja) * | 2008-07-03 | 2013-04-03 | 財団法人ヒューマンサイエンス振興財団 | 制御システム及び制御方法 |
| JP2010019708A (ja) * | 2008-07-11 | 2010-01-28 | Hitachi Ltd | 車載装置 |
| JP5544620B2 (ja) * | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
| JP5657973B2 (ja) * | 2010-09-24 | 2015-01-21 | Ｎｅｃエンベデッドプロダクツ株式会社 | 情報処理装置、選択文字表示方法及びプログラム |
| JP2015219762A (ja) * | 2014-05-19 | 2015-12-07 | 国立大学法人電気通信大学 | 文字入力装置及び文字入力システム |
-
2017
- 2017-01-18 JP JP2017006728A patent/JP6790856B2/ja active Active
- 2017-10-26 WO PCT/JP2017/038718 patent/WO2018135064A1/ja active Application Filing
-
2019
- 2019-07-15 US US16/511,087 patent/US20190339772A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20190339772A1 (en) | 2019-11-07 |
| WO2018135064A1 (ja) | 2018-07-26 |
| JP2018116468A (ja) | 2018-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107791893B (zh) | 车辆座椅 | |
| US20190295096A1 (en) | Smart watch and operating method using the same | |
| US11237635B2 (en) | Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio | |
| US20070074114A1 (en) | Automated dialogue interface | |
| JP2004310034A (ja) | 対話エージェントシステム | |
| KR20060052837A (ko) | 정보처리단말 및 통신시스템 | |
| JP6790856B2 (ja) | 電子情報処理システム及びコンピュータプログラム | |
| JPH10260773A (ja) | 情報入力方法及びその装置 | |
| KR102187837B1 (ko) | 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템 | |
| KR20200029716A (ko) | 차량 및 차량의 제어방법 | |
| US10983808B2 (en) | Method and apparatus for providing emotion-adaptive user interface | |
| CN113614713A (zh) | 一种人机交互方法及装置、设备及车辆 | |
| JP6485345B2 (ja) | 電子情報処理システム及びコンピュータプログラム | |
| JP7021488B2 (ja) | 情報処理装置、及びプログラム | |
| EP3435277A1 (en) | Body information analysis apparatus capable of indicating blush-areas | |
| JP7443908B2 (ja) | 制御装置、情報処理システム、および制御方法 | |
| CN114882999A (zh) | 生理状态检测方法、装置、设备及存储介质 | |
| US10915768B2 (en) | Vehicle and method of controlling the same | |
| JP7322374B2 (ja) | ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム | |
| JP2018042811A (ja) | 健康管理システム及びそのプログラム | |
| Donegan et al. | D3. 1 User requirements report with observations of difficulties users are experiencing | |
| US20240134505A1 (en) | System and method for multi modal input and editing on a human machine interface | |
| JP2018183248A (ja) | 眠気判定装置 | |
| JP7024136B1 (ja) | 分析システム | |
| US20240134516A1 (en) | System and method for coarse and fine selection keyboard user interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181210 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201019 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6790856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |