JP6562542B2 - 文字列入力装置 - Google Patents
文字列入力装置 Download PDFInfo
- Publication number
- JP6562542B2 JP6562542B2 JP2015108708A JP2015108708A JP6562542B2 JP 6562542 B2 JP6562542 B2 JP 6562542B2 JP 2015108708 A JP2015108708 A JP 2015108708A JP 2015108708 A JP2015108708 A JP 2015108708A JP 6562542 B2 JP6562542 B2 JP 6562542B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- vowel
- mouth shape
- component
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Description
一方、科学技術の発達により、日常生活で用いられている文字を書く感覚で文章を入力可能な手書き文字認識技術に基づくインタフェースや、人間にとって最も自然なコミュニケーション手段である音声を利用して文字を入力する音声認識用のインタフェースが、近年、利用可能となっている。
口形は、発話時に自然に変化するため、音声認識と同様に意図する言葉を自然に入力でき、更に、音声を発する必要がないことから、音声認識の課題を解決できるという利点がある。
ここで、文字を発するときの口形は、その文字の母音成分(「カ」の母音成分は「ア」)を発するときと同じになるという性質がある。従って、「カ」と「ア」は同じ口形となり、例えば、「ありがとう」を発音する口形は、「アイアオウ」と発音した口形とみなすことができる。
また、特許文献4の装置は、口形から口形に対応する文字の母音成分を検出した後、利用者の頭部の動きを検知して、入力したい子音の文字を確定する。そのため、原則として、1文字ごとに、頭部を動かす必要があり、利用者の負担が大きい。
本発明は、かかる事情に鑑みてなされるもので、口形を基に文字の母音成分を検出し、利用者の負担を抑制して文字列を入力する文字列入力装置を提供することを目的とする。
図1に示すように、本発明の一実施の形態に係る文字列入力装置10は、利用者Pの口形を撮像する撮像手段11と、撮像された図2に示す画像23を基に口形に対応する母音成分を求め、被検出母音成分として導出する母音検知手段12と、文字列データベース13から、母音成分が被検出母音成分である文字からはじまる文字列を選出する文字列選出手段14と、選出された文字列について、順次、文字列の一(一つ)を入力可能な項目に指定するオートスキャン手段15と、入力可能な項目に指定されている文字列を、入力情報として確定する確定手段16とを備えて、文字列を入力する。以下、これらについて詳細に説明する。
コンピュータ17に接続された各種ハードウェアは、カメラからなる撮像手段11、入力デバイスである入力手段18、キーボード19、ディスプレイからなる表示手段20、及び、プリンタ(印刷機器)からなる出力手段21である。
本実施の形態では、入力手段18に、操作釦が1つの入力デバイスを採用しているが、外部から操作が可能な入力デバイスであれば、複数の操作釦を備える入力デバイスであってもよい。また、キーボードの1つの操作釦を入力手段として扱ってもよい。
母音検知手段12、文字列選出手段14、オートスキャン手段15及び確定手段16は、コンピュータ17のハードディスク内に記憶されたソフトウェアである。
文字列入力装置10は、口元を撮像手段11で撮像されている利用者Pが、表示手段20の画面を見ながら、入力手段18及びキーボード19を操作することを想定して、設計されている。そのため、撮像手段11は、表示手段20の画面を見ている利用者Pの口元(本実施の形態では、口元を含む顔全体)を撮像できるように配置されている。
撮像手段11によって撮像された画像23には、図2に示すように、利用者Pの口唇領域24の他、利用者Pの眼、眉、首等の口唇領域24以外の部位が含まれている。
領域抽出部22は、撮像手段11によって撮像された画像23を取得し、画像23における利用者Pの口唇領域24を抽出する。本実施の形態では、領域抽出部22が、2段階の処理を経て、口唇領域24の抽出を行う。
なお、本実施の形態では、2つの特徴量を導出するが、これに限定されない。
母音判別部26は、第1、第2の特徴量をそれぞれ、口形マップ28上の横軸の座標及び縦軸の座標として、口形マップ28における口唇領域24の座標(位置)を決定し、口形マップ28上に口唇領域24の座標をプロットする。
図5に示すように、利用者Pによってログインされた文字列入力装置10が待機状態にあるときに(ステップS1)、撮像手段11が利用者Pの顔を撮像することによって(ステップS2)、領域抽出部22は、撮像された画像23を撮像手段11から取得し(ステップS3)、画像23から口唇領域24を抽出する(ステップS4)。抽出された口唇領域24は、図2に示すように、表示手段20の画面において、画像23の表示領域外に表示される。そして、特徴量計測部25は、図5に示すように、抽出された口唇領域24を基に口唇領域24の第1、第2の特徴量を計測する(ステップS5)。
この状態で、利用者Pが、キーボード19又は入力手段18からの操作(キー入力)により、自らの口形に対応する母音成分を入力すると(ステップS6)、口唇領域24の座標が、口形マップ28において、入力された母音成分に対応する領域内に配されるように、口形マップ28上の各母音成分に対応する6つの領域それぞれの形状が調整される(ステップS7)。
キーボード19又は入力手段18からの操作により、口形マップ28の各領域の調整が完了したことが検出されると(ステップS8)、その口形マップ28は、利用者Pの識別情報と共に、口形マップデータベース27に格納される(ステップS9)。
図6に示すように、利用者Pによってログインされた文字列入力装置10が待機状態の際に(ステップS1’)、撮像手段11が利用者Pの顔を撮像することによって(ステップS2’)、領域抽出部22は、撮像された画像23を撮像手段11から取得し(ステップS3’)、画像23から口唇領域24を抽出する(ステップS4’)。そして、特徴量計測部25は、抽出された口唇領域24の第1、第2の特徴量(即ち、画像23にとらえられている口形の特徴量)を導出する(ステップS5’)。
そして、表示手段20は、母音判別部26が求めた母音成分を、図2に示す母音表示部29に表示する(ステップS7’)。また、母音判別部26は、ステップS6’で決定した口唇領域24の座標を、口形マップ28上にプロットし、表示手段20は、図2に示すように、口唇領域24の座標がプロットされた口形マップ28も表示する。
なお、口形マップ28上の口唇領域24の座標が、全て、同一の母音成分の領域内に位置するか否かのみを、第1、第2の特徴量が、所定範囲内に収まっているか否かの判定基準にしてもよい。
一方、母音判別部26が、所定時間内に撮像された複数の画像23それぞれに対応する第1、第2の特徴量が、所定範囲内に収まっていないと判定した際には、ステップS2’からステップS8’までの処理が再度行われる。ここで、撮像手段11による間欠的な撮像を行っている時間が所定時間に達するまで、被検出母音成分は確定されず、ステップS2’からステップS8’までの処理が繰り返される。
利用者Pは、表示手段20によって表示される口唇領域24を視認することによって、口唇領域24の抽出が適切か否かを確認でき、口唇領域24の抽出が不適切であると判断した場合、例えば、撮像手段11に対する顔の向きを調整可能である。そして、利用者Pは、表示手段20に表示される新たに求められた母音成分を視認することによって、自らが意図した母音成分が求められているか否かを判断でき、意図していない母音成分が求められている場合、例えば、自らの口形を変えることで、意図している母音成分が求められるようにすることが可能である。
文字列データベース13には、利用者Pが、利用者Pごとに自らが入力したい複数の文字列を、予め登録することができる。本実施の形態において、文字列は、1つの単語や、複数の単語からなる文章を意味する。
ステップS9’で被検出母音成分を確定した後、図6に示すように、文字列選出手段14は、文字列データベース13から、母音成分が被検出母音成分の文字からはじまる文字列を、入力候補の文字列として選出する(ステップS10’)。
ここで、文字列データベース13においては、各文字列が、利用者Pの識別情報を付与された状態で記憶され、文字列データベース13から入力候補の文字列として選出する文字列を、利用者Pごとに定義している。そのため、利用者Pは、自らが入力する意図のない文字列が選出されるのを回避可能である。
そして、表示手段20は、図7に示すように、文字列選出手段14によって選出された入力候補の文字列を、図2に示す文字列表示部30に表示する(ステップS11’)。
表示手段20は、入力可能な項目に指定されている入力候補の文字列を、文字列表示部30において、強調表示する(即ち、入力可能な項目を表示する)。従って、利用者Pは、入力可能な項目となっている入力候補の文字列を視認可能である。
図7に示すように、モード切替項目34が強調表示されている際に(即ち、モード切替項目34が入力可能な項目に指定されている状態で)、利用者Pによって入力手段18の釦が押されることによって(ステップS18’)、ステップS2’に戻り、母音検知手段12は、新たに撮像された画像23を基に、図6に示すように、ステップS3’からステップS9’を経て、新たな被検出母音成分を導出する(1つ目の被検出母音成分が既に導出されている際には、2つ目の被検出母音成分が導出され、N個目の被検出母音成分が既に導出されている際には、N+1個目の被検出母音成分が導出される)。
図7に示すように、削除用項目32が強調表示されている際に、入力手段18の釦が押されると(ステップS19’)、既に入力文字列情報として確定していた入力候補の文字列が削除され(ステップS20’)、ステップS2’に戻る。
実験では、文字列データベースに、全国手話検定試験5級の出題対象である400個の単語を文字列として登録した。母音判別部は、2秒以内に撮像された複数の画像それぞれに対応する第1、第2の特徴量が、所定範囲内に収まっていることを条件に、被検出母音成分を確定するように設定され、オートスキャン手段は、1秒ごとに入力可能な項目を、順次、切り替えるように設定された。
図8のグラフより、入力速度の平均値は、1セット目で5.6(KPM)であったものが、3セット目で6.8(KPM)となり、文章の入力を重ねることにより、入力速度が向上することが確認された。なお、オートスキャン手段による入力可能な項目を切り替える時間は、被験者に応じて調整可能であり、その時間を短くすることで、入力時間を短縮できることが考えられる。
例えば、撮像手段は、被検出母音成分が確定されるまで、間欠的に撮像を行う必要はなく、1つの画像を基に母音成分を求めて、被検出母音成分を確定するようにしてもよい。
また、モード切替項目を、表示手段に表示させる代わりに、母音検知手段に新たな被検出母音成分の導出を開始させる状態にするための釦を、入力手段に設けてもよい。
そして、表示手段が、文字列選出手段によって選出された文字列の数を、必ずしも表示する必要はない。
更に、利用者ごとに各母音成分に対応する領域が調整された口形マップを作成する機能や、文字列データベースから選出される文字列を利用者ごとに定める機能も、必ずしも必要ではない。
また、表示手段は、入力可能な項目に指定されている入力候補の文字列を、他の入力候補の文字列とは、異なる色で表示してもよいし、入力可能な項目に指定されている入力候補の文字列のみを表示するようにしてもよい。
Claims (6)
- 利用者の口形を撮像する撮像手段と、
撮像された画像を基に求めた前記口形に対応する母音成分を、被検出母音成分として導出する母音検知手段と、
複数の文字列が予め登録された文字列データベースから、母音成分が前記被検出母音成分である文字からはじまる前記文字列を選出する文字列選出手段と、
選出された前記文字列について、順次、該文字列の一を入力可能な項目に指定するオートスキャン手段と、
前記入力可能な項目を表示する表示手段と、
外部から操作される入力手段と、
前記入力可能な項目に指定されている前記文字列を、外部から前記入力手段への操作によって、入力情報として確定する確定手段とを備え、
前記撮像手段は、前記被検出母音成分が導出されるまで、間欠的に撮像を行い、前記母音検知手段は、所定時間内に撮像された複数の前記画像からそれぞれ抽出され、前記口形を表す輪郭によって囲まれた口唇領域が全て、各母音成分に対応する領域がマッピングされた口形マップの一の前記領域内に位置していることを条件に、前記口形に対応する母音成分を前記被検出母音成分とすることを特徴とする文字列入力装置。 - 請求項1記載の文字列入力装置において、前記母音検知手段は、間欠的に撮像が行われる度に、新たに撮像された前記画像を基に前記口形に対応する母音成分を求め、前記表示手段は、該口形に対応する母音成分が求められる度に、新たに求められた該口形に対応する母音成分を表示することを特徴とする文字列入力装置。
- 請求項1又は2記載の文字列入力装置において、前記オートスキャン手段は、前記母音検知手段に新たな前記被検出母音成分の導出を開始させる状態にするモード切替項目も、順次、前記入力可能な項目に指定し、1つ目の前記被検出母音成分を導出した前記母音検知手段は、前記モード切替項目が前記入力可能な項目に指定されている状態で、外部から前記入力手段に操作がなされることによって、2つ目の前記被検出母音成分を導出し、前記文字列選出手段は、1番目及び2番目の文字の母音成分がそれぞれ1つ目及び2つ目に導出された前記被検出母音成分である前記文字列を選出することを特徴とする文字列入力装置。
- 請求項1〜3のいずれか1項に記載の文字列入力装置において、前記表示手段は、前記文字列選出手段が選出した前記文字列の合計数も表示することを特徴とする文字列入力装置。
- 請求項1〜4のいずれか1項に記載の文字列入力装置において、前記文字列データベースから選出される前記文字列は、利用者ごとに定められることを特徴とする文字列入力装置。
- 請求項1〜5のいずれか1項に記載の文字列入力装置において、前記口形マップを複数備え、前記各口形マップは、各母音成分に対応する前記領域が、利用者ごとに調整されることを特徴とする文字列入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015108708A JP6562542B2 (ja) | 2015-05-28 | 2015-05-28 | 文字列入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015108708A JP6562542B2 (ja) | 2015-05-28 | 2015-05-28 | 文字列入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016224608A JP2016224608A (ja) | 2016-12-28 |
JP6562542B2 true JP6562542B2 (ja) | 2019-08-21 |
Family
ID=57746672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108708A Active JP6562542B2 (ja) | 2015-05-28 | 2015-05-28 | 文字列入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6562542B2 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115331A (ja) * | 1998-09-30 | 2000-04-21 | Toshiba Corp | 電話機 |
JP2001325252A (ja) * | 2000-05-12 | 2001-11-22 | Sony Corp | 携帯端末及びその情報入力方法、辞書検索装置及び方法、媒体 |
JP2002117024A (ja) * | 2000-10-11 | 2002-04-19 | Allied Brains Inc | 文章入力方法 |
JP2005309952A (ja) * | 2004-04-23 | 2005-11-04 | Advanced Telecommunication Research Institute International | テキスト入力装置 |
JP2009157748A (ja) * | 2007-12-27 | 2009-07-16 | Nec Corp | 入力装置、携帯端末装置およびプログラム |
JP2009169464A (ja) * | 2008-01-10 | 2009-07-30 | Tottori Univ | 文字入力方法 |
JP2011186994A (ja) * | 2010-03-11 | 2011-09-22 | Fujitsu Ltd | 文字入力装置および文字入力方法 |
-
2015
- 2015-05-28 JP JP2015108708A patent/JP6562542B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016224608A (ja) | 2016-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10621968B2 (en) | Method and apparatus to synthesize voice based on facial structures | |
KR101588520B1 (ko) | 기억 매체, 정보 처리 장치 및 문자 인식 방법 | |
EP2793167B1 (en) | Expression estimation device, control method, control program, and recording medium | |
US10909308B2 (en) | Information processing apparatus, information processing method, and program | |
JP5897725B2 (ja) | ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体 | |
JP5294818B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2003162687A (ja) | 手書き文字入力装置、手書き文字認識プログラム | |
JP2014229091A (ja) | 文字入力用のプログラム | |
KR20210061523A (ko) | 필기 입력을 텍스트로 변환하는 전자 장치 및 그 동작 방법 | |
JP5846552B2 (ja) | 手話認識方法及びその装置 | |
US9880630B2 (en) | User interface device, user interface method, program, and computer-readable information storage medium | |
KR20150045335A (ko) | 수화 동작을 인식하여 문자로 변환하는 방법 및 그 장치 | |
US10228905B2 (en) | Pointing support apparatus and pointing support method | |
KR20190121593A (ko) | 수화 인식 시스템 | |
JP6562542B2 (ja) | 文字列入力装置 | |
JP2016105248A (ja) | 言語触覚変換装置 | |
CN104635948B (zh) | 一种输入方法与装置 | |
US20210165540A1 (en) | Information processing device, information processing method, and program | |
KR20190133361A (ko) | 사용자 영상을 기반으로 하는 정보 입력 장치, 방법, 시스템 및 컴퓨터 판독 가능한 저장 매체 | |
JP4646512B2 (ja) | 電子機器および電子辞書装置 | |
JP2009169464A (ja) | 文字入力方法 | |
WO2018054127A1 (zh) | 一种手写输入方法及装置 | |
JP2008287340A (ja) | 発話内容識別装置及び個人識別装置 | |
JP2005018442A (ja) | 表示処理装置、表示処理方法、表示処理プログラム、および記録媒体 | |
JP2015179399A (ja) | テキスト生成装置、テキスト生成プログラム及びテキスト生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6562542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |