JP6190909B2 - 携帯端末装置及び情報処理システム - Google Patents
携帯端末装置及び情報処理システム Download PDFInfo
- Publication number
- JP6190909B2 JP6190909B2 JP2016046542A JP2016046542A JP6190909B2 JP 6190909 B2 JP6190909 B2 JP 6190909B2 JP 2016046542 A JP2016046542 A JP 2016046542A JP 2016046542 A JP2016046542 A JP 2016046542A JP 6190909 B2 JP6190909 B2 JP 6190909B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- operator
- lip
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims description 201
- 238000004891 communication Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 31
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 22
- 238000007476 Maximum Likelihood Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
口唇部分が撮影範囲から外れていて入力された映像から口唇部分の検出ができず、口唇動きデータ取得処理S801において口唇動きデータの取得に失敗した場合には、分岐処理802においてNoと判断し、口唇検出フラグ及び口唇動き認識フラグをNGに設定(S803、S809)し、処理を終了する。一方、入力された映像から口唇動きデータの取得に成功した場合には、分岐処理S802においてYesと判断し、口唇検出フラグをOKに設定(S804)する。次に、この取得した口唇動きデータとメモリ領域104bに記憶されている操作選択肢に対応する口唇動き認識データとの尤度を計算する(S805)。分岐処理S806では尤度計算の結果の最大確率 (最大尤度)が所定の値(ここでは一例として0.6とした)以上の場合(Yes)には、口唇動き認識フラグをOKとし(S807)、最大確率を与える操作選択肢を認識結果として決定し(S808)、処理を終了する。一方、分岐処理S806でNoと判断した場合には口唇動き認識フラグをNGとし(S809)、処理を終了する。
更新後の口唇動き認識データYr(t)‘は次の口唇動き認識における口唇動き認識データYr(t)として用いられる。
ここで、αは口唇動き認識データが取得した口唇動きデータに収束する速さを決定する係数であり、例えば、α=1とすると、
(数2) Yr(t)‘=Yd(t)
となり、取得した口唇動きデータYd(t)が次の口唇動き認識における口唇動き認識データとなる。α=0.5とすると、
(数3) Yr(t)‘=0.5・(Yd(t)+Yr(t))
となり、取得した口唇動きデータYd(t)と更新前の口唇動き認識データYr(t)の平均が次の口唇動き認識における口唇動き認識データとなる。αの範囲は、
(数4) 0<α<1
が選ばれる。αが大きいほど口唇動き認識データが取得した口唇動きデータに早く収束する。図11(c)はα=0.5の場合を示している。
以上の処理により、更新後の口唇動き認識データXr(t)’、Yr(t)’は更新前よりも実際に取得した口唇動きに近いデータに更新され、次の口唇動き認識において口唇動き認識データXr(t)、Yr(t)として用いられる。これを繰り返すことで、より操作者の口唇動きに合わせた口唇動き認識データXr(t)、Yr(t)を得ることができ、口唇動き認識の精度を向上することができる。
まず入力された口唇の動きの映像から、口唇の動きを検出し、口唇動きデータを取得する(S1703)。口唇動きデータ取得処理S1703において口唇が撮影範囲から外れていて口唇検出ができず、口唇動きデータの取得に失敗した場合には、分岐処理1704においてNoと判断し、口唇検出フラグ及び口唇動き認識フラグをNGに設定(S1705、S1711)し、処理を終了する。一方、口唇動きデータ取得処理S1703において入力された映像から口唇動きデータの取得に成功した場合には、分岐処理S1704においてYesと判断し、口唇検出フラグをOKに設定する(S1706)。次に、この入力映像に対応した口唇動きデータと選択のために付加した文字(図18の例では「あ」「い」「う」)に対応した口唇動き認識データとの尤度を計算する(S1707)。分岐処理S1708では尤度計算の結果の最大確率 (最大尤度)が所定の値(ここでは一例として0.6とした)以上の場合(Yes)には、口唇動き認識フラグをOKとし(S1709)、最大確率を与える選択肢を操作対象として決定し(S1710)、処理を終了する。
一方、分岐処理S1708でNoと判断した場合には口唇動き認識フラグをNGとし(S1711)、処理を終了する。
図21において、まず入力された口唇の動きの映像から、音節数Nを決定する(S2101)。次に、音節母音並び変換処理により各音節に対応する口唇の形状がどの母音に対応するかを判別し、N個の音節に対応した母音の並びに変換する(S2102)。この入力映像に対応した母音の並びとメモリ104bに記憶されている操作選択肢に対応する母音の並びで表現された口唇動き認識データとの尤度を計算する(S2103)。
分岐処理2104では尤度計算の結果の最大確率 (最大尤度)が所定の値(ここでは一例として0.6とした)以上の場合(Yes)には、認識フラグをOKとし(S2105)、最大確率を与える操作選択肢を認識結果として決定し(S2106)、処理を終了する。一方、分岐処理S2104でNoと判定した場合には認識フラグをNGとし(S2107)、処理を終了する。
また、操作決定処理S201に限らず、操作対象決定処理S203についても同様に操作者に対応した口唇動き認識データ更新処理を適用してもよい。
Claims (4)
- 操作者の映像を撮影する撮像部と、
前記撮像部が取得した映像における操作者の動きに関する情報に基づいて実行する操作を認識する動き認識部と、
操作者の音声を取り込むマイクと、
前記マイクにより取り込んだ音声に基づいて実行する操作を認識する音声認識部と、
前記撮像部が取得した映像又は前記マイクにより取り込んだ音声により操作者を認識する操作者認識部と、
外部サーバとの間でデータの送受信を行う通信部と、
制御部と、
を備え、
前記制御部は、音声認識による操作を行う過程において、
前記撮像部による映像の取得又は前記マイクによる音声の取り込みがあると、前記操作者認識部より、前記取得した映像又は前記取り込んだ音声のいずれか一方に基づいて、操作者が予め登録された特定の操作者であるか否かを認識するように制御し、
前記操作者認識部により操作者が予め登録された特定の操作者であると認識されると、前記撮像部により取得された映像と前記マイクにより取り込まれた音声のデータを前記通信部により外部サーバに対して送信するように制御し、
前記通信部が前記送信したデータに対し前記外部サーバから前記送信された映像における口唇の横の大きさと口唇の縦の大きさの時間的な変化に基づいて前記外部サーバにより認識された結果に関する情報を受信すると、前記受信した情報に基づく操作を実行するように制御することを特徴とする携帯端末装置。 - 請求項1記載の携帯端末装置であって、
さらに、音声を出力するスピーカーを備え、
前記制御部は、前記スピーカーからの出力をオフとするマナーモード設定時であっても前記外部サーバから受信した情報に基づく操作に関する音声を前記スピーカーから出力するように制御することを特徴とする携帯端末装置。 - 携帯端末装置と音声認識及び動き認識を行うサーバを備える情報処理システムであって、
前記携帯端末装置は、
操作者の映像を撮影する撮像部と、
操作者の音声を取り込むマイクと、
前記撮像部が取得した映像又は前記マイクにより取り込んだ音声により操作者を認識する操作者認識部と、
前記サーバとの間でデータの送受信を行う通信部と、
制御部と、
を備え、
前記制御部は、音声認識による操作を行う過程において、
前記撮像部による映像の取得又は前記マイクによる音声の取り込みがあると、前記操作者認識部より、前記取得した映像又は前記取り込んだ音声のいずれか一方に基づいて、操作者が予め登録された特定の操作者であるか否かを認識するように制御し、
前記操作者認識部により操作者が予め登録された特定の操作者であると認識されると、前記撮像部により取得された映像と前記マイクにより取り込まれた音声のデータを前記通信部により前記サーバに対して送信するように制御し、
前記通信部が前記送信したデータに対し前記サーバから前記送信された映像における口唇の横の大きさと口唇の縦の大きさの時間的な変化に基づいて前記サーバにより認識された結果に関する情報を受信すると、前記受信した情報に基づく操作を実行するように制御し、
前記サーバは、
前記携帯端末装置から前記映像と前記音声のデータを受信し、前記受信された映像における口唇の横の大きさと口唇の縦の大きさの時間的な変化に基づいて認識された結果に関する情報を送信するサーバ通信部と、
前記サーバ通信部が受信した前記映像における操作者の口唇の横の大きさと口唇の縦の大きさの時間的な変化に関する情報に基づいて実行する操作を認識する動き認識部と、
前記サーバ通信部が受信した前記音声に基づいて実行する操作を認識する音声認識部と、
を備えることを特徴とする情報処理システム。 - 請求項3記載の情報処理システムにおいて、
前記携帯端末装置は、さらに、音声を出力するスピーカーを備え、
前記制御部は、前記スピーカーからの出力をオフとするマナーモード設定時であっても前記サーバから受信した情報に基づく操作に関する音声を前記スピーカーから出力するように制御することを特徴とする情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046542A JP6190909B2 (ja) | 2016-03-10 | 2016-03-10 | 携帯端末装置及び情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046542A JP6190909B2 (ja) | 2016-03-10 | 2016-03-10 | 携帯端末装置及び情報処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013000297A Division JP5902632B2 (ja) | 2013-01-07 | 2013-01-07 | 携帯端末装置及び情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016129069A JP2016129069A (ja) | 2016-07-14 |
JP6190909B2 true JP6190909B2 (ja) | 2017-08-30 |
Family
ID=56384422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016046542A Active JP6190909B2 (ja) | 2016-03-10 | 2016-03-10 | 携帯端末装置及び情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6190909B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001358828A (ja) * | 2000-06-10 | 2001-12-26 | Masahiko Okuno | モバイル機器、モバイル機器の指紋認証方法及びモバイル機器の指紋認証プログラムを記録した記録媒体 |
JP2002368870A (ja) * | 2001-06-04 | 2002-12-20 | Nec Corp | 移動通信端末装置 |
JP2004246095A (ja) * | 2003-02-14 | 2004-09-02 | Nec Saitama Ltd | 携帯電話装置及び遠隔制御方法 |
JP2005184485A (ja) * | 2003-12-19 | 2005-07-07 | Casio Comput Co Ltd | 撮像装置、撮像装置の動作制御方法及びプログラム |
JP4847022B2 (ja) * | 2005-01-28 | 2011-12-28 | 京セラ株式会社 | 発声内容認識装置 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
JP2010026731A (ja) * | 2008-07-17 | 2010-02-04 | Nec Saitama Ltd | 文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末 |
JP5341678B2 (ja) * | 2009-08-27 | 2013-11-13 | 京セラ株式会社 | 通信システム |
-
2016
- 2016-03-10 JP JP2016046542A patent/JP6190909B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016129069A (ja) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5902632B2 (ja) | 携帯端末装置及び情報処理システム | |
CN107644646B (zh) | 语音处理方法、装置以及用于语音处理的装置 | |
CN102204225B (zh) | 传送振动信息的移动通信终端及其方法 | |
JP2022532313A (ja) | 分散システムにおいてユーザの好みに最適化するためのカスタマイズされた出力 | |
JP6110503B2 (ja) | テレビ通話装置 | |
CN104484037A (zh) | 通过可穿戴设备进行智能控制的方法及该可穿戴设备 | |
JP2012521705A (ja) | 音声制御画像編集 | |
CN107479854A (zh) | 一种投影仪及投影方法 | |
CN105302335B (zh) | 词汇推荐方法和装置及计算机可读存储介质 | |
KR20170044386A (ko) | 전자기기 및 전자기기의 제어방법 | |
WO2019101099A1 (zh) | 视频节目识别方法、设备、终端、系统和存储介质 | |
JP6190909B2 (ja) | 携帯端末装置及び情報処理システム | |
US9343065B2 (en) | System and method for processing a keyword identifier | |
JP2019139572A (ja) | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム | |
JP2020052511A (ja) | 要約生成装置、要約生成方法、及びプログラム | |
KR20110066628A (ko) | 독순술을 이용한 휴대전화용 문자 입력 장치 및 방법 | |
KR102527585B1 (ko) | 이동 단말기 및 그 제어방법 | |
CN111091807A (zh) | 语音合成方法、装置、计算机设备及存储介质 | |
KR102315211B1 (ko) | 단말기 및 그것의 동작 방법 | |
US20240004921A1 (en) | Information processing system, information processing method, and non-transitory recording medium | |
US20230280961A1 (en) | Device management system, information processing system, information processing device, device management method, and non-transitory recording medium | |
JP2017152913A (ja) | 通信システム、通信端末、サーバ装置、および情報処理方法 | |
KR101364844B1 (ko) | 화상통화기능을 갖는 이동통신단말기 및 그 제어방법 | |
KR102446769B1 (ko) | 전자 장치 및 그 제어 방법 | |
JP2023120068A (ja) | 音声処理システム、デバイス、音声処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6190909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |