JPWO2018079379A1 - 通信端末装置、プログラム及び情報処理方法 - Google Patents

通信端末装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
JPWO2018079379A1
JPWO2018079379A1 JP2018547601A JP2018547601A JPWO2018079379A1 JP WO2018079379 A1 JPWO2018079379 A1 JP WO2018079379A1 JP 2018547601 A JP2018547601 A JP 2018547601A JP 2018547601 A JP2018547601 A JP 2018547601A JP WO2018079379 A1 JPWO2018079379 A1 JP WO2018079379A1
Authority
JP
Japan
Prior art keywords
call
communication terminal
user
terminal device
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018547601A
Other languages
English (en)
Other versions
JP6613382B2 (ja
Inventor
哲 川村
哲 川村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2018079379A1 publication Critical patent/JPWO2018079379A1/ja
Application granted granted Critical
Publication of JP6613382B2 publication Critical patent/JP6613382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

通信端末装置は、通話中に入力された音声を示す音声データを、メモリに記録し(S2)、通話中にユーザの頭部の近接が検知されなくなった場合には(S3,S4;YES)、メモリに記録された音声データに基づいて、頭部の近接が検知されなくなった時点から所定時間前以降に入力された音声を認識する(S5)。通信端末装置は、所定のキーワードが認識され(S6;YES)、且つユーザの頭部の近接が検知されていない状態のままである場合には(S7、S8;YES)、通話を終了させる終話制御を行う(S9)。

Description

本発明は、通信端末装置の終話に関する。
ユーザによる終話操作なしに終話する技術が、特許文献1に記載されている。特許文献1には、携帯端末が、「さようなら」とか「失礼します」といったキーワードの発話を認識すると終話することが記載されている。特許文献2には、通話時の端末の制御を音声命令によって行うこと、また、音声命令を認識するための音声認識機能を必要な期間のみに作動させることが記載されている。
特開2002−325279号公報 特許5481058号公報
特許文献1の携帯端末は、通話の開始時に音声認識機能を作動させ、通話中は音声認識を継続して行う。このため、携帯端末の消費電力量が増大しやすい。特許文献2に記載の技術では、ユーザは、音声命令を行うときにボタンやタッチパネルの操作を行って、音声認識機能の作動を明示的に指示しなければない。このため、ユーザにとっては、音声命令を行うのが煩わしい場合がある。
これに対し、本発明は、ユーザの音声の認識に起因する消費電力量の増大を抑えつつ、ユーザが終話時にとる自然な動作に応じて終話することを目的とする。
上述した課題を解決するため、本発明の通信端末装置は、通話のための通信を行う通信端末装置であって、前記通信端末装置にユーザの頭部が近接したことを検知する近接検知部と、前記ユーザの音声の入力を受け付ける音声入力受付部と、通話中に入力された前記ユーザの音声を示す音声データを、メモリに記録する記録部と、前記通話中に前記頭部の近接が検知されなくなった場合には、前記メモリに記録された音声データに基づいて、前記通話中の所定の時点以降に入力された前記ユーザの音声を認識する音声認識部と、所定のキーワードが認識され、且つ前記頭部の近接が検知されていない場合には、前記通話を終了させる終話制御部とを備える。
本発明の通信端末装置において、前記所定の時点は、前記頭部の近接が検知されなくなった時点から所定時間前に遡った時点であってもよい。
本発明の通信端末装置において、前記通信端末装置の姿勢を計測する計測部を備え、前記終話制御部は、前記近接が検知されなくなった場合に前記通信端末装置の姿勢が変化したことを条件として、前記通話を終了させてもよい。
本発明の通信端末装置において、通話を終了する際にユーザが発した語句を抽出する抽出部を備え、前記終話制御部は、1以上の通話で抽出された前記語句を、前記キーワードとしてもよい。
本発明のプログラムは、通話のための通信を行う通信端末装置のコンピュータに、前記通信端末装置にユーザの頭部が近接したことを検知するステップと、前記ユーザの音声の入力を受け付けるステップと、通話中に入力された前記ユーザの音声を示す音声データを、メモリに記録するステップと、前記通話中に前記頭部の近接が検知されなくなった場合には、前記メモリに記録された音声データに基づいて、前記通話中の所定の時点以降に入力された前記ユーザの音声を認識するステップと、所定のキーワードが認識され、且つ前記頭部の近接が検知されていない場合には、前記通話を終了させるステップとを実行させるためのプログラムである。
本発明の情報処理方法は、通話のための通信を行う通信端末装置にユーザの頭部が近接したことを検知するステップと、前記ユーザの音声の入力を受け付けるステップと、通話中に入力された前記ユーザの音声を示す音声データを、メモリに記録するステップと、前記通話中に前記頭部の近接が検知されなくなった場合には、前記メモリに記録された音声データに基づいて、前記通話中の所定の時点以降に入力された前記ユーザの音声を認識するステップと、所定のキーワードが認識され、且つ前記頭部の近接が検知されていない場合には、前記通話を終了させるステップとを有する。
本発明によれば、ユーザの音声の認識に起因する消費電力量の増大を抑えつつ、ユーザが終話時にとる自然な動作に応じて終話することができる。
本発明の第1実施形態に係る通信端末装置の正面図。 同実施形態に係る通信端末装置のハードウェア構成の一例を示す図。 同実施形態に係る通信端末装置のプロセッサの機能構成の一例を示す図。 同実施形態に係る通信端末装置が通話中に実行する処理を示すフローチャート。 同実施形態に係る通信端末装置が通話中に実行する処理の具体例を示す図。 同実施形態に係る通信端末装置が通話中に実行する処理の具体例を示す図。 本発明の第2実施形態に係る通信端末装置のプロセッサの機能構成の一例を示す図。 同実施形態に係る通信端末装置が通話中に実行する処理を示すフローチャート。 同実施形態に係る通信端末装置が通話中に実行する処理の具体例を示す図。 本発明の変形例1に係る通信端末装置のプロセッサの機能構成の一例を示す図。 同変形例に係る通信端末装置が通話中に実行する処理を示すフローチャート。
10,10A,10B…通信端末装置、11…プロセッサ、111…近接検知部、112…音声入力受付部、113…記録部、114,114A…音声認識部、115,115A…終話制御部、116…計測部、117…抽出部、12…メモリ、13…ストレージ、14…通信装置、15…入力装置、151…近接センサ、152…マイクロフォン、16…出力装置、161…スピーカ、162…表示領域、17…バス。
以下、図面を参照して本発明の実施形態を説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る通信端末装置10の正面図である。通信端末装置10は、ユーザが手に持って使用する、携帯型の通信端末装置である。通信端末装置10は、本実施形態ではスマートフォンである。
通信端末装置10は、通話のための通信を行う。通信端末装置10は、通話のための構成として、マイクロフォン152、及びスピーカ161を正面側に備える。マイクロフォン152は、ユーザの音声を入力するための音声入力装置である。マイクロフォン152は、通話するユーザの口の近傍に位置するように配置される。スピーカ161は、音声を出力するための音声出力装置である。スピーカ161は、通話するユーザの頭部(より詳細には耳)の近傍に位置するように配置される。
通信端末装置10は、更に表示領域162、及び近接センサ151を正面側に備える。表示領域162は、画像(画面)を表示するディスプレイの表示領域である。近接センサ151は、スピーカ161に隣り合って設けられ、物体の近接を検知するセンサである。ここでいう「近接」とは、接触、及び非接触のいずれの場合も含む。近接センサ151は、例えば、赤外光型、電磁誘導を利用した高周波発振型、又は磁石を用いた磁気型のセンサであるが、検知の方式は特に問わない。
図2は、通信端末装置10のハードウェア構成の一例を示す図である。通信端末装置10は、物理的には、プロセッサ11、メモリ12、ストレージ13、通信装置14、入力装置15、出力装置16、及びバス17等を含むコンピュータ装置として構成される。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。通信端末装置10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタ等を含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。
また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。各種処理は、1つのプロセッサ11で実行される旨を説明してきたが、2以上のプロセッサ11により同時又は逐次に実行されてもよい。プロセッサ11は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介して受信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ、メインメモリ(主記憶装置)等と呼ばれてもよい。
ストレージ13は、コンピュータ読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップ等の少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。
通信装置14は、無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置14は、通話のための通信を行う。
入力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン152、スイッチ、ボタン、近接センサ151を含むセンサ類)である。出力装置16は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ161、LEDランプ等)である。
また、プロセッサ11やメモリ12等の各装置は、情報を通信するためのバス17で接続される。バス17は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、通信端末装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
通信端末装置10における各機能は、プロセッサ11、メモリ12等のハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ11が演算を行い、通信装置14による通信や、メモリ12及びストレージ13におけるデータの読み出し及び/又は書き込みを制御することで実現される。
図3は、通信端末装置10のプロセッサ11の機能構成の一例を示すブロック図である。プロセッサ11は、近接検知部111、音声入力受付部112、記録部113、音声認識部114、及び終話制御部115を含む。
近接検知部111は、近接センサ151の検知結果に基づいて、通信端末装置10にユーザの頭部が近接したことを検知する。通話中に近接検知部111により物体の近接が検知された場合、この物体はユーザの頭部とみなされる。通話中とは、通話に用いられる通信路が確立されている期間のことをいう。近接検知部111は、ユーザの頭部の近接の有無を示す検知結果を、音声認識部114、及び終話制御部115に通知する。
音声入力受付部112は、マイクロフォン152を介してユーザの音声の入力を受け付ける。音声入力受付部112は、例えば、マイクロフォン152から供給されたアナログ形式の音声信号を、デジタル形式の音声データに変換する。音声データは、例えば、音声波形を示す波形データである。音声入力受付部112は、この音声データを、記録部113に供給する。
記録部113は、通話中に入力されたユーザの音声を示す音声データを、メモリ12に記録する(つまり、ユーザの音声を録音する)。メモリ12に記憶された音声データを、「音声データSD」と表す。
音声認識部114は、通話中に通信端末装置10にユーザの頭部の近接が検知されなくなった場合には、メモリ12に記録された音声データSDに基づいて、その通話中の所定の時点以降に入力されたユーザの音声を認識する。「所定の時点」は、ユーザの頭部の近接が検知されなくなった時点から、所定時間前に遡った時点である。音声を認識する処理により、ユーザの音声は、文字列(テキストコード)に変換される。
終話制御部115は、終話制御を行う。終話制御は、通話を終了させる制御で、具体的には、通話に用いられる通信路を切断する制御である。終話制御部115は、音声認識部114により、メモリ12に記憶されたキーワードKWが認識され、且つ通信端末装置10へのユーザの頭部の近接が検知されていない場合には、終話制御を行う。キーワードKWは、例えば予め決められた文字列である。キーワードKWは、通信端末装置10の設計段階に決められてもよいし、ユーザにより指定されてもよい。キーワードKWは、例えば「バイバイ。」や「じゃあね。」といった、通話を終了しようとするときにユーザが発する語句に決められている。
図4は、通信端末装置10が通話中に実行する処理を示すフローチャートである。図5、及び図6は、通信端末装置10が通話中に実行する処理の具体例を示す図である。
記録部113は、通信端末装置10が通話中かどうかを判定する(ステップS1)。記録部113は、通信装置14により通話のための通信路が確立されている期間においては、ステップS1で「YES」と判定する。この場合、記録部113は、音声入力受付部112によってマイクロフォン152からの入力が受け付けられた音声データを、メモリ12に記録する(ステップS2)。図5に示すように、時刻t1にユーザUが通信端末装置10を用いて通話を開始した場合、記録部113は、その時点から音声データの記録を開始する。
次に、近接検知部111は、近接センサ151の検知結果に基づいて、通信端末装置10へのユーザの頭部の近接の有無を検知する(ステップS3)。図5に示すように、通話が開始された時刻t1から、通信端末装置10はユーザUの耳(ここでは右耳)に当てられた状態になる。このとき、近接検知部111は、通信端末装置10にユーザUの頭部が近接していることを検知する。
次に、近接検知部111は、ユーザの頭部の近接が検知されなくなったかどうかを判定する(ステップS4)。ステップS4は、ユーザの頭部が近接していることを検知している状態から、近接していない状態に遷移したかどうかを判定する処理である。ステップS4で「NO」と判定された場合、通信端末装置10は、通話を継続したまま、ステップS1の処理に戻す。通信端末装置10がユーザの頭部に近接しており、ユーザが通話を継続していると推察されるからである。
記録部113は、通話中において、ステップS2の音声データの記録を継続して行う(例えば、図5に示す時刻t2)。ただし、通話中の全ての音声データが、メモリ12に記憶されたままでなくてもよい。メモリ12には、少なくとも、現在時点から所定時間遡った時点以降に入力された音声の音声データが記憶されていればよい。換言すれば、当該時点よりも前の音声データは、破棄(消去)されてよい。「所定時間」は、例えば3〜10秒である。
その後、時刻t3において、「バイバイ。」という語句を発話したとする。このような発話は、通話を終了しようとするときに自然にとられる動作に含まれる。この発話を示す音声データについても、メモリ12に記録される。その後、時刻t4において、ユーザUが通信端末装置10を耳から離したとする。この動作も、通話を終了しようとするときに自然にとられる動作に含まれる。この動作により、近接検知部111は、ステップS3で、ユーザの頭部の近接を検知しなくなる。この場合、近接検知部111は、ステップS4で、ユーザの頭部の近接が検知されなくなったと判定する(ステップS4;YES)。
次に、音声認識部114は、メモリ12に記憶された音声データSDに基づいて、ユーザの音声を認識する(ステップS5)。ステップS5では、ユーザの頭部の近接が検知されなくなった時点から、所定時間前に遡った時点以降に入力されたユーザの音声が認識される。図5の例では、時刻t4から所定時間だけ遡った時刻t23を始期とし、時刻t4を終期とする期間Tに入力されたユーザの音声が認識される。このように、音声認識部114は、通信端末装置10へのユーザの頭部の近接が検知されなくなったことを契機に、ユーザの音声を認識する。
なお、図5の例では、時刻t23よりも前に記録された音声データが破棄されていてもよいことになる。このような音声の認識に不要な音声データが破棄されることで、メモリ12の記憶領域の無駄な使用が抑えられる。
次に、終話制御部115は、音声認識部114により、キーワードKWが認識されたかどうかを判定する(ステップS6)。ここでは、終話制御部115は、時刻t23から時刻t4までの期間T内に、ユーザUがキーワードKWを示す発話をしたかどうかを判定する。
ステップS6で「NO」と判定された場合、通信端末装置10は、通話を継続したまま、ステップS1の処理に戻す。
図5に示すように、時刻t3において「バイバイ。」という語句をユーザUが発していた場合、終話制御部115は、ステップS6で「YES」と判定する。この場合、近接検知部111は、近接センサ151の検知結果に基づいて、通信端末装置10へのユーザの頭部の近接の有無を検知する(ステップS7)。次に、近接検知部111は、通信端末装置10へのユーザの頭部の近接が検知されない状態のままかどうかを判定する(ステップS8)。ステップS7,S8は、通話を終了しようとする発話をユーザがした後も、通信端末装置10がユーザの頭部から離された状態のままかどうかを確認するために行われる処理である。
ステップS8で「YES」と判定された場合、終話制御部115は、終話制御を行う(ステップS9)。図5の例では、時刻t4から時刻t5までの期間において、ユーザの頭部の近接が検知されていない。よって、終話制御部115は終話制御を行う。終話制御を行うと、記録部113は、音声データの記録を停止させる。
一方、ステップS8で「NO」と判定された場合、即ち、ユーザの頭部の近接が再び検知された場合は、通信端末装置10は、通話を継続したまま、ステップS1の処理に戻す。図6に示すように、時刻t3で、ユーザUが「バイバイ。」というキーワードKWを示す発話をし、且つ時刻t4で、ユーザUが通信端末装置10を耳から離した場合でも、用事を思い出したりして、通話を継続しようとする可能性がある。図6の例では、時刻t6において、ユーザUが通信端末装置10を耳に再び当てている。このような場合にまで終話制御が行われないように、通信端末装置10は、ステップS8で「NO」と判定された場合は、通話を継続させる。
以上説明した通信端末装置10では、通話中において音声認識を継続して行うことはせずに、通話中に入力されたユーザの音声を示す音声データをメモリ12に記録し、ユーザの頭部の近接を検知しなくなったことを契機に、メモリ12に記憶された音声データSDに基づいて、ユーザの音声を認識する。よって、通話中に音声の認識を継続して行う場合に比べて、通信端末装置10の消費電力量の増大が抑えられる。更に、通信端末装置10は、ユーザによるキーワードKWを示す発話を認識し、且つユーザの頭部の近接が検知されていない場合に、終話制御を行う。よって、通信端末装置10によれば、ユーザの意図しない誤ったタイミングで終話させてしまう可能性を低くすることができる。
[第2実施形態]
次に、本発明の第2実施形態を説明する。
本実施形態の通信端末装置10Aは、ユーザが通話を終了させようとしているときの自装置の姿勢の変化に基づいて、終話制御を行うかどうかを判定する。本実施形態では、上述した第1実施形態と同じ符号を付した要素は、上述した第1実施形態と同等に機能する。
図7は、通信端末装置10Aのプロセッサ11の機能構成の一例を示すブロック図である。プロセッサ11は、近接検知部111、音声入力受付部112、記録部113、音声認識部114A、終話制御部115A、及び計測部116を含む。また、入力装置15には、姿勢センサ153が含まれる。姿勢センサ153は、通信端末装置10Aの姿勢を計測するためのセンサである。姿勢センサ153は、例えば3軸の加速度センサ又は角速度センサであるが、通信端末装置10Aの姿勢の変化(例えば回転)に応じて変化する物理量を計測するセンサであればよい。
計測部116は、姿勢センサ153の計測結果に基づいて、通信端末装置10Aの姿勢を計測する。本実施形態では、近接検知部111は、ユーザの頭部の近接の有無を示す検知結果を、音声認識部114A、及び終話制御部115に加え、計測部116に通知する。計測部116は、この通知に応じて、通信端末装置10Aの姿勢の計測の有無を判断する。
終話制御部115Aは、上述した第1実施形態の条件に加え、近接検知部111によりユーザの頭部の近接が検知されなくなったときに通信端末装置10Aの姿勢が変化したことを条件として、終話制御を行う。
図8は、通信端末装置10Aが通話中に実行する処理を示すフローチャートである。図9は、通信端末装置10Aが通話中に実行する処理の具体例を示す図である。
記録部113は、通信端末装置10Aの通話中において、音声入力受付部112によりマイクロフォン152からの入力が受け付けられた音声データを、メモリ12に記録する(ステップS1,S2)。次に、計測部116は、姿勢センサ153の計測結果に基づいて、通信端末装置10Aの姿勢を計測する(ステップS11)。次に、近接検知部111は、近接センサ151の検知結果に基づいて、ユーザの頭部の近接の有無を検知する(ステップS3)。次に、近接検知部111は、ユーザの頭部の近接が検知されなくなったかどうかを判定する(ステップS4)。
ステップS4で「NO」と判定された場合は、上述した第1実施形態と同じく、通信端末装置10Aは、通話を継続したまま、ステップS1の処理に戻す。
一方、ステップS4で「YES」と判定された場合の処理は、上述した第1実施形態と異なる。具体的には、近接検知部111によりユーザの頭部の近接が検知されなくなったと判定された場合、計測部116は通信端末装置10Aの姿勢が変化したかどうかを判定する(ステップS12)。ステップS12で「NO」と判定された場合、通信端末装置10Aは、通話を継続したまま、ステップS1の処理に戻す。
ステップS12で「YES」と判定した場合、音声認識部114Aは、メモリ12に記憶された音声データSDに基づいて、ユーザの音声を認識する(ステップS5)。そして、終話制御部115Aは、音声認識部114Aの音声認識の結果に基づいて、キーワードKWを示す発話を認識されたと判定し(ステップS6;YES)、且つ近接検知部111によりユーザの頭部の近接が検知されない状態のままであると判定した場合(ステップS7、ステップS8;YES)には、終話制御を行う(ステップS9)。
通信端末装置10Aをユーザが頭部から離した場合、その動作によって、通信端末装置10Aの姿勢は変化するはずである。図9に示す時刻t3、t4の通信端末装置10Aの姿勢を対比しても分かるように、ユーザUがキーワードKWを示す発話をしていた場合、その発話をしたときの姿勢と、通信端末装置10AをユーザUが耳から離したときの姿勢とが異なる。通信端末装置10Aによれば、この姿勢の変化を終話制御の条件とすることで、誤ったタイミングで終話させてしまう可能性が低くなる。また、ユーザの頭部の近接が検知されなくなった場合でも、通信端末装置10Aの姿勢に変化がない場合は、ユーザの音声の認識は開始されない。不要なタイミングでのユーザの音声の認識が行われないことにより、通信端末装置10Aの不要な消費電力量の増大が抑制される。
[変形例]
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
(変形例1)
本発明の通信端末装置は、キーワードを学習する機能を備えてもよい。本変形例の通信端末装置10Bは、通話を終了する際にユーザが発した語句を、キーワードとしてメモリ12に登録する。本実施形態では、上述した第1実施形態で説明した「キーワードKW」を「キーワードKW1」とし、学習により登録されるキーワードを、「キーワードKW2」と表す。
図10は、本変形例の通信端末装置10Bのプロセッサ11の機能構成の一例を示すブロック図である。プロセッサ11は、近接検知部111、音声入力受付部112、記録部113、音声認識部114、終話制御部115B、及び抽出部117を含む。
抽出部117は、通話を終了する際にユーザが発した語句を抽出する。抽出部117は、例えば、終話の直前にユーザが発した語句を抽出する。そして、抽出部117は、1以上の通話の機会で抽出された語句を、キーワードKW2として登録する。終話制御部115Bは、キーワードKW1、又はキーワードKW2の発話を認識したことを条件として、終話制御を行う。
図11は、通信端末装置10Bが通話中に実行する処理を示すフローチャートである。
抽出部117は、通話を終了する際にユーザが発した語句を抽出する(ステップS21)。例えば、抽出部117は、毎回の通話の機会において、音声認識部114により認識された語句のうち、最後に認識された語句を抽出する。抽出部117は、抽出した語句を、メモリ12に記憶させておく。そして、抽出部117は、閾値以上の回数の通話の機会で抽出された語句を、キーワードKW2として、メモリ12に登録する(ステップS22)。通話を終了する際にユーザが発する語句は、繰り返し使用されることが多いと考えられるからである。
この変形例では、登録されるキーワードKW2は複数回の通話の機会で抽出された語句としているが、1回の通話の機会で抽出された語句をキーワードKW2としてもよい。
以降、終話制御部115Bは、キーワードKW2に基づいて、終話制御を行う。終話制御部115Bは、キーワードKW2の学習が完了する前はキーワードKW1に基づいて終話制御を行い、キーワードKW2を登録した後は、キーワードKW1に組み合わせて又は代えて、キーワードKW2に基づいて終話制御を行うとよい。
なお、この変形例の構成は、上述した第2実施形態の通信端末装置10Aに適用されてもよい。
この変形例によれば、通信端末装置10Bのユーザが終話をしようとするときに発する語句が、そのユーザ特有の語句であったとしても、ユーザが終話時にとる自然な動作に応じて終話することができる。
(変形例2)
通信端末装置10(又は通信端末装置10A、10B)は、スマートフォンに限られず、フィーチャーフォン等の、通話のための通信を行う通信端末装置であってもよい。また、本発明の通信端末装置は、受話音声を含む音声を示す骨導音をユーザの体に発生させる通信端末装置、つまり骨導音を出力するスピーカを備える通信端末装置にも適用可能である。この通信端末装置は、ユーザの耳以外の頭部の部位に接触させられても、当該ユーザが通話できるように構成されている。
また、本発明の通信端末装置は、通話時にユーザが手に持って使用する通信端末装置でなくてもよい。本発明の通信端末装置は、例えば、ヘッドホン型やイヤホン型等の、ユーザの頭部に装着して使用される、いわゆるウェアラブル端末であってもよい。
(変形例3)
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(変形例4)
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(変形例5)
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
(変形例6)
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)等の有線技術及び/又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
また、本明細書で説明した情報、パラメータ等は、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)したことを「判断」「決定」したとみなすこと等を含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)したことを「判断」「決定」したとみなすこと等を含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等したことを「判断」「決定」したとみなすことを含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなすことを含み得る。
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
(変形例7)
なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。

Claims (6)

  1. 通話のための通信を行う通信端末装置であって、
    前記通信端末装置にユーザの頭部が近接したことを検知する近接検知部と、
    前記ユーザの音声の入力を受け付ける音声入力受付部と、
    通話中に入力された前記ユーザの音声を示す音声データを、メモリに記録する記録部と、
    前記通話中に前記頭部の近接が検知されなくなった場合には、前記メモリに記録された音声データに基づいて、前記通話中の所定の時点以降に入力された前記ユーザの音声を認識する音声認識部と、
    所定のキーワードが認識され、且つ前記頭部の近接が検知されていない場合には、前記通話を終了させる終話制御部と
    を備える通信端末装置。
  2. 前記所定の時点は、前記頭部の近接が検知されなくなった時点から所定時間前に遡った時点である
    ことを特徴とする請求項1に記載の通信端末装置。
  3. 前記通信端末装置の姿勢を計測する計測部を備え、
    前記終話制御部は、
    前記近接が検知されなくなった場合に前記通信端末装置の姿勢が変化したことを条件として、前記通話を終了させる
    ことを特徴とする請求項1又は請求項2に記載の通信端末装置。
  4. 通話を終了する際にユーザが発した語句を抽出する抽出部を備え、
    前記終話制御部は、
    1以上の通話で抽出された前記語句を、前記キーワードとする
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の通信端末装置。
  5. 通話のための通信を行う通信端末装置のコンピュータに、
    前記通信端末装置にユーザの頭部が近接したことを検知するステップと、
    前記ユーザの音声の入力を受け付けるステップと、
    通話中に入力された前記ユーザの音声を示す音声データを、メモリに記録するステップと、
    前記通話中に前記頭部の近接が検知されなくなった場合には、前記メモリに記録された音声データに基づいて、前記通話中の所定の時点以降に入力された前記ユーザの音声を認識するステップと、
    所定のキーワードが認識され、且つ前記頭部の近接が検知されていない場合には、前記通話を終了させるステップと
    を実行させるためのプログラム。
  6. 通話のための通信を行う通信端末装置にユーザの頭部が近接したことを検知するステップと、
    前記ユーザの音声の入力を受け付けるステップと、
    通話中に入力された前記ユーザの音声を示す音声データを、メモリに記録するステップと、
    前記通話中に前記頭部の近接が検知されなくなった場合には、前記メモリに記録された音声データに基づいて、前記通話中の所定の時点以降に入力された前記ユーザの音声を認識するステップと、
    所定のキーワードが認識され、且つ前記頭部の近接が検知されていない場合には、前記通話を終了させるステップと
    を有する情報処理方法。
JP2018547601A 2016-10-27 2017-10-18 通信端末装置、プログラム及び情報処理方法 Active JP6613382B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016210944 2016-10-27
JP2016210944 2016-10-27
PCT/JP2017/037702 WO2018079379A1 (ja) 2016-10-27 2017-10-18 通信端末装置、プログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2018079379A1 true JPWO2018079379A1 (ja) 2019-07-25
JP6613382B2 JP6613382B2 (ja) 2019-11-27

Family

ID=62024132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547601A Active JP6613382B2 (ja) 2016-10-27 2017-10-18 通信端末装置、プログラム及び情報処理方法

Country Status (5)

Country Link
US (1) US11128749B2 (ja)
EP (1) EP3490232B1 (ja)
JP (1) JP6613382B2 (ja)
CN (1) CN109792464B (ja)
WO (1) WO2018079379A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102666658B1 (ko) * 2018-12-19 2024-05-20 현대자동차주식회사 차량 및 그 제어방법
CN110428806B (zh) * 2019-06-03 2023-02-24 交互未来(北京)科技有限公司 基于麦克风信号的语音交互唤醒电子设备、方法和介质
US11462218B1 (en) * 2020-04-29 2022-10-04 Amazon Technologies, Inc. Conserving battery while detecting for human voice

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325279A (ja) * 2001-04-26 2002-11-08 Nec Corp 無線携帯装置
JP2012049839A (ja) * 2010-08-27 2012-03-08 Kyocera Corp 携帯電話
JP2012205170A (ja) * 2011-03-28 2012-10-22 Kyocera Corp 携帯電子機器、表示切替方法及び表示切替プログラム
JP2013201560A (ja) * 2012-03-23 2013-10-03 Sharp Corp 携帯電話装置、制御方法、制御システム、制御プログラム、及び、プロセッサ
JP2015012301A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法
WO2016114402A1 (ja) * 2015-01-16 2016-07-21 株式会社Nttドコモ 通信端末装置、着信制御方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9902229L (sv) * 1999-06-07 2001-02-05 Ericsson Telefon Ab L M Apparatus and method of controlling a voice controlled operation
US6289088B1 (en) * 1999-12-21 2001-09-11 At&T Corp. Pay phone call completion method and apparatus
WO2008116296A1 (en) * 2007-03-26 2008-10-02 Digifonica (International) Limited Emergency assistance calling for voice over ip communications systems
KR20090107365A (ko) 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
CN102780815A (zh) * 2012-06-29 2012-11-14 宇龙计算机通信科技(深圳)有限公司 自动挂断通话的方法及通信终端
TW201408036A (zh) * 2012-08-09 2014-02-16 Inventec Corp 自動結束通話方法及通訊裝置
CN105072280A (zh) * 2015-08-27 2015-11-18 惠州Tcl移动通信有限公司 一种移动终端自动挂断电话的处理方法及系统
CN105530381A (zh) * 2015-12-24 2016-04-27 小米科技有限责任公司 通话挂断方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325279A (ja) * 2001-04-26 2002-11-08 Nec Corp 無線携帯装置
JP2012049839A (ja) * 2010-08-27 2012-03-08 Kyocera Corp 携帯電話
JP2012205170A (ja) * 2011-03-28 2012-10-22 Kyocera Corp 携帯電子機器、表示切替方法及び表示切替プログラム
JP2013201560A (ja) * 2012-03-23 2013-10-03 Sharp Corp 携帯電話装置、制御方法、制御システム、制御プログラム、及び、プロセッサ
JP2015012301A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法
WO2016114402A1 (ja) * 2015-01-16 2016-07-21 株式会社Nttドコモ 通信端末装置、着信制御方法、及びプログラム

Also Published As

Publication number Publication date
WO2018079379A1 (ja) 2018-05-03
EP3490232A1 (en) 2019-05-29
CN109792464B (zh) 2020-11-20
US11128749B2 (en) 2021-09-21
CN109792464A (zh) 2019-05-21
JP6613382B2 (ja) 2019-11-27
EP3490232A4 (en) 2019-07-03
US20210075902A1 (en) 2021-03-11
EP3490232B1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
US10418027B2 (en) Electronic device and method for controlling the same
KR102411766B1 (ko) 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치
CN108496220B (zh) 电子设备及其语音识别方法
US10811005B2 (en) Adapting voice input processing based on voice input characteristics
JP6178198B2 (ja) 音声翻訳システム、方法およびプログラム
CN105489220A (zh) 语音识别方法及装置
CN104850542A (zh) 非可听语音输入校正
JP6613382B2 (ja) 通信端末装置、プログラム及び情報処理方法
JP2020003925A (ja) 対話システムの制御方法、対話システム及びプログラム
KR20170053127A (ko) 필드 기재사항의 오디오 입력
WO2019228370A1 (zh) 数据处理方法、装置、移动终端以及存储介质
WO2021071271A1 (en) Electronic apparatus and controlling method thereof
CN106453910A (zh) 通话录音的方法及装置
KR101447879B1 (ko) 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
JP2019032387A (ja) 制御装置、プログラムおよび制御方法
US11217266B2 (en) Information processing device and information processing method
CN113470649A (zh) 语音交互方法及装置
WO2019098185A1 (ja) 発話文生成システム及び発話文生成プログラム
WO2019233317A1 (zh) 数据处理方法、装置、移动终端以及存储介质
CN111045641A (zh) 一种电子终端及语音识别方法
CN108417208A (zh) 一种语音输入方法和装置
JP2019109424A (ja) 計算機、言語解析方法、及びプログラム
US11862167B2 (en) Voice dialogue system, model generation device, barge-in speech determination model, and voice dialogue program
CN114241471B (zh) 视频文本识别方法、装置、电子设备及可读存储介质
WO2022254912A1 (ja) 音声認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191101

R150 Certificate of patent or registration of utility model

Ref document number: 6613382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250