JP7406874B2 - 電子機器、その制御方法、およびそのプログラム - Google Patents

電子機器、その制御方法、およびそのプログラム Download PDF

Info

Publication number
JP7406874B2
JP7406874B2 JP2018171938A JP2018171938A JP7406874B2 JP 7406874 B2 JP7406874 B2 JP 7406874B2 JP 2018171938 A JP2018171938 A JP 2018171938A JP 2018171938 A JP2018171938 A JP 2018171938A JP 7406874 B2 JP7406874 B2 JP 7406874B2
Authority
JP
Japan
Prior art keywords
language
electronic device
collected
sound
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018171938A
Other languages
English (en)
Other versions
JP2020042745A (ja
JP2020042745A5 (ja
Inventor
伸平 北井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=68207180&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7406874(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018171938A priority Critical patent/JP7406874B2/ja
Priority to US16/541,397 priority patent/US11188714B2/en
Priority to CN201910814214.5A priority patent/CN110895925B/zh
Priority to GB1912645.7A priority patent/GB2578512A/en
Priority to DE102019124350.5A priority patent/DE102019124350A1/de
Publication of JP2020042745A publication Critical patent/JP2020042745A/ja
Publication of JP2020042745A5 publication Critical patent/JP2020042745A5/ja
Priority to US17/535,077 priority patent/US11914958B2/en
Publication of JP7406874B2 publication Critical patent/JP7406874B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/263Language identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/454Multi-language systems; Localisation; Internationalisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/58Details of telephonic subscriber devices including a multilanguage function

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本発明は、音声を集音することができる電子機器に関する。
近年、集音した音声を認識できる電子機器が知られている。また、ユーザは電子機器を利用するときに様々な言語から任意の言語を設定できる。電子機器の言語の設定に音声を用いる例として、特許文献1では、電子機器に設定されている言語と異なる言語の音声を集音すると、集音した音声の言語に設定を変更する電子機器が開示されている。
特開2006-65528号公報
しかし、特許文献1では、ユーザの音声の言語を誤認識した場合でも、電子機器はその誤認識した言語に設定を変えてしまい、ユーザの意図しない言語に設定を変更してしまうという課題があった。そこで本発明は、ユーザが電子機器の言語の設定をユーザの意図した言語に変更しやすくすることを目的とする。
上記課題を解決するために、本発明の電子機器は、音声を集音する集音手段と、前記集音手段によって集音された音声の言語を判断する判断手段と、前記判断手段によって判断された前記集音手段によって集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御手段とを有し、前記判断手段が、前記第1の言語に複数の候補があると判断した場合、前記制御手段は、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする。
本発明によれば、ユーザは電子機器の言語の設定をユーザの意図した言語に変更しやすくすることができる。
第一の実施形態のスマートフォン100の一例を示すブロック図。 第一の実施形態のスマートフォン100の一例を示す外観図。 第一の実施形態における、スマートフォン100の使用言語の設定を変更する方法の一例を示す図。 第一の実施形態における、使用言語の設定を変更するか否かを確認する場合におけるスマートフォン100の画面の一例を示す図。 第一の実施形態における、スマートフォン100の処理の一例を示すフローチャート。 第一の実施形態における、使用言語を複数の言語の候補から選択する場合におけるスマートフォン100の画面の一例を示す図。 使用言語の設定を変更するか否かを確認する場合、スマートフォン100が音声を用いてユーザに確認する方法の一例を示す図。 第二の実施形態における、スマートフォン100の使用言語の設定を変更する方法の一例を示す図。 第二の実施形態における、使用言語の設定を変更するか否かを確認する場合におけるスマートフォン100の画面の一例を示す図。 第二の実施形態における、スマートフォン100の処理の一例を示すフローチャート。 スマートフォン100が画像を用いてユーザの音声を集音する方法の一例を示す図。
<第一の実施形態>
以下、図面を参照して、本発明の各実施例の動作を説明する。本実施形態において、電子機器にユーザが使用する言語として設定されている言語を他の言語と区別して使用言語という。
図1は、本実施形態の電子機器の一例であるスマートフォン100の構成例を示すブロック図である。
制御部101は、入力された信号や、後述のプログラムに従ってスマートフォン100の各部を制御する。なお、制御部101が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
不揮発性メモリ103は、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ103には、制御部101が実行する基本的なソフトウェアであるOS(オペレーティングシステム)や、このOSと協働して応用的な機能を実現するアプリケーションが記録されている。このアプリケーションは、集音した音声データの言語を解析するプログラムおよび後述する各種フローチャートの処理を実行するためのプログラムを含む。
作業用メモリ104は、後述する表示部106の画像表示用メモリや、制御部101の作業領域等として使用される。作業用メモリ104はマイク107において集音した音声の言語を解析するために必要な音声データや通信部111を介して受信した音声データを格納する。
操作部105は、スマートフォン100に対する指示をユーザから受け付けるために用いられる。操作部105は例えば、ユーザがスマートフォン100の電源のON/OFFを指示するための電源ボタンや、表示部106に形成されるタッチパネルなどの操作部材を含む。制御部101は操作部105がユーザに操作されたことを検出し、その操作に従って処理を行う。
表示部106は、画像データの表示、対話的な操作のための文字表示などを行う。なお、表示部106は必ずしもスマートフォン100が備える必要はない。スマートフォン100は表示部106と接続することができ、表示部106の表示を制御する表示制御機能を少なくとも有していればよい。本実施形態において表示部106は液晶ディスプレイを用いる。ただし、表示部106は液晶ディスプレイに限られるものではなく、有機EL(Organic Electroluminescence)ディスプレイなどの他の方式を用いてもよい。
マイク107は音声を集音するために用いられる。マイク107は外部からの音声を集音し、制御部101に出力する。制御部101は集音した音声をアナログデータからデジタルデータへA/D変換する処理を行うが、マイク107がA/D変換する処理を行い、A/D変換したデジタルデータを制御部101に出力してもよい。マイク107はスマートフォン100に内蔵されているが、ケーブル等を介して外部のマイクと接続する構成でもよい。
スピーカ108は、音声を再生するために用いられる。制御部101はスピーカ108によって再生する音声をデジタルデータからアナログデータへD/A変換する処理を行い、アナログデータをマイク107へ出力する。または、制御部101の代わりにスピーカ108がD/A変換する処理を行ってもよい。スピーカ108はスマートフォン100に内蔵されているが、ケーブル等を介して外部のスピーカと接続する構成でもよい。
記録媒体110は、スマートフォン100に着脱可能なよう構成してもよいし、スマートフォン100に内蔵されていてもよい。スマートフォン100は少なくとも記録媒体110にアクセスする手段を有していればよい。
通信部111は、外部装置と接続するためのインターフェースである。本実施形態のスマートフォン100は、通信部111を介して、外部装置とデータを送受信することができる。例えばスマートフォン100はマイク107で集音した音声データを、通信部111を介して外部装置に送信することができる。また、スマートフォン100は外部装置から音声データを受信できる。なお、本実施形態では、通信部111は外部装置とIEEE802.11の規格に従った、いわゆる無線LANで通信するためのインターフェースを含む。制御部101は、通信部111を制御することで外部装置との無線通信を実現する。なお、通信方式は無線LANのような無線通信方式に限定されるものではなく、有線通信方式でもよい。通信部111はスマートフォン100に内蔵されているが、LANケーブルを介して外部の通信モジュールと接続する構成でもよい。
電源部112は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
図2は、電子機器の一例であるスマートフォン100の外観図である。スマートフォン100は表示部106、マイク107、スピーカ108、および音声入力ボタン220を有する。音声入力ボタン220は操作部105に含まれる操作部材であり、ユーザは音声入力ボタン220を押すことで音声をスマートフォン100に入力することができる。ここで、スマートフォン100が音を集音するトリガは、ユーザによる音声入力ボタン220を押す操作の代わりに、ユーザによる表示部106に表示された画面の操作でもよい。例えば、図2において音声入力ボタン220は物理的な機構であり、図3のマイクボタン301は、タッチパネルを介して操作されるようなGUI(Graphical User Interface)である。ユーザは音声入力ボタン220またはマイクボタン301を操作することで音声をスマートフォン100に入力する。
スマートフォン100は集音した音声を解析して、その音声の言語を判断する。ここで、スマートフォン100が音声の言語を判断する方法例を2つ記載する。まず1つ目の方法例を説明する。その方法は、スマートフォン100は集音した音声を音声データにして作業用メモリ104に格納し、その音声データを不揮発性メモリ103に記録されているプログラムを使用して解析する、という方法である。次に2つめの方法例を説明する。その方法は、スマートフォン100は通信部111を介して外部にあるサーバに集音した音声データを送信する。サーバは受信した音声データの言語を解析し、その解析した結果に関する情報をスマートフォン100に送信する。スマートフォン100は通信部111でその情報を受信することで音声を解析する、という方法である。2つ目の方法例において、解析した結果に関する情報は、外部サーバが音声データの言語だと判断した言語の候補を少なくとも一つ含む。本実施形態では、2つ目の方法例を採用する。
図3は本実施形態における、音声によって使用言語の設定を変更する方法の一例を示す。図3においてユーザは、スマートフォン100を持ちながら使用言語の設定を変更する画面300を開いている。ここで初期状態においてスマートフォン100の使用言語は英語である。図3の左上に記載しているスマートフォン100の図は、ユーザが手にしているスマートフォン100の画面を拡大したものである。この場面において、ユーザは音声入力ボタン220またはマイクボタン301を押しながら、任意の言語名(図3においては「日本語」という単語)を発言することで、スマートフォン100の使用言語を変更する。スマートフォン100はその言語名を集音し、上述した言語を解析するプログラムを用いて言語を判断できた場合、図4に示すような使用言語を変更するか否かを確認する画面を表示する。
図4ではスマートフォン100は、現在の使用言語から集音した言語に変更するか否かを確認するための画面を表示している。ダイアログボックス401では、スマートフォン100は現在の使用言語(英語)によって設定を変更するか否かを確認する通知を表示し、並行してダイアログボックス402では集音した言語(日本語)によって設定を変更するか否かを確認する通知を表示する。ユーザはどのダイアログボックスを操作してもよい。ユーザは操作部105または音声によってスマートフォン100を操作することで、使用言語を設定できる。このようにスマートフォン100は使用言語と集音した言語とでユーザに通知することで、ユーザの意図しない言語に使用言語を変更することを防ぎやすくする。
図5はスマートフォン100の使用言語の設定を変更する処理手順の一例を説明するフローチャートである。この処理は、不揮発性メモリ103に記録されたソフトウェアを作業用メモリ104に展開して制御部101が実行することで実現する。またこの処理は、制御部101がスマートフォン100の使用言語の設定を変更する画面を表示部106に表示したことをトリガに開始される。例えば、図3の画面300の表示をした場合、制御部101は本フローチャートの処理を開始する。
ステップS501では、制御部101は音声入力ボタン220が押されたか否かを判断する。制御部101は音声入力ボタン220を押されたと判断した場合はステップS502へ遷移し、押されていないと判断した場合はステップS505へ遷移する。
ステップS502では、制御部101はマイク107によって音を集音する。
ステップS503では、制御部101は音声入力ボタン220が離されたか否かを判断する。音声入力ボタン220が離されていない場合、制御部101はステップS502に戻り、音を集音し続ける。音声入力ボタン220が離された場合、制御部101はステップS504へ遷移する。
ステップS504では、制御部101は音声を集音したか否かを判断する。例えば、制御部101は閾値より大きい音声を集音した場合、音声を集音したと判断する。なお、音声の音量が閾値以下だった場合、制御部101は音声を集音しなかったものとして判断する。まず制御部101が音声を集音しなかった場合について述べる。この場合、制御部101はステップS505へ遷移する。
ステップS505では、制御部101はユーザから操作部105によって表示部106に表示している言語を選択されたか否かを判断する。制御部101は操作部105によって言語を選択されていないと判断した場合、ステップS501に戻る。制御部101は操作部105によって言語を選択されたと判断した場合、ステップS506に遷移する。
ステップS506では、制御部101はステップS505で選択された言語をスマートフォン100の使用言語にするよう設定を変更し、本フローチャートの処理を終了する。
次にステップS504において、制御部101が音声を集音した場合について述べる。この場合、制御部101はステップS507へ遷移する。
ステップS507では、制御部101はステップS507において判断した音声の言語に適する言語の候補があったかどうかを判断する。例えば、制御部101は上述したように、外部サーバを用いて音声の言語の候補を取得する。集音した音声の言語に適する言語があった場合、ステップS509へ遷移する。集音した音声の言語に適する言語がなかった場合、ステップS508へ遷移する。
ステップS508では、制御部101はステップS507において、集音した音声の言語に適する言語の候補がなかったことを示す通知を表示部106に表示する。制御部101は本処理の後、ステップS501に戻る。
一方、ステップS509では、制御部101はステップS507において判断した言語の候補の中から1つを選択する。
ステップS510では、制御部101はステップS509において選択した言語と、使用言語とが一致するか否かを判断する。2つの言語が異なる場合、制御部101はステップS512へ遷移する。2つの言語が一致した場合、制御部101はステップS511へ遷移する。
ステップS511では、制御部101は集音した音声の言語が使用言語と一致したため、使用言語の変更が行われないことを示す通知を表示部106へ表示する。または、制御部101はスピーカ108から使用言語によって使用言語の変更が行われないことを示す音または音声を再生し、本フローチャートの処理を終了する。
一方、ステップS512では、制御部101は使用言語を、集音した音声の言語に変更することをユーザに確認する通知を表示部106に表示する。このとき、表示部106に表示される画面には、制御部101は使用言語と、集音した音声の言語とを用いて、同じ内容の通知を表示する。例えば使用言語が英語、集音した音声が「日本語」だった場合、図4に示すように、制御部101はダイアログボックス401(英語表記)とダイアログボックス402(日本語表記)とで使用言語を変更するか否かを確認する通知を表示する。このように、使用言語の設定を変更する場合、制御部101は使用言語と、集音した音声の言語とを用いて表示することで、ユーザは複数の言語を確認して、使用言語から、集音した音声の言語に変更するか否かを選択することができる。これによってユーザはスマートフォン100が自身の意図しない言語に使用言語の設定を変更することを防ぎやすくなる。
ステップS513では、制御部101は使用言語の設定を変更することをユーザに了承されたか否かを判断する。例えば、図4において、制御部101はダイアログボックス401の「YES」がタッチされた(使用言語を変更する操作がされた)か、「NO」がタッチされた(使用言語を変更しない操作がされた)かを判断する。使用言語を変更する操作がされた場合、制御部101はステップS514へ遷移する。使用言語を変更しない操作がされた場合、制御部101はステップS511へ遷移する。
ステップS514では、制御部101は使用言語の設定を、集音した音声の言語に変更する。その後、制御部101は本フローチャートの処理を終了する。
以上、制御部101が使用言語の設定を変更する画面を表示している場合における、制御部101が使用言語を変更する処理について説明した。
また、ステップS509において制御部101が集音した音声の言語に複数の候補があると判断した場合、ステップS512において制御部101は使用言語と複数の候補とを用いてダイアログボックスを表示する。例えば使用言語が英語、集音した音声が日本語または韓国語だと判断した場合、図6に示すように、制御部101はダイアログボックス601、ダイアログボックス602、ダイアログボックス603、およびダイアログボックス604を表示する。(ここで、説明のため集音した音声の候補は日本語または韓国語という例を記載したが、これは日本語と韓国語とが似たような発音であることを意味するわけではない。)ダイアログボックス601およびダイアログボックス602において、制御部101は英語(使用言語)を用いて、英語から日本語または韓国語(集音した音声の言語の候補)へ変更するか否かをそれぞれ表示する。ダイアログボックス603およびダイアログボックス604において、制御部101は日本語または韓国語(集音した音声の言語の候補)をそれぞれ用いて、英語から日本語または韓国語(集音した音声の言語の候補)へ変更するか否かをそれぞれ表示する。すべてのダイアログボックス601~604が画面内に収まりきらない場合、図6に示すように、制御部101は操作部105によって画面をスクロールできるようにしてダイアログボックス601~604を表示部106に表示する。
また、ステップS512において、制御部101は使用言語から、集音した音声の言語に変更するか否かをユーザに確認する内容の音または音声をスピーカ108によって再生してもよい。例えば使用言語が英語、集音した音声が日本語と判断した場合、図7に示すように、制御部101は英語および日本語を用いて、英語から日本語へ使用言語を変更することをユーザに確認する内容の音または音声をそれぞれ続けてスピーカ108によって再生する。ユーザはその音声を聞いてから、操作部105または音声によってスマートフォン100を操作し、使用言語を変更するか否かを決定する。
また、ステップS513において、ユーザはスマートフォン100に対して音声によって使用言語を変更するか否かを操作してもよい。この場合、制御部101はユーザの音声をマイク107によって集音し、変更前の使用言語および集音した音声の言語のどちらの言語でも言語を変更するか否かを判断できるように処理を行う。
また、ステップS504において、制御部101は集音した音の大きさの時間的な変化を解析することで、集音した音が音声か否かを判断できる。例えば、制御部101は不揮発性メモリ103に音声の大きさの時間的な変化の特徴量を記録しておき、集音した音とこの特徴量とを比較することで音声か否かを判断する。
<第二の実施形態>
次に、制御部101が音声認識機能を利用して使用言語を変更する処理について説明する。音声認識機能とは、集音した音声の意味に沿った処理を電子機器が行う機能である。例えば、いわゆるスマートスピーカは音声認識機能を有し、「テレビをつける」や「好きな音楽を流す」といったユーザの音声を集音すると、その意味に沿うように、無線通信を介してテレビの電源をONしたり再生頻度の高い曲を再生したりすることができる。本実施形態において、スマートフォン100は音声認識機能を利用して使用言語の設定を変更できるとする。
図8は本実施形態における、音声認識機能によって使用言語の設定を変更する方法の一例を示す。図8においてユーザは、スマートフォン100を持ちながら音声認識機能による使用言語の設定を変更する画面800を開いている。ここで初期状態においてスマートフォン100の使用言語は英語である。図8の左上に記載しているスマートフォン100の図は、ユーザが手にしているスマートフォン100の画面を拡大したものである。この場面において、任意の言語名(図8においては「韓国語」という日本語の単語)を発言することで、スマートフォン100の使用言語を変更する。図8において、スマートフォン100はユーザが発言した「韓国語」の単語の意味から韓国語が候補にあると判断できる。またスマートフォン100は「韓国語」という日本語の単語を集音したことから日本語も候補にあると判断できる。スマートフォン100はユーザの発言した言語名を集音し、音声認識機能を用いて言語を判断できた場合、図9に示すような使用言語を変更するか否かを確認する画面を表示する。
図9ではスマートフォン100は、現在の使用言語から集音した言語に変更するか否かを確認するための画面を表示している。図9の画面は図6の画面と同じ機能を有する。(ただし、図9の画面は図6の画面と、ダイアログボックスの並ぶ順番が異なる。)図8において、ユーザはその発言の意味から使用言語を韓国語にしたい意図があると考えられる。しかし、ユーザは日本語によって発言しているため、ユーザはスマートフォン100の使用言語を日本語に変更したい可能性もあると考えられる。そのため、図9においてスマートフォン100は、日本語よりも韓国語の方を画面の上部に表示する。このように使用言語の設定を変更する言語に複数の候補がある場合、スマートフォン100はその言語の候補に優先度をつけ、優先度の高い順番にダイアログボックスを表示する。本実施形態において、スマートフォン100は音声認識機能によって認識した言葉の意味を、その言葉自体の言語よりも優先して表示するが、この優先度は逆にしてもよい。また、ユーザの発言している言葉の意味が認識できず、その言葉自体の言語に複数の候補があると判断でき場合、スマートフォン100はその複数の候補のなかで優先度をつけて表示する。例えば、日本語の可能性が韓国語の可能性よりも高いと判断した場合は、スマートフォン100は日本語の優先度の方を韓国語の優先度よりも高くする。
図10はスマートフォン100の使用言語の設定を変更する処理手順を説明するフローチャートである。この処理は、不揮発性メモリ103に記録されたソフトウェアを作業用メモリ104に展開して制御部101が実行することで実現する。またこの処理は、操作部105の電源ボタンをONされたことをトリガに開始する。
ステップS1001では、制御部101はスマートフォン100の使用言語の設定を変更する画面を表示部106に表示する。例えば、使用言語の設定を変更する画面は、図3の画面300に示すように、ユーザがスマートフォン100で利用可能な言語の中から任意の言語を選択するための画面である。例えばユーザがスマートフォン100を初めて電源ONする場合や所定の操作手順によって電源ONする場合等において、電源ボタンをONにされたことをトリガに制御部101が使用言語の設定を変更する画面を表示する。
ステップS1002では、制御部101は音声入力ボタン220が押されたか否かを判断する。制御部101は音声入力ボタン220を押されたと判断した場合はステップS1005へ遷移し、押されていないと判断した場合はステップS1003へ遷移する。
ステップS1003およびステップS1004は、それぞれ図5のステップS505およびステップS506と同様である。
ステップS1005では、制御部101は表示部106に音声認識機能によって音声を集音する画面を表示する。また本ステップの画面は図8の画面800に対応する。
ステップS1006は図5のステップS502と同様である。
ステップS1007では、制御部101は音声を集音したか否かを判断する。制御部101は所定の時間が経過していなくても、ステップS106において閾値より大きい音声を集音した場合、音声を集音したと判断する。なお、音声の音量が閾値以下だった場合、制御部101は音声を集音しなかったものとして判断する。
ステップS1008では、制御部101は音声の集音を開始してから所定の時間以上経過したか否かを判断する。音声の集音を開始してから経過した時間が所定の時間未満場合、制御部101はステップS506に戻る。音声の集音を開始してから所定の時間以上経過した場合、制御部101はステップS1010へ遷移する。
ステップS1009からステップS1016は、それぞれ図5のステップS507からステップS514と同様である。
以上、制御部101が音声認識機能を用いて使用言語を変更する処理について説明した。
本実施形態において、ユーザはスマートフォン100に対して言語名を発言することで使用言語の設定の変更を行ったが、音声認識機能が任意の音声から言語を判断できる場合、ユーザは任意の言葉を用いて使用言語の設定を変更できる。また、制御部101は言語名ではなく特定の画像に対する発言を集音してもよい。例えば図11において、制御部101は表示部106にリンゴの画像1101を表示している。制御部101はこのリンゴの画像1101に対してユーザがどんな発言をしたかを判断する。「リンゴ」という日本語の単語を集音した場合、制御部101はユーザの発言を日本語と判断できる。他にも「Apple」という英語の単語を集音した場合、制御部101はユーザの発言を英語と判断できる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (11)

  1. 音声を集音する集音手段と、
    前記集音手段によって集音された音声の言語を判断する判断手段と、
    前記判断手段によって判断された前記集音手段によって集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御手段と
    を有し、
    前記判断手段が、前記第1の言語に複数の候補があると判断した場合、前記制御手段は、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、
    前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする電子機器。
  2. 前記制御手段は、前記第二の言語から前記候補の言語のうちの一つである第三の言語に変更することを確認する通知を前記第三の言語を用いて行う
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記制御手段は、前記候補の言語それぞれに優先度を設定し、前記優先度が高い前記候補の言語から順番にユーザに通知を行う
    ことを特徴とする請求項1または2に記載の電子機器。
  4. 前記判断手段は、前記集音された音声の言語に加えて前記集音された音声の単語の意味を解析し、
    前記制御手段は、前記集音された音声の言語よりも前記単語が意味する言語の方の優先度を高く設定する
    ことを特徴とする請求項3に記載の電子機器。
  5. さらに表示手段を有し、
    前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する前記第二の言語が用いられた通知と、前記第二の言語から前記第三の言語に変更することを確認する前記第三の言語が用いられた通知と、を前記表示手段によって同じ画面に表示する
    ことを特徴とする請求項2に記載の電子機器。
  6. さらに表示手段を有し、
    前記判断手段が前記集音手段によって集音された音声の言語に該当する候補を判断できない場合、前記制御手段は、前記電子機器において使用される言語を変更するための画面を前記表示手段によって表示する
    ことを特徴とする請求項1から4のいずれか1項に記載の電子機器。
  7. さらにユーザの操作を検出する検出手段を有し、
    前記制御手段は、ユーザに所定の操作をされたことを前記検出手段によって検出されたことに応じて、前記電子機器において使用される言語を変更するための音声を前記集音手段によって集音する
    ことを特徴とする請求項1からのいずれか1項に記載の電子機器。
  8. 前記制御手段は、前記第一の言語と前記第二の言語が一致すると判断した場合、前記電子機器において使用される言語を変更しないことの通知を行う
    ことを特徴とする請求項1からのいずれか1項に記載の電子機器。
  9. 前記集音手段によって集音された音声の情報を外部装置へ送信し、前記集音手段によって集音された音声が解析された情報を前記外部装置から受信する通信手段をさらに有し、
    前記判断手段は、前記通信手段によって受信した前記解析された情報に基づいて、前記集音手段によって集音された音声の言語を判断する
    ことを特徴とする請求項1からのいずれか1項に記載の電子機器。
  10. 音声を集音する集音ステップと、
    前記集音手段によって集音された音声の言語を判断する判断ステップと、
    前記判断ステップにおいて判断された前記集音ステップにおいて集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御ステップと
    を有し、
    前記判断ステップで、前記第1の言語に複数の候補があると判断した場合、前記制御ステップでは、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、
    前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする制御方法。
  11. 音声を集音する集音ステップと、
    前記集音手段によって集音された音声の言語を判断する判断ステップと、
    前記判断ステップにおいて判断された前記集音ステップにおいて集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御ステップとを有し、
    前記判断ステップで、前記第1の言語に複数の候補があると判断した場合、前記制御ステップでは、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、
    前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする制御方法を、電子機器に実行させるためのプログラム。
JP2018171938A 2018-09-13 2018-09-13 電子機器、その制御方法、およびそのプログラム Active JP7406874B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018171938A JP7406874B2 (ja) 2018-09-13 2018-09-13 電子機器、その制御方法、およびそのプログラム
US16/541,397 US11188714B2 (en) 2018-09-13 2019-08-15 Electronic apparatus, method for controlling the same, and storage medium for the same
CN201910814214.5A CN110895925B (zh) 2018-09-13 2019-08-30 改变语言设置的电子装置及其控制方法、以及存储介质
GB1912645.7A GB2578512A (en) 2018-09-13 2019-09-03 Electronic apparatus and method for controlling the same
DE102019124350.5A DE102019124350A1 (de) 2018-09-13 2019-09-11 Elektronische Vorrichtung und Verfahren zur Steuerung derselben
US17/535,077 US11914958B2 (en) 2018-09-13 2021-11-24 Electronic apparatus, method for controlling the same, and storage medium for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018171938A JP7406874B2 (ja) 2018-09-13 2018-09-13 電子機器、その制御方法、およびそのプログラム

Publications (3)

Publication Number Publication Date
JP2020042745A JP2020042745A (ja) 2020-03-19
JP2020042745A5 JP2020042745A5 (ja) 2021-10-14
JP7406874B2 true JP7406874B2 (ja) 2023-12-28

Family

ID=68207180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018171938A Active JP7406874B2 (ja) 2018-09-13 2018-09-13 電子機器、その制御方法、およびそのプログラム

Country Status (5)

Country Link
US (2) US11188714B2 (ja)
JP (1) JP7406874B2 (ja)
CN (1) CN110895925B (ja)
DE (1) DE102019124350A1 (ja)
GB (1) GB2578512A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7406874B2 (ja) * 2018-09-13 2023-12-28 キヤノン株式会社 電子機器、その制御方法、およびそのプログラム
US11100926B2 (en) * 2018-09-27 2021-08-24 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11087754B2 (en) 2018-09-27 2021-08-10 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
JP2022181868A (ja) * 2021-05-27 2022-12-08 セイコーエプソン株式会社 表示システム、表示装置、及び表示装置の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293353A (ja) 1999-04-02 2000-10-20 Canon Inc 表示言語切替装置、表示言語切替方法、及び記憶媒体
JP2001175278A (ja) 1999-12-13 2001-06-29 Sharp Corp 表示手段を有する制御装置
JP2006244280A (ja) 2005-03-04 2006-09-14 Kts:Kk 表示言語切換装置及びプログラム
JP2008077373A (ja) 2006-09-21 2008-04-03 Oki Data Corp 情報処理システム
JP2011008435A (ja) 2009-06-24 2011-01-13 Kyocera Corp 携帯端末、言語設定プログラムおよび言語設定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689404B2 (en) 2004-02-24 2010-03-30 Arkady Khasin Method of multilingual speech recognition by reduction to single-language recognizer engine components
JP2006065528A (ja) 2004-08-26 2006-03-09 Sato Corp 情報表示装置およびその方法
KR100678201B1 (ko) * 2005-04-25 2007-02-02 삼성전자주식회사 휴대단말기에서 메인언어를 설정하는 방법
JP5159417B2 (ja) * 2007-07-10 2013-03-06 キヤノン株式会社 通信装置
JP2009189797A (ja) * 2008-02-13 2009-08-27 Aruze Gaming America Inc ゲーミングマシン
US9953630B1 (en) 2013-05-31 2018-04-24 Amazon Technologies, Inc. Language recognition for device settings
KR102084646B1 (ko) 2013-07-04 2020-04-14 삼성전자주식회사 음성 인식 장치 및 음성 인식 방법
CN105389162B (zh) * 2014-09-09 2019-03-26 北京金山安全软件有限公司 终端系统语言的更改方法、装置及终端
KR102188268B1 (ko) 2014-10-08 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105511857A (zh) * 2015-11-27 2016-04-20 小米科技有限责任公司 系统语言设置方法及装置
CN106681709A (zh) * 2016-11-24 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种系统语言切换方法及装置
DE102017200976B4 (de) 2017-01-23 2018-08-23 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs mit einer Bedienvorrichtung
WO2019084890A1 (en) 2017-11-03 2019-05-09 Tencent Technology (Shenzhen) Company Limited Method and system for processing audio communications over a network
JP7406874B2 (ja) * 2018-09-13 2023-12-28 キヤノン株式会社 電子機器、その制御方法、およびそのプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293353A (ja) 1999-04-02 2000-10-20 Canon Inc 表示言語切替装置、表示言語切替方法、及び記憶媒体
JP2001175278A (ja) 1999-12-13 2001-06-29 Sharp Corp 表示手段を有する制御装置
JP2006244280A (ja) 2005-03-04 2006-09-14 Kts:Kk 表示言語切換装置及びプログラム
JP2008077373A (ja) 2006-09-21 2008-04-03 Oki Data Corp 情報処理システム
JP2011008435A (ja) 2009-06-24 2011-01-13 Kyocera Corp 携帯端末、言語設定プログラムおよび言語設定方法

Also Published As

Publication number Publication date
CN110895925B (zh) 2024-04-12
DE102019124350A1 (de) 2020-03-19
US20220083735A1 (en) 2022-03-17
JP2020042745A (ja) 2020-03-19
US20200089753A1 (en) 2020-03-19
GB2578512A (en) 2020-05-13
CN110895925A (zh) 2020-03-20
US11188714B2 (en) 2021-11-30
GB201912645D0 (en) 2019-10-16
US11914958B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
JP7406874B2 (ja) 電子機器、その制御方法、およびそのプログラム
JP6811758B2 (ja) 音声対話方法、装置、デバイス及び記憶媒体
US9344878B2 (en) Method and system for operating communication service
TWI497406B (zh) 用於為一語音辨識互動模組提供輸入功能之方法及電腦可讀取媒體
JP6060989B2 (ja) 音声録音装置、音声録音方法、及びプログラム
US10089974B2 (en) Speech recognition and text-to-speech learning system
US11462213B2 (en) Information processing apparatus, information processing method, and program
JP6725006B2 (ja) 制御装置および機器制御システム
JP6844608B2 (ja) 音声処理装置および音声処理方法
US20150310878A1 (en) Method and apparatus for determining emotion information from user voice
CN105210364A (zh) 在视频回放期间的动态音频空间感改变
CN110943908A (zh) 语音消息发送方法、电子设备及介质
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
JP6985113B2 (ja) 電子機器の通訳機能提供方法
US9805721B1 (en) Signaling voice-controlled devices
JP5733566B2 (ja) 翻訳装置、翻訳方法及びプログラム
CN104660819B (zh) 移动设备以及访问移动设备中文件的方法
US20110216915A1 (en) Providing audible information to a speaker system via a mobile communication device
CN111028832B (zh) 麦克风静音模式控制方法、装置及存储介质和电子设备
JP6927331B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102494051B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR102359163B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR20210040913A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
JP2008096577A (ja) Av機器に対する音声操作システム
JP2005292693A (ja) ボイスレコーダ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231213

R151 Written notification of patent or utility model registration

Ref document number: 7406874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151