JP7180007B2 - 翻訳方法及び電子装置 - Google Patents

翻訳方法及び電子装置 Download PDF

Info

Publication number
JP7180007B2
JP7180007B2 JP2021546040A JP2021546040A JP7180007B2 JP 7180007 B2 JP7180007 B2 JP 7180007B2 JP 2021546040 A JP2021546040 A JP 2021546040A JP 2021546040 A JP2021546040 A JP 2021546040A JP 7180007 B2 JP7180007 B2 JP 7180007B2
Authority
JP
Japan
Prior art keywords
electronic device
language
utterance
user
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021546040A
Other languages
English (en)
Other versions
JP2022508789A (ja
Inventor
▲賀▼瑾 谷
▲龍▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022508789A publication Critical patent/JP2022508789A/ja
Priority to JP2022183465A priority Critical patent/JP2023029846A/ja
Application granted granted Critical
Publication of JP7180007B2 publication Critical patent/JP7180007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42348Location-based services which utilize the location information of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、2018年10月15日に中国国家知識産権局に出願され、名称が「翻訳方法及び電子装置」である中国特許出願第201811198981.Xの優先権を主張し、本中国特許出願の全体が参照により本明細書に援用される。
本出願は端末技術の分野に関し、特に翻訳方法及び電子装置に関する。
近年、エレクトロニクス産業と通信技術との急速な発展にともない、スマートホームデバイス、たとえば、携帯電話、スマートスピーカやスマートバンドの数が増大しており、人々の生活がますますインテリジェント化している。携帯電話の携帯性と、アプリケーションストアから様々な機能を持つアプリケーションソフトウェアをダウンロードする能力とにより、携帯電話は人々の日常生活に欠くことのできない必需品になってきた。
国をはさんだ取引と通信との絶え間ない発展と進歩とにともない、ユーザの国際化の傾向により、異なる言語を話す人々の間のコミュニケーションが不十分になる問題が必然的に生じる。例として中国語及び英語のネイティブスピーカであるユーザの間で通話をする場合、中国語を用いるユーザは英語のユーザとコミュニケーションするのに英語に堪能である必要があり、僅かな英語のユーザしか中国語を理解していない。したがって、言語が国際的なコミュニケーションの最大の障害になり、通話の際に瞬時に言語を翻訳することを必要とする局面がますます重要になる。
現在では、先行技術を用いて通話の際に瞬時に言語を翻訳することを実行することができる。しかし、言語の種類が切り換えられる必要がある場合、通話が中断される必要があり、言語の種類が不具合なく設定された後に通話が再開される。これに加えて、翻訳プロセス中に遅延が存在する。この結果、通話中に翻訳後の機械による発話がユーザの発話と重なる場合がある。
本出願では翻訳方法及び電子装置を提供し、これにより、異なる言語を用いる通話中の2者が電子装置の翻訳機能を用いて口頭によるコミュニケーションを円滑かつリアルタイムに実現することができる。
第1の態様に係れば、本出願の実施形態では翻訳方法を提供し、方法は第1の電子装置に適用可能であり、方法は、第1の電子装置が第2の電子装置に対する通話接続を確立して、第1の電子装置の通話インタフェイスを表示し、その後、第1の電子装置が第1のユーザの第1の操作を受け、第1の操作に応じて、第1の電子装置が通話インタフェイスの表示から翻訳インタフェイスの表示に切り換え、その後、第1の電子装置が第1の言語での第1のユーザの第1の発話を受けて、第1の発話を第2の電子装置に送り、第1の発話に応じて、第1の電子装置の翻訳インタフェイスが少なくとも第1のテキスト及び第2のテキストを逐次的に表示し、第1のテキストは第1の発話を認識することによって取得され、第2のテキストは第1の発話を目標言語に翻訳することによって取得され、翻訳インタフェイスが第2のテキストを表示するとき、第1の電子装置が目標言語での機械による発話を第2の電子装置に送り、目標言語での機械による発話は第1の発話を目標言語に翻訳することによって取得されることを含む。この方法に係れば、目標言語での機械による発話と目標言語のテキストとが同期させられることが可能であるので、ユーザが翻訳後テキストを読み終わったのに機械による発話が未だ受けられていないという問題が避けられる。
さらに、第1の電子装置は翻訳インタフェイスに対して第1のユーザによって行われた言語設定操作を受け、言語設定操作に応じて、第1の電子装置は翻訳インタフェイスの表示から言語設定インタフェイスの表示に切り換え、言語設定インタフェイスは第2の言語の設定制御部を含み、第1の電子装置は第2の言語の設定制御部に対して第1のユーザによって行われた確認操作を受け、確認操作に応じて、第1の電子装置は目標言語を第2の言語に設定し、第1の電子装置は通話インタフェイスに対して第1のユーザによって行われたオンフック操作を受け、オンフック操作に応じて、第1の電子装置は通話接続を終了する。本方法では、通話中に言語設定が変更されることが可能であるので、翻訳機能がよりユーザフレンドリである。
可能な設計では、第1の電子装置は第1のユーザによってダイヤルされた通話番号から国際通話番号を取得し、その後、国際通話番号に基づいて、目標言語を国際通話番号に対応する国の公用語に設定してもよい。言い換えると、第1の電子装置はユーザの手動操作をともなわずに目標言語を自動的に設定することができるので、翻訳機能がよりユーザフレンドリである。
可能な設計では、第1の発話に応じた後、かつ翻訳インタフェイスが少なくとも第1のテキスト及び第2のテキストを逐次的に表示する前に、方法は、第1の発話を認識することによって第1のテキストを取得して、第1のテキストを目標言語の第2のテキストに翻訳するステップと、第2のテキストを目標言語での機械による発話に変換するステップとをさらに含む。言い換えると、本出願の本実施形態では、上述の方法を用いてユーザ発話が翻訳されることが可能である。テキストと機械による発話との両方が翻訳を通じて取得されるので、ユーザは相手の通話内容を容易に理解することができる。
可能な設計では、方法は、第1の電子装置が目標言語での第1のユーザの第2の発話を受けて、第2の発話を第2の電子装置に送り、その後、第1の電子装置が翻訳インタフェイス上の自分の翻訳の読上げの制御部に対して第1のユーザによって行われたクローズ操作を受け、クローズ操作に応じて、電子装置が翻訳インタフェイスを表示し、翻訳インタフェイスが目標言語の第3のテキストをさらに含み、第3のテキストが第2の発話を認識することによって取得されることをさらに含む。
本出願の本実施形態では、ユーザはユーザ自身の発話の翻訳機能を自由に有効にしたり無効にしたりすることで、的確でない翻訳が削減されることが可能であり、通話の円滑さが改善されることが可能である。
可能な設計では、方法は、第1の電子装置が目標言語での第1のユーザの第2の発話を受けて、第2の発話を第2の電子装置に送り、第2の発話に対応する言語が目標言語であることを検出したとき、第2の発話に応じて、電子装置が第2の発話の翻訳を省略し、翻訳インタフェイスを表示し、翻訳インタフェイスが目標言語の第3のテキストをさらに含むことをさらに含む。
本出願の本実施形態では、ユーザ自身の発話の翻訳機能が自動的に無効にされるので、的確でない翻訳が削減されることが可能であり、通話の円滑さが改善されることが可能である。
可能な設計では、第1の電子装置が目標言語での機械による発話を第2の電子装置に送った後、かつ第1の電子装置が通話インタフェイスに対して第1のユーザによって行われたオンフック操作を受ける前に、方法は、目標言語での発話であり、かつ第2の電子装置によって送られた第3の発話を受けるステップと、第3の発話に応じて、翻訳インタフェイスを表示するステップであって、翻訳インタフェイスは目標言語の第4のテキストと第1の言語の第5のテキストとをさらに含み、目標言語の第4のテキストは第3の発話を認識することによって取得され、第1の言語の第5のテキストは第3の発話を目標言語に翻訳することによって取得される、ステップと、
第1の言語での発話であり、かつ第2の電子装置によって送られた機械による発話を第1の電子装置が受けるとき、第5のテキストを翻訳インタフェイスに表示するステップであって、第1の言語での機械による発話は第3の発話を目標言語に翻訳することによって取得される、ステップとをさらに含む。
本出願の本実施形態では、第1の電子装置は相手ユーザによって送られた発話及び機械による発話を受けることができ、これにより、口頭によるコミュニケーションを円滑かつリアルタイムに実施する。
可能な設計では、第1の電子装置は目標言語での発話であり、かつ第2の電子装置によって送られた第3の発話を第1の電子装置の受話器を用いて再生し、第1の言語での発話であり、かつ第2の電子装置によって送られた機械による発話を第1の電子装置が受けた後、かつ第1の電子装置が通話インタフェイスに対して第1のユーザによって行われたオンフック操作を受ける前に、方法は、第1の言語での機械による発話を第1の電子装置のスピーカを用いて再生するステップをさらに含む。本方法により、様々な場面でユーザが相手ユーザの通話内容を理解することを補助することができる。
可能な設計では、第1の電子装置が通話インタフェイスに対して第1のユーザによって行われたオンフック操作を受ける前に、方法は、翻訳インタフェイス上のミュート制御部に対して第1のユーザによって行われたクローズ操作を受けるステップと、クローズ操作に応じて、第1の言語での機械による発話の再生を停止するステップとをさらに含む。このようにして、翻訳機能はよりユーザフレンドリになることができ、これにより、ユーザエクスペリエンスが改善される。
可能な設計では、第1の電子装置が第1の言語での機械による発話を第1の電子装置のスピーカを用いて再生するとき、方法は、第1の言語での第1のユーザの第4の発話を受けるステップと、第4の発話に応じて、喚起情報を表示するステップであって、喚起情報は、第1の言語での機械による発話が再生された後に発話を送るように第1のユーザに指示するのに用いられる、ステップとをさらに含む。本方法を用いれば、ユーザが過度に速く発話したり、ユーザによって送られた連続する発話の間隔が過度に短かったりする場合、発話速度を落とすことをユーザに気づかせるように、電子装置が喚起情報を翻訳インタフェイスに表示することができ、これにより、機械による発話とユーザの発話とが重なることを防止する。
可能な設計では、方法は、翻訳インタフェイスに対して第1のユーザによって行われた抜け出る操作を受けるステップと、抜け出る操作に応じて、翻訳インタフェイスの表示から通話インタフェイスの表示に切り換えるステップと、第1の言語での第1のユーザの第5の発話を受けるステップと、第5の発話を第2の電子装置に送るステップとをさらに含む。このように、実際に必要になることに応じて翻訳機能を有効にすることはユーザにとって有用であり、よりユーザフレンドリでありかつよりユーザに特化され、ユーザエクスペリエンスを改善する。
第2の態様に係れば、本出願の実施形態ではプロセッサとメモリとを含む電子装置を提供する。メモリは1つ以上のコンピュータプログラムを記憶するように構成される。メモリに記憶されている1つ以上のコンピュータプログラムがプロセッサによって実行されるとき、電子装置が上述の態様のいずれか1つにおける可能な設計のいずれか1つにおける方法を実施することが可能にされる。
第3の態様に係れば、本出願の実施形態では装置をさらに提供する。装置は、上述の態様のいずれか1つにおける可能な設計のいずれか1つにおける方法を実行するためのモジュール/部位を含む。当該モジュール/部位は、ハードウェアによって実施されてもよいし、対応するソフトウェアを実行することによってハードウェアによって実施されてもよい。
第4の態様に係れば、本出願の実施形態ではコンピュータ可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体はコンピュータプログラムを含む。コンピュータプログラムが電子装置で実行されるとき、電子装置は上述の態様のいずれか1つにおける可能な設計のいずれか1つにおける方法を実行する。
第5の態様に係れば、本出願の実施形態ではコンピュータプログラムプロダクトをさらに提供する。コンピュータプログラムプロダクトが端末で実行されるとき、電子装置は上述の態様のいずれか1つにおける可能な設計のいずれか1つにおける方法を実行する。
本出願のこれらの態様又は他の態様は実施形態の以下の説明中でより簡潔にまとめられて理解し易いものになっている。
本出願の実施形態に係る相互接続の場面の概略図である。 本出願の実施形態に係る携帯電話の概略構成図である。 本出願の実施形態に係るAndroidオペレーティングシステムの概略構成図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係る別のインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係る別のインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係る別のインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係る別のインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係る別のインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイスの概略図である。 本出願の実施形態に係るインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイス群に含まれる1つのインタフェイスの概略図である。 本出願の実施形態に係るインタフェイスの概略図である。 本出願の実施形態に係るインタフェイスの概略図である。 本出願の実施形態に係る電子装置の概略構成図である。 本出願の実施形態に係る別の電子装置の概略構成図である。
理解を容易にするために、以下に示されているように、本出願の実施形態に関連するいくつかの概念の説明が参照のための例として提供されている。
機械翻訳は自動翻訳とも呼ばれ、コンピュータを用いてある自然言語(起点言語)を別の自然言語(目標言語)に変換するプロセスである。
以下、本出願の実施形態の添付の図面を参照して本出願の実施形態の技術的解決手段を説明する。本出願の実施形態の以下の説明では、用語「第1」及び「第2」は説明のために用いられているのにすぎず、対象とされている技術的特徴の相対的な重要性の表示若しくは示唆、又は対象とされている技術的特徴の数量の暗示的表示として理解されないものとする。したがって、「第1」又は「第2」によって限定されている特徴は1つ以上の特徴を明示的又は暗示的に含む場合がある。以下における第1の言語及び第2の言語は自然言語を指し、第1の発話及び第2の発話はユーザによって形成される音響を指す。本出願の実施形態の説明では、別途記載されていない限り、「複数」は2つ以上を意味する。
本出願の実施形態において提供される翻訳方法は、通信ネットワークに基づいて複数の電子装置100が相互接続される図1に示されている場面に適用されてもよい。通信ネットワークはローカルエリアネットワークであってもよいし、中継(relay)装置を用いて切り換えられる広域ネットワークであってもよい。通信ネットワークがローカルエリアネットワークである場合には、たとえば、通信ネットワークは短距離通信ネットワーク、たとえばWiFiホットスポットネットワーク、WiFi P2Pネットワーク、Bluetoothネットワーク、ZigBeeネットワークや近距離無線通信(near field communication,NFC)であってもよい。通信ネットワークが広域ネットワークである場合には、たとえば、通信ネットワークは第三世代移動通信技術(3rd-generation wireless telephone technology,3G)ネットワーク、第四世代移動通信技術(the 4th generation mobile communication technology,4G)ネットワーク、第五世代移動通信技術(5th-generation mobile communication technology,5G)ネットワーク、将来の発展型の公衆陸上移動体ネットワーク(public land mobile network,PLMN)やインターネットであってもよい。図1に示されている場面では、異なる電子装置が通信ネットワークを用いてデータを交換してもよく、たとえば、写真、テキストや動画を交換したり、電子装置が写真、テキストや動画などの対象を処理した後に得られた結果を交換したりしてもよい。
本出願のいくつかの実施形態では、図1に示されている電子装置100は、パーソナルデジタルアシスタントの機能及び/又は音楽プレーヤ機能などの別の機能をさらに含むポータブル電子装置であってもよく、たとえば、無線通信機能を持つ携帯電話、タブレットコンピュータや、ウェアラブルデバイス(スマートウォッチなど)であってもよい。ポータブル電子装置の実施形態は、iOS(登録商標)、Android(登録商標)、Microsoft(登録商標)又は別のオペレーティングシステムを用いるポータブル電子装置を含むが、これらに限定されない。さらに、ポータブル電子装置はタッチ感知面(たとえばタッチパネル)を有するラップトップコンピュータ(laptop)などの別のポータブル電子装置であってもよい。本出願の他の実施形態では上記とは異なり電子装置100がポータブル電子装置ではなく、タッチ感知面(たとえばタッチパネル)を有するデスクトップコンピュータであってもよいことがさらに分かる。
たとえば、図2に示されているように、以下では、実施形態を具体的に説明するのに例として電子装置100を用いている。
電子装置100は、プロセッサ110、外部メモリインタフェイス120、内部メモリ121、USBインタフェイス130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、音声モジュール170、スピーカ170A、レシーバ170B、マイク170C、ヘッドセットジャック170D、センサモジュール180、キー190、モータ191、インジケータ192、カメラ193、表示画面194、SIMカードインタフェイス195などを含んでもよい。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、近接光センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、骨伝導センサ180Mなどを含んでもよい。
本発明の本実施形態において示されている構成が電子装置100に対する特定の限定を構成しないと解されるべきである。本出願の他の実施形態では、電子装置100は図示されている構成要素よりも多数であったり少数であったりする構成要素を含んでもよいし、いくつかの構成要素を組み合せてもよいし、いくつかの構成要素を分割してもよいし、異なる構成要素配置を持ってもよい。図示されている構成要素はハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組合せによって実施されてもよい。
プロセッサ110は1つ以上の処理ユニットを含んでもよい。たとえば、プロセッサ110はアプリケーションプロセッサ(application processor,AP)、モデムプロセッサ、グラフィック処理装置(graphics processing unit,GPU)、画像信号プロセッサ(image signal processor,ISP)、コントローラ、メモリ、動画コーデック、デジタル信号プロセッサ(digital signal processor,DSP)、ベースバンドプロセッサ及び/又はニューラルネットワークプロセッサ(Neural-network Processing Unit,NPU)を含んでもよい。異なる処理ユニットが独立したデバイスであってもよいし、1つ以上のプロセッサに組み込まれてもよい。
コントローラが電子装置100の中枢や指令の中心であってもよい。コントローラは指示動作コードに応じた動作制御信号とタイミング信号とを生成することで、指示の取得と指示の実行との制御を完遂してもよい。
プロセッサ110にはメモリがさらに配置されてもよく、メモリは指示とデータとを記憶するように構成されている。いくつかの実施形態では、プロセッサ110中のメモリはキャッシュである。メモリはプロセッサ110によって直前に用いられた指示やデータや、繰り返し用いられている指示やデータを記憶してもよい。プロセッサ110が指示やデータを再度用いる必要がある場合、指示やデータがメモリから直接呼び出されてもよく、これにより、何度もアクセスが繰り返されることを防止し、プロセッサ110の待機時間を削減し、したがって、システム効率を改善する。
いくつかの実施形態では、プロセッサ110は1つ以上のインタフェイスを含んでもよい。インタフェイスはアイ・スクウェア・シー(inter-integrated circuit,I2C)インタフェイス、IC間サウンド(inter-integrated circuit sound,I2S)インタフェイス、パルス符号変調(pulse code modulation,PCM)インタフェイス、ユニバーサル・エイシンクロナス・レシーバ/トランスミッタ(universal asynchronous receiver/transmitter,UART)インタフェイス、モバイル・インダストリ・プロセッサ・インタフェイス(mobile industry processor interface,MIPI)、汎用入出力(general-purpose input/output,GPIO)インタフェイス、加入者識別モジュール(subscriber identity module,SIM)インタフェイス、ユニバーサルシリアルバス(universal serial bus,USB)インタフェイス及び/又は類似物を含んでもよい。
I2Cインタフェイスは1つのシリアルデータライン(serial data line,SDA)と1つのシリアルクロックライン(serial clock line,SCL)とを含む双方向同期シリアルバスである。いくつかの実施形態では、プロセッサ110はI2Cバスの複数のグループを含んでもよい。プロセッサ110は異なるI2Cバスインタフェイスを用いてタッチセンサ180K、充電器、カメラのフラッシュ、カメラ193などに別々に接続されてもよい。たとえば、プロセッサ110はI2Cインタフェイスを用いてタッチセンサ180Kに接続されてもよく、これにより、プロセッサ110はI2Cバスインタフェイスを用いてタッチセンサ180Kと通信することで、電子装置100のタッチ機能を実施する。
I2Sインタフェイスが音声通信に用いられてもよい。いくつかの実施形態では、プロセッサ110はI2Sバスの複数のグループを含んでもよい。プロセッサ110はI2Sバスを用いて音声モジュール170に接続されてもよく、これにより、プロセッサ110と音声モジュール170との間の通信を実施する。いくつかの実施形態では、音声モジュール170はI2Sインタフェイスを用いて無線通信モジュール160に音声信号を送ってもよく、これにより、Bluetoothヘッドセットを通じて電話に応対する機能を実施する。
また、PCMインタフェイスが音声通信、サンプリング、量子化及びアナログ信号の符号化に用いられてもよい。いくつかの実施形態では、音声モジュール170と無線通信モジュール160とがPCMバスインタフェイスを用いて接続されてもよい。いくつかの実施形態では、音声モジュール170はPCMインタフェイスを用いて無線通信モジュール160に音声信号も送ってもよく、これにより、Bluetoothヘッドセットを通じて電話に応対する機能を実施する。音声通信にI2Sインタフェイス及びPCMインタフェイスが用いられてもよい。
UARTインタフェイスは非同期通信に用いられる汎用のシリアルデータバスである。バスはシリアル通信とパラレル通信との間で送られるデータを変換する双方向通信バスであってもよい。いくつかの実施形態では、UARTインタフェイスは通常、プロセッサ110と無線通信モジュール160とを接続するように構成されている。たとえば、プロセッサ110はUARTインタフェイスを用いて無線通信モジュール160中のBluetoothモジュールと通信し、これにより、Bluetooth機能を実施する。いくつかの実施形態では、音声モジュール170はUARTインタフェイスを用いて無線通信モジュール160に音声信号を送ってもよく、これにより、Bluetoothヘッドセットを通じて音楽を再生する機能を実施する。
MIPIインタフェイスはプロセッサ110を表示画面194やカメラ193などの周辺デバイスに接続するように構成されてもよい。MIPIインタフェイスはカメラシリアルインタフェイス(camera serial interface,CSI)、ディスプレイシリアルインタフェイス(display serial interface,DSI)などを含む。いくつかの実施形態では、プロセッサ110はCSIインタフェイスを用いてカメラ193と通信し、これにより、電子装置100の撮影機能を実施する。プロセッサ110はDSIインタフェイスを用いて表示画面194と通信し、これにより、電子装置100の表示機能を実施する。
GPIOインタフェイスはソフトウェアによって構成されてもよい。GPIOインタフェイスは制御信号として構成されてもよいし、データ信号として構成されてもよい。いくつかの実施形態では、GPIOインタフェイスはプロセッサ110をカメラ193、表示画面194、無線通信モジュール160、音声モジュール170、センサモジュール180などに接続するように構成されてもよい。GPIOインタフェイスはI2Cインタフェイス、I2Sインタフェイス、UARTインタフェイス、MIPIインタフェイスなどとしても構成されてもよい。
USBインタフェイス130はUSB標準仕様に準拠するインタフェイスであり、特に、Mini USBインタフェイス、Micro USBインタフェイス、USB Type Cインタフェイスなどであってもよい。USBインタフェイスは電子装置100を充電する充電器に接続されるように構成されてもよいし、電子装置100と周辺デバイスとの間でデータを伝送するように構成されてもよい。USBインタフェイスはヘッドセットに接続されてヘッドセットを通じて音声を再生するようにも構成されてもよい。インタフェイスは別の電子装置、たとえばARデバイスに接続されるようにさらに構成されてもよい。
本発明の本実施形態において示されているモジュール間のインタフェイス接続関係は説明のための例にすぎず、電子装置100の構成に対する限定を構成しないと解されるべきである。本出願の他の実施形態では、電子装置100は上述の実施形態とは異なるインタフェイス接続様式を別様に用いたり、複数のインタフェイス接続様式の組合せを別様に用いたりしてもよい。
充電管理モジュール140は充電器から充電入力を受けるように構成されている。充電器は無線充電器であってもよいし、有線充電器であってもよい。いくつかの有線充電の実施形態では、充電管理モジュール140は有線充電器からUSBインタフェイスを通じて充電入力を受けてもよい。いくつかの無線充電の実施形態では、充電管理モジュール140は電子装置100の無線充電コイルを用いて無線充電入力を受けてもよい。バッテリ142を充電しているときに、さらに充電管理モジュール140は電力管理モジュール141を用いて電子装置に電力を供給してもよい。
電力管理モジュール141はバッテリ142、充電管理モジュール140及びプロセッサ110に接続されるように構成されている。電力管理モジュール141はバッテリ142及び/又は充電管理モジュール140から入力を受け、プロセッサ110、内部メモリ121、外部メモリ、表示画面194、カメラ193、無線通信モジュール160などに電力を供給する。電力管理モジュール141はバッテリ容量、バッテリサイクルの多さやバッテリの健全状態(リークやインピーダンス)などのパラメータをモニタするようにさらに構成されてもよい。他の実施形態では、電力管理モジュール141がプロセッサ110に配置されることも行われてもよい。他の実施形態では、電力管理モジュール141と充電管理モジュール140とが同じデバイスに配置されることも行われてもよい。
電子装置100の無線通信機能がアンテナモジュール1、アンテナモジュール2、移動通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどを用いて実施されてもよい。
アンテナ1及びアンテナ2は電磁波信号を送受信するように構成されている。電子装置100の各アンテナは1つ以上の通信周波数バンドをカバーするように構成されてもよい。アンテナの活用度を改善するために異なるアンテナが多重化されてもよい。たとえば、セルラネットワークアンテナが多重化されて、無線ローカルエリアネットワークで用いられるダイバーシティアンテナにされてもよい。他の実施形態では、アンテナがチューニングスイッチと組み合されて用いられてもよい。
移動通信モジュール150は、電子装置100に適用されかつ2G、3G、4G、5Gなどを含む無線通信解決手段を提供してもよい。移動通信モジュール150は少なくとも1つのフィルタ、スイッチ、パワーアンプ、ローノイズアンプ(Low Noise Amplifier,LNA)などを含んでもよい。移動通信モジュール150はアンテナ1を用いて電磁波を受信し、受信された電磁波にフィルタリングや増幅などの処理を実行し、復調のために電磁波をモデムプロセッサに渡してもよい。移動通信モジュール150はモデムプロセッサによって変調された信号を増幅し、信号を電磁波に変換し、アンテナ1を用いて電磁波を外部に放射することも行ってもよい。いくつかの実施形態では、移動通信モジュール150の少なくともいくつかの機能モジュールがプロセッサ110に配置されてもよい。いくつかの実施形態では、移動通信モジュール150の少なくともいくつかの機能モジュールとプロセッサ110の少なくともいくつかのモジュールとが同じデバイスに配置されてもよい。
モデムプロセッサは変調器と復調器とを含んでもよい。変調器は送信される低周波ベースバンド信号を中周波信号又は高周波信号に変調するように構成されている。復調器は受信された電磁波信号を低周波ベースバンド信号に復調するように構成されている。その後、復調器は復調を通じて得られた低周波ベースバンド信号を処理のためにベースバンドプロセッサに送る。ベースバンドプロセッサによって処理された後、低周波ベースバンド信号はアプリケーションプロセッサに送られる。アプリケーションプロセッサは音声デバイス(スピーカ170A、レシーバ170Bなどに限定されない)を用いて音響信号を出力したり、表示画面194を用いて画像又は動画を表示したりする。いくつかの実施形態では、モデムプロセッサは独立したデバイスであってもよい。他の実施形態では、モデムプロセッサはプロセッサ110から独立してもよく、移動通信モジュール150又は別の機能モジュールとともに同じデバイスに配置されてもよい。
無線通信モジュール160は、電子装置100に適用されかつ無線ローカルエリアネットワーク(wireless local area networks,WLAN)、ブルートゥース(登録商標)(bluetooth,BT)、全地球測位衛星システム(global navigation satellite system,GNSS)、周波数変調(frequency modulation,FM)、近距離無線通信技術(near field communication,NFC)、赤外線技術(infrared,IR)などを含む無線通信解決手段を提供してもよい。無線通信モジュール160は少なくとも1つの通信処理モジュールを集積する1つ以上のデバイスであってもよい。無線通信モジュール160はアンテナ2を用いて電磁波を受信し、電磁波信号に周波数変調及びフィルタリング処理を行い、処理された信号をプロセッサ110に送る。無線通信モジュール160は送信された信号をプロセッサ110から受け、信号に周波数変調及び増幅を行い、信号を電磁波に変換し、アンテナ2を用いて電磁波を外部に放射することも行ってもよい。本出願の本実施形態では、無線通信モジュール160は第1のユーザの発話と目標言語での翻訳後の機械による発話とを送ったり、相手ユーザによって送られた目標言語での発話と第1の言語での翻訳後の機械による発話とを送ったりするように構成されている。
いくつかの実施形態において、電子装置100では、アンテナ1が移動通信モジュール150に接続され、アンテナ2が無線通信モジュール160に接続されることにより、電子装置100が無線通信技術を用いてネットワーク及び別の装置と通信することができる。無線通信技術は汎欧州デジタル移動電話方式(global system for mobile communications,GSM)、汎用パケット無線サービス(general packet radio service,GPRS)、符号分割多元接続(code division multiple access,CDMA)、広帯域符号分割多元接続(wideband code division multiple access,WCDMA(登録商標))、時分割符号分割多元接続(time-division code division multiple access,TD-SCDMA)、ロングタームエボリューション(long term evolution,LTE)、BT、GNSS、WLAN、NFC、FM、IR技術及び/又は類似物を含んでもよい。GNSSは全地球測位システム(global positioning system,GPS)、全地球測位衛星システム(global navigation satellite system,GLONASS)、北斗衛星測位システム(beidou navigation satellite system,BDS)、準天頂衛星システム(quasi-zenith satellite system,QZSS)及び/又は静止衛星型補強システム(satellite based augmentation systems,SBAS)を含んでもよい。
電子装置100はGPU、表示画面194、アプリケーションプロセッサなどを用いて表示機能を実施する。GPUは画像処理のためのマイクロプロセッサであり、表示画面194及びアプリケーションプロセッサに接続されている。GPUはグラフィックの描画のために算術演算及びジオメトリ演算を行うように構成されている。プロセッサ110はプログラム指示を実行して表示情報を生成したり変更したりする1つ以上のGPUを含んでもよい。
表示画面194は画像、動画などを表示するように構成されている。表示画面194は表示パネルを含む。表示パネルは、LCD(liquid crystal display,液晶ディスプレイ)、OLED(organic light-emitting diode,有機発光ダイオード)、アクティブマトリクス式有機発光ダイオード又はアクティブマトリクス式有機発光ダイオード(active-matrix organic light emitting diode,AMOLED)、フレキシブル発光ダイオード(flex light-emitting diode,FLED)、Miniled、MicroLed、Micro-oLed、量子ドット発光ダイオード(quantum dot light emitting diodes,QLED)などを用いてもよい。いくつかの実施形態では、電子装置100は1つ又はN個の表示画面を含んでもよく、ここで、Nは1を超える正の整数である。本出願の本実施形態では、表示画面194は通話インタフェイス、翻訳インタフェイス、言語設定インタフェイスなどを表示するように構成されてもよい。
電子装置100はISP、カメラ193、動画コーデック、GPU、表示画面194、アプリケーションプロセッサなどを用いて撮影機能を実施してもよい。
ISPはカメラ193によってフィードバックされたデータを処理するように構成されている。たとえば、撮影の際、シャッタが開放され、レンズを用いて光がカメラの感光要素に渡され、光信号が電気信号に変換され、カメラの感光要素が処理のために電気信号をISPに送ることで、電気信号が肉眼で視ることができる画像に変換される。ISPは画像ノイズ、明るさや肌の色に対するアルゴリズム最適化も実行してもよい。ISPは撮影の場面の露出や色温度などのパラメータも最適化してもよい。いくつかの実施形態では、ISPはカメラ193に配置されてもよい。
カメラ193は静止画像又は動画を撮像するように構成されている。レンズを通じて被写体の光学像が生成され、感光要素に投影される。感光要素は電荷結合素子(charge coupled device,CCD)や相補型金属酸化物半導体(complementary metal-oxide-semiconductor,CMOS)フォトトランジスタであってもよい。感光要素は光信号を電気信号に変換した後、電気信号をデジタル画像信号に変換するために電気信号をISPに送る。ISPはデジタル画像信号を処理のためにDSPに出力する。DSPはデジタル画像信号をRGBやYUVなどの標準的なフォーマットの画像信号に変換する。いくつかの実施形態では、電子装置100は1つ又はN個のカメラを含んでもよく、ここで、Nは1を超える正の整数である。
デジタル信号プロセッサはデジタル信号を処理するように構成されており、デジタル画像信号に加えて別のデジタル信号を処理してもよい。たとえば、電子装置100が周波数を選択する場合に、デジタル信号プロセッサは周波数エネルギーに対してフーリエ変換などを実行するように構成されている。
動画コーデックはデジタル動画を圧縮したり展開したりするように構成されている。デジタル100は1種類以上の動画コーデックをサポートしてもよい。このようにして、電子装置100は動画を複数の符号化フォーマット、たとえば、MPEG1、MPEG2、MPEG3やMPEG4で再生したり録画したりすることができる。
NPUはニューラルネットワーク(neural-network,NN)コンピューティングプロセッサである。生物学的ニューラルネットワークの構成を参考にすることによって、たとえば、人間の脳のニューロン間の伝達の様式を参考にして、NPUは入力情報を迅速に処理し、さらに、自己学習を絶えず実行することができる。NPUを用いることで、電子装置100の知能的認識などの適用例、たとえば、画像認識、顔認証、音声認識やテキスト理解が実施されてもよい。
電子装置100の記憶容量を拡張するために、外部メモリインタフェイス120が外部メモリカード、たとえばMicro SDカードに接続されるように構成されてもよい。データ記憶機能を実施するために、外部メモリカードが外部メモリインタフェイス120を用いてプロセッサ110と通信する。たとえば、外部メモリカードには音楽や動画などのファイルが記憶される。
内部メモリ121はコンピュータ実行可能プログラムコードを記憶するように構成されてもよく、実行可能プログラムコードは指示を含む。プロセッサ110は内部メモリ121に記憶されている指示を実行することによって電子装置100の様々な機能アプリケーション及びデータ処理を実行する。メモリ121はプログラム記憶エリアとデータ記憶エリアとを含んでもよい。プログラム記憶エリアはオペレーティングシステム、少なくとも1つの機能(たとえば音響再生機能と画像再生機能)によって必要とされるアプリケーションプログラムなどを記憶してもよい。データ記憶エリアは、電子装置100が用いられるときに作成されるデータ(音声データや電話帳など)などを記憶してもよい。これに加えて、メモリ121は高速のランダムアクセスメモリを含んでもよく、メモリ121は不揮発メモリ、たとえば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリデバイスやユニバーサルフラッシュストレージ(universal flash storage,UFS)をさらに含んでもよい。
電子装置100は音声モジュール170、スピーカ170A、レシーバ170B、マイク170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを用いて音楽の再生及び録音などの音声機能を実施してもよい。
音声モジュール170は出力のためにデジタル音声情報をアナログ音声信号に変換するように構成されており、また、アナログ音声入力をデジタル音声信号に変換するようにも構成されている。音声モジュール170は音声信号の符号化及び復号を行うようにさらに構成されてもよい。いくつかの実施形態では、音声モジュール170はプロセッサ110に配置されてもよいし、音声モジュール170のいくつかの機能モジュールがプロセッサ110に配置される。
「スピーカ」とも称されているスピーカ170Aは、音声電気信号を音響信号に変換するように構成されている。電子装置100のスピーカ170Aを用いることで、ユーザが音楽を聴いたりハンズフリー通話に応対したりしてもよい。本出願の本実施形態では、スピーカ170Aは翻訳後の機械による発話を再生するように構成されている。
「受話器(earpiece)」とも称されているレシーバ170Bは、音声電気信号を音響信号に変換するように構成されている。電子装置100が通話やボイスメッセージを受けるときに、ユーザが耳の近くにレシーバ170Bを配置することによって発話を聴いてもよい。
「マイク」や「マイク」とも称されているマイク170Cは、音響信号を電気信号に変換するように構成されている。通話を行ったりボイスメッセージを送ったりするときに、ユーザが口の近くまでマイク170Cを移動させた後に発話してもよく、音響信号がマイク170Cに入力される。少なくとも1つのマイク170Cが電子装置100に配置されてもよい。他の実施形態では、2つのマイクが電子装置100に配置されてもよく、音響信号を収集するのに加えて、ノイズリダクション機能がさらに実施されてもよい。他の実施形態では、3つ、4つ又はそれを超えるマイクが電子装置100に別様に配置されて、音響信号の収集、ノイズの低減、音源の特定や指向性録音機能の実施などの機能を実施してもよい。本出願の本実施形態では、マイク170Cはユーザの発話、たとえば、第1の言語での第1のユーザの第1の発話を収集するように構成されてもよい。
ヘッドセットジャック170Dは有線ヘッドセットに接続されるように構成されている。ヘッドセットジャックはUSBインタフェイスであってもよいし、オープン・モバイル・ターミナル・プラットフォーム(open mobile terminal platform,OMTP)の3.5mm標準インタフェイスや、米国セルラ電気通信工業協会(cellular telecommunications industry association of the USA,CTIA)の標準インタフェイスであってもよい。
圧力センサ180Aは圧力信号を感知するように構成されており、圧力信号を電気信号に変換してもよい。いくつかの実施形態では、圧力センサ180Aは表示画面194に配置されてもよい。抵抗式圧力センサ、誘導式圧力センサや電気容量式圧力センサなどの多くのタイプの圧力センサ180Aが存在する。電気容量式圧力センサは導電材料を含む少なくとも2つの平行プレートを含んでもよい。圧力センサ180Aに力が印加されると、電極間の電気容量が変化する。電子装置100は電気容量の変化に基づいて圧力の強さを定量する。表示画面194にタッチ操作が行われると、電子装置100はタッチ操作の強さを圧力センサ180Aを用いて検出する。電子装置100は圧力センサ180Aの検出信号に基づいてタッチ位置の計算も行ってもよい。いくつかの実施形態では、同じタッチ位置に行われるが、タッチ操作の強さが異なるタッチ操作が異なる動作指示に対応してもよい。たとえば、タッチ操作の強さが第1の圧力閾値未満であるタッチ操作がショートメッセージアプリケーションアイコンに行われると、ショートメッセージを見るための指示が実行される。タッチ操作の強さが第1の圧力閾値以上であるタッチ操作がショートメッセージアプリケーションアイコンに行われると、新たなショートメッセージを作成するための指示が実行される。
ジャイロセンサ180Bは電子装置100の運動姿勢を定量するように構成されてもよい。いくつかの実施形態では、ジャイロセンサ180Bを用いて3軸(すなわち、x軸、y軸及びz軸)まわりの電子装置100の角速度が定量されてもよい。ジャイロセンサ180Bは撮影の際に手ぶれ補正(image stabilization)を行うように構成されてもよい。たとえば、シャッタが押されると、ジャイロセンサ180Bが電子装置100のぶれの角度を検出し、その角度に基づいて、レンズモジュールによって補償する必要がある距離を計算し、レンズによる逆の動きにより電子装置100のぶれを相殺することを可能にすることで、手ぶれ補正を実施する。さらに、ジャイロセンサ180Bはナビゲーションや体性感覚を利用するゲームの場面で用いられてもよい。
気圧センサ180Cは気圧を測定するように構成されている。いくつかの実施形態では、電子装置100は気圧センサ180Cによって測定された気圧値を用いて高度を計算して、測位及びナビゲーションを補助する。
磁気センサ180Dはホール効果センサを含む。電子装置100は磁気センサ180Dを用いて二つ折り式カバーやスマートカバーの開閉を検出してもよい。いくつかの実施形態では、電子装置100が二つ折り式の装置である場合、電子装置100は磁気センサ180Dを用いて二つ折り部の開閉を検出してもよい。その後、検出されたスマートカバーの開/閉状態や検出された二つ折り部の開/閉状態に基づいて二つ折り式の自動ロック解除などの特徴が設定される。
加速度センサ180Eは様々な方向(通常3軸)の電子装置100の加速度の大きさを検出してもよい。電子装置100が静止状態であるときに、重力の大きさ及び方向が検出されてもよい。加速度センサ180Eは電子装置の姿勢を認識するようにさらに構成されてもよく、横向き/縦向き切換えや歩数計などのアプリケーションに適用される。
距離センサ180Fは距離を測定するように構成されている。電子装置100は赤外線やレーザを用いて距離を測定してもよい。いくつかの実施形態では、撮影の場面で、電子装置100は距離センサ180Fを用いて距離を測定して高速フォーカシングを実施してもよい。
近接光センサ180Gは、例として、発光ダイオード(LED)と光検出器(たとえばフォトダイオード)とを含んでもよい。発光ダイオードは赤外線発光ダイオードであってもよい。電子装置100は発光ダイオードを用いて外に向けて赤外光を発光し、電子装置100は近くにある対象から反射された赤外光をフォトダイオードを用いて検出する。十分な反射光が検出された場合、電子装置100は電子装置100の近くに対象があると判断することができる。不十分な反射光しか検出されない場合、電子装置100は電子装置100の近くに対象がないと判断することができる。電子装置100は近接光センサ180Gを用いてユーザが耳の近くに電子装置100を保持して通話を行っていることを検出することで、画面を自動的にオフにして電力を節約してもよい。画面の自動ロック解除及びロックを行うためにスマートカバー形態及びポケット形態で近接光センサ180Gが用いられるようにもしてもよい。
周囲光センサ180Lは周囲光の輝度を感知するように構成されている。電子装置100は感知された周囲光の輝度に基づいて表示画面194の輝度を適切に調節してもよい。周囲光センサ180Lは撮影の際にホワイトバランスを自動的に調節するようにも構成されてもよい。さらに、周囲光センサ180Lは近接光センサ180Gと協働して、電子装置100がポケット内にあるか否かを検出して、意図しないタッチを防止してもよい。
指紋センサ180Hは指紋を収集するように構成されている。電子装置100は収集された指紋の特徴を用いて指紋ロック解除、アプリケーションロックのアクセス、指紋に基づく撮影、指紋に基づく通話応対などを実施してもよい。
温度センサ180Jは温度を検出するように構成されている。いくつかの実施形態では、電子装置100は温度センサ180Jによって検出された温度を用いて温度処理ポリシを実行する。たとえば、温度センサ180Jによって報告された温度が閾値を超えると、電子装置100は温度センサ180Jの近くにあるプロセッサのパフォーマンスを下げて、電力消費を抑え、サーマルプロテクションを実施する。他の実施形態では、温度が別の閾値よりも低いと、電子装置100はバッテリ142を加熱して、低温による電子装置100の異常な電源オフを防止する。他の実施形態では、温度がさらに別の閾値よりも低いと、電子装置100はバッテリ142の出力電圧を上昇させて低温による異常な電源オフを防止する。
タッチセンサ180Kは「タッチパネル」とも称されている。タッチセンサ180Kは表示画面194に配置されてもよく、表示画面194上で実行されたり表示画面194の近傍で実行されたりするタッチ操作を検出するように構成されている。検出されたタッチ操作がアプリケーションプロセッサに渡されてタッチイベントのタイプを決定してもよく、決定すると、表示画面194は対応する視覚的出力を提供する。他の実施形態では、タッチセンサ180Kは電子装置100の表面に上記とは異なるように配置されてもよく、そうなると、タッチセンサ180Kの位置は表示画面194の位置とは異なる。本出願の本実施形態では、タッチパネルは言語設定制御に関する最初の操作と、確認操作、クローズ操作、又は抜け出る操作などのタッチ操作とを受けるように構成されている。
骨伝導センサ180Mは振動信号を取得してもよい。いくつかの実施形態では、骨伝導センサ180Mは人体の発声部分にある振動骨から振動信号を取得してもよい。骨伝導センサ180Mはヒトの脈動部と接触し、血圧拍動信号を受けることも行ってもよい。いくつかの実施形態では、骨伝導センサ180Mはヘッドセットにも配置されてもよい。音声モジュール170は発声部分にある振動骨から骨伝導センサ180Mによって取得された振動信号に基づく解析から発声信号を取得して発話機能を実施してもよい。アプリケーションプロセッサは骨伝導センサ180Mによって取得された血圧拍動信号に基づく心拍数情報を解析して心拍数検出機能を実施してもよい。
キー190は電源キー、ボリュームキーなどを含む。キーは機械式のキーであってもよいし、タッチ式のキーであってもよい。電子装置100はキー入力を受けて、電子装置100のユーザ設定や機能制御に関連するキー信号入力を生成してもよい。
モータ191は喚起振動(vibration prompt)を発生させてもよい。モータ191は着信の場合に喚起振動を発生させるように構成されてもよいし、タッチ振動フィードバックを行うように構成されてもよい。たとえば、異なるアプリケーション(たとえば、撮影や音声再生)に対して行われるタッチ操作が異なる振動フィードバック効果に対応してもよい。表示画面194の異なるエリアに対して行われるタッチ操作に対応して、モータ191は異なる振動フィードバック効果を提供することも行ってもよい。異なるアプリケーションの場面(たとえば、タイムリマインダ、情報の受取り、アラームクロックやゲーム)も異なる振動フィードバック効果に対応してもよい。タッチ振動フィードバック効果がカスタマイズされることも行われてもよい。
インジケータ192はインジケータであってもよく、充電状態やバッテリレベル変化を示すように構成されてもよし、メッセージ、応対しそこなった着信、通知などを示すように構成されてもよい。
SIMカードインタフェイス195は加入者識別モジュール(subscriber identity module,SIM)に接続されるように構成されている。電子装置100への接触と電子装置100からの切離しとを実施するために、SIMカードがSIMカードインタフェイスに挿入されたりSIMカードインタフェイスから抜き出されたりしてもよい。電子装置100は1つ又はN個のSIMカードインタフェイスをサポートしてもよく、ここで、Nは1を超える正の整数である。SIMカードインタフェイス195はNano SIMカード、Micro SIMカード、SIMカードなどをサポートしてもよい。複数のSIMカードが同じSIMカードインタフェイスに挿入されることが可能である。複数のSIMカードが同じタイプのSIMカードであってもよいし、異なるタイプのSIMカードであってもよい。SIMカードインタフェイス195は異なるタイプのSIMカードとの互換性も持ってもよい。SIMカードインタフェイス195は外部メモリカードとも互換性を持ってもよい。電子装置100はSIMカードを用いてネットワークとやり取りして通話やデータ通信などの機能を実施する。いくつかの実施形態では、電子装置100にはeSIMカード、すなわち組込み型SIMカードを用いる。eSIMカードは電子装置100に組み込まれているといえ、電子装置100から切り離されることができない。電子装置100のソフトウェアシステムには階層型アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャやクラウドアーキテクチャを用いてもよい。本発明の本実施形態では、電子装置100のソフトウェア構成を説明するのに例として階層型アーキテクチャを用いるAndroidシステムが用いられている。
図3は本発明の実施形態に係る電子装置100のソフトウェア構成のブロック図である。
階層型アーキテクチャでは、ソフトウェアがいくつかのレイヤに分けられ、各レイヤには明確な役割と責任(responsibility)とがある。レイヤはソフトウェアインタフェイスを通じて互いにやり取りする。いくつかの実施形態では、Androidシステムが4つのレイヤに分けられる。4つのレイヤは、上から下に向かって、アプリケーションプログラムレイヤ、アプリケーションプログラムフレームワークレイヤ、Androidランタイム(Android runtime)及びシステムライブラリ、並びにカーネルレイヤである。
アプリケーションプログラムレイヤは一連のアプリケーションプログラムパッケージを含んでもよい。
図3に示されているように、アプリケーションプログラムパッケージは電話、カメラ、ギャラリ、カレンダ、通話、マップ、ナビゲーション、WLAN、Bluetooth、音楽、動画やショートメッセージなどのアプリケーションプログラムを含んでもよい。
アプリケーションプログラムフレームワークレイヤはアプリケーションプログラミングインタフェイス(application programming interface,API)と、アプリケーションプログラムレイヤにあるアプリケーションプログラムのプログラミングフレームワークとを提供する。アプリケーションプログラムフレームワークレイヤはいくつかの既定の機能を含む。
図3に示されているように、アプリケーションプログラムフレームワークレイヤは、ウインドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャなどを含んでもよい。
ウインドウマネージャはウインドウプログラムを管理するように構成されている。ウインドウマネージャは表示画面のサイズの取得、ステータスバーの有無の決定、画面のロック、画面のキャプチャなどを行ってもよい。
コンテンツプロバイダはデータの記憶及び取得を行い、アプリケーションプログラムがデータにアクセス可能になるようにするように構成されている。データは動画、画像、音声、発信されて応対された通話、閲覧履歴及びブックマーク、電話帳などを含んでもよい。
ビューシステムは視覚化制御、たとえば、テキストを表示するための制御や写真を表示するための制御を含む。ビューシステムは所定のアプリケーションプログラムを構築するように構成されてもよい。ディスプレイインタフェイスは1つ以上のビューを含んでもよい。たとえば、ショートメッセージ通知アイコンを含むディスプレイインタフェイスはテキストを表示するためのビューと写真を表示するためのビューとを含んでもよい。
電話マネージャは、電子装置100の通信機能、たとえば、通話状態(接続状態とオンフック状態とを含む)の管理を行うように構成されている。
リソースマネージャはアプリケーションプログラムのための様々なリソース、たとえば、ローカライズされた文字列、アイコン、写真、レイアウトファイルや動画ファイルを提供する。
通知マネージャはアプリケーションプログラムがステータスバーに通知情報を表示するのを可能にする。通知マネージャはユーザとやり取りすることなく短い期間の後に自動的に消える通知型メッセージを伝えるように構成されてもよい。たとえば、通知マネージャはダウンロードが完了したことを通知したり、メッセージリマインダを提供したりなどを行うように構成される。これの代わりに、通知マネージャはチャートやスクロールバーテキストの形態でシステムの上部にあるステータスバーに現れる通知、たとえば、バックグラウンドで動作するアプリケーションプログラムの通知であってもよいし、ダイアログウインドウの形態で画面に現れる通知であってもよい。たとえば、ステータスバー中でテキスト情報が喚起され、喚起音が鳴り、電子装置が振動し、インジケータが点滅する。
Android Runtimeはコアライブラリと仮想マシンとを含む。Android runtimeはAndroidシステムのスケジューリング及び管理を担う。
コアライブラリは2つの部分を含み、一方はJava言語によって呼び出される必要があるパフォーマンス機能であり、他方はAndroidコアライブラリである。
仮想マシンではアプリケーションプログラムレイヤとアプリケーションプログラムフレームワークレイヤとが動作する。仮想マシンはアプリケーションプログラムレイヤ及びアプリケーションプログラムフレームワークレイヤでJavaファイルをバイナリファイルとして実行する。仮想マシンはオブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理やガベージコレクションなどの機能を実行するように構成されている。
システムライブラリは複数の機能モジュールを含んでもよく、たとえば、サーフェスマネージャ(surface manager)、メディアライブラリ(Media Libraries)、3次元グラフィック処理ライブラリ(たとえばOpenGL ES)や2Dグラフィックエンジン(たとえばSGL)を含んでもよい。
サーフェスマネージャはディスプレイサブシステムを管理し、複数のアプリケーションプログラムの2Dレイヤと3Dグラフィックレイヤとを組み合せるように構成されている。
メディアライブラリは一般的に用いられている複数のフォーマットの音声及び動画と静止画像ファイルとの再生及び記録をサポートする。メディアライブラリは複数の音声及び動画符号化フォーマット、たとえば、MPEG4、H.264、MP3、AAC、AMR、JPGやPNGをサポートしてもよい。
3次元グラフィック処理ライブラリは3次元グラフィック描画、画像レンダリング及び合成、グラフィックレイヤ処理などを実施するように構成されている。
2Dグラフィックエンジンは2D描画のための描画エンジンである。
カーネルレイヤはハードウェアとソフトウェアとの間にあるレイヤである。カーネルレイヤは少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ及びセンサドライバを含む。
上述のハードウェア構成を持つ電子装置100で以下のすべての実施形態が実行され得る。以下の実施形態では、本出願の実施形態において提供されている翻訳方法を説明するのに例として電子装置100が用いられている。
本出願の実施形態において提供される翻訳方法に係れば、異なる言語を用いる通話中の2者が電子装置の翻訳機能を用いて口頭によるコミュニケーションを円滑かつリアルタイムに実現することができる。以下、添付の図面と適用場面とを参照して本出願の実施形態において提供される翻訳方法を詳細に説明する。
場面1
例として第1の電子装置と第2の電子装置との通話が主に用いられる。第1の電子装置の第1のユーザであるWangの母国語が中国語であり、すなわち、第1のユーザの第1の言語が中国語である。第2の電子装置の第2のユーザであるEvelyn Choiの母国語が英語であり、すなわち、第1のユーザの目標言語が英語である。図4aに示されているように、第1のユーザであるWangが第1の電子装置の電話アプリケーションを起動し、電話アプリケーションインタフェイスで第2のユーザであるEvelyn Choiに向けて発呼する。通話が接続された後は、第1のユーザであるWangが英語に堪能ではないので、第1のユーザであるWangは図4aのインタフェイス上で翻訳機能を有効にしようと考える。図4aに示されている通話インタフェイス上で翻訳の機能制御部401に対して第1のユーザであるWangによって行われた第1の操作(たとえば、タッチや左へのフリック)に応じて、第1の電子装置が図4bに示されている翻訳インタフェイスを表示する。翻訳インタフェイスは通話中の両者のテキストメッセージ及びボイスメッセージを表示するのに用いられる。
通話中の2者の言語が同じであるか否かを電子装置がモニタすることによって翻訳機能を自動的に有効にして翻訳インタフェイスを表示することも行ってもよい点に留意するべきである。たとえば、第1のユーザであるWangの言語が中国語であり、相手、すなわち第2のユーザであるEvelyn Choiの言語が英語であることを第1の電子装置が検出する。2つの言語が異なるので、翻訳機能が自動的に有効にされる。
たとえば、第1のユーザであるWangが第1の発話「もしもし。Airbnbから部屋を予約したので、予約情報の確認をお願いしたいのですが。」を中国語で相手に送ると、第1の電子装置が第1の発話を第2の電子装置に送り、同時に、第1の発話を中国語テキストとして自動的に認識し、中国語テキストを図4bで示されている翻訳インタフェイスに表示する。その後、第1の電子装置が中国語テキストから英語テキスト“Hello,I booked a room from Airbnb,and would like to confirm the booking information with you.”に翻訳し、英語テキストを図4bに示されている翻訳インタフェイスの中国語テキストの下のエリアに表示する。さらに、第1の電子装置が英語テキストを英語の機械による発話に変換し、第1のユーザであるWangの中国語の発話を第2のユーザであるEvelyn Choiに送った後、第1の電子装置が英語の機械による発話を第2のユーザであるEvelyn Choiにさらに送る。このようにして、相手、すなわち第2のユーザであるEvelyn Choが第1のユーザであるWangによって送られた中国語の発話と英語の機械による発話とを逐次的に受けた後、第2のユーザであるEvelyn Choiは第1のユーザであるWangの通話内容を理解することができる。その後、第2のユーザであるEvelyn Choiが英語の第3の発話で“Sure,from Match 14 to 17,3 nights totally,a single room,right?”と返答する。この場合、まず第1の電子装置が第2のユーザであるEvelyn Choiによって返答された第3の発話を受けた後、第1の電子装置が第3の発話を第4のテキストとして自動的に認識し、第4のテキストを図4cで示されている翻訳インタフェイスに表示する。その後、第1の電子装置が英語の第4のテキストを中国語の第5のテキスト「かしこまりました。3月14日から17日まで、シングルルームに3泊ですが、よろしいでしょうか。」に翻訳し、中国語のテキストを図4bに示されている翻訳インタフェイスの第4のテキスト“Sure,from Match 14 to 17,3 nights totally,a single
room,right?”の下のエリアに表示する。さらに、第1の電子装置が第5のテキストを中国語の機械による発話に変換する。第1のユーザであるWangは図4cに示されている翻訳インタフェイス上の中国語テキストを読んだり、中国語の機械による発話を再生したりすることによって相手ユーザの通話内容を理解することができる。
さらに、第1のユーザであるWangが中国語の発話で「はい結構です。6時にチェックインします。ありがとうございました。」と返答してもよい。まず第1の電子装置が第1のユーザであるWangの中国語の発話を中国語テキストとして自動的に認識し、中国語テキストを図4dに示されている翻訳インタフェイスに表示する。その後、第1の電子装置が中国語テキストから英語テキスト“Yes,I will check in at 6 o’clock,thanks.”に変換し、英語テキストを図4dに示されている翻訳インタフェイスの中国語テキスト「はい結構です。6時にチェックインします。ありがとうございました。」の下のエリアに表示する。さらに、第1の電子装置が英語テキストを英語の機械による発話に変換し、第1のユーザであるWangの文章の中国語の発話を第2のユーザであるEvelyn Choiに送った後、第1の電子装置が英語の機械による発話を第2のユーザであるEvelyn Choiにさらに送る。このようにして、相手、すなわち第2のユーザであるEvelyn Choiが第1のユーザであるWangによって返答された中国語の発話と英語の機械による発話とを受けた後、第2のユーザであるEvelyn Choiは第1のユーザであるWangの通話内容を理解することができ、第2のユーザであるEvelyn Choiは英語の発話で“Got it,You are welcome.”と返答する。この場合、まず第1の電子装置が第2のユーザであるEvelyn Choiによって返答された文章の英語の発話を受け、その後、まず第1の電子装置がこの文章の英語の発話を英語テキストとして自動的に認識し、英語テキストを図4eで示されている翻訳インタフェイスに表示する。その後、第1の電子装置が英語テキストを中国語テキスト「承知しました。ご連絡ありがとうございました。」に翻訳し、中国語テキストを図4eに示されている翻訳インタフェイスの英語テキスト“Got it,You are welcome.”の後に表示する。さらに、第1の電子装置が中国語テキストを中国語の機械による発話に変換する。第1のユーザであるWangは図4eに示されている翻訳インタフェイス上の中国語テキストを読んだり、中国語の機械による発話を再生したりすることによって相手ユーザの通話内容を理解することができる。
図4b~図4eに示されている翻訳インタフェイスにおいては、翻訳後テキストがAIロボットによって送られるメッセージの形態で翻訳インタフェイスに表示される。これに加えて、図4b~図4eに示されている翻訳インタフェイスにおいては、図4bの制御部403に示されているように、第1の電子装置によって現在再生されている機械による発話の傍らに再生アイコンが付される。
図4aの翻訳制御部401の位置の設定の仕方に加えて、複数の位置の設定の仕方があり得る点に留意するべきである。図4f~図4iに示されているように、図4fの通話インタフェイスの右上隅の「吹き出し(More)」メニューに翻訳制御部401が設置され、図4g1及び図4g2では通話制御部の列挙物中に翻訳制御部401が設置されている。1画面に通話制御部の列挙物が表示されることが不能である場合、ナビゲーションポイントが用いられてディスプレイをフリックしてもよい。たとえば、図4hの通話インタフェイスにフローティング式の翻訳制御部401が設置される。ユーザが翻訳制御部上で左にフリックすると、表示画面が図4iに示されている翻訳インタフェイスを表示してもよい。
これに加えて、第1の電子装置と第2の電子装置との両方に翻訳機能がある場合、第1の電子装置と第2の電子装置との両方が図4b~図4eに示されている翻訳インタフェイスを表示してもよい点に留意するべきである。第2の電子装置に翻訳機能がない場合、第2の電子装置は図4b~図4eに示されている翻訳インタフェイスを表示しなくてもよく、ユーザは相手から受けた発話と翻訳後の機械による発話とを聴くことのみで会話内容を理解する。これの代わりに、第1の電子装置も第2の電子装置も図4b~図4eに示されている翻訳インタフェイスを表示しなくてもよく、ユーザは相手から受けた発話と翻訳後の機械による発話とを用いることのみで会話内容を理解する。
電子装置に翻訳機能がある場合、電子装置がネットワークに接続され、ネットワークを用いてクラウドサーバから翻訳後テキストと翻訳後の機械による発話とを取得してもよい点がさらに留意されるべきである。たとえば、電子装置がワイヤレスフィディリティ(wireless fidelity,wifi)ネットワークに接続され、クラウドサーバから翻訳後テキストと翻訳後の機械による発話とを取得したり、電子装置がボイス・オーバ・ロング・ターム・エボリューション(voice over long term evolution,VOLTE)を用いて通話を開始し、通話の際にクラウドサーバから翻訳後テキストと翻訳後の機械による発話とを取得したりする。これに加えて、翻訳機能は機械翻訳であってもよく、マニュアルオンライン翻訳でもあってもよい。これに加えて、電子装置がネットワークに接続せずに電子装置に記憶されている言語ライブラリを用いて翻訳後テキストと翻訳後の機械による発話とを直接取得してもよい。
可能な設計例において、第1のユーザであるWangが近くにいる同僚、すなわち第3のユーザであるZhangに第1のユーザであるWangの通話内容をマニュアル翻訳するように依頼する場合に、第1のユーザであるWangが翻訳機能から抜け出ようと考えることができる。この場合、図4bに示されている抜け出し制御部402に対して第1のユーザであるWangによって行われた操作(たとえば、制御部402にタッチする操作)を第1の電子装置が検出すると、第1の電子装置が翻訳インタフェイスから抜け出て、同時に、第1のユーザ及び相手ユーザの通話内容の翻訳を停止するが、通話は続く。たとえば、第1の電子装置の第3のユーザであるZhangが英語の第5の発話“Thanks.”を送った後、第1の電子装置が第5の発話“Thanks.”を第2の電子装置に直接送る。すなわち、2人のユーザ間の通話中、電話を中断せずに翻訳機能が随時有効にされたり無効にされたりすることが可能である。このように、実際に必要になることに応じて翻訳機能を有効にすることはユーザにとって有用であり、よりユーザフレンドリでありかつよりユーザに特化され、ユーザエクスペリエンスを改善する。
本出願の別の実施形態では、図5に示されているように、第1のユーザであるWangが平均的な口頭英語レベルにあり、第1のユーザであるWangと第2のユーザであるEvelyn Choiとの間の通話の際にいくつかの簡単な口語英語を話すことができる場合、第1のユーザであるWangが通話中に英語の発話を直接送ることができる。この場合、当該文章が翻訳される必要はない。適宜、この効果を奏するために、第1のユーザであるWang自身の翻訳を翻訳する機能を手動で第1のユーザであるWangが無効にしてもよい。たとえば、第1のユーザであるWangが英語の第2の発話“Hello,I booked a room from Airbnb,and would like to confirm the booking information with you”を送った後、図5に示されている翻訳インタフェイス上の「自分の翻訳を読上げ」の機能制御部501に対して第1のユーザであるWangによって行われた無効操作(たとえば、制御部501にタッチする操作)に応じて、第1の電子装置が図5に示されている翻訳インタフェイスを表示する。英語テキスト“Hello,I booked a room from Airbnb,and would like to confirm the booking information with you”のみが翻訳インタフェイスに表示される。言い換えると、ユーザはユーザの通話内容を翻訳するか否かを必要に応じて選択することで、的確でない翻訳を削減して通話の流暢さを向上させることができる。上記とは別に、翻訳スイッチがオンにされている場合であっても、第1のユーザであるWangが相手と英語で直接コミュニケーションし、こちら側のユーザによって用いられる言語が英語であることを第1の電子装置が検出するときには、第1の電子装置が認識された対応英語テキストのみを表示し、認識された英語テキストを翻訳しない。
本出願の別の実施形態では、図6に示されているように、第1のユーザであるWangが運転中であったり、聴く必要がある別の者が周囲にいたりする場合、第1のユーザであるWangは「相手の翻訳を読上げ」の機能スイッチをオンにしようと考えることができる。たとえば、図6に示されている翻訳インタフェイス上の「自分の翻訳を読上げ」の機能制御部601に対して第1のユーザであるWangによって実行されたオン操作(たとえば、制御部601にタッチする操作)に第1の電子装置が反応して、第2のユーザであるEvelyn Choiが英語の発話“Sure,from Match 14 to 17,3 nights totally,a single room,right?”を送った後、第1の電子装置が第2のユーザであるEvelyn Choiによって送られた英語の発話に対応する中国語の発話「かしこまりました。3月14日から17日まで、シングルルームに3泊ですが、よろしいでしょうか。」を再生してもよい。言い換えると、相手の翻訳後の機械による発話内容をユーザが必要に応じて報知(broadcast)することを選択することができ、こうすることは異なるサービスの場面への適用性がより高く、ユーザエクスペリエンスを改善する。
本出願の別の実施形態では、通話の際に、実際に必要になることに応じて翻訳後の言語タイプをユーザが変更しようと考えることができるが、通話は中断されず、すなわち、通話は続く。図7a~図7dに示されているように、第1の電子装置が図7aで示されている「言語を設定」の制御部701に対して第1のユーザであるWangによって行われた操作(たとえば、制御部701にタッチする操作)を検出すると、図7bに示されている言語設定インタフェイスが表示され、言語設定インタフェイスは通話中の2者の言語タイプを含む。たとえば、言語設定インタフェイスは相手の言語と自分の言語とを含み、自分の言語はシステムのデフォルト言語を用いて予め取得されてもよい。たとえば、第1の電子装置のシステムのデフォルト言語が中国語である。したがって、図7bに示されているように、自分の言語は中国語であり、相手の言語がデフォルトで英語に設定される。通話中、相手の母国語がフランス語であることをユーザであるWangが知った場合、ユーザであるWangは相手の言語をフランス語に直ちに変更してもよい。すなわち、図7bに示されている翻訳インタフェイス上の相手の言語の制御部702に対して第1のユーザであるWangによって行われた操作(たとえば、制御部702にタッチする操作)を検出すると、第1の電子装置が図7cに示されている翻訳インタフェイスを表示する。翻訳インタフェイスは複数の言語の選択肢を含む。フランス語の制御部703に対してユーザによって行われた操作(たとえば、制御部703にタッチする操作)を検出すると、第1の電子装置が翻訳インタフェイス、すなわち図7dに示されている翻訳インタフェイスに戻る。翻訳インタフェイスは喚起情報「言語切換え中 お待ち下さい」をさらに含む。上述のプロセスでは、ユーザが通話中に言語タイプを切り換えることができるので、ユーザは円滑にコミュニケーションすることができ、これにより、コミュニケーション効率が改善されることが分かる。
本出願の別の実施形態では、仕方の一例として、ユーザが通話を確立する前に、ユーザは予め電話アプリケーションの言語設定インタフェイス、すなわち図7bに示されている言語設定インタフェイスにアクセスしてもよく、ユーザは先を見越して相手の言語と自分の言語とを設定する。通常、電子装置はデフォルトで、自分の言語をシステムのデフォルト言語に設定し、相手の言語を中国語に設定する。実際に必要になることに応じてデフォルト設定をユーザが修正してもよい。別の仕方では、ユーザが通話を確立すると、電子装置がユーザによってダイヤルされた電話番号のうちから取得された国際通話番号(international area code)や、着信番号のうちから取得された国際通話番号に基づいて相手の言語を自動的に設定してもよい。すなわち、目標言語を国際通話番号に対応する国の公用語に電子装置が自動的に設定する。たとえば、第1のユーザであるWangによってなされた電話の国際通話番号が0033であれば、第1の電子装置が国際通話番号0033を取得して、国際通話番号がフランスのものであると判断する。フランスには複数の言語があるが、公用語はフランス語である。したがって、相手の言語の公用語をフランス語に第1の電子装置が自動的に変更する。別の例では、第2のユーザであるEvelyn Choiによって受けられた着信の国際通話番号が0086であれば、第2の電子装置が国際通話番号0086を取得して、国際通話番号が中国のものであると判断する。したがって、相手の言語を簡体字中国語に第2の電子装置が自動的に変更する。
本出願の別の実施形態では、翻訳中には特有の時間遅延が生じる場合があり、まず第1の電子装置又は第2の電子装置がユーザの発話をテキストに変換し、その後、テキストから機械による発話に変換する。したがって、元のテキスト及び翻訳後テキストが翻訳インタフェイスに直ぐに表示されることが可能である場合がある一方で、相手は音声データを受け取っておらず、すなわち、相手は翻訳後の機械による発話を受け取っていない。したがって、本出願の本実施形態において提供される発話手順を制御する仕方は以下の通りであり、まず第1の電子装置又は第2の電子装置のユーザによって送られた発話に対応するテキストを第1の電子装置又は第2の電子装置が表示し、第1の電子装置又は第2の電子装置のユーザによって送られた発話に対応する機械による発話を第1の電子装置又は第2の電子装置が翻訳によって取得した後、第1の電子装置又は第2の電子装置のユーザによって送られた発話に対応する翻訳後テキストが表示され、同時にスピーカが機械による発話を再生する。図8に示されているように、まず翻訳インタフェイスが「もしもし。Airbnbから部屋を予約したので、予約情報の確認をお願いしたいのですが。」を表示する。電子装置が翻訳後の機械による発話を取得した後、電子装置が“Hello,I booked a room from Airbnb,and would like to confirm the booking information with you”を表示し、同時に、スピーカが機械による発話“Hello,I booked a room from Airbnb,and would like to confirm the booking information with you”を報知する。翻訳インタフェイスが喚起表示「音声を取得し、再生する準備ができました」をさらに表示してもよい点に留意するべきである。このように、発話手順の制御が実施されることが可能であるだけでなく、ユーザが現在の装置状態を知るのに有用でもある。
本出願の別の実施形態では、ユーザが過度に速く発話したり、ユーザによって送られた連続する発話の間隔が過度に短かったりする場合、発話速度を落とすことをユーザに気づかせるように、電子装置が喚起情報を翻訳インタフェイスに表示することができ、これにより、機械による発話とユーザの発話とが重なることが防止される。たとえば、図9に示されているように、第1の電子装置のスピーカを用いて「かしこまりました。3月14日から17日まで、シングルルームに3泊ですが、よろしいでしょうか。」を第1の電子装置が再生する。スピーカが機械による発話の再生を完了する前に第1のユーザであるWangは翻訳インタフェイス上の翻訳後テキストを読み終えているので、第1のユーザであるWangは中国語の第4の発話「はい結構です。6時にチェックインします。ありがとうございました。」を送る場合がある。この場合、機械による発話と第1のユーザであるWangの発話とが重なる場合がある。したがって、第4の発話に応じて、第1の電子装置が喚起情報を表示し、この喚起情報は、第1の言語の機械による発話が再生された後に発話を送るように第1のユーザに指示するのに用いられる。図9に示されているように、翻訳インタフェイスは喚起情報「発話が速すぎます 翻訳が済むまでお待ち下さい」を含む。当然、喚起情報が翻訳インタフェイスに表示されなくてもよく、別のメッセージボックスを用いて表示画面に表示されてもよい。
これに加えて、図9に示されている翻訳インタフェイスにミュート制御部901とハンズフリー制御部902とがさらに設置されている点に留意するべきである。電子装置がミュート制御部901に対してユーザによって行われた操作(たとえば、制御部901にタッチする操作)を検出すると、電子装置は発話内容をもはや報知しない。電子装置がハンズフリー制御部902に対してユーザによって行われた操作(たとえば、制御部902にタッチする操作)を検出すると、電子装置は発話内容をもはや再生しない。このようにして、翻訳機能はよりユーザフレンドリになることができ、これにより、ユーザエクスペリエンスを改善する。
本出願のいくつかの実施形態において、本出願の一実施形態では電子装置を開示する。図10に示されているように、電子装置は上述の方法の実施形態に記載されている方法を実施するように構成されており、電子装置は受信部1001、表示部1002、送信部1003及び処理部1004を含む。受信部1001は、上述の方法でユーザの発話と機械による発話とを受ける動作を実行する際に電子装置をサポートするように構成されている。表示部1002は、上述の方法で通話インタフェイス、翻訳インタフェイス及び通話設定インタフェイスを表示する動作を実行する際に電子装置をサポートするように構成されている。送信部1003は、上述の方法でユーザの発話と機械による発話とを送る動作を実行する際に電子装置をサポートするように構成されている。処理部1004は、発話をテキストに変換し、発話及びテキストを目標言語の発話及びテキストに翻訳する際に電子装置をサポートするように構成されている。上述の方法の実施形態のすべての関連内容が、対応する部位モジュールの機能説明で参照されることができるので、ここでは詳細は重ねて説明されていない。
本出願の他の実施形態において、本出願の一実施形態では電子装置を開示する。図11に示されているように、電子装置はタッチ画面1101、1つ以上のプロセッサ1102、メモリ1103、1つ以上のアプリケーションプログラム(図示せず)及び1つ以上のコンピュータプログラム1104を含んでもよく、タッチ画面1101はタッチパネル1106と表示画面1107とを含む。上述のデバイスは1つ以上の通信バス1105を用いて接続されてもよい。1つ以上のコンピュータプログラム1104はメモリ1103に記憶されており、1つ以上のプロセッサ1102によって実行されるように構成されている。1つ以上のコンピュータプログラム1104は指示を含み、指示は図4a~図9の対応する実施形態の各ステップを実行するのに用いられてもよい。
本出願の実施形態ではコンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体はコンピュータ指示を記憶する。コンピュータ指示が電子装置で実行されると、電子装置が上述の関連方法ステップを実行して上述の実施形態の写真共有方法を実施することが可能にされる。
本出願の実施形態ではコンピュータプログラムプロダクトをさらに提供する。コンピュータプログラムプロダクトがコンピュータ上で動作すると、コンピュータが上述の関連ステップを実行して上述の実施形態の翻訳方法を実施することが可能にされる。
これに加えて、本出願の実施形態では装置をさらに提供する。装置は特にチップ、コンポネント又はモジュールであってもよく、装置は互いに接続されたプロセッサとメモリとを含んでもよい。メモリはコンピュータ実行可能指示を記憶するように構成されている。装置が動作すると、メモリに記憶されているコンピュータ実行可能指示をプロセッサが実行することができるので、チップが上述の方法の実施形態の翻訳方法を実行する。
本出願の実施形態において提供されている電子装置、コンピュータ記憶媒体、コンピュータプログラムプロダクト又はチップは、上記で提供されている対応方法を実行するように構成されている。したがって、電子装置、コンピュータ記憶媒体、コンピュータプログラムプロダクト又はチップによって実現されることが可能である有利な効果については、上記で提供されている対応方法の有利な効果を参照する。ここでは詳細は重ねて説明されていない。
実現例についての上述の説明により、簡便に説明するために、上述の機能モジュールの分割が図示のための例として行われていることを当業者は理解することができる。実際の適用の際には、上述の機能が異なるモジュールに割り当てられ、必要に応じて実施されることが可能であり、すなわち、装置の内部構造が上述の機能の全部又は一部を実施する異なる機能モジュールに分割される。
本出願において提供されているいくつかの実施形態では、開示されている装置及び方法が他の仕方で実施されてもよいと当然解される。たとえば、説明されている装置の実施形態は例にすぎない。たとえば、モジュールや部位の分割が論理的機能の分割に限られているが、実際の実現例では他の分割であってもよい。たとえば、複数の部位や構成要素が組み合されてもよいし別の装置に組み込まれてもよいし、いくつかの特徴が無視されてもよいし実行されなくてもよい。これに加えて、表示されたり説明されたりしている相互接続や直接接続や通信接続がいくつかのインタフェイスを通じて実施されてもよい。間接接続や、装置間や部位間の通信接続が電子的、機械的又はその他形態で実施されてもよい。
分離している部分として説明されている部位は物理的に分離していても物理的に分離していなくてもよく、部位として表示されている部分は1つ以上の物理的部位であってもよいし、一箇所に配置されてもよいし、異なる箇所に分散されてもよい。実際に必要になることに応じて部位の一部又は全部が選択されて、実施形態の解決手段の目的を達成してもよい。
これに加えて、本出願の実施形態の機能部位が1つの処理ユニットに組み込まれることができたり、部位の各々が物理的に単独で存在することができたり、2つ以上の部位が1つの部位に組み込まれたりする。統合された部位がハードウェアの形態で実施されてもよいし、ソフトウェア機能部位の形態で実施されてもよい。
統合された部位がソフトウェア機能部位の形態で実施され、独立した製品として販売されたり使用されたりする場合、統合された部位が可読記憶媒体に記憶されてもよい。このような理解に基づけば、本出願の必須の技術的解決手段や、先行技術に貢献する部分や、技術的解決手段の全部又は一部がソフトウェア製品の形態で実施されてもよい。ソフトウェア製品は記憶媒体に記憶され、ソフトウェア製品は、本出願の実施形態で説明されている方法のステップの全部又は一部を実行するようにデバイス(シングルチップマイクロコンピュータ、チップなどであってもよい)やプロセッサ(processor)に指示するいくつかの指示を含む。上述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読出し専用メモリ(read only memory,ROM)、ランダムアクセスメモリ(random access memory,RAM)、磁気ディスクや光ディスクなど、プログラムコードを記憶することができる任意の媒体を含む。
上述の説明は本出願の特定の実現例に限られているが、本出願の保護範囲を限定することは意図されていない。本出願で開示されている技術的範囲の当業者によって容易に理解される任意の変形や置換が本出願の保護範囲に含まれる。したがって、本出願の保護範囲は請求項の保護範囲にしたがう。
1,2 アンテナモジュール
100 電子装置
110 プロセッサ
120 外部メモリインタフェイス
121 内部メモリ
130 USBインタフェイス
140 充電管理モジュール
141 電力管理モジュール
142 バッテリ
150 移動通信モジュール
160 無線通信モジュール
170 音声モジュール
170A スピーカ
170B レシーバ
170C マイク
170D ヘッドセットジャック
180 センサモジュール
180A 圧力センサ
180B ジャイロセンサ
180C 気圧センサ
180D 磁気センサ
180E 加速度センサ
180F 距離センサ
180G 近接光センサ
180H 指紋センサ
180J 温度センサ
180K タッチセンサ
180L 周囲光センサ
180M 骨伝導センサ
190 キー
191 モータ
192 インジケータ
193 カメラ
194 表示画面
195 SIMカードインタフェイス
401 機能制御部/翻訳制御部
402 制御部/抜け出し制御部
403 制御部
501,601 機能制御部
701,702,703 制御部
901 ミュート制御部
902 ハンズフリー制御部
1001 受信部
1002 表示部
1003 送信部
1004 処理部
1101 タッチ画面
1102 プロセッサ
1103 メモリ
1104 コンピュータプログラム
1105 通信バス
1106 タッチパネル
1107 表示画面

Claims (19)

  1. 第1の電子装置に適用される翻訳方法であって、
    前記第1の電子装置の第2の電子装置に対する通話接続を確立して通話インタフェイスを表示するステップと、
    第1のユーザの第1の操作を受けるステップと、
    前記第1の操作に応じて、前記通話インタフェイスの表示から翻訳インタフェイスの表示に切り換えるステップと、
    第1の言語での前記第1のユーザの第1の発話を受けて、前記第1の発話を前記第2の電子装置に送るステップと、
    前記第1の発話に応じて、前記翻訳インタフェイスによって少なくとも第1のテキスト及び第2のテキストを示するステップであって、前記第1のテキストは前記第1の発話を認識することによって取得され、前記第2のテキストは前記第1の発話を目標言語に翻訳することによって取得される、ステップと、
    記目標言語での機械による発話を前記第2の電子装置に送るステップであって、前記目標言語での前記機械による発話は前記第1の発話を前記目標言語に翻訳することによって取得される、ステップと、
    前記翻訳インタフェイスに対して前記第1のユーザによって行われた言語設定操作を受けるステップと、
    前記言語設定操作に応じて、前記翻訳インタフェイスの表示から言語設定インタフェイスの表示に切り換えるステップであって、前記言語設定インタフェイスは第2の言語の設定制御部を備える、ステップと、
    前記第2の言語の前記設定制御部に対して前記第1のユーザによって行われた確認操作を受けるステップと、
    前記確認操作に応じて、前記目標言語を前記第2の言語に設定するステップと、
    前記通話インタフェイスに対して前記第1のユーザによって行われたオンフック操作を受けるステップと、
    前記オンフック操作に応じて、前記通話接続を終了するステップと
    を備える翻訳方法。
  2. 前記第1の電子装置によって第2の電子装置に対する通話接続を確立した後であって、第1の言語での前記第1のユーザの第1の発話を受ける前に、前記方法は、
    前記第1のユーザによってダイヤルされた通話番号から国際通話番号を取得するステップと、
    前記国際通話番号に基づいて、前記目標言語を前記国際通話番号に対応する国の公用語に設定するステップと
    をさらに備える、請求項1に記載の方法。
  3. 前記第1の発話に応じた後であって、前記翻訳インタフェイスによって少なくとも第1のテキスト及び第2のテキストを逐次的に表示する前に、前記方法は、
    前記第1の発話を認識することによって前記第1のテキストを取得して、前記第1のテキストを前記目標言語の前記第2のテキストに翻訳するステップと、
    前記第2のテキストを前記目標言語での前記機械による発話に変換するステップと
    をさらに備える、請求項1に記載の方法。
  4. 前記目標言語での前記第1のユーザの第2の発話を受けて、前記第2の発話を前記第2の電子装置に送るステップと、
    前記第2の発話に対応する言語が前記目標言語であることを検出したとき、前記第2の発話に応じて、前記第2の発話の翻訳を電子装置によって省略し、前記翻訳インタフェイスを表示するステップであって、前記翻訳インタフェイスは前記目標言語の第3のテキストをさらに備え、前記第3のテキストは前記第2の発話を認識することによって取得される、ステップと
    をさらに備える請求項1から3のいずれか一項に記載の方法。
  5. 前記目標言語での機械による発話を前記第2の電子装置に前記第1の電子装置によって送る前記ステップの後、かつ前記通話インタフェイスに対して前記第1のユーザによって行われたオンフック操作を受ける前記ステップの前に、前記方法は、
    前記目標言語での発話であり、かつ前記第2の電子装置によって送られた第3の発話を受けるステップと、
    前記第3の発話に応じて、前記翻訳インタフェイスを表示するステップであって、前記翻訳インタフェイスは前記目標言語の第4のテキストと前記第1の言語の第5のテキストとをさらに備え、前記目標言語の前記第4のテキストは前記第3の発話を認識することによって取得され、前記第1の言語の前記第5のテキストは前記第3の発話を前記第1の言語に翻訳することによって取得される、ステップと、
    前記第1の言語での発話であり、かつ前記第2の電子装置によって送られた機械による発話を受けるとき、前記第5のテキストを前記翻訳インタフェイスに表示するステップであって、前記第1の言語での前記機械による発話は前記第3の発話を前記第1の言語に翻訳することによって取得される、ステップと
    をさらに備える、請求項1から3のいずれか一項に記載の方法。
  6. 前記目標言語での発話であり、かつ前記第2の電子装置によって送られた第3の発話を前記第1の電子装置によって受ける前記ステップは、
    前記目標言語での発話であり、かつ前記第2の電子装置によって送られた前記第3の発話を前記第1の電子装置の受話器を用いて再生するステップ
    を備え、
    前記第1の言語での発話であり、かつ前記第2の電子装置によって送られた機械による発話を前記第1の電子装置によって受けた後であって、前記通話インタフェイスに対して前記第1のユーザによって行われたオンフック操作を前記第1の電子装置によって受ける前に、前記方法は、
    前記第1の言語での前記機械による発話を前記第1の電子装置のスピーカを用いて再生するステップ
    をさらに備える、請求項5に記載の方法。
  7. 前記通話インタフェイスに対して前記第1のユーザによって行われたオンフック操作を前記第1の電子装置によって受ける前記ステップの前に、前記方法は、
    前記翻訳インタフェイス上のミュート制御部に対して前記第1のユーザによって行われたクローズ操作を受けるステップと、
    前記クローズ操作に応じて、前記第1の言語での前記機械による発話の再生を停止するステップと
    をさらに備える、請求項6に記載の方法。
  8. 前記第1の言語での前記機械による発話を前記第1の電子装置のスピーカを用いて前記第1の電子装置によって再生する前記ステップのとき、前記方法は、
    前記第1の言語での前記第1のユーザの第4の発話を受けるステップと、
    前記第4の発話に応じて、喚起情報を表示するステップであって、前記喚起情報は、前記第1の言語での前記機械による発話が再生された後に発話を送るように前記第1のユーザに指示するのに用いられる、ステップと
    をさらに備える、請求項6に記載の方法。
  9. 前記通話インタフェイスに対して前記第1のユーザによって行われたオンフック操作を前記第1の電子装置によって受ける前記ステップの前に、前記方法は、
    前記翻訳インタフェイスに対して前記第1のユーザによって行われた抜け出る操作を受けるステップと、
    前記抜け出る操作に応じて、前記翻訳インタフェイスの表示から前記通話インタフェイスの表示に切り換えるステップと、
    前記第1の言語での前記第1のユーザの第5の発話を受けるステップと、
    前記第5の発話を前記第2の電子装置に送るステップと
    をさらに備える、請求項1に記載の方法。
  10. プロセッサ、無線通信モジュール、メモリ、タッチパネル、表示画面及びマイクを備える電子装置であって、
    前記タッチパネルは第1のユーザの操作を受けるように構成され、
    前記マイクは前記第1のユーザの発話を収集するように構成され、
    前記メモリは1つ以上のコンピュータプログラムを記憶するように構成され、前記1つ以上のコンピュータプログラムが前記プロセッサによって実行されるとき、
    前記無線通信モジュールを用いて第2の電子装置に対する通話接続を確立し、第1の電子装置の通話インタフェイスを表示するように前記表示画面に指示し、
    記タッチパネルを用いて前記第1のユーザの第1の操作を受け、
    前記第1の操作に応じて、前記通話インタフェイスの表示から翻訳インタフェイスの表示に切り換えるように前記表示画面に指示し、
    前記マイクを用いて第1の言語での前記第1のユーザの第1の発話を受け、
    記無線通信モジュールを用いて前記第1の発話を前記第2の電子装置に送り、
    前記第1の発話に応じて、第1のテキスト及び第2のテキストを表示するように前記表示画面に指示し、前記第1のテキストが前記第1の発話を認識することによって取得され、前記第2のテキストが前記第1の発話を目標言語に翻訳することによって取得され、
    記目標言語での機械による発話を前記第2の電子装置に前記無線通信モジュールを用いて送り、前記目標言語での前記機械による発話が前記第1の発話を前記目標言語に翻訳することによって取得され、
    前記翻訳インタフェイスに対して前記第1のユーザによって行われた言語設定操作を前記タッチパネルを用いて受け、
    前記言語設定操作に応じて、前記翻訳インタフェイスの表示から言語設定インタフェイスの表示に切り換えるように前記表示画面に指示し、前記言語設定インタフェイスが第2の言語の設定制御部を備え、
    前記第2の言語の前記設定制御部に対して前記第1のユーザによって行われた確認操作を前記タッチパネルを用いて受け、
    前記確認操作に応じて、前記目標言語を前記第2の言語に設定し、
    前記通話インタフェイスに対して前記第1のユーザによって行われたオンフック操作を前記タッチパネルを用いて受け、
    前記オンフック操作に応じて、前記通話接続を終了する
    ことを前記プロセッサが行うことが可能にされる、
    電子装置。
  11. 前記プロセッサは、
    前記無線通信モジュールを用いて前記第2の電子装置に対する前記通話接続が確立された後、かつ前記マイクを用いて前記第1の言語での前記第1のユーザの前記第1の発話が受けられる前に、前記第1のユーザによってダイヤルされた通話番号から国際通話番号を取得し、
    前記国際通話番号に基づいて、前記目標言語を前記国際通話番号に対応する国の公用語に設定する
    ようにさらに構成される、請求項10に記載の電子装置。
  12. 前記プロセッサは、
    前記第1の発話に応じた後、かつ少なくとも前記第1のテキスト及び前記第2のテキストを逐次的に表示するように前記表示画面に指示がされる前に、前記第1の発話を認識することによって前記第1のテキストを取得して、前記第1のテキストを前記目標言語の前記第2のテキストに翻訳し、
    前記第2のテキストを前記目標言語での前記機械による発話に変換する
    ようにさらに構成される、請求項10に記載の電子装置。
  13. 前記プロセッサは、
    前記無線通信モジュールを用いて、前記目標言語での前記第1のユーザの第2の発話を受けて前記第2の発話を前記第2の電子装置に送り、
    前記第2の発話に対応する言語が前記目標言語であることを検出したとき、前記第2の発話に応じて、前記第2の発話の翻訳を省略し、前記翻訳インタフェイスを表示するように前記表示画面に指示し、前記翻訳インタフェイスが前記目標言語の第3のテキストをさらに備え、前記第3のテキストが前記第2の発話を認識することによって取得される、
    ようにさらに構成される、請求項10から12のいずれか一項に記載の電子装置。
  14. 前記プロセッサは、
    前記目標言語での発話であり、かつ前記第2の電子装置によって送られた第3の発話を前記無線通信モジュールを用いて受け、
    前記第3の発話に応じて、前記翻訳インタフェイスを表示するように前記表示画面に指示し、前記翻訳インタフェイスが前記目標言語の第4のテキストと前記第1の言語の第5のテキストとをさらに備え、前記目標言語の前記第4のテキストが前記第3の発話を認識することによって取得され、前記第1の言語の前記第5のテキストが前記第3の発話を前記第1の言語に翻訳することによって取得され、
    前記第1の言語での発話であり、かつ前記第2の電子装置によって送られた機械による発話を前記無線通信モジュールを用いて受けるとき、前記第5のテキストを前記翻訳インタフェイスに表示し、前記第1の言語での前記機械による発話が前記第3の発話を前記第1の言語に翻訳することによって取得される、
    ようにさらに構成される、請求項10から13のいずれか一項に記載の電子装置。
  15. 前記電子装置はスピーカをさらに備え、前記プロセッサは、
    前記目標言語での発話であり、かつ前記第2の電子装置によって送られた前記第3の発話を前記第1の電子装置の受話器を用いて再生し、
    前記第1の言語での前記機械による発話を前記スピーカを用いて再生する
    ようにさらに構成される、請求項14に記載の電子装置。
  16. 前記プロセッサは、
    前記通話インタフェイスに対して前記第1のユーザによって行われた前記オンフック操作が前記タッチパネルを用いて受けられる前に、前記翻訳インタフェイス上のミュート制御部に対して前記第1のユーザによって行われたクローズ操作を前記タッチパネルを用いて受け、
    前記クローズ操作に応じて、前記第1の言語での前記機械による発話の再生を停止する
    ようにさらに構成される、請求項15に記載の電子装置。
  17. 前記プロセッサは、
    前記第1の言語での前記機械による発話が前記スピーカを用いて再生されるとき、前記第1の言語での前記第1のユーザの第4の発話を前記マイクを用いて受け、
    前記第4の発話に応じて、喚起情報を表示するように前記表示画面に指示し、前記喚起情報は、前記第1の言語での前記機械による発話が再生された後に発話を送るように前記第1のユーザに指示するのに用いられる、
    ようにさらに構成される、請求項15に記載の電子装置。
  18. 前記プロセッサは、
    前記通話インタフェイスに対して前記第1のユーザによって行われた前記オンフック操作が前記タッチパネルを用いて受けられる前に、前記翻訳インタフェイスに対して前記第1のユーザによって行われた抜け出る操作を前記タッチパネルを用いて受け、
    前記抜け出る操作に応じて、前記翻訳インタフェイスの表示から前記通話インタフェイスの表示に切り換えるように前記表示画面に指示し、
    第1の言語での前記第1のユーザの第5の発話を前記マイクを用いて受け、
    前記第5の発話を前記第2の電子装置に無線通信モジュールを用いて送る
    ようにさらに構成される、請求項10から17のいずれか一項に記載の電子装置。
  19. コンピュータプログラムを備えるコンピュータ可読記憶媒体であって、前記コンピュータプログラムが電子装置で実行されるとき、前記電子装置は請求項1から9のいずれか一項に記載の方法を実行する、コンピュータ可読記憶媒体。
JP2021546040A 2018-10-15 2019-10-15 翻訳方法及び電子装置 Active JP7180007B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022183465A JP2023029846A (ja) 2018-10-15 2022-11-16 翻訳方法及び電子装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811198981.X 2018-10-15
CN201811198981.XA CN111046680B (zh) 2018-10-15 2018-10-15 一种翻译方法及电子设备
PCT/CN2019/111130 WO2020078337A1 (zh) 2018-10-15 2019-10-15 一种翻译方法及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022183465A Division JP2023029846A (ja) 2018-10-15 2022-11-16 翻訳方法及び電子装置

Publications (2)

Publication Number Publication Date
JP2022508789A JP2022508789A (ja) 2022-01-19
JP7180007B2 true JP7180007B2 (ja) 2022-11-29

Family

ID=70230257

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021546040A Active JP7180007B2 (ja) 2018-10-15 2019-10-15 翻訳方法及び電子装置
JP2022183465A Ceased JP2023029846A (ja) 2018-10-15 2022-11-16 翻訳方法及び電子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022183465A Ceased JP2023029846A (ja) 2018-10-15 2022-11-16 翻訳方法及び電子装置

Country Status (5)

Country Link
US (2) US11570299B2 (ja)
EP (1) EP3855772B1 (ja)
JP (2) JP7180007B2 (ja)
CN (2) CN111046680B (ja)
WO (1) WO2020078337A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046680B (zh) * 2018-10-15 2022-05-24 华为技术有限公司 一种翻译方法及电子设备
CN111597828B (zh) * 2020-05-06 2023-10-03 Oppo广东移动通信有限公司 翻译显示方法、装置、头戴显示设备及存储介质
CN111680522B (zh) * 2020-05-29 2024-04-23 刘于平 基于电子终端实现翻译控制的方法及其系统、电子设备
CN113885973B (zh) * 2020-07-02 2024-07-30 华为技术有限公司 翻译结果显示方法、装置及电子设备
CN111814497A (zh) * 2020-08-05 2020-10-23 Oppo广东移动通信有限公司 翻译方法、装置、可穿戴设备及计算机可读存储介质
CN114201978A (zh) * 2020-09-18 2022-03-18 华为技术有限公司 一种对应用程序的界面进行翻译的方法及相关设备
CN112494958B (zh) * 2020-12-18 2022-09-23 腾讯科技(深圳)有限公司 语音转换文字的方法、系统、设备及介质
CN112737213B (zh) * 2021-01-18 2022-04-15 Oppo广东移动通信有限公司 电子设备及其供电装置
CN112887194B (zh) * 2021-01-19 2022-12-09 广州亿语智能科技有限公司 实现听障人士通话的交互方法、装置、终端及存储介质
CN113299290A (zh) * 2021-04-06 2021-08-24 维沃移动通信有限公司 语音识别的方法、装置、电子设备和可读存储介质
CN113286217A (zh) * 2021-04-23 2021-08-20 北京搜狗智能科技有限公司 一种通话语音翻译方法、装置和耳机设备
CN113726952B (zh) * 2021-08-09 2023-04-28 北京小米移动软件有限公司 通话过程中的同声传译方法及装置、电子设备、存储介质
CN114095906A (zh) * 2021-10-14 2022-02-25 华为技术有限公司 一种短距离通信方法及系统
US12056457B2 (en) * 2022-03-22 2024-08-06 Charles University, Faculty Of Mathematics And Physics Computer-implemented method of real time speech translation and a computer system for carrying out the method
CN116185551A (zh) * 2023-04-25 2023-05-30 北京全路通信信号研究设计院集团有限公司 一种显示界面的多语言切换方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179838A (ja) 2002-11-26 2004-06-24 Sony Ericsson Mobilecommunications Japan Inc 携帯通信端末及び翻訳システム
JP2005318346A (ja) 2004-04-30 2005-11-10 Matsushita Electric Ind Co Ltd 携帯端末装置
US20140242955A1 (en) 2013-02-22 2014-08-28 Samsung Electronics Co., Ltd Method and system for supporting a translation-based communication service and terminal supporting the service
CN107465887A (zh) 2017-09-14 2017-12-12 潍坊学院 视频通话系统及视频通话方法
CN108009159A (zh) 2017-11-30 2018-05-08 上海与德科技有限公司 一种同声传译方法和移动终端
CN108650419A (zh) 2018-05-09 2018-10-12 深圳市知远科技有限公司 基于智能手机的电话翻译系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3920812B2 (ja) * 2003-05-27 2007-05-30 株式会社東芝 コミュニケーション支援装置、支援方法、及び支援プログラム
US20070041370A1 (en) * 2005-07-15 2007-02-22 Aaron Cleveland System for Translating Electronic Communications
CN101052069B (zh) 2006-04-07 2010-09-08 英华达(南京)科技有限公司 语音通话的翻译方法
US20080059200A1 (en) * 2006-08-22 2008-03-06 Accenture Global Services Gmbh Multi-Lingual Telephonic Service
CN201018626Y (zh) * 2006-12-28 2008-02-06 康佳集团股份有限公司 一种移动终端
US8290779B2 (en) * 2007-09-18 2012-10-16 Verizon Patent And Licensing Inc. System and method for providing a managed language translation service
US20090248392A1 (en) * 2008-03-25 2009-10-01 International Business Machines Corporation Facilitating language learning during instant messaging sessions through simultaneous presentation of an original instant message and a translated version
CN101340676B (zh) * 2008-08-21 2012-04-18 华为终端有限公司 一种实现同声翻译的方法、装置和移动终端
US20110261810A1 (en) * 2008-12-30 2011-10-27 France Telecom Notification method and gateway for accessing a voice over ip network
US8775156B2 (en) * 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US9646001B2 (en) * 2011-09-19 2017-05-09 Nuance Communications, Inc. Machine translation (MT) based spoken dialog systems customer/machine dialog
CN102360347A (zh) * 2011-09-30 2012-02-22 宇龙计算机通信科技(深圳)有限公司 一种语音翻译方法、系统及语音翻译服务器
US8494838B2 (en) * 2011-11-10 2013-07-23 Globili Llc Systems, methods and apparatus for dynamic content management and delivery
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
US20130326347A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Application language libraries for managing computing environment languages
US20140058838A1 (en) * 2012-08-23 2014-02-27 Google Inc. Providing content in multiple languages
CN102903361A (zh) * 2012-10-15 2013-01-30 Itp创新科技有限公司 一种通话即时翻译系统和方法
US9794141B2 (en) * 2013-03-14 2017-10-17 Arista Networks, Inc. System and method for determining a cause of network congestion
US20140269678A1 (en) * 2013-03-15 2014-09-18 Evan Patrick McGee Method for providing an application service, including a managed translation service
JP6178198B2 (ja) * 2013-09-30 2017-08-09 株式会社東芝 音声翻訳システム、方法およびプログラム
CN103533129B (zh) * 2013-10-23 2017-06-23 上海斐讯数据通信技术有限公司 实时的语音翻译通信方法、系统及所适用的通讯设备
JP6327848B2 (ja) * 2013-12-20 2018-05-23 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
KR102249086B1 (ko) * 2014-04-04 2021-05-10 삼성전자주식회사 레코딩 지원 전자장치 및 방법
CN103970734A (zh) 2014-05-21 2014-08-06 刘业兴 一种交互式多语种自动翻译终端及其实现方法
US20150347399A1 (en) 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
US9614969B2 (en) * 2014-05-27 2017-04-04 Microsoft Technology Licensing, Llc In-call translation
CN104796536A (zh) * 2015-03-17 2015-07-22 乐视致新电子科技(天津)有限公司 一种通话过程中的语音协助方法及装置
KR20170060439A (ko) * 2015-11-24 2017-06-01 한국전자통신연구원 자동 언어설정 기능을 갖는 다국어 통번역 장치 및 방법
US9875238B2 (en) * 2016-03-16 2018-01-23 Vonage America Inc. Systems and methods for establishing a language translation setting for a telephony communication
CN206863740U (zh) * 2017-04-14 2018-01-09 深圳市领芯者科技有限公司 语音翻译装置和系统
US20210142797A1 (en) * 2017-06-16 2021-05-13 Honda Motor Co., Ltd. Assistance device, assistance method, and storage medium
CN107465816A (zh) * 2017-07-25 2017-12-12 广西定能电子科技有限公司 一种通话即时原声语音翻译的通话终端及方法
CN107770387A (zh) * 2017-10-31 2018-03-06 珠海市魅族科技有限公司 通信控制方法、装置、计算机装置及计算机可读存储介质
CN107909994A (zh) * 2017-10-31 2018-04-13 珠海市魅族科技有限公司 通信控制方法、装置、计算机装置及计算机可读存储介质
CN107833577A (zh) 2017-11-29 2018-03-23 宋晓成 一种语音实时多语言翻译记录方法
CN110322881B (zh) * 2018-03-29 2024-07-05 松下控股株式会社 语音翻译装置、语音翻译方法及其存储介质
CN112119641B (zh) * 2018-09-20 2022-04-22 华为技术有限公司 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
CN111046680B (zh) * 2018-10-15 2022-05-24 华为技术有限公司 一种翻译方法及电子设备
US20210312143A1 (en) * 2020-04-01 2021-10-07 Smoothweb Technologies Limited Real-time call translation system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179838A (ja) 2002-11-26 2004-06-24 Sony Ericsson Mobilecommunications Japan Inc 携帯通信端末及び翻訳システム
JP2005318346A (ja) 2004-04-30 2005-11-10 Matsushita Electric Ind Co Ltd 携帯端末装置
US20140242955A1 (en) 2013-02-22 2014-08-28 Samsung Electronics Co., Ltd Method and system for supporting a translation-based communication service and terminal supporting the service
CN107465887A (zh) 2017-09-14 2017-12-12 潍坊学院 视频通话系统及视频通话方法
CN108009159A (zh) 2017-11-30 2018-05-08 上海与德科技有限公司 一种同声传译方法和移动终端
CN108650419A (zh) 2018-05-09 2018-10-12 深圳市知远科技有限公司 基于智能手机的电话翻译系统

Also Published As

Publication number Publication date
US11570299B2 (en) 2023-01-31
CN111046680B (zh) 2022-05-24
WO2020078337A1 (zh) 2020-04-23
US20220329693A1 (en) 2022-10-13
CN115017920A (zh) 2022-09-06
US11843716B2 (en) 2023-12-12
US20210385328A1 (en) 2021-12-09
CN111046680A (zh) 2020-04-21
EP3855772A4 (en) 2021-11-17
EP3855772B1 (en) 2023-07-26
JP2022508789A (ja) 2022-01-19
EP3855772A1 (en) 2021-07-28
JP2023029846A (ja) 2023-03-07

Similar Documents

Publication Publication Date Title
JP7180007B2 (ja) 翻訳方法及び電子装置
KR102470275B1 (ko) 음성 제어 방법 및 전자 장치
JP7280005B2 (ja) 無線充電方法および電子デバイス
CN109286725B (zh) 翻译方法及终端
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
CN112119641B (zh) 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
JP7173670B2 (ja) 音声制御コマンド生成方法および端末
WO2022068819A1 (zh) 一种界面显示方法及相关装置
CN112399390A (zh) 一种蓝牙回连的方法及相关装置
WO2022042770A1 (zh) 控制通信服务状态的方法、终端设备和可读存储介质
WO2022161077A1 (zh) 语音控制方法和电子设备
CN114115770A (zh) 显示控制的方法及相关装置
JP2024500546A (ja) 協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体
CN113141483B (zh) 基于视频通话的共享屏幕方法及移动设备
CN111031492B (zh) 呼叫需求响应方法、装置及电子设备
CN114827098B (zh) 合拍的方法、装置、电子设备和可读存储介质
WO2023124829A1 (zh) 语音协同输入方法、电子设备及计算机可读存储介质
WO2024114212A1 (zh) 跨设备切换焦点的方法、电子设备及系统
WO2024114493A1 (zh) 一种人机交互的方法和装置
WO2024012346A1 (zh) 任务迁移的方法、电子设备和系统
WO2023051116A1 (zh) 分布式实现方法、系统、电子设备及存储介质
WO2024060968A1 (zh) 管理服务卡片的方法和电子设备
CN118555327A (zh) 一种音频处理方法及电子设备
CN113973152A (zh) 一种未读消息快速回复方法及电子设备
CN111966162A (zh) 一种角度测量方法和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221116

R150 Certificate of patent or registration of utility model

Ref document number: 7180007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150