JP7145988B2 - 入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置 - Google Patents

入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置 Download PDF

Info

Publication number
JP7145988B2
JP7145988B2 JP2020573205A JP2020573205A JP7145988B2 JP 7145988 B2 JP7145988 B2 JP 7145988B2 JP 2020573205 A JP2020573205 A JP 2020573205A JP 2020573205 A JP2020573205 A JP 2020573205A JP 7145988 B2 JP7145988 B2 JP 7145988B2
Authority
JP
Japan
Prior art keywords
input
translation
character string
language
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020573205A
Other languages
English (en)
Other versions
JP2021528788A (ja
Inventor
カン,キョンユン
キム,ボンジョ
コ,キョンウン
イム,ジンヒ
シン,ヘジン
ユ,ソヨン
イ,サンボム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2021528788A publication Critical patent/JP2021528788A/ja
Application granted granted Critical
Publication of JP7145988B2 publication Critical patent/JP7145988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/02Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/02Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/0225User interface arrangements, e.g. keyboard, display; Interfaces to other computer systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/263Language identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

特許法第30条第2項適用 2018年4月10日のhttps://m.post.naver.com/viewer/postView.nhn?volumeNo=14642513&memberNo=38399954における公開
特許法第30条第2項適用 2018年4月10日のapple app storeにおける公開
特許法第30条第2項適用 2018年4月17日のhttps://play.google.com/store/appsにおける公開
本出願は、第1アプリケーションの入力窓に文字などのコンテンツを入力する入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置に関する。
最近では、デジタル技術の発達によってモバイル端末の使用が普遍化しており、これを用いた様々なサービスが提供されている。
モバイル端末は、スマートフォン(smart phone)、タップレット(tablet)、ウェアラブルデバイス(wearable device)などを含み、通信、ゲーム、マルチメディアサービスなどのようにパーソナルコンピュータ(PC:Personel Computer)から提供可能な様々な機能を搭載する方向に発展している。
通常、モバイル端末は、ユーザから情報を入力できる情報入力手段を備える必要がある。最近ではモバイル端末の情報入力手段として仮想キーボード入力方式を用いるのが主流である。仮想キーボード入力方式とは、タッチスクリーン上に仮想キーボードを表示し、ユーザが仮想キーボードで所望のキーに接触すると、そのキーに対応するキー値が入力される方式を意味できる。
仮想キーボード関連技術は、Arthur,C.Lamb,Jr.等に許与された米国特許第5,276,794号に開示されている。当該技術では、データフィールドをポインタで選択すれば、仮想キーボードがポップアップしてディスプレイされる。仮想キーボードはキー領域と表示領域を有し、ユーザによってキー領域内に構成された所定のキーが選択されると当該キーの文字が表示領域に表示される。
本出願は、ユーザが入力する文字列などを実時間で翻訳して入力できる、入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置を提供しようとする。
本出願は、外国語で記載された文字列を選択すれば、自動でユーザの使用する言語に翻訳して提供できる、入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置を提供しようとする。
本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法は、端末装置で実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力する入力インターフェース出力段階;ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定段階;ユーザが前記入力インターフェースを用いてコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出段階;前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳段階;及び前記翻訳文字列を前記第1アプリケーションの入力窓に入力する入力段階を含むことができる。
本発明の一実施例による端末装置は、実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力するインターフェース出力部;ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定部;前記入力インターフェースを用いてユーザがコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出部;前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳部;及び前記翻訳文字列を前記第1アプリケーションの入力窓に入力する入力部を含むことができる。
本発明の他の実施例による端末装置は、プロセッサ;及び前記プロセッサに結合されたメモリを含むものであって、前記メモリは前記プロセッサによって実行されるように構成される一つ以上のモジュールを含み、前記一つ以上のモジュールは、端末装置で実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力し、ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定し、ユーザが前記入力インターフェースを用いて前記コンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出し、前記対象文字列を前記翻訳言語に翻訳して翻訳文字列を生成し、前記翻訳文字列を前記第1アプリケーションの入力窓に入力する、命令語を含むことができる。
なお、上記した課題の解決手段は、本発明の特徴を全て列挙したものではない。本発明の様々な特徴とそれによる利点及び効果は、次の具体的な実施形態を参照してより詳細に理解されるであろう。
本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置によれば、ユーザが入力する文字列などを実時間で翻訳して提供することができる。また、外国語で記載された文字列を選択すれば自動でユーザの使用する言語に翻訳して提供することができる。したがって、ユーザは、別の翻訳プログラムなどを使用することなく、入力アプリケーションを用いて便利にコミュニケーションすることができる。
本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置によれば、ユーザが入力する文字列の文体を考慮して翻訳することが可能である。したがって、ユーザは翻訳機能を用いてコミュニケーションをする場合にも、自身の文体やニュアンスを含めることができる。
ただし、本発明の実施例に係る入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置が達成できる効果は以上で言及したものに制限されず、言及していない別の効果は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。
本発明の一実施例による翻訳サービス提供システムを示す概略図である。 本発明の一実施例による端末装置を示すブロック図である。 本発明の一実施例による端末装置を示すブロック図である。 本発明の一実施例による入力アプリケーションの翻訳入力モードを示す概略図である。 本発明の一実施例による入力アプリケーションの入力言語及び翻訳言語の選択を示す概略図である。 本発明の一実施例による入力アプリケーションの翻訳入力を示す概略図である。 本発明の一実施例による入力アプリケーションの翻訳入力を示す概略図である。 本発明の一実施例による入力アプリケーションの逆翻訳を示す概略図である。 本発明の一実施例による入力アプリケーションの逆翻訳を示す概略図である。 本発明の一実施例による入力アプリケーションの逆翻訳を示す概略図である。 本発明の一実施例による入力アプリケーションによる翻訳サービス提供方法を示すフローチャートである。 本発明の一実施例による入力アプリケーションによる翻訳サービス提供方法を示すフローチャートである。
以下、添付の図面を参照して、本明細書に開示された実施例を詳細に説明する。ただし、図面符号に関係なく、同一又は類似の構成要素には同一の参照番号を付し、その繰り返しの説明は省略するものとする。以下の説明で使われる構成要素に対する接尾辞“モジュール”及び“部”は、明細書作成の容易さだけを考慮して付与又は代替使用されるものであり、それ自体で互いに区別される意味又は役割を有するものではない。すなわち、本発明で使われる‘部’という用語は、ソフトウェア、FPGA又はASICのようなハードウェア構成要素を意味し、‘部’は、ある役割を担う。しかし、‘部’は、ソフトウェア又はハードウェアに限定される意味ではない。‘部’はアドレシング可能な記憶媒体に含まれるように構成されてもよく、一つ又はそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、‘部’は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と‘部’から提供される機能は、より小さい数の構成要素及び‘部’に結合されてもよく、追加の構成要素と‘部’にさらに分離されてもよい。
また、本明細書に開示された実施例を説明するとき、関連した公知技術についての具体的な説明が、本明細書に開示された実施例の要旨を曖昧にさせ得ると判断される場合、その詳細な説明を省略する。また、添付の図面は本明細書に開示の実施例を容易に理解させるためのものに過ぎず、添付の図面によって本明細書に開示の技術的思想は制限されず、本発明の思想及び技術範囲に含まれる全ての変更、均等物又は代替物を含むものとして理解されるべきである。
図1は、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供システムを示す概略図である。
図1を参照すると、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供システムは、端末装置100及びサービスサーバー200を含むことができる。
以下、図1を参照して、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供システムを説明する。
端末装置100は、様々な種類のアプリケーションを実行でき、実行中のアプリケーションを視覚や聴覚などで表示してユーザに提供することができる。端末装置100は、アプリケーションを視覚的に表示するためのディスプレイ部を含むことができ、ユーザの入力が印加される入力装置部、少なくとも一つのプログラムが記憶されたメモリ及びプロセッサを含むことができる。
端末装置100で実行されるアプリケーションは、ユーザから文字や音声、イメージ、動画などのコンテンツが入力される入力窓を含むことができる。例えば、相手とメッセージをやりとりするメッセンジャーアプリケーション、簡単なメモを作成し保存するメモアプリケーション、文書を作成するためのワードプロセッサアプリケーションなどには入力窓が含まれてよい。以下、入力窓を含むアプリケーションを第1アプリケーションという。
ユーザが第1アプリケーションの入力窓に文字などを入力しようとする場合には、入力アプリケーションが実行されてよい。入力アプリケーションは、第1アプリケーションとは別個に備えられるもので、第1アプリケーションに付帯して実行可能である。すなわち、入力アプリケーションは、第1アプリケーションの入力窓に文字などのコンテンツを入力する場合に実行され、第1アプリケーションにユーザが入力するコンテンツを入力する機能を果たすことができる。例えば、ユーザが文字を入力しようとする場合には、入力アプリケーションが端末装置のディスプレイ部に仮想キーボードを表示して提供でき、ユーザは仮想キーボードに入力を印加して入力窓に文字列などを入力することができる。この他にも、ユーザが音声やイメージを入力しようとする場合には、端末装置100に設けられているマイク又はカメラを活性化させて音声やイメージを取得した後、これを第1アプリケーション内に入力させることができる。
一方、入力アプリケーションは様々な付加サービスを提供でき、実施例によっては、入力アプリケーションを用いて翻訳サービスを提供することも可能である。例えば、ユーザは、メッセンジャーアプリケーションを用いて外国人とチャットを行うことができる。このとき、ユーザにとって外国語を使うコミュニケーションに困難があり得るが、入力アプリケーションが提供する翻訳サービスを用いてユーザの便宜性を向上させることができる。すなわち、ユーザが韓国語を入力すると、入力アプリケーションで自動で英語に翻訳して提供でき、相手が入力した英語を韓国語に翻訳する逆翻訳機能も提供することができる。したがって、ユーザは別のアプリケーションなどを実行することなく、便利に翻訳サービスの提供を受けることができる。
端末装置100は、アプリストア(Application store)又はプレイストア(Play store)などに接続して、入力アプリケーションを含む様々なアプリケーションをダウンロードしてインストールすることができ、実施例によっては、サービスサーバー200又は他の機器(図示せず)との有線又は無線通信を介してダウンロードすることも可能である。
端末装置100は、スマートフォン、タップレットPCなどの移動端末機でよく、実施例によっては、デスクトップなどの固定型装置が含まれてもよい。ここで、端末装置100には、携帯電話、スマートフォン(Smart phone)、ノートパソコン(laptop computer)、デジタル放送用端末機、PDA(personal digital assistants)、PMP(portable multimedia player)、スレートPC(slate PC)、タップレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device、例えば、スマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display))などが含まれてよい。
一方、端末装置100は、通信ネットワークを介してサービスサーバー200に接続することができる。ここで、通信ネットワークは、有線ネットワークと無線ネットワークを含むことができ、具体的に、近距離ネットワーク(LAN:Local Area Network)、都市規模ネットワーク(MAN:Metropolitan Area Network)、広帯域ネットワーク(WAN:Wide Area Network)などの様々なネットワークを含むことができる。また、通信ネットワークは、公知のワールドワイドウェブ(WWW:World Wide Web)を含むことができる。ただし、本発明に係る通信ネットワークは、上に挙げたネットワークに限定されず、公知の無線データネットワーク、公知の電話ネットワーク、公知の有線又は無線テレビジョンネットワークなどを含むことができる。
サービスサーバー200は、入力アプリケーションを介して端末装置100に接続することができ、端末装置100に入力アプリケーションを介して翻訳サービスなどの様々なサービスを提供することができる。実施例によっては、サービスサーバー200が入力アプリケーションから受信された文字列に対する翻訳を行い、翻訳された文字列を端末装置100に提供することも可能である。
図2は、本発明の一実施例による端末装置を示すブロック図である。
図2を参照すると、本発明の一実施例による端末装置100は、インターフェース出力部110、翻訳対設定部120、対象文字列抽出部130、翻訳部140、入力部150及び逆翻訳部160を含むことができる。
以下、図2を参照して、本発明の一実施例による端末装置を説明する。
インターフェース出力部110は、実行中の第1アプリケーションの要請に応じて、第1アプリケーションにコンテンツを入力する入力インターフェースを出力できる。ユーザは、第1アプリケーションによるサービスなどを受け取るために、第1アプリケーションに文字列や音声などのコンテンツを入力しようとすることがある。この場合、インターフェース出力部110は入力アプリケーションを実行し、コンテンツ入力のための入力インターフェースを端末装置のディスプレイ部に出力することができる。
具体的に、図4(a)を参照すると、第1アプリケーションaはメッセンジャーアプリケーションでよく、ユーザはメッセンジャーアプリケーションを介して相手とメッセージをやりとりすることができる。ユーザは、入力窓a2を介して文字列や音声、イメージなどのコンテンツを入力でき、第1アプリケーションaは、ユーザの入力したコンテンツをコンテンツ表示窓a1に表示できる。
ここで、第1アプリケーションaの入力窓a2にコンテンツを入力するために入力アプリケーションが実行されてよく、インターフェース出力部110は入力インターフェースbを出力して、ユーザが入力インターフェースbを用いてコンテンツを入力するようにできる。この場合、端末装置100のディスプレイ部には、一つの領域に第1アプリケーションaが表示され、他の領域には入力インターフェースbが表示されてよい。ここで、入力インターフェースbがディスプレイ部内に表示される領域は、設定領域としてあらかじめ設定されていてもよい。
一方、インターフェース出力部110は、第1アプリケーションの入力窓a2にカーソル(cursor)が位置する場合には、第1アプリケーションaが入力アプリケーションを呼び出すと判別できる。すなわち、カーソルが入力窓a2に位置する場合には、ユーザが当該入力窓a2にコンテンツを入力しようとする意図があると見なすことができ、第1アプリケーションの入力窓a2にカーソルが位置する場合には入力インターフェースbを出力させることができる。実施例によっては、ユーザが第1アプリケーションaの入力窓a2にカーソルを直接位置させてもよく、第1アプリケーションaが自動で入力窓a2にカーソルを位置させてもよい。
翻訳対設定部120は、ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換できる。ここで、ユーザは、翻訳のための入力言語及び翻訳言語を入力でき、翻訳対設定部120は、ユーザの選択した入力言語及び翻訳言語によって、翻訳対情報を設定できる。図4(a)を参照すると、入力インターフェースbには、複数の動作アイコンを含むツールバーb2が含まれてよい。ここで、それぞれの動作アイコンは、入力アプリケーションが提供する様々なサービスを実行するためのもので、入力アプリケーションは、それぞれの動作アイコンに対応するサービスを提供できる。例えば、ユーザが検索アイコンを選択すると、ユーザがインターネット検索を行うことができるように別の実行窓を出力したり、検索サイト又は検索アプリケーションを実行したりすることができる。また、顔文字アイコンを選択すると、キャラクターなどの動作や形状を含む顔文字が表示され、ユーザの選択した顔文字を入力窓a2が入力できる。一方、ツールバーb2には翻訳アイコンtが含まれてよく、ユーザが翻訳アイコンtに入力を印加する〔アイコンtをクリック/選択する〕と、図4(b)に示すように、翻訳入力モードに転換できる。
この場合、ユーザは、原文入力窓b3に文字列を入力でき、原文入力窓b3に入力した文字列に対応する翻訳文字列が第1アプリケーションaのコンテンツ表示窓a1に表示されてよい。ここで、入力アプリケーションが翻訳を行うためには、ユーザの入力する入力言語と、翻訳しようとする翻訳言語に関する情報を受信する必要がある。そのために、翻訳対設定部120は、ユーザから入力言語と翻訳言語を受信することができ、入力言語と翻訳言語を用いて翻訳対情報を生成することができる。
具体的に、図4(b)の翻訳設定アイコンsにユーザが入力を印加すると、図5に示すように、入力言語及び翻訳言語に対する設定窓b4が出力されてよい。ここで、設定窓b4には、入力アプリケーションが提供する入力言語と翻訳言語に対応する複数の言語アイコンiが表示されてよく、言語アイコンのうち、ユーザの選択した言語アイコンに対応する言語をそれぞれ入力言語と翻訳言語に設定できる。例えば、入力言語として韓国語を選択し、翻訳言語として英語を選択する場合には、韓国語と英語を結び付けて翻訳対情報を生成することができる。
対象文字列抽出部130は、入力インターフェースbを用いてユーザがコンテンツを入力すると、コンテンツから入力言語に対応する対象文字列を抽出できる。ここで、ユーザの入力するコンテンツには、文字列、音声、イメージ、動画などが含まれてよい。
具体的に、図6に示すように、ユーザの入力するコンテンツが文字列である場合には、入力言語に対応するキーボードを含む仮想キーボードb1を端末装置100のディスプレイ部に表示できる。すなわち、ユーザが入力言語として韓国語を選択した場合には、韓国語キーボードが表示され、英語を選択した場合には英語キーボードが表示されてよい。ここでは、入力言語が韓国語で、翻訳言語が英語であるから、韓国語に対応する仮想キーボードb1が出力されてよい。
その後、ユーザは、仮想キーボードb1を用いて入力言語で文字列を入力でき、ユーザの入力した文字列は原文表示窓b3に表示されてよい。したがって、ユーザは自身の作成した文字列を原文表示窓b3において確認することができ、必要な場合には修正などができる。ここで、対象文字列抽出部130は、原文表示窓b3に入力された文字列を受信することができ、受信された文字列を対象文字列として抽出できる。すなわち、ユーザが仮想キーボードb1を用いて文字列を直接入力する場合に該当するので、受信した文字列を対象文字列として抽出できる。
一方、実施例によっては、ユーザが音声をコンテンツとして入力することも可能である。図示してはいないが、原文表示窓b3内に音声認識アイコンをさらに含んでもよく、ユーザが音声認識アイコンに入力を印加する場合には、端末装置のマイクを活性化させることができる。その後、マイクを用いてユーザが発話する音声を音声信号として受信でき、受信した音声信号に音声認識アルゴリズムを適用することができる。この場合、対象文字列抽出部130は、音声認識アルゴリズムを用いて音声信号に対応する文字列を生成でき、生成した文字列を対象文字列として抽出できる。例えば、端末装置100又はサービスサーバー200は音声モデルデータベースなどを備えることができ、音声モデルデータベースにはそれぞれの文字に対応する標準音声パターンが保存されていてよい。この場合、入力される音声信号を、音声モデルデータベースに保存されている標準音声パターンと比較でき、それぞれの音声信号に対応する標準音声パターンを抽出することができる。その後、抽出した標準音声パターンを、対応する文字に変換でき、変換された文字を結合して対象文字列を生成できる。ただし、対象文字列抽出部130が音声を文字に変換する方式がこれに限定されるものではなく、この他にも様々な方式で音声を文字に変換できる。
他の実施例によれば、ユーザがイメージをコンテンツとして入力することも可能である。例えば、印刷物や標識板などに記載された外国語を翻訳して入力しようとする場合もあり、この場合、外国語を直接入力するよりは、これを撮影して生成したイメージを翻訳する方が、ユーザにとって好都合である。図示してはいないが、原文表示窓b3内にカメラアイコンをさらに含んでもよく、ユーザがカメラアイコンに入力を印加すると、端末装置のカメラを活性化させることができる。その後、カメラを用いて、入力言語で作成された文字列を含む対象物を撮影し、イメージを生成でき、生成したイメージに文字認識アルゴリズムを適用することができる。この場合、対象文字列抽出部130は、文字認識アルゴリズムを用いて、イメージに含まれた文字列を認識でき、認識した文字列を対象文字列として抽出できる。例えば、イメージに対するピクセル値の分布を、電気的信号である形状パターンで表現でき、文字モデルデータベースなどにはそれぞれの文字に対応する標準形状パターンが保存されていてよい。この場合、入力される形状パターンを、文字モデルデータベースに保存されている標準形状パターンと比較でき、それぞれの形状パターンに対応する標準形状パターンを抽出できる。その後、抽出した標準形状パターンに対応する文字にそれぞれ変換して対象文字列を生成することができる。ただし、対象文字列抽出部130がイメージに含まれた文字を認識する方式はこれに限定されるものではなく、その他にも様々な方式でイメージに含まれた文字を認識できる。
この他にも、対象文字列抽出部130は、動画に含まれた音声を認識して対象文字列を抽出することも可能である。
翻訳部140は、対象文字列を翻訳言語に翻訳して翻訳文字列を生成することができる。ここで、翻訳部140は、翻訳エンジンを含むことができ、翻訳エンジンを用いて対象文字列を翻訳言語に翻訳することができる。翻訳エンジンは、統計ベース機械翻訳又は人工神経網機械翻訳を提供するものでよく、ディープラーニングなどのマシンラーニング方式で学習して形成できる。翻訳エンジンで生成された翻訳文字列は、第1アプリケーションaの入力窓a2に表示できる。
実施例によっては、ユーザの設定した文体情報によって、翻訳部140が翻訳文字列の文体を変えて翻訳文字列を生成するようにしてもよい。例えば、文体情報には、文語体、口語体、敬語体などが含まれてよく、翻訳部140は、ユーザの選択によって、翻訳文字列を文語体、口語体、敬語体などに生成できる。ユーザは、自身の用途や目的に応じて様々な文体やニュアンスを含めて入力言語で文字列を入力できるが、翻訳過程で文体やニュアンスが省略されることがある。このため、ユーザが自身の所望する文体を文体情報から選択して翻訳文字列の文体を設定するようにすることによって、翻訳文字列に、自身が伝達しようとするニュアンスを含めることができる。実施例によっては、文体情報としてビジネス話法、親睦用話法、SNS用話法などに設定することも可能である。翻訳エンジンは、それぞれの文体情報から選択可能な文体に対応する結果を提供できるように、マシンラーニングなどによってそれぞれ学習されてよい。
さらに、実施例によっては、翻訳部140が、同一の対象文字列を異なる言語にそれぞれ翻訳してユーザに提供することも可能である。例えば、ユーザが複数の外国人と話し合う場合があり、それぞれの外国人が使用する言語が異なることがある。この場合、対象文字列を維持した状態で、ユーザが翻訳言語を変更する再設定入力を印加すると、対象文字列を再設定入力に対応する翻訳言語に再翻訳して表示することができる。
具体的に、図7(a)に示すように、ユーザはまず、韓国語を英語に翻訳しようとすることがある。その後、対象文字列を同一に維持した状態で、翻訳設定アイコンsに入力を印加して、翻訳言語を再設定することができる。すなわち、図7(b)に示すように、複数の言語アイコンの中から翻訳言語として“日本語”を選択して翻訳部140に再設定入力を印加できる。この場合、図7(c)に示すように、同一の対象文字列を、再設定入力に対応する日本語に再翻訳して入力窓a2に表示することができる。これによって、ユーザは便利に一つの対象文字列を異なる複数の言語に翻訳して入力することができる。
一方、実施例によっては、サービスサーバー200で翻訳を行うことも可能である。この場合、翻訳部140はサービスサーバー200に対象文字列と翻訳対情報を伝送して翻訳を要請できる。サービスサーバー200は翻訳エンジンを含むことができ、翻訳エンジンを用いて翻訳を行った後、翻訳部140に翻訳文字列を提供することができる。
入力部150は翻訳文字列を第1アプリケーションの入力窓a2に入力できる。すなわち、図6(a)に示すように、翻訳部140で生成した翻訳文字列は入力部150によって、第1アプリケーションaの入力窓a2に表示できる。その後、ユーザが入力窓a2の入力ボタンを入力すると、翻訳文字列が第1アプリケーションに入力され、コンテンツ表示窓a1に表示され得る。
一方、原文表示窓b3には、ユーザが入力言語で入力した対象文字列が表示され、入力窓a2には翻訳文字列が表示されてよい。したがって、ユーザは、自身の入力した対象文字列と翻訳された翻訳文字列を確認することができ、異常がないと翻訳文字列を第1アプリケーションの入力窓を介して入力できる。ここでは、ユーザが文字列を入力する場合を例示しているが、ユーザが音声やイメージを入力する場合にも、自身の入力した音声やイメージに対応する対象文字列と翻訳文字列をそれぞれ入力表示窓b3と入力窓a2から確認することができる。翻訳では、誤字などを含む場合、全く違う内容に翻訳される危険があるので、入力表示窓b3と入力窓a2からユーザが入力前に確認可能に提供すればよい。
逆翻訳部160は、ユーザの要請に応じて、第1アプリケーションに含まれた翻訳言語で表示された文字列を入力言語に逆翻訳することができる。すなわち、ユーザの選択した選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成でき、生成した逆翻訳文字列をユーザに表示することができる。
具体的に、図8(a)に示すように、第1アプリケーションaのコンテンツ表示窓a1内には翻訳言語で表示された複数の文字列が含まれてよい。ここで、ユーザは、複数の文字列から、逆翻訳しようとする文字列を選択し、クリップボードにコピーできる。文字列を選択する時に表示される制御窓a3は、第1アプリケーションaによって実行されるものであり、制御窓a3を用いて入力アプリケーションの動作を制御することは難しい。したがって、第1アプリケーションaで文字列をクリップボードにコピーすると、入力アプリケーションがクリップボードに接近し、コピーされた文字列に関する情報を抽出でき、これを選択文字列として抽出できる。すなわち、第1アプリケーションと入力アプリケーションはクリップボードを介して選択文字列を共有できる。
その後、逆翻訳部160は、翻訳対設定部120に設定された翻訳対情報から、翻訳言語に対応する入力言語を抽出でき、抽出した入力言語によって選択文字列を逆翻訳して逆翻訳文字列を生成することができる。ここで、逆翻訳部160が逆翻訳を直接行ってもよいが、実施例によっては翻訳部140に逆翻訳を要請してもよい。
逆翻訳が完了すると、図8(b)に示すように、逆翻訳文字列b5を入力インターフェースb上に表示できる。ここで、逆翻訳部160は入力アプリケーションに対する制御が可能であるので、入力アプリケーションの入力インターフェースb上に限定して逆翻訳文字列b5を表示できる。逆翻訳文字列b5は、設定表示時間(例えば、3秒)だけ表示してもよく、ユーザが逆翻訳文字列b5をタップ(tap)又はスワイプ(swipe)する場合に消えるようにしてもよい。したがって、ユーザは、外国人とチャットするなどの場合、相手から伝送されたメッセージを逆翻訳によって容易に確認することができる。ここで、ユーザの翻訳対情報を活用するので、別個に翻訳言語などを設定する必要がなく、自動で逆翻訳を行うことができる。
さらに、逆翻訳部160は、逆翻訳する文字列の長さによって、表示する逆翻訳文字列b5の大きさなどを調節することができる。図9(a)に示すように、選択文字列が3行である場合には、設定されたフォントサイズ(font size)で表示できるが、図9(b)に示すように、7行以上である場合には、設定されたフォントサイズを縮小して逆翻訳文字列が一つの画面内に同時に表示されるようにしてもよい。ここで、フォントサイズ、又はフォントサイズ縮小が適用される逆翻訳文字列の長さなどは、実施例によって様々に設定でき、実施例によっては逆翻訳文字列b5をスクロールなどでて表示することも可能である。
一方、逆翻訳文字列は入力インターフェースb上に表示されるものであり、入力インターフェースbがディスプレイ部内に表示されない場合には、逆翻訳文字列が表示されないことがある。ここで、クリップボードにコピーすることはユーザが第1アプリケーション上で行うものであり、ユーザが逆翻訳文字列の生成を意図しない場合もあり得る。したがって、逆翻訳部160は、ディスプレイ部内に入力インターフェースbが表示されない場合には翻訳文字列を表示しなくてもよい。
ただし、実施例によっては、ユーザが文字列をクリップボードにコピーするために、文字列をタップ又はロングタップすれば、図10(a)に示すように、第1アプリケーションaが入力インターフェースbを表示しないように設定する場合も存在する。この時、ユーザが設定時間内に再び入力インターフェースを出力させる場合には、ユーザが逆翻訳文字列を確認しようとすると見なすことができる。したがって、図10(b)に示すように、入力インターフェースbを出力しながら逆翻訳文字列b5を共に表示し、ユーザに逆翻訳文字列b5を提供することができる。
一方、図3に示すように、本発明の一実施例による端末装置100は、プロセッサ10、メモリ40などの物理的な構成を含むことができ、メモリ40内には、プロセッサ10によって実行されるように構成される一つ以上のモジュールを含むことができる。具体的に、一つ以上のモジュールには、インターフェース出力モジュール、翻訳対設定モジュール、対象文字列抽出モジュール、翻訳モジュール、入力モジュール及び逆翻訳モジュールなどを含むことができる。
プロセッサ10は、様々なソフトウェアプログラムと、メモリ40に記憶されている命令語集合を実行して様々な機能を実行し、データを処理する機能を有することができる。周辺インターフェース部30は、コンピュータ装置の入出力周辺装置をプロセッサ10、メモリ40に接続させることができ、メモリ制御器20は、プロセッサ10やコンピュータ装置の構成要素がメモリ40に接近する場合に、メモリアクセスを制御する機能を有することができる。実施例によっては、プロセッサ10、メモリ制御器20及び周辺インターフェース部30を単一チップ上に具現してもよく、別個のチップとして具現してもよい。
メモリ40は、高速ランダムアクセスメモリ、一つ以上の磁気ディスク記憶装置、フラッシュメモリ装置のような不揮発性メモリなどを含むことができる。また、メモリ40は、プロセッサ10から離れて位置する記憶装置や、インターネットなどの通信ネットワークを介してアクセスされるネットワーク取り付け型記憶装置などをさらに含むことができる。
ディスプレイ部は、ユーザが視覚で第1アプリケーション又は入力アプリケーションの内容を確認できるように表示する構成でよい。例えば、ディスプレイ部は、液晶ディスプレイ(liquid crystal display)、薄膜トランジスタ液晶ディスプレイ(thin film transistor-liquid crystal display)、有機発光ダイオード(organic light-emitting diode)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)、電気泳動ディスプレイ(electrophoretic display)などを用いて視覚的に表示できる。ただし、本発明の内容はこれに限定されるものではなく、その他にも様々な方式でディスプレイ部を具現することができる。さらに、ディスプレイ部にはスピーカーなどをさらに含み、ユーザが音声や音響などを聴覚的に認知できるようにしてもよい。さらには、ディスプレイ部にハプティック部などをさらに含み、触覚でコンテンツを認知できるようにしてもよい。すなわち、ディスプレイ部は、視覚、聴覚及び触覚を用いてユーザが認知するように構成できる。
入力装置部は、ユーザから入力が印加されるものであり、キーボード(keyboard)、キーパッド(keypad)、マウス(mouse)、タッチペン(touch pen)、タッチパッド(touch pad)、タッチパネル(touch panel)、ジョグホイール(jog wheel)、ジョグスイッチ(jog switch)などが入力装置部に該当し得る。
一方、図3に示すように、本発明の一実施例による端末装置100は、メモリ40に運営体制をはじめとして、アプリケーションに該当するインターフェース出力モジュール、翻訳対設定モジュール、対象文字列抽出モジュール、翻訳モジュール、入力モジュール及び逆翻訳モジュールなどを含むことができる。ここで、それぞれのモジュールは、上述した機能を果たすための命令語の集合であり、メモリ40に記憶されてよい。
したがって、本発明の一実施例による端末装置100は、プロセッサ10がメモリ40にアクセスしてそれぞれのモジュールに対応する命令語を実行することができる。ただし、インターフェース出力モジュール、翻訳対設定モジュール、対象文字列抽出モジュール、翻訳モジュール、入力モジュール及び逆翻訳モジュールは、上述したインターフェース出力部、翻訳対設定部、対象文字列抽出部、翻訳部、入力部及び逆翻訳部にそれぞれ対応するので、ここでは詳細な説明を省略する。
図11及び図12は、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法を示すフローチャートである。
図11及び図12を参照すると、本発明の一実施例による翻訳サービス提供方法は、入力インターフェース出力段階(S10)、翻訳対設定段階(S20)、対象文字列抽出段階(S30)、翻訳段階(S40)、入力段階(S50)及び逆翻訳段階(S60)を含むことができる。ここで、各段階は、端末装置によって行われてよい。
以下、図11及び図12を参照して、本発明の一実施例による翻訳サービス提供方法を説明する。
入力インターフェース出力段階(S10)では、端末装置で実行中の第1アプリケーションの要請に応じて、第1アプリケーションにコンテンツを入力する入力インターフェースを出力できる。ユーザは、第1アプリケーションによるサービスなどを受け取るために、第1アプリケーションに文字列や音声などのコンテンツを入力しようとすることがある。この場合、入力アプリケーションを実行して、コンテンツ入力のための入力インターフェースを端末装置のディスプレイ部に出力できる。実施例によっては、第1アプリケーションの入力窓にカーソルが位置する場合に入力インターフェースを出力でき、端末装置に含まれるディスプレイ部の設定領域内に入力インターフェースを表示できる。
翻訳対設定段階(S20)では、ユーザの入力によって入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、入力言語及び翻訳言語の翻訳対情報を設定できる。具体的に、入力アプリケーションには、翻訳入力モードに転換するための翻訳アイコンなどが存在でき、ユーザが翻訳アイコンに入力を印加すると翻訳入力モードに転換されてよい。この場合、翻訳時に必要な入力言語及び翻訳言語をユーザから受信するためのインターフェースを出力できる。すなわち、複数の言語に対応するそれぞれの言語アイコンが表示されてよく、ユーザは、複数の言語アイコンの中から、それぞれ入力言語と翻訳言語に対応する言語アイコンを選択できる。その後、ユーザの選択した言語アイコンに対応する言語をそれぞれ、前記入力言語と翻訳言語に設定でき、それらを結び付けて翻訳対情報に設定できる。
対象文字列抽出段階(S30)では、ユーザが入力インターフェースを用いてコンテンツを入力すると、コンテンツから前記入力言語に対応する対象文字列を抽出できる。ここで、コンテンツは、文字列、音声、イメージ及び動画のうち少なくとも一つを含むことができる。
実施例によっては、コンテンツとして文字列が入力されてよい。この場合、対象文字列抽出段階(S30)では、入力言語に対応するキーボードを含む仮想キーボードを端末装置のディスプレイ部に表示できる。その後、仮想キーボードを介してユーザが入力言語で入力する文字列を受信することができ、文字列を受信した後には、文字列を対象文字列として抽出できる。すなわち、ユーザが仮想キーボードを介して入力した文字列を、対象文字列として抽出できる。
また、実施例によっては、コンテンツとして音声を入力することも可能である。この場合、対象文字列抽出段階(S30)では、端末装置のマイクを用いて、入力言語で発話される音声を音声信号として受信でき、受信した音声信号に音声認識アルゴリズムを適用して、音声信号に対応する対象文字列を抽出できる。ここで、音声認識アルゴリズムを用いた対象文字列の抽出は前述したので、ここでは詳細な説明を省略する。
なお、ユーザがコンテンツとしてイメージを入力する場合には、対象文字列抽出段階(S30)では、端末装置のカメラを用いて、入力言語で作成された文字列を含むイメージを撮影できる。その後、イメージに文字認識アルゴリズムを適用して、イメージに含まれた文字列を対象文字列として抽出できる。ここで、文字認識アルゴリズムを用いた対象文字列の抽出は前述したので、ここでは詳細な説明を省略する。
翻訳段階(S40)では、対象文字列を翻訳言語に翻訳し、翻訳文字列を生成できる。ここで、統計ベース機械翻訳又は人工神経網機械翻訳を提供する翻訳エンジンを用いて翻訳を行うことができる。実施例によっては、翻訳段階(S40)で翻訳サーバーに対象文字列と翻訳対情報を伝送して翻訳を要請し、翻訳サーバーから翻訳言語に翻訳された翻訳文字列を受信する方式で翻訳文字列を生成することも可能である。
一方、ユーザが翻訳言語を変更する再設定入力を印加すると、対象文字列を再設定入力に対応する翻訳言語に再翻訳した再翻訳文字列を生成することも可能である。すなわち、再設定入力だけでも同一の対象文字列を異なる翻訳言語に翻訳できるので、ユーザの便宜性を高めることができる。
なお、翻訳段階(S40)では、ユーザが設定する文体情報によって、翻訳文字列の文体を口語体、文語体、敬語体などに設定して翻訳文字列を生成することもできる。また、文体情報としてビジネス話法、親睦用話法、SNSアップロード用話法などを設定することも可能である。すなわち、翻訳文字列が文体を設定することによって、ユーザは自身の用途や目的に応じて様々なニュアンスを含めて翻訳文字列を生成することができる。
入力段階(S50)では、翻訳文字列を第1アプリケーションの入力窓に入力できる。すなわち、翻訳文字列は、第1アプリケーションの入力窓に表示されてよく、その後、ユーザが入力窓の入力ボタンを入力すると、翻訳文字列が第1アプリケーションに入力されてよい。ここで、入力インターフェースには原文表示窓が含まれてよく、ユーザが入力言語で入力した対象文字列は原文表示窓に表示されてよい。したがって、ユーザは、自身の入力した対象文字列と翻訳された翻訳文字列を同時に確認でき、異常がない場合には、翻訳文字列を第1アプリケーションの入力窓を介して入力することができる。
逆翻訳段階(S60)では、第1アプリケーションに含まれた翻訳言語で表示された文字列を、入力言語に逆翻訳して逆翻訳文字列を生成することができる。すなわち、ユーザの選択した選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成でき、生成した逆翻訳文字列をユーザに表示できる。ここでは、逆翻訳段階(S60)が入力段階(S50)以降に行われるとしているが、これに限定されるのではなく、逆翻訳段階(S60)は様々な時点に行われてもよい。
逆翻訳段階(S60)は、図12に示すように、まず、第1アプリケーション内に翻訳言語で表示された複数の文字列から、ユーザがクリップボード(clipboard)にコピーした選択文字列を抽出できる(S61)。すなわち、第1アプリケーションがコピーした文字列はクリップボードに保存されてよく、入力アプリケーションはクリップボードに接近して、ユーザの選択した選択文字列を抽出できる。
その後、翻訳対情報から翻訳言語に対応する入力言語を抽出し、選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成できる(S62)。入力アプリケーションが翻訳機能を果たす場合には、翻訳対情報が設定されており、当該翻訳対情報には、ユーザの選択した入力言語と翻訳言語が含まれている。したがって、逆翻訳段階(S60)では翻訳対情報を用いて翻訳言語を入力言語に逆翻訳できる。すなわち、選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成できる。
逆翻訳文字列が生成されると、逆翻訳文字列を入力インターフェース上に表示できる(S63)。すなわち、逆翻訳文字列をディスプレイ部内に表示してユーザに提供できる。逆翻訳文字列は、設定表示時間(例えば、3秒)の間に表示されてもよく、実施例によっては、ユーザが逆翻訳文字列をタップ(tap)やスワイプ(swipe)するなどの別途のジェスチャを入力する場合に消えるようにしてもよい。
ただし、逆翻訳文字列は、入力インターフェースに表示されるものであり、入力インターフェースが端末装置に含まれるディスプレイ部内に表示されない場合には、逆翻訳文字列を表示しないことがある。ユーザは様々な理由で文字列をコピーでき、文字列をコピーすることが必ずしも逆翻訳文字列の表示を要求することに該当すると見なすことはできない。したがって、入力インターフェースが表示されない場合には逆翻訳文字列を表示しなくてもよい。
一方、逆翻訳文字列を生成した後、設定時間内にユーザの入力などによって入力インターフェースが再び出力される場合には、逆翻訳文字列を入力インターフェース上に表示することができる。ユーザが逆翻訳文字列を生成して設定時間以内に、再び入力インターフェースを出力させることは、ユーザに逆翻訳文字列を確認しようとする意図があると見なすことができる。したがって、入力インターフェースを表示しながら逆翻訳文字列を同時に表示できる。
前述した本発明は、プログラムが記録された媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ可読媒体は、コンピュータで実行可能なプログラムを続けて記憶するか、実行又はダウンロードのために臨時記憶するものでよい。また、媒体は、単一又は数個のハードウェアが結合した形態の様々な記録手段又は記憶手段であり得るが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD-ROM及びDVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical medium)、及びROM、RAM、フラッシュメモリなどを含めてプログラム命令語が記憶されるように構成されたものが挙げられる。また、他の媒体の例示に、アプリケーションを流通するアプリストアやその他様々なソフトウェアを供給又は流通するサイト、サーバーなどで管理する記録媒体又は記憶媒体も挙げることができる。したがって、前記の詳細な説明はいずれの面においても制限的に解釈されてはならず、例示的なものとして考慮されるべきである。本発明の範囲は、添付する請求項の合理的解析によって決定されるべきであり、本発明の等価的範囲内における変更はいずれも本発明の範囲に含まれる。
本発明は、前述した実施例及び添付の図面によって限定されるものではない。本発明の属する技術の分野における通常の知識を有する者にとって、本発明の技術的思想から逸脱しない範囲内で、本発明に係る構成要素を置換、変形及び変更できるということが明らかであろう。

Claims (16)

  1. 端末装置によって実行される、入力アプリケーションを用いた翻訳サービス提供方法であって、当該方法は、
    端末装置で実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力する入力インターフェース出力段階;
    ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定段階;
    ユーザが前記入力インターフェースを用いてコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出段階;
    前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳段階
    前記翻訳文字列を前記第1アプリケーションの入力窓に入力する入力段階;及び
    前記第1アプリケーション内に前記翻訳言語で表示された複数の文字列の中から、ユーザがクリップボード(clipboard)にコピーした文字列を前記入力言語に逆翻訳して逆翻訳文字列を生成する逆翻訳段階を含む翻訳サービス提供方法。
  2. 前記入力インターフェース出力段階は、
    前記端末装置に含まれるディスプレイ部の設定領域内に、前記入力インターフェースを表示することを特徴とする、請求項1に記載の翻訳サービス提供方法。
  3. 前記翻訳対設定段階は、
    複数の言語に対応するそれぞれの言語アイコンを表示し、前記言語アイコンからユーザによって選択された言語アイコンに対応する言語を、それぞれ前記入力言語と翻訳言語に設定することを特徴とする、請求項1に記載の翻訳サービス提供方法。
  4. 前記対象文字列抽出段階は、
    前記入力言語に対応するキーボードを含む仮想キーボードを前記端末装置のディスプレイ部に表示する段階;及び
    前記仮想キーボードを介してユーザが前記入力言語で入力する文字列を受信する段階;及び
    前記文字列を前記対象文字列として抽出する段階を含むことを特徴とする、請求項1に記載の翻訳サービス提供方法。
  5. 前記対象文字列抽出段階は、
    前記端末装置のマイクを用いて、前記入力言語で発話される音声を音声信号として受信する段階;及び
    前記音声信号に音声認識アルゴリズムを適用して、前記音声信号に対応する前記対象文字列を抽出する段階を含むことを特徴とする、請求項1に記載の翻訳サービス提供方法。
  6. 前記対象文字列抽出段階は、
    前記端末装置のカメラを用いて、前記入力言語で作成された文字列を含むイメージを撮影する段階;及び
    前記イメージに文字認識アルゴリズムを適用して、前記イメージに含まれた前記文字列を前記対象文字列として抽出する段階を含むことを特徴とする、請求項1に記載の翻訳サービス提供方法。
  7. 前記翻訳段階は、
    翻訳サーバーに前記対象文字列と翻訳対情報を伝送して翻訳を要請し、前記翻訳サーバーから前記翻訳言語に翻訳された翻訳文字列を受信することを特徴とする、請求項1に記載の翻訳サービス提供方法。
  8. 前記翻訳段階は、
    前記翻訳言語を変更する再設定入力を受信すると、前記対象文字列を前記再設定入力に対応する翻訳言語に再翻訳した再翻訳文字列を生成することを特徴とする、請求項1に記載の翻訳サービス提供方法。
  9. 前記入力インターフェースは、
    前記抽出した対象文字列が表示される原文表示窓を含むことを特徴とする、請求項1に記載の翻訳サービス提供方法。
  10. 前記翻訳段階は、
    ユーザが設定する文体情報によって、前記翻訳文字列の文体を少なくとも口語体、文語体及び敬語体のいずれか一つに設定して前記翻訳文字列を生成することを特徴とする、請求項1に記載の翻訳サービス提供方法。
  11. 端末装置によって実行される、入力アプリケーションを用いた翻訳サービス提供方法であって、当該方法は、
    端末装置で実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力する入力インターフェース出力段階;
    ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定段階;
    ユーザが前記入力インターフェースを用いてコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出段階;
    前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳段階;及び
    前記翻訳文字列を前記第1アプリケーションの入力窓に入力する入力段階を含み、
    当該方法はさらに、前記第1アプリケーションに含まれた前記翻訳言語で表示された文字列を、前記入力言語に逆翻訳して逆翻訳文字列を生成する逆翻訳段階を含み、
    前記逆翻訳段階は、
    前記第1アプリケーション内に前記翻訳言語で表示された複数の文字列の中から、ユーザがクリップボード(clipboard)にコピーした選択文字列を抽出する段階;
    前記翻訳対情報から前記翻訳言語に対応する前記入力言語を抽出し、前記選択文字列を前記入力言語に逆翻訳して逆翻訳文字列を生成する段階;及び
    前記逆翻訳文字列を、前記入力インターフェース上に表示する段階を含む、翻訳サービス提供方法。
  12. 前記入力インターフェース上に表示する段階は、
    前記入力インターフェースが前記端末装置に含まれるディスプレイ部内に表示される場合に限って、前記逆翻訳文字列を表示することを特徴とする、請求項11に記載の翻訳サービス提供方法。
  13. 前記入力インターフェース上に表示する段階は、
    前記逆翻訳文字列を生成後に設定時間内に前記入力インターフェースが再び出力されると、前記逆翻訳文字列を前記入力インターフェース上に表示することを特徴とする、請求項12に記載の翻訳サービス提供方法。
  14. ハードウェアと結合して請求項1~13のいずれか一項の翻訳サービス提供方法を実行するために媒体に記憶されたコンピュータプログラム。
  15. 実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力するインターフェース出力部;
    ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定部;
    前記入力インターフェースを用いてユーザがコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出部;
    前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳部
    前記翻訳文字列を前記第1アプリケーションの入力窓に入力する入力部;及び
    前記第1アプリケーション内に前記翻訳言語で表示された複数の文字列の中から、ユーザがクリップボード(clipboard)にコピーした文字列を前記入力言語に逆翻訳して逆翻訳文字列を生成する逆翻訳部を含む端末装置。
  16. プロセッサ;及び
    前記プロセッサに結合されたメモリを含む端末装置であって、
    前記メモリは、前記プロセッサによって実行されるように構成される一つ以上のモジュールを含み、
    前記一つ以上のモジュールは、
    端末装置で実行中の第1アプリケーションの要請に応じて、前記第1アプリケーションにコンテンツを入力する入力インターフェースを出力し、
    ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定し、
    ユーザが前記入力インターフェースを用いて前記コンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出し、
    前記対象文字列を前記翻訳言語に翻訳して翻訳文字列を生成し、
    前記翻訳文字列を前記第1アプリケーションの入力窓に入力し、
    前記第1アプリケーション内に前記翻訳言語で表示された複数の文字列の中から、ユーザがクリップボード(clipboard)にコピーした文字列を前記入力言語に逆翻訳して逆翻訳文字列を生成する、ための命令語を含んでいる、端末装置。
JP2020573205A 2018-06-29 2018-10-10 入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置 Active JP7145988B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0076035 2018-06-29
KR1020180076035A KR102206486B1 (ko) 2018-06-29 2018-06-29 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
PCT/KR2018/011863 WO2020004717A1 (ko) 2018-06-29 2018-10-10 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치

Publications (2)

Publication Number Publication Date
JP2021528788A JP2021528788A (ja) 2021-10-21
JP7145988B2 true JP7145988B2 (ja) 2022-10-03

Family

ID=68987355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573205A Active JP7145988B2 (ja) 2018-06-29 2018-10-10 入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置

Country Status (3)

Country Link
JP (1) JP7145988B2 (ja)
KR (1) KR102206486B1 (ja)
WO (1) WO2020004717A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220102302A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 클립보드 기능을 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2024085460A1 (ko) * 2022-10-19 2024-04-25 삼성전자주식회사 이미지 내에 포함된 글자들을 식별하기 위한 전자 장치 및 그 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196278A (ja) 2001-12-27 2003-07-11 Brother Ind Ltd 文字入力方法、文字入力プログラム及びコンピュータ読み取り可能な記録媒体
JP2006318202A (ja) 2005-05-12 2006-11-24 Suri Kaiseki Kenkyusho:Kk 翻訳装置、翻訳プログラム及び翻訳システム
JP2008077601A (ja) 2006-09-25 2008-04-03 Toshiba Corp 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP2008152670A (ja) 2006-12-19 2008-07-03 Fujitsu Ltd 翻訳文入力支援プログラム、該プログラムを記録した記憶媒体、翻訳文入力支援装置、および翻訳文入力支援方法
JP2009059348A (ja) 2007-08-31 2009-03-19 Eigyotatsu Kofun Yugenkoshi 編集された翻訳語句の入力システム及びその方法
KR101421621B1 (ko) 2013-07-30 2014-07-22 (주)블루랩스 언어통역기능을 갖는 스마트폰 단말기 및 이를 포함하는 언어통역시스템
JP2015069365A (ja) 2013-09-27 2015-04-13 シャープ株式会社 情報処理装置、および制御プログラム
JP2015201169A (ja) 2014-04-08 2015-11-12 ネイバー コーポレーションNAVER Corporation 多様な意味カテゴリに基づいた翻訳結果提供方法およびシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282791A (ja) * 2000-03-29 2001-10-12 Brother Ind Ltd 機械翻訳装置
CN103370705B (zh) * 2011-01-05 2018-01-02 谷歌公司 用于便利文本输入的方法和系统
KR101377601B1 (ko) * 2012-09-20 2014-03-25 주식회사 인지소프트 모바일 카메라를 이용한 자연 영상 다국어 문자 인식과 번역 시스템 및 방법
US10592098B2 (en) * 2016-05-18 2020-03-17 Apple Inc. Devices, methods, and graphical user interfaces for messaging
KR101882293B1 (ko) * 2016-08-19 2018-07-30 네이버 주식회사 문자 입력 및 컨텐츠 추천을 위한 통합 키보드

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196278A (ja) 2001-12-27 2003-07-11 Brother Ind Ltd 文字入力方法、文字入力プログラム及びコンピュータ読み取り可能な記録媒体
JP2006318202A (ja) 2005-05-12 2006-11-24 Suri Kaiseki Kenkyusho:Kk 翻訳装置、翻訳プログラム及び翻訳システム
JP2008077601A (ja) 2006-09-25 2008-04-03 Toshiba Corp 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP2008152670A (ja) 2006-12-19 2008-07-03 Fujitsu Ltd 翻訳文入力支援プログラム、該プログラムを記録した記憶媒体、翻訳文入力支援装置、および翻訳文入力支援方法
JP2009059348A (ja) 2007-08-31 2009-03-19 Eigyotatsu Kofun Yugenkoshi 編集された翻訳語句の入力システム及びその方法
KR101421621B1 (ko) 2013-07-30 2014-07-22 (주)블루랩스 언어통역기능을 갖는 스마트폰 단말기 및 이를 포함하는 언어통역시스템
JP2015069365A (ja) 2013-09-27 2015-04-13 シャープ株式会社 情報処理装置、および制御プログラム
JP2015201169A (ja) 2014-04-08 2015-11-12 ネイバー コーポレーションNAVER Corporation 多様な意味カテゴリに基づいた翻訳結果提供方法およびシステム

Also Published As

Publication number Publication date
KR102206486B1 (ko) 2021-01-25
KR20200002490A (ko) 2020-01-08
JP2021528788A (ja) 2021-10-21
WO2020004717A1 (ko) 2020-01-02

Similar Documents

Publication Publication Date Title
US11735182B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
JP5248321B2 (ja) 翻訳文の柔軟な表示
US9043300B2 (en) Input method editor integration
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
KR102351587B1 (ko) 선택가능한 그래픽 엘리먼트를 통해 자동화된 에이전트로 대화를 초기화하기
JP2018533786A (ja) 世界共通翻訳
CN108829686B (zh) 翻译信息显示方法、装置、设备及存储介质
JP7101212B2 (ja) 会議補助用翻訳ツールのための方法およびシステム
JP2016061855A (ja) 音声学習装置および制御プログラム
JP7145988B2 (ja) 入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置
US20200335009A1 (en) Method of Gesture Selection of Displayed Content on a General User Interface
KR102171327B1 (ko) 번역 서비스 제공 방법 및 이를 이용하는 단말장치
CN110992960A (zh) 控制方法、装置、电子设备和存储介质
TWI795081B (zh) 於行動電子裝置上之媒體內容之裝置上即時翻譯
JP2022134600A (ja) 字幕表示処理プログラム、字幕表示処理装置、サーバ。
Aziz et al. Inclusive Voice Interaction Techniques for Creative Object Positioning
CN110853643A (zh) 快应用中进行语音识别的方法、装置、设备及存储介质
US20230343336A1 (en) Multi-modal interaction between users, automated assistants, and other computing services
US20220300699A1 (en) Combination therapy to treat cancer and uses thereof
Suvagiya et al. Indian sign language translator using Kinect
JP2021113963A (ja) 学習プログラム
KR20160064287A (ko) 스마트폰을 이용한 프로젝트 음성 텍스트의 생성 및 확산 방법
Oktem et al. EDITING TEXT BASED ON INPUT MODE
CN115080170A (zh) 信息处理方法、信息处理装置和电子设备
CN115793915A (zh) 一种终端控制方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150