JP7164651B2 - 翻訳方法、装置、電子機器及びコンピュータプログラム製品 - Google Patents
翻訳方法、装置、電子機器及びコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP7164651B2 JP7164651B2 JP2021042333A JP2021042333A JP7164651B2 JP 7164651 B2 JP7164651 B2 JP 7164651B2 JP 2021042333 A JP2021042333 A JP 2021042333A JP 2021042333 A JP2021042333 A JP 2021042333A JP 7164651 B2 JP7164651 B2 JP 7164651B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- translation
- image
- text
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18162—Extraction of features or characteristics of the image related to a structural representation of the pattern
- G06V30/18171—Syntactic representation, e.g. using a grammatical approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/268—Lexical context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Description
Claims (15)
- 翻訳装置により実行される翻訳方法であって、
翻訳されるテキストを含む画像を取得することと、
前記画像内の前記テキストを分割して、前記テキストの文字又は単語を含む複数のターゲット対象を取得することと、
前記複数のターゲット対象に対する入力操作を受信して、前記複数のターゲット対象のうちの翻訳対象を取得して前記翻訳対象を翻訳することと、
を含み、
前記画像内の前記テキストを分割して、複数のターゲット対象を取得することが、
認識モデルを用いて前記画像を認識して、第2の認識結果を取得することと、
前記第2の認識結果に基づいて前記画像が学習シーンでの画像であると決定した場合に、前記画像内の前記テキストを分割して、前記複数のターゲット対象を取得することと、
を含む翻訳方法。 - 前記翻訳対象は、前記複数のターゲット対象のうちの1つのターゲット対象、又は位置が連続しない複数のターゲット対象、又は前記複数のターゲット対象のうちの位置が連続する複数のターゲット対象を含む、請求項1に記載の方法。
- 前記画像内の前記テキストを分割して、ターゲット対象を複数取得することは、
前記画像に対してコンテンツ認識を行って、第1の認識結果を取得することと、
前記第1の認識結果における文字を分割して、前記複数のターゲット対象を取得することと、
前記画像内の、クリックボックスをさらに含む前記ターゲット対象の位置にクリックボックスを表示することと、を含み、
前記複数のターゲット対象に対する入力操作を受信して、前記複数のターゲット対象のうちの翻訳対象を取得することは、
前記複数のターゲット対象のクリックボックスに対する入力操作を受信して、前記複数のターゲット対象のうちの、前記クリックボックスに対応する文字又は単語である翻訳対象を取得することを含む、請求項1に記載の方法。 - 前記第1の認識結果における文字を分割して、前記複数のターゲット対象を取得することは、
前記第1の認識結果における文字を行ごとに分割して、少なくとも1行の文字情報を取得することと、
前記少なくとも1行の文字情報内の各行の文字情報をそれぞれ文字間隔に応じて分割して、前記複数のターゲット対象を取得することと、を含む、請求項3に記載の方法。 - 前記画像内の前記ターゲット対象の位置にクリックボックスを表示することは、
前記画像内の前記ターゲット対象の位置に所定の透明度のマスクレイヤーを表示することと、
前記マスクレイヤーにクリックボックスを表示することと、を含む、請求項3に記載の方法。 - 前記翻訳対象を翻訳することは、
前記翻訳対象を翻訳して、翻訳結果を取得することと、
前記テキストにおける前記翻訳対象の文脈を取得して、データベースから複数のナレッジポイント情報を抽出することと、
ユーザの履歴照会データに基づいて、前記複数のナレッジポイント情報の優先度を決定することと、
前記複数のナレッジポイント情報を優先度に応じて順序付け、上位に順序付けられた、正の整数であるN個のナレッジポイント情報を取得することと、
前記翻訳結果及び前記N個のナレッジポイント情報を表示することと、を含む、請求項1に記載の方法。 - 翻訳されるテキストを含む画像を取得する取得モジュールと、
前記画像内の前記テキストを分割して、前記テキストの文字又は単語を含む複数のターゲット対象を取得する分割モジュールと、
前記複数のターゲット対象に対する入力操作を受信して、前記複数のターゲット対象のうちの翻訳対象を取得する受信モジュールと、
前記翻訳対象を翻訳する翻訳モジュールと、
を含み、
前記分割モジュールが、
認識モデルを用いて前記画像を認識して、第2の認識結果を取得する第2の認識サブモジュールと、
前記第2の認識結果に基づいて前記画像が学習シーンでの画像であると決定した場合に、前記画像内の前記テキストを分割して、前記複数のターゲット対象を取得する第2の分割サブモジュールと、
を含む翻訳装置。 - 前記翻訳対象は、前記複数のターゲット対象のうちの1つのターゲット対象、又は位置が連続しない複数のターゲット対象、又は前記複数のターゲット対象のうちの位置が連続する複数のターゲット対象を含む、請求項7に記載の装置。
- 前記分割モジュールは、
前記画像に対してコンテンツ認識を行って、第1の認識結果を取得する第1の認識サブモジュールと、
前記第1の認識結果における文字を分割して、前記複数のターゲット対象を取得する第1の分割サブモジュールと、
前記画像内の、クリックボックスをさらに含む前記ターゲット対象の位置にクリックボックスを表示する第1の表示サブモジュールと、を含み、
前記受信モジュールは、前記複数のターゲット対象のクリックボックスに対する入力操作を受信して、前記複数のターゲット対象のうちの、前記クリックボックスに対応する文字又は単語である翻訳対象を取得する、請求項7に記載の装置。 - 前記第1の分割サブモジュールは、
前記第1の認識結果における文字を行ごとに分割して、少なくとも1行の文字情報を取得し、
前記少なくとも1行の文字情報内の各行の文字情報をそれぞれ文字間隔に応じて分割して、前記複数のターゲット対象を取得する、請求項9に記載の装置。 - 前記第1の表示サブモジュールは、
前記画像内の前記ターゲット対象の位置に所定の透明度のマスクレイヤーを表示する第1の表示ユニットと、
前記マスクレイヤーにクリックボックスを表示する第2の表示ユニットと、を含む、請求項9に記載の装置。 - 前記翻訳モジュールは、
前記翻訳対象を翻訳して、翻訳結果を取得する翻訳サブモジュールと、
前記テキストにおける前記翻訳対象の文脈を取得して、データベースから複数のナレッジポイント情報を抽出する第1の取得サブモジュールと、
ユーザの履歴照会データに基づいて、前記複数のナレッジポイント情報の優先度を決定する決定サブモジュールと、
前記複数のナレッジポイント情報を優先度に応じて順序付け、上位に順序付けられた、正の整数であるN個のナレッジポイント情報を取得する順序付けサブモジュールと、
前記翻訳結果及び前記N個のナレッジポイント情報を表示する第2の表示サブモジュールと、を含む、請求項7に記載の装置。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサに実行可能で、前記少なくとも1つのプロセッサによって実行されると、請求項1から6のいずれか一項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令が記憶されている、電子機器。 - 請求項1から6のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体。
- プロセッサによって実行されると、請求項1から6のいずれか一項に記載の方法が実現されるコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010929840.1 | 2020-09-07 | ||
CN202010929840.1A CN112085090A (zh) | 2020-09-07 | 2020-09-07 | 翻译方法、装置以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021106008A JP2021106008A (ja) | 2021-07-26 |
JP7164651B2 true JP7164651B2 (ja) | 2022-11-01 |
Family
ID=73732376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021042333A Active JP7164651B2 (ja) | 2020-09-07 | 2021-03-16 | 翻訳方法、装置、電子機器及びコンピュータプログラム製品 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210209428A1 (ja) |
EP (1) | EP3825898A3 (ja) |
JP (1) | JP7164651B2 (ja) |
KR (1) | KR102569517B1 (ja) |
CN (1) | CN112085090A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926569B (zh) * | 2021-03-16 | 2022-10-18 | 重庆邮电大学 | 一种社交网络中的自然场景图像文本检测方法 |
CN112988011B (zh) * | 2021-03-24 | 2022-08-05 | 百度在线网络技术(北京)有限公司 | 取词翻译方法和装置 |
CN113012264A (zh) * | 2021-03-25 | 2021-06-22 | 北京有竹居网络技术有限公司 | 一种图片处理方法、装置和设备 |
CN113486679A (zh) * | 2021-07-08 | 2021-10-08 | 中联国智科技管理(北京)有限公司 | 一种基于神经网络的语句翻译方法及装置 |
CN113778303A (zh) * | 2021-08-23 | 2021-12-10 | 深圳价值在线信息科技股份有限公司 | 一种文字提取的方法、装置及计算机可读存储介质 |
CN114154092B (zh) * | 2021-11-18 | 2023-04-18 | 网易有道信息技术(江苏)有限公司 | 用于对网页进行翻译的方法及其相关产品 |
CN115543161B (zh) * | 2022-11-04 | 2023-08-15 | 广东保伦电子股份有限公司 | 一种适用于白板一体机的抠图方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040210444A1 (en) | 2003-04-17 | 2004-10-21 | International Business Machines Corporation | System and method for translating languages using portable display device |
US20140180670A1 (en) | 2012-12-21 | 2014-06-26 | Maria Osipova | General Dictionary for All Languages |
JP2015069365A (ja) | 2013-09-27 | 2015-04-13 | シャープ株式会社 | 情報処理装置、および制御プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5224040A (en) * | 1991-03-12 | 1993-06-29 | Tou Julius T | Method for translating chinese sentences |
JP3114703B2 (ja) * | 1998-07-02 | 2000-12-04 | 富士ゼロックス株式会社 | 対訳文検索装置 |
JP3437782B2 (ja) * | 1999-03-12 | 2003-08-18 | 日本電信電話株式会社 | 機械翻訳方法及びその装置並びに機械翻訳プログラムを記憶した媒体 |
GB2468278A (en) * | 2009-03-02 | 2010-09-08 | Sdl Plc | Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation |
JP5204203B2 (ja) * | 2010-11-24 | 2013-06-05 | 株式会社東芝 | 用例翻訳システム、用例翻訳方法及び用例翻訳プログラム |
CN102982329A (zh) * | 2012-11-02 | 2013-03-20 | 华南理工大学 | 移动设备中融合切分识别和语义分析的翻译方法 |
US20150199908A1 (en) * | 2013-02-08 | 2015-07-16 | Google Inc. | Translating content for learning a language |
WO2017130474A1 (ja) * | 2016-01-25 | 2017-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN105786803B (zh) * | 2016-02-22 | 2018-12-18 | 广东小天才科技有限公司 | 翻译方法及翻译装置 |
JP2019537103A (ja) * | 2016-09-28 | 2019-12-19 | シストラン インターナショナル カンパニー.,リミテッド.Systran International Co.,Ltd. | 文字を翻訳する方法及びその装置 |
CN106599888A (zh) * | 2016-12-13 | 2017-04-26 | 广东小天才科技有限公司 | 一种翻译方法、装置及移动终端 |
CN107451127B (zh) * | 2017-07-04 | 2020-11-06 | 广东小天才科技有限公司 | 一种基于图像的单词翻译方法及系统、移动设备 |
CN107656922B (zh) * | 2017-09-25 | 2021-07-20 | 广东小天才科技有限公司 | 一种翻译方法、装置、终端及存储介质 |
KR102478396B1 (ko) * | 2017-11-29 | 2022-12-19 | 삼성전자주식회사 | 이미지에서 텍스트를 인식할 수 있는 전자 장치 |
US10757148B2 (en) * | 2018-03-02 | 2020-08-25 | Ricoh Company, Ltd. | Conducting electronic meetings over computer networks using interactive whiteboard appliances and mobile devices |
CN109088995B (zh) * | 2018-10-17 | 2020-11-13 | 永德利硅橡胶科技(深圳)有限公司 | 支持全球语言翻译的方法及手机 |
CN109614628A (zh) * | 2018-11-16 | 2019-04-12 | 广州市讯飞樽鸿信息技术有限公司 | 一种基于智能硬件的翻译方法与翻译系统 |
CN109657619A (zh) * | 2018-12-20 | 2019-04-19 | 江苏省舜禹信息技术有限公司 | 一种附图翻译方法、装置及存储介质 |
CN111079489B (zh) * | 2019-05-28 | 2023-04-28 | 广东小天才科技有限公司 | 一种内容识别方法及电子设备 |
CN110347978B (zh) * | 2019-07-02 | 2022-09-16 | 深圳市数字星河科技有限公司 | 一种电子书辅助阅读的方法 |
-
2020
- 2020-09-07 CN CN202010929840.1A patent/CN112085090A/zh active Pending
-
2021
- 2021-03-16 JP JP2021042333A patent/JP7164651B2/ja active Active
- 2021-03-17 KR KR1020210034701A patent/KR102569517B1/ko active IP Right Grant
- 2021-03-18 EP EP21163486.0A patent/EP3825898A3/en not_active Ceased
- 2021-03-19 US US17/207,559 patent/US20210209428A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040210444A1 (en) | 2003-04-17 | 2004-10-21 | International Business Machines Corporation | System and method for translating languages using portable display device |
US20140180670A1 (en) | 2012-12-21 | 2014-06-26 | Maria Osipova | General Dictionary for All Languages |
JP2015069365A (ja) | 2013-09-27 | 2015-04-13 | シャープ株式会社 | 情報処理装置、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3825898A3 (en) | 2021-10-13 |
KR102569517B1 (ko) | 2023-08-21 |
CN112085090A (zh) | 2020-12-15 |
JP2021106008A (ja) | 2021-07-26 |
US20210209428A1 (en) | 2021-07-08 |
EP3825898A2 (en) | 2021-05-26 |
KR20210037637A (ko) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7164651B2 (ja) | 翻訳方法、装置、電子機器及びコンピュータプログラム製品 | |
US9275046B2 (en) | Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices | |
JP7204847B2 (ja) | 関連コンテンツを使用した画像の効率的な増強 | |
CN107656922B (zh) | 一种翻译方法、装置、终端及存储介质 | |
US8965129B2 (en) | Systems and methods for determining and displaying multi-line foreign language translations in real time on mobile devices | |
US10416877B2 (en) | System and method of guiding handwriting input | |
RU2693916C1 (ru) | Распознавание символов с использованием иерархической классификации | |
US20140081619A1 (en) | Photography Recognition Translation | |
US20140180670A1 (en) | General Dictionary for All Languages | |
CN111832403A (zh) | 文档结构识别方法、文档结构识别的模型训练方法和装置 | |
US20210406467A1 (en) | Method and apparatus for generating triple sample, electronic device and computer storage medium | |
JP7203897B2 (ja) | 文書レイアウト解析方法、装置、電子機器及び記憶媒体 | |
JP2023012522A (ja) | クロスモーダル情報に基づく文書読解モデルトレーニング方法及び装置 | |
Ponsard et al. | An ocr-enabled digital comic books viewer | |
US11514699B2 (en) | Text block recognition based on discrete character recognition and text information connectivity | |
CN112163513A (zh) | 信息选取方法、系统、装置、电子设备及存储介质 | |
WO2023016163A1 (zh) | 文字识别模型的训练方法、识别文字的方法和装置 | |
CN110543238A (zh) | 基于人工智能的桌面交互方法 | |
JP2006031129A (ja) | 文書処理手法及び文書処理装置 | |
Dharsini et al. | Devanagri character image recognition and conversion into text using long short term memory | |
CN113051390B (zh) | 知识库构建方法、装置、电子设备和介质 | |
JP6891744B2 (ja) | 画像マップ作成装置、表示装置及びプログラム | |
CN117666797A (zh) | 基于拇指相对位置识别的隔空手势输入方法和装置 | |
CN116893768A (zh) | 展示方法、装置、词典笔、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7164651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |