JP6888410B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6888410B2 JP6888410B2 JP2017096189A JP2017096189A JP6888410B2 JP 6888410 B2 JP6888410 B2 JP 6888410B2 JP 2017096189 A JP2017096189 A JP 2017096189A JP 2017096189 A JP2017096189 A JP 2017096189A JP 6888410 B2 JP6888410 B2 JP 6888410B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- translation
- document
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/106—Display of layout of documents; Previewing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00567—Handling of original or reproduction media, e.g. cutting, separating, stacking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Machine Translation (AREA)
- Character Input (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、翻訳対象外とする領域を指定する情報処理装置及び情報処理プログラムを提供することを目的としている。
請求項1の発明は、翻訳対象の文書を受け付ける受付手段と、前記文書に対して、翻訳対象外とする領域を取得する取得手段と、前記領域内を翻訳せず、該領域以外の部分を翻訳する翻訳手段と、前記文書のレイアウト解析を行う解析手段を有し、前記取得手段は、前記領域の周囲にある文字領域内の文字の接続関係を取得し、前記翻訳手段は、前記接続関係にしたがって翻訳を行い、前記取得手段は、前記解析手段によるレイアウト解析の結果を提示し、操作者による接続関係の選択指示にしたがって、前記文字領域内の文字の接続関係を取得する、情報処理装置である。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
文書には文字領域以外に図や企業ロゴ等が含まれている場合がある。そのような文書を翻訳するにあたっては、図中や企業ロゴの文字等を翻訳対象とすべきではない領域がある。しかし、文書を翻訳するにあたって、一般的に、翻訳対象とすべき領域を指定することは可能であるが、翻訳対象とすべきでない領域を明示的に指定することはできない。つまり、このような場合、翻訳対象とすべきでない領域を指定しないことによって、翻訳対象とすべきでない領域を指定することになる。特に、文字領域が多く、翻訳対象とすべきではない領域が少ないような場合は、操作者の操作が多くなってしまう。
本実施の形態の情報処理装置100は、翻訳対象とすべき領域を指定する場合に比べて、翻訳対象外とする領域を指定するのに、操作者の操作を少なくすることができる。
「文書を受け付ける」として、文書をスキャナで読み込むこと、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている文書を読み出すこと等が含まれる。文書画像は、2値画像、多値画像(カラー画像を含む)であってもよい。受け付ける文書は、1枚であってもよいし、複数枚であってもよい。また、文書の内容として、翻訳対象の文字が含まれていればよく、例えば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
文書受付モジュール105が受け付ける文書には、翻訳対象外領域を示す情報画像が記載されていてもよい。ここで「情報画像」とは、機械可読な態様で電子データを表すために体系的に作られた画像コードをいい、例えば、1次元バーコード、2次元コード、電子透かし情報等がある。具体的には、2次元コードとして、QRコード(Quick Response code:登録商標)等がある。情報画像内に、翻訳対象外領域を示す情報(例えば、領域の左上端点と右下端点の座標を示す情報等)が埋め込まれている。
除外領域取得モジュール115は、レイアウト解析モジュール120、機械翻訳モジュール125、出力モジュール130と接続されている。除外領域取得モジュール115は、文書に対して、翻訳対象外とする領域を取得する。ここで「翻訳対象外とする領域(以下、翻訳対象外領域ともいう)」とは、翻訳対象とすべきでない領域であって、例えば、図、企業ロゴ等が該当する。特に、図中や企業ロゴの文字等が記載されている領域が該当する。ただし、これら以外の領域を含めてもよい。例えば、操作者の選択操作によって選ばれた文字領域を翻訳対象としないようにしてもよい。
また、「翻訳対象外領域を取得する」のに、操作者による指示操作(具体的には、領域を囲む操作、レイアウト解析による結果である領域を選択する操作等)であってもよいし、文書内の情報画像の読み込みであってもよい。つまり、除外領域取得モジュール115は、文書内に情報画像がある場合は、その情報画像から翻訳対象外領域を取得するようにしてもよい。
さらに、除外領域取得モジュール115は、既に翻訳対象外とされている画像と類似する画像の領域を抽出し、その領域を翻訳対象外領域の候補として提示するようにしてもよい。そして、操作者は、その提示された翻訳対象外領域の候補を選択して、翻訳対象外領域を指定するようにしてもよい。ここで「既に翻訳対象外とされている画像」として、予め定められた画像、又は、操作者の操作等によって既に翻訳対象外とされた領域内の画像がある。
また、除外領域取得モジュール115は、複数の領域内の文字の接続関係を取得するようにしてもよい。特に、除外領域取得モジュール115は、翻訳対象外領域の周囲にある文字領域内の文字の接続関係を取得するようにしてもよい。
また、除外領域取得モジュール115は、レイアウト解析モジュール120によるレイアウト解析の結果を提示し、操作者による接続関係の選択指示にしたがって、文字領域内の文字の接続関係を取得するようにしてもよい。
機械翻訳モジュール125は、除外領域取得モジュール115によって取得された文字の接続関係にしたがって翻訳を行うようにしてもよい。
また、出力モジュール130は、機械翻訳モジュール125による翻訳結果を、翻訳対象外領域以外の領域に配置するようにしてもよい。具体的には、翻訳対象外領域の周囲の翻訳結果を、その翻訳対象外領域を避けて配置してもよい。つまり、翻訳対象外領域には、翻訳結果を重ねて配置することはしないようにする。
図2(a)の例に示す画像処理装置200は、情報処理装置100を有している。画像処理装置200は、例えば、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)であって、スキャナで読み込んだ文書を翻訳して、その翻訳結果をプリンタが印刷する。その印刷された文書は、スキャン対象の文書のレイアウトを維持して翻訳結果が配置されていてもよい。
例えば、画像処理装置210が文書を読み込み、文書画像を情報処理装置100に送信し、情報処理装置100から翻訳された文書を受け取って印刷してもよい。また、ユーザー端末220のユーザーの操作によって、ユーザー端末220又は文書記憶装置230内の電子文書を情報処理装置100に送信し、情報処理装置100から翻訳された文書を受け取ってもよい。その後、翻訳された文書を画像処理装置210で印刷してもよいし、文書記憶装置230に記憶させてもよい。
図3に示す文書300の例は、ロゴ領域330の周囲に「富士ゼロックスは、1962年の創業以来、複写機によるドキュメントの伝達を通して、「情報の民主化」に貢献してきました。その後、90年代に入って、IT革命により情報量は飛躍的に増大しただけでなくその流通経路や形態も多様化、複雑化しました。さらに、近年では情報通信技術(ICT)の進化によって、価値ある知識や情報を選別し活用する力が一層求められるようになりました。このような大きなパラダイムシフトのもとで、当社はもとよりお客様も、従前のやり方で事業成長を継続させることは困難になっており、複雑化・高度化する情報化社会にどのように向き合い、どう事業成長を継続させるべきか、企業としての真価が問われています。」という文章が記載されている。
本実施の形態を用いない場合、ロゴであるロゴ領域330も翻訳されてしまう。そして、レイアウト解析を行った結果として、文章領域310、文章領域320、文章領域340、文章領域350のように分かれた領域となる。特に、文字の接続関係は規定されていないので、2行の文字列がロゴ領域330を境にして、文章領域320と文章領域340に分かれている。つまり、物理的な分断が論理的な分断となってしまい、左右の領域(文章領域320と文章領域340)が個々に翻訳され、人が意図する翻訳結果とならない場合が生じる。具体的には、文章の流れとして、単に文章領域320内の文字列の次に、ロゴ領域330内の文字列を続ければよいわけではなく、文章領域320内の1行目の文字列の次に、文章領域340内の1行目の文字列、次に文章領域320内の2行目の文字列、そして、文章領域340内の2行目の文字列が続いている。後者のような文字列を翻訳対象としないと、誤訳してしまうことになってしまう。
ステップS402では、文書受付モジュール105は、文書を受け付ける。
ステップS404では、除外領域取得モジュール115は、受け付けた文書を表示する。例えば、情報処理装置100が有している液晶ディスプレイ等の表示装置を表示する。例えば、図5に示すように、画面500の文書表示領域520内に文書を表示する。そして、文書表示領域520の上にメッセージ領域510を表示し、そのメッセージ領域510に例えば「枠を描いて除外領域(翻訳対象外領域)を指定してください。」と表示する。
翻訳対象外領域530を示す情報として、例えば、除外領域テーブル600がある。図6は、除外領域テーブル600のデータ構造例を示す説明図である。図4の例に示すフローチャートのステップS406の処理結果である。除外領域テーブル600は、ID欄610、矩形領域欄620を有している。ID欄610は、翻訳対象外領域を本実施の形態で一意に識別するための情報(ID:IDentification)を記憶している。矩形領域欄620は、その翻訳対象外領域の矩形領域を示す情報(左上端点と右下端点の座標)を記憶している。
レイアウト解析結果領域540を示す情報として、例えば、レイアウト情報テーブル700がある。図7は、レイアウト情報テーブル700のデータ構造例を示す説明図である。図4の例に示すフローチャートのステップS408の処理結果である。レイアウト情報テーブル700は、ID欄710、矩形領域欄720を有している。ID欄710は、レイアウト解析結果の領域を本実施の形態で一意に識別するための情報(ID)を記憶している。矩形領域欄720は、そのレイアウト解析結果領域の矩形領域を示す情報(左上端点と右下端点の座標)を記憶している。
除外処理後領域550と除外処理後領域560を示す情報として、例えば、レイアウト情報テーブル(処理後)800がある。図8は、レイアウト情報テーブル(処理後)800のデータ構造例を示す説明図である。図4の例に示すフローチャートのステップS410の結果処理結果である。レイアウト情報テーブル(処理後)800は、ID欄810、矩形領域欄820を有している。ID欄810は、レイアウト解析結果領域から翻訳対象外領域を除外した後の領域を本実施の形態で一意に識別するための情報(ID)を記憶している。矩形領域欄820は、その領域の矩形領域を示す情報(左上端点と右下端点の座標)を記憶している。
ステップS414では、出力モジュール130は、元の文書のレイアウトを維持して、翻訳結果を配置する。
ステップS416では、出力モジュール130は、配置結果を出力する。
図9(a)に示す例は、文書受付モジュール105が受け付けた翻訳対象の文書900である。文書900内には、テキスト領域が隣接しているグラフ領域がある。このグラフ領域が翻訳対象外領域である。
図9(b)に示す例は、文書900から翻訳対象外領域910がユーザーの操作によって指定されて、除外領域取得モジュール115が翻訳対象外領域910を取得した例である。
なお、この翻訳対象外領域910が指定されないと(つまり、情報処理装置100を使用しない場合)、グラフ軸のラベルや見出しが、グラフ左側のテキスト領域(テキスト領域950)の一部とみなされ、翻訳結果が妥当でなくなることがある。さらに、出力結果として、グラフ左側の翻訳結果がグラフ上に重なって記載されてしまうことがある。
図9(d)に示す例は、翻訳結果990の出力結果である。文書900のレイアウトを維持したまま翻訳している。そして、翻訳対象外領域910は、翻訳せずに、そのまま表示している。
図4の例に示したフローチャートでは、ユーザーの操作によって翻訳対象外領域が指定された後に、レイアウト解析を行ったが、逆に、図10の例に示すフローチャートのように、レイアウト解析を行った後に、翻訳対象外領域が指定されてもよい。なお、ステップS1002、ステップS1010からステップS1016までの処理は、図4の例に示したフローチャートのステップS402、ステップS410からステップS416までの処理と同等である。
ステップS1004では、レイアウト解析モジュール120は、受け付けた文書からレイアウト情報を取得する。
ステップS1006では、除外領域取得モジュール115は、レイアウト解析後の文書を表示する。
ステップS1008では、除外領域取得モジュール115は、ユーザーの指定操作にしたがって翻訳対象外領域を取得する。ユーザーは、レイアウト解析結果を見ながら、翻訳対象外領域を指定(又は、レイアウト解析結果の領域をそのまま選択)することができる。
ステップS1012では、機械翻訳モジュール125は、翻訳対象外領域を避けて文書を機械翻訳する。
ステップS1014では、出力モジュール130は、元の文書のレイアウトを維持して、翻訳結果を配置する。
ステップS1016では、出力モジュール130は、配置結果を出力する。
図11(a)に示す例は、文書受付モジュール105が受け付けた翻訳対象の文書1100である。文書1100内には、テキスト領域が隣接しているグラフ領域がある。このグラフ領域が翻訳対象外領域である。
図11(b)に示す例は、レイアウト解析モジュール120によるレイアウト解析結果を示すものである。文書1100は、テキスト領域1122、テキスト領域1124、テキスト領域1126、テキスト領域1128、テキスト領域1130、テキスト領域1132、テキスト領域1134、テキスト領域1136、テキスト領域1138、テキスト領域1140、テキスト領域1142、テキスト領域1144、テキスト領域1146、テキスト領域1148、テキスト領域1150を有している。これらは、文書1100のレイアウト解析結果であり、ユーザーの操作は不要である。
なお、この翻訳対象外領域1110が指定されないと(つまり、情報処理装置100を使用しない場合)、グラフ軸のラベルや見出しが、グラフ左側のテキスト領域(テキスト領域1150)の一部とみなされ、翻訳結果が妥当でなくなることがある。さらに、出力結果として、グラフ左側の翻訳結果がグラフ上に重なって記載されてしまうことがある。
また、レイアウト解析モジュール120によるレイアウト解析のアルゴリズムによっては、グラフ領域だけを抽出することができる場合があり、その場合は、その領域を翻訳対象外領域として選択すればよい。
図11(d)に示す例は、翻訳結果1190の出力結果である。文書1100のレイアウトを維持したまま翻訳している。そして、翻訳対象外領域1110は、翻訳せずに、そのまま表示している。
図12の例に示すフローチャートは、既に翻訳対象外とされている画像と類似する画像の領域を抽出し、その領域を翻訳対象外領域の候補として提示する処理例を示すものである。
なお、ステップS1202、ステップS1210からステップS1218までの処理は、図4の例に示したフローチャートのステップS402、ステップS408からステップS416までの処理と同等である。
ステップS1204では、既に翻訳対象外とされている画像と類似する画像を、受け付けた文書から抽出する。ここで「既に翻訳対象外とされている画像」として、予め定められた画像、又は、操作者の操作等によって既に翻訳対象外領域とされた領域内の画像がある。「予め定められた画像」として、例えば、管理者等が指定した画像であって、一般的には、ロゴ画像、記号(例えば、地図記号等)、絵文字等がある。「操作者の操作等によって既に翻訳対象外領域とされた領域」として、既に情報処理装置100による処理が行われており、過去に「翻訳対象外領域とされた領域」が該当する。類似する画像を抽出する処理は、既存の技術を用いればよい。例えば、パターンマッチング技術を用いてもよいし、特徴抽出後に特徴空間内での一致度を用いるようにしてもよい。
ステップS1206では、抽出した画像の領域を翻訳対象外領域の候補として、文書を表示する。例えば、翻訳対象外領域の候補を、赤枠で表示すること、点滅させること等の強調表示を行うようにしてもよい。
ステップS1208では、ユーザーの指定操作にしたがって、翻訳対象外領域を取得する。ここでユーザーの操作として、翻訳対象外領域の候補を選択するだけで、翻訳対象外領域の指定操作になる。
ステップS1212では、除外領域取得モジュール115は、レイアウト情報から翻訳対象外領域を除外する。
ステップS1214では、機械翻訳モジュール125は、翻訳対象外領域を避けて文書を機械翻訳する。
ステップS1216では、出力モジュール130は、元の文書のレイアウトを維持して、翻訳結果を配置する。
ステップS1218では、出力モジュール130は、配置結果を出力する。
図12の例に示したフローチャートでは、ユーザーの操作によって翻訳対象外領域が指定された後に、レイアウト解析を行ったが、逆に、図13の例に示すフローチャートのように、レイアウト解析を行った後に、翻訳対象外領域が指定されてもよい。なお、ステップS1302、ステップS1304、ステップS1312からステップS1318までの処理は、図12の例に示したフローチャートのステップS1202、ステップS1204、ステップS1212からステップS1218までの処理と同等である。
ステップS1304では、既に翻訳対象外とされている画像と類似する画像を、受け付けた文書から抽出する。
ステップS1306では、類似画像の領域をレイアウト解析結果の領域となるように、レイアウト解析を行う。具体的には、類似画像の領域を、既にレイアウト解析が終了している領域として扱うことによって、類似画像の領域をレイアウト解析結果の領域とできる。
ステップS1310では、ユーザーの指定操作にしたがって、翻訳対象外領域を取得する。
ステップS1312では、除外領域取得モジュール115は、レイアウト情報から翻訳対象外領域を除外する。
ステップS1314では、機械翻訳モジュール125は、翻訳対象外領域を避けて文書を機械翻訳する。
ステップS1316では、出力モジュール130は、元の文書のレイアウトを維持して、翻訳結果を配置する。
ステップS1318では、出力モジュール130は、配置結果を出力する。
図14(a)に示す例は、文書受付モジュール105が受け付けた翻訳対象の画像1400である。画像1400内には、テキスト領域が隣接している地図記号が記載されている領域がある。この地図記号領域が翻訳対象外領域である。
ここで、翻訳対象外イメージテーブル1500を用いて、既に翻訳対象外とされている画像と類似する画像を抽出する。図15は、翻訳対象外イメージテーブル1500のデータ構造例を示す説明図である。翻訳対象外イメージテーブル1500は、ID欄1510、翻訳対象外イメージ欄1520を有している。ID欄1510は、翻訳対象外とされている画像を本実施の形態で一意に識別するための情報(ID)を記憶している。翻訳対象外イメージ欄1520は、翻訳対象外の画像を記憶している。なお、画像そのものを記憶していてもよいし、画像を記憶しているファイルの名称(URL等の記憶位置)を記憶していてもよいし、特徴抽出結果を記憶していてもよい。画像1400内から、翻訳対象外イメージ欄1520内の画像に類似する画像を抽出する。つまり、類似する画像の領域を翻訳対象外領域の候補とする。
図14(b)に示す例は、ステップS1308に対応するものであり、翻訳対象外イメージ欄1520内の画像に類似する画像の領域として、翻訳対象外領域候補1410、翻訳対象外領域候補1420、翻訳対象外領域候補1430と表示し、レイアウト解析として、翻訳対象となるテキスト領域1412、テキスト領域1422、テキスト領域1432を表示する。ユーザーは、翻訳対象外領域候補1410、翻訳対象外領域候補1420、翻訳対象外領域候補1430を翻訳対象外領域として認める場合は、何も操作せずに終了させればよい。誤りがある場合は、翻訳対象外領域を指定すること、又は逆に、翻訳対象外領域候補の指定を解除すること等の操作を行えばよい。
図4の例に示したフローチャートに、翻訳対象外領域の周囲にあるテキスト領域間の接続関係を指定する処理を加えたものである。なお、ステップS1602からステップS1606までの処理、ステップS1610からステップS1618までの処理は、図4の例に示したフローチャートのステップS402からステップS406までの処理、ステップS408からステップS416までの処理と同等である。
ステップS1604では、除外領域取得モジュール115は、受け付けた文書を表示する。
ステップS1606では、除外領域取得モジュール115は、ユーザーの指定操作にしたがって翻訳対象外領域を取得する。
ステップS1612では、除外領域取得モジュール115は、レイアウト情報から翻訳対象外領域を除外する。
ステップS1614では、機械翻訳モジュール125は、翻訳対象外領域を避けて文書を機械翻訳する。
ステップS1616では、出力モジュール130は、元の文書のレイアウトを維持して、翻訳結果を配置する。
ステップS1618では、出力モジュール130は、配置結果を出力する。
図17(a)の例に示すように、除外領域取得モジュール115は、画面1700の文書表示領域1720内に文書を表示する。そして、文書表示領域1720の上にメッセージ領域1710を表示し、そのメッセージ領域1710に例えば「枠を描いて除外領域(翻訳対象外領域)を指定してください。枠を右クリックすると周囲テキストの接続関係を指定できます。」と表示する。
ここで、ユーザーの操作によって、翻訳対象外領域1730が指定された。
そして、翻訳対象外領域1730上で、右クリックされた場合、図17(b)の例に示す接続関係メニュー1740を表示する。接続関係メニュー1740は、接続関係を選択肢とするメニューであって、タイトル欄1742、自動欄1744、周囲を接続(周り込み)欄1746、左右のみ接続欄1748、上下のみ接続欄1750、縦段組接続欄1752、横段組接続欄1754、接続しない欄1756を有している。これらのいずれかが、ポインタ1790によって指定されることになる。
図18(a)の例に示すように、文書1800内は、ロゴ領域1830が翻訳対象外領域として指定され、レイアウト解析結果として、文章領域1810、文章領域1820、文章領域1840、文章領域1850がある。
図18(b1)の例に示すように、翻訳対象外領域1830で右クリックされた場合は、図18(b2)の例に示す接続関係メニュー1740を表示する。そして、ポインタ1790によって周囲を接続(周り込み)欄1746が選択されたとする。
周囲を接続(周り込み)欄1746が選択された場合は、翻訳対象外領域であるロゴ領域1830がないとして、文章領域1810、文章領域1820、文章領域1840、文章領域1850内の文字列を接続する。つまり、図18(c)の例に示すように、接続マーク1812、接続マーク1814、接続マーク1822、接続マーク1844を表示し、文章領域1810内の文字列の次に、文章領域1820内の1行目の文字列、次に文章領域1840内の1行目の文字列、次に文章領域1820内の2行目の文字列、そして、文章領域1840内の2行目の文字列、次に文章領域1850内の文字列が続いている。つまり、図3の例に示したように、「富士ゼロックスは、1962年の創業以来、複写機によるドキュメントの伝達を通して、「情報の民主化」に貢献してきました。その後、90年代に入って、IT革命により情報量は飛躍的に増大しただけでなくその流通経路や形態も多様化、複雑化しました。さらに、近年では情報通信技術(ICT)の進化によって、価値ある知識や情報を選別し活用する力が一層求められるようになりました。このような大きなパラダイムシフトのもとで、当社はもとよりお客様も、従前のやり方で事業成長を継続させることは困難になっており、複雑化・高度化する情報化社会にどのように向き合い、どう事業成長を継続させるべきか、企業としての真価が問われています。」という文章を翻訳対象とする。
なお、左右のみ接続欄1748が選択された場合は、文章領域1820と文章領域1840内の文字列を接続し、上下のみ接続欄1750が選択された場合は、文章領域1810と文章領域1850内の文字列を接続し、縦段組接続欄1752が選択された場合は、縦断組のレイアウトとして文字列を接続し、横段組接続欄1754が選択された場合は、横断組のレイアウトとして文字列を接続し、接続しない欄1756が選択された場合は、文字列の接続処理は行わずに、各テキスト領域の文字列を翻訳対象とする。なお、これらの接続関係は、例示であって、他の接続関係を含めてもよい。
翻訳結果を図18(d)の例に示す。翻訳結果1890は、前述の文書を翻訳したものであり、翻訳対象外領域1830は、翻訳されずにそのまま表示されている。
図19(a)の例に示すように、文書1900のレイアウト解析結果として、翻訳対象となるテキスト領域1910、テキスト領域1920、テキスト領域1930、テキスト領域1940を有している。
図19(b1)の例に示すように、ユーザーの操作によってテキスト領域1910内に翻訳対象外領域1912が指定されたとする。そして、ユーザーの操作によって翻訳対象外領域1912で右クリックされ、図19(b2)の例に示すように、ポインタ1790の操作によって接続関係メニュー1740内の接続しない欄1756が指定されたとする。
すると、図19(c)の例に示すように、テキスト領域1910が、テキスト領域1914とテキスト領域1916とに分断され、テキスト領域1914内の文章、テキスト領域1916内の文章がそれぞれ独立した翻訳対象となる。
翻訳対象外領域1912内の画像を「既に翻訳対象外とされている画像」として記憶する。また、この場合の接続関係(図19の例では「接続しない」)も、その画像と対応して記憶する。つまり、今後、この画像と類似する画像を抽出した場合は、この画像に対して設定された接続関係を、類似する画像の周囲にあるテキスト領域の接続関係にも適用できるようにする。
図20(a)の例に示すように、翻訳対象外領域1912に類似する翻訳対象外領域1932を抽出する。これによって、テキスト領域1930が、翻訳対象外領域1932によって、テキスト領域1934とテキスト領域1936とに分断される。
そして、図20(b)の例に示すように、翻訳対象外領域1912内の画像に対応して、テキスト領域1914とテキスト領域1916内の文字列の接続関係1918は保存2040されているので、この接続関係1918をテキスト領域1934とテキスト領域1936内の文字列の接続関係(ここでは、「接続しない」)として適用する。
ユーザーインタフェースとして、図20(c)の例に示すように、画面2000に、保存済み除外領域(翻訳対象外領域)の検出ボタン2010、文書表示領域2020を表示する。
例えば、ポインタ2090によって保存済み除外領域(翻訳対象外領域)の検出ボタン2010が選択された場合、文書表示領域2020内の文書から翻訳対象外領域1912に類似する画像の領域を抽出して、その前後(上下の位置関係)にあるテキスト領域に対して、テキスト領域1914に対応した接続関係を適用する。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
105…文書受付モジュール
110…翻訳処理モジュール
115…除外領域取得モジュール
120…レイアウト解析モジュール
125…機械翻訳モジュール
130…出力モジュール
200…画像処理装置
210…画像処理装置
220…ユーザー端末
230…文書記憶装置
290…通信回線
Claims (4)
- 翻訳対象の文書を受け付ける受付手段と、
前記文書に対して、翻訳対象外とする領域を取得する取得手段と、
前記領域内を翻訳せず、該領域以外の部分を翻訳する翻訳手段と、
前記文書のレイアウト解析を行う解析手段
を有し、
前記取得手段は、前記領域の周囲にある文字領域内の文字の接続関係を取得し、
前記翻訳手段は、前記接続関係にしたがって翻訳を行い、
前記取得手段は、前記解析手段によるレイアウト解析の結果を提示し、操作者による接続関係の選択指示にしたがって、前記文字領域内の文字の接続関係を取得する、
情報処理装置。 - 前記翻訳手段による翻訳結果を、翻訳前の前記文書のレイアウトを維持して配置する配置手段
をさらに有する請求項1に記載の情報処理装置。 - 前記配置手段は、前記翻訳結果を、前記領域以外の領域に配置する、
請求項2に記載の情報処理装置。 - コンピュータを、
翻訳対象の文書を受け付ける受付手段と、
前記文書に対して、翻訳対象外とする領域を取得する取得手段と、
前記領域内を翻訳せず、該領域以外の部分を翻訳する翻訳手段と、
前記文書のレイアウト解析を行う解析手段
として機能させ、
前記取得手段は、前記領域の周囲にある文字領域内の文字の接続関係を取得し、
前記翻訳手段は、前記接続関係にしたがって翻訳を行い、
前記取得手段は、前記解析手段によるレイアウト解析の結果を提示し、操作者による接続関係の選択指示にしたがって、前記文字領域内の文字の接続関係を取得する、
情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096189A JP6888410B2 (ja) | 2017-05-15 | 2017-05-15 | 情報処理装置及び情報処理プログラム |
US15/785,832 US11074418B2 (en) | 2017-05-15 | 2017-10-17 | Information processing apparatus and non-transitory computer readable medium |
CN201711275017.8A CN108881665B (zh) | 2017-05-15 | 2017-12-06 | 信息处理设备和信息处理方法 |
US17/357,261 US11670067B2 (en) | 2017-05-15 | 2021-06-24 | Information processing apparatus and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096189A JP6888410B2 (ja) | 2017-05-15 | 2017-05-15 | 情報処理装置及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195899A JP2018195899A (ja) | 2018-12-06 |
JP6888410B2 true JP6888410B2 (ja) | 2021-06-16 |
Family
ID=64097721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017096189A Active JP6888410B2 (ja) | 2017-05-15 | 2017-05-15 | 情報処理装置及び情報処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US11074418B2 (ja) |
JP (1) | JP6888410B2 (ja) |
CN (1) | CN108881665B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12056331B1 (en) | 2019-11-08 | 2024-08-06 | Instabase, Inc. | Systems and methods for providing a user interface that facilitates provenance tracking for information extracted from electronic source documents |
US11315353B1 (en) * | 2021-06-10 | 2022-04-26 | Instabase, Inc. | Systems and methods for spatial-aware information extraction from electronic source documents |
WO2024018553A1 (ja) * | 2022-07-20 | 2024-01-25 | 合同会社Ada | 被翻訳データ作成装置、被翻訳データ作成方法、及び被翻訳データ作成プログラム |
US12067039B1 (en) | 2023-06-01 | 2024-08-20 | Instabase, Inc. | Systems and methods for providing user interfaces for configuration of a flow for extracting information from documents via a large language model |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63213067A (ja) * | 1987-03-02 | 1988-09-05 | Canon Inc | 翻訳装置 |
JPH1115826A (ja) * | 1997-06-25 | 1999-01-22 | Toshiba Corp | 文書解析装置及び方法 |
JPH11110480A (ja) * | 1997-07-25 | 1999-04-23 | Kuraritec Corp | テキストの表示方法およびその装置 |
JPH11272671A (ja) * | 1998-03-20 | 1999-10-08 | Toshiba Corp | 機械翻訳装置及び機械翻訳方法 |
US7426054B1 (en) | 1999-05-13 | 2008-09-16 | Canon Kabushiki Kaisha | Image processing apparatus, image reproduction apparatus, system, method and storage medium for image processing and image reproduction |
JP4065473B2 (ja) * | 1999-05-14 | 2008-03-26 | キヤノン株式会社 | 画像処理装置及び方法及び記憶媒体及びシステム |
US20010032070A1 (en) * | 2000-01-10 | 2001-10-18 | Mordechai Teicher | Apparatus and method for translating visual text |
JP4947843B2 (ja) * | 2001-03-16 | 2012-06-06 | シャープ株式会社 | 翻訳装置、翻訳方法、プログラムを記録した記録媒体、および、プログラム |
US20030040899A1 (en) * | 2001-08-13 | 2003-02-27 | Ogilvie John W.L. | Tools and techniques for reader-guided incremental immersion in a foreign language text |
US20030120478A1 (en) * | 2001-12-21 | 2003-06-26 | Robert Palmquist | Network-based translation system |
JP2005167522A (ja) * | 2003-12-02 | 2005-06-23 | Hitachi Ltd | 印刷システム |
GB2433403B (en) * | 2005-12-16 | 2009-06-24 | Emil Ltd | A text editing apparatus and method |
US20070250528A1 (en) * | 2006-04-21 | 2007-10-25 | Microsoft Corporation | Methods for processing formatted data |
US7711546B2 (en) * | 2006-04-21 | 2010-05-04 | Microsoft Corporation | User interface for machine aided authoring and translation |
US8549492B2 (en) * | 2006-04-21 | 2013-10-01 | Microsoft Corporation | Machine declarative language for formatted data processing |
JP2008299780A (ja) * | 2007-06-04 | 2008-12-11 | Fuji Xerox Co Ltd | 画像処理装置、及び画像処理プログラム |
JP4569622B2 (ja) * | 2007-12-18 | 2010-10-27 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP4626777B2 (ja) * | 2008-03-14 | 2011-02-09 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
KR101588890B1 (ko) * | 2008-07-10 | 2016-01-27 | 삼성전자주식회사 | 카메라 기반 영상의 문자 인식 및 번역 방법 |
US9262409B2 (en) * | 2008-08-06 | 2016-02-16 | Abbyy Infopoisk Llc | Translation of a selected text fragment of a screen |
JP2012048302A (ja) * | 2010-08-24 | 2012-03-08 | Ricoh Co Ltd | 孔版印刷システム |
JP5652114B2 (ja) * | 2010-10-19 | 2015-01-14 | 株式会社リコー | ワークフロー実行装置、プレビュー作成方法及びプログラム |
JP5449633B1 (ja) * | 2013-03-22 | 2014-03-19 | パナソニック株式会社 | 広告翻訳装置、広告表示装置、および広告翻訳方法 |
KR20140120192A (ko) * | 2013-04-02 | 2014-10-13 | 삼성전자주식회사 | 데이터 처리 방법 및 그 전자 장치 |
US9547644B2 (en) * | 2013-11-08 | 2017-01-17 | Google Inc. | Presenting translations of text depicted in images |
US9858272B2 (en) * | 2014-02-16 | 2018-01-02 | International Business Machines Corporation | Context enriched application text translation |
WO2016018004A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method, apparatus, and system for providing translated content |
US9747499B2 (en) * | 2015-03-03 | 2017-08-29 | Fuji Xerox Co., Ltd. | Systems and methods for detection and high-quality capture of documents on a cluttered tabletop with an automatically controlled camera |
US9558158B2 (en) * | 2015-03-06 | 2017-01-31 | Translation Management Systems, Ltd | Automated document translation |
US9442923B1 (en) * | 2015-11-24 | 2016-09-13 | International Business Machines Corporation | Space constrained text translator |
-
2017
- 2017-05-15 JP JP2017096189A patent/JP6888410B2/ja active Active
- 2017-10-17 US US15/785,832 patent/US11074418B2/en active Active
- 2017-12-06 CN CN201711275017.8A patent/CN108881665B/zh active Active
-
2021
- 2021-06-24 US US17/357,261 patent/US11670067B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11074418B2 (en) | 2021-07-27 |
US20210397798A1 (en) | 2021-12-23 |
US11670067B2 (en) | 2023-06-06 |
US20180329890A1 (en) | 2018-11-15 |
CN108881665A (zh) | 2018-11-23 |
JP2018195899A (ja) | 2018-12-06 |
CN108881665B (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI534700B (zh) | 使用列印圖案之內容遞送服務方法 | |
JP6888410B2 (ja) | 情報処理装置及び情報処理プログラム | |
US9591169B2 (en) | Image processing apparatus and program | |
CN1749990B (zh) | 图像处理装置和记录了实现该装置功能的程序的记录介质 | |
JP2008052372A (ja) | 画像処理装置、手書き情報認識方法、手書き情報認識プログラム | |
JP4237215B2 (ja) | 画像読取システム、サーバ装置、画像読取装置、および端末装置 | |
US9898236B2 (en) | Image processing apparatus and program for printing template images using keyword data | |
US8009860B2 (en) | Image processing apparatus, method, program and recording medium for extracting embedded information | |
JP7027757B2 (ja) | 情報処理装置及び情報処理プログラム | |
US11206336B2 (en) | Information processing apparatus, method, and non-transitory computer readable medium | |
CN100588218C (zh) | 图像形成装置和电子邮件传送服务器 | |
CN101478625B (zh) | 信息处理系统以及信息处理方法 | |
JP2019036137A (ja) | 情報処理装置、情報処理システム及び情報処理プログラム | |
JP4823049B2 (ja) | 文書画像検索装置及びプログラム | |
JP5673277B2 (ja) | 画像処理装置およびプログラム | |
CN101393564B (zh) | 文档图像数据提供系统、装置和方法,及信息处理装置和方法 | |
JP6682827B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN111444751A (zh) | 信息处理装置、储存介质及信息处理方法 | |
JP6512000B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6922421B2 (ja) | 読取方法案内装置、読取方法案内プログラム及び画像処理システム | |
JP5223328B2 (ja) | 情報管理装置及び情報管理方法ならびにそのプログラム | |
JP5018601B2 (ja) | 受信文書の言語判別方法及び受信文書翻訳システム並びにその制御プログラム | |
JP6672762B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP6743470B2 (ja) | 画像蓄積装置及び画像蓄積プログラム | |
JP2006293970A (ja) | 画像処理装置、画像処理方法、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210503 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6888410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |