WO2019150416A1 - 電子データの変換システム、方法及びプログラム - Google Patents

電子データの変換システム、方法及びプログラム Download PDF

Info

Publication number
WO2019150416A1
WO2019150416A1 PCT/JP2018/002851 JP2018002851W WO2019150416A1 WO 2019150416 A1 WO2019150416 A1 WO 2019150416A1 JP 2018002851 W JP2018002851 W JP 2018002851W WO 2019150416 A1 WO2019150416 A1 WO 2019150416A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
text
sentence
electronic data
extracted
Prior art date
Application number
PCT/JP2018/002851
Other languages
English (en)
French (fr)
Inventor
中村　健太郎
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2018/002851 priority Critical patent/WO2019150416A1/ja
Publication of WO2019150416A1 publication Critical patent/WO2019150416A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text

Definitions

  • the present invention relates to an electronic data conversion system, method and program.
  • Patent Document 1 there is a technique for creating searchable digital data by extracting characters from image data using a character recognition system.
  • Patent Document 1 paper media such as books, magazines, and newspapers are converted into image data by a scanner, characters are recognized by an OCR (character recognition system), and digitalized data is registered in a database. According to this method, it is possible to construct a searchable database using character-recognized data. However, illustrations and pictures themselves cannot be converted into text and cannot be searched.
  • OCR character recognition system
  • the present invention has been made in view of such a demand.
  • An object is to provide a conversion method.
  • the present invention provides the following solutions.
  • the invention according to the first feature is an electronic data conversion system, and for the electronic data in which an image and a sentence that cannot be converted into text characters by a photograph or an illustration are written, the image, An image sentence extracting means for extracting the sentence; a text extracting means for performing image recognition of the extracted image; and extracting a predetermined text character related to the image from the recognition result; and the extracted image Image text associating means for associating the text corresponding to the image with the estimated text, association storage means for storing the extracted text characters and the associated text in association with each other, An electronic data conversion system is provided.
  • the invention according to the second feature is the invention according to the first feature, wherein the image text correspondence means provides an electronic data conversion system that controls the correspondence between the closest image and the text. To do.
  • An invention according to a third feature is the invention according to the first feature, wherein the image text association means controls the text text extracted from the image and the text to be matched based on the similarity judgment, and controls the electronic data conversion system I will provide a.
  • the invention according to a fourth feature is the invention according to the first feature, wherein the image sentence correspondence means includes a degree of similarity between the text and the sentence extracted from the image, and a degree of proximity between the image and the sentence.
  • the image sentence correspondence means includes a degree of similarity between the text and the sentence extracted from the image, and a degree of proximity between the image and the sentence.
  • an electronic data conversion system that is controlled to be associated by comprehensive judgment.
  • an electronic data conversion system and conversion method capable of searching an image on a magazine or electronic book in association with text.
  • FIG. 1 is a block diagram showing the hardware configuration and software functions of an electronic data conversion system 1 according to this embodiment.
  • FIG. 2 is a flowchart showing a method for converting electronic data in the present embodiment.
  • FIG. 3 is a schematic diagram showing the association between images and sentences in the present embodiment.
  • FIG. 4 is an example of an image database in the present embodiment.
  • FIG. 5 is an example of a dictionary database in the present embodiment.
  • FIG. 1 is a block diagram for explaining the hardware configuration and software functions of an electronic data conversion system 1 according to this embodiment.
  • the electronic data conversion system 1 includes a control unit 10 that controls data, a communication unit 20 that communicates with other devices, a storage unit 30 that stores data, an input unit 40 that receives user operations, and a control unit. 10 and a display unit 50 that outputs and displays the data and images controlled by the control unit 10.
  • the control unit 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the communication unit 20 includes a device for enabling communication with other devices, for example, a Wi-Fi (Wireless Fidelity) compatible device compliant with IEEE 802.11.
  • Wi-Fi Wireless Fidelity
  • the control unit 10 reads a predetermined program and cooperates with the communication unit 20 as necessary to realize the image sentence extraction module 11, the text extraction module 12, the association module 13, and the association module 14. To do.
  • the storage unit 30 is a device that stores data and files, and includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, and a memory card.
  • the storage unit 30 includes an image database 31 that is referred to when extracting text from an image, and a dictionary database 32 that is referred to when extracting text from a sentence.
  • the type of the input unit 40 is not particularly limited. Examples of the input unit 40 include a keyboard, a mouse, and a touch panel.
  • the type of the display unit 50 is not particularly limited. Examples of the display unit 50 include a monitor and a touch panel.
  • FIG. 2 is a flowchart showing an electronic data conversion method using the electronic data conversion system 1.
  • FIG. 3 is a schematic diagram showing an electronic data conversion method using the electronic data conversion system 1.
  • 4 and 5 are diagrams showing an example of the image database 31 and an example of the dictionary database 32, respectively. The processing executed by each hardware and the software module described above will be described with reference to FIGS.
  • Step S10 Extraction of Image Area and Text Area
  • the control unit 10 of the electronic data conversion system 1 executes the image text extraction module 11, and extracts an image area and a text area using one page of an electronic book such as a magazine as electronic data (step S10). ).
  • the obtained electronic data is as shown in FIG.
  • Step S20 Extraction of Text Data
  • the control unit 10 executes the text extraction module 12, recognizes an image extracted from the electronic data, and extracts text data based on the recognized image and the image database 31 (step S20).
  • the text extraction module 12 recognizes an image extracted from the electronic data, and extracts text data based on the recognized image and the image database 31 (step S20).
  • the image database 31 stores a pair of an image sample and text associated with the image sample.
  • a plurality of shirt sample images are stored, and the degree of similarity between the image stored in the image database 31 and the image recognized from a magazine or the like is determined and determined to be similar. Then, it is determined that “a shirt” is included in the recognized image.
  • Such similarity determination between images may be performed by a known method.
  • a plurality of sample images are stored for the same text, and the texts about colors and patterns are extracted by determining the similarity between the recognized image and the sample image. In this way, text data is extracted from the recognized image.
  • Step S30 Correspondence between Image and Text
  • the control unit 10 executes the association module 13 to associate the extracted image with a sentence that is presumed to be a sentence corresponding to the image (step S30).
  • the association between the image and the sentence is controlled so that the image and the sentence at the closest position are associated with each other.
  • the text closest to the image is often the text explaining the image, so the text is positioned by associating the text closest to the target image. It is possible to perform reliable association without applying a load for analysis.
  • the text data extracted in step S20 and the sentence may be compared and associated with each other according to their similarity. For example, if there is an image from which the text “gray” and “pants” are extracted and a sentence in which the words “gray” and “pants” are understood, it is determined that the two texts are similar and the correspondence is made. Is possible.
  • By adopting such a configuration even when the image and the text are arranged in a complicated manner, it is possible to perform a reliable association. In other words, it may be difficult to determine the degree of proximity of text and images in a magazine depending on the design. Therefore, by judging from the degree of similarity between the text extracted from the image and the text included in the sentence, it is possible to reliably associate even a page with a design that is difficult to judge from the degree of proximity Become.
  • the degree of proximity between the image and the sentence and the similarity of the text may be comprehensively determined to perform the association. That is, according to the similarity determination based on the text as described above, it may not be possible to determine only by text information, such as when there are a plurality of sentences including similar text. May be associated by mistake. Therefore, by adopting a configuration that comprehensively judges and associates both the degree of proximity between the image and the sentence and the degree of similarity between the text included in the image and the sentence, an intricate layout design and similar text can be obtained. Even in the case where there are a plurality, it is possible to perform the association more reliably.
  • Step S40 Association of Text Data and Sentence
  • the control unit 10 executes the association module 14 and associates the text data extracted from the image in step S20 with the text associated with the image in step S30 (step S40).
  • the character database is recognized and the content is recognized with reference to the dictionary database 32 provided in the storage unit 30.
  • the dictionary database 32 stores various words and phrases as shown in FIG.
  • step S40 the sentence associated with step S30 is analyzed, and the dictionary database 32 is referenced to extract words included in the sentence.
  • step S40 the text data and the sentence are stored in association with each other.
  • an image from which the text is extracted may be stored together.
  • the image, the text extracted from the image, and the text associated with the image are stored as one piece of electronic data, and it is easy to visually recognize at the time of search. It is possible to construct a good system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】文章ファイルや電子書籍に掲載されている写真やイラストから文字を抽出し、文章と関連付けて保存するための電子データの変換システム及び変換方法を提供する。 【解決手段】本発明の電子データの変換システム１は、写真やイラスト等でテキスト文字への変換ができない画像と、文章と、が書かれた電子データに対して、前記画像と、前記文章とを抽出する画像文章抽出手段と、抽出された前記画像の画像認識を行い、認識結果から、当該画像に関係した所定のテキスト文字を抽出するテキスト抽出手段と、抽出された前記画像と、この画像に対応する文章と推測される前記文章との対応付けを行う画像文章対応付手段と、抽出した前記テキスト文字と、対応付けられた前記文章とを関連付けて記憶する関連付記憶手段と、を備える

Description

電子データの変換システム、方法及びプログラム
　本発明は、電子データの変換システム、方法及びプログラムに関する。
　文章ファイルや電子書籍をテキスト文字で検索する際に、基本的には、テキスト化されている文字でないと検索対象とならない。したがって、従来の検索文字列を使用した検索手法では、テキスト化された文字ではない写真やイラストについては検索することができない。
　ところで、文字認識システムを使用し、イメージデータから文字を抽出することで検索可能なデジタルデータを作成する技術がある（特許文献１）。
特開２００５－１２２６６８号公報
　特許文献１に記載の方法では、書籍や雑誌、新聞などの紙媒体をスキャナーでイメージデータ化し、ＯＣＲ（文字認識システム）で文字認識させ、デジタルデータ化したものをデータベースに登録する。この方法によると、文字認識させたデータを使用して検索可能なデータベースを構築することができる。しかしながら、イラストや絵自体はテキスト化することができず、検索対象とすることができない。
　本発明は、このような要望に鑑みてなされたものであり、文章ファイルや電子書籍に掲載されている写真やイラストから文字を抽出し、文章と関連付けて保存するための電子データの変換システム及び変換方法を提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、電子データの変換システムであって、写真やイラスト等でテキスト文字への変換ができない画像と、文章と、が書かれた電子データに対して、前記画像と、前記文章とを抽出する画像文章抽出手段と、抽出された前記画像の画像認識を行い、認識結果から、当該画像に関係した所定のテキスト文字を抽出するテキスト抽出手段と、抽出された前記画像と、この画像に対応する文章と推測される前記文章との対応付けを行う画像文章対応付け手段と、抽出した前記テキスト文字と、対応付けられた前記文章とを関連付けて記憶する関連付け記憶手段と、を備える電子データの変換システムを提供する。
　第１の特徴に係る発明によれば、写真やイラストが含まれた本や雑誌に対して、その掲載された写真に関連した文字を抽出し、抽出した写真に関連した文字と、その写真を説明する文章とを関連付けて記憶するため、写真と文章とを関連付けて検索できるようになったり、あたかもコンピュータが写真と文章を理解しているように、人がコンピュータに対して、雑誌の内容（このような記載があったか、どのページにあるか等）を問い合わせることが可能な電子データの変換システムを提供できる。
　第２の特徴に係る発明は、第１の特徴に係る発明であって、前記画像文章対応付手段は、お互いが最も近接した画像と文章とを対応付けるよう制御する、電子データの変換システムを提供する。
　第２の特徴に係る発明によれば、文章を解析するための負荷をかけずに確実な対応付けを行うことが可能な電子データの変換システムを提供できる。
　第３の特徴に係る発明は、第１の特徴に係る発明であって、前記画像文章対応付手段は、画像から抽出したテキストと文章との類似判断により対応付けるよう制御する、電子データの変換システムを提供する。
　第３の特徴に係る発明によれば、画像と文章とが入り組んで配置されている場合であっても、確実な対応付けを行うことが可能な電子データの変換システムを提供できる。
　第４の特徴に係る発明は、第１の特徴に係る発明であって、前記画像文章対応付手段は、画像から抽出したテキストと文章との類似度合、及び、画像と文章との近接度合の総合判断により対応付けるよう制御する、電子データの変換システムを提供する。
　第４の特徴に係る発明によれば、画像と文章とが入り組んで配置されるデザインや、類似するテキストが複数存在する場合であっても、より確実に対応付けを行うことが可能な電子データの変換システムを提供できる。
　本発明によれば、雑誌や電子書籍上の画像を文章と関連付けて検索することが可能な、電子データの変換システム及び変換方法を提供できる。
図１は、本実施形態における電子データの変換システム１のハードウェア構成とソフトウェア機能を示すブロック図である。 図２は、本実施形態における電子データの変換方法を示すフローチャートである。 図３は、本実施形態における画像と文章との関連付けを示す模式図である。 図４は、本実施形態における画像データベースの一例である。 図５は、本実施形態における辞書データベースの一例である。
　以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
［電子データの変換システム１の構成］
　図１は、本実施形態における電子データの変換システム１のハードウェア構成とソフトウェア機能を説明するためのブロック図である。
　電子データの変換システム１は、データを制御する制御部１０と、他の機器と通信を行う通信部２０と、データを記憶する記憶部３０と、ユーザの操作を受け付ける入力部４０と、制御部１０で制御したデータや画像を出力表示する表示部５０とを備える。
　制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。
　通信部２０は、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。
　制御部１０は、所定のプログラムを読み込み、必要に応じて通信部２０と協働することで、画像文章抽出モジュール１１と、テキスト抽出モジュール１２と、対応付けモジュール１３と、関連付けモジュール１４とを実現する。
　記憶部３０は、データやファイルを記憶する装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。また、記憶部３０は、画像からテキストを抽出する際に参照される画像データベース３１、及び、文章からテキストを抽出する際に参照される辞書データベース３２を備える。
　入力部４０の種類は、特に限定されない。入力部４０として、例えば、キーボード、マウス、タッチパネル等が挙げられる。
　表示部５０の種類は、特に限定されない。表示部５０として、例えば、モニタ、タッチパネル等が挙げられる。
［電子データの変換システム１を用いた電子データの変換方法を示すフローチャート］
　図２は、電子データの変換システム１を用いた電子データの変換方法を示すフローチャートである。また、図３は、電子データの変換システム１を用いた電子データの変換方法を示す模式図である。図４及び図５は、それぞれ、画像データベース３１の一例、及び、辞書データベース３２の一例を示す図である。図２～図５を用いて、上述した各ハードウェアと、ソフトウェアモジュールが実行する処理について説明する。
〔ステップＳ１０：画像の領域と文章の領域の抽出〕
　最初に、電子データの変換システム１の制御部１０は、画像文章抽出モジュール１１を実行し、雑誌などの電子書籍の１ページを電子データとして、画像の領域と文章の領域を抽出する（ステップＳ１０）。得られた電子データは図３のようになる。
〔ステップＳ２０：テキストデータの抽出〕
　続いて、制御部１０は、テキスト抽出モジュール１２を実行し、電子データの中から抽出した画像の画像認識を行い、認識した画像と画像データベース３１とに基づいてテキストデータを抽出する（ステップＳ２０）。例えば、ブルーのワイシャツとグレーのパンツを身に着け、ビジネスバッグを持っている男性の画像を認識した場合、図３に示すように「服」「ワイシャツ」「ブルー」「パンツ」「グレー」「ビジネスバッグ」といったテキストを抽出する。テキストの抽出は、記憶部３０が備える画像データベース３１を参照して行われる。画像データベース３１には、図４に示すように、画像のサンプルと、当該画像のサンプルに紐づいたテキストとが、対になって記憶されている。図４に示す例では、ワイシャツのサンプル画像が複数記憶されており、画像データベース３１に記憶されている画像と雑誌等から認識された画像との類似度合が判定され、類似していると判断されると、認識された画像に「ワイシャツ」が含まれると判断される。このような画像同士の類似判断は、公知の手法によって行われてよい。また、色彩や柄についても同様に、同一のテキストに対し、複数のサンプル画像が記憶されており、認識された画像とサンプル画像との類似判断により、色彩や柄についてのテキストが抽出される。このようにして、認識した画像の中からテキストデータを抽出する。
〔ステップＳ３０：画像と文章の対応付け〕
　続いて、制御部１０は、対応付けモジュール１３を実行し、抽出された画像と、この画像に対応する文章であると推測される文章との対応付けを行う（ステップＳ３０）。画像と文章との対応付けは、最も近接した位置にある画像と文章とを対応付けるように制御される。多くの場合、画像に最も近接した位置にある文章が、その画像を説明する文章であることが多いため、対象となる画像と最も近接した位置にある文章を対応付ける構成とすることにより、文章を解析するための負荷をかけずに確実な対応付けを行うことが可能となる。
　対応付けの別の例として、ステップＳ２０で抽出されたテキストデータと文章とを比較して、その類似具合により対応付ける構成としてもよい。例えば、「グレー」「パンツ」というテキストが抽出された画像と、「グレー」「パンツ」という単語が把握される文章があれば、両テキストが類似していると判断して対応付けを行うことが可能となる。このような構成とすることにより、画像と文章とが入り組んで配置されている場合であっても、確実な対応付けを行うことが可能となる。すなわち、雑誌における文章や画像の配置は、そのデザインによっては、近接度合の判断が難しい場合がある。そこで、画像から抽出されるテキストと、文章に含まれるテキストとの類似度合から判断することにより、近接度合からの判断が難しいデザインのページであっても、確実に対応付けを行うことが可能となる。
　さらに、対応付けの判断として、画像と文章との近接度合、及び、テキストの類似度合を総合的に判断して対応付けを行うよう構成してもよい。すなわち、上記のようなテキストによる類似判断によると、類似するテキストが含まれる文章が複数存在する場合など、テキスト情報のみでは判断できないことがあり、そのような場合、近接していない画像と文章とを誤って対応付けてしまう可能性がある。そこで、画像と文章との近接度合、及び、画像と文章に含まれるテキストの類似度合の双方を、総合的に判断して対応付ける構成とすることにより、入り組んだ配置のデザインや、類似するテキストが複数存在する場合であっても、より確実に対応付けを行うことが可能となる。
〔ステップＳ４０：テキストデータと文章の関連付け〕
　続いて、制御部１０は、関連付けモジュール１４を実行し、ステップＳ２０で画像から抽出されたテキストデータと、ステップＳ３０でこの画像に対応付けられた文章との関連付けを行う（ステップＳ４０）。その際、抽出され対応付けられた文章について、記憶部３０に備えられる辞書データベース３２を参照して、文字の認識と内容の把握が行われる。辞書データベース３２には、図５に示すように、様々な単語や言い回しが記憶されている。ステップＳ４０では、ステップＳ３０で対応付けられた文章に関して分析を行い、辞書データベース３２を参照して、文章に含まれる単語を抽出する。そして、対応付けられた文章から「清潔感」「ブルーシャツ」「オーガニックコットン」という単語が抽出されたとすると、これらの単語と、ステップＳ２０でテキストデータとして抽出された「服」「ワイシャツ」「ブルー」「パンツ」「グレー」「ビジネスバッグ」が関連付けられ、一つの電子データとして記憶部３０に記憶される。
　上記のような処理を行うことにより、雑誌などの電子データに、文章と画像と双方に関係づいたタグ付けをすることが可能となり、人が行うのと同じような感覚で、情報を検索することが可能となる。
　なお、ステップＳ４０において、テキストデータと文章を関連付けて記憶する処理を行っているが、テキストデータと文章に加え、テキストの抽出元である画像も併せて記憶する構成としてもよい。この場合、画像、画像から抽出したテキスト、及び、画像に対応付けられたテキストが一つの電子データとして記憶されることとなり、検索の際に視覚的に認識することが容易となるため、より使い勝手のよいシステムを構築することが可能となる。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　　電子データの変換システム
　１０　制御部
　１１　画像文章抽出モジュール
　１２　テキスト抽出モジュール
　１３　対応付けモジュール
　１４　関連付けモジュール
　２０　通信部
　３０　記憶部
　３１　画像データベース
　３２　辞書データベース
　４０　入力部
　５０　表示部

 

Claims (6)

  1. 　電子データの変換システムであって、
    　写真やイラスト等でテキスト文字への変換ができない画像と、文章と、が書かれた電子データに対して、前記画像と、前記文章とを抽出する画像文章抽出手段と、
    　抽出された前記画像の画像認識を行い、認識結果から、当該画像に関係した所定のテキスト文字を抽出するテキスト抽出手段と、
    　抽出された前記画像と、この画像に対応する文章と推測される前記文章との対応付けを行う画像文章対応付手段と、
    　抽出した前記テキスト文字と、対応付けられた前記文章とを関連付けて記憶する関連付記憶手段と、を備える電子データの変換システム。
  2. 　前記画像文章対応付手段は、お互いが最も近接した画像と文章とを対応付けるよう制御する、請求項１に記載の電子データの変換システム。
  3. 　前記画像文章対応付手段は、画像から抽出したテキストと文章との類似判断により対応付けるよう制御する、請求項１に記載の電子データの変換システム。
  4. 　前記画像文章対応付手段は、画像から抽出したテキストと文章との類似度合、及び、画像と文章との近接度合の総合判断により対応付けるよう制御する、請求項１に記載の電子データの変換システム。
  5. 　電子データの変換方法であって、
    　写真やイラスト等でテキスト文字への変換ができない画像と、文章と、が書かれた電子データに対して、前記画像と、前記文章とを抽出するステップと、
    　抽出された前記画像の画像認識を行い、認識結果から、当該画像に関係した所定のテキスト文字を抽出するステップと、
    　抽出された前記画像と、この画像に対応する文章と推測される前記文章との対応付けを行うステップと、
    　抽出した前記テキスト文字と、対応付けられた前記文章とを関連付けて記憶するステップと、を備える電子データの変換方法。
  6. 　電子データの変換システムに、
    　写真やイラスト等でテキスト文字への変換ができない画像と、文章と、が書かれた電子データに対して、前記画像と、前記文章とを抽出するステップと、
    　抽出された前記画像の画像認識を行い、認識結果から、当該画像に関係した所定のテキスト文字を抽出するステップと、
    　抽出された前記画像と、この画像に対応する文章と推測される前記文章との対応付けを行うステップと、
    　抽出した前記テキスト文字と、対応付けられた前記文章とを関連付けて記憶するステップと、を実行させるためのプログラム。
     

     
PCT/JP2018/002851 2018-01-30 2018-01-30 電子データの変換システム、方法及びプログラム WO2019150416A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002851 WO2019150416A1 (ja) 2018-01-30 2018-01-30 電子データの変換システム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002851 WO2019150416A1 (ja) 2018-01-30 2018-01-30 電子データの変換システム、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019150416A1 true WO2019150416A1 (ja) 2019-08-08

Family

ID=67479162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002851 WO2019150416A1 (ja) 2018-01-30 2018-01-30 電子データの変換システム、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2019150416A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310503A (ja) * 2006-05-16 2007-11-29 Canon Inc 情報処理装置、その制御方法、及びプログラム
JP2009064148A (ja) * 2007-09-05 2009-03-26 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法および制御プログラム
JP2011141597A (ja) * 2010-01-05 2011-07-21 Canon Inc 画像処理装置、画像処理方法、プログラム
US20120177297A1 (en) * 2011-01-12 2012-07-12 Everingham James R Image Analysis System and Method Using Image Recognition and Text Search
CN102609458A (zh) * 2012-01-12 2012-07-25 北京搜狗信息服务有限公司 一种图片推荐方法和装置
US20130315480A1 (en) * 2010-12-28 2013-11-28 Microsoft Corporation Matching text to images
JP2017220179A (ja) * 2016-06-10 2017-12-14 凸版印刷株式会社 コンテンツ処理装置、コンテンツ処理方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310503A (ja) * 2006-05-16 2007-11-29 Canon Inc 情報処理装置、その制御方法、及びプログラム
JP2009064148A (ja) * 2007-09-05 2009-03-26 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法および制御プログラム
JP2011141597A (ja) * 2010-01-05 2011-07-21 Canon Inc 画像処理装置、画像処理方法、プログラム
US20130315480A1 (en) * 2010-12-28 2013-11-28 Microsoft Corporation Matching text to images
US20120177297A1 (en) * 2011-01-12 2012-07-12 Everingham James R Image Analysis System and Method Using Image Recognition and Text Search
CN102609458A (zh) * 2012-01-12 2012-07-25 北京搜狗信息服务有限公司 一种图片推荐方法和装置
JP2017220179A (ja) * 2016-06-10 2017-12-14 凸版印刷株式会社 コンテンツ処理装置、コンテンツ処理方法及びプログラム

Similar Documents

Publication Publication Date Title
AU2014223441B2 (en) Synchronizing annotations between printed documents and electronic documents
US8295590B2 (en) Method and system for creating a form template for a form
US9740692B2 (en) Creating flexible structure descriptions of documents with repetitive non-regular structures
JP6838209B1 (ja) 文書画像解析装置、文書画像解析方法およびプログラム
US20070098263A1 (en) Data entry apparatus and program therefor
CN109712218B (zh) 电子书笔记处理方法、手写阅读设备和存储介质
JP2005135041A (ja) 文書検索・閲覧手法及び文書検索・閲覧装置
JP2008204226A (ja) 帳票認識装置およびそのプログラム
US10769360B1 (en) Apparatus and method for processing an electronic document to derive a first electronic document with electronic-sign items and a second electronic document with wet-sign items
CN105608069A (zh) 信息提取支持设备和方法
KR20210086836A (ko) 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법
JP2006065477A (ja) 文字認識装置
WO2019150416A1 (ja) 電子データの変換システム、方法及びプログラム
JP2008282094A (ja) 文字認識処理装置
CN113168527A (zh) 用于从实体文档提取信息的系统和方法
US10127478B2 (en) Electronic apparatus and method
US20210042555A1 (en) Information Processing Apparatus and Table Recognition Method
JP5916666B2 (ja) テキストによる視覚表現を含む文書を分析する装置、方法およびプログラム
US9483463B2 (en) Method and system for motif extraction in electronic documents
JP2012234345A (ja) 帳票読取装置、角印検出方法、および、角印検出プログラム
US20150095314A1 (en) Document search apparatus and method
JP4517822B2 (ja) 画像処理装置及びプログラム
JP2010102734A (ja) 画像処理装置及びプログラム
JP2016103150A (ja) 文書処理装置および文書処理プログラム
US10402636B2 (en) Identifying a resource based on a handwritten annotation

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 18904096

Country of ref document: EP

Kind code of ref document: A1