JP2890482B2 - Document image relocation filing device - Google Patents

Document image relocation filing device


Publication number
JP2890482B2 JP14846389A JP14846389A JP2890482B2 JP 2890482 B2 JP2890482 B2 JP 2890482B2 JP 14846389 A JP14846389 A JP 14846389A JP 14846389 A JP14846389 A JP 14846389A JP 2890482 B2 JP2890482 B2 JP 2890482B2
Prior art keywords
document image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
Other languages
Japanese (ja)
Other versions
JPH0314184A (en
幸雄 林
Original Assignee
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Priority to JP14846389A priority Critical patent/JP2890482B2/en
Publication of JPH0314184A publication Critical patent/JPH0314184A/en
Application granted granted Critical
Publication of JP2890482B2 publication Critical patent/JP2890482B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical



【発明の詳細な説明】 (産業上の利用分野) 本発明は、新聞切抜等の文書画像において、見出し、 DETAILED DESCRIPTION OF THE INVENTION (FIELD OF THE INVENTION) The present invention, in the document image, such as newspaper clippings, heading,
本文、図表、写真等異なる属性からなる領域の画像を自動的に抽出し、各項目ごとに蓄積した後、各項目全体を再配置して出力できる文書画像再配置ファイリング装置に関する。 Text, charts, photographs automatically extracts an image of a region of different attributes, after storing for each item relates to a document image rearrangement filing apparatus capable of outputting relocate the whole items.

(従来の技術) 新聞切抜等の文書画像をファイリングする装置において、その複雑なレイアウト形状を文書画像の属性(見出し、本文、図表、写真)領域に従って自動的にそれぞれの領域を抽出して、コンパクトに再配置するシステムが提案されている。 In (prior art) filing the document image, such as newspaper clippings device, the attributes of its complex layout shape document image (headings, text, charts, photos) are extracted automatically each region according to the region, compact relocating the system have been proposed.

たとえば、画像入力装置から入力した新聞画像をマンマシン対話によりパターンとして抽出し、構造記述によりデータを構造化してデータ量を削減して蓄積し、利用時にはその目的に合わせて再編集できるデータベース編集管理システムがある(信学技報 PRL84−101 P.65〜 For example, a newspaper image input from the image input apparatus is extracted as a pattern by man-machine interaction, and storing to reduce the amount of data by structuring the data by the structure description database editing management during use can be re-edited to fit the purpose there is a system (IEICE PRL84-101 P.65~
72)。 72).

また、文書の形態的情報やキーワードを用いて、標題、章、節等による階層構造と、本文と図表間の参照構造等の文書構造の自動抽出を行うことができ、さらに、 Further, by using the morphological information and keywords of a document, the title, chapter, and hierarchical structure by sections etc., automatic extraction of document structure such as the reference structure between body and charts can be performed, further,
文書構造に基づいた書式とレイアウト知識を用いて、文書のフォーマッティングや図表の割付けを行う自動レイアウトシステム等がある(情報処理研究会 「文書処理とヒューマンインタフェース」 20−3 1988.9. Using the format and layout knowledge that is based on the document structure, there is an automatic layout system for performing the allocation of formatting and charts of the document (information processing Study Group "document processing and human interface" 20-3 1,988.9.
8.)。 8.).

(発明が解決しようとする課題) しかし、ファイリングされた文書画像から所望の文書画像を得るためには、文書画像全体を検索・チェックしなければならないので、検索に時間がかかった。 (SUMMARY invention) However, in order from the filing document image to obtain a desired document image, since it is necessary to search check the entire document image, took time to search. また、 Also,
文書画像には見出し、本文、図表、写真等が混在しているので、データの蓄積として無駄である場合があった。 Heading in the document image, text, charts, because photographs are mixed, there is a case where the waste as the accumulation of data.

本発明は文書画像の検索・表示時間を短縮させるとともに、文書画像を再配置することによって文書中の無駄な余白を取り除いてデータ圧縮をさせることができる文書画像再ファイリング装置を提供することを目的とする。 With the present invention is to shorten the search and display time of a document image, it aims to provide a document image re filing apparatus capable of data compression by removing unnecessary margin in a document by rearranging the document image to.

(課題を解決するための手段) 本発明は、第1図に示すように、新聞切抜等の文書画像をスキャン入力する文書画像入力手段1と、前記文書画像入力手段1により入力された文書画像の見出し(3 (SUMMARY for a) the present invention, as shown in FIG. 1, a document image input means 1 for scan input document image, such as newspaper clippings, document image inputted by the document image input means 1 heading of (3
−1)、本文(3−2)、図表(3−3)、写真(3− -1), the body (3-2), charts (3-3), photo (3-
4)等の各異なる属性の領域を自動的に抽出、分離する領域分離手段2と、前記領域分離手段2により抽出、分離された見出し、本文、図表、写真等の各項目を属性に対応して項目ごとに蓄積、格納する項目別ファイル蓄積手段3を、前記項目別ファイル蓄積手段3に蓄積されている各項目の内容をそれぞれの項目の属性に対応して個別に検索する項目別検索手段(6、7)により所望の文書画像を検索する検索手段と、前記検索手段により検索された所望の文書画像に対して、各項目の内容を再配置して全体の文書画像を出力する文書画像再配置手段8とから構成する。 4) Automatically extracts an area of ​​each different attribute, such as, the area separating unit 2 to separate, extracted by the area separating unit 2 corresponds separated headings, text, charts, each item such as a photograph to the attribute accumulating for each item Te, stores itemized file storage unit 3 for the item-specific file storage unit 3 to the content of each item stored in correspondence with the attribute of each item itemized retrieval means for retrieving individual search means for searching for a desired document image by (6,7), a document image to be output to the retrieved desired document image by the searching means, a document image of the entire relocates the contents of each item It consists rearrangement unit 8.

(作用) 文書画像入力手段1によって新聞等をスキャンして入力された入力文書画像は、領域分離処理手段2で、見出し3−1、本文3−2、図表3−3、写真3−4の各属性領域に分離され、それぞれの領域を囲む矩形の左上端座標(x,y)、幅w、高さhが抽出される。 Input document image input by scanning a newspaper or the like by (action) the document image input means 1, the region separation processing section 2, heading 3-1, body 3-2, Figure 3-3, the photo 3-4 is separated into each attribute area, the upper-left corner coordinates of the rectangle surrounding the respective region (x, y), width w, height h are extracted. この時、縦書き横書きの判別もなされる。 At this time, determination of vertical horizontal are also made. 次に、見出し3−1と本文3−2との領域については、文字認識処理が施されてコードデータに変換され、図表3−3と写真3−4との領域については、画像圧縮処理が施された後、各属性項目別にファイリングされる。 Next, the area of ​​the heading 3-1 and body 3-2, is converted character recognition process is performed on the code data for the area of ​​the chart 3-3 and photographic 3-4, image compression processing after having been subjected, it is filing for each attribute item. 項目別検索手段6では、見出し3−1あるいは本文3−2に対するキーワード検索(登録済部分キーによる部分一致ストリングマッチング)、また、他の項目別検索手段7では、図表3−3、 In itemized retrieval means 6, (broad string matching by registered partial keys) Keyword Search for headings 3-1 or body 3-2, also in other itemized retrieval means 7, Figure 3-3,
写真3−4に対する類似画像の検索のいずれかを選んで検索する。 Search by selecting one of the search of the similar image to the photo 3-4. 検索時には検索対象とした見出し3−1、本文3−2、図表3−3、写真3−4のいずれかのみ表示し、検索終了時には文書画像全体を再配置処理手段8で再配置処理を施して表示する。 Heading 3-1 when searching the searched, body 3-2, and displays only one of Chart 3-3, photographs 3-4, subjected to rearrangement processing by rearranging process unit 8 the entire document image at the time of end of search to display Te. 再配置処理手段8では、 The relocation processing section 8,
見出し3−1、本文3−2、図表3−3、写真3−4の順に、右上から左に配置し、左端になったら段落を変える(横書きの場合は左上から右に配置していく)事をくり返す。 Heading 3-1, 3-2 text, charts 3-3, in the order of photos 3-4, arranged from the upper right to the left, changing the paragraph When you become to the left (in the case of horizontal writing will be placed from the upper left to right) repeat the thing.

第2図および第3図には各属性領域に分離された結果と再配置された結果の一例をそれぞれ示す。 The FIGS. 2 and 3 shows an example of a result of the rearrangement and the results that are separated for each attribute area, respectively.

(実 施 例) 第1図を参照しつつ本発明の原理を説明する。 (Implementation example) illustrating the principles of the present invention with reference to Figure 1.

図において、文書画像入力手段1では、新聞切抜等の文書画像をスキャン入力し、領域分離手段2で、入力された入力文書画像から文書画像の属性別、たとえば、見出し3−1、本文3−2、図表3−3、写真3−4を自動的に抽出する。 In the figure, the document image input means 1, the newspaper document image to the scan input or the like cutout, in the area separating unit 2, another attribute of the document image from the inputted input document image, for example, heading 3-1 Text 3- 2, Figure 3-3, automatically extract the photo 3-4. この属性項目別に抽出された文書画像から文字として、見出し3−1および本文3−2を文字認識手段4で認識して文字コードに変換した後、項目別ファイル蓄積手段3に蓄積する。 As a character from the document image that has been extracted by the attribute item, after converting the character code recognizes headings 3-1 and Text 3-2 by the character recognition unit 4, and accumulates the itemized file storage unit 3. また、前記抽出された文書画像が画像である場合には、画像圧縮手段5によって圧縮して項目別ファイル蓄積手段3に蓄積する。 Also, when the document image that is the extraction is an image compresses the image compressing means 5 accumulates the itemized file storage unit 3. 蓄積されている文書画像を見たい場合には、文字として見出し3−1および本文3−2を項目別に検索するためのキーワード検索手段6と、画像として図表3−3および写真3−4を検索する類似画像検索手段7とにより検索できるようになっている。 If you want to see a document image that has been stored, the search and the keyword search means 6 for searching headings 3-1 and body 3-2 by item as character, charts 3-3 and photographic 3-4 as an image and to be able to search by the similar image search unit 7. そして、文書画像再配置手段8 Then, the document image rearrangement unit 8
には、これらの検索手段によって、最終検索結果を出力表示する。 The, these retrieval means, outputs and displays the final search result.

本文字領域、見出し領域、図表領域、および写真領域のそれぞれの大きさ、領域内の濃度、エッジの数…等の属性の相違に着目することにより、領域の識別および分離を任意に行うことができる。 This character area, headline region, each of the size of the chart area, and a photograph area, the concentration in the region, by focusing on the difference of the attribute number ..., etc. of the edge, be made arbitrarily identification and isolation regions it can.

第4図は領域分離手段2の構成例を示すブロック図である。 Figure 4 is a block diagram showing a configuration example of a region separation unit 2. これは本出願人の出願になる特願昭63−252920号(発明者 中村豊)、特願昭63−291095号(発明者 中村豊)、特願平1−87039号(発明者 中村豊)等の明細書に開示の技術によって構成した一例であり、2値化手段201、矩形化処理された画像を格納する矩形化領域画像メモリ202、矩形化処理を行う矩形化処理手段203、 This Applicant's become Patent Application No. Sho 63-252920 (inventor Yutaka Nakamura), Japanese Patent Application Sho 63-291095 (inventor Yutaka Nakamura), Japanese Patent Application No. Hei 1-87039 (inventor Yutaka Nakamura) an example constructed by the technique disclosed in the specification of equal, binarizing means 201, rectangular regions image memory 202 for storing the processed image squaring, rectangle processing unit 203 for performing squaring process,
2値化された画像を記憶する2値画像メモリ204、2値化された画像に対して孤立点除去を施す孤立点除去手段 Binary image isolated point removing means for performing isolated point removal with respect to the binary image memory 204,2 binarized image storing
205、孤立点除去後の画像に対して輪郭抽出処理を施す輪郭抽出手段206、抽出された輪郭画像を記憶する輪郭画像メモリ207、各画像メモリ202、204、207の記憶内容に基づいて画像領域の判定を行う領域識別手段とからなっている。 205, an image area based on the stored contents of the contour extraction unit 206, the contour image memory 207 for storing the extracted contour image, each image memory 202,204,207 performing contour extraction processing for the image after the isolated point removal It consists area identification means for judging. 領域判定手段は、矩形領域アドレス発生部20 Area determining means, the rectangular area address generator 20
8、黒画素数計数部209、210、本文文字識別部211、矩形面積算出部212、比算出部213、面積比較部(見出し/図表識別部)214、比比較部(写真/文字線画像識別部)2 8, the black pixel number counting unit 209, a text character identifying unit 211, the rectangular area calculating unit 212, the ratio calculation unit 213, the area comparison section (Heading / Chart identifying unit) 214, a ratio comparing unit (Photo / text line image identification part) 2
15等からなっている。 It is made up of 15 and the like.

入力画像はスキャナ等より多値で入力される。 The input image is input by the multi-value from the scanner or the like. 画像入力データは2値化手段201により2値化処理される。 Image input data is binarized by the binarization means 201. 2
値化された画像は矩形化処理手段203によって黒画素を連結し連結した領域を矩形で囲む矩形化処理を施され、 Valued image is subjected to squaring process surrounding a region linked by connecting the black pixels by a rectangular processing means 203 with a rectangular,
得られた矩形領域は矩形化領域画像メモリ202に記憶され、画像の識別単位として利用される。 Rectangular region obtained is stored in the rectangular region image memory 202 is used as an identification unit of an image.

また、2値化された画像は、孤立点除去手段205により孤立点を除去された後、輪郭抽出手段206により輪郭即ちエッジ部分の抽出処理がなされ、輪郭画像メモリ20 Further, the binarized image, after removing isolated points by the isolated point removing section 205, extraction of the contour or edge portion is made by contour extracting means 206, the contour image memory 20
7に記憶される。 7 is stored in.

領域の識別は、矩形化処理手段203により得られた矩形で囲まれた領域を単位として、まず、本文文字識別部 Identifying regions in units of areas surrounded by the rectangle obtained by rectangular processing unit 203, first, a text character identifying unit
211により、矩形の高さの分布から本文の文字高さを推定して、本文を識別し、これを分離する。 The 211, the distribution of the height of the rectangle by estimating the character height of the body, to identify the body, to separate them. 次に残りの画像中の見出し領域、図表領域、写真領域を、矩形の大きさ、矩形内の濃度やエッジから判別する。 Next Heading region in the remaining image, figure area, a photograph area, the rectangle size to determine the density and the edge of the rectangle. 即ち、矩形領域アドレス発生部208において、本文文字以外の各矩形領域について矩形化領域画像メモリ202から読み出した矩形化処理した画像に基づき矩形領域の各画素のアドレスを発生する。 That is, in the rectangular region address generator 208 generates the address of each pixel of the rectangular area based on images processed squaring read from the rectangular region image memory 202 for each rectangular area other than the text characters. 発生したアドレスにより2値画像メモリ Binary image memory by the address generated
204および輪郭画像メモリ207からそれぞれ矩形領域内の画素を読みだし、その読み出した画素の黒画素の数をそれぞれ黒画素数計数部209、210で計数する。 204 and read the pixels of the contour image, respectively from the memory 207 within the rectangular area, and counts the number of black pixels of the pixels thus read out for each black pixel number counting unit 209 and 210. 計数した矩形内の2値画像の黒画素数と輪郭画像の黒画素数との比を比算出部213で算出する。 Calculating a ratio of the number of black pixels in the number of black pixels of the binary image and the contour image in the counted rectangle ratio calculating unit 213. 比比較部215は比算出部213 Ratio comparing unit 215 ratio calculating section 213
で算出した比を予め定めたしきい値と比較し、しきい値よりも大きい場合は文字線画像領域、小さい場合は写真領域と判定する。 In calculated ratio is compared with a predetermined threshold value, it determines if it is larger than the threshold value the character line image area, smaller than the photograph area.

文字線画像と判定されたときは、矩形の大きさによりそれが見出し領域であるかまたは図表領域であるかを判定する。 When it is determined that the character line image, determines whether it is either or graphical region is heading area by rectangle size. そのために、矩形化領域画像メモリ202から読み出した矩形化処理した画像に基づき矩形領域の面積を矩形面積算出部212で算出する。 Therefore, to calculate the area of ​​the rectangular area in the rectangular area calculation unit 212 based on the image processed squaring read from the rectangular region image memory 202. そして面積比較部(見出し/図表識別部)214において、算出した矩形の面積の大きさを予め定めたしきい値と比較し、その結果、しきい値より小さいときはその矩形領域は見出し領域であると判定(識別)する。 And in the area comparison section (Heading / Chart identifying unit) 214, the size of the rectangular area which is calculated by comparison with a predetermined threshold value, so that when smaller than the threshold the rectangular region in the heading area there the decision to (identify). 比較の結果しきい値よりも大きいときは、図表領域であると判定する。 Is greater than the comparison results threshold, it determines that the chart area.

これらの判定結果(識別信号)に基づいて、イメージメモリ等に記憶されている入力画像から各領域の画像データが分離抽出され、文字認識や符号圧縮、検索のための属性情報の付加等の必要な処理を施された後、項目別ファイル蓄積部3に登録される。 Based on these determination results (identification signal), the image picture data of each region from the input image stored in the memory or the like is separated and extracted, the character recognition and code compression required such as addition of the attribute information for the search after having been subjected to Do process, it is registered in the item-specific file storage section 3. すなわち、スキャンインされた入力画像は領域分離手段2によって、見出し3 That is, the scan-in input image by the area separating unit 2, Heading 3
−1、本文3−2、図表3−3、写真3−4の各属性領域に分離され、また、それぞれの領域を囲む矩形の左上端座標(x,y)、幅w、高さhが抽出される。 -1, body 3-2 are separated each attribute area of ​​figure 3-3 photo 3-4, also the upper-left corner coordinates in the rectangle surrounding the respective region (x, y), width w, height h It is extracted. この時、 At this time,
縦書き横書きの判別もなされる。 Determination of vertical horizontal are also made. 次に本文および見出し領域については文字認識手段4により文字認識処理が施されてコードデータに変換され、図表、写真領域については画像圧縮手段5により画像圧縮処理が施された後、 Next, the text and the heading area is converted character recognition processing by the character recognition unit 4 is applied to the code data, charts, after the image compression processing has been performed by the image compression means 5 for photographic region,
項目別ファイリング蓄積手段3において各属性項目別にファイリングされる。 It is filed for each attribute item in itemized filing storage unit 3.

以上のようにして、登録された画像に対する検索は、 As described above, the search for the registered image,
見出しあるいは本文に対してはキーワード検索手段6によりキーワード検索(登録済部分キーによる部分一致ストリングマッチング)で必要な画像の検索を行う。 To search the required image keyword search (broad string matching by registered partial key) by the keyword search means 6 for heading or body. 図表あるいは写真に対しては類似画像検索手段7により行う。 Carried out by the similar image retrieval unit 7 for charts or photographs.

次に、図表3−3および写真3−4に対する類似画像検索の一例について、第5図ないし第9図を参照しつつ説明する。 Next, an example of the similar image search on Charts 3-3 and photographic 3-4 will be described with reference to FIG. 5 through FIG. 9. この例は本出願人の出願になる特開平1−11 JP 1-11 This example according to the present applicant filed
3829号(発明者 広瀬真)の明細書に開示の技術によるものであり、必要とする画像を高速に検索できる利点のあるものである。 No. 3829 is due to the specification in the technique disclosed in (inventor Shin Hirose), in which an advantageous for searching an image requiring high speed.

第5図は、本発明の上記類似画像検索を行う機能を有する画像検索装置の一実施例の概略の構成を示すブロック図である。 Figure 5 is a block diagram showing the schematic configuration of an embodiment of an image retrieval apparatus having a function of performing the similar image search of the present invention. 本画像検索装置は、利用者あるいは管理者が画像を入力するための画像入力装置25、画像やその他の情報を利用者あるいは管理者に表示するための表示装置26、画像間の一致度の算出や検索された画像の提示順序や装置全体の制御をするための演算装置27、検索された画像を印刷などの形で出力するための画像出力装置2 The image retrieval apparatus, the calculation of the user or administrator image input device 25 for inputting an image, display device 26 for displaying images and other information to the user or administrator, the degree of coincidence between the images and retrieved image computing apparatus for the presentation order and the entire device control 27, the retrieved image output apparatus for outputting in the form of a printing image 2
8、画像間の一致の判定の際の許容範囲を利用者が入力するための制御入力装置29、画像や情報等を記憶しておく記憶装置30から成っている。 8, it consists of a control input unit 29, the storage device stores the images and information such as 30 for inputting the allowable range when the determination of coincidence between the images the user.

類似画像検索を効率的に行うために、図表および写真を項目別ファイリング蓄積手段3へ登録する時に加工を施し、特徴情報を付加しておく。 To perform similar image retrieval efficiently, giving the process when registering charts and photographs to itemized filing storage unit 3, to add appropriate feature information.

まず、その登録動作を説明する。 First, a description will be given of the registration operation. 第6図は、画像入力装置25から送られる二次元二値の画像情報の構造の例を示す図である。 6 is a diagram showing an example of a structure of a two-dimensional image information binary sent from the image input device 25. この画像情報は表示装置26によって画像として表示される。 The image information is displayed as an image by the display device 26. 画像情報全体はM×N個の二値情報であり、本実施例では値0は白、1は黒を表すものとする。 The whole image information is the M × N binary information, a value of 0 in this example white, 1 denote the black. 演算装置27は、K×L個の小領域毎に各領域内の値1の数を量子化した特徴量を第7図の形式にまとめた特徴情報32を作成する。 Arithmetic unit 27 creates a feature information 32 summarizes the feature value the number of values ​​1 in the area is quantized for each K × L number of small regions in the form of Figure 7. そして、特徴情報32とM×N個の画像情報33とを、記憶装置30に記憶する。 Then, the feature information 32 and the M × N image information 33 in the storage device 30. このようにして記憶装置30には、第8図に示すように多数の画像に対する特徴情報群34と画像情報群35とが記憶される。 This way, the storage device 30, and the feature information group 34 and the image information group 35 for a number of images, as shown in FIG. 8 are stored. なお、特徴情報32の先頭の画像番号31は、演算装置27が複数の画像情報を識別するための一意な番号である。 Note that the image number 31 in the beginning of the characteristic information 32 is a unique number for the arithmetic unit 27 to identify the plurality of image information.

次に画像の検索動作を第9図に示す処理動作フローチャートにより説明する。 Next will be described the processing operation flowchart illustrating the search operation of the image in FIG. 9. 制御入力装置29からは、一致判定の際の許容範囲として、利用者が必要とする画像の数Iが入力される()。 From the control input device 29, as an allowable range when the match determination, the number I of the image required by the user is input ().

演算装置27は、検索の条件となる画像が与えられると、登録の場合と同様にして検索の条件となる画像に対する特徴情報a k1を作成する()。 Arithmetic unit 27, given the image as a search condition, to create a feature information a k1 for the image as a condition of the search as in the case of registration ().

jを1に設定し、不一致度の小さい方からI番目の値を入れるレジスタD Iの値をK×Lに設定する()。 Set j to 1, it sets the smaller inconsistency degree the value of the register D I put I-th value in the K × L ().

画像番号jの画像の特徴量b JK1を算出する()。 Calculates a characteristic quantity b JK1 image number j of the image (). なお、第8図のように特徴量が登録時に計算され画像のインデックスとして画像と一緒に登録されている場合には、その値を記憶装置30から読み出す。 In the case where the feature quantity as FIG. 8 has been registered with the image as an index computed image at the time of registration, it reads the value from the storage device 30.

ここで演算装置27は、画像番号1番から順にj番目の画像と検索の条件となる画像との間の不一致度D jを計算していく()。 Here computing device 27 will calculate the dissimilarity D j between 1 No. image number and an image to be j-th image and the search criteria in order ().

そしてD jが求まる度に、すでに計算してある不一致度の小さい方からI番目の値のD IとD jとを比較する()。 And every time the D j is obtained, compares the D I and D j of the I-th value from the smaller degree of mismatch that has already been calculated ().

D j >D Iのときは、I番目までに入っていないので、次の画像についての処理に移るため、jの値を1増加する()。 When the D j> D I, because not in to I th, for the routine to proceed to the next image to 1 increases the value of j ().

比較の結果、D j ≦D Iのときは、D IをD jの値で置き換える()。 The result of the comparison, when the D j ≦ D I, replacing D I with the value of D j (). 不一致度が小さい方からI番目までの画像の番号を記憶しておく()。 Stores the number of images to I-th from the side inconsistency is small (). そして、次の画像についての処理に移るため、jの値を1増加する()。 Since the routine to proceed to the next image to 1 increases the value of j ().

最後に、記憶してある全ての画像について不一致度を計算し終ったときに、不一致度の小さい方から1枚の画像を表示装置26に表示する。 Finally, when the end to calculate the inconsistency of all of the image which is stored, displaying one image from the smaller inconsistency on the display device 26.

ところで、特徴情報群34中における各画像の特徴情報と検索の条件となる画像の特徴情報との間の不一致度を計算する方法を説明する。 Incidentally, a method of calculating the inconsistency between the characteristic information of an image to be a condition for retrieval and feature information of each image in the feature information group 34. 特徴情報は、画像番号31とK Feature information, the image number 31 and K
行L列の行列で表せる画像の特徴量から成る。 Consisting feature amount of an image represented by a matrix of rows and L columns. 検索の条件となる画像の特徴量をa k1 (k=1〜K、l=1〜 The feature amount of the search conditions to become image a k1 (k = 1~K, l = 1~
L)、特徴情報群34の中のj番目の画像の特徴量をb jkL L), the feature amount of the j-th image in the feature information group 34 b JKL
(k=1〜K、l=1〜L)を表す。 It represents the (k = 1~K, l = 1~L). そして、各小領域毎の領域内の1の数が2値に量子化されているとしたとき、条件となる画像とj番目の画像との不一致度は次式で表される演算によって求めることができる。 Then, be determined by calculating the number of 1 in the region of each small area is when a quantized to binary, inconsistency between the image and the j-th image to be a condition represented by the following formula can.

D j =ΣΣ(a k1 b jkL ) つまり、対応する要素間の排他的論理和の総和を不一致度と定義する。 D j = ΣΣ (a k1 b jkL) That is, the sum of the exclusive OR between the corresponding elements is defined as the degree of mismatch. なおは排他的論理和を表す記号とする。 Note is a symbol representing the exclusive OR.

なお、各小領域毎の領域内の1の数が多値に量子化されているとしたとき、即ち、a kLとb jkLが多値のときは、条件となる画像とj番目の画像との不一致度は次式で表される演算によって求められる。 Incidentally, when the number of 1 in the region of each small area is set to be quantized to multi-level, i.e., when a kL and b JKL is multi-valued, the image and the j-th image to the condition inconsistency of is determined by the calculation expressed by the following equation.

D j =ΣΣ|a kL −b jkL | 次に、検索した結果の画像を出力する際には、見出し3−1、本文3−2、図表3−3、写真3−4等文書全体の再配置処理を行う。 D j = ΣΣ | a kL -b jkL | Then, when outputting the image of the results retrieved finds 3-1, body 3-2, Figure 3-3, again such as a document whole photo 3-4 the placement process is performed. 第10図および第11図は再配置処理動作の手順を示すものである。 FIGS. 10 and 11 shows a procedure of the relocation process operation. なお、第10図と第11図とはイとロにおいて接続される。 Note that the FIG. 10 and FIG. 11 are connected at b and b.

先ず、検索された文書画像に対応する項目別ファイル蓄積手段3の見出し部の記憶位置を走査して見出し3− First, heading by scanning the storage position of the heading of the items by file storage unit 3 corresponding to the retrieved document image 3
1があるか否かを調べる()。 1 is whether examined ().

見出し3−1がある場合には、その見出し3−1が縦長配置かあるいは横長配置かを調べる()。 If there is a headline 3-1, that heading 3-1 checks arranged vertically or horizontally disposed (). 見出し3 Heading 3
−1が縦長配置のものであるときは、読み出した見出し文字を縦長配置手順に従って配置を行う()。 When -1 is of vertical arrangement, the read headline characters perform arranged according arranged vertically procedure (). 横長配置のものであるときは、読み出した見出し文字を横長配置手順に従って配置する。 When those of horizontal arrangement, the read headline characters arranged according to horizontal position procedures.

見出し3−1が縦長配置()および横長配置() Heading 3-1 arranged vertically () and horizontal position ()
のいずれの場合でも、さらに他の見出し文字があるか否かを調べる()。 Even in the case of either, investigate whether there is yet another headline characters ().

新たな見出し文字がなければ見出しの配置が終了し、 Placement of the heading is terminated if there is no new headline characters,
本文の文字列の配置に移る。 It moves to the placement of the body of the string. その際、次の行を文字列の右上端の座標として設定する()。 At that time, it sets the next line as the coordinates of the upper right end of the string ().

文字列がまだあるか否かを調べる()。 String investigate whether there are any more (). 文字列があればその文字列の右端からの余白と左側における所定のマージンとを比較して()、左側マージンの方が小さい間は、文字列を配置する()。 If the string is compared with a predetermined margin in the margin and the left from the right end of the string (), while towards the left margin is small, to place the string (). 文字列の配置は、現在の文字列の右端から文字幅だけ差し引いた位置が次の文字列の右端となる()。 Text positioning, the position obtained by subtracting from the right edge of the current string by character width is the right end of the next character string ().

処理において、文字列配置の右端からの余白が、所定の左側マージンより小さくなった場合には、段落の変更と文字列の右端再設定を行う()。 In the process, the margin from the right edge of the string arrangement, if it becomes smaller than the predetermined left margin, performs right end Re of the paragraph changes and string (). そして、処理と同様に文字列の配置を行う()。 Then, the arrangement of the character string similar to the process (). 処理で配置すべき文字列がなくなると図表および写真の配置に移るが、 Although the character string to be arranged in the process is eliminated moves to diagrams and photographs of the arrangement,
まず図表、写真の配置の右上端の座標を設定する()。 First Chart, sets the coordinates of the upper right end of the arrangement of pictures ().

処理で検索結果の文書画像に図表または写真があれば、それを配置すべき右端からの余白と左側における所定のマージンとを比較して()、左側マージンの方が小さい間は、図表または写真を配置する()。 If there is diagrams or photographs in the document image of the retrieval result in the processing, it is compared with a predetermined margin in the margin and the left from the right end to be positioned it (), while towards the left margin is small, diagrams or photographs the placing (). 図表または写真の配置は、現在の図表または写真の右端から図表または写真の幅だけ差し引いた位置が次の図表または写真の右端となる()。 Arrangement of Figure or photographs, the position obtained by subtracting from the right edge of the current plot or photograph by the width of the table or a photograph is the right end of the next chart or photograph ().

処理において、左側マージンの方が大きくなった場合には、段落の変更と図表または写真の右端再設定を行う()。 In the process, when the direction of the left margin is increased performs paragraph change and charts or photographs of the right end reconfiguration (). そして、処理と同様に図表または写真の配置を行う()。 Then, the arrangement of Figure or photograph similar to the process (). 処理で図表または写真がなくなると再配置は終了する()。 Relocation in Chart or photograph is eliminated by the process ends ().

(発明の効果) 本発明によれば、文書画像における見出し、本文、図表、写真等異なる属性の領域を自動的に抽出、分離し、 According to (Effect of the Invention) The present invention, automatically extracted, separated heading in the document image, text, diagrams, the area of ​​the photograph or the like different attributes,
項目(属性領域)ごとに分けて蓄積するとともに、検索においては属性の領域ごとに適した個別の検索方法により検索できるようにし、検索時の表示はその属性の領域のみとすることができので、検索を効率的に行うことができる。 With accumulated separately for each item (attribute region), to be able to search by individual search method suitable for each area of ​​the attribute in the search, display in the search because it is possible to only a region of the attribute, it is possible to carry out the search efficiently.

さらに、検索結果の文書画像を全体を項目ごとにそれぞれまとめて再配置するようにしたので、文書中の無駄な余白を取り除きデータを圧縮させることができ、また表示に要する時間を短縮させることができる。 Furthermore, since the entire document image search results so as to reposition collectively respectively for each item, it is possible to compress the data removes unnecessary margin in the document, also is possible to shorten the time required for display it can.


第1図は本発明の文書画像再配置ファイリング装置の構成を示す図、第2図および第3図は領域分離で抽出された各属性を項目別にファイルする様子を示した図、第4 Illustrates a configuration of a document image rearrangement filing apparatus of the first figure present invention, FIG. FIGS. 2 and 3 is shown how the file each attribute extracted by the segmentation for each item, 4th
図は領域分離手段のブロック構成図、第5図は画像検索装置のブロック構成図、第6図は二次元二値の画像情報の構成を示す図、第7図は特徴情報の構造を示す図、第8図は特徴情報群と画像情報群とを示す図、第9図は検索動作時の処理フローチャート、第10図および第11図は第1図図示における文書画像再配置処理手段8のフローチャートを示す。 Figure is a block diagram of a segmentation unit, Figure 5 is a block diagram of an image retrieval apparatus, FIG. 6 is a diagram showing a configuration of a two-dimensional image information binary, Figure 7 Figure shows the structure of the feature information , FIG. 8 is a diagram showing the feature information group and the image information group, Figure 9 is flowchart of the time search operation, FIGS. 10 and 11 are flowcharts of a document image rearrangement processing unit 8 in Figure 1 shown It is shown. 1……文字画像入力手段 2……領域分離手段 3……項目別ファイル蓄積手段 4……文字認識手段 5……画像圧縮手段 6……キーワード検索手段 7……類似画像検索手段 8……文書画像再配置手段 1 ...... character image input means 2 ...... segmentation means 3 ...... itemized file storage unit 4 ...... character recognition means 5 ...... image compressing means 6 ...... keyword searching unit 7 ...... similar image retrieval unit 8 ...... Article image relocation means

Claims (1)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】文書画像を入力する文書画像入力手段と、 前記文書画像入力手段により入力された文書画像の見出し、本文、図表、写真のそれぞれの異なる属性の領域を抽出、分離する領域分離手段と、 前記領域分離手段により抽出、分離された見出し、本文、写真の各項目を属性に対応して項目ごとに蓄積、格納する項目別ファイル蓄積手段と、 前記項目別ファイル蓄積手段に蓄積されている各項目の内容をそれぞれの項目の属性に対応して個別に検索する項目別検索手段により所望の文書画像を検索する検索手段と、 前記検索手段により検索された所望の文書画像に対して、各項目の内容を再配置して全体の文書画像を出力する文書画像再配置手段と を備えたことを特徴とする文書画像再配置ファイリング装置。 A document image input means for inputting 1. A document image, the heading of the document image inputted by the document image input means, body, charts, extracts an area of ​​each different attribute pictures, isolation regions separating means If the extracted by segmentation means, separate headings, text, storing photos each item for each item corresponding to the attribute, and item-specific file storage means for storing, stored in the item-by-item file storage means for a desired document image contents of each item retrieved search means for searching for a desired document image by itemized retrieval means for retrieving individually correspond to attributes of each item, by the searching means are, document image rearrangement filing apparatus comprising the document image relocation means for outputting the entire document image to rearrange the content of each item.
JP14846389A 1989-06-13 1989-06-13 Document image relocation filing device Expired - Fee Related JP2890482B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14846389A JP2890482B2 (en) 1989-06-13 1989-06-13 Document image relocation filing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14846389A JP2890482B2 (en) 1989-06-13 1989-06-13 Document image relocation filing device

Publications (2)

Publication Number Publication Date
JPH0314184A JPH0314184A (en) 1991-01-22
JP2890482B2 true JP2890482B2 (en) 1999-05-17



Family Applications (1)

Application Number Title Priority Date Filing Date
JP14846389A Expired - Fee Related JP2890482B2 (en) 1989-06-13 1989-06-13 Document image relocation filing device

Country Status (1)

Country Link
JP (1) JP2890482B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013399A1 (en) * 2005-07-28 2007-02-01 Canon Kabushiki Kaisha Search device and search method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04307657A (en) * 1991-04-04 1992-10-29 Video Res:Kk Purchase survey system for newspaper or the like
CA2066559A1 (en) * 1991-07-29 1993-01-30 Walter S. Rosenbaum Non-text object storage and retrieval
US5350303A (en) * 1991-10-24 1994-09-27 At&T Bell Laboratories Method for accessing information in a computer
JPH1186014A (en) 1997-09-08 1999-03-30 Fujitsu Ltd Method and device for displaying document image
JP2002150306A (en) 2000-09-04 2002-05-24 Minolta Co Ltd Image processing device, image processing method, image processing program, and computer-readable recording medium with image processing program recorded thereon

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013399A1 (en) * 2005-07-28 2007-02-01 Canon Kabushiki Kaisha Search device and search method
JP2007034847A (en) * 2005-07-28 2007-02-08 Canon Inc Retrieval apparatus and retrieval method
US8326090B2 (en) 2005-07-28 2012-12-04 Canon Kabushiki Kaisha Search apparatus and search method

Also Published As

Publication number Publication date
JPH0314184A (en) 1991-01-22

Similar Documents

Publication Publication Date Title
Krishnamoorthy et al. Syntactic segmentation and labeling of digitized pages from technical journals
Nagy et al. Document analysis with an expert system
US6562077B2 (en) Sorting image segments into clusters based on a distance measurement
CN1220162C (en) Title extracting device and its method for extracting title from file images
US5628003A (en) Document storage and retrieval system for storing and retrieving document image and full text data
US5854854A (en) Skew detection and correction of a document image representation
US7272258B2 (en) Reformatting documents using document analysis information
CA2078423C (en) Method and apparatus for supplementing significant portions of a document selected without document image decoding with retrieved information
US5373566A (en) Neural network-based diacritical marker recognition system and method
US4907283A (en) Image processing apparatus
US6915011B2 (en) Event clustering of images using foreground/background segmentation
JP3847856B2 (en) Image processing method and apparatus
US9910829B2 (en) Automatic document separation
DE60116442T2 (en) System for assigning keywords to documents
EP1473924B1 (en) Image processing apparatus and method therefor
EP0539106B1 (en) Electronic information delivery system
JP2725969B2 (en) Digital data display method
US5159667A (en) Document identification by characteristics matching
US20070168382A1 (en) Document analysis system for integration of paper records into a searchable electronic database
US6606411B1 (en) Method for automatically classifying images into events
JP4251629B2 (en) The image processing system and an information processing apparatus, and control method, and computer program and computer-readable storage medium
US20010042083A1 (en) User-defined search template for extracting information from documents
US4932065A (en) Universal character segmentation scheme for multifont OCR images
US6400853B1 (en) Image retrieval apparatus and method
US7961950B2 (en) Image processing apparatus, method thereof, and its control method

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees