JP4243577B2 - Similar image retrieval apparatus, method and program - Google Patents
Similar image retrieval apparatus, method and program Download PDFInfo
- Publication number
- JP4243577B2 JP4243577B2 JP2004309795A JP2004309795A JP4243577B2 JP 4243577 B2 JP4243577 B2 JP 4243577B2 JP 2004309795 A JP2004309795 A JP 2004309795A JP 2004309795 A JP2004309795 A JP 2004309795A JP 4243577 B2 JP4243577 B2 JP 4243577B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- contour line
- feature information
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、検索対象の画像を登録された複数の画像と比較して類似する画像を検索する類似画像検索装置、方法およびプログラムに関する。特に、本発明は、機械図面、電気配線図、電子回路図、半導体の配線パターン、ロゴマーク、商標、家紋、写真、絵画、映像など、多くの類似した画像が含まれるファイルや全体図の中から、所望の画像を検索したり、画像が含まれる箇所を特定したり、部分図に類似あるいは一致する箇所を有する全体図を取り出したりする処理などに有効な類似画像検索装置、方法およびプログラムに関する。 The present invention relates to a similar image search device, method, and program for searching for similar images by comparing a search target image with a plurality of registered images. In particular, the present invention can be found in files and general drawings that contain many similar images, such as mechanical drawings, electrical wiring diagrams, electronic circuit diagrams, semiconductor wiring patterns, logo marks, trademarks, family crests, photographs, paintings, and images. The present invention relates to a similar image search device, method, and program that are effective for searching for a desired image, specifying a location where an image is included, and extracting an entire view having a location similar or coincident with a partial view. .
近年、マルチメディア技術の進展により、パーソナルコンピュータやマイクロコンピュータ、専用画像処理装置等を含む計算機を用いて画像を処理する要求が高まっており、そのためのソフトウェア技術の進展も著しい。一般に、計算機では画像は画素毎のデジタルデータとして扱われるが、大量のデータを処理する必要から、画像処理の速度は計算機の高速演算処理能力に依存するところが大きい。計算機上で扱われる画像処理技術として多くの提案がなされているが、この中では画像の検索技術が重要課題の一つにあげられる。 In recent years, with the development of multimedia technology, there has been an increasing demand for processing images using a computer including a personal computer, a microcomputer, a dedicated image processing apparatus, and the like, and the progress of software technology therefor is also remarkable. In general, an image is handled as digital data for each pixel in a computer. However, since it is necessary to process a large amount of data, the speed of image processing largely depends on the high-speed calculation processing capability of the computer. Many proposals have been made as image processing techniques to be handled on a computer. Among them, an image search technique is one of important issues.
画像の検索とは、あらかじめ記憶されている大量の画像の中から、検索対象となっている所望の画像を抽出することである。従来から行われている画像検索の代表的なものとしては、画像に名称、インデックス、番号などを付加して、これらの付加された名称、インデックス、番号など用いて検索する方式(キーワード検索)が知られている(例えば、特許文献1、2参照。)。
The image search is to extract a desired image to be searched from a large number of images stored in advance. As a typical image search performed conventionally, there is a method (keyword search) in which a name, an index, a number, and the like are added to an image, and a search is performed using the added name, index, number, and the like. Known (for example, refer to
また、画像検索の他の従来例としてはパターンマッチングを用いる方法(例えば、特許文献3参照。)や、色差を用いて画像比較を行う方法(例えば、特許文献4参照。)、例示画像の類似度を計算して画像比較を行う方法(例えば、特許文献5参照。)などが知られている。
ところで、上述した特許文献1や特許文献2に開示された従来手法では、画像に付加した名称、インデックス、番号などを利用者が記憶しておくか、リストなどで探し出すことが必要であり、名称等を指定する操作が煩雑であるという問題があった。この操作をミスすることなく行うためには、名称等を正確に記憶あるいは書き留めるなどの必要があるため、画像検索に付随してさらに煩雑な操作が要求されることになる。また、特許文献3〜5に開示されたそれぞれの従来手法では、画像を構成する画素毎に処理を行う必要があるため、処理量が膨大になって検索処理に時間がかかるという問題があった。
By the way, in the conventional methods disclosed in
本発明は、このような点に鑑みて創作されたものであり、その目的は、煩雑な操作が不要であって検索に要する時間を短縮することができる類似画像検索装置、方法およびプログラムを提供することにある。 The present invention was created in view of the above points, and an object of the present invention is to provide a similar image search device, method, and program that do not require complicated operations and can reduce the time required for search. There is to do.
上述した課題を解決するために、本発明の類似画像検索装置は、被検索対象画像を取り込む画像取込手段と、画像取込手段によって取り込まれた被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する輪郭線抽出手段と、輪郭線抽出手段によって抽出された輪郭線の形状を一あるいは複数の関数で近似する関数近似手段と、関数近似手段による近似処理に関連する特徴情報に基づいて、複数の比較対象画像の中から類似した画像を検索する画像検索手段とを備えている。 In order to solve the above-described problem, a similar image search apparatus according to the present invention includes an image capture unit that captures a search target image, and one or more contours included in the search target image captured by the image capture unit. On the basis of contour information extracting means for extracting a line, function approximating means for approximating the shape of the contour line extracted by the contour extracting means with one or a plurality of functions, and feature information related to the approximation processing by the function approximating means And image search means for searching for a similar image from a plurality of comparison target images.
また、本発明の類似画像検索方法は、被検索対象画像を取り込む画像取込ステップと、画像取込ステップにおいて取り込まれた被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する輪郭線抽出ステップと、輪郭線抽出ステップにおいて抽出された輪郭線の形状を一あるいは複数の関数で近似する関数近似ステップと、関数近似ステップにおける近似処理に関連する特徴情報に基づいて、複数の比較対象画像の中から類似した画像を検索する画像検索ステップとを有している。 The similar image search method of the present invention includes an image capturing step for capturing a search target image, and contour extraction for extracting one or a plurality of contour lines included in the search target image captured in the image capture step. A step of approximating the shape of the contour extracted in the contour extraction step with one or a plurality of functions, and feature information related to the approximation processing in the function approximation step. And an image search step for searching for a similar image from the inside.
また、本発明の類似画像検索プログラムは、コンピュータを、画像取込手段によって取り込まれた被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する輪郭線抽出手段と、輪郭線抽出手段によって抽出された輪郭線の形状を一あるいは複数の関数で近似する関数近似手段と、関数近似手段による近似処理に関連する特徴情報に基づいて、複数の比較対象画像の中から類似した画像を検索する画像検索手段として機能させる。 The similar image search program of the present invention extracts a computer by a contour line extraction unit that extracts one or a plurality of contour lines included in the search target image captured by the image capture unit, and a contour line extraction unit. An image that searches for similar images from a plurality of comparison target images based on feature approximation means that approximates the shape of the contour line with one or a plurality of functions and feature information related to the approximation processing by the function approximation means It functions as a search means.
画像の輪郭線を関数近似して抽出された特徴情報を用いて類似画像の検索が行われており、利用者自身が名称やインデックス等を記憶しておいたり、リストの中から該当するものを探し出す必要がないため、煩雑な操作が不要であり、操作の簡略化が可能になる。また、輪郭線を関数近似して得られる特徴情報を用いて画像の検索を行っているため、画像を構成する画素毎に処理を行う必要がないため、処理量を大幅に削減することができ、検索に要する時間を短縮することができる。 Similar image retrieval is performed using feature information extracted by approximating the contour of the image as a function, and the user himself / herself remembers the name, index, etc. Since there is no need to search, a complicated operation is unnecessary, and the operation can be simplified. In addition, since the image search is performed using feature information obtained by approximating the contour line, there is no need to perform processing for each pixel constituting the image, so the processing amount can be greatly reduced. The time required for search can be shortened.
また、上述した比較対象画像に含まれる輪郭線の形状を一あるいは複数の関数で近似する処理に関連して作成された特徴情報が、複数の比較対象画像毎に格納された特徴情報格納手段をさらに備え、画像検索手段は、被検索対象画像に対応する特徴情報と、特徴情報格納手段に格納されている複数の比較対象画像に対応する特徴情報とを比較することにより、被検索対象画像に類似する比較対象画像を抽出することが望ましい。あるいは、上述した比較対象画像に含まれる輪郭線の形状を一あるいは複数の関数で近似する処理に関連して作成された特徴情報が、複数の比較対象画像毎に特徴情報格納手段に格納されており、画像検索ステップは、被検索対象画像に対応する特徴情報と、特徴情報格納手段に格納されている複数の比較対象画像に対応する特徴情報とを比較することにより、被検索対象画像に類似する比較対象画像を抽出することが望ましい。これにより、あらかじめ格納された特徴情報を順番に読み出して、取り込まれた被検索対象画像の特徴情報と比較することにより、容易に類似画像の検索を行うことができ、比較対象となる画像が多い場合であっても操作が煩雑にならず、操作の簡略化が可能になる。 In addition, feature information storage means in which feature information created in association with processing for approximating the shape of the contour line included in the comparison target image described above with one or a plurality of functions is stored for each of the plurality of comparison target images. In addition, the image search unit compares the feature information corresponding to the search target image with the feature information corresponding to the plurality of comparison target images stored in the feature information storage unit, thereby obtaining the search target image. It is desirable to extract similar comparison target images. Alternatively, the feature information created in association with the process of approximating the shape of the contour line included in the comparison target image with one or a plurality of functions is stored in the feature information storage unit for each of the plurality of comparison target images. The image search step is similar to the search target image by comparing the feature information corresponding to the search target image with the feature information corresponding to a plurality of comparison target images stored in the feature information storage unit. It is desirable to extract a comparison target image. Thus, it is possible to easily search for similar images by sequentially reading out the feature information stored in advance and comparing it with the feature information of the captured image to be searched, and there are many images to be compared. Even in this case, the operation is not complicated, and the operation can be simplified.
また、上述した画像取込手段、輪郭線抽出手段、関数近似手段を用いて比較対象画像に対応する特徴情報が取得されたときに、この特徴情報を特徴情報格納手段に格納する特徴情報格納処理手段をさらに備えることが望ましい。あるいは、上述した画像取込ステップ、輪郭線抽出ステップ、関数近似ステップを用いて比較対象画像に対応する特徴情報が取得されたときに、この特徴情報を特徴情報格納手段に格納する特徴情報格納処理ステップをさらに備えることが望ましい。これにより、比較対象となる画像を適宜追加することが可能になる。 Further, when the feature information corresponding to the comparison target image is acquired using the image capturing unit, the contour line extracting unit, and the function approximating unit, the feature information storing process for storing the feature information in the feature information storing unit. It is desirable to further comprise means. Alternatively, when feature information corresponding to the comparison target image is acquired using the above-described image capturing step, contour line extracting step, and function approximating step, feature information storage processing for storing the feature information in the feature information storage unit It is desirable to further comprise steps. This makes it possible to add an image to be compared as appropriate.
また、上述した画像取込手段は、光学的に被検索対象画像の濃淡情報あるいは色情報を読み取る光学読取装置であることが望ましい。あるいは、上述した画像取込ステップは、光学的に被検索対象画像の濃淡情報あるいは色情報を読み取る光学読取装置を用いて行われることが望ましい。これにより、検索したい画像を容易に取り込むことが可能になる。 Further, it is desirable that the above-described image capturing means is an optical reading device that optically reads the density information or color information of the search target image. Alternatively, it is preferable that the above-described image capturing step is performed using an optical reading device that optically reads the density information or color information of the search target image. Thereby, it is possible to easily capture an image to be searched.
また、上述した画像取込手段は、被検索対象画像を構成する複数の画素のそれぞれに対応する濃淡情報あるいは色情報からなる画像データが格納された記録媒体から画像データを読み取るデータ読取装置であることが望ましい。あるいは、上述した画像取込ステップは、被検索対象画像を構成する複数の画素のそれぞれに対応する濃淡情報あるいは色情報からなる画像データが格納された記録媒体から画像データを読み取るデータ読取装置を用いて行われることが望ましい。これにより、既に画像データの形式で保持されている場合に、この画像データを用いることができ、検索したい画像の取り込みをさらに容易に行うことが可能になる。 Further, the above-described image capturing means is a data reading device that reads image data from a recording medium in which image data including grayscale information or color information corresponding to each of a plurality of pixels constituting the search target image is stored. It is desirable. Alternatively, the above-described image capturing step uses a data reading device that reads image data from a recording medium in which image data including grayscale information or color information corresponding to each of a plurality of pixels constituting the search target image is stored. It is desirable to be done. As a result, when the image data is already stored in the format, the image data can be used, and the image to be searched can be captured more easily.
また、上述した輪郭線抽出手段は、被検索対象画像と背景との間の境界部を輪郭線として抽出することが望ましい。あるいは、上述した輪郭線抽出ステップは、前記被検索対象画像と背景との間の境界部を輪郭線として抽出することが望ましい。これにより、画像の形状を用いた類似検索を行うことができ、特に、白黒あるいは単色のみを用いた画像について正確な画像検索を行うことが可能となる。 Further, it is desirable that the above-described contour line extracting means extracts a boundary portion between the search target image and the background as a contour line. Alternatively, it is desirable that the contour line extracting step described above extracts a boundary portion between the search target image and the background as a contour line. As a result, a similarity search using the shape of the image can be performed, and in particular, an accurate image search can be performed for an image using only black and white or a single color.
また、上述した輪郭線抽出手段は、被検索対象画像と背景との間の境界部と、被検索対象画像の内部領域に現れる同一濃淡あるいは同一色の縁部とを輪郭線として抽出することが望ましい。あるいは、上述した輪郭線抽出ステップは、被検索対象画像と背景との間の境界部と、被検索対象画像の内部領域に現れる同一濃淡あるいは同一色の縁部とを輪郭線として抽出することが望ましい。これにより、画像の形状のみならず、内部の中間調部分を用いた類似検索を行うことができ、特に、濃淡画像あるいは色情報を有するカラー画像について正確な画像検索を行うことが可能となる。 Further, the contour line extracting means described above can extract the boundary between the search target image and the background and the same shade or the same color edge appearing in the internal region of the search target image as a contour line. desirable. Alternatively, the above-described contour extraction step may extract the boundary between the search target image and the background and the same shade or the same color edge appearing in the internal region of the search target image as the contour. desirable. As a result, not only the shape of the image but also a similar search using the internal halftone portion can be performed. In particular, an accurate image search can be performed for a gray image or a color image having color information.
また、上述した輪郭線抽出手段は、輪郭線を構成する各画素のX座標とY座標のそれぞれについて座標値を別々に抽出し、関数近似手段は、輪郭線抽出手段によって抽出された座標値に基づいて、X座標に対応する関数近似処理とY座標に対応する関数近似処理を別々に行うことが望ましい。あるいは、上述した輪郭線抽出ステップは、輪郭線を構成する各画素のX座標とY座標のそれぞれについて座標値を別々に抽出し、関数近似ステップは、輪郭線抽出ステップにおいて抽出された座標値に基づいて、X座標に対応する関数近似処理とY座標に対応する関数近似処理を別々に行うことが望ましい。これにより、一変数に着目して関数近似処理を行うことができるため、処理の簡略化が可能になる。 In addition, the contour line extracting unit described above separately extracts coordinate values for each of the X coordinate and the Y coordinate of each pixel constituting the contour line, and the function approximating unit extracts the coordinate value extracted by the contour line extracting unit. Based on this, it is desirable to separately perform function approximation processing corresponding to the X coordinate and function approximation processing corresponding to the Y coordinate. Alternatively, in the contour line extraction step described above, coordinate values are separately extracted for each of the X coordinate and Y coordinate of each pixel constituting the contour line, and the function approximation step is performed on the coordinate value extracted in the contour line extraction step. Based on this, it is desirable to separately perform function approximation processing corresponding to the X coordinate and function approximation processing corresponding to the Y coordinate. As a result, the function approximation process can be performed by paying attention to one variable, so that the process can be simplified.
また、上述した特徴情報には、輪郭線の長さとしての輪郭長が含まれており、画像検索手段は、輪郭長に基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。あるいは、上述した特徴情報には、輪郭線の長さとしての輪郭長が含まれており、画像検索ステップは、輪郭長に基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。画像に複数の輪郭線が含まれている場合に、各輪郭線に対応する輪郭長の組み合わせは、画像の特徴を表す重要な特徴であると考えられる。したがって、輪郭長を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 The feature information described above includes the contour length as the length of the contour line, and the image search means is similar to the search target image from the plurality of comparison target images based on the contour length. It is desirable to search. Alternatively, the feature information described above includes a contour length as the length of the contour line, and the image search step is similar to the search target image from a plurality of comparison target images based on the contour length. It is desirable to search. When an image includes a plurality of contour lines, a combination of contour lengths corresponding to the respective contour lines is considered to be an important feature representing the feature of the image. Therefore, a highly accurate image search can be performed by performing similarity determination of images using the contour length.
また、上述した特徴情報には、輪郭線の数としての輪郭数が含まれており、画像検索手段は、輪郭数に基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。あるいは、上述した特徴情報には、輪郭線の数としての輪郭数が含まれており、画像検索ステップは、輪郭数に基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。画像に複数の輪郭線が含まれている場合に、その数は画像の特徴を表す重要な特徴であると考えられる。したがって、輪郭数を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 In addition, the feature information described above includes the number of contours as the number of contour lines, and the image search means selects a similar image to the search target image from a plurality of comparison target images based on the number of contours. It is desirable to search. Alternatively, the above-described feature information includes the number of contours as the number of contour lines, and the image search step uses a plurality of comparison target images that are similar to the search target image based on the number of contours. It is desirable to search. When an image includes a plurality of contour lines, the number is considered to be an important feature representing the feature of the image. Therefore, a highly accurate image search can be performed by performing similarity determination of images using the number of contours.
また、上述した特徴情報には、輪郭線を構成する複数の関数の順番が含まれており、画像検索手段は、複数の関数の順番に基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。あるいは、上述した特徴情報には、輪郭線を構成する複数の関数の順番が含まれており、画像検索ステップは、複数の関数の順番に基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。輪郭線を構成する複数の関数の順番は、輪郭線の形状を表す重要な特徴であると考えられる。したがって、関数の順番を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 Further, the feature information described above includes the order of a plurality of functions constituting the contour line, and the image search means selects the search target image from the plurality of comparison target images based on the order of the plurality of functions. It is desirable to search for something similar to. Alternatively, the feature information described above includes the order of a plurality of functions that constitute the contour line, and the image search step includes selecting a search target image from a plurality of comparison target images based on the order of the plurality of functions. It is desirable to search for something similar to. The order of a plurality of functions constituting the contour line is considered to be an important feature representing the shape of the contour line. Therefore, an image search with high accuracy can be performed by determining similarity of images using the order of functions.
また、上述した特徴情報には、輪郭線を構成する複数の関数のそれぞれに対応する区間長の並びが含まれており、画像検索手段は、区間長の並びに基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。あるいは、上述した特徴情報には、輪郭線を構成する複数の関数のそれぞれに対応する区間長の並びが含まれており、画像検索ステップは、区間長の並びに基づいて複数の比較対象画像の中から被検索対象画像に類似するものを検索することが望ましい。輪郭線を構成する複数の関数のそれぞれに対応する区間長の並びは、輪郭線の形状を表す重要な特徴であると考えられる。したがって、区間長の並びを用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 In addition, the feature information described above includes an array of section lengths corresponding to each of a plurality of functions constituting the contour line, and the image search means can select a plurality of comparison target images based on the order of the section lengths. It is desirable to search for images similar to the image to be searched. Alternatively, the above-described feature information includes a sequence of section lengths corresponding to each of a plurality of functions constituting the contour line, and the image search step includes a plurality of comparison target images based on the sequence of section lengths. It is desirable to search for images similar to the image to be searched. It is considered that the arrangement of section lengths corresponding to each of a plurality of functions constituting the contour line is an important feature representing the shape of the contour line. Therefore, an image search with high accuracy can be performed by performing similarity determination of images using the arrangement of section lengths.
また、上述した画像検索手段は、被検索対象画像と比較対象画像のそれぞれに含まれる輪郭線を構成する関数の相関度を計算し、相関度が大きい順に、被検索対象画像に類似する比較対象画像を検索することが望ましい。あるいは、上述した画像検索ステップは、被検索対象画像と比較対象画像のそれぞれに含まれる輪郭線を構成する関数の相関度を計算し、相関度が大きい順に、被検索対象画像に類似する比較対象画像を検索することが望ましい。画像に複数の輪郭線が含まれている場合に、輪郭線を構成する各関数の相関度は、輪郭線の形状を表す重要な特徴であると考えられる。したがって、関数の相関度を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 Further, the above-described image search means calculates the correlation degree of the functions constituting the contour line included in each of the search target image and the comparison target image, and the comparison target that is similar to the search target image in descending order of the correlation degree. It is desirable to retrieve images. Alternatively, the image search step described above calculates the correlation degree of the functions constituting the contour included in each of the search target image and the comparison target image, and the comparison target that is similar to the search target image in descending order of the correlation degree. It is desirable to retrieve images. When a plurality of contour lines are included in the image, the degree of correlation of each function constituting the contour line is considered to be an important feature representing the shape of the contour line. Therefore, an image search with high accuracy can be performed by performing similarity determination of images using the degree of correlation of functions.
また、上述した画像検索手段は、最も長い輪郭線の長さである最大輪郭長に着目して検索対象候補として所定数の比較対象画像を選択した後、特徴情報に基づいて被検索対象画像に類似する比較対象画像を検索することが望ましい。また、上述した画像検索手段は、輪郭線の数に着目して検索対象候補として所定数の比較対象画像を選択した後、特徴情報に基づいて被検索対象画像に類似する比較対象画像を検索することが望ましい。あるいは、上述した画像検索ステップは、最も長い輪郭線の長さである最大輪郭長に着目して検索対象候補として所定数の比較対象画像を選択した後、特徴情報に基づいて被検索対象画像に類似する比較対象画像を検索することが望ましい。また、上述した画像検索ステップは、輪郭線の数に着目して検索対象候補として所定数の比較対象画像を選択した後、特徴情報に基づいて被検索対象画像に類似する比較対象画像を検索することが望ましい。これにより、検索の対象となる画像の数を減らすことができるため、さらに処理負担を軽減して、処理時間を短縮することが可能となる。 In addition, the above-described image search means selects a predetermined number of comparison target images as search target candidates while paying attention to the maximum contour length that is the length of the longest contour line, and then selects the search target image based on the feature information. It is desirable to search for similar comparison target images. In addition, the image search unit described above searches for a comparison target image similar to the search target image based on the feature information after selecting a predetermined number of comparison target images as search target candidates by paying attention to the number of contour lines. It is desirable. Alternatively, in the image search step described above, a predetermined number of comparison target images are selected as search target candidates by paying attention to the maximum contour length that is the length of the longest contour line, and then the search target image is determined based on the feature information. It is desirable to search for similar comparison target images. In the above-described image search step, after a predetermined number of comparison target images are selected as search target candidates by paying attention to the number of contour lines, a comparison target image similar to the search target image is searched based on the feature information. It is desirable. As a result, the number of images to be searched can be reduced, so that the processing load can be further reduced and the processing time can be shortened.
以下、本発明を適用した一実施形態の類似画像検索装置について、図面を参照しながら詳細に説明する。 Hereinafter, a similar image search apparatus according to an embodiment to which the present invention is applied will be described in detail with reference to the drawings.
図1は、一実施形態の類似画像検索装置の構成を示す図である。図1に示す類似画像検索装置は、被検索対象画像が入力されたときにこの画像に類似する登録済みの画像(類似画像)を検索して検索結果を出力するためのものであり、画像入力部110、画像DB(データベース)120、検索処理部130、操作部150、表示部160、印刷装置170を備えている。
FIG. 1 is a diagram illustrating a configuration of a similar image search apparatus according to an embodiment. The similar image search apparatus shown in FIG. 1 is for searching a registered image (similar image) similar to this image when a search target image is input, and outputting a search result. A
画像入力部110は、検索処理部130に被検索対象画像を取り込むためのものであり、被検索対象画像を構成する各画素毎の濃淡情報や色情報等を示す画像データの入力を行う。例えば、画像入力部110として、光学的に被検索対象画像を構成する各画素の濃淡情報や色情報を読み取る光学スキャナやデジタルカメラ等の光学読取装置が用いられる。なお、結果的に被検索対象画像を構成する各画素毎の濃淡情報等を示す画像データが得られればよいため、被検索対象画像を構成する各画素の濃淡情報等を示す画像データがCD、DVD、半導体メモリ等の各種の情報記録媒体に記録されている場合に、これらの記録媒体から画像データを読み取るディスクドライブ装置等のデータ読取装置を画像入力部110として用いるようにしてもよい。
The
画像DB120は、被検索対象画像と類似度が比較される複数の画像(これらの画像を「比較対象画像」と称する)に対して関数化近似処理を行って得られる特徴情報を格納する。特徴情報の具体例については、被検索対象画像について行われる関数近似処理において説明する。検索処理部130による処理に先だって、画像DB120に複数の比較対象画像の特徴情報を登録する必要がある。この登録処理の詳細については後述する。
The
検索処理部130は、被検索対象画像の特徴情報を抽出し、この特徴情報に基づいて被検索対象画像に類似する比較対象画像を検索する処理を行う。このために、検索処理部130は、輪郭追跡処理部132、接合点抽出処理部134、関数近似処理部136、類似度判定処理部140、検索結果出力処理部142を備えている。
The
輪郭追跡処理部132は、画像入力部110によって取り込まれる被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する。具体的には、輪郭追跡処理部132は、画像入力部110によって入力される画像データに基づいて被検索対象画像の輪郭線を所定方向に追跡して、この輪郭線を構成する画素列(輪郭点列)を抽出する。例えば、抽出された画素列の特定は、X座標およびY座標のそれぞれの各座標値について別々に行われる。また、一の被検索対象画像に複数の輪郭線が含まれている場合には、各輪郭線について輪郭点列の抽出が行われる。なお、上述した輪郭線の抽出処理は、被検索対象画像が白黒あるいは単色のみを用いた画像であるか、濃淡画像や色情報を有するカラー画像であるかによって場合を分けることが望ましい。すなわち、白黒あるいは単色のみを用いた画像の場合には、輪郭追跡処理部132は、被検索対象画像と背景との間の境界部を輪郭線として抽出する。これにより、画像の形状を用いた類似検索を行うことができ、特に、白黒あるいは単色のみを用いた画像について正確な画像検索を行うことが可能となる。また、濃淡画像やカラー画像の場合には、輪郭追跡処理部132は、被検索対象画像と背景との間の境界部と、被検索対象画像の内部領域に現れる同一濃淡あるいは同一色の縁部とを輪郭線として抽出する。これにより、画像の形状のみならず、内部の中間調部分を用いた類似検索を行うことができ、特に、濃淡画像やカラー画像について正確な画像検索を行うことが可能となる。
The contour
図2は、輪郭追跡処理部132によって抽出された輪郭点列の概略を示す図である。また、図3は抽出された輪郭点列のX座標を媒介変数を用いて分離した変化の様子を示す図である。図4は、抽出された輪郭点列のY座標を媒介変数を用いて分離した変化の様子を示す図である。
FIG. 2 is a diagram showing an outline of the contour point sequence extracted by the contour
図2では、丸印(○)が輪郭線を構成する画素を示しており、各丸印に付された数字は輪郭線を追跡していったときの画素の順番を示している。なお、実際の被検索対象画像の輪郭線は図2に示す例に比べて多くの画素によって構成されているが、図2では説明を簡略化するために少ない数の画素によって輪郭点列が構成されているものとする。 In FIG. 2, circles (◯) indicate pixels constituting the outline, and the numbers attached to the circles indicate the order of the pixels when the outline is traced. Note that the contour line of the actual search target image is composed of a larger number of pixels than in the example shown in FIG. 2, but in FIG. 2, a contour point sequence is composed of a small number of pixels to simplify the description. It is assumed that
例えば、輪郭追跡処理部132は、X座標が最も小さい位置からY方向に沿って走査を開始し、X座標を大きくしていって最初に検出した画素に番号「1」を付す。図2に示した例では、輪郭追跡処理部132は、番号「1」の画素を追跡開始画素として時計回り方向に輪郭線を追跡しながら、輪郭線を構成する各画素を検出するとともにこれらの各画素に検出順に通し番号「2」、「3」、…を付す。この輪郭線に沿った画素の検出動作は、検出する画素が追跡開始画素に一巡するまで行われる。輪郭線を構成する各画素の番号を横軸に、各画素のX座標値を縦軸にプロットしたものが図3である。また、輪郭線を構成する各画素の番号を横軸に、各画素のY座標値を縦軸にプロットしたものが図4である。このように、輪郭追跡処理部132は、輪郭線を構成する各画素に付した検出順番を示す通し番号を媒介変数として、X座標値とY座標値を別々に記録することにより、輪郭点列の抽出を行う。なお、上述した説明では、一例として媒介変数を用いてX座標値とY座標値を別々に記録するようにしたが、媒介変数を用いずに、X座標値とY座標値の組み合わせを記録するようにしてもよい。また、一般には、被検索対象画像には、この画像と背景との間の境界部としての多くの輪郭線が含まれるが、各輪郭線毎に輪郭点列の抽出が行われる。
For example, the contour
接合点抽出処理部134は、輪郭追跡処理部132によって抽出した輪郭点列に基づいて、輪郭線の傾向が変化する接合点を抽出する。例えば、輪郭線の角度が急に変化する角点が接合点として抽出される。接合点の抽出処理や関数近似処理は、図3に示すX座標についての輪郭点列と図4に示すY座標についての輪郭点列のそれぞれについて別々に行われる。
The joint point
関数近似処理部136は、輪郭線に沿って隣接する2つの接合点で区分される部分的な領域(区分領域)を、直線、円弧、自由曲線のいずれかの関数を用いて近似し、この近似処理に関連する特徴情報を作成する。例えば、区分領域が直線で近似可能な場合には近似関数として直線が用いられ、直線で近似不可能であって円弧で近似可能な場合には近似関数として円弧が用いられる。円弧でも近似不可能な場合には近似関数として自由曲線が用いられる。近似関数として直線を用いた場合には、用いた関数が直線であることを示す符号と、直線で近似される区分領域の形状を示すパラメータとが、この区分領域に対応する近似関数に関する特徴情報として作成される。同様に、近似関数として円弧を用いた場合には、用いた関数が円弧であることを示す符号と、円弧で近似される区分領域の形状を示すパラメータとが、この区分領域に対応する近似関数に関する特徴情報として作成される。近似関数として自由曲線を用いた場合には、用いた関数が自由曲線であることを示す符号と、自由曲線で近似される区分領域の形状を示すパラメータとが、この区分領域に対応する近似関数に関する特徴情報として作成される。
The function
なお、着目している区分領域がどの関数で近似可能であるか否かの判定は、区分領域と近似関数との間の誤差(最小二乗法で求めた誤差)が所定値以下であるか否かを調べることにより行われる。また、区分領域の形状を示すパラメータは、この区分領域の形状を特定することが可能であればよいが、例えば、特許第2646475号公報に開示されているように、以下に示すものを用いるようにしてもよい。
(1)直線の場合:直線を示すフラグ、区分領域の始点の座標
(2)円弧の場合:円弧を示すフラグ、円弧の始点の座標、接合点間の中心角の係数、接合点間に存在する輪郭点数、近似関数の係数(円弧を例えば三角関数の線形結合の式で表現した場合の各係数)
(3)自由曲線の場合:接合点間の自由曲線を示す近似関数の次元数(≧3)、接合点間に存在する輪郭点数、接合点間における輪郭点列の変動の中心、近似関数の係数。
It should be noted that the determination of which function can approximate the segmented area is based on whether the error between the segmented area and the approximate function (error obtained by the least squares method) is less than a predetermined value. It is done by examining whether. The parameter indicating the shape of the segmented region may be any parameter as long as the shape of the segmented region can be specified. For example, as disclosed in Japanese Patent No. 2646475, the following parameters are used. It may be.
(1) For a straight line: Flag indicating a straight line, coordinates of the start point of a segmented area (2) For an arc: A flag indicating an arc, the coordinates of the start point of the arc, the coefficient of the central angle between the junction points, existing between the junction points Number of contour points to be used, coefficients of approximate function (Each coefficient when an arc is expressed by a linear combination of trigonometric functions, for example)
(3) In the case of a free curve: the number of dimensions of an approximate function indicating a free curve between joint points (≧ 3), the number of contour points existing between joint points, the center of variation of the contour point sequence between joint points, the approximation function coefficient.
類似度判定処理部140は、被検索対象画像に対応して抽出される特徴情報に基づいて、被検索対象画像と各比較対象画像との類似度を判定し、被検索対象画像に類似する比較対象画像を決定する。この類似度判定に用いられる特徴情報には、上述した区間領域の形状を示すパラメータの他に、各輪郭線の輪郭長(輪郭線の長さ)、最大輪郭長、輪郭数(輪郭線の数)、輪郭線を構成する複数の関数の順番、輪郭線を構成する複数の関数のそれぞれに対応する区間長(区分領域の長さ)の並び、被検索対象画像と比較対象画像のそれぞれを構成する関数の相関度などが含まれている。
The similarity
図5および図6は、輪郭追跡処理部132、接合点抽出処理部134、関数近似処理部136の各処理によって抽出される特徴情報の概要を示す図である。図5に示すひとまとまりの特徴情報が一の被検索対象画像について抽出される。図5に示す例では、着目している被検索対象画像には、輪郭線1、2、3、…で示される複数の輪郭線が含まれており(それぞれの輪郭長が輪郭長1、2、3…)で、その中で最も長い輪郭線の長さが「最大輪郭長」で示されている。また、各輪郭線には、X軸関数表とY軸関数表とが対応付けられている。
5 and 6 are diagrams showing an outline of feature information extracted by each process of the contour
図6に示すように、X軸関数表には、関数総数、輪郭長、総標本点数、直線個数、直線総長、円弧個数、円弧総長、曲線個数、曲線総長の他に、各輪郭線毎の区間長、標本点数、始点標本番号(図2や図3において示した通し番号)、各関数に対応する区間長やパラメータが含まれている。関数総数は、着目している輪郭線に含まれる関数の総数であって区分領域の数に等しい。輪郭長は、着目している輪郭線の長さである。直線個数は、着目している輪郭線を構成する各区分領域の中で直線によって近似される区分領域の数である。直線総長は、着目している輪郭線を構成する各区分領域の中で直線によって近似される区分領域の長さの合計値である。円弧個数は、着目している輪郭線を構成する各区分領域の中で円弧によって近似される区分領域の数である。円弧総長は、着目している輪郭線を構成する各区分領域の中で円弧によって近似される区分領域の長さの合計値である。曲線個数は、着目している輪郭線を構成する各区分領域の中で自由曲線によって近似される区分領域の数である。曲線総長は、着目している輪郭線を構成する各区分領域の中で自由曲線によって近似される区分領域の長さの合計値である。また、図6において、「X軸関数」に対応する複数の関数は、着目している輪郭線を構成する各区分領域を近似する関数を示しており、これらの配置順が各区分領域の並びに対応している。 As shown in FIG. 6, in addition to the total number of functions, the contour length, the total number of sample points, the number of straight lines, the total number of straight lines, the number of arcs, the total length of arcs, the number of curves, the total length of curves, The section length, the number of sample points, the start point sample number (the serial number shown in FIGS. 2 and 3), the section length and parameters corresponding to each function are included. The total number of functions is the total number of functions included in the focused contour line and is equal to the number of segmented areas. The contour length is the length of the focused contour line. The number of straight lines is the number of segmented areas approximated by straight lines in the segmented areas constituting the focused contour line. The total length of the straight line is a total value of the lengths of the segmented areas approximated by straight lines in the segmented areas constituting the target contour line. The number of arcs is the number of segmented areas that are approximated by arcs in each segmented area constituting the focused contour line. The total arc length is a total value of the lengths of the segment areas approximated by the arc in the segment areas constituting the target contour line. The number of curves is the number of segmented areas that are approximated by a free curve in each segmented area constituting the target contour line. The total curve length is the total value of the lengths of the segmented regions approximated by the free curve in the segmented regions constituting the target contour line. In FIG. 6, a plurality of functions corresponding to the “X-axis function” indicate functions that approximate each segmented area that constitutes the contour line of interest. It corresponds.
類似度判定処理部140は、図5に示すテーブルを参照することにより輪郭数を知ることができる。また、類似度判定処理部140は、図6に示すテーブルを参照することにより、輪郭線を構成する複数の関数の順番や、輪郭線を構成する複数の関数のそれぞれに対応する区間長(区分領域の長さ)の並びを知ることができる。なお、Y軸関数表も同様の内容を有している。
The similarity
検索結果出力処理部142は、検索結果を表示部160の画面上に表示したり、操作部150を用いた印刷操作がなされた場合には印刷装置170に対して検索結果の印刷を指示する。
The search result
ところで、図5および図6に示した特徴情報は、画像入力部110から入力される被検索画像の画像データに基づいて作成されるが、この特徴情報と比較して類似画像を抽出するためには、多くの比較対象画像について同じ内容の特徴情報をあらかじめ抽出して画像DB120に登録しておく必要がある。
Incidentally, the feature information shown in FIG. 5 and FIG. 6 is created based on the image data of the image to be searched input from the
図7は、比較対象画像についてあらかじめ特徴情報の抽出を行って画像DB120に対する登録を行うデータベース作成装置の構成を示す図である。なお、図7に示す構成は、図1に示した類似画像検索装置の一部として備わっている場合が考えられるが、図1に示した類似画像検索装置とは別に構築する場合が考えられる。
FIG. 7 is a diagram illustrating a configuration of a database creation apparatus that extracts feature information in advance for a comparison target image and registers the image in the
図7に示すデータベース作成装置は、画像DB120に多くの比較対象画像の特徴情報を登録するために、画像入力部210、データベース作成部220、操作部230、表示部240を備えている。
The database creation device shown in FIG. 7 includes an
画像入力部210は、比較対象画像を構成する各画素毎の濃淡情報や色情報を示す画像データの入力を行う。図1に示した画像入力部110と同様に、この画像入力部210として光学的スキャナ、デジタルカメラやディスクドライブ装置等を用いることができる。
The
データベース作成部220は、比較対象画像の特徴情報を抽出して画像DB120に登録する処理を行う。このために、データベース作成部220は、輪郭追跡処理部222、接合点抽出処理部224、関数近似処理部226、ファイル作成処理部228を備えている。この中で、ファイル作成処理部228を除く輪郭追跡処理部222、接合点抽出処理部224、関数近似処理部226の基本的な動作は、図1に示した検索処理部130内の同一名称の各構成部と同じであり、詳細な動作説明は省略する。
The
ファイル作成処理部228は、抽出された各比較対象画像毎の特徴情報(図5および図6に示した各テーブルに含まれる特徴情報)をひとまとまりのファイルとして画像DB120に登録する。操作部230は、比較対象画像に対応する特徴情報の抽出、登録に必要な動作指示等を行うために用いられる。表示部240は、特徴情報の登録内容を確認したり、登録に必要な各種の操作画面を表示するために用いられる。
The file
このような構成を有するデータベース作成装置を用いることにより、図5および図6に示した被検索対象画像の特徴情報と基本的に同じ内容を有する複数の比較対象画像の特徴情報が画像DB120に登録される。
By using the database creation device having such a configuration, the feature information of a plurality of comparison target images having basically the same contents as the feature information of the search target images shown in FIGS. 5 and 6 is registered in the
上述した画像入力部110、210が画像取込手段に、輪郭追跡処理部132、222が輪郭線抽出手段に、関数近似処理部136、226が関数近似手段に、類似度判定処理部140が画像検索手段に、画像DB120が特徴情報格納手段に、ファイル作成処理部228が特徴情報格納処理手段にそれぞれ対応する。また、画像入力部110、210によって行われる動作が画像取込ステップの動作に、輪郭追跡処理部132、222によって行われる動作が輪郭線抽出ステップの動作に、関数近似処理部136、226によって行われる動作が関数近似ステップの動作に、類似度判定処理部140によって行われる動作が画像検索ステップの動作に、ファイル作成処理部228によって行われる動作が特徴情報格納処理ステップの動作にそれぞれ対応する。
The
本実施形態の類似画像検索装置はこのような構成を有しており、次にその動作を説明する。図5および図6に示した各種の特徴情報を用いて被検索対象画像と比較対象画像との類似度を判定する場合に、全ての項目を用いて類似度判定を行うようにしてもよいが、処理の負担軽減等を考慮して一部の特徴情報を用いて類似度判定を行うようにしてもよい。 The similar image search apparatus of this embodiment has such a configuration, and the operation thereof will be described next. When the similarity between the search target image and the comparison target image is determined using the various types of feature information illustrated in FIGS. 5 and 6, the similarity determination may be performed using all items. The similarity determination may be performed using a part of the feature information in consideration of reduction of the processing load.
図8は、類似画像の検索を行う動作手順を示す流れ図である。類似度判定処理部140は、被検索対象画像(画像A)の特徴情報を取得すると(ステップ100)、画像DB120から一の比較対象画像(画像B)の特徴情報を読み出す(ステップ101)。次に、類似度判定処理部140は、被検索対象画像と比較対象画像のそれぞれに含まれる輪郭線の中から輪郭長が長い順にL番目の輪郭線を選択し(ステップ102)、これらの2つの輪郭線同士を比較する(ステップ103)。最初は、被検索対象画像と比較対象画像のそれぞれから最も輪郭長が長い輪郭線が選択され(L=1)、これら2つの輪郭線の特徴情報の比較が行われる。この比較処理は、(1)輪郭長、(2)輪郭線を構成する複数の関数の順番、(3)輪郭線を構成する複数の関数のそれぞに対応する区間長の並び、などのいずれかの特徴量を単独で用いる場合の他に、これらの2つ以上を組み合わせて用いる場合が考えられる。この比較処理によって、L番目の輪郭線に対する類似度判定が行われる。
FIG. 8 is a flowchart showing an operation procedure for searching for similar images. When acquiring the feature information of the search target image (image A) (step 100), the similarity
次に、類似度判定処理部140は、所定数の輪郭線に対する比較処理が終了したか否かを判定する(ステップ104)。比較処理が行われた輪郭線の数が所定数に達していない場合には否定判断が行われ、次に長い輪郭線についてステップ102以降の処理が繰り返される。また、比較処理が行われた輪郭線の数が所定数に達した場合にはステップ104の判定において肯定判断が行われ、次に、類似度判定処理部140は、輪郭線の比較が終了していない他の比較対象画像が存在するか否かを判定する(ステップ105)。他の比較対象画像が存在する場合には肯定判断が行われ、次の比較対象画像についてステップ101以降の処理が繰り返される。他の比較対象画像が存在しない場合にはステップ105の判定において否定判断が行われ、次に、類似度判定処理部140は、各比較対象画像の所定数の輪郭線について行った比較結果を用いて各比較対象画像と被検索対象画像との類似度を判定し(ステップ106)、判定結果を出力する(ステップ107)。判定結果の出力は、例えば、類似度が大きいと判定された順に比較対象画像と類似の程度を順番に表示部160に表示したり、印刷装置170を用いて印刷用紙に印刷したりして行われる。
Next, the similarity
図9は、類似画像の検索を行う変形例の動作手順を示す流れ図である。類似度判定処理部140は、被検索対象画像(画像A)の特徴情報を取得すると(ステップ200)、その中から最大輪郭長を抽出する(ステップ201)。次に、類似度判定処理部140は、画像DB120に登録されている全ての比較対象画像(画像B)の中から、ステップ201で抽出した最大輪郭長に近い最大輪郭長を有するn個の比較対象画像を選択する(ステップ202)。なお、図9に示した動作手順では、最大輪郭長に着目してn個の比較対象画像を選択したが、輪郭数に着目してn個の比較対象画像を選択するようにしてもよい。
FIG. 9 is a flowchart showing an operation procedure of a modified example for searching for similar images. When the similarity
次に、類似度判定処理部140は、選択したn個の比較対象画像の中から一の比較対象画像の特徴情報を読み出す(ステップ203)。類似度判定処理部140は、被検索対象画像に含まれる輪郭線の中から輪郭長が長い順にL番目の輪郭線を選択し、この輪郭線に対応するX軸関数表およびY軸関数表(図5、図6参照)の中から類似度判定に用いる第1の特徴量を抽出する(ステップ204)。また、類似度判定処理部140は、比較対象画像に含まれる輪郭線の中から輪郭長が長い順にL番目の輪郭線を選択し、この輪郭線に対応するX軸関数表およびY軸関数表の中から類似度判定に用いる第2の特徴量を抽出する(ステップ205)。最初は、被検索対象画像と比較対象画像のそれぞれから最も輪郭長が長い輪郭線が選択され(L=1)、それぞれの輪郭線に対応する第1および第2の特徴量が抽出される。X軸関数表およびY軸関数表に含まれる複数の特徴情報の中からどの特徴情報を第1および第2の特徴量として用いるかは、特徴情報の重要度等に応じて適宜決定することができる。例えば、輪郭長、関数総数、直線個数、円弧個数、曲線個数を第1および第2の特徴量として用いられる。あるいは、各関数は輪郭線の形状を表す重要な特徴であるため、各関数のパラメータを第1および第2の特徴量として用いるようにしてもよい。
Next, the similarity
次に、類似度判定処理部140は、第1の特徴量と第2の特徴量を用いてマッチング処理を行い、マッチング距離Mと相関度Sを以下の式を用いて計算する(ステップ206)。
Next, the similarity
M=‖f−g‖
S=<f、g>/(‖f‖×‖g‖)
ここで、‖・‖はノルムを示しており、<・>は内積を示している。また、fは第1の特徴量を成分とするベクトルである。gは第2の特徴量を成分とするベクトルである。
M = ‖f-g‖
S = <f, g> / (‖f‖ × ‖g‖)
Here, ‖ and ‖ indicate norms, and <•> indicates an inner product. Further, f is a vector having the first feature amount as a component. g is a vector having the second feature amount as a component.
マッチング距離Mは2つのベクトルfとgの差ベクトルの長さを示す。また、相関Sは2つのベクトルfとgのなす角θの余弦値(cosθ)を示す。被検索対象画像に対応する第1の特徴量と比較対象画像に対応する第2の特徴量とが非常に近い場合には、2つのベクトルf、gの長さおよび方向が類似したものになるため、マッチング距離Mが小さく、かつ相関度Sが1に近い値になる。 The matching distance M indicates the length of the difference vector between the two vectors f and g. Correlation S indicates a cosine value (cos θ) of an angle θ formed by two vectors f and g. When the first feature amount corresponding to the search target image and the second feature amount corresponding to the comparison target image are very close, the lengths and directions of the two vectors f and g are similar. Therefore, the matching distance M is small and the correlation degree S is close to 1.
次に、類似度判定処理部140は、所定数の輪郭線に対する比較処理が終了したか否かを判定する(ステップ207)。マッチング処理が行われた輪郭線の数が所定数に達していない場合には否定判断が行われ、次に長い輪郭線についてステップ204以降の処理が繰り返される。また、比較処理が行われた輪郭線の数が所定数に達した場合にはステップ207の判定において肯定判断が行われ、次に、類似度判定処理部140は、輪郭線の比較が終了していない他の比較対象画像が存在するか否かを判定する(ステップ208)。他の比較対象画像が存在する場合には肯定判断が行われ、次の比較対象画像についてステップ203以降の処理が繰り返される。他の比較対象画像が存在しない場合にはステップ208の判定において否定判断が行われ、次に、類似度判定処理部140は、各比較対象画像の所定数の輪郭線について行った比較結果を用いてn個の比較対象画像と被検索対象画像との類似度を判定し(ステップ209)、判定結果を出力する(ステップ210)。
Next, the similarity
このように、本実施形態の類似画像検索装置では、被検索対象画像の輪郭線を関数近似して抽出された特徴情報を用いて類似画像の検索が行われており、利用者自身が名称やインデックス等を記憶しておいたり、リストの中から該当するものを探し出す必要がないため、煩雑な操作が不要であり、操作の簡略化が可能になる。また、輪郭線を関数近似して得られる特徴情報を用いて画像の検索を行っているため、画像を構成する画素毎に処理を行う必要がないため、処理量を大幅に削減することができ、検索に要する時間を短縮することができる。特に、画像DB120にあらかじめ格納された特徴情報を順番に読み出して、取り込まれた被検索対象画像の特徴情報と比較することにより、容易に類似画像の検索を行うことができ、比較対象となる画像が多い場合であっても操作が煩雑にならず、操作の簡略化が可能になる。また、図7に示したデータベース作成装置を用いることにより、比較対象となる画像を適宜追加することが可能になる。
As described above, in the similar image search apparatus according to the present embodiment, similar images are searched using feature information extracted by function approximation of the contour of the search target image. Since it is not necessary to store an index or the like or search for a corresponding item from the list, a complicated operation is unnecessary, and the operation can be simplified. In addition, since the image search is performed using feature information obtained by approximating the contour line, there is no need to perform processing for each pixel constituting the image, so the processing amount can be greatly reduced. The time required for search can be shortened. In particular, the feature information stored in advance in the
また、輪郭線を構成する各画素のX座標とY座標のそれぞれについて座標値を別々に抽出して接合点抽出処理部134と関数近似処理部136による処理を行うことにより、一変数に着目して関数近似処理を行うことができるため、二変数XYについて同時に関数化処理を行う場合に比べて処理の簡略化が可能になる。
In addition, attention is paid to one variable by separately extracting coordinate values for each of the X coordinate and Y coordinate of each pixel constituting the contour line and performing processing by the junction point
また、上述した特徴情報には、輪郭線の長さとしての輪郭長が含まれている。画像に複数の輪郭線が含まれている場合に、各輪郭線に対応する輪郭長の組み合わせは、画像の特徴を表す重要な特徴であると考えられる。したがって、輪郭長を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 The feature information described above includes a contour length as the length of the contour line. When an image includes a plurality of contour lines, a combination of contour lengths corresponding to the respective contour lines is considered to be an important feature representing the feature of the image. Therefore, a highly accurate image search can be performed by performing similarity determination of images using the contour length.
また、上述した特徴情報には、輪郭線の数としての輪郭数が含まれている。画像に複数の輪郭線が含まれている場合に、その数は画像の特徴を表す重要な特徴であると考えられる。したがって、輪郭数を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 The feature information described above includes the number of contours as the number of contour lines. When an image includes a plurality of contour lines, the number is considered to be an important feature representing the feature of the image. Therefore, a highly accurate image search can be performed by performing similarity determination of images using the number of contours.
また、上述した特徴情報には、輪郭線を構成する複数の関数の順番が含まれている。輪郭線を構成する複数の関数の順番は、輪郭線の形状を表す重要な特徴であると考えられる。したがって、関数の順番を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 The feature information described above includes the order of a plurality of functions that constitute the contour line. The order of a plurality of functions constituting the contour line is considered to be an important feature representing the shape of the contour line. Therefore, an image search with high accuracy can be performed by determining similarity of images using the order of functions.
また、上述した特徴情報には、輪郭線を構成する複数の関数のそれぞれに対応する区間長の並びが含まれている。輪郭線を構成する複数の関数のそれぞれに対応する区間長の並びは、輪郭線の形状を表す重要な特徴であると考えられる。したがって、区間長の並びを用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。 The feature information described above includes an array of section lengths corresponding to each of a plurality of functions constituting the contour line. It is considered that the arrangement of section lengths corresponding to each of a plurality of functions constituting the contour line is an important feature representing the shape of the contour line. Therefore, an image search with high accuracy can be performed by performing similarity determination of images using the arrangement of section lengths.
また、上述した類似度判定処理部140は、図9に示した動作手順では、被検索対象画像と比較対象画像のそれぞれに含まれる輪郭線を構成する関数の相関度を計算して類似度判定を行っている。画像に複数の輪郭線が含まれている場合に、輪郭線を構成する各関数の相関度は、輪郭線の形状を表す重要な特徴であると考えられる。したがって、関数の相関度を用いて画像の類似判定を行うことにより、精度の高い画像検索を行うことができる。
Further, in the operation procedure shown in FIG. 9, the similarity
また、類似度判定処理部140は、図9に示した動作手順では、最も長い輪郭線の長さである最大輪郭長(あるいは輪郭線数)に基づいて所定数の比較対象画像を選択した後、各被検索対象画像に対する類似度判定を行っており、検索の対象となる画像の数を減らすことができるため、さらに処理負担を軽減して、処理時間を短縮することが可能となる。
Further, in the operation procedure illustrated in FIG. 9, the similarity
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態の検索処理部130やデータベース作成部220の各動作を、CPU、ROM、RAM等を備えたコンピュータによって実施するようにしてもよい。この場合には、ROMやRAMあるいはその他の記憶装置(ハードディスク装置等)に格納された類似画像検索プログラム(図8や図9に示す各ステップを実行したり、検索処理部130やデータベース作成部220の各部の機能を実現するためのプログラム)をCPUで実行すればよい。
In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. For example, each operation of the
110、210 画像入力部
120 画像DB(データベース)
130 検索処理部
132、222 輪郭追跡処理部
134、224 接合点抽出処理部
136、226 関数近似処理部
140 類似度判定処理部
142 検索結果出力処理部
150、230 操作部
160、240 表示部
170 印刷装置
220 データベース作成部
228 ファイル作成処理部
110, 210
130
Claims (23)
前記画像取込手段によって取り込まれた前記被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する輪郭線抽出手段と、
前記輪郭線抽出手段によって抽出された輪郭線について傾向が変化する接合点を抽出する接合点抽出手段と、
前記輪郭線抽出手段によって抽出された前記輪郭線に沿って隣接する2つの前記接合点で区分される部分的な領域としての区分領域を、直線、円弧、自由曲線のいずれかの関数を用いて近似する関数近似手段と、
前記関数近似手段による近似処理によって前記輪郭線の各区分領域に対応する関数が決定されたときに、前記輪郭線を構成する複数の関数の順番に基づいて、複数の比較対象画像の中から前記被検索対象画像に類似した画像を検索する画像検索手段と、
を備えることを特徴とする類似画像検索装置。 Image capturing means for capturing a search target image;
Contour extracting means for extracting one or a plurality of contour lines included in the search target image captured by the image capturing means;
A joint point extracting means for extracting a joint point whose tendency changes with respect to the contour line extracted by the contour line extracting means;
A segmented region as a partial region segmented by two joint points adjacent to each other along the contour line extracted by the contour line extracting unit is used using a function of a straight line, an arc, or a free curve Function approximating means to approximate;
When the function corresponding to each segmented region of the contour line by approximation processing by the function approximation means is determined, based on the order of a plurality of functions constituting the contour line, the from the plurality of comparison target images Image search means for searching for an image similar to the search target image ;
A similar image retrieval apparatus comprising:
前記比較対象画像に含まれる輪郭線に沿って隣接する2つの接合点で区分される区分領域を直線、円弧、自由曲線のいずれかの関数を用いて近似する処理に関連して作成された特徴情報が、前記複数の比較対象画像毎に格納された特徴情報格納手段をさらに備え、
前記画像検索手段は、前記被検索対象画像に対応する特徴情報と、前記特徴情報格納手段に格納されている前記複数の比較対象画像に対応する特徴情報とを比較することにより、前記被検索対象画像に類似する前記比較対象画像を抽出することを特徴とする類似画像検索装置。 In claim 1,
Features created in connection with a process of approximating a segmented area divided by two joint points adjacent to each other along a contour line included in the comparison target image using a function of a straight line, an arc, or a free curve Further comprising feature information storage means for storing information for each of the plurality of comparison target images,
The image search means compares the feature information corresponding to the search target image with the feature information corresponding to the plurality of comparison target images stored in the feature information storage means. A similar image retrieval apparatus that extracts the comparison target image similar to an image.
前記画像取込手段、前記輪郭線抽出手段、前記接合点抽出手段、前記関数近似手段を用いて前記比較対象画像に対応する特徴情報が取得されたときに、この特徴情報を前記特徴情報格納手段に格納する特徴情報格納処理手段をさらに備えることを特徴とする類似画像検索装置。 In claim 2,
When the feature information corresponding to the comparison target image is acquired using the image capturing unit, the contour line extracting unit, the joint point extracting unit, and the function approximating unit, the feature information is stored in the feature information storing unit. A similar image retrieval apparatus, further comprising: feature information storage processing means for storing the information.
前記画像取込手段は、光学的に前記被検索対象画像の濃淡情報あるいは色情報を読み取る光学読取装置であることを特徴とする類似画像検索装置。 In any one of Claims 1-3,
The similar image retrieval apparatus, wherein the image capturing means is an optical reading apparatus that optically reads the density information or color information of the image to be retrieved.
前記画像取込手段は、前記被検索対象画像を構成する複数の画素のそれぞれに対応する濃淡情報あるいは色情報からなる画像データが格納された記録媒体から画像データを読み取るデータ読取装置であることを特徴とする類似画像検索装置。 In any one of Claims 1-3,
The image capturing means is a data reading device that reads image data from a recording medium in which image data including grayscale information or color information corresponding to each of a plurality of pixels constituting the search target image is stored. A similar image search device as a feature.
前記輪郭線抽出手段は、前記被検索対象画像と背景との間の境界部を輪郭線として抽出することを特徴とする類似画像検索装置。 In any one of Claims 1-5,
The similar image retrieval apparatus, wherein the contour line extraction unit extracts a boundary portion between the search target image and a background as a contour line.
前記輪郭線抽出手段は、前記被検索対象画像と背景との間の境界部と、前記被検索対象画像の内部領域に現れる同一濃淡あるいは同一色の縁部とを輪郭線として抽出することを特徴とする類似画像検索装置。 In any one of Claims 1-5,
The contour line extracting unit extracts a boundary portion between the search target image and a background and an edge portion of the same gradation or the same color appearing in an internal region of the search target image as a contour line. A similar image search device.
前記輪郭線抽出手段は、前記輪郭線を構成する各画素のX座標とY座標のそれぞれについて座標値を別々に抽出し、
前記関数近似手段は、前記輪郭線抽出手段によって抽出された座標値に基づいて、X座標に対応する関数近似処理とY座標に対応する関数近似処理を別々に行うことを特徴とする類似画像検索装置。 In any one of Claims 1-7,
The contour line extracting means separately extracts coordinate values for each of the X coordinate and the Y coordinate of each pixel constituting the contour line,
The function approximating unit separately performs a function approximating process corresponding to the X coordinate and a function approximating process corresponding to the Y coordinate based on the coordinate values extracted by the contour line extracting unit. apparatus.
前記画像検索手段は、最も長い輪郭線の長さである最大輪郭長に着目して検索対象候補として所定数の前記比較対象画像を選択した後、前記特徴情報に基づいて前記被検索対象画像に類似する前記比較対象画像を検索することを特徴とする類似画像検索装置。 In any one of Claims 1-8,
The image search means selects a predetermined number of the comparison target images as search target candidates while paying attention to the maximum contour length that is the length of the longest contour line, and then selects the search target image based on the feature information. A similar image search device for searching for similar images to be compared.
前記画像検索手段は、輪郭線の数に着目して検索対象候補として所定数の前記比較対象画像を選択した後、前記特徴情報に基づいて前記被検索対象画像に類似する前記比較対象画像を検索することを特徴とする類似画像検索装置。 In any one of Claims 1-8,
The image search means selects a predetermined number of the comparison target images as search target candidates by paying attention to the number of contour lines, and then searches for the comparison target image similar to the search target image based on the feature information. A similar image search device characterized by:
前記画像取込ステップにおいて取り込まれた前記被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する輪郭線抽出ステップと、
前記輪郭線抽出ステップによって抽出された輪郭線について傾向が変化する接合点を抽出する接合点抽出ステップと、
前記輪郭線抽出ステップにおいて抽出された前記輪郭線に沿って隣接する2つの前記接合点で区分される部分的な領域としての区分領域を、直線、円弧、自由曲線のいずれかの関数を用いて近似する関数近似ステップと、
前記関数近似ステップにおける近似処理によって前記輪郭線の各区分領域に対応する関数が決定されたときに、前記輪郭線を構成する複数の関数の順番に基づいて、複数の比較対象画像の中から前記被検索対象画像に類似した画像を検索する画像検索ステップと、
を有することを特徴とする類似画像検索方法。 An image capture step for capturing an image to be searched;
A contour extracting step for extracting one or a plurality of contours included in the search target image captured in the image capturing step;
A joint point extracting step for extracting a joint point whose tendency changes with respect to the contour line extracted by the contour line extracting step;
Using a function of one of a straight line, an arc, and a free curve, a segmented area as a partial area segmented by two joint points adjacent to each other along the contour extracted in the contour extracting step A function approximation step to approximate;
When the function corresponding to each segmented region of the contour line by approximation process in the function approximation step is determined, based on the order of a plurality of functions constituting the contour line, the from the plurality of comparison target images An image search step for searching for an image similar to the search target image ;
A similar image retrieval method characterized by comprising:
前記比較対象画像に含まれる輪郭線に沿って隣接する2つの接合点で区分される区分領域を直線、円弧、自由曲線のいずれかの関数を用いて近似する処理に関連して作成された特徴情報が、前記複数の比較対象画像毎に特徴情報格納手段に格納されており、
前記画像検索ステップは、前記被検索対象画像に対応する特徴情報と、前記特徴情報格
納手段に格納されている前記複数の比較対象画像に対応する特徴情報とを比較することにより、前記被検索対象画像に類似する前記比較対象画像を抽出することを特徴とする類似画像検索方法。 In claim 11,
Features created in connection with a process of approximating a segmented area divided by two joint points adjacent to each other along a contour line included in the comparison target image using a function of a straight line, an arc, or a free curve Information is stored in the feature information storage means for each of the plurality of comparison target images,
The image search step includes comparing the feature information corresponding to the search target image with the feature information corresponding to the plurality of comparison target images stored in the feature information storage unit. A similar image search method, wherein the comparison target image similar to an image is extracted.
前記画像取込ステップ、前記輪郭線抽出ステップ、前記接合点抽出ステップ、前記関数近似ステップを用いて前記比較対象画像に対応する特徴情報が取得されたときに、この特徴情報を前記特徴情報格納手段に格納する特徴情報格納処理ステップをさらに備えることを特徴とする類似画像検索方法。 In claim 12,
When the feature information corresponding to the comparison target image is acquired using the image capture step, the contour line extraction step, the joint point extraction step, and the function approximation step, this feature information is stored in the feature information storage means. The similar image retrieval method further comprising a feature information storage processing step of storing in
前記画像取込ステップは、光学的に前記被検索対象画像の濃淡情報あるいは色情報を読み取る光学読取装置を用いて行われることを特徴とする類似画像検索方法。 In any one of Claims 11-13,
The similar image retrieval method, wherein the image capturing step is performed by using an optical reading device that optically reads the density information or color information of the image to be retrieved.
前記画像取込ステップは、前記被検索対象画像を構成する複数の画素のそれぞれに対応する濃淡情報あるいは色情報からなる画像データが格納された記録媒体から画像データを読み取るデータ読取装置を用いて行われることを特徴とする類似画像検索方法。 In any one of Claims 11-13,
The image capturing step is performed using a data reading device that reads image data from a recording medium in which image data including grayscale information or color information corresponding to each of a plurality of pixels constituting the search target image is stored. A similar image retrieval method characterized by
前記輪郭線抽出ステップは、前記被検索対象画像と背景との間の境界部を輪郭線として抽出することを特徴とする類似画像検索方法。 In any one of Claims 11-15,
In the contour line extracting step, a boundary portion between the search target image and the background is extracted as a contour line.
前記輪郭線抽出ステップは、前記被検索対象画像と背景との間の境界部と、前記被検索対象画像の内部領域に現れる同一濃淡あるいは同一色の縁部とを輪郭線として抽出することを特徴とする類似画像検索方法。 In any one of Claims 11-15,
In the contour line extracting step, a boundary portion between the search target image and a background, and an edge portion of the same gradation or color appearing in an internal region of the search target image are extracted as a contour line. Similar image search method.
前記輪郭線抽出ステップは、前記輪郭線を構成する各画素のX座標とY座標のそれぞれについて座標値を別々に抽出し、
前記関数近似ステップは、前記輪郭線抽出ステップにおいて抽出された座標値に基づいて、X座標に対応する関数近似処理とY座標に対応する関数近似処理を別々に行うことを特徴とする類似画像検索方法。 In any one of Claims 11-17,
The contour line extracting step separately extracts coordinate values for each of the X coordinate and the Y coordinate of each pixel constituting the contour line,
The function approximating step separately performs a function approximating process corresponding to the X coordinate and a function approximating process corresponding to the Y coordinate based on the coordinate values extracted in the contour line extracting step. Method.
前記画像検索ステップは、最も長い輪郭線の長さである最大輪郭長に着目して検索対象候補として所定数の前記比較対象画像を選択した後、前記特徴情報に基づいて前記被検索対象画像に類似する前記比較対象画像を検索することを特徴とする類似画像検索方法。 In any one of Claims 11-18,
The image search step focuses on the maximum contour length which is the length of the longest contour line, selects a predetermined number of the comparison target images as search target candidates, and then selects the search target image based on the feature information. A similar image search method, wherein the similar comparison target images are searched.
前記画像検索ステップは、輪郭線の数に着目して検索対象候補として所定数の前記比較対象画像を選択した後、前記特徴情報に基づいて前記被検索対象画像に類似する前記比較対象画像を検索することを特徴とする類似画像検索方法。 In any one of Claims 11-18,
The image search step searches for the comparison target image similar to the search target image based on the feature information after selecting a predetermined number of the comparison target images as search target candidates by paying attention to the number of contour lines. A similar image search method characterized by:
画像取込手段によって取り込まれた被検索対象画像に含まれる一あるいは複数の輪郭線を抽出する輪郭線抽出手段と、
前記輪郭線抽出手段によって抽出された輪郭線について傾向が変化する接合点を抽出する接合点抽出手段と、
前記輪郭線抽出手段によって抽出された前記輪郭線に沿って隣接する2つの前記接合点で区分される部分的な領域としての区分領域を、直線、円弧、自由曲線のいずれかの関数を用いて近似する関数近似手段と、
前記関数近似手段による近似処理によって前記輪郭線の各区分領域に対応する関数が決定されたときに、前記輪郭線を構成する複数の関数の順番に基づいて、複数の比較対象画像の中から前記被検索対象画像に類似した画像を検索する画像検索手段と、
して機能させる類似画像検索プログラム。 Computer
Contour extracting means for extracting one or a plurality of contours included in the search target image captured by the image capturing means;
A joint point extracting means for extracting a joint point whose tendency changes with respect to the contour line extracted by the contour line extracting means;
A segmented region as a partial region segmented by two joint points adjacent to each other along the contour line extracted by the contour line extracting unit is used using a function of a straight line, an arc, or a free curve Function approximating means to approximate;
When the function corresponding to each segmented region of the contour line by approximation processing by the function approximation means is determined, based on the order of a plurality of functions constituting the contour line, the from the plurality of comparison target images Image search means for searching for an image similar to the search target image ;
A similar image search program that works.
前記比較対象画像に含まれる輪郭線に沿って隣接する2つの接合点で区分される区分領域を直線、円弧、自由曲線のいずれかの関数を用いて近似する処理に関連して作成された特徴情報が、前記複数の比較対象画像毎に特徴情報格納手段に格納されており、
前記画像検索手段は、前記被検索対象画像に対応する特徴情報と、前記特徴情報格納手段に格納されている前記複数の比較対象画像に対応する特徴情報とを比較することにより、前記被検索対象画像に類似する前記比較対象画像を抽出することを特徴とする類似画像検索プログラム。 In claim 21,
Features created in connection with a process of approximating a segmented area divided by two joint points adjacent to each other along a contour line included in the comparison target image using a function of a straight line, an arc, or a free curve Information is stored in the feature information storage means for each of the plurality of comparison target images,
The image search means compares the feature information corresponding to the search target image with the feature information corresponding to the plurality of comparison target images stored in the feature information storage means. A similar image search program that extracts the comparison target image similar to an image.
コンピュータを、さらに、前記画像取込手段、前記輪郭線抽出手段、前記接合点抽出手段、前記関数近似手段を用いて前記比較対象画像に対応する特徴情報が取得されたときに、この特徴情報を前記特徴情報格納手段に格納する特徴情報格納処理手段として機能させる類似画像検索プログラム。
In claim 22,
When the computer further acquires feature information corresponding to the comparison target image using the image capturing unit, the contour line extracting unit, the junction point extracting unit, and the function approximating unit, the feature information is obtained. A similar image search program that functions as a feature information storage processing means stored in the feature information storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004309795A JP4243577B2 (en) | 2004-10-25 | 2004-10-25 | Similar image retrieval apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004309795A JP4243577B2 (en) | 2004-10-25 | 2004-10-25 | Similar image retrieval apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006120085A JP2006120085A (en) | 2006-05-11 |
JP4243577B2 true JP4243577B2 (en) | 2009-03-25 |
Family
ID=36537886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004309795A Expired - Fee Related JP4243577B2 (en) | 2004-10-25 | 2004-10-25 | Similar image retrieval apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4243577B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010097438A (en) * | 2008-10-16 | 2010-04-30 | Keyence Corp | Outline information extraction method using image processing, creation method for pattern model in image processing, positioning method for pattern model in image processing, image processor, image processing program and computer-readable recording medium |
JP2011165121A (en) * | 2010-02-15 | 2011-08-25 | Kokusai Gijutsu Kaihatsu Co Ltd | Image processing apparatus and program |
-
2004
- 2004-10-25 JP JP2004309795A patent/JP4243577B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006120085A (en) | 2006-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Juan et al. | A comparison of sift, pca-sift and surf | |
Erol et al. | HOTPAPER: multimedia interaction with paper using mobile phones | |
JP5139716B2 (en) | Image search apparatus and image search method | |
US11030436B2 (en) | Object recognition | |
US8655107B2 (en) | Signal processing apparatus, signal processing method, computer-readable medium and computer data signal | |
WO2014030399A1 (en) | Object discrimination device, object discrimination method, and program | |
JP4630777B2 (en) | Method, apparatus, computer program and storage medium for changing digital document | |
TW201437925A (en) | Object identification device, method, and storage medium | |
JPS61267177A (en) | Retrieving system for document picture information | |
JP2011008752A (en) | Document operation system, document operation method and program thereof | |
US20210133437A1 (en) | System and method for capturing and interpreting images into triple diagrams | |
JP4966077B2 (en) | Image processing apparatus and control method thereof | |
TWI254891B (en) | Face image detection method, face image detection system, and face image detection program | |
JP4535584B2 (en) | Digital image processing method | |
WO2004051575A1 (en) | Characteristic region extraction device, characteristic region extraction method, and characteristic region extraction program | |
JP2001109895A (en) | Processing method for digital images | |
JP2004234228A (en) | Image search device, keyword assignment method in image search device, and program | |
JP4243577B2 (en) | Similar image retrieval apparatus, method and program | |
Rest et al. | Illumination-based augmentation for cuneiform deep neural sign classification | |
JP4188342B2 (en) | Fingerprint verification apparatus, method and program | |
JP2005208977A (en) | Document filing device and method | |
JP4134024B2 (en) | Similar image retrieval apparatus, method and program | |
JP2007011529A (en) | Method for determining character recognition position in ocr processing | |
US11106931B2 (en) | Optical character recognition of documents having non-coplanar regions | |
EP1638038B1 (en) | Method of determining an image descriptor, image comparison method, image search method and associated devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070619 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4243577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |