JP5103955B2 - 画像検索方法、装置およびプログラム - Google Patents

画像検索方法、装置およびプログラム Download PDF

Info

Publication number
JP5103955B2
JP5103955B2 JP2007060897A JP2007060897A JP5103955B2 JP 5103955 B2 JP5103955 B2 JP 5103955B2 JP 2007060897 A JP2007060897 A JP 2007060897A JP 2007060897 A JP2007060897 A JP 2007060897A JP 5103955 B2 JP5103955 B2 JP 5103955B2
Authority
JP
Japan
Prior art keywords
image
image information
component
database
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007060897A
Other languages
English (en)
Other versions
JP2008225692A (ja
Inventor
孝之 馬場
進 遠藤
秀一 椎谷
祐介 上原
大器 増本
茂美 長田
▲りゅう▼汝杰
大 宮脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007060897A priority Critical patent/JP5103955B2/ja
Priority to US12/039,357 priority patent/US8027978B2/en
Priority to CN2008100835424A priority patent/CN101261638B/zh
Publication of JP2008225692A publication Critical patent/JP2008225692A/ja
Application granted granted Critical
Publication of JP5103955B2 publication Critical patent/JP5103955B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/912Applications of a database
    • Y10S707/913Multimedia
    • Y10S707/915Image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像を検索する方法、装置およびプログラムに関する。
画像検索では、画像に関連付けられたテキスト情報によって対象の画像を検索する手法がある。また、テキスト情報による表現が困難な画像の場合、画像の形状によって類似する形状の画像を検索する手法がある。従来技術として下記の文献がある。
機械製品の組み立て図面では、一枚の図面データの中に複数の部品が描かれる場合がある。図面データの中には部品の一部を拡大した部分が描かれる図面が含まれている場合がある。部品の一部を拡大した部分が描かれる図面は詳細図面と呼ばれる。画像内の部品を検索する場合、詳細図面は部品の一部であり検索結果として適切ではない。したがって詳細図面を検索処理の対象外とすることが望ましい。
更に、画像の形状によって類似する形状の画像を検索する手法は、類似画像の検索に時間を要する。一方、部品の検索をしたにも関わらず、詳細図面が類似する部品として検索される場合があり、検索精度が低い問題があった。
特開平11−15959号公報
本発明は、精度よく検索の元となる画像に類似する画像を検索する図面検索装置の提供を目的とする。
本発明の第一の手段は、データベースに格納された画像情報を検索する画像検索装置の画像検索方法であり、検索要求の対象の画像情報の輪郭の形状に応じて画像情報の属性情報を検出し、予め画像情報と属性情報とが関連付けられて格納されたデータベースから検索要求の対象の画像情報の属性情報に合致するデータベース内の画像情報を読出し、データベースから読出した画像情報から定まる固有の値と検索の要求の画像情報から定まる固有の値との間の差が予め定めた値以下となるデータベースの画像情報を検索する。
また、本発明の第二の手段は、第一の手段の属性情報は画像の輪郭の形状が閉じた領域となるか否かによって判別された情報である。
また、本発明の第三の手段は、第一の手段で更に、図面内に複数の対象物が描かれる場合、対象物が表示された領域毎に図面を分割して、データベースに分割された複数の画像を格納し、分割した対象物の画像情報から定まる固有の値と検索要求の対象の画像情報から定まる固有の値との間で差が予め定めた値以下となる画像情報を含む図面を検索する。
また、本発明の第四の手段は、第一の手段で更に、閉じた領域を有する画像か否かを、画像に描かれた対象物の外形の位置情報と対象物から求まるスケルトンの位置情報との関係から判定する。
また、本発明の第五の手段は、第一の手段で更に、閉じた領域を有する画像か否かを、画像情報に描かれた対象物を形成する画素と対象物のスケルトンを構成する画素とが重なる画素数と対象物の輪郭を形成する画素数との割合が、予め設定した閾値を超えると対象物を開領域と判別する。
本発明は予め画像の属性情報を関連付けて格納したデータベースを有することにより、検索時には、検索対象の画像の属性情報に合致するデータベース内の画像情報のみを検索の対象とすることができる。この結果、属性情報が異なる画像情報は類似する画像として検索されず、本発明は精度よく類似する図面を検索することが可能となる。さらに、検索対象画像を限定できるため、類似度の算出処理の対象となる画像個数が減少し、類似度算出処理に要する時間が減少する。
以下、本発明の実施の形態を説明する。
図1は、本実施例のハードウェア構成図である。画像検索装置10は、制御部21、メモリ22、記憶部23および入力部24、出力部25を有し、それぞれがバス27に接続された構成である。
制御部21は画像検索装置10の全体を制御する。例えば、Central Processing Unit(CPU)である。また、制御部21はメモリ22に展開された画像検索プログラム28を実行する。画像検索プログラム28は制御部21を図面分割モジュール、開閉部品判定モジュール、特徴量算出モジュール、類似画像検索モジュールとして機能させる。図面分割モジュールは入力された図面データ内に描かれた個々の部品によって図面データを分割する機能を有する。開閉部品判定モジュールは、分割された個々の部品の画像が開領域か閉領域かを判別する機能を有する。特徴量算出モジュールは個々の部品の画像のデータから固有の値を得る機能を有する。類似画像検索モジュールは個々の部品画像の間の類似する程度を数値化して出力する機能を有する。なお、以降の説明では、説明の簡単化のため、制御部21が実行すると記述する。
メモリ22は、記憶部23に格納された画像検索プログラム28が展開される記憶領域である。また、メモリ22は制御部21が画像検索プログラム28を実行する際に生成される種々の演算結果が格納される記憶領域である。メモリ22は例えばRandom Access Memory(RAM)である。
入力部24は利用者からの検索の基となる画像情報(以下、クエリ(query)画像情報という)を受付ける。入力部24は、例えば、キーボード、マウス、タッチパネル等である。出力部25は、画像情報の検索結果を出力する。
出力部25は、例えば、ディスプレイ(表示装置)等である。記憶部23は、画像検索プログラム28が格納される。記憶部23は例えばハードディスク装置である。
次に画像検索装置10に接続するデータベース26について説明する。図2は本実施例のデータベース26の構成例である。データベース26には、検索の対象となる画像データ群が格納される。本実施例で検索する対象物は図面に含まれる部品の画像である。図面は、例えば組み立て図面のように、一枚の図面が複数の部品図を有する場合がある。本実施例では、図10の101、102のように図面内に含まれる個々の部品図毎に分割した画像(以下、部品画像とする)がデータベース26に格納される。
データベース26に格納されるレコード266は部品画像毎に有する。データベース26のレコード266は、図面識別番号261、部品画像識別番号262、開閉フラグ263、画像データ264および特徴量265を有する。
図面識別番号261は部品画像が分割される基の図面データを識別する番号である。部品画像識別番号262は、部品画像を識別するための番号である。開閉フラグ263は部品画像の輪郭が開領域で構成された画像か閉領域で構成された画像かが判別された結果が格納される。部品画像データ264は部品画像の画像データである。特徴量265は画像から算出される固有の値である。特徴量265は後述の類似する画像を検索するときに使用する。
図3は、本実施例の開領域の部品画像と閉領域の部品画像とを説明するための図である。組み立て図面等では、図面を閲覧する者の部品の特性の理解を容易にするため、図面内の部品の注目すべき部分を切り取って拡大する場合がある。注目すべき部分が切り取られた部品の一部の拡大図は、詳細に説明するときに用いられる。
図面41は部品の画像42と部品の画像42の一部の領域51を拡大した詳細画像43とが描かれる。部品の画像42を閉領域の部品画像、詳細画像43を開領域の部品画像と定義する。閉領域の部品画像は外形が閉じている部品画像である。外形が閉じている部品画像は、画像内の部品画像42の占める領域が部品画像42の輪郭線によって判別可能である。一方、開領域の部品画像は外形が開いている部品画像である。外形が開いている部品画像は、画像内の詳細画像43の占める領域は詳細画像43の輪郭線によっては判別不可能である。
図面41から分割した部品画像の領域は部品画像42を含む部品画像領域44および詳細画像43を含む部品画像領域45である。
また、図4の領域451は部品431を有する。部品431は、詳細図面43と同形状である。しかし、詳細図面43は全てが輪郭線で形成されており、開領域の部品画像となる。一方、部品図面431は輪郭線の内側に部品としての領域を有しており、閉領域の部品画像となる。従って、部品431と詳細図面43とは輪郭は同様であるが、開領域と閉領域とは異なる属性としてデータベースに格納される。
次に図面をデータベース26に部品画像を登録するときに制御部21が実行する処理を説明する。図5は本実施例のデータベース26に部品画像を登録する時のフローチャートである。
制御部21は、データベース26に登録する図面データを取得する(S01)。例えば、紙図面をスキャナ装置によって電子化して図面データを取得したり、ネットワークあるいは記憶媒体の読み込みによって図面データを取得したりする。なお、制御部21は一つの図面データに複数の部品が描かれている場合、図面データから個々の部品画像を分割して取得する。データベースの各レコードが部品画像を単位として格納するためである。
ここで、部品画像を分割する手法について簡単に説明する。図6は本実施例の部品画像を分割する処理のフローチャートである。まず、制御部21は、図面データからテキスト情報等が記載される処理に不要な領域を除去し、部品が描かれた領域のみを抽出する(S11)。制御部21はテキスト情報等の不要な領域を除去後、部品画像毎に画像を分割する。制御部21は部品毎に画像を分割するために、部品画像の輪郭線を抽出して、輪郭線により部品ごとに画像を分割する。
まず、制御部21は図面内の部品領域内の連結成分毎に輪郭線を求める(S12)。制御部21は輪郭線による閉曲線を得る。制御部21は閉曲線の内部を部品とみなして図面データから画像を分割する(S13)。
次に制御部21は、図面データから分割した画像を必要に応じて補正する(S14)。例えば、本来2つの部品の補助線が両部品に交差している影響で1つの部品として抽出された場合、制御部21は補助線を除去することで2つに分割する。例えば、補助線は線幅が小さいことを利用し、制御部21は、予め設定した値よりも線幅の細い線を除去後に分割処理を実行する。制御部21は、以上の処理を図面データ内の全ての部品画像に対して実行する。図5のフローチャートの説明に戻る。
次に、制御部21は、図面データから分割した各部品画像が閉領域の部品画像か、開領域の詳細画像かを判別する(S02)。本実施例では、閉領域の部品画像か開領域の詳細画像かを画像の対象物の骨格(スケルトン)によって判別する。
ここで、開領域か閉領域かを判別する処理について詳細に説明する。図7は本実施例の開領域か閉領域かを判別するフローチャートである。制御部21は、部品画像から部品の輪郭を構成する線(輪郭線)の外縁を構成する線(外縁線)を抽出する(S21)。例えば、背景領域と対象物領域とで画像内の画素を2値化し、対象物を構成する画素で囲まれた領域の最外周を求める。求めた最外周が外縁線となる。輪郭線は、外縁線から対象物を構成する画素が連続する領域である。
次に制御部21は、外縁線の内側の画素と外縁線を構成する各画素との間の距離を外縁線の内側の各画素毎に算出する(S22)。制御部21は、外縁線の内側の各画素の内、外縁線を構成する画素からの距離が極大となる画素(スケルトン画素)を検出する(S23)。制御部21は、部品画像内の輪郭線を構成する画素と重なるスケルトン画素の数「T」を計数する(S24)。
なお、部品画像の輪郭線の幅に応じて開領域か閉領域かを判別することも可能である。部品画像の輪郭線の幅の変動を開領域か閉領域かの判別基準に加える場合、「T」に計数する画素は、部品画像の輪郭線と重なっているスケルトン画素であり、かつ、輪郭線の各画素から予め設定する距離の閾値「L」より小さい距離に位置することを条件とする。
制御部21は、輪郭線を構成する画素の数「C」を計数する(S25)。制御部21は、画素数「C」に対する画素数「T」の割合が予め設定した閾値「U」と比較する(S26)。閾値「U」は、データベース26に格納された部品画像の種類などに応じて適宜変更する。
ここで閾値「U」が以下の基準によって決定される。部品の外縁線を構成する画素の数はスケルトン画素の数の二倍以上となる。部品画像の輪郭内の領域が大きければ、スケルトン画素数と部品の外縁線を構成する画素の数との差は大きくなる。一方、部品画像の輪郭内の領域が小さければ、スケルトン画素数と部品の外縁線を構成する画素の数とは二倍の関係値に近づく。したがって、部品画像内の輪郭線を構成する画素となるスケルトン画素の数「T」が大きく、スケルトン画素数と部品の外縁線を構成する画素の数とは二倍に近い場合は、スケルトン画素が輪郭線上に存在する可能性が高いと判断することができる。閾値「U」は以上の基準によって決定される。
画素数「C」に対する画素数「T」の割合が予め設定した閾値「U」未満の場合(S26:No)、制御部21は部品画像を閉領域と判定する(S27)。画素数「C」に対する画素数「T」の割合が予め設定した閾値「U」以上の場合(S26:Yes)、制御部21は部品画像を開領域と判定する(S28)。
図4は、本実施例の閉領域の部品画像と開領域の部品画像との特性の違いを説明する図である。部品画像領域44で囲まれた領域には部品画像42が描かれている。部品画像領域45で囲まれた領域には詳細画像43が描かれている。部品画像42は実線49を輪郭とする部品の画像である。実線49は画像44内に閉じた領域を有する。部品画像42の実線49内の閉じた領域は部品としての領域であり、部品としての領域は背景とは異なる。部品画像43は部品画像42の一部の領域51を詳細画像とした画像である。したがって部品画像43は、実線50のみが部品としての領域となる。
以下は、図4の部品画像42および部品画像43のそれぞれについて閉領域の部品画像か開領域の詳細画像を判別する方法の説明である。制御部21は図4の部品画像42および部品画像43について輪郭線、および外縁線を求める。部品画像42の外縁線は46となり、部品画像43の外縁線は47となる。
制御部21は部品画像42の外縁線46によってスケルトン画素48を求める。制御部21は部品画像43の外縁線47によってスケルトン画素52を求める。なお、図面の記載では、部品画像43のスケルトン画素52は白色の領域である。
制御部21はスケルトン画素48でかつ部品画像42の外縁線47内の黒画素である画素の数「T1」を求める。制御部21はスケルトン画素48でかつ部品画像43の外縁線48内の黒画素である画素の数「T2」を求める。制御部21は部品画像42の輪郭線を構成する画素数「C1」を求める。制御部21は詳細画像43の輪郭線を構成する画素数「C2」を求める。
制御部21は、「T1」/「C1」が予め定めた閾値「U」より大きいか否かを判定する。小さい場合、制御部21は部品画像42を閉領域と判別する。制御部21は、「T2」/「C2」が予め定めた閾値「U」より大きいか否かを判定する。小さい場合、制御部21は詳細画像43を開領域と判別する。
図10は本実施例で入力される図面データ100の例を示す。図11は本実施例で図10の図面データ100から開領域の部品データとして検出された部品の例を示す。図10の図面データ100は、例えば一枚の組み立て図面である。図面データ100上には部品図として3個の部品画像101があり、10個の詳細画像102がある。本実施例の開領域と閉領域を判別する処理を制御部21が実行することにより、図11のように閉領域の部品画像102が検出される。
図5のフローチャートの説明に戻る。
次に制御部21は、部品画像の特徴量を算出する。特徴量は、類似する画像を検索する処理時において画像同士を比較するための情報である。特徴量は例えば、画像内の対象物の色、形状等の特徴を利用する方法や画像に付随するメタデータの特徴を利用する方法がある。特徴量は一般的にベクトル形式である。
以下に、特徴量の算出方法の一例として、画像内の対象物の色、形状等を利用した方法を説明する。本実施例では分割画像に描かれた部品の形状の特徴量は、画像内での部品の位置、大きさ、回転に不変なGrid Fourier(GrF)特徴量を用いる。GrF特徴量は部品画像の回転に対応させるため極座標を用いる。
まず、制御部21は部品画像を予め設定した閾値によって二値化する。制御部21は、画像の大きさに対して不変とするため、部品画像の大きさを正規化する。次に制御部21は部品の位置を不変とするため、部品部分の重心を求め、部品部分の重心を極座標の中心とし、極座標の中心から同心円の線および放射線状に伸びる線で部品画像の領域を分割する。
制御部21は分割した個々の領域内の部品の画素数をカウントし,角度方向と半径方向の区間が2次元の行列形式で構成されるヒストグラムを作成する。制御部21は、回転に対して不変とするため、作成したヒストグラムを2次元Fourier変換し、周波数ごとの振幅をベクトル形式に並べる。制御部21はベクトル形式に並べた情報を部品の形状の特徴量とする。以上によって制御部21は画像の特徴量を求める。
制御部21は、図面識別番号261、部品画像識別番号262、S02で求めた開領域あるいは閉領域に応じた値を示す開閉フラグ263、画像データ264およびS03で求めた特徴量265をレコード266としてデータベース26に登録する(S04)。以上により、制御部21は、図面データをデータベース26に登録することが可能となる。
次に、制御部21が行う、図面の検索処理について説明する。図8は、本実施例の画像検索処理時のフローチャートである。
制御部21は、検索を要求するクエリ(Query)として受付けた画像情報(以下、クエリ画像とする)を受付ける(S31)。本実施例ではクエリ画像は、一つの部品画像であるとする。
制御部21は、クエリ画像の特徴量を算出する(S32)。特徴量は、図5のS03で算出した手法と同様の方法で求める。制御部21は、クエリ画像が開領域か否かを判別する(S33)、開領域か閉領域かの判別はS02で求めた手法と同様の方法で求める。
クエリ画像が開領域の場合(S33:Yes)、制御部21はデータベース26内に格納されたレコード266の内、開領域の部品画像を読み出す(S34)。具体的には、制御部21はデータベース26に格納された各レコード266の内、開閉フラグ263が開領域を示すレコードを読み出す。
一方、クエリ画像が閉領域の場合(S33:No)、制御部21はデータベース26内に格納されたレコード266の内、閉領域の部品画像を読み出す(S34)。具体的には、制御部21はデータベース26に格納された各レコード266の内、開閉フラグ263が閉領域を示すレコードを読み出す。
制御部21はS32で求めたクエリ画像とS34またはS35で呼び出したレコードに含まれる各部品画像との間の類似度を算出する(S35)。例えば、制御部21はクエリ画像の特徴量ベクトルとS34またはS35で呼び出したそれぞれのレコードに含まれる部品画像の特徴量ベクトルとの間のベクトル間の一致値を計算する。一致値にはユークリッド的な距離が用いることが可能である。例えば、ベクトル内の各要素の差の2乗和である。
制御部21は、類似度の順に応じて部品画像をソートする(S36)。例えば、制御部21はS35で求めた類似度に応じてクエリ画像に類似する順にS34またはS35で呼び出した部品画像の順序を並び替える。制御部21は、部品画像データ264に対応する図面識別番号261を読出し、検索結果として出力する。以上によって、制御部21での検索処理が可能となる。
以上で説明したようにクエリ画像による検索処理時において、予め開領域の部品画像と閉領域の部品画像とを分類し、検索の対象外の部品画像を除外するため、類似度の算出処理の対象となる部分画像の個数を減少させることが可能となる。類似度の算出処理の対象となる部分画像の個数が減少した結果、検索処理に要する処理時間が減少することとなる。
また、本実施例では制御部21は開領域の部品画像と閉領域の部品画像とを予め分類する。そのため、開領域の部品画像とクエリ画像としたにも関わらず検索結果に閉領域の部品が検索されること、あるいは、閉領域の部品画像とクエリ画像としたにも関わらず検索結果に開領域の部品が検索されることがない。したがって、類似画像の検索処理の検索精度が向上する。
本実施例では組み立て図面を例にして説明したが、図面だけでなく、画像情報を含むマルチメディア情報の検索、3次元CAD検索、動画像検索、Web検索などの画像情報を有する様な分野に適用可能である。
なお、本実施例では、部品画像を開領域か閉領域かを開閉フラグ263によって判別する手法を説明した。別の手法として開閉フラグ263を開領域あるいは閉領域の2値ではなく、開領域の部品画像あるいは閉領域の部品画像の可能性を示す情報として格納することも可能である。この場合、例えば、開閉フラグ263には、開領域である確率を示す値が格納される。
例えば、(T/C−U)>0の場合、制御部21は(T/C−U)に比例する値を開領域である確率としてデータベース26に格納する。一方、(T/C−U)≦0の場合、制御部21は開領域である確率を0としてデータベース26に格納すればよい。
そして制御部21は、図8の検索処理時のS33において、開領域である確率が予め設定しておいた閾値以上の場合に開領域の部品画像と判定する処理を実行すればよい。
以上の構成により、画像検索装置10は開領域か否かを厳密に判断することが可能となる。例えば、検索時に入力可能なパラメータとして開領域と判定する閾値を加えることにより、部品画像の特性に応じて類似度の算出を行う検索対象の部品画像の数を予め絞り込むことが可能となる。
さらに別の実施例として、S02の開領域の部品画像か閉領域の部品画像かを判別するときに制御部21は、演算対象の部品画像の開領域である確率を表示する構成も可能である。
例えば、制御部21は、図面データと併せて、演算対象の部品画像の開領域である確率を出力部25表示する。作業者は、出力部25に表示された部品画像が開領域か否かを判定し、結果を入力部24に入力する。制御部21は入力部24経由で受け取った開領域か否かの情報に応じてデータベース26に格納する。以上の構成により開領域の確率が各部品画像とともに表示されるため、人が視認により開領域か閉領域かを判別する場合に、判断が容易になる効果がある。
図9は本実施例の出力部25に表示する登録画面例である。出力部25は登録画面90が表示される。現在の登録対象の部品画像94、部品画像95および部品画像96がそれぞれ部品画像領域92、部品画像領域93および部品画像領域94に表示される。また制御部21は、
開領域である確率として(T/C−U)に比例する値を確率97として、部品画像94が閉領域である確率は「確率=0.9」、部品画像95が閉領域である確率は「確率=0.8」、部品画像96が閉領域である確率は「確率=0.4」と表示する。作業者は、出力部25に表示された部品画像が開領域か否かを判定し、結果を入力部24に入力する。入力は例えば、閉領域とみなすチェックボックス98にマウス等でチェックする。
また、別の実施例として、開領域の部品画像あるいは閉領域の部品画像のいずれか一方を検索対象とする場合もある。クエリ画像として入力される画像は部品画像であることが多い。この場合、制御部21はクエリ画像が開領域の部品画像か閉領域の部品画像かを区別することなく、閉領域の部品画像のレコードをデータベース26から読出して類似度を算出する。この構成により、類似画像の検索処理に要する時間が更に減少する。
更に、データベース26への部品画像の登録時に、閉領域の部品画像であると判別された部品画像のみをデータベース26に登録する構成とすることも可能である。この構成により、データベース26に格納されるデータ数が減少し、より多くの図面データを格納することが可能となる。開領域の部品画像または閉領域の部品画像のいずれかを格納する。
また、本実施例では、検索処理に要する時間を短縮するため、データベース26に図面データを登録する際に図面データを部品画像に分割し、開閉フラグ263、特徴量265を算出した。しかし、クエリ画像を受付けたときに図面データを部品画像に分割し、部品画像の開閉を判定し、部品画像の特徴量を算出するようにしてもよい。更に、検索処理を行った時にデータベース26に登録する構成としても良い。この構成によりデータベース26に登録する開閉フラグ263、特徴量265のデータ領域は他の情報を記憶する領域に使用することが可能となる。
本実施例のハードウェア構成図である。 本実施例のデータベース26の構成例である。 本実施例の開領域の部品画像と閉領域の部品画像とを説明する図である。 本実施例の閉領域の部品画像と開領域の部品画像との特性の違いを説明する図である。 本実施例のデータベース26に部品画像を登録する時のフローチャートである。 本実施例の部品画像を分割する処理のフローチャートである。 本実施例の開領域か閉領域かを判別するフローチャートである。 本実施例の画像検索処理時のフローチャートである。 本実施例の出力部25に表示する登録画面例である。 本実施例で入力される図面データ100の例である。 本実施例で図10の図面データ100から開領域の部品データとして検出された部品である。
符号の説明
10 画像検索装置
21 制御部
22 メモリ
23 記憶部
24 入力部
25 出力部
26 データベース
27 バス
28 画像検索プログラム

Claims (4)

  1. コンピュータに、
    検索条件となる第一の画像に関する第一の画像情報を含む検索要求を受け付け、
    該第一の画像情報に描かれた対象物を形成する画素、および該対象物の該スケルトンを構成する画素が重なる画素数と、該対象物の輪郭を形成する画素数との割合が、予め設定した閾値を超えた場合に、該第一の画像は、閉じた画像領域を有するか否かを判定し、検索対象となる複数の第二の画像各々に関する第二の画像情報と、
    該複数の第二の画像の各々が閉じた画像領域を有するかを示す属性情報とを関連付けて格納するデータベースから、前記第一の画像情報に対する前記判定の結果と同じ属性情報を有する第二の画像情報を少なくとも1以上読出し、
    少なくとも1以上読みだされた該第二の画像情報のうち、該第二の画像情報に基づく固有の値と該第一の画像情報に基づく固有の値との間の差が予め定めた値以下である第二の画像情報を検索する処理を実行させることを特徴とする図面検索プログラム。
  2. 該コンピュータに、第三の画像内に複数の対象物が描かれる場合、複数の対象物各々が表示された領域毎に該第三の画像を分割して、分割された該第三の画像各々を、前記複数の第二の画像の一部として、該データベースに格納する処理を更に実行させることを特徴とする請求項1に記載の図面検索プログラム。
  3. 検索条件となる第一の画像に関する第一の画像情報を含む検索要求を受け付ける手段と、検索対象となる複数の第二の画像各々に関する第二の画像情報と、該複数の第二の画像の各々が閉じた画像領域を有するかを示す属性情報とを関連付けて格納するデータベースと、
    該第一の画像情報に描かれた対象物を形成する画素、および該対象物の該スケルトンを構成する画素が重なる画素数と、該対象物の輪郭を形成する画素数との割合が、予め設定した閾値を超えた場合に、該第一の画像は、閉じた画像領域を有するか否かを判定するとともに、該データベースから、前記第一の画像情報に対する前記判定の結果と同じ属性情報を有する第二の画像情報を少なくとも1以上読出し、少なくとも1以上読みだされた該第二の画像情報のうち、該第二の画像情報に基づく固有の値と該第一の画像情報に基づく固有の値との間の差が予め定めた値以下である第二の画像情報を検索する手段とを有することを特徴とする画像検索装置。
  4. コンピュータが、
    検索条件となる第一の画像に関する第一の画像情報を含む検索要求を受け付け、
    該第一の画像情報に描かれた対象物を形成する画素、および該対象物の該スケルトンを構成する画素が重なる画素数と、該対象物の輪郭を形成する画素数との割合が、予め設定した閾値を超えた場合に、該第一の画像は、閉じた画像領域を有するか否かを判定し、
    検索対象となる複数の第二の画像各々に関する第二の画像情報と、該複数の第二の画像の各々が閉じた画像領域を有するかを示す属性情報とを関連付けて格納するデータベースから、前記第一の画像情報に対する前記判定の結果と同じ属性情報を有する第二の画像情報を少なくとも1以上読出し、
    少なくとも1以上読みだされた該第二の画像情報のうち、該第二の画像情報に基づく固有の値と該第一の画像情報に基づく固有の値との間の差が予め定めた値以下である第二の画像情報を検索する処理を実行することを特徴とする図面検索方法。
JP2007060897A 2007-03-09 2007-03-09 画像検索方法、装置およびプログラム Expired - Fee Related JP5103955B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007060897A JP5103955B2 (ja) 2007-03-09 2007-03-09 画像検索方法、装置およびプログラム
US12/039,357 US8027978B2 (en) 2007-03-09 2008-02-28 Image search method, apparatus, and program
CN2008100835424A CN101261638B (zh) 2007-03-09 2008-03-07 图像搜索的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007060897A JP5103955B2 (ja) 2007-03-09 2007-03-09 画像検索方法、装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2008225692A JP2008225692A (ja) 2008-09-25
JP5103955B2 true JP5103955B2 (ja) 2012-12-19

Family

ID=39742668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007060897A Expired - Fee Related JP5103955B2 (ja) 2007-03-09 2007-03-09 画像検索方法、装置およびプログラム

Country Status (3)

Country Link
US (1) US8027978B2 (ja)
JP (1) JP5103955B2 (ja)
CN (1) CN101261638B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636146B2 (ja) * 2008-09-05 2011-02-23 ソニー株式会社 画像処理方法、画像処理装置、プログラム及び画像処理システム
US10210179B2 (en) * 2008-11-18 2019-02-19 Excalibur Ip, Llc Dynamic feature weighting
US8892594B1 (en) * 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
DE112012005580T5 (de) * 2012-01-06 2014-11-13 Mitsubishi Electric Corporation Zeichnungssteuervorrichtung
US20140223319A1 (en) * 2013-02-04 2014-08-07 Yuki Uchida System, apparatus and method for providing content based on visual search
JPWO2019082429A1 (ja) * 2017-10-24 2020-04-02 三菱電機株式会社 製造作業支援システム、製造作業支援方法およびプログラム
JP2020166485A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 運転支援装置
US11908053B2 (en) * 2020-05-29 2024-02-20 Camelot Uk Bidco Limited Method, non-transitory computer-readable storage medium, and apparatus for searching an image database
US11941043B2 (en) * 2022-07-25 2024-03-26 Dell Products L.P. System and method for managing use of images using landmarks or areas of interest

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340591A (ja) * 1991-05-16 1992-11-26 Casio Comput Co Ltd ベクトルフォント出力装置
JPH0793567A (ja) * 1993-09-21 1995-04-07 Fuji Xerox Co Ltd 画像処理装置
JPH087804B2 (ja) * 1993-09-30 1996-01-29 日本アイ・ビー・エム株式会社 ソリッドモデル合成装置及び合成方法
JP2701003B2 (ja) * 1994-09-28 1998-01-21 日本アイ・ビー・エム株式会社 ソリッドモデル合成装置及びソリッドモデル合成方法
US5787196A (en) * 1994-11-08 1998-07-28 International Business Machines Corporation Method and apparatus for splitting connected characters into component characters
JP3703257B2 (ja) 1997-06-23 2005-10-05 株式会社日立製作所 閉領域データ管理方法、閉領域認識方法および閉領域認識プログラムを記録したコンピュータ読み取り可能な記録媒体
KR100295225B1 (ko) 1997-07-31 2001-07-12 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
JP3597387B2 (ja) * 1998-06-26 2004-12-08 大日本スクリーン製造株式会社 画像欠陥検出方法、画像欠陥修復方法、画像欠陥検出装置およびコンピュータ読み取り可能な記録媒体
US6839463B1 (en) * 2000-12-22 2005-01-04 Microsoft Corporation System and method providing subpixel-edge-offset-based determination of opacity
KR100451649B1 (ko) * 2001-03-26 2004-10-08 엘지전자 주식회사 이미지 검색방법과 장치
US20060197763A1 (en) * 2002-02-11 2006-09-07 Landnet Corporation Document geospatial shape tagging, searching, archiving, and retrieval software
JP4527322B2 (ja) * 2001-07-25 2010-08-18 日本電気株式会社 画像検索装置、画像検索方法、及び画像検索用プログラム
JP2004030122A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 図面検索支援装置および図面検索方法
EP1609092A2 (en) * 2003-04-03 2005-12-28 Dublin City University Shape matching method for indexing and retrieving multimedia data

Also Published As

Publication number Publication date
US20080222113A1 (en) 2008-09-11
JP2008225692A (ja) 2008-09-25
CN101261638B (zh) 2010-06-09
US8027978B2 (en) 2011-09-27
CN101261638A (zh) 2008-09-10

Similar Documents

Publication Publication Date Title
JP5103955B2 (ja) 画像検索方法、装置およびプログラム
JP2776295B2 (ja) 画像インデックス生成方法及び画像インデックス生成装置
JP4781924B2 (ja) 文書画像のコンテント適応スケーリング用ホワイトスペースグラフ及びツリー
US8805117B2 (en) Methods for improving image search in large-scale databases
US6853389B1 (en) Information searching apparatus, information searching method, and storage medium
US8687886B2 (en) Method and apparatus for document image indexing and retrieval using multi-level document image structure and local features
JP6046948B2 (ja) 物体検知装置及びその制御方法、プログラム、並びに記憶媒体
JP4535584B2 (ja) ディジタル画像処理方法
JP2001109895A (ja) 複数のディジタル画像の処理方法
WO2008100248A2 (en) Feature matching method
JP4772819B2 (ja) 画像検索装置および画像検索方法
CN111914921A (zh) 一种基于多特征融合的相似性图像检索方法及系统
US10699156B2 (en) Method and a device for image matching
US7668336B2 (en) Extracting embedded information from a document
JP6541226B2 (ja) 情報端末装置及びプログラム
CN112445926A (zh) 一种图像检索方法以及装置
US20110099137A1 (en) Graphical user interface component classification
Úbeda et al. Pattern spotting in historical documents using convolutional models
JP2016110256A (ja) 情報処理装置及び情報処理プログラム
JP2005208740A (ja) 部分画像検索装置及び部分画像検索プログラム
JP6757203B2 (ja) 画像検出装置とその制御方法、及びプログラム
JP4518212B2 (ja) 画像処理装置及びプログラム
US20220366180A1 (en) Image matching system
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置
Wu et al. A machine-learning approach for analyzing document layout structures with two reading orders

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120917

R150 Certificate of patent or registration of utility model

Ref document number: 5103955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees