JPH11328417A - 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JPH11328417A JPH11328417A JP10137993A JP13799398A JPH11328417A JP H11328417 A JPH11328417 A JP H11328417A JP 10137993 A JP10137993 A JP 10137993A JP 13799398 A JP13799398 A JP 13799398A JP H11328417 A JPH11328417 A JP H11328417A
- Authority
- JP
- Japan
- Prior art keywords
- layout
- image
- layout pattern
- similarity
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像からレイアウト情報を取り出し、少ない
処理量でかつ、ロバストな画像検索を行うことを目的と
する。 【解決手段】 入力された画像をもとに、レイアウトを
解析する解析手段１２と、この解析手段によって解析さ
れた前記レイアウトをもとに、第１のレイアウトパタン
を生成する生成手段１３と、この生成手段によって生成
された前記第１のレイアウトパタンと複数の第２のレイ
アウトパタンとの類似度を計算する計算手段１４とを備
えることを特徴とする画像処理装置。
処理量でかつ、ロバストな画像検索を行うことを目的と
する。 【解決手段】 入力された画像をもとに、レイアウトを
解析する解析手段１２と、この解析手段によって解析さ
れた前記レイアウトをもとに、第１のレイアウトパタン
を生成する生成手段１３と、この生成手段によって生成
された前記第１のレイアウトパタンと複数の第２のレイ
アウトパタンとの類似度を計算する計算手段１４とを備
えることを特徴とする画像処理装置。
Description
【０００１】
【発明の属する技術分野】本発明は画像処理装置、特
に、文書画像データベースから同種類の画像を検索する
文書画像処理装置に関する。
に、文書画像データベースから同種類の画像を検索する
文書画像処理装置に関する。
【０００２】
【従来の技術】従来、文書画像データベースから同種類
の画像を検索する上で画像自身に検索キーを付ける方法
があったがその場合、入力時に検索キーの分類を決定す
るのが難しいため、検索が十分な精度で行えなかった。
の画像を検索する上で画像自身に検索キーを付ける方法
があったがその場合、入力時に検索キーの分類を決定す
るのが難しいため、検索が十分な精度で行えなかった。
【０００３】また、画像のままマッチングを行う事も考
えられたが膨大な画像データに対するマッチングであ
り、処理量が膨大で、かつ、画像取り込み時の傾きに対
応することが難しかった。
えられたが膨大な画像データに対するマッチングであ
り、処理量が膨大で、かつ、画像取り込み時の傾きに対
応することが難しかった。
【０００４】さらに、画像が入力された際に登録済みの
画像が存在するにもかかわらず何度も同じ画像を登録し
てしまうという問題点や、似た画像にも関わらず異なる
分類に登録をしてしまい画像データベースの管理が煩雑
になってしまうという問題点がある。
画像が存在するにもかかわらず何度も同じ画像を登録し
てしまうという問題点や、似た画像にも関わらず異なる
分類に登録をしてしまい画像データベースの管理が煩雑
になってしまうという問題点がある。
【０００５】
【発明が解決しようとする課題】従来技術によれば入力
時に検索キーをつけてファイリングするか、画像自体を
マッチングするかのいずれかが行われていた。実用上、
画像に付加する検索キーは検索時まで分からないことが
多く、入力時に煩雑な作業を伴うため、ユーザの負荷は
大きい。画像自体でマッチングを行う方法は処理量が膨
大でデータのサイズが大きいため、画像の傾きを検知し
て補正しながら検索することも難しい。
時に検索キーをつけてファイリングするか、画像自体を
マッチングするかのいずれかが行われていた。実用上、
画像に付加する検索キーは検索時まで分からないことが
多く、入力時に煩雑な作業を伴うため、ユーザの負荷は
大きい。画像自体でマッチングを行う方法は処理量が膨
大でデータのサイズが大きいため、画像の傾きを検知し
て補正しながら検索することも難しい。
【０００６】本発明はこの問題を考慮したものである。
すなわち、画像のレイアウト情報が比較的ロバスト性が
高いことに着目した。画像からレイアウト情報を取り出
し、少ない処理量でかつ、ロバストな画像検索を行うこ
とを目的とする。
すなわち、画像のレイアウト情報が比較的ロバスト性が
高いことに着目した。画像からレイアウト情報を取り出
し、少ない処理量でかつ、ロバストな画像検索を行うこ
とを目的とする。
【０００７】
【課題を解決するための手段】第１の発明は、入力され
た画像をもとに、レイアウトを解析する解析手段と、こ
の解析手段によって解析された前記レイアウトをもと
に、第１のレイアウトパタンを生成する生成手段と、こ
の生成手段によって生成された前記第１のレイアウトパ
タンと複数の第２のレイアウトパタンとの類似度を計算
する計算手段とを備えることを特徴とする画像処理装置
である。
た画像をもとに、レイアウトを解析する解析手段と、こ
の解析手段によって解析された前記レイアウトをもと
に、第１のレイアウトパタンを生成する生成手段と、こ
の生成手段によって生成された前記第１のレイアウトパ
タンと複数の第２のレイアウトパタンとの類似度を計算
する計算手段とを備えることを特徴とする画像処理装置
である。
【０００８】第１の発明は、画像から比較的ロバストで
あるとされるレイアウト情報を抽出し、一旦レイアウト
パタンに変換されれば単純な類似度計算によって、ロバ
ストな画像検索を行うことができるという作用・効果を
有する。
あるとされるレイアウト情報を抽出し、一旦レイアウト
パタンに変換されれば単純な類似度計算によって、ロバ
ストな画像検索を行うことができるという作用・効果を
有する。
【０００９】第２の発明は、入力された画像をもとに、
レイアウトを解析する解析手段と、この解析手段によっ
て解析された前記レイアウトをもとに、第１のレイアウ
トパタンを生成する生成手段と、複数の第２の画像のレ
イアウトパタンの部分集合から主成分を取り出す取り出
し手段と、この取り出し手段によって取り出された主成
分と前記第１のレイアウトパタンとの類似度を計算する
計算手段とを備えることを特徴とする画像処理装置であ
る。
レイアウトを解析する解析手段と、この解析手段によっ
て解析された前記レイアウトをもとに、第１のレイアウ
トパタンを生成する生成手段と、複数の第２の画像のレ
イアウトパタンの部分集合から主成分を取り出す取り出
し手段と、この取り出し手段によって取り出された主成
分と前記第１のレイアウトパタンとの類似度を計算する
計算手段とを備えることを特徴とする画像処理装置であ
る。
【００１０】第２の発明は、ユーザの分類を統計的に処
理し、主成分を取り出す事で半自動的にレイアウトの共
通性を取り出すことができ、簡潔な計算で類似の文書カ
テゴリを求められるという作用・効果を有する。
理し、主成分を取り出す事で半自動的にレイアウトの共
通性を取り出すことができ、簡潔な計算で類似の文書カ
テゴリを求められるという作用・効果を有する。
【００１１】第３の発明は、入力された画像をもとに、
レイアウトを解析し、この解析された前記レイアウトを
もとに、第１のレイアウトパタンを生成し、この生成さ
れた前記第１のレイアウトパタンと複数の第２のレイア
ウトパタンとの類似度を計算することを特徴とする画像
処理方法である。
レイアウトを解析し、この解析された前記レイアウトを
もとに、第１のレイアウトパタンを生成し、この生成さ
れた前記第１のレイアウトパタンと複数の第２のレイア
ウトパタンとの類似度を計算することを特徴とする画像
処理方法である。
【００１２】第４の発明は、入力された画像をもとに、
レイアウトを解析し、この解析された前記レイアウトを
もとに、第１のレイアウトパタンを生成し、複数の第２
の画像のレイアウトパタンの部分集合から主成分を取り
出し、この取り出された主成分と前記第１のレイアウト
パタンとの類似度を計算することを特徴とする画像処理
方法である。
レイアウトを解析し、この解析された前記レイアウトを
もとに、第１のレイアウトパタンを生成し、複数の第２
の画像のレイアウトパタンの部分集合から主成分を取り
出し、この取り出された主成分と前記第１のレイアウト
パタンとの類似度を計算することを特徴とする画像処理
方法である。
【００１３】第５の発明は、入力された画像をもとに、
レイアウトを解析する解析手順と、この解析手順によっ
て解析された前記レイアウトをもとに、第１のレイアウ
トパタンを生成する生成手順と、この生成手順によって
生成された前記第１のレイアウトパタンと複数の第２の
レイアウトパタンとの類似度を計算する計算手順とを備
えることを特徴とする画像処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体である。
レイアウトを解析する解析手順と、この解析手順によっ
て解析された前記レイアウトをもとに、第１のレイアウ
トパタンを生成する生成手順と、この生成手順によって
生成された前記第１のレイアウトパタンと複数の第２の
レイアウトパタンとの類似度を計算する計算手順とを備
えることを特徴とする画像処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体である。
【００１４】第６の発明は、入力された画像をもとに、
レイアウトを解析する解析手順と、この解析手順によっ
て解析された前記レイアウトをもとに、第１のレイアウ
トパタンを生成する生成手順と、複数の第２の画像のレ
イアウトパタンの部分集合から主成分を取り出す取り出
し手順と、この取り出し手順によって取り出された主成
分と前記第１のレイアウトパタンとの類似度を計算する
計算手順とを備えることを特徴とする画像処理プログラ
ムを記録したコンピュータ読み取り可能な記録媒体であ
る。
レイアウトを解析する解析手順と、この解析手順によっ
て解析された前記レイアウトをもとに、第１のレイアウ
トパタンを生成する生成手順と、複数の第２の画像のレ
イアウトパタンの部分集合から主成分を取り出す取り出
し手順と、この取り出し手順によって取り出された主成
分と前記第１のレイアウトパタンとの類似度を計算する
計算手順とを備えることを特徴とする画像処理プログラ
ムを記録したコンピュータ読み取り可能な記録媒体であ
る。
【００１５】
【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について詳細に説明する。図１は本発明の第
１の実施形態にかかる画像処理装置の構成を示すブロッ
ク図である。
実施の形態について詳細に説明する。図１は本発明の第
１の実施形態にかかる画像処理装置の構成を示すブロッ
ク図である。
【００１６】第１の実施形態にかかる画像処理装置は、
画像を入力する装置として例えば、スキャナ等の入力部
１１と、入力画像及び画像データベース１７内の画像の
レイアウトを解析するレイアウト解析部１２と、レイア
ウトをレイアウトパタンに変換するレイアウトパタン生
成部１３と、入力画像及び画像データベース１７内の画
像のレイアウトパタンの類似度を求める類似度計算部１
４と、類似度によってソートを行うソート部１５と、結
果を表示する表示部１６によって構成されている。
画像を入力する装置として例えば、スキャナ等の入力部
１１と、入力画像及び画像データベース１７内の画像の
レイアウトを解析するレイアウト解析部１２と、レイア
ウトをレイアウトパタンに変換するレイアウトパタン生
成部１３と、入力画像及び画像データベース１７内の画
像のレイアウトパタンの類似度を求める類似度計算部１
４と、類似度によってソートを行うソート部１５と、結
果を表示する表示部１６によって構成されている。
【００１７】レイアウト解析部１２では、文書画像デー
タのレイアウトを解析する。レイアウトとは、例えばテ
キスト行や図形はどの範囲に幾つ存在するかといった情
報である。
タのレイアウトを解析する。レイアウトとは、例えばテ
キスト行や図形はどの範囲に幾つ存在するかといった情
報である。
【００１８】レイアウトパタン生成部１３では、レイア
ウト解析の結果を画像データにする機能を備えている。
なお、画像のサイズはコピーにより拡大あるいは、縮小
されてしまうのでそのままでは類似度を求めるのが難し
い。
ウト解析の結果を画像データにする機能を備えている。
なお、画像のサイズはコピーにより拡大あるいは、縮小
されてしまうのでそのままでは類似度を求めるのが難し
い。
【００１９】そこで、図２に示すように、元画像に対し
てレイアウト解析を行った結果を画像化し、大きさの正
規化や縮小などを行った結果をレイアウトパタンとすれ
ばよい。変換の方法は文書画像上にテキスト行と同じサ
イズの黒画素の矩形を形成し、矩形の範囲外は白画素と
するパタンを作り、画像全体の大きさの正規化を行う。
てレイアウト解析を行った結果を画像化し、大きさの正
規化や縮小などを行った結果をレイアウトパタンとすれ
ばよい。変換の方法は文書画像上にテキスト行と同じサ
イズの黒画素の矩形を形成し、矩形の範囲外は白画素と
するパタンを作り、画像全体の大きさの正規化を行う。
【００２０】類似度計算部１４は入力画像から得られた
レイアウトパタンと画像データベース中の画像から得ら
れたレイアウトパタンの類似度を求める。図３は、レイ
アウトパタンの類似度の求め方を示した図である。ここ
では、類似度として単純類似度を用いる。図では縦８画
素、横１０画素のレイアウトパタンを生成し、このレイ
アウトパタンを０又は１の８０次元ベクトルと考えて、
単純類似度を式（１）を用いて求めることができる。
レイアウトパタンと画像データベース中の画像から得ら
れたレイアウトパタンの類似度を求める。図３は、レイ
アウトパタンの類似度の求め方を示した図である。ここ
では、類似度として単純類似度を用いる。図では縦８画
素、横１０画素のレイアウトパタンを生成し、このレイ
アウトパタンを０又は１の８０次元ベクトルと考えて、
単純類似度を式（１）を用いて求めることができる。
【００２１】
【数１】
【００２２】ここで、図３（ａ）は入力画像のレイアウ
トパタンｆ、図３（ｂ）はデータベース画像のレイアウ
トパタンφである。尚、ｆ＝（０、０、…、０、１、
１、１、…）、φ＝（０、１、０、…、１、１、０、
０、…）である。
トパタンｆ、図３（ｂ）はデータベース画像のレイアウ
トパタンφである。尚、ｆ＝（０、０、…、０、１、
１、１、…）、φ＝（０、１、０、…、１、１、０、
０、…）である。
【００２３】式（１）の値が１に近ければ近いほど類似
度が高くなり、反対に、０に近ければ近いほど類似度が
低くなる。なお、ｆ、φが共に、正規化されていれば、
式（１）の分母を計算しなくてよい。
度が高くなり、反対に、０に近ければ近いほど類似度が
低くなる。なお、ｆ、φが共に、正規化されていれば、
式（１）の分母を計算しなくてよい。
【００２４】ソート部１５は類似度をキーにしてデータ
ベースの画像を並べかえる。例えば類似度の高い順に並
べれば最も類似度の高い画像が最初になり、最も類似し
た画像を検索結果として得ることができる。
ベースの画像を並べかえる。例えば類似度の高い順に並
べれば最も類似度の高い画像が最初になり、最も類似し
た画像を検索結果として得ることができる。
【００２５】表示部１６はソート部１５によって並べ替
えられた検索結果の一番類似したデータベースの画像の
みを表示しても良いし、類似度が特定以上であるもの
や、上位の特定個数を表示しても良い。
えられた検索結果の一番類似したデータベースの画像の
みを表示しても良いし、類似度が特定以上であるもの
や、上位の特定個数を表示しても良い。
【００２６】図４は、第１の実施形態の全体的な処理の
流れを表した説明図である。まず、入力画像Ｄ１１の画
像データレイアウトを解析する（Ｓ１１）。レイアウト
解析の結果をレイアウトパタンに変換する（Ｓ１２）。
データベースの画像Ｄ１２の画像データに対して入力画
像にしたのと同様のレイアウト解析（Ｓ１１’）を行
う。レイアウト解析Ｓ１１’の結果を入力画像にしたの
と同様にレイアウトパタンに変換する（Ｓ１２’）。入
力画像データと画像データベース中の画像データのレイ
アウトパタンの類似度を計算する（Ｓ１３）。検索対象
の類似度を全て計算し終わったら類似度の高い順に並べ
替え（Ｓ１４）を行い、類似度の高い順に表示する（Ｓ
１５）。検索対象画像が残っている場合にはデータベー
スの画像Ｄ１２中から画像データを取り出し、上記の処
理を繰り返す。
流れを表した説明図である。まず、入力画像Ｄ１１の画
像データレイアウトを解析する（Ｓ１１）。レイアウト
解析の結果をレイアウトパタンに変換する（Ｓ１２）。
データベースの画像Ｄ１２の画像データに対して入力画
像にしたのと同様のレイアウト解析（Ｓ１１’）を行
う。レイアウト解析Ｓ１１’の結果を入力画像にしたの
と同様にレイアウトパタンに変換する（Ｓ１２’）。入
力画像データと画像データベース中の画像データのレイ
アウトパタンの類似度を計算する（Ｓ１３）。検索対象
の類似度を全て計算し終わったら類似度の高い順に並べ
替え（Ｓ１４）を行い、類似度の高い順に表示する（Ｓ
１５）。検索対象画像が残っている場合にはデータベー
スの画像Ｄ１２中から画像データを取り出し、上記の処
理を繰り返す。
【００２７】尚、本実施形態では、入力部１１、画像デ
ータベース１７、及び表示部１６を備えた形態の画像処
理装置として説明したが、当然、ネットワーク等で接続
された他の装置を用いてもよい。また、ソート部１５
は、画像検索において、なくてもよい。さらに、画像デ
ータベース１７には、あらかじめ、画像とそのレイアウ
トパタンの情報を持っていてもよいし、レイアウトパタ
ンの情報だけを持っていてもよい。
ータベース１７、及び表示部１６を備えた形態の画像処
理装置として説明したが、当然、ネットワーク等で接続
された他の装置を用いてもよい。また、ソート部１５
は、画像検索において、なくてもよい。さらに、画像デ
ータベース１７には、あらかじめ、画像とそのレイアウ
トパタンの情報を持っていてもよいし、レイアウトパタ
ンの情報だけを持っていてもよい。
【００２８】このレイアウトパタンの情報を画像データ
ベース１７が持っている場合は、Ｓ１１’とＳ１２’の
処理は行わなくてよい。図５は本発明の第２の実施形態
にかかる画像処理装置の構成を示すブロック図である。
画像を入力する装置として例えば、スキャナ等の入力部
１１と、画像のレイアウトを解析するレイアウト解析部
１２と、この解析されたレイアウト結果をレイアウトパ
タンに変換するレイアウトパタン生成部１３と、分類さ
れた画像データを蓄積する画像データベース２１と、分
類によって分けられた画像のレイアウトパタンの部分集
合から主成分を取り出す主成分分析部２２と、この主成
分と入力画像のレイアウトパタンとの類似度を計算する
類似度計算部２３と、ソート部１５及び表示部１６で構
成されている。
ベース１７が持っている場合は、Ｓ１１’とＳ１２’の
処理は行わなくてよい。図５は本発明の第２の実施形態
にかかる画像処理装置の構成を示すブロック図である。
画像を入力する装置として例えば、スキャナ等の入力部
１１と、画像のレイアウトを解析するレイアウト解析部
１２と、この解析されたレイアウト結果をレイアウトパ
タンに変換するレイアウトパタン生成部１３と、分類さ
れた画像データを蓄積する画像データベース２１と、分
類によって分けられた画像のレイアウトパタンの部分集
合から主成分を取り出す主成分分析部２２と、この主成
分と入力画像のレイアウトパタンとの類似度を計算する
類似度計算部２３と、ソート部１５及び表示部１６で構
成されている。
【００２９】第１の実施形態と同じ番号のものは、先に
説明してあるため、ここでは説明を省略し、第２の実施
形態に特有のものだけ説明する。画像データベース２１
は分類した画像をカテゴリ毎に格納したものである。主
成分分析部２２ではデータベースの画像から取り出され
たレイアウトパタンの主成分を抽出するところで、例え
ば文字認識の分野では複合類似度法の辞書生成などで用
いられている。ここでのレイアウトパタンの主成分と
は、例えば、文書が１段組か２段組か等である。
説明してあるため、ここでは説明を省略し、第２の実施
形態に特有のものだけ説明する。画像データベース２１
は分類した画像をカテゴリ毎に格納したものである。主
成分分析部２２ではデータベースの画像から取り出され
たレイアウトパタンの主成分を抽出するところで、例え
ば文字認識の分野では複合類似度法の辞書生成などで用
いられている。ここでのレイアウトパタンの主成分と
は、例えば、文書が１段組か２段組か等である。
【００３０】主成分分析に関しては複数のレイアウトパ
タンを分類収集し、各分類カテゴリ毎に共分散行列を求
め、その固有値を求める。固有値展開は例えば、Ｋａｒ
ｆｕｎｅｎ−Ｌｏｅｖｅｎの固有値展開を用いる。降順
の固有値に対応する固有ベクトルは分類したレイアウト
パタンの主成分を表している。主成分分析により得られ
た固有値、固有ベクトルは以下の類似度計算部における
複合類似度の辞書、重みに用いられる。
タンを分類収集し、各分類カテゴリ毎に共分散行列を求
め、その固有値を求める。固有値展開は例えば、Ｋａｒ
ｆｕｎｅｎ−Ｌｏｅｖｅｎの固有値展開を用いる。降順
の固有値に対応する固有ベクトルは分類したレイアウト
パタンの主成分を表している。主成分分析により得られ
た固有値、固有ベクトルは以下の類似度計算部における
複合類似度の辞書、重みに用いられる。
【００３１】類似度計算部２３では例えば複合類似度法
を用て、入力画像のレイアウトパタンと分類されたデー
タペース中のレイアウトパタンの主成分の類似度を計算
する。下の式は複合類似度の定義を示している。
を用て、入力画像のレイアウトパタンと分類されたデー
タペース中のレイアウトパタンの主成分の類似度を計算
する。下の式は複合類似度の定義を示している。
【００３２】
【数２】
【００３３】ここでｆは入力パタン、φm （ｌ）はカテ
ゴリｌの辞書、ａm （ｌ）{ ｍ＝１，…，Ｍ（ｌ）} は
その重み、Ｍ（ｌ）はその数である。記号（，）は内積
を、|| ||はノルムを表す。辞書や重みの部分は主成分
分析で求めたものである。
ゴリｌの辞書、ａm （ｌ）{ ｍ＝１，…，Ｍ（ｌ）} は
その重み、Ｍ（ｌ）はその数である。記号（，）は内積
を、|| ||はノルムを表す。辞書や重みの部分は主成分
分析で求めたものである。
【００３４】図６は、第２の実施形態の全体的な処理の
流れを表した説明図である。入力画像データＤ２１をレ
イアウト解析し（Ｓ２１）、その結果をレイアウトパタ
ンに変換する（Ｓ２２）。予め分類された画像データベ
ース中の画像データ（Ｄ２２）に対して、レイアウト解
析を行い（Ｓ２１’）、解析結果をレイアウトパタンに
変換する（Ｓ２２’）。分類されたグループ毎にレイア
ウトパタンをまとめ、主成分を分析する（Ｓ２３）。入
力画像のレイアウトパタンと主成分分析結果の類似度を
求める（Ｓ２４）。類似度は例えば複合類似度等を用い
る。全対象カテゴリと入力画像との類似度を全て計算し
終えたら、類似度にしたがって並べ替え（Ｓ２５）、表
示する（Ｓ２６）。
流れを表した説明図である。入力画像データＤ２１をレ
イアウト解析し（Ｓ２１）、その結果をレイアウトパタ
ンに変換する（Ｓ２２）。予め分類された画像データベ
ース中の画像データ（Ｄ２２）に対して、レイアウト解
析を行い（Ｓ２１’）、解析結果をレイアウトパタンに
変換する（Ｓ２２’）。分類されたグループ毎にレイア
ウトパタンをまとめ、主成分を分析する（Ｓ２３）。入
力画像のレイアウトパタンと主成分分析結果の類似度を
求める（Ｓ２４）。類似度は例えば複合類似度等を用い
る。全対象カテゴリと入力画像との類似度を全て計算し
終えたら、類似度にしたがって並べ替え（Ｓ２５）、表
示する（Ｓ２６）。
【００３５】尚、本実施形態も、第１の実施形態と同様
に、入力部１１、画像データベース２１、及び表示部１
６を備えた形態の画像処理装置として説明したが、当
然、ネットワーク等で接続された他の装置を用いてもよ
い。また、ソート部１５は、画像検索において、なくて
もよい。さらに、画像データベース２１には、あらかじ
め、分類された画像とそのレイアウトパタンの主成分の
情報を持っていてもよいし、レイアウトパタンの主成分
の情報だけを持っていてもよい。
に、入力部１１、画像データベース２１、及び表示部１
６を備えた形態の画像処理装置として説明したが、当
然、ネットワーク等で接続された他の装置を用いてもよ
い。また、ソート部１５は、画像検索において、なくて
もよい。さらに、画像データベース２１には、あらかじ
め、分類された画像とそのレイアウトパタンの主成分の
情報を持っていてもよいし、レイアウトパタンの主成分
の情報だけを持っていてもよい。
【００３６】このレイアウトパタンの主成分の情報を画
像データベース２１が持っている場合は、Ｓ２１’とＳ
２２’とＳ２３の処理は行わなくてよい。図７は本発明
の第３の実施形態にかかる画像処理装置の構成を示すブ
ロック図である。画像を入力する為のスキャナ等の入力
部１１と、画像のレイアウトを解析するレイアウト解析
部１２と、この解析されたレイアウト結果をレイアウト
パタンに変換するレイアウトパタン生成部１３と、入力
画像とデータベース中の画像のレイアウトパタンとの類
似度を計算する類似度計算部１４と、画像データベース
１８と、図８のように類似度が一定以上の画像が存在し
た場合にその旨を表示する２重登録警告部４６とからな
る。
像データベース２１が持っている場合は、Ｓ２１’とＳ
２２’とＳ２３の処理は行わなくてよい。図７は本発明
の第３の実施形態にかかる画像処理装置の構成を示すブ
ロック図である。画像を入力する為のスキャナ等の入力
部１１と、画像のレイアウトを解析するレイアウト解析
部１２と、この解析されたレイアウト結果をレイアウト
パタンに変換するレイアウトパタン生成部１３と、入力
画像とデータベース中の画像のレイアウトパタンとの類
似度を計算する類似度計算部１４と、画像データベース
１８と、図８のように類似度が一定以上の画像が存在し
た場合にその旨を表示する２重登録警告部４６とからな
る。
【００３７】図９は、第３の実施形態の全体的な処理の
流れを表した説明図である。入力画像データＤ１１をレ
イアウト解析し（Ｓ１１）、その結果をレイアウトパタ
ンに変換する（Ｓ１２）。画像データベース中の画像デ
ータに対してレイアウト解析を行い（Ｓ１１’）、解析
結果をレイアウトパタンに変換する（Ｓ１２’）。２つ
のレイアウトパタンの間の類似度を求める（Ｓ１３）。
類似度は例えば複合類似度等を用いる。類似度が一定値
を越えた場合は入力画像と一致する画像がデータベース
中に存在したと見なしてその旨を警告する（Ｓ４４）。
データベース中に未処理の画像が残っていれば上記を繰
り返す。
流れを表した説明図である。入力画像データＤ１１をレ
イアウト解析し（Ｓ１１）、その結果をレイアウトパタ
ンに変換する（Ｓ１２）。画像データベース中の画像デ
ータに対してレイアウト解析を行い（Ｓ１１’）、解析
結果をレイアウトパタンに変換する（Ｓ１２’）。２つ
のレイアウトパタンの間の類似度を求める（Ｓ１３）。
類似度は例えば複合類似度等を用いる。類似度が一定値
を越えた場合は入力画像と一致する画像がデータベース
中に存在したと見なしてその旨を警告する（Ｓ４４）。
データベース中に未処理の画像が残っていれば上記を繰
り返す。
【００３８】尚、本実施形態も、第１の実施形態と同様
に、入力部１１及び画像データベース１７を備えた形態
の画像処理装置として説明したが、当然、ネットワーク
等で接続された他の装置を用いてもよい。さらに、画像
データベース１７には、あらかじめ、画像とそのレイア
ウトパタンの情報を持っていてもよいし、レイアウトパ
タンの情報だけを持っていてもよい。
に、入力部１１及び画像データベース１７を備えた形態
の画像処理装置として説明したが、当然、ネットワーク
等で接続された他の装置を用いてもよい。さらに、画像
データベース１７には、あらかじめ、画像とそのレイア
ウトパタンの情報を持っていてもよいし、レイアウトパ
タンの情報だけを持っていてもよい。
【００３９】このレイアウトパタンの情報を画像データ
ベース１７が持っている場合は、Ｓ１１’とＳ１２’の
処理は行わなくてよい。図１０は本発明の第４の実施形
態にかかる画像処理装置の構成を示すブロック図であ
る。画像を入力する為のスキャナ等の入力部１１と、画
像のレイアウトを解析するレイアウト解析部１２と、こ
の解析されたレイアウト結果をレイアウトパタンに変換
するレイアウトパタン生成部１３と、ソート部１５と、
分類された画像データを蓄積した画像データベース２１
と、ユーザの分類によって分けられた画像のレイアウト
パタンの部分集合から主成分を取り出す主成分分析部２
２と、この主成分と入力画像のレイアウトパタンとの類
似度を計算する類似度計算部２３と、この類似度計算の
結果、最も類似度の高いカテゴリの画像データベースに
自動的に格納される自動格納部５１で構成されている。
ベース１７が持っている場合は、Ｓ１１’とＳ１２’の
処理は行わなくてよい。図１０は本発明の第４の実施形
態にかかる画像処理装置の構成を示すブロック図であ
る。画像を入力する為のスキャナ等の入力部１１と、画
像のレイアウトを解析するレイアウト解析部１２と、こ
の解析されたレイアウト結果をレイアウトパタンに変換
するレイアウトパタン生成部１３と、ソート部１５と、
分類された画像データを蓄積した画像データベース２１
と、ユーザの分類によって分けられた画像のレイアウト
パタンの部分集合から主成分を取り出す主成分分析部２
２と、この主成分と入力画像のレイアウトパタンとの類
似度を計算する類似度計算部２３と、この類似度計算の
結果、最も類似度の高いカテゴリの画像データベースに
自動的に格納される自動格納部５１で構成されている。
【００４０】尚、入力部１１、レイアウト解析部１２、
レイアウトパタン生成部１３、ソート部１５、表示部１
６は第１の実施形態と同じである。画像データベース２
1 、主成分分析部２２、及び類似度計算部２３は第２の
実施形態と同じである。
レイアウトパタン生成部１３、ソート部１５、表示部１
６は第１の実施形態と同じである。画像データベース２
1 、主成分分析部２２、及び類似度計算部２３は第２の
実施形態と同じである。
【００４１】また、図１１のように、自動格納部５１
は、入力画像が登録するべき分類先を表示する機能を持
っていても良い。また、カテゴリ表示部の変わりに登録
するべき分類先が求められた時点で分類先に登録または
保存する手段となっていてもよい。
は、入力画像が登録するべき分類先を表示する機能を持
っていても良い。また、カテゴリ表示部の変わりに登録
するべき分類先が求められた時点で分類先に登録または
保存する手段となっていてもよい。
【００４２】入力画像データＤ２１をレイアウト解析し
（Ｓ２１）、その結果をレイアウトパタンに変換する
（Ｓ２２）。予め分類された画像データベース中の画像
データ（Ｄ２２）に対してレイアウト解析を行い（Ｓ２
１’）、解析結果をレイアウトパタンに変換する（Ｓ２
２’）。分類されたグループ毎にレイアウトパタンをま
とめ、主成分を分析する（Ｓ２３）。入力画像のレイア
ウトパタンと主成分分析結果の類似度を求める（Ｓ２
４）。全対象カテゴリと入力画像との類似度を全て計算
し終えたら類似度順に並べ替え（Ｓ２５）を行い、最も
類似度の高い分類先をユーザに示す（Ｓ５１）。
（Ｓ２１）、その結果をレイアウトパタンに変換する
（Ｓ２２）。予め分類された画像データベース中の画像
データ（Ｄ２２）に対してレイアウト解析を行い（Ｓ２
１’）、解析結果をレイアウトパタンに変換する（Ｓ２
２’）。分類されたグループ毎にレイアウトパタンをま
とめ、主成分を分析する（Ｓ２３）。入力画像のレイア
ウトパタンと主成分分析結果の類似度を求める（Ｓ２
４）。全対象カテゴリと入力画像との類似度を全て計算
し終えたら類似度順に並べ替え（Ｓ２５）を行い、最も
類似度の高い分類先をユーザに示す（Ｓ５１）。
【００４３】尚、本実施形態も、第１の実施形態と同様
に、入力部１１及び画像データベース２１を備えた形態
の画像処理装置として説明したが、当然、ネットワーク
等で接続された他の装置を用いてもよい。また、ソート
部１５は、画像検索において、なくてもよい。さらに、
画像データベース２１には、あらかじめ、分類された画
像とそのレイアウトパタンの主成分の情報を持っていて
もよいし、レイアウトパタンの主成分の情報だけを持っ
ていてもよい。
に、入力部１１及び画像データベース２１を備えた形態
の画像処理装置として説明したが、当然、ネットワーク
等で接続された他の装置を用いてもよい。また、ソート
部１５は、画像検索において、なくてもよい。さらに、
画像データベース２１には、あらかじめ、分類された画
像とそのレイアウトパタンの主成分の情報を持っていて
もよいし、レイアウトパタンの主成分の情報だけを持っ
ていてもよい。
【００４４】このレイアウトパタンの主成分の情報を画
像データベース２１が持っている場合は、Ｓ２１’とＳ
２２’とＳ２３の処理は行わなくてよい。上記第１〜第
４の実施形態に記載した画像処理は、コンピュータに実
行させることのできるプログラムとして、例えば、フロ
ッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、半導
体メモリ等の記録媒体に格納して配布することもでき
る。
像データベース２１が持っている場合は、Ｓ２１’とＳ
２２’とＳ２３の処理は行わなくてよい。上記第１〜第
４の実施形態に記載した画像処理は、コンピュータに実
行させることのできるプログラムとして、例えば、フロ
ッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、半導
体メモリ等の記録媒体に格納して配布することもでき
る。
【００４５】前記いずれかの記録媒体に、上述した実施
形態で説明した画像処理を実行するためのプログラム及
び画像データベースが格納される。そして、このプログ
ラムに従って、入力部から入力される入力画像、記録媒
体から読み出される画像データベースに対して、ＣＰＵ
（演算制御装置）で上述した画像処理が実行される。こ
のようにすることにより、通常のパーソナルコンピュー
タを用いて本発明の画像処理を実施することができる。
形態で説明した画像処理を実行するためのプログラム及
び画像データベースが格納される。そして、このプログ
ラムに従って、入力部から入力される入力画像、記録媒
体から読み出される画像データベースに対して、ＣＰＵ
（演算制御装置）で上述した画像処理が実行される。こ
のようにすることにより、通常のパーソナルコンピュー
タを用いて本発明の画像処理を実施することができる。
【００４６】
【発明の効果】以上に述べてきたように本発明によれ
ば、膨大な量の文書画像データに対してロバストで高速
な検索を行うことができる。
ば、膨大な量の文書画像データに対してロバストで高速
な検索を行うことができる。
【図１】 本発明の第１の実施形態にかかる画像処理装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図２】 本発明の第１の実施形態にかかるレイアウト
パタンの概念説明図である。
パタンの概念説明図である。
【図３】 本発明の第１の実施形態にかかるレイアウト
パタンの類似度の求め方を説明した図である。
パタンの類似度の求め方を説明した図である。
【図４】 本発明の第１の実施形態の全体的な処理の流
れを表した説明図である。
れを表した説明図である。
【図５】 本発明の第２の実施形態にかかる画像処理装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図６】 本発明の第２の実施形態の全体的な処理の流
れを表した説明図である。
れを表した説明図である。
【図７】 本発明の第３の実施形態にかかる画像処理装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図８】 本発明の第３の実施形態にかかる2 重登録警
告を説明する図である。
告を説明する図である。
【図９】 本発明の第３の実施形態の全体的な処理の流
れを表した説明図である。
れを表した説明図である。
【図１０】 本発明の第４の実施形態にかかる画像処理
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図１１】 本発明の第４の実施形態にかかる入力画像
が登録するべき分類先を表示する自動格納部の説明図で
ある。
が登録するべき分類先を表示する自動格納部の説明図で
ある。
【図１２】 本発明の第４の実施形態の全体的な処理の
流れを表した説明図である。
流れを表した説明図である。
１１ 入力部 １２、１２’ レイアウト解析部 １３、１３’ レイアウトパタン生成部 １４、２３ 類似度計算部 １５ ソート部 １６ 表示部 １７ 画像データベース ２１ 分類済み画像データベース ２２ 主成分分析部 ４６ ２重登録警告 ５１ 自動格納部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 15/62 Ｐ
Claims (6)
- 【請求項１】 入力された画像をもとに、レイアウトを
解析する解析手段と、 この解析手段によって解析された前記レイアウトをもと
に、第１のレイアウトパタンを生成する生成手段と、 この生成手段によって生成された前記第１のレイアウト
パタンと複数の第２のレイアウトパタンとの類似度を計
算する計算手段とを備えることを特徴とする画像処理装
置。 - 【請求項２】 入力された画像をもとに、レイアウトを
解析する解析手段と、 この解析手段によって解析された前記レイアウトをもと
に、第１のレイアウトパタンを生成する生成手段と、 複数の第2 の画像のレイアウトパタンの部分集合から主
成分を取り出す取り出し手段と、 この取り出し手段によって取り出された主成分と前記第
1 のレイアウトパタンとの類似度を計算する計算手段と
を備えることを特徴とする画像処理装置。 - 【請求項３】 入力された画像をもとに、レイアウトを
解析し、 この解析された前記レイアウトをもとに、第１のレイア
ウトパタンを生成し、 この生成された前記第１のレイアウトパタンと複数の第
２のレイアウトパタンとの類似度を計算することを特徴
とする画像処理方法。 - 【請求項４】 入力された画像をもとに、レイアウトを
解析し、 この解析された前記レイアウトをもとに、第１のレイア
ウトパタンを生成し、 複数の第2 の画像のレイアウトパタンの部分集合から主
成分を取り出し、 この取り出された主成分と前記第1 のレイアウトパタン
との類似度を計算することを特徴とする画像処理方法。 - 【請求項５】 入力された画像をもとに、レイアウトを
解析する解析手順と、 この解析手順によって解析された前記レイアウトをもと
に、第１のレイアウトパタンを生成する生成手順と、 この生成手順によって生成された前記第１のレイアウト
パタンと複数の第２のレイアウトパタンとの類似度を計
算する計算手順とを備えることを特徴とする画像処理プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項６】 入力された画像をもとに、レイアウトを
解析する解析手順と、 この解析手順によって解析された前記レイアウトをもと
に、第１のレイアウトパタンを生成する生成手順と、 複数の第2 の画像のレイアウトパタンの部分集合から主
成分を取り出す取り出し手順と、 この取り出し手順によって取り出された主成分と前記第
1 のレイアウトパタンとの類似度を計算する計算手順と
を備えることを特徴とする画像処理プログラムを記録し
たコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10137993A JPH11328417A (ja) | 1998-05-20 | 1998-05-20 | 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10137993A JPH11328417A (ja) | 1998-05-20 | 1998-05-20 | 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11328417A true JPH11328417A (ja) | 1999-11-30 |
Family
ID=15211566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10137993A Pending JPH11328417A (ja) | 1998-05-20 | 1998-05-20 | 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11328417A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251169A (ja) * | 2004-01-15 | 2005-09-15 | Microsoft Corp | イメージに基づくドキュメントのインデックス作成および読み込み |
| JP2007049388A (ja) * | 2005-08-09 | 2007-02-22 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
| WO2007026948A1 (ja) * | 2005-08-31 | 2007-03-08 | Toyota Jidosha Kabushiki Kaisha | 画像検索方法及び装置 |
| JP2007164648A (ja) * | 2005-12-16 | 2007-06-28 | Ricoh Co Ltd | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 |
| US7876471B2 (en) | 2005-08-08 | 2011-01-25 | Canon Kabushiki Kaisha | Image processing apparatus, control method and program thereof which searches for corresponding original electronic data based on a paper document |
-
1998
- 1998-05-20 JP JP10137993A patent/JPH11328417A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251169A (ja) * | 2004-01-15 | 2005-09-15 | Microsoft Corp | イメージに基づくドキュメントのインデックス作成および読み込み |
| JP4718841B2 (ja) * | 2004-01-15 | 2011-07-06 | マイクロソフト コーポレーション | イメージに基づくドキュメントのインデックス作成および読み込み |
| US7876471B2 (en) | 2005-08-08 | 2011-01-25 | Canon Kabushiki Kaisha | Image processing apparatus, control method and program thereof which searches for corresponding original electronic data based on a paper document |
| JP2007049388A (ja) * | 2005-08-09 | 2007-02-22 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
| US7746507B2 (en) | 2005-08-09 | 2010-06-29 | Canon Kabushiki Kaisha | Image processing apparatus for image retrieval and control method therefor |
| WO2007026948A1 (ja) * | 2005-08-31 | 2007-03-08 | Toyota Jidosha Kabushiki Kaisha | 画像検索方法及び装置 |
| JP2007066025A (ja) * | 2005-08-31 | 2007-03-15 | Toyota Motor Corp | 画像検索方法及び装置 |
| US8295604B2 (en) | 2005-08-31 | 2012-10-23 | Toyota Jidosha Kabushiki Kaisha | Image search method and device using affine-invariant regions |
| JP2007164648A (ja) * | 2005-12-16 | 2007-06-28 | Ricoh Co Ltd | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4504702B2 (ja) | 文書処理装置、文書処理方法、および文書処理プログラム | |
| US11514698B2 (en) | Intelligent extraction of information from a document | |
| US11804056B2 (en) | Document spatial layout feature extraction to simplify template classification | |
| US7120318B2 (en) | Automatic document reading system for technical drawings | |
| US8315465B1 (en) | Effective feature classification in images | |
| US20070003147A1 (en) | Grammatical parsing of document visual structures | |
| JP2001167131A (ja) | 文書シグネチュアを使用する文書の自動分類方法 | |
| Abdallah et al. | Tncr: Table net detection and classification dataset | |
| JP5674615B2 (ja) | 文字認識装置及び文字認識方法 | |
| JP2006252333A (ja) | データ処理方法、データ処理装置およびそのプログラム | |
| JP4300098B2 (ja) | オブジェクト識別方法とその装置、プログラム及び記録媒体 | |
| Zagoris et al. | Image retrieval systems based on compact shape descriptor and relevance feedback information | |
| Kanai et al. | Performance metrics for document understanding systems | |
| JPH11203415A (ja) | 類似パターンカテゴリ識別辞書作成装置および方法 | |
| US8065321B2 (en) | Apparatus and method of searching document data | |
| CN113806472B (zh) | 一种对文字图片和图像型扫描件实现全文检索的方法及设备 | |
| JPH11328417A (ja) | 画像処理装置、画像処理方法及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4885112B2 (ja) | 文書処理装置、文書処理方法及び文書処理プログラム | |
| Inunganbi et al. | Recognition of handwritten Meitei Mayek and English alphabets using combination of spatial features | |
| Bagasi et al. | Arabic manuscript content based image retrieval: A comparison between SURF and BRISK local features | |
| Hassan et al. | Script based text identification: a multi-level architecture | |
| JP3529036B2 (ja) | 文書付き画像の分類方法 | |
| KR20230006203A (ko) | 딥러닝 기반 전력 광학 문자 인식 시스템 및 방법 | |
| Bockholt et al. | Document image retrieval with morphology-based segmentation and features combination | |
| CN115546790B (zh) | 文档版面分割方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |