JP4956319B2 - 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体 - Google Patents

画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体 Download PDF

Info

Publication number
JP4956319B2
JP4956319B2 JP2007197733A JP2007197733A JP4956319B2 JP 4956319 B2 JP4956319 B2 JP 4956319B2 JP 2007197733 A JP2007197733 A JP 2007197733A JP 2007197733 A JP2007197733 A JP 2007197733A JP 4956319 B2 JP4956319 B2 JP 4956319B2
Authority
JP
Japan
Prior art keywords
object data
keyword
data
keywords
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007197733A
Other languages
English (en)
Other versions
JP2009032186A (ja
Inventor
仁秀 寺尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007197733A priority Critical patent/JP4956319B2/ja
Priority to US12/181,278 priority patent/US8090728B2/en
Publication of JP2009032186A publication Critical patent/JP2009032186A/ja
Application granted granted Critical
Publication of JP4956319B2 publication Critical patent/JP4956319B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems

Description

本発明は、原稿画像からオブジェクトの分離を行うことができる画像処理装置において、オブジェクトデータの再利用性の向上を図る技術に関する。
従来より、原稿を読み取って得られるスキャンデータからオブジェクトのデータを分離し、編集機能を適用する技術があった(特許文献1)。このような技術においては、スキャンデータからオブジェクトを分離する際、以下のような処理が行われる。
(1)スキャンデータをオブジェクト単位に領域分割する。
(2)スキャンデータに含まれる各オブジェクトのデータを、例えばTEXT、GRAPHIC、IMAGEといった属性に分ける。
(3)TEXT、GRAPHICの属性をもつものに関してはベクトル化を行ってベクトルデータに、IMAGEの属性をもつものに関してはJPEG等の画像データに変換する。
以上のようにして分離されたオブジェクトデータは、編集機能を利用して編集することができる。
また、スキャンデータの検索性を向上させるためにスキャンデータに、後からユーザが所望する属性情報データ(キーワード)を付加するという技術もある(特許文献2)。
特開2004−265384号公報 特開2006−277473号公報
しかしながら、上述した技術においては、オブジェクトデータは画像処理装置内で自動的に判断されオブジェクト化されてしまうため、ユーザが所望するオブジェクト単位のオブジェクトデータになっていない場合があるという問題があった。
また、特許文献2の技術では、画像処理装置内に保存されているスキャンデータの再利用を行うために検索用のキーワードを用いてスキャンデータを検索して再利用しようとしても、再利用可能なデータはスキャンデータ全てということになる。したがって、スキャンデータの再利用を行う際にオブジェクトデータ単位で扱えないという問題があった。
このため、オブジェクトデータ単位で再利用したいといった場合には、スキャンデータからオブジェクトデータだけを再度切り出すといった作業が必要となっていたため、ユーザの利便性の向上を図れていなかった。
上述した問題を解決するため、本願発明は以下の特徴を有する。
本発明に係る画像処理装置は、原稿のデータから当該原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを抽出する抽出手段と、前記抽出手段で抽出した各オブジェクトデータに対して画像解析と文書解析の少なくともいずれかを実行することによって、当該各オブジェクトデータに対するキーワードを取得する取得手段と、前記抽出手段で抽出した各オブジェクトデータに、前記取得手段で取得したキーワードを関連付けて記憶装置に保存する保存手段と、前記記憶装置に保存されたオブジェクトデータに基づいて、前記原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを表示装置上で可視化する可視化手段と、ユーザの指示に基づいて、前記可視化された複数のオブジェクトデータから少なくとも2つのオブジェクトデータを選択する選択手段と、前記選択手段で選択された少なくとも2つのオブジェクトデータそれぞれに関連付けられている前記キーワードを一覧表示する一方、前記選択手段で選択されていないオブジェクトデータに関連付けて保存されているキーワードに関しては一覧表示しないキーワード表示手段と、ユーザの指示により前記一覧表示されているキーワードがユーザ所望のキーワードに変更された場合、前記選択手段で選択された少なくとも2つのオブジェクトデータそれぞれに関連付けて保存されているキーワードを、前記ユーザ所望のキーワードに一括変更するキーワード設定手段とを有することを特徴とする。
本発明に係る画像処理装置の制御方法は、原稿のデータから当該原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを抽出する抽出ステップと、前記抽出ステップで抽出した各オブジェクトデータに対して画像解析と文書解析の少なくともいずれかを実行することによって、当該各オブジェクトデータに対するキーワードを取得する取得ステップと、前記抽出ステップで抽出した各オブジェクトデータに、前記取得ステップで取得したキーワードを関連付けて記憶装置に保存する保存ステップと、前記記憶装置に保存されたオブジェクトデータに基づいて、前記原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを表示装置上で可視化する可視化ステップと、前記表示装置上のGUIを介して、ユーザの指示に基づいて、前記可視化された複数のオブジェクトデータから少なくとも2つのオブジェクトデータを選択する選択ステップと、前記選択された少なくとも2つのオブジェクトデータそれぞれに関連付けられている前記キーワードを前記表示装置上に一覧表示する一方、前記選択ステップで選択されていないオブジェクトデータに関連付けて保存されているキーワードに関しては一覧表示しないキーワード表示ステップと、前記表示装置上のGUIを介したユーザの指示により前記一覧表示されているキーワードがユーザ所望のキーワードに変更された場合、前記選択ステップで選択された少なくとも2つのオブジェクトデータそれぞれに関連付けて保存されているキーワードを、前記ユーザ所望のキーワードに一括変更するキーワード設定ステップとを含むことを特徴とする。
上記各画像処理装置の制御方法における諸ステップは、各種画像処理装置または情報処理装置に備わるコンピュータに実行させるためのプログラムとして構成することができる。そして、このプログラムを前記コンピュータに読み込ませることにより当該画像処理装置の制御方法をコンピュータに実行させることができる。また、このプログラムは、このプログラムを記録したコンピュータ読み取り可能な記憶媒体を介して前記コンピュータに読み込ませることができる。
なお、本明細書において、画像処理装置とは、専用の画像処理装置や画像形成装置の他、本発明に係る処理を実行可能な汎用の情報処理装置を含むものとする。
本発明によれば、画像処理装置内で自動的にオブジェクト化が行われる場合に、ユーザが所望しないオブジェクト単位に分割されてしまったとしても、画像処理装置の画面上からユーザが所望するオブジェクトのデータを統合/分割することが可能になる。さらにオブジェクトデータ単位でユーザが所望するキーワードを後から追加・変更することが可能となるため、オブジェクト単位での検索、再利用が行い易くなり、ユーザの利便性が向上する。
[第1の実施形態]
以下、本発明の実施の形態について図面を用いて詳細に説明する。
図1は、本発明の第1の実施形態の画像処理システムの構成を示すブロック図である。
この画像処理システムは、オフィス10がインターネット等のネットワーク104で接続された環境で実現する。
オフィス10内に構築されたLAN107には、MFP(Multi Function Peripheral)100、MFP100を利用するクライアントPC102、データベース105、及びプロキシサーバ103が接続されている。なお、MFPは、複数種類の機能(複写機能、印刷機能、送信機能等)を実現する複合機である。また、オフィス10内のLAN107は、それぞれのオフィスのプロキシサーバ103を介してネットワーク104に接続されている。
なお、図1の構成は一例であり、各構成要素は複数存在してよいし、同図に示すようなオフィスも複数存在してそれらがネットワーク104で接続されていてもよい。また、ネットワーク104は、いわゆる通信ネットワークであり、データの送受信が可能であれば良い。このネットワーク104は、典型的にはインターネットやLANやWANや電話回線、専用デジタル回線、ATM回線やフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現される。
また、各クライアントPC102はそれぞれ、汎用コンピュータに搭載される標準的な構成要素(例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等)を有している。
図2は、本発明の第1の実施形態である画像処理装置(MFP100)の詳細構成を示すブロック図である。
図2において、201は、オートドキュメントフィーダ(ADF)を含む画像読取部である。画像読取部201は、まず、原稿に対して光源(不図示)から光を照射し、レンズを介して固体撮像素子上に原稿反射像を結像させる。そして、この固体撮像素子から出力される画像読取信号を所定解像度(600dpi等)のビットマップデータとして取得する。
また、MFP100は、上記画像読取信号に対応する画像を印刷部203で記録媒体に印刷する複写機能を有する。原稿画像を1つ複写する場合には、この画像読取信号をデータ処理部206で画像処理して記録信号を生成し、この記録信号を受けた印刷部203が記録媒体上に印刷する。一方、原稿画像を複数複写する場合には、記憶部202に一旦一ページ分の記録信号を記憶保持させた後、これを印刷部203に順次出力して記録媒体上に印刷させる。
また、ネットワークI/F205を介する通信機能により、画像読取部201から得られるビットマップデータを後述する処理によってオブジェクトデータに変換してデータベース105に送信し保存することができる。また、データベース105に保存されているオブジェクトデータを再利用のため受信したり、PDF等のベクトルデータファイル形式の画像ファイルへと変換してクライアントPC102に転送したりすることもできる。また、こうしたデータの保存場所として、MFP100内の記憶部202やデータベース105の外、外部サーバの記憶装置(いずれも図示せず)を利用することもできる。この場合、保存対象のデータは、MFP100内の通信手段であるネットワークI/F205を介して、図1に示したプロキシサーバ103およびネットワーク104を通じ接続される外部サーバに送信され、この外部サーバの記憶装置に記憶される。保存されたデータは、各装置の検索機能により検索することができる。
また、印刷部203は、クライアントPC102から出力された印刷データに従い印刷媒体上に画像を形成する印刷機能を有する。この印刷機能が利用される場合、クライアントPC102から出力された印刷データは、ネットワークI/F205経由でデータ処理部206が受信する。そして、データ処理装置206が、この印刷データを印刷部203で印刷可能な記録信号に変換した後印刷部203に供給し、印刷部203によって記録媒体上に画像が形成される。
MFP100に対する操作者の指示は、MFP100に装備された入力部204から行われる。この指示に対応する動作はデータ処理部206内の制御部(不図示)で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部(表示装置)207で行われる。
また、記憶部(記憶装置)202は、後述する処理によって得られるオブジェクトデータを記憶する記憶領域と、データ処理部において各種画像処理の際に利用される画像処理用バッファ領域が確保されている。
[オブジェクトデータ、メタデータ生成処理]
次に、スキャンして得られたデータもしくはPDLデータとして投入されたデータを、オブジェクト毎に分離して保存する際の処理について、図3のフローチャートを用いて説明する。
まず、ステップS301で、入力がSCANジョブの場合は、MFP100の画像読取部201で原稿をビットマップ状に走査して読み取り、例えば、600dpi−8ビットの画像信号を得る。この画像信号をデータ処理部206で前処理を施し、記憶部202に1ページ分の画像データ(ビットマップデータ)として保存する。入力がページ記述言語(以下、PDL)の場合は、PDLの状態で1ページ分の画像データ(ベクトルデータ)を保存する。
次に、入力がスキャンデータの場合には、ステップS302で“SCAN”と判定され、処理はステップS303に移行する。ステップS303では、データ処理部206において、ブロックセレクション(BS)を行ってコンテンツ分離処理を行う。具体的には、記憶部202に格納された処理対象の画像信号を、まず、文字/線画部分とハーフトーン画像部分とに領域分割する。そして、文字/線画部分はさらに段落として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分離し、これをオブジェクトとする。
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等の、いわゆるブロック毎に独立したオブジェクト(ブロック)に分離する。なお、属性の例として、TEXT(文字)、GRAPHIC(細線、図形、表)、IMAGE(画像)を挙げるが、属性の種類はこれらに限定されるものではない。当然のごとく、用途や目的に応じて、他の種類の属性を使用することも可能であるし、また、すべての属性を使用する必要もない。本実施形態において、ブロックセレクション処理とは、画像を解析することにより、属性ごとの領域(各オブジェクトの領域を示すブロック)に分割する領域分割処理のことを示す。
次に、ステップS304で、分離したオブジェクト毎にベクトル化処理を行う。このベクトル化処理では、まず、TEXT属性と判定されたオブジェクトにたいしてOCRで文字認識を行い、更に、文字のサイズ、スタイル、字体(フォント)を認識し、原稿を走査して得られる文字と可視的に忠実なフォントデータに変換する。一方、GRAPHIC属性の線で構成される表、図形のオブジェクトは、アウトライン化する。また、IMAGE属性の画像のオブジェクトに対しては、イメージデータとして個別のJPEG圧縮を行う。
これらの各種オブジェクトに対するベクトル化処理は、各オブジェクトのオブジェクト情報に基づいて行い、MFP100内で利用できる後述のメタデータと画像情報とで構成されるフォーマットのオブジェクトデータとして記憶する。さらに各オブジェクトのレイアウト情報を保存する。
一方、入力がPDLデータの場合には、ステップS302で“PDL”と判定され、処理はステップS305に移行する。ステップS305では、入力されたPDLデータを、オブジェクト毎に後述するオブジェクトデータに変換して記憶する。この際、PDLデータに含まれる属性データ(例えば、TEXT、GRAPHIC、IMAGEなど)やメタデータ、レイアウト情報も同様に変換して記憶する。
ここで言うメタデータとは、オブジェクトの特徴(オブジェクトサイズやフォントサイズ等)や名称などのオブジェクトに関する情報と、後述の編集処理に用いる原稿中の他オブジェクトとの相対関係を表す特徴量等を示すものである。
次に、ステップS306で、オブジェクト毎に画像解析や文書解析を行うことでそのオブジェクト自体の内容を示す情報を取得し、ステップS304やステップS305で生成したメタデータの修正や、新たな情報の追加を行う。まず、SCANジョブとPDLジョブとで生成されるオブジェクト情報に違いがあるため、本実施例ではIMAGE、GRAPHIC、IMAGEの3属性にし、同様の画像データである場合には以降の処理に違いがないようにする。さらに、オブジェクトの属性がTEXTである場合には、文書解析の結果から文書の要約を行いメタデータに追加する。オブジェクト情報がGRAPHICの場合には、画像解析を行ってその特徴量や名称、図表や線画などより詳細な情報の抽出を行いメタデータに追加する。オブジェクト情報がIMAGEの場合には、画像解析を行ってその特徴量や名称、人物画や風景画といったより詳細な情報を取得しメタデータに追加する。ただし、ここでメタデータに追加する情報は一例であって、これに限定されるものではなく、各オブジェクトに関する情報であれば何を追加しても良い。
次に、ステップS307で、上記ステップS306までの処理で得られたオブジェクトデータを記憶部202または、データベース105に保存される。なお、オブジェクトデータは必ずしも登録する必要はなく、例えば、記憶部202に重複もしくは類似するオブジェクトデータが登録済みであれば登録しないなど、他の判定処理によって登録するか否かを決定しても良い。
[オブジェクトデータとメタデータ]
次に、オブジェクトデータとメタデータについて、図4を用いて説明する。
403は、本実施形態におけるオブジェクトデータのデータ構造の一例を示す図である。
オブジェクトデータ403は、その構造を記述するレイアウト情報404及び、IMAGE、GRAPHIC、TEXTの属性を有する各オブジェクトのデータ405と、各データ405の検索用のキーワード情報等が記述されたメタデータ406から構成される。このようにオブジェクトデータ403に上記メタデータ406を含ませることにより、各オブジェクトデータ405と、各オブジェクトデータ毎に登録されるキーワードが関連付けられる。
なおIMAGE、GRAPHIC、TEXTの各オブジェクトデータ405、及びメタデータ406は、IMAGE、GRAPHIC、TEXTの属性を有する各オブジェクト402を含む紙原稿401を前述のオブジェクトデータ生成処理することで取得される。
[オブジェクトデータの編集機能1]
次に、本実施形態におけるオブジェクトデータの編集機能について、図5、図6、図7、図9を用いて説明する。
図5、図6、図7は、本実施形態における操作画面の一例を示す図である。特に、このGUIによる操作画面は、図2に示した入力部204と表示部207によって構成される操作部の操作画面の一例である。
操作画面501は、入力部204と表示部207が一体となっている操作画面の構成例として示している。この例では、入力部204と表示部207は、それぞれタッチパネルとLCDとから構成されるものとする。もちろん入力部204としてハードキー(キーボード)もしくはマウスポインタ等のポインティングデバイスを用い、表示部207としてCRTなどを用いて、それぞれが独立に構成されても構わない。
図5の操作画面501は、MFP100で紙原稿401をスキャンして得られたスキャンデータに対し前述の“オブジェクトデータ、メタデータ生成処理”を行った後に記憶部202に格納された文書を表示した例である。同図に示すように、スキャンデータがIMAGE,TEXT,GRAPHICの各オブジェクトデータに分割されている状態をサムネール画像502として可視化し表示することが可能である。さらに表示装置上のサムネール画像502の各オブジェクトをタッチすることで任意に各オブジェクトを選択可能である。
ここで、サムネール画像502のImageオブジェクト1を選択し、キーワード変更ボタン503を押下すると、画面が遷移し選択したオブジェクトに対するキーワード506が表示される(同図下段参照)。ここで表示されるキーワードは、前述のオブジェクトデータ403に含まれているメタデータ406に登録されているキーワードが表示される。本説明において、表示されているキーワードは1つだけであるが、複数登録されていた場合は複数表示することも可能である。
さらに、キーワード506が表示されている状態でキーワード変更ボタン507を押下すると図9に示されているキーボードが表示される。そこでユーザが所望するキーワードを入力することでキーワード506を任意に変更することが可能となる。これによりキーワードによる検索性が向上する。
また、図5の例では1つのオブジェクトについてのキーワード変更だけであったが、図6に示すように複数のオブジェクトをユーザが選択することも可能(複数選択可能)である。このように複数のオブジェクトの選択を許容し、複数選択した場合は、選択した複数のオブジェクトそれぞれに対応する複数のキーワード601が一覧表示される(図6下段参照)。なお、このとき、選択された各オブジェクトに対して、それぞれどのキーワードが付与されているか識別可能に表示する。そして、一括変更ボタン602を押下すると図9に示されているキーボードが表示されユーザが所望するキーワードを入力することで複数のキーワード601を任意のキーワードにまとめて変更することが可能となる。なお、このとき、一括変更前に各オブジェクトに付与されていたキーワードを流用できるようにしてもよい。この機能により、関連するオブジェクトを同一のキーワードにまとめて変更したい場合にユーザの利便性が向上することとなる。本実施形態ではページ内のオブジェクトを複数個選択する例のみを示したが、ページ送りボタン505を利用することによって、複数のページのオブジェクトを複数個、同時に選択することも可能であり、キーワードの一括変更も行うことが可能である。
次に、各オブジェクトを統合する例について図7を用いて説明する。
オブジェクト変更ボタン504を押下し、サムネール画像502に表示されている複数個のオブジェクト701を選択し、オブジェクトの統合ボタン702を押下すると、選択したオブジェクトが1つのオブジェクト703に統合される。オブジェクトが1つに統合されることで、新たにキーワードを登録し直す必要があるが、統合前のキーワードを引き継ぐことも可能である。この場合、統合前に登録されていたキーワード704を表示し、その中からユーザに1乃至複数のキーワードを選択させ、当該選択されたキーワードを該オブジェクトに設定する。また、統合処理を行うたびに、ユーザにキーワードを選択させる例を示したが、これに限るものではない。例えば、初期設定画面で、統合対象のオブジェクト全てのキーワードを引き継ぐように予め設定しておけば、統合対象オブジェクト全てのキーワードを初期キーワードとして、統合後のオブジェクトに自動的に設定するようにしてもよい。
全く新しいキーワードを付けたい場合はキーワード変更ボタン705を押下し、図9のキーボード画面から任意のキーワードを登録することが可能である。これにより、各オブジェクトデータが、ユーザの所望するオブジェクト単位に分割されていなかった場合に、後からでもユーザが任意のオブジェクトに統合し直すことが可能となるため、オブジェクトデータの再利用性が向上する。
なお、本実施形態では、オブジェクトデータ403は、MFP100内の記憶部202に保存されるが、オブジェクトデータ403の保存先としてネットワーク上のデータベース105を利用し保存することも可能である。
[第2の実施形態]
次に、本発明を適用した第2の実施形態について説明する。
本実施形態における画像処理システムおよび本実施形態のMFPの構成は、前述の第1の実施形態において説明した画像処理システム(図1)およびMFP(図2)と同じである。また、“オブジェクトデータ、メタデータ生成処理“、“オブジェクトデータとメタデータ”に関しても第1の実施形態で説明した内容と同じである。したがって、これらの説明は省略し、以下ではオブジェクトデータの編集機能についてのみ説明を行う。
[オブジェクトデータの編集機能2]
以下に、本実施形態におけるオブジェクトデータの編集機能について、図8、図9を用いて説明する。
図8は、本実施形態の操作画面の一例を示す図である。特に、このGUIによる操作画面は、入力部204と表示部207によって構成される操作部の操作画面の一例である。
操作画面501は、入力部204と表示部207が一体となっている操作部の操作画面の構成例として示している。この例では、入力部204と表示部207は、それぞれタッチパネルとLCDとから構成されるものとしている。もちろん入力部204としてハードキー(キーボード)もしくはマウスポインタ等のポインティングデバイスを用い、表示部207としてCRTなどを用いて、それぞれが独立に構成されても構わない。
図8の操作画面501は、MFP100で紙原稿401をスキャンして得られたスキャンデータに対し前述の“オブジェクトデータ、メタデータ生成処理“を行った後に記憶部202に格納された文書を表示した例である。操作画面501では、スキャンデータがIMAGE,TEXT,GRAPHICの各オブジェクトデータに分割されている状態をサムネール画像502として表示することが可能となっている。さらにサムネール画像502の各オブジェクトをタッチすることで任意に各オブジェクトを選択可能である。
ここで、ユーザがオブジェクト変更ボタン504を押下すると、画面が遷移する。遷移した画面(図8中段参照)から、ユーザがサムネール画像502のImageオブジェクト1(801)を選択した後に、分割レベル802を任意の数値に設定する。そして、オブジェクトの分割ボタン803を押下すると、指定された分割レベル(分割数)で選択したオブジェクトの分割が可能となる。
本実施形態では分割レベルはオブジェクト分割後のオブジェクトの個数を表しており、2に設定した場合は、804に示すように選択されたオブジェクト801が2つに分割される。なお、分割する位置は、各オブジェクトの水平方向及び垂直方向のヒストグラムを解析したり、同色画素の連続性(例えば連結黒画素)を解析したりすることにより、望ましい分割位置を決定するものとする。また、この分割処理を実行した際、MFP100は、該分割前のオブジェクト(801)に付与されていたキーワードを、分割したオブジェクトそれぞれに対して初期キーワードとして設定(登録)しておく。その後、ユーザが、当該分割されたオブジェクトに対して付与されているキーワードを変更したいと考えた場合、ユーザはキーワード変更ボタン503を押下してキーワードを変更することが可能である。これによって、ユーザが所望するオブジェクトよりも大きな単位でオブジェクト化されていた場合は、このオブジェクトを分割することにより、所望の複数のオブジェクトにすることが可能となる。この機能により、オブジェクトデータの再利用性がさらに向上する。
[その他の実施形態]
本発明は、さらに、複数の機器(例えばコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用することも、一つの機器からなる装置(複合機、プリンタ、ファクシミリ装置など)に適用することも可能である。
また本発明の目的は、上述した実施例で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ(またはCPUやMPU)が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能をコンピュータに実現させることになる。そのため、このプログラムコード及びプログラムコードを記憶/記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行う場合も含まれる。
さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。
本発明の一実施形態によるシステム構成図の一例である。 本発明の一実施形態のMFPの詳細構成を示すブロック図である。 同実施形態におけるオブジェクトデータ、メタデータを作成する処理手順を示したフローチャートである。 同実施形態におけるオブジェクト化を説明する図である。 同実施形態における操作画面の遷移例である。 同実施形態における操作画面の遷移例である。 同実施形態における操作画面の遷移例である。 同実施形態における操作フロー図である。 同実施形態におけるキーワードを変更するための入力画面例である。
符号の説明
10 オフィス
100 MFP
102 クライアントPC
103 プロキシサーバ
104 ネットワーク
105 データベース
107 LAN
201 画像読取部
202 記憶部
203 印刷部
204 入力部
205 ネットワークI/F
206 データ処理部
207 表示部

Claims (10)

  1. 原稿のデータから当該原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを抽出する抽出手段と、
    前記抽出手段で抽出した各オブジェクトデータに対して画像解析と文書解析の少なくともいずれかを実行することによって、当該各オブジェクトデータに対するキーワードを取得する取得手段と、
    前記抽出手段で抽出した各オブジェクトデータに、前記取得手段で取得したキーワードを関連付けて記憶装置に保存する保存手段と、
    前記記憶装置に保存されたオブジェクトデータに基づいて、前記原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを表示装置上で可視化する可視化手段と、
    ユーザの指示に基づいて、前記可視化された複数のオブジェクトデータから少なくとも2つのオブジェクトデータを選択する選択手段と、
    前記選択手段で選択された少なくとも2つのオブジェクトデータそれぞれに関連付けられている前記キーワードを一覧表示する一方、前記選択手段で選択されていないオブジェクトデータに関連付けて保存されているキーワードに関しては一覧表示しないキーワード表示手段と、
    ユーザの指示により前記一覧表示されているキーワードがユーザ所望のキーワードに変更された場合、前記選択手段で選択された少なくとも2つのオブジェクトデータそれぞれに関連付けて保存されているキーワードを、前記ユーザ所望のキーワードに一括変更するキーワード設定手段と
    を有することを特徴とする画像処理装置。
  2. 前記選択手段で選択された少なくとも2つのオブジェクトデータを1つのオブジェクトデータに統合する統合手段をさらに有し、
    当該統合手段による統合が行われた場合、前記キーワード設定手段は、当該統合されたオブジェクトデータに対するキーワードを設定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記選択手段は、前記ユーザの指示に基づいて、前記可視化された複数のオブジェクトデータの中から1つのオブジェクトデータを選択
    前記画像処理装置は、前記選択手段で選択された1つのオブジェクトデータを複数のオブジェクトデータに分割し、前記選択された1つのオブジェクトデータに関連付けて保存されていたキーワードを、当該分割後のオブジェクトデータそれぞれの初期キーワードとする分割手段をさらに有し、
    当該分割手段による分割が行われた場合、前記キーワード設定手段は、当該分割されたオブジェクトデータそれぞれに対して、ユーザ所望のキーワードを設定することを特徴とする請求項1に記載の画像処理装置。
  4. 前記オブジェクトデータに関連付けて保存されているキーワードを基に前記オブジェクトデータを検索する検索手段をさらに有することを特徴とする請求項1に記載の画像処理装置。
  5. 前記選択手段は、前記ユーザの指示に基づいて、複数のページから、前記少なくとも2つのオブジェクトデータを選択する選択手段をさらに備えたことを特徴とする請求項1に記載の画像処理装置。
  6. 前記オブジェクトデータ及びキーワードを、外部サーバの記憶装置に送信し記憶させるための通信手段をさらに有することを特徴とすることを特徴とする請求項1に記載の画像処理装置。
  7. 前記分割手段によりオブジェクトデータを分割する際に、分割数を指定する手段をさらに有することを特徴とする請求項3に記載の画像処理装置。
  8. 原稿のデータから当該原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを抽出する抽出ステップと、
    前記抽出ステップで抽出した各オブジェクトデータに対して画像解析と文書解析の少なくともいずれかを実行することによって、当該各オブジェクトデータに対するキーワードを取得する取得ステップと、
    前記抽出ステップで抽出した各オブジェクトデータに、前記取得ステップで取得したキーワードを関連付けて記憶装置に保存する保存ステップと、
    前記記憶装置に保存されたオブジェクトデータに基づいて、前記原稿に含まれる複数のオブジェクトそれぞれに関するオブジェクトデータを表示装置上で可視化する可視化ステップと、
    前記表示装置上のGUIを介して、ユーザの指示に基づいて、前記可視化された複数のオブジェクトデータから少なくとも2つのオブジェクトデータを選択する選択ステップと、
    前記選択された少なくとも2つのオブジェクトデータそれぞれに関連付けられている前記キーワードを前記表示装置上に一覧表示する一方、前記選択ステップで選択されていないオブジェクトデータに関連付けて保存されているキーワードに関しては一覧表示しないキーワード表示ステップと、
    前記表示装置上のGUIを介したユーザの指示により前記一覧表示されているキーワードがユーザ所望のキーワードに変更された場合、前記選択ステップで選択された少なくとも2つのオブジェクトデータそれぞれに関連付けて保存されているキーワードを、前記ユーザ所望のキーワードに一括変更するキーワード設定ステップと
    を含むことを特徴とする画像処理装置の制御方法。
  9. 請求項8に記載の方法を、画像処理装置を制御するコンピュータに実行させるためのプログラム。
  10. 請求項9に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2007197733A 2007-07-30 2007-07-30 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体 Expired - Fee Related JP4956319B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007197733A JP4956319B2 (ja) 2007-07-30 2007-07-30 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体
US12/181,278 US8090728B2 (en) 2007-07-30 2008-07-28 Image processing apparatus, control method thereof, and storage medium that stores program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007197733A JP4956319B2 (ja) 2007-07-30 2007-07-30 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体

Publications (2)

Publication Number Publication Date
JP2009032186A JP2009032186A (ja) 2009-02-12
JP4956319B2 true JP4956319B2 (ja) 2012-06-20

Family

ID=40339115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007197733A Expired - Fee Related JP4956319B2 (ja) 2007-07-30 2007-07-30 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体

Country Status (2)

Country Link
US (1) US8090728B2 (ja)
JP (1) JP4956319B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589537B2 (ja) * 2010-04-30 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報提供装置および情報処理システム
JP5665125B2 (ja) * 2011-04-07 2015-02-04 株式会社日立製作所 画像処理方法、及び、画像処理システム
JP5928210B2 (ja) * 2012-07-13 2016-06-01 大日本印刷株式会社 組版装置、組版方法、及び組版処理プログラム
JP5928211B2 (ja) * 2012-07-13 2016-06-01 大日本印刷株式会社 組版装置、組版方法、及び組版処理プログラム
US9535913B2 (en) 2013-03-08 2017-01-03 Konica Minolta Laboratory U.S.A., Inc. Method and system for file conversion
JP2016031721A (ja) * 2014-07-30 2016-03-07 株式会社東芝 検索装置、方法及びプログラム
US11024067B2 (en) * 2018-09-28 2021-06-01 Mitchell International, Inc. Methods for dynamic management of format conversion of an electronic image and devices thereof
US11935331B2 (en) * 2021-03-04 2024-03-19 The Bank Of New York Mellon Methods and systems for real-time electronic verification of content with varying features in data-sparse computer environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03252763A (ja) * 1990-03-02 1991-11-12 Hitachi Ltd 文書分担作成管理システム
JPH11144027A (ja) * 1997-11-04 1999-05-28 Canon Inc ファイル管理システム、方法および記録媒体
WO2002041188A1 (en) * 2000-11-15 2002-05-23 Mark Frigon Method and apparatus for processing objects in online images
JP2003288334A (ja) * 2002-03-28 2003-10-10 Toshiba Corp 文書処理装置及び文書処理方法
JP4251629B2 (ja) 2003-01-31 2009-04-08 キヤノン株式会社 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
US7391917B2 (en) * 2003-02-13 2008-06-24 Canon Kabushiki Kaisha Image processing method
JP4181892B2 (ja) * 2003-02-21 2008-11-19 キヤノン株式会社 画像処理方法
US20060288006A1 (en) * 2003-10-23 2006-12-21 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
JP2006277473A (ja) 2005-03-30 2006-10-12 Seiko Epson Corp 画像読取装置および画像管理システム
JP2006350867A (ja) * 2005-06-17 2006-12-28 Ricoh Co Ltd 文書処理装置、文書処理方法、プログラム及び情報記録媒体
JP4811133B2 (ja) * 2005-07-01 2011-11-09 富士ゼロックス株式会社 画像形成装置及び画像処理装置

Also Published As

Publication number Publication date
US8090728B2 (en) 2012-01-03
US20090037463A1 (en) 2009-02-05
JP2009032186A (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
JP4956319B2 (ja) 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体
US8203748B2 (en) Image processing apparatus, control method therefor, and program
US8711419B2 (en) Preserving user applied markings made to a hardcopy original document
US8320019B2 (en) Image processing apparatus, image processing method, and computer program thereof
US8223389B2 (en) Information processing apparatus, information processing method, and program and storage medium therefor
JP4533273B2 (ja) 画像処理装置及び画像処理方法、プログラム
US20120011429A1 (en) Image processing apparatus and image processing method
JP5072739B2 (ja) 画像形成システム、画像形成装置、及び画像処理装置
US8818110B2 (en) Image processing apparatus that groups object images based on object attribute, and method for controlling the same
CN101951452A (zh) 印刷状态设定设备、方法、系统及存储介质
US8144988B2 (en) Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program
US8384932B2 (en) Image forming apparatus and method thereof
US8219594B2 (en) Image processing apparatus, image processing method and storage medium that stores program thereof
US20090154763A1 (en) Image processing method for generating easily readable image
US8181108B2 (en) Device for editing metadata of divided object
JP5098614B2 (ja) 文章処理装置の制御方法および文章処理装置
US8194982B2 (en) Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program
JP7022317B2 (ja) 制御プログラム、および情報処理装置
US8380685B2 (en) Information processing apparatus, control method thereof, computer program, and storage medium
JP4710672B2 (ja) 文字色判別装置、文字色判別方法、およびコンピュータプログラム
JP5100354B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US9292528B2 (en) Information processing apparatus, method, and medium for processing files stored in a storage medium
JP2010092141A (ja) 画像処理システム、画像読取装置、画像処理装置および画像処理プログラム
JP2009303149A (ja) 画像処理装置、画像処理方法及びコンピュータ制御プログラム
JP2006023946A (ja) 画像処理装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100707

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120316

R151 Written notification of patent or utility model registration

Ref document number: 4956319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees