JP4717562B2 - 画像処理装置及び方法 - Google Patents

画像処理装置及び方法 Download PDF

Info

Publication number
JP4717562B2
JP4717562B2 JP2005255613A JP2005255613A JP4717562B2 JP 4717562 B2 JP4717562 B2 JP 4717562B2 JP 2005255613 A JP2005255613 A JP 2005255613A JP 2005255613 A JP2005255613 A JP 2005255613A JP 4717562 B2 JP4717562 B2 JP 4717562B2
Authority
JP
Japan
Prior art keywords
image
feature amount
compression
attribute
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005255613A
Other languages
English (en)
Other versions
JP2007074030A5 (ja
JP2007074030A (ja
Inventor
知俊 金津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005255613A priority Critical patent/JP4717562B2/ja
Priority to US11/468,918 priority patent/US8045801B2/en
Publication of JP2007074030A publication Critical patent/JP2007074030A/ja
Publication of JP2007074030A5 publication Critical patent/JP2007074030A5/ja
Application granted granted Critical
Publication of JP4717562B2 publication Critical patent/JP4717562B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/642Adapting to different types of images, e.g. characters, graphs, black and white image portions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Description

本発明は紙原稿等を読み取って得られた画像に圧縮処理を施して電子データを生成する画像処理技術に関する。
近年、スキャナの普及により文書の電子化が進んでいる。しかし電子化された文書をフルカラービットマップ形式で保存しようとすると、例えば、A4サイズの原稿の場合、300dpiで約24Mバイトにもなり、膨大な保存領域が必要になる。また、このような大容量のデータは、電子的に送信するのにも適していない。
従って、上記フルカラー画像データに対しては一般に圧縮処理が施される。そのような圧縮方式の一つとして、JPEGがよく知られている。JPEGは写真などの自然画像を圧縮するには非常に効果も高く、画質も良い。しかし一方で、文字画像などの高周波部分をJPEG圧縮すると、モスキートノイズと呼ばれる画像劣化が発生し、圧縮率も悪くなる。一般に利用される文書には、1ページ内に文字と画像の両方が含まれていることが多く、JPEGによる圧縮で画質と圧縮率を両立することは難しかった。
そこで上記の課題を解決するために、画像に対して領域分割を行い、文字領域を抜いた下地部分にJPEG圧縮を、色情報付き文字領域にはMMR圧縮を適用する方法が提案されている。このように圧縮されたデータの展開時においては、JPEG圧縮された画像を展開して得られた下地画像に、MMR圧縮された画像を展開して得られた文字画像を載せることになる。即ち、文字画像のうちの白部分については下地画像を透過させ、黒部分には代表文字色を載せる。例えば、特許文献1に開示される画像処理装置は、紙文書をスキャンして得た画像のうち、文字領域には解像度を落とさずに2値化して非可逆圧縮を行い、下地画像には解像度を落として高い圧縮率のJPEG圧縮を施して出力データを作成する。これにより、カラー情報を保ちながら、文字などの可読性を失うことなく、大幅なサイズの削減が実現でき、送信や保存に好適な電子化文書を得ることが可能としている。
一方、コンピュータの普及により、ワードプロセッサのような文書編集アプケーションを用いて文書の作成、編集をする作業が一般に行われるようになっている。前述のように電子化され保存された文書も、閲覧されるだけではなく、その中の一部の画像を別文書に挿入するなどして利用したいという需要も高まっている。しかし、スキャンにより電子化された文書は、前述のとおり保存効率を良くするために圧縮が施されているため、別文書の作成に利用する場合には、圧縮による画像の劣化が問題になる。
上記特許文献1に開示される画像処理装置によって電子化された文書においては、文字領域であれば解像度を落とさず可逆の圧縮を施されたデータが保持されているために、劣化を気にせずに当該領域の画像を抽出して利用することが可能である。しかし、文字以外の領域は下地領域として高圧縮が施されているため、利用の際に劣化の問題は避けられない。
一方で、文書を電子的に作成する機会の増加により、スキャン対象の紙原稿も、元は自分のあるいはLAN内のコンピュータなどで作成されたものである場合が多い。そして、そのような文書の中に含まれる写真や図面などの画像領域のデータも、そのオリジナルデータがどこかに保存されている場合が多い。従って、たとえばLANに接続された画像データベースを検索すればオリジナルデータが得られるというケースも多いと考えられる。このような環境では、写真や図面などの画像領域を利用する場合には、先の電子化した文書に含まれる圧縮により劣化した画像データを用いるより、オリジナル画像データを利用することで、高い品質で別文書を作成することが可能になる。この場合、電子化した文書の写真や図面等の画像データをキーとして画像データベースを検索してオリジナル画像データを得ることになる。
画像データを検索するための特徴量としては、キーワードなど人間によって登録されるものと、コンピュータによって画像のデータから抽出されるものがある。後者は画像特徴量と呼ばれ、例としては画像から抽出される色のヒストグラム、色の構造、エッジのヒストグラム、テクスチャなどがある。
また、この画像特徴量のなかには、非特許文献1(MPEG-7 Visual (ISO/IEC 15938-3))などによって記述方法が標準化されているものがある。たとえばこの標準に従った画像特徴量を備える画像データベースに対し、任意の画像から同標準に従った画像特徴量を求めることで、前記オリジナル画像データの検索をおこなうことができる。
特開2002−077633号公報 MPEG-7 Visual (ISO/IEC 15938-3) MPEG-7 MDS (ISO/IEC 15938-5)
しかし、画像データベースを検索するための画像特徴量を、電子化文書データのような大幅に圧縮されたデータから求めようとすると、圧縮の影響による画像劣化のために、検索が高精度でおこなえないという課題が生じる。たとえば、エッジヒストグラムのような画像特徴量を用いて検索をおこなう場合、元の画像の特徴を正しく表わす特徴量を非可逆の高い圧縮率で圧縮された画像から得ることは困難である。データ量削減のために解像度の落とされた画像、または高い圧縮率でJPEG圧縮を施された画像ではエッジのような高周波情報の一部が失われてしまっているためである。
本発明は上記課題に鑑みてなされたものであり、紙原稿等の画像を電子化して圧縮する際に、送信や保存に適したデータサイズでありながら、当該原稿に含まれる画像部分に関して良好な検索結果が得られるような電子データを生成可能にすることを目的とする。
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
入力画像を複数種類の属性に応じて複数の領域に分割する分割手段と、
前記分割手段で分割された複数の領域のうち、第1の属性の領域については当該第1の属性の領域を検索するための特徴量データを前記入力画像から取得する一方、第2の属性の領域については特徴量データを取得しない特徴量取得手段と、
前記第1の属性の領域に対応する画像については非可逆圧縮処理を施し、前記第2の属性の領域に対応する画像については可逆圧縮処理を施すことにより、圧縮データを取得する圧縮手段と、
前記特徴量取得手段で取得した特徴量データと前記圧縮手段で取得した圧縮データとを、送信データとして送信先の装置へ送信する送信手段とを備える。
本発明によれば、紙原稿等の画像を電子化して圧縮する際に、送信や保存に適したサイズでありながら、当該原稿に含まれる画像部分に関して良好な検索結果が得られる電子データが生成される。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
図1は実施形態による画像処理システムの構成例を示すブロック図である。図1に示すように、画像処理装置101はスキャナ部111、送信データ作成部112、送信部113を備える。スキャナ部111は、紙原稿を光電変換して画像データを生成する。送信データ策西部112は、スキャナ部111で得られた画像データに圧縮などの処理を施し、送信データを作成する。送信部113は、送信データ作成部112で作成された送信データを外部(画像データベース102或いはコンピュータ装置103)に送信する。なお画像処理装置101は、スキャナ装置に送信データ作成部112を設けた構成でもよいし、汎用コンピュータにスキャナ装置がローカル接続された形態であってもよい。
画像データベース102には、写真や図面などのデータが保存されている。コンピュータ装置103は、汎用コンピュータ(例えばパーソナルコンピュータ)により構成することができる。コンピュータ装置103は不図示のCPUやメモリ、ネットワークインターフェース等のハードウエアと、ソフトウエアとの協働により、受信部131、保存部132、画像検索部133、アプリケーション実行部134として機能する。受信部131は、画像処理装置101(送信部113)から送信された送信データを受信する。保存部132は、受信部131で受信した受信データを保存する。保存部132は、半導体メモリあるいはハードディスクなどで構成され得る。画像検索部133は、画像データベース102から必要な画像データを取得する。アプリケーション実行部134はそれらのデータ(画像データ)を利用するプログラムを実行する。
なお、画像処理装置101、画像データベース102、コンピュータ装置103はLANやインターネットなどの有線あるいは無線のネットワーク104により、相互に通信可能に接続されている。
以下、図1の画像処理システムを用いて実行される実施形態による処理の概略を、第一及び第二の2つ処理に分けて説明する。第一の処理は、ユーザが紙の原稿を画像処理装置101でスキャンして、そのデータをコンピュータ装置203へ送信し、同装置内に保管する送信保管処理である。ここで、ユーザがスキャンした紙原稿はコンピュータ装置103あるいはネットワーク104上の他のコンピュータで作成されたものである。なお、当該原稿中に含まれる写真や図などのオリジナルデータは画像データベース102に保存データとして納められているものとする。
なお、送信保管処理において、送信時の効率や保存効率を良くするために、スキャンされた画像データは極めて高い圧縮率で圧縮を施される。具体的には原稿画像の文字部とそれ以外とを分離し、文字は解像度は落さずに2値化など減色を施して可逆の圧縮コードに変換される。それ以外の画像は解像度を落して非可逆で高圧縮のコードに変換される。こうして、原稿画像を高い圧縮率で圧縮することが可能になる。
第二の処理は、ユーザが先に保存したデータの一部を利用してあらたなデータを作成する利用処理である。たとえば、アプリケーション実行部134により文書編集機能を有するアプリケーションをコンピュータ装置103で実行し、保存したデータに含まれる写真や図、あるいは文字の部分を画像を選択的に抽出して編集中の文書に挿入するような場合である。
上記送信保管処理で保存された保存データから抽出可能な画像データは、文字部分については高解像度かつ可逆圧縮されたものであるが、写真や図などの部分の画像は解像度を落として非可逆高圧縮を施されたものであるため品質が低い。よって、利用処理では、当該画像のオリジナルデータに相当するものを画像データベース102より検索し、取得が可能であればそのデータを利用することにする。
以下、送信保管処理と利用処理についてより詳細に説明する。
まず、ユーザが紙の原稿を画像処理装置101でスキャンして、その内容をコンピュータ装置103へ送信し、保管する送信保管処理について、図2〜図4、図6、図8を参照して説明する。図2の(a)は画像処理装置101の動作を、(b)はコンピュータ装置103の動作を示すフローチャートである。
ステップS201において、画像処理装置101は、スキャンしたデータの送信先を不図示のユーザインターフェース(以下、UIという)を介してユーザによって指定された送信先に設定する。この例では、コンピュータ装置103が指定されたものとする。ステップS202において、スキャナ部111は、原稿画像を公知の光電変換処理によって電子的な画像データに変換する。ステップS203において、送信データ作成部112は、ステップS202で得た画像データに圧縮や特徴量抽出などの所定処理を施し、送信データを作成する。
ここで、ステップS303において送信データ作成部112がおこなう処理について図3及び図4を参照して詳細に説明する。図3は送信データ作成部103の詳細な構成例を示すブロック図である。また、図4は送信データ作成部103の詳細な処理を説明するフローチャートである。
ステップS501では、文字領域検出部301が入力された多値画像310より文字領域を検出して複数の文字領域座標321を作成する。文字領域の検出には、公知の領域分割技術を用いることができる。領域分割技術とは1ページ分の画像データを文字/図画/写真/線/表等の属性を持つ領域へと分割する処理である。なお、領域分割技術については、USP5,680,478に詳細に記載されているので、ここではその内容を簡単に説明する。
まず入力多値画像を2値化して白黒画像を作成する。2値化の方式としては公知の方式を適用可能である。次に、この白黒画像に対して8連結の黒画素輪郭追跡をおこなって黒画素の塊を抽出する。ここで面積の大きい黒画素の塊についてはその内部から4連結の白画素輪郭追跡をおこなって白画素の塊を抽出する。そして、さらに一定面積以上の白画素の塊の内部から再び黒画素輪郭追跡をおこなって黒画素の塊を抽出する。
続いて、得られた黒画素の塊を大きさや形状、密度などで分類し、必要であればグループ化して文字/図画/写真/線/表など異なる属性を持つ複数種類の属性の領域へ分類していく。たとえば、縦横比が1に近く、大きさが定められた範囲のものを文字相当の画素塊とし、そのような文字相当の画素塊が互いに近接して整列していてグループ化が可能な部分を文字領域と判定する。また、それらを除いた黒画素塊のうち所定の基準以上に扁平な画素塊は単独で線領域と判定する。また、一定大きさ以上でかつ四角系の白画素塊が整列して内包される黒画素塊の占める範囲を表領域と判定する。また、不定形の画素塊が散在している部分をグループ化した領域を写真領域と判定する。そして、これらの領域以外の任意形状の画素塊が占める領域を図領域と判定する。
図6の(a)に領域分割に対する入力多値画像の例を、図6の(b)に(a)に示した入力多値画像の分割結果の例を示す。上記ステップS401の処理により、図6の(a)に示された入力多値画像は、図6の(b)に示される如く領域分割される。ステップS401では、このような領域分割によって得られた複数の領域のうち、文字領域の位置、範囲を示す文字領域座標321を作成する。
ステップS402では、画像領域検出部307が入力の多値画像310の中の写真領域や図領域などの画像領域を検出して複数の画像領域座標325を作成する。画像領域の検出はステップS401でおこなった領域分割処理の結果を利用することができる。すなわち領域分割処理の結果から得られる写真領域および図領域を画像領域とみなして、それぞれの位置、範囲を示す画像領域座標を作成する。
ステップ403では、画像特徴量生成部308が上記画像領域座標325と多値画像310とから各画像の画像特徴量を示す特徴量コード326を作成する。画像特徴量としては、画像から抽出される色のヒストグラム、色の構造、エッジのヒストグラム、テクスチャなど様々な方式のものがある。ただし、特徴量の抽出目的は、画像データベース102より画像データを検索することにあるので、画像データベース102にて使用されている、あらかじめ定められた方式に従って求めることとなる。
本例では、画像データベース202で使用される画像特徴量の1例として、エッジヒストグラムについて説明する。エッジヒストグラムでは、まず画像を4×4の格子状にブロック分割する。そして、各ブロックから垂直エッジ、水平エッジ、角度45度のエッジ、角度135度のエッジ、および方向性のないエッジの5種類についてそのエッジ量を抽出する。エッジヒストグラムとは、こうして得られた、合計4×4×5=80のエッジ量からなる特徴量ベクトルである。なお、エッジ量とは、各ブロックの総ピクセル数に対するエッジを表すピクセル数の合計を量子化したものである。具体的には1ブロックを統計上十分な数の小領域へと分割し、各小領域内の輝度分布から上記5種のエッジに対応するフィルタを用いてエッジ量を得ることができる。
なお、画像データベース102で用いられる特徴量に従って、他の方法の画像特徴量を用いたり、複数の画像特徴量を組み合せる形で抽出してもよい。
ステップS404では、文字領域画像作成部302が文字領域座標321と多値画像310から、文字領域画像311を作成する。具体的には、多値画像310の各文字領域範囲に対し、公知の2値化手法をおこなって2値画像を取得する。なお、2値画像内の画素値は文字線にあたる画素を1、それ以外を0とする。
ステップS405において、文字色抽出部304は、上記文字領域画像311の文字線部分の画素と原画像を参照しながら文字線部分の代表色(文字領域代表色323)を算出する。文字色抽出部304は、対応する文字領域画像の文字線に対し細線化を施した細線化2値画像を作成し、その細線化2値画像上で1の画素に対応する多値画像310上の画素値の平均値をその領域の文字色とする。もし得られる画素値のばらつきが大きい場合は、文字領域を文字単位に分割してその各々に文字色を割りあてるようにしてもよい。
ステップS406では、文字部塗り潰し部303が文字領域画像111の黒画素に対応する多値画像310上の画素を、その周辺の色と同等の色で塗り潰して下地画像312を作成する。
文字部の塗り潰しは次のようにして行われる。まず対象の文字領域画像を1画素分だけ太らせた2値画像を作成する。これは例えば以下のようにして行う。まず、2値画像である文字領域画像からそれぞれ1ドットずつ上、左、右、下にずらした4つの画像を作成する。そして、もとの画像と合せて5つの画像を各画素のORをとって重ねあわせることにより作成される。このように太らせた2値画像上で0にあたる画素に対し、多値画像310上での平均画素値を求める。この平均画素値で多値画像310上の文字部画素、すなわち太らせた2値画像で1にあたる画素を塗り潰すことで、文字周辺の色のにじんだ画素を含めて塗り潰されることになり、より平坦度合の高い下地画像312が得られる。
ステップS407において、文字領域画像圧縮部305は複数の文字領域画像311を圧縮して複数の圧縮コードA322を作成する。ここでは、MMRにより2値の文字領域画像を各々非可逆圧縮して圧縮コードA322を作成するものとする。
次に、ステップS408において、下地画像圧縮部306は下地画像312を圧縮して圧縮コードB124を作成する。ここでは、下地画像312を半分の解像度になるように間引いたうえで、JPEGを用いて非可逆圧縮し、圧縮コードB124を作成するものとする。なお、目標とする圧縮率に応じ33%、25%など、解像度の変換率は変化させてもよい。
ステップS409では、以上のようにして生成された文字領域座標321、圧縮コードA322、文字領域代表色323、圧縮コードB324、画像領域座標325、画像特徴量コード326のデータを合わせて送信データ320とする。なお、ここでは送信データの形式として、PDFを用いるものとし、圧縮コードA322および圧縮コードB324を描画データとして記述する。その他の情報はメタデータとしてXMLオブジェクト形式で記述するものとするが、別の形式、たとえばSVGなどを用いてもよい。
また、メタデータ記述の具体例として、たとえば画像特徴量コード326につては、非特許文献2(MPEG-7 MDS(ISO/IEC 15938-5))および非特許文献1(MPEG-7 Visual (ISO/IEC 15938-3))を用いた符号化方法がある。ステップS403で求めたエッジヒストグラム画像特徴量に対する符号記述例を図8に示す。
以上で、図2のステップS203による送信データ作成処理を終える。
次に、図2のステップS204では、ステップS203で作成された送信データを送信部113がステップS201で指示された送信先(本例ではコンピュータ装置103)へ送信する。
図2の(b)のフローチャートは、コンピュータ装置103の動作を示している。ステップS205では、受信部131がステップS204で送信されたデータを受信する。ステップS206では、保存部132が受信部131が受信したデータを保存する。なお、保存部132はメモリ或いはハードディスク等の記憶媒体を備える。
次に、第二の処理であるところの、保存されたデータの利用処理について、図5のフローチャートを用いて詳細に説明する。
ステップS501では、ユーザの指示に基づいて、保存部132に保存されているデータを読み出す。ステップS502では、データが表わすスキャンページのどの部分を抽出するかを、ユーザがコンピュータ装置103に接続された不図示のディスプレイおよびマウスやキーボードなどを用いて領域指定する。
図7はこのような領域指定をおこなう際のUI画面の例である。図7においてページ画像701は送信データ320からページを再構成するように展開して作られた画像である。より具体的には、圧縮コードB324を展開した画像の上に、圧縮コードA323を展開して得られた文字画像を文字領域座標321を基に描画することで、ページ画像701を得ることができる。領域702〜705は選択可能な領域を示す枠であり、領域702、705は文字領域座標321に対応する文字領域の指定枠、領域703は図領域、領域704は写真領域で、いずれも画像領域座標325に対応する画像領域の指定枠である。なお、各領域に対応した枠は、画像領域座標325、文字領域座標321を参照することにより表示される。
ユーザはマウスやキーボードなどを用いた一般的なGUI操作により、領域702〜705の指定枠のいずれかを選択することで、抽出領域を指定することができる。また、それらの枠とは無関係に、所望の領域に対し、マウスのドラッグ等によって任意の新規枠を作成してその範囲内を抽出領域とすることもできる。
図5に戻って、ステップS503では、ステップS502で指定された領域が文字領域であれば、ステップS510に進む。ステップS510では、圧縮コードA323を展開して得た画像データから、指定領域に対応するものを、抽出対象の画像データとして出力し終了する。文字領域以外の場合はステップS504に進む。ステップS504では、ステップS502で指定された領域が画像領域かどうかを判定する。画像領域であればステップS505へ進む。それ以外の場合、すなわち指定された領域が文字領域でも画像領域でもない場合は、指定された領域はユーザによって任意に指定された領域であり、処理はステップS509に進む。
ステップS505では、指定された画像領域に対応する画像データと一致するものを、画像データベースに対する検索によって取得するかどうかをユーザに問い合わせる。ユーザが検索を指示した場合はステップS506に、そうでない場合はステップS507に進む。
ステップS506では、指定された画像領域に対応する画像データと一致するものを画像データベース102から取得する。これは指定された画像領域の特徴量コード326を検索キーとして、画像データベース102に含まれる各々の画像に対して付加されている特徴量と比較し、類似しているものを候補として抽出する。特徴量の比較は、各特徴量の種類に応じた方法でおこなう。例えば、図4のステップS403で説明したエッジヒストグラムの場合、比較する2画像の双方の特徴量ベクトル間の距離を求め、その値が小さい場合両者の画像は類似していると判定する。
ステップS507では、検索結果が正しいかどうかをユーザに確認する。例えば、検索結果によって得られた画像を縮小表示し、ユーザに確認させる。検索結果が正しいと判定された場合、処理はステップS508へ進み、正しくないと判定された場合はステップS509へ進む。なお、確認方法は、検索結果の候補が複数ある場合はそれらを提示して正しいひとつを選択させるなど、一般的な方法を用いるものとする。ステップS508では、検索によって得られた画像データを、抽出対象の画像データとして出力し終了する。
ステップS503,S504において指定された領域が文字領域でも画像領域でもないと判定された場合、即ち、指定された領域がユーザによって任意に指定された領域であると判定された場合、処理はステップS509に進む。ステップS509では、下地画像から指定領域部分のみを切り出した画像データを、抽出対象の画像データとして出力し終了する。
以上説明したように、実施形態によれば、ユーザが紙の原稿を画像処理装置101でスキャンして、そのデータをコンピュータ装置103へと送信し、同装置内に保存する。このとき送信されるデータは、文字領域は解像度を落とさず可逆圧縮し、それ以外の領域は低解像を落として非可逆の高圧縮を施す。この結果、文字等の可読性は失なわずにデータ量が大幅に削減され、送信効率や保存効率が良いデータとなる。
また、高圧縮を施された部分に含まれる画像領域については、圧縮前の画像から求めた画像特徴量がデータ中に含まれている。従って、後にユーザがこの画像領域のデータを別文書に挿入するといったように利用する場合、保存データに含まれる画像特徴量を検索キーに用いて当該画像領域のオリジナルデータを検索することができる。このように圧縮前の画像から求めた画像特徴量を用いることにより、高圧縮により劣化した下地画像から求めた画像特徴量を用いて画像を検索するよりも、精度の高い検索結果を得ることが可能となる。このため、使い勝手が著しく向上する。
以上のように、上記実施形態によれば、紙の原稿を電子化して得られた画像を圧縮する際に、送信や保存に適したサイズでありながら、中に含まれる画像部分に対し良好な検索結果が得られるような情報を含む電子データを生成することができる。
<他の実施形態>
上記実施形態においては、文字領域を高解像度で可逆圧縮、画像領域は画像特徴量を抽出するかわりに低解像度、非可逆高圧縮が適用されるようにした。しかしながら、文字以外の任意領域に対しても情報劣化の小さい圧縮方式を適用し、そのかわり画像特徴量の抽出をおこなわないようにしてもよい。
上述のような操作を実現する場合、ユーザに対し領域ごと、あるいは属性毎に、画像特徴量を添付して情報劣化の大きい圧縮方式や適用するか、あるいは画像特徴量を添付せずに情報劣化の小さい圧縮方式を適用するかを選択できるようにする。また、情報劣化の小さい圧縮方式が選択された領域に対しては画像特徴量の添付を自動的に禁止するように構成してもよい。
また、原稿中に含まれる画像領域がなだらかでエッジの少ない自然画のみの場合は、JPEG圧縮により大幅にサイズを削減しても情報の劣化が少ない。このような場合、むしろ特徴量の添付によるデータ量の増加が送信や保存の効率を下げる可能性もある。このような場合は、画像特徴量の添付をおこなわないように指示することで、送信されるデータの送信や保存の効率を維持することができる。
また、上記の場合でも、画像特徴量が添付されない領域に対しては、情報劣化の少ない方式で圧縮された画像データから特徴量が抽出できるので、検索の場合の精度を維持することができる。よって、紙の原稿を電子化して圧縮する際に、送信や保存に適したサイズでありながら、中に含まれる画像部分に対し良好な検索結果が得られるような電子データを生成することができる。このような操作を実現する場合は、ユーザに対して領域毎に画像特徴量を添付するか否かを選択できるようにすればよい。
以上のように、上記実施形態によれば、紙の原稿を電子化して圧縮する際に、中に含まれる画像領域に対して、画像劣化をともなう高圧縮処理が施される前の画像特徴量が抽出され、圧縮後の電子データに付加される。そのため、データ量を大きく削減しながら、その中の画像領域に関しては精度の高い検索をおこなう電子データを生成することが可能となる。
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。
実施形態の情報処理システムの構成例を示すブロック図である。 実施形態の送信保管処理を説明するフローチャートである。 実施形態の送信データ作成処理のための機能構成を示すブロック図である。 送信データ作成処理の手順を示すフローチャートである。 保存データの利用処理を説明するフローチャートである。 領域分割処理の実行例を示す図である。 保存データの利用処理における、領域指定をおこなう際のUI画面の例を示す図である。 エッジヒストグラム画像特徴量に対する符号記述例を示す図である。

Claims (13)

  1. 入力画像を複数種類の属性に応じて複数の領域に分割する分割手段と、
    前記分割手段で分割された複数の領域のうち、第1の属性の領域については当該第1の属性の領域を検索するための特徴量データを前記入力画像から取得する一方、第2の属性の領域については特徴量データを取得しない特徴量取得手段と、
    前記第1の属性の領域に対応する画像については非可逆圧縮処理を施し、前記第2の属性の領域に対応する画像については可逆圧縮処理を施すことにより、圧縮データを取得する圧縮手段と、
    前記特徴量取得手段で取得した特徴量データと前記圧縮手段で取得した圧縮データとを、送信データとして送信先の装置へ送信する送信手段とを備えることを特徴とする画像処理装置。
  2. 入力画像を複数種類の属性に応じて複数の領域に分割する分割手段と、
    前記分割手段で分割された複数の領域のうち、第1の属性の領域については当該第1の属性の領域を検索するための特徴量データを前記入力画像から取得する一方、第2の属性の領域については特徴量データを取得しない特徴量取得手段と、
    前記第1の属性の領域に対応する画像については情報劣化の大きい圧縮処理を施し、前記第2の属性の領域に対応する画像については情報劣化の小さい圧縮処理を施すことにより、圧縮データを取得する圧縮手段と、
    前記特徴量取得手段で取得した特徴量データと前記圧縮手段で取得した圧縮データとを、送信データとして送信先の装置へ送信する送信手段と、を備えることを特徴とする画像処理装置。
  3. 前記特徴量取得手段で特徴量データが取得された領域の位置を示す座標情報を取得する座標取得手段を更に備え、
    前記送信手段は、前記特徴量データ、前記座標情報及び前記圧縮データを、前記送信データとして送信することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記第1の属性の領域は自然画及び/又は図を含む画像領域であり、前記第2の属性の領域は文字領域であることを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  5. 前記非可逆圧縮処理では、前記第1の属性の領域に対応する画像の解像度を落としてから非可逆圧縮処理が行われることを特徴とする請求項に記載の画像処理装置。
  6. 前記第1の属性の領域に対応する画像は、前記入力画像において前記第2の属性の領域に対応する部分を周囲の色で塗りつぶすことにより得られる下地画像であることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記第2の属性の領域に対応する画像は、前記入力画像における前記第2の属性の領域を2値化することにより得られる2値画像であることを特徴とする請求項1に記載の画像処理装置。
  8. 前記分割手段によって分割された複数の領域の各々について、前記特徴量取得手段で前記特徴量データを取得して且つ前記圧縮手段で情報劣化の大きい圧縮処理を施すか、前記特徴量取得手段で前記特徴量データを取得せずに且つ前記圧縮手段で情報劣化の小さい圧縮処理を施すかを、ユーザの指示に基づいて設定する設定手段を更に備えることを特徴とする請求項に記載の画像処理装置。
  9. 前記分割手段で分割される領域の属性毎に、前記特徴量取得手段で前記特徴量データを取得して且つ前記圧縮手段で情報劣化の大きい圧縮処理を施すか、前記特徴量取得手段で前記特徴量データを取得せずに且つ前記圧縮手段で情報劣化の小さい圧縮処理を施すかを、ユーザの指示に基づいて設定する設定手段を更に備えることを特徴とする請求項に記載の画像処理装置。
  10. 画像処理装置の分割手段が、入力画像を複数種類の属性に応じて複数の領域に分割する分割工程と、
    前記画像処理装置の特徴量取得手段が、前記分割手段で分割された複数の領域のうち、第1の属性の領については当該第1の属性の領域を検索するための特徴量データを前記入力画像から取得する一方、第2の属性の領域については特徴量データを取得しない特徴量取得工程と、
    前記画像処理装置の圧縮手段が、前記第1の属性の領域に対応する画像については非可逆圧縮処理を施し、前記第2の属性の領域に対応する画像については可逆圧縮処理を施すことにより、圧縮データを取得する圧縮工程と、
    前記画像処理装置の送信手段が、前記特徴量取得工程で取得した特徴量データと前記圧縮工程で取得した圧縮データとを、送信データとして送信先の装置へ送信する送信工程とを備えることを特徴とする画像処理方法。
  11. 画像処理装置の分割手段が、入力画像を複数種類の属性に応じて複数の領域に分割する分割工程と、
    前記画像処理装置の特徴量取得手段が、前記分割手段で分割された複数の領域のうち、第1の属性の領については当該第1の属性の領域を検索するための特徴量データを前記入力画像から取得する一方、第2の属性の領域については特徴量データを取得しない特徴量取得工程と、
    前記画像処理装置の圧縮手段が、前記第1の属性の領域に対応する画像については情報劣化の大きい圧縮処理を施し、前記第2の属性の領域に対応する画像については情報劣化の小さい圧縮処理を施すことにより、圧縮データを取得する圧縮工程と、
    前記画像処理装置の送信手段が、前記特徴量取得工程で取得した特徴量データと前記圧縮工程で取得した圧縮データとを、送信データとして送信先の装置へ送信する送信工程とを備えることを特徴とする画像処理方法。
  12. コンピュータを、請求項1乃至9のいずれか一項に記載の画像処理装置の各手段として機能させるための制御プログラム。
  13. 請求項12に記載の制御プログラムを格納したコンピュータ読み取り可能な記憶媒体。
JP2005255613A 2005-09-02 2005-09-02 画像処理装置及び方法 Expired - Fee Related JP4717562B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005255613A JP4717562B2 (ja) 2005-09-02 2005-09-02 画像処理装置及び方法
US11/468,918 US8045801B2 (en) 2005-09-02 2006-08-31 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005255613A JP4717562B2 (ja) 2005-09-02 2005-09-02 画像処理装置及び方法

Publications (3)

Publication Number Publication Date
JP2007074030A JP2007074030A (ja) 2007-03-22
JP2007074030A5 JP2007074030A5 (ja) 2008-10-16
JP4717562B2 true JP4717562B2 (ja) 2011-07-06

Family

ID=37830099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005255613A Expired - Fee Related JP4717562B2 (ja) 2005-09-02 2005-09-02 画像処理装置及び方法

Country Status (2)

Country Link
US (1) US8045801B2 (ja)
JP (1) JP4717562B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
JP2008236169A (ja) * 2007-03-19 2008-10-02 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP4829836B2 (ja) * 2007-04-26 2011-12-07 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、コンピュータプログラム、復号装置、及びコンピュータ可読記憶媒体
JP4871822B2 (ja) * 2007-09-20 2012-02-08 キヤノン株式会社 画像符号化装置及びその制御方法
JP5155210B2 (ja) * 2009-02-09 2013-03-06 ソニー株式会社 画像比較装置及びその方法、画像検索装置、並びにプログラム及び記録媒体
US8648858B1 (en) * 2009-03-25 2014-02-11 Skyfire Labs, Inc. Hybrid text and image based encoding
JP5208043B2 (ja) * 2009-04-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8229912B2 (en) * 2009-05-06 2012-07-24 Mentis Technology, Llc Enhanced search engine
JP5052569B2 (ja) * 2009-06-25 2012-10-17 シャープ株式会社 画像圧縮装置、画像圧縮方法、画像伸張装置、画像伸張方法、画像形成装置、コンピュータプログラム及び記録媒体
JP5482888B2 (ja) * 2010-03-08 2014-05-07 コニカミノルタ株式会社 画像形成システム、コントローラ及びラスタライズアクセラレータ
JP2011244031A (ja) * 2010-05-14 2011-12-01 Fujifilm Corp 画像データ伸張装置および画像データ圧縮装置,ならびにそれらの動作制御方法
KR102013240B1 (ko) * 2012-02-02 2019-08-22 삼성전자주식회사 영역별 특성에 기초한 영상 부호화 방법 및 그 장치, 그리고 영상 복호화 방법 및 그 장치
CN103829965B (zh) * 2012-11-27 2019-03-22 Ge医疗系统环球技术有限公司 使用标记体来引导ct扫描的方法和设备
US9277218B2 (en) * 2013-01-22 2016-03-01 Vixs Systems, Inc. Video processor with lossy and lossless frame buffer compression and methods for use therewith
JP6541242B2 (ja) * 2016-02-10 2019-07-10 富士フイルム株式会社 商品設計支援装置及び商品設計支援方法
JP6708476B2 (ja) * 2016-05-27 2020-06-10 キヤノン株式会社 文書保存処理システム
CN110446041B (zh) * 2018-05-02 2021-11-19 中兴通讯股份有限公司 一种视频编解码方法、装置、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348467A (ja) * 2003-05-22 2004-12-09 Canon Inc 画像検索装置及びその制御方法、プログラム
JP2005056907A (ja) * 2003-08-05 2005-03-03 Hitachi Ltd 画像データの管理方法および画像データのサービスシステム
JP2005204206A (ja) * 2004-01-19 2005-07-28 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680479A (en) 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
US5432870A (en) * 1993-06-30 1995-07-11 Ricoh Corporation Method and apparatus for compressing and decompressing images of documents
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
US6598054B2 (en) * 1999-01-26 2003-07-22 Xerox Corporation System and method for clustering data objects in a collection
US20020037097A1 (en) * 2000-05-15 2002-03-28 Hector Hoyos Coupon recognition system
US7133565B2 (en) * 2000-08-25 2006-11-07 Canon Kabushiki Kaisha Image processing apparatus and method
JP4366003B2 (ja) 2000-08-25 2009-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP4366011B2 (ja) * 2000-12-21 2009-11-18 キヤノン株式会社 文書処理装置及び方法
US20030210803A1 (en) * 2002-03-29 2003-11-13 Canon Kabushiki Kaisha Image processing apparatus and method
JP4251629B2 (ja) * 2003-01-31 2009-04-08 キヤノン株式会社 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
US7508986B2 (en) * 2003-11-28 2009-03-24 Canon Kabushiki Kaisha Document recognition device, document recognition method and program, and storage medium
US7324711B2 (en) * 2004-02-26 2008-01-29 Xerox Corporation Method for automated image indexing and retrieval
JP4477468B2 (ja) * 2004-10-15 2010-06-09 富士通株式会社 組み立て図面の装置部品イメージ検索装置
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
JP4771804B2 (ja) * 2005-12-20 2011-09-14 富士通株式会社 レイアウト解析プログラム、レイアウト解析装置、レイアウト解析方法
JP4424309B2 (ja) * 2006-01-23 2010-03-03 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、文字判定プログラム、および文字判定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348467A (ja) * 2003-05-22 2004-12-09 Canon Inc 画像検索装置及びその制御方法、プログラム
JP2005056907A (ja) * 2003-08-05 2005-03-03 Hitachi Ltd 画像データの管理方法および画像データのサービスシステム
JP2005204206A (ja) * 2004-01-19 2005-07-28 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体

Also Published As

Publication number Publication date
US20070053602A1 (en) 2007-03-08
JP2007074030A (ja) 2007-03-22
US8045801B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
JP4717562B2 (ja) 画像処理装置及び方法
JP4708888B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US8077986B2 (en) Information processing apparatus, method of controlling same and computer program
US7551753B2 (en) Image processing apparatus and method therefor
JP4047192B2 (ja) 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム
JP4646797B2 (ja) 画像処理装置及びその制御方法、プログラム
US8244035B2 (en) Image processing apparatus and control method thereof
US8417029B2 (en) Image processing apparatus and method, including fill-up processing
US7623712B2 (en) Image processing method and apparatus
US7831107B2 (en) Image processing apparatus, image processing method, and program
JP4366011B2 (ja) 文書処理装置及び方法
KR20090004904A (ko) 모델-기반 디워핑 방법 및 장치
JP2007305034A (ja) 画像処理装置、その制御方法、コンピュータプログラム
JP4579759B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP3715905B2 (ja) 画像処理装置、画像処理方法、プログラム並びに記憶媒体
JP4364809B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2010056827A (ja) 画像処理装置および画像処理プログラム
JP2006025129A (ja) 画像処理システム及び画像処理方法
JP2003338935A (ja) 画像処理装置および方法
US9524553B2 (en) Image processing apparatus, image processing method, and recording medium
JP3817506B2 (ja) 画像圧縮装置、画像伸長装置及びそれらの方法、プログラム
JP3870147B2 (ja) 画像圧縮装置、画像伸長装置及びそれらの方法、プログラム
JP2003338934A (ja) 画像処理装置および方法
JP2005204206A (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP2004242075A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110325

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110330

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees