JP4679425B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP4679425B2
JP4679425B2 JP2006116780A JP2006116780A JP4679425B2 JP 4679425 B2 JP4679425 B2 JP 4679425B2 JP 2006116780 A JP2006116780 A JP 2006116780A JP 2006116780 A JP2006116780 A JP 2006116780A JP 4679425 B2 JP4679425 B2 JP 4679425B2
Authority
JP
Japan
Prior art keywords
image
contour
image block
identification code
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006116780A
Other languages
English (en)
Other versions
JP2007288732A (ja
Inventor
井 正 三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006116780A priority Critical patent/JP4679425B2/ja
Priority to US11/785,693 priority patent/US8019165B2/en
Publication of JP2007288732A publication Critical patent/JP2007288732A/ja
Application granted granted Critical
Publication of JP4679425B2 publication Critical patent/JP4679425B2/ja
Priority to US13/137,196 priority patent/US8150177B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。
従来の技術とその問題点につき、半導体の製造工程で形成される微細パターンのSEM(canning lectron icroscope)画像を例に取って説明する。
半導体の微細パターンを評価するために、CDSEMを用いた寸法計測(CD(ritical imension)計測)が実施されている。CDSEMでは計測対象パターンを上方から観察したSEM画像を取得し、これをもとにパターン各部の寸法が装置により計測される。ここで、取得されたSEM画像は、後に再度の計測および観察を目的に、EWSに接続されたHDD等の記録媒体に格納される場合がある。画像を計測する場合、保存される画像のフォーマットとして、計測時の計測精度を劣化させないためには、BMP(Device Independent Bitmap)等のピクセルベースフォーマットを用いることが好ましい。BMPはPCの機種に依存しないWindows(登録商標)での標準画像フォーマットとして普及しているが、画像のファイルサイズが大きくなるという欠点がある。例えば、4096×4096の大きさの8ビット階調イメージではファイルサイズは16MBにもなり、これではHDD等のデータ格納のための記憶媒体資源や画像処理を実行するPCのCPU資源を浪費してしまう。また、ネットワークを介して画像データを転送する際にも、ネットワークの負荷を増大させ、転送にかかる時間も長くなるという問題がある。
画像ファイルをHDD等に格納する際に、可逆圧縮であるRLE(un ength ncoding)方式で圧縮することでファイルサイズを小さくし、その画像を利用する際に解凍することで、HDD等の記憶媒体資源を節約することも可能である。しかしながら、SEM画像のような自然画像では、一般に、圧縮による画像サイズの縮小効果は小さく、また、圧縮、解凍のために新たなCPU資源と処理時間が必要となる。
また、インターネット等のネットワークを通じた画像転送では、標準的に使用され圧縮効率が高い圧縮画像フォーマットであるJPEG(oint hotographic xperts roup)を使用することも可能ではある。JPEGは自然画像の圧縮保存を目的に開発された画像フォーマットであり、不可逆圧縮ではあるが、画像によっては画像のファイルサイズを数十分の1程度にできるという利点がある。しかし、JPEGでは画像保存の際に圧縮率を指定できるものの、圧縮率を上げると画像の高周波成分が失われ、画像のエッジ情報の劣化の度合が大きくなり、計測の際に計測精度が低下してしまうという欠点がある。このように、JPEG画像は計測用の画像フォーマットには適していない。
JPEGとは別に自然画像ではなく、イラストのような線画の圧縮に適した方法としてベクトル量子化圧縮(VQ:ector uantization)という方法も提案されている。この方法は画像を小さな画像ブロックに分割し、分割された個々の画像ブロックを多次元空間の1点と見なし、ベクトル量子化を実行することで画像ブロックの種類を少なくし、さらに、これらの量子化された画像ブロックに識別コード番号をつけて作成する、コードブックと呼ばれるものを用いることを特徴としている。
しかしながら、この方法の弱点として、再生画像にブロックの繋ぎ目が表れてしまうことで、人間の目は誤魔化せても、計測にはやはり不適切であるという状況はJPEGと変わりない。
ネットワークを介して画像データを計測する場合、大きいサイズの画像を対象とするときは、ネットワークの負荷を低減するための手段が特に重要である。図8は、回線速度と転送時間との関係を画素サイズ毎に示した表である。同図から4096×4096の画像では40MbpsのFTTH回線でも転送に約3秒かかり、大量の画像を計測する際には計測処理速度を律速してしまうことが分る。さらには、計測対象となる画像は、通常、量産工場の製品の画像であって、企業秘密であるそれらの画像がインターネット回線を通じて社外に出ることは、セキュリティ上重大な問題を伴う。画像の暗号化等によりその対策を講ずることは可能だが、暗号のエンコード、デコードに大きなCPUリソースと処理時間を必要とするという問題もある。
特開平11−8848号公報 特開2000−40966号公報 特開2001−94991号公報 特開2001−204024号公報
本発明の目的は、画像の圧縮もしくは再生または圧縮および再生を高い精度で効率良く実現する画像処理装置、画像処理方法およびプログラムを提供することにある。
本発明は、以下の手段により上記課題の解決を図る。
即ち、本発明の第1の態様によれば、
第1の輪郭を含むコードブック作成用画像から複数の方向で検出された前記第1の輪郭の輪郭点およびその周辺領域を予め設定されたサイズで切り取ることにより生成された複数の第1の画像ブロックを多次元空間中に分布したベクトルとみなして輪郭検出の前記複数の方向のそれぞれにつき所定数の代表ベクトルを生成する量子化処理を実行して作成された第2の画像ブロックに識別コードを割り当てて作成されたコードブックを用いて画像を圧縮する画像処理装置であって、
前記コードブックを格納する記憶手段と、
第2の輪郭を含む圧縮対象画像から前記第2の輪郭を前記複数の方向のうち少なくとも1つの方向で検出する輪郭検出手段と、
検出された前記第2の輪郭の輪郭点およびその周辺領域を予め設定されたサイズで切り取って複数の第3の画像ブロックを生成する画像ブロック生成手段と、
前記第3の画像ブロックに類似する前記第2の画像ブロックを前記記憶手段に格納された前記コードブックから探索する探索手段と、
探索された前記類似する第2の画像ブロックの識別コードの情報と前記第3の画像ブロックの輪郭点の座標情報とを出力する出力手段と、
を備える画像処理装置が提供される。
また、本発明の第2の態様によれば、
輪郭を含み圧縮処理がなされた画像であって、前記輪郭の輪郭点とその周辺領域とでそれぞれが構成される第1の画像ブロックの前記輪郭点の座標と、予め準備されそれぞれ識別コードが割り当てられた第2の画像ブロックを有するコードブックの前記第2の画像ブロックのうちで前記第1の画像ブロックに類似する第2の画像ブロックの識別コードと、で規定される被圧縮画像を再生する画像処理装置であって、
前記コードブックの情報を格納する記憶手段と、
前記被圧縮画像を規定する前記第1の画像ブロックの前記輪郭点座標と前記識別コードとを読み込む読込手段と、
前記識別コードに対応する前記第2の画像ブロックを前記第1の画像ブロックの前記輪郭点座標に付加する画像ブロック合成手段と、
を備える画像処理装置が提供される。
また、本発明の第3の態様によれば、
第1の輪郭を有するコードブック作成用画像から前記第1の輪郭を複数の方向で検出する手順と、
予め設定されたサイズで前記第1の輪郭の輪郭点およびその周辺領域を切り取り、複数の第1の画像ブロックを生成する手順と、
前記第1の画像ブロックを多次元空間中に分布したベクトルとみなして量子化処理を実行し、第2の画像ブロックを作成する手順と、
前記第2の画像ブロックに識別コードを割り当ててコードブックを作成する手順と、
第2の輪郭を有する圧縮対象画像から前記第2の輪郭を前記複数の方向のうち少なくとも1つの方向で検出する手順と、
予め設定されたサイズで前記第2の輪郭の輪郭点およびその周辺領域を切り取り、複数の第3の画像ブロックを生成する手順と、
前記第3の画像ブロックに類似する前記第2の画像ブロックを前記コードブックから探索する手順と、
前記第3の画像ブロックの輪郭点の座標と前記類似する前記第2の画像ブロックの識別コードとを出力する手順と、
を含む画像圧縮方法を備える画像処理方法が提供される。
さらに、本発明の第4の態様によれば、
輪郭を有し圧縮処理がなされた画像であって、前記輪郭の輪郭点とその周辺領域とでそれぞれが構成される第1の画像ブロックの前記輪郭点の座標と、予め準備されそれぞれ識別コードが割り当てられた第2の画像ブロックを有するコードブックの前記第2の画像ブロックのうちで前記第1の画像ブロックに類似する第2の画像ブロックの識別コードと、で規定される被圧縮画像を再生する方法であって、
前記コードブックの内容を読み込む手順と、
前記被圧縮画像を規定する前記第1の画像ブロックの前記輪郭点座標と前記識別コードとを読み込む手順と、
前記第1の画像ブロックの前記輪郭点座標に前記識別コードに対応する前記第2の画像ブロックを付加する手順と、
を含む画像再生方法を備える画像処理方法が提供される。
本発明は、以下の効果を奏する。
即ち、本発明によれば、自然画像の圧縮・再生においてファイルサイズの縮小によるデータ保管のコストやネットワーク転送の負荷を低減させることができる。
また、本発明によれば、再生画像のS/N比を向上でき、その画質を制御できるので、計測精度を落とすことなく再生画像を計測することもできる。
以下、本発明の実施の形態について図面を参照しながら説明する。以下では、リソグラフィ工程やエッチング工程等の半導体製造工程で形成される微細パターンのSEM画像を取り上げて説明するが、本発明はSEM画像に限定されることなく、他の様々な分野における画像全般に利用できることは勿論である。
(1)第1の実施の形態
本発明の第1の実施の形態による画像処理装置について図1および図2を参照しながら説明する。本実施形態における画像処理装置は、コードブック方式の画像圧縮装置2とコードブック方式の画像再生装置4を備える。
図1は、画像圧縮装置2の概略構成を示すブロック図である。画像圧縮装置2は、画像入力装置12と、輪郭検出装置14と、画像ブロック生成装置16と、マッチング装置18と、コードブック記憶装置20と、可変長符号化装置22と、圧縮データ出力装置24とを備える。
画像入力装置12は、圧縮対象画像を取得して輪郭検出装置14に入力する。輪郭検出装置14は、入力された圧縮対象画像から微細パターンの輪郭点を画像ブロックとしてその方向とともに検出する。画像ブロック生成装置16は、検出された輪郭点の周囲の画像を切り出す。コードブック記憶装置20は、後述する手順1〜5により作成されたコードブックを格納する。マッチング装置18は、画像ブロック生成装置16から供給された画像ブロックの情報に付加された画像ブロックの方向に最も近い方向の画像ブロックをコードブックから選択し(マッチング)、選択された画像ブロックの識別コードとともに、切り出された画像ブロックの輪郭点座標情報を可変長符号化装置22へ供給する。可変長符号化装置22は、送られた画像ブロックの輪郭点座標と選択された画像ブロックの識別コードとに対して可変長符号化処理を行い、圧縮データとして圧縮データ出力装置24に供給する。圧縮データ出力装置24は、圧縮データを外部に出力する。本実施形態において、マッチング装置18は、例えば探索手段に対応し、可変長符号化装置22および圧縮データ出力装置24は、例えば出力手段に対応する。
図2は、画像再生装置4の概略構成を示すブロック図である。画像再生装置4は、圧縮データ入力装置42と、可変長符号入力装置44と、画像ブロック合成装置52と、画像出力装置54とを備える。圧縮データ入力装置42は、画像圧縮装置2の圧縮データ出力装置24から圧縮データの供給を受け、可変長符号入力装置44に送る。可変長符号入力装置44は、圧縮データを解凍して画像ブロックの輪郭点座標と識別コードとを画像ブロック合成装置52に供給する。コードブック記憶装置50は、図1のコードブック記憶装置20に格納されたコードブックと同一のコードブックを格納する。画像ブロック合成装置52は、可変長符号入力装置44から送られた輪郭点座標を中心に、識別コードに対応する画像ブロックをコードブックから取り出して所定の再生画像領域に書き込むことにより再生画像を形成する。画像出力装置54は、画像ブロック合成装置52により形成された画像を再生画像として出力する。本実施形態において、圧縮データ入力装置42および可変長符号入力装置44は、例えば読込手段に対応する。
図1および図2にそれぞれ示す圧縮装置2および再生装置4を用いた画像の圧縮・再生方法について、本発明の第1の実施の形態による画像処理方法として図3乃至図7を参照しながら説明する。以下では、図3に示すコードブック作成用画像Imrから作成したコードブックを用いて図4の圧縮対象画像Imo(769kB)を圧縮し、図5の再生画像(258kB)として再生する手順について詳述する。
(i)コードブックの作成
画像の圧縮処理に先立ってコードブックを作成する必要がある。本実施形態では、圧縮対象画像Imoに類似するコードブック作成用画像Imrを用いてコードブックを作成する方法を示す。
(手順1)
コードブック作成用画像Imrに対してパターン輪郭を検出する。このときに、輪郭点だけでなく輪郭の方向をも併せて検出する点が本実施形態の特徴点である。輪郭の検出に際してはどのようなアルゴリズムを使用してもよい。例えばSobel Filterを用いる方法によれば、輪郭点と輪郭の方向とを同時に検出することができる。しかしながら、この方法に限ることなく、輪郭点と輪郭の方向とを別々に求める方法を用いてもよい。輪郭点はサブピクセルの精度で求めても良いが、本実施形態ではCannyの方法により、0度、45度、90度および135度の方向毎にピクセル単位で輪郭点を検出する。なお、ここでは方向の分解度として45度刻みを採用したが、圧縮対象画像の性質の他、計測等の画像使用目的で要求される仕様に応じてより細かな刻み、またはもっと粗い刻みをとってもよい。
(手順2)
次に、コードブック作成用画像Imrから、輪郭点を含み輪郭点を囲む所定ピクセル数の領域の画像を画像ブロックとして切り出す。本実施形態では輪郭点を中心に7×21ピクセルの領域の画像を切り出す。この領域は、異なる輪郭点同士で互いに重複する部分があってもかまわない。ただし、このときは輪郭点が属する方向に応じて領域の形状を変える必要がある。図6は、3×7に縮小した場合の各方向0度(図6(a)、45度(図6(b)、90度(図6(c)および135度(図6(d)の領域(画像ブロックBL1〜BL4)を例示した。なお、同図において輪郭点のセルは交差斜線で示した。
(手順3)
上記手順2によりコードブック作成用画像Imrから切り出して生成した画像ブロックのそれぞれを多次元空間中に分布したベクトルとみなし、ベクトル量子化の手法を用いて1方向につき所定数の代表ベクトルを生成する。本実施形態では32個の代表ベクトルを生成し、この結果、本実施形態では4×32=128個の画像ブロックが生成される。
(手順4)
コードブック作成用画像Imrから画像ブロックを切り出した後の画像(このようにパターン輪郭の主要な部分が切り出されて輪郭情報としての情報量が小さくなった領域を非輪郭領域という)に対して、その階調値の平均値を算出する。画像がいくつかの領域に分割されている場合には、各領域毎に平均値を算出することとしてもよい。
(手順5)
手順3により生成された画像ブロックと手順4により算出された非輪郭領域の平均階調値とに識別コードを付与し、この識別コードで画像ブロックおよび非輪郭領域の内容が参照できるようにコードブックを作成する。このとき、コードブックに輪郭検出方法や画像ブロックの設定等の付加情報を併せて書き込むこととしてもよい。
(ii)画像の圧縮
(手順6)
図1に示す圧縮装置2は、上記手順1〜5により作成されたコードブックを読み込むことにより画像圧縮の前処理に必要な情報を取得してコードブック記憶装置20の所定の記憶領域に格納する。本実施形態では付加情報として輪郭検出方法と輪郭方向の種類とを併せて取得する。なお、これらの情報をコードブックに記述する方法の他、予め取り決めをすることにより読み取りの手順を省略することも可能である。
(手順7)
輪郭検出装置14は、画像入力装置12から圧縮対象画像、例えば図4に示す512×512ピクセルの8bitグレー階調画像Imoの供給を受け、この画像Imoに対して輪郭検出処理を実行する。このとき、上記コードブック作成手順と同様に、輪郭点のみならず輪郭の方向をも一緒に検出しておく。輪郭の検出はどのようなアルゴリズムを用いてもよく、輪郭点をサブピクセルの精度で求めてもよい点は手順1と同様であるが、必ずしも手順1と同一の輪郭検出方法を使用する必要まではない。本実施形態では手順1のCannyの方法を用いて、0度、45度、90度および135度の方向毎にピクセル単位で輪郭点を検出する。これらの方向は、コードブックに記述された方向と同一である必要はないが、コードブックに記述されている方向が最低でも一つ必要である。抽出される輪郭点の総数や方向の種類は圧縮率に影響するので、ユーザがGUI(raphical ser nterface)で設定できるようにしてもよい。
(手順8)
画像ブロック生成装置16は、手順2と同様の手順で、圧縮対象画像Imoで検出された輪郭点を含む、輪郭点の周囲の領域の画像を圧縮対象画像Imoから切り出して複数の画像ブロックを生成する。輪郭点がサブピクセル単位で検出されている場合には、輪郭点が存在する画素の周囲の領域を切り出す。ここで、輪郭点と、切り出す領域との位置関係は、コードブックを作成したときの位置関係と同一でなければならない。この位置関係は、コードブックの付加情報として記述されていてもよい。
(手順9)
切り出された画像ブロックの方向に最も対応する方向の画像ブロックをコードブックからそれぞれ選択する。本実施形態においては、マッチング装置18を用いた画像マッチングによるスコア値を選択の基準とする。しかしながら、選択方法はこれに限ることなく、画像の相関を示すものであればどのようなパラメータを用いてもよい。
(手順10)
可変長符号化装置22は、マッチング装置18により選択され供給された画像ブロック(以下、類似画像ブロックという)の識別コードに対し、輪郭点座標とともに可変長符号化処理を行い、圧縮データとしてデータファイルに書き出す。この結果、圧縮対象画像Imoは、(輪郭点のX座標,輪郭点のY座標,類似画像ブロックの識別コード番号)の3要素で記述することができる。従って、例えば輪郭点の数を100とし、輪郭点の座標値を12bitの精度で検出し、コードブックのコード数を8bitとした場合、256kBある圧縮対象画像Imoのファイルサイズは、100×(12bit×2+8bit)となり、約80分の1に圧縮される。本実施形態では、輪郭点の数を減らす処理は特に実施していないため、151kBと、約60%への圧縮にとどまっている。
(iii)画像の再生
上記手順6〜10で圧縮された画像ファイルを、圧縮に使用したコードブックと同一のコードブックを用いて再生する。
(手順11)
まず、再生装置4の図示しない指定手段を介して圧縮に使用したコードブックのファイル名をユーザが指定する。この指定を受けてしてその内容をコードブック記憶装置50が所定の記憶領域に格納する。
(手順12)
圧縮データ入力装置42が、圧縮された画像ファイルを読み込み、可変長符号入力装置44が圧縮データを解凍して画像ブロックの輪郭点座標と識別コードとを画像ブロック合成装置に供給する。画像ブロック合成装置52は、まず、再生される画像のサイズに対応するメモリ領域を、図示しない記憶領域内に確保する。本実施形態でのメモリ領域のサイズは512×512である。再生画像のサイズは、上記手順10において圧縮対象画像のサイズを圧縮ファイルに持たせて可変長符号入力装置44で解凍させることにより決定してもよいし、予め設定されたサイズに従うこととしてもよい。
(手順13)
次に、画像ブロック合成装置52は、識別コードの番号に対応した画像ブロックをコードブック記憶装置に格納されたコードブックから取り出し、圧縮データの解凍により得られた輪郭点座標を中心に、手順12により図示しない記憶領域内に確保された再生画像領域に書き込む処理を全ての画像ブロックについて実行する。
(手順14)
ここで、画像ブロック同士が重なる領域が発生する場合には、それらの画像ブロックの階調値の平均を再生画像の画素値とする。
(手順15)
階調値が何もない領域がある場合には、コードブックから非輪郭領域の平均階調値として与えられる画素値を入れる。これにより、512×512×8bitの画像が再生される。
上述した手順6〜15により、圧縮され再生された画像は、図5に示すように減色されている。このため、例えばGIF(raphic nterface ormat)のような可逆圧縮を再生画像に適用すれば、被圧縮画像ファイルよりもさらに小さなファイルサイズを実現することも可能である。本実施形態では77kBとなり圧縮対象画像の約1割のサイズに圧縮される。
このように、本実施形態によれば、SEM画像のような自然画像の圧縮・再生を高い精度で効率良く実現することができる。さらに、ファイルサイズの縮小によるデータ保管のコストやネットワーク転送の負荷を低減させることもできる。
図7の表に本実施形態の応用例のいくつかを示す。
(2)第2の実施の形態
上述した第1の実施の形態では、非輪郭領域の平均階調値をコードブックに持たせたが、圧縮対象画像Imoの圧縮手順で抽出し、圧縮ファイルに記述することとしてもよい。このとき、非輪郭領域が複数に分割されている場合は、分割領域毎に平均階調値を算出して分割領域の位置とともにコードブックに記述し、画像再生処理において分割領域の位置および平均階調値をコードブックから読み取って再生画像に書き込む手順を付加すれば、より自然な再生画像を得ることができる。分割領域の位置としては例えば重心座標を用いることができる。
(3)第3の実施の形態
本実施形態では圧縮対象画像Imoからサブピクセルの精度で輪郭を検出する場合の手順を説明する。圧縮の手順自体は、圧縮ファイルのサイズが大きくなる点を除けば、第1の実施の形態で上述した手順6〜10と同一である。画像を再生する際に、再生画像の領域をサブピクセルのサイズで用意する点が上述した手順11〜15と異なる。即ち、例えば1/10の精度で輪郭が求められた場合、再生画像としては手順11で上述したメモリ領域のサイズの各方向でそれぞれ10倍である5120×5120を考え、この画像領域に第1の実施形態と同様にして画像ブロックを書き込んでいく。このようにして生成された再生画像は、5120×5120のサイズになり、これをこのまま表示しまたは再計測に使用してもよいし、画素を圧縮して512×512のサイズに変換してもよい。
(4)第4の実施の形態
本実施形態は本発明の画像処理方法を欠陥検出に適用する方法を説明する。欠陥が存在する場合、コードブック作成用画像には存在しない種類の輪郭が圧縮対象画像に存在することになる。この場合、上述した第1の実施の形態中の手順9において、スコア値に閾値を設定することができ、この閾値を使用して欠陥を検出することができる(図7の(v)参照)。例えば、マッチング装置18によるマッチング処理において、閾値以下のスコア値しか得られなかった場合、図1の点線部分に示すように、対応する類似画像ブロックをあてがうことができなかった圧縮対象画像Imoの画像ブロック部分をそのまま圧縮ファイルに記述し、図2の点線部分に示すように、再生の際にその画像ブロックを使用すれば、再生画像中に欠陥を再生することができる。この一方、欠陥を再現したくない場合には、マッチングスコアの閾値を0に設定しておけば、コードブックでの画像ブロックだけで、いわば強制的に再生画像を表現することも可能である。さらに、コードブック中に、マッチングスコアの閾値以下のブロックに対応する識別コードを予め設定しておき、再生の際に階調値を例えば0にすれば、欠陥領域が白抜きの領域として再生画像中に現れるので、迅速かつ容易に欠陥を検出することが可能になる。
(5)第5の実施の形態
本実施形態は、例えばSEM画像の取得に際して電子ビームの照射によるチャージングの影響を画像処理にて除去する方法を提供する。
図1のコードブック作成用画像Imrと図2の圧縮対象画像Imoで例示されるように、通常、コードブックは、圧縮対象画像を代表する画像を用いて作成される。本実施形態では、再生画像に現れる効果を期待して、コードブックには通常の画像を使用し、この一方圧縮対象画像としてチャージングの影響を受けてコントラストの不均一が生じた画像を選択する。この場合でも、両画像において輪郭がほぼ同様に検出されるが、コードブック作成用画像にはコントラストの変化による輪郭の左右での非対称性はないので、被圧縮画像が再生される際に、圧縮対象画像の非対称性が再現されることがない。
このように、本実施形態によれば、新たな手順を付加することなく、圧縮対象画像におけるチャージングの影響が除去された再生画像を得ることができる(図7の(iv)参照)。
(6)プログラム
上述した画像処理方法の一連の手順は、コンピュータに実行させるプログラムとしてコンピュータに読み込ませて実行させてもよい。これにより、本発明にかかる画像処理方法を汎用のコンピュータを用いて実現することができる。プログラムは、記録媒体に収納した上でコンピュータに読み込ませてもよい。記録媒体は、フレキシブルディスクや磁気ディスク、CD−ROM、光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。また、上述した画像処理方法の一連の手順を組み込んだプログラムをインターネット等の通信回線(無線通信を含む)を介して頒布しても良い。さらに、上述した画像処理方法の一連の手順を組み込んだプログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。
本発明の第1の実施の形態による画像圧縮装置の概略構成を示すブロック図である。 本発明の第1の実施の形態による画像再生装置の概略構成を示すブロック図である。 コードブック作成用画像の一例を示す図である。 圧縮対象画像の一例を示す図である。 本発明の第1の実施の形態により再生された画像の一例を示す図である。 本発明の第1の実施の形態による画像圧縮方法における画像ブロックの切り出し方法を説明する図である。 本発明の第1の実施の形態の応用例を示す表である。 従来の技術における、回線速度と転送時間との関係を画素サイズ毎に示した表である。
符号の説明
2:圧縮装置
4:再生装置
12:画像入力装置
14:輪郭検出装置
16:画像ブロック生成装置
18:マッチング装置
20,50:コードブック記憶装置
22:可変長符号化装置
24:圧縮データ出力装置
42:圧縮データ入力装置
44:可変長符号入力装置
52:画像ブロック合成装置
54:画像出力装置
BL1〜BL4:画像ブロック
Imr:コードブック作成用画像
Imo:圧縮対象画像
Imd:再生画像

Claims (5)

  1. 第1の輪郭を含むコードブック作成用画像から複数の方向で検出された前記第1の輪郭の輪郭点およびその周辺領域を予め設定されたサイズで切り取ることにより生成された複数の第1の画像ブロックを多次元空間中に分布したベクトルとみなして輪郭検出の前記複数の方向のそれぞれにつき所定数の代表ベクトルを生成する量子化処理を実行して作成された第2の画像ブロックに識別コードを割り当てて作成されたコードブックを用いて画像を圧縮する画像処理装置であって、
    前記コードブックを格納する記憶手段と、
    第2の輪郭を含む圧縮対象画像から前記第2の輪郭を前記複数の方向のうち少なくとも1つの方向で検出する輪郭検出手段と、
    検出された前記第2の輪郭の輪郭点およびその周辺領域を予め設定されたサイズで切り取って複数の第3の画像ブロックを生成する画像ブロック生成手段と、
    前記第3の画像ブロックに類似する前記第2の画像ブロックを前記記憶手段に格納された前記コードブックから探索する探索手段と、
    探索された前記類似する第2の画像ブロックの識別コードの情報と前記第3の画像ブロックの輪郭点の座標情報とを出力する出力手段と、
    を備える画像処理装置。
  2. 輪郭を含み圧縮処理がなされた画像であって、前記輪郭の輪郭点とその周辺領域とでそれぞれが構成される第1の画像ブロックの前記輪郭点の座標と、予め準備されそれぞれ識別コードが割り当てられた第2の画像ブロックを有するコードブックの前記第2の画像ブロックのうちで前記第1の画像ブロックに類似する第2の画像ブロックの識別コードと、で規定される被圧縮画像を再生する画像処理装置であって、
    前記コードブックの情報を格納する記憶手段と、
    前記被圧縮画像を規定する前記第1の画像ブロックの前記輪郭点座標と前記識別コードとを読み込む読込手段と、
    前記識別コードに対応する前記第2の画像ブロックを前記第1の画像ブロックの前記輪郭点座標に付加する画像ブロック合成手段と、
    を備える画像処理装置。
  3. 第1の輪郭を有するコードブック作成用画像から前記第1の輪郭を複数の方向で検出する手順と、
    予め設定されたサイズで前記第1の輪郭の輪郭点およびその周辺領域を切り取り、複数の第1の画像ブロックを生成する手順と、
    前記第1の画像ブロックを多次元空間中に分布したベクトルとみなして量子化処理を実行し、第2の画像ブロックを作成する手順と、
    前記第2の画像ブロックに識別コードを割り当ててコードブックを作成する手順と、
    第2の輪郭を有する圧縮対象画像から前記第2の輪郭を前記複数の方向のうち少なくとも1つの方向で検出する手順と、
    予め設定されたサイズで前記第2の輪郭の輪郭点およびその周辺領域を切り取り、複数の第3の画像ブロックを生成する手順と、
    前記第3の画像ブロックに類似する前記第2の画像ブロックを前記コードブックから探索する手順と、
    前記第3の画像ブロックの輪郭点の座標と前記類似する前記第2の画像ブロックの識別コードとを出力する手順と、
    を含む画像圧縮方法を備える画像処理方法。
  4. 輪郭を有し圧縮処理がなされた画像であって、前記輪郭の輪郭点とその周辺領域とでそれぞれが構成される第1の画像ブロックの前記輪郭点の座標と、予め準備されそれぞれ識別コードが割り当てられた第2の画像ブロックを有するコードブックの前記第2の画像ブロックのうちで前記第1の画像ブロックに類似する第2の画像ブロックの識別コードと、で規定される被圧縮画像を再生する方法であって、
    前記コードブックの内容を読み込む手順と、
    前記被圧縮画像を規定する前記第1の画像ブロックの前記輪郭点座標と前記識別コードとを読み込む手順と、
    前記第1の画像ブロックの前記輪郭点座標に前記識別コードに対応する前記第2の画像ブロックを付加する手順と、
    を含む画像再生方法を備える画像処理方法。
  5. 請求項3または請求項4に記載の画像処理方法をコンピュータに実行させるプログラム。
JP2006116780A 2006-04-20 2006-04-20 画像処理装置、画像処理方法およびプログラム Expired - Fee Related JP4679425B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006116780A JP4679425B2 (ja) 2006-04-20 2006-04-20 画像処理装置、画像処理方法およびプログラム
US11/785,693 US8019165B2 (en) 2006-04-20 2007-04-19 Image processing apparatus, image processing method, defect detection method, semiconductor device manufacturing method, and program
US13/137,196 US8150177B2 (en) 2006-04-20 2011-07-27 Image processing apparatus, image processing method, defect detection method, semiconductor device manufacturing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006116780A JP4679425B2 (ja) 2006-04-20 2006-04-20 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2007288732A JP2007288732A (ja) 2007-11-01
JP4679425B2 true JP4679425B2 (ja) 2011-04-27

Family

ID=38760052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006116780A Expired - Fee Related JP4679425B2 (ja) 2006-04-20 2006-04-20 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (2) US8019165B2 (ja)
JP (1) JP4679425B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4230980B2 (ja) * 2004-10-21 2009-02-25 株式会社東芝 パターンマッチング方法およびプログラム
JP4510069B2 (ja) * 2007-12-10 2010-07-21 シャープ株式会社 画像処理装置、画像表示装置、画像形成装置、画像処理方法、コンピュータプログラム及び記憶媒体
US20100080286A1 (en) * 2008-07-22 2010-04-01 Sunghoon Hong Compression-aware, video pre-processor working with standard video decompressors
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
JP5212195B2 (ja) * 2009-03-13 2013-06-19 オムロン株式会社 画像処理装置および画像処理方法
JP5292343B2 (ja) * 2010-03-24 2013-09-18 日本電信電話株式会社 映像品質客観評価装置及び方法及びプログラム
US9569695B2 (en) 2012-04-24 2017-02-14 Stmicroelectronics S.R.L. Adaptive search window control for visual search
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
CN108229389A (zh) * 2017-12-29 2018-06-29 努比亚技术有限公司 人像处理方法、装置及计算机可读存储介质
CN111833289B (zh) * 2019-04-12 2024-05-17 阿里巴巴集团控股有限公司 缺陷识别方法、装置和设备
EP3755010A1 (en) * 2019-06-21 2020-12-23 Pycom Ltd User-requested message transmission to devices near a second device
CN113093469A (zh) * 2020-01-08 2021-07-09 中芯国际集成电路制造(上海)有限公司 目标图形修正、掩膜版制作及半导体结构形成的方法
CN112073806A (zh) * 2020-08-27 2020-12-11 厦门市美亚柏科信息股份有限公司 图像缓存方法、装置、计算机可读存储介质和电子设备
CN117557765B (zh) * 2023-11-15 2024-04-09 兰州交通大学 一种基于APM-YOLOv7的小目标水漂垃圾检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118848A (ja) * 1997-06-19 1999-01-12 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
JP2003178314A (ja) * 2001-09-26 2003-06-27 Toshiba Corp パターン評価装置、パターン評価方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797945A (en) * 1985-12-13 1989-01-10 Canon Kabushiki Kaisha Image data coding apparatus
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6377706B1 (en) 1998-05-12 2002-04-23 Xerox Corporation Compression framework incorporating decoding commands
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
EP1499106A1 (en) 2002-03-22 2005-01-19 Sipec Corporation Image data compression device, image data compression method, recording medium, and program
KR100582595B1 (ko) * 2002-12-23 2006-05-23 한국전자통신연구원 이산여현변환에 기반하여 압축된 영상으로부터 블록에지를 검출 및 분류하는 방법
US7558419B1 (en) * 2003-08-14 2009-07-07 Brion Technologies, Inc. System and method for detecting integrated circuit pattern defects
US7418148B2 (en) * 2003-09-29 2008-08-26 Casio Computer Co., Ltd. Image compression method and image compression device
US7519222B2 (en) * 2005-01-14 2009-04-14 Hewlett-Packard Development Company, L.P. Print defect detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118848A (ja) * 1997-06-19 1999-01-12 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
JP2003178314A (ja) * 2001-09-26 2003-06-27 Toshiba Corp パターン評価装置、パターン評価方法およびプログラム

Also Published As

Publication number Publication date
US8019165B2 (en) 2011-09-13
US20070280547A1 (en) 2007-12-06
US20110280471A1 (en) 2011-11-17
JP2007288732A (ja) 2007-11-01
US8150177B2 (en) 2012-04-03

Similar Documents

Publication Publication Date Title
JP4679425B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5047051B2 (ja) 画像処理装置及び画像符号化方法
Wattanachote et al. Tamper detection of JPEG image due to seam modifications
US20080069442A1 (en) Image processing apparatus, image processing method, and computer readable medium and computer data signal for processing image
Chang et al. Reversible steganographic method using SMVQ approach based on declustering
JP3284932B2 (ja) 画像処理装置
JPWO2006062199A1 (ja) 3次元画像データ圧縮装置、該方法、該プログラム及び記録媒体
JP3592168B2 (ja) 画像データの符号化復号化方法及び装置
JP2011522496A (ja) テクスチャ合成による画像符号化方法
JP2000048036A (ja) 画像処理装置およびその方法
JP2012048580A (ja) 画像処理装置、画像処理方法、プログラム、および記憶媒体
JP2007086956A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006237858A (ja) 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
JP2007036652A (ja) 画像処理方法および画像処理装置およびプログラムおよび記憶媒体
JP4324058B2 (ja) 画像処理装置及びその方法
JP2882285B2 (ja) カラー画像の圧縮伸張方法
JP3774498B2 (ja) 画像処理方法とその装置
US6356667B1 (en) Encoding apparatus and method, decoding apparatus and method and recording medium
TWI643159B (zh) 基於奇偶特性隱寫資料於區塊截斷編碼影像的方法、影像壓縮裝置及電腦可讀取的記錄媒體
WO2023228717A1 (ja) コンピュータプログラム、処理方法、および、処理装置
JP4077771B2 (ja) データ再生装置、再生方法、データ圧縮装置及び圧縮方法
CN1150282A (zh) 对标准肖像图像进行压缩和解压缩的方法
JPH0461558A (ja) 画像処理方法
JP2002133414A (ja) 画像処理方法及びその装置、記憶媒体
JP2006121460A (ja) 電子透かしの埋め込み方法および抽出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees