JP7194348B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP7194348B2
JP7194348B2 JP2018131534A JP2018131534A JP7194348B2 JP 7194348 B2 JP7194348 B2 JP 7194348B2 JP 2018131534 A JP2018131534 A JP 2018131534A JP 2018131534 A JP2018131534 A JP 2018131534A JP 7194348 B2 JP7194348 B2 JP 7194348B2
Authority
JP
Japan
Prior art keywords
image
defect
peripheral
defective product
pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018131534A
Other languages
English (en)
Other versions
JP2020008488A (ja
Inventor
紫朗 藤枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018131534A priority Critical patent/JP7194348B2/ja
Priority to PCT/JP2019/024996 priority patent/WO2020012939A1/ja
Publication of JP2020008488A publication Critical patent/JP2020008488A/ja
Application granted granted Critical
Publication of JP7194348B2 publication Critical patent/JP7194348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
従来、基板のエッジを撮影する撮影部と、該撮影部により取得された基板のエッジの画像に基づいて欠陥を検出する欠陥検出部と、該欠陥検出部により検出された欠陥の程度を判定する欠陥状態判定部と、欠陥検出部7により検出された欠陥の位置と、欠陥状態判定部により判定された欠陥の程度とを対応づけて登録する欠陥登録部とを備え、欠陥状態判定部が、欠陥登録部に登録された欠陥の程度を経時的に判定する欠陥監視システムが知られている(特許文献1参照)。この欠陥監視システムでは、欠陥状態判定部が登録された欠陥の程度を経時的に判定することにより、欠陥の程度の変化を監視することが可能となるので、検出当初においては修復不要な欠陥であった場合においても、その後の判定において成長している場合には、修復不能となる前にこれを修復することが可能となる。
特開2008-82949号公報
ところで、欠陥を含む不良品を撮影した不良品画像から良品画像を生成する場合、不良品画像において欠陥に対応する欠陥画像を修復する必要がある。しかしながら、従来の画像処理装置では欠陥画像の修復に時間が掛かるため、不良品画像から良品画像を生成することは容易ではなかった。
そこで、本発明は、欠陥を含む不良品を撮影した不良品画像から良品画像を容易に生成することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
本発明の一態様に係る画像処理装置は、欠陥を含む不良品を撮影した不良品画像において欠陥に対応する欠陥画像を指定する指定部と、指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定部と、指定された欠陥画像に決定された周辺画像を合成する合成部と、を備える。
この態様によれば、指定された欠陥画像に決定された周辺画像が合成される。ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像から良品画像を容易に生成することができる。
前述した態様において、指定部は、不良品画像上に表示されるポインタによって欠陥画像を指定し、決定部は、ポインタの移動方向に基づいて周辺画像を決定してもよい。
この態様によれば、ポインタの移動方向に基づいて周辺画像が決定される。これにより、欠陥画像の周辺に存在する画像から選択することなく、ポインタの移動方向に基づく周辺画像が自動的に決定される。従って、不良品画像から良品画像を簡便に生成することができる。
前述した態様において、決定部は、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定してもよい。
この態様によれば、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像が決定される。一般に、不良品画像の中心に欠陥が存在する可能性は、より少ないと考えられる。よって、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定することにより、欠陥画像を容易に修復することができる。
前述した態様において、決定部は、不良品画像においてポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像を決定してもよい。
この態様によれば、ポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像が決定される。これにより、欠陥画像の周辺において欠陥が存在しない領域の画像を選択することができる。従って、不良品画像から良品画像をさらに容易に生成することができる。
前述した態様において、周辺ポインタのサイズを設定する設定部をさらに備えてもよい。
この態様によれば、周辺ポインタのサイズが設定される。これにより、所望の大きさの周辺画像を決定することが可能となる。
また、本発明の他の態様に係る画像処理方法は、欠陥を含む不良品を撮影した不良品画像において欠陥に対応する欠陥画像を指定する指定ステップと、指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、指定された欠陥画像に決定された周辺画像を合成する合成ステップと、を含む。
この態様によれば、指定された欠陥画像に決定された周辺画像が合成される。ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像から良品画像を容易に生成することができる。
前述した態様において、指定ステップは、不良品画像上に表示されるポインタによって欠陥画像を指定することを含み、決定ステップは、ポインタの移動方向に基づいて周辺画像を決定することを含んでもよい。
この態様によれば、ポインタの移動方向に基づいて周辺画像が決定される。これにより、欠陥画像の周辺に存在する画像から選択することなく、ポインタの移動方向に基づく周辺画像が自動的に決定される。従って、不良品画像から良品画像を簡便に生成することができる。
前述した態様において、決定ステップは、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定することを含んでもよい。
この態様によれば、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像が決定される。一般に、不良品画像の中心に欠陥が存在する可能性は、より少ないと考えられる。よって、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定することにより、欠陥画像を容易に修復することができる。
前述した態様において、決定ステップは、不良品画像においてポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像を決定することを含んでもよい。
この態様によれば、ポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像が決定される。これにより、欠陥画像の周辺において欠陥が存在しない領域の画像を選択することができる。従って、不良品画像から良品画像をさらに容易に生成することができる。
前述した態様において、周辺ポインタのサイズを設定する設定ステップをさらに含んでもよい。
この態様によれば、周辺ポインタのサイズが設定される。これにより、所望の大きさの周辺画像を決定することが可能となる。
また、本発明の他の態様に係る画像処理プログラムは、コンピュータに実行させる画像処理プログラムであって、欠陥を含む不良品を撮影した不良品画像において欠陥に対応する欠陥画像を指定する指定ステップと、指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、指定された欠陥画像に決定された周辺画像を合成する合成ステップと、を含む。
この態様によれば、指定された欠陥画像に決定された周辺画像が合成される。ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像から良品画像を容易に生成することができる。
本発明によれば、不良品画像から良品画像を容易に生成することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
図1は、一実施形態に係る画像処理装置の概略構成を例示するブロック図である。 図2は、図1に示した画像処理装置の設定画面を例示する図である。 図3は、図1に示した画像処理装置における画像の合成を例示する図である。 図4は、図1に示した画像処理装置の概略動作の第1実施例を例示するフローチャートである。 図5は、図1に示した画像処理装置の不良品画像を例示する図である。 図6は、図1に示した画像処理装置の良品画像を例示する図である。 図7は、図1に示した画像処理装置の概略動作の第2実施例を例示するフローチャートである。 図8は、図1に示した画像処理装置の概略動作の第2実施例における周辺画像を例示する図である。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
まず、図1から図3を参照しつつ、本実施形態に係る画像処理装置の構成の一例について説明する。図1は、一実施形態に係る画像処理装置100の概略構成を例示するブロック図である。図2は、図1に示した画像処理装置100の設定画面を例示する図である。
図3は、図1に示した画像処理装置100における画像の合成を例示する図である。
画像処理装置100は、不良品画像から良品画像を生成するためのものである。不良品画像及び良品画像は、ともに対象物の画像である。不良品画像は、欠陥を含む対象物を撮影したものでる。そのため、不良品画像には、当該欠陥に対応する欠陥画像が含まれる。欠陥の種類は、特に限定されるものではないが、例えば、傷、クラック、付着物、打痕等、視認可能なものである。一方、良品画像は、前述した欠陥を含まない対象物を撮影したものである。また、良品画像は、不良品画像に含まれる欠陥画像を修復することで、不良品画像から生成することも可能である。良品画像は、例えば、対象物を撮像した画像から対象物の良否を判定する判定モデルを構築するための学習用データとして用いられる。あるいは、良品画像は、対象物を撮像した画像から対象物の品質を評価するための評価用データとして用いられてもよい。
図1に示すように、画像処理装置100と、演算装置50と、撮像装置60と、入力装置70と、出力装置80と、を備える。
演算装置50は、例えば、コンピュータ等の情報処理装置である。演算装置50は、入出力I/F(インターフェース)10と、記憶部20と、制御部30と、を備える。また、演算装置50は、演算装置50の各部の間で信号やデータを伝送するように構成されたバス40をさらに備える。
入出力I/F10は、演算装置50と外部の機器とのインターフェースである。入出力I/F10は、外部の機器との間でデータや信号をやり取りするように構成されている。また、入出力I/F10は、外部の機器との通信を制御するように構成されている。入出力I/F10は、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Mutimedia Interface)、IEEE1394等の規格化されたインターフェースの接続端子を含んで構成される。入出力I/F10は、撮像装置60、入力装置70、及び出力装置80に接続されている。
記憶部20は、プログラムやデータ等を記憶するように構成されている。記憶部20は、例えば、ハードディスクドライブ、ソリッドステートドライブ等を含んで構成される。記憶部20は、制御部30が実行する各種プログラムやプログラムの実行に必要なデータ等をあらかじめ記憶している。また、記憶部20は、撮像装置60から入出力I/F10を介して入力される不良品画像21と、制御部30によって不良品画像21から生成される良品画像22と、を記憶する。
制御部30は、入出力I/F10及び記憶部20等、演算装置50の各部の動作を制御するように構成されている。また、制御部30は、記憶部20に記憶されたプログラムを実行する等によって、後述する各機能を実現するように構成されている。制御部30は、例えば、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ、及びバッファ等の緩衝記憶装置を含んで構成される。制御部30は、その機能構成として、例えば、設定部31と、指定部32と、決定部33と、合成部34と、を備える。
設定部31は、後述する良品画像生成処理における複数の項目を設定するように構成されている。各項目の内容は、利用者(ユーザ)が入力装置70等を操作することによって入力される。設定部31は、利用者が各項目を入力するための設定画面を出力装置80等に表示させる。
図2に示すように、設定画面310は、パラメータの項目として、例えば、「モード」と、「明るさ設定領域」と、「ペイント半径」と、を含む。図2に示す例では、モードとして「合成(4)」が選択され、明るさ設定領域に「10」が設定され、ペイント半径に「10」が設定されている。ペイント半径は、本発明の「周辺ポインタのサイズ」の一例に相当する。
また、設定画面310は、画像の項目として、「フォルダ名」と、「ファイル名」と、を含む。例えば、「フォルダ名」及び「ファイル名」を入力して読込ボタンを押下することで、記憶部20から読み込まれる不良品画像21を設定することが可能となる。また、「フォルダ名」及び「ファイル名」を入力して保存ボタンを押下することで、記憶部20に保存される(書き込まれる)、不良品画像21から生成した良品画像22を設定することが可能となる。
図1に戻り、指定部32は、不良品画像21において欠陥に対応する欠陥画像を指定するように構成されている。具体的には、指定部32は、出力装置80等に表示された不良品画像21の上にポインタを表示させる。ポインタは、広がりを持った領域を指定するためのものである。そして、入力装置70等を介する利用者の操作に応じてポインタを移動させることで、指定部32はポインタによって欠陥画像を指定することが可能となる。
決定部33は、不良品画像21において指定された欠陥画像の周辺に存在する画像から、周辺画像を決定するように構成されている。決定される周辺画像は、1つである場合には限定されず、複数であってもよい。周辺画像の決定は、様々な方法が採用され得る。周辺画像の決定方法のうちの幾つかについては後述するが、特に限定されるものではない。
合成部34は、不良品画像21において、指定された欠陥画像に決定された周辺画像を合成するように構成されている。例えば、図3に示すように、指定された欠陥画像を中心画像CIとし、中心画像CIと同サイズであって、中心画像CIに対して上下左右の4画像を周辺画像とする((a)参照)。そして、合成部34は、4つの周辺画像の濃度平均値を算出し、算出した濃度平均値を中心画像CIの濃度値と置換する。これにより、中心画像CIに4つの周辺画像が合成される。あるいは、中心画像CIに対して周囲の8画像を周辺画像とし((b)参照)、合成部34は、8つの周辺画像の濃度平均値を中心画像CIの濃度値と置換してもよい。これにより、中心画像CIに8つの周辺画像が合成される。
なお、不良品画像21がカラーの画像である場合、合成部34は、RGB(Red Green Blue)の平均値を求め、当該平均値に基づいて濃度平均値を算出する。あるいは、合成部34は、R画像、G画像、B画像のそれぞれについて平均値を求め、各平均値に基づいて算出する。
ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像21から良品画像22を容易に生成することができる。
図3では、指定された欠陥画像である中心画像CIの濃度値を4又は8つの周辺画像の濃度平均値に置換して合成する例を示したが、これに限定されるものではない。合成部34は、指定された欠陥画像と決定された周辺画像との合成を、ポアソン画像合成(Poisson Image Editing)によって行ってもよい。これにより、欠陥画像と周辺画像とを混合すること(blending)ができ、元の欠陥画像の境界が滑らかな(シームレスな)良品画像22を生成することが可能となる。
なお、本願において、画像の「合成」とは、2以上の画像を結び付けて1つの画像とする意味に限定されず、2以上の画像において、一の画像を他の画像に複写(コピー)すること、一の画像の濃度の平均値で他の画像を置換すること、及び一の画像と他の画像とを混合することを含む意味である。
図1に戻り、制御部30の各機能は、コンピュータ(マイクロプロセッサ)で実行されるプログラムによって実現することが可能である。したがって、制御部30が備える各機能は、ハードウェア、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現可能であり、いずれかの場合に限定されるものではない。
また、制御部30の各機能が、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現される場合、その処理は、マルチタスク、マルチスレッド、若しくはマルチタスク及びマルチスレッドの両方で実行可能であり、いずれかの場合に限定されるものではない。
撮像装置60は、画像を撮影してデータとして記録するように構成されている。撮像装置60は、デジタルカメラであり、例えば、レンズ等の光学系部品と、撮像素子(受光素子)等の電子系部品とを含んで構成される。なお、光学系部品は、複数のレンズを備えていてもよい。また、電子系部品は、フラッシュ等の発光装置を備えていてもよい。撮像装置60は、撮影した画像を入出力I/F10を介して演算装置50に出力する。制御部30は、撮像装置60から入力された画像に必要な処理を施して良品画像又は不良品画像21のファイルを生成し、不良品画像21のファイルを記憶部20に記憶させる。
入力装置70は、利用者(ユーザ)の操作により情報を入力できるように構成されている。入力装置70は、例えば、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等を含んで構成される。することが可能である。例えば、利用者が、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等を操作(マイクを用いた音声操作を含む)したときに、入力装置70は、当該操作に対応するデータ又は信号を入出力I/F10を介して演算装置50に出力する。制御部30が、このデータまた信号に基づいてデータを生成することで、演算装置50に情報を入力することが可能になる。
出力装置80は、情報を出力するように構成されている。出力装置80は、例えば、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ等の表示装置を含んで構成される。例えば、出力装置80が、画像データを表示装置に表示することで、情報を出力することが可能になる。
次に、図4から図6を参照しつつ、本実施形態に係る画像処理装置100の動作の第1実施例について説明する。図4は、図1に示した画像処理装置100の概略動作の第1実施例を例示するフローチャートである。図5は、図1に示した画像処理装置100の不良品画像21を例示する図である。図6は、図1に示した画像処理装置100の良品画像22を例示する図である。
画像処理装置100は、例えば利用者の操作によってプログラムが起動されると、図3に示す良品画像生成処理S200を実行する。第1実施例では、設定画面310の「モード」として「自動合成」が設定される例を説明する。
最初に、設定部31は、図2に示した設定画面310を出力装置80に出力し、表示させる(S201)。これにより、パラメータが入力可能となる。
次に、利用者によって入力装置70を介して設定画面310のフォルダ名及びファイル名が入力され、読込ボタンが押下されると、設定部31は、入力されたフォルダ名及びファイル名に従い、記憶部20に記憶された不良品画像21を読み出し、読み出した不良品画像21を出力装置80に出力して設定画面310ととともに表示させる(S202)。
次に、指定部32は、不良品画像21上にポインタを表示させる(S203)。これにより、不良品画像21に含まれる欠陥画像が指定可能になる。
次に、入力装置70を介する利用者の操作に基づいて、指定部32は不良品画像21において欠陥に対応する欠陥画像を指定する(S204)。例えば、図5に示すように、不良品画像21が線状の欠陥画像21aを含む場合、不良品画像21上に表示されるポインタP1を利用者が入力装置70を用いて動かし、ポインタP1を欠陥画像21aの一部に重ねることで、指定部32は欠陥画像21aを指定する。
次に、決定部33は、ステップS204において指定された欠陥画像21aの周辺画像を決定する(S205)。図5に示す例の場合、ポインタP1が欠陥画像21aの上を沿うように、利用者の操作によってポインタP1を移動させることで、決定部33は、ポインタP1の移動方向に基づいて、周辺画像を決定する。すなわち、例えば、ポインタP1が不良品画像21の上下方向に移動する場合、決定部33は、ポインタP1の左右の領域の画像を周辺画像として決定する。一方、例えば、ポインタP1を不良品画像21の左右方向に移動させる場合、決定部33は、ポインタP1の上下の領域の画像を周辺画像として決定する。このように、ポインタP1の移動方向に基づいて周辺画像を決定することにより、欠陥画像21aの周辺に存在する画像から選択することなく、ポインタP1の移動方向に基づく周辺画像が自動的に決定される。従って、不良品画像21から良品画像22を簡便に生成することができる。
なお、決定部33は、ポインタP1の移動方向に基づき、かつ、不良品画像21の中心側の画像から周辺画像を決定してもよい。図5に示す例の場合、線状の欠陥画像21aは上下方向に伸びており、一端(図4において上端)が不良品画像21の中心から見て左側に位置し、他端(図4において下端)が不良品画像21の中心から見て右側に位置している。この欠陥画像21aを辿ってポインタP1を移動させる場合、決定部33は、欠陥画像21aの一端側ではポインタP1の右側の領域の画像を周辺画像として決定し、途中から欠陥画像21aの他端側ではポインタP1の側の領域の画像を周辺画像として決定する。一般に、不良品画像21の中心に欠陥が存在する可能性は、より少ないと考えられる。よって、ポインタP1の移動方向に基づき、かつ、不良品画像21の中心側の画像から周辺画像を決定することにより、欠陥画像21aを容易に修復することができる。
次に、合成部34は、ステップS204で指定された欠陥画像21aに、ステップS205で決定された周辺画像を合成する(S206)。前述した例の場合、ポインタP1を線状の欠陥画像21aを辿るように下方に移動させることで、合成部34は、欠陥画像21aにポインタP1の左右の領域の画像を合成する。その結果、図5に示す欠陥画像21aは、図6に示すように修復される。
次に、利用者によって入力装置70を介して設定画面310の「フォルダ名」及び「ファイル名」が入力され、保存ボタンが押下されると、合成部34は、入力されたフォルダ名及びファイル名に従い、修復された不良品画像21を良品画像22として記憶部20に記憶させる(S207)。
ステップS207の後、制御部30は、良品画像生成処理S200を終了する。
第1実施例では、不良品画像21において欠陥に対応する欠陥画像21aが1つである例を示したが、これに限定されるものではない。例えば、不良品画像21が複数の欠陥画像21aを含む場合、良品画像生成処理S200において、ステップS203からステップS206までの処理を欠陥画像21aの数だけ繰り返すようにしてもよい。
次に、図7及び図8を参照しつつ、本実施形態に係る画像処理装置100の動作の第2実施例について説明する。図7は、図1に示した画像処理装置100の概略動作の第2実施例を例示するフローチャートである。図8は、図1に示した画像処理装置100の概略動作の第2実施例における周辺画像を例示する図である。
画像処理装置100は、例えば利用者の操作によってプログラムが起動されると、図7に示す良品画像生成処理S250を実行する。第2実施例では、設定画面の「モード」として、「合成」が設定される例を説明する。また、第2実施例において、前述した第1実施例と同一部分については同一符号を付し、その説明を適宜省略する。
ステップS201からステップS204は、前述した第1実施例と同様であるため、その説明を省略する。ステップS204の後、決定部33は、不良品画像21上に周辺ポインタを表示させる(S251)。周辺ポインタは、前述したポインタP1と同様に、広がりを持った領域を指定するためのものである。周辺ポインタは、ポインタP1に対して所定方向の位置に表示される。そのため、周辺ポインタは、ポインタP1とともに移動する。また、周辺ポインタのサイズは、利用者によって入力装置70を介して設定画面310の「ペイント半径」に入力された値に基づいて、設定部31が設定する。これにより、所望の大きさの周辺画像を決定することが可能となる。
次に、決定部33は、周辺ポインタによって周辺画像を決定する(S252)。例えば、図8に示すように、決定部33は、最初に、周辺ポインタP2をポインタP1の上に表示する((a)参照)。入力装置70を介した利用者の操作、例えばマウスの右クリック等によって、決定部33は、周辺ポインタP2の位置を、ポインタP1の右上((b)参照)、ポインタP1の右((c)参照)、ポインタP1の右下((d)参照)、ポインタP1の下((e)参照)、ポインタP1の左下((f)参照)、ポインタP1の左((g)参照)、ポインタP1の左上((h)参照)、の順に変更する。このように、ポインタP1に対して所定方向の位置に表示される周辺ポインタP2によって周辺画像を決定することにより、欠陥画像21aの周辺において欠陥が存在しない領域の画像を選択することができる。従って、不良品画像21から良品画像22をさらに容易に生成することができる。
ステップS252の後に行われるステップS206及びステップS207は、前述した第1実施例と同様であるため、その説明を省略する。
以上、本発明の例示的な実施形態について説明した。本発明の一実施形態に係る画像処理装置100、画像処理方法、及び画像処理プログラムによれば、指定された欠陥画像21aに決定された周辺画像が合成される。ここで、欠陥画像21aの周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像21aの周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像21aに周辺画像を合成することにより、欠陥画像21aを修復することが可能となる。従って、不良品画像21から良品画像22を容易に生成することができる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
(附記)
1.欠陥を含む不良品を撮影した不良品画像21において欠陥に対応する欠陥画像21aを指定する指定部32と、
指定された欠陥画像21aの周辺に存在する画像から周辺画像を決定する決定部33と、
指定された欠陥画像21aに決定された周辺画像を合成する合成部34と、を備える、
画像処理装置100。
6.欠陥を含む不良品を撮影した不良品画像21において欠陥に対応する欠陥画像21aを指定する指定ステップと、
指定された欠陥画像21aの周辺に存在する画像から周辺画像を決定する決定ステップと、
指定された欠陥画像21aに決定された周辺画像を合成する合成ステップと、を含む、
画像処理方法。
11.コンピュータに実行させる画像処理プログラムであって、
欠陥を含む不良品を撮影した不良品画像21において欠陥に対応する欠陥画像21aを指定する指定ステップと、
指定された欠陥画像21aの周辺に存在する画像から周辺画像を決定する決定ステップと、
指定された欠陥画像21aに決定された周辺画像を合成する合成ステップと、を含む、
画像処理プログラム。
20…記憶部、21…不良品画像、21a…欠陥画像、22…良品画像、30…制御部、31…設定部、32…指定部、33…決定部、34…合成部、40…バス、50…演算装置、60…撮像装置、70…入力装置、80…出力装置、100…画像処理装置、310…設定画面、CI…中心画像、P1…ポインタ、P2…周辺ポインタ、S200,S250…良品画像生成処理

Claims (11)

  1. 欠陥を含む不良品を撮影した不良品画像において前記欠陥に対応する欠陥画像を指定する指定部と、
    前記指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定部と、
    前記指定された欠陥画像に前記決定された周辺画像を合成する合成部と、を備え、
    前記合成部は、前記欠陥画像を中心画像とし、該中心画像の周辺に存在する複数の画像を、それぞれが該中心画像と同サイズである複数の前記周辺画像とするときの、該複数の周辺画像の濃度平均値を算出し、該算出された濃度平均値を前記中心画像の濃度値と置換する、
    画像処理装置。
  2. 前記指定部は、前記不良品画像上に表示されるポインタによって前記欠陥画像を指定し、
    前記決定部は、前記ポインタの移動方向に基づいて前記周辺画像を決定する、
    請求項1に記載の画像処理装置。
  3. 前記決定部は、前記ポインタの移動方向に基づき、かつ、前記不良品画像の中心側の画像から前記周辺画像を決定する、
    請求項2に記載の画像処理装置。
  4. 前記決定部は、前記不良品画像において前記ポインタに対して所定方向の位置に表示される周辺ポインタによって前記周辺画像を決定する、
    請求項2又は3に記載の画像処理装置。
  5. 前記周辺ポインタのサイズを設定する設定部をさらに備える、
    請求項4に記載の画像処理装置。
  6. 欠陥を含む不良品を撮影した不良品画像において前記欠陥に対応する欠陥画像を指定する指定ステップと、
    前記指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、
    前記指定された欠陥画像に前記決定された周辺画像を合成する合成ステップと、を含み、
    前記合成ステップは、前記欠陥画像を中心画像とし、該中心画像の周辺に存在する複数の画像を、それぞれが該中心画像と同サイズである複数の前記周辺画像とするときの、該複数の周辺画像の濃度平均値を算出することと、該算出された濃度平均値を前記中心画像の濃度値と置換することとを含む、
    画像処理方法。
  7. 前記指定ステップは、前記不良品画像上に表示されるポインタによって前記欠陥画像を指定することを含み、
    前記決定ステップは、前記ポインタの移動方向に基づいて前記周辺画像を決定することを含む、
    請求項6に記載の画像処理方法。
  8. 前記決定ステップは、前記ポインタの移動方向に基づき、かつ、前記不良品画像の中心側の画像から前記周辺画像を決定することを含む、
    請求項7に記載の画像処理方法。
  9. 前記決定ステップは、前記不良品画像において前記ポインタに対して所定方向の位置に表示される周辺ポインタによって前記周辺画像を決定することを含む、
    請求項7又は8に記載の画像処理方法。
  10. 前記周辺ポインタのサイズを設定する設定ステップをさらに含む、
    請求項9に記載の画像処理方法。
  11. コンピュータに実行させる画像処理プログラムであって、
    欠陥を含む不良品を撮影した不良品画像において前記欠陥に対応する欠陥画像を指定する指定ステップと、
    前記指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、
    前記指定された欠陥画像に前記決定された周辺画像を合成する合成ステップと、を含み、
    前記合成ステップは、前記欠陥画像を中心画像とし、該中心画像の周辺に存在する複数の画像を、それぞれが該中心画像と同サイズである複数の前記周辺画像とするときの、該複数の周辺画像の濃度平均値を算出することと、該算出された濃度平均値を前記中心画像の濃度値と置換することとを含む、
    画像処理プログラム。
JP2018131534A 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム Active JP7194348B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018131534A JP7194348B2 (ja) 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム
PCT/JP2019/024996 WO2020012939A1 (ja) 2018-07-11 2019-06-24 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018131534A JP7194348B2 (ja) 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020008488A JP2020008488A (ja) 2020-01-16
JP7194348B2 true JP7194348B2 (ja) 2022-12-22

Family

ID=69143006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018131534A Active JP7194348B2 (ja) 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP7194348B2 (ja)
WO (1) WO2020012939A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023050857A (ja) 2021-09-30 2023-04-11 オムロン株式会社 画像検査方法、及び画像検査装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614946B1 (en) 1999-10-08 2003-09-02 Eastman Kodak Company System and method for correcting defects in digital images through selective fill-in from surrounding areas
JP2006018467A (ja) 2004-06-30 2006-01-19 Canon Inc 画像処理装置及び方法
JP2006194657A (ja) 2005-01-12 2006-07-27 Yokogawa Electric Corp 擬似欠陥画像作成方法及びこれを用いた装置
JP2006339875A (ja) 2005-05-31 2006-12-14 Kyocera Mita Corp 画像処理装置
JP2009063685A (ja) 2007-09-05 2009-03-26 Sharp Corp 表示方法とプロジェクタ
JP2010197221A (ja) 2009-02-25 2010-09-09 Hitachi High-Technologies Corp 欠陥観察方法および欠陥観察装置
JP2013045316A (ja) 2011-08-25 2013-03-04 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
JP2016170612A (ja) 2015-03-12 2016-09-23 オムロン株式会社 画像処理装置および画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150571A (ja) * 1996-09-20 1998-06-02 Dainippon Screen Mfg Co Ltd デジタル画像の欠陥画素補正方法及びその装置及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614946B1 (en) 1999-10-08 2003-09-02 Eastman Kodak Company System and method for correcting defects in digital images through selective fill-in from surrounding areas
JP2006018467A (ja) 2004-06-30 2006-01-19 Canon Inc 画像処理装置及び方法
JP2006194657A (ja) 2005-01-12 2006-07-27 Yokogawa Electric Corp 擬似欠陥画像作成方法及びこれを用いた装置
JP2006339875A (ja) 2005-05-31 2006-12-14 Kyocera Mita Corp 画像処理装置
JP2009063685A (ja) 2007-09-05 2009-03-26 Sharp Corp 表示方法とプロジェクタ
JP2010197221A (ja) 2009-02-25 2010-09-09 Hitachi High-Technologies Corp 欠陥観察方法および欠陥観察装置
JP2013045316A (ja) 2011-08-25 2013-03-04 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
JP2016170612A (ja) 2015-03-12 2016-09-23 オムロン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2020012939A1 (ja) 2020-01-16
JP2020008488A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP5044041B2 (ja) サムネイルに基く画像クオリティ検査
US20130187954A1 (en) Image data generation apparatus and image data generation method
WO2019186915A1 (ja) 異常検査装置および異常検査方法
US11836961B2 (en) Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing
JP2007172397A (ja) エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置
US20110254971A1 (en) Image processing method, image processing apparatus, and electronic camera
JP2008015706A (ja) 画像処理装置
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
JP2019053050A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006350936A (ja) 画像作成装置、及び画像作成用プログラム
TW200908017A (en) Structure visual inspection apparatus and inspection method therefor
JP7194348B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20120169759A1 (en) Method and apparatus for creating a live artistic sketch of an image
JP6045429B2 (ja) 撮像装置、画像処理装置及び画像処理方法
JP2024040370A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7154786B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11927540B2 (en) Information processing apparatus, information processing method, and recording medium
JP2011044094A (ja) 表示装置
JP2019205104A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006038701A (ja) データの連結合成方法及び連結合成プログラム
JP2008171142A (ja) シミ欠陥検出方法及び装置
JP2007285868A (ja) 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置
JP2006220528A (ja) 不良分類システムおよび不良分類方法
JP4830511B2 (ja) フレア検査装置、フレア検査方法、フレア検査プログラム、及び記録媒体
JP2006133055A (ja) ムラ欠陥検出方法及び装置、空間フィルタ、ムラ欠陥検査システム並びにムラ欠陥検出方法のプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221124

R150 Certificate of patent or registration of utility model

Ref document number: 7194348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150