JP5867198B2 - 領域指定方法及び領域指定装置 - Google Patents

Description

本発明は、画像の中から一部の領域を指定するユーザ操作を支援するための技術に関する。

コンピュータによるデジタル画像処理によって、画像を抽出すべき部分（前景とよぶ）とそれ以外の部分（背景とよぶ）とに分離する領域分割（セグメンテーション）と呼ばれる手法が知られている。領域分割では、分離精度の向上やユーザの意図に即した分割を行うため、前景又は背景とすべき領域やピクセルの一部を初期値としてユーザに指定させるという方法がとられることがある。画像上で領域やピクセルを指定するためのユーザインタフェースとしては、マウスのドラッグ等により矩形の領域を指定する方法、マウスのクリック等によりピクセルを選択する方法、ドローソフトで自由曲線を描く要領でマウスストロークによりピクセル群や領域の輪郭を指定する方法などが一般に用いられる。このような方法により、画像上の任意のピクセル群を前景又は背景として指定することを可能にしている。

しかしながら、従来のユーザインタフェースは、任意形状の領域やピクセル群をおおまかに指定するのには適しているものの、意図しないピクセルまで選んでしまうといった誤指定が生じやすい。そのため、狭小な領域や複雑な形状の領域を正確に指定するには、高度な熟練が要求されると共に、慎重な操作が必要なために指定に時間がかかるという不利がある。また、システムの用途や設置環境によっては、領域指定を行うための入力装置の機能や感度が貧弱であったり、ユーザの動きに制約があったりすることで、領域指定が難しい場合もある。例えば、製造現場で稼働している画像検査システムにおいて上記のような領域指定を行う場合には、入力装置としてキーパッドやコントローラしかなかったり、汚れた手指や手袋をはめた手で入力操作を行わなければなかったりすることも想定されるが、そのような状況では意図したとおりの領域指定を行うのは簡単ではない。

Interactive image segmentation by maximal similarity based region merging, Jifeng Ning, Lei Zhang, David Zhan, Chengke Wu. Pattern Recognition 43 (2010) 445 - 456

本発明は上記実情に鑑みてなされたものであり、その目的とするところは、画像の中から領域を指定する操作を簡単かつ意図どおりに行えるようにするための技術を提供することにある。

上記目的を達成するために、本発明では、候補となる小領域を対象画像に重ねて提示し、その中から所望の小領域をユーザに選択させるというユーザインタフェースを採用する。

具体的には、本発明は、対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定方法であって、コンピュータが、ピクセルよりも大きな小領域を前記対象画像の中に
一つ又は複数個設定する小領域設定ステップと、コンピュータが、前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示ステップと、コンピュータが、前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定ステップと、を含むことを特徴とする。

この構成によれば、候補となる小領域がコンピュータによりレコメンデーションされ、ユーザはその候補の中から目的とする条件を満たす領域を選択するだけでよいので、直感的かつ簡単な領域指定が可能となる。また、小領域の境界を明示しその単位で領域指定を行わせるようにしたことで、従来のように任意の領域やピクセル群をマウス等で自由に入力させる方法に比べ、ユーザの指定に制約が生まれる。この制約により、意図しないピクセルまで選んでしまうといった誤指定の発生を防ぐことができるため、意図どおりの領域指定がしやすくなる。

前記小領域設定ステップは、前記対象画像を所定のパターンに分割することにより、複数の小領域を形成する分割ステップを含むとよい（この分割方法を「パターン分割」と呼ぶ。）。予め決められたパターンを使うので処理が簡便となり、小領域の設定を高速に行うことができる。分割に用いるパターンはどのようなものでもよいが、例えば格子（グリッド）状のパターンを用いると、小領域が規則正しく並ぶので、小領域の選択がしやすくなる。このとき、前記小領域設定ステップは、前記分割ステップにおいて形成された複数の小領域の中から、一部の小領域を抽出する抽出ステップをさらに含み、前記表示ステップでは、前記抽出ステップで抽出された小領域のみが前記指定用画像に描画されることが好ましい。指定用画像に描画する候補の数（つまり選択肢）を減らすことで、どの候補を選択するかの意思決定、並びに、選択操作を簡単化できる。前記抽出ステップでは、例えば、色又は輝度が均一な小領域、或いは、エッジを含まない小領域、が優先的に抽出されることが好ましい。これにより、前景と背景をまたぐ位置にある小領域を除くことができる可能性が高いからである。また、前記抽出ステップでは、抽出された小領域の間における色又は輝度の特徴のばらつき、或いは、抽出された小領域の間における前記対象画像の中での位置のばらつき、がもっとも大きくなるように、抽出される小領域が選ばれることも好ましい。このように小領域の候補群を設定することで、ユーザが意図する前景部分や背景部分にそれぞれ漏れなく小領域を設定することができる。

前記小領域設定ステップは、色、輝度、及びエッジのうち少なくともいずれかの特徴に基づいてピクセル同士をまとめることにより、複数の小領域を形成する分割ステップを含むことも好ましい。これにより、対象画像中の物体の形状・模様・陰影等に応じた形状の小領域が形成される。また各小領域は、例えば、色又は輝度の特徴が類似するピクセル群やエッジで区切られたピクセル群から形成されるため、小領域が前景と背景の両方のピクセルを含んでいる可能性は低い。よって、このように形成された小領域を候補として用いれば、狭小な領域や複雑な形状の領域でも簡単かつ意図したとおりに選択することができる。この方法の場合においても、前記小領域設定ステップは、前記分割ステップにおいて形成された複数の小領域の中から、一部の小領域を抽出する抽出ステップをさらに含み、前記表示ステップでは、前記抽出ステップで抽出された小領域のみが前記指定用画像に描画されることが好ましい。指定用画像に描画する候補の数（つまり選択肢）を減らすことで、どの候補を選択するかの意思決定、並びに、選択操作を簡単化できるからである。例えば、前記抽出ステップでは、エッジを含まない小領域、或いは、サイズ又は幅が大きい小領域、或いは、境界部分のコントラストが高い小領域、が優先的に抽出されるとよい。エッジを含まない小領域や境界部分のコントラストが高い小領域を優先的に選ぶことで、前景と背景の両方のピクセルを含む小領域を除くことができる。また、サイズ又は幅が大きい小領域を優先的に選ぶことで、小さくて選択しづらい小領域を除くことができる。また、前記抽出ステップでは、抽出された小領域の間における色又は輝度の特徴のばらつき、或いは、抽出された小領域の間における前記対象画像の中での位置のばらつき、が可及
的に大きくなるように、抽出される小領域が選ばれることも好ましい。このように小領域の候補群を設定することで、対象画像中のさまざまな位置や、前景部分と背景部分にそれぞれ対し、漏れなく小領域を設定することができる。

また、前記指定ステップにおいて前記前景又は背景とすべき領域としてユーザに選択された小領域が強調表示されることが好ましい。これにより、前景又は背景とすべき領域として選択された小領域と、それ以外の小領域との区別が容易にできるので、小領域の誤選択を防止できるとともに、ユーザビリティの向上を図ることができる。

また、前記対象画像に対する小領域の大きさがユーザにより変更可能であることが好ましい。対象画像における前景部分と背景部分の大きさや形状などに合わせて小領域の大きさを適宜調整することで、領域指定がしやすくなるからである。

また、コンピュータが、ユーザによる画像の拡大、縮小、平行移動、或いは、回転の指示に従って、前記表示装置の画面に表示されている指定用画像を更新する画像更新ステップをさらに含み、前記画像更新ステップでは、前記対象画像とともに前記小領域も拡大、縮小、平行移動、或いは、回転させることも好ましい。例えば、表示を拡大等することにより、小領域あるいはその輪郭が画像中のどのピクセルと重なっているかを詳細に確認できるので、狭小な領域や複雑な形状の部分でも正確な選択が容易となる。

また、パターン分割により小領域を設定した場合には、前記画像更新ステップにおいて、前記小領域の画面上での位置及び大きさを変えずに、前記対象画像のみ拡大、縮小、平行移動、或いは、回転させることも好ましい。例えば、初期の表示画面において、小領域が前景と背景にまたがっていた場合には、対象画像を拡大・平行移動・回転等することで、小領域が前景の中又は背景の中に位置するように表示を変更できる。よって、前景のみ又は背景のみを正確に指定することが容易となる。

また、前記入力装置が、移動キーと選択キーを有しており、前記指定ステップは、前記指定用画像上のいずれかの小領域を選択状態にするステップと、ユーザから前記移動キーの入力を受け付けるたびに、選択状態とする小領域を順番に変えていくステップと、ユーザから前記選択キーの入力を受け付けた場合に、現在選択状態にある小領域を、前記前景又は背景とすべき領域として選択するステップと、を含むことも好ましい。このようなユーザインタフェースによれば、移動キーと選択キーの簡単な操作で意図する小領域を間違いなく選択することができる。この場合に、現在選択状態にある小領域が強調表示されるとよい。これにより、選択状態にある小領域と、それ以外の小領域との区別が容易にできるので、小領域の誤選択を防止できるとともに、ユーザビリティの向上を図ることができる。

また、前記入力装置が、前記表示装置の画面に設けられたタッチパネルであり、前記指定ステップでは、ユーザが前記表示装置の画面に表示されている指定用画像上の小領域をタッチすることにより、前記前景又は背景とすべき領域が選択されることも好ましい。このようなユーザインタフェースによれば、意図する小領域の選択をより直観的に行うことができる。

なお、本発明は、上記処理の少なくともいずれかを含む領域指定方法として捉えることもできるし、この領域指定方法で指定された領域に基づいて対象画像の領域分割を実行する領域分割方法として捉えることもできる。また、本発明は、これらの方法の各ステップをコンピュータに実行させるためのプログラムやこのプログラムを記録した記憶媒体として捉えることもできる。さらに本発明は、上記処理を行う手段の少なくともいずれかを有する領域指定装置や領域分割装置として捉えることもできる。

本発明によれば、画像の中から領域を指定する操作を簡単かつ意図どおりに行うことを可能にするユーザインタフェースを提供することができる。

画像検査装置の構成を模式的に示す図。 検査処理の流れを示すフローチャート。 検査処理における検査領域の抽出過程を説明するための図。 設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャート。 図４のステップＳ４３の処理の詳細を示すフローチャート。 （ａ）は取り込んだ画像を検査領域設定画面に表示した例を示す図、（ｂ）は領域分割処理により抽出された検査領域の例を示す図。 第１実施形態のパターン分割による指定用画像を説明するための図。 第２実施形態の過分割による指定用画像を説明するための図。 第３実施形態における小領域の抽出方法の一例を説明するための図。 第３実施形態の指定用画像を説明するための図。 第４実施形態の指定用画像における領域指定操作を説明するための図。 第５実施形態の指定用画像における領域指定操作を説明するための図。 第６実施形態の指定用画像における領域指定操作を説明するための図。

本発明は、対象画像を前景と背景に分離する領域分割（セグメンテーション）と呼ばれる処理を行うにあたり、対象画像の中で前景とすべき領域或いは背景とすべき領域を、初期値としてユーザに指定させるための領域指定方法に関するものである。本発明に係る領域指定方法及び領域分割方法は、例えば、画像検査において元画像の中から検査対象物の領域を抽出する処理、画像編集で背景合成を行うにあたり元画像の中から前景部分のみをトリミングする処理、医用画像の中から診断対象の臓器や部位のみ抽出する処理など、様々な分野に適用することができる。以下に述べる実施形態では、一適用例として、画像検査装置における検査領域設定機能（設定ツール）に本発明に係る領域指定方法を実装した例を説明する。

＜第１実施形態＞
（画像検査装置）
図１は、画像検査装置の構成を模式的に示している。この画像検査装置１は、搬送路上を搬送される検査対象物２の外観検査を行うシステムである。

図１に示すように、画像検査装置１は、装置本体１０、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４などのハードウエアから構成される。画像センサ１１は、カラー又はモノクロの静止画像あるいは動画像を装置本体１０に取り込むためのデバイスであり、例えばデジタルカメラを好適に用いることができる。ただし、可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたセンサを用いればよい。表示装置１２は、画像センサ１１で取り込まれた画像、検査結果、検査処理や設定処理に関わるＧＵＩ画面を表示するためのデバイスであり、例えば液晶ディスプレイなどを用いることができる。記憶装置１３は、画像検査装置１が検査処理において参照する各種の設定情報（検査領域定義情報、検査ロジックなど）や検査結果などを格納するデバイスであり、例えばＨＤＤ、ＳＳＤ、フラッシュメモリ、ネットワークストレージなどを利用可能である。入力装置１４は、ユーザが装置本体１０に対し指示を入力するために操作するデバイスであり、例えばマウス、キーボード、タッチパネル、専用
コンソールなどを利用可能である。

装置本体１０は、ハードウエアとして、ＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置（ＲＯＭ、ＨＤＤ、ＳＳＤなど）を備えたコンピュータで構成することができ、その機能として、検査処理部１０１、検査領域抽出部１０２、設定ツール１０３を有している。検査処理部１０１と検査領域抽出部１０２が検査処理に関わる機能であり、設定ツール１０３は検査処理に必要な設定情報のユーザによる設定作業を支援する機能である。これらの機能は、補助記憶装置又は記憶装置１３に格納されたコンピュータ・プログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで実現される。なお、図１は装置構成の一例を示すものにすぎず、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４の全部又は一部を装置本体１０に一体化してもよい。なお装置本体１０は、パーソナルコンピュータやスレート型端末のようなコンピュータで構成してもよいし、或いは、専用チップやオンボードコンピュータなどで構成することもできる。

（検査処理）
図２及び図３を参照して、画像検査装置１の検査処理に関わる動作を説明する。図２は、検査処理の流れを示すフローチャートであり、図３は、検査処理における検査領域の抽出過程を説明するための図である。ここでは、説明の便宜のため、携帯電話の筐体部品のパネル面の検査（キズ、色ムラの検出）を例に挙げて検査処理の流れを説明する。

ステップＳ２０では、画像センサ１１によって検査対象物２が撮影され、画像データが装置本体１０に取り込まれる。ここで取り込まれた画像（元画像）は必要に応じて表示装置１２に表示される。図３の上段は元画像の一例を示している。元画像の中央に検査対象となる筐体部品２が写っており、その左右には搬送路上の隣にある筐体部品の一部が写り込んでいる。

ステップＳ２１では、検査領域抽出部１０２が、記憶装置１３から必要な設定情報を読み込む。設定情報には、少なくとも検査領域定義情報と検査ロジックとが含まれる。検査領域定義情報とは、元画像から抽出すべき検査領域の位置・形状を定義する情報である。検査領域定義情報の形式は任意であり、例えば検査領域の内側と外側とでラベルを変えたビットマスクや、検査領域の輪郭をベジェ曲線やスプライン曲線で表現したベクタデータなどを用いることができる。検査ロジックとは、検査処理の内容を定義する情報であり、例えば、検査に用いる特徴量の種類、判定方法、特徴量抽出や判定処理で用いるパラメタや閾値などが該当する。

ステップＳ２２では、検査領域抽出部１０２が、検査領域定義情報にしたがって、元画像から検査領域とする部分を抽出する。図３の中段は、検査領域定義情報で定義された検査領域（クロスハッチングで示す）３０を元画像に重ねた様子を示している。検査領域３０がちょうど筐体部品２のパネル面の上に重なっていることがわかる。図３の下段は、元画像から検査領域３０の部分の画像（検査領域画像３１）を抽出した様子を示している。検査領域画像３１では、筐体部品２のまわりに写っていた搬送経路や隣の部品が削除されている。また、表面検査の対象部位から除外される、ヒンジ部分２０やボタン部分２１も削除されている。このようにして得られた検査領域画像３１は検査処理部１０１に引き渡される。

ステップＳ２３では、検査処理部１０１が、検査ロジックにしたがって、検査領域画像３１から必要な特徴量を抽出する。本例では、表面のキズ・色ムラの検査を行うための特徴量として、検査領域画像３１の各ピクセルの色とその平均値が抽出される。

ステップＳ２４では、検査処理部１０１が、検査ロジックにしたがって、キズ・色ムラ
の有無を判定する。例えば、ステップＳ２３で得られた平均値に対する色差が閾値を超えるピクセル群が検出された場合に、そのピクセル群をキズあるいは色ムラと判定することができる。

ステップＳ２５では、検査処理部１０１が検査結果を表示装置１２に表示し、記憶装置１３に記録する。以上で、１つの検査対象物２に対する検査処理が完了する。生産ラインにおいては、検査対象物２が画像センサ１１の画角内に搬送されるタイミングと同期して、図２のステップＳ２０〜Ｓ２５の処理が繰り返される。

外観検査においては、検査の対象とすべきピクセルのみを過不足なく検査領域画像３１として切り出すことが望ましい。検査領域画像３１の中に背景部分や余計な部分（図３の例ではヒンジ部分２０やボタン部分２１）が含まれていたりするとそのピクセルがノイズとなり検査精度を低下させるおそれがあるし、逆に、検査領域画像３１が検査の対象とすべき範囲よりも小さいと、検査の漏れを生じるおそれがあるからである。そこで本実施形態の画像検査装置１では、正確な検査領域画像を切り出すための検査領域定義情報を簡単に作成するための設定ツール１０３を用意している。

（検査領域の設定処理）
図４及び図５のフローチャートに沿って、設定ツール１０３の機能及び動作について説明する。図４は、設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャートであり、図５は、図４のステップＳ４３の処理の詳細を示すフローチャートである。また、適宜、図６及び図７の検査領域設定画面例も参照する。

設定ツール１０３を起動すると、表示装置１２に図６（ａ）の設定画面が表示される。この設定画面には、画像ウィンドウ５０、画像取込ボタン５１、分割表示ボタン５２、前景／背景トグルボタン５３、領域サイズ調整スライダ５４、領域分割ボタン５５、確定ボタン５６が設けられている。ボタンの選択、スライダの移動、小領域の選択などは入力装置１４を用いた所定の操作（例えばマウスのクリック、所定のキーの押下など）により行うことができる。なおこの設定画面はあくまでも一例にすぎず、以下に述べる入力操作や画像の確認などを行うことができればどのようなＵＩを用いてもよい。

ユーザにより画像取込ボタン５１が押されると、設定ツール１０３は画像センサ１１によって検査対象物のサンプルを撮影する（ステップＳ４０）。サンプルとしては良品の検査対象物を用い、実際の検査処理の場合と同じ状態（画像センサ１１とサンプルの相対位置、照明など）で撮影を行うとよい。得られたサンプル画像データは装置本体１０に取り込まれる。なお、事前に撮影されたサンプル画像が装置本体１０の補助記憶装置や記憶装置１３の中に存在する場合には、設定ツール１０３は補助記憶装置又は記憶装置１３からサンプル画像のデータを読み込んでもよい。

ステップＳ４０で取り込まれたサンプル画像は、図６（ａ）に示すように、設定画面の画像ウィンドウ５０に表示される（ステップＳ４１）。図６（ａ）に示すように対象物が複雑な形状をもつものであったり、前景（検査領域として抽出すべき部分）と背景（それ以外の部分）の色又は輝度の差があまり大きくないものであったりする場合は、検査領域をどこに設定すべきかをコンピュータが自動で解釈・決定することは難しい。そこで、本実施形態では、ユーザがサンプル画像中の前景とすべき領域や背景とすべき領域を初期値としてコンピュータに教示する。このとき、領域指定を簡単かつ意図どおりに行えるようにするため、指定可能な領域の候補をユーザに提示（レコメンデーション）し、その中から所望の領域をユーザに選ばせるという構成を採る。

ユーザにより分割表示ボタン５２が押されると、設定ツール１０３が領域指定用のグリ
ッドパターン重畳画像（以下、単に指定用画像と呼ぶ）を生成し、この指定用画像を画像ウィンドウ５０に表示する（ステップＳ４２）。図７（ａ）は指定用画像の表示例を示している。元のサンプル画像の上に等間隔のグリッド（格子）パターンが描画され、このグリッドパターンにより複数の矩形の小領域がサンプル画像の上に設定された状態となる。分割表示ボタン５２が選択状態になり指定用画像が表示されると（この状態を分割表示モードと呼ぶ）、前景／背景トグルボタン５３及び領域サイズ調整スライダ５４がイネーブルになる。分割表示モードにおいて、ユーザは、入力装置１４を用いて、指定用画像の上で前景とすべき領域及び背景とすべき領域を指定することができる（ステップＳ４３）。

図５に、分割表示モードにおける入力イベント処理を示す。設定ツール１０３は、ユーザからの入力イベントが発生するまで待機状態にある（ステップＳ５０）。何らかの入力イベントが発生したら、ステップＳ５１に移行する。

入力イベントが前景／背景トグルボタン５３の変更であった場合には（ステップＳ５１；Ｙ）、設定ツール１０３はトグルボタン５３の状態に合わせて前景指定モードと背景指定モードの切り替えを行う（ステップＳ５２）。

入力イベントが小領域の選択であった場合には（ステップＳ５３；Ｙ）、ステップＳ５４に移行する。小領域の選択は、例えば、指定用画像のいずれかの小領域の上にマウスカーソルを移動させ、マウスのボタンをクリックするという操作で行うことができる。また表示装置１２がタッチパネルディスプレイである場合には、指定用画像の小領域をタッチするという直感的な操作で小領域の選択を行うことができる。小領域が選択された場合、設定ツール１０３は、その小領域が既に指定されている小領域かどうかをチェックする（ステップＳ５４）。もし既に指定されている小領域であった場合には、その指定が解除される（ステップＳ５５）。未指定の小領域であったら、現在のモードが前景指定モードの場合は当該小領域を前景に指定し（ステップＳ５６；Ｙ、Ｓ５７）、現在のモードが背景指定モードの場合は当該小領域を背景に指定する（ステップＳ５６；Ｎ、Ｓ５８）。前景又は背景として指定された小領域は、他の未指定の小領域から区別できるように、小領域の境界及び／又は小領域内の色を変更（強調）したり、小領域内に所定のマークを描画したりするとよい。また、前景領域と背景領域の区別がつくように、色や強調表示の仕方或いは描画するマークを異ならせるとよい。図７（ｂ）は、前景領域が２つ（クロスハッチングで示した小領域）、背景領域が３つ（左下がりハッチングで示した小領域）指定された例を示している。

入力イベントが領域サイズ調整スライダ５４の操作であった場合には（ステップＳ５９；Ｙ）、図４のステップＳ４２に戻る。領域サイズ調整スライダ５４は、指定用画像に重畳するグリッドの間隔、すなわち、小領域の大きさを大きく或いは小さくするためのＵＩである。ステップＳ４２では、スライダ５４で変更された領域サイズに従って、指定用画像の更新が行われる。図７（ｃ）は、領域サイズを小さくした場合の例を示している。図７（ａ）では９行１２列の１０８個の小領域が形成されていたのに対し、図７（ｃ）では１２行１６列の１９２個の小領域が形成されている。例えば、サンプル画像中の対象物に対して小領域が大きすぎ、小領域が前景と背景にまたがってしまうような場合には、領域サイズを小さくすることで、細やかな領域指定が可能となる。

入力イベントが領域分割ボタン５５の押下であった場合には、分割表示モードを終了する（ステップＳ６０；Ｙ）。なお、分割表示ボタン５２が再度押された場合や、画像取込ボタン５１が押された場合にも、分割表示モードを終了してもよい。分割表示モードを続行する場合は、ステップＳ５０に戻る。

図４に戻り、ステップＳ４４について説明する。ステップＳ４４では、設定ツール１０
３は、ステップＳ４３で指定された前景・背景を初期値として用い、サンプル画像に対して領域分割（セグメンテーション）処理を適用する。領域分割処理の結果得られた前景部分を、検査領域として抽出する。なお、領域分割処理については数多くのアルゴリズムが提案されており、設定ツール１０３はいずれのアルゴリズムも利用することができるため、ここでは詳しい説明を割愛する。ステップＳ４４で抽出された検査領域は設定画面の画像ウィンドウ５０に表示される。ユーザは設定画面に表示された検査領域を見ることで、所望の領域が検査領域として選ばれているかどうかを確認することができる。このとき、図６（ｂ）に示すようにサンプル画像の上に検査領域（ハッチング部分）をオーバーレイ表示すると、検査対象物と検査領域との比較が容易になるので好ましい。

その後、ユーザにより確定ボタン５６が押されると、設定ツール１０３は、抽出された検査領域について検査領域定義情報を生成し記憶装置１３に格納する（ステップＳ４５）。なお、ステップＳ４４で抽出された検査領域が適当でない場合には、画像の取り込み（ステップＳ４０）或いは前景・背景の指定（ステップＳ４３）などからやり直せばよい。

（本実施形態の利点）
以上述べた構成によれば、候補となる複数の小領域がコンピュータによりレコメンデーションされ、ユーザはそれらの候補の中から目的とする条件を満たす領域を選択するだけでよいので、直感的かつ簡単な領域指定が可能となる。また、小領域の境界を明示しその単位で領域指定を行わせるようにしたことで、従来のように任意の領域やピクセル群をマウス等で自由に入力させる方法に比べ、ユーザの指定に制約が生まれる。この制約により、意図しないピクセルまで選んでしまうといった誤指定の発生を防ぐことができるため、意図どおりの領域指定がしやすくなる。

また本実施形態のように、対象画像を等間隔の格子状に分割すると、同じ形状の小領域が規則正しく並ぶので、小領域の選択がしやすい。また領域サイズ調整スライダ５４により小領域の大きさをユーザにより変更可能としたので、対象画像における前景部分（或いは背景部分）の大きさや形状などに合わせて小領域の大きさを適宜調整することができ、領域指定がしやすくなる。なお、本実施形態では格子状のパターンを用いて小領域への分割を行ったが、これに限らず、三角形や六角形などの多角形、或いは任意形状の要素で構成されたメッシュパターンを用いてもよい。また小領域の形状や大きさは均一でも不均一でもよく、その配列も規則正しく並んでいてもよいし、不規則に並んでいてもよい。

＜第２実施形態＞
図８を参照して、本発明の第２実施形態について説明する。第１実施形態ではパターン分割により指定用画像を生成したのに対し、第２実施形態では画像の特徴に基づいてピクセル同士をまとめることにより複数の小領域を形成することで指定用画像を生成する点が異なる。すなわち、図４のフローにおけるステップＳ４２の処理の内容が置き換わるだけで、それ以外の構成及び処理については第１実施形態のものと同じである。

本実施形態の分割手法は、後段で行う領域分割（前景と背景の分離）よりも細かい領域に画像を分割するものであるため、以下、「過分割」と称する。過分割のアルゴリズムとしては、例えば、スーパーピクセルと呼ばれる手法や、クラスタリング及びラベリングなどの手法を利用することができる。なお、小領域に分ける目的が、後段の領域分割処理の初期値として与える前景・背景を指定しやすくすることにあるので、過分割を行う際には、少なくとも色、輝度、又はエッジの特徴に基づいてピクセルを統合するかどうかを判断するとよい。以下に述べる本実施形態では、色又は輝度の特徴が類似する近傍ピクセル同士をまとめて小領域を形成する。

図８（ａ）は、過分割によって形成された指定用画像の例を示している。過分割の場合
は、第１実施形態のパターン分割と異なり、小領域の大きさや形状は均一とはならず、対象画像中の物体の形状・模様・陰影等に応じた形状の小領域が形成される。なお、過分割により形成された小領域が小さすぎ、選択しづらい場合には、図８（ｂ）のように領域サイズ調整スライダ５４により条件を変更し、過分割の再計算を行うとよい。図８（ｂ）のように各小領域のサイズが大きくなれば、マウスカーソルやタッチパネルによる領域指定が容易にできる。図８（ｃ）は、図８（ｂ）の指定用画像において、２つの前景領域（クロスハッチングで示した小領域）と２つの背景領域（左下がりハッチングで示した小領域）を指定した例を示している。

以上述べた第２実施形態の構成は、第１実施形態と同様の作用効果に加え、次のような作用効果を奏することができる。すなわち、過分割で形成される小領域は、物体の形状・模様・陰影等を反映した形状をもつので、狭小な領域や複雑な形状の領域でも簡単に選択することができる。また、過分割で形成される小領域は、色又は輝度の特徴が類似したピクセル群やエッジで区切られたピクセル群からなるため、その中に前景と背景の両方のピクセルが含まれる可能性は低い。よって、意図しないピクセルまで選んでしまうといった誤指定が生じにくいという利点もある。

＜第３実施形態＞
続いて、本発明の第３実施形態について説明する。第１及び第２実施形態では、指定用画像上にすべての小領域を表示したのに対し、第３実施形態では、一部の小領域のみを表示する点が異なる。すなわち、図４のフローにおけるステップＳ４２の処理の内容が置き換わるだけで、それ以外の構成及び処理については第１実施形態のものと同じである。

指定用画像に表示する小領域の抽出ルールとしては、様々なものが考えられる。

例えば、第１実施形態のようにパターン分割で形成された小領域の場合には、小領域内の色又は輝度が均一なものや、小領域内にエッジ（コントラストの高い部分）を含まないもの、などを優先的に抽出するとよい。パターン分割の場合は、画像の特徴とは無関係に小領域が形成されるため、前景と背景をまたぐような位置に小領域が存在する場合もある。そのような小領域は前景或いは背景として指定するのは妥当でないため、選択肢の中から予め除いておくほうがユーザフレンドリであるし、その小領域が誤指定されるおそれも未然に排除することができる。

また、第２実施形態の過分割では、非常に狭小な領域が形成される場合がある。狭小な領域は選択しづらいだけでなく、指定用画像の視認性を低下させるため、好ましくない。したがって、過分割の場合には、例えば、小領域のサイズ（面積）や幅が大きいものを優先的に抽出する方法が好適である。また、前景と背景の色又は輝度にほとんど差が無い場合には、過分割であっても小領域が前景と背景をまたぐように形成されることがある。そこで、小領域内のコントラストや、小領域の境界部分（輪郭）におけるコントラストを評価し、エッジを含まない小領域や、境界部分におけるコントラストが高い小領域などを、優先的に抽出する方法も好適である。これにより、前景と背景の両方のピクセルを含む小領域を除くことができる。

また、パターン分割と過分割のいずれにも適用できる方法として、抽出された小領域の間における色又は輝度の特徴のばらつき（多様性）、或いは、抽出された小領域の間における位置のばらつき（多様性）が可及的に大きくなるように、抽出する小領域を選ぶことも好適である。このように小領域の候補を決めることで、画像中のさまざまな位置や、前景部分と背景部分のそれぞれに対し、漏れなく小領域を設定することができる。

図９に、小領域の抽出方法の一例を示す。図９は、横軸に小領域内の輝度の平均、縦軸
に小領域内の輝度の分散をとったグラフに、パターン分割で形成されたすべての小領域をプロットしたものである。つまり、横軸が小領域間の輝度特徴の多様性を表し、縦軸が小領域内の輝度の均一性を表している。横軸の様々な位置から、縦軸の下の方にプロットされている小領域を優先的に抽出すればよい。本実施形態では、小領域の横軸方向の分布に基づき横軸を４つの輝度範囲Ａ〜Ｄに分割し、各輝度範囲Ａ〜Ｄから、分散の最も小さい小領域を抽出した。なお各輝度範囲から抽出する個数は、各輝度範囲に属する小領域の数に応じて決めたり、分散の値に応じて決めたりすればよい。

図１０（ａ）は、図９で抽出した小領域（黒丸）のみを指定用画像に描画した例である。前景部分と背景部分に適度に小領域が配されており、また、小領域自体の数が少なく小領域同士が分離しているので、図７（ａ）の場合よりも領域指定が簡単にできることが分かる。図１０（ｂ）は、過分割の場合の小領域の抽出例を示している。この場合も同じように領域指定が簡単になる。

＜第４実施形態＞
図１１は、本発明の第４実施形態を示している。上述した各実施形態では、マウス或いはタッチパネルを用いて小領域を選択していたが、第４実施形態では、キーボード或いはキーパッドのような入力装置で小領域を選択させる。それ以外の構成は、他の実施形態のものと同様である。

本実施形態の入力装置には、移動キーと選択キーが設けられている。本実施形態の設定画面では、図１１（ａ）に示すように、指定用画像の中のいずれか１つの小領域が選択状態（フォーカスがあった状態）となっている。図１１（ａ）の例では、左から３列目、上から３行目の位置にある小領域が選択状態となっており、フォーカス枠が描画されている。ユーザが移動キーを押すと、フォーカス枠が１つずつ移動する。図１１（ｂ）は右側にフォーカス枠が移動した状態を示している。上下左右の矢印キーを用いて任意の方向にフォーカス枠を移動できるようにしてもよいし、スペースキー等の１つの移動キーを用いて１つの方向に順番にフォーカス枠を移動させるようにしてもよい。そして、ユーザが選択キーを押すと、現在選択状態にある小領域（フォーカス枠があっている小領域）が前景又は背景として指定される（図１１（ｃ）参照）。この場合に、前景／背景トグルボタン５３により設定されているモードに従って前景か背景かを決めてもよいが、例えば、前景選択キーと背景選択キーとが別々に設けられている場合には、モードによらず、押された選択キーの種類に従って前景か背景かを決めてもよい。

本実施形態のようなインタフェースによれば、移動キーと選択キーの簡単な操作で意図する小領域を間違いなく選択することができる。また、本実施形態では、選択状態にある小領域をフォーカス枠で強調表示するようにしたので、選択状態にある小領域とそれ以外の小領域との区別が容易となり、小領域の誤選択を防止できるとともに、ユーザビリティの向上を図ることもできる。なお、強調表示の方法は、フォーカス枠に限らず、小領域の枠や領域内部の色を変えるなど、どのような方法を用いてもよい。

＜第５実施形態＞
図１２は、本発明の第５実施形態を示している。本実施形態では、画像ウィンドウ５０に表示されている対象画像をユーザが拡大、縮小、平行移動（スクロール）、或いは、回転できるようにしている。これらの操作指示は、例えば、マウスのドラッグやホイール操作で行えるようにしてもよいし、タッチパネルにおけるドラッグやピンチ操作で行えるようにしてもよい。

図１２（ｂ）は、図１２（ａ）の画像を拡大及び平行移動した状態を示している。このとき、画像ウィンドウ５０内の指定用画像は更新されるが、表示倍率や表示位置が変化す
るのは対象画像のみであり、その上に重畳された小領域の位置及び大きさは変わらない。この機能は、小領域を対象画像の中の所望の領域に位置合わせするために利用できる。例えば、図１２（ａ）の例では、３つの小領域のうち上側の２つはいずれも前景と背景にまたがった位置に配置されている。このような場合に、図１２（ｂ）のように対象画像の倍率及び位置を調整することで、前景と背景をまたがないように小領域を配置することができる。よって、この機能を利用することにより、前景のみ又は背景のみを正確に指定することが容易になるという利点がある。

＜第６実施形態＞
図１３は、本発明の第６実施形態を示している。上述した第５実施形態では、画像のみが拡大／縮小、平行移動、回転し、小領域の位置及び大きさはそのままであったのに対し、第６実施形態では、画像と小領域を一緒に拡大等する点が異なる。拡大等の操作指示は第５実施形態のものと同じである。

図１３（ｂ）は、図１３（ａ）の画像を拡大及び平行移動した状態を示している。この機能は、対象画像と小領域の整合を詳細に確認するためなどに利用できる。例えば、図１３（ａ）に示す標準倍率の画像では、画像中の狭小な領域や複雑な形状の部分において小領域がどのように形成されているのか分かりにくい場合がある。これに対し、図１３（ｂ）の拡大画像では、小領域やその輪郭が画像中のどのピクセルと重なっているかを詳細に確認することができる。よって、この機能を利用することにより、正確な領域選択が容易となる。

上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。例えば、上記実施形態では本発明を画像検査装置の検査領域設定に適用した例を説明したが、本発明は領域分割（セグメンテーション）を用いるあらゆる装置に適用することができる。

１：画像検査装置
２：検査対象物（筐体部品）
１０：装置本体、１１：画像センサ、１２：表示装置、１３：記憶装置、１４：入力装置３０：検査領域、３１：検査領域画像
５０：画像ウィンドウ、５１：画像取込ボタン、５２：分割表示ボタン、５３：前景／背景トグルボタン、５４：領域サイズ調整スライダ、５５：領域分割ボタン、５６：確定ボタン
１０１：検査処理部、１０２：検査領域抽出部、１０３：設定ツール

Claims (17)

1. 対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定方法であって、
   コンピュータが、ピクセルよりも大きな小領域を前記対象画像の中に一つ又は複数個設定する小領域設定ステップと、
   コンピュータが、前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示ステップと、
   コンピュータが、前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定ステップと、
   を含み、
   前記小領域設定ステップは、
   前記対象画像を所定のパターンに分割することにより、複数の小領域を形成する分割ステップと、
   前記分割ステップにおいて形成された複数の小領域の中から、一部の小領域を抽出する抽出ステップを含み、
   前記表示ステップでは、前記抽出ステップで抽出された小領域のみが前記指定用画像に描画される
   ことを特徴とする領域指定方法。
2. 前記抽出ステップでは、色又は輝度が均一な小領域、或いは、エッジを含まない小領域、が優先的に抽出される
   ことを特徴とする請求項１に記載の領域指定方法。
3. 前記抽出ステップでは、抽出された小領域の間における色又は輝度の特徴のばらつき、或いは、抽出された小領域の間における前記対象画像の中での位置のばらつき、が可及的に大きくなるように、抽出される小領域が選ばれる
   ことを特徴とする請求項１に記載の領域指定方法。
4. 対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定方法であって、
   コンピュータが、ピクセルよりも大きな小領域を前記対象画像の中に一つ又は複数個設定する小領域設定ステップと、
   コンピュータが、前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示ステップと、
   コンピュータが、前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定ステップと、
   を含み、
   前記小領域設定ステップは、
   色、輝度、及びエッジのうち少なくともいずれかの特徴に基づいてピクセル同士をまとめることにより、複数の小領域を形成する分割ステップと、
   前記分割ステップにおいて形成された複数の小領域の中から、一部の小領域を抽出する抽出ステップを含み、
   前記表示ステップでは、前記抽出ステップで抽出された小領域のみが前記指定用画像に描画される
   ことを特徴とする領域指定方法。
5. 前記抽出ステップでは、エッジを含まない小領域、或いは、サイズ又は幅が大きい小領域、或いは、境界部分のコントラストが高い小領域、が優先的に抽出される
   ことを特徴とする請求項４に記載の領域指定方法。
6. 前記抽出ステップでは、抽出された小領域の間における色又は輝度の特徴のばらつき、或いは、抽出された小領域の間における前記対象画像の中での位置のばらつき、が可及的に大きくなるように、抽出される小領域が選ばれる
   ことを特徴とする請求項４に記載の領域指定方法。
7. 対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定方法であって、
   コンピュータが、ピクセルよりも大きな小領域を前記対象画像の中に一つ又は複数個設定する小領域設定ステップと、
   コンピュータが、前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示ステップと、
   コンピュータが、前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定ステップと、
   コンピュータが、ユーザによる画像の拡大、縮小、平行移動、或いは、回転の指示に従って、前記表示装置の画面に表示されている指定用画像を更新する画像更新ステップと、を含み、
   前記画像更新ステップでは、前記小領域の画面上での位置及び大きさを変えずに、前記対象画像のみ拡大、縮小、平行移動、或いは、回転させる
   ことを特徴とする領域指定方法。
8. 前記指定ステップにおいて前記前景又は背景とすべき領域としてユーザに選択された小領域が強調表示される
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の領域指定方法。
9. 前記対象画像に対する小領域の大きさがユーザにより変更可能である
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の領域指定方法。
10. コンピュータが、ユーザによる画像の拡大、縮小、平行移動、或いは、回転の指示に従って、前記表示装置の画面に表示されている指定用画像を更新する画像更新ステップをさらに含み、
    前記画像更新ステップでは、前記対象画像とともに前記小領域も拡大、縮小、平行移動、或いは、回転させる
    ことを特徴とする請求項１〜６のうちいずれか１項に記載の領域指定方法。
11. 前記入力装置が、移動キーと選択キーを有しており、
    前記指定ステップは、
    前記指定用画像上のいずれかの小領域を選択状態にするステップと、
    ユーザから前記移動キーの入力を受け付けるたびに、選択状態とする小領域を順番に変えていくステップと、
    ユーザから前記選択キーの入力を受け付けた場合に、現在選択状態にある小領域を、前記前景又は背景とすべき領域として選択するステップと、を含む
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の領域指定方法。
12. 前記現在選択状態にある小領域が強調表示される
    ことを特徴とする請求項１１に記載の領域指定方法。
13. 前記入力装置が、前記表示装置の画面に設けられたタッチパネルであり、
    前記指定ステップでは、ユーザが前記表示装置の画面に表示されている指定用画像上の小領域をタッチすることにより、前記前景又は背景とすべき領域が選択される
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の領域指定方法。
14. 請求項１〜１３のうちいずれか１項に記載の領域指定方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
15. 対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定装置であって、
    ピクセルよりも大きな小領域を前記対象画像の中に一つ又は複数個設定する小領域設定手段と、
    前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示手段と、
    前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定手段と、
    を有し、
    前記小領域設定手段は、前記対象画像を所定のパターンに分割することにより複数の小領域を形成し、形成された複数の小領域の中から一部の小領域を抽出し、
    う前記表示手段は、前記小領域設定手段で抽出された小領域のみを前記指定用画像に描画する
    ことを特徴とする領域指定装置。
16. 対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定装置であって、
    ピクセルよりも大きな小領域を前記対象画像の中に一つ又は複数個設定する小領域設定手段と、
    前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示手段と、
    前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定手段と、
    を有し、
    前記小領域設定手段は、色、輝度、及びエッジのうち少なくともいずれかの特徴に基づいてピクセル同士をまとめることにより複数の小領域を形成し、形成された複数の小領域
    の中から一部の小領域を抽出し、
    前記表示手段は、前記小領域設定手段で抽出された小領域のみを前記指定用画像に描画する
    ことを特徴とする領域指定装置。
17. 対象画像を前景と背景に分離する領域分割処理を行うにあたり、前記対象画像の一部の領域を前景又は背景とすべき領域としてユーザに指定させる領域指定装置であって、
    ピクセルよりも大きな小領域を前記対象画像の中に一つ又は複数個設定する小領域設定手段と、
    前記対象画像上に前記小領域の境界が描画された指定用画像を表示装置に表示する表示手段と、
    前記指定用画像上の一つ又は複数の小領域の中から、前記前景又は背景とすべき領域を、ユーザに入力装置を用いて選択させる指定手段と、
    を有し、
    前記表示手段は、ユーザによる画像の拡大、縮小、平行移動、或いは、回転の指示に従って、前記表示装置の画面に表示されている指定用画像を更新する際に、前記小領域の画面上での位置及び大きさを変えずに、前記対象画像のみ拡大、縮小、平行移動、或いは、回転させる
    ことを特徴とする領域指定装置。

Images