JP4726367B2 - 画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体 - Google Patents
画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4726367B2 JP4726367B2 JP2001304318A JP2001304318A JP4726367B2 JP 4726367 B2 JP4726367 B2 JP 4726367B2 JP 2001304318 A JP2001304318 A JP 2001304318A JP 2001304318 A JP2001304318 A JP 2001304318A JP 4726367 B2 JP4726367 B2 JP 4726367B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- area
- processing area
- image
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理に関する技術であって、画像処理をしたい所望の領域を指定するための方法および回路、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
工場の生産ラインにおける位置検出や検査など、様々な分野において画像処理技術が利用されている。画像処理装置は、撮像装置を用いて対象物（ワーク）を視覚的に捉え、その情報を２次元画像として処理し、位置情報や特徴量を抽出する機能を備える。このような画像処理技術においては、画像処理の対象となる領域を指定することが重要である。特に画像処理の精度や信頼性を高めるためには、対象物の形状に可能な限り類似した画像処理領域を設定する必要がある。対象物の検査したい部位にのみ画像処理領域を指定することができれば、最も精度の高い画像処理を行うことが可能となる。
【０００３】
従来は、例えばカメラにて撮像して取り込まれた画像に対して、処理する領域をマウスやカーソルなどの入力デバイスで指定していた。入力デバイスで入力画面中に矩形や円形の領域を一または複数描画し、これらを組み合わせて所望の領域を指定する。例えば積集合（ＡＮＤ）や和集合（ＯＲ）を取ったり、一方をマスク領域として除外（ＮＯＴ）するなどして、様々な形状を指定することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、現実には領域指定に関して様々な制限があり、思うような領域を指定することは容易でなかった。例えば領域指定できる回数に制限があり、３回までしか指定できないとすると、実現できる領域の形状が制限されてしまう。幾何学的に設定される領域を限定された回数の組み合わせで指定しようとしても、対象物に類似した形状を実現することは困難となる。
【０００５】
また一旦指定された領域の全部もしくは一部を再設定することは容易でない。複数の領域を組み合わせて指定された領域を部分的に変更や削除しようとすれば、直前の指定領域から逆に遡りながら所望の部分にまで辿り着く必要があるため、所望の部分に一度で到達することができず多数の工程が必要で極めて煩雑となっていた。画像処理領域を変更することは頻繁に行われるため、そのメンテナンス性を良くするためには視覚的に判り易いインターフェースを提供する必要がある。さらに複数の領域の組み合わせで指定された領域は単一の領域として扱われるため、領域に処理を加えるには全体として移動、回転などをさせることになり、部分的な修正や変形が困難であった。このように、画像処理領域の調整には手間がかかるため、一旦領域を指定した後でも調整などのメンテナンスが容易な操作性に優れた領域指定方法が求められていた。
【０００６】
さらにまた、領域形状を入力画像に応じて動的に変更させることはできず、また重ね合わせた個々の領域に対する位置の補正も実現できなかった。工場などで利用される入力画像では、処理すべき対象が常に定位置にあるものばかりでなく、例えば搬送される部品を撮像する場合など、部品の位置が撮像の度に異なっていることがある。従来の方法では、入力画像の配置位置に変更がない場合には対応できるものの、位置関係が変更すると領域がずれてしまうため所望の処理ができなかった。特に入力画像中に固定されている部位と動く部位が混在している場合には、双方に対応するように適切な部位を確実に捉えることができないという問題があった。
【０００７】
本発明は、このような問題点を解決するために開発されたものである。本発明の目的の一つは、任意の画像処理領域が容易に指定できる画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を提供することにある。また、本発明の他の目的は、対象物が移動してもこれに応じて画像処理領域を追従させ、的確に対象を捉えて最適な画像処理を得ることのできる画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を実現するために、本発明の請求項１に記載される画像処理領域の指定回路は、複数の小領域を組み合わせて入力画像の中から画像処理領域を指定する回路に関するものである。この画像処理領域の指定回路は、入力画像データを保持する入力画像記憶部１と、少なくとも一の小領域で構成される前記画像処理領域の一部について、前記入力画像に基づいて前記一部の領域の設定を修正するよう演算を行う制御部４と、小領域の指定および複数の小領域を組み合わせて画像処理領域を構成する設定を入力する入力部６と、入力画像のイメージと、これに重ねて画像処理領域を表示する入力画像表示欄１３と、前記画像処理領域の設定を、小領域のツリー状に表示するプロジェクト表示欄１４と、を備える表示部５と、選択された小領域を、処理領域とするか、処理対象外のマスク領域とするかの設定を行うための領域タイプ設定手段と、を備え、各小領域に対して、他の小領域に対して積集合か和集合かの属性を選択して、これらの属性が設定された小領域を組み合わせて画像処理領域を構成可能であり、さらに前記プロジェクト表示欄１４に表示されたツリー状の小領域、又は前記入力画像表示欄１３にて入力画像上に表示された小領域のいずれかによって選択された小領域に対応して、該選択された小領域の位置又は大きさを変更可能に構成してなることを特徴とする。
【０００９】
また、本発明の請求項２に記載される画像処理領域の指定回路は、前記プロジェクト表示欄１４には、各プロジェクトに対して、前記入力画像表示欄１３に表示される入力画像を表すカメラが表示されてなることを特徴とする。
【００１０】
さらに、本発明の請求項３に記載される画像処理領域の指定回路は、前記入力部による小領域の指定が、矩形状、円形状、多角形、半円、自由曲線による閉じた領域の少なくともいずれかで指定可能に構成してなり、前記プロジェクト表示欄１４における各小領域の表示が、前記入力部で指定された小領域の形状を示すアイコンとして表示されてなることを特徴とする。
【００１１】
さらにまた、本発明の請求項４に記載される画像処理領域の指定回路は、前記領域タイプ設定手段が、前記プロジェクト表示欄１４又は入力画像表示欄１３において、プロパティ設定画面を呼び出すことで行われることを特徴とする。
【００１２】
さらにまた、本発明の請求項５に記載される画像処理領域の指定回路は、前記設定された、各小領域に対する積集合か和集合かの属性を、変更可能に構成してなることを特徴とする。
【００１３】
さらにまた、本発明の請求項６に記載される画像処理領域の指定回路は、前記プロパティ設定画面において、入力画像のエッジ位置、平均値、しきい値の少なくともいずれかを変数として、該変数に応じて小領域の位置又は移動量を変更可能に構成してなることを特徴とする。
【００１４】
さらにまた、本発明の請求項７に記載される画像処理領域の指定方法は、コンピュータで、入力画像データを取得して、該入力画像のイメージを、表示部の入力画像表示欄１３に表示させる工程と、前記入力画像表示欄１３に表示された入力画像イメージと重ねて、複数の小領域を指定し、これらを組み合わせて画像処理領域を設定して表示させる工程と、該画像処理領域に対して、画像処理を行う工程と、を含み、前記画像処理領域を設定する工程において、前記表示部の入力画像表示欄１３に表示された入力画像に対して設定された複数の小領域を、ツリー形式にてプロジェクト表示欄１４に表示させる工程と、前記プロジェクト表示欄１４に表示されたツリー状の小領域、又は前記入力画像表示欄１３にて表示された入力画像上に重ねて表示される小領域の、いずれかを選択し、該選択された小領域に対して、他の小領域に対して積集合とするか和集合とするかの属性を設定、処理領域とするか、処理対象外のマスク領域とするかを設定、又は基準となる位置又は大きさを変更する工程とを含むことを特徴とする。
【００１５】
また、本発明の請求項８に記載される画像処理領域の指定プログラムは、複数の小領域を組み合わせて入力画像の中から画像処理領域を指定するプログラムに関するものである。この画像処理領域の指定プログラムは、コンピュータを、少なくとも一の小領域で構成される前記画像処理領域の一部について、前記入力画像に基づいて前記一部の領域の設定を修正する手段と、前記画像処理領域の設定を行うユーザーインターフェースに、前記画像処理領域を構成する前記複数の小領域を枝状のツリー構造で表示させるプロジェクト表示手段と、入力画像のイメージと、これに重ねて画像処理領域を表示させる入力画像表示手段と、前記プロジェクト表示手段にてツリー構造で表示される各小領域毎に個別に属性を設定させる手段と、選択された小領域を、処理領域とするか、処理対象外のマスク領域とするかの設定を行うための手段と、して実行させ、各小領域に対して、他の小領域に対して積集合か和集合かの属性を選択して、これらの属性が設定された小領域を組み合わせて画像処理領域を構成可能であり、さらに前記プロジェクト表示手段に表示されたツリー状の小領域、又は前記入力画像表示欄１３にて入力画像上に表示された小領域のいずれかによって選択された小領域に対応して、該選択された小領域に対する基準となる位置及び大きさを変更可能に構成してなることを特徴とする。このプログラムは、ネットワークを介してダウンロード可能な形態も含まれる。例えば、様々な小領域同士でＡＮＤ、ＯＲ、ＮＯＴなどを適宜選択して組み合わせることで画像処理領域を構成し、その一部の領域については入力画像に応じて移動させ、他の部分については固定させるように指定できる。
【００１６】
さらにまた、本発明の請求項９に記載されるコンピュータで読み取り可能な記録媒体は、前記請求項８に記載される前記画像処理領域の指定プログラムを格納した記録媒体である。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷなどの磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術的思想を具体化するための画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を以下のものに特定しない。
【００１８】
さらに、この明細書は、特許請求の範囲を理解し易いように、実施の形態に示される部材に対応する番号を、「特許請求の範囲の欄」、および「課題を解決するための手段の欄」に示される部材に付記している。ただ、特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。なお、各図面が示す部材の大きさや位置関係などは、説明を明確にするため誇張していることがある。
【００１９】
本明細書において画像処理領域の指定回路または方法とは、位置指定のみを行う回路や方法に限られず、画像処理に関連するその他の処理を行う回路または方法も含まれ、またこのような画像処理回路やシステムの一部として組み込まれる態様も含まれる。さらにハードウェア的に処理を行う回路に限定するものでなく、ファームウェアの更新、書き換えによる処理やソフトウェア的な処理を行う装置も包含するよう意図するものである。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラなどを組み込んで画像処理ならびにこれに関連する処理を実施可能とした汎用あるいは専用のコンピュータ、ワークステーション、端末、携帯型電子機器、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも画像処理領域の指定回路に含まれる。また本明細書において、回路とはプログラム自体も含むものとする。
【００２０】
［画像処理領域の指定回路］
図１は、本発明の一実施例に係る画像処理領域の指定回路を含む画像処理装置の構成を示す。この図に示す画像処理装置は、画像ソース７から入力される入力画像をＡ／Ｄ変換により二値化、多階調化するなどデータ変換を行うＡ／Ｄ変換部２と、Ａ／Ｄ変換部２で変換された入力画像データを取得して制御部４、画像処理部３などに送出するための画像取得ロジック８と、Ａ／Ｄ変換部２で変換された入力画像データを保持する入力画像記憶部１と、必要な演算を行う制御部４と、所定のプログラムやファームウェアなどを保持する記憶媒体９と、画像処理を行う画像処理部３と、データの橋渡しを行う入出力制御ロジック１０と、ユーザが小領域の指定など必要な情報を入力するための入力部６と、必要なデータを保持するための表示メモリ１１と、入力画像の入力画像表示欄１３などを表示する表示部５と、結果を外部に送出するための出力部１２を備える。具体的な画像処理領域指定の手順については後述する。なお、相互の部材同士の関係や接続形態は図１に示す例に捕らわれず、各部材はそれぞれ別部材で構成する必要もない。例えば画像処理部３と制御部４を入れ替えたり、一の部材で構成したりすることも可能である。
【００２１】
画像ソース７はカメラやエリアセンサ、ラインセンサ（例えばＣＣＤ）などの画像撮像手段が利用される。例えば、撮像カメラで撮影されたリアルタイムの画像や、予め記録された再生画像などを入力画像とする。Ａ／Ｄ変換部２は、画像ソース７からの入力画像をアナログ信号からデジタル値に変換し、二値化データや多階調のグレースケールデータなどの入力画像データとする。また、デジタルデータの映像ソースの場合は、Ａ／Ｄ変換部２を通らずに、直接画像取得ロジック８に入力される。Ａ／Ｄ変換部２で得られた入力画像データは、画像取得ロジック８に従って入力画像記憶部１に記憶される。入力画像記憶部１は入力画像データを記憶する画像メモリであり、例えば揮発性メモリであるＲＡＭなどが使用される。
【００２２】
画像処理部３は、入力画像記憶部１から入力画像データを読み取って、画像処理を行う作業領域となる。画像処理部３は、ＣＰＵやＬＳＩなどで構成される。画像処理部３は省略して制御部４など他の部材で処理を行わせることもできる。
【００２３】
画像処理部３に接続された制御部４は、画像取得ロジック８を介して入力画像記憶部１から画像データを呼び出すアドレスを指定する。制御部４はＣＰＵなどで構成され、制御部４に指定されたアドレスに従って画像処理部３は必要な画像データを読み出し、画像処理を実施する。制御部４はさらに、画像処理を行うために必要なしきい値など各種の設定パラメータの候補を演算する。例えば制御部４は、画像処理領域の投影濃度配列を作成して投影濃度配列の最大値、最小値、平均値に基づいてエッジ候補しきい値、エッジ除去しきい値などを演算する。演算された各しきい値は、制御部４内部のメモリまたは表示メモリ１１に保持され、必要時に適宜読み出される。
【００２４】
記憶媒体９は、画像処理領域設定プログラムなどを格納する。表示メモリ１１は、描画に必要な画像データやユーザが指定した画像処理領域に関するデータ、各種演算結果など必要なデータを格納し、必要に応じて入出力制御ロジック１０を介して呼び出され、内容が更新される。出力部１２は、演算された結果に基づいて画像処理やこれに関連する処理を他の装置が実行できるように、必要な結果を送出する。
【００２５】
入力部６は、ユーザが画像処理領域を指定するための部材である。入力部６はマウスやタブレット、デジタイザ、ライトペン、キーボード、テンキー、ジョグダイヤル、タッチパッドなどの各種ポインティングデバイスが利用できる。例えば図２〜図４に示す表示部５のユーザーインターフェースから、ユーザは所望の入力欄にマウスカーソルを移動させ、所望の値や領域を指定する。特に、入力画像表示欄１３で小領域を複数指定し、これらの組み合わせによって一の画像処理領域を構成する。小領域は１００個まで、あるいは無制限に設定することができる。この方法は、複雑な形状の画像処理領域を構成を指定でき、しかも各小領域についてはマウスなどを使って一筆書き状に容易に指定することができるので、ユーザの領域指定作業自体は簡素なままで複雑な領域を指定できるという優れた操作性が実現される。
【００２６】
［画像処理領域設定プログラムのユーザインターフェース］
表示部５は、入力画像のイメージやこれに重ね合わせて画像処理領域を表示し、さらに各設定項目の詳細などを表示する。図２〜図４に表示部５で表示される画面イメージの一例を示す。この表示部５は、ユーザが設定した画像処理領域の設定をツリー状に表示するプロジェクト表示欄１４と、各項目の変数名、設定値など設定内容や過去のログなどを表示する詳細表示欄１５と、入力画像のイメージおよび画像処理領域を表示する入力画像表示欄１３を有する。
【００２７】
プロジェクト表示欄１４では、一連の設定毎がプロジェクトとして、ツリー状に表示される。各プロジェクトProjectには、そのプロジェクトで対象となる入力画像を表すカメラCameraが直下に表示される。選択されたプロジェクトに対応する入力画像が、入力画像表示欄１３にカメラCameraとして表示される。ツリー状に表示されるプロジェクト表示欄１４では、カメラの下に画像表示領域が枝分かれするように続く。画像表示領域はグループGroupとして表示され、ユーザが指定する小領域を組み合わせて指定していく。プロジェクト表示欄１４において、Rectは矩形の小領域を、Circleは円形の小領域を、Filterは、画像処理の一例としてのフィルタ処理の実行を示している。これらの見出しには、ユーザが所望の名称を付けることができる。
【００２８】
小領域は、ユーザが入力部６からマウスなどの入力デバイスを使って入力画像表示欄１３上に指定していく。例えば新規に矩形状の小領域を入力画像表示欄１３上に作成すると、プロジェクト表示欄１４に対応する矩形状小領域を示すRectが表示される。このとき、「Rect」の項目名の左に矩形状であることを示す「□」のアイコンが、入力画像表示欄１３で矩形を囲む線と同じ色で表示される。これによってユーザは、どのRectが入力画像表示欄１３でどの矩形に相当するかを視覚的に把握できる。あるいは、線種（太線、細線、点線）を対応させたり、または入力画像表示欄１３で各小領域に「Rect01」などのキャプションを表示させてもよい。
【００２９】
このようにして指定した小領域の設定は、プロジェクト表示欄１４で「Rect」の文字をマウスでダブルクリックするか、入力画像表示欄１３で小領域を右クリックしてプロパティを選択することにより、図５に示すようなプロパティ設定画面を呼び出して変更することができる。図５の例では「イベント名（Ｎ）」の欄を選択して反転させており、名称を変更することができる。また「領域タイプ（Ｐ）」では処理領域とするか、処理対象外のマスク領域とするかの設定を変更できる。さらに「基準のＸ座標（Ｘ）」、「基準のＹ座標（Ｙ）」や「Ｘ軸の幅（Ｗ）」、高さに相当する「Ｙ軸の幅（Ｈ）」、「回転角（Ａ）」を数値もしくは変数で指定する。変数で設定すると、この小領域の位置や大きさ、傾きなどを入力画像に応じて変更することができる。例えば入力画像のエッジ位置や平均値、しきい値などを変数として、これらに応じて位置や移動量など変更することができる。基準となる位置は、矩形の場合は左上頂点の座標を、円形の場合は中心点としているが、他の位置に設定することもできることはいうまでもない。また「カラー（Ｃ）」の欄は、小領域の囲み線やアイコンの色を設定する。
【００３０】
小領域は矩形に限られず、円形を指定することもできる。円形の小領域はプロジェクト表示欄１４にCircleと表示され、「○」のアイコンが付加される。その他、小領域として三角形や六角形などの多角形、半円、自由曲線による閉じた領域などを指定することもできる。
【００３１】
ユーザはこれらの小領域を適宜追加し、これらを組み合わせることにより所望の領域を指定する。既に作成された画像処理領域や小領域に新たな小領域を追加すると、プロジェクト表示欄１４の当該画像処理領域などの下に追加された小領域とそのアイコンが表示される。追加する小領域に対して、先に作成した画像処理領域などとＯＲまたはＡＮＤをとるように、あるいはＮＯＴとしてマスクとなるように指定することで、先に作成した画像処理領域をさらに変形することができる。これらの様々な形状の小領域と演算子を組み合わせることによって、一筆書きでは指定できないような複雑な領域の指定が可能となる。しかも各小領域はマウスなどを使って一筆書き状に容易に指定することができるので、ユーザの領域指定作業自体は簡素なままで複雑な領域を指定できるという優れた操作性が実現される。図２の例では、すべての小領域を処理領域とするように、和集合（ＯＲ）をとっている。
【００３２】
このようにして画像処理領域の指定が完了すると、処理を設定する。処理はプロジェクト表示欄１４においてFilterで表示され、「■」のアイコンが表示される。処理の対象となる画像処理領域は、図３に示すように入力画像表示欄１３では、処理された画像、黒または濃色で塗りつぶされた領域となる。逆に処理の対象外となるマスク領域は、無処理、白または透明で表示される。これらの表示により、ユーザは処理されている領域を視覚的に的確に捉えることができる。また、ユーザの所望する色の塗りつぶしや線種の違い（網掛けのパターン）などで表示するよう設定することもできる。
【００３３】
画像処理領域は複数表示することもできる。図３の例では、２つの画像処理領域を指定している。プロジェクト表示欄１４では、それぞれ別のツリーとしてGroupから枝分かれしている。さらに図４の例では、３つ目の画像処理領域をGroupの直下に追加している。これによって、これらのツリーが別個の画像処理領域を構成していることが判別できる。
【００３４】
さらにツリー構造は、所望の領域を任意の位置に追加でき、また任意の領域の削除が容易であるという操作面でも優れた特徴を実現している。従来のように従前の操作を取り消すことで修正、変更を行う方法では、直前の操作を逆に辿りながら行う必要があるため、所望の訂正箇所に一度で到達することができず多数の工程が必要な複雑な作業であった。これに対しツリー構造では、階層状に並んだ小領域の中から所望の領域を直接指定して変更できるため、極めて簡単に目的の場所を指定できる上、他の構成を崩すおそれもない。
【００３５】
さらにまた、ツリー構造の任意の枝をコピー、移動させることも可能で、処理の内容、順序などを自由に再構築することが容易に行えるというメリットもある。しかもマウスによってドラッグアンドドロップやカットアンドペースト、あるいはマウスの右クリックからコピーや削除を選択することができ、グラフィカルユーザーインターフェースを活用した優れた操作環境を実現できる。
【００３６】
［画像処理領域の指定方法］
以下、本発明の一実施例に係る画像処理領域の指定方法を、図６のフローチャートに基づいて説明する。
【００３７】
ステップＳ１において、画像処理の対象となる入力画像を取得する。入力画像は外部の画像ソース７などから取り込まれ、Ａ／Ｄ変換部２でアナログ信号からデジタル信号に変換された入力画像データもしくはデジタルデータの入力画像データが画像取得ロジック８を介して入力画像記憶部１、制御部４および画像処理部３に送られる。
【００３８】
ステップＳ２において、取得された入力画像データを表示部５で表示する。制御部４から入出力ロジックを介して表示メモリ１１にデータが保持され、さらに表示部５にて表示される。
【００３９】
ステップＳ３において、表示された入力画像に対し入力部６から小領域を指定する。入力部６はマウスやキーボードなどのポインティングデバイスであり、ユーザは入力部６を使って画像処理領域を構成する小領域を設定する。小領域は複数を設定することができる。
【００４０】
ステップＳ４において、ユーザは小領域を組み合わせることにより所望の画像処理領域を構成する。組み合わせの方法は、複数の小領域同士でＡＮＤ、ＯＲ、ＮＯＴを適宜利用することができる。例えばＯＲをとって小領域同士を結合した領域を構成する例を図７に示す。図７において、グループGROUPは画像処理領域を、各ウィンドウWINDOWは小領域を構成している。この例では、グループGROUP000として、円形もしくは半円形状のウィンドウWINDOW00と、矩形状のウィンドウWINDOW01を結合して、図７（ｂ）のような多角形では表現できない曲線と矩形の組み合わせ領域を構成している。指定方法は、ツリー構造のユーザインターフェースから行う。図７（ａ）に示すようにプロジェクトPRJCT000のツリーとして、入力画像を示すカメラCAMERA00の下に円形状のウィンドウWINDOW00を作成する。この下にさらに矩形状のウィンドウWINDOW01を追加し、これら２つのウィンドウで指定した小領域の和集合（ＯＲ）した領域を処理させることができる。これにより、図７（ｂ）の塗りつぶしで示すような領域を指定することができる。
【００４１】
さらに、一部の領域を除外するようにマスク領域（ＮＯＴ）を指定する手順を、図８に基づいて説明する。図８（ａ）に示すように、上記図７（ａ）で作成したウィンドウWINDOW01の下に、さらに円形のマスクウィンドウMSKWIN00を追加する。これによって、図８（ｂ）に示すように、図７（ｂ）で指定した領域に対してマスクを加えた領域を得ることができる。図８（ｂ）において、白色の部分は処理を行わないマスク領域である。
【００４２】
ステップＳ５において、前段までで作成された各領域に対して、必要に応じて位置や形状の変更、修正を加えるための設定を行う。位置の修正は必ずしもすべての領域に対して一様である必要はなく、一部の領域において、すなわち各小領域や複数の小領域の組み合わせに対して行うことができる。
【００４３】
［位置補正］
以下、図９に基づいて画像処理領域の位置を入力画像に応じて変化させる例について説明する。例えば、入力画像に移動するワークと固定された背景などの不要部分が含まれており、位置の変化するワークを捉えて画像処理すると共に、不要部分を排除するような場合を考える。
【００４４】
移動するワークについては、図９（ａ）において塗りつぶし領域のような多角形の画像処理領域を設定する。この画像処理領域は、入力画像における座標位置を変数で特定し、移動するワークに従って追従するように座標位置を変化させる。例えばワークのエッジを検出し、このエッジに基づいて座標位置を演算して、ワークと画像処理領域が重なるようにしている。移動された画像処理領域は、表示部５の入力画像表示欄１３においても移動して表示される。この際移動した領域であることを示すように表示色や明るさを変化させたりブリンク表示させるなどのハイライトを加えたり、また移動の指標となったしきい値などを重ねて表示することもできる。
【００４５】
一方、移動することなく定位置で固定された部分については、このような位置補正は不要である。図９（ｂ）に示す例では、斜線で示すマスク領域を矩形状に指定し、この領域を画像処理の対象外として排除する。また画像処理領域については、上述した図９（ａ）と同様に移動するワークに追従するように座標位置を変化させている。もちろん、マスク領域を移動させるように設定しても良いし、画像処理領域を固定してもよい。またマスク領域と画像処理領域を独立して移動させるように設定することもできる。さらに、ワークの大きさが変化したときは、その大きさに応じて領域の高さ、幅なども動的に変化させて捕捉することも可能である。このように、各領域を単一の領域として処理するのでなく、それぞれ個別にかつ動的に領域の位置、形状変化や移動の有無、処理対象の可否などを任意に設定することができ、画像処理領域を適切に指定することで画像処理の精度を高め信頼性に優れた画像処理を実現できる。
【００４６】
【発明の効果】
以上説明したように、本発明の画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体は、複雑な形状の画像処理領域を容易に設定でき、画像処理に応じた適切な領域指定が可能であるという特長を実現する。それは、本発明の画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体が、複数の小領域を自由に組み合わせて一の画像処理領域を構成すると共に、画像処理領域全体としてでなく各小領域あるいは小領域の集合に対して個別に位置修正やサイズ変更などの設定を行うことができるからである。画像処理においては、対象物に対して画像処理領域をいかに適切に設定できるかが重要なポイントとなる。本発明では、比較的単純な形状の小領域の組み合わせによって複雑な領域の指定をも可能としている。しかも各小領域はマウスなどを使って一筆書き状に容易に指定することができるので、ユーザの領域指定作業自体は簡素なままで複雑な領域を指定できるという優れた操作性が実現される。
【００４７】
さらに、これらの小領域あるいは小領域の集合に対して個別に位置補正などの設定を行えるため、入力画像中で移動する部位と静止している部位とを的確に捉えることが可能になる。位置の変更などの修正を領域全体に対して行うのでなく、各領域に対して個別に位置修正をかけることによって、入力画像の形状や配置に追従して画像処理領域を設定でき、信頼性の高い画像処理結果が期待できる。
【００４８】
さらにまた、指定された画像処理領域の全体像や各小領域は、表示部で元の入力画像に重ね合わせて確認することができる。別の表示画面で一の画像処理領域を構成する小領域をツリー状に同時に表示させ、これらの対応関係を視覚的に示すことも可能である。これにより、実際の画像イメージを確認しながらツリーを指定して領域の一部に設定の変更や修正を加えることができるので、画像処理領域の設定の自由度を高めると共に、ユーザは変更箇所を視覚的に捉えることができ、操作性に優れた環境を提供する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像処理領域の指定回路の構成を示すブロック図である。
【図２】画像処理領域の指定プログラムのユーザインターフェースの一例を示すイメージ図である。
【図３】画像処理領域の指定プログラムのユーザインターフェースの一例を示すイメージ図である。
【図４】画像処理領域の指定プログラムのユーザインターフェースの一例を示すイメージ図である。
【図５】図２の矩形状小領域のプロパティを設定するユーザーインターフェースの一例を示すイメージ図である。
【図６】画像処理領域を指定する各工程を示すフローチャートである。
【図７】小領域を組み合わせて画像処理領域を構成する様子を説明する概念図である。
【図８】図７にさらにマスク領域を追加する様子を説明する概念図である。
【図９】画像処理領域の位置を入力画像に応じて変化させる様子を説明する概念図である。
【符号の説明】
１・・・入力画像記憶部
２・・・Ａ／Ｄ変換部
３・・・画像処理部
４・・・制御部
５・・・表示部
６・・・入力部
７・・・画像ソース
８・・・画像取得ロジック
９・・・記憶媒体
１０・・・入出力制御ロジック
１１・・・表示メモリ
１２・・・出力部
１３・・・入力画像表示欄
１４・・・プロジェクト表示欄
１５・・・詳細表示欄
【発明の属する技術分野】
本発明は、画像処理に関する技術であって、画像処理をしたい所望の領域を指定するための方法および回路、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
工場の生産ラインにおける位置検出や検査など、様々な分野において画像処理技術が利用されている。画像処理装置は、撮像装置を用いて対象物（ワーク）を視覚的に捉え、その情報を２次元画像として処理し、位置情報や特徴量を抽出する機能を備える。このような画像処理技術においては、画像処理の対象となる領域を指定することが重要である。特に画像処理の精度や信頼性を高めるためには、対象物の形状に可能な限り類似した画像処理領域を設定する必要がある。対象物の検査したい部位にのみ画像処理領域を指定することができれば、最も精度の高い画像処理を行うことが可能となる。
【０００３】
従来は、例えばカメラにて撮像して取り込まれた画像に対して、処理する領域をマウスやカーソルなどの入力デバイスで指定していた。入力デバイスで入力画面中に矩形や円形の領域を一または複数描画し、これらを組み合わせて所望の領域を指定する。例えば積集合（ＡＮＤ）や和集合（ＯＲ）を取ったり、一方をマスク領域として除外（ＮＯＴ）するなどして、様々な形状を指定することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、現実には領域指定に関して様々な制限があり、思うような領域を指定することは容易でなかった。例えば領域指定できる回数に制限があり、３回までしか指定できないとすると、実現できる領域の形状が制限されてしまう。幾何学的に設定される領域を限定された回数の組み合わせで指定しようとしても、対象物に類似した形状を実現することは困難となる。
【０００５】
また一旦指定された領域の全部もしくは一部を再設定することは容易でない。複数の領域を組み合わせて指定された領域を部分的に変更や削除しようとすれば、直前の指定領域から逆に遡りながら所望の部分にまで辿り着く必要があるため、所望の部分に一度で到達することができず多数の工程が必要で極めて煩雑となっていた。画像処理領域を変更することは頻繁に行われるため、そのメンテナンス性を良くするためには視覚的に判り易いインターフェースを提供する必要がある。さらに複数の領域の組み合わせで指定された領域は単一の領域として扱われるため、領域に処理を加えるには全体として移動、回転などをさせることになり、部分的な修正や変形が困難であった。このように、画像処理領域の調整には手間がかかるため、一旦領域を指定した後でも調整などのメンテナンスが容易な操作性に優れた領域指定方法が求められていた。
【０００６】
さらにまた、領域形状を入力画像に応じて動的に変更させることはできず、また重ね合わせた個々の領域に対する位置の補正も実現できなかった。工場などで利用される入力画像では、処理すべき対象が常に定位置にあるものばかりでなく、例えば搬送される部品を撮像する場合など、部品の位置が撮像の度に異なっていることがある。従来の方法では、入力画像の配置位置に変更がない場合には対応できるものの、位置関係が変更すると領域がずれてしまうため所望の処理ができなかった。特に入力画像中に固定されている部位と動く部位が混在している場合には、双方に対応するように適切な部位を確実に捉えることができないという問題があった。
【０００７】
本発明は、このような問題点を解決するために開発されたものである。本発明の目的の一つは、任意の画像処理領域が容易に指定できる画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を提供することにある。また、本発明の他の目的は、対象物が移動してもこれに応じて画像処理領域を追従させ、的確に対象を捉えて最適な画像処理を得ることのできる画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を実現するために、本発明の請求項１に記載される画像処理領域の指定回路は、複数の小領域を組み合わせて入力画像の中から画像処理領域を指定する回路に関するものである。この画像処理領域の指定回路は、入力画像データを保持する入力画像記憶部１と、少なくとも一の小領域で構成される前記画像処理領域の一部について、前記入力画像に基づいて前記一部の領域の設定を修正するよう演算を行う制御部４と、小領域の指定および複数の小領域を組み合わせて画像処理領域を構成する設定を入力する入力部６と、入力画像のイメージと、これに重ねて画像処理領域を表示する入力画像表示欄１３と、前記画像処理領域の設定を、小領域のツリー状に表示するプロジェクト表示欄１４と、を備える表示部５と、選択された小領域を、処理領域とするか、処理対象外のマスク領域とするかの設定を行うための領域タイプ設定手段と、を備え、各小領域に対して、他の小領域に対して積集合か和集合かの属性を選択して、これらの属性が設定された小領域を組み合わせて画像処理領域を構成可能であり、さらに前記プロジェクト表示欄１４に表示されたツリー状の小領域、又は前記入力画像表示欄１３にて入力画像上に表示された小領域のいずれかによって選択された小領域に対応して、該選択された小領域の位置又は大きさを変更可能に構成してなることを特徴とする。
【０００９】
また、本発明の請求項２に記載される画像処理領域の指定回路は、前記プロジェクト表示欄１４には、各プロジェクトに対して、前記入力画像表示欄１３に表示される入力画像を表すカメラが表示されてなることを特徴とする。
【００１０】
さらに、本発明の請求項３に記載される画像処理領域の指定回路は、前記入力部による小領域の指定が、矩形状、円形状、多角形、半円、自由曲線による閉じた領域の少なくともいずれかで指定可能に構成してなり、前記プロジェクト表示欄１４における各小領域の表示が、前記入力部で指定された小領域の形状を示すアイコンとして表示されてなることを特徴とする。
【００１１】
さらにまた、本発明の請求項４に記載される画像処理領域の指定回路は、前記領域タイプ設定手段が、前記プロジェクト表示欄１４又は入力画像表示欄１３において、プロパティ設定画面を呼び出すことで行われることを特徴とする。
【００１２】
さらにまた、本発明の請求項５に記載される画像処理領域の指定回路は、前記設定された、各小領域に対する積集合か和集合かの属性を、変更可能に構成してなることを特徴とする。
【００１３】
さらにまた、本発明の請求項６に記載される画像処理領域の指定回路は、前記プロパティ設定画面において、入力画像のエッジ位置、平均値、しきい値の少なくともいずれかを変数として、該変数に応じて小領域の位置又は移動量を変更可能に構成してなることを特徴とする。
【００１４】
さらにまた、本発明の請求項７に記載される画像処理領域の指定方法は、コンピュータで、入力画像データを取得して、該入力画像のイメージを、表示部の入力画像表示欄１３に表示させる工程と、前記入力画像表示欄１３に表示された入力画像イメージと重ねて、複数の小領域を指定し、これらを組み合わせて画像処理領域を設定して表示させる工程と、該画像処理領域に対して、画像処理を行う工程と、を含み、前記画像処理領域を設定する工程において、前記表示部の入力画像表示欄１３に表示された入力画像に対して設定された複数の小領域を、ツリー形式にてプロジェクト表示欄１４に表示させる工程と、前記プロジェクト表示欄１４に表示されたツリー状の小領域、又は前記入力画像表示欄１３にて表示された入力画像上に重ねて表示される小領域の、いずれかを選択し、該選択された小領域に対して、他の小領域に対して積集合とするか和集合とするかの属性を設定、処理領域とするか、処理対象外のマスク領域とするかを設定、又は基準となる位置又は大きさを変更する工程とを含むことを特徴とする。
【００１５】
また、本発明の請求項８に記載される画像処理領域の指定プログラムは、複数の小領域を組み合わせて入力画像の中から画像処理領域を指定するプログラムに関するものである。この画像処理領域の指定プログラムは、コンピュータを、少なくとも一の小領域で構成される前記画像処理領域の一部について、前記入力画像に基づいて前記一部の領域の設定を修正する手段と、前記画像処理領域の設定を行うユーザーインターフェースに、前記画像処理領域を構成する前記複数の小領域を枝状のツリー構造で表示させるプロジェクト表示手段と、入力画像のイメージと、これに重ねて画像処理領域を表示させる入力画像表示手段と、前記プロジェクト表示手段にてツリー構造で表示される各小領域毎に個別に属性を設定させる手段と、選択された小領域を、処理領域とするか、処理対象外のマスク領域とするかの設定を行うための手段と、して実行させ、各小領域に対して、他の小領域に対して積集合か和集合かの属性を選択して、これらの属性が設定された小領域を組み合わせて画像処理領域を構成可能であり、さらに前記プロジェクト表示手段に表示されたツリー状の小領域、又は前記入力画像表示欄１３にて入力画像上に表示された小領域のいずれかによって選択された小領域に対応して、該選択された小領域に対する基準となる位置及び大きさを変更可能に構成してなることを特徴とする。このプログラムは、ネットワークを介してダウンロード可能な形態も含まれる。例えば、様々な小領域同士でＡＮＤ、ＯＲ、ＮＯＴなどを適宜選択して組み合わせることで画像処理領域を構成し、その一部の領域については入力画像に応じて移動させ、他の部分については固定させるように指定できる。
【００１６】
さらにまた、本発明の請求項９に記載されるコンピュータで読み取り可能な記録媒体は、前記請求項８に記載される前記画像処理領域の指定プログラムを格納した記録媒体である。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷなどの磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術的思想を具体化するための画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体を以下のものに特定しない。
【００１８】
さらに、この明細書は、特許請求の範囲を理解し易いように、実施の形態に示される部材に対応する番号を、「特許請求の範囲の欄」、および「課題を解決するための手段の欄」に示される部材に付記している。ただ、特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。なお、各図面が示す部材の大きさや位置関係などは、説明を明確にするため誇張していることがある。
【００１９】
本明細書において画像処理領域の指定回路または方法とは、位置指定のみを行う回路や方法に限られず、画像処理に関連するその他の処理を行う回路または方法も含まれ、またこのような画像処理回路やシステムの一部として組み込まれる態様も含まれる。さらにハードウェア的に処理を行う回路に限定するものでなく、ファームウェアの更新、書き換えによる処理やソフトウェア的な処理を行う装置も包含するよう意図するものである。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラなどを組み込んで画像処理ならびにこれに関連する処理を実施可能とした汎用あるいは専用のコンピュータ、ワークステーション、端末、携帯型電子機器、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも画像処理領域の指定回路に含まれる。また本明細書において、回路とはプログラム自体も含むものとする。
【００２０】
［画像処理領域の指定回路］
図１は、本発明の一実施例に係る画像処理領域の指定回路を含む画像処理装置の構成を示す。この図に示す画像処理装置は、画像ソース７から入力される入力画像をＡ／Ｄ変換により二値化、多階調化するなどデータ変換を行うＡ／Ｄ変換部２と、Ａ／Ｄ変換部２で変換された入力画像データを取得して制御部４、画像処理部３などに送出するための画像取得ロジック８と、Ａ／Ｄ変換部２で変換された入力画像データを保持する入力画像記憶部１と、必要な演算を行う制御部４と、所定のプログラムやファームウェアなどを保持する記憶媒体９と、画像処理を行う画像処理部３と、データの橋渡しを行う入出力制御ロジック１０と、ユーザが小領域の指定など必要な情報を入力するための入力部６と、必要なデータを保持するための表示メモリ１１と、入力画像の入力画像表示欄１３などを表示する表示部５と、結果を外部に送出するための出力部１２を備える。具体的な画像処理領域指定の手順については後述する。なお、相互の部材同士の関係や接続形態は図１に示す例に捕らわれず、各部材はそれぞれ別部材で構成する必要もない。例えば画像処理部３と制御部４を入れ替えたり、一の部材で構成したりすることも可能である。
【００２１】
画像ソース７はカメラやエリアセンサ、ラインセンサ（例えばＣＣＤ）などの画像撮像手段が利用される。例えば、撮像カメラで撮影されたリアルタイムの画像や、予め記録された再生画像などを入力画像とする。Ａ／Ｄ変換部２は、画像ソース７からの入力画像をアナログ信号からデジタル値に変換し、二値化データや多階調のグレースケールデータなどの入力画像データとする。また、デジタルデータの映像ソースの場合は、Ａ／Ｄ変換部２を通らずに、直接画像取得ロジック８に入力される。Ａ／Ｄ変換部２で得られた入力画像データは、画像取得ロジック８に従って入力画像記憶部１に記憶される。入力画像記憶部１は入力画像データを記憶する画像メモリであり、例えば揮発性メモリであるＲＡＭなどが使用される。
【００２２】
画像処理部３は、入力画像記憶部１から入力画像データを読み取って、画像処理を行う作業領域となる。画像処理部３は、ＣＰＵやＬＳＩなどで構成される。画像処理部３は省略して制御部４など他の部材で処理を行わせることもできる。
【００２３】
画像処理部３に接続された制御部４は、画像取得ロジック８を介して入力画像記憶部１から画像データを呼び出すアドレスを指定する。制御部４はＣＰＵなどで構成され、制御部４に指定されたアドレスに従って画像処理部３は必要な画像データを読み出し、画像処理を実施する。制御部４はさらに、画像処理を行うために必要なしきい値など各種の設定パラメータの候補を演算する。例えば制御部４は、画像処理領域の投影濃度配列を作成して投影濃度配列の最大値、最小値、平均値に基づいてエッジ候補しきい値、エッジ除去しきい値などを演算する。演算された各しきい値は、制御部４内部のメモリまたは表示メモリ１１に保持され、必要時に適宜読み出される。
【００２４】
記憶媒体９は、画像処理領域設定プログラムなどを格納する。表示メモリ１１は、描画に必要な画像データやユーザが指定した画像処理領域に関するデータ、各種演算結果など必要なデータを格納し、必要に応じて入出力制御ロジック１０を介して呼び出され、内容が更新される。出力部１２は、演算された結果に基づいて画像処理やこれに関連する処理を他の装置が実行できるように、必要な結果を送出する。
【００２５】
入力部６は、ユーザが画像処理領域を指定するための部材である。入力部６はマウスやタブレット、デジタイザ、ライトペン、キーボード、テンキー、ジョグダイヤル、タッチパッドなどの各種ポインティングデバイスが利用できる。例えば図２〜図４に示す表示部５のユーザーインターフェースから、ユーザは所望の入力欄にマウスカーソルを移動させ、所望の値や領域を指定する。特に、入力画像表示欄１３で小領域を複数指定し、これらの組み合わせによって一の画像処理領域を構成する。小領域は１００個まで、あるいは無制限に設定することができる。この方法は、複雑な形状の画像処理領域を構成を指定でき、しかも各小領域についてはマウスなどを使って一筆書き状に容易に指定することができるので、ユーザの領域指定作業自体は簡素なままで複雑な領域を指定できるという優れた操作性が実現される。
【００２６】
［画像処理領域設定プログラムのユーザインターフェース］
表示部５は、入力画像のイメージやこれに重ね合わせて画像処理領域を表示し、さらに各設定項目の詳細などを表示する。図２〜図４に表示部５で表示される画面イメージの一例を示す。この表示部５は、ユーザが設定した画像処理領域の設定をツリー状に表示するプロジェクト表示欄１４と、各項目の変数名、設定値など設定内容や過去のログなどを表示する詳細表示欄１５と、入力画像のイメージおよび画像処理領域を表示する入力画像表示欄１３を有する。
【００２７】
プロジェクト表示欄１４では、一連の設定毎がプロジェクトとして、ツリー状に表示される。各プロジェクトProjectには、そのプロジェクトで対象となる入力画像を表すカメラCameraが直下に表示される。選択されたプロジェクトに対応する入力画像が、入力画像表示欄１３にカメラCameraとして表示される。ツリー状に表示されるプロジェクト表示欄１４では、カメラの下に画像表示領域が枝分かれするように続く。画像表示領域はグループGroupとして表示され、ユーザが指定する小領域を組み合わせて指定していく。プロジェクト表示欄１４において、Rectは矩形の小領域を、Circleは円形の小領域を、Filterは、画像処理の一例としてのフィルタ処理の実行を示している。これらの見出しには、ユーザが所望の名称を付けることができる。
【００２８】
小領域は、ユーザが入力部６からマウスなどの入力デバイスを使って入力画像表示欄１３上に指定していく。例えば新規に矩形状の小領域を入力画像表示欄１３上に作成すると、プロジェクト表示欄１４に対応する矩形状小領域を示すRectが表示される。このとき、「Rect」の項目名の左に矩形状であることを示す「□」のアイコンが、入力画像表示欄１３で矩形を囲む線と同じ色で表示される。これによってユーザは、どのRectが入力画像表示欄１３でどの矩形に相当するかを視覚的に把握できる。あるいは、線種（太線、細線、点線）を対応させたり、または入力画像表示欄１３で各小領域に「Rect01」などのキャプションを表示させてもよい。
【００２９】
このようにして指定した小領域の設定は、プロジェクト表示欄１４で「Rect」の文字をマウスでダブルクリックするか、入力画像表示欄１３で小領域を右クリックしてプロパティを選択することにより、図５に示すようなプロパティ設定画面を呼び出して変更することができる。図５の例では「イベント名（Ｎ）」の欄を選択して反転させており、名称を変更することができる。また「領域タイプ（Ｐ）」では処理領域とするか、処理対象外のマスク領域とするかの設定を変更できる。さらに「基準のＸ座標（Ｘ）」、「基準のＹ座標（Ｙ）」や「Ｘ軸の幅（Ｗ）」、高さに相当する「Ｙ軸の幅（Ｈ）」、「回転角（Ａ）」を数値もしくは変数で指定する。変数で設定すると、この小領域の位置や大きさ、傾きなどを入力画像に応じて変更することができる。例えば入力画像のエッジ位置や平均値、しきい値などを変数として、これらに応じて位置や移動量など変更することができる。基準となる位置は、矩形の場合は左上頂点の座標を、円形の場合は中心点としているが、他の位置に設定することもできることはいうまでもない。また「カラー（Ｃ）」の欄は、小領域の囲み線やアイコンの色を設定する。
【００３０】
小領域は矩形に限られず、円形を指定することもできる。円形の小領域はプロジェクト表示欄１４にCircleと表示され、「○」のアイコンが付加される。その他、小領域として三角形や六角形などの多角形、半円、自由曲線による閉じた領域などを指定することもできる。
【００３１】
ユーザはこれらの小領域を適宜追加し、これらを組み合わせることにより所望の領域を指定する。既に作成された画像処理領域や小領域に新たな小領域を追加すると、プロジェクト表示欄１４の当該画像処理領域などの下に追加された小領域とそのアイコンが表示される。追加する小領域に対して、先に作成した画像処理領域などとＯＲまたはＡＮＤをとるように、あるいはＮＯＴとしてマスクとなるように指定することで、先に作成した画像処理領域をさらに変形することができる。これらの様々な形状の小領域と演算子を組み合わせることによって、一筆書きでは指定できないような複雑な領域の指定が可能となる。しかも各小領域はマウスなどを使って一筆書き状に容易に指定することができるので、ユーザの領域指定作業自体は簡素なままで複雑な領域を指定できるという優れた操作性が実現される。図２の例では、すべての小領域を処理領域とするように、和集合（ＯＲ）をとっている。
【００３２】
このようにして画像処理領域の指定が完了すると、処理を設定する。処理はプロジェクト表示欄１４においてFilterで表示され、「■」のアイコンが表示される。処理の対象となる画像処理領域は、図３に示すように入力画像表示欄１３では、処理された画像、黒または濃色で塗りつぶされた領域となる。逆に処理の対象外となるマスク領域は、無処理、白または透明で表示される。これらの表示により、ユーザは処理されている領域を視覚的に的確に捉えることができる。また、ユーザの所望する色の塗りつぶしや線種の違い（網掛けのパターン）などで表示するよう設定することもできる。
【００３３】
画像処理領域は複数表示することもできる。図３の例では、２つの画像処理領域を指定している。プロジェクト表示欄１４では、それぞれ別のツリーとしてGroupから枝分かれしている。さらに図４の例では、３つ目の画像処理領域をGroupの直下に追加している。これによって、これらのツリーが別個の画像処理領域を構成していることが判別できる。
【００３４】
さらにツリー構造は、所望の領域を任意の位置に追加でき、また任意の領域の削除が容易であるという操作面でも優れた特徴を実現している。従来のように従前の操作を取り消すことで修正、変更を行う方法では、直前の操作を逆に辿りながら行う必要があるため、所望の訂正箇所に一度で到達することができず多数の工程が必要な複雑な作業であった。これに対しツリー構造では、階層状に並んだ小領域の中から所望の領域を直接指定して変更できるため、極めて簡単に目的の場所を指定できる上、他の構成を崩すおそれもない。
【００３５】
さらにまた、ツリー構造の任意の枝をコピー、移動させることも可能で、処理の内容、順序などを自由に再構築することが容易に行えるというメリットもある。しかもマウスによってドラッグアンドドロップやカットアンドペースト、あるいはマウスの右クリックからコピーや削除を選択することができ、グラフィカルユーザーインターフェースを活用した優れた操作環境を実現できる。
【００３６】
［画像処理領域の指定方法］
以下、本発明の一実施例に係る画像処理領域の指定方法を、図６のフローチャートに基づいて説明する。
【００３７】
ステップＳ１において、画像処理の対象となる入力画像を取得する。入力画像は外部の画像ソース７などから取り込まれ、Ａ／Ｄ変換部２でアナログ信号からデジタル信号に変換された入力画像データもしくはデジタルデータの入力画像データが画像取得ロジック８を介して入力画像記憶部１、制御部４および画像処理部３に送られる。
【００３８】
ステップＳ２において、取得された入力画像データを表示部５で表示する。制御部４から入出力ロジックを介して表示メモリ１１にデータが保持され、さらに表示部５にて表示される。
【００３９】
ステップＳ３において、表示された入力画像に対し入力部６から小領域を指定する。入力部６はマウスやキーボードなどのポインティングデバイスであり、ユーザは入力部６を使って画像処理領域を構成する小領域を設定する。小領域は複数を設定することができる。
【００４０】
ステップＳ４において、ユーザは小領域を組み合わせることにより所望の画像処理領域を構成する。組み合わせの方法は、複数の小領域同士でＡＮＤ、ＯＲ、ＮＯＴを適宜利用することができる。例えばＯＲをとって小領域同士を結合した領域を構成する例を図７に示す。図７において、グループGROUPは画像処理領域を、各ウィンドウWINDOWは小領域を構成している。この例では、グループGROUP000として、円形もしくは半円形状のウィンドウWINDOW00と、矩形状のウィンドウWINDOW01を結合して、図７（ｂ）のような多角形では表現できない曲線と矩形の組み合わせ領域を構成している。指定方法は、ツリー構造のユーザインターフェースから行う。図７（ａ）に示すようにプロジェクトPRJCT000のツリーとして、入力画像を示すカメラCAMERA00の下に円形状のウィンドウWINDOW00を作成する。この下にさらに矩形状のウィンドウWINDOW01を追加し、これら２つのウィンドウで指定した小領域の和集合（ＯＲ）した領域を処理させることができる。これにより、図７（ｂ）の塗りつぶしで示すような領域を指定することができる。
【００４１】
さらに、一部の領域を除外するようにマスク領域（ＮＯＴ）を指定する手順を、図８に基づいて説明する。図８（ａ）に示すように、上記図７（ａ）で作成したウィンドウWINDOW01の下に、さらに円形のマスクウィンドウMSKWIN00を追加する。これによって、図８（ｂ）に示すように、図７（ｂ）で指定した領域に対してマスクを加えた領域を得ることができる。図８（ｂ）において、白色の部分は処理を行わないマスク領域である。
【００４２】
ステップＳ５において、前段までで作成された各領域に対して、必要に応じて位置や形状の変更、修正を加えるための設定を行う。位置の修正は必ずしもすべての領域に対して一様である必要はなく、一部の領域において、すなわち各小領域や複数の小領域の組み合わせに対して行うことができる。
【００４３】
［位置補正］
以下、図９に基づいて画像処理領域の位置を入力画像に応じて変化させる例について説明する。例えば、入力画像に移動するワークと固定された背景などの不要部分が含まれており、位置の変化するワークを捉えて画像処理すると共に、不要部分を排除するような場合を考える。
【００４４】
移動するワークについては、図９（ａ）において塗りつぶし領域のような多角形の画像処理領域を設定する。この画像処理領域は、入力画像における座標位置を変数で特定し、移動するワークに従って追従するように座標位置を変化させる。例えばワークのエッジを検出し、このエッジに基づいて座標位置を演算して、ワークと画像処理領域が重なるようにしている。移動された画像処理領域は、表示部５の入力画像表示欄１３においても移動して表示される。この際移動した領域であることを示すように表示色や明るさを変化させたりブリンク表示させるなどのハイライトを加えたり、また移動の指標となったしきい値などを重ねて表示することもできる。
【００４５】
一方、移動することなく定位置で固定された部分については、このような位置補正は不要である。図９（ｂ）に示す例では、斜線で示すマスク領域を矩形状に指定し、この領域を画像処理の対象外として排除する。また画像処理領域については、上述した図９（ａ）と同様に移動するワークに追従するように座標位置を変化させている。もちろん、マスク領域を移動させるように設定しても良いし、画像処理領域を固定してもよい。またマスク領域と画像処理領域を独立して移動させるように設定することもできる。さらに、ワークの大きさが変化したときは、その大きさに応じて領域の高さ、幅なども動的に変化させて捕捉することも可能である。このように、各領域を単一の領域として処理するのでなく、それぞれ個別にかつ動的に領域の位置、形状変化や移動の有無、処理対象の可否などを任意に設定することができ、画像処理領域を適切に指定することで画像処理の精度を高め信頼性に優れた画像処理を実現できる。
【００４６】
【発明の効果】
以上説明したように、本発明の画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体は、複雑な形状の画像処理領域を容易に設定でき、画像処理に応じた適切な領域指定が可能であるという特長を実現する。それは、本発明の画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体が、複数の小領域を自由に組み合わせて一の画像処理領域を構成すると共に、画像処理領域全体としてでなく各小領域あるいは小領域の集合に対して個別に位置修正やサイズ変更などの設定を行うことができるからである。画像処理においては、対象物に対して画像処理領域をいかに適切に設定できるかが重要なポイントとなる。本発明では、比較的単純な形状の小領域の組み合わせによって複雑な領域の指定をも可能としている。しかも各小領域はマウスなどを使って一筆書き状に容易に指定することができるので、ユーザの領域指定作業自体は簡素なままで複雑な領域を指定できるという優れた操作性が実現される。
【００４７】
さらに、これらの小領域あるいは小領域の集合に対して個別に位置補正などの設定を行えるため、入力画像中で移動する部位と静止している部位とを的確に捉えることが可能になる。位置の変更などの修正を領域全体に対して行うのでなく、各領域に対して個別に位置修正をかけることによって、入力画像の形状や配置に追従して画像処理領域を設定でき、信頼性の高い画像処理結果が期待できる。
【００４８】
さらにまた、指定された画像処理領域の全体像や各小領域は、表示部で元の入力画像に重ね合わせて確認することができる。別の表示画面で一の画像処理領域を構成する小領域をツリー状に同時に表示させ、これらの対応関係を視覚的に示すことも可能である。これにより、実際の画像イメージを確認しながらツリーを指定して領域の一部に設定の変更や修正を加えることができるので、画像処理領域の設定の自由度を高めると共に、ユーザは変更箇所を視覚的に捉えることができ、操作性に優れた環境を提供する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像処理領域の指定回路の構成を示すブロック図である。
【図２】画像処理領域の指定プログラムのユーザインターフェースの一例を示すイメージ図である。
【図３】画像処理領域の指定プログラムのユーザインターフェースの一例を示すイメージ図である。
【図４】画像処理領域の指定プログラムのユーザインターフェースの一例を示すイメージ図である。
【図５】図２の矩形状小領域のプロパティを設定するユーザーインターフェースの一例を示すイメージ図である。
【図６】画像処理領域を指定する各工程を示すフローチャートである。
【図７】小領域を組み合わせて画像処理領域を構成する様子を説明する概念図である。
【図８】図７にさらにマスク領域を追加する様子を説明する概念図である。
【図９】画像処理領域の位置を入力画像に応じて変化させる様子を説明する概念図である。
【符号の説明】
１・・・入力画像記憶部
２・・・Ａ／Ｄ変換部
３・・・画像処理部
４・・・制御部
５・・・表示部
６・・・入力部
７・・・画像ソース
８・・・画像取得ロジック
９・・・記憶媒体
１０・・・入出力制御ロジック
１１・・・表示メモリ
１２・・・出力部
１３・・・入力画像表示欄
１４・・・プロジェクト表示欄
１５・・・詳細表示欄
Claims (9)
- 複数の小領域を組み合わせて入力画像の中から画像処理領域を指定する画像処理領域の指定回路において、
入力画像データを保持する入力画像記憶部(1)と、
少なくとも一の小領域で構成される前記画像処理領域の一部について、前記入力画像に基づいて前記一部の領域の設定を修正するよう演算を行う制御部(4)と、
小領域の指定および複数の小領域を組み合わせて画像処理領域を構成する設定を入力する入力部(6)と、
入力画像のイメージと、これに重ねて画像処理領域を表示する入力画像表示欄(13)と、
前記画像処理領域の設定を、小領域のツリー状に表示するプロジェクト表示欄(14)と、
を備える表示部(5)と、
選択された小領域を、処理領域とするか、処理対象外のマスク領域とするかの設定を行うための領域タイプ設定手段と、
を備え、
各小領域に対して、他の小領域に対して積集合か和集合かの属性を選択して、これらの属性が設定された小領域を組み合わせて画像処理領域を構成可能であり、
さらに前記プロジェクト表示欄(14)に表示されたツリー状の小領域、又は前記入力画像表示欄(13)にて入力画像上に表示された小領域のいずれかによって選択された小領域に対応して、該選択された小領域の位置又は大きさを変更可能に構成してなることを特徴とする画像処理領域の指定回路。 - 請求項１に記載の画像処理領域の指定回路において、
前記プロジェクト表示欄(14)には、各プロジェクトに対して、前記入力画像表示欄(13)に表示される入力画像を表すカメラが表示されてなることを特徴とする画像処理領域の指定回路。 - 請求項１又は２に記載の画像処理領域の指定回路において、
前記入力部による小領域の指定が、矩形状、円形状、多角形、半円、自由曲線による閉じた領域の少なくともいずれかで指定可能に構成してなり、
前記プロジェクト表示欄(14)における各小領域の表示が、前記入力部で指定された小領域の形状を示すアイコンとして表示されてなることを特徴とする画像処理領域の指定回路。 - 請求項１から３のいずれか一に記載の画像処理領域の指定回路において、
前記領域タイプ設定手段が、前記プロジェクト表示欄(14)又は入力画像表示欄(13)において、プロパティ設定画面を呼び出すことで行われることを特徴とする画像処理領域の指定回路。 - 請求項１から４のいずれか一に記載の画像処理領域の指定回路において、
前記設定された、各小領域に対する積集合か和集合かの属性を、変更可能に構成してなることを特徴とする画像処理領域の指定回路。 - 請求項４又は５に記載の画像処理領域の指定回路において、
前記プロパティ設定画面において、入力画像のエッジ位置、平均値、しきい値の少なくともいずれかを変数として、該変数に応じて小領域の位置又は移動量を変更可能に構成してなることを特徴とする画像処理領域の指定回路。 - 複数の小領域を組み合わせて入力画像の中から画像処理領域を指定する画像処理領域の指定方法において、コンピュータで、
入力画像データを取得して、該入力画像のイメージを、表示部の入力画像表示欄(13)に表示させる工程と、
前記入力画像表示欄(13)に表示された入力画像イメージと重ねて、複数の小領域を指定し、これらを組み合わせて画像処理領域を設定して表示させる工程と、
該画像処理領域に対して、画像処理を行う工程と、
を含み、
前記画像処理領域を設定する工程において、
前記表示部の入力画像表示欄(13)に表示された入力画像に対して設定された複数の小領域を、ツリー形式にてプロジェクト表示欄(14)に表示させる工程と、
前記プロジェクト表示欄(14)に表示されたツリー状の小領域、又は前記入力画像表示欄(13)にて表示された入力画像上に重ねて表示される小領域の、いずれかを選択し、該選択された小領域に対して、
他の小領域に対して積集合とするか和集合とするかの属性を設定、
処理領域とするか、処理対象外のマスク領域とするかを設定、又は
基準となる位置又は大きさを変更する工程と、
を含むことを特徴とする画像処理領域の指定方法。 - 複数の小領域を組み合わせて入力画像の中から画像処理領域を指定する画像処理領域の指定プログラムにおいて、コンピュータを、
少なくとも一の小領域で構成される前記画像処理領域の一部について、前記入力画像に基づいて前記一部の領域の設定を修正する手段と、
前記画像処理領域の設定を行うユーザーインターフェースに、前記画像処理領域を構成する前記複数の小領域を枝状のツリー構造で表示させるプロジェクト表示手段と、
入力画像のイメージと、これに重ねて画像処理領域を表示させる入力画像表示手段と、
前記プロジェクト表示手段にてツリー構造で表示される各小領域毎に個別に属性を設定させる手段と、
選択された小領域を、処理領域とするか、処理対象外のマスク領域とするかの設定を行うための手段と、
して実行させ、
各小領域に対して、他の小領域に対して積集合か和集合かの属性を選択して、これらの属性が設定された小領域を組み合わせて画像処理領域を構成可能であり、
さらに前記プロジェクト表示手段に表示されたツリー状の小領域、又は前記入力画像表示欄(13)にて入力画像上に表示された小領域のいずれかによって選択された小領域に対応して、該選択された小領域に対する基準となる位置及び大きさを変更可能に構成してなることを特徴とする画像処理領域の指定プログラム。 - 請求項８に記載される前記画像処理領域の指定プログラムを格納したコンピュータで読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304318A JP4726367B2 (ja) | 2001-09-28 | 2001-09-28 | 画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304318A JP4726367B2 (ja) | 2001-09-28 | 2001-09-28 | 画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003109027A JP2003109027A (ja) | 2003-04-11 |
| JP4726367B2 true JP4726367B2 (ja) | 2011-07-20 |
Family
ID=19124258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001304318A Expired - Lifetime JP4726367B2 (ja) | 2001-09-28 | 2001-09-28 | 画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4726367B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4521858B2 (ja) | 2004-02-12 | 2010-08-11 | 株式会社キーエンス | 画像処理装置 |
| JP4940800B2 (ja) | 2006-07-12 | 2012-05-30 | オムロン株式会社 | 変位センサ |
| CN102016917A (zh) * | 2007-12-20 | 2011-04-13 | 皇家飞利浦电子股份有限公司 | 图像数据的分割 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0373059A (ja) * | 1990-08-10 | 1991-03-28 | Toshiba Corp | 文書編集装置 |
| JPH10222506A (ja) * | 1997-02-12 | 1998-08-21 | Fuji Xerox Co Ltd | 文書作成支援装置 |
| JP2001165863A (ja) * | 1999-09-30 | 2001-06-22 | Omron Corp | 画像処理装置 |
-
2001
- 2001-09-28 JP JP2001304318A patent/JP4726367B2/ja not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0373059A (ja) * | 1990-08-10 | 1991-03-28 | Toshiba Corp | 文書編集装置 |
| JPH10222506A (ja) * | 1997-02-12 | 1998-08-21 | Fuji Xerox Co Ltd | 文書作成支援装置 |
| JP2001165863A (ja) * | 1999-09-30 | 2001-06-22 | Omron Corp | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003109027A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5742504A (en) | Method and system for quickly developing application software for use in a machine vision system | |
| JP4677323B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3515199B2 (ja) | 欠陥検査装置 | |
| JP2004295159A (ja) | アイコン表示システム、アイコン表示方法、電子機器装置およびコンピュータプログラム | |
| US9105094B2 (en) | Image layers navigation | |
| JP2013191036A (ja) | 領域指定方法及び領域指定装置 | |
| JP5303116B2 (ja) | 画面編集装置、そのプログラム | |
| WO2021215333A1 (ja) | プログラム編集装置 | |
| JP4726367B2 (ja) | 画像処理領域の指定回路、画像処理領域の指定方法、画像処理領域の指定プログラムおよびコンピュータで読み取り可能な記録媒体 | |
| US11710250B2 (en) | Electronic device, method, and storage medium for setting processing procedure for controlling apparatus | |
| CN115546349A (zh) | 基于Openlayer实现地图背景图的比例和位置切换的方法 | |
| JP5855961B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3967885B2 (ja) | 画像処理装置 | |
| JP7380332B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| JP2000235647A (ja) | 画像の２値化方法及びその方法を用いた画像処理装置 | |
| KR101886986B1 (ko) | 엔지니어링 툴 프로그램 및 엔지니어링 툴 | |
| JP2020013378A (ja) | 画像分類方法及び画像分類装置 | |
| WO2021111768A1 (ja) | 設定システム、設定方法及びプログラム | |
| JPH08184570A (ja) | 欠陥検査装置 | |
| JP3635174B2 (ja) | 図形入力作業の支援装置 | |
| WO2024085123A1 (ja) | 開発システム、方法、およびプログラム | |
| CN117671459B (zh) | 引导式rpa人工智能深度学习方法及系统 | |
| JP2003109016A (ja) | エッジ検出処理回路、エッジ検出処理方法、エッジ検出処理プログラムおよびコンピュータで読み取り可能な記録媒体 | |
| JP3918921B2 (ja) | ポインタ移動方法、プログラム、記録媒体 | |
| US20100164994A1 (en) | Content display apparatus, content display method, and content display program embodied on computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110305 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110412 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |