JP6499476B2 - 検査装置 - Google Patents

Description

本発明は、容器内に付着した異物や残留物を検査する検査装置に関する。

アルミ缶やドラム缶などの容器の、側壁内側や底板上側などの内面について、洗浄後の残留物や外部から混入したゴミやホコリなどの異物が付着しているかどうかを検査する技術が、従来より提案されている。

例えば、アルミ缶などの筒状の容器の内面とフランジ部とを一度に撮像するために、容器の外部に撮像部を配置し、容器と撮像部との間に反射鏡を配置し、容器内面等の欠陥を検査する技術が知られている（例えば、特許文献１）。或いは、当該容器の外部に配置した撮像部を用いて、検査対象物となる筒状の容器の内面を複数の方向から斜め下向きに撮像し、当該内面の検査を行う技術が知られている（例えば、特許文献２）。

また、ドラム缶の内部の欠陥を検査するために、支持桿に取り付けられた照明とカメラ（カメラは角度調整装置に取り付けられている）とを挿入して当該ドラム缶内を分割撮像し、検査を行うことが知られている（例えば、特許文献３）。

特許３６１４５９７号公報 特開平３−２２５２６４号公報 特開平９−２８８０６７公報

容器の内面に付着した異物は、照明光を照射することにより、輝点として撮像される。しかし、当該容器の内面は、少なからず光を反射するため、検出対象となる異物（実像）とは別に、当該異物から発せられた光が当該容器の内面で反射し、別の場所に輝点（虚像）として撮像される。そのため、実際に存在する異物（実像）とは別に、虚像も撮像されてしまい、正しく異物を検出をすることができないという課題があった。つまり、異物の有無や個数を検査する場合であれば、実際に存在している個数以上カウントされてしまう。一方、異物の大きさや面積、体積、量などを検査する場合であれば、実像だけでなく虚像についての大きさや面積、体積、量を含めた検査結果を出力してしまうこととなり、所望の検査結果が得られない。

図９は、従来の技術で容器の内面を撮像している様子を示す概略図である。
図９（ａ）は、従来の技術で容器の内面を撮像している様子を示す側面図であり、図９（ｂ）は、従来の技術により撮像した画像のイメージを示す画像イメージ図である。図９（ａ）には、照明光照射部２ｚと、撮像部３ｚを用い、開口部Ｈのある天板、底板並びに側板を備えた容器Ｗにおいて、ある側板内面Ｗｓに設定された検査対象領域Ｒｚを撮像している様子が示されている。なお、照明光照射部２ｚは、光源部２１と拡散板２２とを備え、検査対象領域Ｒｚに向けて均一な照明光２３を照射する構成をしている。また、撮像部３ｚは、撮像カメラ３１とレンズ３２を備え、画角３６より内側の範囲（つまり、検査対象領域Ｒｚ）を撮像し、表示器１９ｚに撮像した画像を表示する構成をしている。

この様な場合、表示器１９ｚに表示される画像は、図９（ｂ）に示す様になる。つまり、側板内面Ｗｓに付着した異物Ｓ１だけでなく、底板内面Ｗｂに付着した異物Ｓ２の虚像Ｆ１が、側板内面Ｗｓに写り込んだ虚像Ｆ１ｐとして撮像される。そのため、異物Ｓ１と写り込んだ虚像Ｆ１ｐとを、異物として検出してしまう。なお、図示した配置では、照明光２３は異物Ｓ２に直接照射されないが、側板内面Ｗｓで反射した光が異物Ｓ２に照射され、その反射光や散乱光成分が側板内面Ｗｓに写り込むため、虚像Ｆ１ｐは撮像される。同様に、底板内面Ｗｂを撮像する場合も、底板内面Ｗｂに存在する異物Ｓ２だけでなく、側板内面Ｗｓに付着した異物の虚像が底板内面Ｗｂに写り込んだ虚像として撮像され、それぞれが異物として検出されてしまう。つまり、従来の技術では、検出すべき実像と、検出すべきでない虚像とが混在し、精度良く判別することが困難であった。

そこで、本発明は、容器の内面に付着した異物を検査（つまり、異物の有無を判定したり、異物の個数をカウントしたり、異物の大きさ、面積、体積、量などを測定したり）する検査装置において、実像と虚像を精度良く判別し、誤検出の少ない検査装置を提供することを目的とする。

以上の課題を解決するために、本発明の一形態は、
内側空間を有する物体の内面に付着した異物を検査する検査装置であって、
前記物体の内面に設定した検査対象領域に向けて光を照射する照明光照射部と、
前記検査対象領域を撮像する撮像部と、
前記撮像部を前記検査対象領域に対して相対移動させる相対移動部と、
前記撮像部と前記検査対象領域との相対位置を検出する相対位置検出部と、
前記検査対象領域について、第１撮像位置と、前記第１撮像位置とは異なる第２撮像位置の、少なくとも２カ所の撮像位置で撮像し取得した複数の画像情報について個別に異物候補を検出する異物候補検出部と、
前記複数の画像情報に含まれる異物候補の位置情報と、前記第１撮像位置における前記撮像部の撮像条件情報と、前記第２撮像位置における前記撮像部の撮像条件情報とに基づいて、前記異物候補検出部で検出された個別の異物候補の中から実像を判別する実像検出部とを備えた、検査装置である。

この構成によれば、撮像された画像の中にある異物候補について、第１撮像位置と第２撮像位置の変化に伴い、異物候補の位置がどう変化するかに基づいて（つまり、実像・虚像が示す挙動特性を鑑み）、実像であるか虚像であるかを判別する。

さらに、
前記実像検出部で検出された実像の位置情報に基づいて、当該実像に対応する虚像の推定位置を算出する虚像位置推定部と、
前記異物候補検出部で検出された異物候補のうち、前記実像検出部で実像と判別されたもの以外の虚像候補について、前記虚像位置推定部で算出された前記実像に対応する虚像の推定位置に存在すれば、当該虚像候補を虚像と判定する、虚像判定部と
を備えても良い。

また、
前記異物候補検出部で検出された異物候補のうち、前記実像検出部で実像と判別されたもの以外の虚像候補に対応する実像の推定位置を算出する実像位置推定部と、
前記実像検出部で検出された実像が、前記実像位置推定部で算出された前記虚像候補に対応する実像の推定位置に存在するかどうかを検証する、実像位置検証部と
を備えても良い。

また、
前記第１撮像位置における前記撮像部の撮像条件情報と、
前記第２撮像位置における前記撮像部の撮像条件情報と、
前記物体の内面の形状情報とを、３次元情報のモデル座標系で定義し登録しておく、モデル座標登録部を備え、
前記撮像部で撮像し取得される画像情報は、２次元情報であり、
当該２次元情報の前記画像情報を３次元情報のワールド座標系に座標変換し、前記３次元情報のモデル座標系をワールド座標系に座標変換する座標変換部をさらに備え、
前記異物候補検出部は、ワールド座標系に変換された位置情報に基づいて、前記異物候補の位置情報を取得することを特徴としても良い。

また、
前記照明光照射部には、前記異物を蛍光発光させるための励起光を照射する励起光照射部を備え、
前記撮像部には、前記励起光の波長成分を減衰させ、前記異物から放出された蛍光発光の波長成分を通過させる、蛍光観察フィルタを備えた
ことを特徴としても良い。

容器の内面に付着した異物を検査する際に、実像と虚像を精度良く判別でき、誤検出を減らすことができる。

本発明の一実施形態における検査装置の構成全体を模式的に示した図である。 本発明の一実施形態における検査装置の構成の要部を模式的に示した図である。 本発明の別の一実施形態における検査装置の構成全体を模式的に示した図である。 本発明を具現化する上で使用する各座標系の関係図である。 画像座標系からカメラ座標系への変換を示す図である。 カメラ視点から容器内面モデル平面の交点Ｐを結ぶ光路の図である。 容器内面モデル平面内に交点Ｐが存在するときの関係を示す図である。 カメラ視点から反射像と実像(異物)を結ぶ光路の図である。 従来の技術で容器の内面を撮像している様子を示す概略図

以下に、本発明を実施するための形態について、図を用いながら説明する。
図１は、本発明の一実施形態における検査装置の構成全体を模式的に示した図である。図１に示すように、本実施形態における検査装置１は、内側空間を有する物体２０の内面に付着した異物を検査する検査装置である。ここで、「内側空間を有する物体」とは、少なくとも互いに対向して配置された内面、及び／又は互いに隣接して配置された内面を有し、該内面の内側に内側空間が形成された物体であって、多重反射をするような内側空間を有する物体をいう。「内側空間を有する物体」は、有底の箱体又は筒状体からなる容器の他、パイプ、溝体（チャネル）、山形体（アングル）等を含む。以下の説明では、「内側空間を有する物体」を、単に「容器」と呼ぶ。

また本願では、外部から混入したゴミやホコリなどに限らず、容器を洗浄した後の残留物などを含めて「異物」を言う。

また、「異物の検査」とは、異物の有無を判定したり、異物の個数をカウントしたり、異物の大きさ、面積、体積、量などを測定したりすることを言う。

なお、以下の説明では、容器の一類型として、略直方体形の容器Ｗを例示する。
容器Ｗは、縦長の側面４面と上面と底面とで構成される略直方体形であって、側面は、略正方形状の断面形状をしている。また、上面の一部には、開口部を有している。

また各図においては、直交座標系の３軸をＸ、Ｙ、Ｚとし、ＸＹ平面を水平面、Ｚ方向を鉛直方向とする。特に、Ｘ方向は、矢印の方向を右側、その逆方向を左側と表現し、Ｙ方向は、矢印の方向を奥側、その逆方向を手前側と表現し、Ｚ方向は矢印の方向（重力上方）を上側、その逆方向を下側と表現する。

さらに、容器Ｗの底面は水平面と平行に配置され、容器Ｗの側面はＺ方向と平行に配置されているものとして、説明を行う。

図１に示すように、検査装置１は、照明光照明部２と、撮像部３と、相対移動部５と、異物候補検出部７と、実像検出部８とを備えて構成されている。なお、説明の便宜上、容器Ｗは、一点鎖線にて表している。また、容器Ｗの内面には、異物Ｓ１，Ｓ２が付着している。なお、本発明を適用すれば、容器Ｗの内面全域にわたって検査を行うことができるが、ここでは簡潔に説明するために、容器Ｗの内面の一部に設定された検査対象領域Ｒ１に着目して説明を行う。そして、異物Ｓ１は、検査対象領域Ｒ１内に付着しており、異物Ｓ２は、検査対象領域Ｒ１外に付着している。

なお、本実施形態において、少なくとも容器Ｗの内面は、励起光の照射によって蛍光を発光しない材料で構成されている。例えば、容器Ｗが金属で構成されているもの、あるいは、容器Ｗが樹脂で構成されている場合には、その内面に金属層が形成されているものを含む。

また、容器Ｗの内面に付着した異物Ｓ１，Ｓ２は、励起光の照射によって蛍光を発光する材料を含む。例えば、異物Ｓ１，Ｓ２は、有機物を含むもの、あるいは、有機物以外でも蛍光するもの（例えば、半導体材料の一部や、鉱物の一部など）を含む。

照明光照射部２は、容器Ｗの内面に設定した検査対象領域Ｒ１に向けて光を照射するものである。具体例として、照明光照射部２には、検査対象物である異物Ｓ１を蛍光発光させる、励起光照射部２０が備えられている。

励起光照射部２０は、励起光２３（例えば、紫外光領域に主なエネルギーを有する光エネルギー）を外部に照射するものである。より具体的には、励起光照射部２０は、ＵＶ照明手段２１と、紫外光を通過させるフィルタ２２を備えて構成されている。

ＵＶ照明手段２１は、紫外光を照射するＬＥＤやレーザダイオードの他、紫外光成分の光を放出する水銀ランプやハロゲン照明などを用いることができる。フィルタ２２は、励起成分の波長の光を効率よく透過しつつ、撮像部３で受光する蛍光成分の光を減衰させるものである。

より具体的には、検出対象となる異物Ｓ１が、３００〜４００ｎｍの励起光が照射されると、５００〜６００ｎｍの範囲内蛍光発光する場合、ＵＶ照明手段２１として、ピーク波長が３００〜４００ｎｍのＵＶ−ＬＥＤを用いる。そして、フィルタ２２として、３００〜４００ｎｍの帯域の波長の光を通過させ、それ以外の帯域の波長の光を減衰させる、いわゆるバントパスフィルタを用いる。或いは、４５０ｎｍ以下の波長を透過させ、４５０ｎｍ以上の波長の光を減衰させる、いわゆるショートパスフィルタを用いても良い。そうすることで、後述する撮像部３での撮像の妨げとなる不要な波長の光をカットすることができる。

このような構成をしているため、励起光照射部２０は、容器Ｗの内面に設定した検査対象領域Ｒ１に向けて励起光２３を照射することができる。

撮像部３は、検査対象領域Ｒ１を撮像するものである。具体的には、撮像部３は、検査対象物である異物Ｓ１から放出される蛍光発光成分の光エネルギーを２次元画像として取得する、蛍光観察部３０が備えられている。

具体的には、蛍光観察部３０は、検査対象物である異物から放出される蛍光発光成分の光３５に含まれる波長を受光感度に含む撮像素子３１を備えた、撮像カメラ３２を用いて構成することができる。さらに、蛍光観察部３０は、レンズ３３と、蛍光観察フィルタ３４を備えて構成しておく。

レンズ３３は、撮像カメラ３２に検査対象領域の像を結像させるものである。
より具体的には、レンズ３３は、いわゆる広角レンズと呼ばれる、画角の広いレンズを用いる。そうすることで、一度に幅広い範囲を撮像できるとともに、被写界深度が深くなり、合焦範囲が広くなる。

一方、蛍光観察フィルタ３４は、励起光照射部２０から照射される光２３に含まれる波長を減衰させつつ、異物Ｓ１から放出される蛍光発光成分の光３５に含まれる波長を透過させるものである。より具体的には、透明材料や、レンズ３３の表面に、所定の膜厚のコーティングを施したものが例示できる。

より具体的には、検出対象となる異物Ｓ１が、３００〜４００ｎｍの励起光が照射されると、５００〜６００ｎｍの範囲内蛍光発光する場合、撮像素子３１として、３００〜１０００ｎｍの波長の光に感度を有するＣＣＤやＣＭＯＳを用いる。そして、蛍光観察フィルタ３４として、５００〜６００ｎｍの帯域の波長の光を通過させ、それ以外の帯域の波長の光を減衰させる、いわゆるバントパスフィルタを用いる。或いは、４５０ｎｍ以上の波長の光を透過させ、４５０ｎｍ以下の波長の光を減衰させる、いわゆるロングパスフィルタを用いても良い。

相対移動部５は、撮像部３を検査対象領域Ｒ１に対して相対移動させるものである。
具体的には、相対移動部５は、撮像部３を上下（Ｚ）方向に移動させる昇降機構や、撮像部を水平（Ｘ及び／又はＹ）方向に移動させる移動機構や、撮像部３を水平方向又は上下方向に（つまり、Ｘ軸、Ｙ軸及び／又はＺ軸周りに）回転移動（いわゆる、パンやチルト）させる回転機構を備えて構成することができる。

より具体的には、相対移動部５は、ボールスプライン軸受を備えたアクチュエータを用いて構成することができる。この構成であれば、アクチュエータ側に撮像部３を取り付け、容器Ｗを固定状態とし、撮像部３を上下（Ｚ）方向に移動させたり、Ｚ軸周りに回転させたりできる。或いは、別の構成として、撮像部３側を固定しておき、容器Ｗを上下（Ｚ）方向に移動させる昇降機能と、容器ＷをＺ軸周りに回転させる回転機構を備えた構成としても良い。また、撮像部３、相対移動部５、容器Ｗを水平（ＸＹ）方向に移動させる移動機構としては、水平（Ｘ及び／又はＹ）方向に延びるガイドレールと、ガイドレール上を移動するスライダーと、スライダーを所定の速度で移動させ所定の位置で静止させるスライダー駆動機構とを備えた構成とする。

この様な構成をしているので、相対移動部５は、撮像部３を、第１撮像位置に移動させて静止させ、さらに第１撮像位置とは異なる第２撮像位置やさらに別の撮像位置へ移動させて静止させることができる。

相対位置検出部６は、撮像部３と検査対象領域Ｒ１との相対位置を検出するものである。具体的には、相対位置検出部６は、相対移動部５の可動部及び固定部に取り付けられた位置検出器（いわゆる、エンコーダ）を備えて構成することができ、現在位置情報や移動量に応じた信号やデータを外部に出力するものである。なお、相対移動する方向が１方向であれば、その方向の現在位置や移動量を出力し、他の方向については予め測定した値を設定しておく。より具体的には、相対位置検出部６としては、レーザ測長器、直動部に取り付けられたリニアエンコーダ、回転駆動用モータに取り付けられたロータリエンコーダなどが例示できる。また、相対位置検出部６は、上述のようなフルクローズドループ系又はセミクローズドループ系の位置検出部のみならず、ステッピングモータなどを用いたオープンループの制御系の場合であれば、移動のための指令パルスをカウントし、相対位置を出力する形態であっても良い。

図２は、本発明の一実施形態における検査装置の構成の要部を模式的に示した図である。図２（ａ）は、撮像部３を用いて容器Ｗの側板内面Ｗｓを観察している様子を示している。

より具体的には、第１撮像位置にある撮像部３が、基準位置から上下方向に距離ＣＺ１のところにあり、検査対象領域Ｒ１を撮像している。一方、第２撮像位置にある撮像部３ｎが、基準位置から上下方向に距離ＣＺ２のところにあり、検査対象領域Ｒ２を撮像している。この場合、相対位置検出部６は、これらの距離ＣＺ１，ＣＺ２を現在位置情報として出力する。或いは、相対移動量ｄＹｃを出力しても良い。なお、図示した形態の場合、相対移動方向はＺ方向のため、Ｘ，Ｙ方向については予め測定した値を設定しておく。

図２（ｂ）は、第１撮像位置で側板内面Ｗｓを撮像した画像イメージであり、図２（ａ）に実線で示した撮像部３の位置で側板内面Ｗｓを撮像したものである。このとき、撮像した画像の撮像フレーム３７内には、実像Ｓ１と側板内面に写り込んだ虚像Ｆ１ｐが写っている。そして、実像Ｓ１はＣｙ方向にＬＹ１１の位置、写り込んだ虚像Ｆ１ｐはＣｙ方向にＬＹ２１の位置に写っている。

図２（ｃ）は、第２撮像位置で側板内面Ｗｓを撮像した画像イメージであり、図２（ａ）に破線で示した第２撮像位置にある撮像部３ｎで側板内面Ｗｓを撮像したものである。このとき、撮像した画像の撮像フレーム３７内には、実像Ｓ１と側板内面に映り込んだ虚像Ｆ１ｐが写っている。そして、実像Ｓ１はＣｙ方向にＬＹ１２の位置、写り込んだ虚像Ｆ１ｐはＣｙ方向にＬＹ２２の位置に写っている。

なお、撮像フレーム３７，３７ｎのＣｘ方向は、撮像カメラ３０の水平方向に対応しており、図２（ａ）におけるＹ方向（つまり、紙面奥方向）と対応している。一方、撮像フレーム３７，３７ｎのＣｙ方向は、撮像カメラ３０の垂直方向に対応しており、図２（ａ）におけるＺ方向と対応している。

異物候補検出部７は、撮像部３で撮像し取得した画像情報に基づいて検査対象領域Ｒ１，Ｒ２内の異物候補を検出するものである。さらに、異物候補検出部７は、検査対象領域Ｒ１，Ｒ２について、第１撮像位置と、第１撮像位置とは異なる第２撮像位置の、少なくとも２カ所の撮像位置で撮像し取得した複数の画像情報について個別に異物候補を検出するものである。

具体的には、異物候補検出部７は、いわゆる画像処理装置と呼ばれるハードウエアと、その実行プログラム（ソフトウェア）とを備えた、画像処理部４の一部として構成することができる。

そして、異物候補検出部７は、第１撮像位置で撮像した画像に含まれる、１つ又は複数の輝点を抽出し、この輝点又はこれらの輝点が、撮像カメラ の視野内のどの部分に存在するか、座標を取得する。つまり、異物候補検出部７は、図２（ｂ）に示す様な実像Ｓ１と映り込んだ虚像Ｆ１ｐの輝点を抽出し、異物候補として検出する。このとき、検出した異物候補については、これら異物候補の横方向の位置ＬＸ１１，ＬＸ２１の座標及びＣｙ方向の位置ＬＹ１１，ＬＹ２１の座標を異物候補の位置情報も併せて取得する。

同様に、異物候補検出部７は、第２撮像位置で撮像した画像に含まれる、１つ又は複数の輝点を抽出し、この輝点又はこれらの輝点が、撮像カメラ の視野内のどの部分に存在するか、座標を取得する。つまり、異物候補検出部７は、図２（ｃ）に示す様な実像Ｓ１と映り込んだ虚像Ｆ１ｐの輝点を抽出し、異物候補として検出する。このとき、検出した異物候補については、これら異物候補の横方向の位置ＬＸ１２，ＬＸ２２の座標及びＣｙ方向の位置ＬＹ１２，ＬＹ２２の座標を異物候補の位置情報も併せて取得する。

実像検出部８は、複数の画像情報に含まれる異物候補の位置情報と、第１撮像位置における撮像部の撮像条件情報と、第２撮像位置における撮像部の撮像条件情報とに基づいて、異物候補検出部で検出された個別の異物候補の中から実像を判別するものである。

具体的には、実像検出部８は、いわゆる画像処理装置と呼ばれるハードウエアと、その実行プログラム（ソフトウェア）とを備えた、画像処理部４の一部として構成することができる。

より具体的には、図２に示す形態の場合、複数の画像情報に含まれる異物候補の位置情報として、異物候補検出部７で検出した異物候補の各位置ＬＸ１１，ＬＸ２１，ＬＸ１２，ＬＸ２２の座標データを取得する。

そして、第１撮像位置における撮像部３（つまり、蛍光撮像部３０）の撮像条件情報として、相対位置検出部６で取得した距離ＣＺ１と、予め登録しておいた撮像素子３１の画素数や画素ピッチ、レンズ３３の画角や観察倍率、ワーキングディスタンスや撮像方向、その他撮像条件に関するパラメータなどを用い、距離ＣＺ１に対応する撮像フレーム３７内での移動方向と移動距離を算出する。

同様に、第２撮像位置における撮像部３ｎ（つまり、蛍光撮像部３０ｎ）の撮像条件情報は、相対位置検出部６で取得した距離ＣＺ２と、予め登録しておいた撮像素子３１の画素数や画素ピッチ、レンズ３３の画角や観察倍率、ワーキングディスタンスや撮像方向、その他撮像条件に関するパラメータなどを用い、距離ＣＺ２に対応する撮像フレーム３７ｎ内での移動方向と移動距離を算出する。

なお、これら撮像条件情報には、検査対象領域の座標系と、撮像した画像情報の座標系との紐付けに必要な情報やパラメータが含まれている。

そして、図２に示す形態では、撮像部３は水平（ＸＹ）方向には移動していないので、ＬＸ１１とＬＸ１２とは同じ値であり、ＬＸ２１とＬＸ２２とは同じ値である。
一方、撮像部３は上下（Ｚ）方向に相対移動しているので、相対移動部５で相対移動させた相対移動量ｄＹｃに対応する移動量分だけ、実像Ｓ１の位置がＬＹ１１からＬＹ１２に移動する。つまり、実像検出部８は、ＬＹ１１とＬＹ１２との差分が、相対移動量ｄＹｃに対応した値と同じか、同じと見なせる程度の許容範囲内であれば、その輝点を実像と判別する。しかし、映り込んだ虚像Ｆ１ｐの位置については、ＬＹ２１からＬＹ２２に移動するが、ＬＹ２１とＬＹ２２との差分が相対移動量ｄＹｃに対応した値よりも小さい。そのため、実像検出部８は、このような輝点については実像と判別しない。

なお、容器の内面の反射率が高い場合であれば、複数の内面で多重反射を起こしてしまい、複数の虚像が撮像される。しかし、各内面について、実像の位置を決定し、その実像の位置に基づいて、各内面に存在する虚像候補の位置を算出し、当該虚像候補の位置については、実像の多重反射をも含めることで、虚像判定が確実に行える。

一方、容器の内面の反射率が低い場合であっても、材料表面は少なからず光を反射するため、小さいながらも虚像候補が観察される。そのため、微小な実像についても精度良く検出することができるようになり、好ましい。つまり、従来技術では、虚像を検出しないようにフィルタリング処理が施されていたが、当該フィルタリング処理を施すことで、微小な実像はフィルタリング処理されてしまい、精度良く検出できなかった。しかし、本発明を適用することで、実像の大小を問わず、精度良く検出できる。

この様な構成をしているので、容器内面の検査装置１は、容器の内面に付着した異物の検査（つまり、異物の有無を判定したり、異物の個数をカウントしたり、異物の大きさ、面積、体積、量などを測定したりすること）をする際に、実像と虚像を精度良く判別でき、誤検出を減らすことができる。

［別の実施形態］
図３は、本発明の別の一実施形態における検査装置の構成全体を模式的に示した図である。本発明を具現化する上では、上記検査装置１の構成に加えて、虚像位置推定部９Ａと、虚像判定部９Ｂとを備えた、検査装置１Ｂの様な構成としても良い。

虚像位置推定部９Ａは、実像検出部８で検出された実像の位置情報に基づいて、当該実像に対応する虚像の推定位置を算出するものである。虚像判定部９Ｂは、異物候補検出部７で検出された異物候補のうち、実像検出部８で実像と判別されたもの以外の虚像候補について、前記虚像位置推定部９Ａで算出された前記実像に対応する虚像の推定位置に存在すれば、当該虚像候補を虚像と判定するものである。

具体的には、第１撮像位置における撮像部３（つまり、蛍光撮像部３０）及び第２撮像位置における撮像部３ｎ（つまり、蛍光撮像部３０ｎ）の撮像条件情報、相対位置検出部６で取得した距離ＣＺ１，ＣＺ２と、予め登録しておいた撮像素子３１の画素数や画素ピッチ、レンズ３３の画角や観察倍率、ワーキングディスタンスや撮像方向、その他撮像条件に関するパラメータなどを用いて、異物候補検出部７で検出された異物候補について、先ず、実像検出部８で実像を判定する。これは、検査対象領域にある全ての異物候補に対して行われる。また、検査対象領域が複数あり、容器内面全てに及んでいれば、全ての検査対象領域（つまり、容器内内全て）に対して実像判定が行われる。

そして、実像であると判定された異物候補は、実像としてラベリングされる。そして、これら実像としてラベリングされたものは、虚像位置推定部９Ａにおいて、各実像の位置情報に基づいて、当該実像に対応する虚像の推定位置が算出される。

そして、異物候補検出部７で検出された異物候補のうち、実像検出部８で実像と判定されたもの以外のもの（つまり、虚像候補）については、虚像判定部９Ｂにおいて、虚像位置推定部９Ａで算出された虚像の推定位置と比較・照合され、当該虚像の推定位置に存在していれば、当該虚像候補を虚像と判定される。なお、当該虚像の推定位置に存在しているかどうかの判定については、実像の撮像、位置取得、虚像位置の推定のための演算処理等で生じる誤差を考慮し、同一の位置に存在するかどうかに限らず、同一の位置と見なせる程度の許容範囲内に存在するかどうかで判定しても良い。

なお、虚像位置推定部９Ａと虚像判定部９Ｂは、いわゆる画像処理装置と呼ばれるハードウエアと、その実行プログラム（ソフトウェア）とを備えた、画像処理部４の一部として構成することができる。

この様な構成をしているので、検査装置１Ｂは、実像と判定され無かったものについて、確かに虚像であったという信憑性を高めることができる。

［別の実施形態］
本発明を具現化する上では、上記検査装置１Ｂの構成に加えて、実像位置推定部９Ｃと実像位置検証部９Ｄ（図３にて破線で示す）とを備えた、検査装置１Ｃの様な構成としても良い。

実像位置推定部９Ｃは、異物候補検出部７で検出された異物候補のうち、実像検出部８で実像と判別されたもの以外の虚像候補の位置情報に基づいて、当該虚像候補に対応する実像の推定位置を算出するものである。実像位置検証部９Ｄは、実像検出部８で検出された実像が、実像位置推定部９Ｃで算出された虚像候補に対応する実像の推定位置に存在するかどうかを検証するものである。

具体的には、第１撮像位置における撮像部３（つまり、蛍光撮像部３０）及び第２撮像位置における撮像部３ｎ（つまり、蛍光撮像部３０ｎ）の撮像条件情報、相対位置検出部６で取得した距離ＣＺ１，ＣＺ２と、予め登録しておいた撮像素子３１の画素数や画素ピッチ、レンズ３３の画角や観察倍率、ワーキングディスタンスや撮像方向、その他撮像条件に関するパラメータなどを用いて、異物候補検出部７で検出された異物候補のうち、実像検出部８で実像と判定されたもの以外は、ひとまず虚像候補としてラベリングされる。これは、検査対象領域にある全ての異物候補に対して行われる。なお、検査対象領域が複数ある場合も同様である。

そして、これら虚像候補としてラベリングされたものは、実像位置推定部９Ｃにおいて、各虚像候補の位置情報に基づいて、当該虚像候補に対応する実像の推定位置が算出される。

そして、異物候補検出部７で検出された異物候補のうち、実像検出部８で実像と判定されたものについては、実像位置検証部９Ｄにおいて、実像位置推定部９Ｃで算出された実像の推定位置と比較・照合され、当該実像の推定位置に存在するかどうか検証される。なお、当該実像の推定位置に存在しているかどうかの判定については、虚像の撮像、位置取得、実像位置の推定のための演算処理等で生じる誤差を考慮し、同一の位置に存在するかどうかに限らず、同一の位置と見なせる程度の許容範囲内に存在するかどうかで判定しても良い。

なお、実像位置推定部９Ｃと実像位置検証部９Ｄは、いわゆる画像処理装置と呼ばれるハードウエアと、その実行プログラム（ソフトウェア）とを備えた、画像処理部４の一部として構成することができる。

この様な構成をしているので、検査装置１Ｃは、実像と判定されたものについて、確実に実像であるという信憑性を高めることができる。

［別の実施形態］
本発明を具現化する上では、上記検査装置１又は１Ｂの構成に加えて、モデル座標登録部１１と座標変換部１２とを備えた、検査装置１Ｃの様な構成としても良い。
以下に、検査装置１Ｃについて具体的な構成を示す。

モデル座標登録部は、図４に示すように、ワールド座標系Ｗ_ＸＹＺ上において、撮像部のカメラ視点であるカメラ座標系ＣＸＹＺの位置姿勢情報と、容器内面を３Ｄモデルとして表現するための情報とその３Ｄモデルの位置姿勢情報を登録する処理を行う。

カメラ座標系とは、カメラ視点位置を座標原点として、撮像面を（ｘ_Ｃ，ｙ_Ｃ）、視軸をｚ_Ｃとした３次元座標系である。画像座標系とは、撮像した画像データ面の左上端を座標原点として、画像データを（ｘ_ｉ，ｙ_ｉ）とした２次元座標系である。モデル座標系Ｍ_ＸＹＺとは、容器内面を３Ｄモデルで表現したときの３次元座標（ｘ_Ｍ，ｙ_Ｍ，ｚ_Ｍ）である。

モデル登録部で登録する情報について、説明する。
カメラ視点の位置姿勢情報については、例えば３次元位置センサでワールド座標系上のカメラの位置と姿勢を計測できるものとし、３次元位置センサによって得られたカメラ視点の位置を表す３次元ベクトルをＴ_ＣＷ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）、姿勢を表す３×３の回転変換行列をＲ_ＣＷとし、カメラ座標系Ｃ_ＸＹＺからワールド座標系Ｗ_ＸＹＺに変換する行列をＭ_ＣＷとすると、カメラ座標系Ｃ_ＸＹＺ上の点Ｐ_ｃ（ｘ_Ｃ，ｙ_Ｃ，ｚ_Ｃ）をワールド座標系Ｗ_ＸＹＺ上の点Ｐ_ＣＷ（ｘ_ＣＷ，ｙ_ＣＷ，ｚ_ＣＷ）に変換する式は、数式１の様に表すことができる。

Ｍ_ＣＷとＴ_ＣＷおよびＲ_ＣＷの関係は、数式２の様に表すことができる。

ここで、カメラ座標系のＺ軸中心の回転角をロール角ｒ、Ｘ軸中心の回転角をピッチ角ｐ、Ｙ軸中心の回転角をヨー角ｙとすると、数式３の様に表すことができる。

ここで、ピッチ回転、ヨー回転、ロール回転の順で回転したとすると、 回転変換行列Ｒ_ＣＷは、数式４の様に表すことができる。

従って登録するカメラ情報は、ワールド座標系上のカメラ視点の位置を表す３次元ベクトルＴ_ＣＷとカメラ座標系のロール角ｒ、ピッチ角ｐ、ヨー角ｙを登録し、座標変換で使用する回転変換行列Ｒ_ＣＷを算出する。

容器内面モデルの位置姿勢情報については、容器内面を３Ｄモデルで表現するために必要な情報を登録しモデル座標の原点を設定する、設定した容器内面3Dモデルをワールド座標系Ｗ_ＸＹＺ上での並進移動量Ｔ_ＭＷ（ｔ_ｍｘ，ｔ_ｍｙ，ｔ_ｍｚ）、姿勢を表す３×３の回転変換行列をＲ_ＭＷとし、モデル座標系Ｍ_ＸＹＺからワールド座標系Ｗ_ＸＹＺに変換する行列をM_ＭＷとすると、モデル座標系Ｍ_ＸＹＺ上の点Ｐ_Ｍ（ｘ_Ｍ，ｙ_Ｍ，ｚ_Ｍ）をワールド座標系Ｗ_ＸＹＺ上の点Ｐ_ＭＷ（ｘ_ＭＷ，ｙ_ＭＷ，ｚ_ＭＷ）に変換する式は、数式５の様に表すことができる。

つまり、数式５から、数式６の様に表すことができる。

ここで、モデル座標系のＺ軸中心の回転角をロール角α、Ｘ軸中心の回転角をピッチ角β、Ｙ軸中心の回転角をヨー角γとすると、数式７の様に表すことができる。

ここで、ピッチ回転、ヨー回転、ロール回転の順で回転したとすると、回転変換行列Ｒ_ＭＷは、数式８の様に表すことができる。

登録するモデル情報は、ワールド座標系上の容器内面モデルの位置を表す３次元ベクトルＴ_ＭＷとモデル座標系のロール角α、ピッチ角β、ヨー角γを登録し、座標変換で使用する回転変換行列Ｒ_ＭＷを算出する。また、容器内面モデルを構成するための平面の情報を登録する。

座標変換部は、異物検出候補部で求めた画像座標重心の情報とモデル座標登録部で登録した情報を元に２次元の画像座標から３次元のワールド座標に変換し、画像の輝点位置が容器内面モデルのどの位置に該当するか算出する処理である。

図５に示すように、画像座標系からカメラ座標系に変換する方法について説明する。
撮像した時のＸ方向の画素数をＣ_ｓｘ、Ｙ方向の画素数をＣ_ｓｙ、カメラレンズ画角を θ_Ｌ［ｄｅｇ］、カメラ視点から画像データの結像面までの視軸距離をＤ_Ｃとすると、画像データの撮像範囲Ｃ_Ｒの式は、数式９の様に表すことができる。

画像データの結像面のＸ方向の画素分解能Ｐ_ｒｘとＹ方向の画素分解能Ｐ_ｒｙの式は、数式１０，数式１１の様に表すことができる。

従って画像座標系からカメラ座標系に変換する式は、数式１２の様に表すことができる。

そして、上記数式１を使用して、カメラ座標系の座標P_C（ｘ_Ｃ，ｙ_Ｃ，ｚ_Ｃ）をワールド座標系Ｐ_ＣＷ（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）に変換する。

図６に示すように、カメラ視点の位置を表す３次元ベクトルＴ_ｃｗ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）からワールド座標Ｐ_ＣＷ（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）を結んだ視線ベクトルＶ_Ｖ（Ｖ_ＶＸ，Ｖ_ＶＹ，Ｖ_ＶＺ）の式は、数式１３の様に表すことができる。

次に視線ベクトル（Ｖ_ＶＸ，Ｖ_ＶＹ，Ｖ_ＶＺ）のベクトル長V_Lと、V_Lで除算した単位ベクトルV_E（ＶＥ_ＶＸ，ＶＥ_ＶＹ，ＶＥ_ＶＺ）の計算式は、数式１４の様に表すことができる。

次に前記で登録した容器内面モデルをワールド座標に配置したときの内面に該当する平面と単位視線ベクトルV_Eの交点Ｐ（Ｐ_Ｘ，Ｐ_Ｙ，Ｐ_Ｚ）を求める。ワールド座標に配置された容器内面モデルのある一面を構成するコーナー４点の座標をＰ_０（Ｐ_０Ｘ，Ｐ_０Ｙ，Ｐ_０Ｚ）、Ｐ_１（Ｐ_１Ｘ，Ｐ_１Ｙ，Ｐ_１Ｚ）、Ｐ_２（Ｐ_２Ｘ，Ｐ_２Ｙ，Ｐ_２Ｚ）、Ｐ_３（Ｐ_３Ｘ，Ｐ_３Ｙ，Ｐ_３Ｚ）とし、その平面の法線ベクトルＮとすると、単位視線ベクトルV_Eの交点Ｐの関係は、数式１５の様に表すことができる。

そして、数式１５から交点Ｐを求める式は、数式１６の様に表すことができる。

次に交点Ｐが容器内面にあるかどうかの判定は、図７に示すように、平面の各辺をベクトルとしてみた場合、交点Ｐは各辺の左側に位置するので、以下の数式１７で判定を行う。

上述の様に求めた交点Ｐは、ワールド座標上の位置なので、数式６の逆行列Ｍ_ＭＷ ^−１を求めて、ワールド座標の交点Ｐをモデル座標に変換して容器内面の交点P_M（Ｐ_ＭＸ，Ｐ_ＭＹ，Ｐ_ＭＺ）を異物候補とする。つまり、数式１８の様に表すことができる。

実像検出部８は、座標変換部で座標変換を行った後の第１撮像位置の異物候補の容器内面位置と第２撮像位置の異物候補の容器内面位置を照合して実像判定処理を行う。
異物（実像）は容器内面での位置は変化しないため、第１撮像位置での異物候補の容器内面位置と第２撮像位置の異物候補の容器内面位置が一致もしくは位置ズレ量が指定値以下の場合、このときの異物候補を異物（実像）として判定する。

虚像判定部は、容器内面が鏡面反射するものと考え、カメラ視点から反射像と実像検出部８で判定した異物（実像）を結ぶ光路を計算し、計算した反射像の位置と異物候補の位置が一致もしくは位置ズレ量が指定値以下の場合、このときの異物候補を虚像と判断する。

カメラ視点から反射像と異物（実像）を結ぶ光路の計算について説明する。
図８に示すように、異物（実像）として判定したものを除外した異物候補の位置Ｐ_ａに対して前記で算出した単位視線ベクトルＶ_Ｅを用いて反射視線ベクトルｑを計算する。つまり、数式１９の様に表すことができる。

そして、反射視線ベクトルｑと交点Ｑの関係は、数式２０の様に表すことができ、交点Ｑを求める式は、数式２０の様に表すことができる。

そして、数式２１から求めた交点Ｑと前記で検出した異物（実像）の位置が一致もしくは位置ズレ量が指定値以下の場合、位置Ｐ_ａの異物候補を虚像と判定する。

この様な構成をしているので、本発明を具現化する容器内面の検査装置は、容器の内面に付着した異物を検査（つまり、異物の有無を判定したり、異物の個数をカウントしたり、異物の大きさ、面積、体積、量などを測定したり）する際に、実像と虚像を精度良く判別でき、誤検出を減らすことができる。

［別の実施形態］
なお、上述の説明では、照明光照射部２は、異物Ｓ１を蛍光発光させるための励起光２３として、紫外光領域の光を照射する励起光照射部２０を備えた構成を例示した。一方、撮像部３は、励起光２３の波長成分を減衰させ、異物から放出された蛍光発光の波長成分を通過させる、蛍光観察フィルタ３４が備えられた蛍光観察部３０を備えた構成を例示した。

この様な構成をしていれば、容器Ｗの内面の反射率が高くても、照明光によるハレーションの発生を防ぎつつ、実像と虚像の各輝点を撮像することができる。そして、撮像部３で実像の輝点と虚像の輝点を正しく撮像した上で、実像の判別処理が行われるので、好ましい実施形態と言える。なお、ここで言う、反射率の高い材料とは、ステンレス、鉄、アルミ、ニッケル、銅、銀、金若しくは他の金属、又はそれらの化合物、並びに、樹脂等であって、圧延加工、切削加工、鏡面加工、平滑化、表面処理などが施されたものが例示でき、入射した光のうち、拡散・吸収する光の成分よりも、反射する光の成分の方が大きいものを言う。

なお、検査対象となる異物Ｓ１が所望の明るさで蛍光発光をしない場合や、異物Ｓ１や検査対象領域に向けて、紫外光や赤外光などの励起光を照射したくない場合などがある。この様な場合は、照明光照射部２から照射される照明光の照射方向や拡散板の配置を工夫するなどして、照明光によるハレーションが発生しない様にしたり、撮像部３で実像の輝点と虚像の輝点とを正しく撮像できる程度にハレーションの発生を抑制したりすれば、上述の構成に限定されない。つまり、照明光照射部２は、撮像部３における感度波長と同じ帯域若しくはオーバーラップする帯域の光（例えば、白色照明などの可視光、可視光領域内の特定帯域の単色光、紫外領域の光又は近赤外領域の光など）が照射される構成としても良い。さらに、撮像部３は、蛍光観察フィルタ３４を備えていない構成としても良い。

また、上記実施形態では、照明光照射部２及び撮像部３を、容器Ｗ内に配置したが、容器Ｗの天板内面Ｗｔを検査する場合には、照明光照射部２及び撮像部３を、容器Ｗの外に配置することもある。あるいは、容器Ｗの底板内面Ｗｂや、容器Ｗの側板内面Ｗｓ１〜Ｗｓ４全体を検出する場合には、照明光照射部２及び撮像部３を、容器Ｗの上方に配置してもよい。

また、上記実施形態では、容器Ｗの各内面を、励起光の照射によって蛍光を発光しない材料で構成するようにしたが、これに限らず、励起光の照射によって僅かな蛍光を光する材料で構成していても、本発明の効果は発揮される。また、異物は、励起光の照
射によって強く蛍光を発光する材料ほど、本発明の効果をより発揮する。

１ 検査装置
１Ｂ 検査装置
２ 照明光照射部
３ 撮像部
３ｎ 第２撮像位置にある撮像部
４ 検査部
５ 相対移動部
６ 相対位置検出部
７ 異物候補検出部
８ 実像検出部
９Ａ 虚像位置推定部
９Ｂ 虚像判定部
９Ｃ 実像位置推定部
９Ｄ 実像位置検証部
１９ｚ 表示器
２０ 励起光照射部
２１ ＵＶ照明手段
２２ フィルタ（紫外光通過）
２３ 励起光
３０ 蛍光観察部
３１ 撮像素子
３２ 撮像カメラ
３３ レンズ
３４ 蛍光観察フィルタ
３５ 蛍光発光成分の光
３６ 画角
３７ 撮像フレーム
Ｒ１ 検査対象領域
Ｒ２ 検査対象領域
Ｗ 略直方体形の容器（容器の一類型）
Ｗｓ 容器Ｗの側板内面
Ｗｂ 容器Ｗの底板内面
Ｗｔ 容器Ｗの天板内面
Ｓ１ 異物
Ｓ２ 異物
Ｆ１ 虚像
Ｆ１ｐ 写り込んだ虚像

Claims (5)

1. 内側空間を有する物体の内面に付着した異物を検査する検査装置であって、
   前記物体の内面に設定した検査対象領域に向けて光を照射する照明光照射部と、
   前記検査対象領域を撮像する撮像部と、
   前記撮像部を前記検査対象領域に対して相対移動させる相対移動部と、
   前記撮像部と前記検査対象領域との相対位置を検出する相対位置検出部と、
   前記検査対象領域について、第１撮像位置と、前記第１撮像位置とは異なる第２撮像位置の、少なくとも２カ所の撮像位置で撮像し取得した複数の画像情報について個別に異物候補を検出する異物候補検出部と、
   前記複数の画像情報に含まれる異物候補の位置情報と、前記第１撮像位置における前記撮像部の撮像条件情報と、前記第２撮像位置における前記撮像部の撮像条件情報とに基づいて、前記異物候補検出部で検出された個別の異物候補の中から実像を判別する実像検出部とを備えた、検査装置。
2. 前記実像検出部で検出された実像の位置情報に基づいて、当該実像に対応する虚像の推定位置を算出する虚像位置推定部と、
   前記異物候補検出部で検出された異物候補のうち、前記実像検出部で実像と判別されたもの以外の虚像候補について、前記虚像位置推定部で算出された前記実像に対応する虚像の推定位置に存在すれば、当該虚像候補を虚像と判定する、虚像判定部と
   をさらに備えた、請求項１に記載の検査装置。
3. 前記異物候補検出部で検出された異物候補のうち、前記実像検出部で実像と判別されたもの以外の虚像候補の位置情報に基づいて、当該虚像候補に対応する実像の推定位置を算出する実像位置推定部と、
   前記実像検出部で検出された実像が、前記実像位置推定部で算出された前記虚像候補に対応する実像の推定位置に存在するかどうかを検証する、実像位置検証部と
   をさらに備えた、請求項２に記載の検査装置。
4. 前記第１撮像位置における前記撮像部の撮像条件情報と、
   前記第２撮像位置における前記撮像部の撮像条件情報と、
   前記物体の内面の形状情報とを、３次元情報のモデル座標系で定義し登録しておく、モデル座標登録部を備え、
   前記撮像部で撮像し取得される画像情報は、２次元情報であり、
   当該２次元情報の前記画像情報を３次元情報のワールド座標系に座標変換し、前記３次元情報のモデル座標系をワールド座標系に座標変換する座標変換部をさらに備え、
   前記異物候補検出部は、ワールド座標系に変換された位置情報に基づいて、前記異物候補の位置情報を取得することを特徴とする、請求項１に記載の検査装置。
5. 前記照明光照射部には、前記異物を蛍光発光させるための励起光を照射する励起光照射部を備え、
   前記撮像部には、前記励起光の波長成分を減衰させ、前記異物から放出された蛍光発光の波長成分を通過させる、蛍光観察フィルタを備えた
   ことを特徴とする、請求項１〜４のいずれかに記載の検査装置。

Images