JP6162681B2 - 光媒体を通じた３次元的な光検知 - Google Patents

Description

関連出願の相互参照
この出願は、２０１１年３月３１日に出願した米国仮特許出願第６１／４７０，３９３号の利益を主張し、参照によりここに組み込む。

開示の分野
この開示は、一般的に光学的な撮像又は視覚検知に関する。更に詳しくは、この開示は、異なる光媒体を通じた３次元的な光検知に関する。

物体の３次元（３Ｄ）構造及び／又は位置の従来の抽出は、典型的には物体及び物体の周辺の媒体が物体の検知において単純かつ良好な(well behaved)光学特性を示すと仮定されるという制限を有することがある。このような良好な光学特性の制限が当てはまらない場合、従来の技術は、一般的には、一部の用途で要求されるレベルの精密な結果を生まない。同様に、３次元構造及び／又は位置の検知を複数の同様な物体に対して繰り返す必要がある場合、物体間の変動又は物体の周辺の媒体間の変動によって更に面倒なことを起こす。

したがって、異なる光媒体を通じた光検知のための向上したシステム及び方法が必要となる。

第１の形態において、本開示は、光センサと関心のある物体との間の媒体の屈折及び他の光学的効果を考慮し及び調整しながら関心のある物体の３次元構造及び位置を決定するために光センサを用いるシステム及び方法を提供する。

ここでのシステム及び方法の目的とする利点は、光媒体の後ろにある物体についてのさらに詳細なデータ又は情報を提供することである。

本開示の他の態様及び特徴は、添付図面に関連する特定の実施の形態の以下の説明により当業者に明らかになるであろう。

本開示の実施の形態を、添付図面を参照しながら一例として説明する。

図１は、物体を撮像するシステムの透視図である。 図２は、３次元測定を決定する方法のフローチャートである。

一般的に、本開示は、異なる光媒体を通じて物体を３次元（３Ｄ）で検知する方法及びシステムを提供する。システムは、物体の画像を取得する少なくとも一つのセンサを有し、物体が配置された媒体及びセンサと物体との間の一つ以上の媒体を考慮する。

図１を見ると、物体を検知する（、特に、撮像する）システムを示す。システム１０は、カメラ１４及び接続されたレンズ１６を備える光センサ１２のような撮像システムを有する。第１のカメラ１４及び接続されたレンズ１６は、容器２０内の一つ以上の物体１８に限定されないが容器２０内の一つ以上の物体１８のような関心のある品目の光学画像を生成するために用いられる。本実施の形態において、小瓶又はフラスコのような容器２０は、液体２２も含む。他の実施の形態において、光センサ１２によって生成された光学画像を、微粒子が容器２０内に存在するか否かの決定を支援するのに用いることができ、これによって、コンテナ２０が汚れているとみなすことができ、したがって、品質保証テストに合格しない。

図１は、好適には台２６の上に配置される容器２０に対する光センサ１２の画角も示す。光センサ１２によって取得される結果的に得られる画像は、ディスプレイ２８に送信され、プロセッサ３２によって記憶データベース３０に格納され、又はその両方が行われる。システム１０は、画像の位置及び／又は光学特性の決定を支援するために設けることができる背景部３４を有することもできる。好適な実施の形態において、背景部３４は、光学画像を生成するよう光センサ１２からの光を反射してレンズに戻すのを支援するために黒、白又はその組み合わせである。

後に説明するように、プロセッサ３２は、画像、すなわち、光センサ１２から受け取った又はデータベース３０に格納された未加工画像データの分析を支援ためのソフトウェアも有する。

一部の実施の形態において、システム１０は、第２の撮像システムすなわち光センサ３６を有することができる。第２の光センサ３６は、好適には、カメラ３５及び接続されたレンズ４０を有する。第２の光センサ３６を、第１の光センサ１２とは異なる方向から関心のある品目の画像を取得するのに用いることもできる。図示するように、第２の光センサの画角４２は、第１の光センサ１２の画角２４と非平行である。一実施の形態において、画角２４及び画角４２は互いに垂直であるが、他の角度関係も考えられる。第１の光センサ１２と同様に、結果的に得られる画像をディスプレイ４４に表示し又はデータベース３０に格納することができる。画像の取得を支援するために、システム１０は、第２の背景４６を有することができる。

作動中、第１の光センサ１２は、任意の品目又は関心のある品目すなわち画角２４内にある容器内の物体の光学画像を生成する。一実施の形態において、光学画像は、使用されるカメラ１４のタイプに応じて２次元又は３次元データを有することができる。同様に、第２の光センサ３６が設置される場合、カメラ３５は、容器２０内の関心のある一つ以上の品目の２次元又は３次元画像を生成することもできる。

容器２０内の物体１８の実際の位置の理解の向上を得るために、取得した一つ以上の画像以外を検査するのが有益である。本システムにおいて、表示され又は格納された結果的に得られる画像は、（レンズと容器との間の空気、容器２０の壁部又は液体２２のような）媒体の屈折率、反射率等の種々の光学特性を考慮しない。容器内の関心のある品目の実際の位置を決定しようと試みる場合、これらの特性を考慮する必要がある。当然のことながら、屈折角及び反射角は、光センサからの光の向きを変える。これらの要因を考慮しない場合、光センサ１２又は光センサ３６によって生成される画像は、容器２０内の物体の実際のすなわち正しい位置でない物体１８の出現位置を与えるおそれがある。容器２０内の物体１８の位置を決定する必要があるシステムに対して、物体の正しい位置の更に正確な表示を有することは、本システム１０によって与えられるように一層有益である。

本システムにおいて、これらの材料／媒体の各々の光学特性及び空間位置が、分析され、容器２０内の物体１８の位置の理解の向上を得るために画像又は未加工データに組み合わされる。

一部の実施の形態において、第１の光センサ１２が十分な３次元データを生成するための十分なデータを生成できない場合、第２の光センサ３６を、消失情報の生成又は取得を支援するために用いることができる。二つの光センサしか示さないが、要求される３次元データ又は情報を取得するために異なる画角から容器の画像を取得するよう任意の個数の光センサを台の周辺に配置することができる。

図１に示すように、システム１０は、関心のある品目の更なる視野の生成を支援するための一式の反射器４６を有することができるが、これらは任意であり、一つ以上の光センサの設定方法に応じてシステム内に含ませることができる。当然のことながら、第２の光センサ３６それ自体によって取得した画像も、容器２０内の物体１８の出現位置を反映し、正しい位置の可能性が低い。システム１０は、後に説明するように非光学データを取得する他のセンサを有することもできる。例えば、媒体の温度、位置又は他の物理特性に関連する情報を検知するとともにプロセッサ又はデータベース３０に格納することができる。

一実施の形態において、複数のカメラを用いることによって、カメラすなわち光センサからのデータ並びに空気、液体２２及び容器２０の壁部のような媒体の光学特性及び位置を、物体１８の向上した３次元構造又は位置を生成するために用いることができる。

単一の光センサの実施の形態において、システム１０は、画角２４に存在する異なる光媒体を通じて関心のある物品を撮像する。異なる光媒体は、二つ以上の光媒体を有することができ、気体、液体又は固体を任意の順番で有することができる。

容器２０内の物体１８の位置の更に正確な表示の決定を支援するために、容器、媒体、背景及び液体に関連する情報又はデータを、データベース３０又はプロセッサ３２のメモリに格納することができる。これを非光学データ又は情報として見ることができる。非光学データ又は情報は、レンズ１６又はレンズ４０の配列、レンズ１６又はレンズ４０と容器２０の表面との間の距離、容器の壁部の厚さ、容器２０の配置、容器２０の壁部の曲率、容器２０の大きさ、容器の容量、容器２０の透明度、使用される背景のタイプ、使用される背景のパターン、液体２２のタイプ、液体２２の透明度、容器２０内の媒体（液体又は気体）のタイプ、関心のある品目の大きさの範囲、関心のある品目の形状の範囲、容器内の液体のレベル又は一つ以上の媒体の反射率若しくは屈折率を含むが、それに限定されない。非光学データ又は演繹的知識を外部の情報源から提供することができる。

ここで図２に示すフローチャートを参照すると、画像を取得する方法を示す。一実施の形態において、この方法を、医薬が汚されたか否かを決定するために医薬の小瓶内の微粒子の正しい位置の決定を支援するのに用いることができ、又は、公表することができる。他の実施の形態において、画像を、関心のある品目が容器の壁部に配置され又は容器内の液体に浮いている場合に容器内の関心のある品目の正しい位置の理解の向上を得るために用いることができる。

先ず、容器内の関心のある品目の正しい位置を確認するのを望むことを決定する。その後、容器を、画像を取得するための撮像システム内の台に配置する。

上述したような任意の非光学データを、データベース３０から関連の非光学データを取得するためにユーザ若しくはテスタからの手動入力を受信することにより又はユーザインタフェースを通じたユーザによる命令に基づいて、プロセッサ３２によって取得する（１００）。非光学データの取得前、取得後又は取得と同時に、容器の光学画像を、システム１０の設定に応じて一つ以上の光センサによって取得する（１０２）。光センサを用いた光学画像の取得は、当業者によって理解できる。一実施の形態において、光検知１０２を、可視的又は不可視的（例えば、赤外線等）とすることができ、これによって、２次元又は３次元データを生成することができる。

非光学データをプロセッサ３２によって処理及び分析する（１０４）とともに光学データをプロセッサ３２によって処理及び分析する（１０６）。一実施の形態において、画像の取得に対する非光学情報の潜在的な寄与を決定するために非光学データの処理及び分析を行う。光学データの処理及び分析１０６は、エッジ検出、未加工画像データの減少、画像校正若しくは特徴点抽出のような少なくとも一つの画像分析技術若しくは他の同様な技術の使用、又は独自の(proprietary)分析技術の使用を伴う。光学データ及び非光学データを分析した後、一式の物体位置決めデータを生成するために情報を組み合せる（１０８）。他の実施の形態において、光学データ及び非光学データを、一式の物体位置決めデータを生成するために処理及び分析する前に組み合わせることができる。例えば、一例において、関心のある品目が容器の壁部に配置されているか否かを決定するために容器の壁の屈折率を光学画像データに組み合わせることができる。これは、未加工光学データのみに基づく２次元又は３次元画像から容易にわからないことがある。

光学画像それ自体のみによって提供することができる場合よりも更に正確な容器内の関心のある品目の位置の推定又は表示を行う（１１０）ために一連の物体位置決めデータを用いることができる。

ここで説明した実施の形態の特定の用途は、ガラス又はプラスチックキャリア中の液体の微粒子の検出である。液体中の微粒子の識別は、特に医学の分野における品質管理において重要になりうる。ここでの実施の形態は、粒子のような物体が容器の内側と外側のいずれに存在するかについての検出を行うことができるようにすることも意図したものである。

品質管理の実施の形態において、システム１０を、関心のある複数の品目を経時的に検知及び分析するのに用いることができる。この場合、関心のある各品目の材料特性及び配置は異なることができる。さらに、光媒体の位置、配置及び材料特性は変化してもよい。ここでの一態様は、媒体が均質である必要がなく、光学的効果は全体に亘って変化することがあり（例えば、かげろう）、最終画像の作成において非光学データを含めるときにはこれらの要因を考慮する。

前述の説明において、説明のために、実施の形態の全体に亘る理解を提供するために多数の詳細を説明した。しかしながら、これらの特定の詳細は必須でないことは当業者に明らかである。他の例では、理解をわかりにくくしないために周知の構造をブロック図形態で示す。例えば、ここで説明した実施の形態がソフトウェアルーチン、ハードウェア回路、ファームウェア又はその組み合わせとして実現できるか否かについての特定の詳細を提供しない。多数のソフトウェアの実現をハードウェアでも実現できることを理解すべきである。

開示の実施の形態を、（ここで実施されるコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な媒体、プロセッサ読取可能な媒体又はコンピュータが使える媒体とも称される）機械可読な媒体に格納されたコンピュータプログラム製品（ソフトウェア）として表すことができる。機械可読な媒体を、ディスケット、コンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、記憶装置（揮発性又は不揮発性）又は同様な記憶機構を含む磁気記憶媒体、光学記憶媒体又は電気記憶媒体を有する任意の適切な有形の(tangible)非一時的(non-transitory)媒体とすることができる。機械可読な媒体は、実行の際にプロセッサによって開示の実施の形態による方法のステップを実行させる種々のセットの命令、符号系列、設定情報又は他のデータを有することができる。説明した実現を遂行するのに必要な他の命令及び動作を機械可読な媒体に格納することもできることは、当業者に明らかである。機械可読な媒体に格納された命令を、プロセッサ又は他の適切な処理装置によって実行することができ、説明したタスクを実行するために回路に連動させることができる。

上述した実施の形態は、説明のみを意図したものである。この開示の範囲を逸脱することなく当業者によって特定の実施の形態に対する交代、変更及び変形を行うことができる。

Claims (8)

1. 液体を含む容器の中の関心のある物体の光学的な検知を行う方法であって、
   前記容器、前記液体、媒体及び背景に関連した非光学データを決定することと、
   前記非光学データを記憶要素に格納することと、
   関心のある３次元物体に関連した光学画像データを前記容器及び液体を通じて決定することと、
   前記容器、前記液体、媒体及び背景に関連した非光学データを前記記憶要素から読み出すことと、
   前記光学画像データ及び前記非光学データを分析することと、
   分析した前記光学画像データ及び前記非光学データに基づいて、前記容器に対する関心のある物体の位置を決定することと、
   を備え、
   前記非光学データを、温度、レンズの配列、前記レンズと前記容器の表面との間の距離、前記容器の壁部の厚さ、前記容器の配置、前記容器の壁部の曲率、前記容器の大きさ、前記容器の容量、前記容器の透明度、反射板のタイプ、前記反射板のパターン、前記液体のタイプ、前記液体の透明度、前記容器の中の媒体のタイプ、関心のある物体の大きさの範囲、関心のある物体の形状の範囲、前記容器の中の液体のレベル及び前記媒体の反射率からなる群から選択する方法。
2. 分析した前記光学画像データ及び前記非光学データに基づく前記関心のある物体の画像を表示することを更に備える請求項１に記載の方法。
3. 前記光学画像データ及び前記非光学データを分析することは、画像データを生成するために前記光学画像データと前記非光学データとを組み合わせることを備える請求項１に記載の方法。
4. 前記光学画像データ及び前記非光学データを分析することは、前記光学画像データを分析するために画像分析技術を使用し、前記画像分析技術を、エッジ検出、未加工画像データの減少、画像校正及び特徴点抽出からなる群から選択する請求項１に記載の方法。
5. 液体を含む容器の中の物体の画像を生成するシステムであって、
   前記物体に関連した光学画像データを前記容器及び液体を通じて取得し、予め決定された視野角で前記物体に向けられた少なくとも一つの光センサと、
   前記容器、前記液体、媒体及び背景に関連した非光学データを供給する少なくとも一つのソースと、
   前記物体に関連した前記光学画像データ及び前記非光学データを受信し、前記画像を形成するとともに前記容器に対する関心のある物体の位置を決定するために前記光学画像データ及び前記非光学データを処理するプロセッサと、
   を備え、
   前記非光学データを、温度、レンズの配列、前記レンズと前記容器の表面との間の距離、前記容器の壁部の厚さ、前記容器の配置、前記容器の壁部の曲率、前記容器の大きさ、前記容器の容量、前記容器の透明度、反射板のタイプ、前記反射板のパターン、前記液体のタイプ、前記液体の透明度、前記容器の中の媒体のタイプ、関心のある物体の大きさの範囲、関心のある物体の形状の範囲、前記容器の中の液体のレベル及び前記媒体の反射率からなる群から選択するシステム。
6. 前記少なくとも一つの光センサは、第１の光センサと、第２の光センサと、を備え、前記第２の光センサは、前記物体に関連した第２の光学画像データを取得し、前記第２の光センサは、前記予め決定された視野角とは異なる第２の視野角で向けられる請求項５に記載のシステム。
7. 前記第２の視野角は前記予め決定された視野角に対して垂直である請求項６に記載のシステム。
8. 反射板を更に備え、前記物体を前記光センサと前記反射板との間に配置した請求項５に記載のシステム。

Images