JP7380853B2 - 把持装置 - Google Patents

把持装置 Download PDF

Info

Publication number
JP7380853B2
JP7380853B2 JP2022516476A JP2022516476A JP7380853B2 JP 7380853 B2 JP7380853 B2 JP 7380853B2 JP 2022516476 A JP2022516476 A JP 2022516476A JP 2022516476 A JP2022516476 A JP 2022516476A JP 7380853 B2 JP7380853 B2 JP 7380853B2
Authority
JP
Japan
Prior art keywords
container
determination
unit
marker
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022516476A
Other languages
English (en)
Other versions
JPWO2021214820A5 (ja
JPWO2021214820A1 (ja
Inventor
恵子 井上
尚司 谷内田
利憲 細井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021214820A1 publication Critical patent/JPWO2021214820A1/ja
Publication of JPWO2021214820A5 publication Critical patent/JPWO2021214820A5/ja
Application granted granted Critical
Publication of JP7380853B2 publication Critical patent/JP7380853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018—Dirt detection in containers
    • G01N21/9027—Dirt detection in containers in containers after filling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9009—Non-optical constructional details affecting optical inspection, e.g. cleaning mechanisms for optical parts, vibration reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J17/00—Joints
    • B25J17/02—Wrist joints
    • B25J17/0241—One-dimensional joints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、把持装置、判定システム、判定装置、判定方法、記録媒体に関する。
容器に入った液体中の異物を検出するための技術が知られている。
異物を検出する際に用いられる技術の一つとして、例えば、特許文献１がある。特許文献１には、反転装置と、撮像装置と、撮像処理装置と、を備えるシステムが記載されている。特許文献１によると、反転装置は、保持した被検査体を傾斜もしくは倒立させて再び元の姿勢に戻す。また、撮像装置は、反転装置によって傾斜もしくは倒立させて再び元の姿勢に戻した直後の被検査体を撮像する。そして、撮像処理装置は、撮像装置による画像を処理して被検査体の良否を判定する。なお、特許文献１には、被検査体より上部に位置する回転中心軸を中心にして、被検査体を傾斜もしくは倒立させることが開示されている。
また、関連する技術として、例えば、特許文献２がある。特許文献２には、差分画像に基づいて気泡や容器の汚れなどを選定し、選定した気泡や汚れなどを除くことで異物を検出する方法が記載されている。
国際公開２００５／０３１３２８号 特開２００４－３５４１００号公報
異物を精度よく検出する際には、異物と気泡や容器についた傷、汚れなどとを判別することが必要になる。しかしながら、容器についた傷や汚れなどは、異物や気泡などとは異なり、容器を静止させた状態では移動しない。そのため、容器を静止させた状態で撮像した結果に基づく検出を行う特許文献１や特許文献２に記載の技術では、容器についた傷や汚れなどを判別することが難しいおそれがあった。
そこで、本発明の目的は、異物を検出する際に容器についた傷や汚れなどを容易に判定することを可能とする、把持装置、判定システム、判定装置、判定方法、記録媒体を提供することにある。
かかる目的を達成するため本開示の一形態である把持装置は、
液体が充填された容器を把持する把持部と、
前記把持部が前記容器を把持した状態で当該容器を少なくとも傾斜させる傾斜部と、
前記容器が傾斜する際に当該容器と同期して傾斜する箇所に設置され、前記容器の動きと連動して動くマーカと、
を有する
という構成をとる。
また、本開示の他の形態である判定システムは、
液体が充填された容器を把持する把持部と、前記把持部が前記容器を把持した状態で当該容器を少なくとも傾斜させる傾斜部と、前記容器が傾斜する際に当該容器と同期して傾斜する箇所に設置され、前記容器の動きと連動して動くマーカと、を有する把持装置と、
前記把持装置の外部に設置され、前記容器に充填された液体を撮像するカメラと、
前記カメラが撮像した画像データに基づいて物体を検出し、検出した物体が異物であるか否か判定する判定装置と、
を有する
という構成をとる。
また、本開示の他の形態である判定装置は、
容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する検出部と、
前記検出部が検出した物体を追跡する追跡部と、
前記追跡部による追跡の結果と、前記マーカの動きと、に基づいて、前記検出部が検出した前記物体の判定を行う判定部と、
を有する
という構成をとる。
また、本開示の他の形態である判定方法は、
判定装置が、
容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出し、
検出した物体を追跡し、
追跡の結果と、前記マーカの動きと、に基づいて、検出した前記物体の判定を行う
という構成をとる。
また、本開示の他の形態である記録媒体は、
判定装置に、
容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する検出部と、
前記検出部が検出した物体を追跡する追跡部と、
前記追跡部による追跡の結果と、前記マーカの動きと、に基づいて、物体の判定を行う判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
上述したような各構成によると、異物を検出する際に容器についた傷や汚れなどを容易に判定することを可能とする、把持装置、判定システム、判定装置、判定方法、記録媒体、を提供することが可能となる。
本開示の第１の実施形態における判定システムの構成例を示す図である。 容器とマーカの位置関係の一例を示す図である。 容器の動きの一例を説明するための図である。 注目領域を説明するための図である。 揺動中心軸の位置を説明するための図である。 カメラ位置を説明するための図である。 図１で示す判定装置の構成例を示すブロック図である。 本開示の第１の実施形態における把持装置とカメラの動作例を示すフローチャートである。 本開示の第１の実施形態における判定装置の全体的な動作例を示すフローチャートである。 判定部の処理例を示すフローチャートである。 判定システムが有する他の把持装置の構成例を示す図である。 他の把持装置の構成例を説明するための図である。 本開示の第２の実施形態における把持装置の構成例を示す図である。 本開示の第２の実施形態における判定装置のハードウェア構成図の一例を示す図である。 本開示の第２の実施形態における判定装置の構成例を示すブロック図である。
［第１の実施形態］
本開示の第１の実施形態について、図１から図１２までを参照して説明する。図１は、判定システム１００の構成例を示す図である。図２は、容器５００とマーカ２３０の位置関係の一例を示す図である。図３は、容器５００の動きの一例を説明するための図である。図４は、注目領域を説明するための図である。図５は、揺動中心軸を説明するための図である。図６は、カメラ３００の位置を説明するための図である。図７は、判定装置４００の構成例を示すブロック図である。図８は、把持装置２００とカメラ３００の動作例を示すフローチャートである。図９は、判定装置４００の動作例を示すフローチャートである。図１０は、判定部４４５の処理例を示すフローチャートである。図１１は、判定システム１００が有する他の把持装置である把持装置６００の構成例を示す図である。図１２は、他の把持装置である把持装置６００の構成例を示す図である。
本開示の第１の実施形態においては、水や薬剤などの液体を充填した容器５００内部に混入している物体を検出して、検出した物体のうち髪の毛やガラス片などの異物を判定する判定システム１００について説明する。後述するように、判定システム１００は、容器５００を挟み込んで把持した状態で容器５００を傾斜・揺動させる。また、判定システム１００においては、容器５００を傾斜させる際に容器５００と同期して傾斜する箇所にマーカ２３０が設けられている。このような構成によると、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などは、マーカ２３０の動きに連動して動くことになる。その結果、固定されたカメラ３００が撮像・取得した、容器５００とマーカ２３０とが映る画像データに基づいて、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などを容易に判定することが可能となる。
なお、本実施形態においては、図１で示す状態のうち容器５００において液体を充填する側を上側、反対側を下側と定義して説明する。図１の場合、容器５００の内部に充填された液体は、容器５００の下側に溜まっている。
図１は、判定システム１００の全体の構成例を示す側面図である。図１を参照すると、判定システム１００は、例えば、回転手段としてのモータ２４０を有する把持装置２００と、カメラ３００と、判定装置４００と、を含んでいる。図１で示すように、カメラ３００と判定装置４００とは、有線または無線により、互いに通信可能なよう接続されている。また、判定装置４００と把持装置２００とは、有線または無線により互いに通信可能なよう接続することが出来る。
把持装置２００は、液体を充填した容器５００を上下方向から挟み込んで把持した状態で、容器５００を傾斜・揺動、回転させる装置である。図１で示すように、把持装置２００は、例えば、上側把持部２１３と下側把持部２１４とからなる把持部を含む本体部２１０と、面照明２２０と、マーカ２３０と、モータ２４０と、を有している。
本体部２１０は、回転手段として機能するモータ２４０の回転に応じて、傾斜・揺動したり回転したりする。例えば、本体部２１０は、正面からみて矩形形状を有している。なお、本実施形態においては、本体部２１０を形成する素材について特に限定しない。本体部２１０は、例えば、樹脂製や金属製など、任意の素材により形成されていて構わない。また、本体部２１０の形状も上記例示した以外であっても構わない。
図１は、本体部２１０を側面からみた際の一例を示している。図１を参照すると、本体部２１０は、例えば、モータ２４０と連結される平板状部分２１１と、平板状部分２１１の上方側端部及び下方側端部からモータ２４０が位置する側とは反対側に向かって延出する腕部２１２と、腕部２１２のうちモータ２４０が位置する側とは反対側の端部に形成され、容器５００を挟み込んで把持する把持部と、から形成されている。
把持部は、上方側に形成された腕部２１２から下方に向かって突出し容器５００の上側（液体を充填する側）に当接する上側把持部２１３と、下方側に形成された腕部２１２から上方に向かって突出し容器５００の下側に当接する下側把持部２１４とを含んでいる。図１で示すように、上側把持部２１３が容器５００の上側から容器５００に当接し、下側把持部２１４が容器５００の下側から容器５００に当接することで、把持部は容器５００を上下方向から挟み込んで容器５００を把持する。
なお、上側把持部２１３と下側把持部２１４とは、長さを調整可能なよう構成することが出来る。上側把持部２１３と下側把持部２１４の長さを調整可能なよう構成することで、様々な大きさの容器５００を把持可能とするとともに、把持部が容器５００を把持した際の位置調整（高さ調整）を容易に行うことが可能となる。なお、長さの調整機能は、例えば、上側把持部２１３や下側把持部２１４を第１部分と第２部分とから構成し、第１部分と第２部分とをスライド移動可能にするとともに、任意の位置で固定可能とするなど、既知の手段を用いて実現して構わない。
面照明２２０（照明）は、容器５００内に充填された液体に対して光を照射する。例えば、面照明２２０は、正面からみて矩形形状など、本体部２１０の形状に応じた形状を有している。面照明２２０は、例示した以外の形状であっても構わない。
例えば、面照明２２０は、容器５００や把持部からみてカメラ３００が設置される側とは反対側に設置されている。例えば、図１を参照すると、面照明２２０は、本体部２１０を構成する平板状部分２１１のうちモータ２４０が位置する側とは反対側の面上に設置されている。このような構成によると、面照明２２０は、容器５００越しにカメラ３００に対して光を照射する。つまり、面照明２２０は、容器５００越しにカメラ３００に対して光を照射するように、本体部２１０に設置されている、ということが出来る。
なお、面照明２２０は、本体部２１０の平板状部分２１１に設置されているため、上側把持部２１３や下側把持部２１４を含む本体部２１０と一体的に構成されている、ということも出来る。そのため、例えば、上側把持部２１３と下側把持部２１４に把持された容器５００を傾斜させると、容器５００の傾斜と同期して面照明２２０も傾斜する。
マーカ２３０は、カメラ３００が撮像した画像データに基づいて回転角度を取得可能とするための仕組みである。マーカ２３０は、例えば、０．５ｍｍ角程度の大きさを有する矩形形状や円形形状の光を透過しないフィルムなどであり、面照明２２０上の所定個所に設置されている。マーカ２３０は、任意の情報を含む２次元コードなどであっても構わない。
マーカ２３０は、固定設置されたカメラ３００が取得する画像データ中に、容器５００を傾斜させた際でも少なくとも１つのマーカ２３０が映るように、面照明２２０上の所定個所に設置されている。図２は、マーカ２３０の設置個所の一例を示している。例えば、図２で例示する場合、マーカ２３０は、容器５００を傾斜させていない状態で、容器５００より外側であって容器５００の左側側面部近傍の位置と、容器５００の外側であって容器５００の右側側面部近傍の位置と、の２か所に設定されている。また、図２で例示する場合、マーカ２３０は、容器５００を傾斜させる際の軸である揺動中心軸Ａの高さと同程度の高さに設けられている。
なお、容器５００を傾斜させた際でも少なくとも１つのマーカ２３０が、液体を撮像する画像に映るならば、マーカ２３０を設置する位置は上記例示した以外であっても構わない。また、マーカ２３０を設置する数も、１つや３つ以上など任意に定めて構わない。
また、マーカ２３０は、上側把持部２１３や下側把持部２１４を含む本体部２１０と同期して動く箇所であるならば、面照明２２０以外の箇所に設けられていても構わない。例えば、マーカ２３０は、本体部２１０のうち容器５００を把持した際に容器５００の側面に位置する箇所から容器５００の方向に向かって突出する突起部などにより実現されても構わない。マーカ２３０は、上記例示した以外の方法により実現されても構わない。
モータ２４０は、外部から供給される電力に応じて自身が回転することにより、本体部２１０を傾斜させて、上側把持部２１３と下側把持部２１４に把持された容器５００を傾斜・揺動、回転させる、回転手段（傾斜部）として機能する。例えば、モータ２４０は、本体部２１０の平板状部分２１１と連結しており、モータ２４０が回転することにより本体部２１０を傾斜・揺動、回転させることが出来る。
図３は、上側把持部２１３と下側把持部２１４に把持された容器５００を傾斜させる際の様子の一例を示している。図３で示すように、モータ２４０は、容器５００を正転方向（例えば、反時計回りの方向）に傾斜させるとともに、容器５００を逆転方向（例えば、時計回りの方向）に傾斜させることが出来る。一例として、例えば、モータ２４０は、容器５００が傾斜していない（０度である）状態、容器５００が正転方向に９０度傾斜している状態、容器５００が傾斜していない状態、容器５００が逆転方向に９０度傾斜している状態、容器５００が傾斜していない状態、という順番で容器５００の状態が遷移するように、容器５００を傾斜・揺動させることが出来る。つまり、モータ２４０は、正逆切り替えながら、揺動中心軸Ａを中心に容器５００を揺動させることが出来る。
ここで、カメラ３００により画像データを撮像する際には、図４で示すような注目領域（液中と瓶底）が容器５００を傾斜させた際でもカメラ３００の画角内に効率よく収まっていることが望ましい。そのため、揺動回転軸Ａは、例えば、図５で示すように、容器５００を傾斜させていないときの容器５００の中心高さＡではなく、容器５００を傾斜させていないときの液面高さＢや液体中心部高さＣ（または、液面高さＢと液体中心部高さＣの間など）に合わせられていることが望ましい。例えば、本実施形態で説明する把持装置２００の場合、モータ２４０と平板状部分２１１とが連結される個所に応じて、本体部２１０や把持された容器５００などが傾斜する際の中心となる揺動中心軸Ａが定まることになる。また、上側把持部２１３や下側把持部２１４の長さを調整することで、揺動中心軸Ａと容器５００や容器５００の内部に充填された液体との位置関係を調整することが出来る。従って、モータ２４０と平板状部分２１１とが連結される個所や、上側把持部２１３や下側把持部２１４の長さは、揺動中心軸Ａの位置が望ましい位置になるように、容器５００の大きさ、液面高さＢや液体中心部高さＣなどの液体の量、などに応じて予め定められていたり適宜修正されたりすることが望ましい、ということが出来る。
なお、モータ２４０が容器５００を傾斜させる角度は、９０度までの間に限定されない。モータ２４０が容器５００を傾斜させる角度は、例えば、容器５００の内部に充填された液体の液性や検出したい異物の特性などに応じて適宜定めて構わない。
また、モータ２４０は、後述する判定装置４００から受信した指示に応じて、揺動を開始したり停止したりすることが出来る。モータ２４０は、手動などにより揺動を開始したり停止したりしても構わない。
カメラ３００は、容器５００を撮像することで画像データを取得する撮像装置である。例えば、カメラ３００は、上側把持部２１３や下側把持部２１４からみて面照明２２０が位置する側とは反対側の所定位置に予め設置されている。なお、図１で示すように、把持装置２００とカメラ３００とは、一体的に構成されていない。そのため、本体部２１０などを傾斜させてもカメラ３００は傾斜しない。つまり、本実施形態の場合、カメラ３００は、予め設置された位置に固定された状態で、画像データを取得する。
例えば、カメラ３００は、１５０～２００ｆｐｓ程度の高フレームレートで画像データを取得する。そして、カメラ３００は、取得した画像データを、撮像時刻を示す情報などとともに、判定装置４００へ対して送信する。カメラ３００は、上記例示した以外のフレームレートで画像データを取得しても構わない。
なお、容器５００の内部に充填された液体中の異物は、図４で示すような注目領域（つまり、液中または瓶底）に存在する可能性が高い。そのため、カメラ３００は、注目領域を効率的に撮像可能なよう設置することが望ましい。例えば、カメラ３００の中心を容器５００の下端より高い位置とするとともに、被写界深度が保てる範囲内で、出来る限り近くから容器５００の底面（瓶底）全域が映るように、カメラ３００の設置位置を定めることが望ましい。また、カメラ３００は、広角レンズを用いることが望ましい。このようにカメラ３００を設置することで、例えば、質量が大きく浮遊しない異物なども逃さず検出することが出来るようになる。
また、カメラ３００は、容器５００の内部に充填された液体全体が映る範囲内で液中と液面が被る領域が極力小さくなるように、設置することが望ましい。例えば、カメラ３００は、出来る限り液面の水平方向から撮像するように設置することが望ましい。
以上をまとめると、カメラ３００の設置位置は、例えば、図６で示すような状態であることが望ましいということが出来る。図６を参照すると、カメラ３００の中心の高さが液面以下瓶底よりも高い位置に設置されており、瓶底全域が映っていることが分かる。また、カメラ３００の中心高さが液面の高さより下方であって、出来る限り液面の高さと同程度になるようカメラ３００が設置されていることが分かる。
判定装置４００は、カメラ３００が撮像・取得した画像データに基づいて、液体を充填した容器５００内部に混入している物体を検出して異物を判定する情報処理装置である。図７は、判定装置４００の構成例を示している。図７を参照すると、判定装置４００は、主な構成要素として、例えば、画面表示部４１０と、通信Ｉ／Ｆ部４２０と、記憶部４３０と、演算処理部４４０と、を有している。
画面表示部４１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部４１０は、演算処理部４４０からの指示に応じて、画像情報４３１、追跡情報４３２、判定結果情報４３３などの記憶部４３０に格納された各種情報を画面表示することが出来る。
通信Ｉ／Ｆ部４２０は、データ通信回路からなる。通信Ｉ／Ｆ部４２０は、通信回線を介して接続されたカメラ３００や外部装置などとの間でデータ通信を行う。
記憶部４３０は、ハードディスクやメモリなどの記憶装置である。記憶部４３０は、演算処理部４４０における各種処理に必要な処理情報やプログラム４３４を記憶する。プログラム４３４は、演算処理部４４０に読み込まれて実行されることにより各種処理部を実現する。プログラム４３４は、通信Ｉ／Ｆ部４２０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部４３０に保存されている。記憶部４３０で記憶される主な情報としては、例えば、画像情報４３１、追跡情報４３２、判定結果情報４３３などがある。
画像情報４３１は、カメラ３００が取得した画像データを含んでいる。画像情報４３１においては、例えば、画像データと、画像データをカメラ３００が取得した日時を示す情報（撮像時刻を示す情報）と、が対応づけられている。
追跡情報４３２は、追跡部３４３が追跡を行った結果に応じた情報を含んでいる。例えば、追跡情報４３２においては、物体ごとに与えられる識別情報と、物体の位置を示す時系列情報と、が対応づけられている。また、物体の位置を示す時系列情報には、例えば、時刻情報と、各時刻における物体の位置を示す座標などの位置情報と、が含まれている。
なお、追跡情報４３２には、例えば、容器５００の角度を示す角度情報や検出領域の面積を示す情報など、物体の位置以外の時系列情報が含まれていても構わない。また、物体の位置を示す座標などの位置情報は、各画像データにおけるＸＹ座標を示していても構わないし、各画像データにおけるＸＹ座標を容器５００の角度を示す情報に基づいて修正した座標（例えば、容器５００が傾いていない場合の位置に修正した座標）を示していても構わない。
判定結果情報４３３は、判定部４４５が判定した結果を示す情報を含んでいる。例えば、判定結果情報４３３においては、物体ごとに与えられる識別情報と、判定部４４５が追跡情報４３２に基づいて判定した結果を示す情報と、が対応づけられている。つまり、判定結果情報４３３には、検出した物体が異物、気泡、容器の傷や汚れなど、のうちのいずれに該当するかを示す情報が含まれている。
演算処理部４４０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部４４０は、記憶部４３０からプログラム４３４を読み込んで実行することにより、上記ハードウェアとプログラム４３４とを協働させて各種処理部を実現する。演算処理部４４０で実現される主な処理部としては、例えば、画像取得部４４１、検出部４４２、追跡部４４３、角度情報取得部４４４、判定部４４５、出力部４４６などがある。
画像取得部４４１は、通信Ｉ／Ｆ部４２０を介して、カメラ３００から当該カメラ３００が取得した画像データを取得する。そして、画像取得部４４１は、取得した画像データを、例えば画像データの取得日時（撮像時刻を示す情報）と対応付けて、画像情報４３１として記憶部４３０に格納する。
検出部４４２は、画像データに基づいて、容器５００や容器５００内に充填された液体に対応する領域内に存在する物体を検出する。例えば、検出部４４２は、画像データに対する２値化処理を行って、２値化処理の結果に基づいて物体を検出する。なお、検出部４４２は、そのほか既知の技術を用いて物体を検出しても構わない。
追跡部４４３は、検出部４４２が検出した物体の追跡を行う。上述したように、カメラ３００は、２００ｆｐｓなどの高フレームレートで画像データを取得している。そのため、撮像時刻が連続する（撮像時刻が所定値より近い）２つの画像データ間において、同一の物体の位置は極めて近いものと想定される。そこで、追跡部４４３は、検出部４４２が検出した物体の位置と、撮像時刻が一つ前（または、所定値内）の画像データにおいて検出部４４２が検出した物体の位置と、を比較する。そして、追跡部４４３は、物体間の距離が予め定められた閾値以下である物体が存在する場合、距離が閾値以下である、検出部４４２が検出した物体と撮像時刻が一つ前の画像データにおいて検出部４４２が検出した物体とが同一の物体であると判定する。この場合、追跡部４４３は、検出部４４２が検出した物体に、同一の物体と判断した物体に対して付与されているＩＤなどの識別情報を付与する。一方、撮像時刻が一つ前（または、所定値内）の画像データにおいて、検出部４４２が検出した物体との間の距離が予め定められた閾値以下となる物体が存在しない場合、追跡部４４３は新規な物体を検出したと判定する。この場合、追跡部４４３は、検出した物体に対して新たなＩＤなどの識別情報を付与する。
例えば、以上のように、追跡部４４３は、異なる画像データにおける物体間の距離に基づく追跡を行うことで、検出部４４２が検出した物体に対して識別情報を与える。また、追跡部４４３は、検出部４４２が検出した物体の位置を示す座標を取得する。そして、追跡部４４３は、識別情報と画像データの撮像時刻を示す時刻情報と座標とを対応付けて、追跡情報４３２として記憶部４３０に格納する。なお、追跡部４４３は、画像データにおけるＸＹ座標を追跡情報４３２として記憶部４３０に格納しても構わないし、各画像データにおけるＸＹ座標を角度情報取得部４４４が取得した容器５００の角度を示す情報に基づいて修正した座標（例えば、容器５００が傾いていない場合の位置に修正した座標）を追跡情報４３２として記憶部４３０に格納しても構わない。
角度情報取得部４４４は、画像データ中のマーカ２３０の位置に基づいて容器５００が傾斜している角度を示す角度情報を取得する。例えば、容器５００の傾斜角度と画像データ中のマーカ２３０の位置とのキャリブレーションが予め行われている。そのため、角度情報取得部４４４は、画像データ中のマーカ２３０の位置に基づいて、容器５００が傾斜している角度を示す角度情報を取得することが出来る。
角度情報取得部４４４は、角度情報を取得すると、当該取得した角度情報を画像データの撮像時刻を示す時刻情報などとともに記憶部４３０に格納することが出来る。上述したように、角度情報取得部４４４は、追跡情報４３２に含まれる情報の一つとして角度情報を記憶部４３０に格納しても構わない。
判定部４４５は、追跡情報４３２に基づいて、検出部４４２が検出した物体が気泡、異物、容器５００の傷や汚れや付着物、のいずれに該当するか判定する。本実施形態の場合、判定部４４５は、容器５００が揺動中の時系列情報に基づく判定と、揺動が終わった後（つまり、容器５００が図１で示す状態で停止した後）の時系列情報に基づく判定と、を行うことが出来る。なお、判定部４４５は、追跡情報４３２に含まれる角度情報に基づいて、容器５００が揺動中であるか否かを判断することが出来る。
例えば、判定部４４５は、追跡情報４３２のうち容器５００が揺動中の時系列情報に基づいて、検出部４４２が検出した物体が容器５００の傷や汚れ、容器５００に付着した付着物であるか否かを判定する。上述したように、マーカ２３０は、容器５００と同期して傾斜する本体部２１０に設置された面照明２２０上に設置されている。そのため、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などは、マーカ２３０の動きに連動して動くことになる。例えば、上記連動とは、マーカ２３０が移動を開始すれば、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などが直ちに移動を開始し、マーカ２３０が移動を停止すれば、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などが移動を直ちに停止するように、完全に連動していることを意味する。そこで、判定部４４５は、容器５００が揺動中の時系列情報に基づいて、検出部４４２が検出した物体のうち、マーカ２３０の動きと連動して動く物体について、容器５００の傷や汚れ、付着物などであると判定する。一方、検出部４４２が検出した物体のうち、動きがマーカ２３０の動きと連動していない物体について、判定部４４５は、容器５００の傷や汚れ、付着物などでないと判定する。つまり、判定部４４５は、マーカ２３０の動きと連動していない物体について、気泡または異物の可能性があると判定する。
また、判定部４４５は、追跡情報４３２のうち揺動が終わった後の時系列情報に基づいて、検出部４４２が検出した物体が気泡または異物のいずれであるかを判定する。なお、判定部４４５は、検出部４４２が検出したすべての物体のうち、判定部４４５が容器の傷、汚れ、付着物である、と判定した物体を除いた物体に対して、上記判定を行うことが出来る。例えば、判定部４４５は、揺動が停止した後の時系列情報に基づいて、物体が上方へと移動していると判断される場合、当該物体は気泡であると判定する。一方、揺動が停止した後の時系列情報に基づいて、物体が下方へと移動していると判断される場合、判定部４４５は、当該物体は異物であると判定する。例えば、以上のように、判定部４４５は、揺動が停止した後の時系列情報が示す物体の移動方向に基づいて、物体が気泡または異物のいずれであるかを判定することが出来る。なお、判定部４４５は、予め学習されたモデルなどを用いて上記判定を行うなど、上記例示した以外の方法により気泡と異物とを判定しても構わない。
例えば、以上のように、判定部４４５は、物体のうち容器５００の傷などを判定した後に、残りの物体が気泡と異物のいずれであるかを判定する。そして、判定部４４５は、検出部４４２が検出した各物体の判定結果について、判定結果情報４３３として記憶部４３０に格納する。なお、本実施形態においては、判定部４４５が判定を行うタイミングについては特に限定しない。例えば、判定部４４５は、容器５００の揺動中などにリアルタイムで物体が傷などであるか否か判定するよう構成しても構わないし、揺動中と終わった後の時系列データが揃った後に、上述した一連の処理を行っても構わない。
なお、判定部４４５は、マーカ２３０の連動判定と、気泡または異物の判定と、を並列に実施するよう構成しても構わない。つまり、判定部４４５は、揺動が終わる前に、物体が気泡または異物のいずれであるかの判定を開始しても構わない。また、判定部４４５は、物体の判定を行う際、追跡情報４３２以外の情報を用いても構わない。例えば、判定部４４５は、物体の画像特徴、サイズや平均輝度値などを示す情報を併用して、物体の判定を行うことが出来る。物体のサイズや平均輝度値など動き以外の情報も併せて判断することによって、気泡や異物の特徴を総合的に判断できるため、より高い判定精度を得ることが可能になる。
出力部４４６は、画像情報４３１、追跡情報４３２、判定結果情報４３３などを出力する。例えば、出力部４４６は、画像情報４３１、追跡情報４３２、判定結果情報４３３などを、画面表示部４１０上に画面表示したり、通信Ｉ／Ｆ部４２０を介して外部装置に対して送信したりすることが出来る。
以上が、判定装置４００の構成例である。
なお、判定装置４００は上述した以外の構成を有しても構わない。例えば、判定装置４００は、把持装置２００に対して揺動開始の指示をしたり揺動停止の指示をしたりするよう構成することが出来る。例えば、判定装置４００は、揺動開始から所定時間経過した、揺動回数（正転方向へ傾斜した回数と逆転方向へ傾斜した回数）が所定回数になった、などの条件を満たす場合に、把持装置２００に対して揺動停止を指示することが出来る。
また、判定装置４００は、揺動開始の指示の前に、容器５００の壁面に固着した異物などを剥離するための回転動作を行うよう把持装置２００に対して指示することが出来る。つまり、判定装置４００は、回転動作を指示した後に揺動開始の指示を行うよう構成しても構わない。
容器５００は、ガラス瓶やペットボトルなどの透光性を有する容器である。容器５００の内部には、水や薬剤などの液体が充填されている。容器５００には傷や汚れなどが付着している可能性がある。また、容器５００の内部には、異物が混入している可能性がある。異物としては、例えば、ゴム片、髪の毛、繊維片、煤、ガラスやプラスチック片、などが想定される。
以上が、判定システム１００が有する把持装置２００、カメラ３００、判定装置４００、容器５００の構成例である。続いて、図８から図１０までを参照して、判定システム１００の動作例について説明する。まず、図８を参照して、把持装置２００が容器５００を揺動させるタイミングとカメラ３００が撮像するタイミングの関係について説明する。
図８を参照すると、把持装置２００は、例えば判定装置４００からの指示などに応じて、容器５００を傾斜させる（ステップＳ１０１）。つまり、揺動開始する。また、例えば、把持装置２００が揺動を開始したタイミングで、カメラ３００は、撮像を開始する（ステップＳ２０１）。なお、カメラ３００は、把持装置２００が揺動を開始する前から撮像を開始しても構わないし、把持装置２００が揺動を開始した後に撮像を開始しても構わない。
把持装置２００は、例えば判定装置４００からの指示などに応じて、揺動を停止する（ステップＳ１０２）。図８で示すように、把持装置２００が揺動を停止するタイミングでは、カメラ３００は撮像を終了しない。従って、カメラ３００は、把持装置２００が容器５００を揺動させている最中に撮像を行うとともに、把持装置２００による揺動が停止した後も撮像を続ける。
カメラ３００は、撮像を終了する（ステップＳ２０２）。本実施形態においては、カメラ３００が撮像を終了する条件については特に限定しない。例えば、カメラ３００は、揺動開始から所定時間経過した、揺動停止後所定時間経過した、検出部４４２が検出したすべての物体に対して判定部４４５による判定が終了した、などの予め定められた条件を満たした場合に、撮像を終了することが出来る。
以上が、把持装置２００が容器５００を揺動させるタイミングとカメラ３００が撮像するタイミングの関係の一例である。上述したように、本実施形態の場合、カメラ３００は、把持装置２００が容器５００を揺動させる様子を撮像するとともに、揺動が停止した後も撮像を継続する。続いて、図９を参照して、判定装置４００の全体的な動作例について説明する。
図９を参照すると、画像取得部４４１は、通信Ｉ／Ｆ部４２０を介して、カメラ３００から当該カメラ３００が取得した画像データを取得する（ステップＳ３０１）。
検出部４４２は、画像データに基づいて、容器５００や容器５００内に充填された液体に対応する領域内に存在する物体を検出する（ステップＳ３０２）。検出部４４２は、既知の技術を用いて物体を検出して構わない。
追跡部４４３は、検出部４４２が検出した物体の追跡を行う（ステップＳ３０３）。例えば、追跡部４４３は、撮像時刻が近い（または連続する）画像データにおける物体間の距離に基づいて、物体を追跡する。
画像データ内において検出部４２２が検出したすべての物体を追跡できていない場合（ステップＳ３０４、Ｎｏ）、追跡部４４３は、追跡していない物体の追跡を行う。一方、画像データ内において検出部４２２が検出したすべての物体を追跡できた場合（ステップＳ３０４、Ｙｅｓ）、追跡部４４３は、追跡を完了する。
また、角度情報取得部４４４は、画像データ中のマーカ２３０の位置に基づいて、容器５００が傾斜している角度を示す角度情報を取得する（ステップＳ３０５）。
カメラ３００が撮像する一連の画像データをすべて取得した場合（ステップＳ３０６、Ｙｅｓ）、判定装置４００は処理を終了する。一方、未取得の画像データがある場合（ステップＳ３０６、Ｎｏ）、画像取得部４４１はカメラ３００から画像データを取得する（ステップＳ３０１）。
以上が、判定装置４００の動作例である。なお、判定装置４００は、カメラ３００が撮像する一連の画像データをすべて取得した後に、ステップＳ３０２以降の処理を行うなど、上記例示した以外の順番で処理を行っても構わない。続いて、図１０を参照して、判定部４４５の処理例について説明する。
図１０を参照すると、判定部４４５は、追跡情報４３２のうち容器５００が揺動中の時系列情報を取得する（ステップＳ４０１）。
検出部４４２が検出した物体の中にマーカ２３０の動きと連動して動く物体がある場合（ステップＳ４０２、Ｙｅｓ）、判定部４４５は、マーカ２３０の動きと連動して動く物体が容器５００の傷や汚れ、付着物などであると判定する（ステップＳ４０３）。そして、判定部４４５は、ステップＳ４０７の処理で判定する対象から容器５００の傷や汚れ、付着物などであると判定した物体を除外する（ステップＳ４０４）。一方、マーカ２３０の動きと連動して動かない物体がある場合（ステップＳ４０２、Ｎｏ）、判定部４４５は、マーカ２３０の動きと連動していない物体は、容器５００の傷や汚れ、付着物などでないと判定する（ステップＳ４０５）。
また、判定部４４５は、追跡情報４３２のうち容器５００が揺動を停止した後の時系列情報を取得する（ステップＳ４０６）。そして、判定部４４５は、追跡情報４３２のうち揺動が終わった後の時系列情報に基づいて、検出部４４２が検出した物体が気泡または異物のいずれであるかを判定する（ステップＳ４０７）。例えば、判定部４４５は、揺動が停止した後の時系列情報が示す物体の移動方向に基づいて、物体が気泡または異物のいずれであるかを判定することが出来る。判定部４４５は、上記例示した以外の方法により判定を行っても構わない。
以上が、判定部４４５の処理例である。なお、本実施形態においては、判定部４４５が判定を行うタイミングについては特に限定しない。例えば、判定部４４５は、容器５００の揺動中などにリアルタイムで物体が傷などであるか否か判定するよう構成しても構わないし、揺動中と終わった後の時系列データが揃った後に、上述した一連の処理を行っても構わない。
このように、把持装置２００は、把持した容器５００を傾斜させる際に容器５００と同期して傾斜する面照明２２０に設置されたマーカ２３０を有している。このような構成によると、把持した容器５００を傾斜させる際、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などは、マーカ２３０の動きに連動して動くことになる。その結果、固定されたカメラ３００が取得した、容器５００とマーカ２３０とが映る画像データに基づいて、容器５００の傷や汚れ、充填された液体の外側に位置する付着物などを容易に判定することが可能となる。
また、上記構成によると、固定されたカメラ３００が撮像・取得した画像データに基づいて、容易に容器５００が傾斜している角度を示す角度情報を取得することが出来る。角度情報は、例えば、回転手段であるモータ２４０のエンコーダなどから取得することも出来るが、エンコーダから角度情報を取得しようとすると、判定システム１００の構成が複雑になる。上述したようにマーカ２３０を設置することで、構成を複雑なものとすることなく、容易に角度情報を取得することが可能となる。
また、上述した構成によると、容器５００の傷などを事前に判定することが出来る。その結果、判定部４４５は、事前に容器５００の傷などを除いた物体に対して、気泡と異物のいずれであるかを判定することが出来る。その結果、容器５００の傷などを気泡や異物などと誤判定することを抑制でき、判定の精度を上げることが出来る。
なお、本実施形態では、判定システム１００の構成例について説明した。しかしながら、判定システム１００の構成は、本実施形態で例示した場合に限定されない。例えば、判定システム１００は、図１などで例示した把持装置２００の代わりに、図１１、図１２で示すような把持装置６００を有しても構わない。
把持装置６００は、把持装置２００と同様に、液体を充填した容器５００を上下方向から挟み込んで把持した状態で、容器５００を傾斜させる装置である。図１１で示すように、把持装置６００は、例えば、上側把持部６１１と下側把持部６１２とからなる把持部を含む本体部６１０と、面照明６２０と、歯車６３０と、モータ６４０と、を有している。
本体部６１０は、回転手段として機能する歯車６３０とモータ６４０の回転に応じて、傾斜・揺動、回転する。例えば、本体部６１０は、円柱形状を有しており、内部に容器５００を把持可能なよう構成されている。なお、本体部２１０と同様に、本体部６１０は、任意の素材により形成されていて構わない。また、本体部６１０の形状も上記例示した以外であっても構わない。
図１１は本体部６１０を側面からみた際の一例を示しており、図１２は本体部６１０を正面からみた際の一例を示している。図１１、図１２を参照すると、本体部６１０は、容器５００を把持するための把持部と、本体部６１０のうち容器５００を把持した際に容器５００の側面に位置する箇所から容器５００の方向に向かって突出する一対のマーカ部６１３と、を含んでいる。また、本体部６１０は、歯車６３０とかみ合っており、歯車６３０の回転に応じて傾斜・揺動するよう構成されている。
把持部は、本体部６１０の上方側内周面に形成され下方に向かって突出する上側把持部６１１と、本体部６１０の下方側内周面に形成され上方に向かって突出する下側把持部６１２を含んでいる。図１２で示すように、上側把持部６１１が容器５００の上側から容器５００に当接し、下側把持部６１２が容器５００の下側から容器５００に当接することで、把持部は容器５００を上下方向から挟み込んで容器５００を把持する。
なお、把持装置２００の場合と同様に、上側把持部６１１と下側把持部６１２とは、長さを調整可能なよう構成して構わない。
マーカ部６１３は、マーカ２３０と同様に、カメラ３００が撮像した画像データに基づいて回転角度を取得可能とするための仕組みである。マーカ部６１３の内側先端付近には、２次元コードなどを設置しても構わない。マーカ部６１３は、マーカ２３０と同様に様々な変形例を採用することが出来る。
面照明６２０は、容器５００内に充填された液体に対して光を照射する。例えば、面照明６２０は、正面からみて円形形状など本体部６１０の形状に応じた形状を有していても構わないし、矩形形状などであっても構わない。
例えば、面照明６２０は、面照明２２０と同様に、容器５００や把持部からみてカメラ３００が設置される側とは反対側に設置されている。把持装置６００の場合、把持装置２００の場合と異なり、面照明６２０が本体部６１０と一体的に構成されていなくても構わない。面照明６２０は、本体部６１０と一体的に構成されていても構わない。
歯車６３０とモータ６４０は、本体部６１０を回転させる回転手段として機能する。モータ６４０は、外部から供給される電力に応じて自身が回転することにより、歯車６３０を回転させる。また、歯車６３０は、モータ６４０の回転を本体部６１０へと伝える。これにより、本体部６１０は、モータ６４０の回転に応じて、傾斜・揺動する。
例えば、以上説明したように、判定システム１００は、把持装置２００の代わりに把持装置６００を有しても構わない。判定システム１００は、把持装置６００を有する場合であっても、把持装置２００の場合と同様の作用・効果を有することが出来る。なお、判定システム１００が有する把持装置は、把持装置２００の特徴と把持装置６００の特徴とを組み合わせた特徴を有していても構わない。
また、本実施形態においては、１台の情報処理装置により判定装置４００としての機能を実現する場合について説明した。しかしながら、判定装置４００としての機能は、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。例えば、本実施形態においては、判定装置４００が把持装置２００に対して揺動開始の指示をしたり揺動停止の指示をしたりするよう構成することが出来るとした。しかしながら、判定システム１００は、上記指示を行う指示装置を判定装置４００と別の装置として有しても構わない。
［第２の実施形態］
次に、図１３から図１５までを参照して、本発明の第２の実施形態について説明する。第２の実施形態では、把持装置７００と、判定装置８００の構成の概要について説明する。
図１３は、把持装置７００の構成の一例を示している。図１３を参照すると、把持装置７００は、把持部７１０と、傾斜部７２０と、マーカ７３０と、を有している。
把持部７１０は、液体が充填された容器を把持する。また、傾斜部７２０は、把持部７１０が容器を把持した状態で当該容器を少なくとも傾斜させる。例えば、傾斜部７２０は、モータなどであり、把持部７１０を傾斜させることで、容器を傾斜させる。また、マーカ７３０は、容器が傾斜する際に当該容器と同期して傾斜する箇所に設置され、容器の動きと連動して動く。例えば、マーカ７３０は、把持部７１０に設置されている。
このように、把持装置７００は、把持部７１０と傾斜部７２０とマーカ７３０とを有している。このような構成によると、把持した容器を傾斜させる際、容器の傷や汚れ、充填された液体の外側に位置する付着物などは、マーカ７３０の動きに連動して動くことになる。その結果、固定されたカメラが取得した、容器とマーカ７３０とが映る画像データに基づいて、容器の傷や汚れ、充填された液体の外側に位置する付着物などを容易に判定することが可能となる。
また、図１４は、判定装置８００のハードウェア構成例を示している。図１４を参照すると、判定装置８００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３（記憶装置）
・ＲＡＭ８０３にロードされるプログラム群８０４
・プログラム群８０４を格納する記憶装置８０５
・情報処理装置外部の記録媒体８１０の読み書きを行うドライブ装置８０６
・情報処理装置外部の通信ネットワーク８１１と接続する通信インタフェース８０７
・データの入出力を行う入出力インタフェース８０８
・各構成要素を接続するバス８０９
また、判定装置８００は、プログラム群８０４をＣＰＵ８０１が取得して当該ＣＰＵ８０１が実行することで、図１５に示す検出部８２１、追跡部８２２、判定部８２３としての機能を実現することが出来る。なお、プログラム群８０４は、例えば、予め記憶装置８０５やＲＯＭ８０２に格納されており、必要に応じてＣＰＵ８０１がＲＡＭ８０３などにロードして実行する。また、プログラム群８０４は、通信ネットワーク８１１を介してＣＰＵ８０１に供給されてもよいし、予め記録媒体８１０に格納されており、ドライブ装置８０６が該プログラムを読み出してＣＰＵ８０１に供給してもよい。
なお、図１４は、判定装置８００のハードウェア構成例を示している。判定装置８００のハードウェア構成は上述した場合に限定されない。例えば、判定装置８００は、ドライブ装置８０６を有さないなど、上述した構成の一部から構成されてもよい。
検出部８２１は、容器に充填された液体と、容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する。
追跡部８２２は、検出部８２１が検出した物体を追跡する。
判定部８２３は、追跡部８２２による追跡の結果と、マーカの動きと、に基づいて、検出部８２１が検出した物体の判定を行う。例えば、判定部８２３は、物体が、異物、気泡、容器の傷など、のうちのいずれに該当するかを判定する。
このように、判定装置８００は、検出部８２１と、追跡部８２２と、判定部８２３と、を有している。このような構成により、判定部８２３は、追跡部８２２による追跡の結果と、マーカの動きと、に基づいて、検出部８２１が検出した物体の判定を行うことが出来る。その結果、容器の傷などを容易に判定することが可能となり、容器の傷などを除いた状態で、物体が気泡であるか異物であるかを判定することが可能となる。これにより、例えば、判定の精度を向上させることなどが出来る。
なお、上述した判定装置８００は、当該判定装置８００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置８００に、容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する検出部８２１と、検出部８２１が検出した物体を追跡する追跡部８２２と、追跡部８２２による追跡の結果と、マーカの動きと、に基づいて、物体の判定を行う判定部８２３と、を実現するためのプログラムである。
また、上述した判定装置８００により実行される判定方法は、判定装置８００が、容器に充填された液体と、容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出し、検出した物体を追跡し、追跡の結果と、マーカの動きと、に基づいて、検出した物体の判定を行う、という方法である。
上述した構成を有する、プログラム、又は、判定方法、の発明であっても、上記判定装置８００と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における把持装置や判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
液体が充填された容器を把持する把持部と、
前記把持部が前記容器を把持した状態で当該容器を少なくとも傾斜させる傾斜部と、
前記容器が傾斜する際に当該容器と同期して傾斜する箇所に設置され、前記容器の動きと連動して動くマーカと、
を有する
把持装置。
（付記２）
付記１に記載の把持装置であって、
前記把持部が把持する前記容器内に充填された前記液体に対して光を照射する照明を有し、
前記照明は、前記容器が傾斜する際に当該容器と同期して傾斜するよう設置され、
前記マーカは、前記照明上に設置されている
把持装置。
（付記３）
付記１または２に記載の把持装置であって、
前記傾斜部は、前記把持部を有する本体部を傾斜させることで、当該把持部が把持する前記容器を傾斜させるよう構成され、
前記マーカは、前記本体部に形成されている
把持装置。
（付記４）
付記１から付記３までのいずれか１項に記載の把持装置であって、
前記マーカは、外部に設置されたカメラにより前記容器に充填された液体を撮像する際の撮像範囲内に位置するよう設置されている
把持装置。
（付記５）
付記１から付記４までのいずれか１項に記載の把持装置であって、
前記傾斜部は、前記容器を時計回り方向に傾斜させるとともに、反時計回り方向に傾斜させる
把持装置。
（付記６）
液体が充填された容器を把持する把持部と、前記把持部が前記容器を把持した状態で当該容器を少なくとも傾斜させる傾斜部と、前記容器が傾斜する際に当該容器と同期して傾斜する箇所に設置され、前記容器の動きと連動して動くマーカと、を有する把持装置と、
前記把持装置の外部に設置され、前記容器に充填された液体を撮像するカメラと、
前記カメラが撮像した画像データに基づいて物体を検出し、検出した物体が異物であるか否か判定する判定装置と、
を有する
判定システム。
（付記７）
容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する検出部と、
前記検出部が検出した物体を追跡する追跡部と、
前記追跡部による追跡の結果と、前記マーカの動きと、に基づいて、前記検出部が検出した前記物体の判定を行う判定部と、
を有する
判定装置。
（付記８）
付記７に記載の判定装置であって、
前記判定部は、前記追跡部による追跡の結果として特定される前記物体の動きと、前記マーカの動きと、に基づいて、物体の判定を行う
判定装置。
（付記９）
付記８に記載の判定装置であって、
前記判定部は、前記物体が気泡であるか、または異物であるかを判定する
判定装置。
（付記１０）
付記８または付記９に記載の判定装置であって、
前記判定部は、前記物体の動きと前記マーカの動きとが連動している場合、前記物体は前記容器の傷、または、汚れ、または、前記容器に付着している付着物、のいずかであると判定する
判定装置。
（付記１１）
付記８から付記１０までのいずれか１項に記載の判定装置であって、
前記判定部は、前記物体の動きと前記マーカの動きとが連動しているか否かに基づく判定を行うとともに、前記追跡部による追跡の結果に基づいて前記物体が気泡であるか、または、異物であるかを判定する
判定装置。
（付記１２）
付記８から付記１１までのいずれか１項に記載の判定装置であって、
前記判定部は、前記物体の動きと前記マーカの動きとが連動しているか否かに基づく判定により、前記容器の傷、または、汚れ、または、前記容器に付着している付着物、のいずかである前記物体を特定し、前記検出部が検出した前記物体のうち特定した前記物体を除いた前記物体に対して、当該物体が気泡であるか、または、異物であるかを判定する
判定装置。
（付記１３）
判定装置が、
容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出し、
検出した物体を追跡し、
追跡の結果と、前記マーカの動きと、に基づいて、検出した前記物体の判定を行う
判定方法。
（付記１４）
判定装置に、
容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する検出部と、
前記検出部が検出した物体を追跡する追跡部と、
前記追跡部による追跡の結果と、前記マーカの動きと、に基づいて、物体の判定を行う判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
１００ 判定システム
２００ 把持装置
２１０ 本体部
２１１ 平板状部分
２１２ 腕部
２１３ 上側把持部
２１４ 下側把持部
２２０ 面照明
２３０ マーカ
２４０ モータ
３００ カメラ
４００ 判定装置
４１０ 画面表示部
４２０ 通信Ｉ／Ｆ部
４３０ 記憶部
４３１ 画像情報
４３２ 追跡情報
４３３ 判定結果情報
４３４ プログラム
４４０ 演算処理部
４４１ 画像取得部
４４２ 検出部
４４３ 追跡部
４４４ 角度情報取得部
４４５ 判定部
４４６ 出力部
５００ 容器
６００ 把持装置
６１０ 本体部
６１１ 上側把持部
６１２ 下側把持部
６１３ マーカ部
６２０ 面照明
６３０ 歯車
６４０ モータ
７１０ 把持部
７２０ 傾斜部
７３０ マーカ
８００ 判定装置
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ プログラム群
８０５ 記憶装置
８０６ ドライブ装置
８０７ 通信インタフェース
８０８ 入出力インタフェース
８０９ バス
８１０ 記録媒体
８１１ 通信ネットワーク
８２１ 検出部
８２２ 追跡部
８２３ 判定部

Claims (7)

  1. 液体が充填された容器を把持する把持部と、前記把持部が前記容器を把持した状態で当該容器を少なくとも傾斜させる傾斜部と、前記容器が傾斜する際に当該容器と同期して傾斜する箇所に設置され、前記容器の動きと連動して動くマーカと、を有する把持装置と、
    前記把持装置の外部に固定設置され、前記容器に充填された液体を撮像するカメラと、
    前記カメラが撮像した画像データに基づいて物体を検出し、検出した物体が異物であるか否か判定する判定装置と、
    を有し、
    前記把持装置は、前記把持部が把持する前記容器内に充填された前記液体に対して光を照射する照明を有し、前記照明は、前記容器が傾斜する際に当該容器と同期して傾斜するよう設置され、
    前記マーカは、前記カメラにより前記容器に充填された液体を撮像する際の撮像範囲内に位置するように、前記容器が傾斜する際に当該容器と同期して傾斜する前記照明上に設置されている
    判定システム。
  2. 請求項１に記載の判定システムであって、
    前記判定装置は、
    容器に充填された液体と、前記容器が動く際に連動して動くマーカと、が映る画像データに基づいて、物体を検出する検出部と、
    前記検出部が検出した物体を追跡する追跡部と、
    前記追跡部による追跡の結果と、前記マーカの動きと、に基づいて、前記検出部が検出した前記物体の判定を行う判定部と、
    を有する
    判定システム。
  3. 請求項２に記載の判定システムであって、
    前記判定部は、前記追跡部による追跡の結果として特定される前記物体の動きと、前記マーカの動きと、に基づいて、物体の判定を行う
    判定システム。
  4. 請求項３に記載の判定システムであって、
    前記判定部は、前記物体が気泡であるか、または異物であるかを判定する
    判定システム。
  5. 請求項３に記載の判定システムであって、
    前記判定部は、前記物体の動きと前記マーカの動きとが連動している場合、前記物体は前記容器の傷、または、汚れ、または、前記容器に付着している付着物、のいずかであると判定する
    判定システム。
  6. 請求項３に記載の判定システムであって、
    前記判定部は、前記物体の動きと前記マーカの動きとが連動しているか否かに基づく判定を行うとともに、前記追跡部による追跡の結果に基づいて前記物体が気泡であるか、または、異物であるかを判定する
    判定システム。
  7. 請求項３に記載の判定システムであって、
    前記判定部は、前記物体の動きと前記マーカの動きとが連動しているか否かに基づく判定により、前記容器の傷、または、汚れ、または、前記容器に付着している付着物、のいずかである前記物体を特定し、前記検出部が検出した前記物体のうち特定した前記物体を除いた前記物体に対して、当該物体が気泡であるか、または、異物であるかを判定する
    判定システム。
JP2022516476A 2020-04-20 2020-04-20 把持装置 Active JP7380853B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017030 WO2021214820A1 (ja) 2020-04-20 2020-04-20 把持装置

Publications (3)

Publication Number Publication Date
JPWO2021214820A1 JPWO2021214820A1 (ja) 2021-10-28
JPWO2021214820A5 JPWO2021214820A5 (ja) 2022-12-22
JP7380853B2 true JP7380853B2 (ja) 2023-11-15

Family

ID=78270452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022516476A Active JP7380853B2 (ja) 2020-04-20 2020-04-20 把持装置

Country Status (4)

Country Link
US (1) US20230137636A1 (ja)
EP (1) EP4141423A4 (ja)
JP (1) JP7380853B2 (ja)
WO (1) WO2021214820A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002214153A (ja) 2001-01-19 2002-07-31 Hitachi Eng Co Ltd 液体充填容器内の異物検査装置及びその方法
JP2003130805A (ja) 2001-07-30 2003-05-08 Eisai Co Ltd 液体充填製品の検査方法及び装置
JP2004354100A (ja) 2003-05-27 2004-12-16 Matsushita Electric Works Ltd 容器内液体中の異物検出方法及びその装置
JP2010507807A (ja) 2006-10-24 2010-03-11 マリンクロット インコーポレイテッド 光学的混在物センサ
JP2010061844A (ja) 2008-09-01 2010-03-18 Seiko Epson Corp 光源装置およびプロジェクタ
JP2013096921A (ja) 2011-11-02 2013-05-20 Hitachi Engineering & Services Co Ltd 飲料液異物検査装置および飲料液異物検査方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0797767A1 (en) * 1994-12-13 1997-10-01 Kjaergaard Industri-Automatic A/S A method and an apparatus for identifying foreign bodies in packaged beverages, as well as use of the apparatus
WO2005031328A1 (ja) 2003-09-30 2005-04-07 Eisai Co., Ltd. 検査システム
FR2890447B1 (fr) * 2005-09-05 2007-11-23 Tiama Sa Procede et installation pour detecter des corps etrangers a l'interieur d'un recipient
DE102006054099A1 (de) * 2006-11-15 2008-05-21 Khs Ag Verfahren zur Inspektion oder Überwachung von Flaschen oder dergleichen Behälter sowie Vorrichtung zur Inspektion von Flaschen oder dergleichen Behälter
JP4778573B2 (ja) * 2009-05-08 2011-09-21 木下鉄工株式会社 倒立検瓶機
DE102011112697B4 (de) * 2011-08-31 2013-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Bestimmen einer Substanz unter Verwendung von THz-Strahlung
JP5635963B2 (ja) * 2011-11-02 2014-12-03 株式会社日立パワーソリューションズ 飲料液異物検査装置および飲料液異物検査方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002214153A (ja) 2001-01-19 2002-07-31 Hitachi Eng Co Ltd 液体充填容器内の異物検査装置及びその方法
JP2003130805A (ja) 2001-07-30 2003-05-08 Eisai Co Ltd 液体充填製品の検査方法及び装置
JP2004354100A (ja) 2003-05-27 2004-12-16 Matsushita Electric Works Ltd 容器内液体中の異物検出方法及びその装置
JP2010507807A (ja) 2006-10-24 2010-03-11 マリンクロット インコーポレイテッド 光学的混在物センサ
JP2010061844A (ja) 2008-09-01 2010-03-18 Seiko Epson Corp 光源装置およびプロジェクタ
JP2013096921A (ja) 2011-11-02 2013-05-20 Hitachi Engineering & Services Co Ltd 飲料液異物検査装置および飲料液異物検査方法

Also Published As

Publication number Publication date
EP4141423A4 (en) 2023-05-31
US20230137636A1 (en) 2023-05-04
WO2021214820A1 (ja) 2021-10-28
JPWO2021214820A1 (ja) 2021-10-28
EP4141423A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
JP7216146B2 (ja) 流体中の非溶解粒子の非破壊的検出のための方法および装置
US10391630B2 (en) Systems and methods for performing occlusion detection
TW449848B (en) Apparatus and method for inspecting defects on wafer periphery
US11851030B2 (en) Window defect sensing and image processing
EA006837B1 (ru) Система испытания на твердость методом вдавливания
CN101504376A (zh) 球形物体表面光学检测的方法及装置
EP2725348A1 (en) Optical quality control device
CN104584076A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN110208290A (zh) 一种基于线扫描相机的3d曲面玻璃缺陷检测装置
UA128153C2 (uk) Пристрій та спосіб для аналізу пошкодження
CN102829953A (zh) 一种快速及全面检测镜头致动器的装置、系统和方法
WO2023131177A1 (zh) 一种图像获取系统、方法及显示面板加工设备
JP7380853B2 (ja) 把持装置
JP7544133B2 (ja) 検査装置
US9417688B2 (en) Measurement method, measurement device, projection apparatus, and computer-readable recording medium
JP6767524B2 (ja) 異物検出システム及び異物検出方法
JP2007025967A (ja) 交通流計測システムおよびカメラユニット
WO2023209995A1 (ja) 検査装置、検査システム、制御装置、検査方法、及びプログラム
WO2023175943A1 (ja) 異物検査装置
WO2024079857A1 (ja) 検査システム
WO2024079858A1 (ja) 検査システム
JP2023170300A (ja) 検出装置及び異物検出方法
JP2004325071A (ja) 容器内気泡判定方法及びその装置
Qin et al. Rapid and Automatic Image Acquisition System for Structural Surface Defects of High-Speed Rail Tunnels
WO2020188728A1 (ja) 検品装置、検品方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151