JP6890789B2 - 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法 - Google Patents

魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法 Download PDF

Info

Publication number
JP6890789B2
JP6890789B2 JP2018018601A JP2018018601A JP6890789B2 JP 6890789 B2 JP6890789 B2 JP 6890789B2 JP 2018018601 A JP2018018601 A JP 2018018601A JP 2018018601 A JP2018018601 A JP 2018018601A JP 6890789 B2 JP6890789 B2 JP 6890789B2
Authority
JP
Japan
Prior art keywords
fish
unit
image
type
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018018601A
Other languages
English (en)
Other versions
JP2019135624A (ja
Inventor
真一郎 大町
真一郎 大町
禎人 長岡
禎人 長岡
智 宮崎
智 宮崎
至寛 菅谷
至寛 菅谷
山下 龍麿
龍麿 山下
道晴 菅原
道晴 菅原
政行 小野寺
政行 小野寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Original Assignee
Tohoku University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC filed Critical Tohoku University NUC
Priority to JP2018018601A priority Critical patent/JP6890789B2/ja
Publication of JP2019135624A publication Critical patent/JP2019135624A/ja
Application granted granted Critical
Publication of JP6890789B2 publication Critical patent/JP6890789B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Of Meat And Fish (AREA)
  • Image Analysis (AREA)

Description

本発明は、魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法に関する。
搬送されている魚を種類毎に選別する魚選別装置が知られている。例えば、特許文献1に記載の魚選別装置は、撮影部と、推定部と、選別部と、を備える。撮影部は、搬送されている魚を撮影することにより、撮影された魚を表す画像を取得する。推定部は、取得された画像に基づいて魚の種類を推定する。選別部は、推定された種類に基づいて魚を選別する。
国際公開第2016/092646号
ところで、魚は、種類が異なる魚間で、魚の表面の模様が類似していることがある。例えば、マサバ、ゴマサバ、及び、マサバとゴマサバとの間の雑種(換言すると、ハイブリッド)の間で、魚の表面の模様は、互いに類似している。
このため、上記魚選別装置においては、魚を種類毎に高い精度にて選別できない、という課題があった。なお、この種の課題は、サバ以外の魚においても同様に生じ得る。
本発明の目的の一つは、魚を種類毎に高い精度にて選別することである。
一つの側面では、魚選別装置は、搬送されている魚を種類毎に選別する。
更に、この魚選別装置は、
基準面にて所定の図形を形成するレーザ光を、上記魚に照射する照射部と、
上記レーザ光が照射された魚を撮影し、上記撮影された魚を表す画像を取得する撮影部と、
上記取得された画像に基づいて上記魚の種類を推定する推定部と、
上記推定された種類に基づいて上記魚を選別する選別部と、
を備える。
他の一つの側面では、魚選別方法は、搬送されている魚を種類毎に選別する。
更に、この魚選別方法は、
基準面にて所定の図形を形成するレーザ光を上記魚に照射し、
上記レーザ光が照射された魚を撮影し、上記撮影された魚を表す画像を取得し、
上記取得された画像に基づいて上記魚の種類を推定し、
上記推定された種類に基づいて上記魚を選別する、
ことを含む。
他の一つの側面では、魚種類推定装置は、魚の種類を推定する。
更に、この魚種類推定装置は、
基準面にて所定の図形を形成するレーザ光を上記魚に照射する照射部と、
上記レーザ光が照射された魚を撮影し、上記撮影された魚を表す画像を取得する撮影部と、
上記取得された画像に基づいて上記魚の種類を推定する推定部と、
を備える。
他の一つの側面では、魚種類推定方法は、魚の種類を推定する。
更に、この魚種類推定方法は、
基準面にて所定の図形を形成するレーザ光を上記魚に照射し、
上記レーザ光が照射された魚を撮影し、上記撮影された魚を表す画像を取得し、
上記取得された画像に基づいて上記魚の種類を推定する、
ことを含む。
魚を種類毎に高い精度にて選別できる。
第1実施形態の魚選別装置の斜視図である。 第1実施形態の魚選別装置の側面図である。 第1実施形態の魚選別装置の上面図である。 第1実施形態の制御部の構成を表すブロック図である。 第1実施形態の魚選別装置の、第2選別用案内部の位置が開位置である場合における上面図である。 第1実施形態の魚選別装置の、魚にレーザ光が照射されている場合における側面図である。 第1実施形態の照射部により照射されたレーザ光が基準面にて形成する図形を表す図である。 第1実施形態の魚選別装置の、魚にレーザ光が照射されている場合における上面図である。 第1実施形態の制御部の機能を表すブロック図である。 画像のうちの、魚の全体に対応する第1領域と、画像のうちの、魚の中でレーザ光が照射された部分に対応する第2領域と、を表す図である。 第1実施形態の魚選別装置の動作を表すフローチャートである。 第2実施形態の制御部の機能を表すブロック図である。 第3実施形態の照射部により照射されたレーザ光が基準面にて形成する図形を表す図である。 第3実施形態の制御部の機能を表すブロック図である。
以下、本発明の、魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法に関する各実施形態について図1乃至図14を参照しながら説明する。
<第1実施形態>
(概要)
第1実施形態の魚選別装置は、搬送されている魚を種類毎に選別する。更に、魚選別装置は、基準面にて所定の図形を形成するレーザ光を魚に照射する照射部と、レーザ光が照射された魚を撮影し、撮影された魚を表す画像を取得する撮影部と、取得された画像に基づいて魚の種類を推定する推定部と、推定された種類に基づいて魚を選別する選別部と、を備える。
これによれば、レーザ光が魚の立体的な形状(例えば、魚の体の曲率等)に応じて変形した画像を取得できる。これにより、レーザ光が照射されない場合よりも、魚の種類に応じた情報を画像に大きく反映できる。この結果、魚の種類を高い精度にて推定できるので、魚を種類毎に高い精度にて選別できる。
次に、第1実施形態の魚選別装置について、図1乃至図11を参照しながら詳細に説明する。
(構成)
図1に表されるように、魚選別装置1は、魚FSを搬送し、搬送されている魚FSを種類毎に選別する。以下、図1乃至図3、図5、図6、及び、図8に表されるように、x軸、y軸、及び、z軸を有する右手系の直交座標系を用いて、魚選別装置1を説明する。本例では、y軸方向は、魚選別装置1が魚FSを搬送する方向である。本例では、z軸方向は、鉛直方向である。
図1は、魚選別装置1の斜視図である。図2及び図6は、魚選別装置1の側面図(換言すると、魚選別装置1をx軸の負方向にて見た図)である。図3、図5、及び、図8は、魚選別装置1の上面図(換言すると、魚選別装置1をz軸の負方向にて見た図)である。
図1乃至図3に表されるように、魚選別装置1は、制御部10と、搬送部21と、方向制御用案内部22と、第1収容部23−1と、第2収容部23−2と、第3収容部23−3と、第1傾斜部24−1と、第2傾斜部24−2と、第1選別用案内部25−1と、第2選別用案内部25−2と、照明部31と、検出部32と、照射部33と、撮影部34と、を備える。本例では、魚選別装置1を構成する各部は、図示されない支持部により支持される。本例では、制御部10と、照射部33と、撮影部34と、は、魚種類推定装置に対応する。
図4に表されるように、制御部10は、処理装置11と、記憶装置12と、を備える。本例では、制御部10の少なくとも一部は、LSI(Large Scale Integration)回路により構成される。なお、制御部10の少なくとも一部は、プログラム可能な論理回路(例えば、PLD(Programmable Logic Device)、又は、FPGA(Field−Programmable Gate Array))により構成されてもよい。
制御部10は、記憶装置12に記憶されているプログラムを処理装置11が実行することにより、魚選別装置1の各部を制御する。本例では、制御部10による制御は、制御部10が魚選別装置1の各部との間で信号を送受することにより行われる。本例では、制御部10には、検出部32、照射部33、撮影部34、第1選別用案内部25−1、及び、第2選別用案内部25−2が、信号を送受するための信号線により接続されている。
これにより、制御部10は、後述する機能を実現する。
処理装置11は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、又は、DSP(Digital Signal Processor)を含んでもよい。また、記憶装置12は、RAM(Random Access Memory)、半導体メモリ、有機メモリ、HDD(Hard Disk Drive)、又は、SSD(Solid State Drive)を含んでもよい。
搬送部21は、搬送面を有する。搬送面は、搬送部21のうちの、z軸の正方向における端面である。本例では、搬送面は、水平面と平行である。なお、搬送面は、水平面に対して傾斜していてもよい。
搬送部21は、搬送面を所定の搬送方向(本例では、y軸の正方向)にて移動させる。これにより、搬送部21は、搬送面に載置された物体(本例では、魚FS)を搬送方向にて移動させる。
本例では、搬送部21は、ベルト式のコンベヤを含む。なお、搬送部21は、ベルト式以外のコンベヤ(例えば、チェーン式又はローラ式のコンベヤ)を含んでいてもよい。
本例では、y軸の負方向、及び、y軸の正方向は、上流方向、及び、下流方向とそれぞれ表されてもよい。
図1に表されるように、方向制御用案内部22は、搬送面に対して立設する、一対の板状体を有する。方向制御用案内部22の一対の板状体は、x軸方向にて対向するとともに、下流方向へ向かうにつれて板状体間の距離が短くなる先細部と、先細部のうちの下流方向における端に連接するとともに、搬送方向に沿って互いに平行に延びる平行部と、を有する。本例では、平行部における板状体間の距離は、魚FSの幅よりも僅かに長い。本例では、魚FSの幅は、魚FSの背側の縁と、魚FSの腹側の縁と、の間の距離の最大値(換言すると、体高)である。
図2に表されるように、方向制御用案内部22は、搬送部21の搬送面から鉛直上方にて所定の間隔だけ隔てられた位置を有する。本例では、方向制御用案内部22は、搬送部21のうちの上流方向における端部に位置する。
このような構成により、方向制御用案内部22は、魚FSの搬送方向への移動に伴って、基準方向(本例では、y軸方向、又は、搬送方向)に沿って魚FSの体が延在するように魚FSの体の方向を制御する。本例では、方向制御用案内部22は、方向制御部に対応する。
図1に表されるように、第1収容部23−1、第2収容部23−2、及び、第3収容部23−3のそれぞれは、鉛直上方向における端面にて開口する有底の容器である。第1収容部23−1、第2収容部23−2、及び、第3収容部23−3のそれぞれは、搬送部21のうちの下流方向における端部の近傍にて、搬送部21の搬送面よりも鉛直下方向の位置を有する。
本例では、第1収容部23−1の開口の少なくとも一部は、搬送部21よりもx軸の正方向の位置を有し、第2収容部23−2の開口の少なくとも一部は、搬送部21よりもx軸の負方向の位置を有し、且つ、第3収容部23−3の開口の少なくとも一部は、搬送部21よりもy軸の正方向の位置を有する。
図1及び図3に表されるように、第1傾斜部24−1、及び、第2傾斜部24−2のそれぞれは、水平面に対して傾斜する傾斜面を有する。
本例では、第1傾斜部24−1の傾斜面は、搬送部21のうちの、下流方向における端部において、搬送面と第1収容部23−1の開口の外縁とを接続する。換言すると、第1傾斜部24−1の傾斜面は、搬送部21の搬送面と第1収容部23−1の開口とを接続する通路を構成する。第1傾斜部24−1の傾斜面が構成する通路の幅(本例では、当該通路のy軸方向における長さ)は、搬送面の幅(本例では、搬送面のx軸方向における長さ)よりも広い。
同様に、本例では、第2傾斜部24−2の傾斜面は、搬送部21のうちの、下流方向における端部において、搬送面と第2収容部23−2の開口の外縁とを接続する。換言すると、第2傾斜部24−2の傾斜面は、搬送部21の搬送面と第2収容部23−2の開口とを接続する通路を構成する。第2傾斜部24−2の傾斜面が構成する通路の幅(本例では、当該通路のy軸方向における長さ)は、搬送面の幅よりも広い。
第1選別用案内部25−1、及び、第2選別用案内部25−2のそれぞれは、搬送面に対して立設する板状体を有する。第1選別用案内部25−1の板状体は、第1傾斜部24−1の傾斜面が構成する通路の幅と略同じ長さを有する。第2選別用案内部25−2の板状体は、第2傾斜部24−2の傾斜面が構成する通路の幅と略同じ長さを有する。
図1及び図2に表されるように、第1選別用案内部25−1、及び、第2選別用案内部25−2のそれぞれは、搬送部21の搬送面から鉛直上方向にて所定の間隔だけ隔てられた位置を有する。
本例では、第1選別用案内部25−1、及び、第2選別用案内部25−2のそれぞれは、搬送部21のうちの下流方向における端部に位置する。
第1選別用案内部25−1、及び、第2選別用案内部25−2のそれぞれは、閉位置と、開位置と、の間で位置を変更可能である。
第1選別用案内部25−1の閉位置は、搬送面が構成する通路における魚FSの通過を許容し、且つ、第1傾斜部24−1が構成する通路における魚FSの通過を禁止する位置である。第1選別用案内部25−1の開位置は、搬送面にて搬送される魚FSを、第1傾斜部24−1が構成する通路に案内(換言すると、導入)する位置である。
同様に、第2選別用案内部25−2の閉位置は、搬送面が構成する通路における魚FSの通過を許容し、且つ、第2傾斜部24−2が構成する通路における魚FSの通過を禁止する位置である。第2選別用案内部25−2の開位置は、搬送面にて搬送される魚FSを、第2傾斜部24−2が構成する通路に案内する位置である。
本例では、第1選別用案内部25−1、及び、第2選別用案内部25−2のそれぞれは、揺動の中心軸が鉛直方向にて延びるように、下流方向における端部が揺動可能に支持される。
図3に表されるように、第1選別用案内部25−1は、閉位置に位置する場合、第1傾斜部24−1が構成する通路を横断するように、搬送面が構成する通路の外にて搬送方向に沿って延びる。同様に、第2選別用案内部25−2は、閉位置に位置する場合、第2傾斜部24−2が構成する通路を横断するように、搬送面が構成する通路の外にて搬送方向に沿って延びる。
図5に表されるように、第2選別用案内部25−2は、開位置に位置する場合、搬送面が構成する通路を斜めに横断するように、搬送方向に対して傾斜する方向に沿って延びる。本例では、第2選別用案内部25−2は、開位置に位置する場合、第2選別用案内部25−2のうちの上流方向における端が搬送面のうちのx軸の正方向における端辺の近傍に位置し、且つ、第2選別用案内部25−2のうちの下流方向における端が搬送面のうちのx軸の負方向における端辺の近傍に位置する。
同様に、第1選別用案内部25−1は、開位置に位置する場合、搬送面が構成する通路を斜めに横断するように、搬送方向に対して傾斜する方向に沿って延びる。本例では、第1選別用案内部25−1は、開位置に位置する場合、第1選別用案内部25−1のうちの上流方向における端が搬送面のうちのx軸の負方向における端辺の近傍に位置し、且つ、第1選別用案内部25−1のうちの下流方向における端が搬送面のうちのx軸の正方向における端辺の近傍に位置する。
このような構成により、制御部10が、第1選別用案内部25−1の位置、及び、第2選別用案内部25−2の位置を制御することにより、搬送される魚FSは、第1収容部23−1、第2収容部23−2、及び、第3収容部23−3のうちの、1つの収容部に収容される。これにより、魚FSが選別される。
本例では、図3に表されるように、第1選別用案内部25−1の位置が閉位置であり、且つ、第2選別用案内部25−2の位置が閉位置である場合、魚FSは、第3収容部23−3に収容される。また、本例では、図5に表されるように、第1選別用案内部25−1の位置が閉位置であり、且つ、第2選別用案内部25−2の位置が開位置である場合、魚FSは、第2収容部23−2に収容される。また、本例では、第1選別用案内部25−1の位置が開位置であり、且つ、第2選別用案内部25−2の位置が閉位置である場合、魚FSは、第1収容部23−1に収容される。
本例では、第1選別用案内部25−1、及び、第2選別用案内部25−2は、選別部に対応する。
図1乃至図3に表されるように、照明部31は、搬送面にて搬送される魚FSを照明する。本例では、照明部31は、直線状の配列を有する、複数のLED(Light Emitting Diode)を含む。なお、照明部31は、魚FSを均一に照明するように光を拡散させる拡散板を含んでもよい。
検出部32は、搬送面にて搬送される物体(本例では、魚FS)を検出する。本例では、検出部32は、搬送面から鉛直上方にて所定の間隔だけ隔てられた位置にて搬送面を横断する光(本例では、赤外線)を出射する出射部と、出射部により出射された光を受光する受光部と、を有する。検出部32は、出射部と受光部とが、搬送方向に直交する方向(本例では、x軸方向)にて、搬送面を挟むように対向する位置を有する。検出部32は、受光部により受光される光の強度に基づいて、搬送面にて搬送される物体(本例では、魚FS)を検出する。
図6乃至図8に表されるように、照射部33は、基準面RPにて所定の図形を形成するレーザ光LLを、搬送面にて搬送される魚FSに照射する。図6に表されるように、基準面RPは、搬送面に対して傾斜する平面である。本例では、基準面RPは、x軸方向を回転の中心軸として、搬送面を所定の傾斜角(本例では、45度)だけ回転させた平面である。また、本例では、基準面RPは、レーザ光LLが形成する図形の中心を通ってレーザ光LLが伝搬する方向に直交する平面である。
図7における、x’軸、及び、y’軸は、基準面RPに沿って延びるとともに、互いに直交する。図7におけるx’軸は、x軸に平行である。図7におけるy’軸は、x軸方向を回転の中心軸として、y軸を傾斜角だけ回転させた軸である。
図7に表されるように、基準面RPにおいて、レーザ光LLが形成する図形は、x’軸方向にて延びる線分を含む。換言すると、基準面RPにおいて、レーザ光LLが形成する図形に含まれる線分は、基準方向(本例では、y軸方向、又は、搬送方向)に直交する。本例では、基準面RPにおいて、レーザ光LLが形成する図形に含まれる線分は、魚FSの幅よりも長い。
撮影部34は、照射部33によりレーザ光が照射された魚FSを撮影し、撮影された魚FSを表す画像を取得する。本例では、撮影部34は、カメラを含む。本例では、撮影部34は、静止画像を取得する。撮影部34が撮影する方向は、基準面RPに直交する方向と異なる方向である。本例では、撮影部34が撮影する方向は、鉛直方向に一致する。
次に、制御部10の機能を図9を参照しながら説明する。
図9に表されるように、制御部10の機能は、撮影制御部110と、推定部120と、選別制御部130と、を含む。
撮影制御部110は、検出部32により、搬送面にて搬送される魚FSが検出された場合、レーザ光LLを魚FSに照射するように照射部33を制御する。更に、撮影制御部110は、魚FSが検出された時点から所定の待機時間が経過した時点にて、レーザ光が照射された魚FSを撮影するように撮影部34を制御する。本例では、待機時間は、魚FSのうちの、レーザ光LLが照射された位置が、魚FSの体のうちの所定の領域(本例では、胴部の中央部、又は、胴部のうちの体高を表す部分)に含まれる時点にて魚FSの撮影が行われるように設定される。撮影制御部110は、撮影された魚FSを表す画像を撮影部34から取得する。
推定部120は、撮影制御部110により取得された画像に基づいて、魚FSの種類を推定する。本例では、推定部120は、畳み込みニューラルネットワークを用いて、魚FSの種類の推定を行う。なお、推定部120は、畳み込みニューラルネットワーク以外のニューラルネットワークを用いて、魚FSの種類の推定を行ってもよい。
推定部120は、第1モデル処理部121と、統合情報生成部122と、第2モデル処理部123と、を含む。
第1モデル処理部121は、第1特徴情報取得部1211と、第2特徴情報取得部1212と、を含む。第1特徴情報取得部1211、及び、第2特徴情報取得部1212は、第1学習済みモデルに基づいて、第1特徴情報の取得、及び、第2特徴情報の取得をそれぞれ行う。
第1学習済みモデルは、画像のうちの、物体に対応する領域を推定するとともに、当該画像のうちの、推定された領域の特徴を表す特徴情報を取得し、当該取得された特徴情報に基づいて当該物体の種類を複数の第1候補の中から推定するモデルである。
第1学習済みモデルは、第1ニューラルネットワークを含む。本例では、第1学習済みモデルは、Faster R−CNN(Regions with Convolutional Neural Network Features)と呼ばれるモデルである。従って、本例では、第1ニューラルネットワークは、畳み込み層(Convolution Layer)と、プーリング層(Pooling Layer)と、全結合層(Fully Connected Layer)と、を含む。
なお、第1学習済みモデルは、R−CNN、SPPnet、Fast R−CNN、YOLO(You Only Look Once)、又は、SSD(Single Shot MultiBox Detector)と呼ばれるモデルであってもよい。
第1学習済みモデルは、魚FSの全体を表す画像を、複数の第1候補のうちの1つとして学習するとともに、魚FSの中でレーザ光LLが照射された部分(換言すると、照射部分)を表す画像を、複数の第1候補のうちの他の1つとして学習することにより、第1ニューラルネットワークの重み付け係数が予め決定される。本例では、第1学習済みモデルは、魚FSの種類毎に、魚FSの全体を表す画像の学習と、魚FSの中の照射部分を表す画像の学習と、を行うことにより、第1ニューラルネットワークの重み付け係数が予め決定される。
本例では、魚FSの種類は、マサバと、ゴマサバと、マサバとゴマサバとの間の雑種(換言すると、ハイブリッド)と、からなる。従って、本例では、複数の第1候補は、マサバの全体、ゴマサバの全体、ハイブリッドの全体、マサバの中の照射部分、ゴマサバの中の照射部分、及び、ハイブリッドの中の照射部分からなる。なお、魚FSの種類の数は、2、又は、4以上であってもよい。
図10に表されるように、第1特徴情報取得部1211は、第1学習済みモデルと、撮影制御部110により取得された画像と、に基づいて、当該画像のうちの、魚FSの全体に対応する第1領域R1の特徴を表す第1特徴情報を取得する。本例では、第1特徴情報は、第1領域R1に対して関心領域プーリング層(RoI(Regions of Interest) Pooling Layer)から出力される特徴マップ(Feature Maps)である。
本例では、特徴マップは、異なる特徴を表す、複数(本例では、512個)の層からなる。特徴マップの各層は、画像内の異なる複数の位置にそれぞれ対応する複数の情報を含む。
図10に表されるように、第2特徴情報取得部1212は、第1学習済みモデルと、撮影制御部110により取得された画像と、に基づいて、当該画像のうちの、魚FSの中でレーザ光LLが照射された部分に対応する第2領域R2の特徴を表す第2特徴情報を取得する。本例では、第2特徴情報は、第2領域R2に対して関心領域プーリング層から出力される特徴マップである。
統合情報生成部122は、第1特徴情報取得部1211により取得された第1特徴情報と、第2特徴情報取得部1212により取得された第2特徴情報と、を含む統合情報を生成する。本例では、統合情報生成部122は、第1特徴情報と、第2特徴情報と、を連結することにより統合情報を生成する。本例では、統合情報は、第1特徴情報を構成する複数の層と、第2特徴情報を構成する複数の層と、からなる。従って、本例では、統合情報は、1024個の層からなる特徴マップである。
なお、統合情報生成部122は、統合情報に対して畳み込み処理を行うことにより、統合情報の情報量を削減してもよい。例えば、統合情報生成部122は、統合情報に対して畳み込み処理を行うことにより、統合情報を構成する層の数を削減してもよい(例えば、半減させてもよい)。
第2モデル処理部123は、種類推定部1231を含む。種類推定部1231は、第2学習済みモデルと、統合情報生成部122により生成された統合情報と、に基づいて、魚FSの種類を推定する。
第2学習済みモデルは、画像のうちの、物体の全体に対応する領域の特徴を表す特徴情報と、当該物体の一部に対応する領域の特徴を表す特徴情報と、を含む統合情報に基づいて、当該物体の種類を複数の第2候補の中から推定するモデルである。
第2学習済みモデルは、第2ニューラルネットワークを含む。第2学習済みモデルは、統合情報を、複数の第2候補のうちの1つとして、魚FSの種類毎に学習することにより、第2ニューラルネットワークの重み付け係数が予め決定される。
本例では、複数の第2候補は、マサバ、ゴマサバ、及び、ハイブリッドからなる。
選別制御部130は、推定部120により推定された、魚FSの種類に基づいて、第1選別用案内部25−1、及び、第2選別用案内部25−2を制御する。
本例では、選別制御部130は、魚FSの種類がゴマサバであると推定部120により推定された場合、第1選別用案内部25−1の位置を開位置に制御し、且つ、第2選別用案内部25−2の位置を閉位置に制御する。本例では、選別制御部130は、魚FSの種類がマサバであると推定部120により推定された場合、第1選別用案内部25−1の位置を閉位置に制御し、且つ、第2選別用案内部25−2の位置を開位置に制御する。本例では、選別制御部130は、魚FSの種類がハイブリッドであると推定部120により推定された場合、第1選別用案内部25−1、及び、第2選別用案内部25−2の両方の位置を閉位置に制御する。
(動作)
次に、第1実施形態の魚選別装置1の動作について図11を参照しながら説明する。
制御部10は、検出部32により魚FSが検出されるまで待機する(図11のステップS101の「No」ルート)。
そして、魚FSが、搬送部21のうちの上流方向における端部にて搬送面に載置される。搬送部21は、魚FSを搬送方向にて搬送する。次いで、方向制御用案内部22は、基準方向(本例では、y軸方向、又は、搬送方向)に沿って魚FSの体が延在するように魚FSの体の方向を制御する。
次いで、検出部32は、搬送面にて搬送される魚FSを検出する。これにより、制御部10は、ステップS101にて「Yes」と判定し、レーザ光LLを魚FSに照射するように照射部33を制御する(図11のステップS102)。
次いで、制御部10は、魚FSが検出された時点から所定の待機時間が経過した時点にて、レーザ光が照射された魚FSを撮影するように撮影部34を制御する。これにより、制御部10は、撮影された魚FSを表す画像を撮影部34から取得する(図11のステップS103)。
次いで、制御部10は、取得された画像と、第1学習済みモデルと、に基づいて、第1特徴情報及び第2特徴情報を取得する(図11のステップS104)。次いで、制御部10は、取得された、第1特徴情報及び第2特徴情報に基づいて統合情報を生成する(図11のステップS105)。
次いで、制御部10は、生成された統合情報と、第2学習済みモデルと、に基づいて、魚FSの種類を推定する(図11のステップS106)。次いで、制御部10は、推定された、魚FSの種類に基づいて、第1選別用案内部25−1、及び、第2選別用案内部25−2を制御する(図11のステップS107)。これにより、魚FSが選別される。
その後、制御部10は、図11のステップS101へ戻り、ステップS101〜ステップS107の処理を繰り返し実行する。
以上、説明したように、第1実施形態の魚選別装置1は、基準面RPにて所定の図形を形成するレーザ光LLを魚FSに照射する照射部33と、レーザ光LLが照射された魚を撮影し、撮影された魚FSを表す画像を取得する撮影部34と、取得された画像に基づいて魚FSの種類を推定する推定部120と、推定された種類に基づいて魚FSを選別する選別部(本例では、第1選別用案内部25−1、及び、第2選別用案内部25−2)と、を備える。
これによれば、レーザ光LLが魚FSの立体的な形状(例えば、魚FSの体の曲率等)に応じて変形した画像を取得できる。これにより、レーザ光が照射されない場合よりも、魚FSの種類に応じた情報を画像に大きく反映できる。この結果、魚FSの種類を高い精度にて推定できるので、魚FSを種類毎に高い精度にて選別できる。
更に、第1実施形態の魚選別装置1において、推定部120は、第1特徴情報取得部1211と、第2特徴情報取得部1212と、種類推定部1231と、を含む。第1特徴情報取得部1211は、画像のうちの、魚FSの全体に対応する第1領域R1の特徴を表す第1特徴情報を取得する。第2特徴情報取得部1212は、画像のうちの、魚FSの中でレーザ光LLが照射された部分に対応する第2領域R2の特徴を表す第2特徴情報を取得する。種類推定部1231は、取得された第1特徴情報と、取得された第2特徴情報と、に基づいて魚FSの種類を推定する。
ところで、同一の種類の魚であっても個体差が比較的大きい。このため、魚の種類が魚の立体的な形状に反映される場合もあれば、魚の表面の模様に反映される場合もある。このため、第1特徴情報及び第2特徴情報のうちの一方のみに基づいて魚の種類を推定した場合、十分に高い精度にて魚の種類を推定できないことがある。
これに対し、魚選別装置1によれば、第1特徴情報及び第2特徴情報の両方に基づいて魚FSの種類を推定するので、魚FSの種類を高い精度にて推定できる。この結果、魚FSを種類毎に高い精度にて選別できる。
更に、第1実施形態の魚選別装置1において、推定部120は、第1学習済みモデルに基づいて、前記第1特徴情報、及び、前記第2特徴情報の取得を行う。第1学習済みモデルは、画像のうちの、物体に対応する領域を推定するとともに、当該画像のうちの、推定された領域の特徴を表す特徴情報を取得し、取得された特徴情報に基づいて当該物体の種類を複数の第1候補の中から推定するモデルである。
第1学習済みモデルは、第1ニューラルネットワークを含むとともに、魚の全体を表す画像を複数の第1候補のうちの1つとして学習するとともに、魚の中でレーザ光LLが照射された部分を表す画像を複数の第1候補のうちの他の1つとして学習することにより、第1ニューラルネットワークの重み付け係数が決定される。
種類推定部1231は、第2学習済みモデルと、取得された第1特徴情報と、取得された第2特徴情報と、に基づいて、魚FSの種類の推定を行う。第2学習済みモデルは、画像のうちの、物体の全体に対応する領域の特徴を表す特徴情報と、当該物体の一部に対応する領域の特徴を表す特徴情報と、を含む統合情報に基づいて、当該物体の種類を複数の第2候補の中から推定するモデルである。
第2学習済みモデルは、第2ニューラルネットワークを含むとともに、統合情報を複数の第2候補のうちの1つとして、魚の種類毎に学習することにより、第2ニューラルネットワークの重み付け係数が決定される。
これによれば、第1特徴情報と第2特徴情報とを含む統合情報を高い精度にて取得できる。更に、統合情報を用いた学習が行われるので、第1特徴情報、及び、第2特徴情報の両方を、魚FSの種類の推定に適切に反映できる。この結果、魚FSの種類を高い精度にて推定できるので、魚FSを種類毎に高い精度にて選別できる。
更に、第1実施形態の魚選別装置1において、推定部120は、畳み込みニューラルネットワークを用いて、魚FSの種類の推定を行う。
これによれば、魚FSの種類を迅速に推定できるので、魚FSを種類毎に迅速に選別できる。
更に、第1実施形態の魚選別装置1は、基準方向(本例では、y軸方向、又は、搬送方向)に沿って魚FSの体が延在するように魚FSの体の方向を制御する方向制御部(本例では、方向制御用案内部22)を備える。加えて、基準面RPにてレーザ光LLが形成する図形は、基準方向に直交する線分を含む。
これによれば、魚FSの体が延在する方向に直交する断面における魚FSの体の形状を画像に反映できる。この結果、魚FSの種類を高い精度にて推定できるので、魚FSを種類毎に高い精度にて選別できる。
なお、魚選別装置1において、照射部33は、検出部32により魚FSが検出された場合に、レーザ光LLの照射を行う。ところで、照射部33は、搬送部21が搬送面を移動させている間、レーザ光LLの照射を継続してもよい。
魚選別装置1において、撮影部34は、撮影する方向が互いに異なる複数のカメラを含んでいてもよい。
魚選別装置1において、基準面RPにおいて、レーザ光LLが形成する図形は、基準方向(本例では、y軸方向、又は、搬送方向)に直交する線分を複数含んでいてもよい。また、当該図形は、基準方向に直交する第1線分と、当該第1線分に直交する第2線分と、からなる十字状であってもよい。また、当該図形は、基準方向に直交する、複数の第1線分と、当該複数の第1線分に直交する、複数の第2線分と、からなる格子状であってもよい。また、当該図形は、格子状の配列を有する、複数の点を含んでいてもよい。
また、魚選別装置1において、基準方向は、搬送方向に平行である。ところで、基準方向は、搬送方向に直交する方向であってもよい。
また、魚選別装置1は、サバの選別に適用される。ところで、魚選別装置1は、サバ以外の魚の選別に適用されてもよい。例えば、魚選別装置1は、生物学又は魚類学において同一の魚の、雄及び雌の選別に適用されてもよい。また、例えば、魚選別装置1は、特定の魚と、それ以外の魚と、の選別に適用されてもよい。
<第2実施形態>
次に、第2実施形態の魚選別装置1について説明する。第2実施形態の魚選別装置1は、第1実施形態の魚選別装置1に対して、複数の時点にて撮影を行うとともに複数の画像から選択された画像に基づいて魚FSの種類を推定する点において相違している。以下、相違点を中心として説明する。なお、第2実施形態の説明において、第1実施形態にて使用した符号と同じ符号を付したものは、同一又は略同様のものである。
図12に表されるように、第2実施形態の制御部10の機能は、第1実施形態の撮影制御部110に代えて、撮影制御部110Aを含むとともに、第1実施形態の推定部120に代えて、推定部120Aを含む。
撮影制御部110Aは、魚FSが検出された時点から所定の撮影時間が経過するまでの撮影期間中の、複数の時点にて、レーザ光LLが照射された魚FSを撮影するように撮影部34を制御する点が、第1実施形態の撮影制御部110と相違する。本例では、撮影時間は、魚FSのうちの、レーザ光LLが照射された位置が、魚FSの体のうちの所定の領域(本例では、胴部の中央部、又は、胴部のうちの体高を表す部分)に含まれる時点が撮影期間に含まれるように設定される。撮影制御部110Aは、複数の時点にて撮影された魚FSをそれぞれ表す複数の画像を撮影部34から取得する。
推定部120Aは、推定部120の機能に加えて、画像選択部124を含む点が、第1実施形態の推定部120と相違する。
画像選択部124は、撮影制御部110Aにより取得された複数の画像から、魚FSのうちの、レーザ光LLが照射された位置が、魚FSの体のうちの所定の領域(本例では、胴部の中央部、又は、胴部のうちの体高を表す部分)に含まれる画像を選択する。例えば、画像選択部124は、第1モデル処理部121が用いる第1学習済みモデルを用いて画像の選択を行ってもよい。
第1モデル処理部121は、画像選択部124に選択された画像に基づいて、第1実施形態と同様に、第1特徴情報及び第2特徴情報を取得する。
以上、説明したように、第2実施形態の魚選別装置1によれば、第1実施形態の魚選別装置1と同様の作用及び効果が奏される。
更に、第2実施形態の魚選別装置1において、撮影部34は、複数の時点にてレーザ光LLが照射された魚FSの撮影を行うことにより画像を複数取得する。推定部120Aは、魚FSのうちの、レーザ光LLが照射された位置が、魚FSの体のうちの所定の領域に含まれる画像を複数の画像から選択し、選択された画像に基づいて魚FSの種類の推定を行う。
これによれば、魚FSの体のうちの所定の領域における立体的な形状を画像に反映できる。この結果、魚FSの種類を高い精度にて推定できるので、魚FSを種類毎に高い精度にて選別できる。
<第3実施形態>
次に、第3実施形態の魚選別装置1について説明する。第3実施形態の魚選別装置1は、第1実施形態の魚選別装置1に対して、魚FSの体の方向を推定し、推定された方向に基づいて、レーザ光LLが形成する図形の回転角度を制御する点において相違している。以下、相違点を中心として説明する。なお、第3実施形態の説明において、第1実施形態にて使用した符号と同じ符号を付したものは、同一又は略同様のものである。
第3実施形態の照射部33は、基準面RPにおいてレーザ光LLが形成する図形の、基準面RPにおける回転角度を変更可能に構成される。図13は、回転角度が変更されていない場合に照射部33により照射されたレーザ光LL’が基準面RPにて形成する図形と、回転角度が変更された場合に照射部33により照射されたレーザ光LLが基準面RPにて形成する図形と、の一例を表す。
例えば、照射部33は、基準面RPに直交する方向を回転の中心軸として回転可能に支持されていてもよい。また、例えば、照射部33は、基準面RPに直交する方向を回転の中心軸として回転可能に支持される光学素子を備え、光学素子を回転させることにより、基準面RPにおいてレーザ光LLが形成する図形の、基準面RPにおける回転角度を変更してもよい。
図14に表されるように、第3実施形態の制御部10の機能は、第1実施形態の撮影制御部110に代えて、撮影制御部110Bを含む。加えて、第3実施形態の制御部10の機能は、方向推定部140と、回転角度制御部150と、を含む。
撮影制御部110Bは、魚FSが検出された時点から所定の第1待機時間が経過した第1時点と、魚FSが検出された時点から所定の第2待機時間が経過した第2時点と、のそれぞれにて、レーザ光LLが照射された魚FSを撮影するように撮影部34を制御する点が、第1実施形態の撮影制御部110と相違する。
本例では、第1待機時間は、魚FSのうちの、レーザ光LLが照射された位置が、魚FSの体のうちの所定の領域(本例では、胴部の中央部、又は、胴部のうちの体高を表す部分)に含まれる直前の時点にて魚FSの撮影が行われるように設定される。本例では、第2待機時間は、第1待機時間よりも僅かに長い時間に設定される。撮影制御部110Bは、第1時点及び第2時点にて撮影された魚FSをそれぞれ表す、第1画像及び第2画像を撮影部34から取得する。
方向推定部140は、撮影制御部110Bにより取得された第1画像に基づいて魚FSの体の方向を推定する。例えば、方向推定部140は、Hough変換を用いて、魚FSの体の方向の推定を行ってもよい。また、方向推定部140は、ニューラルネットワークを用いて、魚FSの体の方向の推定を行ってもよい。
回転角度制御部150は、方向推定部140により推定された方向に基づいて、基準面RPにおいてレーザ光LLが形成する図形の、基準面RPにおける回転角度を制御するように照射部33を制御する。本例では、回転角度制御部150は、推定された方向が基準方向に対して傾斜する角度と同じ角度だけ、当該図形を基準面RPにおいて回転させるように当該回転角度の制御を行う。回転角度制御部150による回転角度の制御は、第2時点よりも前に行われる。
推定部120は、回転角度制御部150による回転角度の制御が実行された後に、撮影制御部110Bにより取得された第2画像に基づいて、第1実施形態と同様に、魚FSの種類を推定する。
以上、説明したように、第3実施形態の魚選別装置1によれば、第1実施形態の魚選別装置1と同様の作用及び効果が奏される。
更に、第3実施形態の魚選別装置1において、撮影部34は、第1時点にて、レーザ光LLが照射された魚FSの撮影を行うことにより第1画像を取得する。更に、制御部10の機能は、取得された第1画像に基づいて魚FSの体の方向を推定する方向推定部140を含むとともに、推定された方向に基づいて、基準面RPにおいてレーザ光LLが形成する図形の、基準面RPにおける回転角度を制御する回転角度制御部150を含む。
更に、撮影部34は、回転角度の制御が行われた後の第2時点にて、レーザ光LLが照射された魚FSの撮影を行うことにより第2画像を取得する。加えて、推定部120は、取得された第2画像に基づいて、魚FSの種類の推定を行う。
これによれば、魚FSの体が延在する方向が基準方向と異なる場合であっても、照射されたレーザ光LLによって魚FSの表面に描かれる図形を、魚FSの体が延在する方向が基準方向と一致する場合に近づけることができる。この結果、魚FSの種類を高い精度にて推定できるので、魚FSを種類毎に高い精度にて選別できる。
なお、本発明は、上述した実施形態に限定されない。例えば、上述した実施形態に、本発明の趣旨を逸脱しない範囲内において当業者が理解し得る様々な変更が加えられてよい。
1 魚選別装置
10 制御部
11 処理装置
12 記憶装置
110,110A,110B 撮影制御部
120,120A 推定部
121 第1モデル処理部
1211 第1特徴情報取得部
1212 第2特徴情報取得部
122 統合情報生成部
123 第2モデル処理部
1231 種類推定部
124 画像選択部
130 選別制御部
140 方向推定部
150 回転角度制御部
21 搬送部
22 方向制御用案内部
23−1 第1収容部
23−2 第2収容部
23−3 第3収容部
24−1 第1傾斜部
24−2 第2傾斜部
25−1 第1選別用案内部
25−2 第2選別用案内部
31 照明部
32 検出部
33 照射部
34 撮影部
FS 魚
LL レーザ光
R1 第1領域
R2 第2領域
RP 基準面

Claims (10)

  1. 搬送されている魚を種類毎に選別する魚選別装置であって、
    基準面にて所定の図形を形成するレーザ光を、前記魚に照射する照射部と、
    前記レーザ光が照射された魚を撮影し、前記撮影された魚を表す画像を取得する撮影部と、
    前記取得された画像に基づいて前記魚の種類を推定する推定部と、
    前記推定された種類に基づいて前記魚を選別する選別部と、
    を備える、魚選別装置。
  2. 請求項1に記載の魚選別装置であって、
    前記推定部は、
    前記画像のうちの、前記魚の全体に対応する第1領域の特徴を表す第1特徴情報を取得する第1特徴情報取得部と、
    前記画像のうちの、前記魚の中で前記レーザ光が照射された部分に対応する第2領域の特徴を表す第2特徴情報を取得する第2特徴情報取得部と、
    前記取得された第1特徴情報と、前記取得された第2特徴情報と、に基づいて前記魚の種類を推定する種類推定部と、
    を含む、魚選別装置。
  3. 請求項2に記載の魚選別装置であって、
    前記推定部は、画像のうちの、物体に対応する領域を推定するとともに、前記画像のうちの、前記推定された領域の特徴を表す特徴情報を取得し、前記取得された特徴情報に基づいて前記物体の種類を複数の第1候補の中から推定する第1学習済みモデルに基づいて、前記第1特徴情報、及び、前記第2特徴情報の取得を行い、
    前記第1学習済みモデルは、第1ニューラルネットワークを含むとともに、魚の全体を表す画像を前記複数の第1候補のうちの1つとして学習するとともに、魚の中で前記レーザ光が照射された部分を表す画像を前記複数の第1候補のうちの他の1つとして学習することにより、前記第1ニューラルネットワークの重み付け係数が決定され、
    前記種類推定部は、画像のうちの、物体の全体に対応する領域の特徴を表す特徴情報と、前記物体の一部に対応する領域の特徴を表す特徴情報と、を含む統合情報に基づいて、前記物体の種類を複数の第2候補の中から推定する第2学習済みモデルと、前記取得された第1特徴情報と、前記取得された第2特徴情報と、に基づいて、前記魚の種類の推定を行い、
    前記第2学習済みモデルは、第2ニューラルネットワークを含むとともに、前記統合情報を前記複数の第2候補のうちの1つとして、魚の種類毎に学習することにより、前記第2ニューラルネットワークの重み付け係数が決定される、魚選別装置。
  4. 請求項1乃至請求項3のいずれか一項に記載の魚選別装置であって、
    前記推定部は、畳み込みニューラルネットワークを用いて前記推定を行う、魚選別装置。
  5. 請求項1乃至請求項4のいずれか一項に記載の魚選別装置であって、
    基準方向に沿って前記魚の体が延在するように前記体の方向を制御する方向制御部を備え、
    前記図形は、前記基準方向に直交する線分を含む、魚選別装置。
  6. 請求項1乃至請求項5のいずれか一項に記載の魚選別装置であって、
    前記撮影部は、複数の時点にて前記撮影を行うことにより前記画像を複数取得し、
    前記推定部は、前記魚のうちの、前記レーザ光が照射された位置が、前記魚の体のうちの所定の領域に含まれる画像を前記複数の画像から選択し、前記選択された画像に基づいて前記推定を行う、魚選別装置。
  7. 請求項1乃至請求項6のいずれか一項に記載の魚選別装置であって、
    前記撮影部は、第1時点にて前記撮影を行うことにより第1画像を取得し、
    前記魚選別装置は、
    前記取得された第1画像に基づいて前記魚の体の方向を推定する方向推定部と、
    前記推定された方向に基づいて、前記基準面における前記図形の回転角度を制御する回転角度制御部と、
    を備え、
    前記撮影部は、前記回転角度の制御が行われた後の第2時点にて前記撮影を行うことにより第2画像を取得し、
    前記推定部は、前記取得された第2画像に基づいて前記推定を行う、魚選別装置。
  8. 搬送されている魚を種類毎に選別する魚選別方法であって、
    基準面にて所定の図形を形成するレーザ光を前記魚に照射し、
    前記レーザ光が照射された魚を撮影し、前記撮影された魚を表す画像を取得し、
    前記取得された画像に基づいて前記魚の種類を推定し、
    前記推定された種類に基づいて前記魚を選別する、
    ことを含む、魚選別方法。
  9. 魚の種類を推定する魚種類推定装置であって、
    基準面にて所定の図形を形成するレーザ光を前記魚に照射する照射部と、
    前記レーザ光が照射された魚を撮影し、前記撮影された魚を表す画像を取得する撮影部と、
    前記取得された画像に基づいて前記魚の種類を推定する推定部と、
    を備える、魚種類推定装置。
  10. 魚の種類を推定する魚種類推定方法であって、
    基準面にて所定の図形を形成するレーザ光を前記魚に照射し、
    前記レーザ光が照射された魚を撮影し、前記撮影された魚を表す画像を取得し、
    前記取得された画像に基づいて前記魚の種類を推定する、
    ことを含む、魚種類推定方法。
JP2018018601A 2018-02-05 2018-02-05 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法 Active JP6890789B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018018601A JP6890789B2 (ja) 2018-02-05 2018-02-05 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018018601A JP6890789B2 (ja) 2018-02-05 2018-02-05 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法

Publications (2)

Publication Number Publication Date
JP2019135624A JP2019135624A (ja) 2019-08-15
JP6890789B2 true JP6890789B2 (ja) 2021-06-18

Family

ID=67623734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018018601A Active JP6890789B2 (ja) 2018-02-05 2018-02-05 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法

Country Status (1)

Country Link
JP (1) JP6890789B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020183876A (ja) * 2019-04-26 2020-11-12 株式会社前川製作所 特徴点認識システムおよびワーク処理システム
CN110651815A (zh) * 2019-09-20 2020-01-07 重庆工商大学 基于视频图像感知的自动分鱼系统及装置
JP7535731B2 (ja) 2020-09-10 2024-08-19 東杜シーテック株式会社 魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3239925A1 (en) * 2014-12-10 2017-11-01 Nireco Corporation Fish type determination device and fish type determination method

Also Published As

Publication number Publication date
JP2019135624A (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
JP6890789B2 (ja) 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法
TWI809243B (zh) 利用自動產生缺陷特徵檢測半導體結構之方法及系統
CN101981683B (zh) 缺陷分类方法以及缺陷分类装置
CN101783306B (zh) 检测晶片的系统和方法
BR112020000262B1 (pt) Método para fornecer, classificar e selecionar insetos em classes ou para controle de qualidade de insetos selecionados e aparelho para maturação de mosquitos
JP2019056966A (ja) 情報処理装置、画像認識方法および画像認識プログラム
JP5133626B2 (ja) 表面反射特性測定装置
CN102412170A (zh) 多方向上反射的光源的采集系统和方法
KR20010081097A (ko) 비파괴 테스트용 컴퓨터 단층 촬영법 및 장치
JP5580220B2 (ja) 放射線検査装置、放射線検査方法
US20230207357A1 (en) Detecting damaged semiconductor wafers utilizing a semiconductor wafer sorter tool of an automated materials handling system
JP4834373B2 (ja) X線検査装置、x線検査方法およびx線検査プログラム
JP2019109071A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2000315257A (ja) 皮膚状態の三次元画像生成方法
Ko et al. A neural network approach to the inspection of ball grid array solder joints on printed circuit boards
JP7535731B2 (ja) 魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法
CN108204982A (zh) 多视角影像撷取装置及多视角影像检测设备
WO2006132490A1 (en) In-tray inspection apparatus and method of semiconductor package
US20190187064A1 (en) Image processing system, computer readable recording medium, and image processing method
JP6969719B2 (ja) 推定装置、及び、推定方法
TW202016498A (zh) 電路板的形心偵測設備
JP7317732B2 (ja) 推定装置、物体搬送システム、推定方法、およびプログラム
JP2006177760A (ja) X線検査装置、x線検査方法およびx線検査プログラム
US20240178025A1 (en) Semiconductor processing device and semiconductor processing system
US9934445B2 (en) Photography system and method including a system for lighting the scene to be shot

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180228

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210413

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210514

R150 Certificate of patent or registration of utility model

Ref document number: 6890789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250