JP7218031B1 - 生物自動計測装置および方法並びにプログラム - Google Patents

生物自動計測装置および方法並びにプログラム Download PDF

Info

Publication number
JP7218031B1
JP7218031B1 JP2022122848A JP2022122848A JP7218031B1 JP 7218031 B1 JP7218031 B1 JP 7218031B1 JP 2022122848 A JP2022122848 A JP 2022122848A JP 2022122848 A JP2022122848 A JP 2022122848A JP 7218031 B1 JP7218031 B1 JP 7218031B1
Authority
JP
Japan
Prior art keywords
nishikigoi
photographing
ornamental fish
measurement
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022122848A
Other languages
English (en)
Other versions
JP2024020004A (ja
Inventor
軍 范
Original Assignee
三信トレーディング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三信トレーディング株式会社 filed Critical 三信トレーディング株式会社
Priority to JP2022122848A priority Critical patent/JP7218031B1/ja
Application granted granted Critical
Publication of JP7218031B1 publication Critical patent/JP7218031B1/ja
Publication of JP2024020004A publication Critical patent/JP2024020004A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】錦鯉などの生物を高精度に計測することができる生物自動計測装置および方法並びにプログラムを提供する。【解決手段】計測対象の生物を撮影した撮影画像における生物の計測対象部分を認識する計測対象部分認識部12と、計測対象部分認識部12によって認識された計測対象部分に基づいて、生物の自動計測を行う自動計測部13とを備える。【選択図】図1

Description

本発明は、生物を撮影した撮影画像に基づいて、生物を自動計測する生物自動計測装置および方法並びにプログラムに関するものである。
従来、観賞魚として錦鯉が多く飼育されており、その飼育管理や成長記録を行うため、錦鯉の体長などの計測が行われる。
また、錦鯉の価値を評価する際にも錦鯉の体長などが用いられる。たとえば特許文献1には、錦鯉を撮影した撮影画像に基づいて錦鯉を客観的に評価するシステムが提案されており、その評価の際、錦鯉の体長を用いることが提案されている。
特許第7008957号公報
しかしながら、泳いでいる錦鯉の体長を手動で精度良く計測することは困難な場合がある。また、計測の際に、錦鯉に接触することによって、錦鯉にダメージを与えるおそれもある。さらに、測定者の測定の仕方によって誤差が生じ、錦鯉の評価の客観性を担保することができない可能性がある。
また、上述した錦鯉に限らず、金魚のなど観賞魚や観賞用の植物についても、その飼育管理や成長記録のために、その金魚の体長や植物の高さなどを精度良く計測したい場合がある。
本発明は、上記事情に鑑み、錦鯉などの生物に損傷を与えることなく、生物の長さなどを高精度に計測することができる生物自動計測装置および方法並びにプログラムを提供することを目的とする。
本発明の生物自動計測装置は、計測対象の生物を撮影した撮影画像における生物の計測対象部分を認識する計測対象部分認識部と、計測対象部分認識部によって認識された計測対象部分に基づいて、生物の自動計測を行う自動計測部とを備える。
本発明の生物自動計測方法は、計測対象の生物を撮影した撮影画像における生物の計測対象部分を認識し、その認識した計測対象部分に基づいて、生物の自動計測を行うことができる。
本発明の生物自動計測プログラムは、計測対象の生物を撮影した撮影画像における生物の計測対象部分を認識するステップと、その認識した計測対象部分に基づいて、生物の自動計測を行うステップとをコンピュータに実行させることができる。
本発明の生物自動計測装置および方法並びにプログラムによれば、計測対象の生物を撮影した撮影画像における生物の計測対象部分を認識し、その認識した計測対象部分に基づいて、生物の自動計測を行うようにしたので、錦鯉などの生物を高精度に計測することができる。
本発明の生物自動計測装置の一実施形態を用いた錦鯉自動計測評価システムの概略構成を示すブロック図 撮影枠の一例を示す図 撮影枠のその他の例を示す図 目盛り付きカラーパレットの一例を示す図 図4に示すカラーチャートのsRGBの値を示す図 図4に示す目盛り付きカラーパレットを矢印X方向から見た側面図と矢印Y方向から見た側面図 錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線の一例を示す図 チェスボックスの一例を示す図 チェスボックスを用いた錦鯉の体長計測を説明するための図 錦鯉の輪郭情報の一例を示す図 錦鯉の画像を構成する各画素の色の頻度分布の一例を示す図 錦鯉の評価結果であるレーダーチャートの一例を示す図 本発明の生物自動計測装置の一実施形態を用いた錦鯉自動計測評価システムの処理の流れを説明するためのフローチャート
以下、図面を参照して本発明の生物自動計測装置の一実施形態を用いた錦鯉自動計測評価システムについて詳細に説明する。図1は、本実施形態の錦鯉自動計測評価システム1の概略構成を示すブロック図である。
本実施形態の錦鯉自動計測評価システム1は、図1に示すように、錦鯉自動計測装置10と、錦鯉評価装置20とを備えている。本実施形態の錦鯉自動計測評価システム1は、錦鯉自動計測装置10によって錦鯉を撮影して撮影画像を取得し、その撮影画像に基づいて、錦鯉の自動計測および撮影画像の色補正を行う。そして、錦鯉自動計測評価システム1は、錦鯉自動計測装置10による自動計測結果および色補正された撮影画像に基づいて、錦鯉評価装置20によって錦鯉の客観的な評価を行う。
錦鯉自動計測装置10と錦鯉評価装置20とは通信可能に接続されており、たとえばインターネット回線やLAN(Local Area Network)などの通信回線によって接続される。
まず、錦鯉自動計測装置10について説明する。本実施形態の錦鯉自動計測装置10は、水中の錦鯉を撮影して撮影画像を取得し、その撮影画像に基づいて、錦鯉の体長を自動計測する。また、錦鯉自動計測装置10は、撮影された撮影画像について色補正を行って、本当の錦鯉の色を取得する。
錦鯉自動計測装置10は、具体的には、撮影部11と、計測対象部分認識部12と、自動計測部13と、色補正部14と、表示部15とを備えている。
錦鯉自動計測装置10は、たとえばタブレット端末またはスマートフォンなどの移動携帯端末から構成され、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などの半導体メモリ、ハードディスクなどのストレージ、および通信I/F(Interface)などを備えている。
また、錦鯉自動計測装置10の半導体メモリまたはストレージには、本発明の生物自動計測プログラムの一実施形態を含む錦鯉自動計測プログラムがインストールされている。CPUまたはGPUが、この錦鯉自動計測プログラムを実行することによって、上述した撮影部11、計測対象部分認識部12、自動計測部13、色補正部14および表示部15が機能する。なお、錦鯉自動計測装置10のハードウェア構成は、上述した構成に限定されない。
また、本実施形態においては、上述した撮影部11、計測対象部分認識部12、自動計測部13、色補正部14および表示部15の機能を全て錦鯉自動計測プログラムによって実行するようにしたが、これに限らず、一部または全部の機能をASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)、その他の電気回路などのハードウェアから構成するようにしてもよい。
また、錦鯉自動計測プログラムは、本実施形態のように錦鯉自動計測装置10にインストールするようにしてもよいし、錦鯉自動計測装置10とインターネット回線を介して接続されるクラウドサーバ上にインストールされた錦鯉自動計測プログラムを用いるようにしてもよい。
撮影部11は、C-MOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの撮像素子や撮影光学系を有し、これらを用いて、水中で泳ぐ錦鯉を撮影し、撮影画像を取得する。
ここで、本実施形態では、撮影部11によって撮影された撮影画像を用いて錦鯉の体長を計測するが、タブレット端末やスマートフォンなどの移動携帯端末によって錦鯉を撮影する場合、移動携帯端末の角度や錦鯉の姿勢などによって撮影画像内における錦鯉の体長が変わってくる。
そこで、本実施形態の撮影部11は、移動携帯端末の角度が適切な角度であって、かつ錦鯉の姿勢が適切な状態で撮影画像の撮影が行われるようにガイドする撮影枠を表示部15にさせる。図2は、錦鯉自動計測装置10の表示部15に表示された撮影枠15aの一例を示す図である。図2に示すように、撮影枠15aは、計測対象である錦鯉の外形を表す輪郭画像である。なお、図2は、錦鯉を正面(背びれ側)から撮影する場合の撮影枠15aを示しているが、たとえば図3に示すように、錦鯉自動計測装置10を90度回転させた場合には、錦鯉を側面(胸びれ側)から撮影する場合の撮影枠15bに切り替えて表示するようにしてもよい。
そして、撮影部11は、図2に示す撮影枠15aまたは図3に示す撮影枠15b内に、計測対象の錦鯉が収まっているか否かを認識し、撮影枠15a,15b内に錦鯉が収まっている場合のみ、撮影画像の撮影を許可する。
具体的には、撮影部11は、撮影枠15a,15bを表示部15に表示させるとともに、撮像素子によって撮像されたプレビュー画像を表示部15に表示させる。プレビュー画像は動画である。
さらに、撮影部11は、図2および図3に示すように、表示部15に撮影ボタン14cを表示させる。この撮影ボタン14cがタップされた場合にシャッターが切られて撮影画像が撮影されるが、撮影枠15a,15b内にプレビュー画像における錦鯉が収まっていない場合には、撮影ボタン14cがタップされてもシャッターを切らず、撮影画像の撮影を禁止する。このように、撮影枠15a,15b内にプレビュー画像における錦鯉が収まっている場合のみ撮影を許可することによって、撮影画像における錦鯉の姿勢補正処理などを施すことなく、後述する錦鯉の自動計測や錦鯉の評価を行うことができる。
なお、撮影を禁止する方法としては、上述したように撮影ボタン14cをタップしてもシャッターを切らないようにしてもよいし、撮影ボタン14c自体を非表示としたり、撮影ボタン14cの色を撮影可能なとき(錦鯉が撮影枠内15a,15bに収まったとき)と異なる色としてもよい。
そして、ユーザは、撮影枠15a,15b内にプレビュー画像における錦鯉が収まるように、錦鯉自動計測装置10の向きや角度を調整する。そして、撮影部11は、撮影枠15a,15b内にプレビュー画像における錦鯉が収まり、撮影ボタン14cがタップされた場合のみシャッターを切って撮影画像を撮影する。
なお、撮影部11は、プレビュー画像における錦鯉が撮影枠15a,15b内に収まっていても、その錦鯉の輪郭と撮影枠15a,15bとのずれ量が予め設定された閾値以上である場合には、撮影を禁止するようにしてもよい。なお、プレビュー画像における錦鯉の輪郭については、公知な画像処理を用いて抽出することができる。
また、撮影部11は、プレビュー画像における錦鯉の輪郭と撮影枠15a,15bとのずれ量が予め設定された閾値以下となった場合に自動的にシャッターを切って撮影画像を撮影するようにしてもよい。
また、本実施形態では、上述したように撮影部11によって錦鯉を撮影する際、その撮影範囲内に目盛り付きカラーパレット30を配置し、錦鯉とともに、目盛り付きカラーパレット30も一緒に撮影し、撮影画像内に目盛り付きカラーパレット30の画像が含まれるようにする。
図4は、上述した目盛り付きカラーパレット30の一例を示す図である。目盛り付きカラーパレット30は、カラーチャート31と、目盛り部32a~32dとを有する。カラーチャート31は、標準色である24色がそれぞれ割り当てられた24個の矩形パターン31aが4×6で配列されたものである。図5は、各矩形パターン31aの番号とその番号のsRGBの値との関係を示す図である。なお、本実施形態においては、カラーチャート31が、本発明の色見本に相当する。
目盛り部32a~32dは、カラーチャート31の周囲にそれぞれ配置されるものであり、カラーチャート31の4辺にそれぞれ配置される。目盛り部32a~32dは、その長さ方向に所定の間隔を空けて目盛りパターン32eが配置されている。目盛りパターン32eの長さd1とその間隔32fの長さd2は、それぞれ5mm(d1=d2=5mm)に設定されている。
目盛り付きカラーパレット30の長辺の長さは120mmであり、目盛り部32a,32bの長さは、100mmである。また、目盛り付きカラーパレット30の短辺の長さは80mmであり、目盛り部32c,32dの長さは、50mmである。
また、目盛り付きカラーパレット30は、カラーチャート31を有する第1のシート33と、目盛り部32a~32dを有する第2のシート34とを重ね合わせて形成される。図6Aは、図4に示す目盛り付きカラーパレット30を矢印X方向から見た側面図であり、図6Bは、矢印Y方向から見た側面図である。
計測対象部分認識部12は、撮影画像における錦鯉の計測対象部分を認識する。具体的には、本実施形態の計測対象部分認識部12は、測定対象部分として、錦鯉の頭部と尾鰭を認識する。計測対象部分認識部12は、錦鯉の頭部と尾鰭の画像を機械学習した測定対象認識用学習済みモデルを有し、この測定対象認識用学習済みモデルに対して、撮影部11によって撮影された撮影画像を入力することによって、撮影画像における錦鯉の頭部と尾鰭を認識する。なお、錦鯉の測定対象部分を認識する際には、撮影画像に含まれる錦鯉の範囲を白に変換し、錦鯉の周囲を黒に変換したモノクロ画像を用いることが好ましい。この場合、測定対象認識用学習済みモデルを機械学習する際にも、上述したようなモノクロ画像が用いられる。
なお、機械学習の方法としては、公知な手法を用いることができ、ディープニューラルネットワーク(DNN)および畳み込みニューラルネットワーク(CNN)などを用いることができる。
撮影画像における錦鯉の頭部と尾鰭の認識方法としては、上述した測定対象認識用学習済みモデルを用いた方法に限らず、その他の公知のパターン認識方法などを用いるようにしてもよい。
自動計測部13は、計測対象部分認識部12によって認識された計測対象部分(錦鯉の頭部および尾鰭)に基づいて、錦鯉の自動計測を行う。本実施形態の自動計測部13が、認識された錦鯉の頭部と尾鰭に基づいて、錦鯉の体長を自動計測する。
自動計測部13は、具体的には、図7に示すように、錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線を求める。たとえば頭部を輪郭を形成する画素と尾鰭の輪郭を形成する画素とを結ぶ直線のうち最も長い直線を求める。
また、自動計測部13は、撮影画像に含まれる目盛り付きカラーパレット30の目盛り部32a~32dのうち、錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線に最も平行な目盛り部32a~32dを求め、その目盛り部32a~32dを抽出する。ここでは、目盛り部32aが抽出されたものとする。
そして、自動計測部13は、たとえば錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線中に含まれる目盛り部32aの目盛りパターン32eの数を求め、その数に5mmを乗算することによって、錦鯉の体長を計測する。
本実施形態では、目盛りパターン32eを5mmに設定しているので、錦鯉の体長の計測誤差は±5mmとなるが、後述する錦鯉の評価に用いる錦鯉の体長の精度としては十分である。逆に、たとえば通常の定規のように1mm刻みの目盛りの場合、水中に沈めた場合に水の屈折や水面の揺らぎなどによって適切に目盛りを読み取ることができず、計測できないなどの不都合が生じ得る。
また、たとえば錦鯉を入れた水槽などの底に目盛り付きカラーパレット30を沈めて撮影画像を撮影する場合、錦鯉自動計測装置10からの錦鯉までの距離と目盛り付きカラーパレット30までの距離が異なり、錦鯉の体長の計測精度が低下する可能性がある。したがって、このような場合には、錦鯉と錦鯉自動計測装置10との間の距離を考慮して比例計算などを行って、計測された錦鯉の体長を補正するようにしてもよい。錦鯉と錦鯉自動計測装置10との間の距離については、たとえばLiDAR(light detection and ranging)を用いて計測するようにすればよい。なお、本実施形態では、上述したように目盛り付きカラーパレット30を用いて錦鯉の体長を計測しているが、上述したLiDARのみを用いて錦鯉の体長を計測するようにしてもよい。
また、錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線と、目盛り部32aの長さ方向とがなす角度が大きく、錦鯉の体長の計測精度が低下する可能性がある。したがって、錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線と、目盛り部32aの長さ方向とがなす角度を考慮して三角関数演算などを行うことによって、計測された錦鯉の体長を補正するようにしてもよい。
また、錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線および目盛り部32a~32dのいずれか1つと実際の錦鯉の体長との関係を機械学習させた体長計測用学習済みモデルにたいして、撮影画像から求められた錦鯉の頭部の先端と尾鰭の先端とを結ぶ直線と撮影画像に含まれる目盛り部32a~32dのいずれか1つを入力することによって、実際の錦鯉の体長を求めるようにしてもよい。
自動計測部13によって計測された錦鯉の体長は、錦鯉評価装置20に出力され、錦鯉の評価の際に用いられる。
色補正部14は、撮影画像におけるカラーチャート31の色に基づいて、撮影画像の色を補正する。撮影画像に含まれる錦鯉の色は、錦鯉が水中に存在しているため、水の影響を受けたり、照明具合の影響を受けたりして、本当の錦鯉の色とは異なる色となる場合がある。
そこで、本実施形態においては、撮影画像に含まれる錦鯉の色が、本当の錦鯉の色に近づくように撮影画像に対して色補正を施す。具体的には、色補正部14は、撮影画像に含まれるカラーチャート31の画像から各色を抽出し、その画像から抽出された色のsRGBの値と、図5に示す各色のsRGBの値とを比較し、その差分がキャンセルされるような色補正を撮影画像に対して施す。これにより、撮影画像に含まれる錦鯉の色を本当の錦鯉の色に近づけることができ、後述する錦鯉の色の評価の精度を向上させることができる。
色補正部14によって色補正された撮影画像は、錦鯉評価装置20に出力され、錦鯉の評価の際に用いられる。
表示部15は、液晶ディスプレイなどを有するタッチパネルから構成され、錦鯉を撮影する際のプレビュー画像、錦鯉を撮影した撮影画像および色補正された撮影画像などを表示する。
なお、上記実施形態においては、カラーチャート31を用いて錦鯉の体長を計測するようにしたが、錦鯉の体長を計測するための別の方法について説明する。錦鯉の体長計測の別の方法では、図8に示すような長方形のチェスボード35を用いる。
図8に示すチェスボード35は、A5サイズのシート状の印刷物である。チェスボード35の1つのマス35aは、縦29mm×横29mmの正方形であり、この白黒のマス35aが、縦×横=6×4=24マス配列されている。
次に、図8に示すチェスボード35を用いた錦鯉の体長の計測方法について、より具体的に説明する。
まず、「水面から鯉までの距離」と「水深」がユーザによって手動で設定入力される。
次に、錦鯉自動計測装置10が有する上述したLiDAR(light detection and ranging)などのセンサを用いて、錦鯉の近くの任意の位置に設置されたチェスボード35の中心と錦鯉自動計測装置10との距離を計測する。なお、この際、チェスボード35は、錦鯉が泳ぐ水槽などの中に沈める必要はなく、錦鯉の近傍に固定設置すればよい。
そして、錦鯉自動計測装置10の撮影部11を用いて、錦鯉とともに、チェスボード35も一緒に撮影して計測用撮影画像を取得する。
次いで、自動計測部13は、計測用撮影画像に含まれるチェスボード35の画像を認識し、その画像における予め設定された4点を検出する。予め設定された4点としては、具体的には、たとえば図8に矢印で示すように、縦横に隣接する4つのマスの頂点が接する点Pが検出される。
そして、自動計測部13は、検出した4つの点Pによって形成される四角の縦横比が正しい縦横比(実物の縦横比)となるように、計測用撮影画像に対して射影変換処理を施す。
そして、自動計測部13は、射影変換後の計測用撮影画像から錦鯉を検出し、チェスボード35のサイズから錦鯉の体長を推定する。
具体的には、たとえば図9に示すように水面から鯉までの距離が50mm、水深が150mm、チェスボード35の中心と錦鯉自動計測装置10との距離が800mmである場合、錦鯉自動計測装置10から錦鯉までの距離は、
800mm-150mm+50mm=700mm
である。
次に、自動計測部13は、計測用撮影画像上におけるチェスボード35の2マス分の長さと計測用撮影画像上における錦鯉の体長とを計測し、計測用撮影画像上における2マス分の長さが58ピクセル、計測用撮影画像上での錦鯉の体長が360ピクセルである場合、錦鯉の体長は、下式によって算出されて315mmとなる。
700mm×360ピクセル/(800mm×58ピクセル/58mm)
=700mm×360ピクセル/800ピクセル
=315mm
そして、錦鯉自動計測装置10は、1秒ごとに計測用撮影画像の取得、射影変換処理、錦鯉の体長推定を行い、それぞれ求められた値を記憶する。そして、連続する5枚の計測用撮影画像のうち、4枚以上が5枚の平均から20%以上外れていない場合、測定成功とする。そのため、最短で5秒で測定完了となるが、測定に失敗した場合、10秒でタイムアウトし、再測定を促す。
次に、錦鯉評価装置20について説明する。錦鯉評価装置20は、錦鯉自動計測装置10から出力された色補正後の撮影画像から特徴量を抽出し、その特徴量に基づいて錦鯉を評価し、その評価結果を錦鯉自動計測装置10に出力する。これにより、従来、主観的であった錦鯉の評価を客観的に行うことができる装置である。
錦鯉評価装置20は、具体的には、図1に示すように、画像取得部21と、特徴量取得部22と、評価部23と、出力部24とを備えている。
画像取得部21は、評価対象の錦鯉を撮影した撮影画像を取得する。具体的には、画像取得部21は、錦鯉自動計測装置10の撮影部11によって撮影された撮影画像を取得する。画像取得部21は、たとえば錦鯉を上(背びれ側)から平面視した画像を取得する。なお、本実施形態では、錦鯉の背びれ側を上、腹側を下とし、頭部側を前、尾側を後ろとし、右目側を右、左目側を左とする。
特徴量取得部22は、画像取得部21によって取得された評価対象の錦鯉の撮影画像から特徴量を抽出して取得する。本実施形態においては、特徴量として、錦鯉の体型の情報、錦鯉の色の情報、錦鯉の模様の情報および仕上がりの情報を取得する。
特徴量取得部22は、画像取得部21によって取得された撮影画像に対して輪郭抽出処理を施す。輪郭抽出処理は、錦鯉の輪郭を抽出する処理である。輪郭抽出処理については、エッジ抽出処理など既存の画像処理を用いることができる。輪郭抽出処理によって抽出された錦鯉の輪郭情報は、以下で説明する特徴量の抽出の際に用いられる。
特徴量取得部22は、上述したような輪郭抽出処理によって抽出された錦鯉の輪郭情報に基づいて錦鯉の体型の情報を取得するとともに、錦鯉の色補正後の撮影画像に基づいて、色の情報、模様の情報および仕上がりの情報を取得する。
まず、錦鯉の体型の情報について説明する。
錦鯉を評価する際、錦鯉の体型については、以下の点が考慮される。
・尾筒は細すぎず、太すぎないで身体の各部位と比例してバランスが取れていること
・頭の大きさと身体全体とがアンバランスでないこと
・体に対して各鰭の大きさがバランス取れて左右対称であること
・背筋および背骨をセンターラインとして弓状であり、左右対称で曲がりがないこと
・頭部から尾鰭にかけてのラインがスムーズなこと
そこで、本実施形態の特徴量取得部22は、錦鯉の輪郭情報に基づいて、図10に示すa~fを求める。aは、頭部の幅であり、左目の内側から右目の内側の間の距離である。また、bは、肩幅(体で一番太いところの幅)であり、左胸鰭の最後部の端と右胸鰭の最後部の端の間の距離である。cは、腹の出っ張り具合であり、背鰭の前端の位置における左右両端の間の距離である。dは、尾筒の太さであり、尾鰭の前端の位置における左右両端の間の距離である。eは、胸鰭の横幅であって、胸鰭の付け根から左右方向の端までの距離である。fは、胸鰭の縦幅であって、胸鰭の前端から後端までの長さである。
なお、左目および右目の位置、胸鰭の位置、背鰭の位置および尾鰭の位置については、既存の画像処理およびパターン認識を用いることによって検出される。
そして、特徴量取得部22は、下式を算出して、比率Wa~Wfを求める。
Wa=a/b,Wb=b/c,Wc=c/d,Wd=a/d,We=b/e,
Wf=e/f
また、特徴量取得部22は、錦鯉の輪郭情報に基づいて、図10に示すg~kを求める。gは、口先から尾鰭の後端までの体の全長である。hは、口先から鰓蓋の最後端までの頭部の長さである。iは、鰓蓋の最後端から背鰭の前端までの背中の長さである。jは、背鰭の前端から尾鰭の前端までの胴の長さである。kは、尾鰭の前端から尾鰭の後端までの尾鰭の長さである。
なお、鰓蓋については、図10では図示省略しているが、鰓の輪郭を抽出することによってその位置を検出可能である。また、錦鯉を上から撮影した画像だけで検出が困難である場合には、さらに画像取得部21が、左側から撮影した画像または右側から撮影した画像を取得し、特徴量取得部22が、これらの画像から鰓蓋の位置を検出するようにしてもよい。
そして、特徴量取得部22は、下式を算出して、比率Lh~Lfを求める。
Lh=g/h,Li=g/i,Lj=g/j,Lk=g/k,Lf=g/f,
特徴量取得部22は、錦鯉の体型の情報として、上述したWa~Wf、Lh~Lfの11個の比率を算出する。
また、特徴量取得部22は、錦鯉の輪郭情報から錦鯉の背骨のラインを求める。具体的には、背鰭の前端から背鰭を通って尾鰭の前端までのラインを背骨のラインとして求める。背鰭の後端から尾鰭の前端までは、たとえば直線で結ぶようにすればよい。
次に、特徴量取得部22は、錦鯉の体型の情報として、錦鯉における欠陥の有無の情報を取得する。
具体的には、特徴量取得部22は、錦鯉の輪郭情報に基づいて、口髭が、大2本および小2本の合計4本が揃っているか否かを確認する。また、特徴量取得部22は、錦鯉の画像から左右の目の位置を求め、目の位置が左右対称であるか否かを確認する。また、特徴量取得部22は、錦鯉の輪郭情報に基づいて、鰓蓋に反りがあるか否かを検出する。また、特徴量取得部22は、錦鯉の輪郭情報に基づいて、胸鰭に欠損、ねじれおよび変形があるか否かを確認する。
また、特徴量取得部22は、錦鯉の画像から鱗を抽出し、鱗の並びが整然ではなく、不揃いであるか否かを確認する。具体的には、特徴量取得部22は、各鱗の中心を求め、前後方向に隣接する鱗の中心を結ぶ直線を求める。そして、特徴量取得部22は、その直線が滑らかではなく、凹凸が含まれていることを検出することによって、鱗の不揃いを確認する。
また、特徴量取得部22は、錦鯉の画像から抽出した鱗のパターンの中に、予め設定された面積以上の範囲内に鱗のパターンが存在しないことを確認することによって、ケロイドの有無の情報を取得する。
特徴量取得部22は、錦鯉における欠陥の有無の情報として、上述したように、口髭の情報と、左右目の対称性の情報と、鰓蓋の反り情報と、胸鰭の欠陥情報と、鱗の整列情報と、ケロイドの情報とを取得する。
すなわち、特徴量取得部22は、錦鯉の体型の情報として、上述した11個の比率と、背骨のラインと、6個の欠陥情報とを取得する。
なお、背骨のラインの情報としては、たとえば予め設定された座標系に背骨のラインをプロットした場合におけるライン上の複数の点の座標が取得される。また、6個の欠陥情報については、たとえば欠陥の有りの情報として数値の「1」が取得され、欠陥無しの情報として数値の「0」が取得される。
次に、錦鯉の色の情報について説明する。なお、本実施形態では、錦鯉の種類が「紅白」の場合の色の情報について説明する。
錦鯉(紅白)を評価する際、錦鯉の色の情報については、白地(=地肌)に関しては、以下の点が考慮される。
・深み、厚みのある乳白色で透明感のあること
・地体に下緋(ピンク地に見える)がないこと
・黄ばみがないこと
・シミ等がないこと
そこで、本実施形態の特徴量取得部22は、図11に示すような、錦鯉の撮影画像を構成する各画素の色の頻度分布を求める。
そして、特徴量取得部22は、色の頻度分布に基づいて、乳白色の画素の頻度を求めて白地の情報として取得する。なお、乳白色のRGBの値は、予め設定されているものとする。錦鯉(紅白)の白地は、乳白色であることが好ましい。
また、特徴量取得部22は、色の頻度分布に基づいて、下緋に対応するピンクの画素の頻度を求めて下緋の情報として取得する。なお、下緋に対応するピンクのRGBの値は、予め設定されているものとする。錦鯉(紅白)の白地は、乳白色であることが好ましく、下緋(ピンク)が現れていない方が好ましい。
また、特徴量取得部22は、色の頻度分布に基づいて、黄ばみに対応する黄色の画素の頻度を求めて黄ばみの情報として取得する。なお、黄ばみに対応する黄色のRGBの値は、予め設定されているものとする。黄ばみは無い方が好ましい。
また、特徴量取得部22は、色の頻度分布に基づいて、シミに対応する茶系および黒系の画素の頻度を求めてシミの情報を取得する。なお、シミに対応する茶系および黒系のRGBの値は、予め設定されているものとする。シミは無い方が好ましい。
次に、錦鯉の色の情報について、緋盤(紅の部分)に関しては、以下の点が考慮される。
・頭部から尾筒にかけて緋盤の色が均一であること
・紅の色が鮮明であること、色合い(柿色系、ピンク系が明るくて良いとされる)が良いこと
・色度ではなく、緋盤厚みを見ること(練り込み、つまり鱗目が見えないものは厚みがあるとされる)
・緋盤の切れが良く整ったサシであり、頭緋のキワおよび鱗のキワ・サシが滲んでないこと
・緋盤の中に色の濃淡やシミが浮き出ていないこと
そこで、本実施形態の特徴量取得部22は、錦鯉の画像から緋盤の範囲を抽出し、その緋盤の範囲の各画素の色の頻度分布を算出する。なお、緋盤の範囲に対応するRGBの範囲については予め設定されているものとする。
そして、特徴量取得部22は、その緋盤の範囲の色の頻度分布の分散または標準偏差を求めて緋盤の色の均一性の情報を取得する。分散または標準偏差が小さい方が色の均一性があり、好ましい。
また、特徴量取得部22は、たとえば緋盤の範囲の各画素のRGBをLの色空間の信号に変換し、aとbの値に基づいて彩度を求めて緋盤の色の鮮明度(色合い)の情報として取得する。
また、特徴量取得部22は、緋盤の範囲の画像全体に含まれる鱗のパターンを抽出し、その抽出した鱗のパターンのエッジを検出してエッジ量を求めて緋盤の厚みの情報として取得する。エッジ量とは、エッジを構成する画素の総数である。エッジ量が少ない方が緋盤に厚みがあり、好ましい。
また、特徴量取得部22は、錦鯉の画像に基づいて、緋盤の範囲と白地の範囲との境界におけるエッジの鮮鋭度(ボケの程度)を求めてサシ・キワの滲みの情報として取得する。なお、エッジの鮮鋭度(ボケの程度)の算出方法については、既存の方法を用いることができる。エッジの鮮鋭度が高い方がサシ・キワの滲みが少なく好ましい。
なお、緋盤の中に色の濃淡やシミが浮き出ていないことについては、上述したシミの情報として取得される。
すなわち、特徴量取得部22は、錦鯉の色の情報として、白地の情報、下緋の情報、黄ばみの情報、シミの情報、緋盤の色の均一性の情報、緋盤の色の鮮明度(色合い)の情報、緋盤の厚みの情報、およびサシ・キワの滲みの情報を取得する。
次に、錦鯉の模様の情報について説明する。なお、本実施形態では、錦鯉の種類が「紅白」の場合の模様の情報について説明する。
錦鯉(紅白)を評価する際、錦鯉の模様の情報については、以下の点が考慮される。
・頭部から胴体部を経て尾部までの各部位において、斑紋の形と大きさと数がその体に調和されていること
・緋盤が鼻先と尾の付け根からともに切れていること。
そこで、本実施形態の特徴量取得部22は、錦鯉の画像から緋盤の範囲を抽出する。
そして、特徴量取得部22は、緋盤の範囲の一部が鼻先の範囲に含まれているか否かと、
緋盤の範囲が尾の付け根に差し掛かっているか否かを確認する。なお、鼻先の範囲と尾の付け根については、予め設定された条件に基づいて、既存の画像処理方法を用いて設定される。
特徴量取得部22は、緋盤の範囲の一部が鼻先の範囲に含まれておらず、かつ緋盤の範囲が尾の付け根に差し掛かっていない場合には、緋盤のかかり情報として「良」の情報を取得し、緋盤の範囲の一部が鼻先の範囲に含まれているか、または緋盤の範囲が尾の付け根に差し掛かっている場合には、緋盤のかかり情報として「不良」の情報を取得する。
また、特徴量取得部22は、錦鯉の画像を頭部、胴体部および尾部の3つに分割し、各部位に含まれる緋盤の範囲を特定する。頭部、胴体部および尾部については、予め設定された条件にて分割するようにすればよい。
そして、特徴量取得部22は、各部位の全体面積に対する各部位に含まれる緋盤の範囲の面積の比率を算出し、その各部位の比率を緋盤のバランスの情報として取得する。なお、各部位の緋盤の比率が50%~90%である場合に、緋盤のバランスの良いと判断され、それ以外の比率の場合には、緋盤のバランスが悪いと判断される。
また、特徴量取得部22は、各部位に含まれる緋盤の個数と各緋盤の周囲の長さを緋盤のバランスの情報として取得する。
すなわち、特徴量取得部22は、錦鯉の模様の情報として、緋盤のかかり情報おび緋盤のバランスの情報を取得する。なお、緋盤のかかり情報については、たとえば緋盤のかかり情報が「良」の場合には数値の「1」が取得され、「不良」の場合には数値の「0」が取得される。
次に、錦鯉の仕上がりの情報について説明する。なお、本実施形態では、錦鯉の種類が「紅白」の場合の仕上がりの情報について説明する。
錦鯉(紅白)を評価する際、錦鯉の仕上がりの情報について、以下の点が考慮される。
・色が鮮明で鮮やか、艶および照りが乗っていること、白濁の有無
・地肌の透明感と光沢、ツヤ感、滑らかさがあること、充血がないこと
・緋と地肌とのコントラストがはっきりしている(明るい色調であること)
そこで、特徴量取得部22は、錦鯉の画像に基づいて、コントラスト、明度および彩度を求めて仕上がりの情報として取得する。なお、彩度については、錦鯉の色の情報として緋盤の範囲の彩度を求めたが、仕上がりの情報としては、錦鯉の画像全体の彩度を求める。
以上が、本実施形態の特徴量取得部22が取得する特徴量の説明である。
次に、評価部23について説明する。
評価部23は、複数の錦鯉の上述した特徴量とその各錦鯉の評価結果との関係を機械学習して得られた学習済モデルを有する。より具体的には、本実施形態の評価部23は、評価対象の錦鯉の体型を評価するための体型評価用学習済モデルと、錦鯉の質を評価するための質評価用学習済モデルと、錦鯉の模様を評価するための模様評価用学習済モデルと、錦鯉の仕上がりを評価するための仕上がり評価用学習済モデルの4つの学習済モデルを有する。
体型評価用学習済モデルについては、たとえば全日本愛鱗会および全日本振興会主催の過去の国際錦鯉品評会と全日本錦鯉品評会で世界チャンピオン(全体総合優勝)になった10匹の錦鯉の上述した体型の情報とその体型に関する評価結果(点数)との関係を機械学習し、基準となる学習済モデルを生成する。そして、さらにその基準となる学習済モデルについて、任意の複数の錦鯉の上述した体型の情報とその体型に関する評価結果(点数)との関係を機械学習させて体型評価用学習済モデルが得られる。上述した任意の複数の錦鯉には、評価結果が良いものおよび評価結果が悪いものなど種々の評価結果の錦鯉が含まれる。
質評価用学習済モデルについては、世界チャンピオンの10匹の錦鯉の上述した色の情報とその色に関する評価結果(点数)との関係を機械学習し、基準となる学習済モデルを生成する。そして、さらにその基準となる学習済モデルについて、任意の複数の錦鯉の上述した色の情報とその色に関する評価結果(点数)との関係を機械学習させて質評価用学習済モデルが得られる。
模様評価用学習済モデルについては、世界チャンピオンの10匹の錦鯉の上述した模様の情報とその模様に関する評価結果(点数)との関係を機械学習し、基準となる学習済モデルを生成する。そして、さらにその基準となる学習済モデルについて、任意の複数の錦鯉の上述した模様の情報とその模様に関する評価結果(点数)との関係を機械学習させて模様評価用学習済モデルが得られる。
仕上がり評価用学習済モデルは、世界チャンピオンの10匹の錦鯉の上述した仕上がりの情報とその仕上がりに関する評価結果(点数)との関係を機械学習し、基準となる学習済モデルを生成する。そして、さらにその基準となる学習済モデルについて、任意の複数の錦鯉の上述した仕上がりの情報とその仕上がりに関する評価結果(点数)との関係を機械学習させて仕上がり評価用学習済モデルが得られる。
なお、機械学習の方法としては、公知な手法を用いることができ、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、およびデノイジングスタックオートエンコーダ(DSA)などを用いることができる。
評価部23は、体型評価用学習済モデル、質評価用学習済モデル、模様評価用学習済モデル、および仕上がり評価用学習済モデルの4つ学習済モデルを用いて、評価対象の錦鯉を評価する。
具体的には、評価部23は、体型評価用学習済モデルに対して、特徴量取得部22によって取得された評価対象の錦鯉の体型の情報を入力することによって、評価対象の錦鯉の体型を評価し、評価結果(点数)を得る。
また、評価部23は、質評価用学習済モデルに対して、特徴量取得部22によって取得された評価対象の錦鯉の色の情報を入力することによって、評価対象の錦鯉の質を評価し、評価結果(点数)を得る。
また、評価部23は、模様評価用学習済モデルに対して、特徴量取得部22によって取得された評価対象の錦鯉の模様の情報を入力することによって、評価対象の錦鯉の模様を評価し、評価結果(点数)を得る。
また、評価部23は、仕上がり評価用学習済モデルに対して、特徴量取得部22によって取得された評価対象の錦鯉の仕上がりの情報を入力することによって、評価対象の錦鯉の仕上がりを評価し、評価結果(点数)を得る。
上述したようにして、評価部23は、評価対象の錦鯉の体型の点数と、色の点数と、模様の点数と、仕上がりの点数を取得する。
さらに、評価部23は、上述した4つの点数に対して、予め設定された重み付けをそれぞれ乗算して加算することによって、評価対象の錦鯉の総合評価結果(総合点数)を得る。
重み付けについては、任意に設定可能であり、たとえば体型の点数に対する重み付けをk1、質の点数に対する重み付けをk2、模様の点数に対する重み付けをk3、仕上がりの点数に対する重み付けをk4とし、体型の点数をs1、質の点数をs2、模様の点数をs3、仕上がりの点数をs4とすると、総合点数saは、下式(1)によって算出される。
sa=k1×s1+k2×s2+k3×s3+k4×s4 ・・・(1)
そして、本実施形態では、重み付けk1~k4を評価対象の錦鯉の成長段階によって変更する。
たとえば評価対象の錦鯉が幼魚((第12部~25部)1cm~25cm)の段階である場合には、重み付けは、体型25%、質25%、模様25%、仕上がり25%に設定される。また、評価対象の錦鯉が若鯉((第30部~40部)25.1cm~40cm)の段階である場合には、重み付けは、体型35%、質30%、模様20%、仕上がり15%に設定される。また、評価対象の錦鯉が成魚((第45部~55部)40.1cm~55cm)の段階である場合には、重み付けは、体型40%、質30%、模様20%、仕上がり10%に設定される。また、評価対象の錦鯉が壮魚((第60部~70部)55.cm~70cm)の段階である場合には、重み付けは、体型40%、質30%、模様20%、仕上がり10%に設定される。また、評価対象の錦鯉が巨鯉((第75部~90部)70.1cm~90cm)の段階である場合には、重み付けは、体型50%、質25%、模様15%、仕上がり10%に設定される。
評価部23は、錦鯉自動計測装置10によって計測された錦鯉の体長を受け付け、その受け付けた錦鯉の体長に基づいて錦鯉の成長段階を決定し、その決定した成長段階に応じた重み付けを設定して、上述した総合点数saを算出する。
なお、本実施形態においては、評価部23が、4つの学習済モデルを有するようにしたが、これに限らず、4つの学習済モデルについては、錦鯉評価装置20と通信ネットワークを介して接続されるサーバ装置などに記憶され、これを利用して評価するようにしてもよい。
また、本実施形態の錦鯉評価装置20に学習済モデル生成部を設け、その学習済モデル生成部において、体型評価用学習済モデル、質評価用学習済モデル、模様評価用学習済モデル、および仕上がり評価用学習済モデルの4つ学習済モデルを生成するようにしてもよい。その場合、画像取得部21によって、上述した機械学習用の錦鯉の撮影画像を取得し、特徴量取得部22によって、その取得した撮影画像の特徴量を取得するようにすればよい。また、各錦鯉の評価結果(点数)については、錦鯉評価装置20に接続された所定の入力装置(図示省略)を用いてユーザが設定入力すればよい。
出力部24は、評価部23によって評価された評価対象の錦鯉の評価結果を出力する。本実施形態の出力部24は、評価対象の錦鯉の体型の点数s1、質の点数s2、模様の点数s3、仕上がりの点数s4、および総合点数saを錦鯉自動計測装置10に出力する。
具体的には、本実施形態の出力部24は、評価対象の錦鯉の体型の点数s1、質の点数s2、模様の点数s3、仕上がりの点数s4および総合点数saを錦鯉自動計測装置10の表示部15に表示させる。表示方法としては、たとえば図12に示すように体型の点数s1、質の点数s2、模様の点数s3および仕上がりの点数s4をレーダーチャートして表示させるとともに、総合点数saをテキスト表示する。
錦鯉評価装置20は、コンピュータから構成され、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などの半導体メモリ、ハードディスクなどのストレージ、および通信I/F(Interface)などを備えている。
また、錦鯉評価装置20の半導体メモリまたはハードディスクには、錦鯉評価プログラムがインストールされている。CPUまたはGPUが、この錦鯉評価プログラムを実行することによって、上述した画像取得部21、特徴量取得部22、評価部23および出力部24が機能する。
なお、錦鯉評価装置20のハードウェア構成は、上述した構成に限定されない。
また、本実施形態においては、上述した画像取得部21、特徴量取得部22、評価部23および出力部24の機能を全て錦鯉評価プログラムによって実行するようにしたが、これに限らず、一部または全部の機能をASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)、その他の電気回路などのハードウェアから構成するようにしてもよい。
次に、本実施形態の錦鯉自動計測評価システム1の処理の流れについて、図13に示すフローチャートを参照しながら説明する。
まず、錦鯉自動計測装置10の撮影部11が起動され、表示部15に撮影枠15a,15bが表示される(S10)。
次に、計測対象の錦鯉の近傍に目盛り付きカラーパレット30を配置し(S12)、撮影部11の撮影範囲内に錦鯉と目盛り付きカラーパレット30の両方が収まるようにする。
続いて、表示部15に表示されたプレビュー画像内の錦鯉が、撮影枠15a,15b内に収まるようにユーザによって錦鯉自動計測装置10の位置および角度が調整される(S14)。そして、撮影部11によってプレビュー画像内の錦鯉が、撮影枠15a,15b内に収まった時点で(S16,YES)撮影可能となり(S18)、撮影ボタン14cがタップされて撮影画像が撮影される(S20)。
次に、計測対象部分認識部12によって撮影画像における錦鯉の頭部と尾鰭が認識され(S22)、自動計測部13によって錦鯉の体長が自動計測される(S24)。また、色補正部14によって撮影画像に対して色補正が施される(S26)。
続いて、錦鯉評価装置20の画像取得部21によって色補正後の撮影画像が取得される(S28)。
そして、特徴量取得部22において、色補正された撮影画像に基づいて、錦鯉の体型の情報、色の情報、模様の情報および仕上がりの情報の特徴量が取得される(S30)。
そして、評価部23が有する4つの学習済モデルに対してそれぞれの特徴量が入力され、評価対象の錦鯉の体型の点数、質の点数、模様の点数および仕上がりの点数並びに総合点数が求められる(S32)。
そして、出力部24は、評価対象の錦鯉の体型の点数、質の点数、模様の点数および仕上がりの点数を錦鯉自動計測装置10に出力して表示部15にレーダーチャートとして表示させるとともに、表示部15に総合点数をテキスト表示させる。(S34)。
また、上記実施形態の錦鯉評価装置20においては、錦鯉における欠陥の有無の情報として、口髭の情報、左右目の対称性の情報、鰓蓋の反り情報、胸鰭の欠陥情報、鱗の整列情報およびケロイドの情報などを取得し、これを錦鯉の体型の情報として評価するようにしたが、これに限らず、このような錦鯉の欠損や欠点などの情報を単独で評価し、これを係数として乗算して総合点数saを算出するようにしてもよい。すなわち、下式(2)に示すように錦鯉の欠損や欠点などの情報の評価結果に基づく係数m1~m4を乗算して総合点数saを算出するようにしてもよい。
sa=k1×s1×m1+k2×s2×m2+k3×s3×m3+k4×s4×m4 ・・・(2)
また、たとえば主催者が異なる錦鯉品評会では、錦鯉の体型、錦鯉の色、錦鯉の模様および仕上がりの4種類の評価項目に対する比重がそれぞれ異なる。すなわち、錦鯉の体型の評価の比重がその他の評価項目よりも大きい錦鯉品評会もあれば、錦鯉の模様の評価の比重がその他の評価項目よりも大きい錦鯉品評会もある。そこで、錦鯉品評会毎に、各評価項目に対して異なる係数を乗算して総合点数を算出するようにしてもよい。錦鯉品評会毎に異なる係数をn1~n4とし、下式(3)に基づいて、総合点数saを算出するようにしてもよい。
sa=k1×s1×m1×n1+k2×s2×m2×n2+k3×s3×m3×n3+k4×s4×m4×n4 ・・・(3)
n1~n4は、錦鯉品評会の主催者によって任意に設定される値である。
また、上記実施形態については、計測対象の生物を錦鯉としたが、本発明の計測対象の生物は、錦鯉に限らず、たとえば金魚などの観賞魚や、盆栽などの観賞用の植物でもよい。観賞用の植物を計測する際には、撮影部11は、植物の外形を表す撮影枠を表示させる。そして、計測対象部分認識部12は、植物の根元と最も高い先端部分とを認識し、自動計測部13は、植物の根元と最も高い先端部分との間(植物の高さ)を計測する。なお、計測対象部分は、上記に限らず、その植物に特徴的な部分であれば如何なる場所でもよい。
本発明に関し、さらに以下の付記を開示する。
(付記)
本発明の生物自動計測装置において、計測対象の生物は、観賞魚であって、計測対象部分認識部は、計測対象部分として、観賞魚の頭部と尾鰭を認識し、自動計測部は、認識された観賞魚の頭部と尾鰭に基づいて、観賞魚の体長を自動計測することができる。
本発明の生物自動計測装置においては、撮影画像の中に目盛り情報が含まれており、自動計測部は、撮影画像の中の目盛り情報に基づいて、生物の自動計測を行うことができる。
本発明の生物自動計測装置においては、撮影画像の中に予め設定された色の色見本の情報が含まれており、撮影画像における色見本の情報に基づいて、撮影画像の色を補正する色補正部を備えることができる。
本発明の生物自動計測装置において、撮影画像は、水中の生物を撮影した画像とすることができる。
本発明の生物自動計測装置においては、撮影画像を撮影する撮影部を有し、撮影部は、生物の外形を表す撮影枠を表示させることができる。
本発明の生物自動計測装置において、撮影部は、撮影枠内に生物が収まっているか否かを認識し、撮影枠内に生物が収まっている場合のみ、撮影画像の撮影を許可することができる。
本発明の生物自動計測装置において、撮影枠は、観賞魚の外形を表すことができる。
1 錦鯉自動計測評価システム
10 錦鯉自動計測装置
11 撮影部
12 計測対象部分認識部
13 自動計測部
14 色補正部
14c 撮影ボタン
15 表示部
15a,15b 撮影枠
20 錦鯉評価装置
21 画像取得部
22 特徴量取得部
23 評価部
24 出力部
30 目盛り付きカラーパレット
31 カラーチャート
31a 矩形パターン
32a~32d 目盛り部
32e 目盛りパターン
32f 間隔
33 第1のシート
34 第2のシート

Claims (7)

  1. 計測対象の観賞魚の撮影画像を撮影する撮影部と、
    前記撮影画像における前記観賞魚の計測対象部分を認識する計測対象部分認識部と、
    前記計測対象部分認識部によって認識された計測対象部分に基づいて、前記観賞魚の自動計測を行う自動計測部とを備え、
    前記撮影部が、前記観賞魚の外形を表す撮影枠を表示させるとともに、前記撮影枠内に前記観賞魚が収まっているか否かを認識し、前記撮影枠内に前記観賞魚が収まっている場合のみ、前記撮影画像の撮影を許可する生物自動計測装置。
  2. 前記計測対象部分認識部が、前記計測対象部分として、前記観賞魚の頭部と尾鰭を認識し、
    前記自動計測部が、前記認識された観賞魚の頭部と尾鰭に基づいて、前記観賞魚の体長を自動計測する請求項1記載の生物自動計測装置。
  3. 前記撮影画像の中に目盛り情報が含まれており、
    前記自動計測部が、前記撮影画像の中の目盛り情報に基づいて、前記観賞魚の自動計測を行う請求項1記載の生物自動計測装置。
  4. 前記撮影画像の中に予め設定された色の色見本の情報が含まれており、
    前記撮影画像における前記色見本の情報に基づいて、前記撮影画像の色を補正する色補正部を備えた請求項1記載の生物自動計測装置。
  5. 前記撮影画像が、水中の前記観賞魚を撮影した画像である請求項4記載の生物自動計測装置。
  6. 計測対象の観賞魚を撮影し、
    該撮影した撮影画像における前記観賞魚の計測対象部分を認識し、
    該認識した計測対象部分に基づいて、前記観賞魚の自動計測を行う生物自動計測方法であって、
    前記撮影の際、前記観賞魚の外形を表す撮影枠を表示させるとともに、前記撮影枠内に前記観賞魚が収まっているか否かを認識し、前記撮影枠内に前記観賞魚が収まっている場合のみ、前記撮影画像の撮影を許可する生物自動計測方法。
  7. 計測対象の観賞魚を撮影するステップと、
    該撮影した撮影画像における前記観賞魚の計測対象部分を認識するステップと、
    該認識した計測対象部分に基づいて、前記観賞魚の自動計測を行うステップとをコンピュータに実行させる生物自動計測プログラムであって、
    前記撮影するステップにおいて、前記観賞魚の外形を表す撮影枠を表示させるとともに、前記撮影枠内に前記観賞魚が収まっているか否かを認識し、前記撮影枠内に前記観賞魚が収まっている場合のみ、前記撮影画像の撮影を許可するステップを前記コンピュータに実行させる生物自動計測プログラム。
JP2022122848A 2022-08-01 2022-08-01 生物自動計測装置および方法並びにプログラム Active JP7218031B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022122848A JP7218031B1 (ja) 2022-08-01 2022-08-01 生物自動計測装置および方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022122848A JP7218031B1 (ja) 2022-08-01 2022-08-01 生物自動計測装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP7218031B1 true JP7218031B1 (ja) 2023-02-06
JP2024020004A JP2024020004A (ja) 2024-02-14

Family

ID=85151319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022122848A Active JP7218031B1 (ja) 2022-08-01 2022-08-01 生物自動計測装置および方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP7218031B1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2676141Y (zh) 2003-11-26 2005-02-02 何耀准 水族专用量尺
JP2012074878A (ja) 2010-09-28 2012-04-12 Nintendo Co Ltd 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
WO2013099271A1 (ja) 2011-12-28 2013-07-04 山田電器工業株式会社 寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラム
CN207251752U (zh) 2017-09-21 2018-04-17 山西大学 一种昆虫外形扫描辅助装置
JP2020003873A (ja) 2018-06-25 2020-01-09 株式会社日立製作所 生体認証プログラム、生体認証方法
JP2020054300A (ja) 2018-10-03 2020-04-09 株式会社メビウス 錦鯉の個体識別方法
JP7008957B1 (ja) 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉評価装置および方法並びにプログラム
JP7107401B1 (ja) 2021-02-22 2022-07-27 日本電気株式会社 物体計測装置、物体計測方法およびコンピュータプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2676141Y (zh) 2003-11-26 2005-02-02 何耀准 水族专用量尺
JP2012074878A (ja) 2010-09-28 2012-04-12 Nintendo Co Ltd 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
WO2013099271A1 (ja) 2011-12-28 2013-07-04 山田電器工業株式会社 寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラム
CN207251752U (zh) 2017-09-21 2018-04-17 山西大学 一种昆虫外形扫描辅助装置
JP2020003873A (ja) 2018-06-25 2020-01-09 株式会社日立製作所 生体認証プログラム、生体認証方法
JP2020054300A (ja) 2018-10-03 2020-04-09 株式会社メビウス 錦鯉の個体識別方法
JP7107401B1 (ja) 2021-02-22 2022-07-27 日本電気株式会社 物体計測装置、物体計測方法およびコンピュータプログラム
JP7008957B1 (ja) 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉評価装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP2024020004A (ja) 2024-02-14

Similar Documents

Publication Publication Date Title
EP3477939B1 (en) Image processing method and device and computer-readable storage medium storing a program for performing beauty processing on face portrait images
US8548257B2 (en) Distinguishing between faces and non-faces
CN111862048A (zh) 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
JP2007534179A (ja) デジタル画像の明度の調整
JP7074185B2 (ja) 特徴推定装置および特徴推定方法、プログラム
KR102317988B1 (ko) 이미지를 이용한 어류 종류 및 체장 측정 방법
CN114241031A (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
CN111738279B (zh) 一种无接触式鱼类形态表型自动获取装置及方法
CN101271569B (zh) 用于评估图像的装置、方法
KR101106967B1 (ko) 어류 계측 형질 측정 자동화 시스템 및 방법
JP2019194573A (ja) 体重推定装置
JP2023054913A (ja) 錦鯉評価装置および方法並びにプログラム
CN110569784A (zh) 一种人体尺寸测量方法、系统、存储介质及电子设备
CN107295324A (zh) 白平衡处理方法、装置和终端设备
CN109191461A (zh) 一种基于机器视觉技术的土鸡蛋识别方法及识别装置
JP7218031B1 (ja) 生物自動計測装置および方法並びにプログラム
WO2022262763A1 (zh) 图像构图质量评估方法及装置
CN111882555A (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
JPWO2005124302A1 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20200342629A1 (en) Image processing apparatus and non-transitory computer readable medium storing image processing program
JP2021063774A (ja) 体重推定装置
JP7008958B1 (ja) 錦鯉品評会実施装置およびプログラム並びに錦鯉品評会システム
CN109300186A (zh) 图像处理方法和装置、存储介质、电子设备
JP2009251634A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102661717B1 (ko) 양식 어류 형질 측정용 작업대

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R150 Certificate of patent or registration of utility model

Ref document number: 7218031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150