JP2024020000A - 生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム - Google Patents

生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム Download PDF

Info

Publication number
JP2024020000A
JP2024020000A JP2022122841A JP2022122841A JP2024020000A JP 2024020000 A JP2024020000 A JP 2024020000A JP 2022122841 A JP2022122841 A JP 2022122841A JP 2022122841 A JP2022122841 A JP 2022122841A JP 2024020000 A JP2024020000 A JP 2024020000A
Authority
JP
Japan
Prior art keywords
organism
growth
nishikigoi
image
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022122841A
Other languages
English (en)
Other versions
JP7239121B1 (ja
Inventor
軍 范
Jun Fan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Three Letter Trade Joint Stock Agency
Original Assignee
Three Letter Trade Joint Stock Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Three Letter Trade Joint Stock Agency filed Critical Three Letter Trade Joint Stock Agency
Priority to JP2022122841A priority Critical patent/JP7239121B1/ja
Application granted granted Critical
Publication of JP7239121B1 publication Critical patent/JP7239121B1/ja
Publication of JP2024020000A publication Critical patent/JP2024020000A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Image Analysis (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】成長後の将来の錦鯉の姿を確認することができる3次元画像を生成する成長予測装置、方法およびプログラム並びに3次元画像生成表示システムを提供する。【解決手段】成長予測対象の生物を撮影した撮影画像を取得する撮影画像取得部11と、撮影画像に基づいて、任意の年齢の生物の成長を予測する。【選択図】図1

Description

本発明は、生物を撮影した撮影画像からその生物の成長を予測する生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システムに関するものである。
従来、観賞魚として錦鯉が多く飼育されており、錦鯉の品質によっては非常に高額な値段で取引される場合もある。
錦鯉の購入者は、錦鯉を購入する際、その体型、色および模様などを見て錦鯉を評価し、その値段に見合った価値を有する錦鯉であるか否かを判断する。
特許第6650984号公報
しかしながら、錦鯉の体型、色および模様などはその成長によって変化する。錦鯉を評価する際、現時点での錦鯉を目視して評価することは可能であるが、その錦鯉が今後どのように成長していくかは不明であり、場合によっては、現時点では高い評価であるが、成長した結果、評価が下がるような錦鯉も存在する。
現時点の錦鯉の姿を目視するだけでは、成長後の錦鯉の姿を想像するのは難しく、成長後の錦鯉の評価を予測することは非常に困難である。したがって、錦鯉の購入者が、高額で錦鯉を購入したにも関わらず、購入者の予測とおりに成長しない場合があり、損してしまうケースがある。
また、錦鯉の生産者は、多数飼育する錦鯉の中から、将来、高い価値を有する錦鯉に成長すると予測される錦鯉を判断する。そして、その高い価値を有する錦鯉の血統だけを残して飼育する方が、より少ない投資で効率的に高い評価の錦鯉を生産することができる。
しかしながら、錦鯉の生産者であっても、上述したように現時点での錦鯉を目視するだけでは、将来どのように成長するのかを予測することは非常に困難である。
また、上述した錦鯉に限らず、金魚のなど観賞魚や観賞用の植物についても、その成長を予測したい場合がある。
なお、特許文献1においては、錦鯉を撮影した画像に基づいて、錦鯉の個体識別を行う方法が提案されているが、錦鯉の評価については何も提案されていない。
本発明は、上記事情に鑑み、成長後の将来の生物の姿を確認することができる生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システムを提供することを目的とする。
本発明の生物の成長予測装置は、成長予測対象の生物を撮影した撮影画像を取得する撮影画像取得部と、撮影画像に基づいて、任意の年齢の生物の成長を予測する。
本発明の生物の成長予測方法は、成長予測対象の生物を撮影した撮影画像を取得し、撮影画像に基づいて、任意の年齢の生物の成長を予測する。
本発明の生物の成長予測プログラムは、成長予測対象の生物を撮影した撮影画像を取得するステップと、撮影画像に基づいて、任意の年齢の生物の成長を予測するステップとをコンピュータに実行させる。
本発明の生物の成長予測装置および方法並びにプログラムによれば、成長予測対象の生物を撮影した撮影画像を取得し、その撮影画像に基づいて、任意の年齢の生物の成長を予測するようにしたので、成長後の将来の生物の姿を確認することができる。
本発明の生物の成長予測装置の一実施形態を用いた錦鯉3次元画像生成表示システムの概略構成を示すブロック図 正面撮影画像の特徴ポイントの一例を示す図 模様結合画像の生成を説明するための図 模様付き3次元画像の生成を説明するための図 模様の成長予測のその他の実施形態を説明するための図 本発明の生物の成長予測装置の一実施形態を用いた錦鯉3次元画像生成表示システムの処理の流れを説明するためのフローチャート
以下、図面を参照して本発明の生物の成長予測装置および3次元画像生成表示システムの一実施形態を用いた錦鯉3次元画像生成表示システムについて詳細に説明する。図1は、本実施形態の錦鯉3次元画像生成表示システムの概略構成図である。
錦鯉3次元画像生成表示システムは、錦鯉を撮影した撮影画像を取得し、その撮影画像に基づいて、任意の成長年月数後の錦鯉の3次元画像を予測して生成する。そして、端末装置において、その予測生成された錦鯉の3次元画像を動かして表示させることによって、あたかも錦鯉が成長した未来の姿を確認することができるシステムである。なお、本実施形態においては、錦鯉が、本発明の成長予測対象の生物である。
錦鯉3次元画像生成表示システム1は、成長予測装置10と、端末装置20とを備えている。成長予測装置10と端末装置20との間は通信回線で接続されており、たとえばインターネット回線やLAN(Local Area Network)によって接続されている。成長予測装置10は、端末装置20によって撮影された錦鯉の撮影画像を取得し、その取得した撮影画像に基づいて錦鯉の3次元画像を生成し、端末装置20に送信する。端末装置20は、成長予測装置10から送信された錦鯉の3次元画像を受信し、これを表示する。以下、成長予測装置10と端末装置20について、具体的に説明する。
成長予測装置10は、図1に示すように、撮影画像取得部11と、成長予測部12と、模様抽出部13とを備えている。
撮影画像取得部11は、端末装置20によって撮影された錦鯉の撮影画像を取得する。具体的には、カメラ機能を有する端末装置20によって錦鯉が撮影されるが、この際、錦鯉の真上(背びれ側)から撮影した撮影画像と、錦鯉の右側面から撮影した撮影画像と、錦鯉の左側面から撮影した撮影画像とが撮影される。
そして、撮影画像取得部11は、上述した鯉の真上(背びれ側)から撮影した撮影画像(以下、正面撮影画像という)と、錦鯉の右側面から撮影した撮影画像(以下、右側面撮影画像という)と、錦鯉の左側面から撮影した撮影画像(以下、左側面撮影画像という)とを取得する。
成長予測部12は、正面画像を用いて錦鯉の3次元形状を表す3次元画像を生成する。
具体的には、成長予測部12は、まず、正面撮影画像において、予め設定された21カ所のポイントを特定する。21カ所のポイントは、たとえば図2に黒丸で示すような位置とすることができる。具体的には、21カ所のポイントは、頭部の先端のポイントHと、尾鰭の先端のポイントTと、右目周囲の3ポイント1R,ER,2Rと、左目周囲の3ポイント1L,EL,2Lと、右胸鰭周囲の3ポイント3R,8R,4Rと、右胸鰭周囲の3ポイント3L,8L,4Lと、背鰭の前側端部の幅を示す3ポイント5R,5C,5Lと、尾鰭の根元のポイント6と、尾鰭の根元のポイント6と背鰭の前側端部のポイント5Cとの間の中心の幅を示す3ポイント7R,7C,7Lとすることができる。以下、21カ所のポイントを特徴ポイントという。特徴ポイントは、上述した21カ所のポイントに限らず、適宜設定することができる。
また、特徴ポイントの特定方法については、たとえば任意の複数の錦鯉を予め撮影した複数の正面撮影画像とその各正面撮影画像における特徴ポイントの位置情報との関係を予め機械学習して得られた特徴ポイント特定用学習済モデルに対して、今回撮影した正面撮影画像を入力することによって、上記正面撮影画像上における特徴ポイントの位置情報を取得する。特徴ポイント特定用学習済モデルとしては、たとえば畳み込みニューラルネットワーク(Convolutional Neural Network)を用いることができるが、機械学習の方法としては、これに限らず、その他の公知な手法を用いることができる。
そして、成長予測部12は、正面撮影画像について取得された特徴ポイントの位置情報に基づいて、錦鯉の3次元画像を生成する。具体的には、成長予測部12は、正面撮影画像の特徴ポイントの位置情報を3次元画像生成用学習済モデルに入力することによって錦鯉の3次元画像を生成する。なお、本実施形態においては、3次元画像生成用学習済モデルが、本発明の成長予測用学習済モデルに相当する。
3次元画像生成用学習済モデルは、撮影画像取得部11によって取得された現時点での錦鯉の正面撮影画像に基づいて、現時点の錦鯉の3次元画像を生成する。また、3次元画像生成用学習済モデルは、現時点での錦鯉の正面撮影画像に基づいて、同じ鯉の任意の年齢の3次元画像を予測して生成する。
3次元画像生成用学習済モデルは、任意の錦鯉を撮影した正面撮影画像の特徴ポイントおよびその錦鯉の年齢と、その錦鯉の3次元画像の3次元座標との関係を機械学習して生成されるものである。3次元画像生成用学習済モデルは、まず、基準となる錦鯉について、1年後、2年後、3年後といった各年齢のときに撮影された正面撮影画像の特徴ポイントと、その各年齢の錦鯉の3次元画像の3次元座標との関係を機械学習して生成される。そして、3次元画像生成用学習済モデルは、さらに任意の年齢の錦鯉の撮影画像の特徴ポイントと、その錦鯉の3次元画像の3次元座標との関係を機械学習する。
より具体的には、本実施形態では、1歳から10歳まで錦鯉の3年間以上の成長記録の撮影画像を1000セット以上集めてそれらを機械学習させ、1000以上の成長パターンをデータベース化する。これにより、将来性予測の信頼性を裏付けすることができる。
そして、上述したようにして生成された3次元画像生成用学習済モデルに対して、現時点の錦鯉の年齢と、その錦鯉の正面撮影画像の特徴ポイントと、任意の年齢とを入力することによって、その入力された任意の年齢の錦鯉の3次元画像が3次元画像生成用学習済モデルから出力される。現時点の錦鯉の3次元画像を生成する場合には、現時点の錦鯉の年齢と任意の年齢とが同じ年齢が入力される。
3次元画像生成用学習済モデルの機械学習の方法としては、公知な手法を用いることができ、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、およびデノイジングスタックオートエンコーダ(DSA)などを用いることができる。
3次元画像生成用学習済モデルは、成長予測部12が記憶するようにしてもよいし、その他のサーバ装置などに記憶された3次元画像生成用学習済モデルを用いるようにしてもよい。
模様抽出部13は、撮影画像取得部11によって取得された3方向の撮影画像からそれぞれ錦鯉の模様を抽出する。錦鯉の模様については、たとえば予め設定された色(たとえば黒や朱色など)のパターンを模様として抽出するようにしてもよいし、予め設定された形状に類似するパターンを模様として抽出するようにしてもよい。また、錦鯉の模様を予め機械学習して得られた模様認識用学習済モデルを用いて錦鯉の模様を認識して抽出するようにしてもよい。
そして、成長予測部12は、3方向の撮影画像からそれぞれ抽出された3枚の模様画像を用いて、上述したようにして生成された錦鯉の3次元画像の表面に貼り付ける3次元模様画像を生成する。具体的には、成長予測部12は、正面撮影画像から抽出された正面模様画像と、右側面撮影画像から抽出された右側面模様画像と、左側面撮影画像から抽出された左側面模様画像とを結合して3次元模様画像を生成する。
正面模様画像と右側面模様画像と左側面模様画像とを結合する方法としては、たとえば右側面模様画像と左側面撮影画像とを模様のつなぎ目が連続するように結合する。そして、その結合した画像に対して正面模様画像を張り付けることによって、模様結合画像を生成する。この際、右側面模様画像と左側面撮影画像のつなぎ目と正面模様画像の背びれとが一致するように重ね合わせられる。このように、右側面模様画像と左側面模様画像を結合した模様と正面模様画像の模様とが一致するように結合させる。図3は、上述した模様結合画像の生成を説明するための図であり、図3Aが、左側面撮影画像の一例を示し、図3Bが、右側面撮影画像の一例を示し、図3Cが、図3Aの左側面撮影画像から抽出された左側面模様画像と、図3Bの右側面撮影画像から抽出された右側面模様画像とを用いて生成された模様結合画像の一例を示す図である。
そして、成長予測部12は、上述したように生成された模様結合画像を錦鯉の3次元画像の形状に合わせて3次元的に変形することによって3次元模様画像を生成し、その3次元模様画像を3次元画像の表面に貼り付ける。図4は、模様付き3次元画像の生成を説明するための図であり、図4Aが、錦鯉の3次元画像の一例を示し、図4Bが、模様結合画像の一例を示し、図4Cが、図4Aの3次元画像に対して図4Bの模様結合画像を変形した3次元模様画像を張り付けた模様付き3次元画像の一例を示す図である。
3次元模様画像の生成方法としては、たとえば模様結合画像の結合線の位置と錦鯉の3次元画像の背びれの位置とを一致させ、模様結合画像の各画素を3次元画像の表面上に投影して生成するようにすればよい。
また、成長予測部12は、模様抽出部13によって抽出された模様に基づいて、任意の年齢の錦鯉の模様を予測し、その任意の年齢の錦鯉の模様を、上述した任意の年齢の錦鯉の3次元画像に張り付けることによって、3次元画像上に任意の年齢の錦鯉の模様を表現する。
任意の年齢の錦鯉の模様を予測する方法としては、たとえば複数の年齢とその各年齢の錦鯉の模様との関係を機械学習させた模様予測用学習済モデルを用いる。模様予測用学習済モデルは、成長予測部12が記憶するようにしてもよいし、その他のサーバ装置などに記憶された模様予測用学習済モデルを用いるようにしてもよい。
具体的には、成長予測部12は、まず、予測された任意の年齢の錦鯉の3次元画像の形状に基づいて、現時点の結合模様画像の大きさを変形する。そして、成長予測部12は、上述した模様予測用学習済モデルに対して、任意の年齢に合わせて大きさを変形させた結合模様画像と現時点の錦鯉の年齢と任意の年齢を入力することによって、その任意の年齢の錦鯉の模様から生成される結合模様画像を予測する。なお、予測後の結合模様画像では、大きさだけでなく、時間経過に伴う模様の色味の変化や模様自体の変化も反映される。
模様予測用学習済モデルの機械学習の方法としては、公知な手法を用いることができ、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、およびデノイジングスタックオートエンコーダ(DSA)などを用いることができる。
現時点の結合模様画像の大きさを変形する方法としては、たとえば、図5に示すように、成長予測前の錦鯉を幅方向に3等分した線(w1:w2=1:1)を設定する。そして、成長予測後の錦鯉の模様としては、たとえば1年後の模様としてはw1:w2=1:1.15とし、2年後の模様としてはw1:w2=1:1.2としたりして、錦鯉の腹側の模様の幅を次第に広くするようにしてもよい。なお、図5では、分かり易くするために3等分の線を直線としているが、実際には、錦鯉の輪郭に沿った曲線とし、錦鯉の頭から尾の根元までの模様の幅を変更することが望ましい。
そして、成長予測部12は、上述したように予測された模様結合画像を任意の年齢の錦鯉の3次元画像の形状に合わせて3次元的に変形することによって3次元模様画像を生成し、その3次元模様画像を任意の年齢の3次元画像の表面に貼り付ける。
成長予測部12は、上述したようにして現時点の錦鯉の模様付き3次元画像と任意の年齢の錦鯉の模様付き3次元画像を生成し、これらの模様付き3次元画像を端末装置20からの要求に応じて出力する。
成長予測装置10は、コンピュータなどから構成され、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などの半導体メモリ、ハードディスクなどのストレージ、並びに通信I/Fなどのハードウェアを備える。
成長予測装置10の半導体メモリまたはストレージには、本発明の生物の成長予測プログラムの一実施形態がインストールされている。この生物の成長予測プログラムがCPUによって実行されることによって、上述した撮影画像取得部11、成長予測部12および模様抽出部13が機能する。
本実施形態においては、CPUによって成長予測プログラムを実行することによって成長予測装置10の上述した各部を機能させるようにしたが、成長予測プログラムが実行する一部の機能または全部の機能をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)、その他の電気回路などのハードウェアから構成するようにしてもよい。
次に、端末装置20について説明する。端末装置20は、たとえばカメラ機能付きのスマートフォンやカメラ機能付きのタブレット端末から構成される。ただし、これらに限らず、カメラ機能を有するコンピュータであれば、その他の端末装置でもよい。
端末装置20は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などの半導体メモリ、ハードディスクなどのストレージ、並びに通信I/Fなどのハードウェアを備える。
端末装置20の半導体メモリまたはストレージには、錦鯉3次元画像表示アプリケーションがインストールされている。そして、ユーザによって端末装置20の錦鯉3次元画像表示アプリケーションが起動させることによって、成長予測装置10において生成された現時点の錦鯉の模様付き3次元画像と任意の年齢の錦鯉の模様付き3次元画像が表示される。
端末装置20は、現時点の錦鯉の模様付き3次元画像と任意の年齢の錦鯉の模様付き3次元画像が泳いでいる状態を表示する。泳いでいる状態を表示させる方法としては、たとえば模様付き3次元画像の各画素の座標を予め設定された条件に基づいて移動させるようにすればよい。
また、端末装置20は、カメラ機能によって撮影された画像上に、上述した模様付き3次元画像をAR(Augmented Reality)表示するようにしてもよい。具体的には、たとえば端末装置20のカメラ機能によって池や水槽など鯉が泳ぐ環境を撮影し、その撮影した環境画像中に模様付き3次元画像をAR表示するようにしてもよい。AR表示の方法としては、公知の手法を用いることができる。
次に、本実施形態の錦鯉3次元画像生成表示システム1の処理の流れについて、図6に示すフローチャートを参照しながら説明する。
まず、ユーザによって端末装置20の錦鯉3次元画像表示アプリケーションが起動されると、カメラ機能が起動し、成長予測対象の錦鯉が撮影される(S10)。この際、上述したように異なる3方向から撮影が行われる。
そして、ユーザによって端末装置20において、将来予測を希望する任意の年齢が設定入力された後(S12)、その設定入力された年齢と3枚の撮影画像と3次元画像生成要求信号が端末装置20から成長予測装置10に送信される(S14)。
そして、成長予測装置10の撮影画像取得部11によって3枚の撮影画像が取得され(S16)、成長予測部12によって3枚の撮影画像に基づいて、上述したようにして現時点の錦鯉の模様付き3次元画像が生成される(S18)。
また、成長予測部12は、端末装置20において設定入力された年齢と現時点の錦鯉の年齢と撮影画像とを3次元画像生成用学習済モデルに入力することによって、設定入力された年齢の錦鯉の模様付き3次元画像(成長予測後の3次元画像)を生成する(S20)。
そして、成長予測部12は、現時点の錦鯉の模様付き3次元画像と成長予測後の錦鯉の模様付き3次元画像を端末装置20に送信する(S22)。
端末装置20は、成長予測装置10から送信された現時点の錦鯉の模様付き3次元画像と成長予測後の錦鯉の模様付き3次元画像を受信する(S24)。そして、端末装置20の錦鯉3次元画像表示アプリケーションによって、現時点の錦鯉の模様付き3次元画像と成長予測後の錦鯉の模様付き3次元画像が泳いだ状態で表示される(S26)。
本実施形態の錦鯉3次元画像生成表示システム1によれば、成長後の将来の錦鯉の姿を確認して評価することができる。
また、錦鯉の模様についても成長予測するようにしたので、成長後の錦鯉をより現実の錦鯉に近づけることができる。
また、現時点の錦鯉の模様付き3次元画像と成長後の錦鯉の模様付き3次元画像の両方を表示するようにしたので、これらを比較することができる。
また、錦鯉の模様付き3次元画像が泳いでいる状態を表示させたり、AR表示させたりするようにしたので、よりリアリティを向上させることができる。
また、上記実施形態の錦鯉3次元画像生成表示システム1においては、3次元画像生成用機械学習済モデルを用いて成長予測後の錦鯉の3次元画像を生成するようにしたが、これに限らず、たとえば予め取得された成長曲線を用いて、現時点の錦鯉の撮影画像の特特徴ポイントを移動させて3次元画像を生成することによって、成長予測後の錦鯉の3次元画像ようにしてもよい。
また、上記実施形態の錦鯉3次元画像生成表示システム1においては、錦鯉の撮影画像に基づいて、任意の年齢の錦鯉の3次元画像を生成するようにしたが、成長予測部12における成長予測の方法としては、必ずしも3次元画像を生成しなくてもよい。たとえば成長後の錦鯉の2次元画像を生成するようにしてもよいし、もしくは、成長後の2次元画像に基づいて1年後、2年後および3年後などの錦鯉の体長を予測し、その予測した体長に基づいて、成長曲線を生成するようにしてもよい。
また、上記実施形態の錦鯉3次元画像生成表示システム1においては、模様予測用学習済モデルを用いて成長予測後の模様を生成するようにしたが、錦鯉の模様は、錦鯉の種類によって異なるので、錦鯉の種類毎の模様予測用学習済モデルを用いるようにしてもよい。そして、端末装置20または成長予測装置10において、錦鯉の種類を受け付け、成長予測部12が、その受け付けた錦鯉の種類に応じて模様予測用学習済モデルを選択して使用するようにしてもよい。
また、上記実施形態については、成長予測対象の生物を錦鯉としたが、本発明の成長予測対象の生物は、錦鯉に限らず、たとえば金魚などの観賞魚や、盆栽などの観賞用の植物でもよい。観賞用の植物の成長予測を行う場合には、特徴ポイントとして、植物の輪郭を示す特徴ポイントの他、たとえば枝分かれしている箇所などを特徴ポイントとすればよい。
本発明に関し、さらに以下の付記を開示する。
(付記)
本発明の生物の成長予測装置において、成長予測部は、任意の年齢の生物の3次元画像を予測して生成することができる。
本発明の生物の成長予測装置において、成長予測部は、複数の年齢とその各年齢の生物の撮影画像との関係を機械学習させた成長予測用学習済モデルに対して、撮影画像取得部によって取得された撮影画像、その撮影画像の撮影時点における生物の年齢および任意の年齢を入力することによって、任意の年齢の生物の3次元画像を予測して生成することができる。
本発明の生物成長予測装置においては、撮影画像から生物の模様を抽出する模様抽出部を備え、成長予測部は、任意の年齢の生物の模様を予測し、その予測した模様を任意の年齢の生物の3次元画像上に表現することができる。
本発明の生物の成長予測装置において、成長予測部は、複数の年齢とその各年齢の生物の模様との関係を機械学習させた模様予測用学習済モデルに対して、撮影画像から抽出された生物の模様、撮影画像の撮影時点における生物の年齢および任意の年齢を入力することによって、任意の年齢の錦鯉の模様を予測することができる。
本発明の生物の成長予測装置においては、成長予測対象の生物を錦鯉とし、成長予測部は、錦鯉の種類毎の模様予測用学習済モデルを有することができる。
本発明の生物の成長予測装置において、成長予測部は、撮影画像が撮影された時点における生物の3次元画像と、任意の年齢の生物の3次元画像とを生成することができる。
本発明の3次元画像生成表示システムは、上記本発明の成長予測装置と、成長予測装置から出力された生物の3次元画像を表示する端末装置とを備え、端末装置が、生物の3次元画像が動いている状態を表示する。
本発明の3次元画像生成表示システムにおいて、端末装置は、生物の3次元画像をAR(Augmented Reality)表示することができる。
1 錦鯉3次元画像生成表示システム
10 成長予測装置
11 撮影画像取得部
12 成長予測部
13 模様抽出部
20 端末装置

Claims (11)

  1. 成長予測対象の生物を撮影した撮影画像を取得する撮影画像取得部と、
    前記撮影画像に基づいて、任意の年齢の前記生物の成長を予測する成長予測部とを備えた生物の成長予測装置。
  2. 前記成長予測部が、前記任意の年齢の生物の3次元画像を予測して生成する請求項1記載の生物の成長予測装置。
  3. 前記成長予測部が、複数の年齢と該各年齢の前記生物の撮影画像との関係を機械学習させた成長予測用学習済モデルに対して、前記撮影画像取得部によって取得された撮影画像、該撮影画像の撮影時点における前記生物の年齢および前記任意の年齢を入力することによって、前記任意の年齢の生物の3次元画像を予測して生成する請求項2記載の生物の成長予測装置。
  4. 前記撮影画像から前記生物の模様を抽出する模様抽出部を備え、
    前記成長予測部が、前記任意の年齢の前記生物の模様を予測し、該予測した模様を前記任意の年齢の生物の3次元画像上に表現する請求項2または3記載の生物の成長予測装置。
  5. 前記成長予測部が、複数の年齢と該各年齢の前記生物の模様との関係を機械学習させた模様予測用学習済モデルに対して、前記撮影画像から抽出された前記生物の模様、前記撮影画像の撮影時点における前記生物の年齢および前記任意の年齢を入力することによって、前記任意の年齢の錦鯉の模様を予測する請求項4記載の生物の成長予測装置。
  6. 前記成長予測対象の生物が錦鯉であり、
    前記成長予測部が、前記錦鯉の種類毎の前記模様予測用学習済モデルを有する請求項5記載の生物の成長予測装置。
  7. 前記成長予測部が、前記撮影画像が撮影された時点における前記生物の3次元画像と、前記任意の年齢の前記生物の3次元画像とを生成する請求項2記載の生物の成長予測装置。
  8. 請求項2記載の生物の成長予測装置と、
    前記生物の成長予測装置から出力された前記生物の3次元画像を表示する端末装置とを備え、
    前記端末装置が、前記生物の3次元画像が動いている状態を表示する3次元画像生成表示システム。
  9. 前記端末装置が、前記生物の3次元画像をAR(Augmented Reality)表示する請求項8記載の3次元画像生成表示システム。
  10. 成長予測対象の生物を撮影した撮影画像を取得し、
    前記撮影画像に基づいて、任意の年齢の前記生物の成長を予測する生物の成長予測方法。
  11. 成長予測対象の生物を撮影した撮影画像を取得するステップと、
    前記撮影画像に基づいて、任意の年齢の前記生物の成長を予測するステップとをコンピュータに実行させる生物の成長予測プログラム。
JP2022122841A 2022-08-01 2022-08-01 生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム Active JP7239121B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022122841A JP7239121B1 (ja) 2022-08-01 2022-08-01 生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022122841A JP7239121B1 (ja) 2022-08-01 2022-08-01 生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム

Publications (2)

Publication Number Publication Date
JP7239121B1 JP7239121B1 (ja) 2023-03-14
JP2024020000A true JP2024020000A (ja) 2024-02-14

Family

ID=85556213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022122841A Active JP7239121B1 (ja) 2022-08-01 2022-08-01 生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム

Country Status (1)

Country Link
JP (1) JP7239121B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522951B (zh) * 2023-12-29 2024-04-09 深圳市朗诚科技股份有限公司 鱼类监测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194892A (ja) * 2015-04-01 2016-11-17 みずほ情報総研株式会社 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム
CN106980873A (zh) * 2017-03-09 2017-07-25 南京理工大学 基于深度学习的锦鲤筛选方法及装置
JP6650984B1 (ja) * 2018-10-03 2020-02-19 株式会社メビウス 錦鯉の個体識別方法
JP2020515952A (ja) * 2017-03-21 2020-05-28 ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company 年齢容姿シミュレーションのための方法
JP7008957B1 (ja) * 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉評価装置および方法並びにプログラム
JP7008958B1 (ja) * 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉品評会実施装置およびプログラム並びに錦鯉品評会システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194892A (ja) * 2015-04-01 2016-11-17 みずほ情報総研株式会社 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム
CN106980873A (zh) * 2017-03-09 2017-07-25 南京理工大学 基于深度学习的锦鲤筛选方法及装置
JP2020515952A (ja) * 2017-03-21 2020-05-28 ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company 年齢容姿シミュレーションのための方法
JP6650984B1 (ja) * 2018-10-03 2020-02-19 株式会社メビウス 錦鯉の個体識別方法
JP7008957B1 (ja) * 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉評価装置および方法並びにプログラム
JP7008958B1 (ja) * 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉品評会実施装置およびプログラム並びに錦鯉品評会システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
株式会社メビウス: "養鯉業におけるAI活用の取り組み", スマート農林水産業オンライン研修会発表資料, JPN6022041493, 8 February 2021 (2021-02-08), ISSN: 0004890195 *

Also Published As

Publication number Publication date
JP7239121B1 (ja) 2023-03-14

Similar Documents

Publication Publication Date Title
AU2017101166A4 (en) A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
WO2020000814A1 (en) Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product
WO2017219263A1 (zh) 基于双向递归卷积神经网络的图像超分辨率增强方法
US10403001B2 (en) Producing three-dimensional representation based on images of an object
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
US10169891B2 (en) Producing three-dimensional representation based on images of a person
JP2013542505A (ja) 画像内のコンテンツの検閲処理を行うための方法および装置
JP7310252B2 (ja) 動画生成装置、動画生成方法、プログラム、記憶媒体
Ruan et al. Aifnet: All-in-focus image restoration network using a light field-based dataset
JP2024020000A (ja) 生物の成長予測装置、方法およびプログラム並びに3次元画像生成表示システム
US11403801B2 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
Xiao et al. Vismantic: Meaning-making with Images.
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
JP2006107145A (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
Fatima AI in photography: scrutinizing implementation of super-resolution techniques in photo-editors
Huang et al. VisualCritic: Making LMMs Perceive Visual Quality Like Humans
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
JP2008204318A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN106462774B (zh) 通过规范形状的对象摄取、系统和方法
JP2007102478A (ja) 画像処理装置、画像処理方法、及び半導体集積回路
CN116188720A (zh) 数字人的生成方法、装置、电子设备和存储介质
CN112288861B (zh) 一种基于单张照片的人脸三维模型自动构建方法及系统
CN113240573B (zh) 局部和全局并行学习的高分辨率图像风格变换方法及系统
CN107633547A (zh) 实现场景渲染的图像数据实时处理方法及装置、计算设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7239121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150