TW202032969A - 魚監視系統及相機單元 - Google Patents

魚監視系統及相機單元 Download PDF

Info

Publication number
TW202032969A
TW202032969A TW109100282A TW109100282A TW202032969A TW 202032969 A TW202032969 A TW 202032969A TW 109100282 A TW109100282 A TW 109100282A TW 109100282 A TW109100282 A TW 109100282A TW 202032969 A TW202032969 A TW 202032969A
Authority
TW
Taiwan
Prior art keywords
fish
aforementioned
unit
camera
dead
Prior art date
Application number
TW109100282A
Other languages
English (en)
Inventor
佐藤智紀
Original Assignee
日商極限深度股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商極限深度股份有限公司 filed Critical 日商極限深度股份有限公司
Publication of TW202032969A publication Critical patent/TW202032969A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/60—Floating cultivation devices, e.g. rafts or floating fish-farms
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Zoology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Agronomy & Crop Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Mining & Mineral Resources (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Image Analysis (AREA)
  • Mechanical Means For Catching Fish (AREA)

Abstract

用以監視在魚籠中飼養的魚的魚監視系統，係具備相機單元(1)、監視伺服器(3)、使用者終端(4)。相機單元(1)係將藉由相機所攝影的畫像，發送至監視伺服器(3)。監視伺服器(3)係依據畫像來檢測出死魚或瀕死魚，在檢測出死魚或瀕死魚時，將檢測出死魚或瀕死魚一事通知使用者終端(4)。

Description

魚監視系統及相機單元
本發明係關於用以監視在魚籠中飼養的魚的系統。
於專利文獻1，記載具備浮在水面對水中進行攝影的水中監視單元，與遠端控制水中監視單元的電腦的水中監視系統。依據該水中監視系統，利用者係可透過電腦，觀察藉由水中監視單元所攝影之水中的映像。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2003-37755號公報
[發明所欲解決之課題]
本發明的目的係監視在魚籠中飼養的魚。 [用以解決課題之手段]
為了解決前述的課題，本發明的魚監視系統，係用以監視在魚籠中飼養的魚的魚監視系統，具備：相機單元，係固定於前述魚籠的底部；監視伺服器，係透過通訊網路與前述相機單元連接；及使用者終端，係透過前述通訊網路與前述監視伺服器連接；前述相機單元，係具備：相機，係具備朝向前述魚籠的水面的鏡頭；及發送部，係將藉由前述相機所攝影的畫像，發送至前述監視伺服器；前述監視伺服器，係具備：檢測部，係依據前述畫像，檢測出死魚或瀕死魚；及通知部，係在藉由前述檢測部檢測出死魚或瀕死魚時，將檢測出死魚或瀕死魚一事通知前述使用者終端。
於理想的樣態中，前述檢測部，係利用對於前述畫像，適用藉由機器學習所生成的識別模型，檢測出死魚或瀕死魚亦可。
於其他理想的樣態中，前述檢測部，係檢測出死魚或瀕死魚；前述通知部，係在藉由前述檢測部檢測出死魚時，將檢測出死魚一事通知前述使用者終端，在藉由前述檢測部檢測出瀕死魚時，將檢測出瀕死魚一事通知前述使用者終端亦可。
於更理想的樣態中，前述相機單元，係平板狀；前述鏡頭，係魚眼鏡頭；前述發送部，係將藉由前述相機所攝影的魚眼畫像，發送至前述監視伺服器亦可。
於更理想的樣態中，前述監視伺服器，係更具備藉由對於前述魚眼畫像進行失真校正處理，以生成矩形畫像的修正部；前述檢測部，係依據前述矩形畫像，檢測出死魚或瀕死魚亦可。
於更理想的樣態中，前述相機單元，係更具備：白色燈部及藍色或紅色燈部；及燈部控制部，係在前述相機所致之攝影時，因應天氣使前述白色燈部與前述藍色或紅色燈部的任一點燈亦可。
於更理想的樣態中，前述相機單元，係更具備麥克風；前述發送部，係將藉由前述麥克風所擷取之水中的聲音，發送至前述監視伺服器；前述監視伺服器，係更具備：判定部，係判定前述聲音的音量是否超過所定閾值；及資料取得部，係在藉由前述判定部進行肯定性判定時，發送對於前述相機單元的攝影指示；前述發送部，係以前述攝影指示被前述相機單元接收作為契機，將藉由前述相機所攝影的畫像，發送至前述監視伺服器。
於更理想的樣態中，前述檢測部，係更檢測出前述魚的天敵魚；前述通知部，係在藉由前述檢測部檢測出天敵魚時，將檢測出天敵魚一事通知前述使用者終端亦可。
於更理想的樣態中，前述監視伺服器，係更具備在藉由前述檢測部檢測出天敵魚時，將前述畫像中該天敵魚的位置，使用所定轉換表，轉換成前述魚籠內的位置的轉換部；前述通知部，係將藉由前述轉換部所特定之前述魚籠內的位置通知前述使用者終端亦可。
於更理想的樣態中，前述魚監視系統係具備複數相機單元；前述轉換部，係在藉由前述檢測部檢測出死魚時，將前述畫像中該死魚的位置，使用所定轉換表，轉換成前述魚籠內的位置；依據從前述複數相機單元中的第1相機單元發送的畫像所檢測出之死魚的前述魚籠內的位置，與依據從前述複數相機單元中的第2相機單元發送的畫像所檢測出之死魚的前述魚籠內的位置進入所定範圍內時，前述通知部係將檢測出死魚一事通知前述使用者終端亦可。
本發明的相機單元，係固定於前述魚籠的底部的相機單元，具備：相機，係具備朝向前述魚籠的水面的鏡頭；及發送部，係將藉由前述相機所攝影的畫像，發送至前述監視伺服器。 [發明的效果]
依據本發明，可監視在魚籠中飼養的魚。
1.實施形態 1-1.構造
以下，針對本發明的一實施形態的魚監視系統，參照圖面來進行說明。該魚監視系統係用以監視在魚籠中飼養的魚的系統。圖1係揭示該魚監視系統的構造之一例的圖。同圖所示的魚監視系統，係具備固定於魚籠LB的底部中央的相機單元1、透過纜線C與相機單元1連接，設置於水上的通訊單元2、透過通訊網路NW與通訊單元2連接的監視伺服器3、透過通訊網路NW與監視伺服器3連接的使用者終端4。以下，針對各構成要素進行說明。
相機單元1係用以攝影水中畫像的裝置。圖2係揭示相機單元1的外觀之一例的圖。圖2(a)係俯視圖，圖2(b)係側視圖。同圖所示的相機單元1係具備具有圓板形狀，於上面中央具有開口的框體101、封堵框體101的前述開口的蓋子部102、沿著框體101的外周形成為等間隔的4個孔部103、開口於框體101的側面的纜線拉出口104。該等構成要素中，框體101係其上面以從其端部到開口平緩地隆起之方式形成為錐台狀。蓋子部102係藉由透明的樹脂構成為半球狀，收容後述的魚眼鏡頭。於框體101與蓋子部102，施加防藻用塗層。孔部103係用以將相機單元1固定於形成魚籠LB的養殖網N的鉤子通過的孔。於纜線拉出口104，插入纜線C。
接著，圖3係揭示相機單元1的電性構造之一例的區塊圖。同圖所示的相機單元1係具備相機11、燈部12、水溫感測器13、水壓感測器14、溫度感測器15、加速度感測器16、控制部17。該等構成要素中，相機11具備魚眼鏡頭。該魚眼鏡頭係以轉向框體101的軸方向之方式配置。因此，相機單元1於海底中設置成水平時，魚眼鏡頭係轉向海面的方向。但是，魚眼鏡頭因為視角為180度以上，也可攝影位於相機單元1的水平方向的物體(換句話說，存在於海底的物體)。該相機11係攝影時依據加速度感測器16的輸出值，進行公知的位移模糊校正。因此，即使攝影時相機單元1因為海流搖動，也可減輕影像模糊。接著，燈部12係具體來說是白色LED燈，使用於相機11所致之攝影時。溫度感測器15係用以測定相機單元1的框體101內之溫度的感測器。控制部17具備微處理器與記憶體。控制部17所具備的微處理器執行記憶於記憶體的控制程式時，可提供資料輸出部171的功能。
該資料輸出部171係受理從監視伺服器3發送的資料輸出指示時，使燈部12點燈，對相機11輸出攝影指示，取得表示藉由相機11攝影之動画的畫像資料。又，從水溫感測器13、水壓感測器14及溫度感測器15，取得水溫資料、水壓資料及框體內溫度資料。然後，將包含所取得之各資料的感測器資料，為了發送至監視伺服器3，輸出至通訊單元2。
接著，通訊單元2係可在相機單元1與監視伺服器3之間進行資料通訊的通訊裝置。連接該通訊單元2與相機單元1的纜線C係具備通訊纜線與電源纜線。通訊單元2係具備電池，透過電源纜線對相機單元1供給電力。另一方面，可通訊地連接通訊單元2與監視伺服器3的通訊網路NW係移動體通訊網、網際網路或該等的組合。
接著，監視伺服器3係用以將從相機單元1輸出的感測器資料，或該感測器資料的解析結果，提供給使用者終端4的裝置。圖4係揭示監視伺服器3的電性構造之一例的區塊圖。同圖所示的監視伺服器3係具備CPU等的處理器31、DRAM等的揮發性記憶體32、HDD等的非揮發性記憶體33、網路卡34。該監視伺服器3所具備的處理器31執行記憶於非揮發性記憶體33的控制程式時，可提供資料取得部311、修正部312、檢測部313、通知部314的各功能。
該等功能中，資料取得部311係接受從使用者終端4發送的資料取得指示，或定期性對於通訊單元2發送資料輸出指示。接著，取得從相機單元1輸出的感測器資料。
修正部312係對於藉由資料取得部311所取得之感測器資料中，藉由畫像資料表示之圓形的魚眼畫像，進行公知的失真校正處理，生成矩形畫像。
檢測部313係對於藉由修正部312所生成的矩形畫像，適用藉由機器學習所生成的識別器(換句話說，識別模型)，檢測出死魚或瀕死魚。在此，識別器係藉由學習死魚及瀕死魚的正資料與負資料(換句話說，正常之活魚的正資料)的特徵量來生成。學習的特徵量係例如Harr-like特徵量、LBP特徵量或HOG特徵量。
死魚係一般會在海底橫倒或翻倒靜止。瀕死魚係一般會一邊在海底橫倒或翻倒，一邊開閉魚鰓並稍微移動。因此，檢測部313係從藉由修正部312所生成的矩形畫像中，僅相當於海底附近的上端及下端的區域檢測出死魚或瀕死魚。圖5係揭示藉由修正部312所生成的矩形畫像之一例的圖。同圖所示的矩形畫像中，僅從相當於海底附近的區域R1及R2檢測出死魚或瀕死魚。利用如此縮小檢測範圍，可減低錯誤檢測的可能性。
檢測部313係檢測出死魚或瀕死魚時，進行所檢測出之死魚或瀕死魚的物體追蹤(object tracking)，計算出所檢測出之物體的移動量。然後，計算出的移動量為第1閾值以下時，則將該物體判定為死魚，計算出的移動量為第2閾值以下時，則將該物體判定為瀕死魚。在此，第1閾值係為了判別死魚所預先設定的閾值，考慮起因於海流之死魚的移動量所設定。第2閾值係為了判別瀕死魚所預先設定的閾值，設定為大於第1閾值。
接著，通知部314係接受來自使用者終端4的指示，從相機單元1取得感測器資料時，代替魚眼畫像，將包含藉由修正部312所生成的矩形畫像之畫像資料的感測器資料，發送至使用者終端4。另一方面，從定期性取得的魚眼畫像，藉由檢測部313檢測出死魚時，將表示其要旨的死魚檢測通知發送至使用者終端4，檢測出瀕死魚時，將表示其要旨的瀕死魚檢測通知發送至使用者終端4。
接著，使用者終端4係藉由魚籠LB的管理者所使用的通訊終端，且用以從監視伺服器3接收感測器資料及各種通知的通訊終端。具體來說，例如智慧型手機及PC。圖6係揭示使用者終端4的電性構造之一例的區塊圖。同圖所示的使用者終端4係具備CPU等的處理器41、DRAM等的揮發性記憶體42、快閃記憶體等的非揮發性記憶體43、網路卡44、液晶顯示器等的顯示器45、觸控面板46。該使用者終端4所具備的處理器41執行記憶於非揮發性記憶體43的控制程式時，可提供資料取得部411、畫面生成部412的各功能。
資料取得部411係在藉由利用者指示感測器資料的顯示時，對於監視伺服器3發送資料取得指示，取得從監視伺服器3發送的感測器資料。又，資料取得部411係取得從監視伺服器3發送的死魚檢測通知或瀕死魚檢測通知。
畫面生成部412係依據藉由資料取得部411所取得的感測器資料，生成感測器資料顯示畫面，並顯示於顯示器45。於該感測器資料顯示畫面，顯示魚籠LB的水中畫像、水溫及水壓，然後，相機單元1的框體內溫度。所顯示的水中畫像係包含於感測器資料的矩形畫像中的一部分，利用者可利用在使用者終端4上進行水平垂直變焦操作，來觀察矩形畫像整體。又，畫面生成部412係依據藉由資料取得部411所取得的死魚檢測通知，生成通知死魚的檢測的死魚檢測通知畫面，並顯示於顯示器45。又，畫面生成部412係依據藉由資料取得部411所取得的瀕死魚檢測通知，生成通知瀕死魚的檢測的瀕死魚檢測通知畫面，並顯示於顯示器45。
1-2.動作 接著，針對魚監視系統的動作進行說明。具體來說，針對接受使用者終端4之利用者的指示所執行的即時監視動作，與不依使用者終端4之利用者的指示，自動執行的定期監視動作進行說明。
圖7係揭示即時監視動作之一例的序列圖。 在藉由使用者終端4的利用者指示感測器資料的顯示時，使用者終端4的資料取得部411係對於監視伺服器3發送資料取得指示(步驟Sa1)。監視伺服器3的資料取得部311係受理從使用者終端4發送的資料取得指示時，對於通訊單元2發送資料輸出指示(步驟Sa2)。相機單元1的資料輸出部171係透過通訊單元2受理從監視伺服器3發送的資料輸出指示時(步驟Sa3)，使燈部12點燈，對相機11輸出攝影指示，以取得表示藉由相機11所攝影之動畫的畫像資料。又，從水溫感測器13、水壓感測器14及溫度感測器15，取得水溫資料、水壓資料及框體內溫度資料。然後，生成包含所取得之各資料的感測器資料(步驟Sa4)，為了發送至監視伺服器3，輸出至通訊單元2(步驟Sa5)。
監視伺服器3的資料取得部311係透過通訊單元2取得從相機單元1輸出的感測器資料(步驟Sa6)。監視伺服器3的修正部312係對於藉由資料取得部311所取得之感測器資料中，藉由畫像資料表示之圓形的魚眼畫像，進行公知的失真校正處理，生成矩形畫像(步驟Sa7)。監視伺服器3的通知部314係從相機單元1取得感測器資料中，代替魚眼畫像，將包含藉由修正部312所生成的矩形畫像之畫像資料的感測器資料，發送至使用者終端4(步驟Sa8)。
使用者終端4的資料取得部411係取得從監視伺服器3發送的感測器資料。使用者終端4的畫面生成部412係依據藉由資料取得部411所取得的感測器資料，生成感測器資料顯示畫面，並顯示於顯示器45(步驟Sa9)。於該感測器資料顯示畫面，顯示魚籠LB的水中畫像、水溫及水壓，然後，相機單元1的框體內溫度。利用參照該畫面，使用者終端4的利用者可得知魚籠LB內之現在的樣子。 以上是針對即時監視動作的說明。
圖8係揭示定期監視動作之一例的序列圖。 監視伺服器3的資料取得部311係定期對於通訊單元2發送資料輸出指示(步驟Sb1)。相機單元1的資料輸出部171係透過通訊單元2受理從監視伺服器3發送的資料輸出指示時(步驟Sb2)，使燈部12點燈，對相機11輸出攝影指示，以取得表示藉由相機11所攝影之動畫的畫像資料。又，從水溫感測器13、水壓感測器14及溫度感測器15，取得水溫資料、水壓資料及框體內溫度資料。然後，生成包含所取得之各資料的感測器資料(步驟Sb3)，為了發送至監視伺服器3，輸出至通訊單元2(步驟Sb4)。
監視伺服器3的資料取得部311係透過通訊單元2取得從相機單元1輸出的感測器資料(步驟Sb5)。監視伺服器3的修正部312係對於藉由資料取得部311所取得之感測器資料中，藉由畫像資料表示之圓形的魚眼畫像，進行公知的失真校正處理，生成矩形畫像(步驟Sb6)。監視伺服器3的檢測部313係對於藉由修正部312所生成的矩形畫像，適用藉由機器學習所生成的識別器，檢測出死魚或瀕死魚(步驟Sb7)。檢測部313係檢測出死魚或瀕死魚時，進行所檢測出之死魚或瀕死魚的物體追蹤，計算出所檢測出之物體的移動量(步驟Sb8)。然後，計算出的移動量為第1閾值以下時，則將該物體判定為死魚，計算出的移動量為第2閾值以下時，則將該物體判定為瀕死魚(步驟Sb9)。監視伺服器3的通知部314係在藉由檢測部313檢測出死魚時，將表示其要旨的死魚檢測通知發送至使用者終端4，檢測出瀕死魚時，將表示其要旨的瀕死魚檢測通知發送至使用者終端4(步驟Sb10)。
使用者終端4的資料取得部411係取得從監視伺服器3發送的死魚檢測通知或瀕死魚檢測通知。使用者終端4的畫面生成部412係在藉由資料取得部411取得死魚檢測通知時，將通知死魚的檢測的死魚檢測通知畫面顯示於顯示器45，另一方面，在藉由資料取得部411取得瀕死魚檢測通知時，將通知瀕死魚的檢測的瀕死魚檢測通知畫面，顯示於顯示器45(步驟Sb11)。接受死魚檢測通知之使用者終端4的利用者，可利用迅速地將死魚從魚籠LB去除，防止以死魚作為媒介的疾病的蔓延。又，利用接受瀕死魚檢測通知，可在瀕死魚死亡之前，捕獲該魚進行販賣。 以上是針對定期監視動作的說明。
2.變形例 前述的實施形態如下所述般變形亦可。再者，後述的變形例相互組合亦可。
2-1.變形例1 前述的魚監視系統係以魚(換句話說魚類)作為監視對象，但是，利用於用以監視魚以外的水生動物亦可。
2-2.變形例2 相機單元1係固定於魚籠LB的底部中央以外的場所亦可。例如固定於呈有底筒狀之養殖網N的側面亦可。
2-3.變形例3 相機單元1的外觀並不限定於圖2所示的範例。構成相機單元1之各構成要素的形狀、素材、數量及配置，係因應使用的環境適當變更亦可。
2-4.變形例4 使用公知的水中通訊技術，以無線進行相機單元1與通訊單元2之間的通訊亦可。 或者，使用公知的水中通訊技術，讓相機單元1與監視伺服器3直接進行通訊亦可。
2-5.變形例5 搭載於相機單元1的鏡頭並不限定於魚眼鏡頭。代替魚眼鏡頭，搭載視角40度到60度的標準鏡頭亦可。此時，該鏡頭係在相機單元1固定於海中時，以可對海底附近進行攝影之方式配置。
2-6.變形例6 相機單元1的燈部12的顏色並不限定於白色。燈部12的顏色係因應魚籠LB的環境、飼育之魚的習性等適當決定亦可。
又，讓相機單元1具備分別顏色不同之複數燈部，因應狀況切換所使用的燈部亦可。具體來說，例如讓相機單元1更具備即使在污濁的水中也難以衰減的藍色或紅色的LED燈部，在攝影時的天氣是晴天或陰天時使用白色LED燈部，雨天時使用藍色或紅色LED燈部亦可。此時，監視伺服器3係在對於相機單元1發送資料輸出指示時，也一併發送天氣資訊，相機單元1係因應所接收的天氣資訊，選擇使用之燈部的顏色。
2-7.變形例7 相機單元1也將加速度感測器16的輸出值，作為感測器資料，發送至監視伺服器3亦可。監視伺服器3係根據將加速度感測器16的輸出值，檢測出相機單元1的傾斜，判定所檢測出的傾斜是否超過所定閾值。在此，所定閾值係檢測出相機單元1的倒下的時候，設定為適切之值(例如正負45度)。然後，在所檢測出的傾斜超過所定閾值時，對於使用者終端4，發送倒下通知。接收了該倒下通知之使用者終端4的利用者，可發覺相機單元1已倒下一事。
2-8.變形例8 監視伺服器3的檢測部313係為了提升檢測精度而縮小矩形畫像內的檢測範圍，但不一定縮小亦可。檢測部313係根據矩形畫像整體，檢測出死魚或瀕死魚亦可。
2-9.變形例9 瀕死魚一般來說與死魚不同，會開閉魚鰓。因此，注目於魚的魚鰓的動態，識別死魚與瀕死魚亦可。具體來說，監視伺服器3的檢測部313係為了提升死魚與瀕死魚的識別精度，進行物體追蹤的結果，關於判定為死魚的物體，特定魚鰓部分之移動量的變化，在所特定的變化與用以判別瀕死魚的所定模式一致時，將該物體判定為瀕死魚，在所特定的變化不與所定模式一致時，將該物體判定為死魚亦可。
2-10.變形例10 魚籠LB中飼育的魚是僅利用靜止畫即可識別死魚與瀕死魚之種類的魚時，省略動體追蹤的處理亦可。此時，監視伺服器3的檢測部313係對於藉由修正部312所生成的矩形畫像，適用藉由機器學習所生成的識別器(換句話說識別模型)，檢測出死魚及瀕死魚。在此，識別器係藉由學習死魚的正資料與瀕死魚的正資料與正常之活魚的正資料的特徵量來生成。學習的特徵量係例如Harr-like特徵量、LBP特徵量或HOG特徵量。
2-11.變形例11 監視伺服器3的檢測部313不一定需要可檢測出死魚與瀕死魚雙方亦可。根據魚監視系統之利用者的需求，僅可檢測出死魚與瀕死魚之一方亦可。
2-12.變形例12 有飼育之魚的天敵魚(例如鯊魚)侵入魚籠LB內的狀況。如果不管侵入之天敵魚的話，有飼育的魚被捕食的可能性。因此，監視伺服器3係檢測出侵入的天敵魚，將其要旨通知使用者終端4亦可。此時，具體來說，監視伺服器3的檢測部313係對於藉由修正部312所生成的矩形畫像，適用藉由機器學習所生成的識別器(換句話說，識別模型)，檢測出死魚或瀕死魚與天敵魚。在此所使用的識別器係藉由學習死魚及瀕死魚的正資料與天敵魚的正資料與正常之活魚的正資料的特徵量來生成。學習的特徵量係例如Harr-like特徵量、LBP特徵量或HOG特徵量。在藉由檢測部313檢測出天敵魚時，監視伺服器3的通知部314係將表示其要旨的天敵魚檢測通知發送至使用者終端4。接收了該天敵魚檢測通知之使用者終端4的利用者，可發覺天敵魚的侵入一事。
天敵魚一般來說會從養殖網N的破口侵入。養殖網N的破口係為了避免天敵魚的進一步侵入，與飼育之魚的流出，需要進行修補。因此，在檢測出天敵魚時，將接近天敵魚通過的破口的該檢測位置，通知使用者終端4的利用者亦可。此時，具體來說，監視伺服器3係在藉由檢測部313檢測出天敵魚時，將檢測出該天敵魚的矩形畫像中該天敵魚的位置，使用所定轉換表，轉換成魚籠LB內的位置。在此所使用的所定轉換表係將矩形畫像中之平面座標與魚的尺寸值之組，與魚籠LB的空間座標建立對應的表格。利用該轉換表，特定天敵魚的魚籠LB內的位置時，監視伺服器3的通知部314係將通知所特定之位置的天敵魚檢測通知，發送至使用者終端4。接收了該天敵魚檢測通知之使用者終端4的利用者，可得知接近天敵魚通過的破口之魚籠LB內的位置。
2-13.變形例13 天敵魚一般來說，體型大魚飼育的魚，因此，游泳聲音也會比飼育的魚還大。因此，讓相機單元1具備麥克風，藉由麥克風擷取天敵魚的游泳音時，進行變形例12所記載之檢測處理亦可。利用減少檢測處理的頻度，可抑制伴隨相機單元1之畫像攝影的電力消費。此時，具體來說，相機單元1的資料輸出部171係受理從監視伺服器3定期發送的聲音資料輸出指示時，將藉由麥克風擷取之水中的聲音資料，發送至監視伺服器3。監視伺服器3係判定從相機單元1發送之聲音資料的音量是否超過所定閾值。在此，所定閾值係為了判別天敵魚的游泳音所預先設定。聲音資料的音量超過所定閾值時，監視伺服器3的資料取得部311係從相機單元1取得感測器資料。包含於所取得之感測器資料的畫像資料，係如上述，成為檢測處理的對象。
2-14.變形例14 相機單元1、監視伺服器3及使用者終端4之各功能的配置，係因應本發明的實施環境適當變更亦可。例如，藉由使用者終端4的畫面生成部412所生成的畫面，係於監視伺服器3中生成，將生成的畫面顯示於使用者終端4亦可。
2-15.變形例15 在1個魚籠LB內使用複數相機單元1亦可。使用複數相機單元1時，為了提升死魚的檢測精度，以從複數相機單元1的攝影畫像檢測出死魚一事，斷定死魚的檢測亦可。假設使用兩台相機單元1A及1B時，監視伺服器3係在從相機單元1A的矩形畫像檢測出死魚時，將檢測出該死魚的矩形畫像中該死魚的位置，使用變形例12所記載的轉換表，轉換成魚籠LB內的位置。再者，該轉換表中，魚籠LB的空間座標係因應相機單元1A的固定位置來預先決定。又，監視伺服器3係在從相機單元1B的矩形畫像檢測出死魚時，將檢測出該死魚的矩形畫像中該死魚的位置，使用變形例12所記載的轉換表，轉換成魚籠LB內的位置。再者，該轉換表中，魚籠LB的空間座標係因應相機單元1B的固定位置來預先決定。監視伺服器3係在所特定的兩個位置在所定範圍內時，則判定所檢測出的死魚是相同死魚，斷定死魚的檢測。 再者，前述的說明係死魚的檢測時利用複數相機單元1之狀況的說明，但是，在瀕死魚的檢測時及天敵魚的檢測時也利用複數相機單元1，提升檢測精度亦可。
2-16.變形例16 省略修正部312所致之失真校正處理亦可。
2-17.變形例17 檢測部313係利用不使用藉由機器學習所生成的識別氣的方法，檢測出死魚及/或瀕死魚亦可。
1:相機單元 2:通訊單元 3:監視伺服器 4:使用者終端 11:相機 12:燈部 13:水溫感測器 14:水壓感測器 15:溫度感測器 16:加速度感測器 17:控制部 31:處理器 32:揮發性記憶體 33:非揮發性記憶體 34:網路卡 41:處理器 42:揮發性記憶體 43:非揮發性記憶體 44:網路卡 45:顯示器 46:觸控面板 101:框體 102:蓋子部 103:孔部 104:纜線拉出口 171:資料輸出部 311:資料取得部 312:修正部 313:檢測部 314:通知部 411:資料取得部 412:畫面生成部 LB:魚籠 C:纜線 N:養殖網 NW:通訊網路 R:檢測區域
[圖1]揭示魚監視系統的構造之一例的圖。 [圖2]揭示相機單元1的外觀之一例的圖。 [圖3]揭示相機單元1的電性構造之一例的區塊圖。 [圖4]揭示監視伺服器3的電性構造之一例的區塊圖。 [圖5]揭示矩形畫像之一例的圖。 [圖6]揭示使用者終端4的電性構造之一例的區塊圖。 [圖7]揭示即時監視動作之一例的序列圖。 [圖8]揭示定期監視動作之一例的序列圖。
1:相機單元
2:通訊單元
3:監視伺服器
4:使用者終端
LB:魚籠
C:纜線
N:養殖網
NW:通訊網路

Claims (11)

  1. 一種魚監視系統，係用以監視在魚籠中飼養的魚的魚監視系統，其特徵為具備： 相機單元，係固定於前述魚籠的底部； 監視伺服器，係透過通訊網路與前述相機單元連接；及 使用者終端，係透過前述通訊網路與前述監視伺服器連接； 前述相機單元，係具備： 相機，係具備朝向前述魚籠的水面的鏡頭；及 發送部，係將藉由前述相機所攝影的畫像，發送至前述監視伺服器； 前述監視伺服器，係具備： 檢測部，係依據前述畫像，檢測出死魚或瀕死魚；及 通知部，係在藉由前述檢測部檢測出死魚或瀕死魚時，將檢測出死魚或瀕死魚一事通知前述使用者終端。
  2. 如請求項1所記載之魚監視系統，其中， 前述檢測部，係利用對於前述畫像，適用藉由機器學習所生成的識別模型，檢測出死魚或瀕死魚。
  3. 如請求項1所記載之魚監視系統，其中， 前述檢測部，係檢測出死魚或瀕死魚； 前述通知部，係在藉由前述檢測部檢測出死魚時，將檢測出死魚一事通知前述使用者終端，在藉由前述檢測部檢測出瀕死魚時，將檢測出瀕死魚一事通知前述使用者終端。
  4. 如請求項1至3中任一項所記載之魚監視系統，其中， 前述相機單元，係平板狀； 前述鏡頭，係魚眼鏡頭； 前述發送部，係將藉由前述相機所攝影的魚眼畫像，發送至前述監視伺服器。
  5. 如請求項4所記載之魚監視系統，其中， 前述監視伺服器，係更具備對於前述魚眼畫像進行失真校正處理，以生成矩形畫像的修正部； 前述檢測部，係依據前述矩形畫像，檢測出死魚或瀕死魚。
  6. 如請求項1至5中任一項所記載之魚監視系統，其中， 前述相機單元，係更具備： 白色燈部及藍色或紅色燈部；及 燈部控制部，係在前述相機所致之攝影時，因應天氣使前述白色燈部與前述藍色或紅色燈部的任一點燈。
  7. 如請求項1至6中任一項所記載之魚監視系統，其中， 前述相機單元，係更具備麥克風； 前述發送部，係將藉由前述麥克風所擷取之水中的聲音，發送至前述監視伺服器； 前述監視伺服器，係更具備： 判定部，係判定前述聲音的音量是否超過所定閾值；及 資料取得部，係在藉由前述判定部進行肯定性判定時，發送對於前述相機單元的攝影指示； 前述發送部，係以前述攝影指示被前述相機單元接收作為契機，將藉由前述相機所攝影的畫像，發送至前述監視伺服器。
  8. 如請求項1至7中任一項所記載之魚監視系統，其中， 前述檢測部，係更檢測出前述魚的天敵魚； 前述通知部，係在藉由前述檢測部檢測出天敵魚時，將檢測出天敵魚一事通知前述使用者終端。
  9. 如請求項8所記載之魚監視系統，其中， 前述監視伺服器，係更具備在藉由前述檢測部檢測出天敵魚時，將前述畫像中該天敵魚的位置，使用所定轉換表，轉換成前述魚籠內的位置的轉換部； 前述通知部，係將藉由前述轉換部所特定之前述魚籠內的位置通知前述使用者終端。
  10. 如請求項9所記載之魚監視系統，其中， 具備複數相機單元； 前述轉換部，係在藉由前述檢測部檢測出死魚時，將前述畫像中該死魚的位置，使用所定轉換表，轉換成前述魚籠內的位置； 依據從前述複數相機單元中的第1相機單元發送的畫像所檢測出之死魚的前述魚籠內的位置，與依據從前述複數相機單元中的第2相機單元發送的畫像所檢測出之死魚的前述魚籠內的位置進入所定範圍內時，前述通知部係將檢測出死魚一事通知前述使用者終端。
  11. 一種相機單元，係固定於前述魚籠的底部的相機單元，其特徵為具備： 相機，係具備朝向前述魚籠的水面的鏡頭；及 發送部，係將藉由前述相機所攝影的畫像，發送至前述監視伺服器。
TW109100282A 2019-01-11 2020-01-06 魚監視系統及相機單元 TW202032969A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019003327A JP6530152B1 (ja) 2019-01-11 2019-01-11 魚監視システム
JP2019-003327 2019-01-11

Publications (1)

Publication Number Publication Date
TW202032969A true TW202032969A (zh) 2020-09-01

Family

ID=66821720

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100282A TW202032969A (zh) 2019-01-11 2020-01-06 魚監視系統及相機單元

Country Status (7)

Country Link
EP (1) EP3909424A4 (zh)
JP (1) JP6530152B1 (zh)
AU (1) AU2020207707A1 (zh)
MX (1) MX2021008271A (zh)
NO (1) NO20210908A1 (zh)
TW (1) TW202032969A (zh)
WO (1) WO2020145336A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112450146A (zh) * 2020-11-26 2021-03-09 澜途集思生态科技集团有限公司 适于水产养殖的控制系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110250053B (zh) * 2019-07-25 2021-09-14 广东中科英海科技有限公司 一种用于斑马鱼研究的视动反应测试系统
JP7243986B2 (ja) * 2019-10-24 2023-03-22 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
US11475689B2 (en) * 2020-01-06 2022-10-18 X Development Llc Fish biomass, shape, size, or health determination
US11657498B2 (en) * 2020-04-10 2023-05-23 X Development Llc Multi-chamber lighting controller for aquaculture
US20220000079A1 (en) * 2020-07-06 2022-01-06 Ecto, Inc. Acoustics augmentation for monocular depth estimation
KR102622793B1 (ko) * 2021-11-05 2024-01-09 주식회사 부상 양식 어류의 실시간 질병 감지시스템 및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037755A (ja) 2001-07-26 2003-02-07 Fuji Photo Optical Co Ltd 水中監視システム
JP3700849B2 (ja) * 2002-11-26 2005-09-28 Ｎｅｃエンジニアリング株式会社 養殖魚介類盗難防止装置
DE602004020558D1 (de) * 2003-08-26 2009-05-28 Com E Ind Equa Ltda Puerto Mon Verfahren zur Überwachung und Steuerung des unverzehrtes Futters in Fischzuchtanlagen
JP2007187575A (ja) * 2006-01-13 2007-07-26 Shikoku Res Inst Inc 水質監視装置および水質監視方法
JP3160730U (ja) * 2010-01-05 2010-07-08 山本　隆洋 魚類監視水槽
WO2016065294A1 (en) * 2014-10-24 2016-04-28 Wahoo Technologies, LLC System and method for providing underwater video
CN205958008U (zh) * 2016-06-01 2017-02-15 湖南理工学院 一种用于水产养殖的死鱼监控装置
JP6583565B2 (ja) * 2016-09-30 2019-10-02 日本電気株式会社 計数システムおよび計数方法
CN106550223A (zh) * 2017-01-13 2017-03-29 湖南理工学院 一种用于水产养殖的死鱼监控装置及监控方法
CN206370898U (zh) * 2017-01-13 2017-08-01 湖南理工学院 一种用于水产养殖的死鱼监控装置
CN107423745A (zh) * 2017-03-27 2017-12-01 浙江工业大学 一种基于神经网络的鱼类活性分类方法
JP6401411B1 (ja) * 2018-02-13 2018-10-10 株式会社Ａｉハヤブサ 人工知能による漁獲物識別システム、管理システム及び物流システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112450146A (zh) * 2020-11-26 2021-03-09 澜途集思生态科技集团有限公司 适于水产养殖的控制系统

Also Published As

Publication number Publication date
NO20210908A1 (en) 2021-07-14
AU2020207707A1 (en) 2021-07-29
JP6530152B1 (ja) 2019-06-12
MX2021008271A (es) 2021-09-30
WO2020145336A1 (ja) 2020-07-16
JP2020110079A (ja) 2020-07-27
EP3909424A1 (en) 2021-11-17
EP3909424A4 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
TW202032969A (zh) 魚監視系統及相機單元
US9609206B2 (en) Image processing apparatus, method for controlling image processing apparatus and storage medium
US9491370B2 (en) Methods and apparatuses for providing guide information for a camera
CN105959581A (zh) 具有动态控制闪光灯的用于图像捕捉的电子设备及相关的控制方法
AU2016421610B2 (en) Feeding system and feeding method
US10158798B2 (en) Imaging apparatus and method of controlling the same
KR20190022886A (ko) 수중 낚시 카메라, 스마트 낚시 카메라 시스템, 및 자동 화상 회전 및 안정화를 위한 시스템 및 방법
JP2020110138A (ja) 魚監視システム及びカメラユニット
US20230270078A1 (en) Bird station
JP2013186691A (ja) 画像処理装置及び画像処理方法並びにプログラム
TW201020972A (en) System and method to generate depth data using edge detection
JP2016503913A (ja) セキュリティ監視システム及び相応な警報触発方法
JPWO2019045091A1 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
KR20170091466A (ko) 물고기의 종류를 감지하는 스마트 낚시찌
CN105918268A (zh) 一种可视智能钓鱼装置
JP5805423B2 (ja) 全方位撮影システム
JP2009111532A (ja) 撮像装置
WO2021130950A1 (ja) 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体
CN208875158U (zh) 捕捞装置
JP4741019B2 (ja) インターホン装置
JPWO2015141185A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN113763362A (zh) 水下图像智能检测处理系统
JP2010114941A (ja) 撮像装置、プログラムおよび角度表示方法
JP2017153055A (ja) 吊下式カメラ装置
JP2010210277A (ja) 音場可視化装置