KR20220074043A - 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치 - Google Patents

심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치 Download PDF

Info

Publication number
KR20220074043A
KR20220074043A KR1020200162094A KR20200162094A KR20220074043A KR 20220074043 A KR20220074043 A KR 20220074043A KR 1020200162094 A KR1020200162094 A KR 1020200162094A KR 20200162094 A KR20200162094 A KR 20200162094A KR 20220074043 A KR20220074043 A KR 20220074043A
Authority
KR
South Korea
Prior art keywords
deep neural
neural network
fish species
image
image processing
Prior art date
Application number
KR1020200162094A
Other languages
English (en)
Inventor
임태호
송현학
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Priority to KR1020200162094A priority Critical patent/KR20220074043A/ko
Publication of KR20220074043A publication Critical patent/KR20220074043A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 어종 인식 및 체장 측정에 관한 것으로서, 더욱 상세하게는 해양어선에서 잡은 어류를, 육지의 컨테이너 벨트 위에서 카메라를 이용하여 객체의 영상을 수신하고, 이 수신된 객체의 영상을 이용하여 객체의 어종 인식 및 체장을 측정하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치에 관한 것이다.

Description

심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치{Fish species recognition and body length measurement method and apparatus using deep neural network and image processing}
본 발명은 어종 인식 및 체장 측정에 관한 것으로서, 더욱 상세하게는 해양어선에서 잡은 어류를, 육지의 컨테이너 벨트 위에서 카메라를 이용하여 객체의 영상을 수신하고, 이 수신된 객체의 영상을 이용하여 객체의 어종 인식 및 체장을 측정하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치에 관한 것이다.
우리나라의 등록어선통계에 따르면, 2019년도에 총 등록어선 수는 65,835척이며, 이 중 일부로 연안어선은 37,785척, 양식어선은 19,347척, 근해어선은 2,677척이다. 이에 따른 연근해 어업 생산량의 통계청 국가통계포털에 따르면 2019년 91만 4,229톤에 달한다. 이렇게 잡은 어업들은 시장에 유통하기 전에 어류의 종류, 크기에 따라 사람이 직접 분류하는 작업을 거친다. 하지만 선박과 어종에 따라서 잡은 어류의 수는 수십 마리부터 수백, 수천 마리이며, 사람이 각각의 어류의 정보를 파악하여 분류작업을 하기 에는 많은 작업 시간이 요구될 뿐만 아니라 정확한 판단 및 측정을 하는 데 어려움이 있다. 더불어 포스트 코로나19 시대에 돌입하여 감염 여부의 문제로 인해 사람들을 고용하기에 안전성에 대한 부담이 있는 동시에 소수의 인원으로 일을 처리하는 데 시간적인 어려움이 있다. 따라서 위의 상황의 어려움을 해결하기 위해 사람이 직접 수작업을 거치지 않고 자동으로 어류의 종류, 길이, 수를 파악하는 자동화 시스템의 필요성이 나타나고 있다.
CN 104992189 A
본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, 해양어선에서 잡은 어류를, 육지의 컨테이너 벨트 위에서 카메라를 이용하여 객체의 영상을 수신하고, 이 수신된 객체의 영상을 이용하여 객체의 어종 인식 및 체장을 측정하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치를 제공하는 것을 목적으로 한다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 심층신경망 및 영상처리를 이용하여 어종을 인식하고 체장을 측정하는 방법으로서, (a) 카메라로부터 실시간 객체 영상을 수신하는 단계; (b) 상기 단계 (a)에서 수신된 객체 영상에 대한 전처리를 수행하여 객체의 체장을 측정하는 단계; (c) 상기 단계 (a)에서 수신된 객체 영상을 딥러닝(deep learning)기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 종류를 인식하고 이 인식된 객체의 종류에 따라 수를 카운팅하는 단계; 및 (d) 상기 단계 (a)에서 수신된 객체 영상에 대한 정보를 출력하는 단계를 포함하낟.
상기 단계 (a) 이후에, 상기 수신된 객체 영상에서 서로 다른 콘트라스트가 적용된 객체 영상을 각각 캡쳐하여 분류하는 단계를 더 포함한다.
상기 서로 다른 콘트라스트는 LED가 온/오프로 동작되어 적용되는 것이다.
상기 단계 (b)에서의 객체 영상은 LED가 온 된 상태로 촬영된 것이다.
상기 단계 (c)에서의 객체 영상은 LED가 오프 된 상태로 촬영된 것이다.
상기 수신된 객체 영상의 전처리는, (b1) 입력된 영상을 회색으로 변환하는 단계; (b2) 상기 변환된 영상에서 객체의 테두리를 검출하는 단계; (b3) 상기 검출된 테두리에 위치한 라인의 점들을 찾아 객체가 포함되며 배경이 최소한으로 들어간 사각형 박스 영역을 검출하는 단계; (b4) 상기 검출된 박스 영역을 정으로 와핑하고 크롭하는 단계; (b5) 상기 크롭된 영역에 존재하는 객체를 블러링하는 단계; (b6) 상기 블러링된 객체를 이진화하여 세그멘테이션을 추출하는 단계; 및 (b7) 상기 추출된 세그멘테이션 된 객체의 반복적인 침식 및 이진 연결 요소 라벨링으로 객체의 중심점을 찾아내는 단계를 포함하는 것이다.
상기 심층신경망 모델은 CNN(convolution neural network)를 포함하는 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 다른 측면은 심층신경망 및 영상처리를 이용하여 어종을 인식하고 체장을 측정하기 위한 비일시적 저장 매체에 저장된 컴퓨터 프로그램으로서, 비일시적 저장매체에 저장되며, 프로세서에 의하여, (a) 카메라로부터 실시간 객체 영상을 수신하는 단계; (b) 상기 단계 (a)에서 수신된 객체 영상에 대한 전처리를 수행하여 객체의 체장을 측정하는 단계; (c) 상기 단계 (a)에서 수신된 객체 영상을 딥러닝(deep learning)기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 종류를 인식하고 이 인식된 객체의 종류에 따라 수를 카운팅하는 단계; 및 (d) 상기 단계 (a)에서 수신된 객체 영상에 대한 정보를 출력하는 단계가 실행되도록 하는 명령을 포함하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법을 수행하기 위한, 비일시적 저장 매체에 저장된 컴퓨터 프로그램.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 심층신경망 및 영상처리를 이용하여 어종을 인식하고 체장을 측정하기 위한 장치로서, (a) 카메라로부터 실시간 객체 영상을 수신하는 단계; (b) 상기 단계 (a)에서 수신된 객체 영상에 대한 전처리를 수행하여 객체의 체장을 측정하는 단계; (c) 상기 단계 (a)에서 수신된 객체 영상을 딥러닝(deep learning)기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 종류를 인식하고 이 인식된 객체의 종류에 따라 수를 카운팅하는 단계; 및 (d) 상기 단계 (a)에서 수신된 객체 영상에 대한 정보를 출력하는 단계가 실행되도록 하는, 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치.
본 발명에 의하면, 사람이 수작업을 거쳐 어종별로 분류하고 계측하는 데 거리는 시간을 최소화시킬 수 있어 시간에 대한 기회비용이 늘어날 뿐 만 아니라 사람을 고용하는 비용을 절감하는 효과가 있다.
또한 포스트 코로나19 시대에서 본 발명의 자동화 시스템을 통해 현재 어류분류의 수작업 과정에서 발생하는 사람 간의 감영 위험성을 없애는 효과가 있다.
도 1은 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 수 카운팅 그리고 체장 측정 어플리케이션이 탑재된 컴퓨터 장치의 구성을 나타낸 도면.
도 2는 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법을 나타낸 순서도
도 3은 도 2에 따른 영상처리를 이용한 객체의 체장을 측정하는 방법을 나타낸 순서도 및 예시도.
도 4는 도 3에 따른 단계 S280의 예시도.
도 5는 도 2에 따른 심층신경망을 이용한 어종 인식을 설명하기 위한 도면.
도 6은 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치의 구성을 나타낸 도면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 수 카운팅 그리고 체장 측정 어플리케이션이 탑재된 컴퓨터 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치(100)는 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(111), 실행 중인 프로그램을 저장하는 휘발성 메모리(112), 다른 기기와 통신을 수행하기 위한 통신부(113), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행중인 프로그램으로는 장치 드라이버, 운영체계(Operating System) 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만 전력제공부를 포함한다.
체장 측정 어플리케이션(120))과 어종 인식 및 수 카운팅 어플리케이션(121)은 컨베이어 벨트에 부착된 카메라(200)로부터 영상을 수신하여 어류의 체장 측정 및 어종 인식 그리고 수 카운팅 역할을 수행한다.
컨베이어 벨트는 어선에서 잡은 어류들을 육지에서 분류하기 위하여 사용되며, 이 컨베이어 벨트 위에 어류들이 올려 지면, 올려 진 어류들이 이동될 수 있도록 움직인다. 체장 측정 어플리케이션(120)은 영상처리를 이용하여 동작되는 프로그램으로 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치(100)에 설치되어 체장을 측정하게 되며, 어종 인식 및 수 카운팅 어플리케이션(121)은 심층신경망을 통하여 동작되는 프로그램으로써, 체장 측정 어플리케이션(120) 및 어종 인식 및 수 카운팅 어플리케이션(121)의 수행에 의하여 체장 측정 및 어종 인식 및 수 카운팅 방법에 관하여는 이하 도 2를 참조하여 상세히 후술하기로 한다.
도 2는 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법을 나타낸 순서도이다.
먼저 컨베이어 벨트에 부착된 카메라로부터 실시간으로 객체 영상을 수신한다.(S100). 이때 컨베이어 벨트의 하부에는 LED가 부착되는데, 이 컨베이어 벨트에 부착된 LED가 온/오프로 동작되고, 이 LED의 온/오프 동작에 의하여 서로 다른 콘트라스트가 적용된 영상을 수신하게 된다. 즉 카메라에서 촬영되는 객체 영상은 LED가 온/오프 된 영상으로 서로 다른 콘트라스트의 영상이 촬영될 것이다.
그리고 단계 S100에서 수신된 실시간 영상에서 LED가 온 된 상태와 LED가 오프된 상태에서 각각의 객체 영상을 캡쳐하여 분류한다(S200).
이어서 단계 S200에서 분류된 객체 영상 중 LED가 온 된 상태에서 캡쳐된 객체 영상에 대하여 전처리를 수행하여 이 객체의 체장을 측정한다(S300).
그리고 단계 S200에서 분류된 객체 영상 중 LED가 오프 된 상태에서 캡쳐된 객체 영상을 딥러닝 기반 심층신경망 모델을 이용하여 객체 영상의 종류를 인식하고 종류에 따른 수를 카운팅한다(S400).
이후 단계 S300에서 측정된 객체의 체장과 단계 S400에서 인식된 객체의 종류 및 이 인식된 종류에 따른 카운팅 수인 객체에 대한 정보를 출력한다(S500). 이때 객체에 대한 정보는 스피커 또는 디스플레이 장치 등으로 출력될 수 있다.
도 3은 도 2에 따른 영상처리를 이용한 객체의 체장을 측정하는 방법을 나타낸 순서도 및 예시도이고, 도 4는 도 3에 따른 단계 S280의 예시도이다.
도 3을 참조하면 앞서 설명한 바와 같이 카메라로부터 객체 영상이 수신되고, 이 수신된 객체 영상 중 LED가 온 된 상태에서 캡쳐된 영상을 이용한다. 즉 객체의 체장을 측정하기 위해서는 LED가 온 된 상태에서 캡쳐된 영상을 이용함으로 영상이 입력되면, 기존 RGB 채널로 이루어진 영상을 Grayscale을 통해 1개의 채널로 변경하여 회색으로 변환한다(S210).
그리고 회색으로 변환(S210)된 영상에서 캐니 엣지(Canny Edge)를 적용하여 객체의 테두리를 검출한다(S220).
이후 컨투어(Contours)를 적용하여 테두리에 위치한 라인의 점들을 찾아 객체가 포함되며 배경이 최소한으로 들어간 사각형 박스를 검출한다(S230~S240).
그리고 영상의 가로와 세로 크기에 맞게 회전되어 있는 박스 영역을 정으로 와핑하고 크롭을 수행한다(S250).
이후 단계 S250에서 크롭된 영역에 존재하는 객체의 세그멘테이션(Segmentation)을 추출하기 위하여 블러링(Blurring)을 처리하여 영상을 유연하게 만든다(S260)
그리고 상황에 따라 적절한 임계값(Threshold)을 자동으로 찾아주는 OTSU 이진화(Binarization) 처리를 수행하여 최종적으로 세그멘테이션을 추출한다(S270).
이어서 단계 S270에서 최종적으로 추출된 세그멘테이션 처리된 영상을 이용하여 반복적인 침식(Erode)과 이진 연결요소 라벨링(Binary -Connected Component Labeling)을 수행한다(S280). 여기서 단계 S280에 대한 예시도는 도 4에 나타내었으며, 이를 참조한 침식과정은 다음과 같다.
도 4의 침식과정은 객체인 어류의 세그멘테이션의 크기를 줄여나가는 것으로, 3번씩 침식 처리를 수행하고, 이진 연결 요소 라벨링을 통해 줄어든 세그멘테이션의 영역을 찾아 흰색 픽셀을 기준으로 양 끝점에서의 중앙점을 찾아 좌표를 저장한다. 그리고 위 과정을 10번 반복하여 진행하게 되면 최종적으로 객체의 세그멘테이션에서의 중앙점들을 찾을 수 있게 된다.
그리고 단계 S280 에서와 같이 세그멘테이션의 중앙점들이 찾아지면 이를 중앙점들의 연결을 통하여 어류의 체장 길이를 측정하게 된다(S290).
도 5는 도 2에 따른 심층신경망을 이용한 어종 인식을 설명하기 위한 도면으로 먼저 심층신경망은 영상 데이터를 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터를 입력하고, 심층신경망 모델에서 객체의 어종을 인식하게 된다. 이는 입력 레이어, 히든 레이어 및 출력 레이어를 포함한다. 입력 레이어는 각각의 전처리 데이터를 입력받는다. 히든 레이어는 다수의 레이어로 구성되고, 각 레이어는 컨볼루션 레이어 및 풀링 레이어를 포함한다. 컨볼루션 레이어는 컨볼루션 필터를 이용하여 각 레이어에 입력된 전처리 데이터에 컨볼루션 연산을 수행하고, 특징을 생성한다. 그리고 풀링(poling)을 통해 생성된 특징의 크기를 감소시키는데, 이때 컨볼루션 레이어 및 풀링 레이어를 특징 추출부로 나타낼 수 있다. 출력 레이어는 특징 추출부에 표현된 다양한 특징을 조합하여 클래스(class)를 분류한다. 이때, 출력 레이어는 완전 연결 레이어(fully connected layer)로 구성될 수 있으며 분류기로 나타내기도 한다. 일반적으로 인공 심층신경암의 구조(예컨대, 히든 레이어의 수, 각 레이어에서의 필터의 수와 크기 등)는 미리 결정되며, 각 레이어에서의 필터(특히, 컨볼루션 필터)의 가중치 메트릭스(weight matrix)는 이미 어느 클래스에 속할지 정답이 알려진 데이터들을 이용하여 적절한 값으로 산정된다. 이와 같이 이미 정답이 알려진 데이터들을 ‘학습 데이터’라고 하고, 필터의 가중치 메트릭스를 결정하는 과정을 ‘학습’이라고 한다.
본 발명의 심층신경망을 이용한 학습 모델은 크게 학습 단계와 예측 단계로 구성된다. 학습 단계는 데이터 수집, 데이터 특징 필터링, 가설정의, Cost 함수 정의, 학습 순서로 진행되며, 예측 단계는 실제 데이터를 이용해서 학습한 결과를 추정하는 것으로 본 발명에서는 실제 카메라로부터 수신된 영상 데이터를 이용해서 학습한 결과를 추정하는 것으로 수신된 객체 영상을 학습한 결과에 의하여 어종 인식과 어종에 따른 수를 카운팅할 수 있으며, 본 발명의 실시예에서는 도 5에 도시된 바와 같이 LED가 오프일 때 캡쳐 된 이미지를 4개의 컨볼루션 레이어와 2개의 맥스 풀링 그리고 2개의 덴스(Dense) 레이어로 구성된 심층신경망에 28*28로 리사이징하여 입력시킴으로 어종을 인식하는데 이때 심층학습 모델은 CNN 등 다양한 모델을 사용할 수 있고, 이 인식된 어종에 따라 수를 카운팅하게 된다.
도 6은 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측장 장치의 구성을 나타내는 도면이다.
도 1의 본 발명에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치(100)에서는 어종 인식 및 수 카운팅 어플리케이션(121) 그리고 체장 측정 어플리케이션(120)의 동작에 의해 수행하는 경우이며, 도 6의 경우에는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치(300)를 하드웨어적으로 구성한 것이다. 도 6에 따른 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치(300)는 카메라로부터 영상을 수신하는 영상 수신부(310)와 영상 수신부(310)로부터 수신된 영상을 캡쳐하여 분류하는 영상 분류부(320), 영상 분류부(320)로부터 분류된 영상 중 LED가 온 된 상태의 영상을 전처리하여 체장을 측정하는 체장 측정부(340), 영상 분류부(320)로부터 분류된 영상 중 LED가 오프된 상태의 영상을 입력 하여 어종 인식 및 인식된 어종에 따라 수를 카운팅하는 어종 인식 및 수 카운팅부(350) 그리고 영상 수신부로부터 수신된 영상에 대한 어류 정보를 제공하는 정보 출력부(360)를 포함하며 이들을 제어하는 제어부(330)를 포함한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100: 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치
110: 프로세서
111: 저장부
112: 메모리
113: 통신부
120: 체장 측정 어플리케이션
121: 어종 인식 및 수 카운팅 어플리케이션
200: 카메라

Claims (9)

  1. 심층신경망 및 영상처리를 이용하여 어종을 인식하고 체장을 측정하는 방법으로서,
    (a) 카메라로부터 실시간 객체 영상을 수신하는 단계;
    (b) 상기 단계 (a)에서 수신된 객체 영상에 대한 전처리를 수행하여 객체의 체장을 측정하는 단계;
    (c) 상기 단계 (a)에서 수신된 객체 영상을 딥러닝(deep learning)기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 종류를 인식하고 이 인식된 객체의 종류에 따라 수를 카운팅하는 단계; 및
    (d) 상기 단계 (a)에서 수신된 객체 영상에 대한 정보를 출력하는 단계
    를 포함하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법.
  2. 청구항 1에 있어서
    상기 단계 (a) 이후에,
    상기 수신된 객체 영상에서 서로 다른 콘트라스트가 적용된 객체 영상을 각각 캡쳐하여 분류하는 단계
    를 더 포함하는 하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법.
  3. 청구항 2에 있어서,
    상기 서로 다른 콘트라스트는 LED가 온/오프로 동작되어 적용되는 것
    을 특징으로 하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법.
  4. 청구항 1에 있어서,
    상기 단계 (b)에서의 객체 영상은 LED가 온 된 상태로 촬영된 것
    을 특징으로 하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법.
  5. 청구항 1에 있어서,
    상기 단계 (c)에서의 객체 영상은 LED가 오프 된 상태로 촬영된 것
    을 특징으로 하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법.
  6. 청구항 1에 있어서,
    상기 수신된 객체 영상의 전처리는,
    (b1) 입력된 영상을 회색으로 변환하는 단계;
    (b2) 상기 변환된 영상에서 객체의 테두리를 검출하는 단계;
    (b3) 상기 검출된 테두리에 위치한 라인의 점들을 찾아 객체가 포함되며 배경이 최소한으로 들어간 사각형 박스 영역을 검출하는 단계;
    (b4) 상기 검출된 박스 영역을 정으로 와핑하고 크롭하는 단계;
    (b5) 상기 크롭된 영역에 존재하는 객체를 블러링하는 단계;
    (b6) 상기 블러링된 객체를 이진화하여 세그멘테이션을 추출하는 단계; 및
    (b7) 상기 추출된 세그멘테이션 된 객체의 반복적인 침식 및 이진 연결 요소 라벨링으로 객체의 중심점을 찾아내는 단계
    를 포함하는 것을 특징으로 하는 심층신경망 및 영상처리를 이용한 어종 인신 및 체장 측정 방법.
  7. 청구항 1에 있어서,
    상기 심층신경망 모델은
    CNN(convolution neural network)를 포함하는 것
    을 특징으로 하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법.
  8. 심층신경망 및 영상처리를 이용하여 어종을 인식하고 체장을 측정하기 위한 비일시적 저장 매체에 저장된 컴퓨터 프로그램으로서,
    비일시적 저장매체에 저장되며, 프로세서에 의하여,
    (a) 카메라로부터 실시간 객체 영상을 수신하는 단계;
    (b) 상기 단계 (a)에서 수신된 객체 영상에 대한 전처리를 수행하여 객체의 체장을 측정하는 단계;
    (c) 상기 단계 (a)에서 수신된 객체 영상을 딥러닝(deep learning)기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 종류를 인식하고 이 인식된 객체의 종류에 따라 수를 카운팅하는 단계; 및
    (d) 상기 단계 (a)에서 수신된 객체 영상에 대한 정보를 출력하는 단계
    가 실행되도록 하는 명령을 포함하는 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법을 수행하기 위한, 비일시적 저장 매체에 저장된 컴퓨터 프로그램.
  9. 심층신경망 및 영상처리를 이용하여 어종을 인식하고 체장을 측정하기 위한 장치로서,
    (a) 카메라로부터 실시간 객체 영상을 수신하는 단계;
    (b) 상기 단계 (a)에서 수신된 객체 영상에 대한 전처리를 수행하여 객체의 체장을 측정하는 단계;
    (c) 상기 단계 (a)에서 수신된 객체 영상을 딥러닝(deep learning)기반 심층신경망 모델에 입력 데이터로 입력하고, 상기 심층신경망 모델에서 객체의 종류를 인식하고 이 인식된 객체의 종류에 따라 수를 카운팅하는 단계; 및
    (d) 상기 단계 (a)에서 수신된 객체 영상에 대한 정보를 출력하는 단계
    가 실행되도록 하는, 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 장치.
KR1020200162094A 2020-11-27 2020-11-27 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치 KR20220074043A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200162094A KR20220074043A (ko) 2020-11-27 2020-11-27 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200162094A KR20220074043A (ko) 2020-11-27 2020-11-27 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220074043A true KR20220074043A (ko) 2022-06-03

Family

ID=81983136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162094A KR20220074043A (ko) 2020-11-27 2020-11-27 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220074043A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883828A (zh) * 2023-08-22 2023-10-13 中国科学院水生生物研究所 一种智能化鱼类生长性能识别方法及分析系统
CN116935327A (zh) * 2023-09-07 2023-10-24 深圳市明心数智科技有限公司 基于ai视觉的水产养殖监控方法、装置、设备及存储介质
KR102676179B1 (ko) 2023-12-19 2024-06-19 어업회사법인주식회사블루젠 어류용 디지털계측판을 이용한 측정방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992189A (zh) 2015-07-22 2015-10-21 河海大学常州校区 基于深度学习网络模型的鱼群异常行为识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992189A (zh) 2015-07-22 2015-10-21 河海大学常州校区 基于深度学习网络模型的鱼群异常行为识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883828A (zh) * 2023-08-22 2023-10-13 中国科学院水生生物研究所 一种智能化鱼类生长性能识别方法及分析系统
CN116883828B (zh) * 2023-08-22 2023-11-24 中国科学院水生生物研究所 一种智能化鱼类生长性能识别方法及分析系统
CN116935327A (zh) * 2023-09-07 2023-10-24 深圳市明心数智科技有限公司 基于ai视觉的水产养殖监控方法、装置、设备及存储介质
CN116935327B (zh) * 2023-09-07 2023-12-22 深圳市明心数智科技有限公司 基于ai视觉的水产养殖监控方法、装置、设备及存储介质
KR102676179B1 (ko) 2023-12-19 2024-06-19 어업회사법인주식회사블루젠 어류용 디지털계측판을 이용한 측정방법

Similar Documents

Publication Publication Date Title
Rathi et al. Underwater fish species classification using convolutional neural network and deep learning
KR20220074043A (ko) 심층신경망 및 영상처리를 이용한 어종 인식 및 체장 측정 방법 및 장치
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN111667455B (zh) 一种刷具多种缺陷的ai检测方法
Savkare et al. Automatic system for classification of erythrocytes infected with malaria and identification of parasite's life stage
CN110766017B (zh) 基于深度学习的移动终端文字识别方法及系统
CN109636824A (zh) 一种基于图像识别技术的多目标计数方法
US11151402B2 (en) Method of character recognition in written document
CN111986183A (zh) 一种染色体散型图像自动分割识别系统及装置
CN111626249B (zh) 题目图像中几何图形的识别方法、装置和计算机存储介质
CN108876795A (zh) 一种图像中物体的分割方法及系统
CN110443184B (zh) 身份证信息提取方法、装置及计算机存储介质
CN112818952B (zh) 煤岩分界线的识别方法、装置及电子设备
Pandit et al. Literature review on object counting using image processing techniques
CN114240978B (zh) 基于自适应形态学的细胞边缘分割方法和装置
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN114004858A (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN112883881A (zh) 一种条状农产品无序分拣方法及装置
CN106900601B (zh) 一种快速精准识别对虾图像虾头点与虾尾点的方法
CN111950357A (zh) 一种基于多特征yolov3的船用水面垃圾快速识别方法
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
CN112381084B (zh) 断层图像的轮廓自动识别方法
CN113172002A (zh) 一种基于图像识别的输煤线矸石识别方法及分选系统
CN108205678A (zh) 一种含有亮斑干扰的铭牌文字识别处理方法
CN117036314A (zh) 一种高密度柔性ic基板氧化区域检测方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application