KR102191064B1 - 어종 분류를 위한 데이터 적용 시스템 - Google Patents

Abstract

본 발명은 어종 분류를위한 데이터 적용 시스템에 관한 것으로, 물고기가 출입 가능하도록 양측면이 개방되고, 외면이 메쉬망으로 마련되는 본체부와, 상기 본체부 정면에 마련되며, 상기 본체부 내부를 촬영하는 카메라부와, 상기 카메라부의 동작을 조절하고, 각종 정보를 저장 및 연산처리하는 제어부와, 상기 제어부의 정보를 출력할 수 있는 단말기를 포함하고, 상기 제어부는 컨볼루션 신경망을 사용하며, 상기 제어부에 저장된 데이터와 카메라부로 촬영된 내수면의 물고기 이미지를 비교하여 어종을 분류하는 것을 특징으로 한다.

Description

어종 분류를 위한 데이터 적용 시스템{Data Application System for Classification of Fish Species}

본 발명은 어종 분류를 위한 데이터 적용 시스템에 관한 것으로, 외래종 퇴치를 위해 어종을 정확하게 분류할 수 있는 시스템에 관한 것이다.

환경부는 2007년부터 생태계 교란 외래 생물 종에 대한 모니터링을 진행하고 있으며, 2011년부터는 외래종 16종에 대하여 매년 조사를 진행하고 있다. 특히 2010년 제10차 생물다양성협약 당사국 총회에서 생물 다양성 보전을 위한 목표 중 ‘침입 외래종 제거’를 발표함으로써 침입 외래종 제거에 관한 연구가 국내외에 활발히 진행되고 있다. 특히 국내 내수면의 생태계 교란 생물로 외래어종인 큰입배스(large mouse bass)와 블루길(bluegill)은 국내 토종어류의 개체군 감소에 가장 중요한 요인으로 알려져 있다. 따라서 이러한 외래어종 퇴치를 위한 효율적이고 확실한 시스템 개발이 필요한 실정이다. 따라서 외래어종 퇴치를 위한 전체 시스템 개발에 앞서 물고기 어종 분류를 위한 시스템 개발이 선행되어야 한다.

수년 전부터 기계 학습(machine learning) 및 딥러닝(deep learning)에 관한 관심이 높아지고 있으며 특히 딥러닝은 기계 학습의 한 방법으로 컴퓨터가 직접 데이터로부터 스스로 학습하는 네트워크 모델로 직접 이미지, 텍스트 등을 분류하고 학습할 수 있다. 이러한 발전은 빅데이터(big data)의 활용, 고성능 GPU(Graphic Processing Unit) 같은 하드웨어의 발전과 인식알고리즘의 개발 등에 힘입어 실용성 높은 기술로 발전되었으며, 다양한 형태의 미디어들이 증가하면서 딥러닝의 응용 분야들이 새롭게 창출되고 있다. 그중 1990년도 후반 LeCun 교수에 의한 개발된 CNN(convolutional Neural Network)은 사람이나 동물의 시각처리 과정을 모방하여 역전파 학습알고리즘(back propagation learning algorithm)을 기반으로 영상 인식 분야에 성공적으로 적용함으로써 널리 사용되고 있다[Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, 1998].

이러한 영상 인식 분야 중 물고기 종의 인식 분야에 성공적으로 적용한 사례도 있으나[G. Chen, P. Sun and Y. Shang, 2017; V. A. Sindagi and V. M. Patel, 2018], 이는 물 안이 아닌 물 밖이나 배 위에서 촬영한 물고기 영상으로 어종을 분류하는 작업이 수행되었다. 그리고 자연환경에 서식하는 물고기의 분류작업은 같은 종의 물고기 데이터를 축적하기 어려워 학습 및 테스트에 많은 어려움이 따른다[ M. Sarigul and M. Avci, 2017; H. Qin, X. Li, J. Liang, Y. Peng and C. Zhang, 2016; A. Salman, A. Jalal, F. S., A. Mian, M. Shortis, J. Seager and E. Harvey, 2016].

한국등록특허 제10-1656635호

상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 어종 분류 성능이 뛰어나고, 수행기간이 짧은 어종 분류를 위한 데이터 적용 시스템을 제공하는 것이다.

상술한 목적을 달성하기 위한 것으로, 물고기가 출입 가능하도록 양측면이 개방되고, 외면이 메쉬망으로 마련되는 본체부와, 상기 본체부 정면에 마련되며, 상기 본체부 내부를 촬영하는 카메라부와, 상기 카메라부의 동작을 조절하고, 각종 정보를 저장 및 연산처리하는 제어부와, 상기 제어부의 정보를 출력할 수 있는 단말기를 포함하고, 상기 제어부는 컨볼루션 신경망을 사용하며, 상기 제어부에 저장된 데이터와 카메라부로 촬영된 내수면의 물고기 이미지를 비교하여 어종을 분류하는 것을 특징으로 한다.

상기 본체부 정면에 마련되며, 개폐가 가능하도록 마련되어, 상기 카메라부를 보호하는 덮개부를 더 포함하는 것을 특징으로 한다.

상기 카메라부는, 상기 본체부 정면에 위치하며, 내부에 공간이 마련되는 커버와, 상기 커버 내부에 마련되는 카메라와, 상기 커버와 상기 카메라를 연결하여 고정하는 고정부와, 상기 본체부 정면에 위치하며, 상기 커버 외면에 마련되는 광원과, 상기 본체부 정면에 위치하며, 상기 커버 외면 중앙에 마련되는 유리와, 상기 유리와 상기 커버를 연결하는 방수커버를 포함하는 것을 특징으로 한다.

상기 제어부에 저장된 상기 데이터는, 어종을 확보하여 어류 이미지를 추출하고, 추출된 어류 이미지를 물속환경 이미지와 픽셀값을 다르게 하고 합성하여 생성된 상기 데이터를 상기 제어부에 저장하는 것을 특징으로 한다.

상기 데이터 픽셀값은

이며,

는 이미지 합성 비율로

이고,

는 상기 어류 이미지의 픽셀값이며,

는 상기 물속환경 이미지의 픽셀값인 것을 특징으로 한다.

본 발명에 의한 어종 분류를 위한 데이터 적용 시스템은 다음과 같은 효과가 있다.

수행시간과 학습시간이 짧아 외래어종 퇴치를 위한 가장 적합한 구조로 효율적으로 어종을 분류할 수 있는 효과가 있다.

어종 분류 성능을 높일 수 있으며, 외래어종 퇴치를 위한 효율적인 어종 분류 시스템을 개발하는 효과가 있다.

물속환경이나 어류 간의 유사한 형상때문에 전문가들도 육안으로 정확한 어종을 인지하기 어려우나, 본 발명을 통해 효과적인 어류 분류가 가능한 효과가 있다.

도 1은 본 발명인 어종 분류를 위한 데이터 적용 시스템의 구성을 나타낸 사시도.
도 2는 본 발명인 어종 분류를 위한 데이터 적용 시스템의 구성을 나타낸 정면도.
도 3은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 카메라부의 구성을 나타낸 사시도.
도 4는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 카메라부의 구성을 나타낸 도면.
도 5는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 어류 이미지를 추출하는 방법의 예를 보인 도면.
도 6은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 물속환경 이미지의 예를 보인 도면.
도 7은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 제어부의 계층구조에 대한 도면.
도 8은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 블루길의 합성된 데이터 예를 보인 도면.
도 9는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅰ 중 Data set D의 학습 진행 과정을 나타낸 도면.
도 10은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅰ의 어종 분류 성능을 나타낸 도면.
도 11은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅰ 중 어종을 정확히 분류한 예를 나타낸 도면.
도 12는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅰ 중 어종을 부정확하게 분류한 예를 나타낸 도면.
도 13은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅰ의 성능 평가 결과를 나타낸 도면.
도 14는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅰ의 성능 평가 결과를 나타낸 도면.
도 15는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅱ의 데이터 개수를 나타낸 도면.
도 16은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅱ의 성능 평가 결과를 나타낸 도면.
도 17은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅱ의 성능 평가 결과를 나타낸 도면.
도 18은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅲ의 성능 평가 결과를 나타낸 도면.
도 19는 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅲ의 성능 평가 결과를 나타낸 도면.
도 20은 본 발명인 어종 분류를 위한 데이터 적용 시스템에서 데이터 그룹 Ⅱ,Ⅲ의 정확도에 따른 학습 데이터 개수를 나타낸 도면.

이하, 본 발명에 의한 어종 분류를 위한 데이터 적용 시스템의 바람직한 실시예가 첨부된 도면을 참고하여 상세하게 설명한다.

본 발명인 어종 분류를 위한 데이터 적용 시스템은, 물고기가 출입 가능하도록 양측면이 개방되고, 외면이 메쉬망으로 마련되는 본체부(100)와, 상기 본체부(100) 정면에 마련되며, 상기 본체부(100) 내부를 촬영하는 카메라부(200)와, 상기 카메라부(200)의 동작을 조절하고, 각종 정보를 저장 및 연산처리하는 제어부(300)와, 상기 제어부(300)의 정보를 출력할 수 있는 단말기(500)로 구성된다.

먼저, 본체부(100)가 마련된다. 상기 본체부(100)는 양측면이 개방되어 이를 통해 내수면에 마련된 물고기가 유입되거나 배출할 수 있다. 또한, 상기 본체부(100) 내부의 물고기를 포획하거나 산란 유도장으로 이동시킬 수 있다.

상기 본체부(100)는 메쉬망으로 마련될 수 있으며, 상기 본체부(100)로 내수면의 물이 유입되거나 유출되기 쉽도록 하였다. 또한 상기 본체부(100) 후면 중앙부와 하면 중앙부는 막혀있는 것이 바람직하며, 이는 사진 촬영 시 물고기 식별을 용이하도록 하기 위함이다.

그리고, 상기 본체부(100) 정면에는 덮개부(400)가 더 마련될 수 있다. 상기 덮개부(400)는 메쉬망으로 마련되는 것이 바람직하며, 상기 덮개부(400) 정면에는 개폐 가능하도록 하여 상기 덮개부(400) 내부에 마련될 장치를 보수하기 용이하도록 한다.

상기 본체부(100) 정면에 카메라부(200)가 마련된다. 상기 카메라부(200)는 상기 덮개부(400) 내부에 마련될 수 있으며, 상기 본체부(100) 내부를 촬영할 수 있다. 상기 덮개부(400)에 의해 상기 카메라부(200)를 보호할 수 있으며, 상기 덮개부(400)가 개폐 가능하기 때문에 상기 카메라부(200)를 보수하기 용이하다.

상기 카메라부(200)는 상기 본체부(100) 정면에 위치하며, 내부에 공간이 마련되는 커버(210)와, 상기 커버(210) 내부에 마련되는 카메라(220)와, 상기 커버(210)와 상기 카메라(220)를 연결하여 고정하는 고정부(230)와, 상기 본체부(100) 정면에 위치하며, 상기 커버(210) 외면에 마련되는 광원(240)과, 상기 본체부(100) 정면에 위치하며, 상기 커버(210) 외면 중앙에 마련되는 유리(250)와, 상기 유리(250)와 상기 커버(210)를 연결하는 방수커버(260)로 구성된다.

상기 본체부(100) 정면에 커버(210)가 마련된다. 상기 커버(210)는 덮개부(400) 내부에 마련될 수 있으며, 내부에 공간이 마련되고 물 속에서도 상기 커버(210) 내부로 물이 새거나 유입되지 않도록 방수 성능을 갖는 것이 바람직하다.

상기 커버(210) 내부에는 카메라(220)가 마련된다. 상기 카메라(220)는 상기 본체부(100) 내부에 유입된 물고기를 촬영할 수 있다.

상기 카메라(220)를 고정하는 고정부(230)가 마련된다. 상기 고정부(230)는 상기 카메라(220)를 상기 커버(210) 내부에 고정시키는 역할을 한다.

상기 커버(210) 외면에 광원(240)이 마련된다. 상기 광원(240)은 상기 본체부(100) 정면에 위치하며, 어두운 환경에서 물고기의 촬영이 용이하도록 한다.

상기 커버(210) 외면 중앙에 유리(250)가 마련된다. 상기 유리(250)는 상기 본체부(100) 정면에 위치하며, 상기 카메라(220)가 상기 본체부(100) 내부를 촬영할 수 있도록 한다.

상기 유리(250)에 방수커버(260)가 마련된다. 상기 방수커버(260)는 상기 유리(250)와 상기 커버(210)를 연결하며, 상기 유리(250)와 상기 커버(210) 사이를 통해 상기 커버(210) 내부로 물이 새거나 유입되지 않도록 한다.

상기 카메라부(200)의 동작을 조절하는 제어부(300)가 마련된다. 상기 제어부(300)는 각종 정보를 송수신 할 수 있으며, 각종 정보를 저장 및 연산처리할 수 있다.

여기서, 상기 제어부(300)는 컨볼루션 신경망을 사용하며, 상기 제어부(300)에 저장된 데이터와 카메라부로 촬영된 내수면의 물고기 이미지를 비교하여 어종을 분류한다.

여기서, 상기 제어부(300)에 저장된 상기 데이터로 인터넷 이미지나 동영상 이미지를 사용하여 확보하는 것은 많은 시간이 소요되거나 저작권 등의 문제가 있어 데이터 확보가 어렵다. 그리고 자연환경에서는 수중의 심도와 탁도에 따라 물고기 영상이 매우 다르게 나타나며, 수중의 깊이와 탁도에 따라 시야가 제한되어 자연환경에서 물고기 영상을 촬영하여 데이터를 확보하는 것 또한 많은 시간이 소요되는 문제점이 있고 특정 어종의 촬영이 매우 어려운 문제점이 있었다.

이에 따라 구체적으로 도 5에 도시된 바와 같이, 실험실 환경에서 특정 어종을 확보하여 직접 어류의 동영상 이미지를 촬영하고, 촬영된 동영상을 기초로 어종의 이미지를 추출하였다. 추출된 어류 이미지지와 물속환경 이미지를 픽셀값을 다르게 한 다음 합성하여 상기 데이터를 생성하여 상기 제어부(300)에 저장할 수 있다. 구체적으로 상기 제어부(300)에서 전송학습(Transfer Learning)을 사용하여 상기 데이터를 학습하였다.

여기서, 상기 데이터의 픽셀값은

이며,

는 이미지 합성 비율로

이고,

는 상기 어류 이미지의 픽셀값이며,

는 상기 물속환경 이미지의 픽셀값이다. 구체적으로, 픽셀에 덧셈 연산을 하는 경우 이미지의 명암도를 높여서 밝게 만들어주며, 뺄셈 연산을 하는 경우 이미지의 명암도를 낮추어서 어두운 이미지로 만들어준다. 곱셈 연산의 경우 밝은 값을 더욱 밝게 하고 어두운 값은 약간 밝게 만들어 이미지를 보다 선명하게 부각시키며, 나눗셈 연산은 이미지의 선명도를 낮추는 역할을 한다.

상기 어류 이미지와 상기 물속환경 이미지의 픽셀값을 서로 다르게 하여, 선명도를 조절하였고 이를 통해 합성된 상기 데이터는 물속에서 촬영된 영상과 매우 유사하게 만들어졌으며, 이는 내수면에서 촬영된 영상을 대치할 수 있다.

또한, 상기 물속환경 이미지는 최대한 자연환경과 가까운 영상 이미지를 구현하기 위하여 내수면에서 발생하는 모든 환경에 대한 이미지를 사용할 수 있으며, 도 6에 도시된 바와 같이 녹조 성분의 이미지, 흙탕물 이미지, 깊은 수심의 이미지 중 하나를 사용할 수 있으나, 이에 한정하지 않는다.

상기 제어부(300)에서 사용하는 컨볼루션 신경망은 CNN(Convolution Neural Network)라고도 불리며, 동물의 시각 처리 과정을 모방하여 사물의 크기 및 위치가 바뀌어도 인식할 수 있는 장점이 있는 이미지 인식 분야에서 가장 좋은 성능을 보이는 딥러닝 알고리즘이다. 따라서 CNN은 다양한 형태의 객체를 학습할 수 있으며 전송학습(Transfer Learning)을 통하여 학습된 네트워크를 새로운 인식 작업에 적용하여 네트워크를 재학습할 수 있는 장점 등이 있어 높은 정확성과 빠른 학습을 가능하게 한다. 도 7에 도시된 바와 같이, CNN의 일반적인 계층 구조를 확인할 수 있으며, 특징검출 계층(feature extraction layer)과 분류 계층(classification layer)으로 나눌 수 있다. 특징검출 계층은 입력 이미지를 컨볼루션 필터(convolution filter)를 사용하여 이미지의 특징을 활성화하는 컨벌루션 층(convolution layer), 네트워크의 기울기 소실 현상(vanishing gradient)을 없애고 네트워크가 빠르게 학습하기 위한 ReLU(Rectified Linear Unit) 층, 비선형 다운 샘플링을 수행함으로써 출력을 간소화하고 네트워크가 학습할 파라미터의 개수를 줄여주는 풀링(pooling) 층으로 나눌 수 있다. 또한, 분류 계층은 특징검출 계층을 지난 후 연결된 노드로 일반적으로 완전연결계층 (FC: Fully Connected layer)로 구성되어있으며, K 차원의 벡터로 네트워크가 예측할 수 있는 분류 개수를 말한다.

상기 제어부(300)는 구조가 간단하고 높은 성능을 나타내는 AlexNet, Vgg16, Vgg19, GoodLeNet 등을 사용할 수 있으나, 이를 한정하지 않는다.

상기 제어부(300)의 정보를 출력하는 단말기(500)가 마련된다. 상기 단말기(500)를 통해 각종 정보를 확인할 수 있다.

여기서, 상기 단말기(500)는 스마트폰, 노트북, PDA(Personal Digital Asistant) 등과 같은 휴대단말기뿐 아니라 PC(Personal Computer)와 같은 유선통신이 가능한 단말기도 포함될 수 있다.

이하, 본 발명에 의한 어종 분류를 위한 데이터 적용 시스템 작용에 대해 설명한다.

내수면에 마련된 상기 본체부(100) 일측으로 물고기가 유입된다. 유입된 물고기는 상기 제어부(300)가 상기 카메라(220)의 동작을 조절하여 촬영을 하고, 촬영된 물고기 이미지를 상기 제어부(300)에 저장한다.

상기 제어부(300)에서는 촬영된 상기 물고기 이미지와 기존에 상기 제어부(300)에 저장된 데이터를 비교하여 어종을 분류한다. 그리고 어종을 분류한 분류 정보는 상기 제어부(300)에 저장한다.

상기 제어부(300)는 국소수용영역(local receptive field), 가중치공유 (share weights), 이단추출(sub-sampling) 방식으로 데이터의 특징을 추출한다. 국소수용영역는 하위 계층의 노도가 상위계층의 모든 노드와 연결되어 있지 않고 지역적으로 일부의 노드에만 연결된 것을 의미하며, 가중치 공유는 공동으로 컨벌루션 필터(convolution filter)를 사용하여 패턴의 위치와 관계없이 특징점을 찾을 수 있는 역할을 한다. 또한, 이단추출은 풀링(pooling) 과정으로 특징점을 살리면서 파라미터의 개수를 줄여 연산시간을 단축하는 역할을 수행한다.

상기 제어부(300)는 다른 네트워크와 마찬가지로 크게 입력층, 출력층과 두 계층 사이에 매우 많은 은닉층으로 구성되어있으며, 특징검출 계층과 분류 계층으로 나눌 수 있다. 특징검출 계층은 컨벌루션(convolution), ReLU(Rectified Linear Unit), 풀링 과정을 수행하며, 컨볼루션은 입력 이미지를 컨볼루션 필터를 사용하여 이미지의 특징을 활성화하는 역할을 한다. ReLu는 이미지 데이터들을 양수 값으로 유지하여 학습이 일어나지 않는 기울기 소실 현상(vanishing gradient)이 일어나지 않게 네트워크가 빠르고 학습하도록 한다. 또한, 풀링은 비선형 다운 샘플링을 수행함으로써 출력을 간소화하고 네트워크가 학습할 파라미터의 개수를 줄여준다. 분류 계층은 특징검출 계층을 지난 후 연결된 노드로 일반적으로 완전연결계층(FC: Fully Connected layer)으로 구성되어있으며, K 차원의 벡터를 출력한다. K는 네트워크가 예측할 수 있는 클래스의 개수를 말한다.

여기서 상기 분류 정보는 각각의 어종에 대한 분류 성능, 어종의 이미지를 정확하게 분류한 예, 어종의 이미지를 부정확하게 분류한 예 등이며, 이에 한정하지 않는다.

상기 분류 정보는 단말기(500)로 전달되고, 상기 단말기(400)를 통해 분류 결과를 확인할 수 있다.

상기 본체부(100)로 유입된 물고기는 내수면으로 배출 또는 포획하거나 산란 유도장으로 이동시킬 수 있다.

이하, 본 발명에 의한 어종 분류를 위한 데이터 적용 시스템에 대한 실험내용을 구체적으로 설명한다.

1. 분석결과 - 1

실험실 환경에서 촬영된 어류 이미지를 실제 내수면과 유사한 이미지로 변환한 데이터 세트로 구성된 데이터 그룹 Ⅰ으로 실험하였다.

실험을 위한 CNNs은 구조가 간단하고 높은 성능을 내는 AlexNet, GoogLeNet, Vgg16, Vgg19를 사용하여 성능을 평가하였다. 각 네트워크는 Matlab에서 사용하는 전송학습(Transfer Learning)을 사용하여 학습 시간을 줄이고자 하였다. 각 네트워크의 최적화 방법은 Adam을 사용하였으며, 초기 학습률은

으로 설정하고, 미니배치(Mini Batch)의 크기는 각 네트워크의 성능에 맞게 적절히 조정하였다. 하드웨어 장치로는 Intel i9-7900 3.3GHz CPU와 4개의 NVIDIA GeForce GTX1080Ti를 사용하였다.

각각의 어종별로 즉, 블루길(Bluegill), 메기(Catfish), 잉어(Common Carp), 붕어(Crucian Carp), 큰입배스(Large Mouth Bass), 쏘가리(Mandarin Fish), 누치(Skin Carp)의 어류 이미지를 물속환경 이미지와 합성하였으며, 데이터 그룹 Ⅰ에서 Data set A는 x의 값이 0.3이고, Data set B는 x의 값이 0.5이고, Data set C는 x의 값이 0.7이고, Data set D는 x의 값이 0.8이고, Data set E는 x의 값이 0.85이고, Data set F는 x의 값이 0.9이고, Data set G는 x의 값이 0.925이고, Data set H는 x의 값이 0.95으로 구성되며, 도 8은 블루길(Bluegill)의 데이터 세트를 나타낸 예시다.

각각의 어종별로 생성된 데이터 5,000[장/어종] 중 20%는 테스트 데이터로 선정하고, 56%와 24%는 학습과 유효성 검사를 위한 데이터로 선정하였다.

도 9는 상기 데이터 그룹 Ⅰ 중 Data set D에 대한 AlexNet의 학습 진행 과정을 나타낸 것으로, 미니배치(Mini Batch)사이즈는 1024이고, 전체 학습횟수는 450번이므로 23.56번의 epoch를 수행하였다. 학습 후 AlexNet의 성능평가는 테스트 데이터 1000[장/어종]에 대하여 98.33%로 높은 정확도를 나타내었다.

도 10은 AlexNet의 어종 분류 성능을 표시하였으며, 잉어의 경우 붕어 이미지와 매우 유사하여 14장의 잉어 이미지를 붕어 이미지로 잘못 인식하였으며, 붕어 이미지 역시 7장을 잉어 이미지로 잘못 인식하였다. 따라서 잉어의 분류 성능은 96.6%로 나타났으나, 다른 어종에 대한 분류의 정확도는 97.5% 이상으로 나타났다.

도 11 및 도 12는 AlexNet의 붕어와 잉어 이미지를 분류한 예를 표시한 것으로, 도 11은 붕어의 이미지가 잉어의 이미지와 매우 유사함에도 정확히 분류되었음을 나타낸다. 도 12는 잉어의 이미지를 큰입배스로 잘못 분류한 예로, 잘못 분류된 잉어의 이미지는 어류 전문가들조차도 정확히 인지하기 어렵다.

도 13은 4가지 CCNs에 대한 미니배치, 1개의 이미지에 대한 수행 시간 및 분류 성능을 표시한 것이며, 도 14는 CNNs의 분류 성능을 그래프로 나타낸 것이다. 어종 분류 시스템이 자연환경에 설치될 경우 빠른 수행시간이 절대적으로 요구되며, 1개의 이미지에 대한 수행 시간은 AlexNet의 경우 GoogLeNet 보다 약 4.3배, Vgg16 보다 약 11.1배, Vgg19 보다 약 11.6배 정도 수행시간이 빠름을 확인하였다.

데이터 그룹 Ⅰ에 대한 성능평가는 Data set A~F에 대하여 CNNs은 모두 95% 이상 높은 분류 성능을 나타내었으며, Data set G 역시 90% 이상의 분류 성능을 나타내었다. 특히, Data set D~H까지는 어류 이미지의 탁도가 매우 심하여 사람들조차가 잘못 인식하는 경우가 높다. 전체적으로 사람보다 CNN의 인식이 매우 높음을 확인하였다. 데이터 그룹 Ⅰ에 대한 성능평가 결과 자연환경에서 햇빛으로 인한 광도의 변화와 수심의 깊이와 탁도에 따라 변화되는 광범위한 어류 이미지에 대해서도 CNNs이 정확히 학습하고 분류하는 뛰어난 성능을 가지고 있음을 확인하였다.

2. 분석결과 - 2

실험실 환경에서 촬영된 어류 이미지를 실제 내수면과 유사한 이미지로 변환한 데이터 세트로 구성된 데이터 그룹 Ⅱ으로 실험하였으며, 적정한 데이터 수에 대해 평가를 하였다.

실험을 위한 CNNs은 구조가 간단하고 높은 성능을 내는 AlexNet, GoogLeNet, Vgg16, Vgg19를 사용하여 성능을 평가하였다. 각 네트워크는 Matlab에서 사용하는 전송학습(Transfer Learning)을 사용하여 학습 시간을 줄이고자 하였다. 각 네트워크의 최적화 방법은 Adam을 사용하였으며, 초기 학습률은

으로 설정하고, 미니배치(Mini Batch)의 크기는 각 네트워크의 성능에 맞게 적절히 조정하였다. 하드웨어 장치로는 Intel i9-7900 3.3GHz CPU와 4개의 NVIDIA GeForce GTX1080Ti를 사용하였다.

각각의 어종별로 즉, 블루길(Bluegill), 메기(Catfish), 잉어(Common Carp), 붕어(Crucian Carp), 큰입배스(Large Mouth Bass), 쏘가리(Mandarin Fish), 누치(Skin Carp)의 어류 이미지를 물속환경 이미지와 합성하였으며, 데이터 그룹 Ⅱ에서는 상기 데이터 그룹 Ⅰ의 Data set A~H의 일정 비율을 갖는 데이터들로 구성하였으며, 도 15와 같이 데이터 개수를 다르게 설정하여 Data set O~S를 만들어 데이터 그룹 Ⅱ를 설정하였다.

도 16은 데이터 그룹 Ⅱ의 성능 평가 결과를 나타낸 도면이고 도 17은 이를 도식화 한 도면이다. 도 16 및 도 17에 도시된 바와 같이, 학습 데이터의 개수가 많을수록 분류 성능이 높아짐이 확인되었다. CNNs 중 Vgg16과 Vgg19의 성능이 학습 데이터의 개수가 많은 경우 다른 네트워크에 비해 좋은 성능을 보이나, 학습 데이터의 개수가 적어짐에 따라 성능이 급격히 나빠짐을 보였다. 이는 AlexNet과 GoogLeNet에 비해 파라메터 개수가 매우 많은 Vgg16, Vgg19이 학습 데이터의 개수 부족으로 학습에 어려움을 나타내기 때문이다.

CNNs을 적용하여 90% 이상의 분류 성능을 위해서는 학습 데이터 개수가 Data set P(학습: 2,100[장/어종]) 이상 설정하여야 한다. 만약 분류 성능을 85% 이상에서 만족한다면 학습 데이터는 Data set Q(학습: 1,400[장/어종]) 정도로 설정하여도 가능하다. 이는 분류하고자 하는 어종이 적어 수 만장의 이미지 데이터가 필요하지는 않다. 만약 분류하려는 어종이 많으면 어류 이미지 데이터의 개수도 같이 늘어날 것이다.

3. 분석결과 - 3

실험실 환경에서 촬영된 어류 이미지를 실제 내수면과 유사한 이미지로 변환한 데이터 세트로 구성된 데이터 그룹 Ⅲ으로 실험하였으며, 적정한 데이터 수에 대해 평가를 하였다.

실험을 위한 CNNs은 구조가 간단하고 높은 성능을 내는 AlexNet, GoogLeNet, Vgg16, Vgg19를 사용하여 성능을 평가하였다. 각 네트워크는 Matlab에서 사용하는 전송학습(Transfer Learning)을 사용하여 학습 시간을 줄이고자 하였다. 각 네트워크의 최적화 방법은 Adam을 사용하였으며, 초기 학습률은

으로 설정하고, 미니배치(Mini Batch)의 크기는 각 네트워크의 성능에 맞게 적절히 조정하였다. 하드웨어 장치로는 Intel i9-7900 3.3GHz CPU와 4개의 NVIDIA GeForce GTX1080Ti를 사용하였다.

각각의 어종별로 즉, 블루길(Bluegill), 메기(Catfish), 잉어(Common Carp), 붕어(Crucian Carp), 큰입배스(Large Mouth Bass), 쏘가리(Mandarin Fish), 누치(Skin Carp)의 어류 이미지를 물속환경 이미지와 합성하였으며, 상기 데이터 그룹 Ⅰ의 Data set D~H까지의 이미지는 사람도 인지하기 어려워, 일반적인 자연환경이라고 가정할 경우 Data set A~C 만으로도 충분할 것으로 판단되어, Data set A~C까지의 데이터를 랜덤하게 포함한 어종이미지를 Data set U~Y를 만들었으며, 이는 상기 데이터 그룹 Ⅱ의 데이터 개수와 동일하게 구성하여 데이터 그룹 Ⅲ을 설정하였다.

데이터 그룹 Ⅱ의 성능평가 결과 학습 데이터의 개수가 많을수록 분류 성능이 높아짐을 실험적으로 확인하였다. 그러나 데이터 그룹Ⅱ에는 데이터 인식 신뢰도가 낮은 가혹할 정도의 어류 이미지가 포함되어 있다. 그러므로 사람이 100% 인식할 수 있는 일반적인 자연환경으로 가정한 데이터 그룹 Ⅲ을 사용하여 데이터 그룹 Ⅱ와 같은 실험을 하였다. 도 18은 데이터 그룹 Ⅲ의 성능평가 결과이며, 도 19는 이를 도식적으로 나타내었다.

도 19에서 전체적인 데이터 경향은 도 17과 유사하나 전체적인 분류 성능은 매우 향상되었다. 특히 AlexNet과 GoogLeNet은 데이터 세트 X(학습: 700[장/어종])에 대해서도 91.94% 이상의 좋은 성능을 나타내었다. 적은 학습 데이터 개수에도 분류하려는 어종의 수가 적을 때 네트워크가 얕은 AlexNet이 효율적임을 알 수 있다.

도 16과 도 18의 Data set에 대한 CNNs의 분류 성능을 평균하여 학습 데이터 개수를 표현하면 도 20과 같은 지수 함수 형태를 구할 수 있다. 이는 분류 성능에 따른 학습 데이터 개수가 지수적으로 증가함을 나타낸다. 따라서 학습 데이터 개수는 분류하려는 수, 분류 정확도 그리고 데이터 인지 신뢰도 등에 영향을 받는다.

본 발명인 어종 분류를 위한 데이터 적용 방법에 대하여 90% 이상의 분류 정확도로 한정하면 데이터 그룹 Ⅱ의 경우 1500[장/어종], 데이터 그룹 Ⅲ의 경우 700[장/어종] 이상의 학습 데이터가 필요하다. 그러므로 데이터 그룹 Ⅲ의 데이터 인식 신뢰도를 100%라고 가정하였을 경우, 분류하려는 개수의 100배인 700[장/어종] 정도로 설정하는 것이 적절하며, 어종 분류 정확도를 95%로 설정하려면 약 167배인 1170[장/어종]이 필요하다.

이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 본체부 200 : 카메라부
210 : 커버 220 : 카메라
230 : 고정부 240 : 광원
250 : 유리 260 : 방수커버
300 : 제어부 400 : 덮개부
500 : 단말기

Claims (5)

1. 물고기가 출입 가능하도록 양측면이 개방되고, 외면이 메쉬망으로 마련되는 본체부;
   상기 본체부 정면에 마련되며, 상기 본체부 내부를 촬영하는 카메라부;
   상기 카메라부의 동작을 조절하고, 각종 정보를 저장 및 연산처리하는 제어부;
   상기 제어부의 정보를 출력할 수 있는 단말기;를 포함하고,
   상기 제어부는 컨볼루션 신경망을 사용하며, 상기 제어부에 저장된 데이터와 카메라부로 촬영된 내수면의 물고기 이미지를 비교하여 어종을 분류하는 것을 특징으로 하며,
   상기 본체부 정면에 마련되며, 개폐가 가능하도록 마련되어, 상기 카메라부를 보호하는 덮개부;를 더 포함하는 것을 특징으로 하며,
   상기 카메라부는,
   상기 본체부 정면에 위치하며, 내부에 공간이 마련되는 커버;
   상기 커버 내부에 마련되는 카메라;
   상기 커버와 상기 카메라를 연결하여 고정하는 고정부;
   상기 본체부 정면에 위치하며, 상기 커버 외면에 마련되는 광원;
   상기 본체부 정면에 위치하며, 상기 커버 외면 중앙에 마련되는 유리;
   상기 유리와 상기 커버를 연결하는 방수커버;를 포함하는 것을 특징으로 하며,
   상기 제어부에 저장된 상기 데이터는,
   어종을 확보하여 어류 이미지를 추출하고, 추출된 어류 이미지를 물속환경 이미지와 픽셀값을 다르게 하고 합성하여 생성된 상기 데이터를 상기 제어부에 저장하는 것을 특징으로 하며,
   상기 데이터의 픽셀값은

   

   이며,

   

   는 이미지 합성 비율로

   

   이고,

   

   는 상기 어류 이미지의 픽셀값이며,

   

   는 상기 물속환경 이미지의 픽셀값인 것을 특징으로 하며,
   상기 데이터는 x 값을 0.3, 0.5, 0.7, 0.8, 0.85, 0.9, 0.925, 0.95로 하는 데이터그룹으로, 학습데이터를 1500장 이상으로 설정하며,
   상기 데이터는 x 값을 0.3, 0.5, 0.7로 하는 데이터그룹으로, 학습데이터를 700장 이상으로 설정하는 것을 특징으로 하는 어종 분류를 위한 데이터 적용 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images