KR20230083421A - 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치 - Google Patents

데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20230083421A
KR20230083421A KR1020210171404A KR20210171404A KR20230083421A KR 20230083421 A KR20230083421 A KR 20230083421A KR 1020210171404 A KR1020210171404 A KR 1020210171404A KR 20210171404 A KR20210171404 A KR 20210171404A KR 20230083421 A KR20230083421 A KR 20230083421A
Authority
KR
South Korea
Prior art keywords
fish
quarantine
ornamental fish
data
deep neural
Prior art date
Application number
KR1020210171404A
Other languages
English (en)
Other versions
KR102614062B1 (ko
Inventor
조성윤
권기원
송병철
송현학
김양섭
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210171404A priority Critical patent/KR102614062B1/ko
Publication of KR20230083421A publication Critical patent/KR20230083421A/ko
Application granted granted Critical
Publication of KR102614062B1 publication Critical patent/KR102614062B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0831—Overseas transactions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Accounting & Taxation (AREA)

Abstract

본 발명은 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치에 관한 것이다.
본 발명에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치는 검역관이 소지하는 사용자 단말기 및 사용자 단말기로부터 데이터를 수신하여, 상이한 포맷의 관상어 정보를 통합하고, 심층신경망 기반으로 어종 및 질병 판단을 수행하며, 사용자 단말기로부터 수신한 텍스트에 포함된 오류를 자동 정정하는 처리 서버를 포함한다.

Description

데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치{METHOD AND APPARATUS FOR QUARANTINE OF IMPORTED ORNAMENTAL FISH THROUGH DATA PREPROCESSING AND DEEP NEURAL NETWORK-BASED IMAGE DETECTION AND CLASSIFICATION}
본 발명은 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치에 관한 것이다.
최근 인공지능(AI) 시대에 접어들면서 학습능력, 추론능력, 지각능력 등과 같이 인간의 지능과 연결된 인지 문제를 해결할 수 있는 인공지능 기술을 기반으로 제조, 의료, 금융서비스 등의 다양한 응용 분야에 적용되고 있다.
특히, 인공지능의 이미지 인식 기술은 사진이나 동영상으로부터 검출, 분류의 처리 방법을 통해 물체를 인식하는 것으로, 딥러닝(Deep Learning)과 같은 혁신적인 인식 기법이 계속해서 등장하고 있다.
이를 활용하여 국내에선 네이버의 스마트렌즈, 포스코ICT의 페이스로, 해외에선 테슬라의 완전자율주행(FSD: Full Self Driving) 등의 상용화된 기술 등장 그리고 한국, 유럽, 일본, 핀란드 등에서의 이미지 기반 자율운항선박(MASS: Marine Autonomous Surface Ships) 등의 연구들이 진행되면서 인공지능의 이미지 인식 기술은 전 세계 사람들의 삶에 일부가 되어가는 동시에 적용되지 않은 다양한 분야에서도 주목하고 있다.
현재 해외에서 수입되는 관상어는 항공이나 선박을 통해 들여오며, 박스 단위로 패킹되어 있고 각각의 관상어 별로 비닐에 개별/군집 포장이 되어있다.
이렇게 들여온 관상어는 검역 과정을 필수적으로 거쳐야 하는데, 검역 전문가들은 수출 업체로부터 받은 관상어 정보 패킹 리스트 또는 국립 수산물 품질 관리원으로부터 받은 검역 서류를 활용하여 수기로 직접 검역을 진행하는데, 이러한 검역 과정에는 많은 문제점이 존재한다.
서로 다른 수출 업체, 나라별, 그리고 수산물 품질 관리원의 관상어 검역 서류이 양식이 서로 다르다. 검역관들은 모든 관상어 정보 리스트를 활용하며 검역을 진행하기 때문에 검역에서의 요구되는 시간이 매우 많다. 그리고 검역관들이 육안으로 동정하기 때문에 정확도의 신뢰가 낮다.
실제로 검역 현장의 육안 동정 과정에서 수출 업체와 수산물 품질 관리원에서 받은 관상어 정보 리스트만으로 관상어 구별이 어려워 개개인의 인터넷 서칭을 통해 관상어를 구별하는 경우가 종종 있다.
또한, 수입되는 관상어의 수가 매우 많고, 대부분 영문명으로 되어있기 때문에 검색하는 과정에서 오타가 잦아 검역 진행 속도가 더디게 되는 문제가 있다.
종래 기술에 따르면, 어류 정보 추출 방법으로 영상처리와 인공지능 기술이 활용된다.
그런데, 영상처리 기술을 이용한 어류 정보 추출 방법으로 어종을 분류하기엔 어려움이 있으며, 대게 어류의 체장을 측정하는 기술로 활용하고 있다. 어류의 이미지 사진을 촬영하여 이진화, 엣지 검출 등의 영상 전처리 기법을 활용하여 어류의 체장을 측정할 수 있다. 하지만 2D 이미지만을 이용하여 어류를 측정하는 데 마크를 표시하는 등의 제약된 조건이 필요하다. 또한 영상처리 기법들은 빛의 세기와 어류의 색 그리고 환경에 따라 성능의 변화가 크므로, 관상어의 정보를 추출하는 데 어려움이 있다.
인공지능 기술을 이용하여 물체의 종류를 분류할 수 있는데, 분류할 어종의 이미지 데이터셋을 구성하고 심층신경망인 CNN에서 학습하여 추출된 학습 파라미터를 활용하여 입력되는 어류 이미지를 분석하여 분류한다. 이처럼 현재 오픈된 범용적인 인공지능 모델을 이용하여 어류를 인식하여 좋은 성능을 추출하는 데 어려움이 있다. 이러한 이유로 이미지/영상을 분석하는 기술이기 때문에 유사한 형태를 구별하고 유사한 색상을 구별하기 현실적으로 어려운 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 수입되는 관상어를 대상으로 검역 과정에서의 서로 다른 포맷의 관상어 리스트를 통합하여, 현재 수기로 검역을 진행하는 것보다 신속히 처리할 수 있는 통합 관상어 DB와 연동된 검역용 관상어 앱 SW를 제안하고, 영명으로된 관상어 종을 빠르고 정확하게 검색할 수 있도록 문자 오류 정정을 수행하고 육안으로의 검역을 진행하는 과정에서의 낮은 정확도를 향상할 수 있도록 관상어에 특화된 심층신경망 기반으로 이미지를 이용한 관상어종 인식과 질병 분석을 수행하는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치는 검역관이 소지하는 사용자 단말기 및 사용자 단말기로부터 데이터를 수신하여, 상이한 포맷의 관상어 정보를 통합하고, 심층신경망 기반으로 어종 및 질병 판단을 수행하며, 사용자 단말기로부터 수신한 텍스트에 포함된 오류를 자동 정정하는 처리 서버를 포함한다.
상기 처리 서버는 데이터 통합 관리부를 포함하여, 상기 데이터 통합 관리부는 관상어 수입 과정에서 수신한 관상어 패킹 리스트 및 관상어 정보 검역 서류를 수신하고, 상이한 포맷의 목록에 대해 형식 유사도를 분석하여, 통일된 포맷의 형태로 데이터를 통합한다.
상기 처리 서버는 이미지 인식부를 포함하여, 상기 이미지 인식부는 상기 사용자 단말기로부터 수신한 관상어 촬영 이미지에 대해 기학습된 파라미터를 이용하여 어종 및 어류의 질병을 인식한다.
상기 이미지 인식부는 상기 어종을 인식하기 위한 다중 심층신경망 및 상기 어류의 질병을 인식하기 위한 다중 심층신경망 학습 파라미터를 이용한다.
상기 처리 서버는 기저장된 어류 정보와 상기 어종 및 어류의 질병 인식 결과를 맵핑하여, 상기 사용자 단말기로 전송한다.
상기 이미지 인식부는 상기 사용자 단말기로부터 기존 데이터가 아닌 새로운 데이터를 수신하는 경우, 새로운 이미지 데이터를 이용하여 인공지능모델 재학습을 수행한다.
상기 처리 서버는 오타 문자 정정부를 포함하여, 상기 오타 문자 정정부는 기저장된 정보를 이용하여 조회 대상이 되는 관상어 검색 문자 내 포함되는 오타에 대한 자동 정정을 수행하고, 기준 유사도 이상의 어종명의 리스트를 제공한다.
상기 오타 문자 정정부는 상기 사용자 단말기로부터 기존 데이터가 아닌 새로운 데이터를 수신하는 경우, 새로운 어종 텍스트 데이터를 이용하여 인공지능모델 재학습을 수행한다.
상기 처리 서버는 타 전문가의 디바이스로 판독을 요청하고, 판독 완료에 따라 상기 사용자 단말기로 알람을 제공한다.
본 발명에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법은 (a) 사용자 단말기로부터 데이터를 수신하는 단계와, (b) 상기 데이터를 이용하여 상이한 포맷의 관상어 정보를 통합하는 단계 및 (c) 상기 데이터를 이용하여 심층신경망 기반으로 어종 및 질병 판단을 수행하고, 텍스트 내 포함된 오류에 대한 정정을 수행하는 단계를 포함한다.
상기 (b) 단계는 관상어 패킹 리스트 및 관상어 정보 검역 서류를 수신하여, 상이한 포맷을 통일된 포맷의 형태로 통합한다.
상기 (c) 단계는 관상어 촬영 이미지에 대해 기학습된 파라미터를 이용하여 어종 및 어류의 질병을 인식하고, 새로운 촬영 이미지가 수신된 경우 인공지능 모델에 대한 재학습을 수행한다.
상기 (c) 단계는 관상어 검색 문자 내 포함되는 오타에 대한 정정을 수행하고, 기준 유사도 이상의 어종명 리스트를 제공하며, 새로운 어종 텍스트 데이터가 수신되는 경우 인공지능 모델 재학습을 수행한다.
본 발명에 따르면, 검역 앱 SW로서 정해진 디바이스가 아닌 다양한 디바이스에서 사용할 수 있어 검역의 편의성을 향상시키는 효과가 있다.
검역에 필요한 서로 다른 형식의 관상어 정보를 통합해 DB 서버에 구축함으로써, 여러 문서를 참고할 필요 없이 서로 다른 포맷의 정보 통합이 가능한 DB 서버를 통해 이와 연동된 검역 전용 앱 SW으로 확인이 가능하여 검역관의 검역 처리 속도를 높이는 효과가 있다.
심층신경망 기술을 적용하여 검역관의 보조 역할을 할 수 있도록 하여, 사람의 눈을 대신하여 검역하려는 관상어의 어종 및 질병을 파악하고, 텍스트 검색을 통해 찾으려는 어종에 대한 입력 문자의 오류를 자동으로 정정함으로써, 검역의 편의성 및 정확도를 향상시키는 효과가 있다.
주기적인 심층 학습 엔진 업데이트를 통해 새롭게 유입되는 관상어에 대해서 신속하게 학습 엔진에 적용되어 검역을 진행할 수 있다는 장점이 있다.
심층신경망과 해당 검역관의 육안으로 인식이 불가할 시 전문가요청 서비스를 통해 해당 관상어의 이미지와 기타 정보 등을 다양한 전문가들에게 송부함으로써, 대신 검역을 진행하도록 하여 관상어 인식의 정확성을 높이는 효과가 있다.
검역관의 정확하고 빠른 검역을 위해 관상어 정보 DB 서버와 검역 전용 앱 SW를 제안하며, 더 나아가 대중들이 관상어 정보를 얻을 수 있도록 지원하는 서비스로 응용 가능하다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 심층신경망을 이용한 처리 과정을 도시한다.
도 3은 본 발명의 실시예에 따른 서로 다른 포맷의 관상어 데이터를 DB(Server)에서 통합하는 결과를 도시한다.
도 4는 본 발명의 실시예에 따른 심층신경망 기반의 자동 검색 문자 오류 정정 과정 및 어종 추천 화면을 도시한다.
도 5는 본 발명의 실시예에 따른 심층신경망 기반의 이미지 인식(어종인식/질병인식) 및 결과에 따른 관상어 DB 데이터 맵핑을 도시한다.
도 6은 본 발명의 실시예에 따른 다중 심층신경망 구조의 어종 인식과 질병 인식을 도시한다.
도 7은 본 발명의 실시예에 따른 어류 분류법에 따른 다중 심층신경망 기반의 관상어 인식 구조를 도시한다.
도 8은 본 발명의 실시예에 따른 영역 분할에 따른 다중 심층신경망 기반의 관상어 질병 인식 구조를 도시한다.
도 9는 본 발명의 실시예에 따른 심층신경망 결과에 따른 관상어 데이터 맵핑 및 검역 전용 앱 SW UI를 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
본 발명의 실시예에 따르면, 국내로 들여오는 수입 관상어를 검역하는 방식에 있어서, 불필요한 검역 과정들을 제거하여 신속한 검역이 가능하도록, 심층신경망 CNN(Convolution Neural Network) 모델을 활용해 어류 분류법 기반으로 구성된 다중 심층신경망으로 어종 및 질병 여부를 인식하고, 검색하려는 어종에 대해 잘못 기재된 오류 문자를 자동으로 정정한다.
본 발명의 실시예에 따르면, 전술한 기능을 수행할 수 있도록 여러 형태의 디바이스에 사용 가능한 관상어 검역 전용 앱 SW를 제안한다.
본 발명의 실시예에 따르면, 검역 전용 앱 SW을 제공하고, 서로 다른 포맷 형태의 관상어 정보를 자동 통합하고, 심층신경망 기반의 이미지, 텍스트 기술을 제안하여, 수입되는 관상어에 대해 검역관이 보다 정확하고 신속하게 검역 처리할 수 있도록 지원한다.
본 발명의 실시예에 따르면, 서로 다른 포맷의 관상어 데이터를 DB(Server)에서 자동으로 통합하여 검역관이 쉽게 정보를 확인할 수 있고, 범용적인 디바이스에서 처리할 수 있는 검역 전용 앱 SW을 통해 신속히 검역을 처리할 수 있으며, 심층신경망 기반의 자동 오류 문자 정정을 통해 정확하고 빠른 검색이 가능하고, 관상어에 특화된 다중 심층신경망 기반의 어종 인식 및 질병 파악이 가능한 기술적 특징이 있다.
도 1은 본 발명의 실시예에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역 장치를 도시한다.
검역 앱 SW는 카메라와 WIFI 통신 모듈이 내장된 모든 단말기에 설치될 수 있다.
사용자 단말기(100)는 검역 앱 SW에 접속하여 관상어 패킷 데이터, 촬영 이미지를 처리 서버로 전송하는 송신부(110)와, 처리 서버(200)로부터 관상어 데이터가 통합된 리스트 및 처리 결과를 수신하는 수신부(120)를 포함한다.
사용자 단말기(100)의 송신부(110)가 전송한 관상어 패킷 데이터 및 촬영 이미지는 처리 서버(200)의 통신부(210)가 수신하고, 처리부(220)를 통해 복수의 기능이 수행된다.
처리 서버(200)는 데이터 통합 관리부(230), 이미지 인식부(240), 오타 문자 정정부(250)를 포함하며, 이미지 인식부(240) 및 오타 문자 정정부(250)는 인공지능 기반으로 기능을 수행한다.
이들은 사용자 단말기(100)의 검역 앱 SW에 의해 송신되는 데이터에 따라 각자의 기능을 처리한다.
데이터 통합 관리부(230)는 사용자 단말기(100)에서 접속한 검역 앱 SW을 통해, 검역을 위해 관상어를 수입하는 과정에서 수입 업체로부터 받은 서로 다른 형식의 관상어 패킹 리스트 또는 국립 수산물 품질 관리원으로부터 받은 관상어 정보 검역 서류를 수신하고, 서로 다른 목록에 대해 형식 유사도를 분석하여 단일 포맷 형태로 데이터를 통합한다.
이미지 인식부(240)는 사용자 단말기(100)에서 접속한 검역 앱 SW을 통해, 검역할 관상어 이미지를 통신부(210)를 통해 수신하고, 처리부(220)의 인공지능 이미지 인식을 통해 사전에 심층신경망에서 관상어 DB의 데이터로 훈련된 학습 파라미터(Weight/Bias)를 이용하여 어종 및 어류의 질병을 인식한다. 심층신경망을 이용한 어종 및 질병 인식은 어류에 특화된 다중 심층신경망의 구조로 되어있으며, 도 8 및 도 9를 참조하여 후술한다.
다중 심층신경망을 통해 어종과 어류의 질병을 인식하면, 인식 결과를 이용하여 데이터 통합 관리부(230)에 저장된 어류 정보와의 맵핑을 수행하여, 검역 앱 SW를 통해 검역에 필요한 인식 어류에 대한 다양한 정보를 제공한다.
오타 문자 정정부(250)는 사용자 단말기(100)에서 접속한 검역 앱 SW를 통해 검색 기능을 제공하고, 데이터 통합 관리부(230)에 저장된 정보를 이용하여 찾고자 하는 관상어에 대해 심층신경망을 이용해 검색 문자에 포함되는 오타에 대한 자동 정정을 수행한다.
대부분의 관상어는 한글명이 아닌 영문명으로 사용되고, 어종에 따라 짧고 긴 어종을 나타내기 때문에 오타가 발생하는 경우가 많아, 검역 처리가 느린 문제점이 있다.
오타 문자 정정부(250)는 1차적인 심층신경망을 이용한 검색 문자의 자동 오타 정정뿐 아니라 이와 유사한 어종의 리스트를 사용자가 2차로 확인할 수 있도록 해당 입력 문자와 가장 유사한 몇 종의 어종을 검역 앱 SW를 통해 제공한다.
도 2는 본 발명의 실시예에 따른 심층신경망을 이용한 처리 과정을 도시한다.
사용자 단말기(100)는 카메라와 WIFI 통신모듈을 포함하고, 관상어 검역 SW 앱을 실행한다.
데이터 통합 관리부(230)는 서로 다른 형식의 검역 패킷 데이터를 수신하여 데이터의 유사 포맷을 분석한 뒤 통합하고, 관상어 검역 SW 앱에서 서버에 접속하여 사용자가 확인할 수 있도록 한다.
데이터 통합 관리부(230)가 기존의 데이터가 아닌 새로운 데이터를 수신하는 경우, 이미지 인식부(240)와 오타 문자 정정부(250)는 새로운 데이터를 포함한 종합 데이터를 바탕으로, 각각의 심층 신경망에서 재학습이 진행된다.
이미지 인식부(240)는 새로운 이미지 데이터를 이용하여 인공지능 모델 재학습을 진행하고, 오타 문자 정정부(250)는 새로운 어종 텍스트 데이터를 이용하여 인공지능 모델 재학습을 진행한다.
사용자 단말기(100)로부터 새로운 데이터를 수신하지 않은 경우, 이미지 인식부(240) 및 오타 문자 정정부(250)는 기존에 학습된 파라미터(Weight/Bias)를 사용한다.
사용자 단말기(100)가 사용하는 관상어 검역 SW 앱을 통해, 데이터 통합 관리부(230)에서 검색함에 따라 관상어 어종이 입력되는 경우, 입력 문자가 오타 문자 정정부(250)로 전송된다(즉, 실시간 입력 텍스트 데이터가 전송된다).
오타 문자 정정부(250)는 수신한 실시간 입력 텍스트에 대해, 이전에 인공지능 모델에서 학습한 파라미터를 사용하여 문자 내 오류가 발생하였는지 여부를 판단하고, 오류 발생 시 이에 대한 정정을 수행한다. 이때, 심층신경망에서 인식을 통해 가장 유력한 기설정 개수(예: 5개의) 어종 리스트를 관상어 검역 SW 앱으로 전송하여 사용자가 확인할 수 있도록 한다.
사용자 단말기(100)는 관상어 검역 SW 앱을 통해 현장에서 검역에 필요한 관상어를 촬영한 이미지를 이미지 인식부(240)로 전송한다.
이미지 인식부(240)는 이전에 학습으로 추출한 파라미터를 이용하여 수신된 이미지에 대한 어종 및 질병 여부를 인식하며, 어종 및 질병 여부는 각각의 다중 심층신경망(어종 심층신경망, 질병 심층신경망)에서 처리한다.
인식 결과 정보는 관상어 검역 SW 앱으로 전송되고, 사용자가 이미지 인식 결과를 확인하여 2차 확인 과정을 거치며, 결과가 옳은 경우 검역을 진행하고, 그렇지 않은 동시에 검역관의 육안으로 판별이 불가능할 경우 전문가 판독을 진행한다.
전문가 판독은 판독 불가 대상의 이미지와 정보를 타 전문가에게 전송하여 판독을 요청하고, 타 전문가로부터 판독이 완료될 시 현장의 검역관에게 판독 결과를 전송하며, 판독 결과를 전송할 시 문자 서비스를 통해 현장의 검역관에게 알림을 준다.
도 3은 본 발명의 실시예에 따른 서로 다른 포맷의 관상어 데이터를 처리 서버에서 통합한 결과를 도시한다.
도 3의 상단에 도시한 바와 같이, 서로 다른 수입 업체 또는 국립 수산 품질원에서 받은 검역 서류에서, 서로 다른 형태의 포맷의 관상어 정보를 가지고 있다.
데이터 통합 관리부(230)는 서로 다른 관상어 정보의 목차 리스트에서의 문자의 유사도를 분석하여 유사도가 높은 대상의 목차로 통합한다.
이를 통해, 도 3의 하단에 도시한 바와 같이, 서로 다른 포맷의 서류를 동일한 포맷의 관상어 정보 리스트를 통합한 데이터베이스로 구축한다.
도 4는 본 발명의 실시예에 따른 심층신경망 기반의 자동 검색 문자 오류 정정 과정 및 어종 추천 화면을 도시한다.
사용자 단말기(100)의 검역 앱 SW에서 조회하고자 하는 어종의 텍스트를 입력하면, 해당 텍스트는 실시간으로 처리 서버(200)의 오타 문자 정정부(250)의 심층신경망 모델로 입력되어, 가장 유사한 후보 리스트를 선정하여 추출한다.
추출된 문자 오류 정정 리스트는 도 4의 하단에 도시한 바와 같이, 검역 앱 SW를 통해 제공되어, 사용자가 검색한 문자와 유사한 어종명 리스트를 정확도 순서대로 나열하여 표출한다.
사용자는 나열된 검색 리스트를 클릭할 수 있으며, 클릭 시 선택된 어종에 대해 데이터 통합 관리부(230)로부터 정보를 가져와 사용자에게 제공한다.
사용자가 유연하게 검역 앱 SW을 사용할 수 있도록 해당 기능은 사용/미사용으로 선택할 수 있다.
도 5는 본 발명의 실시예에 따른 심층신경망 기반의 이미지 인식(어종인식/질병인식) 및 결과에 따른 관상어 DB 데이터 맵핑을 도시한다.
사용자 단말기(100)에서 검역 앱 SW를 통해 관상어 데이터(이미지 포함)를 관상어 통합 관리 DB로 전송하면, 새롭게 유입된 관상어인지 여부를 판단한다.
새롭게 유입되는 관상어가 없을 시, 전술한 바와 같이 심층신경망에서 기존의 데이터로 학습하여 추출된 파라미터를 이용한다.
새롭게 유입되는 관상어가 있을 시, 기존의 데이터와 새롭게 유입된 데이터를 통합하여 심층신경망에서 재학습을 진행하고 이후 이미지 인식 과정에서 새롭게 학습된 학습 파라미터를 이용한다.
사용자 단말기(100)에서 검역 앱 SW에 접속하여 검역을 진행하면서 검역을 진행할 관상어 사진을 촬영하면, 촬영 이미지는 이미지 인식부(240)로 전송된다.
이미지 인식부(240)는 수신한 촬영 이미지를 기 학습된 학습 파라미터를 이용해 다중 심층신경망에서 어종과 질병을 인식한다.
어종 및 질병의 인식 결과와 데이터 통합 관리부(230)의 정보가 매핑되어, 해당 관상어의 정보를 사용자에게 제공한다.
사용자는 여러 정보를 참고하여 검역 앱 SW에서 관상어 검역을 진행한다.
도 6은 본 발명의 실시예에 따른 다중 심층신경망 구조의 어종 인식과 질병 인식을 도시한다.
다중 심층신경망은 1개의 심층신경망 구조가 아닌 여러 개의 심층신경망 구조로 되어있으며, 도 6에 도시한 바와 같이 어종 인식 및 질병 인식은 각각의 다중 심층신경망 구조로 구성되며, 각각 별도의 인식을 수행한다.
도 7은 본 발명의 실시예에 따른 어류 분류법에 따른 다중 심층신경망 기반의 관상어 인식 구조를 도시한다.
어종 인식은 실제 어류를 분류하는 방법론을 활용하여 몸통-모양, 몸통-체색, 꼬리지느러미-형태, 등지느러미-형태, 주둥이-형태에 대해 각각의 심층신경망에 입력되어 학습 및 인식을 진행한다.
학습에 필요한 이미지는 도 7의 좌측과 같이 어종 인식을 위한 어류 분류법에 따른 형태로 이미지를 수집하여 데이터셋을 구축한다.
입력된 이미지에 따라 각각의 분류법에 따른 결과를 종합하고 분석하여 어종을 인식한다.
이때 각 분류법에 따른 심층신경망에서의 추출된 가중치를 유동적으로 부여한다.
유동적인 가중치의 기준은 각 분류법에 따른 심층신경망에서의 한 가지의 대상에 인식 정확도가 높게 나올수록 높은 가중치를 부여한다.
예컨대, 입력되는 어류가 붉은 계열일 때 몸통-체색의 심층신경망에서 적색계열이 높은 인식률을 나타내고 다른 청색, 백색, 갈색, 흑색 계열의 인식률이 낮게 나올 때의 비율을 활용해 몸통-체색 심층신경망에서 추출되는 파라미터의 가중치를 높게 부여한다.
도 8은 본 발명의 실시예에 따른 영역 분할에 따른 다중 심층신경망 기반의 관상어 질병 인식 구조를 도시한다.
사용자 단말기(100)에서 검역 앱 SW를 통해 검역 진행을 위한 이미지 촬영을 하고, 촬영 이미지가 이미지 인식부(240)로 전송되면, 다중 심층신경망을 통해 질병 인식을 한다.
질병 인식은 입력된 이미지를 머리, 지느러미, 몸통, 꼬리 영역으로 분할한다.
분할된 영역은 각각의 영역에 따른 심층신경망에 입력되어 질병을 인식하고 각 부위에서의 질병 인식 결과를 통합하여 사용자에게 전송한다.
예컨대, 해당 관상어는 머리 부분에 기생충이 있으며, 지느러미는 상처가 존재하고 몸통과 꼬리는 이상이 없음을 알려준다.
도 9는 본 발명의 실시예에 따른 심층신경망 결과에 따른 관상어 데이터 맵핑 및 검역 전용 앱 SW UI를 도시한다.
카메라, WIFI 통신 모듈이 포함되는 사용자 단말기에서 검역 앱 SW에 접속하여 검역을 처리한다.
검역 앱 SW는 검색을 통해 데이터 통합 관리부(230)에서의 검색 어종의 데이터를 로드하거나, 이미지 인식부(240)를 통해 사용자 단말기로부터 촬영한 관상어 이미지에서의 어종과 질병을 인식하여 인식 결과에 따라 데이터 통합 관리부(230)의 정보와 맵핑을 하여 검역을 위한 관상어 데이터를 검역 앱 SW에서 보여준다.
검역 앱 SW에서의 관상어 검역을 위한 검역 리스트는 예컨대 9가지로서, 관상어 이름, 분류, 유사종, 분류키, 형태, 생태, 질병, 검역 정보, 사진 등이 있다.
검색 또는 이미지 인식을 통해 관상어를 찾으면 검역 앱 SW에서 해당 관상어에 대한 검역 진행 처리 여부를 확인할 수 있다.
검역관은 검역 앱 SW에성l 관상어 데이터를 참고하여 검역을 진행하면서, 현재 검역을 진행하는 관상어의 입고/미입고 상황, 관상어의 질병 또는 기타 사항에 대해 작성이 가능한 화면, 현재 관상어 검역의 진행 완료 수를 알려주는 완료의 기능을 통해, 현재 상황을 한눈으로 파악하는 것이 가능하다.
또한, 검역 과정에서의 관상어의 사진을 클릭할 시 해당 관상어에 대한 검역 진행 정보를 한눈에 볼 수 있도록 한다.
검역관의 육안으로 검역하려는 관상어의 판별 불가시 전문가 요청을 통해 해당 관상어의 이미지와 참고 정보를 타 검역관에게 전송한다.
타 검역관이 확인 후 검역을 완료하여 기존의 검역관에게 완료한 검역 정보를 전송할 시 기존의 검역관이 사용하는 검역 앱 SW에서 소리 또는 진동 알림을 주어 즉각 확인할 수 있도록 한다.
종래 기술에 따르면, 수입으로 들여오는 관상어에 대해 공식적인 관상어 정보 또는 업체별 패킹 박스(관상어 정보) 등이 서로 다른 형식을 가지고, 조금씩 상이한 정보를 포함하고 있어, 검역 시 참고해야 할 서류가 많고, 이러한 서류를 이용해 사람이 육안으로 관상어 검역을 진행함에 따라 신뢰성이 떨어지는 문제점이 있다. 또한, 수기로 검역 결과를 작성하기 때문에 관상어의 수가 많을수록 상당한 검역 시간이 요구되어 원활한 진행의 어려움이 존재한다.
그에 반해, 본 발명의 실시예에 따르면 검역관의 검역 처리를 위해 관상어 정보를 저장하는 DB 서버로 서로 다른 형식인 관상어 정보를 통합할 수 있도록 하며, 이와 연동하여 스마트폰, 스마트 패드에서 사용할 수 있는 검역 앱 SW의 시스템을 제공하여 편리한 검역 처리가 가능한 장점이 있다.
본 발명의 실시예에 따르면, 학습 기반의 기본 구조를 구축하여 자동으로 오류 문자를 정정하고, 관상어의 종류와 질병 여부를 인식하여 DB 서버에서의 관상어 정보와 맵핑을 시킨다. 사전에 수집된 관상어 이미지 데이터셋을 통해 미리 학습 엔진을 훈련하여 학습 파라미터를 추출하고, 실제 적용될 응용 디바이스에서는 사전에 훈련된 학습 파라미터 로드하여 이용한다.
관상어 인식에 특화된 심층 학습 엔진은 다중 심층신경망 구조이며, 어류 분류법(머리, 꼬리, 지느러미, 몸통 등) 기반으로 나눠져 각각의 심층신경망에서 형태를 인식하고 최종적으로 인식 결과를 종합하여 어종 및 질병을 파악하는 것이 가능하다.
본 발명의 실시예에 따르면, 관상어 검역 앱 SW에서 관상어 DB(Server)로 새로운 관상어 데이터를 업로드 할 때 심층 학습 엔진의 학습 파라미터를 재학습하고 업데이트 함으로써, 새롭게 등장하는 어종에 대해 인식할 수 있다는 장점이 있다.
또한, 심층 학습 엔진을 통해 관상어가 미검출되는 경우, 오인식되는 경우, 검역관이 관상어 종류를 분류하지 못할 경우에도 다른 전문가들에게 검역을 요청하는 서비스를 지원함으로써, 신속한 관상어 검역 처리가 가능하도록 지원하는 장점이 있다.
한편, 본 발명의 실시예에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명의 실시예에 따른 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법은 (a) 사용자 단말기로부터 데이터를 수신하는 단계와, (b) 상기 데이터를 이용하여 상이한 포맷의 관상어 정보를 통합하는 단계 및 (c) 상기 데이터를 이용하여 심층신경망 기반으로 어종 및 질병 판단을 수행하고, 텍스트 내 포함된 오류에 대한 정정을 수행하는 단계를 포함한다.
상기 (b) 단계는 관상어 패킹 리스트 및 관상어 정보 검역 서류를 수신하여, 상이한 포맷을 통일된 포맷의 형태로 통합한다.
상기 (c) 단계는 관상어 촬영 이미지에 대해 기학습된 파라미터를 이용하여 어종 및 어류의 질병을 인식하고, 새로운 촬영 이미지가 수신된 경우 인공지능 모델에 대한 재학습을 수행한다.
상기 (c) 단계는 관상어 검색 문자 내 포함되는 오타에 대한 정정을 수행하고, 기준 유사도 이상의 어종명 리스트를 제공하며, 새로운 어종 텍스트 데이터가 수신되는 경우 인공지능 모델 재학습을 수행한다.

Claims (13)

  1. 검역관이 소지하는 사용자 단말기; 및
    상기 사용자 단말기로부터 데이터를 수신하여, 상이한 포맷의 관상어 정보를 통합하고, 심층신경망 기반으로 어종 및 질병 판단을 수행하며, 상기 사용자 단말기로부터 수신한 텍스트에 포함된 오류를 자동 정정하는 처리 서버
    를 포함하는 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  2. 제1항에 있어서,
    상기 처리 서버는 데이터 통합 관리부를 포함하여,
    상기 데이터 통합 관리부는 관상어 수입 과정에서 수신한 관상어 패킹 리스트 및 관상어 정보 검역 서류를 수신하고, 상이한 포맷의 목록에 대해 형식 유사도를 분석하여, 통일된 포맷의 형태로 데이터를 통합하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  3. 제1항에 있어서,
    상기 처리 서버는 이미지 인식부를 포함하여,
    상기 이미지 인식부는 상기 사용자 단말기로부터 수신한 관상어 촬영 이미지에 대해 기학습된 파라미터를 이용하여 어종 및 어류의 질병을 인식하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  4. 제3항에 있어서,
    상기 이미지 인식부는 상기 어종을 인식하기 위한 다중 심층신경망 및 상기 어류의 질병을 인식하기 위한 다중 심층신경망 학습 파라미터를 이용하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  5. 제3항에 있어서,
    상기 처리 서버는 기저장된 어류 정보와 상기 어종 및 어류의 질병 인식 결과를 맵핑하여, 상기 사용자 단말기로 전송하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  6. 제3항에 있어서,
    상기 이미지 인식부는 상기 사용자 단말기로부터 기존 데이터가 아닌 새로운 데이터를 수신하는 경우, 새로운 이미지 데이터를 이용하여 인공지능모델 재학습을 수행하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  7. 제1항에 있어서,
    상기 처리 서버는 오타 문자 정정부를 포함하여,
    상기 오타 문자 정정부는 기저장된 정보를 이용하여 조회 대상이 되는 관상어 검색 문자 내 포함되는 오타에 대한 자동 정정을 수행하고, 기준 유사도 이상의 어종명의 리스트를 제공하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  8. 제7항에 있어서,
    상기 오타 문자 정정부는 상기 사용자 단말기로부터 기존 데이터가 아닌 새로운 데이터를 수신하는 경우, 새로운 어종 텍스트 데이터를 이용하여 인공지능모델 재학습을 수행하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  9. 제1항에 있어서,
    상기 처리 서버는 타 전문가의 디바이스로 판독을 요청하고, 판독 완료에 따라 상기 사용자 단말기로 알람을 제공하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 장치.
  10. (a) 사용자 단말기로부터 데이터를 수신하는 단계;
    (b) 상기 데이터를 이용하여 상이한 포맷의 관상어 정보를 통합하는 단계; 및
    (c) 상기 데이터를 이용하여 심층신경망 기반으로 어종 및 질병 판단을 수행하고, 텍스트 내 포함된 오류에 대한 정정을 수행하는 단계
    를 포함하는 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법.
  11. 제10항에 있어서,
    상기 (b) 단계는 관상어 패킹 리스트 및 관상어 정보 검역 서류를 수신하여, 상이한 포맷을 통일된 포맷의 형태로 통합하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법.
  12. 제10항에 있어서,
    상기 (c) 단계는 관상어 촬영 이미지에 대해 기학습된 파라미터를 이용하여 어종 및 어류의 질병을 인식하고, 새로운 촬영 이미지가 수신된 경우 인공지능 모델에 대한 재학습을 수행하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법.
  13. 제10항에 있어서,
    상기 (c) 단계는 관상어 검색 문자 내 포함되는 오타에 대한 정정을 수행하고, 기준 유사도 이상의 어종명 리스트를 제공하며, 새로운 어종 텍스트 데이터가 수신되는 경우 인공지능 모델 재학습을 수행하는 것
    인 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법.
KR1020210171404A 2021-12-03 2021-12-03 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치 KR102614062B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210171404A KR102614062B1 (ko) 2021-12-03 2021-12-03 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210171404A KR102614062B1 (ko) 2021-12-03 2021-12-03 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230083421A true KR20230083421A (ko) 2023-06-12
KR102614062B1 KR102614062B1 (ko) 2023-12-15

Family

ID=86770145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210171404A KR102614062B1 (ko) 2021-12-03 2021-12-03 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102614062B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213360A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd データ検索システム及びデータ検索装置
KR20170041713A (ko) * 2014-07-03 2017-04-17 에이블 월드 인터내셔널 리미티드 복수의 정보원에서 얻는 정보 및 도구를 통일화하는 방법 및 이를 응용한 컴퓨터 프로그램 제품과 장치
JP2018045321A (ja) * 2016-09-12 2018-03-22 悟 佐藤 情報処理装置、情報処理方法、及びプログラム
KR20200062890A (ko) * 2018-11-27 2020-06-04 수상에스티(주) 관상어 영상인식을 통한 이상행동패턴 분석 시스템 및 그 방법
KR20200109683A (ko) * 2019-03-14 2020-09-23 경남과학기술대학교 산학협력단 어종 분류를 위한 데이터 적용 시스템
KR20200109681A (ko) * 2019-03-14 2020-09-23 경남과학기술대학교 산학협력단 어종 분류를 위한 데이터 적용 방법
KR20210063078A (ko) * 2019-11-22 2021-06-01 주식회사 심플로지스 스마트 품목분류 시스템 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213360A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd データ検索システム及びデータ検索装置
KR20170041713A (ko) * 2014-07-03 2017-04-17 에이블 월드 인터내셔널 리미티드 복수의 정보원에서 얻는 정보 및 도구를 통일화하는 방법 및 이를 응용한 컴퓨터 프로그램 제품과 장치
JP2018045321A (ja) * 2016-09-12 2018-03-22 悟 佐藤 情報処理装置、情報処理方法、及びプログラム
KR20200062890A (ko) * 2018-11-27 2020-06-04 수상에스티(주) 관상어 영상인식을 통한 이상행동패턴 분석 시스템 및 그 방법
KR20200109683A (ko) * 2019-03-14 2020-09-23 경남과학기술대학교 산학협력단 어종 분류를 위한 데이터 적용 시스템
KR20200109681A (ko) * 2019-03-14 2020-09-23 경남과학기술대학교 산학협력단 어종 분류를 위한 데이터 적용 방법
KR20210063078A (ko) * 2019-11-22 2021-06-01 주식회사 심플로지스 스마트 품목분류 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102614062B1 (ko) 2023-12-15

Similar Documents

Publication Publication Date Title
CN110705405B (zh) 目标标注的方法及装置
CN108920580A (zh) 图像匹配方法、装置、存储介质及终端
US20170351934A1 (en) Object recognition device, object recognition method, and program
US11508173B2 (en) Machine learning prediction and document rendering improvement based on content order
CN110796204B (zh) 视频标签确定方法、装置和服务器
CN108959462B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111583180B (zh) 一种图像的篡改识别方法、装置、计算机设备及存储介质
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
WO2021104125A1 (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
Zhang et al. Boundary-based image forgery detection by fast shallow cnn
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN111897962A (zh) 一种物联网资产标记方法及装置
CN111126514A (zh) 图像多标签分类方法、装置、设备及介质
WO2019144416A1 (zh) 信息处理方法、系统、云处理设备以及计算机程序产品
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN111126243B (zh) 一种图像数据检测方法、装置以及计算机可读存储介质
CN112232368A (zh) 目标识别模型训练方法、目标识别方法及其相关装置
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
CN112613471B (zh) 人脸活体检测方法、装置及计算机可读存储介质
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
KR20230083421A (ko) 데이터 전처리 및 심층신경망 기반 이미지 검출 및 분류를 통한 수입 관상어 검역을 위한 방법 및 장치
CN115909408A (zh) 一种基于Transformer网络的行人重识别方法及装置
CN113065559B (zh) 图像比对方法、装置、电子设备及存储介质
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
CN114417860A (zh) 一种信息检测方法、装置及设备

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant