KR102828362B1 - 영상 기반 가축의 재고 관리 장치 및 방법 - Google Patents

영상 기반 가축의 재고 관리 장치 및 방법 Download PDF

Info

Publication number
KR102828362B1
KR102828362B1 KR1020220117005A KR20220117005A KR102828362B1 KR 102828362 B1 KR102828362 B1 KR 102828362B1 KR 1020220117005 A KR1020220117005 A KR 1020220117005A KR 20220117005 A KR20220117005 A KR 20220117005A KR 102828362 B1 KR102828362 B1 KR 102828362B1
Authority
KR
South Korea
Prior art keywords
livestock
exit
entry
individual
room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220117005A
Other languages
English (en)
Other versions
KR20240038329A (ko
Inventor
전광명
신동해
주소현
Original Assignee
인트플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인트플로우 주식회사 filed Critical 인트플로우 주식회사
Priority to KR1020220117005A priority Critical patent/KR102828362B1/ko
Priority to EP23787001.9A priority patent/EP4365797A4/en
Priority to PCT/KR2023/014022 priority patent/WO2024058630A1/ko
Priority to US18/485,193 priority patent/US20240095670A1/en
Publication of KR20240038329A publication Critical patent/KR20240038329A/ko
Application granted granted Critical
Publication of KR102828362B1 publication Critical patent/KR102828362B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치는 데이터 송수신 모듈; 영상 기반 가축의 재고 관리 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하고, 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공한다.

Description

영상 기반 가축의 재고 관리 장치 및 방법{APPARATUS AND METHOD FOR INVENTORY MANAGEMENT OF LIVESTOCK BASED ON IMAGE}
본 발명은 영상 기반 가축의 재고 관리 장치 및 방법에 대한 것이다.
일반적으로, 축사에서 사육되는 가축은 입식, 전입, 전출, 출산 또는 폐사 등을 이유로 하는 개체 두수의 증감이 빈번하게 발생한다. 이로 인한 보고의 지연 또는 누락 등 다양한 원인으로 인하여 집계 현황에 오류가 발생할 수 있다. 이와 같은 개체 두수 관리는 축산 농장에서 사료, 인력, 설비 등 투입비용 산출과 사육, 출하 계획의 수립을 위한 기본정보로서, 매우 중요하다. 한편 전 세계의 경제규모의 성장에 따라 축산업은 사육규모가 늘어나고 관련 인력은 줄어드는 추세에 접어들어 사람의 목측을 통한 재고두수 측정 및 관리가 어려운 실정이다.
이와 관련하여, 기존의 가축 관리 방법으로서, 한국 특허등록 제 10-2101977호(발명의 명칭: 스마트 축산 통합 관리 플랫폼 운영 방법)는 축사 별 사료 정보, 개체의 상태 정보 및 환경/시설 정보 중 하나 이상을 포함하는 축산 로우 데이터를 센서노드를 통해 수집하는 단계; 저전력 광역 통신망에 기초하여 상기 수집된 축산 로우 데이터를 상기 스마트 축산 통합 관리 플랫폼이 저장된 분석 서버로 전송하는 단계; 및 상기 스마트 축산 통합 관리 플랫폼을 통해 상기 축산 로우 데이터를 분석한 모니터링 정보를 생성하는 것을 개시한다.
그러나, 기존 발명의 로우 데이터는 사료레벨 센서, 개체 센서, 축사 센서를 아우르는 센서노드를 통해 취합되는 것을 가정하는데, 이는 가축 한 마리 별로 BLE, LORA, RFID 등의 센서를 부착해야 하는 것을 의미하고, 이는 재고두수가 많은 육우, 양돈, 양계 등 대부분의 축산에 적용하는데 경제성이 떨어져 확산이 어렵다는 단점이 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 축산 농가 내 가축동물의 재고 두수를 자동으로 파악하고 이를 이용한 농장 전체의 재고정보를 확보하는 영상 기반 가축의 재고 관리 장치 및 방법을 제공하는 데 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치는 데이터 송수신 모듈; 영상 기반 가축의 재고 관리 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하고, 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공한다.
본 발명의 다른 실시예에 따른 영상 기반 가축의 재고 관리 장치를 이용한 가축 재고 관리 방법은 (a) 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하는 단계; (b) 검출된 각 가축 개체의 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하는 단계; (c) ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하는 단계; 및 (d) 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는 단계를 포함한다.
전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 일일이 가축 몸이나 인근 장치에 센서를 부착해야 했던 기존 방법과 달리 농장 내 사육 밀도가 높아져도 사육 영역에 카메라를 설치하는 것만으로도 가축동물의 전체 재고두수를 파악할 수 있다.
특히 동물의 표현 혹은 내부에 어떠한 물리적 장치를 접촉하지 않으므로 동물에 위해를 가하지 않고 재고관리 할 수 있다는 장점이 있다. 즉 양돈, 양계 등 관리 개체 두수가 많은 가축 동물의 재고관리에 특히 요긴하게 활용할 수 있다.
더불어 실시간 재고현황 정보를 통해 정확히 필요한 사료지급량을 예측할 수 있으므로 사료지급의 낭비나 부족 없이 정량 지급이 가능하여 사료허실을 낮추고 투입비용 대비 수익성을 최적화 할 수 있다.
또한 현장의 폐사두수 역시 실시간으로 파악 가능하므로 가축감염병 확산을 비롯한 현장의 문제를 적시에 인지하고 골든타임에 대책을 강구할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 세부 구성 요소를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 각 가축방의 출입구에 대한 ROI 영역이 설정된 복수의 카메라가 설치된 축사의 평면을 개략적으로 도시한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 가축 개체 검출 모델을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 사용자 인터페이스를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 방법을 도시한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 구성을 도시한 블록도이다.
도 1을 참조하면 영상 기반 가축의 재고 관리 장치(100)는 복수의 카메라(10), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.
데이터 송수신 모듈(120)은 카메라(10)가 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정하여 촬영한 영상을 수신하여 프로세서(130)로 전송할 수 있다.
데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 영상 기반 가축의 재고 관리 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로그램은, 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하고, 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공한다.
본 발명에서는 가축 개체의 재고 관리를 위한 사육관리지점으로서, 비슷한 사육단계에 있는 동물 집단들이 평소에 사육되는 가축방의 출입구를 ROI 영역으로 설정하고 있으나, 이에 한정된 것은 아니며, 전입/전출 복도, 혹은 출하대일 수 있다. 이는 농장의 사육 동물의 종, 사육규모, 시설물 구조, 사육 방법등에 따라 다양하게 설정될 수 있다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(140)에는 영상 기반 가축의 재고 관리 프로그램이 저장된다. 이러한 메모리(140)에는 영상 기반 가축의 재고 관리 장치(100)의 구동을 위한 운영 체제나 영상 기반 가축의 재고 관리 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 프로세서(130)의 제어에 따라, 영상 기반 가축의 재고 관리 장치(100)에 필요한 데이터를 저장 또는 제공한다. 예시적으로, 데이터베이스(150)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 검출한 각 가축 개체의 객체 검출 데이터, 이동상태 및 출입 상태 정보를 누적적으로 저장할 수 있다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.
이하, 각 가축방 별 가축의 재고 관리를 위한 구체적인 과정은 도 2 내지 도 6을 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 세부 구성 요소를 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 각 가축방의 출입구에 대한 ROI 영역이 설정된 복수의 카메라가 설치된 축사의 평면을 개략적으로 도시한 도면이다.
도2에 도시된 바와 같이, 프로세서(130)는 프로그램의 실행에 따라, 다양한 기능을 수행할 수 있는 데, 각 기능에 따라 영상획득부(131), 가축개체 검출부(132), 가축개체 추적부(133) 및 가축개체 연산부(134)로 구성된 세부 모듈들을 포함할 수 있다.
영상획득부(131)는 각 가축방의 출입구(20)를 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출할 수 있다.
예시적으로, 도 3을 참조하면 카메라(10)는 축사 내에 구비된 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정된 영상을 촬영하며, 복수의 가축방의 출입구(20)가 모니터링될 수 있는 이동 통로에 적어도 하나 이상 배치될 수 있다. 또한 카메라(10)는 탐색 영역 내에서 소정의 화각으로 촬영한 영상을 데이터 송수신 모듈(120)에 송신할 수 있다.
가축개체 검출부(132)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출할 수 있다.
예시적으로, 가축개체 검출부(132)의 구동을 위해서는 축종별 맞춤 훈련이 진행된 딥러닝 기반의 가축 개체 검출 모델을 활용할 수 있다. 예를 들어, CNN, YoLo, RetinaNet, SDD, RCNN 등 종래의 개체검출 모델과 축종별 정확성을 개선하기 위해 신경망 및 손실함수가 변경된 형식의 개체 검출 모델 모두 활용 가능하다.
여기서, 가축은 일반 사물과 달리 계속 움직이며 다양한 행동 양상을 띤다. 따라서, 가축 개체 검출 모델은 몸통 표면 크기를 일정하게 측정하기 위해서 가축의 몸통이 향하는 방향을 추정하는 구성과 가축 행동에 따른 크기측정 오차를 방지하는 구성을 포함할 수 있다.
이하, 가축 개체 검출 모델에 대하여 구체적으로 설명하도록 한다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 가축 개체 검출 모델을 설명하기 위한 도면이고, 이때 도 4a는 도 3에 도시된 A 에 해당하는 영상을 도시한 도면이다.
도 4a 및 도 4b를 참조하면, 가축 개체 검출 모델은 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력할 수 있다.
예시적으로, 가축 개체 검출 모델에서 외곽선은 사각형 또는 타원으로 설정될 수 있다. 일 예로, 도 4b에 도시된 바와 같이, 가축 개체 검출 모델의 훈련 데이터에서 외곽선은 가축 개체의 경계박스를 가리키는 사각형 또는 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원형으로 설정될 수 있다.
일 예로, 객체 검출 데이터는 카메라(10)로부터 수집된 ROI 영역의 영상에서 각 축종 별로 검출한 가축 개체의 몸통 영역에 적합하도록 형성된 외곽선에 대한 정보로서, 외곽선의 중심점 좌표(xc, yc), 바운딩박스의 너비(w), 외곽선의 길이(h) 및 기준축에 대해 외곽선이 회전한 각도(Θ)를 포함할 수 있다. 또한, 객체 검출 데이터는 가축 개체의 특징점(keypoint)을 나타내는 위치 정보(좌표)로서, 가축 개체의 머리의 단부의 위치(nose), 목의 위치(neck) 및 몸통의 단부의 위치(hip) 등을 포함할 수 있다. 예를 들어, 타원의 장축이 12시 방향인 경우, 기준축(0도)이 되고, 기준축을 기준으로 반시계 방향으로 회전하여 가축 개체의 목덜미(nose, neck)가 향하는 방향이 회전축이 되어, 회전한 각도(Θ)가 지정될 수 있다.
또한, 객체 검출 데이터는 영상에서 검출한 동물 개체의 종류(class)에 대한 정보를 추가로 포함할 수 있다. 가축 개체의 종류에 대한 정보로는 돼지, 소, 염소, 양, 말 등과 같이 서로 다른 종의 동물로 구분되나, 이에 한정된 것은 아니다. 예를 들면, 동일한 종에서도 생장단계별로 종류가 구분될 수 있다. 양돈의 경우 포유자돈, 이유자돈, 육성돈, 비육돈, 후보돈, 임신돈, 분만돈 등으로 종류를 구분할 수 있다.
가축개체 검출부(132)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체 별 상태 정보를 검출할 수 있다.
다른 예로, 가축 개체 검출 모델은 죽은 가축 개체(폐사체)가 이동되는 영상인 폐사 정보를 가축 개체의 상태 정보로 학습할 수 있다. 예를 들어, 폐사 정보는 사람에 의해, 폐사체가 끌려가는 장면 및 폐사체가 수레에 담겨서 이동되는 장면 등 입력 영상에서 구분이 가능한 폐사체 이동 장면을 포함한다.
일 예로, 상태 정보는 폐사, 입장, 퇴장 등을 포함하는 가축 개체의 출입 상태로 구분될 수 있으나, 이에 한정된 것은아니다.
즉 후술하는 가축개체 연산부(134)는 폐사 정보를 이용하여, 각 가축방 별로 발생하는 죽은 가축 개체의 두수 및 폐사율을 포함하는 폐사 이력을 산출할 수 있다.
한편, 상기 언급된 모델 구조 외에 본 발명의 가축 개체의 상태 정보 및 객체 검출 목적을 위한 새로운 구조를 제시하여 훈련하는 것 역시 가능하다. 다만, 가축 개체 검출이 구분하는 상태 정보를 검출하기 위한 기준행동은 축종 마다 크기를 측정하는 기준에 따라 다르게 설정될 수 있다.
다시 도2를 참조하면, 가축개체 추적부(133)는 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하며, 각 가축 개체 별로 식별 번호(ID)를 부여하고, 식별된 각 가축 개체의 중심 좌표가 서로 인접한 정도를 이용하여 각 가축 개체를 추적할 수 있다.
일 예로, 가축개체 추적부(133)는 헝가리안 알고리즘에 기인한 SORT(simple online and realtime tracking algorithm), Deep SORT 및 상관도 기반 추적 등 종래의 개체추적 알고리즘을 이용하여, 매 프레임마다 검출된 가축 개체의 영역간 겹침 정도를 칼만 필터(Kalman filter)로 추적하여 양 프레임 간의 검출 결과가 동일 개체의 것인지 아닌지 판단할 수 있다.
프로그램은 각 가축 개체의 출입 상태를 판별하기 위해, 식별된 각 가축 개체의 중심 좌표가 ROI 영역의 좌표를 통과하는 시간 및 이동상태를 포함한 경로를 이용하여 각 가축 개체의 입장 행위 및 퇴장 행위를 추적할 수 있다.
또한, 프로그램은 ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성할 수 있다.
다시, 도2를 참조하면 가축개체 연산부(134)는 ROI 영역의 좌표를 기초로 각 가축 개체의 누적 중심 좌표가 가축방으로 입장하는 경로이면 출입 상태 정보를 두수의 증가 정보로 산출하고, 가축방으로부터 퇴장하는 경로이면 출입 상태 정보를 두수의 감소 정보로 산출할 수 있다.
예를 들어, 출입 상태 정보는 가축 개체의 중심 좌표가 각 ROI 영역에 포함된 출입구(외곽 좌표들)를 통과한 후 가축방으로 입장하는 경로에 해당하면 해당 가축방의 전입(입장)으로 카운팅하고, 가축 개체의 중심 좌표가 가축방으로부터 출입구로 퇴장하는 경로에 해당하면 해당 가축방의 전출(퇴장)로 카운팅할 수 있다.
즉, 프로그램은 각 가축방 별로 수용된 가축 개체 두수의 초기값을 기초로, 각 가축방의 출입 상태 정보 또는 각 가축 개체의 상태 정보를 집계하여 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 사용자 인터페이스를 통해 제공할 수 있다.
예를 들어, 재고정보는 각 가축방 별 실시간 가축 개체 두수, 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 사용자 인터페이스를 설명하기 위한 도면이다.
예시적으로, 도 5를 참조하면 사용자 인터페이스(110)는 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 입력 인터페이스를 포함한다.
예를 들어, 입력 인터페이스는 전입, 전출 및 입사 등으로 구분되는 작업 종류, 작업에 대한 세부정보, 각 농장 식별 정보(예를 들어 자돈사 1번), 각 가축방 식별정보(예를 들어, 자돈방 1번), 가축 개체의 두수, 무게, 작업 시작 시간, 일정(날짜), 사육단계(예를 들어, 자돈), 품종 등의 정보를 입력하는 영역을 포함할 수 있다.
도 6을 참조하면 사용자 인터페이스(110)는 각 가축방 별 실시간 가축 개체 두수를 제공하는 제1영역(111), 각 가축방 별 전입 또는 전출 일정(이동 이력)을 포함한 작업 일정 캘린더 및 작업 목록을 제공하는 제2영역(112) 및 각 가축방 별 가축 개체의 폐사 두수를 포함한 폐사 이력을 제공하는 제3영역(113)을 포함할 수 있다.
따라서, 본 발명은 다수의 농장의 지점 또는 각 가축방 별로 데이터베이스에 누적된 가축 개체의 재고정보를 분석하여 각 농장 또는 가축방 별 재고두수, 이동 이력, 및 폐사율을 사용자 인터페이스(110)를 통해 제공할 수 있다.
이하에서는 상술한 도 1 내지 도 6에 도시된 구성 중 동일한 구성의 설명은 생략하도록 한다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 방법을 도시한 순서도이다.
영상 기반 가축의 재고 관리 장치를 이용한 가축 재고 관리 방법은 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하는 단계(S110), 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하는 단계(S120), ROI 영역 별 각 가축방의 출입구(20)에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하는 단계(S130) 및 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는 단계(S140)를 포함한다.
S110 단계 이전에 본 발명의 가축 재고 관리 방법은 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 사용자 인터페이스(110)를 제공할 수 있다.
또한 사용자 인터페이스(110)는 재고정보를 제공하되, 재고정보는 각 가축방 별 실시간 가축 개체 두수, 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함할 수 있다.
가축 개체 검출 모델은 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력할 수 있다.
S140 단계는 ROI 영역의 중심 좌표를 기초로 각 가축 개체의 중심 좌표가 가축방으로 입장하는 경로이면 출입 상태 정보를 두수의 증가 정보로 산출하고, 가축방으로부터 퇴장하는 경로이면 출입 상태 정보를 두수의 감소 정보로 산출할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 기반 가축의 재고 관리 장치
10: 카메라
120: 데이터 송수신 모듈
130: 프로세서
140: 메모리
150: 데이터베이스

Claims (10)

  1. 영상 기반 가축의 재고 관리 장치에 있어서,
    데이터 송수신 모듈;
    영상 기반 가축의 재고 관리 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 프로그램은, 각 가축방의 출입구가 하나의 ROI(Region of Interest)로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, 상기 ROI 별 상기 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 상기 각 가축방의 출입 상태 정보를 생성하고, 상기 각 가축방에 수용된 가축 개체 두수의 초기값과 상기 출입 상태 정보에 기초한 상기 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하되,
    상기 프로그램은 상기 ROI의 좌표를 기초로 상기 각 가축 개체의 중심 좌표가 상기 출입구의 외곽 좌표를 통과한 후 가축방으로 입장하는 경로이면 상기 출입 상태 정보를 두수의 증가 정보로 산출하고, 상기 각 가축 개체의 중심 좌표가 가축방으로부터 상기 출입구의 외곽 좌표로 퇴장하는 경로이면 상기 출입 상태 정보를 두수의 감소 정보로 산출하는 것인, 가축 재고 관리 장치.
  2. 제1항에 있어서,
    상기 프로그램은, 상기 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 사용자 인터페이스를 제공하는 것인, 가축 재고 관리 장치.
  3. 제2항에 있어서,
    상기 사용자 인터페이스는 상기 재고정보를 제공하되,
    상기 재고정보는 상기 각 가축방 별 실시간 가축 개체 두수, 상기 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함하는 것인, 가축 재고 관리 장치.
  4. 제1항에 있어서,
    상기 가축 개체 검출 모델은 상기 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력하는 것인, 가축 재고 관리 장치.
  5. 삭제
  6. 영상 기반 가축의 재고 관리 장치를 이용한 가축 재고 관리 방법에 있어서,
    (a) 각 가축방의 출입구가 하나의 ROI(Region of Interest)로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하는 단계;
    (b) 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하는 단계;
    (c) 상기 ROI 별 상기 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 상기 각 가축방의 출입 상태 정보를 생성하는 단계; 및
    (d) 상기 각 가축방에 수용된 가축 개체 두수의 초기값과 상기 출입 상태 정보에 기초한 상기 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는 단계를 포함하되,
    상기 (d) 단계는
    상기 ROI의 좌표를 기초로 상기 각 가축 개체의 중심 좌표가 상기 출입구의 외곽 좌표를 통과한 후 가축방으로 입장하는 경로이면 상기 출입 상태 정보를 두수의 증가 정보로 산출하고, 상기 각 가축 개체의 중심 좌표가 가축방으로부터 상기 출입구의 외곽 좌표로 퇴장하는 경로이면 상기 출입 상태 정보를 두수의 감소 정보로 산출하는 것인, 가축 재고 관리 방법.
  7. 제6항에 있어서,
    상기 (a) 단계 이전에
    상기 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 사용자 인터페이스를 제공하는 것인, 가축 재고 관리 방법.
  8. 제7항에 있어서,
    상기 사용자 인터페이스는 상기 재고정보를 제공하되,
    상기 재고정보는 상기 각 가축방 별 실시간 가축 개체 두수, 상기 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함하는 것인, 가축 재고 관리 방법.
  9. 제6항에 있어서,
    상기 가축 개체 검출 모델은 상기 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력하는 것인, 가축 재고 관리 방법.
  10. 삭제
KR1020220117005A 2022-09-16 2022-09-16 영상 기반 가축의 재고 관리 장치 및 방법 Active KR102828362B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020220117005A KR102828362B1 (ko) 2022-09-16 2022-09-16 영상 기반 가축의 재고 관리 장치 및 방법
EP23787001.9A EP4365797A4 (en) 2022-09-16 2023-09-18 Image-based livestock inventory management device and method
PCT/KR2023/014022 WO2024058630A1 (ko) 2022-09-16 2023-09-18 영상 기반 가축의 재고 관리 장치 및 방법
US18/485,193 US20240095670A1 (en) 2022-09-16 2023-10-11 Device and method for inventory management of livestock based on image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220117005A KR102828362B1 (ko) 2022-09-16 2022-09-16 영상 기반 가축의 재고 관리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20240038329A KR20240038329A (ko) 2024-03-25
KR102828362B1 true KR102828362B1 (ko) 2025-07-03

Family

ID=90275408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220117005A Active KR102828362B1 (ko) 2022-09-16 2022-09-16 영상 기반 가축의 재고 관리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102828362B1 (ko)
WO (1) WO2024058630A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101595764B1 (ko) * 2014-04-14 2016-02-22 재단법인대구경북과학기술원 카메라를 이용한 가축 추적 방법 및 그 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792752B2 (ja) * 1995-07-19 2006-07-05 松下電器産業株式会社 動物頭数管理システム
KR20130082528A (ko) * 2011-12-07 2013-07-22 삼성에스디에스 주식회사 창고 관리 시스템 및 창고 관리 방법
KR101676643B1 (ko) * 2014-10-16 2016-11-29 렉스젠(주) 가축 관리 시스템 및 그 방법
JP2017194760A (ja) * 2016-04-18 2017-10-26 株式会社スカイシーカー 動物生息状況調査方法および動物生息状況調査システム
KR102101977B1 (ko) 2017-08-21 2020-05-29 제이씨스퀘어주식회사 스마트 축산 통합 관리 플랫폼 운영 방법
KR102527322B1 (ko) * 2020-10-22 2023-05-03 주식회사 아이티테크 딥러닝 기반의 객체 인식을 통한 가축 관리 방법
KR102522239B1 (ko) * 2020-11-19 2023-04-17 인트플로우 주식회사 영상 기반 가축의 급이 행동 분석 장치 및 방법
KR102264281B1 (ko) * 2020-12-31 2021-06-14 한국축산데이터 주식회사 농업회사법인 축사 영상을 이용한 가축 체중 추정 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101595764B1 (ko) * 2014-04-14 2016-02-22 재단법인대구경북과학기술원 카메라를 이용한 가축 추적 방법 및 그 장치

Also Published As

Publication number Publication date
KR20240038329A (ko) 2024-03-25
WO2024058630A1 (ko) 2024-03-21

Similar Documents

Publication Publication Date Title
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
Wurtz et al. Recording behaviour of indoor-housed farm animals automatically using machine vision technology: A systematic review
US20240382109A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
KR102522239B1 (ko) 영상 기반 가축의 급이 행동 분석 장치 및 방법
EP4187505B1 (en) A method and system for the identification of animals
JP6824199B2 (ja) 背の画像に基づき個々の動物を識別するシステム及び方法
KR102165891B1 (ko) 축산 데이터 분석 기반 농가 상태 진단 시스템
KR102372107B1 (ko) 영상기반의 모돈 분만 알림 시스템
KR102341715B1 (ko) 가축 모니터링 장치 및 방법
US20230276773A1 (en) Systems and methods for automatic and noninvasive livestock health analysis
KR20230033068A (ko) 축산 동물의 행동 패턴을 기반으로 한 스마트 축사 관리 시스템 및 방법
JP2023073478A (ja) 行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体
CA3200086A1 (en) A system and method for tracing members of an animal population
Giannone et al. Automated dairy cow identification and feeding behaviour analysis using a computer vision model based on YOLOv8
US20240095670A1 (en) Device and method for inventory management of livestock based on image
KR102828362B1 (ko) 영상 기반 가축의 재고 관리 장치 및 방법
JP2011135786A (ja) 自動体重選別装置およびプログラム
CN114022302A (zh) 一种基于视频监控的孕期山羊智能管理系统及管理方法
WO2025068550A1 (en) System and method for determining at least one body parameter of a bovine subject based on range imaging
TW202201328A (zh) 牲畜異常監測系統、方法、電腦程式產品及電腦可讀取紀錄媒體
JP2024046596A (ja) 状態予測装置、状態予測方法、プログラム、及び記録媒体
Labrecque et al. Real-time individual pig tracking and behavioural metrics collection with affordable security cameras
JP2023168245A (ja) 疑似グルーミング実行個体判別システム、グルーミング情報収集システム、分類モデル生成システム、データセットの生成方法、及び、疑似グルーミング実行個体判別方法
Paneva et al. Review of systems and technologies for automated counting of animals
Yuan et al. Stress-free detection technologies for pig growth based on welfare farming: A review

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220916

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20241014

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250403

PG1601 Publication of registration