KR102610505B1 - Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence - Google Patents

Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence Download PDF

Info

Publication number
KR102610505B1
KR102610505B1 KR1020230103513A KR20230103513A KR102610505B1 KR 102610505 B1 KR102610505 B1 KR 102610505B1 KR 1020230103513 A KR1020230103513 A KR 1020230103513A KR 20230103513 A KR20230103513 A KR 20230103513A KR 102610505 B1 KR102610505 B1 KR 102610505B1
Authority
KR
South Korea
Prior art keywords
image
agricultural products
artificial intelligence
interest
region
Prior art date
Application number
KR1020230103513A
Other languages
Korean (ko)
Inventor
곽호재
강수빈
Original Assignee
주식회사 에이오팜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이오팜 filed Critical 주식회사 에이오팜
Priority to KR1020230103513A priority Critical patent/KR102610505B1/en
Application granted granted Critical
Publication of KR102610505B1 publication Critical patent/KR102610505B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • G01N33/025Fruits or vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 개시는 인공지능 기반의 농산물 외부 결함 측정 장치에 관한 것으로, 농산물에 대하여 촬영된 이미지 데이터를 기반으로 3D Reconstruction을 진행함으로써, 농산물의 외부 결함을 측정할 수 있다.This disclosure relates to an artificial intelligence-based external defect measurement device for agricultural products, which can measure external defects in agricultural products by performing 3D reconstruction based on image data captured for agricultural products.

Description

인공지능 기반의 농산물 외부 결함 측정 장치, 방법 및 프로그램 {Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence}Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence}

본 개시는 농산물의 외부 결함을 측정하는 장치로, 보다 상세하게는 인공지능 모델을 기반으로 농산물의 외부 결함을 측정하는 장치에 관한 것이다.This disclosure relates to a device for measuring external defects of agricultural products, and more specifically, to a device for measuring external defects in agricultural products based on an artificial intelligence model.

종래에는 농산물에 대하여 촬영된 이미지에 와이어 프레임을 씌우는 방식으로 이미지 모델링이 진행되었고, 이와 같이 모델링되어 생성된 이미지는 기 생성된 와이어 프레임에 이미지를 덮어 씌우는 형태로 생성되기 때문에 기형, 압상, 균열 등의 입체적인 정보들이 왜곡된 형태로 표현되기 때문에 사용자의 입장에서 실물과 거리감이 느껴진다는 문제점이 있다.Conventionally, image modeling was carried out by overlaying wire frames on images taken of agricultural products, and the images created by modeling in this way are created by overlaying the images on the already created wire frames, so there are deformities, crushing, cracks, etc. Because the three-dimensional information is expressed in a distorted form, there is a problem that the user feels a sense of distance from the real thing.

또한, 단순 이미지를 촬영하여 농산물의 결함을 분석한 경우, 결함, 파인 정도(깊이) 등의 결함 정보를 알아내는데 한계가 있으며, 다중 카메라를 활용하더라도 단일 이미지를 확인하는데 어려움이 있다는 문제점이 있다.In addition, when defects in agricultural products are analyzed by taking simple images, there are limitations in finding defect information such as defects and dent degree (depth), and even when multiple cameras are used, there is a problem in that it is difficult to confirm a single image.

최근 들어, 회전하는 농산물을 연속적으로 촬영하여 분석 공백이 발생하지 않도록 하는 방법이 시도되고 있으나, 최대한 많은 프레임의 사진을 촬영하여 분석해야 한다는 점에서 연산량이 지나치게 많고, 장치의 원가가 상승한다는 문제점 또한 존재한다.Recently, methods have been attempted to prevent analysis gaps by continuously photographing rotating agricultural products, but the problem is that the amount of computation is too large and the cost of the device increases because it requires taking and analyzing as many frames of pictures as possible. exist.

이에, 상술한 문제점들을 해결할 수 있는 발명이 필요한 상황이지만, 현재로서는 이러한 기술이 공개되어 있지 않은 실정이다.Accordingly, there is a need for an invention that can solve the above-mentioned problems, but currently, such technology is not disclosed.

대한민국 공개특허공보 제10-2013-0121729호Republic of Korea Patent Publication No. 10-2013-0121729

본 개시에 개시된 실시예는 인공지능 기반의 농산물 외부 결함 측정 장치를 제공하는데 그 목적이 있다.The purpose of the embodiment disclosed in this disclosure is to provide an artificial intelligence-based external defect measurement device for agricultural products.

또한, 본 개시에 개시된 실시예는 농산물에 대하여 촬영된 이미지 데이터를 기반으로 3D Reconstruction을 진행함으로써, 농산물의 외부 결함을 측정할 수 있는 장치를 제공하는데 그 목적이 있다.In addition, the purpose of the embodiment disclosed in the present disclosure is to provide a device that can measure external defects of agricultural products by performing 3D reconstruction based on image data captured for agricultural products.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 농산물 외부 결함 측정 장치는, 농산물에 대한 깊이 정보 및 색상 정보를 포함하는 이미지를 수신하는 수신부; 적어도 하나의 농산물의 결함 판단 방법이 학습된 인공지능 모델이 저장된 저장부; 및 상기 깊이 정보 및 포인트 군 기법을 이용하여, 상기 이미지 내의 농산물에 대한 다각형 메쉬를 생성하고, 상기 색상 정보를 기반으로, 상기 다각형 메쉬의 영역 각각에 해당 색상을 부여하여 상기 농산물에 대한 3차원 모델링 이미지를 생성하고, 상기 3차원 모델링 이미지를 2D 평면 이미지로 변환하고, 상기 인공지능 모델을 기반으로 상기 변환된 2D 평면 이미지를 분석하고, 상기 분석을 통해 상기 농산물에 결함이 인식된 경우, 상기 3차원 모델링 이미지 상에서 상기 결함이 인식된 영역이 구별되도록 제어하는 프로세서를 포함한다.An artificial intelligence-based external defect measuring device for agricultural products according to an embodiment of the present disclosure to solve the above-described problem includes: a receiving unit that receives an image including depth information and color information for agricultural products; A storage unit storing an artificial intelligence model in which a method for determining defects in at least one agricultural product is learned; And using the depth information and the point group technique, create a polygonal mesh for the agricultural product in the image, and based on the color information, assign a corresponding color to each area of the polygonal mesh to three-dimensionally model the agricultural product. Generate an image, convert the 3D modeling image into a 2D flat image, analyze the converted 2D flat image based on the artificial intelligence model, and if a defect is recognized in the agricultural product through the analysis, 3 It includes a processor that controls the area where the defect is recognized to be distinguished on the dimensional modeling image.

또한, 상기 프로세서는, 상기 깊이 정보를 기반으로 상기 이미지 내 농산물에 대한 포인트 군을 생성하고, 상기 생성된 포인트 군을 기반으로 상기 이미지 내 농산물에 대한 다각형 메쉬를 생성하고, 상기 깊이 정보를 기반으로 상기 포인트 각각에 대한 깊이값을 측정하고, 상기 생성된 다각형 메쉬와 상기 포인트 각각의 깊이값을 기반으로 상기 3차원 모델링 이미지를 생성할 수 있다.In addition, the processor generates a point group for agricultural products in the image based on the depth information, generates a polygonal mesh for agricultural products in the image based on the generated point group, and generates a polygonal mesh for agricultural products in the image based on the depth information. The depth value for each of the points may be measured, and the 3D modeling image may be generated based on the generated polygonal mesh and the depth value of each point.

또한, 상기 프로세서는, 상기 인공지능 모델에 상기 이미지를 입력하여 상기 이미지 내 농산물에서 제1 관심영역(ROI: Region Of Interest) 및 제2 관심영역을 설정하고, 상기 제1 관심영역과 상기 제2 관심영역을 연결하는 선을 Z축으로 하는 3D 좌표계를 생성하고, 상기 생성된 3D 좌표계를 기반으로 상기 포인트 각각에 대한 좌표값을 설정할 수 있다.In addition, the processor inputs the image into the artificial intelligence model to set a first region of interest (ROI: Region Of Interest) and a second region of interest in the agricultural products in the image, and the first region of interest and the second region of interest are set. A 3D coordinate system can be created with the line connecting the area of interest as the Z-axis, and coordinate values for each of the points can be set based on the generated 3D coordinate system.

또한, 상기 인공지능 모델을 기반으로 상기 이미지 내 농산물에서 상기 농산물의 꽃받침(Calyx)에 해당하는 제1 관심영역(ROI: Region Of Interest)을 파악하고, 상기 이미지 내 농산물에서 상기 제1 관심영역으로부터 최장 거리의 제2 관심영역을 파악할 수 있다.In addition, based on the artificial intelligence model, the first region of interest (ROI) corresponding to the calyx of the agricultural product in the image is identified, and the first region of interest is determined from the agricultural product in the image. The second area of interest at the longest distance can be identified.

또한, 상기 프로세서는, 상기 제1 관심영역과 상기 제2 관심영역을 Z축으로 하는 3D 좌표계를 생성하고, 상기 생성된 3D 좌표계를 기반으로, 상기 포인트 각각의 좌표를 생성할 수 있다.Additionally, the processor may generate a 3D coordinate system with the first region of interest and the second region of interest as the Z axis, and generate coordinates of each of the points based on the generated 3D coordinate system.

또한, 상기 프로세서는, 상기 색상 정보를 기반으로 상기 포인트 각각에 대한 색상 정보를 판단하고, 상기 다각형 메쉬 각각에 포함된 포인트에 대응되는 색상을 해당 다각형 메쉬에 할당하여 상기 모델링 이미지를 생성할 수 있다.In addition, the processor may determine color information for each of the points based on the color information, and assign a color corresponding to the point included in each polygon mesh to the polygon mesh to generate the modeling image. .

또한, 상기 프로세서는, 상기 농산물에 결함이 인식된 경우, 상기 인식된 결함의 영역에 포함된 제1 메쉬의 좌표를 확인하고, 상기 3차원 모델링 이미지에 상기 제1 메쉬의 좌표에 해당하는 메쉬에 상기 인식된 결함의 영역을 표시할 수 있다.In addition, when a defect is recognized in the agricultural product, the processor checks the coordinates of the first mesh included in the area of the recognized defect, and adds a mesh corresponding to the coordinates of the first mesh in the 3D modeling image. The area of the recognized defect can be displayed.

또한, 상기 프로세서는, 상기 인공지능 모델을 통해 결함인 것으로 판단된 영역에 포함된 상기 제1 메쉬를 결함 영역으로 판단하고, 상기 제1 메쉬는 상기 인공지능 모델을 통해 판단된 결함 종류에 해당하는 것으로 분류할 수 있다.In addition, the processor determines the first mesh included in the area determined to be a defect through the artificial intelligence model as a defective area, and the first mesh corresponds to the type of defect determined through the artificial intelligence model. It can be classified as:

또한, 상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 농산물 외부 결함 측정 방법은, 장치에 의해 수행되는 방법으로, 농산물에 대한 깊이 정보 및 색상 정보를 포함하는 이미지를 수신하는 단계; 상기 깊이 정보 및 포인트 군 기법을 이용하여 상기 이미지 내 농산물에 대한 다각형 메쉬를 생성하는 단계; 상기 색상 정보를 기반으로 상기 다각형 메쉬의 영역 각각에 해당 색상을 부여하여 상기 농산물에 대한 3차원 모델링 이미지를 생성하는 단계; 상기 3차원 모델링 이미지를 2D 평면 이미지로 변환하는 단계; 인공지능 모델을 기반으로 상기 변환된 2D 평면 이미지를 분석하는 단계; 및 상기 분석을 통해 상기 농산물에 결함이 인식된 경우, 상기 3차원 모델링 이미지 상에서 상기 결함이 인식된 영역이 구별되도록 제어하는 단계를 포함한다.In addition, the artificial intelligence-based external defect measurement method of agricultural products according to an embodiment of the present disclosure to solve the above-described problem is a method performed by a device, and receives an image including depth information and color information about agricultural products. steps; Generating a polygonal mesh for agricultural products in the image using the depth information and point group technique; Generating a three-dimensional modeling image for the agricultural product by assigning a corresponding color to each area of the polygonal mesh based on the color information; Converting the 3D modeling image into a 2D flat image; Analyzing the converted 2D flat image based on an artificial intelligence model; And when a defect is recognized in the agricultural product through the analysis, controlling the area where the defect is recognized to be distinguished on the 3D modeling image.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, a computer program stored in a computer-readable recording medium for execution to implement the present disclosure may be further provided.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition, a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.

본 개시의 전술한 과제 해결 수단에 의하면, 인공지능 기반의 농산물 외부 결함 측정 장치를 제공하는 효과를 제공한다.According to the above-mentioned problem solving means of the present disclosure, it provides the effect of providing an artificial intelligence-based external defect measurement device for agricultural products.

또한, 본 개시의 전술한 과제 해결 수단에 의하면, 농산물에 대하여 촬영된 이미지 데이터를 기반으로 3D Reconstruction을 진행함으로써, 농산물의 외부 결함을 측정할 수 있는 장치를 제공하는 효과를 제공한다.In addition, according to the means for solving the above-described problem of the present disclosure, 3D reconstruction is performed based on image data captured for agricultural products, thereby providing the effect of providing a device that can measure external defects of agricultural products.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.

도 1은 종래의 와이어 프레임 방식의 이미지 모델링 방식을 예시한 도면이다.
도 2는 본 개시의 실시예에 따른 농산물 외부 결함 측정 장치의 블록도이다.
도 3은 본 개시의 실시예에 따른 농산물 외부 결함 측정 방법의 흐름도이다.
도 4는 촬영부가 회전하는 농산물을 촬영하는 것을 예시한 도면이다.
도 5는 농산물의 이미지 상에 제1 관심영역과 제2 관심영역을 설정한 것을 예시한 도면이다.
도 6은 제1 관심영역과 제2 관심영역의 연결선을 이용하여 3D 좌표계를 생성한 것을 예시한 도면이다.
도 7은 이미지 내 농산물에 포인트 군을 설정한 것을 예시한 도면이다.
도 8은 각 포인트를 연결하여 메쉬를 생성한 것을 예시한 도면이다.
도 9는 아직 색상정보가 적용되지 않은 농산물의 이미지를 예시한 도면이다.
도 10은 색상 정보를 기반으로 각각의 메쉬에 해당하는 색상을 적용한 것을 예시한 도면이다.
도 11은 도 10의 3차원 모델링 이미지를 2D 평면 이미지로 변환한 것을 예시한 도면이다.
도 12는 도 11을 기반으로 판단된 결함 영역을 도 10의 이미지에 반영하여 농산물의 결함 영역을 표시한 것을 예시한 도면이다.
Figure 1 is a diagram illustrating a conventional wire frame image modeling method.
Figure 2 is a block diagram of an apparatus for measuring external defects in agricultural products according to an embodiment of the present disclosure.
Figure 3 is a flowchart of a method for measuring external defects in agricultural products according to an embodiment of the present disclosure.
Figure 4 is a diagram illustrating the photographing unit photographing rotating agricultural products.
Figure 5 is a diagram illustrating the setting of a first region of interest and a second region of interest on an image of agricultural products.
Figure 6 is a diagram illustrating the creation of a 3D coordinate system using a connecting line between a first region of interest and a second region of interest.
Figure 7 is a diagram illustrating setting a point group for agricultural products in an image.
Figure 8 is a diagram illustrating the creation of a mesh by connecting each point.
Figure 9 is a diagram illustrating an image of agricultural products to which color information has not yet been applied.
Figure 10 is a diagram illustrating application of colors corresponding to each mesh based on color information.
FIG. 11 is a diagram illustrating the conversion of the 3D modeling image of FIG. 10 into a 2D flat image.
FIG. 12 is a diagram illustrating the display of the defective area of agricultural products by reflecting the defective area determined based on FIG. 11 in the image of FIG. 10.

본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.Like reference numerals refer to like elements throughout this disclosure. The present disclosure does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present disclosure pertains is omitted. The term 'unit, module, member, block' used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'unit, module, member, block' may be implemented as a single component, or It is also possible for one 'part, module, member, or block' to include multiple components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, when a part "includes" a certain component, this means that it may further include other components, rather than excluding other components, unless specifically stated to the contrary.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only cases where a member is in contact with another member, but also cases where another member exists between the two members.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.Terms such as first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly makes an exception.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.The identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.

이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present disclosure will be described with reference to the attached drawings.

본 명세서에서 '본 개시에 따른 농산물 외부 결함 측정 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 농산물 외부 결함 측정 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.In this specification, 'apparatus for measuring external defects in agricultural products according to the present disclosure' includes various devices that can perform computational processing and provide results to the user. For example, the device for measuring external defects in agricultural products according to the present disclosure may include all of a computer, a server device, and a portable terminal, or may take any one form.

여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저가 탑재된 노트북, 데스크톱, 랩톱, 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.Here, the computer may include, for example, a laptop, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.

상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.The server device is a server that processes information by communicating with external devices, and may include an application server, computing server, database server, file server, game server, mail server, proxy server, and web server.

상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS, GSM, PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.The portable terminal is, for example, a wireless communication device that guarantees portability and mobility, such as PCS, GSM, PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication) -2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, Smart Phone, etc. All types of handheld bases It may include wireless communication devices and wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-device (HMD).

본 개시에 따른 인공지능과 관련된 기능은 프로세서와 저장부를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 저장부에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.Functions related to artificial intelligence according to the present disclosure are operated through a processor and a storage unit. The processor may consist of one or multiple processors. At this time, one or more processors may be a general-purpose processor such as a CPU, AP, or DSP (Digital Signal Processor), a graphics-specific processor such as a GPU or VPU (Vision Processing Unit), or an artificial intelligence-specific processor such as an NPU. One or more processors control input data to be processed according to predefined operation rules or artificial intelligence models stored in the storage unit. Alternatively, when one or more processors are dedicated artificial intelligence processors, the artificial intelligence dedicated processors may be designed with a hardware structure specialized for processing a specific artificial intelligence model.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 복수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습, 비지도 형 학습, 준지도형 학습 또는 강화 학습이 있으나, 전술한 예에 한정되지 않는다.Predefined operation rules or artificial intelligence models are characterized by being created through learning. Here, being created through learning means that the basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, thereby creating a predefined operation rule or artificial intelligence model set to perform the desired characteristics (or purpose). It means burden. This learning may be accomplished in the device itself that performs the artificial intelligence according to the present disclosure, or may be accomplished through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들을 갖고 있으며, 이전 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스 값 또는 코스트 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 등이 있으나, 전술한 예에 한정되지 않는다.An artificial intelligence model may be composed of multiple neural network layers. Each of the plurality of neural network layers has a plurality of weights, and neural network calculation is performed through calculation between the calculation result of the previous layer and the plurality of weights. Multiple weights of multiple neural network layers can be optimized by the learning results of the artificial intelligence model. For example, during the learning process, a plurality of weights may be updated so that the loss or cost value obtained from the artificial intelligence model is reduced or minimized. Artificial neural networks may include deep neural networks (DNN), such as Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or deep Q-network, etc., but are not limited to the examples described above.

본 개시의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력 데이터)의 해답(출력 데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력 데이터)의 해답(출력 데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태에서 어떤 행동을 취할 때마다 외부 환경에서 보상이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망, 순환신경망, 트랜스포머, 생성적 대립 신경망 등으로 구분될 수 있다.According to an exemplary embodiment of the present disclosure, a processor may implement artificial intelligence. Artificial intelligence refers to a machine learning method based on artificial neural networks that allows machines to learn by imitating human biological neurons. Methodology of artificial intelligence includes supervised learning, in which the answer (output data) to the problem (input data) is determined by providing input data and output data together as training data according to the learning method, and only input data is provided without output data. Unsupervised learning, in which the solution (output data) to the problem (input data) is not determined, and rewards are given from the external environment whenever an action is taken in the current state, learning is directed to maximizing these rewards. It can be divided into reinforcement learning. In addition, artificial intelligence methodologies can be divided according to the architecture, which is the structure of the learning model. The architecture of widely used deep learning technology can be divided into convolutional neural networks, recurrent neural networks, transformers, and generative adversarial neural networks.

본 장치는 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다.The device may include an artificial intelligence model. An artificial intelligence model may be a single artificial intelligence model or may be implemented as multiple artificial intelligence models. Artificial intelligence models may be composed of neural networks (or artificial neural networks) and may include statistical learning algorithms that mimic biological neurons in machine learning and cognitive science. A neural network can refer to an overall model in which artificial neurons (nodes), which form a network through the combination of synapses, change the strength of the synapse connection through learning and have problem-solving capabilities. Neurons in a neural network can contain combinations of weights or biases. A neural network may include one or more layers consisting of one or more neurons or nodes. By way of example, a device may include an input layer, a hidden layer, and an output layer. The neural network that makes up the device can infer the result to be predicted from arbitrary input by changing the weights of neurons through learning.

프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호를 생성하거나, 뉴럴 네트워크를 재훈련할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN, R-CNN, RPN, RNN, S-DNN, S-SDNN, Deconvolution Network, DBN, RBM, Fully Convolutional Network, LSTM Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크를 포함할 수 있다.The processor creates a neural network, trains or learns a neural network, performs operations based on received input data, generates information signals based on the results, or retrains the neural network. Neural network models include CNN, R-CNN, RPN, RNN, S-DNN, S-SDNN, Deconvolution Network, DBN, RBM, Fully Convolutional Network, LSTM Network, Classification such as GoogleNet, AlexNet, VGG Network, etc. It may include, but is not limited to, various types of models such as Network. The processor may include one or more processors to perform operations according to the models of the neural network. For example, a neural network is a deep neural network. It can be included.

뉴럴 네트워크는 CNN, RNN, 퍼셉트, 다층 퍼셉트론, FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.Neural networks include CNN, RNN, perceptron, multi-layer perceptron, FF (Feed Forward), RBF (Radial Basis Network), DFF (Deep Feed Forward), LSTM (Long Short Term Memory), GRU (Gated Recurrent Unit), AE ( Auto Encoder), VAE (Variational Auto Encoder), DAE (Denoising Auto Encoder), SAE (Sparse Auto Encoder), MC (Markov Chain), HN (Hopfield Network), BM (Boltzmann Machine), RBM (Restricted Boltzmann Machine), Depp Belief Network (DBN), Deep Convolutional Network (DCN), Deconvolutional Network (DN), Deep Convolutional Inverse Graphics Network (DCIGN), Generative Adversarial Network (GAN), Liquid State Machine (LSM), Extreme Learning Machine (ELM), It may include Echo State Network (ESN), Deep Residual Network (DRN), Differential Neural Computer (DNC), Neural Turning Machine (NTM), Capsule Network (CN), Kohonen Network (KN), and Attention Network (AN). Those skilled in the art will understand that it is not limited to this and may include any neural network.

본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.According to an exemplary embodiment of the present disclosure, the processor may support a Convolution Neural Network (CNN), a Region with Convolution Neural Network (R-CNN), a Region Proposal Network (RPN), a Recurrent Neural Network (RNN), such as GoogleNet, AlexNet, VGG Network, etc. ), S-DNN (Stacking-based deep Neural Network), S-SDNN (State-Space Dynamic Neural Network), Deconvolution Network, DBN (Deep Belief Network), RBM (Restrcted Boltzman Machine), Fully Convolutional Network, LSTM (Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, BERT for natural language processing, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3 , GPT-4, Visual Analytics for vision processing, Visual Understanding, Video Synthesis, and Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, and Data Creation for ResNet data intelligence. , but is not limited to this. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the attached drawings.

도 1은 종래의 와이어 프레임 방식의 이미지 모델링 방식을 예시한 도면이다.Figure 1 is a diagram illustrating a conventional wire frame image modeling method.

도 1을 참조하면, 종래에는 농산물의 일반적인 형상을 모델링하고, 촬영된 이미지를 와이어 프레임의 표면에 덮어씌우는 방식으로 진행되었으며, 사용자 입장에서는 여러 장의 입체적 2D 이미지를 확인해야 하는 한계가 있기 때문에 단순 촬영 이미지와 차이가 없었다.Referring to Figure 1, in the past, the general shape of the agricultural product was modeled and the captured image was overlaid on the surface of the wire frame. Since there is a limitation from the user's point of view in having to check multiple three-dimensional 2D images, simple photography was used. There was no difference from the image.

또한, 기 생성되어 있는 와이어 프레임이 이미지를 덮어 씌우는 방식으로 모델링이 진행되기 때문에, 기형, 압상, 균열 등과 같은 입체적인 정보는 기존 2D 이미지보다 왜곡된 형태로 표현되고, 부피 측정과는 아무 관계가 없다는 단점이 있다.In addition, because modeling is carried out in a way that a pre-generated wire frame overlays the image, three-dimensional information such as deformities, compressions, cracks, etc. are expressed in a distorted form compared to existing 2D images and have nothing to do with volume measurement. There is a downside.

이러한 문제점들로 인하여 이미지 상에 농산물의 결함을 표시하여도 이미지를 보는 사용자의 입장에서는 결함에 대한 실제적인 형상과 특징에 대해서 알기 어렵다는 문제점이 있다.Due to these problems, even if defects in agricultural products are displayed on the image, it is difficult for users viewing the image to know the actual shape and characteristics of the defects.

아래에서는 다른 도면들을 참조하여 본 개시의 실시예에 따른 농산물의 외부 결함 측정 장치(100), 방법 및 프로그램이 상술한 문제점들을 해결하는 것에 관하여 상세하게 설명하도록 한다.Below, with reference to other drawings, a detailed description will be given of how the device 100, method, and program for measuring external defects in agricultural products according to an embodiment of the present disclosure solve the above-mentioned problems.

도 2는 본 개시의 실시예에 따른 농산물 외부 결함 측정 장치(100)의 블록도이다.Figure 2 is a block diagram of an apparatus 100 for measuring external defects in agricultural products according to an embodiment of the present disclosure.

농산물의 외부 결함 측정 시스템(10)은 농산물 외부 결함 측정 장치(100) 및 촬영부(200)를 포함할 수 있다.The system 10 for measuring external defects in agricultural products may include an apparatus 100 for measuring external defects in agricultural products and a photographing unit 200 .

본 개시의 실시예에서 농산물 외부 결함 측정 장치(100)는 촬영부(200)를 포함할 수도 있고, 외부의 촬영부(200)에서 촬영된 이미지 데이터를 수신부(120)를 통해 수신할 수도 있다.In an embodiment of the present disclosure, the apparatus 100 for measuring external defects in agricultural products may include a photographing unit 200 and may receive image data captured by the external photographing unit 200 through the receiving unit 120.

농산물의 외부 결함 측정 장치(100)가 외부에서 촬영된 이미지를 수신하고, 이를 알고리즘에 따라 처리하는 경우, 해당 실시예에서 농산물의 외부 결함 측정 장치(100)는 서버 장치를 포함하여 서버 형태로 구현될 수 있으며, 이때 수신부(120)는 통신부를 포함하도록 구성될 수 있다.When the device 100 for measuring external defects in agricultural products receives images taken from the outside and processes them according to an algorithm, in this embodiment, the device 100 for measuring external defects in agricultural products is implemented in the form of a server including a server device. It may be, and in this case, the receiving unit 120 may be configured to include a communication unit.

본 개시의 실시예에 따른 농산물의 외부 결함 측정 장치(100)는 프로세서(110), 수신부(120) 및 저장부(130)를 포함한다.The apparatus 100 for measuring external defects in agricultural products according to an embodiment of the present disclosure includes a processor 110, a receiver 120, and a storage unit 130.

프로세서(110)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 저장부(130), 및 저장부(130)에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(110)로 구현될 수 있다. 이때, 저장부(130)와 프로세서(110)는 각각 별개의 칩으로 구현될 수 있다. 또는, 저장부(130)와 프로세서(110)는 단일 칩으로 구현될 수도 있다.The processor 110 includes a storage unit 130 that stores data for an algorithm for controlling the operation of components within the device or a program that reproduces the algorithm, and performs the above-described operations using the data stored in the storage unit 130. It may be implemented with at least one processor 110 that performs. At this time, the storage unit 130 and the processor 110 may each be implemented as separate chips. Alternatively, the storage unit 130 and the processor 110 may be implemented as a single chip.

또한, 프로세서(110)는 이하의 도면에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.In addition, the processor 110 may control any one or a combination of the above-described components in order to implement various embodiments according to the present disclosure described in the drawings below on the present device.

프로세서(110)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 본 장치의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(130)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to operations related to the application program, the processor 110 may typically control the overall operation of the device. The processor 110 can provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components discussed above, or by running an application program stored in the storage unit 130. .

또한, 프로세서(110)는 저장부(130)에 저장된 응용 프로그램을 구동하기 위하여, 본 장치의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(110)는 상기 응용 프로그램의 구동을 위하여, 본 장치에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.Additionally, the processor 110 may control at least some of the components of the device to run an application program stored in the storage unit 130. Furthermore, the processor 110 may operate in combination with at least two or more of the components included in the device to run the application program.

프로세서(110)는 저장부(130)에 저장되어 있는 인스트럭션, 명령어, 알고리즘을 실행하고, 인공지능 모델을 이용함으로써 인공지능 기반의 농산물 외부 결함을 측정할 수 있다.The processor 110 can execute instructions, commands, and algorithms stored in the storage unit 130 and measure external defects in agricultural products based on artificial intelligence by using an artificial intelligence model.

수신부(120)는 촬영부(200)를 통해 농산물이 촬영된 이미지 데이터를 수신하는 구성으로, 실시예에 따라 외부와 유/무선 통신 가능한 통신부를 포함하도록 구성될 수 있다.The receiving unit 120 is configured to receive image data of agricultural products photographed through the photographing unit 200, and depending on the embodiment, may be configured to include a communication unit capable of wired/wireless communication with the outside.

통신부는 농산물 외부 결함 측정 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The communication unit may include one or more modules that connect the agricultural product external defect measurement device 100 to one or more networks.

통신부는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The communication unit may include one or more components that enable communication with an external device, and may include, for example, at least one of a broadcast reception module, a wired communication module, a wireless communication module, a short-range communication module, and a location information module. there is.

유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.Wired communication modules include various wired communication modules such as Local Area Network (LAN) modules, Wide Area Network (WAN) modules, or Value Added Network (VAN) modules, as well as USB (Universal Serial Bus) modules. ), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard 232), power line communication, or POTS (plain old telephone service).

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.In addition to Wi-Fi modules and WiBro (Wireless broadband) modules, wireless communication modules include GSM (global System for Mobile Communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), and UMTS (universal mobile telecommunications system). ), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G, 5G, 6G, etc. may include a wireless communication module that supports various wireless communication methods.

무선 통신 모듈은 통신 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 프로세서(110)의 제어에 따라 무선 통신 인터페이스를 통해 프로세서(110)로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.The wireless communication module may include a wireless communication interface including an antenna and a transmitter that transmits communication signals. In addition, the wireless communication module may further include a signal conversion module that modulates a digital control signal output from the processor 110 through a wireless communication interface into an analog wireless signal under the control of the processor 110.

근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.The short-range communication module is for short-range communication and includes Bluetooth®, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra-Wideband), ZigBee, and NFC ( Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-distance communication.

저장부(130)는 본 장치의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(130)는 본 장치에서 구동되는 복수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 본 장치의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 저장부(130)에 저장되고, 장치에 설치되어, 프로세서(110)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.The storage unit 130 can store data supporting various functions of the device. The storage unit 130 may store a plurality of application programs (application programs or applications) running on the device, data for operating the device, and commands. At least some of these applications may exist for basic functions of the device. Meanwhile, the application program may be stored in the storage unit 130, installed on the device, and driven to perform an operation (or function) by the processor 110.

저장부(130)는 본 장치의 다양한 기능을 지원하는 데이터와, 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)이 저장될 수 있고, 본 장치에서 구동되는 복수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.The storage unit 130 can store data supporting various functions of the device and a program for the operation of the processor 110, and can store input/output data (e.g., music files, still images, videos, etc. ) can be stored, and a plurality of application programs (application programs or applications) running on the device, data for operation of the device, and commands can be stored. At least some of these applications may be downloaded from an external server via wireless communication.

이러한, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 저장부(130) 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 저장부(130)는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.The storage unit 130 is of a flash memory type, hard disk type, solid state disk type, SDD type (Silicon Disk Drive type), and multimedia card micro type. card micro type), card type memory (e.g. SD or XD storage unit 130, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM) , it may include at least one type of storage medium among electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk. Additionally, the storage unit 130 is separate from the main device, but may be a database connected by wire or wirelessly.

또한, 저장부(130)는 농산물의 외부 결함 측정 장치(100)를 위한 복수의 프로세스를 구비할 수 있다.Additionally, the storage unit 130 may be equipped with a plurality of processes for the device 100 for measuring external defects in agricultural products.

몇몇 실시예에서, 농산물의 외부 결함 측정 장치(100)는 모델링부, 디스플레이부를 더 포함할 수 있다.In some embodiments, the device 100 for measuring external defects in agricultural products may further include a modeling unit and a display unit.

프로세서(110)는 모델링부를 제어하여 농산물에 대한 모델링 이미지를 생성하고, 농산물에 대한 결함이 인식되는 경우, 모델링 이미지에 결함 인식 결과가 표시되도록 모델링부를 제어함으로써, 최종 모델링 이미지를 생성할 수 있다.The processor 110 controls the modeling unit to generate a modeling image for the agricultural product, and when a defect in the agricultural product is recognized, the processor 110 controls the modeling unit to display the defect recognition result in the modeling image, thereby generating a final modeling image.

디스플레이부는 본 장치에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부는 본 장치에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.The display unit displays (outputs) information processed in the device. For example, the display unit may display execution screen information of an application program (eg, an application) running on the device, or UI (User Interface) and GUI (Graphic User Interface) information according to the execution screen information.

프로세서(110)는 모델링된 이미지를 디스플레이부로 표시함으로써, 사용자가 농산물의 이미지를 시각적으로 확인할 수 있게 하고, 농산물 상의 결함을 표시할 수 있다.The processor 110 displays the modeled image on the display unit, allowing the user to visually check the image of the agricultural product and displaying defects on the agricultural product.

촬영부(200)는 RGB 카메라(210) 및 Depth 카메라(230, 예: 3D 카메라, 깊이 카메라)를 포함한다.The photographing unit 200 includes an RGB camera 210 and a depth camera 230 (eg, 3D camera, depth camera).

카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부에 표시되거나 저장부(130)에 저장될 수 있다.The camera processes image frames, such as still images or moving images, obtained by the image sensor in shooting mode. The processed image frame may be displayed on the display unit or stored in the storage unit 130.

RGB 카메라(210)는 타겟을 촬영하여 색상 정보(RGB 데이터)를 획득할 수 있다.The RGB camera 210 can acquire color information (RGB data) by photographing a target.

Depth 카메라(230)는 타겟을 촬영하여 타겟에 대한 깊이 정보(깊이 데이터)를 획득할 수 있다.Depth camera 230 can obtain depth information (depth data) about the target by photographing the target.

본 개시의 실시예에서 RGB 카메라(210)는 이미지 센서, Depth 카메라(230)는 깊이 센서, 촬영부(200)는 센서부를 의미할 수 있다.In an embodiment of the present disclosure, the RGB camera 210 may refer to an image sensor, the depth camera 230 may refer to a depth sensor, and the photographing unit 200 may refer to a sensor unit.

본 개시의 실시예에서 촬영부(200)는 RGB 카메라(210), Depth 카메라(230)로 각각 한정되는 것은 아니며, 타겟을 촬영함으로써 타겟에 대한 색상 정보(RGB 데이터), 깊이 정보(깊이 데이터)를 획득할 수 있는 수단, 센서라면 무엇이든 적용이 가능하다.In the embodiment of the present disclosure, the photographing unit 200 is not limited to the RGB camera 210 and the depth camera 230, respectively, and by photographing the target, color information (RGB data) and depth information (depth data) about the target are obtained. Any means or sensor that can obtain can be applied.

아래에서는, 도 3의 흐름도와 도 4 내지 도 12의 상세한 예시 도면을 함께 참조하여 본 개시의 실시예에 따른 농산물 외부 결함 측정 방법에 관하여 상세하게 설명하도록 한다.Below, the method for measuring external defects in agricultural products according to an embodiment of the present disclosure will be described in detail with reference to the flowchart of FIG. 3 and the detailed example drawings of FIGS. 4 to 12.

도 3은 본 개시의 실시예에 따른 농산물 외부 결함 측정 방법의 흐름도이다.Figure 3 is a flowchart of a method for measuring external defects in agricultural products according to an embodiment of the present disclosure.

프로세서(110)가 농산물에 대한 깊이 정보 및 색상 정보를 포함하는 이미지 데이터를 수신부(120)를 통해 수신한다. (S100)The processor 110 receives image data including depth information and color information about agricultural products through the receiver 120. (S100)

상세하게는, 프로세서(110)는 촬영부(200)를 통해 농산물이 촬영된 이미지를 수신하며, 이때 이미지 데이터는 농산물에 대한 깊이 정보 및 색상 정보를 포함한다.In detail, the processor 110 receives images of agricultural products photographed through the photographing unit 200, and at this time, the image data includes depth information and color information about the agricultural products.

도 4는 촬영부(200)가 회전하는 농산물을 촬영하는 것을 예시한 도면이다.Figure 4 is a diagram illustrating the photographing unit 200 photographing rotating agricultural products.

촬영부(200)는 도 4와 같이 회전하는 또는 회전하며 이동하는 농산물에 대한 적어도 하나의 이미지 또는 영상을 촬영함으로써, 농산물에 대한 깊이 정보 및 색상 정보가 포함된 이미지 데이터 또는 영상 데이터를 생성할 수 있다.The photographing unit 200 can generate image data or video data containing depth information and color information about the agricultural product by capturing at least one image or video of the agricultural product that rotates or moves while rotating as shown in FIG. 4. there is.

본 개시의 실시예에서 영상 데이터 또한 복수의 이미지 프레임으로 구성된 것이기 때문에 아래에서는 이미지 데이터로 명칭하도록 한다.In the embodiment of the present disclosure, since image data also consists of a plurality of image frames, it will be referred to as image data below.

도 5는 농산물의 이미지 상에 제1 관심영역(501)과 제2 관심영역(502)을 설정한 것을 예시한 도면이다.Figure 5 is a diagram illustrating the setting of a first region of interest 501 and a second region of interest 502 on an image of agricultural products.

도 6은 제1 관심영역(501)과 제2 관심영역(502)의 연결선을 이용하여 3D 좌표계(601)를 생성한 것을 예시한 도면이다.FIG. 6 is a diagram illustrating the creation of a 3D coordinate system 601 using the connecting line between the first region of interest 501 and the second region of interest 502.

아래의 실시예에서, 이미지 내 농산물은 이미지 내에서 농산물에 해당하는 이미지를 의미한다.In the examples below, agricultural products in the image refer to images corresponding to agricultural products in the image.

도 5를 참조하면, 프로세서(110)는 인공지능 모델에 농산물에 대하여 획득된 이미지 데이터를 입력하여, 농산물에 대하여 제1 관심영역(501, ROI: Region Of Interest) 및 제2 관심영역(502)을 설정하고, 제1 관심영역(501)과 제2 관심영역(502)을 연결하는 선을 생성할 수 있다.Referring to FIG. 5, the processor 110 inputs image data obtained for agricultural products into an artificial intelligence model to create a first region of interest (ROI: Region Of Interest) 501 and a second region of interest (502) for agricultural products. can be set, and a line connecting the first region of interest 501 and the second region of interest 502 can be created.

그리고, 프로세서(110)는 생성된 연결선을 Z축으로 하는 3D 좌표계(601)를 생성한다.Then, the processor 110 creates a 3D coordinate system 601 with the generated connection line as the Z axis.

일 실시예로, 인공지능 모델은 농산물에 대하여 기 설정된 특징 영역을 제1 관심영역(501)을 설정할 수 있으며, 예를 들어 제1 관심영역(501)은 농산물의 꽃받침(Calyx)이 적용 가능하다.In one embodiment, the artificial intelligence model may set a preset feature area for agricultural products as the first region of interest 501. For example, the first region of interest 501 may be the calyx of agricultural products. .

일 실시예로, 프로세서(110)는 인공지능 모델을 기반으로 이미지 내 농산물에서 꽃받침(Calyx)에 해당하는 제1 관심영역(501)을 파악하고, 이미지 내 농산물에서 제1 관심영역(501)으로부터 최장 거리를 연산하여 제2 관심영역(502)을 파악할 수 있다.In one embodiment, the processor 110 identifies the first region of interest 501 corresponding to the calyx in the agricultural products in the image based on an artificial intelligence model, and selects the first region of interest 501 from the agricultural products in the image. The second region of interest 502 can be identified by calculating the longest distance.

일 실시예로, 프로세서(110)는 촬영부(200)로부터 수신된 이미지 내에 해당 농산물에 대하여 미리 설정된 상기 특징 영역이 검출되지 않는 경우, 상기 특징 영역이 포함되도록 재촬영을 요청할 수 있다.In one embodiment, if the feature area preset for the corresponding agricultural product is not detected in the image received from the photographing unit 200, the processor 110 may request rephotography so that the feature area is included.

이때, 원형의 형상이 아닌 농산물의 경우 최장축이 Z축이 될 수 없으므로, 다른 방법을 적용하여 3D 좌표계를 생성할 수 있다.At this time, in the case of agricultural products that are not circular in shape, the longest axis cannot be the Z-axis, so a 3D coordinate system can be created by applying another method.

예를 들어, 프로세서(110)는 위도, 경도 등 대상 농산물에 따라 다양한 방법론을 적용할 수 있다.For example, the processor 110 may apply various methodologies depending on the target agricultural product, such as latitude and longitude.

프로세서(110)는 대상물의 종류에 따라 인공지능 모델을 기반으로 1차로 축을 설정하고, 대상물의 형상에 따라 인공지능 모델을 기반으로 2차로 축을 설정할 수 있다.The processor 110 may set the primary axis based on an artificial intelligence model depending on the type of the object, and set the secondary axis based on the artificial intelligence model depending on the shape of the object.

농산물의 외부 결함 측정 장치(100)는 이미지 내 농산물에 특징 영역을 라벨링하고, 라벨링된 이미지를 인공지능 모델에 학습데이터로 입력하면 인공지능 모델은 해당 부분을 detecting 할 수 있게 된다.The external defect measurement device 100 for agricultural products labels characteristic areas on agricultural products in the image, and when the labeled image is input as learning data to an artificial intelligence model, the artificial intelligence model can detect the corresponding part.

프로세서(110)가 복수이미지 내 농산물에 포인트 군을 생성한다. (S200)The processor 110 creates a point group for agricultural products in multiple images. (S200)

도 7은 이미지 내 농산물에 포인트 군을 설정한 것을 예시한 도면이다.Figure 7 is a diagram illustrating setting a point group for agricultural products in an image.

도 7을 참조하면, 프로세서(110)는 이미지 내 농산물의 표면(Surface) 상에 복수복수의 포인트들을 포함하는 포인트 군을 설정/생성할 수 있다. 이때, 프로세서(110)가 포인트 군을 설정/생성한 이미지는 색상 정보가 적용되지 않은 깊이 정보만 포함하는 이미지가 적용될 수 있다.Referring to FIG. 7, the processor 110 may set/generate a point group including a plurality of points on the surface of the agricultural product in the image. At this time, the image to which the processor 110 sets/generates the point group may be an image containing only depth information without color information applied.

프로세서(110)는 촬영부(200)로부터 수신된 이미지 데이터의 깊이 정보를 기반으로, 복수의 포인트 각각에 대한 깊이 정보를 측정할 수 있다.The processor 110 may measure depth information for each of a plurality of points based on depth information of image data received from the photographing unit 200.

일 실시예로, 프로세서(110)는 촬영부(200)로부터 수신된 이미지 데이터의 깊이 정보를 이용하여 서로 다른 깊이 정보를 갖는 복수의 포인트를 생성/설정할 수 있으며, 포인트는 기 설정된 크기로 설정되거나 농산물의 실제 크기에 기반하여 설정할 수도 있다.In one embodiment, the processor 110 may use the depth information of the image data received from the photographing unit 200 to create/set a plurality of points with different depth information, and the points may be set to a preset size or It can also be set based on the actual size of the agricultural product.

일 실시예로, 프로세서(110)는 포인트끼리 기 설정된 거리를 갖도록 복수의 포인트를 생성/설정할 수도 있다.In one embodiment, the processor 110 may create/set a plurality of points so that the points have a preset distance between them.

일 실시예로, 프로세서(110)는 촬영부(200)로부터 수신된 이미지 데이터를 기반으로 농산물의 표면(Surface)의 면적을 산출하고, 산출된 면적을 기반으로 생성할 포인트의 개수를 결정하고, 결정된 포인트의 개수를 기반으로 농산물의 표면 상에 포인트를 생성/설정할 수도 있다.In one embodiment, the processor 110 calculates the area of the surface of the agricultural product based on the image data received from the photographing unit 200, determines the number of points to be created based on the calculated area, Points can also be created/set on the surface of the agricultural product based on the determined number of points.

본 개시의 실시예에 따른 인공지능 기반의 농산물 외부 결함 측정 장치(100)는 포인트를 생성/설정하는 다양한 알고리즘을 적용할 수 있다.The artificial intelligence-based external defect measurement device 100 for agricultural products according to an embodiment of the present disclosure can apply various algorithms for generating/setting points.

프로세서(110)가 S200에서 설정된 복수의 포인트들을 연결하여 다각형의 메쉬를 생성한다. (S300)The processor 110 creates a polygonal mesh by connecting a plurality of points set in S200. (S300)

도 8은 각 포인트를 연결하여 다각형 메쉬를 생성한 것을 예시한 도면이다.Figure 8 is a diagram illustrating the creation of a polygonal mesh by connecting each point.

도 9는 아직 색상정보가 적용되지 않은 농산물의 이미지를 예시한 도면이다.Figure 9 is a diagram illustrating an image of agricultural products to which color information has not yet been applied.

도 8을 참조하면, 프로세서(110)는 이미지 내 농산물의 표면에 설정/생성된 포인트들을 연결하여 다각형의 메쉬를 생성할 수 있다.Referring to FIG. 8, the processor 110 may generate a polygonal mesh by connecting points set/created on the surface of the agricultural product in the image.

일 실시예로, 프로세서(110)는 인접하는 포인트들을 연결하는 선을 이어 Triangular 형태의 메쉬를 생성할 수 있다.In one embodiment, the processor 110 may create a triangular mesh by connecting lines connecting adjacent points.

프로세서(110)는 이미지 내 농산물의 표면에 생성된 메쉬와 복수의 포인트 각각의 깊이 정보를 기반으로 도 9와 같은 제1 3차원 모델링 이미지를 생성할 수 있다.The processor 110 may generate a first 3D modeling image as shown in FIG. 9 based on the mesh created on the surface of the agricultural product in the image and the depth information of each of the plurality of points.

프로세서(110)가 S100에서 수신된 이미지 데이터에 포함된 색상 정보 기반으로 각 메쉬에 색상 정보를 할당하여, 농산물에 대한 모델링 이미지를 생성한다. (S400)The processor 110 generates a modeling image for agricultural products by assigning color information to each mesh based on the color information included in the image data received from S100. (S400)

도 10은 색상 정보를 기반으로 각각의 메쉬에 해당하는 색상을 적용한 것을 예시한 도면이다.Figure 10 is a diagram illustrating application of the color corresponding to each mesh based on color information.

프로세서(110)는 S100에서 농산물의 색상 정보가 포함되도록 촬영된 이미지 데이터를 수신하였으므로, 색상 정보를 기반으로 상기 생성된 각각의 메쉬에 대응되는 색상 정보를 할당/부여함으로써 농산물에 대한 제2 3차원 모델링 이미지를 생성할 수 있다.Since the processor 110 received image data captured in S100 to include color information of agricultural products, the processor 110 allocates/gives color information corresponding to each of the generated meshes based on the color information to create a second three-dimensional image for agricultural products. Modeling images can be created.

농산물에 대하여 생성된 제1 3차원 모델링 이미지가 색상(RGB)이 적용되지 않고 깊이 정보만 적용된 이미지였다면, 제2 3차원 모델링 이미지는 제1 3차원 모델링 이미지에 색상(RGB)이 적용된 이미지이다.If the first 3D modeling image generated for agricultural products was an image to which only depth information was applied without color (RGB) applied, the second 3D modeling image is an image to which color (RGB) was applied to the first 3D modeling image.

상세하게는, 프로세서(110)는 수신된 이미지 데이터를 기반으로 복수의 포인트 각각에 대한 색상 정보를 판단할 수 있다.In detail, the processor 110 may determine color information for each of the plurality of points based on the received image data.

그리고, 프로세서(110)는 포인트들을 연결하여 생성된 메쉬 각각에 대응되는 색상 정보를 할당하여 제2 3차원 모델링 이미지를 생성할 수 있다.Additionally, the processor 110 may generate a second 3D modeling image by assigning color information corresponding to each mesh created by connecting the points.

프로세서(110)가 S400에서 생성된 모델링 이미지를 2D 평면 이미지로 변환한다. (S500)The processor 110 converts the modeling image generated in S400 into a 2D planar image. (S500)

프로세서(110)가 인공지능 모델을 이용하여 2D 평면 이미지를 분석한다. (S600)The processor 110 analyzes the 2D flat image using an artificial intelligence model. (S600)

프로세서(110)가 S600의 분석을 통해 농산물에 결함이 인식된 경우, 모델링 이미지에 상기 인식된 결함의 영역을 표시한다. (S700)If a defect is recognized in the agricultural product through the analysis of S600, the processor 110 displays the area of the recognized defect on the modeling image. (S700)

도 11은 도 10의 3차원 모델링 이미지를 2D 평면 이미지로 변환한 것을 예시한 도면이다.FIG. 11 is a diagram illustrating the conversion of the 3D modeling image of FIG. 10 into a 2D flat image.

도 11을 참조하면, 프로세서(110)는 모델링부를 제어하여 제2 3차원 모델링 이미지를 2D 평면(Plane) 이미지로 변환한다.Referring to FIG. 11, the processor 110 controls the modeling unit to convert the second 3D modeling image into a 2D plane image.

프로세서(110)는 인공지능 모델을 기반으로 2D 평면 이미지를 분석하며, 2D 평면 이미지에 결함이 존재하는지 여부를 판단하고, 결함이 존재하는 경우 결함의 종류를 판단하고, 결함이라고 판단되는 영역에 포함된 제1 메쉬들의 좌표를 확인한다.The processor 110 analyzes the 2D flat image based on an artificial intelligence model, determines whether a defect exists in the 2D flat image, and if a defect exists, determines the type of defect and includes it in the area determined to be a defect. Check the coordinates of the first meshes.

프로세서(110)는 2D 평면 이미지를 CNN으로 분석하여 결함으로 인식된 영역을 Boxing 처리할 수 있다.The processor 110 can analyze the 2D planar image with CNN and process the area recognized as a defect by boxing.

도 12는 도 11을 기반으로 판단된 결함 영역을 도 10의 이미지에 반영하여 농산물의 결함 영역을 표시한 것을 예시한 도면이다.FIG. 12 is a diagram illustrating the display of a defective area of agricultural products by reflecting the defective area determined based on FIG. 11 in the image of FIG. 10 .

프로세서(110)는 S600의 분석을 통해 농산물에 결함이 인식된 경우, 3차원 모델링 이미지 상에서 결함이 인식된 영역이 구별되도록 할 수 있다.If a defect is recognized in the agricultural product through the analysis of S600, the processor 110 can distinguish the area where the defect is recognized on the 3D modeling image.

예를 들어, 프로세서(110)는 3차원 이미지 상에서 결함이 인식된 영역이 정상 영역과 구별되도록 하는 시각적 효과를 부여할 수 있다. 프로세서(110)는 3차원 이미지 상에서 결함이 인식된 영역이 정상 영역과 구별되도록 3차원 모델링 이미지를 편집할 수 있다.For example, the processor 110 may provide a visual effect to distinguish an area where a defect is recognized from a normal area in a 3D image. The processor 110 may edit the 3D modeling image so that areas where defects are recognized are distinguished from normal areas in the 3D image.

도 12를 참조하면, 프로세서(110)는 S600의 분석을 통해 농산물에 결함이 인식된 경우, 제2 3차원 모델링 이미지에 상기 인식된 결함의 영역을 표시할 수 있다.Referring to FIG. 12 , when a defect is recognized in the agricultural product through analysis in S600, the processor 110 may display the area of the recognized defect on the second 3D modeling image.

상세하게는, 프로세서(110)는 제2 3차원 모델링 이미지 상에 제1 메쉬의 좌표에 해당하는 메쉬에 상기 인식된 결함의 영역을 표시한다.In detail, the processor 110 displays the recognized defect area on a mesh corresponding to the coordinates of the first mesh on the second 3D modeling image.

프로세서(110)는 인공지능 모델을 통해 결함인 것으로 판단된 영역에 포함된 제1 메쉬들을 결함 영역으로 판단하며, 제1 메쉬들은 인공지능 모델을 통해 판단된 결함 종류에 해당하는 것으로 분류할 수 있다.The processor 110 determines the first meshes included in the area determined to be defective through the artificial intelligence model as defective areas, and the first meshes may be classified as corresponding to the type of defect determined through the artificial intelligence model. .

즉, 프로세서(110)는 동일한 결함 내에 포함된 제1 메쉬들에 대하여 결함 종류를 할당함으로써, 농산물에 존재하는 결함들을 종류별로 구분되도록 할 수 있다.That is, the processor 110 can distinguish defects present in agricultural products by type by assigning defect types to the first meshes included in the same defect.

이상에서 전술한 본 개시의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method according to an embodiment of the present disclosure described above may be implemented as a program (or application) and stored in a medium in order to be executed in combination with a server, which is hardware.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, machine language, etc. that the processor (CPU) of the computer can read through the device interface of the computer in order for the computer to read the program and execute the methods implemented as a program. It may include code coded in a computer language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is. In addition, if the computer's processor needs to communicate with any other remote computer or server to execute the above functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with the embodiments of the present disclosure may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which this disclosure pertains.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present disclosure have been described with reference to the attached drawings, but those skilled in the art will understand that the present disclosure can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.

10: 농산물의 외부 결함 측정 시스템
100: 농산물의 외부 결함 측정 장치
110: 프로세서
120: 수신부
130: 저장부
10: External defect measurement system for agricultural products
100: Device for measuring external defects in agricultural products
110: processor
120: Receiving unit
130: storage unit

Claims (10)

농산물에 대한 깊이 정보 및 색상 정보를 포함하는 이미지를 수신하는 수신부;
적어도 하나의 농산물의 결함 판단 방법이 학습된 인공지능 모델이 저장된 저장부; 및
상기 깊이 정보 및 포인트 군 기법을 이용하여, 상기 이미지 내의 농산물에 대한 다각형 메쉬를 생성하고,
상기 색상 정보를 기반으로, 상기 다각형 메쉬의 영역 각각에 해당 색상을 부여하여 상기 농산물에 대한 3차원 모델링 이미지를 생성하고,
상기 3차원 모델링 이미지를 2D 평면 이미지로 변환하고,
상기 인공지능 모델을 기반으로 상기 변환된 2D 평면 이미지를 분석하고,
상기 분석을 통해 상기 농산물에 결함이 인식된 경우, 상기 3차원 모델링 이미지 상에서 상기 결함이 인식된 영역이 구별되도록 제어하는 프로세서를 포함하고,
상기 프로세서는,
상기 인공지능 모델에 상기 이미지를 입력하여 상기 이미지 내 농산물에서 제1 관심영역(ROI: Region Of Interest) 및 제2 관심영역을 설정하고,
상기 제1 관심영역과 상기 제2 관심영역을 연결하는 선을 Z축으로 하는 3D 좌표계를 생성하고,
상기 생성된 3D 좌표계를 기반으로 상기 포인트 각각에 대한 좌표값을 설정하는 것을 특징으로 하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
A receiving unit that receives an image including depth information and color information about agricultural products;
A storage unit storing an artificial intelligence model in which a method for determining defects in at least one agricultural product is learned; and
Using the depth information and point group technique, create a polygonal mesh for agricultural products in the image,
Based on the color information, a corresponding color is assigned to each area of the polygonal mesh to generate a three-dimensional modeling image for the agricultural product,
Converting the 3D modeling image into a 2D flat image,
Analyzing the converted 2D flat image based on the artificial intelligence model,
When a defect is recognized in the agricultural product through the analysis, it includes a processor that controls the area where the defect is recognized to be distinguished on the three-dimensional modeling image,
The processor,
Input the image into the artificial intelligence model to set a first region of interest (ROI: Region Of Interest) and a second region of interest in the agricultural products in the image,
Generating a 3D coordinate system with a line connecting the first region of interest and the second region of interest as the Z axis,
Characterized in setting coordinate values for each of the points based on the generated 3D coordinate system,
Artificial intelligence-based external defect measurement device for agricultural products.
제1항에 있어서,
상기 프로세서는,
상기 깊이 정보를 기반으로 상기 이미지 내 농산물에 대한 포인트 군을 생성하고,
상기 생성된 포인트 군을 기반으로 상기 이미지 내 농산물에 대한 다각형 메쉬를 생성하고,
상기 생성된 다각형 메쉬와 상기 포인트 각각에 대한 깊이 정보를 기반으로 상기 3차원 모델링 이미지를 생성하는 것을 특징으로 하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
According to paragraph 1,
The processor,
Generate a point group for agricultural products in the image based on the depth information,
Generate a polygonal mesh for agricultural products in the image based on the generated point group,
Characterized in generating the three-dimensional modeling image based on the generated polygonal mesh and depth information for each of the points,
Artificial intelligence-based external defect measurement device for agricultural products.
삭제delete 제1항에 있어서,
상기 인공지능 모델을 기반으로 상기 이미지 내 농산물에서 상기 농산물의 꽃받침(Calyx)에 해당하는 제1 관심영역(ROI: Region Of Interest)을 파악하고,
상기 이미지 내 농산물에서 상기 제1 관심영역으로부터 최장 거리의 제2 관심영역을 파악하는 것을 특징으로 하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
According to paragraph 1,
Based on the artificial intelligence model, the first region of interest (ROI) corresponding to the calyx of the agricultural product in the image is identified,
Characterized in identifying a second region of interest at the longest distance from the first region of interest in the agricultural products in the image,
Artificial intelligence-based external defect measurement device for agricultural products.
제1항에 있어서,
상기 프로세서는,
상기 제1 관심영역과 상기 제2 관심영역을 Z축으로 하는 3D 좌표계를 생성하고,
상기 생성된 3D 좌표계를 기반으로, 상기 포인트 각각의 좌표를 생성하는 것을 특징으로 하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
According to paragraph 1,
The processor,
Generate a 3D coordinate system with the first region of interest and the second region of interest as the Z axis,
Characterized in generating coordinates for each of the points based on the generated 3D coordinate system,
Artificial intelligence-based external defect measurement device for agricultural products.
제1항에 있어서,
상기 프로세서는,
상기 색상 정보를 기반으로 상기 포인트 각각에 대한 색상 정보를 판단하고,
상기 다각형 메쉬 각각에 포함된 포인트에 대응되는 색상을 해당 다각형 메쉬에 할당하여 상기 모델링 이미지를 생성하는 것을 특징으로 하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
According to paragraph 1,
The processor,
Determine color information for each of the points based on the color information,
Characterized in generating the modeling image by assigning a color corresponding to a point included in each polygon mesh to the polygon mesh,
Artificial intelligence-based external defect measurement device for agricultural products.
제1항에 있어서,
상기 프로세서는,
상기 농산물에 결함이 인식된 경우, 상기 인식된 결함의 영역에 포함된 제1 메쉬의 좌표를 확인하고,
상기 3차원 모델링 이미지에 상기 제1 메쉬의 좌표에 해당하는 메쉬에 상기 인식된 결함의 영역을 표시하는 것을 특징으로 하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
According to paragraph 1,
The processor,
When a defect is recognized in the agricultural product, check the coordinates of the first mesh included in the area of the recognized defect,
Characterized in that the area of the recognized defect is displayed on a mesh corresponding to the coordinates of the first mesh in the three-dimensional modeling image,
Artificial intelligence-based external defect measurement device for agricultural products.
제7항에 있어서,
상기 프로세서는,
상기 인공지능 모델을 통해 결함인 것으로 판단된 영역에 포함된 상기 제1 메쉬를 결함 영역으로 판단하고,
상기 제1 메쉬는 상기 인공지능 모델을 통해 판단된 결함 종류에 해당하는 것으로 분류하는,
인공지능 기반의 농산물 외부 결함 측정 장치.
In clause 7,
The processor,
The first mesh included in the area determined to be defective through the artificial intelligence model is determined to be a defective area,
The first mesh is classified as corresponding to the type of defect determined through the artificial intelligence model,
Artificial intelligence-based external defect measurement device for agricultural products.
장치에 의해 수행되는 방법으로,
농산물에 대한 깊이 정보 및 색상 정보를 포함하는 이미지를 수신하는 단계;
상기 깊이 정보 및 포인트 군 기법을 이용하여 상기 이미지 내 농산물에 대한 다각형 메쉬를 생성하는 단계;
상기 색상 정보를 기반으로 상기 다각형 메쉬의 영역 각각에 해당 색상을 부여하여 상기 농산물에 대한 3차원 모델링 이미지를 생성하는 단계;
상기 3차원 모델링 이미지를 2D 평면 이미지로 변환하는 단계;
인공지능 모델을 기반으로 상기 변환된 2D 평면 이미지를 분석하는 단계;
상기 분석을 통해 상기 농산물에 결함이 인식된 경우, 상기 3차원 모델링 이미지 상에서 상기 결함이 인식된 영역이 구별되도록 제어하는 단계를 포함하며,
상기 인공지능 모델에 상기 이미지를 입력하여 상기 이미지 내 농산물에서 제1 관심영역(ROI: Region Of Interest) 및 제2 관심영역을 설정하는 단계;
상기 제1 관심영역과 상기 제2 관심영역을 연결하는 선을 Z축으로 하는 3D 좌표계를 생성하는 단계; 및
상기 생성된 3D 좌표계를 기반으로 상기 포인트 각각에 대한 좌표값을 설정하는 단계를 더 포함하는,
인공지능 기반의 농산물 외부 결함 측정 방법.
In a manner performed by the device,
Receiving an image including depth information and color information about agricultural products;
Generating a polygonal mesh for agricultural products in the image using the depth information and point group technique;
Generating a three-dimensional modeling image for the agricultural product by assigning a corresponding color to each area of the polygonal mesh based on the color information;
Converting the 3D modeling image into a 2D flat image;
Analyzing the converted 2D flat image based on an artificial intelligence model;
When a defect is recognized in the agricultural product through the analysis, controlling the area where the defect is recognized to be distinguished on the three-dimensional modeling image,
Inputting the image into the artificial intelligence model to set a first region of interest (ROI: Region Of Interest) and a second region of interest in the agricultural products in the image;
generating a 3D coordinate system with a line connecting the first region of interest and the second region of interest as the Z-axis; and
Further comprising setting coordinate values for each of the points based on the generated 3D coordinate system,
Artificial intelligence-based method of measuring external defects in agricultural products.
하드웨어인 컴퓨터와 결합되어, 제9항의 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium combined with a hardware computer and storing a program for executing the method of claim 9.
KR1020230103513A 2023-08-08 2023-08-08 Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence KR102610505B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230103513A KR102610505B1 (en) 2023-08-08 2023-08-08 Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230103513A KR102610505B1 (en) 2023-08-08 2023-08-08 Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence

Publications (1)

Publication Number Publication Date
KR102610505B1 true KR102610505B1 (en) 2023-12-06

Family

ID=89163917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230103513A KR102610505B1 (en) 2023-08-08 2023-08-08 Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence

Country Status (1)

Country Link
KR (1) KR102610505B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130121729A (en) 2012-04-27 2013-11-06 시부야 세이키 가부시키가이샤 Inspecting apparatus and inspecting method for agricultural products
KR20140039098A (en) * 2012-09-21 2014-04-01 주식회사 씨케이앤비 Apparatus for detecting defect
KR20190068168A (en) * 2017-12-08 2019-06-18 한국전자통신연구원 Apparatus for generating 3-dimensional image and method for the same
WO2019151394A1 (en) * 2018-01-31 2019-08-08 株式会社ニチレイフーズ Food inspection assistance system, food inspection assistance device, and computer program
KR20220167808A (en) * 2021-06-14 2022-12-22 (주)감소프트 Quality inspection device of article and packaging device of article
KR20230100205A (en) * 2021-12-28 2023-07-05 삼성전자주식회사 Method and apparatus for processing image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130121729A (en) 2012-04-27 2013-11-06 시부야 세이키 가부시키가이샤 Inspecting apparatus and inspecting method for agricultural products
KR20140039098A (en) * 2012-09-21 2014-04-01 주식회사 씨케이앤비 Apparatus for detecting defect
KR20190068168A (en) * 2017-12-08 2019-06-18 한국전자통신연구원 Apparatus for generating 3-dimensional image and method for the same
WO2019151394A1 (en) * 2018-01-31 2019-08-08 株式会社ニチレイフーズ Food inspection assistance system, food inspection assistance device, and computer program
KR20220167808A (en) * 2021-06-14 2022-12-22 (주)감소프트 Quality inspection device of article and packaging device of article
KR20230100205A (en) * 2021-12-28 2023-07-05 삼성전자주식회사 Method and apparatus for processing image

Similar Documents

Publication Publication Date Title
KR102236904B1 (en) Method and apparatus for compositing images
US20190220969A1 (en) Information processing device, data structure, information processing method, and non-transitory computer readable storage medium
EP3981012A1 (en) Systems and methods to process images for skin analysis and to visualize skin analysis
US12014493B2 (en) Method and apparatus for bone age assessment
KR102141302B1 (en) Object detection method based 0n deep learning regression model and image processing apparatus
US20220067519A1 (en) Neural network synthesis architecture using encoder-decoder models
KR102305613B1 (en) Method and apparatus for recognizing emotion
WO2020097461A1 (en) Convolutional neural networks with reduced attention overlap
KR102333428B1 (en) Method, apparatus and computer program for detecting fish school using artificial intelligence
KR102610505B1 (en) Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence
KR102455875B1 (en) Method and apparatus for bone age assessment
KR102610506B1 (en) Apparatus, method and program for identifying defects in agricultural products based on artificial intelligence
KR20240067783A (en) Device, method and program for calculating medical efficacy of food using ingredient analysis and medical evidence based on AI
KR102656289B1 (en) System and server that collects and exchanges empty bottles
KR20240102520A (en) Apparatus, method and program for automatically sorting agricultural products
KR102525537B1 (en) Server, method and program for providing quality control services for agricultural products based on image analysis of agricultural products
KR102669617B1 (en) Apparatus and method for real-time automatic video protocol conversion
KR102520846B1 (en) Method, device and program for providing vehicle AS process management service based on artificial intelligence
KR102635589B1 (en) Apparatus, method and program for detecting choroidal vascular hyperpermeabilization in indocyanine green angiography
KR20240058031A (en) Electronic device and prediction method for performing cancer diagnosis on thyroid ultrasound image based on deep learning
KR20240093380A (en) Device, method, and program for UWB-based vehicle location recognition
KR102671422B1 (en) Device and method for placing classroom placements using student personality and grade data and machine learning technology
KR102317855B1 (en) User interface for project analysis
US20240203566A1 (en) Medical image processing method
KR20230046516A (en) Method, apparatus and program to estimate uncertainty based on test-time mixup augmentation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant