KR20230030814A - 이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템 - Google Patents

이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20230030814A
KR20230030814A KR1020210112935A KR20210112935A KR20230030814A KR 20230030814 A KR20230030814 A KR 20230030814A KR 1020210112935 A KR1020210112935 A KR 1020210112935A KR 20210112935 A KR20210112935 A KR 20210112935A KR 20230030814 A KR20230030814 A KR 20230030814A
Authority
KR
South Korea
Prior art keywords
aggregate
data
image data
neural network
dimensional image
Prior art date
Application number
KR1020210112935A
Other languages
English (en)
Inventor
안성일
Original Assignee
주식회사 도로시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 도로시 filed Critical 주식회사 도로시
Priority to KR1020210112935A priority Critical patent/KR20230030814A/ko
Publication of KR20230030814A publication Critical patent/KR20230030814A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
    • G01N33/385—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/39—Crystals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Dispersion Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Image Analysis (AREA)

Abstract

일실시에에 따르면, 시스템에 의해 수행되는, 라이다와 카메라의 퓨전 기술을 이용하여 인공지능 기반으로 골재의 품질을 분석하는 방법에 있어서, 라이다를 통해 분석 대상에 대한 3D 데이터를 획득하고, 카메라를 통해 상기 분석 대상에 대한 2D 데이터를 획득하는 단계; 상기 2D 데이터를 인공지능 알고리즘에 적용하여, 상기 분석 대상에서 각 골재의 위치와 형상을 인식하는 단계; 상기 2D 데이터 및 상기 3D 데이터의 좌표계를 칼리브레이션 알고리즘에 적용하여, 병합 데이터를 추출하는 단계; 상기 병합 데이터를 이용하여, 상기 분석 대상에서 인식된 각 골재의 위치와 형상을 추적하고, 상기 골재를 포함하는 영역의 3차원 데이터를 추출하여, 상기 골재에 대한 3차원 형상 정보를 획득하는 단계; 상기 3차원 형상 정보를 수치해석 알고리즘에 적용하여, 상기 골재의 입도를 분석하는 단계; 및 상기 골재의 입도에 대한 분석 결과를 서버로 전송하여, 상기 서버의 데이터베이스에 상기 분석 결과를 저장하는 단계를 포함하는, 라이다와 카메라 퓨전 기술을 이용한 인공지능 기반 골재 품질 분석 방법이 제공된다.

Description

이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR IMAGE PROCESSING-BASED ANALYZING QUALITY OF AGGREGATE}
아래 실시예들은 이미지 처리 기반 골재의 품질 분석 기술에 관한 것이다.
골재는 SOC 산업의 주 재료인 아스콘 및 콘크리트의 물리 · 역학적 특성 결정의 주요 인자로, 골재 사용의 중량비는 아스콘 약 95%, 콘크리트 약 60~70%로 이루어져 있다.
골재 입도는 가장 기본적인 골재 특성 인자로, 건설자재의 골재 입도를 관리의 중요성이 증대되고 있다.
하지만, 건설자재 골재의 입도 관리에 있어, 2014년 국토교통부 일반국도 품질관리 현황 실태 전수조사결과, 부적합율이 약 45%나 된다. 국내 건설공사는 책임감리제도를 도입하고 있으나 형식적인 품질 관리이고, 아스콘 생산 플랜트는 전국 520여 개에서 운영 중이나, 대부분 영세하여 품질관리 담당자가 보통 1인으로 지정되어 있다. 또한, 기존 인력 중심의 체가름 방식으로는 많은 시간과 노력이 필요한 문제가 있다.
따라서, 효율적인 골재 입도 관리 기술 및 운영 방안의 마련이 필요한 상황이다.
한편, 영상 입도 분석에 대한 종래의 국내외 연구 사례를 조사한 결과, 국내에서는 DIP(Digital Image Processing) 기법이 제안되었다.
도 1에 도시된 바와 같이, 등가직경이론을 제시하여 형상변환계수 및 수정 입도곡선을 작성하여 체분석 결과와 비교할 수 있다.
또한, 영상 입도 분석을 위해 국외의 Syscom, Split Engineering에서는 실시간 골재 인식을 위한 시스템을 개발하였다.
도 2에 도시된 바와 같이, Syscom은 카메라 및 레이저를 활용해 플랜트 입도를 분석하고, Split Engineering은 카메라 비전기술을 활용하여 석산 품질을 관리하였다.
또한, 영상 입도 분석을 위해 국외의 Retsch Technology에서는 도 3에 도시된 바와 같이, 입자가 작은 입자 크기를 분석하고, 컨베이어를 활용한 엣지 디텍팅 방식과 입자를 낙하시켜 측면에서 3D 카메라로 측정하는 방식을 채용하였다.
하지만, 종래의 연구 사례에 따르면, 고가의 분석 장비가 필요하며, 영상 입도의 분석은 가능하나 딥러닝을 통한 입도 예측 프로그램은 전무한 상황이다.
따라서, 딥러닝을 통해 골재의 품질을 분석하고자 하는 연구 및 개발이 요구되고 있는 실정이다.
한국등록특허 제10-1880956호(2018.08.24) 한국등록특허 제10-1936218호(2019.01.08) 한국등록특허 제10-1969725호(2019.08.20) 한국등록특허 제10-1741615호(2017.05.30)
일실시예에 따르면, 라이다를 통해 분석 대상에 대한 3D 데이터를 획득하고, 카메라를 통해 분석 대상에 대한 2D 데이터를 획득하고, 2D 데이터를 인공지능 알고리즘에 적용하여, 분석 대상에서 각 골재의 위치와 형상을 인식하고, 2D 데이터 및 3D 데이터의 좌표계를 칼리브레이션 알고리즘에 적용하여, 병합 데이터를 추출하고, 병합 데이터를 이용하여, 분석 대상에서 인식된 각 골재의 위치와 형상을 추적하고, 골재를 포함하는 영역의 3차원 데이터를 추출하여, 골재에 대한 3차원 형상 정보를 획득하고, 3차원 형상 정보를 수치해석 알고리즘에 적용하여, 골재의 입도를 분석하는 방법, 장치 및 시스템을 제공하기 위한 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
일실시예에 따르면, 시스템에 의해 수행되는, 라이다와 카메라의 퓨전 기술을 이용하여 인공지능 기반으로 골재의 품질을 분석하는 방법에 있어서, 라이다를 통해 분석 대상에 대한 3D 데이터를 획득하고, 카메라를 통해 상기 분석 대상에 대한 2D 데이터를 획득하는 단계; 상기 2D 데이터를 인공지능 알고리즘에 적용하여, 상기 분석 대상에서 각 골재의 위치와 형상을 인식하는 단계; 상기 2D 데이터 및 상기 3D 데이터의 좌표계를 칼리브레이션 알고리즘에 적용하여, 병합 데이터를 추출하는 단계; 상기 병합 데이터를 이용하여, 상기 분석 대상에서 인식된 각 골재의 위치와 형상을 추적하고, 상기 골재를 포함하는 영역의 3차원 데이터를 추출하여, 상기 골재에 대한 3차원 형상 정보를 획득하는 단계; 상기 3차원 형상 정보를 수치해석 알고리즘에 적용하여, 상기 골재의 입도를 분석하는 단계; 및 상기 골재의 입도에 대한 분석 결과를 서버로 전송하여, 상기 서버의 데이터베이스에 상기 분석 결과를 저장하는 단계를 포함하는, 라이다와 카메라 퓨전 기술을 이용한 인공지능 기반 골재 품질 분석 방법이 제공된다.
상기 병합 데이터를 추출하는 단계는, 상기 2D 데이터를 기초로, 상기 분석 대상에서 제1 영역에 대한 좌표계를 생성하는 단계; 상기 3D 데이터를 기초로, 상기 분석 대상에서 제2 영역에 대한 좌표계를 생성하는 단계; 상기 제1 영역의 좌표계 및 상기 제2 영역의 좌표계를 기반으로, 상기 제1 영역 및 상기 제2 영역 간에 합집합이 되는 제3 영역을 도출하는 단계; 및 상기 2D 데이터를 기준으로, 상기 제3 영역에 대한 좌표계를 추출하는 단계를 포함할 수 있다.
상기 골재에 대한 3차원 형상 정보를 획득하는 단계는, 상기 제3 영역을 기준으로, 인공지능 이미지 세그멘테이션 모델을 이용하여, 상기 골재의 객체 별로 형상 좌표를 추출하는 단계; 상기 골재의 형상 좌표들을 이용하여, 상기 3D 데이터 기준으로 상기 제3 영역에서 골재에 해당하는 제4 영역의 깊이 데이터를 추출하는 단계; 및 상기 제3 영역에서 골재에 해당하지 않는 제5 영역의 깊이 데이터를 0으로 치환하여, 상기 제5 영역을 노이즈로 제거하는 단계를 포함하며, 상기 골재의 입도를 분석하는 단계는, 상기 제3 영역을 기준으로, 상기 2D 데이터에서 RGB 값을 추출하고 상기 3D 데이터에서 3D 깊이 값을 추출하고, 상기 RGB 값 및 상기 3D 깊이 값을 합병한 4채널 데이터를 생성하는 단계; 및 상기 제4 영역을 기준으로, 상기 4채널 데이터를 분석 알고리즘에 적용하여, 상기 RGB 값 및 상기 3D 깊이 값을 통해, 상기 골재의 입도를 분석하는 단계를 포함할 수 있다.
상기 분석 알고리즘은, 상기 RGB 값을 이용하여, 상기 골재의 객체 별로 종류를 분류하고, 상기 3D 깊이 값을 이용하여, 상기 골재의 객체 별로 형상 및 형태를 분류하고, 가로 최고 길이, 세로 최고 길이, 최고 높이 및 최저 높이를 확인하여, 상기 골재의 입도를 분석하고, 상기 골재의 입도에 대한 분석이 완료되면, 미리 설정된 기간 동안의 분석 결과를 기초로 통계치를 생성하여, 레일 위를 통과한 골재의 전체 품질을 평가할 수 있다.
상기 라이다와 카메라 퓨전 기술을 이용한 인공지능 기반 골재 품질 분석 방법은, 상기 라이다를 통해 상기 분석 대상 중 어느 하나인 제1 객체의 표면에 대한 3D 데이터인 제1 데이터를 획득하고, 상기 카메라를 통해 상기 제1 객체의 표면에 대한 2D 데이터인 제2 데이터를 획득하는 단계; 상기 제1 데이터와 상기 제2 데이터의 합집합 영역을 분리하여, 상기 제1 데이터 및 상기 제2 데이터를 병합한 제3 데이터를 추출하는 단계; 상기 제3 데이터를 인코딩 하여 제1 입력 신호를 생성하는 단계; 상기 제1 입력 신호를 장치 내 제1 인공 신경망에 입력하고, 상기 제1 인공 신경망의 입력의 결과에 기초하여, 제1 출력 신호를 획득하는 단계; 상기 제1 출력 신호에 기초하여, 상기 제1 객체의 표면에 대한 제1 분류 결과를 생성하는 단계; 상기 제3 데이터 및 상기 제1 분류 결과를 상기 서버로 전송하는 단계; 상기 서버로 전송된 제3 데이터를 분석하여 상기 제1 객체의 표면에 발생한 균열을 검출하는 단계; 상기 제1 객체의 표면에 발생한 균열을 영역별로 확인하여, 제1 기준치 미만으로 균열이 검출된 정상 영역과 상기 제1 기준치 이상으로 균열이 검출된 손상 영역을 구분하는 단계; 상기 제3 데이터에서 상기 손상 영역을 삭제한 제4 데이터를 추출하는 단계; 상기 제4 데이터를 인코딩 하여 제2 입력 신호를 생성하는 단계; 상기 제2 입력 신호를 상기 서버 내 제2 인공 신경망에 입력하고, 상기 제2 인공 신경망의 입력의 결과에 기초하여, 제2 출력 신호를 획득하는 단계; 상기 제2 출력 신호에 기초하여, 상기 제1 객체의 표면에 대한 제2 분류 결과를 생성하는 단계; 및 상기 제1 분류 결과 및 상기 제2 분류 결과가 동일한 경우, 상기 제1 분류 결과 및 상기 제2 분류 결과 중 어느 하나를 상기 제1 객체의 표면에 대한 최종 분류 결과로 설정하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 라이다를 통해 분석 대상에 대한 3D 데이터를 획득하고, 카메라를 통해 분석 대상에 대한 2D 데이터를 획득하고, 2D 데이터를 인공지능 알고리즘에 적용하여, 분석 대상에서 각 골재의 위치와 형상을 인식하고, 2D 데이터 및 3D 데이터의 좌표계를 칼리브레이션 알고리즘에 적용하여, 병합 데이터를 추출하고, 병합 데이터를 이용하여, 분석 대상에서 인식된 각 골재의 위치와 형상을 추적하고, 골재를 포함하는 영역의 3차원 데이터를 추출하여, 골재에 대한 3차원 형상 정보를 획득하고, 3차원 형상 정보를 수치해석 알고리즘에 적용하여, 골재의 입도를 분석함으로써, 골재의 품질 분석 결과에 대한 정확성을 향상시킬 수 있다.
한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1 내지 도 3은 영상 입도 분석에 대한 종래의 국내외 연구 사례를 나타낸 도면이다.
도 4는 일실시예에 따른 골재의 품질을 분석하는 시스템의 구성을 개략적으로 나타낸 도면이다.
도 5는 일실시예에 따른 인공지능 기반으로 골재의 품질을 분석하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 합집합 영역을 도출하는 과정을 설명하기 위한 순서도이다.
도 7은 일실시예에 따른 합집합 영역을 추출하는 과정을 도시한 도면이다.
도 8은 일실시예에 따른 좌표를 추출하는 과정을 설명하기 위한 순서도이다.
도 9는 일실시예에 따른 좌표를 추출하는 과정을 도시한 도면이다.
도 10은 일실시예에 따른 골재의 입도를 분석하는 과정을 설명하기 위한 순서도이다.
도 11은 일실시예에 따른 분석 알고리즘의 분석 과정을 설명하기 위한
도 12는 일실시예에 따른 골재 입도 분석을 위한 딥러닝 학습 과정을 나타낸 도면이다.
도 13은 일실시예에 따른 객체의 표면에 대한 분류 결과를 생성하는 과정을 설명하기 위한 순서도이다.
도 14는 일실시예에 따른 인공 신경망을 설명하기 위한 도면이다.
도 15는 일실시예에 따른 인공 신경망을 학습하는 방법을 설명하기 위한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 4는 일실시예에 따른 골재의 품질을 분석하는 시스템의 구성을 개략적으로 나타낸 도면이다.
도 4를 참조하면, 일실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 장치(100) 및 서버(200)를 포함할 수 있다.
먼저, 통신망은 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크로 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.
장치(100)는 통신 기능을 갖춘 연산 장치로 구현될 수 있으며, 예를 들면, 휴대전화기, 데스크톱 PC, 랩탑 PC, 태블릿 PC, 스마트폰 등으로 구현될 수 있으나, 이에 제한되지는 않으며, 외부 서버와 연결될 수 있는 다양한 형태의 통신 장치로 구현될 수도 있다.
장치(100)는 통신부(110), 라이다부(120), 카메라부(130) 및 제1 프로세서(140)를 포함할 수 있으며, 메모리(150)를 더 포함하거나 별도로 구현된 메모리(150)와 연결될 수 있다.
통신부(110)는 서버(200)와 무선 통신을 통해 데이터를 송수신할 수 있다.
구체적으로, 통신부(110)는 통신망과 연동하여 장치(100)와 서버(200) 간의 송수신 신호를 패킷 데이터 형태로 제공할 수 있으며, 서버(200)로 데이터 요청을 송신하고, 이에 대한 응답으로 데이터를 수신하는 역할을 수행할 수 있다.
라이다부(120)는 라이다(Lidar) 센서를 통해 분석 대상에 대한 3D 데이터를 생성할 수 있다. 여기서, 3D 데이터는 분석 대상이 골재인 경우, 골재에 대한 3D 이미지이다.
카메라부(130)는 카메라 촬영을 통해 분석 대상에 대한 2D 데이터를 생성할 수 있다. 여기서, 2D 데이터는 분석 대상이 골재인 경우, 골재에 대한 2D 이미지이다.
제1 프로세서(140)는 일종의 중앙처리장치로서 골재의 입도에 대한 분석 결과를 획득하는 전체 과정을 제어할 수 있다. 제1 프로세서(140)는 장치(100)의 동작을 제어하여 골재의 입도에 대한 분석 결과를 획득하는 과정을 수행할 수 있다. 분석 결과를 획득하는 과정에 대한 자세한 설명은 도 5를 참조하여 후술하기로 한다.
메모리(150)는 골재의 입도에 대한 분석 결과를 획득하는 방법을 수행하기 위한 프로그램이 기록될 수 있다. 또한, 제1 프로세서(140)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다.
일실시예에 따르면, 제1 프로세서(140)는 프로그램을 실행하고, 장치(100)를 제어할 수 있다. 제1 프로세서(140)에 의하여 실행되는 프로그램의 코드는 메모리(150)에 저장될 수 있다.
장치(100)는 후술할 제1 인공 신경망을 학습시키거나, 학습된 제1 인공 신경망을 이용하는데 사용될 수 있다. 메모리(150)는 학습 중인 또는 학습된 제1 인공 신경망을 포함할 수 있다. 제1 프로세서(140)는 인공지능을 포함할 수 있으며, 메모리(150)에 저장된 제1 인공 신경망의 알고리즘을 학습시키거나 실행시킬 수 있다.
서버(200)는 통신부(210), 데이터 버퍼(220), 로드 밸런서(230) 및 제2 프로세서(240)를 포함할 수 있으며, 데이터베이스(250)를 더 포함하거나 별도로 구현된 데이터베이스(250)와 연결될 수 있다.
통신부(210)는 장치(100)와 유무선 통신을 통해 데이터를 송수신할 수 있다.
구체적으로, 통신부(210)는 통신망과 연동하여 서버(200)와 장치(100) 간의 송수신 신호를 패킷 데이터 형태로 제공할 수 있으며, 장치(100)로 데이터 요청을 송신하고, 이에 대한 응답으로 데이터를 수신하는 역할을 수행할 수 있다.
데이터 버퍼(220)는 통신부(210)로부터 수신된 데이터를 임시로 저장하는 역할을 수행할 수 있다.
로드 밸런서(230)는 데이터 버퍼(220)에 저장된 데이터를 부하 분산 알고리즘을 통해 분배할 수 있다.
제2 프로세서(240)는 일종의 중앙처리장치로서 골재의 입도에 대한 분석 결과를 이용하여 추가적인 서비스를 제공하는 전체 과정을 제어할 수 있다. 제2 프로세서(240)는 서버(200)의 동작을 제어하여 골재의 입도에 대한 분석 결과를 이용하여 추가적인 서비스를 제공하는 과정을 수행할 수 있다.
데이터베이스(250)는 골재의 입도에 대한 분석 결과를 이용하여 추가적인 서비스를 제공하는 방법을 수행하기 위한 프로그램이 기록될 수 있다. 또한, 제2 프로세서(240)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다.
일실시예에 따르면, 제2 프로세서(240)는 프로그램을 실행하고, 서버(200)를 제어할 수 있다. 제2 프로세서(240)에 의하여 실행되는 프로그램의 코드는 데이터베이스(250)에 저장될 수 있다.
서버(200)는 후술할 제2 인공 신경망을 학습시키거나, 학습된 제2 인공 신경망을 이용하는데 사용될 수 있다. 데이터베이스(250)는 학습 중인 또는 학습된 제2 인공 신경망을 포함할 수 있다. 제2 프로세서(240)는 인공지능을 포함할 수 있으며, 데이터베이스(250)에 저장된 제2 인공 신경망의 알고리즘을 학습시키거나 실행시킬 수 있다.
도 5는 일실시예에 따른 인공지능 기반으로 골재의 품질을 분석하는 과정을 설명하기 위한 순서도이다.
도 5를 참조하면, 먼저, S501 단계에서, 장치(100)는 라이다를 통해 분석 대상에 대한 3D 데이터를 획득할 수 있다. 여기서, 3D 데이터는 분석 대상이 골재인 경우, 골재에 대한 3D 이미지이다.
S502 단계에서, 장치(100)는 카메라를 통해 분석 대상에 대한 2D 데이터를 획득할 수 있다. 여기서, 2D 데이터는 분석 대상이 골재인 경우, 골재에 대한 2D 이미지이다.
S503 단계에서, 장치(100)는 2D 데이터를 인공지능 알고리즘에 적용하여, 분석 대상에서 각 골재의 위치와 형상을 인식할 수 있다. 이때, 인공지능 알고리즘은 분석 대상이 골재인 경우, 골재 각각의 위치와 형상을 인식하는 프로그램으로 구현될 수 있으며, 장치(100)의 메모리(150)에는 인공지능 알고리즘이 저장되어 있어, 장치(100)는 인공지능 알고리즘을 통해, 골재의 위치와 형상을 인식하는 방식이 최적화되도록 학습을 수행할 수 있다.
S504 단계에서, 장치(100)는 2D 데이터의 좌표계 및 3D 데이터의 좌표계를 각각 확인하고, 2D 데이터의 좌표계 및 3D 데이터의 좌표계를 칼리브레이션 알고리즘에 적용하여, 병합 데이터를 추출할 수 있다. 이때, 칼리브레이션 알고리즘은 2D 데이터에서 확인된 골재 각각의 좌표계와 3D 데이터에서 확인된 골재 각각의 좌표계를 이용하여, 병합 데이터를 추출하는 프로그램으로 구현될 수 있으며, 장치(100)의 메모리(150)에는 칼리브레이션 알고리즘이 저장되어 있어, 장치(100)는 칼리브레이션 알고리즘을 통해, 2D 데이터의 좌표계 및 3D 데이터의 좌표계를 이용하여 병합 데이터를 추출할 수 있다. 병합 데이터 추출과 관련된 자세한 설명은 도 6 및 도 7을 참조하여 후술하기로 한다.
S505 단계에서, 장치(100)는 병합 데이터를 이용하여, 분석 대상에서 인식된 각 골재의 위치와 형상을 추적하고, 골재를 포함하는 영역의 3차원 데이터를 추출하여, 골재에 대한 3차원 형상 정보를 획득할 수 있다. 골재에 대한 3차원 형상 정보 획득과 관련된 자세한 설명은 도 8 및 도 9를 참조하여 후술하기로 한다.
S506 단계에서, 장치(100)는 3차원 형상 정보를 수치해석 알고리즘에 적용하여, 골재의 입도를 분석할 수 있다. 이때, 수치해석 알고리즘은 골재의 3차원 형상에 대한 수치해석을 통해 골재의 입도를 분석하는 프로그램으로 구현될 수 있으며, 장치(100)의 메모리(150)에는 수치해석 알고리즘이 저장되어 있어, 장치(100)는 수치해석 알고리즘을 통해, 골재의 3차원 형상에서 골재의 입도를 분석할 수 있다.
S507 단계에서, 장치(100)는 골재의 입도에 대한 분석 결과를 서버(200)로 전송하여, 서버(200)의 데이터베이스(250)에 분석 결과를 저장할 수 있다. 이때, 서버(200)는 분석 결과를 클라우드에 전송하여, 분석 결과를 보관 및 관리할 수 있다.
도 6은 일실시예에 따른 합집합 영역을 도출하는 과정을 설명하기 위한 순서도이다.
도 6을 참조하면, 먼저, S601 단계에서, 장치(100)는 라이다를 통해 분석 대상에 대한 3D 데이터를 획득할 수 있다.
S602 단계에서, 장치(100)는 카메라를 통해 분석 대상에 대한 2D 데이터를 획득할 수 있다.
S603 단계에서, 장치(100)는 2D 데이터를 기초로, 분석 대상에서 제1 영역에 대한 좌표계를 생성할 수 있다. 이때, 장치(100)는 칼리브레이션 알고리즘을 통해, 2D 데이터에서 제1 영역을 설정하고, 제1 영역에 대한 좌표계를 추출할 수 있다.
S604 단계에서, 장치(100)는 3D 데이터를 기초로, 분석 대상에서 제2 영역에 대한 좌표계를 생성할 수 있다. 이때, 장치(100)는 칼리브레이션 알고리즘을 통해, 3D 데이터에서 제2 영역을 설정하고, 제2 영역에 대한 좌표계를 추출할 수 있다.
S605 단계에서, 장치(100)는 제1 영역의 좌표계 및 제2 영역의 좌표계를 기반으로, 제1 영역 및 제2 영역 간에 합집합이 되는 제3 영역을 도출할 수 있다.
S606 단계에서, 장치(100)는 2D 데이터를 기준으로, 제3 영역에 대한 좌표계를 추출할 수 있다.
도 7은 일실시예에 따른 합집합 영역을 추출하는 과정을 도시한 도면이다.
도 7의 (a)에 도시된 바와 같이, 장치(100)는 카메라를 통해 획득된 2D 데이터를 확인하여, 일부 영역을 제1 영역(710)으로 설정하고, 제1 영역(710)에 대한 좌표계를 생성할 수 있다.
도 7의 (b)에 도시된 바와 같이, 장치(100)는 라이다를 통해 획득된 3D 데이터를 확인하여, 일부 영역을 제2 영역(720)으로 설정하고, 제2 영역(720)에 대한 좌표계를 생성할 수 있다.
도 7의 (c)에 도시된 바와 같이, 장치(100)는 제1 영역(710) 및 제2 영역(720) 각각의 좌표계를 기반으로, 합집합이 되는 제3 영역(730)을 도출할 수 있다.
도 7의 (d)에 도시된 바와 같이, 장치(100)는 2D 데이터를 기준으로, 제3 영역(730)에 대한 좌표계를 추출할 수 있다.
도 8은 일실시예에 따른 좌표를 추출하는 과정을 설명하기 위한 순서도이다.
도 8을 참조하면, 먼저, S801 단계에서, 장치(100)는 제3 영역(730)에 대한 좌표계를 추출할 수 있다.
S802 단계에서, 장치(100)는 제3 영역(730)을 기준으로, 인공지능 이미지 세그멘테이션 모델을 이용하여, 골재의 객체 별로 형상 좌표를 추출할 수 있다. 여기서, 인공지능 이미지 세그멘테이션 모델은 특정 영역에 포함된 골재를 객체 별로 확인하고, 골재의 객체 별로 형상 좌표를 추출하는 프로그램으로 구현될 수 있으며, 장치(100)의 메모리(150)에는 인공지능 이미지 세그멘테이션 모델이 저장되어 있어, 장치(100)는 인공지능 이미지 세그멘테이션 모델을 통해, 골재의 객체 별 형상 좌표를 추출하는 방식이 최적화되도록 학습을 수행할 수 있다.
S803 단계에서, 장치(100)는 골재의 형상 좌표들을 이용하여, 3D 데이터 기준으로 제3 영역(730)에서 골재에 해당하는 영역을 제4 영역으로 분류하고, 제4 영역의 깊이 데이터를 추출할 수 있다.
S804 단계에서, 장치(100)는 제3 영역(730)에서 골재에 해당하지 않는 영역을 제5 영역으로 분류하고, 제5 영역의 깊이 데이터를 0으로 치환하여, 제5 영역을 노이즈로 제거할 수 있다.
도 9는 일실시예에 따른 좌표를 추출하는 과정을 도시한 도면이다.
도 9의 (a)에 도시된 바와 같이, 장치(100)는 제3 영역(730)에서 골재에 해당하는 제4 영역(910)과 골재에 해당하지 않는 제5 영역(920)을 구분하여 분류할 수 있다.
도 9의 (b)에 도시된 바와 같이, 장치(100)는 제4 영역(910)에 포함된 골재를 객체 별로 인식하고 객체 별로 좌표를 확인하여, 제4 영역(910)에 포함된 골재의 객체 별로 깊이 데이터를 추출할 수 있다. 장치(100)는 제5 영역(920)에 포함된 골재의 객체들에 대한 깊이 데이터를 0으로 치환함으로써, 제5 영역(920)을 노이즈로 제거할 수 있다.
도 10은 일실시예에 따른 골재의 입도를 분석하는 과정을 설명하기 위한 순서도이다.
도 10을 참조하면, 먼저, S1001 단계에서, 장치(100)는 제3 영역(730)을 기준으로, 2D 데이터에서 RGB 값을 추출할 수 있다.
S1002 단계에서, 장치(100)는 제3 영역(730)을 기준으로, 3D 데이터에서 3D 깊이 값을 추출할 수 있다.
S1003 단계에서, 장치(100)는 RGB 값 및 3D 깊이 값을 합병한 4채널 데이터를 생성할 수 있다. 여기서, 4채널 데이터는 4채널 중 3채널이 RGB 값을 나타내는 2D 데이터이고, 4채널 중 1채널은 3D 깊이 값을 나타내는 데이터일 수 있다.
S1004 단계에서, 장치(100)는 제4 영역(910)을 기준으로, 4채널 데이터를 분석 알고리즘에 적용하여, RGB 값 및 3D 깊이 값을 통해, 골재의 입도를 분석할 수 있다. 이때, 분석 알고리즘은 RGB 픽셀과 깊이를 기준으로 분석을 진행하는 알고리즘으로, RGB 값 및 3D 깊이 값을 통해, 골재의 입도를 분석하는 프로그램으로 구현될 수 있으며, 장치(100)의 메모리(150)에는 분석 알고리즘이 저장되어 있어, 장치(100)는 분석 알고리즘을 통해, 골재의 입도를 분석할 수 있다. 분석 알고리즘에 대한 자세한 설명은 도 11을 참조하여 후술하기로 한다.
도 11은 일실시예에 따른 분석 알고리즘의 분석 과정을 설명하기 위한 순서도이다.
도 11을 참조하면, 먼저, S1101 단계에서, 분석 알고리즘은 2D 데이터에서 추출된 RGB 값을 이용하여, 골재의 객체 별로 종류를 분류할 수 있다. 즉, RGB 픽셀을 이용하여 각 골재의 종류를 분류할 수 있다.
S1102 단계에서, 분석 알고리즘은 3D 데이터에서 추출된 3D 깊이 값을 이용하여, 골재의 객체 별로 형상 및 형태를 분류할 수 있다. 즉, 깊이 데이터를 이용하여, 해당 골재의 형상과 형태를 분류할 수 있다.
S1103 단계에서, 분석 알고리즘은 골재의 객체 별로 가로 최고 길이, 세로 최고 길이, 최고 높이 및 최저 높이를 확인하여, 골재의 입도를 분석할 수 있다. 즉, 골재의 객체 별로 가로 최고 길이, 세로 최고 길이, 최고 높이 및 최저 높이를 확인하여, 각각의 평균값을 산출할 수 있으며, 이를 통해, 골재의 입도를 분석할 수 있다.
S1104 단계에서, 골재의 입도에 대한 분석이 완료되면, 미리 설정된 기간 동안의 분석 결과를 기초로 통계치를 생성하여, 레일 위를 통과한 골재의 전체 품질을 평가할 수 있다. 즉, 골재의 입도에 대한 분석이 완료되면, 통계치를 생성하여 현재까지 레일 위를 통과한 골재의 전체적인 품질을 평가하고, 평가 자료를 사용자 단말로 전달할 수 있다.
도 12는 일실시예에 따른 골재 입도 분석을 위한 딥러닝 학습 과정을 나타낸 도면이다.
도 12에 도시된 바와 같이, 장치(100)는 골재 입도를 분석하기 위해 딥러닝 학습을 수행할 수 있다. 예를 들어, 0번, 500번, 1500번 20000번 순으로 학습이 수행될 수 있다.
도 13은 일실시예에 따른 객체의 표면에 대한 분류 결과를 생성하는 과정을 설명하기 위한 순서도이다.
도 13을 참조하면, 먼저 S1301 단계에서, 장치(100)는 라이다를 통해 분석 대상 중 어느 하나인 제1 객체의 표면에 대한 3D 데이터를 제1 데이터로 획득할 수 있다. 여기서, 제1 데이터는 제1 객체의 표면에 대한 3D 이미지이다.
S1302 단계에서, 장치(100)는 카메라를 통해 제1 객체의 표면에 대한 2D 데이터를 제2 데이터로 획득할 수 있다. 여기서, 제2 데이터는 제1 객체의 표면에 대한 2D 이미지이다.
S1303 단계에서, 장치(100)는 제1 데이터와 제2 데이터의 합집합 영역을 분리하여, 제1 데이터 및 제2 데이터를 병합한 제3 데이터를 추출할 수 있다.
구체적으로, 장치(100)는 제1 데이터와 제2 데이터를 비교하여, 서로 중복되는 합집합 영역을 파악할 수 있으며, 제1 데이터에서 합집합 영역을 분리하고 제2 데이터에서 합집합 영역을 분리하여, 분리된 합집합 영역을 병합하여 제3 데이터를 추출할 수 있다. 여기서, 제3 데이터는 4채널로 구성될 수 있으며, 3채널은 RGB 값을 나타내는 2D 데이터이고, 1채널은 3D 깊이 값을 나타내는 데이터일 수 있다.
장치(100)는 제3 데이터를 인코딩하여 제1 입력 신호를 생성할 수 있다.
구체적으로, 장치(100)는 제3 데이터의 픽셀을 색 정보로 인코딩하여 제1 입력 신호를 생성할 수 있다. 색 정보는 RGB 색상 정보, 명도 정보, 채도 정보, 깊이 정보를 포함할 수 있으나, 이에 국한하지 않는다. 장치(100)는 색 정보를 수치화된 값으로 환산할 수 있으며, 이 값을 포함한 데이터 시트 형태로 제3 데이터를 인코딩할 수 있다.
장치(100)는 제1 입력 신호를 장치(100) 내 미리 학습된 제1 인공 신경망에 입력할 수 있다.
일실시예에 따른 제1 인공 신경망은 특징 추출 신경망과 분류 신경망으로 구성되어 있으며 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조절되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행된다.
일실시예에 따르면, 분류 신경망은 히든 레이어와 출력 레이어를 가지고 있다. 제1 객체의 표면의 거칠기 단계를 분류하기 위한 제1 인공 신경망의 분류 신경망은 5층 이하의 히든 레이어로 구성되며, 총 50개 이하의 히든 레이어 노드를 포함할 수 있다. 히든 레이어의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 분류 신경망의 출력 레이어 노드는 총 1개이며, 제1 객체의 표면의 분류에 대한 출력값을 출력 레이어 노드에 출력할 수 있다. 제1 인공 신경망에 대한 자세한 설명은 도 14를 참조하여 후술한다.
장치(100)는 제1 인공 신경망의 입력의 결과에 기초하여, 제1 출력 신호를 획득할 수 있다.
S1304 단계에서, 장치(100)는 제1 출력 신호에 기초하여, 제1 객체의 표면에 대한 제1 분류 결과를 생성할 수 있다. 여기서, 제1 분류 결과는 제1 객체의 표면이 거칠기의 어느 단계로 분류되는지에 대한 정보를 포함할 수 있다.
예를 들어, 장치(100)는 제1 출력 신호의 출력값을 확인한 결과, 출력값이 1인 경우, 제1 객체의 표면이 거칠기 1단계에 해당하는 것으로 제1 분류 결과를 생성하고, 출력값이 2인 경우, 제1 객체의 표면이 거칠기 2단계에 해당하는 것으로 제1 분류 결과를 생성할 수 있다. 거칠기 단계가 올라갈수록 제1 객체의 표면이 더 거칠어진다는 것을 의미할 수 있다.
S1305 단계에서, 장치(100)는 제3 데이터의 분석을 통해 제1 분류 결과가 생성되면, 제3 데이터 및 제1 분류 결과를 서버(200)로 전송하고, 서버(200)는 장치(100)로부터 수신된 제3 데이터를 분석하여 제1 객체의 표면에 발생한 균열을 검출할 수 있다. 균열 검출 시에는 이미지 분석을 통해 일정 크기 이상으로 확인된 부분만 제1 객체의 표면에 발생한 균열로 검출할 수 있다.
S1306 단계에서, 서버(200)는 제1 객체의 표면에 발생한 균열을 영역별로 확인하여, 정상 영역과 손상 영역을 구분할 수 있다.
구체적으로, 서버(200)는 제3 데이터를 제1 영역, 제2 영역 등의 복수의 영역으로 구분하여, 각각의 영역 별로 균열이 몇 개씩 검출되었는지 확인할 수 있으며, 제1 기준치 미만으로 균열이 검출된 영역을 정상 영역으로 구분하고, 제1 기준치 이상으로 균열이 검출된 영역을 손상 영역으로 구분할 수 있다. 이때, 제1 기준치는 실시예에 따라 상이하게 설정될 수 있다.
S1307 단계에서, 서버(200)는 제3 데이터에서 손상 영역을 삭제한 제4 데이터를 추출할 수 있다.
예를 들어, 제3 데이터에 있는 이미지가 제1 영역, 제2 영역 및 제3 영역으로 구성되어 있는데, 제1 영역은 손상 영역으로 구분되고, 제2 영역 및 제3 영역은 정상 영역으로 구분된 경우, 서버(200)는 제2 영역 및 제3 영역만 포함된 이미지를 제4 데이터로 추출할 수 있다.
서버(200)는 제4 데이터를 인코딩하여 제2 입력 신호를 생성할 수 있다.
구체적으로, 서버(200)는 제4 데이터의 픽셀을 색 정보로 인코딩하여 제2 입력 신호를 생성할 수 있다. 색 정보는 RGB 색상 정보, 명도 정보, 채도 정보, 깊이 정보를 포함할 수 있으나, 이에 국한하지 않는다. 서버(200)는 색 정보를 수치화된 값으로 환산할 수 있으며, 이 값을 포함한 데이터 시트 형태로 제4 데이터를 인코딩할 수 있다.
서버(200)는 제2 입력 신호를 서버(200) 내 미리 학습된 제2 인공 신경망에 입력할 수 있다.
일실시예에 따른 제2 인공 신경망은 특징 추출 신경망과 분류 신경망으로 구성되어 있으며 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조절되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행된다.
일실시예에 따르면, 분류 신경망은 히든 레이어와 출력 레이어를 가지고 있다. 제1 객체의 표면의 거칠기 단계를 분류하기 위한 제2 인공 신경망의 분류 신경망은 5층 이하의 히든 레이어로 구성되며, 총 50개 이하의 히든 레이어 노드를 포함할 수 있다. 히든 레이어의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 분류 신경망의 출력 레이어 노드는 총 1개이며, 제1 객체의 표면의 분류에 대한 출력값을 출력 레이어 노드에 출력할 수 있다. 제2 인공 신경망에 대한 자세한 설명은 도 14를 참조하여 후술한다.
서버(200)는 제2 인공 신경망의 입력의 결과에 기초하여, 제2 출력 신호를 획득할 수 있다.
S1308 단계에서, 서버(200)는 제2 출력 신호에 기초하여, 제1 객체의 표면에 대한 제2 분류 결과를 생성할 수 있다. 여기서, 제2 분류 결과는 제1 객체의 표면이 거칠기의 어느 단계로 분류되는지에 대한 정보를 포함할 수 있다.
예를 들어, 서버(200)는 제2 출력 신호의 출력값을 확인한 결과, 출력값이 1인 경우, 제1 객체의 표면이 거칠기 1단계에 해당하는 것으로 제2 분류 결과를 생성하고, 출력값이 2인 경우, 제1 객체의 표면이 거칠기 2단계에 해당하는 것으로 제2 분류 결과를 생성할 수 있다.
S1309 단계에서, 서버(200)는 제1 분류 결과 및 제2 분류 결과를 기초로, 제1 객체의 표면에 대한 최종 분류 결과를 설정할 수 있다.
예를 들어, 제1 분류 결과 및 제2 분류 결과가 동일한 경우, 서버(200)는 제1 분류 결과 및 제2 분류 결과 중 어느 하나를 제1 객체의 표면에 대한 최종 분류 결과로 설정할 수 있다.
도 14는 일실시예에 따른 인공 신경망을 설명하기 위한 도면이다.
일실시예에 따른 인공 신경망(1400)은 제1 인공 신경망 및 제2 인공 신경망 중 어느 하나일 수 있다. 제1 인공 신경망인 경우, 제3 데이터의 인코딩에 의해 생성된 제1 입력 신호를 입력으로 하여, 객체의 표면이 거칠기의 어느 단계로 분류되는지에 대한 정보를 출력으로 할 수 있다. 제2 인공 신경망인 경우, 제4 데이터의 인코딩에 의해 생성된 제2 입력 신호를 입력으로 하여, 객체의 표면이 거칠기의 어느 단계로 분류되는지에 대한 정보를 출력으로 할 수 있다.
일실시예에 따른 인코딩은 이미지의 픽셀 별 색 정보를 수치화된 데이터 시트 형태로 저장하는 방식으로 이뤄질 수 있는데, 색 정보는 하나의 픽셀이 가지고 있는 RGB 색상, 명도 정보, 채도 정보, 깊이 정보를 포함할 수 있으나, 이에 국한하지 않는다.
일실시예에 따르면, 인공 신경망(1400)은 특징 추출 신경망(1410)과 분류 신경망(1420)으로 구성되어 있으며, 특징 추출 신경망(1410)은 이미지에서 객체 영역과 배경 영역을 분리하는 작업을 수행할 수 있으며, 분류 신경망(1420)은 이미지 내에서 객체의 표면이 거칠기의 어느 단계로 분류되는지 여부를 파악하는 작업을 수행하도록 할 수 있다.
특징 추출 신경망(1410)이 객체 영역과 배경 영역을 구분하는 방법은 이미지를 인코딩한 입력 신호의 데이터 시트로부터 색 정보의 각 값들의 변화가 한 픽셀을 포함하는 8개의 픽셀 중 6개 이상에서 30% 이상의 변화가 생긴 것으로 감지되는 픽셀들의 묶음을 객체 영역과 배경 영역의 경계로 삼을 수 있으나, 이에 국한하지 않는다.
특징 추출 신경망(1410)은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조절되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행된다.
분류 신경망(1420)은 특징 추출 신경망(1410)을 통해 배경으로부터 구분된 객체 영역의 표면을 확인하고, 미리 정의된 거칠기의 단계별 표면 상태와 유사한지 여부를 확인하여, 객체 영역의 표면이 거칠기의 어느 단계로 분류되는지 여부를 파악할 수 있다. 거칠기의 단계별 표면 상태와 비교하기 위해, 메모리(150) 또는 데이터베이스(250)에 저장된 정보들을 활용할 수 있다.
분류 신경망(1420)은 히든 레이어와 출력 레이어를 가지고 있으며, 5층 이하의 히든 레이어로 구성되어, 총 50개 이하의 히든 레이어 노드를 포함하고, 히든 레이어의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다.
분류 신경망(1420)는 총 1개의 출력층 노드만 포함할 수 있다.
분류 신경망(1420)의 출력은 객체 표면이 거칠기의 어느 단계로 분류되는지에 대한 출력값으로, 거칠기의 어느 단계에 해당하는지를 지시할 수 있다. 예를 들어, 출력값이 1인 경우, 객체 표면이 거칠기 1단계에 해당하는 것을 지시하고, 출력값이 2인 경우, 객체 표면이 거칠기 2단계에 해당하는 것을 지시할 수 있다.
일실시예에 따르면, 인공 신경망(1400)은 사용자가 인공 신경망(1400)에 따른 출력의 문제점 발견 시 사용자에 의해 입력된 수정 정답에 의해 생성되는 제1 학습 신호를 전달받아 학습할 수 있다. 인공 신경망(1400)에 따른 출력의 문제점은 객체 표면에 대해 거칠기의 다른 단계로 분류한 출력값을 출력한 경우를 의미할 수 있다.
일실시예에 따른 제1 학습 신호는 정답과 출력값의 오차를 바탕으로 만들어지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 인공 신경망(1400)은 제1 학습 신호에 의해 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다. 이하 도 15를 참조하여 인공 신경망(1400)의 학습 내용이 후술된다.
도 15는 일실시예에 따른 인공 신경망을 학습하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 인공 신경망(1400)을 학습시킬 수 있다. 학습 장치는 장치(100) 및 서버(200)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
일실시예에 따르면, 인공 신경망(1400)은 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 제1 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 제1 레이블들은 거칠기의 단계별로 등록되어 있는 대표 이미지에 기초하여 정의될 수 있다. 인공 신경망(1400)은 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 인공 신경망(1400)을 학습시킬 수 있다. 학습 장치는 인공 신경망(1400)의 출력들 및 레이블들 의해 설계된 손실 함수를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수(loss function)을 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 인공 신경망(1400) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 인공 신경망(1400) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일실시예에 따르면, 학습 장치는 메모리(150) 또는 데이터베이스(250)로부터 레이블드 트레이닝 거칠기 단계별 대표 이미지들(1501)을 획득할 수 있다. 학습 장치는 거칠기 단계별 대표 이미지들(1501)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 거칠기 단계별 대표 이미지들(1501)은 미리 분류된 거칠기 단계에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 1000개의 레이블드 트레이닝 거칠기 단계별 대표 이미지들(1501)을 획득할 수 있으며, 레이블드 트레이닝 거칠기 단계별 대표 이미지들(1501)에 기초하여 제1 트레이닝 거칠기 단계별 벡터들(1502)을 생성할 수 있다. 제1 트레이닝 거칠기 단계별 벡터들(1502)을 추출하는데는 다양한 방식이 채용될 수 있다.
일실시예에 따르면, 학습 장치는 제1 트레이닝 거칠기 단계별 벡터들(1502)을 인공 신경망(1400)에 적용하여 제1 트레이닝 출력들(1503)을 획득할 수 있다. 학습 장치는 제1 트레이닝 출력들(1503)과 제1 레이블들(1504)에 기초하여 인공 신경망(1400)을 학습시킬 수 있다. 학습 장치는 제1 트레이닝 출력들(1503)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 인공 신경망(1400) 내 노드들의 연결 관계를 최적화하여 인공 신경망(1400)을 학습시킬 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

  1. 카메라를 이용하여 골재들에 대한 트레이닝 2차원 이미지 데이터들을 수집하는 단계;
    상기 트레이닝 2차원 이미지 데이터들에 대응하는 골재의 위치들 및 형상들을 레이블링하는 단계;
    상기 레이블링된 위치들 및 형상들을 이용하여 인공지능 모델을 학습시키는 단계;
    카메라 및 라이다를 이용하여 분석 대상 골재에 대한 2차원 이미지 데이터 및 3차원 이미지 데이터를 획득하는 단계;
    상기 2차원 이미지 데이터를 상기 학습된 인공지능 모델에 적용하여 상기 분석 대상 골재에 대응하는 골재 위치 및 형상 정보를 생성하는 단계;
    상기 생성된 골재 위치 및 형상 정보를 이용하여, 상기 3차원 이미지로부터 3차원 형상 정보를 생성하는 단계; 및
    상기 3차원 형상 정보를 이용하여, 상기 분석 대상 골재의 입도에 대한 분석 결과를 생성하는 단계
    를 포함하는
    이미지 처리 기반 골재의 품질 분석 방법.
  2. 제1항에 있어서,
    상기 3차원 형상 정보를 생성하는 단계는
    상기 2차원 이미지 데이터에 기초하여 상기 골재 위치 및 형상 정보에 대응하는 좌표 데이터를 생성하는 단계;
    상기 2차원 이미지 데이터의 좌표계 및 상기 3차원 이미지 데이터의 좌표계에 기초하여, 상기 2차원 이미지 데이터 및 상기 3차원 이미지 데이터 사이의 좌표 관계를 생성하는 단계;
    상기 생성된 좌표 관계를 이용하여, 상기 좌표 데이터를 상기 3차원 이미지 데이터에 적용하는 단계; 및
    상기 적용 결과에 기초하여, 상기 3차원 이미지 데이터의 3차원 형상 정보를 생성하는 단계
    를 포함하는,
    이미지 처리 기반 골재의 품질 분석 방법.
  3. 제2항에 있어서,
    상기 3차원 형상 정보를 생성하는 단계는
    상기 2차원 이미지 데이터 및 상기 3차원 이미지 데이터의 좌표계를 칼리브레이션 알고리즘에 적용하여, 병합 데이터를 생성하는 단계; 및
    상기 병합 데이터를 이용하여, 상기 분석 대상 골재에 대한 각 골재의 위치와 형상을 추적하고, 상기 골재를 포함하는 영역의 3차원 데이터를 추출하여, 상기 골재에 대한 3차원 형상 정보를 생성하는 단계
    를 더 포함하는,
    이미지 처리 기반 골재의 품질 분석 방법.
KR1020210112935A 2021-08-26 2021-08-26 이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템 KR20230030814A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210112935A KR20230030814A (ko) 2021-08-26 2021-08-26 이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112935A KR20230030814A (ko) 2021-08-26 2021-08-26 이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR20230030814A true KR20230030814A (ko) 2023-03-07

Family

ID=85512810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112935A KR20230030814A (ko) 2021-08-26 2021-08-26 이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR20230030814A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741615B1 (ko) 2015-10-21 2017-05-30 (주)거산기계 석분발생량 분석을 이용한 순환골재 생산 방법 및 시스템
KR101880956B1 (ko) 2017-05-31 2018-08-24 주식회사 광산기공 골재 품질관리 기능이 구비된 순환골재 생산시스템 및 그 방법
KR101936218B1 (ko) 2018-07-11 2019-01-08 주식회사 삼표 인공지능 학습기반 레디믹스트 콘크리트 생산 시스템
KR101969725B1 (ko) 2017-09-20 2019-08-20 현대환경(주) 골재의 단위용적질량과 생산량 동시 측정장치를 이용한 순환골재 생산방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741615B1 (ko) 2015-10-21 2017-05-30 (주)거산기계 석분발생량 분석을 이용한 순환골재 생산 방법 및 시스템
KR101880956B1 (ko) 2017-05-31 2018-08-24 주식회사 광산기공 골재 품질관리 기능이 구비된 순환골재 생산시스템 및 그 방법
KR101969725B1 (ko) 2017-09-20 2019-08-20 현대환경(주) 골재의 단위용적질량과 생산량 동시 측정장치를 이용한 순환골재 생산방법
KR101936218B1 (ko) 2018-07-11 2019-01-08 주식회사 삼표 인공지능 학습기반 레디믹스트 콘크리트 생산 시스템

Similar Documents

Publication Publication Date Title
KR102287891B1 (ko) 라이다와 카메라 퓨전 기술을 이용한 인공지능 기반 골재 품질 분석 방법, 장치 및 시스템
RU2770752C1 (ru) Способ и устройство для обучения модели распознавания лица и устройство для определения ключевой точки лица
RU2694021C1 (ru) Способ и устройство идентификации частей фрагментированного материала в пределах изображения
CN108229504B (zh) 图像解析方法及装置
CN111738231A (zh) 目标对象检测方法、装置、计算机设备和存储介质
US10769261B2 (en) User image verification
CN106462940A (zh) 图像中通用对象检测
US20180018805A1 (en) Three dimensional scene reconstruction based on contextual analysis
KR102299586B1 (ko) 드론 촬영 영상의 빅데이터를 활용한 인공지능 기반 건물 시공법 도출 방법, 장치 및 시스템
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
KR102252845B1 (ko) 머신비전 및 3d 프로파일을 통한 콘크리트 표면 분석 방법, 장치 및 시스템
KR102299295B1 (ko) 드론 촬영 영상의 빅데이터를 활용한 인공지능 기반 건물 유지 보수 견적 산출 방법, 장치 및 시스템
JP2024513596A (ja) 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
KR102261303B1 (ko) 라이다와 카메라의 퓨전 기술을 이용한 동적인 골재 입도 분석 방법, 장치 및 시스템
CN104145277A (zh) 在处理层和一个或多个更高层之间具有多通道接口的图像处理器
CN115131695B (zh) 视频检测模型的训练方法、视频检测方法及装置
Wisultschew et al. Artificial vision on edge IoT devices: a practical case for 3D data classification
Wang et al. An improved ISODATA algorithm for hyperspectral image classification
CN117542067B (zh) 一种基于视觉识别的区域标注表单识别方法
Chen et al. Fresh tea sprouts detection via image enhancement and fusion SSD
CN105096334B (zh) 一种矿区监测方法和系统
KR20230030814A (ko) 이미지 처리 기반 골재의 품질 분석 방법, 장치 및 시스템
CN111583417A (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质