KR102658582B1

KR102658582B1 - 딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치

Info

Publication number: KR102658582B1
Application number: KR1020230067308A
Authority: KR
Inventors: 김형주
Original assignee: 김형주
Priority date: 2023-05-25
Filing date: 2023-05-25
Publication date: 2024-04-17

Abstract

본 개시의 다양한 실시예에 따르는 딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치는, 아래로 개방 가능하고 나란히 배열된 둘 이상의 문을 포함하며, 상기 둘이 상의 문이 모두 닫힌 상태에서 편평한 면을 이루는 상부 패널; 상기 상부 패널의 아래에 위치하고, 상기 둘 이상의 문 각각에 대응하도록 분리된 내부 공간을 가진 서랍부; 상기 상부 패널의 편평한 면 상에 위치하는 물체를 촬영하도록 구성된 상부 패널 이미징 장치; 상기 둘 이상의 문 각각을 개폐하도록 구성된 문 구동부; 및 상기 상부 패널 이미징 장치 및 구동부와 작동적으로 연결된 제어부를 포함하고, 상기 제어부는: 상기 상부 패널 이미징 장치가 촬영한 상기 상부 패널 상의 복수의 물체들을 촬영하여 이미지를 생성하고, 상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 모두가 복수의 유형 중 하나의 유형에 대응하는지 판단하고, 및 상기 복수의 물체들 모두가 하나의 유형에 대응하는 경우, 상기 문 구동부로 하여금 상기 하나의 유형에 대응하는 문을 개방하도록 구성될 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치 {OBJECT CLASSIFICATION DEVICE USING VISION ANALYTICS WITH DEEP LEARNING ARTIFICIAL INTELLIGENCE}

본 개시는 딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치에 관한 것이다.

여기에서 달리 언급하지 않으면 본 섹션에서 기술되는 내용은 본 출원에서의 청구범위의 선행 기술이 아니며, 본 섹션에 기재하였다는 이유로 선행 기술로 인정되어서는 안 된다.

분리수거는 같은 종류의 폐기물끼리 분리하여 수거하는 것을 말한다. 이는 재활용이 가능한 자원을 무분별하게 버리는 것을 막고, 이를 다시 활용하여 자원의 효율적인 사용을 도모하는데 큰 도움이 되며, 이로써 환경 보호뿐 아니라 에너지 절약, 자원 절약 등 다양한 효과를 얻을 수 있다.

그러나 실제로는 많은 사람들이 분리수거의 중요성을 인지하지 못하거나, 분리수거를 올바르게 하지 못하는 경우가 많다. 또한, 복잡한 분리수거 규정으로 인해 많은 사람들이 혼란을 겪고 있다.

(특허문헌 0001) 공개특허공보 제10-2023-0063393호

본 개시는 물체를 자동으로 분류하고, 사용자로 하여금 각 유형에 따라 적절하게 재활용하거나 처리할 수 있도록 돕는 역할을 하는 물체 분류 장치를 제공하고자 한다. 본 개시에 따른 물체 분류 장치는, 분리수거의 복잡성을 줄이고, 재활용이 쉽도록 돕는 한편, 환경 보호에 기여하고자 한다.

이상의 간단한 요약에 관한 설명은 단순히 예시적인 것으로서 본 개시에서 의도한 기술적 사항을 제한하기 위한 것이 아니다. 이하의 상세한 설명과 첨부된 도면을 참조함으로써, 전술한 예시적인 실시예들과 기술적 특징들에 더하여, 추가적인 실시예와 기술적 특징들이 이해될 수 있을 것이다.

도 1은 본 개시의 다양한 실시예에 따른 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템의 블록 구성도이다.
도 2는 본 개시의 다양한 실시예에 따른 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템에 포함된 물체 분류 장치의 사시도이다.
도 3은 본 개시의 인공지능 서버에 적용되는 인공지능의 일 예로서 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이다.
도 4는 본 개시의 다양한 실시예에 따라, 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템의 물체 분류 장치에서 물체를 분류하는 프로세스(400)를 도시하는 흐름도이다.
도 5는 본 개시의 다양한 실시예에 따라, 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템의 물체 분류 장치에서 물체를 분류하는 추가적인 프로세스(500)를 도시하는 흐름도이다.
도 6은 본 개시의 다양한 실시예에 따른 상부 패널 상에 놓인 물체들의 일 예시를 도시한다.

이하, 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현예 및 실시예를 상세히 설명한다. 그러나, 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다.

본 개시는 일반적으로, 주차장에 주차된 차량의 주차 위치를 결정하기 위한 시스템, 방법, 장치, 컴퓨터 판독가능 저장 매체 및 이에 저장된 프로그램에 관한 것이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 개시의 다양한 실시예에 따른 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템의 블록 구성도이다. 도 2는 본 개시의 다양한 실시예에 따른 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템에 포함된 물체 분류 장치(110)의 사시도이다.

도 1을 참조하면, 물체 분류 시스템(100)은 하나 이상의 물체 분류 장치(110) 및 인공지능 서버(120)를 포함할 수 있다. 인공지능 서버(120)는 다양한 종류의 인공지능 모델, 예를 들어 컨볼루션 신경망(CNN), 순환 신경망(RNN), 및 변환자(Transformer) 등을 활용하여, 물체 분류 장치(110)에서 촬영된 이미지 데이터에 기반하여 물체의 유형 및 종류를 분류할 수 있다. 구체적으로, 인공지능 서버(120)는 CNN(Convolutional Neural Network), R-CNN(Region with Convolutional Neural Network), YOLO(You Only Look Once) 등 다양한 이미지 인식 알고리즘을 사용할 수 있다.

도 2를 참조하면, 물체 분류 장치(110)는 본체(10), 인터페이스부(20) 및 상부 패널 이미징 장치(30)를 포함할 수 있다. 본체(10)는 상부 패널(11) 및 서랍부(12)를 포함할 수 있다. 상부 패널(11)은 본체(10)의 상면에 배치되고, 서랍부(12)는 상부 패널(11) 아래에 위치할 수 있다.

상부 패널(11)의 가장자리에는 림(11a)이 설치될 수 있다. 림(11a)은 상부 패널(11)의 가장자리에 위치한 작은 경사면이나 테두리일 수 있다. 림(11a)은 상부 패널(11) 상에 놓이는 물체들이 그 경계를 넘어 떨어지는 것을 막는 역할을 할 수 있다. 림(11a)은 서랍부(12)와 일체로 형성될 수 있으며, 플라스틱, 금속 또는 강화 유리등 다양한 재료로 만들어질 수 있다.

상부 패널(11)은 복수의 문(13)을 포함할 수 있다. 상부 패널(11)은 복수의 문(13)이 모두 닫힌 상태에서 편평한 면을 이룰 수 있다. 복수의 문(13)의 각각은 개별적으로 개방되도록 구성될 수 있다. 문(13)의 개방 작동은 전기 모터, 스프링 등의 메커니즘이 이용될 수 있다.

일 실시예에 있어서, 문(13)은 네 개의 제1 문(13a) 내지 제4 문(13d)을 포함할 수 있고, 도 2는 제2 문(13b)이 적어도 일부 개방된 상태를 예시한다. 복수의 문(13) 각각은 아래로 개방될 수 있다. 복수의 문(13)이 개방되면, 상부 패널(11) 상에 놓인 물체들이 개방된 문(13)을 통해 서랍부(12)에 떨어질 수 있다. 서랍부(12)는 복수의 문(13) 각각에서 떨어지는 물체들이 구분될 수 있도록, 서랍부(12) 내의 공간이 구분될 수 있다. 예를 들어 서랍부(12) 내의 공간은 복수의 문(13)을 통해 분류되는 물체들을 저장할 수 있는 서랍들로 나누어져 있을 수 있다.

인터페이스부(20)는 사용자가 물체 분류 장치(110)를 사용할 때 필요한 안내를 제공하고, 사용자의 입력을 수신 받는 등 사용자와 상호작용하는 장치일 수 있다. 인터페이스부(20)는 디스플레이(21)를 포함할 수 있다. 디스플레이(21)는 터치 패널을 포함하여 디스플레이(21)에 대한 사용자 입력을 수신할 수 있다. 다른 실시예에서 인터페이스부(20)는 사용자의 입력을 수신 받기 위한 물리적인 버튼 또는 마이크 등을 더 포함할 수 있고, 마이크는 음성 인식 기능을 통해 사용자의 명령을 인식할 수 있다. 인터페이스부(20)는 사용자에게 소리 정보를 제공하기 위한 스피커를 더 포함할 수 있다.

상부 패널 이미징 장치(30)는 상부 패널(11)을 촬영하는 하나 이상의 센서를 포함할 수 있다. 물체 분류 장치(110)는 상부 패널 이미징 장치(30)를 이용하여 상부 패널(11) 상의 이미지 데이터를 획득할 수 있다. 상부 패널 이미징 장치(30)는 상부 패널(11)의 전체가 촬영될 수 있는 화각(30a)을 가질 수 있다.

상부 패널 이미징 장치(30)에 포함된 센서는 카메라, 라이다 센서 등을 포함할 수 있으며, 이들 센서는 CMOS 또는 CCD 이미지 센서를 활용한 디지털 카메라일 수 있고, 라이다 센서는 시간을 이용한 거리 측정(TOF) 센서, 2D 또는 3D 스캐닝 라이다 등 다양한 형태가 될 수 있다. 또한, 상부 패널 이미징 장치(30)에 포함된 센서는 복수개의 카메라를 사용하여 스테레오 비전 기능을 제공할 수도 있고, 광학 또는 전자식 줌 기능, 자동 초점 기능 등을 제공할 수도 있다.

인공지능 서버(120)는 상부 패널 이미징 장치(30)를 통해 획득한 이미지 데이터를 분석하여 물체를 인식하고 분류할 수 있다. 이 때, 인공지능 서버(120)는 딥러닝 알고리즘을 활용하여 이미지를 분석하며, 이는 이미지 데이터를 특징 벡터로 변환하고, 이 특징 벡터를 통해 물체를 인식하고 분류하는 작업을 포함할 수 있다. 딥러닝 알고리즘은 사전에 대량의 이미지 데이터를 통해 학습될 수 있다.

인공지능 서버(120)는 상부 패널 이미징 장치(30)를 통해 획득한 이미지 데이터를 분석하여, 상부 패널(11) 상에 놓인 물체들의 유형을 파악하고, 물체들 모두가 동일한 유형인 경우, 복수의 문(13) 중에서 해당 유형에 대응하는 문을 개방하여, 상부 패널(11) 상의 물체들이 모두 서랍부(12)로 떨어질 수 있도록 할 수 있다. 예를 들어, 복수의 문(13)은 닫힌 상태에서 상부 패널(11)을 이루므로, 복수의 문(13) 중에서 하나가 개방되면, 사용자가 개방된 문(13)에 물체들을 밀어 넣어 서랍부(12)로 떨어뜨려야 할 수 있다. 서랍부(12)로 떨어진 물체들은 유형별로 저장될 수 있다. 본 개시에 따른 물체 분류 시스템(100)을 통해 사용자는 물체 분류 장치(110)를 통해 물체들을 효율적으로 분류할 수 있고, 물체의 관리, 정렬 및 검색 과정을 효율적이고 간소하게 처리할 수 있다.

구체적으로, 본 개시의 물체 분류 시스템(100)을 이용하여 물체 분류로서, 분리수거를 수행하는 상황을 가정하기로 한다. 먼저, 사용자는 물체 분류 장치(110)의 상부 패널(11) 상에 에 분리하려는 특정 유형의 폐기물로서 물체(예를 들어, PET 플라스틱 병)을 놓을 수 있다. 이 때 사용자는 상부 패널(11)에 하나의 유형의 물체만을 놓는 것이 중요할 수 있다.

상부 패널 이미징 장치(30)는 상부 패널(11) 상의 물체들을 촬영하고, 그 이미지 데이터를 인공지능 서버(120)에 전송할 수 있다. 인공지능 서버(120)는 이미지 데이터를 분석하여 모든 물체들이 동일한 유형, 예를 들어 PET 플라스틱 병인지 확인할 수 있다. 인공지능 서버(120)는 이러한 확인을 바탕으로 PET 플라스틱 병에 해당하는 예를 들어, 제2 문(13b)을 개방하도록 물체 분류 장치(110)에 명령을 전송할 수 있다. 그 결과, 상부 패널(11)에 놓인 PET 플라스틱 병들이 해당 제2 문(13b)을 통해 서랍부(12)로 떨어질 수 있으며, 다른 유형의 물체와 구분되도록 저장될 수 있다.

만약 상부 패널(11)에 다른 유형의 물체(예를 들어, 종이나 알루미늄 캔 등)이 섞여 있다면, 인공지능 서버(120)는 이를 알아내고 사용자에게 이를 알리는 알림을 제공할 수 있다. 예를 들어, 물체 분류 장치(110)는 디스플레이(21)를 통해 또는 스피커를 통해 음성 메시지로 알림을 제공할 수 있다. 이러한 알림은 사용자에게 상부 패널(11)에 놓인 물체 중에서 하나의 유형만을 남기도록 안내할 수 있다.

즉, 본 개시의 다양한 실시예에 따른 물체 분류 시스템(100)은 분리수거와 같은 물품 분류 작업을 보다 간편하고 효율적으로 수행할 수 있도록 도와줄 수 있다. 특히 분리수거에서 다른 유형의 물체들이 뒤섞이는 등의 어려움을 줄이고, 재활용률을 향상시키는 데 기여할 수 있다.

일 실시예에 따르면, 물체 분류 장치(110)는 제어부(111), 센서부(112), 디스플레이부(113), 문 구동부(114) 및 통신부(115)를 포함할 수 있다.

제어부(111)는 물체 분류 장치(110)의 중앙 처리 장치로서, 다른 구성요소들과 작동적으로 연결되며, 각 구성요소들을 제어하고, 각기 기능을 수행하도록 명령할 수 있다. 일 실시예에 있어서, 제어부(111)는 인공지능 알고리즘을 포함할 수 있어서, 센서부(112)에서 제공하는 정보를 기반으로 물체의 유형을 식별하고, 분류 작업을 단독으로 수행할 수도 있다.

센서부(112)는 상부 패널(11)을 촬영하는 이미징 장치를 포함하고 있다. 예를 들어, 센서부(112)는 도 1의 상부 패널 이미징 장치(30)를 포함할 수 있다. 센서부(112)는 촬영한 이미지 데이터를 제어부(111) 또는 통신부(115)를 통해 인공지능 서버(120)로 전송할 수 있다. 센서부(112)는 CMOS 이미지 센서, CCD 이미지 센서, 라이다 센서 등 다양한 유형을 포함할 수 있다.

디스플레이부(113)는 사용자와의 상호작용을 담당하는 인터페이스를 제공할 수 있다. 디스플레이부(113)는 사용자에게 시스템 상태, 오류 메시지, 작동 안내 등을 표시하며, 사용자의 입력을 받아들일 수 있는 터치 패널을 포함할 수 있다. 디스플레이부(113)는 예를 들어, 도 1의 인터페이스부(20)의 디스플레이(21)를 포함할 수 있다.

문 구동부(114)는 제어부(111)의 명령에 따라 문(13)을 열거나 닫는 장치를 포함할 수 있다. 문 구동부(114)는 각 문(13)에 대응하는 모터나 기타 구동 장치를 포함할 수 있으며, 이를 통해 분류된 물체가 올바른 서랍부(12)로 이동할 수 있도록 할 수 있다.

통신부(115)는 물체 분류 장치(110)와 외부 장치(예를 들어 인공지능 서버(120))간의 데이터 통신을 담당할 수 있다. 통신부(115)는 유선 또는 무선 네트워크 인터페이스를 포함할 수 있으며, 이를 통해 시스템은 실시간으로 정보를 송수신하고, 분류 작업의 정확성을 높일 수 있다.

일 실시예에 따르면, 인공지능 서버(120)는 네트워크 서버(121), GPU 서버(122), 웹 서버(123), 메타데이터 데이터베이스(124), 이미지 데이터베이스(125), 및 분석 데이터베이스(126)를 포함할 수 있다.

네트워크 서버(121)는 물체 분류 장치(110)로부터 이미지 데이터 및/또는 메타 데이터를 수신할 수 있다. 네트워크 서버(121)는 수신한 이미지 데이터는 이미지 데이터베이스(125)에 저장하고, 메타 데이터는 메타데이터 데이터베이스(124)에 저장할 수 있다. 메타데이터 데이터베이스(124) 및 영상 데이터베이스(125)에 저장된 메타 데이터 및 이미지 데이터는 새로운 유형의 물체를 학습하거나 추후 사용자의 검색 요구에 따라 제공될 수 있다.

네트워크 서버(121)는 물체 분류 장치(110)로부터 받은 데이터를 GPU 서버(122)로 라우팅할 수 있다. GPU 서버(122)는 고성능 이미지 분석이 가능하도록 고사양의 GPU를 하나 이상 탑재한 서버일 수 있다. 일 실시예에서, GPU 서버(122)는 다 채널(복수의 물체 분류 장치(110))의 이미지 분석이 가능하도록 복수 개의 GPU 서버들로 구성될 수 있다. 복수 개의 GPU 서버는 GPU 서버 클러스터로 분류될 수 있다.

GPU 서버(122)는 특정 상황의 이미지 데이터의 처리에 적합하도록 설계될 수 있다. 예를 들어, 지하에 설치된 물체 분류 장치(110)로부터 촬영된 이미지와 같이 전체적으로 명도가 낮은 영상 데이터의 처리에 적합한 GPU 서버, 야외에 설치된 물체 분류 장치(110)로부터 촬영된 이미지와 같이 전체적으로 명도가 높은 영상 데이터의 처리에 적합한 GPU 서버 등으로 구분될 수 있다. 또한, GPU 서버(122)는 각 채널의 타입, 종류와 같은 채널 특성에 따라 해당 이미지 데이터의 처리에 적합하도록 설계될 수 있다. 예컨대, 물체 분류 장치(110)에 포함된 센서의 크기 및 성능에 따라, 큰 사이즈 또는 고화질의 이미지 데이터의 처리에 적합한 GPU 서버, 작은 사이즈 또는 저화질의 이미지 데이터의 처리에 적합한 GPU 서버 등으로 구분될 수 있다.

또한, GPU 서버(122)는 처리할 이미지 데이터의 채널(예를 들어, 복수의 물체 분류 장치(110))에 따라 해당 채널의 특성에 맞는 이미지 인식 알고리즘을 적용하여 입력 비디오를 처리할 수 있다. 이러한 경우, GPU 서버는 각각의 채널의 속성에 관한 채널 메타 데이터베이스(미도시)로부터 해당 채널의 메타데이터를 불러올 수 있으며, 이 채널 메타데이터에 적합한 이미지 인식 알고리즘을 적용하여 수신한 이미지 데이터를 처리할 수 있다. 채널 메타데이터로는 물체 분류 장치(110)의 식별정보(ID), 센서부(카메라) IP, 압축 타입, 화질, 공간 카테고리(예를 들어, 지하 또는 야외), 센서부(카메라) 위치, 센서부(카메라) 높이, Tilt 각도, Pan 각도 등을 포함할 수 있으나, 이에 제한되지 않는다. 이러한 채널 메타데이터들의 집합인 채널 메타 데이터베이스는 메타데이터 데이터베이스(124) 또는 별도의 데이터베이스 형태로 저장되어, GPU 서버(122)에 의해 검색 및 이용될 수 있다.

GPU 서버(122)는 네트워크 서버(121)로부터 전달받은 특정 물체 분류 장치(110)의 이미지 데이터를 분석하여 해당 이미지 데이터의 분석 결과를 분석 데이터베이스(126)에 저장할 수 있다. GPU 서버(122)는 이미지 데이터를 분석하여 물체의 유형 및 종류를 특정하거나, 유형 및 종류를 특정할 수 없는 물체를 인식할 수 있다. GPU 서버(122)는 인식된 물체의 유형 및 물체의 종류에 따른 분석결과를 생성할 수 있다. 이에 대해서는 구체적으로 후술하기로 한다.

한편, GPU 서버(122)에서 인식 및 분석 처리된 각 채널의 이미지 데이터는 웹 서버(123)에 제공될 수 있다. 웹 서버(123)는 이미지 컨버터(미도시)를 포함할 수 있으며, 이미지 컨버터에서는 인식 및 분석 처리된 이미지 데이터들을 이미지 출력/제어 장치(130)에 전송하여 디스플레이하기에 적합한 소정의 포맷으로 변환하는 작업을 수행할 수 있다. 여기서, 소정의 포맷은 이미지 출력/제어 장치(130)의 사용자에 의해 미리 설정된 것일 수 있다. 웹 서버(123)는 이미지 컨버터에 의해 소정의 포맷으로 변환된 이미지를 이미지 출력/제어 장치(160)로 제공할 수 있다. 또한 웹 서버(123)는 분석 데이터베이스(126)에 원하는 분석 결과 및 데이터를 검색을 요청할 수 있고, 분석 데이터베이스(126)로부터 저장된 분석 결과를 제공받을 수 있다. 웹 서버(123)는 분석 데이터베이스(126)로부터 제공받은 분석 결과를 통해 특정 분석 값이 나타난 이미지 데이터를 이미지 데이터베이스(125)로부터 제공받을 수 있다.

한편, 인공지능 서버(120)에서 GPU 서버(122)는 물체 분류 장치(110)로부터 이미지 데이터가 전달되면, 전달된 이미지 데이터를 프로세싱하여 노이즈 제거, 선명화 등과 같은 보정을 전처리 과정을 수행할 수 있다. 이러한 전처리 과정은 공지의 이미지 데이터 처리방법 중 적합한 하나를 선택하여 이용할 수 있으므로 이에 대한 구체적인 설명은 생략한다.

도 3은 본 개시의 인공지능 서버(120)에 적용되는 인공지능의 일 예로서 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이며, 도 3을 참조하면, 인공지능 서버(120)는 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 히트 맵(heat map) 생성 방법을 포함한 영역 제안 추출 (region proposal extraction)을 이용하는 방법을 통해 다중 객체를 검출할 수 있다.

이러한 CNN 기반의 히트 맵 생성 방법은 CNN 기반의 네트워크를 통해 객체 후보영역에 대한 확률 값을 나타내는 2차원 맵을 의미하는 히트 맵을 생성하고, 이를 이용하여 영역 제안을 추출할 수 있다. 영역 제안 네트워크는 도 2에 도시된 바와 같이, 총 5개의 컨볼루션 레이어로 구성된 영역 제안 네트워크로, 첫 번째와 두 번째 컨볼루션 레이어에는 풀링 레이어(pooling layer)와 도시되지 않았으나 정규화 레이어(normalization layer)가 연결될 수 있다. 이때, 다섯 번째 컨볼루션 레이어 에서 얻은 확률분포 맵을 얻게 되고, 이를 이용하여 높은 확률 값을 갖는 영 역들 을 추출하여 최종적으로 가장 오른쪽에 영역 제안을 획득할 수 있다. 여기서, 확률 분포 맵에서 파란색으로 표시된 부분은 확률 값 '0'을 나타내고, 빨간색으로 갈수 록 '1'에 가까운 높은 확률 값을 나타내는 것을 의미할 수 있다.

또한, 인공지능 서버(120)는, 객체의 속성정보를 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 기초로 객체 영역의 추출과 바운딩 박 스(bounding box)의 조정을 수행하는 방법을 통해 다중 객체를 검출할 수 있다. 이 러한 멀티 태스킹 러닝 방법은 추출된 영역 제안들로부터 실제 CNN 기반의 네트워 크(CNN-based feature extraction)를 통해 특성을 추출하고 최종 검출을 수행하는 단계로, CNN 기반의 네트워크는 사람 검출과 관련된 여러 가지 태스크들 예를 들어, 물체의 유형, 물체의 변형 상태, 물체의 자세, 메인 및 서브 유형을 포함하는 복합 유형의 물체, 물체의 분류 규칙/요령 등으로 필요한 방향으로 학습하여 좀 더 효과적인 특성을 학습할 수 있다.

또한 인공지능 서버(120)는 물체의 유형만을 파악하는 것이 아니라, 물체의 종류를 특정하여 인식할 수도 있다. 예를 들어, 인공지능 서버(120)는 이미지 데이터에 대한 딥러닝 비전 분석을 통하여 상부 패널(11) 상의 물체들이 각각 특정 상표의 어떤 물체인지 식별할 수 있다. 이미지 데이터 내에서 상표와 물체의 종류가 특정가능한 텍스트, 그림 등이 인식될 수 있다. 상표와 텍스트를 통해 물체의 종류를 특정하면, 메타데이터 데이터베이스(124)에 저장된 데이터와 비교를 통하여 물체의 유형을 특정할 수 있다.

또한, 인공지능 서버(120)는, 이미지에 대해 영역 제안 추출(region proposal extraction)을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 특성 추출을 통해 해당 영역 제안들 각각의 특성들을 추출하는 방법으로 다중 객체를 검출할 수도 있다.

인공지능 서버(120)는, 미리 정의된 인식 딥러닝 알고리즘을 이용하여 물체의 유형, 물체의 변형 상태, 물체의 자세, 메인 및 서브 유형을 포함하는 복합 유형의 물체, 물체의 분류 규칙/요령에 기반하여 인식된 물체들을 분류할 수 있다.

도 4는 본 개시의 다양한 실시예에 따라, 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템의 물체 분류 장치에서 물체를 분류하는 프로세스(400)를 도시하는 흐름도이다.

예를 들어, 프로세스(400)는 도 1의 물체 분류 장치(110), 인공지능 서버(120) 및 사용자 장치(130)와 같은 컴퓨팅 장치 중 어느 하나 또는 하나 이상의 협동에 의하여 수행될 수 있다. 따라서, 도 1 및 도 2에서 설명된 물체 분류 장치(110), 인공지능 서버(120) 및 사용자 장치(130)의 설명은 도 4에 적용 가능할 수 있다. 도 4의 프로세스(400)를 설명하기 위한 블록(410 내지 440)에 의하여 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 4에서 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.

도 4를 참조하면, 프로세스(400)는 고급 딥러닝 알고리즘을 통해 이미지를 분석하고 물체를 분류하는 과정을 설명한다.

프로세스(400)는 상부 패널 이미징 장치(30)가 상부 패널(11) 상의 물체를 촬영하고 이를 딥러닝 기반의 컴퓨터 비전 분석을 수행하는 410 단계에서 시작할 수 있다. 상부 패널 이미징 장치(30)에서 촬영된 이미지는 물체 분류 장치(110)에 의해 인공지능 서버(120)로 전송되거나, 경우에 따라 독립적으로 물체 분류 장치(110)에 의해 처리될 수 있다. 이 과정에서 이미지 내의 각 물체의 유형이 식별되며, 이는 물체 분류의 핵심 단계일 수 있다.

다음으로, 420 단계에서는 이미지 분석 결과를 통해 모든 물체가 하나의 유형에 해당하는지 판단할 수 있다. 이를테면, 상부 패널(11) 상의 모든 물체가 PET 플라스틱으로 식별된다면, 이는 하나의 유형에 해당하며, 물체들 중 어느 하나라도 다른 유형의 물체(예: 유리, 종이, 알루미늄 캔 등)가 식별되면 모든 물체가 하나의 유형에 해당하지 않는다고 판단할 수 있다. 이 단계 역시 인공지능 서버(120)나 물체 분류 장치(110)에서 독립적으로 수행될 수 있다.

만약 420 단계에서 모든 물체가 하나의 유형에 해당하지 않는다고 판단되는 경우, 다음으로 진행되는 430 단계에서는 인터페이스부(20)를 통해 상부 패널(11) 상의 물체 재배치를 요청하는 알림을 제공할 수 있다. 예를 들어, 물체 분류 장치(110)의 디스플레이(21)에 표시되며, 이 디스플레이는 상부 패널(11) 상의 이미지를 보여주고, 제거되어야 할 물체를 가리키는 객체를 표시할 수 있다.

일부 실시예에 있어서, 410 단계 또는 420 단계에서는 상부 패널(11) 상에 배치된 각각의 물체를 유형별로 구분하는 추가적인 분석 과정이 수행될 수 있다. 예를 들어, 도 6을 참조하면, 상부 패널(11) 상에는 PET 플라스틱 유형(601)의 물체 16개, 유리 유형(602)의 물체 2개, 알루미늄 캔 유형(603)의 물체 3개 등 다양한 유형의 물체가 배치될 수 있습니다. 이 경우, 가장 많이 존재하는 유형인 PET 플라스틱 유형(601)의 물체가 메인 유형으로 결정되고, 그 외의 유형은 서브 유형으로 결정될 수 있다. 그런 다음 430 단계에서 메인 유형을 제외한 서브 유형의 물체 제거를 요청하는 알림을 제공할 수 있다.

하지만 만약 420 단계에서 모든 물체가 하나의 유형에 해당한다고 판단되면, 440 단계로 이어질 수 있다. 440 단계에서 물체 분류 장치(110)는 모든 물체가 속한 유형에 대응하는 문(예: 도 2의 제2 문(13b))을 개방할 수 있다. 이후 사용자는 열린 문을 통해 상부 패널(11) 상의 물체를 서랍부(12)로 떨어뜨려 물체를 분류할 수 있다.

일 실시예에 있어서, 모든 물체가 서랍부(12)로 이동하면, 열려있던 문(13)이 닫힐 수 있다. 이후 사용자는 다른 유형의 물체(예: 유리 유형)를 다시 상부 패널(11) 상에 놓아 다양한 유형의 물체를 서랍부(12)에 순차적으로 분류할 수 있다. 사용자는 이 과정을 반복하여 다양한 유형의 물체를 정확하게 분류할 수 있다.

도 5는 본 개시의 다양한 실시예에 따라, 딥러닝 인공지능에 기반한 비전분석을 이용하는 물체 분류 시스템의 물체 분류 장치에서 물체를 분류하는 추가적인 프로세스(500)를 도시하는 흐름도이다.

예를 들어, 프로세스(500)는 도 1의 물체 분류 장치(110), 인공지능 서버(120) 및 사용자 장치(130)와 같은 컴퓨팅 장치 중 어느 하나 또는 하나 이상의 협동에 의하여 수행될 수 있다. 따라서, 도 1 및 도 2에서 설명된 물체 분류 장치(110), 인공지능 서버(120) 및 사용자 장치(130)의 설명은 도 5에 적용 가능할 수 있다. 도 4의 프로세스(400)를 설명하기 위한 블록(510 내지 530)에 의하여 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 5에서 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.

도 5를 참조하면, 프로세스(500)는 상부 패널 이미징 장치(30)가 상부 패널(11) 상의 이미지를 딥러닝 기반 컴퓨터 비전 분석으로 처리하는 510 단계로 시작할 수 있다. 특정 실시예에서는, 510 단계는 이미지 데이터를 물체 분류 장치(110)로부터 수신한 인공지능 서버(120)에서 수행될 수 있다. 그러나 다른 실시예에서는, 물체 분류 장치(110)가 독립적으로 분석을 수행할 수 있다. 또한, 510 단계는 도면 4의 410 단계와 함께 순차적으로 또는 병렬로 수행될 수 있다. 510 단계에서 수행되는 분석은, 상부 패널(11) 상의 물체를 각각 인식하고, 각 물체의 유형을 판별하는 과정을 포함할 수 있습니다.

이후 520 단계에서는 컴퓨터 비전 분석을 통해 이미지 내에 포함된 각 물체의 유형이 올바르게 인식될 수 있는지를 판단할 수 있다. 예를 들어, 만약 상부 패널(11) 상의 여러 물체 중 일부가 다른 물체에 가려져 인식이 어렵다면, 520 단계에서는 해당 물체의 유형이 인식 불가능하다고 판단할 수 있다. 도 6을 참조하면, 제1 유형의 물체(601a 또는 601b)에 가려진 임의의 물체(603a 또는 604)는 물체의 유형의 인식이 불가능할 수 있다.

520 단계에서 모든 물체의 유형이 올바르게 인식 가능한 것으로 판단되면, 도면 4의 프로세스(400)의 420 단계로 이어질 수 있다. 그러나 만약 모든 물체의 유형이 정확하게 인식되지 못했다면, 530 단계로 이어질 수 있다.

530 단계에서는 사용자가 물체를 재배치하도록 요청하는 알림을 인터페이스부(20)를 통해 제공할 수 있다. 예를 들어, 물체 분류 장치(110)의 디스플레이(21)는 상부 패널(11)의 이미지를 표시하고, 해당 이미지 위에 인식이 어려운 물체를 가리키는 마커를 표시할 수 있다.

더 나아가, 특정 실시예에서, 만약 520 단계에서 컴퓨터 비전 분석 결과, 상부 패널(11) 상의 물체가 여러 유형의 물체로 구성된 복합 유형의 물체라고 판단되는 경우, 이 역시 유형 인식이 불가능한 것으로 판단할 수 있다. 예를 들어, 어떤 병의 몸체의 재료가 유리이고 뚜껑의 재료가 알루미늄 캔인 것으로 인식되면, 이 물체는 주요 유형이 유리이고, 부수적인 유형이 알루미늄인 것으로 판단될 수 있다. 이럴 경우, 530 단계에서는 해당 물체에서 각각의 유형에 해당하는 부분을 분리하도록 사용자에게 요청하는 알림을 인터페이스부(20)를 통해 제공할 수 있다. 예를 들어 도 6을 참조하면, 주요 유형이 유리인 물체(602)는 뚜껑이 철로서 부수적인 보조 유형이 캔 일 수 있고, 알루미늄이 주요 유형이 캔인 물체(603)는 플라스틱 뚜껑이 결합된 복합 유형의 물체일 수 있다.

본 개시의 다양한 실시예에 따른 딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치는, 아래로 개방 가능하고 나란히 배열된 둘 이상의 문을 포함하며, 상기 둘이 상의 문이 모두 닫힌 상태에서 편평한 면을 이루는 상부 패널; 상기 둘 이상의 문 각각에 대응하고, 상기 둘 이상의 문 각각의 아래에 위치하는 복수의 서랍부; 및 상기 상부 패널의 편평한 면 상에 위치하는 물체를 촬영하는 상부 패널 이미징 장치; 상기 상부패널 및 상기 복수의 서랍부를을 포함하는 본체; 상기 둘 이상의 문 각각을 개폐하도록 구성된 문 구동부; 및 상기 상부 패널 이미징 장치 및 구동부와 작동적으로 연결된 제어부를 포함하고, 상기 제어부는: 상기 상부 패널 이미징 장치가 촬영한 상기 상부 패널 상의 복수의 물체들을 촬영하여 이미지를 생성하고, 상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 모두가 복수의 유형 중 하나의 유형에 대응하는지 판단하고, 및 상기 복수의 물체들 모두가 하나의 유형에 대응하는 경우, 상기 문 구동부로 하여금 상기 하나의 유형에 대응하는 문을 개방하도록 구성될 수 있다.

본 개시의 일 실시예에 따르면, 상기 물체 분류 장치는 디스플레이를 포함하는 인터페이스부를 더 포함하고, 상기 제어부는: 상기 복수의 물체들 모두가 하나의 유형에 대응하지 않는 경우, 물체의 재배치를 요청하는 알림을 상기 인터페이스부를 통해 제공하고, 및 상기 알림을 제공한 후 일정 시간이 경과하거나, 또는 물체의 재배치가 완료되었음을 나타내는 사용자의 입력을 수신하는 것에 응답하여, 상기 상부 패널 이미징 장치로 하여금 상기 상부 패널 상의 복수의 물체들을 다시 촬영하여 이미지를 생성하도록 더 구성될 수 있다.

본 개시의 일 실시예에 따르면, 상기 제어부는: 상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 각각의 유형이 인식 가능한지 판단하고, 및 상기 복수의 물체들 각각의 유형이 인식 불가능한 경우, 물체의 재배치를 요청하는 알림을 상기 인터페이스부를 통해 제공하도록 더 구성될 수 있다.

본 개시의 일 실시예에 따르면, 상기 제어부는: 상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 중 하나 이상이, 복수의 유형이 물리적으로 결합된 복합 유형의 물체인 것으로 판단되는 경우, 해당 물체에서 복수의 유형에 해당하는 부분의 분리를 요청하는 알림을 상기 인터페이스부를 통해 제공하도록 더 구성될 수 있다.

본 개시의 일 실시예에 따르면, 상기 제어부는, 상기 상부 패널 이미징 장치가 획득한 이미지 데이터를, 인공지능 서버에 전송하도록 더 구성되고, 상기 인공지능 서버는, 상기 이미지 데이터에 대한 수행되는 딥러닝 기반의 컴퓨터 비전기술을 수행하며, 상기 이미지 데이터 내에서 물체의 유형, 물체의 변형 상태, 물체의 자세, 메인 및 서브 유형을 포함하는 복합 유형의 물체, 물체의 분류 규칙/요령을 학습할 수 있다.

본 개시의 일 실시예에 따르면, 상기 물체 분류 장치는 분리수거를 위한 장치이며, 복수의 유형은 플라스틱, 유리, 종이, 알루미늄을 포함하고, 상기 복수의 물체들 각각의 유형이 인식 불가능한 경우는, 상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통해 임의의 물체가 다른 물체의 적어도 일부를 가리고 있는 경우를 포함하고, 상기 복수의 유형이 물리적으로 결합된 복합 유형의 물체인 것으로 판단되는 경우는, 임의의 물체가 플라스틱, 유리, 종이, 및 알루미늄 중 적어도 둘 이상의 부분이 물리적으로 결합된 것일 수 있다.

본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램들은, 전자 장치(device) 내의 하나 이상의 프로세서들에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램들은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.

이러한 하나 이상의 프로그램들(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 광학 저장 장치(예: 컴팩트 디스크 롬(CD-ROM: Compact Disc-ROM), 디지털 다목적 디스크(DVDs: Digital Versatile Discs)), 마그네틱 카세트(magnetic cassette), 또는 이들의 조합으로 구성된 메모리 내에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크 상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.

상술한 본 개시의 구체적인 실시예들에서, 본 개시에 포함되는 전자 장치의 구성 요소는 제시된 구체적인 실시예에 따라 단수 또는 복수로 표현되었다. 그러나, 상기 구성 요소에 대한 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 본 개시의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며 후술하는 청구의 범위뿐만 아니라 이 청구의 범위와 균등한 것들에 의해 정해져야 한다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수도 있다.

이상, 본 개시에서 청구하고자 하는 대상에 대해 구체적으로 살펴보았다. 본 개시에서 청구된 대상은 앞서 기술한 특정 구현예로 그 범위가 제한되지 않는다. 예컨대, 어떤 구현예에서는 장치 또는 장치의 조합 상에서 동작 가능하게 사용되는 하드웨어의 형태일 수 있으며, 다른 구현예에서는 소프트웨어 및/또는 펌웨어의 형태로 구현될 수 있고, 또 다른 구현예에서는 신호 베어링 매체, 저장 매체와 같은 하나 이상의 물품을 포함할 수 있다. 여기서, CD-ROM, 컴퓨터 디스크, 플래시 메모리 등과 같은 저장 매체는, 예컨대 컴퓨팅 시스템, 컴퓨팅 플랫폼 또는 기타 시스템과 같은 컴퓨팅 장치에 의하여 실행될 때 앞서 설명한 구현예에 따라 해당 프로세서의 실행을 야기시킬 수 있는 명령을 저장할 수 있다. 이러한 컴퓨팅 장치는 하나 이상의 처리 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스와 같은 하나 이상의 입/출력 장치, 및 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리, 플래시 메모리 및/또는 하드 드라이브와 같은 하나 이상의 메모리를 포함할 수 있다.

전술한 상세한 설명에서는 블록도, 흐름도 및/또는 기타 예시를 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 기타 예시는 하나 이상의 기능 및/또는 동작을 포함하게 되며, 당업자라면 블록도, 흐름도 및/또는 기타 예시 내의 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 개별적으로 혹은 집합적으로 구현될 수 있다는 점을 이해할 수 있을 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 이와 달리, 본 개시의 실시예의 일부 양상은 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 이들의 실질적으로 임의의 조합으로써 전체적으로 또는 부분적으로 균등하게 집적 회로에서 구현될 수도 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 범위 내에 속하는 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘들이 다양한 형태의 프로그램 제품으로 분배될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는 분배를 실제로 수행하는데 사용되는 신호 베어링 매체의 특정 유형과 무관하게 적용됨을 이해할 것이다.

특정 예시적 기법이 다양한 방법 및 시스템을 이용하여 여기에서 기술되고 도시되었으나, 당업자라면, 청구된 대상에서 벗어남이 없이, 다양한 기타의 수정 또는 등가물로의 치환 가능성을 이해할 수 있다. 추가적으로, 여기에 기술된 중심 개념으로부터 벗어남이 없이 특정 상황을 청구된 대상의 교시로 적응시키도록 많은 수정이 이루어질 수 있다. 따라서, 청구된 대상이 개시된 특정 예시로 제한되지 않으나, 그러한 청구된 대상은 또한 첨부된 청구범위 및 그 균등의 범위 내에 들어가는 모든 구현예를 포함할 수 있음이 의도된다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위, 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims

딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치에 있어서,
아래로 개방 가능하고 나란히 배열된 둘 이상의 문을 포함하며, 상기 둘이 상의 문이 모두 닫힌 상태에서 편평한 면을 이루는 상부 패널;
상기 상부 패널의 아래에 위치하고, 상기 둘 이상의 문 각각에 대응하도록 분리된 내부 공간을 가진 서랍부;
상기 상부 패널의 편평한 면 상에 위치하는 물체를 촬영하도록 구성된 상부 패널 이미징 장치;
상기 둘 이상의 문 각각을 개폐하도록 구성된 문 구동부;
상기 상부 패널 이미징 장치 및 구동부와 작동적으로 연결된 제어부; 및
디스플레이를 포함하는 인터페이스부를 포함하고,
상기 제어부는:
상기 상부 패널 이미징 장치가 촬영한 상기 상부 패널 상의 복수의 물체들을 촬영하여 이미지를 생성하고,
상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 모두가 복수의 유형 중 하나의 유형에 대응하는지 판단하고,
상기 복수의 물체들 모두가 하나의 유형에 대응하는 경우, 상기 문 구동부로 하여금 상기 하나의 유형에 대응하는 문을 개방하도록 구성되고,
상기 복수의 물체들 모두가 하나의 유형에 대응하지 않는 경우, 물체의 재배치를 요청하는 알림을 상기 인터페이스부를 통해 제공하고, 및
상기 알림을 제공한 후 일정 시간이 경과하거나, 또는 물체의 재배치가 완료되었음을 나타내는 사용자의 입력을 수신하는 것에 응답하여, 상기 상부 패널 이미징 장치로 하여금 상기 상부 패널 상의 복수의 물체들을 다시 촬영하여 이미지를 생성하도록 더 구성되는,
딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치.
삭제
제1 항에 있어서,
상기 제어부는:
상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 각각의 유형이 인식 가능한지 판단하고, 및
상기 복수의 물체들 각각의 유형이 인식 불가능한 경우, 물체의 재배치를 요청하는 알림을 상기 인터페이스부를 통해 제공하도록 더 구성되는,
딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치.
제3 항에 있어서,
상기 제어부는:
상기 이미지에 대한 딥러닝 기반의 컴퓨터 비전기술을 통하여 상기 복수의 물체들 중 하나 이상이, 복수의 유형이 물리적으로 결합된 복합 유형의 물체인 것으로 판단되는 경우, 해당 물체에서 복수의 유형에 해당하는 부분의 분리를 요청하는 알림을 상기 인터페이스부를 통해 제공하도록 더 구성되는,
딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치.
제4 항에 있어서,
상기 제어부는, 상기 상부 패널 이미징 장치가 획득한 이미지 데이터를, 인공지능 서버에 전송하도록 더 구성되고,
상기 인공지능 서버는, 상기 이미지 데이터에 대한 수행되는 딥러닝 기반의 컴퓨터 비전기술을 수행하며, 상기 이미지 데이터 내에서 물체의 유형, 물체의 변형 상태, 물체의 자세, 메인 및 서브 유형을 포함하는 복합 유형의 물체, 물체의 분류 규칙/요령을 학습하는 것인,
딥러닝 인공지능을 이용한 비전분석을 이용하는 물체 분류 장치.