KR20220156603A - 자동화된 폐기물 관리를 위한 방법 및 전자 장치 - Google Patents

Abstract

여기서 실시예는 인공 지능 기반 폐기물 객체 카테고리화 엔진을 이용한 폐기물 관리용 방법 및 장치를 개시한다. 방법은 적어도 하나의 이미지를 획득하는 단계 및 적어도 하나의 획득한 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계를 포함한다. 추가적으로, 방법은 기 저장된 폐기물 객체와 적어도 하나의 검출된 폐기물 객체가 매치하는지 결정하고 기 저장된 폐기물 객체를 이용하여 검출된 폐기물 객체의 타입을 식별한다. 또한, 방법은 식별에 기초하여 검출된 폐기물 객체의 타입을 디스플레이한다.

Description

자동화된 폐기물 관리를 위한 방법 및 전자 장치

본 발명은 폐기물 관리 시스템(waste management system)에 관한 것으로, 특히 폐기물 관리를 자동화하는 장치 및 방법에 관한 것이다.

해석 고려 사항

이 섹션에서는 기술 분야에 대해 자세히 설명하고 기술 분야에서 발생하는 문제에 대해 설명한다. 따라서, 섹션의 진술은 종래 기술로 해석되지 않아야 한다.

문제의 역사에 대한 논의

현존하는 일반적인 폐기물 처리 시스템에는 다양한 장소에서 수거된 분류되지 않은 쓰레기가 포함되어 있으며, 이는 폐기물 처리 시설에서 수동으로 분리된다. 고체 폐기물의 수동 분리는 폐기물 분류하는 사람에게 건강 위험을 가져올 뿐만 아니라 현대 가정, 비즈니스 및 산업에서 처리된 폐기물의 다량 때문에 덜 효율적이고 시간 소모적이며 완전히 실현 가능하지 않다. 폐기물 처리 시스템을 효율적으로 만들기 위해서는 식별자(예를 들어, 바코드 식별자 등)를 이용하여 폐기물을 분류, 가공, 파쇄, 압축 및 헹굼하는 폐기물 자동 처리 시스템이 필요하다.

이러한 과정을 효율적으로 하기 위해, 종래 기술에서 다양한 방법 및 시스템이 도입되었다. 미국 특허 제10/943,897호(Kline et al)는 전통적인 쓰레기 이송 스테이션과 매립지를 대체하기 위한 폐기물 회수 및 전환 센터/발전소를 개시한다.

미국 특허 번호 7,269,516(Brunner et al)은 관찰로부터 수집된 데이터 측정 데이터베이스로부터 패턴(들)을 식별하기 위한 마이닝 실험 정보를 개시한다.

미국 특허 번호 제15/963,755호(Kumar et al)는 각각의 물질을 식별하거나 분류하기 위해 머신 러닝 시스템을 구현하는 비전 및/또는 x-레이 시스템을 이용하여 물질을 분류하고, 이어서 이러한 식별 또는 분류에 기초하여 별개의 그룹으로 분류되는 물질 분류 시스템을 개시한다.

미국 특허 번호 제16/177,137호(Horowitz et al)는 머신 러닝을 사용하여 폐기 물질의 광학 물질 특성화를 위한 시스템을 개시한다. 또한, 미국 특허 번호 제16/247,449호(Parr et al)에는 물질 회수(또는 재활용) 설비에 대한 시스템 제어가 개시되어 있다.

그러나, 수십 년에 걸쳐 거슬러 올라가는 종래 기술에서는, 정확한 폐기물 관리를 위한 자동화된 방법 및 시스템이 없다. 따라서, 종래의 폐기물 관리 기술과 관련된 한계를 극복할 수 있는 진보적인 접근법에 대한 오랜 요구가 존재한다. 이러한 문제를 해결하기 위해, 본 발명은 빠르고 정확하게 신뢰성 있는 폐기물 관리를 위한 자동화 장치, 시스템 및 방법을 제공한다.

본 발명은 자동 폐기물 관리를 위한 인공 지능 기반의 방법을 개시한다.

본 발명의 제1 양태에 있어서, 폐기물 관리를 위한 방법이 개시된다. 방법은 적어도 하나의 이미지를 획득하는 단계를 포함한다. 또한, 방법은 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계를 포함한다. 또한, 방법은 검출된 적어도 하나의 폐기물 객체가 기 저장된 폐기물 객체와 매칭됨을 결정하는 단계; 기 저장된 폐기물 객체를 이용하여 검출된 폐기물 객체의 타입을 식별하는 단계; 및 식별에 기초하여 검출된 폐기물 객체의 타입을 디스플레이하는 단계를 포함한다.

일 실시예에서, 방법은 검출된 폐기물 객체의 타입을 사용자에게 통지하는 단계를 더 포함한다.

대안적인 바람직한 실시예에서, 기 저장된 폐기물 객체는 다양한 카테고리를 갖는 폐기물 객체를 포함하는 폐기물 객체 데이터세트를 획득하고, 획득된 폐기물 객체 데이터세트로부터 폐기물 객체에 대응하는 이미지의 부분을 획득하고, 머신 러닝 모델을 사용하여 폐기물 객체에 대응하는 이미지의 부분을 트레이닝하고, 폐기물 객체에 대응하는 이미지의 트레이닝된 부분에 기초하여 기 저장된 폐기물 객체를 생성함으로써 생성된다.

일 실시예에서, 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계는 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 식별하는 단계, 적어도 하나의 획득된 이미지의 전경(foreground) 부분 및 적어도 하나의 획득된 이미지의 배경 부분을 처리함으로써 적어도 하나의 획득된 이미지로부터 적어도 하나의 식별된 폐기물 객체를 추출하는 단계, 추출에 기초하여 적어도 하나의 특징 파라미터를 결정하는 단계, 결정된 특징 파라미터에 기초하여 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀 또는 픽셀들을 분석하는 단계, 및 분석된 픽셀(들)에 기초하여 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계를 포함한다.

또 다른 실시예에서, 기 저장된 폐기물 객체를 사용하여 검출된 폐기물 객체의 타입을 식별하는 단계는 검출된 폐기물 객체의 다수의 타입이 검출되는지를 결정하는 단계, 및 다수의 타입의 폐기물 객체가 검출되지 않는다고 결정하는 것에 응답하여, 적어도 하나의 특징 파라미터를 사용하여 검출된 폐기물 객체의 타입을 식별하는 단계, 및 다수의 타입의 폐기물 객체가 검출된다고 결정하는 것에 응답하여, 적어도 하나의 식별된 폐기물 객체에 기초하여 적어도 하나의 특징 파라미터를 결정하는 단계, 결정된 특징 파라미터에 기초하여 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀 또는 픽셀들을 분석하는 단계, 및 분석된 픽셀(들)에 기초하여 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계 중 하나를 수행하는 단계를 포함한다.

대안적인 실시예에서, 특징 파라미터는 폐기물 객체의 형상, 폐기물 객체의 색상, 폐기물 객체의 강도를 포함한다.

본 발명의 제2 양태에서, 자동 폐기물 관리를 위한 전자 장치가 개시된다. 전자 장치는 메모리에 결합된 프로세서, 및 프로세서에 결합된 인공 지능 기반 폐기물 객체 카테고리화 엔진을 포함한다. 인공 지능 기반 폐기물 객체 카테고리화 엔진은 적어도 하나의 이미지를 획득하고, 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하고, 적어도 하나의 검출된 폐기물 객체가 기 저장된 폐기물 객체와 매칭된다고 결정하도록 구성된다. 인공 지능 기반 폐기물 객체 카테고리화 엔진은 또한 기 저장된 폐기물 객체를 사용하여 검출된 폐기물 객체의 타입을 식별하도록 구성되고, 식별에 기초하여 검출된 폐기물 객체의 타입을 디스플레이할 수 있다.

이하, 본 발명의 바람직한 실시예는 본 발명의 범위를 한정하지 않고 예시하기 위해 제공된 첨부 도면과 함께 설명될 것이며, 여기서 유사 지정(like designation)은 유사 요소를 나타내고, 종래 기술은 "종래 기술"로서 명백하게 식별되고, 여기서:
도 1은 본 발명의 교시에 따른 폐기물 관리를 위한 전자 장치의 블록도이다.
도 2는 폐기물 관리를 위한 시스템의 블록도이다.
도 3은 폐기물 관리를 위한 전자 장치에 포함된 인공 지능 기반 폐기물 객체 카테고리화 엔진의 블록도이다.
도 4는 인공 지능 기반 폐기물 객체 카테고리화 엔진의 다양한 계층을 도시하는 개략도이다.
도 5는 폐기물 관리를 위한 방법을 예시하는 흐름도이다.
도 6은 폐기물 관리를 위한 다양한 동작들을 예시하는 예시적인 흐름도이다.
도 7은 도 5와 함께 머신 러닝 모델을 생성하기 위한 다양한 동작들을 예시하는 흐름도이다.
도 8은 도 5와 함께 머신 러닝 모델을 트레이닝 및 유지하기 위한 다양한 동작들을 예시하는 흐름도이다.
도 9는 본 발명의 스마트 빈(bin) 폐기 분류 장치의 일 사시도이다.
도 10은 스마트 빈 폐기 분류 장치의 대안적인 사시도이다.
도 11은 스마트 빈 폐기 분류 장치에 포함된 수집 캔의 부분 단면도이다.
도 12는 스마트 빈 폐기 분류 장치에 포함된 스마트 빈 후방 패널(back panel)의 사시도이다.
도 13은 시각적 표시기를 포함하는 스마트 빈 폐기 분류 장치의 사시도이다.
도 14는 스마트 빈 폐기물 분류 장치가 폐기물 관리를 위해 스마트폰과 통신하는 예시적인 시스템의 개략도이다.

해석 고려사항

이 섹션(이하, '예시적인 실시예'라고 언급되는, 본 발명의 최상 모드의 예시적인 실시예를 설명하는 예시적인 바람직한 실시예에 대한 설명)을 읽는 동안, 독자는 발명자의 믿음에 따라 본 특허가 출원되는 동안 본 발명을 실시하는 최상 모드로서 예시적인 실시예를 고려해야 한다. 통상의 지식을 가진 자가 실질적으로 동등한 구조 또는 실질적으로 동등한 작용을 인식할 수 있으며, 이와 같은 동일한 또는 유사한 방식으로 결과를 도출한다고 해서, 본 발명이 일 실시예에 한정되는 것으로 해석되어서는 안 된다.

종(species)(또는 특정 항목)에 대한 논의는 종이 속하는 속(genus)(항목 클래스)뿐 아니라 이 속의 관련된 종을 호출한다. 마찬가지로, 속의 인용은 당업계에 공지된 종을 호출한다. 또한, 기술이 발전함에 따라, 본 발명의 일 양태를 달성하기 위한 다수의 추가적인 대안이 발생할 수 있다. 이러한 진보는 그들 각각의 속 내에 통합되고, 도시되거나 설명된 양태와 기능적으로 동등하거나 구조적으로 동등한 것으로 인식되어야 한다.

기능 또는 행위는, 달리 명시적으로 언급되지 않는 한, 기능 또는 행위를 수행하는 모든 모드를 포함하는 것으로 해석되어야 한다. 예를 들어, 시트 건조는 건식 또는 습식 열처리를 통해 수행될 수 있으며, 마이크로웨이브를 이용하여 수행될 수 있다. 따라서, "종이 건조"라는 단어의 사용은 "건식 가열" 또는 "습식 가열" 및 이 단어의 모든 다른 모드 및 "압력 가열"과 같은 유사한 단어를 호출한다.

달리 명시되지 않는 한, ("또는", "및", "포함하다", 또는 "포함하다"와 같은) 접속어는 배타적인 의미가 아니라 포괄적인 의미로 해석되어야 한다.

당업자가 이해할 수 있는 바와 같이, 본 발명을 모호하게 하지 않기 위해 다양한 구조 및 장치가 블록도 내에 도시되어 있다. 이하의 논의에서, 유사한 명칭들을 갖는 행위들은 달리 언급되지 않는 한, 유사한 방식으로 수행된다.

상기 논의들 및 정의들은 명확화 목적들을 위해 제공되며 제한적이지 않다. 단어와 구절은 달리 지시하지 않는 한 보통의 평이한 의미로 받아들여져야 한다.

본 발명의 실시예들의 다음의 상세한 설명에서, 수많은 특정 세부사항들이 본 발명의 실시예의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명의 실시예들은 이러한 특정 세부사항들과 함께 또는 이들 세부사항들 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들 및 구성요소들은 본 발명의 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.

또한, 본 발명은 이들 실시예들에만 제한되지 않는다는 것이 명백할 것이다. 다수의, 수정, 변화, 변형, 치환 및 등가물은 본 발명의 사상 및 범위를 벗어나지 않고 당업자에게 명백할 것이다.

바람직한 실시예에서, 본 발명은 선택된 실시예에서 맞춤 설계된 선택된 실시예 내의(따라서, 맞춤 설계되고 캡쳐된 트레이닝 모델(custom designed and captured training model)을 이용하여 사용될 수 있다), 및 딥 러닝 방법(deep learning method)이라 불리는 머신 러닝 방법으로부터 생성되는 인공 지능 기반의 폐기물 객체 카테고리화 엔진을 제공한다. 머신 러닝은 인공 지능 기반 폐기물 객체 카테고리화 엔진이 명시적으로 프로그래밍되지 않고 경험으로부터 자동으로 학습하고 개선할 수 있게 한다.

딥 러닝 방법은 비구조화(unstructured) 또는 라벨링되지 않은(unlabeled) 데이터로부터 감독되지 않은 방식으로 학습할 수 있는 망(network)을 사용한다. 딥 러닝 방법은 본 발명의 인공 지능 기반 객체 카테고리화 엔진이 절차적 코드 또는 명시적으로 코딩된 소프트웨어 알고리즘의 개발보다는 추론 및 패턴 인식을 통해 스스로 학습할 수 있게 하는 다수의 계층의 신경망(neural network)을 이용한다. 신경망은 포유동물의 대뇌 피질의 뉴런 구조에 따라 모델링되며, 여기서 뉴런은 노드로 표현되고 시냅스는 노드 사이에 고유하게 가중된 경로로 표현된다. 그 후, 노드들은 망을 구성하기 위해 계층들(layers)로 조직화된다. 신경망들은 입력 계층, 중간 또는 히든 계층들, 및 출력 계층을 포함하는 계층화된 방식으로 조직화된다.

신경망들은 그들의 수신된 입력에 기초하여 고유하게 가중된 경로들을 변화시킴으로써 그들의 학습 능력을 향상시킨다. 신경망 내의 연속적인 계층들은 그들의 수신된 입력 패턴들에 기초하여 그들의 가중 계수들을 수정함으로써 학습 능력을 통합한다. 신경망의 훈련은 우리가 아이들에게 물체를 인식하도록 가르치는 방법과 매우 유사하다. 신경망은 기본 데이터 세트로부터 반복적으로 트레이닝되며, 여기서 출력 계층으로부터의 결과들은 이미지의 정확한 분류와 연속적으로 비교된다.

대안적인 표현에서, 신경망대신에 임의의 머신 러닝 패러다임이 트레이닝 및 학습 프로세스에서 사용될 수 있다.

도 1은 폐기물 관리를 위한 전자 장치(100)의 블록도이다. 전자 장치(100)는, 예를 들어, 스마트 분류 인공 지능(AI) 빈 시스템, 스마트 빈 폐기물 분류 장치, 스마트 폐기물 분리기, 스마트폰, 스마트 IOT(Internet of Things) 장치, 스마트 서버 등일 수 있으나, 이에 제한되지 않는다.

일 실시예에서, 전자 장치는 프로세서(102), 통신기(104), 디스플레이(106), 메모리(108), 인공 지능 기반 폐기물 객체 카테고리화 엔진(110), 이미징 유닛(112) 및 센서(114)를 포함한다. 물리적 연결이 예시되어 있지 않지만, 프로세서(102)는 전자 기술 분야에 공지된 임의의 방식으로 통신기(104), 디스플레이(106), 메모리(108), 인공 지능 기반 폐기물 객체 카테고리화 엔진(110), 이미징 유닛(112) 및 센서(114)와 통신 가능하게 결합된다.

이미징 유닛(112)은 예를 들어, 독립형 카메라, 디지털 카메라, 비디오, 카메라, 적외선(IR) 또는 자외선(UV) 카메라 등일 수 있지만, 이에 제한되지 않는다. 센서(114)는, 예를 들어 거리 센서, 충전 레벨 센서, 전자 저울, 스트레인 게이지(strain gauge) 등일 수 있지만, 이에 제한되지 않는다.

일 실시예에서, 이미징 유닛(112)은 적어도 하나의 이미지를 획득하고, 적어도 하나의 획득된 이미지를 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)에 공유한다. 일 예에서, 카메라는 실시간 디지털 이미지들(예를 들어, RGB 이미지들 등) 또는 준 실시간(near real-time) 2차원 디지털 이미지들 또는 디지털 이미지들의 연속 스트림을 캡처하고, 획득된 이미지들에 지오-태그를 추가하며, 여기서 이미지들은 다수의 피사체들을 포함할 수 있다. 다수의 피사체는 폐기물 객체 상의 사용자의 손, 트레이 상의 폐기물 객체, 획득된 이미지들과 함께 배경 부분을 포함한다. 다른 예에서, 디지털 카메라는 폐기 이미지를 캡처하고, 센서는 폐기물 이미지로부터 유용한 특징 정보를 검출한 다음, 디지털 카메라 및 센서는 정보를 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)으로 전송한다.

적어도 하나의 획득된 이미지를 수신한 후, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출한다. 일 예에서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 폐기물 객체들만을 포함하는 적절하게 크로핑된 이미지들 및, 문맥상 이해 및 폐기물 객체와 관련된 확률 확실성을 증가시키기 위한 최소 배경을 생성하기 위해 디지털 이미지들 또는 획득된 이미지들의 연속적인 스트림들을 처리한다.

대안적인 실시예에서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 식별하도록 구성된다. 추가적으로, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 획득된 이미지의 전경 부분 및 적어도 하나의 획득된 이미지의 배경 부분을 처리함으로써 적어도 하나의 획득된 이미지로부터 적어도 하나의 식별된 폐기물 객체를 추출하도록 구성된다. 추출에 기초하여, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 특징 파라미터를 결정하도록 구성된다. 특징 파라미터는, 예를 들어 폐기물 객체의 형상, 폐기물 객체의 색상, 폐기물 객체의 강도, IR 검출 또는 UV 검출 가능한 이미지, 폐기물 객체의 질감 정보 등일 수 있지만, 이에 제한되지 않는다.

일 예에서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 획득된 이미지들에 대응하는 연결-구성요소 정보를 이용하여 이미지를 픽셀들로 분할하고 전경 이미지에서 주 관심 아이템(primary item of interest)의 일부가 아닌 전경을 검출한다. 이는 원시(raw) 획득된 이미지에서 다른 객체들의 부분들을 제거하기 위해 메인 폐기물 객체 주위에 바운딩 박스를 초래하고, 원시 획득된 이미지들을 AI 알고리즘들 또는 비전 컴퓨터 알고리즘들을 사용하여 처리한다. 또한, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 각 픽셀이 AI 알고리즘 또는 비전 컴퓨터 알고리즘에 어떻게 반응했는지를 나타내는 특징 값을 생성한다.

결정된 특징 파라미터에 기초하여, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀 또는 픽셀들을 분석하도록 구성된다. 분석된 픽셀(들)에 기초하여, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하도록 구성된다.

적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출한 후에, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 검출된 폐기물 객체가 기 저장된 폐기물 객체와 매치한다고 결정하도록 구성된다.

일 실시예에서, 기 저장된 폐기물 객체는 다양한 카테고리와 함께 폐기물 객체의 세트를 포함하는 폐기물 객체 데이터세트를 획득하고, 획득된 폐기물 객체 데이터세트로부터 폐기물 객체의 각각의 세트에 대응하는 이미지의 부분을 획득하고, 머신 러닝 모델(306)을 사용하여 폐기물 객체의 각각의 세트에 대응하는 이미지의 부분을 트레이닝하고, 폐기물 객체에 대응하는 이미지의 트레이닝된 부분에 기초하여 기 저장된 폐기물 객체를 생성함으로써 생성된다. 머신 러닝 모델(306)은 도 3과 함께 설명된다.

기 저장된 폐기물 객체를 사용함으로써, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 검출된 폐기물 객체의 타입을 식별하도록 구성된다. 일 예에서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 머신 러닝 분류기 또는 필터를 사용하여 검출된 폐기물 객체의 타입을 식별하도록 구성된다. 타입은, 예를 들어, 재활용 가능한 타입, 쓰레기 타입, 퇴비 타입 등일 수 있지만, 이에 제한되지는 않는다. 일 예에서, 이미지들은 유리, 판지, 금속, 종이, 스티로폼, 식품 등에 대응하고, 이때 재활용 타입 폐기물은 유리, 빨대, 알루미늄일 것이고, 쓰레기 타입 폐기물은 스티로폼, 커피 컵일 것이다.

대안적인 실시예에서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 검출된 폐기물 객체의 다수의 타입이 검출되는지 여부를 결정하도록 구성된다. 대안적으로, 복수의 타입의 폐기물 객체가 검출되지 않으면, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 특징 파라미터를 사용하여 검출된 폐기물 객체의 타입을 식별하도록 구성된다.

다른 실시예에서, 다수의 타입의 폐기물 객체가 검출되면, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 적어도 하나의 식별된 폐기물 객체에 기초하여 적어도 하나의 특징 파라미터를 결정하고, 결정된 특징 파라미터에 기초하여 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀 또는 픽셀들을 분석하고, 분석된 픽셀(들)에 기초하여 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출한다.

검출된 폐기물 객체의 타입을 식별하는 것에 기초하여, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 디스플레이(106) 상에 검출된 폐기물 객체의 타입을 디스플레이하도록 구성된다. 디스플레이(106)는, 예를 들어, 정보 디스플레이, LED 디스플레이, LCD 디스플레이 등일 수 있지만, 이에 제한되지 않는다.

또한, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 통신기(104)를 사용하여 사용자에게 검출된 폐기물 객체의 타입을 통지하도록 구성된다. 통신기(104)는 예를 들어, 블루투스 통신기, 와이파이(Wi-Fi) 통신기, 라이파이(Li-Fi) 통신기 등일 수 있으나, 이에 한정되는 것은 아니다. 일 예에서, 통지는 스피커, LED 및 온-스크린 메시징을 사용하여 오디오를 통한 시각적 경보의 형태로 제공된다. 다른 예에서, 통지는 사용자에게 푸시 메시지의 형태로 제공된다.

또한, 메모리(108)는 저장된 명령어들을 포함하고, 명령어들은 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)으로 하여금 적어도 하나의 프로세서(102)에 의해 실행될 때 적어도 하나의 이미지에 대한 기능들을 수행하게 한다. 이미징 유닛(112)은 블루투스, 근거리 통신, 와이파이, 범용 직렬 버스 등과 같은 유선 통신 수단 또는 무선 통신 수단을 포함하는 통신기(104)를 통해 프로세서(102)와 연결된다.

일 실시예에서, 이미지들이 컬러 이미지들이면, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 더 높은 정확도의 픽셀 분류를 돕기 위해 추가 정보를 추가하는 것을 사용한다. 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)의 정확도는 이미지의 품질에 정비례한다. 이미지 해상도는 다양한 조명 조건, 배경 및 가변 시나리오에서 아직 테스트되지 않은 개별 픽셀 및 전체 객체의 가장 효과적인 분류를 제공한다. 카메라 이미지 캡처는 연속적이어야 한다(즉, 검출 지점으로부터 폐기 지점까지). 이미지가 잘 조명되어야 하며, 왜곡되지 않아야 하고, 가능한 한 눈에 띄지 않아야 한다.

또한, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 클러스터링, 및 KNN 분류기를 포함하는 다수의 기술을 사용하지만, 다른 분류기가 본 발명의 범위 내에서 사용될 수 있다.

통신기(104)는 하나 이상의 망 또는 (도2에 도시된) 제2 전자 장치를 통해 내부 유닛 및 외부 장치와 통신하도록 구성된다. 메모리(108)는 하나 이상의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 따라서, 메모리(108)는 비휘발성 저장 요소들을 포함할 수 있다. 이러한 비휘발성 저장 요소들의 예들은 자기 하드 디스크, 광학 디스크들, 플로피 디스크들, 플래시 메모리들, 또는 EPROM(electrically programmable memory)들 또는 EEPROM(electrically erasable and programmable memory)들의 형태들을 포함할 수 있다. 또한, 메모리(108)는, 일부 예들에서, 비-일시적(non-transitory) 저장 매체로 간주될 수 있다. 용어 "비-일시적"은 저장 매체가 반송파 또는 전파된 신호로 구현되지 않는 것을 나타낼 수 있다. 그러나, 용어 "비-일시적"은 메모리(108)가 이동 가능하지 않은 것으로 해석되어서는 안 된다.

도 1은 전자 장치(100)의 다양한 유닛들을 도시하지만, 본 개시를 읽을 때 당업자는 다른 실시예들이 그것에 제한되지 않는다는 것을 이해할 것이다. 다른 실시예들에서, 전자 장치(100)는 더 적거나 더 많은 수의 다양한 유닛들을 포함할 수 있다. 또한, 다양한 유닛들의 라벨 또는 명칭은 단지 예시 목적으로만 사용되며, 본 발명의 범위를 제한하지 않는다. 하나 또는 그 이상의 유닛들이 합쳐져서 동일하거나 실질적으로 유사한 기능을 수행하여 폐기물을 관리할 수 있다.

도 2는 폐기물 관리를 위한 시스템(200)의 블록도이다. 일 실시예에서, 시스템(200)은 제1 전자 장치(100a) 및 제2 전자 장치(100b)를 포함한다. 제1 전자 장치(100a)는 적어도 하나의 이미지를 실시간, 준 실시간 또는 녹화된 형태로 제2 전자 장치(100b)로 전송할 수 있다. 제1 전자 장치(100a)로부터 적어도 하나의 이미지를 수신한 후, 제2 전자 장치(100b)는 폐기물을 관리하기 위한 다양한 동작을 수행한다. 제2 전자 장치(100b)의 동작 및 기능은 도 1과 관련하여 이전에 설명되었다.

도 2는 시스템(200)의 제한된 오버뷰를 도시하지만, 다른 실시예들이 그렇게 제한되지 않는다는 것이 본 개시를 읽을 때 당업자에게 쉽게 이해된다. 또한, 시스템(200)은 서로 통신하는 임의의 수의 하드웨어 또는 소프트웨어 구성요소들을 포함할 수 있다.

도 3은 폐기물 관리를 위한 전자 장치(100)에 포함된 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)의 블록도이다. 일 실시예에서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 인공 지능 모델(302), 분류기(304) 및 머신 러닝 모델(306)을 포함한다. 또한, 인공 지능 모델(302)은 박스 생성기(302a) 및 형상 식별자(302b)를 포함한다. 분류기(304)는, 예를 들어, k-최근접 이웃(k-nearest neighbors)(KNN) 분류기일 수 있지만, 이에 제한되지 않는다. 머신 러닝 모델(306)은, 예를 들어, 지도 학습 및 딥 러닝 기반 학습 모델 및 다층 하이브리드 딥 러닝 기반 학습 모델일 수 있지만, 이에 제한되지 않는다.

일 실시예에서, 머신 러닝 모델(306)은 문맥을 콘텐츠를 사용해 지시, 보상, 교육 및 정렬하기 위해 원시 이미지 내의 폐기물 객체들을 금속, 유리, 판지, 종이, 스티로폼, 식품, 플라스틱 등과 같은 상위 레벨 그룹으로 분류하도록 구성된다. 인공 지능 모델(302)은 분류 전에 트레이닝 예제를 요구하고, 머신 러닝 모델(306)이 객체 벡터의 특정 조합을 특정 클래스 타입과 연관시킬 수 있게 한다. 런타임 동작 동안의 인공 지능 모델(302)의 이 단계의 결과는 구성된 카테고리들에 기초한 객체에 대한 전체 분류이다. 폐기물 객체는 분류에 기초하여 누적될 것이다. 추가적으로, 현재 분류들에 속하지 않는 객체들은 시스템을 추가로 트레이닝하고 가능한 분류 괄호들에 대해 확장하기 위해 도 7 및 도 8에 설명된 머신 러닝 루틴에 공급될 것이다.

박스 생성기(302a)는 폐기물 정보와 관련된 바운딩 박스들의 세트를 출력하고, 여기서 각각의 바운딩 박스는 폐기물 객체의 위치, 크기 및 카테고리 라벨을 정의한다. 박스 생성기(302a)는 폐기물 객체에 대응하는 물리적 특성에 대한 명확한 경계(clear boundary)를 생성한다. 일 예에서, 아이콘 크기 및 아이콘 공유는 폐기물 객체에 대응하는 물리적 특성의 강도에 기초하여 시각적으로 변한다. 형상 생성기(302b)는 예측된 형상과 폐기물에 대응하는 물리적 특성의 강도를 출력한다. 박스 생성기(302a) 및 형상 생성기(302b)는 개별적으로 직렬 또는 병렬로 또는 단일 엔티티로서 동작할 수 있다. 분류기(304)는 비지도 학습 모델(unsupervised learning model)을 이용하여 화소값 특징들을 클래스들로 분류한다.

일 실시예에서, 프레임워크는 트레이닝 이미지 픽셀 데이터세트를 사용하여 분류기(306)를 트레이닝시키기 위해 머신 러닝 절차를 수행한다. 분류기(304)는 하나 이상의 상이한 픽셀을 식별하기 위해 이미지 픽셀(들)에 적용되고, 이는 이어서 보정될 수 있다. 인공 지능 모델(302) 및 머신 러닝 모델(306)은 참조 이미징 시스템으로부터 하나 이상의 트레이닝 이미지 데이터세트를 수신한다. 대안적으로, 인공 지능 모델(302) 및 머신 러닝 모델(306)은 폐기물 물질의 식별을 "가르치고"(teach), 수정(modify) 및 구현하기 위해 확증 아키텍처(corrob architecture), 트레이닝 및 구현을 사용하거나 통합할 수 있다.

다른 실시예에서, 인공 지능 모델(302)은 이미지에 대응하는 특징을 추출하는 컨볼루션 신경망(CNN) 기반 기술 및 폐기물을 재활용 가능, 쓰레기, 퇴비 등으로 분류하기 위해 이미지 특징을 통합하는 다층 퍼셉트론 기술을 사용한다. 다층 퍼셉트론 기술은 수동으로 라벨링된 폐기물 객체에 대해 트레이닝되고 검증된다. 또한, 인공 지능 모델(302)은 이미징 유닛(112)으로부터 수집된 정보를 통합하여 폐기물 객체를 분류하는 대응 센터의 역할을 수행한다.

다른 실시예에서, 머신 러닝 모델(306)은 계층 기반 신경망(예를 들어, 4 계층 딥 러닝 망, 5 계층 신경망 등)일 수 있고 예측 분석을 위해 훈련시킬 수 있다. 예를 들어, 4계층 기반 신경망은 폐기물 객체 예측을 위한 딥 러닝을 달성하기 위해 각각의 레벨에서 32, 16, 10 및 4개의 노드를 갖는다. 예측 함수는 특징 벡터 세트를 신경망에 전달하고 도 4에 도시된 바와 같이 출력을 생성할 것이다. 도 4에 도시된 것과 같이, 제1 계층(즉, 입력 계층)과 마지막 계층(즉, 출력 계층) 사이의 계층들을 히든 계층(hidden layer)이라 한다. 모든 계층은 폐기물 객체를 처리하고 예측하기 위해 사용된다. 다른 예에서, 4 계층 신경망은 마지막 계층(즉, 출력 계층이 폐기물 객체를 예측하기 위해 6 개의 노드들을 가질 것임)이 폐기물 객체 예측을 위해 사용된다. 일반적으로 신경망은 32개의 노드를 포함하는 제1 계층, 16개의 노드에 해당하는 제2 계층, 5개의 노드 또는 6개의 노드를 포함하는 마지막 계층을 가진다.

다른 실시예에서, 머신 러닝 모델(306)은 텐서 플로우 라이브러리(tenser flow library)에 의해 생성된다. 초기에, 머신 러닝 모델(306)은 폐기물 분류를 위해 인터넷을 통해 정보를 얻고 태깅함으로써 생성되는 폐기물 객체들의 m-세트의 데이터 세트를 구축한다. 또한, 머신 러닝 모델(306)은 데이터 세트에서 폐기물 객체들의 특징들을 추출한다. 텐서 흐름 라이브러리 모델로부터, 머신 러닝 모델(306)은 폐기물 객체가 어느 카테고리에 속하는지를 상관시킬 것이다. 일 예에서, 머신 러닝 모델(306)을 통해 예측된 폐기물은 재활용 가능, 쓰레기, 퇴비이다.

일 실시예에서, 머신 러닝 모델(306)의 정확도 및 속도는 머신 러닝 모델(306)이 트레이닝되는 원시 데이터세트의 양에 기초하여 변한다. 다른 실시예에서, 머신 러닝 모델(306)의 정확도 및 속도는 프레임 레이트, 전체 CPU 전력, GPU 전력 등에 기초하여 다양하다.

도 5는 본 발명의 일 실시예에 따른, 폐기물 관리를 위한 방법을 도시한 흐름도(500)이다. 동작들(502 내지 512)은 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)에 의해 수행된다.

동작(502)에서, 방법은 적어도 하나의 이미지를 획득하는 단계를 포함한다. 동작(504)에서, 방법은 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계를 포함한다. 그 다음, 동작(506)에서, 방법은 적어도 하나의 검출된 폐기물 객체가 기 저장된 폐기물 객체와 매칭되는지를 결정하는 단계를 포함한다. 다음으로, 동작(508)에서, 방법은 기 저장된 폐기물 객체를 사용하여 검출된 폐기물 객체의 타입을 식별하는 단계를 포함한다. 동작(510)에서, 방법은 식별에 기초하여 검출된 폐기물 객체의 타입을 디스플레이하는 단계를 포함한다. 그리고, 동작(512)에서, 방법은 검출된 폐기물 객체의 타입을 사용자에게 통지하는 단계를 포함한다.

제안된 방법은 AI 기반 컴퓨터 비전 기술을 사용하여 폐기물 분류를 위한 사용자 행동을 지시하는 데 사용될 수 있다. 제안된 방법은 폐기물을 평가하고 원하는 카테고리, 즉 재활용품, 쓰레기 및 퇴비로 분류하기 위해 사용될 수 있다. 제안된 방법은 많은 위치(예를 들어, 사무실 공간, 아파트, 휴양지, 경기장, 집, 공공 장소, 공원 거리 청소 등)에서 쓰레기 처리로 구현될 수 있다. 제안된 방법은 사용자(예를 들어, 기술자, 농업 사용자, 푸드 코트 종업원, 보행자 등)에 의해 사용될 수 있다.

제안된 방법은 폐기물을 운반하는 사용자의 시각 정보를 캡처하여 폐기물을 분석하고 올바른 스트림으로 분류하고, 사용자에 의해 폐기되는 폐기물을 자동으로 분류하기 위해 시각적 경보(LED 및 온-스크린 메시징을 통해) 또는 오디오 메시지를 사용자에게 제공하는 데 사용될 수 있다.

도 6은 폐기물 관리를 위한 다양한 동작을 예시하는 예시적인 흐름도(600)이다.

동작(602)에서 시작하는 방법은 이미지를 캡처하고 이미지에 지오-태깅을 추가하는 단계를 포함한다. 예로서, 카메라는 이미지를 캡처하고 이미지에 지오-태깅을 추가한다.

동작(604)에서, 방법은 획득된 이미지로부터 전경 객체를 검출 및 추출하는 단계를 포함한다. 일 예로, 인공 지능 기반 객체 카테고리화 엔진(110)은 획득된 원시 이미지에서 주요 객체 및 서브 이미지를 검출 및 추출하고, 획득된 원시 이미지에서 배경 부분을 분리한다.

동작(606)에서, 방법은 획득된 원시 이미지와 연관된 픽셀 명료화를 위한 특징 파라미터에 대응하는 특징 값을 계산하는 단계를 포함한다. 예를 들어, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 폐기물 객체의 형상 및 폐기물 객체의 색상을 사용하여 획득된 원시 이미지와 연관된 픽셀 명료화를 위한 특징 파라미터에 대응하는 특징 값을 계산한다.

동작(608)에서, 방법은 픽셀 명료화를 이용하여 폐기물 서브-파트들을 식별하는 단계를 포함한다. 예로서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 픽셀 명료화를 사용하여 폐기물 서브-파트들을 식별한다.

다음으로, 동작(610)에서, 방법은 픽셀 명료화를 위한 특징 파라미터에 대응하는 특징 값을 다시 계산한다. 일 예로서, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 픽셀 명료화에 대한 특징 파라미터에 대응하는 특징 값을 다시 계산한다.

질의(612)에서, 방법은 다수의 폐기물 객체들이 검출되는지 여부를 결정할 수 있다. 다수의 폐기물 객체가 검출되지 않으면, 동작(614)에서, 방법은 폐기물 객체를 분류하는 단계를 포함한다. 일 예로, 인공 지능 기반 폐기물 객체 카테고리화 엔진(110)은 폐기물 객체를 분류할 수 있다.

그 다음, 동작(616)에서, 방법은 센서(114)를 폐기물 분류로부터 트리거하는 단계를 포함한다. 예로서, 프로세서(102)는 폐기물 분류를 위해 센서(114)를 트리거한다.

대안적으로, 질의(612)로부터, 다수의 폐기물 객체들이 검출되면, 동작(618)에서, 방법은 다수의 객체 검출을 위한 특징값들에 대응하는 특징 명료화를 수행하는 단계를 포함한다. 예를 들어, 인공 지능 기반 객체 카테고리화 엔진(110)은 다중 객체 검출을 위한 특징 값에 대응하는 특징 명료화를 수행한다.

동작(618) 후에, 방법은 특징 명료화에 기초하여 다수의 객체를 검출 및 분류하는 단계를 포함하는 동작(620)으로 진행한다. 일 예로서, 인공 지능 기반 객체 카테고리화 엔진(110)은 특징 명료화에 기초하여 복수의 객체를 검출하고 분류한다.

도 7은 도 5와 함께 머신 러닝 모델(306)을 생성하기 위한 다양한 동작들을 예시하는 흐름도이다. 동작들(702 내지 706)은 인공 지능 모델(302)에 의해 수행된다.

방법(700)은 다양한 카테고리와 함께 폐기물 객체의 세트를 포함하는 원시 데이터세트를 획득하는 단계를 포함하는 동작(702)에서 시작한다. 다음으로, 동작(704)에서, 방법은 원시 데이터세트로부터 폐기물 객체에 대응하는 이미지의 부분을 획득하는 단계를 포함한다. 그 다음, 동작(706)에서, 방법은 획득된 폐기물 객체 정보를 사용함으로써 머신 러닝 모델을 생성하는 단계를 포함한다. 머신 러닝 모델은 프레임 레이트, 전체 CPU 전력, GPU 전력 등에 기초하여 트레이닝된다.

도 8은 본 발명의 일 실시예에 따라, 도 5와 관련하여 머신 러닝 모델(306)을 트레이닝 및 유지하기 위한 다양한 동작들을 예시하는 흐름도이다. 동작들(802 내지 806)은 인공 지능 모델(302)에 의해 수행된다.

먼저, 동작(802)에서, 방법은 원시 데이터세트로부터 폐기물 객체에 대응하는 이미지의 부분을 획득하는 단계를 포함한다. 다음으로, 동작(804)에서, 방법은 폐기물 객체들 내의 주요 객체를 라벨링하는 단계를 포함한다. 그 다음, 동작(806)에서, 방법은 라벨링된 메인 객체에 기초하여 머신 러닝 모델을 트레이닝 및 유지하는 단계를 포함한다. 라벨링된 주 객체는 폐기물 객체에 대응하는 다수의 클래스의 이미지들을 포함한다.

흐름도(500-800)에서의 다양한 동작, 동작, 블록, 단계 등은 제시된 순서로, 상이한 순서로 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 몇몇 행위들, 몇몇 동작들, 몇몇 블록들, 몇몇 단계들 등은 본 발명의 범위로부터 벗어나지 않고 생략, 추가, 수정, 스킵 등이 될 수 있다.

본 발명의 상술한 교시와 결합하는, 스마트 빈 폐기 분류 장치(100c)의 사시도들인 도 9 및 도 10가 동시에 참조된다. 스마트 빈 폐기 분류 장치(100c)는 전자 장치(100)의 예이다. 구체적으로, 전자 장치(100)의 실질적인 동작 및 기능에 대해서는 도 1 내지 도 8과 관련하여 상술한 바와 같다.

도 9 및 도 10에 도시된 바와 같이, 스마트 빈 폐기 분류 장치(100c)는 빈 하우징(116), 스마트 빈 후방 패널(118), 수집 캔(120), 빈 하우징 도어(122), 개구(124)를 갖는 빈 하우징 뚜껑, 디지털 카메라(112a), 정보 디스플레이(106a), 거리 센서(114a), 스피커(126), 광학 표시기(128), 충전 레벨 센서(114b), 전자 저울(130), 스트레인 게이지(114c)(도 11에 도시됨), 프로세서(102)(도 12에 도시됨), 전력 공급기(132)(도 12에 도시됨), 전력 분배 보드(134)(도 12에 도시됨), 장착 플레이트(136)(도 12에 도시됨) 방향에 대한 시각적 표시기(138), (도 13에 도시됨), 더 넓은 시야에 대한 디지털 카메라 어레이(112b), 및 와이드 스크린 정보 디스플레이(106b)(도 13에 도시됨)를 포함한다. 도시된 장치는 바람직하게는, 예를 들어, 공항, 스포츠 시설(예를 들어, 경기장 등), 학교 또는 복도, 휴게실, 또는 화장실 등과 같은 사무실 위치와 같이, 가정 또는 공공 사용을 위해 크기가 정해진다.

빈 하우징(116)은 모든 타입의 폐기물을 수집하기 위한 수집 캔(120)을 포함한다. 스마트 빈 후방 패널(118)은 빈 하우징(116)의 상부에 부착되고, 빈 하우징(116)의 상부를 덮는다. 빈 하우징 도어(122)에는 빈 하우징(116)이 제공되고, 빈 하우징(116)은 수집 캔(120) 내의 폐기물에 접근하여 이를 유지하기 위한 개구(124)를 갖는 빈 하우징 뚜껑을 포함한다.

디지털 카메라(112a)는 폐기물의 이미지를 캡처하고 정보 디스플레이(106a)는 폐기물의 타입을 디스플레이한다. 거리 센서(114a)는 사용자와 스마트 빈 폐기 분류 장치(100a) 사이의 거리를 측정한다. 스피커(126)는 쓰레기의 타입을 사용자에게 알려준다.

도 10에 더 상세히 도시된 바와 같이, 광학 표시기(128)는 사용자에게 폐기물의 타입을 표시하고, 충전 레벨 센서(114b)는 수집 캔(120)에 저장된 폐기물의 레벨을 측정한다. 전자 저울(130)은 수집 캔(120)의 하부에 구비된다.

도 11은 스마트 빈 창고 분류 장치(100c)에 포함된 수집 캔(120)의 부분 단면도이다. 도 11에 도시된 바와 같이, 스트레인 게이지(114c)는 수집 캔(120)에 저장된 폐기물의 무게를 측정한다. 프로세서(102)는 다양한 요소들, 예를 들어, 스마트 빈 폐기 분류 장치(100a) 내의 수집 캔(120), 빈 하우징 도어(122), 개구(124)를 갖는 빈 하우징 뚜껑, 디지털 카메라(112a), 정보 디스플레이(106a), 거리 센서(114a), 스피커(126), 광학 표시기(128), 충전 레벨 센서(114b), 전자 저울(130), 및 스트레인 게이지들(114c)과 결합된다.

도 12는 본 발명의 일 실시예에 따른, 스마트 빈 폐기 분류 장치(100c)에 포함된 스마트 빈 후방 패널(118)의 사시도이다. 도 12에 도시된 바와 같이, 전력 공급기(132)는 전력 분배 보드(134)를 통해 스마트 빈 폐기 분류 장치(100a)에 전력을 공급한다. 장착 플레이트(136)는 스마트 빈 후방 패널(118)에 제공된다.

도 13은 본 발명의 일 실시예에 따른, 시각적 표시기(138)를 포함하는 스마트 빈 폐기 분류 장치(100c)의 사시도이다. 도 13에 도시된 바와 같이, 시각적 표시기(138)는 폐기물 처리를 위해 사용자에게 방향을 표시하고 디지털 카메라 어레이(112b)는 더 넓은 시야를 위해 사용된다. 와이드 스크린 정보 디스플레이(106b)는 폐기물과 관련된 정보를 표시한다.

도 14는 본 발명의 일 실시예에 따른, 스마트 빈 폐기물 분류 장치(100c)가 폐기물 관리를 위해 스마트 폰(100d)과 통신하는 예시적인 시스템의 개략도이다.

일 실시예에서, 시스템은 스마트 빈 폐기 분류 장치(100c) 및 스마트 폰(100d)을 포함한다. 스마트 빈 폐기 분류 장치(100c)는 적어도 하나의 이미지를 실시간 또는 준 실시간 또는 기록된 포맷으로 스마트폰(100d)으로 전송한다. 스마트폰(100d)은 스마트 빈 폐기물 분류장치(100c)로부터 적어도 하나의 이미지를 수신한 후, 폐기물을 관리하기 위한 다양한 동작을 수행한다. 스마트폰(100d)의 동작 및 기능은 실질적으로 도 1, 도 2 및 도 9 내지 13과 관련하여 설명된다.

본 발명이 바람직한 실시예와 관련하여 설명되었지만, 본 발명의 사상 및 범위를 벗어나지 않고 많은 다른 가능한 수정 및 변형이 이루어질 수 있다는 것이 이해될 수 있다. 본 개시를 읽을 때, 본 발명과 동일한 목적을 달성하기 위해 당업자에 의해 변경, 수정 및 치환이 이루어질 수 있다. 예시적인 실시예들은 단지 예시적인 것이며, 본 발명의 범위를 제한하도록 의도되지 않는다. 본 발명은 상세한 설명의 범위 내에 있는 모든 다른 실시예 및 그들의 균등물을 포함하는 것으로 의도된다.

본 명세서에서 설명된 방법들 및 프로세스들은 더 적거나 추가적인 단계들 또는 상태들을 가질 수 있고, 단계들 또는 상태들은 상이한 순서로 수행될 수 있다. 모든 단계 또는 상태에 도달할 필요는 없다. 본 명세서에 설명된 방법들 및 프로세스들은 하나 이상의 범용 컴퓨터들에 의해 실행되는 소프트웨어 코드 모듈들로 구현될 수 있고, 소프트웨어 코드 모듈들을 통해 완전히 또는 부분적으로 자동화될 수 있다. 코드 모듈은 임의의 타입의 컴퓨터 판독 가능 매체 또는 다른 컴퓨터 저장 장치에 저장될 수 있다. 방법들 중 일부 또는 전부는 대안적으로 전문화된 컴퓨터 하드웨어에 전체적으로 또는 부분적으로 구현될 수 있다. 본 명세서에 설명된 시스템들은 선택적으로 디스플레이들, 사용자 입력 장치들(예를 들어, 터치스크린, 키보드, 마우스, 음성 인식 등), 망 인터페이스들 등을 포함할 수 있다.

개시된 방법들의 결과들은 휘발성 및/또는 비휘발성 메모리(예를 들어, 자기 디스크 스토리지, 광학 스토리지, EEPROM 및/또는 솔리드 스테이트 RAM)를 사용하는 관계형 데이터베이스들 및 플랫 파일 시스템들과 같은 임의의 타입의 컴퓨터 데이터 저장소에 저장될 수 있다.

본 명세서에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 루틴들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 둘의 조합들로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 예시하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 및 단계들이 일반적으로 그들의 기능의 관점에서 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지는 전체 시스템에 부과되는 특정 애플리케이션 및 설계 제약들에 의존한다. 설명된 기능은 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현될 수 있지만, 이러한 구현 결정은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 된다.

또한, 본 명세서에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들 및 모듈들은 범용 프로세서 장치, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA) 또는 다른 프로그램가능 로직 장치, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합과 같은 기계(machine)에 의해 구현되거나 수행될 수 있다. 범용 프로세서 장치는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서 장치는 제어기, 마이크로제어기, 또는 상태 기계(state machine), 이들의 조합들 등일 수 있다. 프로세서 장치는 컴퓨터 실행가능 명령어들을 처리하도록 구성된 전기 회로를 포함할 수 있다. 다른 실시예에서, 프로세서 장치는 컴퓨터 실행가능 명령어들을 처리하지 않고 로직 동작들을 수행하는 FPGA 또는 다른 프로그래밍가능 장치를 포함한다. 프로세서 장치는 또한 컴퓨팅 장치들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 본 명세서에서 주로 디지털 기술과 관련하여 설명되었지만, 프로세서 장치는 또한 주된 아날로그 구성요소들을 포함할 수 있다. 컴퓨팅 환경은, 몇 가지 예를 들자면, 마이크로프로세서, 메인프레임 컴퓨터, 디지털 신호 프로세서, 휴대용 컴퓨팅 장치, 장치 제어기, 또는 어플라이언스 내의 계산 엔진에 기초한 컴퓨터 시스템을 포함하지만 이에 제한되지 않는 임의의 타입의 컴퓨터 시스템을 포함할 수 있다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법, 프로세스, 루틴, 또는 알고리즘의 요소들은 하드웨어, 프로세서 장치에 의해 실행되는 소프트웨어 모듈, 또는 이 둘의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 임의의 다른 형태의 비일시적 컴퓨터 판독가능 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서 장치가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 프로세서 장치에 결합될 수 있다. 대안적으로, 저장 매체는 프로세서 장치에 통합될 수 있다. 프로세서 장치 및 저장 매체는 ASIC에 상주할 수 있다. ASIC은 사용자 단말에 상주할 수 있다. 대안적으로, 프로세서 장치 및 저장 매체는 사용자 단말에서 개별 구성요소들로서 상주할 수 있다.

본 명세서에서 사용되는 조건부 언어(conditional language)는, 달리 구체적으로 언급되지 않는 한, 또는 사용되는 문맥 내에서 달리 이해되지 않는 한, 다른 것들 중에서도, "할 수 있다("can", "may", "might", "may"), "예를 들어" 등과 같이, 특정 실시예들이 특정 특징들, 요소들 및/또는 단계들을 포함하지만 다른 실시예들이 포함하지 않는 것을 일반적으로 전달하도록 의도된다. 따라서, 이러한 조건부 언어는 일반적으로, 특징들, 요소들 및/또는 단계들이 하나 이상의 실시예들에 대해 임의의 방식으로 요구된다는 것 또는 하나 이상의 실시예들이 반드시 다른 입력 또는 프롬프팅(prompting)을 갖거나 갖지 않고서, 이들 특징들, 요소들 및/또는 단계들이 임의의 특정 실시예에 포함되거나 또는 수행되어야 하는지를 결정하기 위한 로직을 포함한다는 것을 암시하도록 의도되지 않는다. 용어 "포함하는(comprising)", "포함하는(including)", "갖는(having)" 등은 동의어이고 개방형 방식(open-ended fashion)으로 포괄적으로 사용되며, 추가적인 요소, 특징, 행위, 동작 등을 배제하지 않는다. 또한, 용어 "또는"은 그의 포괄적 의미로 (배타적 의미로 사용되지 않고) 사용되어, 예를 들어, 요소들의 리스트를 연결하기 위해 사용될 때, 용어 "또는"은 리스트 내의 요소들 중 하나, 일부, 또는 전부를 의미한다.

문구 "X, Y, Z 중 적어도 하나"와 같은 단절 언어는, 달리 구체적으로 언급되지 않는 한, 항목, 용어 등이 X, Y, 또는 Z, 또는 이들의 임의의 조합(예를 들어, X, Y, 및/또는 Z)일 수 있음을 제시하기 위해 일반적으로 사용되는 문맥과 함께 달리 이해된다. 따라서, 이러한 이질적 언어는 일반적으로 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나, 또는 Z 중 적어도 하나가 각각 존재할 것을 요구한다는 것을 암시하도록 의도되지 않고, 암시해서는 안 된다.

본 명세서에서 설명되는 네트워크화된 전자 장치들은 모바일 통신 장치(예를 들어, 셀 폰), 랩톱, 태블릿 컴퓨터, 대화형 텔레비전, 게임 콘솔, 미디어 스트리밍 장치, 헤드 웨어러블 디스플레이, 가상 또는 증강 현실 장치, 네트워크화된 시계 등의 형태일 수 있다. 네트워크화된 장치들은 선택적으로 디스플레이들, 사용자 입력 장치들(예를 들어, 터치스크린, 키보드, 마우스, 음성 인식 등), 망 인터페이스들 등을 포함할 수 있다.

상기 상세한 설명은 다양한 실시예들에 적용되는 바와 같은 신규한 특징들을 나타내고 설명하며 지적하였지만, 예시된 장치들 또는 알고리즘들의 형태 및 세부사항들에서의 다양한 생략들, 대체들, 및 변경들이 본 개시내용의 사상을 벗어나지 않고 이루어질 수 있다는 것이 이해될 수 있다. 인식될 수 있는 바와 같이, 본 명세서에 설명된 특정 실시예들은 일부 특징들이 다른 것들과 별개로 사용되거나 실시될 수 있기 때문에, 본 명세서에 설명된 모든 특징들 및 이점들을 제공하지 않는 형태로 구현될 수 있다.

Claims (14)

1. 폐기물 관리 방법으로서,
   인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 적어도 하나의 이미지를 획득하는 단계;
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 상기 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하는 단계;
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 상기 적어도 하나의 검출된 폐기물 객체가 기 저장된 폐기물 객체와 매치함을 결정하는 단계;
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 상기 기 저장된 폐기물 객체를 사용하여 검출된 폐기물 객체의 타입을 식별하는 단계; 및
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 상기 식별에 기초하여 상기 검출된 폐기물 객체의 상기 타입을 디스플레이하는 단계를 포함하는,
   폐기물 관리 방법.
2. 1항에 있어서,
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 상기 검출된 폐기물 객체의 상기 타입을 사용자에게 통지하는 단계를 더 포함하는, 방법.
3. 제1항에 있어서,
   상기 기 저장된 폐기물 객체는,
   다양한 카테고리의 폐기물 객체를 포함하는 폐기물 객체 데이터세트를 획득하는 단계;
   상기 획득된 폐기물 객체 데이터세트로부터 상기 폐기물 객체에 대응하는 이미지의 일부를 획득하는 단계;
   머신 러닝 모델을 사용하여 상기 폐기물 객체에 대응하는 상기 이미지의 상기 부분을 트레이닝하는 단계; 및
   상기 폐기물 객체에 대응하는 상기 이미지의 상기 트레이닝된 부분에 기초하여 상기 기 저장된 폐기물 객체를 생성하는 단계에 의해 생성되는, 방법.
4. 제1항에 있어서,
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진에 의해, 상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 검출하는 단계는:
   상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 식별하는 단계;
   상기 적어도 하나의 획득된 이미지의 전경 부분 및 상기 적어도 하나의 획득된 이미지의 배경 부분을 처리함으로써 상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 식별된 폐기물 객체를 추출하는 단계;
   상기 추출에 기초하여 적어도 하나의 특징 파라미터를 결정하는 단계;
   상기 결정된 특징 파라미터에 기초하여 상기 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀을 분석하는 단계; 및
   상기 분석된 픽셀에 기초하여 상기 획득된 상기 적어도 하나의 이미지로부터 상기 적어도 하나의 폐기물 객체를 검출하는 단계를 포함하는, 방법.
5. 제1항에 있어서,
   상기 인공 지능 기반의 폐기물 객체 카테고리화 엔진이 상기 기 저장된 폐기물 객체를 이용하여 상기 검출된 폐기물 객체의 타입을 식별하는 단계는:
   상기 검출된 폐기물 객체의 다수 타입이 검출되는지 여부를 결정하는 단계; 및
   상기 폐기물 객체의 다수 타입이 검출되지 않는다고 결정하는 것에 응답하여, 적어도 하나의 특징 파라미터를 사용하여 상기 검출된 폐기물 객체의 상기 타입을 식별하는 단계; 및
   상기 폐기물 객체의 다수 타입이 검출된다고 결정하는 것에 응답하여, 상기 적어도 하나의 식별된 폐기물 객체에 기초하여 적어도 하나의 특징 파라미터를 결정하고, 상기 결정된 특징 파라미터에 기초하여 상기 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀을 분석하고, 상기 분석된 픽셀에 기초하여 상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 검출하는 단계 중 하나를 수행하는 단계를 포함하는, 방법.
6. 제4항에 있어서, 상기 특징 파라미터는 상기 폐기물 객체물의 형상, 상기 폐기물 객체물의 색상, 상기 폐기물 객체물의 강도를 포함하는, 방법.
7. 제5항에 있어서,
   상기 특징 파라미터는 상기 폐기물 객체물의 형상, 상기 폐기물 객체물의 색상, 상기 폐기물 객체물의 강도를 포함하는, 방법.
8. 폐기물 관리를 위한 전자장치로서,
   메모리;
   상기 메모리에 결합된 프로세서; 및
   상기 프로세서에 결합된 인공 지능 기반 폐기물 객체 카테고리화 엔진을 포함하고, 상기 인공 지능 기반 폐기물 객체 카테고리화 엔진은,
   적어도 하나의 이미지를 획득하고;
   상기 적어도 하나의 획득된 이미지로부터 적어도 하나의 폐기물 객체를 검출하고;
   상기 적어도 하나의 검출된 폐기물 객체가 기 저장된 폐기물 객체와 매치한다고 결정하고;
   상기 기 저장된 폐기물 객체를 이용하여 상기 검출된 폐기물 객체의 타입을 식별하고, 및
   상기 식별에 기초하여 상기 검색된 폐기물 객체의 상기 타입을 표시하도록 구성된,
   전자 장치.
9. 제8항에 있어서,
   상기 인공 지능 기반 폐기물 객체 카테고리화 엔진은 상기 검출된 폐기물 객체의 상기 타입을 사용자에게 통지하도록 구성된, 전자 장치.
10. 제8항에 있어서,
    상기 기 저장된 폐기물 객체는,
    다양한 카테고리를 갖는 폐기물 객체를 포함하는 폐기물 객체 데이터세트를 획득하고;
    상기 획득된 폐기물 객체 데이터세트로부터 상기 폐기물 객체에 대응하는 이미지의 일부를 획득하고;
    머신 러닝 모델을 사용하여 상기 폐기물 객체에 대응하는 상기 이미지의 상기 부분을 트레이닝하고; 및
    상기 폐기물 객체에 대응하는 상기 이미지의 상기 트레이닝된 부분에 기초하여 상기 기 저장된 폐기물 객체를 생성하는 것에 의해 생성되는, 전자 장치.
11. 제8항에 있어서,
    상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 검출하는 것은,
    상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 식별하는 것;
    상기 적어도 하나의 획득된 이미지의 전경 부분 및 상기 적어도 하나의 획득된 이미지의 배경 부분을 처리함으로써 상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 식별된 폐기물 객체를 추출하는 것;
    상기 추출에 기초하여 적어도 하나의 특징 파라미터를 결정하는 것;
    상기 결정된 특징 파라미터에 기초하여 상기 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀을 분석하는 것; 및
    상기 분석된 픽셀에 기초하여 상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 검출하는 것을 포함하는, 전자 장치.
12. 제8항에 있어서, 상기 기 저장된 폐기물 객체를 이용하여 상기 검출된 폐기물 객체의 타입을 식별하는 것은,
    상기 검출된 폐기물 객체의 다수 타입이 검출되는지 여부를 결정하는 것; 및
    상기 폐기물 객체의 다수 타입이 검출되지 않는다고 결정하는 것에 응답하여, 적어도 하나의 특징 파라미터를 사용하여 상기 검출된 폐기물 객체의 상기 타입을 식별하는 것; 및
    상기 폐기물 객체의 다수의 타입이 검출된다고 결정하는 것에 응답하여, 상기 적어도 하나의 식별된 폐기물 객체에 기초하여 적어도 하나의 특징 파라미터를 결정하고, 상기 결정된 특징 파라미터에 기초하여 상기 적어도 하나의 식별된 폐기물 객체에 대응하는 픽셀을 분석하고, 상기 분석된 픽셀에 기초하여 상기 적어도 하나의 획득된 이미지로부터 상기 적어도 하나의 폐기물 객체를 검출하는 것 중 하나를 수행하는 것을 포함하는, 전자 장치.
13. 제11항에 있어서, 상기 특징 파라미터는 상기 폐기물 객체의 형상, 상기 폐기물 객체의 색상, 상기 폐기물 객체의 강도를 포함하는, 전자 장치.
14. 제12항에 있어서, 상기 특징 파라미터는 상기 폐기물 객체의 형상, 상기 폐기물 객체의 색상, 상기 폐기물 객체의 강도를 포함하는, 전자 장치.

Images