KR102111110B1

KR102111110B1 - 인공지능을 이용한 사물 감지에 기반하여 기능을 설정하는 세탁기, 클라우드 서버 및 이를 설정하는 방법

Info

Publication number: KR102111110B1
Application number: KR1020180030456A
Authority: KR
Inventors: 황성목; 김상윤; 박윤식
Original assignee: 엘지전자 주식회사
Priority date: 2018-03-15
Filing date: 2018-03-15
Publication date: 2020-05-14
Also published as: US20190284743A1; KR20190108855A; CN110273259A; US11299838B2; CN110273259B; EP3540111B1; EP3540111A1

Abstract

본 발명은 인공지능을 이용한 사물 감지에 기반하여 기능을 설정하는 세탁기, 클라우드 서버 및 이를 설정하는 방법에 관한 기술로, 본 발명의 일 실시예에 의한 사물 감지에 기반하여 기능을 설정하는 세탁기는 세탁물의 높이와 이미지, 무게, 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보에 기반하여 세탁물에 적합한 세탁 코스 설정 정보를 산출하거나 또는 클라우드 서버로부터 수신하여 동작한다.

Description

인공지능을 이용한 사물 감지에 기반하여 기능을 설정하는 세탁기, 클라우드 서버 및 이를 설정하는 방법{WASHING MACHINE CONFIGURING FUNCTION BASED ON OBJECT SENSING USING ARTIFICIAL INTELLIGENCE, CLOUD SERVER AND METHOD OF CONFIGURING THEREOF}

본 발명은 사물 감지에 기반하여 기능을 설정하는 세탁기, 클라우드 서버 및 이를 제어하는 방법에 관한 기술이다.

세탁기는 일반적으로 전동기를 주동력원으로 하며, 세제의 유화작용과 수류의 마찰작용, 충격작용 등을 이용하여 의류에 묻어 있는 오염물질을 제거하는 장치이며, 세탁, 헹굼 및 탈수 행정이 진행된다.

세탁기는 세탁대상물이 투입되는 위치에 따라서 탑 로딩(top loading) 방식과 프런트 로딩(front loading) 방식으로 분류될 수 있다. 탑 로딩 방식의 세탁기는 세탁기의 위쪽에서 세탁물을 넣고 빼는 방식의 세탁기이다. 탑 로딩 세탁기는 회전축이 수직으로 배열되는 모터에 의해 회전한다. 한편, 프론트 로딩 방식의 세탁기는 세탁기의 앞쪽에서 세탁물을 넣고 빼는 방식의 세탁기이다.

전술한 다양한 세탁기의 로딩 방식은 세탁물과 세제, 물을 이용하여 회전력을 이용하여 세탁과 헹굼, 탈수 기능을 수행할 수 있다.

한편, 세탁물의 종류나 특성에 따라 정확하게 설정할 경우, 세탁기의 성능을 최대한 이용할 수 있다.

도 1은 미국 공개 특허출원 2010-0205823에서 세탁물의 보풀을 확인하는 기술적 단계를 재구성한 도면이다. 세탁기의 드럼이 회전하면(S1), 이미지 수를 0으로 설정하고(S2), 이미지 캡쳐에 소요되는 시간 정보를 0으로 설정한다(S3). 이후 이미지를 캡쳐한다(S4). 캡쳐한 이미지에 대해 분석(S5)하고, 획득한 이미지의 수가 타겟으로 하는 개수에 해당하는지 확인하여(S6), 도달하지 않은 경우 이미지 수를 1 증가시킨다. 또한 경과된 시간이 영상 비율로 나눠진 하나보다 더 큰지를 확인하여(S8) S4 단계로 진행한다. S4 내지 S6 단계를 반복하는 과정에서 이미지의 수가 타겟 수에 해당하는 경우, S9와 같이 플러핑 상태인지를 확인한다(S9). 이는 세탁물의 보풀이 일정한 수준 이상인지를 확인하여 이에 적합하게 동작 파라미터를 결정한다(S10).

도 1은 세탁물 내부를 촬영하여 세탁물의 보풀 상태를 판단하는데, 이를 구현하기 위해서는 보풀을 확인할 수 있을 만큼 고해상도의 카메라를 필요로 한다는 문제점이 있다. 또한, 보풀에 대응하는 세탁의 기능은 매우 한정된 것이므로 세탁물의 특성을 온전히 확인하기 어려운 한계가 있다.

따라서, 사용자가 세탁물을 세탁기에 투입하면 세탁기가 세탁물의 특성을 판단하여 이에 대응하는 세탁 제어를 자동으로 설정하는 것이 필요하다.

이에, 본 명세서에서는 세탁기가 세탁물의 특성을 산출하고 이에 기반하여 동작하는 세탁기 및 이의 제어 방법에 대해 살펴본다.

본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 세탁물의 특성을 파악하여 세탁기의 동작을 제어함으로써 세탁기의 기능 설정 과정에서 세탁물과 대응하지 않는 경우 이를 보완하는 장치와 방법을 제공하고자 한다.

본 명세서에서는 세탁물이 세탁기의 동작에 부하를 가하는 특수한 경우를 확인하기 위해 세탁물에 대한 물리적 정보 또는 이미지 정보를 취득하여 이를 기반으로 학습한 모듈에 입력하여 세탁 코스를 산출하는 장치와 방법을 제공하고자 한다.

본 명세서에서는 세탁물의 특성을 산출하기 위해 특징을 추출함에 있어 다양한 필터를 적용하여 코스 설정에 필요한 정보들이 추출되는 장치와 방법을 제공하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 사물 감지에 기반하여 기능을 설정하는 세탁기는 세탁물의 높이와 이미지, 무게, 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보에 기반하여 세탁물에 적합한 세탁 코스 설정 정보를 산출하거나 또는 클라우드 서버로부터 수신하여 동작한다.

본 발명의 일 실시예에 의한 사물 감지에 기반하여 기능을 설정하는 세탁기는 특수 부하물에 대응하는 코스 설정 정보를 산출하는 학습부를 포함하며, 학습부는 세탁물의 부피, 이미지 정보와 세탁기에서 계측된 정보 중 특징을 추출하여 학습한 결과 대응하는 코스 설정 정보를 산출한다.

본 발명의 일 실시예에 의한 사물 감지에 기반하여 기능을 설정하는 세탁기는 세탁물에 대한 특징 정보들에 기반한 학습 결과로 물 비산 또는 세탁물의 편중된 상태를 예측하거나 확인하여 세탁기의 기능을 제어한다.

본 발명의 일 실시예에 의한 사물 감지에 기반하여 기능을 설정하는 클라우드 서버는 다수의 세탁기들로부터 세탁물의 높이와 이미지, 무게, 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보를 수신하여 학습부에 이를 적용하여 세탁물에 적합한 세탁 코스 설정 정보를 산출하고 이를 각각의 세탁기에게 제공한다.

본 발명의 일 실시예에 의한 사물 감지에 기반하여 기능을 설정하는 방법은 세탁물의 특징이 되는 정보를 세탁기가 계측하여 클라우드 서버로 전송하는 단계와, 클라우드 서버가 전송된 정보를 학습부에 입력하여 코스 설정 정보를 산출하는 단계와 클라우드 서버가 산출된 정보를 다시 세탁기로 전송하여 세탁기가 기능을 제어하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 세탁물의 부피나 무게, 혹은 이미지를 센싱하여 센싱된 정보에 대응하는 세탁기의 특수한 코스를 지시하는 동작을 제어함으로써 세탁기의 오류 발생 가능성을 낮추고 세탁기에서 사용자가 확인하지 못한 기능을 제공하여 세탁 기능 및 기기의 안전을 향상시킬 수 있다.

본 발명의 실시예들을 적용할 경우, 세탁물에 대한 물리적 정보 또는 이미지 정보를 취득하여 세탁물이 세탁기의 동작에 부하를 가하는 특수한 경우를 확인하여 확인된 특수 경우에 대응하여 세탁 코스를 선택하도록 하며, 이러한 선택 과정이 일련의 학습된 모듈에서 이루어지도록 하여 세탁물에 대응하여 정확한 세탁 기능을 제공할 수 있다.

본 발명의 일 실시예들을 적용할 경우, 세탁물의 특성을 산출하기 위해 특징을 추출함에 있어 다양한 필터를 적용하여 코스 설정에 필수적인 정보들이 학습 모듈에 입력되도록 하여 세탁 기능 선택의 정확도를 높일 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 미국 공개 특허출원 2010-0205823에서 세탁물의 보풀을 확인하는 기술적 단계를 재구성한 도면이다.
도 2는 본 발명의 일 실시예에 의한 세탁기의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 세탁기의 동작 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 부하 및 사용자의 세탁 코스 설정에 기반한 자동 셋팅 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 탑 로딩 세탁기에 센서가 배치된 구성을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 세부적인 동작 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 클라우드 서버가 학습을 수행하는 구성을 보여주는 도면이다.
도 8 및 도 9는 이미지에 소정의 필터를 적용하는 실시예를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 의한 패딩의 이미지에 기반하여 컨볼루션 필터에 기반하여 이미지의 특징(피쳐)를 산출하는 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 클라우드 서버와 세탁기 간에 정보를 교환하는 과정을 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 의한 학습부의 구성을 보여주는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

본 명세서에서는 세탁물 영상과 사용자 설정 코스와의 학습에 기반하여 세탁 코스를 자동 설정하는 방법 및 이를 구현하는 장치에 대해 살펴본다. 또한, 이 과정에서 특정한 종류나 특성을 가지는 세탁물로 인해 주요 세탁 과정에서 발생될 수 있는 문제점을 사용자의 개입 없이 자동으로 해결하기 위해 세탁기 내에 배치된 카메라를 이용하여 세탁물의 특성을 인식하고, 세탁 제어를 자동으로 설정하는 실시예들에 대해 살펴본다. 이 과정에서 세탁물의 특성을 파악하기 위해 세탁물의 위치와 높이, 또는 무게 등의 정보도 함께 이용할 수 있다.

본 명세서에서는 주로 탑 로딩 방식의 세탁기를 중심으로 설명한다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 프론트 로딩인 경우에도 탑 로딩 세탁기에 대응하는 위치 및 구성에 따라 적용될 수 있다.

도 2는 본 발명의 일 실시예에 의한 세탁기의 구성을 보여주는 도면이다.

세탁기(100)는 세탁조와 모터 등 세탁에 직접 필요한 기능을 제어하는 세탁 기능부(190)와, 세탁 기능부(190)의 동작을 위해 기능을 설정하거나 정보를 생성 및 저장하는 등의 기능을 제공하는 제어모듈(101)로 구성된다. 세탁 기능부(190)는 세탁물을 수납하여 세탁하는 물리적, 전기적 기능을 제공한다. 제어모듈(101)은 설명의 편의를 위한 논리적인 구성요소들의 단위이며, 실제 세탁기(100) 내에 다양한 구성요소들이 일체로 혹은 구분되어 제시될 수 있다.

제어모듈(101) 내의 구성요소들은 세탁기에 투입되는 세탁물의 특성을 추출하여 이에 대응하는 세탁 기능을 설정하여 세탁기능부(190)의 동작을 제어한다.

거리 센서(110)는 세탁 기능부(190)의 상부 또는 측면에 배치될 수 있는데, 상부란 세탁 기능부(190)를 구성하는 세탁조 커버(도 5의 191) 또는 세탁 기능부(190)의 상부 모서리 부분 등 세탁물 보다 높은 위치를 지시한다. 측면은 프론트 로딩의 경우 세탁조의 측면 중 가장 윗부분에 위치하여 사실상 세탁물의 높이를 센싱하는 영역을 의미한다. 거리 센서(110)는 거리 정보(뎁스 정보)를 산출한다. 일 실시예로 탑 로딩 세탁기의 상단부에 배치되어 세탁조에 쌓인 세탁물의 높이를 측정할 수 있다. RF 신호, 적외선 신호를 이용할 수 있다. TOF(Time of Flight Sensor) 센서 또는 뎁스 센서(Depth Sensor)를 일 실시예로 한다.

이미지 센서(120)는 색상 정보(또는 그레이 톤으 명암 정보)를 산출하며 거리 센서(110)에서 살펴본 바와 같이 세탁 기능부(190)의 상부 또는 측면에 배치될 수 있다. 탑 로딩 세탁기의 상단부에 배치되어 세탁조에 쌓인 세탁물의 색상을 센싱할 수 있다. RGB 카메라를 일 실시예로 한다. 전술한 뎁스 센서와 결합하여 RGBD(RGB + Depth) 정보를 산출할 수도 있다.

계측부(170)는 세탁물의 무게, 또는 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보를 계측한다. 제어부(150)는 거리 센서(110)가 산출한 거리 정보, 이미지 센서(120)가 산출한 이미지 정보, 계측부(170)가 산출한 계측 정보에 대응하여 세탁기 내에 배치된 학습부(130) 또는 세탁기 외부에 배치된 클라우드 서버(200)가 산출한 코스 설정 정보에 기반하여 세탁 기능부(190)를 제어한다.

세탁기의 학습부(130) 또는 클라우드 서버(200)의 학습부(230)는 학습과 세탁물의 특징을 추출하는 과정, 또는 이에 대응하는 코스 설정 정보의 산출이 세탁기(100) 또는 클라우드 서버(200) 양측 어디에서도 구현이 가능할 수 있도록 한다.

도 3은 본 발명의 일 실시예에 의한 세탁기의 동작 과정을 보여주는 도면이다.

센서(110, 120)를 이용하여 이미지와 거리 정보를 산출한다(S11). 또한 계측부(170)를 이용하여 세탁기가 계측한 정보(시간, RPM, 편심상태, 진동계, 무게, 모터 전압, 전류 등)를 산출한다(S12).

S11 및 S12에서 산출된 정보는 입력 정보로 하며, 이에 대응하는 코스 설정 정보를 출력 정보로 하여 이들 정보에 기반하여 학습을 수행한다(S13). 학습은 세탁기(100)와 통신부(140)를 통해 연결된 서버에서 학습이 이루어질 수도 있다. S11 내지 S13은 학습 과정을 의미한다. 세탁기 내의 학습부(130) 혹은 외부의 클라우드 서버(200)가 이전에 수행한 세탁 과정에서 산출된 거리 정보와 이미지 정보와 계측 정보를 입력 인자로 하며, 상기 세탁 과정에서 설정된 코스 설정 정보를 출력 인자로 하여 다수의 학습을 수행할 수 있다.

본 발명의 다른 실시예에 의하면 제어부(150) 내의 학습부(130)를 통해서도 이루어질 수 있다. 즉, 외부의 클라우드 서버에서 다양한 세탁기들로부터 제공된 피쳐 및 출력 정보에 기반하여 학습을 수행하여 학습이 완료된 경우 판단에 필요한 정보를 세탁기(100)에게 제공하는 것을 일 실시예로 한다. 또한, 학습부(130)가 자체적으로 해당 세탁기(100)에서 제공된 피쳐 및 출력 정보에 기반하여 학습을 수행하는 것을 다른 실시예로 한다.

학습이 완료되면 이후 센서들이 센싱한 이미지 및 거리 정보에 기반하여 제어부(150) 또는 서버가 특수 부하를 판단하여 이에 대응하여 코스를 자동으로 설정하도록 제어할 수 있다(S14). S14는 학습을 완료한 후, 학습부(130) 또는 클라우드 서버(200)가 입력된 정보에 적합한 코스 설정 정보를 산출하는 과정을 의미한다. 즉, 학습부(130) 또는 클라우드 서버(200)는 제어부(150)에 의해 거리 정보와 이미지 정보와 계측 정보를 입력받은 후, 세탁물이 특수 부하 세탁물인 경우 이에 대응하는 코스 설정 정보를 산출한다.

특수 부하란, 세탁기 기본 성능을 향상시키기 위해서는 문제 상황(물 비산/UB 단락/포 꼬임)를 발생시키는 부하(세탁물)가 존재하는데, 이것을 특수부하라고 지칭한다. 물 비산, UB단락, 포 꼬임 등을 발생시키는 부하로는 패딩, 이불, 담요, 베개, 스포츠 의류, 드레스 셔츠 등이 있다. 이에 도 3의 프로세스를 적용할 경우, 세탁기(100)는 패딩/이불/담요/베개와 같이 특수 부하에 해당하는 세탁물의 부피, 모양과 해당 부하들을 인식할 수 있다.

보다 상세하게, 세탁기 현 상태 정보(계측된 정보)와 센서들(TOF/RGBD 카메라 센서)로부터 받은 영상/뎁스 정보를 통해 세탁물이 특수 부하인지를 확인하고, 물 비산, UB단락, 포 꼬임 예측을 통해 해당 문제를 해결하기 위한 코스 설정 혹은 세탁 기능의 설정을 자동으로 제공할 수 있다.

도 3을 정리하면 다음과 같다. 센서들(TOF/RGBD)이 산출한 이미지, 거리 정보 및 계측부(170)가 계측한 세탁기 계측 정보(무게, 모터 전압, 전류 등)를 입력 인자로 사용하여 이에 따른 사용자 코스 설정 정보를 출력 정보로 학습하여 이후 입력되는 유사한 부하 특성(TOF/RGBD)에 대해 코스가 자동 셋팅되도록 제어한다.

S11 내지 S13 만을 반복하여 학습하여 딥러닝과 같이 히든 레이어의 노드들과 에지의 가중치와 바이어스 등이 결정되면, S14와 같이 세탁 과정을 시작하면서 이에 적합한 코스 설정 정보를 산출할 수 있다.

S11 및 S12에서 거리 센서 및 이미지 센서(TOF/RGBD 센서)(110, 120)의 이미지 및 거리 정보 학습을 통해 부하를 인식할 수 있는데, 획득(raw) 이미지에 컨볼루션(convolution) 필터를 적용하여 생성된 이미지 정보를 학습을 위한 입력 피쳐(feature)로 활용할 수 있다.

S13에서 세탁조(tube) 내에 세탁물 거리 정보를 이용하여 세탁물 부피를 추정하고 이미지 정보와 연계하여 부하 특성을 판단할 수 있다. 부하 특성에 따라 세탁기에 주요한 영향을 주는 부하는 특수 부하로 인식하는데, 이렇게 인식할 수 있는 대상으로 이불, 패딩, 인형 등이 될 수 있다. 그리고 S14에서 특수 부하에 따라 세탁 모드 및 관련 제어 파라미터를 설정하여 코스를 설정한다.

설정 가능한 코스의 예시로는 i) 세탁 모드 자동 설정(급수량, 세탁 코스), ii) 물 비산(펌프 세기 조절을 통한 물살 세기 자동 설정) 제어, iii) UB 단락(모터 RPM 조절, 탈수 시 진동 임계치 설정 등) 제어 등이 된다.

물 비산 제어란 이불이나 패딩과 같은 세탁물의 경우 무게에 비해 부피가 커서 물이 투입되는 과정에서 수압을 조절하여 물이 튀기지 않도록 하는 것을 일 실시예로 한다. 세탁물이 많거나 혹은 물에 뜨는 특성의 섬유 재질로 인한 세탁물은 세탁조 내의 윗부분까지 차오른 상태를 발생시킬 수 있는데, 이 경우 물을 투입하는 과정에서 물이 세탁조 바깥으로 튈 경우 누수나 제품 장애가 발생할 수 있으므로, 물 비산을 제어하는 것이 필요하다.

UB(편심) 단락 제어란, 세탁조 내에 세탁물이 한쪽으로 치우친 상태가 세탁 과정에서 지속되어 일정 속도로 회전 중인 상기 모터의 3 단자를 단락 후 제가동하는 상황을 제어하는 것을 의미한다. 즉, 세탁물이 한쪽으로 쏠리는 현상을 바로잡도록 제어하는 것을 의미한다. 세탁조 내에 세탁물의 위치가 한쪽에 치우친 상태로 탈수가 될 경우 편향된 무게 중심으로 진동이 발생하며 진동 수준이 제한 기준에 도달할 경우 모터가 정지되는 상태를 UB 단락이라 한다. UB 단락 상태에서는 ㅁ터를 정지하고 세탁물이 세탁조 내에 고르게 분포하도록 세탁물을 분산하는 기능을 수행한다.

이외에도 포 꼬임 제어와 같이 세탁물의 엉킴을 해결하기 위해 세탁조의 회전 방향을 제어하는 코스 역시 이에 해당한다.

도 3과 같이 세탁조 내에 배치된 세탁물의 이미지와 거리 정보에 기반하여 세탁물이 가지는 특수한 부하 상태를 확인하고, 이에 대응하여 세탁기(100)가 특수 부하에 필요한 코스를 자동으로 설정할 수 있다. 이는 코스 설정을 함에 있어서 사용자의 편의성을 높이며, 또한 세탁물의 특수 부하로 인해 발생 가능한 소음이나 진동, 물 비산 등을 사전에 차단하여 소비자의 불편을 감소시킨다. 또한 세탁 시간을 단축시키고 종료 시간의 예측 정확도를 향상시킬 수 있다.

특히, 전술한 바와 같이 특수한 부하의 세탁물에 대해 적합한 세탁 코스를 자동으로 설정하지 않을 경우 세탁물 또는 세탁기가 훼손될 수도 있다. 예를 들어, 세탁물의 특징을 고려하지 않을 경우, 일반적으로 세탁물의 종류에 상관없이 사용자가 이전에 설정하였던 코스 이력 정보를 누적하여 빈도가 높은 메뉴에 대한 설정 조합을 통하여 코스가 셋팅될 수 있다.

이는 세탁 빈도가 작은 특수한 세탁물이나 기능성 의류의 경우에는 빈도에 기반한 코스 설정이 적합하지 않은 세탁 기능이 될 수 있다. 도 3의 실시예를 적용할 경우, 세탁물의 이미지 정보와 사용자 코스 설정 정보를 학습한 후, 유사한 세탁물인 것으로 판단 시 학습된 코스 정보를 셋팅하여 세탁기가 제공할 수 있는 다양한 코스에 대해 자동으로 설정하여 세탁 성능을 높일 수 있다.

도 4는 본 발명의 일 실시예에 의한 부하 및 사용자의 세탁 코스 설정에 기반한 자동 셋팅 과정을 보여주는 도면이다. 도 4는 세탁물의 이미지, 부피, 무게 등의 정보와 사용자가 설정한 세탁 코스와의 학습을 통해 학습부(130) 또는 외부의 서버에서 학습을 수행하여, 세탁물의 부하에 대응하여 맞춤 자동 세탁 코스 설정하는 과정을 보여주는 도면이다.

앞서 도 3에서 살펴본 단계와 각 구성요소들 간의 상호 작용에 중점을 두어 살펴본다. 먼저, 세탁기능부(190)의 세탁조 내에 특수 부하를 가지는 세탁물이 21, 22, 또는 23과 같이 배치될 수 있다. 21은 이불을, 22는 인형을, 23은 니트류가 세탁조 내에 배치된 것을 도시한다.

거리 센서(110)와 이미지 센서(120)는 21, 22, 23과 같이 세탁조 내에 배치된 세탁물을 센싱하여 이미지, 거리 등의 정보를 획득한다(S31). 획득한 정보는 하나의 피쳐가 되며, 일 실시예로 이미지, 부피로 매칭될 수 있다. 부피의 경우 거리 정보를 이용할 수 있다.

그리고 계측부(170)는 무게를 센싱하여 피쳐를 생성한다. 3 개의 피쳐 정보(무게, 부피, 이미지)는 세탁기(100) 내의 학습부(130) 또는 학습을 위해 세탁기(100)와 통신을 수행하는 클라우드 서버에 입력 인자로 제공된다. 학습부(130) 또는 클라우드 서버는 동일한 메커니즘으로 동작하는 학습 모듈이며 도 4에서는 학습 모듈을 25로 지시한다. 즉, 학습 모듈(25)은 학습부(130) 또는 클라우드 서버 모두를 포괄하는 개념이다. 입력 인자와 출력 인자를 가지며 이 사이에서 노드와 링크의 가중치와 바이어스 등을 설정할 수 있다.

한편, 21, 22, 또는 23의 상황에서 사용자가 선택한 코스 정보(예를 들어 코스 1, 코스 2, 코스 3 등)가 출력 인자로 제공될 수 있다.

학습 모듈(25), 즉 학습부(130) 또는 클라우드 서버는 입력된 인자(무게, 부피, 이미지)와 사용자가 설정한 코스 정보(코스 1, 코스 2, 코스 3)에 기반하여 학습을 수행하고, 입력 인자와 출력 인자 간의 대응 관계를 설정하는 각 노드와 각 링크(에지)의 가중치(weight)와 바이어스(bias)를 산출한다. 여기서 코스 1, 코스 2, 코스 3의 일 실시예로는 이불 빨래 코스, 인형 빨래 코스, 패딩 빨래 코스 등과 같이 특수 부하에 대응하는 별도의 코스 설정 정보가 될 수 있다. 또는 각각의 특수 부하에 대응하는 세부적인 코스 정보(물의 양, 회전 속도, 헹굼 세기, 포 꼬임 해결 등)가 포함될 수 있다.

학습 모듈(25)이 학습을 완료하면 세탁기(100)는 학습 정보를 반영하여(S33), 세탁조 내에 세탁물이 배치된 상황에 따라 코스를 자동으로 설정할 수 있다(S34).

도 4를 정리하면 다음과 같다. 센서(110, 120)가 산출한 피쳐 정보와 계측부(170)가 산출한 피쳐 정보를 학습 모듈(25)에 제공하고, 사용자가 설정한 코스 정보를 출력 정보로 하여 학습 모듈(25)이 학습을 진행한다.

학습이 완료되면, 이후 세탁조 내에 세탁물이 투입되면 이에 대한 피쳐 정보를 센서(110, 120)와 계측부(170)가 산출하고 이를 학습 모듈(25)에 입력하면 대응하는 코스가 자동으로 도출되어, 제어부(150)는 도출된 코스로 세탁기능부(190)의 동작을 제어할 수 있따.

한편, 서버에서 학습이 이루어지는 경우, 학습 과정에서 세탁물이 가지는 부하에 따른 맞춤 코스 매뉴얼을 서버에 제공할 수 있다. 또한, 제어부(150)는 세탁기가 해당 코스로 동작하는 과정에서 시간이 지연되는 상황에 대해 모니터링하여 이를 학습 과정에 포함시킬 수 있다. 예를 들어, 사용자가 잘못 코스를 설정하여 지속적으로 세탁기를 사용하는 경우, 이로 인해 발생하는 시간적인 지연이나 세탁기의 동작 시 발생하는 UB 단락, 포 꼬임, 물 비산 등을 확인하여 잘못된 코스 설정이 발생한 경우에 사용자의 코스 설정이 가지는 오류 부분도 학습에 반영될 수 있도록 한다.

도 4에서 S34가 코스를 자동으로 설정하는 실시예 외에 예외 처리 상황의 정보를 출력할 수도 있다. 예를 들어, 추출된 피쳐를 학습 모듈(25)에 입력한 결과, 물 비산이 예측되거나, 포꼬임, UB 단락이 예측되는 것으로 산출할 수 있다.

도 5는 본 발명의 일 실시예에 의한 탑 로딩 세탁기에 센서가 배치된 구성을 보여주는 도면이다. 일 실시에로 세탁조 커버(191)에 이미지 센서(120)가 배치되어 세탁조 내의 세탁물의 이미지를 촬영할 수 있다. 그리고 세탁조의 측면에 거리 센서(110)가 배치되어 세탁조 내의 세탁물의 높이를 센싱할 수 있다.

물론, 세탁조 커버(191)에 거리 센서(110) 및 이미지 센서(120)가 모두 배치될 수도 있으며, 세탁조 측면에 거리 센서(110) 및 이미지 센서(120)가 모두 배치될 수도 있다.

도 5와 반대의 구성으로, 세탁조 커버(191)에 거리 센서(110)가 배치되어 세탁조 내의 세탁물의 높이를 센싱하고, 세탁조의 측면에 이미지 센서(120)가 배치되어 세탁조 내의 세탁물의 이미지를 촬영할 수 있다.

도 6은 본 발명의 일 실시예에 의한 세부적인 동작 과정을 보여주는 도면이다.

고정된 높이에 배치된 거리 센서(110)와 이미지 센서(120)가 뎁스 데이터(거리 정보)와 이미지를 획득한다. 그리고, 거리 정보를 포함하는 뎁스 이미지, 이미지 센서(120)가 생성한 RGB 혹은 그레이 이미지 정보를 통해 특수 부하와 일반 부하인지를 판단한다. 특수 부하란 특수한 세탁 기능을 필요로 하는 특수한 종류의 세탁물을 의미한다. 일반 부하란 특수한 세탁 기능이 필요하지 않은 세탁물을 의미한다.

부하 판단의 세부적인 판단 역시 학습모듈(25)이 수행할 수 있다. 예를 들어, 입력 인자 혹은 입력 매트릭스로 뎁스 이미지(1-channel)+ GrayImage(1 channel) 또는 RGB 이미지(3 channel)를 입력하고, 이전에 학습 모듈(25)의 학습에 의한 가중치 매트릭스(Weight matrix), 바이어스 벡터(bias vector), 필터 매트릭스(Filter matrix) 등을 통해서 최종적으로 이불/인형/패딩/일반 부하인지를 학습 모듈(25)이 판단한다(S41).

학습 모듈(25)의 판단(S41)은 일반 세탁물과 달리, 무게 대비 부피가 크거나 밀도가 작은 이불, 인형, 패딩과 같은 특수한 세탁물(부하)을 판단하기 위함이다. 그리고 특수한 세탁물을 판단하여 이에 적합한 세탁 코스 정보를 산출하여 급수, 탈수 등과 같이 주요한 세탁 과정(세탁 행정)에 영향을 주어 세탁 시간 지연이나 물 비산, 진동, 혹은 소음 증가와 같은 문제가 발생하지 않도록 사전에 방지할 수 있다.

즉, 학습 모듈(25)은 세탁물의 이미지 정보, 거리 정보, 부피 정보 등을 측정하여 부하 특성을 학습하여 해당 세탁물을 세탁함에 있어서 세탁기에 악영향을 미치는지를 판단하여 해당 세탁물에 적합한 세탁 모드 및 제어를 위한 코스 설정 정보를 산출할 수 있다.

그리고, 부하 인식을 통해 특수 부하인 경우(S42) S43 내지 S52와 같이 해당 부하에 적합한 코스를 설정하고, 특수 부하가 아닌 경우 표준 세탁으로 설정한다(S55)

보다 상세히 살펴본다. S41에서 피쳐 정보에 기반하여 부하를 판단하여 특수부하인지 아니면 표준 세탁으로 가능한지를 확인한다(S42). 부하 인식을 통해서 표준 세탁(S55) 또는 이불 세탁/인형 세탁/패딩 세탁(S43)을 설정하고, 부하에 적합한 급수량과 RPM, 탈수 시간 등의 셋팅을 자동으로 설정한다(S43, S55).

그리고, 피쳐 정보(예를 들어 거리 정보인 뎁스 이미지, RGB 혹은 RGB에서 변환된 그레이 이미지, 세탁행정 정보 또는 계측 정보)등을 매트릭스(입력 매트릭스) 형태의 정보 구조로 변환하여 이를 학습 모듈(25)에 제공한다.

입력 매트릭스로는 거리 정보에 해당하는 뎁스 이미지(1-channel), 그리고 세탁물을 구별하는 이미지로 GrayImage(1 channel) 또는 Rgb 이미지(3 channel)가 될 수 있다. 또한, 세탁기 내부의 데이터(계측 또는 행정 정보 등 1 channel)이 될 수 있다. 그리고 입력 매트릭스는 학습 모듈(25)에 제공되고(S44), 학습 모듈(25) 내의 링크들과 노드 들에 설정되는 가중치 매트릭스(Weight matrix)와 바이어스 벡터(bias vector), 필터 매트릭스(Filter matrix) 등을 통해서 최종적으로 물 비산/UB예측/정상동작 상황인지 대응 상황 정보를 도출한다(S45).

대응 상황 정보의 도출이란 현재 세탁물에 적합한 코스 설정이 될 수도 있고, 발생 가능한 예외 상황에 대한 정보가 될 수 있다. 전자(코스 설정)의 경우 물 비산, UB 단락, 또는 정상 동작에 각각 대응하여 설정되는 코스를 일 실시예로 한다. 후자(예외 상황)의 경우, 물 비산, UB 단락, 또는 정상 동작을 지시하는 정보를 일 실시예로 한다

후자의 경우, 즉 예외 상황이 물 비산인 경우(S46), 제어부(150)는 물 비산을 예측하고(S47), 물 비산을 해결하기 위한 코스를 설정한다(S48). 예를 들어, 제어부(150)는 세탁 기능부(190)에게 중지 명령을 송부하고 세탁 내용물이나 모양, 부피에 적합한 RPM 속도로 회전 및 수압을 조정하여 물 비산을 해결하도록 코스를 설정할 수 있다.

학습부(130) 또는 클라우드 서버(200)의 학습부(230)인 학습 모듈(25)의 물 비산의 판단은 거리 정보와 이미지 정보와 계측 정보에 기반하여 세탁물을 부피 대비 무게가 작은 세탁물로 판단한다. 즉, 쌓여 있는 세탁물의 부피와 양이 많으나 그 무게가 많지 않은 경우, 혹은 부피나 양이 과도하게 많으면, 세탁을 위해 물을 투입시 튈 확률이 높은 것으로 판단한다.

예를 들어 세탁조의 커버(191)와 세탁물의 거리(뎁스 정보)가 작을수록, 부피가 클수록 물 비산이 될 확률이 높은 것으로 판단할 수 있다. 물비산 가능성이 높은 특수 부하 세탁물 인 경우, 학습모듈(25)은 코스 설정 정보로 물 비산을 방지하는 코스 설정 정보를 산출할 수 있다. 물을 투입하는 속도를 줄이거나, 물의 양을 줄이는 등의 코스 설정이 가능하다.

다른 실시예로, 물 비산 문제를 해결하기 위해 세탁 기능부(190)의 펌프를 중지시키고 세탁물의 부피에 적합한 RPM 속도로 회전하며 물의 수압을 조절할 수 있다. 그리고 세탁물에 대한 이미지 정보, 거리 정보 또는 계측 정보를 지속적으로 누적하여 학습모듈(25)을 통해 새로운 코스 설정 정보가 필요한지 확인할 수 있다. 또는 세탁기(100)의 제어부(150)는 세탁 기능부(190)의 펌프를 다시 구동시키거나 수압을 조절할 수 있다.

또한 UB(편심)의 경우 학습 모듈(25)은 세탁물의 양과 부피가 일정 이상이고 한쪽으로 쏠려있으면 편심될 확률이 높은 것으로 판단할 수 있다. 예를 들어 코스 설정 정보로 탈수를 중단하고 세탁물에 적합하게 물을 투입하여 세탁물을 고르게 펴는 절차를 제어부(150)의 제어에 기반하여 진행할 수 있다. 또한, 배수 후에도 세탁물의 부피에 적합한 RPM 속도로 운전하며, 또한 세탁물에 적합한 진동 임계치를 재설정하여 과도한 진동이 발생하지 않도록 한다.

이외에도 제어부(150)는 특수 부하로 판단하였으나 사용자가 잘못된 코스를 설정한 경우, 인터페이스부(180)를 제어하여 사용자에게 이를 알릴 수 있다.

학습부(130) 또는 클라우드 서버(200)의 학습부(230)인 학습 모듈(25)은 거리 정보와 이미지 정보와 계측 정보에 기반하여 세탁물이 세탁 기능부(190) 내에 일측으로 편중하여 배치된 것으로 판단하면, UB 단락이 발생할 가능성이 높은 것으로 판단한다.

예를 들어 세탁조의 커버(191)에서 촬영한 세탁물의 높이가 일정하지 않거나 어느 한쪽으로만 치우쳐진 경우, 무게를 센싱한 결과 기울어져서 무게가 센싱된 경우 등에서 편중된 상태를 해결하기 위해 학습모듈(25)은 코스 설정 정보로 세탁물을 상기 세탁 기능부 내에 고르게 배치하는 코스 설정 정보를 산출할 수 있다. 세탁이나 탈수를 중지하고, 물을 투입하여 세탁물의 엉킴 또는 편중을 해소할 수 있다. 또는 물을 투입하는 속도를 줄이거나, 물의 양을 줄이는 등의 코스 설정도 가능하다. 따라서, UB 단락 혹은 비단락(편중 없음) 상태를 예측하여(S51) 제어부(150)는 세탁물의 엉킴이나 편심을 해결하는 코스를 설정한다(S52).

예를 들어, 제어부(150)는 세탁 기능부(190)에게 탈수를 중지시키고 세탁 내용물과 모양 또는 부피에 적합하게 물을 투입하여 포를 고르게 펴도록 한 후 배수 후 부하에 적합한 RPM 속도로 세탁 기능부(190)가 동작하도록 한다.

이를 위해 세탁물 투입 시에도 학습 모듈(25)을 통해 적합한 부하 판단 혹은 코스를 설정할 수도 있다. 또한 세탁물을 세탁하는 과정에서 지속적으로 피쳐 정보를 추출하여 학습 모듈(25)을 통해 적합한 부하 판단을 수행하고, 이에 적합한 코스로 변경하거나 추가 기능을 선택할 수 있다.

도 7은 본 발명의 일 실시예에 의한 클라우드 서버가 학습을 수행하는 구성을 보여주는 도면이다.

클라우드 서버(200)는 다수의 세탁기들(100a, 100b, ..., 100n)들과 통신하며 세탁기들이 제공하는 피쳐 정보(이미지 정보, 거리 정보, 부피, 무게 정보 등)와 사용자가 설정한 세탁 코스 정보(세탁 코스, 탈수 코스 등)에 기반하여 학습부(230)가 학습을 수행한다. 이후, 학습이 완료되면 세탁기들이 제공하는 피쳐 정보에 대응하는 코스 설정 정보 또는 예외 상황에 대한 정보 등을 예측하여 적합한 코스 설정 정보를 제공할 수 있다.

데이터베이스부(250)는 세탁기들이 제공하는 피쳐 정보를 저장하는데, 일 실시예로 세탁물의 부피나 무게, 센서들이 산출한 이미지(뎁스 이미지로 거리 정보, RGB나 그레이 이미지로 세탁물 종류 식별을 하는 이미지 정보 등), 그리고 각 세탁기의 계측부(170)가 산출한 계측 정보(예를 들어 모터 정보 등)를 저장한다.

주요 피쳐 정보들을 파라미터로 데이터베이스부(250)를 구축하여 동일한 부하에서 세탁 시간에 대한 정규 분포를 제시하여 정상 수준에서 벗어나는 경우에 대해 알림을 제공할 수 있다. 예를 들어 일정한 부피와 무게에서 수행 가능한 세탁 시간의 정규 분포 범위를 벗어날 경우, 세탁기의 이상으로 판단하여 이를 해당 세탁기에게 통신부(210)를 이용하여 알리거나, 모바일 장치를 통해 알림을 제공할 수 있다. 또한, 현재 설정되거나 고객이 입력한 코스 설정 정보, 또는 학습부(230)의 학습 결과 도출된 코스 설정 정보도 데이터베이스부(250)에 저장된다.

또한, 데이터베이스부(250)는 유사 부하 및 동일 코스에서의 진동, 세탁 시간 대한 정보를 누적 저장하여, 클라우드 서버(200)로 수집된 DB 통계치와 비교 분석 결과 이상 현상 발생 시 고객에게 알림을 줄 수 있다. 예를 들어, 이상 현상이 발생한 경우 클라우드 서버(200)의 통신부(210)가 이상 알림 메시지를 특정 세탁기에게 전송할 수 있다.

도 7의 서버(200) 또는 서버(200)의 학습부(230) 역시 세탁기(100)의 학습부(130)와 마찬가지로 앞서 학습 모듈(25)의 일 실시예가 된다.

또한, 클라우드 서버(200)에서 수집된 유사 부하에 대한 사용자 세탁 코스 정보를 활용하여 세탁 방법에 대해 알고 싶을 경우 학습을 통해 판단된 부하에 대해 많이 적용된 세탁 코스를 제공하고, 동일 부하 및 코스에서의 세탁 시간을 비교하여 세탁 시간 이상 지연 시 에프터 서비스 및 점검 가이드를 제공할 수 있다.

도 7과 같은 구성에서 세탁기들(100a, 100b, ..., 100n)의 통신부(140)가 세탁 과정에서 산출된 거리 정보와 이미지 정보와 계측 정보를 클라우드 서버(200)에게 전송하고 클라우드 서버(200)의 통신부(210)가 이를 수신?나. 여기에 선택적으로 세탁기에 설정된 코스 설정 정보, 세탁기의 모델, 또는 ㅅ 식별 정보 등도 함께 전송될 수 있다.

클라우드 서버(200)의 학습부(230)는 거리, 이미지, 계측 정보에 기반하여 해당 세탁물이 특수 부하 세탁물인지를 판단하고, 또한 특수 부하 세탁물일 경우 이에 코스 설정 정보를 산출한다. 그리고, 클라우드 서버(200)의 통신부(210)가 산출한 코스 설정 정보를 제공하면, 세탁기들(100a, 100b, ..., 100n)의 통신부(140)는 이를 수신한다.

이후, 세탁기들(100a, 100b, ..., 100n)의 제어부(150)는 수신한 코스 설정 정보에 기반하여 세탁 기능부(190)의 기능을 제어할 수 있다.

도 8 및 도 9는 이미지에 소정의 필터를 적용하는 실시예를 도시한 도면이다. 도 8은 본 발명의 일 실시예에 대한 컨벌루션(convolution)을 적용하는 과정을 보여주는 도면이다. 컨벌루션은 특정한 필터(예를 들어 3x3 필터)를 이미지 내에서 이동하며 피쳐를 추출하는 것을 일 실시예로 한다. 도 8에서 이미지(60)의 각 픽셀은 1과 0의 값이 설정되었다. 여기에 3x3 커널 필터(65)를 적용하여 컨벌루션 연산을 수행하면 S67에서는 이미지(60) 중 첫 3x3 매트릭스(60a) 에 필터(65)를 적용시킨 결과인 4가 산출됨(66a)을 보여준다.

그리고 필터를 우측으로 쉬프트하여 S68에서는 이미지(60) 중 두번째 3x3 매트릭스(60b) 에 필터(65)를 적용시킨 결과인 3이 산출됨(66b)을 확인할 수 있다.

도 9는 본 발명의 다른 실시예에 의한 맥스 풀링(max pooling) 방식으로, 하나의 필터를 적용하여 해당 셀 내에서 가장 큰 값으로 설정하는 실시예이다. 2x2필터를 이미지(70)에 적용하여 4개의 픽셀 중 가장 큰 값을 75와 같이 저장한다.

도 8 및 도 9는 산출된 이미지에서 피쳐를 추출하기 위한 실시예를 보여준다. 도 8 및 도 9에서 세탁물의 이미지에 필터를 적용하면 이미지의 특징을 추출할 수 있다. 특히, 다양한 필터를 적용할 경우, 변환된 이미지는 다양한 형태가 될 수 있으며, 이를 학습 모듈에 입력할 경우 코스 설정에 적합한 이미지 필터를 결정할 수 있다.

도 8 또는 도 9를 적용하여 패딩을 확인하는 과정에 대해 살펴본다. 패딩을 촬영한 이미지(81)에서 특정한 필터를 적용할 수 있다. 예를 들어, 패딩이 촬영된 이미지가 가질 수 있는 다양한 서브 이미지를 하나의 필터(예를 들어 특정한 색상, 무늬 등의 서브 이미지로 구성되는 필터)에 포함시켜 이를 이미지에 적용하면 그러한 서브 이미지에 대응하는 부분만을 추출하여 82와 같이 특징을 추출할 수 있다.

그리고 82와 같이 산출된 이미지에 별도의 컨벌루션 필터 또는 맥스 풀링 필터를 적용하여 83과 같은 이미지를 산출할 수 있다. 패딩을 일 실시예로, 서브 이미지를 적용할 수 있는데 이는 사선 무늬, 색상이 혼합된 무늬 등을 포함한다. 필터는 필터링하고자 하는 세탁물의 종류에 따라 다양하게 구성될 수 있다.

따라서, 경우에 따라 필터는 이불에 적용할 수 있는 필터, 패딩에 적용할 수 있는 필터, 인형에 적용할 수 있는 필터 등으로 나뉘어질 수 있으며, 입력 매트릭스에 제공할 이미지를 생성하는 과정에서 다양한 필터를 사용하여 가장 세탁물의 피쳐를 정확하게 산출하는 필터에 기반하여 학습 수행을 진행할 수 있다.

도 10은 본 발명의 일 실시예에 의한 패딩의 이미지에 기반하여 컨볼루션 필터에 기반하여 이미지의 특징(피쳐)를 산출하는 과정을 보여주는 도면이다. 81은 이미지 센서(120)가 산출한 이미지 정보이다. 이에 대해 패딩 이미지 중에서 특정한 요소를 부각시키기 위해, 앞서 도 8과 같이 제1컨벌루션 필터를 원래의 이미지(81)에 적용하면 82와 같이 패딩의 외관과 주요한 이미지 부분이 강조된 이미지로 변환된다.

또한, 제2컨벌루션 필터를 적용하여 83과 같이 흑/백으로 명확하게 이미지의 특징을 산출할 수 있다. 도 10은 앞서 표 1과 같은 서브 이미지를 포함하는 컨벌루션 필터에 기반하여 이미지에서 피쳐를 산출할 수 있다.

도 10은 특정한 종류의 세탁물에 미리 준비된 필터들을 적용할 경우, 세탁물의 특징을 추출할 수 있으며, 추출된 특징에 기반하여 세탁물의 종류를 확인할 수 있다. 물론, 이외에도 세탁물이 배치된 높이와 무게 등의 정보를 이용하여 부피 정보를 산출하여 이를 기반으로 세탁물의 종류를 확인할 수 있다.

도 7 내지 도 10을 정리하면, 세탁물의 특징을 확인하기 위해 산출하는 이미지 정보는 RGB 또는 그레이 이미지가 될 수 있다. 또는 이미지 센서(120)가 센싱한 이미지에 컨벌루션 필터 또는 맥스 풀링 필터 중 어느 하나 이상을 적용하여 특징 추출된 이미지 정보가 될 수 있다. 특징 추출된 이미지는 특수한 세탁물(예를 들어 패딩, 이불, 인형 등)을 보다 정확하게 판별할 수 있도록 한다.

도 11은 본 발명의 일 실시예에 의한 클라우드 서버와 세탁기 간에 정보를 교환하는 과정을 보여주는 도면이다.

클라우드 서버(200)가 특수 부하에 대응하여 동작할 수 있도록 S90 내지 S92의 학습 과정을 진행할 수 있다. 다수의 세탁기들(100a, 100b)는 상기 세탁기의 거리 센서(110)가 산출한 거리 정보, 세탁기의 이미지 센서(120)가 산출한 이미지 정보, 세탁기의 계측부(170)가 산출한 계측 정보, 그리고 이에 대응하여 세탁기에 설정된 코스 설정 정보를 클라우드 서버(200)에게 전송한다(S90, S91).

일정한 학습 횟수를 통해 클라우드 서버(200)의 학습부(230)를 구성하는 정보들의 업데이트가 완성되면, 이후 세탁기(100a)가 전송하는 거리 정보, 이미지 정보, 계측 정보(S93)를 학습부(230)에 입력하여 학습부(230)는 이에 적합한 코스 설정 정보를 산출한다(S94). 그리고, 클라우드 서버(200)의 통신부(210)는 산출된 코스 설정 정보를 해당 세탁기(100 a)에게 전송하고(S95), 세탁기(100a)는 코스 설정 정보에 기반하여 세탁 기능부(190)를 제어한다(S96).

S90 내지 S92는 미리 진행되어 완결될 수 있다. 즉, 일부 세탁기들은 학습 과정(S90 내지 S92)에 참여할 수 있고, 다른 일부 세탁기들은 학습 과정(S90 내지 S92) 없이 이미 클라우드 서버(200)에 구축된 학습부(230)에게 S93 내지 S96의 과정에 기반하여 세탁물에 대응하는 코스 설정 정보를 수신할 수 있다. 또한, 세탁기들은 세탁 시작 시점에서 S93 내지 S96의 과정에 기반하여 코스를 설정할 수 있고, 세탁 중간에 이상 현상(물 비산, UB 단락 등)이 발생한 경우 S93 내지 S96의 과정에 기반하여 현재 설정된 코스와 상이한 코스 설정 정보를 수신하여 동작할 수 있다.

도 11의 과정을 정리하면 다음과 같다.

세탁기(100a)의 통신부(140)가 세탁기(100a)의 거리 센서(110)가 산출한 거리 정보, 세탁기(100a)의 이미지 센서(120)가 산출한 이미지 정보, 세탁기의 계측부(170)가 산출한 계측 정보를 클라우드 서버로 전송한다(S93).

이미 S90~S92에서 학습이 완료된 클라우드 서버(200)의 학습부(230)는 거리 정보와 이미지 정보와 계측 정보를 입력 노드에 입력하여 코스 설정 정보를 산출한다(S94). 그리고 클라우드 서버(200)의 통신부는 상기 세탁기의 통신부에게 상기 산출된 코스 설정 정보를 전송한다(S95). 이후 세탁기의 제어부는 클라우드 서버(200)로부터 수신한 코스 설정 정보에 기반하여 상기 세탁 기능부의 기능을 제어한다(S96). 그 결과 세탁물에 대한 사물 감지에 기반하여 세탁기의 기능을 설정할 수 있다.

도 12는 본 발명의 일 실시예에 의한 학습부의 구성을 보여주는 도면이다. 세탁기(100)의 학습부(130) 또는 클라우드 서버(200)의 학습부(230)는 입력 레이어, 히든 레이어, 출력 레이어로 구성되는 딥러닝 모듈을 포함하여 학습을 수행하고 학습이 완료되면 입력 레이어에 대응하여 출력 레이어에서 정보를 산출하는 구성이다.

입력 레이어는 뎁스 이미지를 일 실시예로 하는 거리 정보(320)와 RGB 또는 그레이 이미지를 일 실시예로 하는 이미지 정보(310)와 세탁 행정 정보 또는 물리적/전기적 계측 정보를 일 실시예로 하는 계측 정보(330)를 입력 노드의 입력 인자로 설정한다.

또한, 340에 제시된 바와 같이, 이미지 정보(310) 또는 다른 입력 정보들이 학습에 적합하게 특징을 추출하기 위해 앞서 도 8 내지 도 10에서 살펴본 바와 같이 컨벌루션 필터를 적용한 컨벌루션 레이어(convolution layer), 맥스 풀링 필터를 적용한 맥스 풀링 레이어(max pooling layer)를 반복적으로 적용하여 히든 레이어(350)의 입력 노드로 설정할 수 있다. 즉, 컨벌루션 필터 또는 맥스 풀링 필터는 이미지 정보뿐만 아니라 거리 정보, 계측 정보에도 적용될 수 있다.

컨벌루션 레이어의 경우 앞서 도 8에서 살펴본 바와 같이, 입력 데이터 전체를 일정한 크기의 커널(Kernel) 사이즈로 일정 크기로 쉬프트(shift)하면서 컨벌루션(convolution) 기법을 사용을 하여 구한 레이어이다. 컨벌루션 레이어 층에서 나온 입력 데이터를 일정한 크기의 커널 사이즈로 일정 크기로 쉬프트 하면서 커널 내에서 최대값을 취하는 층이 맥스 풀링 레이어이다. 이들 컨벌루션 레이어와 맥스 풀링 레이어는 교번으로 배치도리 수 있으며 이 과정에서 이미지 정보, 거리 정보, 계측 정보는 특징이 부각될 수 있다.

도 12에서 3 종류의 정보는 매트릭스 형태로 변환된 입력 인자가 될 수 있으며, 앞서 학습 과정에서 학습된 컨볼루션 뉴럴 네트워크(Convolution Neural Network)구조를 통해서 최종 예측 모델을 형성할 수 있다.

그리고 히든 레이어(Hidden layer)(350)는 가중치(weight), 바이어스(bias)를 파라미터로 하는 뉴럴 네트워크를 일 실시예로 한다. 출력 레이어(Output layer)는 softmax 기법을 사용하였고 4 개의 결과(정상, 물비산, UB단락, 포꼬임) 중 확률값으로 가장 높은 인덱스를 산출하여 코스 설정 정보로 적용되거나 혹은 세탁물에 대한 예측값으로 산출할 수 있다.

출력 노드(390)는 설정된 코스 설정 정보를 출력 인자로 할 수 있다. 설정된 코스 설정 정보와 입력 인자들 사이의 관계에 대응하도록 입력 레이어와 출력 레이어 사이에 배치되는 히든 레이어(350)를 구성할 수 있다.

히든 레이어(350)는 입력 노드(310, 320, 330, 또는 340)와 출력 노드(390) 사이에 하나 이상의 레이어를 가질 수 있다.

히든 레이어와 각 입력/출력 인자에 배치되는 링크 혹은 바이어스(bias)나 각 링크의 가중치(weight)를 학습 과정에서 생성할 수도 있고, 외부로부터 업데이트된 정보를 저장할 수 있다. 즉, 학습 과정에서 입력 노드와 출력 노드 사이의 히든 레이어를 구성하는 노드 및 에지의 가중치 또는 바이어스는 학습 과정에서 업데이트된다.

세탁기(100) 내의 학습부(130)는 해당 세탁기(100)에서 학습을 수행하고, 또한 외부로부터 학습부(130)를 구성하는 히든 레이어의 노드 및 에지의 가중치 또는 바이어스 값을 수신하여 업데이트할 수 있다.

클라우드 서버(200)의 경우 다수의 세탁기들로부터 학습 인자(입력 인자, 출력 인자)를 수신하여 학습부(230)를 학습시킬 수 있다. 또한, 클라우드 서버(200)는 다수의 세탁기들이 제공하는 학습 인자를 지속적으로 학습부(230)에 입력하여 학습부(230)를 업데이트 시킬 수 있다.

업데이트란 학습부(130, 230)가 입력 노드와 출력 노드 사이의 히든 레이어를 구성하는 노드 및 에지의 가중치를 학습 과정에서 업데이트하는 것을 포함하며, 이는 입력 및 출력에 제공되는 데이터가 증가할수록 더 정확하게 업데이트가 될 수 있다. 이러한 업데이트 과정은 학습부(130, 230)가 학습하는 과정을 의미한다.

업데이트가 완료되면 세탁기(100) 내의 학습부(130) 또는 클라우드 서버(200)의 학습부(230)는 소정의 입력에 대응하여 출력 노드의 코스 설정 정보를 산출할 수 있다. 즉, 전술한 거리 정보(320), 이미지 정보(310), 계측 정보(330)가 입력되면 히든 레이어(350)에서 이들 정보를 처리하여 최종적으로 입력된 정보에 대응하여 출력 레이어의 출력 노드가 특정한 값(특정한 코스 설정 정보를 지시하는 값)을 산출한다.

본 발명의 일 실시예를 적용하면 세탁기(100)는 세탁물의 높이와 이미지, 무게, 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보에 기반하여 세탁물에 적합한 세탁 코스 설정 정보를 산출하거나 또는 클라우드 서버로부터 수신하여 동작한다. 또한, 세탁기(100)는 특수 부하물에 대응하는 코스 설정 정보를 산출하는 학습부(130)를 포함하며, 학습부(130)는 세탁물의 부피, 이미지 정보와 세탁기(100)에서 계측된 정보 중 특징을 추출하여 학습한 결과 대응하는 코스 설정 정보를 산출한다. 그리고 세탁기(100)는 세탁물에 대한 특징 정보들에 기반한 학습 결과로 물 비산 또는 세탁물의 편중된 상태를 예측하거나 확인하여 세탁기의 기능을 제어한다.

본 발명의 일 실시예를 적용하면 설정하는 클라우드 서버(200)는 다수의 세탁기(100)들로부터 세탁물의 높이와 이미지, 무게, 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보를 수신하여 학습부(230)에 이를 적용하여 세탁물에 적합한 세탁 코스 설정 정보를 산출하고 이를 각각의 세탁기(100)에게 제공한다.

본 발명의 실시예를 적용할 경우, 거리 및 이미지 정보, 계측 정보를 학습하여 세탁기 내 투입된 부하(세탁물)를 인식하여 이에 적합한 코스를 설정할 수 있다. 이는 효율적이고 편의가 개선된 세탁 기능을 제공할 수 있다. 이를 위해 일련의 학습 과정을 수행할 수 있는데, 세탁조 내를 촬영하는 거리 센서와 이미지 센서를 통해 습득된 세탁물에 대한 정보와 계측 정보, 그리고 사용자가 설정한 코스 정보(메뉴 선택 정보) 간의 학습을 통하여 이후 동일한 유형에 속하는 세탁물을 세탁할 경우 이에 적합한 설정 코스를 자동 설정할 수 있다.

또한, 세탁 시 급수, 시간, 진동 또는 소음에 주요한 영향을 미치는 특수 부하(인형, 패팅, 이불 등)를 학습을 통해 인식하고, 특수 부하에 따라 자동으로 적합한 세탁 운전(급수, 세탁모드)에 적합한 코스를 설정하여 세탁기가 다양한 문제 상황(비산, UB 단락)에 대응할 수 있다. 이는 특수한 세탁물에 대해 사용자가 세탁기의 특수한 기능을 선택하지 않는 경우라 하여도 자동으로 기능을 제공하여 에너지 절감, 물 사용량의 효율성, 탈수 성능 등을 높일 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 세탁기 110: 거리센서
120: 이미지 센서 130: 학습부(세탁기)
170: 계측부 200: 클라우드 서버
230: 학습부(클라우드 서버) 250: 데이터베이스부

Claims

세탁물을 수납하여 세탁하는 세탁 기능부;
상기 세탁 기능부의 상부 또는 측면에 배치되며 상기 세탁물의 높이를 센싱하는 거리 센서;
상기 세탁 기능부의 상부 또는 측면에 배치되며 상기 세탁물의 이미지를 센싱하는 이미지 센서;
상기 세탁물의 무게, 또는 세탁 과정에서 발생하는 물리적 정보 또는 전기적 정보를 계측하는 계측부;
상기 거리 센서가 산출한 거리 정보, 상기 이미지 센서가 산출한 이미지 정보, 상기 계측부가 산출한 계측 정보에 대응하여 세탁기 내에 배치된 학습부 또는 상기 세탁기 외부에 배치된 클라우드 서버가 산출한 코스 설정 정보에 기반하여 상기 세탁 기능부를 제어하는 제어부를 포함하며,
상기 클라우드 서버는 다른 세탁기들로부터 제공된 피쳐 및 출력 정보에 기반하여 학습을 수행하며, 상기 제어부는 상기 클라우드 서버의 학습 또는 상기 학습부의 학습이 완료되면 물 비산 또는 편심 단락 또는 포 꼬임 중 어느 하나에 해당하는 특수 부하를 판단하여 코스를 자동으로 설정하고,
상기 제어부는 세탁기가 동작하는 과정에서 시간이 지연되는 상황을 모니터링하여 학습 과정에 포함시키고 사용자의 코스 설정이 가지는 오류를 상기 학습에 반영하는, 사물 감지에 기반하여 기능을 설정하는 세탁기.
제1항에 있어서,
상기 학습부는
이전에 수행한 세탁 과정에서 산출된 거리 정보와 이미지 정보와 계측 정보를 입력 인자로 하며, 상기 세탁 과정에서 설정된 코스 설정 정보를 출력 인자로 하여 다수의 학습을 수행하며,
상기 학습부는 상기 제어부에 의해 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보를 입력받은 후, 상기 세탁물이 특수 부하 세탁물인 경우 이에 대응하는 상기 코스 설정 정보를 산출하는, 사물 감지에 기반하여 기능을 설정하는 세탁기.
제1항에 있어서,
상기 학습부는
상기 거리 정보와 상기 이미지 정보와 상기 계측 정보를 입력 노드의 입력 인자로 설정한 입력 레이어;
상기 설정된 코스 설정 정보를 출력 노드의 출력 인자로 설정한 출력 레이어; 및
상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하며,
상기 히든 레이어를 구성하는 노드 및 에지의 가중치 또는 바이어스는 상기 학습부의 학습 과정에서 업데이트되는, 사물 감지에 기반하여 기능을 설정하는 세탁기.
제1항에 있어서,
세탁 과정에서 산출된 거리 정보와 이미지 정보와 계측 정보를 클라우드 서버에게 전송하고 상기 클라우드 서버로부터 상기 세탁물이 특수 부하 세탁물인 경우 이에 대응하는 상기 코스 설정 정보를 수신하는 통신부를 더 포함하며,
상기 제어부는 상기 수신한 코스 설정 정보에 기반하여 상기 세탁 기능부의 기능을 제어하는, 사물 감지에 기반하여 기능을 설정하는 세탁기.
제1항에 있어서,
상기 거리 정보와 상기 이미지 정보와 상기 계측 정보에 기반하여 상기 학습부 또는 상기 클라우드 서버가 상기 세탁물을 부피 대비 무게가 작은 세탁물로 판단한 경우,
상기 코스 설정 정보는 물 비산을 방지하는 코스 설정 정보인, 사물 감지에 기반하여 기능을 설정하는 세탁기.
제1항에 있어서,
상기 거리 정보와 상기 이미지 정보와 상기 계측 정보에 기반하여 상기 학습부 또는 상기 클라우드 서버가 상기 세탁 기능부 내의 일측으로 편중하여 상기 세탁물이 배치된 것으로 판단한 경우,
상기 코스 설정 정보는 상기 세탁물을 상기 세탁 기능부 내에 고르게 배치하는 코스 설정 정보인, 사물 감지에 기반하여 기능을 설정하는 세탁기.
제1항에 있어서,
상기 이미지 정보, 상기 거리 정보, 또는 상기 계측 정보는 컨벌루션 필터 또는 맥스 풀링 필터 중 어느 하나 이상을 적용하여 특징 추출된 정보인, 사물 감지에 기반하여 기능을 설정하는 세탁기.
다수의 세탁기로부터 세탁물에 관한 거리 정보와 이미지 정보와 계측 정보 및 상기 세탁기에 설정된 코스 설정 정보를 수신하는 통신부;
상기 거리 정보와 상기 이미지 정보와 상기 계측 정보를 입력 노드의 입력 인자로 설정하는 입력 레이어와, 상기 설정된 코스 설정 정보를 출력 노드의 출력 인자로 설정하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하며, 상기 히든 레이어를 구성하는 노드 및 에지의 가중치 또는 바이어스를 학습 과정에서 업데이트 하는 학습부;
상기 거리 정보와 상기 이미지 정보와 상기 계측 정보와 상기 코스 설정 정보를 저장하는 데이터베이스부를 포함하며,
상기 통신부가 세탁기로부터 상기 세탁기의 세탁 과정에서 산출된 세탁물에 관한 거리 정보와 이미지 정보와 계측 정보를 수신하면, 상기 학습부는 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보를 입력 노드에 입력 인자로 입력하며,
상기 학습부는 상기 입력에 대응하여 출력 노드의 코스 설정 정보를 산출하면, 상기 통신부가 상기 산출된 코스 설정 정보를 상기 세탁기에게 전송하며,
상기 학습부는 상기 다수의 세탁기들로부터 제공된 피쳐 및 출력 정보에 기반하여 학습을 수행하여, 학습이 완료되면 물 비산 또는 편심 단락 또는 포 꼬임 중 어느 하나에 해당하는 특수 부하를 판단하며, 상기 학습부는 세탁기가 동작하는 과정에서 시간이 지연되는 상황을 모니터링하여 학습 과정에 포함시키고 사용자의 코스 설정이 가지는 오류를 상기 학습에 반영하는, 사물 감지에 기반하여 기능을 설정하는 클라우드 서버.
제8항에 있어서,
상기 통신부가 세탁기로부터 수신한 상기 세탁 과정에서 산출된 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보에 기반하여 상기 학습부가 상기 세탁물을 부피 대비 무게가 작은 세탁물로 판단한 경우,
상기 코스 설정 정보는 물 비산을 방지하는 코스 설정 정보인, 사물 감지에 기반하여 기능을 설정하는 클라우드 서버.
제8항에 있어서,
상기 통신부가 세탁기로부터 상기 세탁 과정에서 산출된 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보에 기반하여 상기 학습부가 상기 세탁물을 세탁 기능부 내의 일측으로 편중하여 배치된 세탁물로 판단한 경우,
상기 코스 설정 정보는 상기 세탁물을 상기 세탁 기능부 내에 고르게 배치하는 코스 설정 정보인, 사물 감지에 기반하여 기능을 설정하는 클라우드 서버.
제8항에 있어서,
상기 이미지 정보, 상기 거리 정보, 또는 상기 계측 정보는 컨벌루션 필터 또는 맥스 풀링 필터 중 어느 하나 이상을 적용하여 특징 추출된 정보인, 사물 감지에 기반하여 기능을 설정하는 클라우드 서버.
세탁기의 통신부가 상기 세탁기의 거리 센서가 산출한 거리 정보, 세탁기의 이미지 센서가 산출한 이미지 정보, 세탁기의 계측부가 산출한 계측 정보를 클라우드 서버로 전송하는 제1단계;
상기 클라우드 서버의 학습부가 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보를 입력 노드에 입력하여 코스 설정 정보를 산출하는 제2단계;
상기 클라우드 서버의 통신부가 상기 세탁기의 통신부에게 상기 산출된 코스 설정 정보를 전송하는 제3단계; 및
상기 세탁기의 제어부가 상기 클라우드 서버로부터 수신한 상기 코스 설정 정보에 기반하여 세탁 기능부의 기능을 제어하는 제4단계를 포함하며,
상기 제2단계는 상기 클라우드 서버가 다른 세탁기들로부터 제공된 피쳐 및 출력 정보에 기반하여 학습을 수행하며, 상기 제어부는 상기 클라우드 서버의 학습 또는 상기 학습부의 학습이 완료되면 물 비산 또는 편심 단락 또는 포 꼬임 중 어느 하나에 해당하는 특수 부하를 판단하여 코스를 자동으로 설정하는 단계를 더 포함하며,
상기 제4단계는 상기 제어부가 세탁기가 동작하는 과정에서 시간이 지연되는 상황을 모니터링하여 학습 과정에 포함시키고 사용자의 코스 설정이 가지는 오류를 상기 학습에 반영하는 단계를 더 포함하는, 사물 감지에 기반하여 기능을 설정하는 방법.
제12항에 있어서,
상기 학습부는
상기 거리 정보와 상기 이미지 정보와 상기 계측 정보를 입력 노드의 입력 인자로 설정하는 입력 레이어와, 상기 설정된 코스 설정 정보를 출력 노드의 출력 인자로 설정하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하며,
상기 제1단계 이전에,
상기 클라우드 서버의 통신부가 다수의 세탁기로부터 세탁물에 관한 거리 정보와 이미지 정보와 계측 정보 및 상기 세탁기에 설정된 코스 설정 정보를 수신하는 단계; 및
상기 학습부가 상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치를 학습 과정에서 업데이트하는 단계를 포함하는, 사물 감지에 기반하여 기능을 설정하는 방법.
제12항에 있어서,
상기 제1단계의 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보에 기반하여 상기 학습부가 세탁물을 부피 대비 무게가 작은 세탁물로 판단한 경우,
상기 코스 설정 정보는 물 비산을 방지하는 코스 설정 정보인, 사물 감지에 기반하여 기능을 설정하는 방법.
제12항에 있어서,
상기 제1단계의 상기 거리 정보와 상기 이미지 정보와 상기 계측 정보에 기반하여 상기 학습부가 상기 세탁 기능부 내의 일측으로 편중하여 세탁물이 배치된 것으로 판단한 경우,
상기 코스 설정 정보는 상기 편중된 세탁물을 상기 세탁 기능부 내에 고르게 배치하는 코스 설정 정보인, 사물 감지에 기반하여 기능을 설정하는 방법.