KR20210044888A

KR20210044888A - 인공지능을 사용하는 자동선택 세탁 코스가 있는 세탁기

Info

Publication number: KR20210044888A
Application number: KR1020217009608A
Authority: KR
Inventors: 사빈 다니엘 이안쿠; 존 글로스너; 바이난 왕
Original assignee: 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드
Priority date: 2018-09-05
Filing date: 2019-08-23
Publication date: 2021-04-23
Also published as: CN112867820A; WO2020050990A1; US20210214874A1; EP3847304A4; EP3847304A1

Abstract

세탁물을 수용하기 위한 세탁실을 포함하는 회전식 실린더, 하나 이상의 센서, 그리고 세탁기의 작동을 제어하기 위해 하나 이상의 센서와 통신 가능하도록 연결되어, 하나 이상의 센서에 의해 캡처된 센서 데이터를 수신하고, 센서 데이터에 기초한 기계학습 모델을 사용하여 세탁물과 관련된 복수의 특성을 결정하며, 복수의 특성에 기초하여 세탁기에 대한 설정을 결정하고, 세탁기가 설정에 따라 작동하도록 하는 처리 장치를 포함하는 세탁기이다.

Description

인공지능을 사용하는 자동선택 세탁 코스가 있는 세탁기

관련 출원에 대한 상호 참조

본 출원은 2018년 9월 5일자로 출원된 미국 가출원 제62/727,036호에 대한 우선권을 주장하며, 상기 출원은 그 전문이 본 명세서에 참조에 의해 원용된다.

기술분야

본 개시내용은 세탁기에 관한 것으로, 특히 세탁 적재물의 직물 특성 및 색상을 검출하고 검출된 직물 특성 및 색상을 바탕으로 세탁 코스를 결정할 수 있는 세탁기에 관한 것이다.

세탁기는 일정량의 직물 물품("세탁물"로 지칭함)을 세탁할 수 있다. 세탁물에는 옷, 린넨, 커튼 및 식탁보가 포함될 수 있지만 이들로 국한되지는 않는다. 세탁물은 예를 들어 양모, 면, 실크, 나일론, 폴리에스터 또는 이들의 조합과 같은 다양한 종류의 직물 소재로 만들어질 수 있다. 세탁물은 예를 들어 흰색, 빨간색, 파란색, 초록색 및 검정색과 같은 하나 이상의 색상으로 염색될 수 있다. 작동시에 인간 조작자는 세탁기의 내부 드럼에 1회 적재분의 세탁물을 넣을 수 있다. 인간 조작자는 세탁기의 조작패널을 사용하여 추가적으로 세탁 코스를 선택할 수 있으며, 세탁 코스에는 수온, 세탁 시간, 탈수 강도 등에 대한 설정이 포함될 수 있다. 인간 조작자는 시작 버튼을 눌러 세탁기의 작동을 시작할 수 있다.

인간 조작자는 개인 취향에 따라 세탁 코스를 선택한다. 그러나 인간 조작자는 내부 드럼 내의 현재 세탁물 적재분에 적합한 최적의 세탁 코스를 선택하는 데 필요한 지식이 없을 수 있다. 이로 인해 세탁 결과가 최적에 미치지 못할 수 있다.

본 개시내용은 이하의 상세한 설명 및 본 개시내용의 다양한 실시예의 첨부도면으로부터 보다 완전하게 이해될 것이다. 다만 도면은 본 개시내용을 특정 실시예로 국한하기 위한 것이 아니라 단지 설명 및 이해를 위한 것이다.
도 1은 본 개시내용의 일 구현예에 따른 지능형 세탁기를 도시한다.
도 2는 본 개시내용의 일 구현예에 따른 광학 카메라의 설치를 도시한다.
도 3은 본 개시내용의 일 구현예에 따른 광학 카메라 및 마이크로파 센서의 설치를 도시한다.
도 4는 본 개시내용의 일 구현예에 따른 스티치 크기 검출방법의 순서도를 도시한다.
도 5는 본 개시내용의 일 구현예에 따른 세탁물 특성 검출용 신경망을 도시한다.
도 6은 본 개시내용의 일 구현예에 따른 색상 검출용 신경망을 도시한다.
도 7은 본 개시내용의 일 구현예에 따른 직물 특성 및 색상 검출방법의 순서도를 도시한다.
도 8은 본 개시내용의 일 구현예에 따른 상태 차트를 도시한다.
도 9는 본 개시내용의 일 구현예에 따른 강화 학습 시스템을 도시한다.
도 10은 본 개시내용의 하나 이상의 양태에 따라 동작하는 컴퓨터 시스템의 블록도를 도시한다.

세탁기의 확인된 결함 및 기타 결함을 극복하기 위해, 본 개시내용의 구현예들은 세탁 전에 세탁물의 특정 속성을 검출할 수 있고 결정된 세탁물의 속성에 기초하여 최적의 세탁 코스를 결정할 수 있으며 따라서 사용자가 최적의 세탁 코스를 선택할 필요 없이 세탁 결과를 개선할 수 있는 기술적으로 개선된 세탁기를 제공한다.

특히, 본 개시내용에 기재된 세탁기는 센서와 처리 장치를 포함할 수 있다. 센서는 하나 이상의 광학 카메라 및 하나 이상의 마이크로파 센서를 포함할 수 있다. 센서는 세탁기의 내부 드럼에 적재된 세탁물과 관련된 센서 데이터를 캡처할 수 있다. 예를 들어, 광학 카메라는 내부 드럼 내의 세탁물의 이미지를 캡처할 수 있고, 마이크로파 센서는 세탁물과 관련된 깊이 및 반사율 측정을 캡처할 수 있다. 이러한 캡처된 센서 데이터에 기초하여, 처리 장치는 하나 이상의 신경망을 실행하여 세탁물의 직물 특성 및 색상을 결정할 수 있으며, 결정된 세탁물의 직물 특성 및 색상에 기초하여 세탁물 적재분에 대한 최적의 세탁 코스를 결정할 수 있다. 따라서, 세탁기는 인간 조작자가 세탁 코스와 직물 사이의 관계를 알 필요 없이 더 나은 세탁 결과를 생성할 수 있다. 또한, 본 개시내용의 구현예들에 의해 결정된 최적의 세탁 코스는 요즘 세탁기의 조작패널에서 이용가능한 개별 선택에 국한되지 않는다. 본 개시내용의 구현예들은 조작패널에서 이용가능한 것 이상의 설정을 허용할 수 있고, 따라서 요즘 세탁기의 능력 이상으로 세탁 결과를 더욱 개선할 수 있다.

도 1은 본 개시내용의 일 구현예에 따른 지능형 세탁기(100)를 도시한다. 도 1을 참조하면, 지능형 세탁기(100)는 조작패널(102), 시작 버튼(104) 및 도어(미도시)로 둘러싸일 수 있는 내부 드럼(106)을 포함할 수 있다. 조작패널(102)은 인간 조작자에 의해 설정될 수 있는 여러 파라미터에 대응하는 선택 요소들을 포함할 수 있다. 파라미터에는 세탁 시간, 수온(뜨거움, 따뜻함, 차가움), 세탁 강도(무거움, 보통, 가벼움) 및 교반기의 분당 회전수(RPM)로 측정된 탈수 강도(높음, 중간, 낮음, 탈수 없음)가 포함될 수 있다. 일부 구현예에서, 인간 조작자는 여러 파라미터의 조합을 세탁 코스로서 선택하고 시작 버튼(104)을 눌러 인간 조작자의 선택에 기초하여 세탁기를 작동시킬 수 있다.

본 개시내용의 일 구현예에서, 지능형 세탁기(100)는 하나 이상의 센서(예를 들어, 광학 카메라(108), 마이크로파 센서(110)) 및 센서에 통신 가능하도록 결합된 처리 장치(112)를 더 포함할 수 있다. 센서는 광학 카메라(108) 및 마이크로파 센서(110)를 포함할 수 있다. 광학 카메라(108)는 일련의 시간 코딩된 이미지 프레임을 캡처할 수 있는 비디오 카메라일 수 있다. 광학 카메라(108)는, 바람직하게는 초점 거리가 약 28㎜이고 조리개가 f/1.8인 광각 렌즈와 초점 거리가 약 56㎜이고 조리개가 f/2.8인 인물 렌즈를 포함하는 두 가지 배율 옵션이 있는, 고급 카메라일 수 있다.

마이크로파 센서(110)는 약 24㎓의 주파수에서 작동하는 도플러 레이더일 수 있다. 일 구현예에서, 레이더는 송신 안테나(Tx 안테나) 및 수신 안테나(Rx 안테나)를 포함할 수 있으며, 여기서 Tx 안테나 및 Rx 안테나는 소인 증분이 30도인 마이크로스트립 위상 어레이일 수 있다.

하나 이상의 센서는 세탁기(100)에 온보드로 설치된 것으로 도 1에 도시되어 있지만, 대안적인 구현예에서, 하나 이상의 센서 중 임의의 하나가 오프보드로 제공될 수도 있다. 예를 들어, 카메라(108)는 예를 들어 모바일 장치 또는 스마트폰의 카메라와 같은 오프보드 비디오 또는 이미지 카메라일 수 있다. 처리 장치(112)는 예를 들어 통신 네트워크 또는 블루투스 링크와 같은 통신 링크를 통해 오프보드 카메라에 통신 가능하도록 연결될 수 있다. 인간 조작자는 카메라를 세탁물에 조준하고 세탁물의 비디오 또는 이미지를 캡처할 수 있으며, 처리 장치(112)는 통신 링크를 통해 세탁물의 캡처된 비디오 또는 이미지를 수신할 수 있다.

일 구현예에서, 광학 카메라(108) 및 마이크로파 센서(110)는 내부 드럼(106)의 실린더 내부에 설치될 수 있다. 도 2는 본 개시내용의 일 구현예에 따른 광학 카메라(108)의 설치를 도시한다. 도 2에 도시된 바와 같이, 세탁기(100)의 내부 드럼(106)은 세탁물 적재분을 수용할 수 있는 원통형 챔버("세탁기 실린더")를 포함할 수 있다. 광학 카메라(108)는 세탁기 실린더의 상부에 광학 센서가 실린더 내부를 향하도록 설치될 수 있다. 따라서, 광학 카메라(108)는 실린더 안의 세탁물의 이미지(또는 비디오)를 캡처할 수 있다. 일 구현예에서, 마이크로파 센서(110)는 광학 카메라(108) 가까이에 설치될 수 있다. 도 3은 본 개시내용의 일 구현예에 따른 광학 카메라(108) 및 마이크로파 센서(110)의 설치를 도시한다. 도 3에 도시된 바와 같이, 마이크로파 센서(110)는 Tx 안테나(110A) 및 Rx 안테나(110B)를 포함할 수 있으며, 이 경우 광학 카메라(108)는 Tx 안테나(110A)와 Rx 안테나(110B) 사이의 영역에 위치한다. Tx 안테나(110A) 및 Rx 안테나(110B)는 모두 세탁기 실린더 내부의 중앙을 향하여 배향될 수 있다. Tx 안테나(110A)는 세탁기 실린더 내부의 세탁물에 반사될 수 있는 마이크로파를 방출할 수 있다. Rx 안테나(110B)는 세탁물에서 반사된 반사 마이크로파를 수신할 수 있다. 일 구현예에서, 광학 카메라(108) 및 마이크로파 센서(110)는 그들의 위치가 고정되고 세탁기의 내부 드럼의 회전과 무관한 형태로 설치된다. 따라서, 광학 카메라(108) 및 마이크로파 센서(110)는 실린더의 드럼이 회전하는 동안 동일한 위치 및 방향을 유지할 수 있다.

도 1을 참조하면, 처리 장치(112)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 또는 신경망 가속기 처리 장치와 같은 하드웨어 프로세서일 수 있다. 처리 장치(112)는 센서 데이터(예를 들어, 이미지 프레임 및 마이크로파 신호)를 수신하기 위해 온보드 또는 오프보드 광학 센서(108) 및 마이크로파 센서(110)에 통신 가능하게 결합될 수 있다. 일 구현예에서, 세탁기(100)는 실행될 경우 처리 장치(112)로 하여금 아래 동작을 수행하게 할 수 있는 스마트 세탁 프로그램(114)의 실행 코드를 저장할 수 있는 저장장치(예를 들어, 메모리)(도시되지 않음)를 포함할 수 있다.

(116)에서, 내부 드럼(106)에 세탁물을 적재하는 것에 반응하여, 처리 장치(112)는 광학 카메라(108) 및/또는 마이크로파 센서(110)로부터 센서 데이터를 수신할 수 있다. 센서 데이터는 세탁기 실린더 내부의 세탁물의 이미지일 수 있다. 센서 데이터에는 세탁물에서 반사되는 마이크로파 신호도 포함될 수 있다. 일 구현예에서, 세탁물의 모든 측면을 캡처하기 위해, 내부 드럼(106)은 수차례의 건식 스핀을 수행하여 광학 카메라(108) 및 마이크로파 센서(110)가 짧은 시간 동안 센서 데이터를 기록하도록 할 수 있다. 건식 스핀은 세탁물에 파묻힌 물품이 위로 올 수 있도록 함으로써 센서가 세탁물의 모든 물품의 센서 데이터를 캡처할 수 있도록 한다.

(118)에서, 처리 장치(112)는 센서 데이터에 기초하여 세탁물의 직물 특성을 검출할 수 있다. 직물 특성에는 직물 종류(예를 들어, 양모, 면, 실크, 플리스, 나일론, 폴리에스터 또는 이들의 혼방) 및 물품의 스티치 패턴이 포함될 수 있다.

(120)에서, 처리 장치(112)는 센서 데이터에 기초하여 세탁물에 있는 물품의 색상을 추가로 검출할 수 있다. 검출된 색상은 빨간색, 초록색, 파란색 등일 수 있다. 대안적으로, 검출된 색상은 어두운 색상, 중간 색상 및 밝은 색상의 범주일 수 있다.

(122)에서, 처리 장치(112)는 세탁물에 있는 물품의 검출된 직물 특성 및 색상에 기초하여 광학 세탁 코스를 결정할 수 있다. 세탁 코스는 세탁 시간 동안의 여러 설정 파라미터로 표현될 수 있다. 설정 파라미터에는 수온, 세탁 강도 및 탈수 속도가 포함될 수 있다.

(124)에서, 처리 장치(112)는 설정 파라미터(설정으로 지칭함)에 의해 결정된 세탁 코스에 따라 세탁기(100)가 작동하게 할 수 있다. 따라서, 세탁기(100)는 세탁물의 내용에 따라 최적의 모드로 작동될 수 있으며, 인간 조작자가 설정을 선택할 필요가 없게 된다.

지능형 세탁기(100) 및 스마트 세탁 프로그램(114)의 양태들을 아래에서 설명한다.

일 구현예에서, 광학 카메라(108)에 의해 캡처된 픽셀 값들에 기초하여 세탁물에 있는 물품의 직물 특성 및 색상을 결정하는 데 심층학습 신경망이 사용될 수 있다. 심층학습 신경망은 광학 카메라(108)에 의해 캡처된 이미지 프레임의 픽셀 값들에 의해 직접 훈련될 수 있다. 이 접근 방식은 일반적으로 픽셀 단위 분할 신경망(SegNet으로 지칭함)으로 지칭된다.

신경망은 입력 계층, 출력 계층 및 그 사이의 은닉 계층을 포함하는 노드의 다중 계층을 포함할 수 있다. 각 계층은 현재 계층과 이전 계층 사이의 노드를 연결하는 에지를 통해 이전 계층으로부터 계산된 노드 값과 관련된 노드를 포함할 수 있다. 계산은 입력 계층에서 중간의 은닉 계층을 통해 출력 계층으로 전파된다. 에지는 일 계층의 노드를 인접 계층의 노드에 연결할 수 있다. 각 에지는 가중치와 연관될 수 있다. 따라서, 현재 계층의 노드와 관련된 노드 값은 이전 계층의 노드 값의 가중 합계일 수 있다.

신경망의 한 유형은 은닉 계층에서 수행되는 계산이 이전 계층과 관련된 노드 값과 에지와 관련된 가중치의 합성곱일 수 있는 합성곱 신경망(CNN)이다. 예를 들어, 처리 장치는 입력 계층에 합성곱 연산을 적용하고 에지를 통해 입력 계층에 연결된 제1 은닉 계층에 대한 노드 값을 생성하며, 합성곱 연산을 제1 은닉 계층에 적용하여 제2 은닉 계층에 대한 노드 값을 생성하는 등 계산이 출력 계층에 도달할 때까지 계속할 수 있다. 처리 장치는 출력 데이터에 소프트 조합 연산을 적용하여 검출 결과를 생성할 수 있다. 검출 결과는 세탁물에 있는 물품의 직물 특성 및 색상일 수 있다.

CNN 외에도, 이미지 또는 비디오에서 상이한 객체를 검출하고 분류할 수 있는, 문헌에 기술된 다른 유형의 신경망 분류자가 있다. 이 경우, 세탁기 실린더 내 세탁물의 이미지는 비교적 다량의 엉킨 직물 물품을 보여줄 수 있고, 각 물품은 전체의 작은 부분을 완전히 무작위적인 패턴으로 보여준다. 픽셀 단위 분할 접근 방식은 각 세그먼트를 검출하고 그것을 이전에 확인된 항목과 연관시켜야 한다. 픽셀 단위 신경망 접근 방식의 복잡성은 분할 과정에서 생성된 계승 조합수에 비례한다. 따라서 엄청 다양한 직물 물품 종류로 인해 조합수는 매우 큰 값일 수 있다. 매우 다양한 모델, 패턴, 소재, 색상을 고려할 때, 이는 SegNet 유형의 신경망을 사용하여 모든 상이한 종류의 옷감을 검출하는 것을 사실상 불가능하게 한다.

계산 복잡성을 감소시키기 위해, 본 개시내용의 구현예는 직물 특성과 색상을 2개의 개별 단계에서 검출할 수 있고, 그 후 검출된 직물 특성 및 색상에 기초하여 적절한 세탁 코스를 결정할 수 있다.

일 구현예에서, 캡처된 각 이미지 프레임은 픽셀 어레이를 포함할 수 있으며, 여기서 픽셀 어레이는 N개의 패치로 분할될 수 있고, 각 패치는 M x M개의 픽셀을 포함하며, 여기서 N, M은 양의 정수 값이다. 처리 장치는 직물 특성을 결정하는 제1 단계와 각 패치 내에서 캡처된 물품에 대한 색상을 검출하는 제2 단계의 두 단계로 각 패치를 분석할 수 있다. 다른 일 구현예에서, 처리 장치는 직물 특성 및 색상에 대해 여러 패치를 병렬로 분석할 수 있다.

세탁물에 있는 직물 물품은 스티치의 크기 및 패턴, 실의 색상, 패턴 및 크기, 직물 소재(면, 실크, 양모 등)가 상이할 수 있다. 이미지 프레임에 표현되는 직물 물품의 스티치의 크기와 패턴은 카메라의 광학 중심과 물품 사이의 거리에 따라서도 달라진다. 거리는 세탁물의 양(즉, 적재물의 상단에서 카메라까지의 거리)에 따라 달라질 수 있다. 적재량이 적으면 내부 드럼의 바닥에 있게 되는 반면, 적재량이 매우 크면 드럼을 상단까지 채울 수 있다. 따라서, 일 구현예에서, 제1 단계는 깊이 지도를 검출하는 것을 포함할 수 있는데, 여기서 깊이 지도는 광학 카메라(108)의 광학 중심으로부터 적재물의 최상층까지의 거리를 나타내는 값들의 2차원 배열을 포함할 수 있다.

일 구현예에서, 신경망은 깊이 검출을 위해 훈련될 수 있다. 훈련 데이터 세트에 대한 실측 값은 희소 순서 주석을 사용하여 구성할 수 있다. 각 훈련 예제는 한 쌍의 지점과 훈련 예제에서 카메라까지의 상대 거리로 주석을 달면 된다. 훈련 후, 신경망은 광학 카메라(108)에 의해 캡처된 다른 이미지 프레임에 대한 전체 깊이 지도를 검출하는 데 사용될 수 있다.

다른 일 구현예에서, 마이크로파 센서(110)가 깊이 지도를 검출하기 위해 사용될 수 있다. 마이크로파 센서(110)는 도 3에 도시된 바와 같이 광학 카메라(108) 옆에 배치된 Tx 안테나(110A) 및 Rx 안테나(110B)를 포함하는 24㎓ 도플러 레이더를 포함할 수 있다. Rx 및 Tx 안테나는 소인 증분이 30도인 마이크로스트립 위상 어레이를 포함할 수 있다. Tx 안테나(110A)로부터 방출되어 Rx 안테나(110B)에 의해 수신된 마이크로파 빔이 이동한 왕복 거리는 안테나와 적재물의 상부면 사이의 거리의 두 배와 같다.

처리 장치는 다음과 같이 직물 특성을 결정할 수 있다. 첫째, 데이터 세트는 비슷한 크기의 스티치를 가진 클래스끼리 분류된다. 각 스티치 클래스에는 예를 들어 면, 나일론 등과 같은 소재별로 여러 하위 클래스가 포함될 수 있다.

도 4는 본 개시내용의 일 구현예에 따른 스티치 크기 검출방법(400)의 순서도를 도시한다. 방법(400)은 하드웨어(예를 들어, 회로, 전용 로직), 컴퓨터 판독 가능 명령어(예를 들어, 범용 컴퓨터 시스템 또는 전용 기계에서 실행됨), 또는 둘 모두의 조합을 포함할 수 있는 처리 장치에 의해 수행될 수 있다. 방법(400)과 그 개별 기능, 루틴, 서브루틴, 또는 동작 각각은 방법을 실행하는 컴퓨터 장치의 하나 이상의 프로세서에 의해 수행될 수 있다. 특정 구현예에서, 방법(400)은 단일 처리 스레드에 의해 수행될 수 있다. 대안적으로, 방법(400)은 둘 이상의 처리 스레드에 의해 수행될 수 있으며, 각각의 스레드는 방법의 하나 이상의 개별 기능, 루틴, 서브루틴 또는 동작을 실행한다.

설명의 단순화를 위해, 본 개시내용의 방법은 일련의 동작으로 묘사되고 설명된다. 그러나, 본 개시내용에 따른 동작은 다양한 순서로 및/또는 동시에, 그리고 여기에 제시 및 설명되지 않은 다른 동작과 함께 발생할 수 있다. 또한, 개시된 발명 내용에 따라 방법을 구현하기 위해 설명되는 동작이 모두 필요한 것은 아니다. 또한, 통상의 기술자는 방법이 상태 다이어그램 또는 이벤트를 통해 일련의 상호 관련된 상태로 대안적으로 표현될 수 있음을 이해하고 인정할 것이다. 추가로, 본 명세서에 개시된 방법은 이러한 방법을 컴퓨팅 장치로 이송 및 전송하는 것을 용이하게 하기 위해 제조품에 저장될 수 있음을 이해해야 한다. 본 명세서에서 사용되는 용어 "제조품"은 임의의 컴퓨터 판독 가능 장치 또는 저장매체로부터 액세스 가능한 컴퓨터 프로그램을 포함하도록 의도된다. 일 구현예에서, 방법(400)은 도 1에 도시된 바와 같이 스마트 세탁 프로그램(114)을 실행하는 처리 장치(112)에 의해 수행될 수 있다.

도 4에 도시된 바와 같이, (402)에서, 처리 장치(112)는 이미지 프레임의 패치를 수신할 수 있다. 패치는 픽셀 값의 배열(M x M)을 포함할 수 있다. 각 픽셀 값은 적, 녹, 청(RGB) 성분을 나타내는 세 가지 성분을 포함할 수 있다. (404)에서, 처리 장치(112)는 RGB 성분을 회색조(greyscale)값으로 변환할 수 있다. 예를 들어, 각 픽셀에 대한 회색조값은 그 RGB 성분의 가중 평균으로 계산될 수 있다(예를 들어, 회색조 = 0.3*R + 0.59*G + 0.11*B). 또한, (406)에서, 처리 장치(112)는 계산된 회색조값을 이산값 범위(예를 들어, 1바이트에 의해 표현되는 [0, 255]의 범위)로 정규화할 수 있다. 정규화된 회색조값의 M×M 배열은 정사각 행렬을 형성할 수 있다. (408), (410)에서, 처리 장치(112)는 M×M 행렬의 고유값 및 고유 벡터를 계산할 수 있다. (414)에서, 처리 장치(112)는 각 패치의 2D 이미지 데이터(412)를 1D 벡터로 변환할 수 있다. 1D 벡터는 2D 배열을 행 단위로 연쇄하여 생성할 수 있다. (416)에서, 처리 장치(112)는 1D 벡터에 대해 저역통과필터를 수행할 수 있으며, 여기서 유한임펄스필터(FII)가 고유 벡터를 사용하여 형성된다. 저역통과 FIR 필터는 1D 벡터에서 고주파 성분을 제거할 수 있다. 필터링된 신호는 스티치의 주기성을 반영한다. (418)에서, 처리 장치(112)는 필터링된 신호의 푸리에 변환을 계산할 수 있다. 필터링된 신호의 푸리에 변환은 그 특정 직물 스티치 크기에 대한 주파수 특성을 반환할 수 있다. (420)에서, 처리 장치(120)는 스티치의 유형 또는 클래스를 결정하기 위해 임계화 동작을 추가로 수행할 수 있다.

스티치 클래스를 결정하기 위해 신경망이 사용될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, (422)에서 처리 장치(112)는 신경망을 선택할 수 있고, (424)에서 신경망을 사용하여 (426)에서 스티치의 유형 또는 클래스를 결정한다.

각 스티치 클래스는 상이한 직물 소재의 하위 클래스를 포함할 수 있다. 예를 들어, 특정 스티치 크기와 관련하여, 소재는 면 또는 양모일 수 있다. 일 구현예에서, 하위 클래스를 결정하는 데 캡슐 신경망이 사용될 수 있다. 캡슐 신경망은 합성곱 신경망에 구조를 추가할 수 있다. 각 캡슐에는 클래스의 상이한 특성에 대해 개별적으로 활성화되는 뉴런 세트가 포함될 수 있다. 각각의 스티치 클래스는 도 5에 도시된 바와 같이 별개의 이산 신경망에 의해 결정될 수 있으며, 이 경우 클래스 수 또는 신경망 수는 다를 수 있다. CNN은 대부분 이동 불변이지만 캡슐망에는 회전 불변이라는 추가 특성이 있다. 이것은 회전하는 드럼 환경에서 유용하다. 캡슐망은 일반적으로 특정 종류의 직물이 몇 개 있는지 계산하지 않는다. 세탁기에 적용하는 경우 캡슐망은 세탁물에 있는 특정 직물의 존재여부만 알면 되고 그 직물이 존재하는 횟수는 알 필요가 없다. 예를 들어, 도 5는 세탁물 색상(흰색, 어두운 색, 밝은 색), 양모(예 또는 아니요), 실크(예 또는 아니요), 더러움(예 또는 아니요), 데님(예 또는 아니요), 금속(예 또는 아니요), 나일론(예 또는 아니요) 및 플라스틱(예 또는 아니요)을 결정하기 위해 10개의 캡슐 신경망이 있을 수 있음을 나타낸다.

일 구현예에서, 세탁물에 있는 직물 물품의 색상은 픽셀 비닝 방법(pixel binning method)을 사용하여 결정될 수 있다. 그 방법은 각각 다수의 색상에 대응하는 다수의 빈(bin)을 색상 히스토그램에 할당하는 단계를 포함할 수 있다. 캡처된 이미지 프레임의 패치 내의 각 픽셀에 대해, 처리 장치(112)는 픽셀 색상으로부터 각각의 빈 색상까지의 유클리드 거리를 계산할 수 있다. 처리 장치(112)는 히스토그램 상에서 가장 가까운 색상의 계수기를 더 증가시킬 수 있다. 마지막으로, 처리 장치(112)는 오검출을 제거하기 위해 히스토그램에 임계치를 적용할 수 있다.

다른 구현예에서, 색상을 결정하기 위해 신경망이 사용될 수 있다. 픽셀 비닝 방법에 비해 신경망 접근 방식은 연산 리소스를 덜 소비할 수 있다. 도 6은 본 개시내용의 일 구현예에 따른 색상 검출을 위한 신경망(600)을 도시한다. 도 6에 도시된 바와 같이, 신경망(600)은 2개의 계층, 즉 시그모이드(Sigmoid) 액추에이터(604)를 갖는 25개의 뉴런을 포함하는 하나의 선형 계층(602)과 하나의 소프트맥스(SoftMax) 계층(606)을 포함할 수 있다. 25개의 뉴런은 25개의 색상 클래스에 대응할 수 있다. 모든 패치에 대해, 신경망(600)에 대한 입력은 RGB값(<R>, <G>, <B>)의 평균을 나타내는 크기 3의 벡터이고 출력은 색상 클래스이다. 일 구현예에서, 색상을 검출하기 위한 신경망은 직물 종류를 검출하는 데 사용되는 신경망과 별개이다.

소재 검출을 위한 신경망은 패브릭 데이터 세트(Fabrics Dataset)(https://ibug.doc.ic.ac.uk/resources/fabrics/)를 사용하여 훈련되고 테스트될 수 있다. 패브릭 데이터 세트에는 26가지 상이한 종류의 직물에 대한 약 2,000개의 샘플이 포함되어 있다. 훈련 및 테스트를 위해 6개 또는 8개의 가장 일반적인 종류가 선택된다.

일 구현예에서, 지능형 세탁기는 결정된 수의 사이클을 포함하는 저속 건식 스핀을 먼저 수행하여 센서가 센서 데이터를 캡처할 수 있도록 하고 센서 데이터에 기초하여 직물 특성 및 색상을 검출할 수 있다. 도 7은 본 개시내용의 일 구현예에 따른 직물 특성 및 색상 검출방법(700)의 순서도를 도시한다. 도 7에 도시된 바와 같이, (702)에서, 처리 장치(702)는 RGB 이미지 프레임으로부터 패치를 식별할 수 있다. (704)에서, 처리 장치(112)는 정규화를 통해 RGB값을 회색조값으로 변환할 수 있다. (706)에서, 처리 장치(112)는 소재 클래스를 결정하기 위해 회색조 이미지에 소재 신경망을 적용할 수 있다. 위에서 논의된 바와 같이, 그로부터 얻어지는 클래스는 가능성 확률과 관련된 여러 클래스가 될 수 있다. 또한 여러 패치가 여러 후보 소재 클래스를 생성할 수 있다. (708)에서, 처리 장치(112)는 검출된 소재 클래스의 히스토그램을 계산할 수 있다. 히스토그램은 여러 소재 클래스의 검출 빈도를 반영할 수 있다. (710)에서, 처리 장치(112)는 소재 클래스의 히스토그램에 기초하여 소재 클래스를 선택할 수 있다. 선택한 소재는 확률이 더 높은 소재이다.

유사하게, (712)에서, 처리 장치(112)는 이미지 프레임의 패치의 RGB값을 계산할 수 있다. (714)에서, 처리 장치(112)는 패치의 색상 클래스를 결정하기 위해 색상 신경망을 적용할 수 있다. (716)에서, 처리 장치(112)는 검출된 색상 클래스의 히스토그램을 계산할 수 있다. 히스토그램은 여러 색상 클래스의 검출 빈도를 반영할 수 있다. (718)에서, 처리 장치는 색상 클래스의 히스토그램에 기초하여 색상 클래스를 선택할 수 있다. 선택한 색상은 확률이 더 높은 색상이다. (720)에서, 처리 장치(112)는 검출된 소재의 소재 목록 및 직물 물품의 검출된 색상의 색상 목록을 형성할 수 있다.

일 구현예에서, 검출된 소재 및 색상을 세탁 코스에 매핑하는 데 상태 차트가 사용될 수 있다. 도 8은 본 개시내용의 일 구현예에 따른 상태 차트를 도시한다. 도 8에 도시된 바와 같이, 상태 차트는 애벌 세탁, 세탁 온도, 헹굼 온도 및 세탁 강도를 나타내는 분당 회전수를 포함하는 적절한 세탁 코스에 직물 종류 및 색상을 매핑하는 매칭 테이블을 포함한다. 대안적인 구현예에서, 상태 차트를 사용하는 대신, 처리 장치(112)는 세탁물의 결정된 소재 및/또는 색상을 적절한 수준의 애벌 세탁 시간, 세탁 온도, 헹굼 온도 및 분당 회전수에 직접 매핑할 수 있다. 이러한 수준은 세탁물의 결정된 소재 및/또는 색상에 따라 달라질 수 있다.

프로세서가 100% 정확도로 세탁물을 분류하더라도 모든 사용자가 최적의 세탁 코스를 선택하기를 원하지는 않는다는 점을 인식해야 한다. 사용자 선호도를 수용하기 위해 강화 학습 알고리즘이라고 하는 특수한 유형의 기계학습 알고리즘을 사용하여 사용자의 선호도와 일치시킬 수 있다. 일 구현예에서, 다음과 같은 시나리오, 즉 사용자는 특정 개인 물품을 인식하고 적절한 코스를 선택하도록 신경망을 훈련함으로써 기계를 개인화하는 옵션을 가진다는 시나리오가 가능하다. 이는 도 9에 도시된 바와 같이 강화 학습 시스템(900)을 도입함으로써 수행될 수 있다. 시스템(900)은 특성(예를 들어, 직물 종류, 색상 등)을 결정하고 도 8과 관련하여 설명한 바와 같이 상태 차트에 기초하여 세탁 코스를 설정할 수 있다. 인간 조작자가 세탁기 코스를 오버라이드(override)하고 변경하면, 시스템의 처리 장치는 강화 학습 알고리즘을 실행하여 사용자의 선호도를 학습하고 후속 세탁 적재물에서 사용자가 선호하는 코스를 선택할 수 있다. 정보는 서버로 다시 전달되어 환경을 훈련시키는 데 사용된다. 알고리즘은 중요한 개인 물품을 포함하여 사용자별 사례를 학습하는 데도 사용할 수 있다. 아래 프로세스를 사용할 수 있다:

a. 사용자는 다른 물품과 섞이게 하고 싶지 않은 다수의 민감한 물품이 있을 수 있다. 그렇지 않으면, 기계는 그러한 특정 물품을 보호하기 위해 코스를 선택한다;

b. (세탁기 카메라를 사용하여) 각 물품의 사진을 찍고 사진에 직물 종류에 대한 주석을 단다;

c. 모든 사진을 저장하고 주석이 달린 사진을 서버로 보낸다;

d. 서버는 새로운 물품으로 신경망을 재훈련시키고 새로운 신경망을 훈련시킬 수 있다.

e. 차후 세탁기는 기본 코스 또는 새로운 정보에 기초한 미리 프로그램된 개인 코스를 선택할 것이다. 개인 물품은 훈련의 일부이므로 검출율이 훨씬 향상될 것이다.

새로운 신경망은 외관을 나타내는 이미지를 기반으로 결정을 내리고 상이한 구성에도 불구하고 많은 직물이 매우 유사하게 보이기 때문에, 상이한 종류의 직물을 구별하는 데 일부 다른 테스트가 도움이 될 수 있다. 좋은 후보로는 고주파 반사율 방법이 있다.

직물 특성을 결정하기 위해 마이크로파 센서(110)가 사용될 수 있다. 직물 표면에서 마이크로파의 반사 및 투과 특성을 사용하여 두 소재를 구분할 수 있다. 또한 이러한 특성은 전기 유전율에 따라 달라지고, 전기 유전율은 다시 수분 함량에 따라 달라진다.

상이한 직물은 스티치의 밀도 및 특정 소재의 접착 특성에 따라 상이한 양의 수분을 저장할 수 있다. 결과적으로, 건조한 직물과 젖은 직물은 반사 계수가 상이하다.

건조 직물은 습윤 직물과 달리 마이크로파를 반사한다. 맥스웰 가넷(Maxwell Garnett) 공식을 사용하면, 유효 유전율은 다음 공식으로 계산된다.

여기서

는 물의 유전율,

는 직물의 유전율 그리고

는 직물에 저장된 수분의 분율이다.

반사 지수는

이며, 여기서 n은 유전율의 제곱근이다.

유전율 및 반사 지수에 기초하여 직물 소재를 결정하기 위해 아래 작업이 사용될 수 있다. 처리 장치는 다음을 수행하도록 구성될 수 있다.

1. 처리 장치는 초기에 다음과 같이 시스템을 교정할 수 있다:

다양한 수분 분율

에 대해 반사 지수 R을 측정하며, 여기서 R은

에 의해 크게 변한다. R의 값은 처리 장치에 연결된 저장장치의 참조표에 저장할 수 있다.

2. 처리 장치는 안테나와 적재물 표면 사이의 거리에 대해 수신된(반사된) 파동 에너지를 보정하고(EM 에너지는 거리의 제곱으로 감쇠됨) 시간 간격에 대해 평균을 낼 수 있다. 거리는 입사파와 반사파 사이의 위상 지연을 사용하여 측정된다.

3. 처리 장치는 각 카메라 측정을 마이크로파 측정과 페어링할 수 있다. 카메라만을 사용한 검출시에 발생할 수 있는 면과 폴리에스터와 같은 두 가지 상이한 소재 간의 모호성은 반사율 차이와 그로 인한 수신된 마이크로파 에너지 간의 차이에 의해 해결할 수 있다.

4. 세탁기에 마이크로파 센서가 장착된 경우 건식 및 습식 모드 테스트는 습식(습윤) 테스트만으로 대체될 수 있다. 다만, 수분 수준은 일부 미스트 프로세스를 통해 제어될 수 있다.

5. 카메라와 마이크로파 센서를 모두 포함하는 더 복잡한 하나의 신경망이 카메라로 캡처한 이미지와 마이크로파 센서로 측정한 반사 지수 R을 모두 고려하도록 훈련될 수 있다.

도 10은 본 개시내용의 하나 이상의 양태에 따라 동작하는 컴퓨터 시스템의 블록도를 도시한다. 다양한 예시적인 예에서, 컴퓨터 시스템(1000)은 도 1의 처리 장치(112)에 대응할 수 있다.

특정 구현예에서, 컴퓨터 시스템(1000)은(예를 들어, 근거리 통신망(LAN), 인트라넷, 엑스트라넷, 또는 인터넷과 같은 네트워크를 통해) 다른 컴퓨터 시스템에 연결될 수 있다. 컴퓨터 시스템(1000)은 클라이언트-서버 환경에서 서버 또는 클라이언트 컴퓨터의 자격으로, 또는 피어-투-피어 또는 분산 네트워크 환경에서 피어 컴퓨터로서 동작할 수 있다. 컴퓨터 시스템(1000)은 개인용 컴퓨터(PC), 태블릿 PC, 셋톱박스(STB), 개인 정보 단말기(PDA), 휴대폰, 웹 기기, 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 장치에서 수행할 동작을 지정하는 일련의 (순차적 또는 기타) 명령어를 실행할 수 있는 모든 장치에 의해 제공될 수 있다. 또한, "컴퓨터"라는 용어는 본 명세서에 설명한 방법 중 임의의 하나 이상을 수행하기 위해 한 세트(또는 여러 세트)의 명령어를 개별적으로 또는 공동으로 실행하는 임의의 컴퓨터 모음을 포함해야 한다.

추가 양태에서, 컴퓨터 시스템(1000)은 처리 장치(1002), 휘발성 메모리(1004)(예를 들어, 랜덤 액세스 메모리(RAM)), 비휘발성 메모리(1006)(예를 들어, 읽기 전용 메모리(ROM) 또는 전기소거 프로그램가능 롬(EEPROM)) 및 버스(1008)를 통해 서로 통신할 수 있는 데이터 저장장치(1016)를 포함할 수 있다.

처리 장치(1002)는 범용 프로세서(예를 들어, 복합 명령어 세트 컴퓨팅(CISC) 마이크로프로세서, 축소 명령어 세트 컴퓨팅(RISC) 마이크로프로세서, 매우 긴 명령어(VLIW) 마이크로프로세서, 다른 유형의 명령어 세트를 구현하는 마이크로프로세서 또는 명령어 세트 유형들의 조합을 구현하는 마이크로프로세서) 또는 특수 프로세서(예를 들어, 특정 용도용 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 또는 네트워크 프로세서)와 같은 하나 이상의 프로세서에 의해 제공될 수 있다.

컴퓨터 시스템(1000)은 네트워크 인터페이스 장치(1022)를 더 포함할 수 있다. 컴퓨터 시스템(1000)은 또한 비디오 디스플레이 유닛(1010)(예를 들어, LCD), 영숫자 입력장치(1012)(예를 들어, 키보드), 커서 제어장치(1014)(예를 들어, 마우스) 및 신호 생성 장치(1020)를 더 포함할 수 있다.

데이터 저장장치(1016)는 방법(400)을 구현하기 위한 도 1의 스마트 세탁 프로그램(114)의 구축자의 명령어를 포함하여 본 명세서에서 설명한 방법 또는 기능 중 임의의 하나 이상을 인코딩하는 명령어(1026)를 저장할 수 있는 비일시적 컴퓨터 판독 가능 저장매체(1024)를 포함할 수 있다.

명령어(1026)는 또한 컴퓨터 시스템(1000)에 의해 실행되는 동안 휘발성 메모리(1004) 내에 및/또는 처리 장치(1002) 내에 전체적으로 또는 부분적으로 존재할 수 있으므로, 휘발성 메모리(1004) 및 처리 장치(1002) 역시 기계판독가능 저장매체를 구성할 수 있다.

컴퓨터 판독 가능 저장매체(1024)가 예시적인 예들에서 단일 매체로 도시되어 있지만, "컴퓨터 판독 가능 저장매체"라는 용어는 하나 이상의 실행가능한 명령어 세트를 저장하는 단일 매체 또는 다중 매체(예를 들어, 중앙집중식 또는 분산 데이터베이스 및/또는 관련 캐시 및 서버)를 포함한다. "컴퓨터 판독 가능 저장매체"라는 용어는 또한 컴퓨터가 본 명세서에 설명한 임의의 하나 이상의 방법을 수행하게 하는 컴퓨터에 의한 실행을 위한 한 세트의 명령어를 저장하거나 인코딩할 수 있는 임의의 유형 매체를 포함한다. "컴퓨터 판독 가능 저장매체"라는 용어는 고체상태 메모리, 광학 매체 및 자기 매체를 포함하지만 이에 국한되지 않는다.

본 명세서에서 설명한 방법, 구성요소 및 기능은 개별 하드웨어 구성요소에 의해 구현될 수 있거나 ASICS, FPGA, DSP 또는 유사한 장치와 같은 다른 하드웨어 구성요소의 기능에 통합될 수 있다. 또한 방법, 구성요소 및 기능은 하드웨어 장치 내의 펌웨어 모듈 또는 기능 회로에 의해 구현될 수 있다. 더욱이, 방법, 구성요소 및 기능은 하드웨어 장치 및 컴퓨터 프로그램 구성요소의 임의의 조합으로 또는 컴퓨터 프로그램으로 구현될 수 있다.

달리 구체적으로 언급되지 않는 한, "수신", "연관", "결정", "업데이트" 등과 같은 용어는 컴퓨터 시스템 레지스터 및 메모리 내에서 물리적인(전자적인) 양으로 표현되는 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 이러한 정보 저장, 전송 또는 디스플레이 장치 내에서 유사하게 물리량으로 표현되는 다른 데이터로 조작하고 변형하는 컴퓨터 시스템에 의해 수행되거나 구현되는 동작 및 프로세스를 지칭한다. 또한, 본 명세서에서 사용되는 "제1", "제2", "제3", "제4" 등의 용어는 상이한 요소들을 구별하기 위한 라벨의 의미이며, 그 숫자 지정에 따른 서수적 의미를 가져서는 안 된다.

본 명세서에 기재된 예는 또한 본 명세서에 기재된 방법을 수행하기 위한 장치에 관한 것이다. 이 장치는 본 명세서에서 설명한 방법을 수행하기 위해 특별히 구성될 수 있거나, 컴퓨터 시스템에 저장된 컴퓨터 프로그램에 의해 선택적으로 프로그래밍된 범용 컴퓨터 시스템을 포함할 수 있다. 그러한 컴퓨터 프로그램은 컴퓨터 판독 가능한 유형 저장매체에 저장될 수 있다.

본 명세서에서 설명한 방법 및 예시적인 예는 본질적으로 임의의 특정 컴퓨터 또는 다른 장치와 관련되지 않는다. 다양한 범용 시스템이 본 명세서에서 설명한 교시에 따라 사용될 수 있거나, 방법(300) 및/또는 그 개별 기능, 루틴, 서브루틴 또는 동작의 각각을 수행하기 위해 보다 전문화된 장치를 구성하는 것이 편리하다고 판명될 수 있다. 다수의 이러한 시스템에 대한 구조의 예가 위의 설명에 기재되어 있다.

상기 설명은 예시를 위한 것이며, 제한적인 것이 아니다. 본 개시가 특정 예시적인 예들 및 구현예들을 참조하여 설명되었지만, 본 개시가 설명된 예들 및 구현예들로 제한되지 않음이 인정될 것이다. 본 개시내용의 범위는 아래의 청구범위와 함께 청구범위에 합당한 등가물의 전체 범위를 참조하여 결정되어야 한다.

Claims

세탁기로서,
세탁물을 수용하기 위한 세탁실을 포함하는 회전식 실린더;
하나 이상의 센서; 및
상기 하나 이상의 센서와 통신 가능하도록 연결된 처리 장치를 포함하되, 상기 처리 장치는,
상기 하나 이상의 센서에 의해 캡처된 센서 데이터를 수신하고;
상기 센서 데이터에 기초한 기계학습 모델을 사용하여 상기 세탁물과 관련된 복수의 특성을 결정하고;
상기 복수의 특성에 기초하여 상기 세탁기에 대한 설정을 결정하고; 그리고
상기 세탁기가 설정에 따라 작동하도록
상기 세탁기의 작동을 제어하는, 세탁기.
제1항에 있어서, 상기 하나 이상의 센서는 상기 세탁물의 하나 이상의 이미지를 캡처하기 위한 카메라와 제1 마이크로파 신호를 상기 세탁물로 방출하고 상기 세탁물에서 반사된 제2 마이크로파 신호를 수신하는 마이크로파 센서 중 적어도 하나를 포함하는, 세탁기.
제2항에 있어서, 상기 카메라는 상기 세탁실 내부에 설치되고, 상기 카메라는 상기 세탁실의 중앙을 향하는 렌즈를 포함하며, 상기 카메라는 상기 회전식 실린더의 회전 운동과 무관한 위치에 고정되는, 세탁기.
제2항에 있어서, 상기 하나 이상의 센서에 의해 캡처된 센서 데이터를 수신하기 전에, 상기 처리 장치는 상기 회전식 실린더가 소정 회전수만큼 회전하도록 하고 상기 회전식 실린더가 회전하는 동안 상기 세탁물의 상기 하나 이상의 이미지를 캡처하는, 세탁기.
제2항에 있어서, 상기 센서 데이터에 기초한 기계학습 모델을 사용하여, 상기 세탁물과 관련된 복수의 특성을 결정하기 위하여, 상기 처리 장치는,
픽셀 값들의 어레이를 포함하는 이미지 프레임을 포함하는 상기 하나 이상의 이미지를 수신하고;
픽셀 값들의 상기 어레이를 회색조 요소들을 포함하는 벡터로 변환하고;
회색조 요소들을 포함하는 상기 벡터를 저역통과필터로 필터링하여 회색조 요소들을 포함하는 필터링된 벡터를 생성하고;
회색조 요소들을 포함하는 상기 필터링된 벡터의 주파수영역 표현을 계산하고; 그리고
회색조 요소들을 포함하는 상기 필터링된 벡터의 상기 주파수영역 표현에 기초한 상기 기계학습 모델을 사용하여 상기 세탁물과 관련된 상기 복수의 특성을 결정하는, 세탁기.
제2항에 있어서, 상기 마이크로파 센서는 마이크로파 방출기 및 마이크로파 수신기를 포함하고, 상기 카메라는 상기 마이크로파 방출기와 상기 마이크로파 수신기의 사이에 위치되며, 상기 처리 장치는,
상기 마이크로파 방출기로부터 방출된 상기 제1 마이크로파 신호와 상기 마이크로파 수신기에 의해 수신된 상기 제2 마이크로파 신호 사이의 시간지연에 기초하여 상기 세탁물과 상기 카메라의 중심 사이의 거리를 결정하고; 그리고
상기 하나 이상의 이미지 및 상기 거리에 기초한 상기 기계학습 모델을 사용하여 상기 세탁물과 관련된 상기 복수의 특성을 결정하는, 세탁기.
제2항에 있어서, 상기 마이크로파 센서는 마이크로파 방출기 및 마이크로파 수신기를 포함하며, 상기 처리 장치는,
상기 세탁물과 관련된 반사 지수를 결정하고;
상기 반사 지수에 기초하여 상기 세탁물과 관련된 습율 분율 값을 결정하고; 그리고
상기 하나 이상의 이미지 및 상기 습윤 분율에 기초한 상기 기계학습 모델을 사용하여, 상기 세탁물과 관련된 상기 복수의 특성을 결정하는, 세탁기.
제2항에 있어서, 상기 센서 데이터에 기초한 기계학습 모델을 사용하여 상기 세탁물과 관련된 복수의 특성을 결정하기 위해, 상기 처리 장치는,
상기 하나 이상의 이미지의 이미지 프레임을 복수의 패치로 분할하며;
상기 복수의 패치 각각에 대해,
제1 기계학습 모델을 사용하여 상기 세탁물의 색상 클래스를 결정하고;
상기 패치의 색상 픽셀 값들을 회색조 요소들을 포함하는 벡터로 변환하고;
회색조 요소들을 포함하는 상기 벡터에 기초한 제2 기계학습 모델을 사용하여 상기 세탁물의 하나 이상의 소재 클래스를 결정하고; 그리고
상기 복수의 패치 모두에 대한 상기 결정된 색상 클래스 및 소재 클래스에 기초하여 상기 세탁기에 대한 상기 설정을 결정하는, 세탁기.
제1항에 있어서, 상기 설정은 애벌 세탁의 수준, 세탁 온도의 수준, 헹굼 온도의 수준, 또는 회전식 실린더에 대한 분당 회전수 중 적어도 하나를 포함하는, 세탁기.
제1항에 있어서, 상기 복수의 특성은 상기 세탁물의 직물의 종류, 상기 세탁물의 색상, 상기 세탁물의 소재의 종류, 또는 상기 세탁물의 마모상태 중 적어도 하나를 포함하는, 세탁기.
제1항에 있어서, 상기 기계학습 모델은 합성곱 신경망(CNN), 완전연결 신경망, 픽셀 단위 분할 신경망(SegNet), 캡슐 신경망, 또는 강화 학습 신경망 중 적어도 하나를 포함하는, 세탁기.
제11항에 있어서, 상기 설정의 사용자 오버라이드를 확인하는 것에 반응하여, 상기 처리 장치는 상기 사용자 오버라이드에 기초하여 상기 기계학습 모델을 업데이트하는, 세탁기.
세탁기의 작동방법으로서,
상기 세탁기의 처리 장치에 의해, 상기 처리 장치에 통신 가능하도록 결합된 하나 이상의 센서에 의해 캡처된 센서 데이터를 수신하는 단계;
상기 처리 장치가 상기 센서 데이터에 기초한 기계학습 모델을 사용하는 것에 의해, 상기 세탁물과 관련된 복수의 특성을 결정하는 단계;
상기 처리 장치에 의해, 상기 복수의 특성에 기초하여 상기 세탁기에 대한 설정을 결정하는 단계; 및
상기 설정에 따라 상기 세탁기가 작동하도록 하는 단계
를 포함하는 세탁기의 작동방법.
제13항에 있어서, 상기 하나 이상의 센서는 상기 세탁물의 하나 이상의 이미지를 캡처하기 위한 카메라 또는 상기 세탁물로 제1 마이크로파 신호를 방출하고 상기 세탁물에서 반사된 제2 마이크로파 신호를 수신하기 위한 마이크로파 센서 중 적어도 하나를 포함하는, 세탁기의 작동방법.
제14항에 있어서, 상기 카메라는 상기 세탁실 내부에 설치되고, 상기 카메라는 상기 세탁실의 중앙을 향하는 렌즈를 포함하며, 상기 카메라는 상기 회전식 실린더의 회전 운동과 무관한 위치에 고정되는, 세탁기의 작동방법.
제14항에 있어서, 상기 하나 이상의 센서에 의해 캡처된 상기 센서 데이터를 수신하기 전에, 상기 회전식 실린더가 소정 회전수만큼 회전하도록 하고 상기 회전식 실린더가 회전하는 동안 상기 세탁물의 상기 하나 이상의 이미지를 캡처하는 단계를 더 포함하는 세탁기의 작동방법.
제14항에 있어서, 상기 센서 데이터에 기초한 기계학습 모델을 사용하여, 상기 세탁물과 관련된 복수의 특성을 결정하는 단계는,
픽셀 값들의 어레이를 포함하는 이미지 프레임을 포함하는 상기 하나 이상의 이미지를 수신하는 단계;
픽셀 값들의 상기 어레이를 회색조 요소들을 포함하는 벡터로 변환하는 단계;
회색조 요소들을 포함하는 상기 벡터를 저역통과필터로 필터링하여 회색조 요소들을 포함하는 필터링된 벡터를 생성하는 단계;
회색조 요소들을 포함하는 상기 필터링된 벡터의 주파수영역 표현을 계산하는 단계; 및
회색조 요소들을 포함하는 상기 필터링된 벡터의 상기 주파수영역 표현에 기초한 상기 기계학습 모델을 사용하여 상기 세탁물과 관련된 상기 복수의 특성을 결정하는 단계
를 더 포함하는, 세탁기의 작동방법.
제14항에 있어서, 상기 마이크로파 센서는 마이크로파 방출기 및 마이크로파 수신기를 포함하고, 상기 카메라는 상기 마이크로파 방출기와 상기 마이크로파 수신기의 사이에 위치되며, 상기 방법은,
상기 마이크로파 방출기로부터 방출된 상기 제1 마이크로파 신호와 상기 마이크로파 수신기에 의해 수신된 상기 제2 마이크로파 신호 사이의 시간지연에 기초하여 상기 세탁물과 상기 카메라의 중심 사이의 거리를 결정하는 단계; 및
상기 하나 이상의 이미지 및 상기 거리에 기초한 상기 기계학습 모델을 사용하여 상기 세탁물과 관련된 상기 복수의 특성을 결정하는 단계
를 더 포함하는, 세탁기의 작동방법.
실행되면 처리 장치가 세탁기를 작동시키도록 하는 기계실행가능 명령어들이 저장되어 있는 기계판독가능한 비일시적 매체로서, 상기 처리 장치는,
상기 세탁기의 상기 처리 장치에 의해, 상기 처리 장치에 통신 가능하도록 결합된 하나 이상의 센서에 의해 캡처된 센서 데이터를 수신하고;
상기 처리 장치가 상기 센서 데이터에 기초한 기계학습 모델을 사용하는 것에 의해, 상기 세탁물과 관련된 복수의 특성을 결정하고;
상기 처리 장치에 의해, 상기 복수의 특성에 기초하여 상기 세탁기에 대한 설정을 결정하고; 그리고
상기 설정에 따라 상기 세탁기가 작동하도록 하는, 기계판독가능한 비일시적 매체.
제19항에 있어서, 상기 하나 이상의 센서는 상기 세탁물의 하나 이상의 이미지를 캡처하기 위한 카메라 또는 상기 세탁물로 제1 마이크로파 신호를 방출하고 상기 세탁물에서 반사된 제2 마이크로파 신호를 수신하기 위한 마이크로파 센서 중 적어도 하나를 포함하는, 기계판독가능한 비일시적 매체.