KR20210088327A

KR20210088327A - Dish washer and control method for dish washer

Info

Publication number: KR20210088327A
Application number: KR1020200001620A
Authority: KR
Inventors: 손창우; 권배근
Original assignee: 엘지전자 주식회사
Priority date: 2020-01-06
Filing date: 2020-01-06
Publication date: 2021-07-14

Abstract

An embodiment is a dish washer including a washing tank in which dishes are washed, wherein the dish washer includes a control unit which processes an image generated by photographing a rack to generate an edge image, recognizes the rack by using the edge of the rack, recognizes a storing position of dishes and counts dishes, and changes a preset washing course according to a storage position and a count result, and the image processing includes the control unit. In an embodiment, the image processing is to convert a captured image into a binary image, and then generate the edge image by using an edge detector.

Description

DISH WASHER AND CONTROL METHOD FOR DISH WASHER

실시예는 식기 세척기 및 식기 세척기의 제어 방법에 관한 것으로서, 보다 상세하게는 감지된 식기량에 따라 세척을 제어할 수 있는, 식기 세척기 및 식기 세척기의 제어 방법에 관한 것이다.Embodiments relate to a dishwasher and a method of controlling the dishwasher, and more particularly, to a dishwasher and a control method of the dishwasher, capable of controlling washing according to a detected amount of dishes.

일반적으로 식기 세척기는 세제 등을 이용하여 식기류를 자동으로 세척하고 건조하는 장치이다. 이러한 식기 세척기는 본체 내부에 거치 된 식기를 세척, 헹굼 및 건조하는 행정을 수행하도록 구성될 수 있다. BACKGROUND ART In general, a dishwasher is a device for automatically washing and drying dishes using detergent or the like. Such a dishwasher may be configured to perform a process of washing, rinsing, and drying dishes mounted inside the main body.

이러한 식기 세척기의 작동은 예비 세척과 본 세척, 헹굼과 가열 헹굼, 그리고 건조 등의 행정으로 구성된다. 또한, 식기 세척기는 세척 모터에 의해 섬프내의 세척수를 펌핑한다. 펌핑된 세척수는 복수의 분사 노즐을 통해 세척조 내의 랙 어셈블리를 향해 분사되어, 랙 어셈블리에 거치 된 식기들의 세척 또는 헹굼이 이루어진다.The operation of such a dishwasher consists of operations such as preliminary washing, main washing, rinsing and heat rinsing, and drying. In addition, the dishwasher pumps the washing water in the sump by the washing motor. The pumped washing water is sprayed toward the rack assembly in the washing tub through a plurality of spray nozzles to wash or rinse dishes mounted on the rack assembly.

종래 식기 세척기는, 세척조에 설치되고, 식기를 수납하는 수납부, 수납부와, 수납부에 수납된 식기를 촬영하는 촬영부, 및 촬영부에 의해 촬영된 화상으로부터 수납부에 마련된 위치 인식용 마크를 검출하고, 검출된 마크에 따라 수납부의 위치를 인식하여 식기의 위치를 검출하는 프로세서를 포함한다. A conventional dish washing machine is installed in a washing tub, and includes a storage unit for accommodating dishes, a storage unit, a photographing unit for photographing dishes stored in the storage unit, and a mark for position recognition provided in the storage unit from an image captured by the photographing unit and a processor for detecting the position of the tableware by detecting the position of the accommodating part according to the detected mark.

하지만, 종래 식기 세척기는 식기를 검출하기 위한 별도의 마크가 필요하다는 문제가 있다. However, the conventional dishwasher has a problem in that a separate mark for detecting the dish is required.

또한, 식기 등으로 이러한 마크가 가려지거나 마크에 오염물이 묻은 경우, 식기의 양, 식기의 위치, 및 식기의 크기를 정확하게 파악할 수 없다는 문제점이 있다.In addition, there is a problem in that it is impossible to accurately determine the amount of tableware, the position of the tableware, and the size of the tableware when the mark is covered with tableware or the mark is stained.

또한, 식기가 수납된 형상을 인식할 수 없고, 인식된 식기의 위치와 개수에 따라 세척 행정을 제어하지 못한다는 문제점이 있다.In addition, there is a problem in that the shape in which the dishes are accommodated cannot be recognized and the washing process cannot be controlled according to the recognized positions and number of dishes.

(한국공개특허)KR 2019-0039023(Korea Patent Publication) KR 2019-0039023

실시예는 상술한 문제점을 극복하기 위한 것으로서, 식기를 검출하기 위한 별도의 구성 없이 정확하게 식기를 검출하기 위한 것이다. The embodiment is intended to overcome the above-described problem, and to accurately detect the tableware without a separate configuration for detecting the tableware.

또한, 실시예는 식기 등으로 이러한 마크가 가려지거나 마크에 오염물이 묻은 경우에도, 식기의 수량, 식기의 위치, 및 식기의 크기를 정확하게 파악하기 위한 것이다.In addition, the embodiment is for accurately grasping the quantity of tableware, the position of the tableware, and the size of the tableware even when the mark is covered with tableware or the mark is stained with contamination.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은, 식기의 크기를 정확하게 계산하기 위함이다.Also, the dish washing machine and the control method of the dish washing machine according to the embodiment are to accurately calculate the size of the dish.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은 식기의 종류를 정확하게 판단하기 위함이다.In addition, the dish washing machine and the control method of the dish washing machine according to the embodiment are to accurately determine the type of dish.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은 식기가 수납된 형상을 인식하기 위함이다.In addition, the dish washing machine and the control method of the dish washing machine according to the embodiment are for recognizing the shape in which the dish is accommodated.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은 또한, 인식된 식기의 위치와 개수에 따라 세척 행정을 제어하기 위함이다.In addition, the dish washing machine and the method of controlling the dish washing machine according to the embodiment are also to control the washing process according to the recognized positions and number of dishes.

실시예가 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 실시예의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the embodiment are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art from the description of the embodiment.

실시예의 제1 측면에 따르면 식기가 세척되는 세척조를 포함하는 식기 세척기를 제공한다. 이러한 식기 세척기는, 상기 식기를 수납하는 랙(rack); 상기 랙을 촬영하여 촬영 영상을 생성하는 촬영부; 상기 촬영 영상을 영상 처리하여 에지 영상(edge image)을 생성하고, 상기 에지 영상에 포함된 상기 랙의 에지를 이용하여 상기 랙을 인식하고, 상기 랙에서, 상기 식기의 수납 위치를 인식하고 상기 식기를 카운트하고, 상기 수납 위치 및 상기 카운트 결과에 따라 미리 설정된 세척 코스를 변경하는 제어부를 포함하고, 상기 영상 처리는 상기 제어부가, 상기 촬영 영상을 이진 영상(Binary Picture)으로 변환한 다음, 에지 디텍터(Edge Detector)를 이용하여 상기 에지 영상을 생성하는 것이고, 상기 촬영부는 상기 랙 전체를 촬영할 수 있는 위치에 배치된다. According to a first aspect of the embodiment, there is provided a dishwasher including a washing tub in which dishes are washed. The dish washing machine may include a rack for accommodating the dish; a photographing unit for generating a photographed image by photographing the rack; The photographed image is image-processed to generate an edge image, the rack is recognized by using the edge of the rack included in the edge image, and the storage position of the tableware is recognized in the rack, and the tableware counting and changing a preset washing course according to the receiving position and the count result, wherein the image processing is performed by the controller, converting the captured image into a binary image, and then using an edge detector (Edge Detector) is to generate the edge image, the photographing unit is arranged at a position that can photograph the entire rack.

따라서, 실시예의 제1 측면에 따르면, 인식한 식기의 개수가 많은 위치에 세척수의 양, 헹굼 수의 양, 및 스팀량 중 적어도 하나가 집중될 수 있도록, 세척 시간을 단계별로 제어할 수 있는 효과가 있다.Accordingly, according to the first aspect of the embodiment, there is an effect of controlling the washing time step by step so that at least one of the amount of washing water, the amount of rinsing water, and the amount of steam can be concentrated at a position where the number of recognized dishes is large. have.

또한, 실시예의 제1 측면에 따르면, 상기 제어부는 추가로, 상기 에지 영상에서, 상기 랙의 에지 안쪽 영역에 대응하는 제1 영역, 상기 제1 영역 중 직선 에지를 포함하는 제2 영역, 및 상기 제1 영역 중 곡선 에지를 포함하는 제3 영역을 설정하고, 상기 직선 에지를 이용하여 제1 방향으로 수납된 상기 식기를 인식하고, 상기 곡선 에지를 이용하여 제2 방향으로 수납된 상기 식기를 인식하며, 상기 제1 방향은 상기 랙과 수직인 방향이고, 상기 제2 방향은 상기 랙과 수평 방향 또는 상기 랙과 소정의 각을 이루는 방향이다.In addition, according to the first aspect of the embodiment, the control unit is further, in the edge image, a first area corresponding to an area inside the edge of the rack, a second area including a straight edge among the first area, and the A third region including a curved edge is set among the first regions, the dishes stored in the first direction are recognized using the straight edge, and the dishes stored in the second direction are recognized using the curved edges. and, the first direction is a direction perpendicular to the rack, and the second direction is a direction horizontal to the rack or a direction forming a predetermined angle with the rack.

또한, 실시예의 제1 측면에 따르면, 상기 제어부는 추가로, 상기 제2 영역의 직선 에지의 개수를 이용하여 상기 제1 방향으로 수납된 식기의 개수를 카운트한다.Also, according to the first aspect of the embodiment, the controller further counts the number of dishes stored in the first direction by using the number of straight edges of the second region.

따라서, 실시예의 제1 측면에 따르면, 제1 방향으로 수납된 접시의 수납 위치를 판단할 수 있는 효과가 있다. Therefore, according to the first aspect of the embodiment, there is an effect that can determine the storage position of the plate accommodated in the first direction.

또한, 실시예의 제1 측면에 따르면, 상기 제어부는 추가로, 상기 제3 영역의 곡선 에지의 개수를 이용하여 상기 제2 방향으로 수납된 식기의 개수를 카운트한다.Also, according to the first aspect of the embodiment, the controller further counts the number of dishes stored in the second direction by using the number of curved edges of the third region.

따라서, 실시예의 제1 측면에 따르면, 눕혀진 접시 및 컵이 수납된 위치를 판단할 수 있고, 인식된 접시 및 컵의 개수를 카운트할 수 있는 효과가 있다.Therefore, according to the first aspect of the embodiment, it is possible to determine the position in which the laid-down plate and cup are accommodated, and there is an effect that the number of recognized plates and cups can be counted.

또한, 실시예의 제1 측면에 따르면, 상기 곡선 에지는 폐곡선을 형성하고, 상기 제어부는 추가로, 상기 폐곡선의 면적과 미리 설정된 기준 면적을 비교하고, 상기 폐곡선의 면적이 미리 설정된 기준 면적 이하인 경우 상기 폐곡선을 컵으로 인식하고, 상기 폐곡선의 면적이 상기 미리 설정된 기준 면적을 초과하는 경우 상기 폐곡선을 접시로 인식하며, 상기 폐곡선의 개수를 상기 컵 또는 상기 접시의 개수로서 카운팅한다.Further, according to the first aspect of the embodiment, the curved edge forms a closed curve, and the control unit further compares the area of the closed curve with a preset reference area, and when the area of the closed curve is less than or equal to a preset reference area, the A closed curve is recognized as a cup, and when the area of the closed curve exceeds the preset reference area, the closed curve is recognized as a plate, and the number of the closed curves is counted as the number of the cups or plates.

또한, 실시예의 제1 측면에 따르면, 상기 폐곡선은 제1 폐곡선 및 제2 폐곡선을 포함하고, 상기 제어부는 추가로, 상기 제1 폐곡선의 제1 중심점을 인식하고 상기 제2 폐곡선의 제2 중심점을 인식하며, 상기 제1 중심점과 상기 제2 중심점의 거리가 미리 설정된 기준 거리를 초과하는 경우, 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기는 서로 다른 식기로 인식하고 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기를 각각 카운팅한다.Further, according to the first aspect of the embodiment, the closed curve includes a first closed curve and a second closed curve, and the control unit further recognizes a first center point of the first closed curve and selects a second center point of the second closed curve and when the distance between the first center point and the second center point exceeds a preset reference distance, the dishware corresponding to the first closed curve and the dishware corresponding to the second closed curve are recognized as different dishes, and The dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve are respectively counted.

또한, 실시예의 제1 측면에 따르면, 상기 제어부는 추가로, 상기 제1 폐곡선의 내부의 제1 명도를 인식하고 상기 제2 폐곡선 내부의 제2 명도를 인식하며, 상기 제1 중심점과 상기 제2 중심점의 거리가 상기 설정된 기준 거리 이하이고, 상기 제1 명도와 상기 제2 명도의 차이가 미리 설정된 기준 명도를 초과하는 경우, 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기는 서로 다른 식기로 인식하고 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기를 각각 카운팅한다. Further, according to the first aspect of the embodiment, the control unit further recognizes a first brightness inside the first closed curve and recognizes a second brightness inside the second closed curve, wherein the first central point and the second When the distance between the center points is less than the set reference distance and the difference between the first brightness and the second brightness exceeds a preset reference brightness, the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are The dishes are recognized as different from each other, and the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve are respectively counted.

또한, 실시예의 제1 측면에 따르면, 상기 랙은 제3 방향으로 인출되고 제4 방향으로 삽입되고, 상기 촬영부는, 제1 위치에 배치된 제1 카메라를 포함하고, 상기 제1 카메라는 상기 제2 방향으로 삽입되는 랙 전체를 촬영하여 상기 촬영 영상을 생성하고, 상기 제3 방향은 상기 식기 세척기의 전면 방향이고 상기 제4 방향은 상기 식기 세척기의 후면 방향이며, 상기 제1 위치는 상기 식기 세척기의 전면 상단에 대응하는 위치이다.Further, according to the first aspect of the embodiment, the rack is drawn out in a third direction and inserted in a fourth direction, and the photographing unit includes a first camera disposed in a first position, and the first camera is the first camera. The photographed image is generated by photographing the entire rack inserted in two directions, the third direction is a front direction of the dishwasher, the fourth direction is a rear direction of the dishwasher, and the first position is the dishwasher It is the position corresponding to the top of the front.

또한, 실시예의 제1 측면에 따르면, 상기 랙은 제3 방향으로 인출되고 제4 방향으로 삽입되고, 상기 촬영부는, 제2 위치에 배치된 제1 카메라를 포함하고, 상기 제1 카메라는 상기 제2 방향으로 삽입되는 랙 전체를 촬영하여 상기 촬영 영상을 생성하고, 상기 제3 방향은 상기 식기 세척기의 전면 방향이고 상기 제4 방향은 상기 식기 세척기의 후면 방향이며, 상기 제2 위치는 상기 세척조 내부의 상단에 대응하는 위치이다.Further, according to the first aspect of the embodiment, the rack is drawn out in a third direction and inserted in a fourth direction, and the photographing unit includes a first camera disposed in a second position, and the first camera is the first camera. The photographed image is generated by photographing the entire rack inserted in two directions, the third direction is the front direction of the dishwasher, the fourth direction is the rear direction of the dishwasher, and the second position is inside the washing tub is the position corresponding to the top of the

또한, 실시예의 제1 측면에 따르면, 상기 랙은 제3 방향으로 인출되고 제4 방향으로 삽입되는 상부랙 및 상기 제3 방향으로 인출되고 상기 제4 방향으로 삽입되는 하부랙을 포함하고, 상기 촬영부는, 제3 위치에서 서로 이격 배치된 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라는 상기 제4 방향으로 삽입된 상부랙 전체를 촬영하여 상기 촬영 영상을 생성하고, 상기 제2 카메라는 상기 제4 방향으로 삽입된 하부랙 전체를 촬영하여 상기 촬영 영상을 생성하며, 상기 제3 방향은 상기 식기 세척기의 전면 방향이고 상기 제4 방향은 상기 식기 세척기의 후면 방향이고, 상기 제3 위치는 상기 식기 세척기의 후면에 대응하는 위치이다.In addition, according to the first aspect of the embodiment, the rack includes an upper rack drawn out in a third direction and inserted in a fourth direction, and a lower rack drawn out in the third direction and inserted in the fourth direction, The unit includes a first camera and a second camera spaced apart from each other at a third position, wherein the first camera generates the photographed image by photographing the entire upper rack inserted in the fourth direction, and the second camera generates the photographed image by photographing the entire lower rack inserted in the fourth direction, the third direction is the front direction of the dishwasher, the fourth direction is the rear direction of the dishwasher, and the third position is a position corresponding to the rear surface of the dishwasher.

또한, 실시예의 제1 측면에 따르면, 상기 식기 세척기는, 상기 식기 세척기의 전면에 배치된 도어를 더 포함하고, 상기 랙은 상부랙 및 하부랙을 포함하고, 상기 촬영부는, 제4 위치에서 서로 이격 배치된 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라는 상기 도어가 닫힌 다음, 상기 상부랙 전체를 촬영하여 상기 촬영 영상을 생성하고, 상기 제2 카메라는 상기 도어가 닫힌 다음, 상기 하부랙 전체를 촬영하여 상기 촬영 영상을 생성하며, 상기 제4 위치는 상기 도어의 후면에 대응하는 위치이다.Further, according to the first aspect of the embodiment, the dish washing machine further includes a door disposed on the front side of the dish washing machine, the rack includes an upper rack and a lower rack, and the photographing unit is connected to each other at a fourth position. It includes a first camera and a second camera spaced apart, wherein the first camera generates the photographed image by photographing the entire upper rack after the door is closed, and the second camera is after the door is closed, The photographed image is generated by photographing the entire lower rack, and the fourth position is a position corresponding to the rear side of the door.

실시예의 제2 측면에 따르면, 식기 세척기의 제어 방법을 제공하고, 이러한 제어 방법은, 식기를 수납하는 랙(rack) 전체를 촬영할 수 있는 위치에서 상기 랙을 촬영하여 촬영 영상을 생성하는 단계; 상기 촬영 영상을 영상 처리하여 에지 영상(edge image)을 생성하는 단계; 상기 에지 영상에 포함된 상기 랙의 에지를 이용하여 상기 랙을 인식하는 단계; 및 상기 랙에서, 상기 식기의 수납 위치를 인식하고 상기 식기를 카운트하고, 상기 수납 위치 및 상기 카운트 결과에 따라 미리 설정된 세척 코스를 변경하는 단계를 포함하고, 상기 영상 처리는 상기 촬영 영상을 이진 영상(Binary Picture)으로 변환한 다음, 에지 디텍터(Edge Detector)를 이용하여 상기 에지 영상을 생성하는 것이다.According to a second aspect of the embodiment, there is provided a method for controlling a dishwasher, the control method comprising: generating a photographed image by photographing the rack at a position capable of photographing the entire rack for accommodating the dishes; generating an edge image by image processing the captured image; Recognizing the rack by using the edge of the rack included in the edge image; and in the rack, recognizing the storage position of the dishes, counting the dishes, and changing a preset washing course according to the storage position and the count result, wherein the image processing converts the captured image into a binary image. (Binary Picture), and then using an edge detector (Edge Detector) to generate the edge image.

따라서, 실시예의 제2 측면에 따르면, 인식한 식기의 개수가 많은 위치에 세척수의 양, 헹굼수의 양, 및 스팀량 중 적어도 하나가 집중될 수 있도록, 세척 시간을 단계별로 제어할 수 있는 효과가 있다.Accordingly, according to the second aspect of the embodiment, there is an effect of controlling the washing time step by step so that at least one of the amount of washing water, the amount of rinsing water, and the amount of steam can be concentrated at a position where the number of recognized dishes is large. have.

또한, 실시예의 제2 측면에 따르면, 상기 제어 방법은, 상기 에지 영상에서, 상기 랙의 에지 안쪽 영역에 대응하는 제1 영역을 설정하고, 상기 제1 영역 중 직선 에지를 포함하는 제2 영역을 설정하고, 상기 제1 영역 중 곡선 에지를 포함하는 제3 영역을 설정하는 단계; 상기 직선 에지를 이용하여 제1 방향으로 수납된 상기 식기를 인식하는 단계; 및 상기 곡선 에지를 이용하여 제2 방향으로 수납된 상기 식기를 인식하는 단계를 더 포함하고, 상기 제1 방향은 상기 랙과 수직인 방향이고, 상기 제2 방향은 상기 랙과 수평 방향 또는 상기 랙과 소정의 각을 이루는 방향이다.In addition, according to the second aspect of the embodiment, the control method, in the edge image, sets a first area corresponding to an area inside the edge of the rack, and a second area including a straight edge among the first area setting, and setting a third area including a curved edge among the first area; recognizing the dish accommodated in a first direction using the straight edge; and recognizing the tableware accommodated in a second direction using the curved edge, wherein the first direction is a direction perpendicular to the rack, and the second direction is a direction horizontal to the rack or the rack. It is a direction forming a predetermined angle with

또한, 실시예의 제2 측면에 따르면, 상기 제2 영역의 직선 에지의 개수를 이용하여 상기 제1 방향으로 수납된 식기의 개수를 카운트하는 단계를 더 포함한다.Also, according to the second aspect of the embodiment, the method further includes counting the number of dishes stored in the first direction by using the number of straight edges of the second area.

따라서, 따라서, 실시예의 제2 측면에 따르면, 제1 방향으로 수납된 접시의 수납 위치를 판단할 수 있는 효과가 있다.Therefore, according to the second aspect of the embodiment, there is an effect that can determine the storage position of the plate accommodated in the first direction.

또한, 실시예의 제2 측면에 따르면, 상기 제3 영역의 곡선 에지의 개수를 이용하여 상기 제2 방향으로 수납된 식기의 개수를 카운트하는 단계를 더 포함한다.Also, according to the second aspect of the embodiment, the method further includes counting the number of dishes stored in the second direction by using the number of curved edges of the third region.

따라서, 실시예의 제2 측면에 따르면, 눕혀진 접시 및 컵이 수납된 위치를 판단할 수 있고, 인식된 접시 및 컵의 개수를 카운트할 수 있는 효과가 있다.Therefore, according to the second aspect of the embodiment, it is possible to determine the position in which the laid-down plate and cup are accommodated, and there is an effect that the number of recognized plates and cups can be counted.

또한, 실시예의 제2 측면에 따르면, 상기 곡선 에지는 폐곡선을 형성하고, 상기 제어 방법은, 상기 폐곡선의 면적과 미리 설정된 기준 면적을 비교하는 단계; 상기 폐곡선의 면적이 미리 설정된 기준 면적 이하인 경우 상기 폐곡선을 컵으로 인식하고, 상기 폐곡선의 면적이 상기 미리 설정된 기준 면적을 초과하는 경우 상기 폐곡선을 접시로 인식하는 단계; 및 상기 폐곡선의 개수를 상기 컵 또는 상기 접시의 개수로서 카운팅하는 단계를 더 포함한다.Further, according to the second aspect of the embodiment, the curved edge forms a closed curve, and the control method includes: comparing an area of the closed curve with a preset reference area; recognizing the closed curve as a cup when the area of the closed curve is less than or equal to a preset reference area, and recognizing the closed curve as a plate when the area of the closed curve exceeds the preset reference area; and counting the number of closed curves as the number of cups or plates.

또한, 실시예의 제2 측면에 따르면, 상기 폐곡선은 제1 폐곡선 및 제2 폐곡선을 포함하고, 상기 제어 방법은, 상기 제1 폐곡선의 제1 중심점을 인식하고 상기 제2 폐곡선의 제2 중심점을 인식하는 단계; 상기 제1 중심점과 상기 제2 중심점의 거리가 미리 설정된 기준 거리를 비교하는 단계; 및 상기 제1 중심점과 상기 제2 중심점의 거리가 상기 미리 설정된 기준 거리 이내인 경우, 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기는 서로 다른 식기로 인식하는 단계를 더 포함한다.Further, according to the second aspect of the embodiment, the closed curve includes a first closed curve and a second closed curve, and the control method includes recognizing a first center point of the first closed curve and recognizing a second center point of the second closed curve to do; comparing a reference distance in which the distance between the first center point and the second center point is preset; and recognizing that the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve are different dishes when the distance between the first central point and the second central point is within the preset reference distance. do.

또한, 실시예의 제2 측면에 따르면, 상기 제1 중심점과 상기 제2 중심점의 거리가 상기 미리 설정된 기준 거리를 초과하는 경우, 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기는 서로 다른 식기로 인식하는 단계; 및 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기를 각각 카운팅하는 단계를 더 포함한다.Further, according to the second aspect of the embodiment, when the distance between the first central point and the second central point exceeds the preset reference distance, the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are Recognizing different dishes; and counting the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve, respectively.

또한, 실시예의 제2 측면에 따르면, 상기 제1 폐곡선의 내부의 제1 명도를 인식하고 상기 제2 폐곡선 내부의 제2 명도를 인식하는 단계; 상기 제1 중심점과 상기 제2 중심점의 거리가 상기 설정된 기준 거리 이하인 경우, 상기 제1 명도와 상기 제2 명도의 차이가 미리 설정된 기준 명도를 비교하는 단계; 및 상기 제1 명도와 상기 제2 명도의 차이가 상기 미리 설정된 기준 명도 이내인 경우, 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기는 서로 같은 식기로 인식하는 단계를 더 포함한다.In addition, according to the second aspect of the embodiment, the method comprising: recognizing a first brightness inside the first closed curve and recognizing a second brightness inside the second closed curve; comparing a reference brightness in which a difference between the first brightness and the second brightness is preset when the distance between the first center point and the second center point is less than or equal to the set reference distance; and recognizing that the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are identical to each other when the difference between the first brightness and the second brightness is within the preset reference brightness. do.

또한, 실시예의 제2 측면에 따르면, 상기 제1 명도와 상기 제2 명도의 차이가 상기 미리 설정된 기준 명도를 초과하는 경우, 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기는 서로 다른 식기로 인식하는 단계; 및 상기 제1 폐곡선에 대응하는 식기와 상기 제2 폐곡선에 대응하는 식기를 각각 카운팅하는 단계를 더 포함한다.Further, according to the second aspect of the embodiment, when the difference between the first brightness and the second brightness exceeds the preset reference brightness, the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are Recognizing different dishes; and counting the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve, respectively.

실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은, 실시예는 상술한 문제점을 극복하기 위한 것으로서, 식기를 검출하기 위한 별도의 구성 없이 정확하게 식기를 검출할 수 있는 효과가 있다. The dish washing machine and the method for controlling the dish washing machine according to the embodiment are for overcoming the above-described problem, and have an effect of accurately detecting the dish without a separate configuration for detecting the dish.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은, 식기 등으로 이러한 마크가 가려지거나 마크에 오염물이 묻은 경우에도, 식기의 수량, 식기의 위치, 및 식기의 크기를 정확하게 파악할 수 있는 효과가 있다.In addition, the dish washing machine and the control method of the dish washing machine according to the embodiment have the effect of accurately grasping the quantity of dishes, the position of the dishes, and the size of the dishes, even when such marks are covered with dishes or the marks are stained with contaminants. there is

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은, 식기의 크기를 정확하게 계산할 수 있는 효과가 있다.In addition, the dish washing machine and the control method of the dish washing machine according to the embodiment have an effect of accurately calculating the size of the dish.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은 식기의 종류를 정확하게 판단할 수 있는 효과가 있다.In addition, the dish washing machine and the control method of the dish washing machine according to the embodiment have an effect of accurately determining the type of dish.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은 식기가 수납된 형상을 인식할 수 있는 효과가 있다.In addition, the dish washing machine and the control method of the dish washing machine according to the embodiment have an effect of recognizing the shape in which the dish is accommodated.

또한, 실시예에 따른 식기 세척기 및 식기 세척기의 제어 방법은 또한, 인식된 식기의 위치와 개수에 따라 세척 행정을 제어할 수 있는 효과가 있다.In addition, the dish washing machine and the method of controlling the dish washing machine according to the embodiment also have an effect of controlling the washing process according to the recognized positions and number of dishes.

도 1은 실시예에 따른 식기 세척기의 단면을 나타내는 도면이다.
도 2는 실시예에 따른 식기 세척기의 주요 구성을 나타내는 블록도이다.
도 3a 내지 도 3d는 실시예에 따른 카메라의 위치를 나타내는 도면이다.
도 4a는 실시예에 따른 영상 처리부의 에지 영상을 나타내는 도면이다.
도 4b는 실시예에 따른 에지 영상 중 제2 영역을 나타내는 도면이다.
도 4c는 실시예에 따른 제3 영역에서 서로 타원을 나타낸 도면이다.
도 5는 실시예에 따른 구동부에서 세척 시간을 제어하는 그래프이다.
도 6은 따른 식기 세척기의 제어 방법을 나타내는 흐름도이다.
도 7은 실시예에 따른 식기 세척기의 제어 방법 중 제1 방향으로 수납된 식기 개수를 카운팅 하는 방법을 나타내는 흐름도이다.
도 8은 실시예에 따른 식기 세척기의 제어 방법 중 제2 방향으로 수납된 식기 개수를 카운팅 하는 방법을 나타내는 흐름도이다.1 is a view showing a cross-section of a dishwasher according to an embodiment.
2 is a block diagram illustrating a main configuration of a dishwasher according to an embodiment.
3A to 3D are diagrams illustrating a position of a camera according to an embodiment.
4A is a diagram illustrating an edge image of an image processing unit according to an exemplary embodiment.
4B is a diagram illustrating a second area of an edge image according to an exemplary embodiment.
4C is a diagram illustrating ellipses in a third area according to an embodiment.
5 is a graph for controlling a washing time in the driving unit according to the embodiment.
6 is a flowchart illustrating a method for controlling a dishwasher according to the present invention.
7 is a flowchart illustrating a method of counting the number of dishes stored in a first direction among a control method of a dish washing machine according to an embodiment.
8 is a flowchart illustrating a method of counting the number of dishes stored in a second direction among a control method of a dish washing machine according to an embodiment.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 실시예의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar reference numerals are assigned to the same or similar components, and overlapping descriptions thereof will be omitted. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the embodiments; It should be understood to include equivalents and substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as "comprises" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이하, 도 1을 참조하여 실시예에 따른 식기 세척기를 설명한다.Hereinafter, a dish washing machine according to an embodiment will be described with reference to FIG. 1 .

도 1은 실시예에 따른 식기 세척기를 나타내는 도면이다.1 is a view showing a dishwasher according to an embodiment.

도 1을 참조하면, 실시예에 따른 식기 세척기(1)는, 캐비닛(11), 에어 가이드(air guide, 미도시), 세척조(13), 복수의 랙(141, 142), 복수의 분사암(151, 152), 섬프(sump, 16), 펌프(17), 급수 장치(40), 배수 장치(50)를 포함한다.Referring to FIG. 1 , the dishwasher 1 according to the embodiment includes a cabinet 11 , an air guide (not shown), a washing tank 13 , a plurality of racks 141 and 142 , and a plurality of spray arms. ( 151 , 152 ), a sump ( 16 ), a pump ( 17 ), a water supply device ( 40 ), and a drainage device ( 50 ).

식기 세척기(1)의 내부는, 세척수가 급수 장치(40)로부터 식기 세척기(1)에 유입되고 배수 장치(50)에 의해 배수되기까지, 세척수가 순환될 수 있는 모든 공간을 의미한다. 예를 들어, 식기 세척기(1)의 내부는 세척조(13), 급수 장치(40), 섬프(16), 펌프(17), 복수의 분사암(151, 152), 급수 유로(121), 및 배수 유로(122)를 포함할 수 있다. 식기 세척기(1)의 외부는 식기 세척기(1) 내부 이외의 공간이다.The interior of the dishwasher 1 refers to all spaces in which the washing water can circulate from the water supply device 40 to the dishwasher 1 until it is drained by the drain device 50 . For example, the inside of the dishwasher 1 includes a washing tank 13 , a water supply device 40 , a sump 16 , a pump 17 , a plurality of spray arms 151 and 152 , a water supply passage 121 , and It may include a drain passage 122 . The outside of the dishwasher 1 is a space other than the inside of the dishwasher 1 .

캐비닛(11)은 식기 세척기(1)의 외형을 형성한다. 에어 가이드는 식기 세척기(1)의 측면에 배치된다. 에어 가이드는 급수 유로(121), 배수 유로(122), 및 제1 센서(123)를 포함할 수 있다.The cabinet 11 forms the outer shape of the dishwasher 1 . The air guide is disposed on the side of the dishwasher 1 . The air guide may include a water supply passage 121 , a drain passage 122 , and a first sensor 123 .

급수 유로(121)는 연결 유로(1211), 상부 유로(1212), 및 하부 유로(1213)를 포함한다. 연결 유로(1211)는 펌프(17)에 연결되어 있다. 상부 유로(1212)는 연결 유로(1211)와 상부암(151)을 연결한다. 하부 유로(1213)는 연결 유로(1211)와 하부암(152)을 연결한다.The water supply passage 121 includes a connection passage 1211 , an upper passage 1212 , and a lower passage 1213 . The connection passage 1211 is connected to the pump 17 . The upper flow path 1212 connects the connection flow path 1211 and the upper arm 151 . The lower flow path 1213 connects the connection flow path 1211 and the lower arm 152 .

상부 유로(1212)와 하부 유로(1213)는 연결 유로(1211)가 분지 되어 형성될 수 있다. 상부 유로(1212)와 하부 유로(1213)가 분지 되는 지점에는 상부 유로(1212)와 하부 유로(1213)의 개폐를 제어하는 전환 밸브(1214)를 포함할 수 있다.The upper passage 1212 and the lower passage 1213 may be formed by branching the connection passage 1211 . A switching valve 1214 for controlling the opening and closing of the upper passage 1212 and the lower passage 1213 may be included at a point where the upper passage 1212 and the lower passage 1213 branch off.

세척조(13)는 캐비닛(11) 내부에 세척 대상이 세척되는 세척 공간을 형성한다. 세척조(13)는 전면이 개방되는 투입구(미도시)가 형성되며, 투입구를 통해 캐비닛(11)의 외부와 연통된다. 투입구는 캐비닛(11)에 회동 가능하게 결합하는 도어(18)에 의해 개폐된다. 사용자는 도어(18)를 회동시켜 투입구를 개방한 다음, 상부랙(141) 또는 하부랙(142)을 세척조(13)에서 인출할 수 있다.The washing tank 13 forms a washing space in which the washing object is washed inside the cabinet 11 . The washing tub 13 is provided with an inlet (not shown) having an open front, and communicates with the outside of the cabinet 11 through the inlet. The inlet is opened and closed by a door 18 rotatably coupled to the cabinet 11 . The user may open the inlet by rotating the door 18 , and then withdraw the upper rack 141 or the lower rack 142 from the washing tank 13 .

세척조(13) 내부에는 세척 대상이 수납되는, 상부랙(141) 및/또는 하부랙(142)을 포함할 수 있다. 상부랙(141) 및 하부랙(142)에는 세척 대상이 적재될 수 있고 세척조(13)에 착탈 가능하도록 구성된다. The washing tank 13 may include an upper rack 141 and/or a lower rack 142 in which a washing object is accommodated. The upper rack 141 and the lower rack 142 can be loaded with a washing object and is configured to be detachable from the washing tank 13 .

상부랙(141)은 세척조(13)의 상부 영역에 배치되고, 하부랙(142)은 상부랙(141) 상부에 배치될 수 있다. The upper rack 141 may be disposed in the upper region of the washing tank 13 , and the lower rack 142 may be disposed above the upper rack 141 .

상부암(151)은 상부 유로(1212)에 회전 가능하게 결합할 수 있고, 하부암(152)은 하부 유로(176)에 회전 가능하게 결합될 수 있다.The upper arm 151 may be rotatably coupled to the upper flow path 1212 , and the lower arm 152 may be rotatably coupled to the lower flow path 176 .

상부암(151) 및 하부암(152)은 상부랙(141) 및/또는 하부랙(142)에 적재된 세척 대상에 물을 분사할 수 있다. 상부암(151)은 상부랙(141)에 물을 분사하고 하부암(152)은, 하부랙(142)에 물을 분사하도록 구성되어 있다. 상부암(151) 및 하부암(152)에서 세척 대상에 분사된 세척수(세척조(13)에 잔류하는 물)는 섬프(16)로 회수될 수 있다.The upper arm 151 and the lower arm 152 may spray water to the washing object loaded on the upper rack 141 and/or the lower rack 142 . The upper arm 151 sprays water to the upper rack 141 and the lower arm 152 is configured to spray water to the lower rack 142 . The washing water (water remaining in the washing tub 13 ) sprayed onto the object to be washed from the upper arm 151 and the lower arm 152 may be recovered by the sump 16 .

섬프(16)는 제2 센서(131), 섬프 커버(161), 및 배출구(163)를 포함할 수 있다. 섬프(16)는 세척조(13)의 하부에 배치되어 물(예를 들어, 세척수 등)을 저장할 수 있다. 섬프(16)는 상부암(151) 및 하부암(152)에 세척수를 공급하고 세척조(13)의 세척수를 집수 및 회수할 수 있다. 섬프(16)는 섬프 커버(161)를 통해 세척조(13)와 구분될 수 있다.The sump 16 may include a second sensor 131 , a sump cover 161 , and an outlet 163 . The sump 16 may be disposed under the washing tank 13 to store water (eg, washing water, etc.). The sump 16 may supply washing water to the upper arm 151 and the lower arm 152 and collect and recover the washing water from the washing tank 13 . The sump 16 may be separated from the washing tank 13 through the sump cover 161 .

섬프 커버(161)는 회수홀(162)을 포함할 수 있다. 회수홀(162)을 통해 세척조(13) 내부의 물이 섬프(16)로 유입될 수 있다. The sump cover 161 may include a recovery hole 162 . Water in the washing tank 13 may be introduced into the sump 16 through the recovery hole 162 .

배출구(163)는 섬프(16)의 하부 일 측에 위치하고 배출구(163)를 통해 세척수 및 음식물 찌꺼기를 배출할 수 있다.The discharge port 163 is located at one lower side of the sump 16 and may discharge washing water and food waste through the discharge port 163 .

급수 장치(40)는 섬프(16)에 연결되어 있고 급수 밸브(41)에 의해 개폐되도록 구성될 수 있다. 급수 장치(40)는 섬프(16)에 급수원(미도시)으로부터의 세척수를 섬프(16)에 공급할 수 있다. The water supply device 40 is connected to the sump 16 and may be configured to be opened and closed by the water supply valve 41 . The water supply device 40 may supply the sump 16 with washing water from a water supply source (not shown) to the sump 16 .

배수 장치(50)는 섬프(16) 하부에 부착되어 세척수 및 음식물 찌꺼기를 배출할 수 있다. 배수 장치(50)는 배수 펌프(미도시)가 설치되는 배수 챔버(미도시)와 배수 챔버에서 배출되는 세척수 및 음식물 찌꺼기가 배출되는 배수관(51)을 포함할 수 있다. The drainage device 50 may be attached to the lower portion of the sump 16 to discharge washing water and food waste. The drain device 50 may include a drain chamber (not shown) in which a drain pump (not shown) is installed, and a drain pipe 51 through which washing water and food waste discharged from the drain chamber are discharged.

이하, 도 2를 참조하여 실시예에 따른 식기 세척기(1)의 주요 구성을 설명한다.Hereinafter, the main configuration of the dishwasher 1 according to the embodiment will be described with reference to FIG. 2 .

도 2를 참조하면, 실시예에 따른 식기 세척기(1)는 촬영부(10) 및 제어부(30)를 포함한다. 식기 세척기(1)는 도어(18)의 개폐를 감지하고 상부랙(141) 및/또는 하부랙(142)의 인출을 감지할 수 있다. 식기 세척기(1)는 상부랙(141) 및/또는 하부랙(142)의 인출을 감지한 다음, 촬영부(10)에서 촬영한 영상을 이용하여 상부랙(141) 및 하부랙(142)에 포함된 식기의 종류 및 개수를 인식할 수 있다. 식기 세척기(1)는 인식된 식기의 종류 및 개수를 이용하여 식기 세척 코스를 설정할 수 있다. Referring to FIG. 2 , the dishwasher 1 according to the embodiment includes a photographing unit 10 and a control unit 30 . The dishwasher 1 may detect the opening and closing of the door 18 and the withdrawal of the upper rack 141 and/or the lower rack 142 . The dishwasher 1 detects the withdrawal of the upper rack 141 and/or the lower rack 142, and then, using the image captured by the photographing unit 10, is placed on the upper rack 141 and the lower rack 142. The type and number of tableware included can be recognized. The dish washing machine 1 may set a dish washing course using the recognized types and number of dishes.

촬영부(10)는 적어도 하나의 카메라를 포함한다. 촬영부(10)는 상부랙(141) 및/또는 하부랙(142)에 수납된 식기를 촬영하고 촬영 영상을 제어부에 전송할 수 있다. 촬영부(10)는 고정된 위치에서, 상부랙(141)의 에지 안쪽 영역 및/또는 하부랙(142)의 에지 안쪽 영역을 촬영하도록 배치될 수 있다. The photographing unit 10 includes at least one camera. The photographing unit 10 may photograph the dishes stored in the upper rack 141 and/or the lower rack 142 and transmit the photographed image to the control unit. The photographing unit 10 may be arranged to photograph an area inside the edge of the upper rack 141 and/or an area inside the edge of the lower rack 142 in a fixed position.

촬영부(10)는 소정의 촬영 주기에 따라 상부랙(141) 및/또는 하부랙(142)에 수납된 식기를 촬영하고 촬영 영상을 제어부에 전송할 수 있다.The photographing unit 10 may photograph the dishes stored in the upper rack 141 and/or the lower rack 142 according to a predetermined photographing cycle and transmit the photographed image to the control unit.

이하, 촬영부(10)가 상부랙(141)의 식기 및/또는 하부랙(142)의 식기를 랙(rack) 별로 촬영한 영상을 '촬영 영상'이라 한다.Hereinafter, an image in which the photographing unit 10 photographed the dishes of the upper rack 141 and/or the dishes of the lower rack 142 for each rack is referred to as a 'photographed image'.

또한, 촬영부(10)는 상부랙(141) 및/또는 하부랙(142)을 동시에 촬영하거나 상부랙(141)과 하부랙(142)을 각각 촬영할 수 있다. 촬영부(10)에 포함된 카메라는 상부랙(141) 또는 하부랙(142)에 포함된 식기를 랙(rack) 별로 한 번에 촬영할 수 있는 위치에 배치될 수 있다. 촬영부(10)에 포함된 카메라의 개수 및 위치에 대해서는 후술한다.In addition, the photographing unit 10 may photograph the upper rack 141 and/or the lower rack 142 at the same time or photograph the upper rack 141 and the lower rack 142, respectively. The camera included in the photographing unit 10 may be disposed at a position capable of photographing the dishes included in the upper rack 141 or the lower rack 142 for each rack at a time. The number and positions of cameras included in the photographing unit 10 will be described later.

제어부(30)는 영상 처리부(31), 인식부(32), 및 구동부(33)를 포함한다. The control unit 30 includes an image processing unit 31 , a recognition unit 32 , and a driving unit 33 .

제어부(30)는 센서(미도시) 등을 이용하여, 도어(18)의 개폐 여부 및 상부랙(141) 및/또는 하부랙(142)의 인출 여부를 판단할 수 있다. 제어부(30)가 도어(18)의 개폐 여부 및 상부랙(141) 및/또는 하부랙(142)의 인출 여부를 판단하는 구체적인 방법에 대해서는 설명을 생략한다.The control unit 30 may determine whether the door 18 is opened or closed and whether the upper rack 141 and/or the lower rack 142 is withdrawn by using a sensor (not shown). A detailed description of the method in which the control unit 30 determines whether the door 18 is opened and closed and whether the upper rack 141 and/or the lower rack 142 is withdrawn will be omitted.

제어부(30)는 촬영 영상을 이용하여 상부랙(141) 및/또는 하부랙(142)에 수납된 식기의 종류 및 식기의 개수를 인식할 수 있다. 제어부(30)는 식기의 종류 및 식기의 개수에 따라 세척 행정을 제어할 수 있다. The controller 30 may recognize the type and number of dishes stored in the upper rack 141 and/or the lower rack 142 by using the captured image. The controller 30 may control the washing process according to the type of dishes and the number of dishes.

영상 처리부(31)는 촬영 영상을 이진 영상(Binary Picture)으로 변환한다. 영상 처리부(31)는 변환된 이진 영상에 에지 디텍터(Edge Detector, 미도시)를 적용하여 에지 영상(Edge Image, EI)을 생성한다. The image processing unit 31 converts the captured image into a binary image. The image processing unit 31 generates an edge image (EI) by applying an edge detector (not shown) to the converted binary image.

이하, 영상 처리부(31)가 촬영 영상에 에지 디텍터를 이용하여 에지 영상을 생성하는 동작을 '영상 처리'라 한다. 에지 영상에는 촬영 영상에서 피사체의 에지만으로 구성된 영상을 의미한다.Hereinafter, an operation in which the image processing unit 31 generates an edge image by using an edge detector in a captured image is referred to as 'image processing'. The edge image refers to an image composed of only the edges of the subject in the captured image.

인식부(32)는 에지 영상에서 상부랙(141)의 에지 및 하부랙(142)의 에지를 감지하여 상부랙(141)및 하부랙(142) 인식할 수 있다. The recognition unit 32 may recognize the upper rack 141 and the lower rack 142 by detecting the edge of the upper rack 141 and the edge of the lower rack 142 in the edge image.

인식부(32)는 상부랙(141) 및/또는 하부랙(142)의 소정의 영역에 포함된 에지를 이용하여 상부랙(141) 및/또는 하부랙(142)에서, 식기의 위치 및 식기의 개수를 감지할 수 있다. 예를 들어, 인식부(32)는 에지 영상에 포함된, 직선과 원, 타원 등 폐곡선의 기하학적 특징을 탐색하여 식기가 수납된 위치를 감지하고, 식기의 종류를 판단하며, 식기의 개수를 카운트할 수 있다.The recognition unit 32 uses an edge included in a predetermined area of the upper rack 141 and/or the lower rack 142 to determine the position of dishes and the dishes in the upper rack 141 and/or the lower rack 142 . number can be detected. For example, the recognition unit 32 detects a position in which dishes are accommodated by searching for geometric features of closed curves, such as straight lines, circles, and ellipses, included in the edge image, determines the type of dishes, and counts the number of dishes. can do.

구체적으로, 인식부(32)는 상부랙(141) 및/또는 하부랙(142)의 소정의 영역에 포함된 식기의 에지를 이용하여 원 및/또는 타원을 감지할 수 있다. 인식부(32)는 감지된 폐곡선을 이용하여 식기의 종류를 구별하고 식기의 개수를 카운트할 수 있다. 실시예에서 원 및/또는 타원은 폐곡선과 동일한 의미로 사용된다.Specifically, the recognition unit 32 may detect a circle and/or an ellipse by using an edge of a dish included in a predetermined area of the upper rack 141 and/or the lower rack 142 . The recognition unit 32 may distinguish the types of dishes by using the sensed closed curve and count the number of dishes. In the embodiment, a circle and/or an ellipse are used in the same meaning as a closed curve.

인식부(32)는 촬영부(10)의 촬영 주기에 따라 상부랙(141) 및/또는 하부랙(142)에서, 식기의 위치 및 식기의 개수를 감지하여 종래의 감지 결과와 비교할 수 있다. The recognition unit 32 may detect the position of the dishes and the number of dishes in the upper rack 141 and/or the lower rack 142 according to the photographing cycle of the photographing unit 10 and compare it with the conventional detection result.

인식부(32)가 식기의 종류를 감지하고 감지된 식기를 카운팅하는 구체적인 방법은 후술한다.A specific method for the recognition unit 32 to detect the type of dishes and count the detected dishes will be described later.

구동부(33)는 인식부(32)가 인식한 식기의 수납 위치, 식기의 종류, 및 식기의 개수에 따라, 미리 설정된 세척 코스를 변경할 수 있다. The driving unit 33 may change a preset washing course according to the storage position of the dishes, the types of dishes, and the number of dishes recognized by the recognition unit 32 .

예를 들어, 구동부(33)는 수납 위치 및/또는 식기의 개수가 많은 위치에, 세척수의 양, 헹굼수의 양, 및 스팀량, 세척 시간 중 적어도 어느 하나가 증가하도록 제어함으로써 세척 시간을 단축할 수 있다. 또한, 구동부(33)는 수납 위치 및/또는 식기의 개수가 많은 위치에 세척 시간을 단계 별로 단축할 수 있다.For example, the driving unit 33 may reduce the washing time by controlling to increase at least one of the amount of washing water, the amount of rinsing water, the amount of steam, and the washing time in the storage position and/or the position with a large number of dishes. can In addition, the driving unit 33 may reduce the washing time step by step in the storage position and/or the position in which the number of dishes is large.

구동부(33)가 인식한 식기의 수납위치, 식기의 종류, 및 식기의 개수에 따라, 세척 행정을 제어하는 구체적 방법은 후술한다.A specific method of controlling the washing process according to the storage position of the dishes recognized by the driving unit 33, the types of dishes, and the number of dishes will be described later.

이하, 도 3a 내지 도 3d를 이용하여 실시예에 따른 식기 세척기(1)의 카메라 위치를 설명한다.Hereinafter, a camera position of the dishwasher 1 according to the embodiment will be described with reference to FIGS. 3A to 3D .

도 3a를 참조하면, 세척조(13)는 제1 면(13a), 제2 면(13b), 제3 면(13c), 및 제4 면(13d)으로 형성될 수 있다. 제1 면(13a)은 세척조(13) 내부의 상단면이다. 제2 면(13b)은 세척조(13) 내부의 우측면이고 제3 면은 세척조 내부의 우측면이다. 제4 면은 세척조(13) 내부의 밑면이다.Referring to FIG. 3A , the washing tank 13 may be formed of a first surface 13a, a second surface 13b, a third surface 13c, and a fourth surface 13d. The first surface 13a is the top surface of the inside of the washing tank 13 . The second side 13b is a right side inside the washing tub 13 and the third side is a right side inside the washing tub. The fourth surface is the inner bottom surface of the washing tank 13 .

또한, 세척조(13) 내부에는. 상부랙(141)이 슬라이딩하여, 인출 및 삽입될 수 있도록, 상부랙(141)의 직선 이동을 안내하는 한 쌍의 가이드(1411, 1412)가 설치될 수 있다. 상부랙(141)은 가이드(1411, 1422)에 안내되는 바스켓 형상 또는 가이드(1411, 1422)에 안내되는 그릴체의 일체형 형상일 수 있으나 실시예가 이에 한정되는 것은 아니다.In addition, the inside of the washing tank (13). A pair of guides 1411 and 1412 for guiding the linear movement of the upper rack 141 may be installed so that the upper rack 141 slides and can be drawn out and inserted. The upper rack 141 may have a basket shape guided by the guides 1411 and 1422 or an integrated shape of a grill body guided by the guides 1411 and 1422, but the embodiment is not limited thereto.

또한, 세척조(13) 내부에는. 하부랙(142)이 식기 세척기(1)의 전면 방향으로 슬라이딩하여 인출되고, 식기 세척기(1)의 후면 방향으로 삽입될 수 있도록, 하부랙(142)의 직선 이동을 안내하는 한 쌍의 가이드(미도시)가 설치될 수 있다. In addition, the inside of the washing tank (13). A pair of guides for guiding the linear movement of the lower rack 142 so that the lower rack 142 slides out in the front direction of the dishwasher 1 and is inserted in the rear direction of the dishwasher 1 . not shown) may be installed.

촬영부(10)는 제1 카메라(10a)를 포함할 수 있다. 제1 카메라(10a)는 제1 화각(θ1)을 가지고 제1 위치에 배치될 수 있다. 제1 위치는 식기 세척기(1)의 전면 상단에 대응하는 위치이다. 즉, 제1 위치는 캐비닛(11)과 도어(18)가 맞닿는 부분 중 캐비닛(11)의 상단일 수 있다. The photographing unit 10 may include a first camera 10a. The first camera 10a may have a first angle of view θ1 and may be disposed at a first position. The first position is a position corresponding to the front upper end of the dishwasher 1 . That is, the first position may be an upper end of the cabinet 11 among the portions where the cabinet 11 and the door 18 contact each other.

제1 카메라(10a)는 제1 위치에서 상부랙(141)의 식기 및/또는 하부랙(142)의 식기가 모두 포함되는 촬영 범위에 대응하는 제1 화각(θ1)을 가진다.The first camera 10a has a first angle of view θ1 corresponding to a photographing range in which both the dishes of the upper rack 141 and/or the dishes of the lower rack 142 are included in the first position.

따라서, 제1 카메라(10a)는, 식기 세척기(1)의 전면 방향으로 상부랙(141) 및/또는 하부랙(142)이 인출된 다음, 식기 세척기(1)의 후면 방향으로 상부랙(141) 및/또는 하부랙(142)이 삽입되는 경우, 상부랙(141)과 하부랙(142) 중 먼저 삽입되는 랙 전체를 제1 위치에서 촬영 수 있다.Accordingly, in the first camera 10a, the upper rack 141 and/or the lower rack 142 are drawn out in the front direction of the dishwasher 1, and then the upper rack 141 in the rear direction of the dishwasher 1 is drawn. ) and/or when the lower rack 142 is inserted, the entire rack inserted first among the upper rack 141 and the lower rack 142 may be photographed at the first position.

또한, 제1 카메라(10a)는, 식기 세척기(1)의 전면 방향으로 상부랙(141) 및/또는 하부랙(142)이 인출된 다음, 식기 세척기(1)의 후면 방향으로 상부랙(141) 및/또는 하부랙(142)이 삽입되는 경우, 상부랙(141) 및/또는 하부랙(142) 중 먼저 삽입되는 랙의 위치를 인식하고 랙 전체를 적분하면서 촬영할 수 있다. 하지만, 실시예가 이에 한정되는 것은 아니다.Also, in the first camera 10a, the upper rack 141 and/or the lower rack 142 are drawn out in the front direction of the dishwasher 1, and then the upper rack 141 in the rear direction of the dishwasher 1 is drawn. ) and/or when the lower rack 142 is inserted, it is possible to recognize the position of the first inserted rack among the upper rack 141 and/or the lower rack 142 and take a picture while integrating the entire rack. However, the embodiment is not limited thereto.

도 3b를 참조하면, 제1 카메라(10a)는 제2 위치에 배치될 수 있다. 제2 위치는 세척조(13) 내부의 상단에 대응하는 위치이다. 즉, 제2 위치는 세척조(13) 내부의 제1 면(13a) 상의 위치이다. 제2 위치는 제1 카메라(10a)가 상부랙(141)의 식기 및/또는 하부랙(142)의 식기를 모두 촬영할 수 있는 위치이다. 예를 들어, 제1 카메라(10a)는 상부랙(141) 위의 제1 면(13a) 상에서 상부랙(141)과 하부랙(142) 중 먼저 삽입되는 랙 전체를 한번에 촬영 수 있다.Referring to FIG. 3B , the first camera 10a may be disposed at a second position. The second position is a position corresponding to the upper end of the inside of the washing tank 13 . That is, the second position is a position on the first surface 13a inside the washing tub 13 . The second position is a position where the first camera 10a can photograph both the dishes of the upper rack 141 and/or the dishes of the lower rack 142 . For example, the first camera 10a may photograph the entire rack inserted first among the upper rack 141 and the lower rack 142 on the first surface 13a above the upper rack 141 at once.

또한, 제1 카메라(10a)는 제2 위치에서 상부랙(141)의 식기 및/또는 하부랙(142)의 식기가 모두 포함되는 촬영 범위에 대응하는 제2 화각(θ2)을 가진다.In addition, the first camera 10a has a second angle of view θ2 corresponding to a photographing range in which both the dishes of the upper rack 141 and/or the dishes of the lower rack 142 are included in the second position.

따라서, 제1 카메라(10a)는, 식기 세척기(1)의 전면 방향으로 상부랙(141) 및/또는 하부랙(142)이 인출된 다음 식기 세척기(1)의 후면 방향으로 상부랙(141) 및/또는 하부랙(142)이 삽입되는 경우, 상부랙(141)과 하부랙(142) 중 먼저 삽입되는 랙 전체를 제2 위치에서 촬영 수 있다. Accordingly, in the first camera 10a, the upper rack 141 and/or the lower rack 142 are drawn out in the front direction of the dishwasher 1 and then the upper rack 141 in the rear direction of the dishwasher 1 is performed. And/or when the lower rack 142 is inserted, the entire rack inserted first among the upper rack 141 and the lower rack 142 may be photographed at the second position.

도 3c를 참조하면, 촬영부(10)는 제1 카메라(10a) 및 제2 카메라(10b)를 포함할 수 있다. 제1 카메라(10a) 및 제2 카메라(10b)는 제3 면(13c)에 서로 이격 배치될 수 있다.Referring to FIG. 3C , the photographing unit 10 may include a first camera 10a and a second camera 10b. The first camera 10a and the second camera 10b may be spaced apart from each other on the third surface 13c.

제1 카메라(10a)는 제3 위치에 배치될 수 있다. 제3 위치는 제3 면(13c)에 위치한다. 제3 위치는, 도어(18)가 닫힘에 따라 상부랙(141)이 완전히 삽입된 경우, 상부랙(141)의 대각선 상단에 대응하는 위치일 수 있다. 이때, 제3 면(13c)은 세척조(13) 내부의 후면이다. The first camera 10a may be disposed at a third position. The third position is located on the third surface 13c. The third position may be a position corresponding to the diagonal upper end of the upper rack 141 when the upper rack 141 is completely inserted as the door 18 is closed. At this time, the third surface 13c is a rear surface of the inside of the washing tank 13 .

제1 카메라(10a)는 제3 위치에서 상부랙(141)의 식기가 모두 포함되는 촬영 범위에 대응하는 제3 화각(θ3)을 가진다. 제1 카메라(10a)는 제3 위치에서 도어(18)가 닫힌 경우 상부랙(141)의 식기 전체를 촬영 수 있다. 즉, 제1 카메라(10a)는 제3 위치에서 상부랙(141)이 완전히 삽입된 경우의 식기 전체를 촬영할 수 있다.The first camera 10a has a third angle of view θ3 corresponding to a shooting range in which all dishes of the upper rack 141 are included in the third position. The first camera 10a may photograph the entire tableware of the upper rack 141 when the door 18 is closed at the third position. That is, the first camera 10a may photograph the entire tableware when the upper rack 141 is completely inserted in the third position.

제2 카메라(10b)는 제4 위치에 배치될 수 있다. 제4 위치는, 제3 면(13c)에서 제3 위치보다 낮은 위치이다. 제4 위치는 도어(18)가 닫힘에 따라, 하부랙(142)이 완전히 삽입된 경우, 하부랙(142)의 대각선 상단에 대응하는 위치일 수 있다.The second camera 10b may be disposed at the fourth position. The fourth position is a position lower than the third position on the third surface 13c. The fourth position may be a position corresponding to the diagonal upper end of the lower rack 142 when the lower rack 142 is completely inserted as the door 18 is closed.

제2 카메라(10b)는 제4 위치에서 하부랙(142)의 식기가 모두 포함되는 촬영 범위에 대응하는 제4 화각(θ4)을 가진다. 제2 카메라(10b)는 제4 위치에서 하부랙(142)의 식기 전체를 촬영할 수 있다.The second camera 10b has a fourth angle of view θ4 corresponding to a shooting range in which all dishes of the lower rack 142 are included in the fourth position. The second camera 10b may photograph the entire tableware of the lower rack 142 at the fourth position.

도 3d를 참조하면, 촬영부(10)는 제1 카메라(10a) 및 제2 카메라(10b)를 포함할 수 있다. Referring to FIG. 3D , the photographing unit 10 may include a first camera 10a and a second camera 10b.

제1 카메라(10a)는 제5 위치에 배치될 수 있다. 제5 위치는 도어(18)의 후면상에 위치할 수 있다. 제5 위치는 도어(18)가 닫힘에 따라 상부랙(141)이 완전히 삽입된 경우, 상부랙(141)의 대각선 상단에 대응하는 위치일 수 있다.The first camera 10a may be disposed at a fifth position. A fifth location may be located on the back of the door 18 . The fifth position may be a position corresponding to the diagonal upper end of the upper rack 141 when the upper rack 141 is completely inserted as the door 18 is closed.

제1 카메라(10a)는 제5 위치에서 상부랙(141)의 식기가 모두 포함되는 촬영 범위에 대응하는 제5 화각(θ5)을 가진다. 제1 카메라(10a)는 제5 위치에서 도어(18)가 닫힌 경우 상부랙(141)의 식기 전체를 제5 위치에서 촬영할 수 있다.The first camera 10a has a fifth angle of view θ5 corresponding to a shooting range in which all dishes of the upper rack 141 are included in the fifth position. The first camera 10a may photograph the entire tableware of the upper rack 141 at the fifth position when the door 18 is closed at the fifth position.

제2 카메라(10b)는 제6 위치에 배치될 수 있다. 제6 위치는 도어(18)의 후면 상에서 제5 위치보다 낮은 위치이다. 제6 위치는 도어(18)가 닫힘에 따라 하부랙(142)이 완전히 삽입된 경우, 하부랙(142)의 대각선 상단에 대응하는 위치일 수 있다.The second camera 10b may be disposed at a sixth position. The sixth position is a lower position than the fifth position on the rear surface of the door 18 . The sixth position may be a position corresponding to the diagonal upper end of the lower rack 142 when the lower rack 142 is completely inserted as the door 18 is closed.

제2 카메라(10b)는 제6 위치에서 하부랙(142)의 식기가 모두 포함되는 촬영 범위에 대응하는 제6 화각(θ6)을 가진다. 제2 카메라(10b)는 제6 위치에서 하부랙(142)의 식기 전체를 촬영할 수 있다.The second camera 10b has a sixth angle of view θ6 corresponding to a shooting range in which all dishes of the lower rack 142 are included in the sixth position. The second camera 10b may photograph the entire tableware of the lower rack 142 at the sixth position.

이상에서, 설명의 편의를 위해 촬영부(10)에 1개 또는 2개의 카메라가 포함된 것으로 설명하였으나 실시예가 이에 한정되는 것은 아니고, 촬영부(10)에는 2개 이상의 카메라가 동시에 포함될 수 있다. 2개 이상의 카메라는 상술한 제1 카메라(10a)의 위치 및 제2 카메라(10b)의 위치 중 적어도 하나의 위치일 수 있다. In the above, it has been described that one or two cameras are included in the photographing unit 10 for convenience of explanation, but the embodiment is not limited thereto, and the photographing unit 10 may include two or more cameras at the same time. The two or more cameras may be at least one of the above-described positions of the first camera 10a and the second camera 10b.

이하, 도 4a를 참조하여 실시예에 따른 영상 처리부(31)에서 생성한 에지 영상을 설명한다.Hereinafter, an edge image generated by the image processing unit 31 according to the embodiment will be described with reference to FIG. 4A .

도 4a는 실시예에 따른 영상 처리부의 에지 영상을 나타내는 도면이다.4A is a diagram illustrating an edge image of an image processing unit according to an exemplary embodiment.

도 4a를 참조하면, 영상 처리부(31)는 촬영 영상을 영상 처리하여 에지 영상(EI)을 생성할 수 있다. Referring to FIG. 4A , the image processing unit 31 may generate an edge image EI by image processing a captured image.

예를 들어, 영상 처리부(31)는 변환된 이진 영상에 에지 디텍터를 적용하여 에지 영상(EI)을 생성할 수 있다. 에지 디텍터는 이진 영상에 포함된 에지를 검출하고 검출된 에지 중 폐곡선을 검색한다. 구체적으로, 에지 디텍터는 에지로 표시되는 픽셀들의 상관 관계를 이용하여. 직선 및 폐곡선을 검색한다. For example, the image processing unit 31 may generate an edge image EI by applying an edge detector to the converted binary image. The edge detector detects an edge included in the binary image and searches for a closed curve among the detected edges. Specifically, the edge detector uses the correlation of pixels represented by edges. Search for straight and closed curves.

에지 디텍터는, Sobel Edge Detector, Laplacian Edge Detector, Laplacian of Gaussian Edge Detector, Canny Edge Detector 중 어느 하나일 수 있으나, 실시예가 이에 한정되는 것은 아니다.The edge detector may be any one of Sobel Edge Detector, Laplacian Edge Detector, Laplacian of Gaussian Edge Detector, and Canny Edge Detector, but the embodiment is not limited thereto.

인식부(32)는 에지 영상(EI)을 이용하여 복수의 영역을 설정할 수 있다. 예를 들어, 영상 처리부(31)는 에지 영상(EI)을 이용하여 제1 영역(R)을 설정할 수 있다. 제1 영역(R1)은 상부랙(141)의 에지 안쪽 영역에 대응하는 영역의 에지 영상이다. 에지 영상(EI)에는 제1 영역(R)을 포함한다. The recognizer 32 may set a plurality of regions using the edge image EI. For example, the image processing unit 31 may set the first region R using the edge image EI. The first region R1 is an edge image of a region corresponding to an inner edge region of the upper rack 141 . The edge image EI includes the first region R.

제1 영역(R)은 상부랙(141)에 포함된 식기가 감지되는 영역이다. 제1 영역(R)은 가이드(1411)에 대응하는 제1 가이드 영역(E1) 및 가이드(1412)에 대응하는 제2 가이드 영역(E2)을 포함한다. 제1 영역(R)은 상부랙(141)의 랙 에지를 이용하여 인식될 수 있다. 제1 영역(R)은, 제2 영역(P), 제3 영역(O), 제1 가이드 영역(E1), 및 제2 가이드 영역(E2)을 포함한다. The first area R is an area in which dishes included in the upper rack 141 are sensed. The first area R includes a first guide area E1 corresponding to the guide 1411 and a second guide area E2 corresponding to the guide 1412 . The first region R may be recognized using the rack edge of the upper rack 141 . The first region R includes a second region P, a third region O, a first guide region E1 , and a second guide region E2 .

제2 영역(P)은 제1 영역(R)에서 직선 에지를 포함하는 영역이다. 예를 들어, 제2 영역(P)은 상부랙(141)에 제1 방향으로 수납된 식기(예를 들어, 접시)의 이진 영상으로 구성된 영역이다. 제1 방향은 상부랙(141)의 밑면과 수직인 방향 및/또는 하부랙(142)의 밑면과 수직인 방향일 수 있다. 즉, 제1 방향은 지면과 수직인 방향일 수 있으나 실시예가 이에 한정되는 것은 아니다.The second region P is a region including a straight edge in the first region R. For example, the second area P is an area composed of a binary image of dishes (eg, plates) accommodated in the upper rack 141 in the first direction. The first direction may be a direction perpendicular to the bottom surface of the upper rack 141 and/or a direction perpendicular to the bottom surface of the lower rack 142 . That is, the first direction may be a direction perpendicular to the ground, but the embodiment is not limited thereto.

인식부(32)는 제2 영역(P)의 직선 에지를 제1 방향으로 수납된 식기의 에지로 인식한다. 즉, 인식부(32)는 제2 영역(P)에 포함된 식기를 제1 방향으로 수납된 식기로서 인식한다.The recognition unit 32 recognizes the straight edge of the second area P as the edge of the dish accommodated in the first direction. That is, the recognition unit 32 recognizes the dishes included in the second area P as dishes accommodated in the first direction.

인식부(32)가 직선 에지를 이용하여 식기의 개수를 카운트하는 구체적인 방법은 후술한다.A specific method for the recognition unit 32 to count the number of dishes using the straight edge will be described later.

제3 영역(O)은 제1 영역(R)에서 폐곡선 에지를 포함하는 영역이다. 폐곡선 에지는 접시(D) 또는 컵(C)의 영상으로부터 생성될 수 있다. 이하, 식기는 접시와 컵인 것으로 가정한다. The third region O is a region including the edge of the closed curve in the first region R. The closed curve edge may be generated from the image of the plate (D) or the cup (C). Hereinafter, it is assumed that the tableware is a plate and a cup.

인식부(32)는 폐곡선 에지를 인식하여 제1 영역(R) 중 제3 영역(O)을 인식할 수 있다. 인식부(32)는 제3 영역(O)에서 폐곡선을 인식하여 눕혀진 접시(D)가 수납된 위치 또는 컵(C)을 인식할 수 있다. 인식부(32)는 눕혀진 접시(D)가 수납된 위치 또는 컵(C)이 수납된 위치를 파악할 수 있다. The recognition unit 32 may recognize the edge of the closed curve to recognize the third region O of the first region R. The recognition unit 32 may recognize the closed curve in the third region O to recognize the position or the cup C in which the laid-down plate D is accommodated. The recognition unit 32 may recognize a position in which the laid-down plate D is accommodated or a position in which the cup C is accommodated.

인식부(32)는 제3 영역(O)에서 인식된 폐곡선의 면적과 미리 설정된 기준 면적을 비교하여 접시(D)와 컵(C)을 구별할 수 있다. 예를 들어, 인식부(32)는 인식된 폐곡선의 면적이 기준 면적 이하인 경우 인식된 폐곡선을 컵(C)으로 인식한다. The recognition unit 32 may distinguish the plate D from the cup C by comparing the area of the closed curve recognized in the third region O with a preset reference area. For example, the recognition unit 32 recognizes the recognized closed curve as the cup C when the area of the recognized closed curve is equal to or less than the reference area.

인식부(32)는 인식된 폐곡선의 면적이 기준 면적을 초과하는 경우 인식된 폐곡선을 접시(D)로 인식한다. 인식부(32)는 인식된 접시(D) 또는 컵(C)의 개수를 카운트한다. The recognition unit 32 recognizes the recognized closed curve as the dish D when the area of the recognized closed curve exceeds the reference area. The recognition unit 32 counts the number of recognized plates (D) or cups (C).

따라서, 인식부(32)는 제3 영역(O)을 인식하여, 눕혀진 접시 및 컵이 수납된 위치를 판단할 수 있고, 제3 영역(O)에서 인식된 접시 및 컵의 개수를 카운트할 수 있다.Accordingly, the recognition unit 32 may recognize the third region O, determine the position in which the laid-down plates and cups are accommodated, and count the number of plates and cups recognized in the third region O. can

인식부(32)는 인식된, 폐곡선의 중심점 및 면적을 인식할 수 있다. 인식부(32)는 인식된, 중심점 및 면적에 대응하여 수납된 식기의 중심점 및 접시의 면적을 인식할 수 있다. 또한, 인식부(32)는, 인식된 폐곡선의 내부 색상과 인식된 폐곡선의 중심점의 색상이 동일한 경우, 인식된 폐곡선을 동일한 접시로 인식할 수 있다. The recognition unit 32 may recognize the recognized central point and area of the closed curve. The recognition unit 32 may recognize the center point of the dish and the area of the plate in response to the recognized center point and area. In addition, the recognition unit 32 may recognize the recognized closed curve as the same plate when the internal color of the recognized closed curve and the color of the center point of the recognized closed curve are the same.

또한, 인식부(32)는, 인식된 폐곡선의 내부 색상과 인식된 폐곡선의 중심점 색상이 서로 다른 것으로 인식되면, 인식된 폐곡선에 대응하는 접시(D)는 제2 방향으로 수납된 접시로 판단한다. 제2 방향은 상부랙(141) 및/또는 하부랙(142)과 수평 또는 소정의 각을 이루는 방향을 의미한다. In addition, if the recognition unit 32 recognizes that the color of the inner color of the recognized closed curve and the color of the center point of the recognized closed curve are different from each other, it is determined that the dish D corresponding to the recognized closed curve is the dish accommodated in the second direction. . The second direction refers to a direction forming a horizontal or predetermined angle with the upper rack 141 and/or the lower rack 142 .

접시(D)가 제2 방향으로 수납될 경우, 접시(D)는 상부랙(141) 및/또는 하부랙(142)과 수평으로 수납되거나 상부랙(141) 및/또는 하부랙(142)과 소정의 각을 형성하면서 수납된 것이다. 또한 접시(D)가 제2 방향으로 수납될 경우 다른 접시와 겹치면서 수납될 수 있다.When the plate (D) is accommodated in the second direction, the plate (D) is accommodated horizontally with the upper rack 141 and/or the lower rack 142 or the upper rack 141 and/or the lower rack 142 and It is stored while forming a predetermined angle. Also, when the plate D is accommodated in the second direction, it may be accommodated while overlapping other plates.

인식부(32)는 인식된 복수의, 폐곡선이 서로 겹친 것으로 인식된 경우, 인식된 식기는 제2 방향으로 수납된 접시(D)로 판단한다.When it is recognized that a plurality of recognized closed curves overlap each other, the recognition unit 32 determines that the recognized tableware is the plate D accommodated in the second direction.

인식부(32)가 제3 영역(O)에 도시된 접시(D)를 제2 방향으로 수납된 복수의 접시로 인식하고, 접시의 개수를 카운트하는 구체적인 방법은 후술한다. A specific method for the recognition unit 32 to recognize the plate D shown in the third region O as a plurality of plates accommodated in the second direction, and to count the number of plates will be described later.

설명의 편의를 위해 제1 영역(R), 제2 영역(P), 제3 영역(O), 제1 가이드 영역(E1), 및 제2 가이드 영역(E2)을 상부랙(141)의 영역으로 한정하여 설명하였으나, 실시예가 이에 한정되는 것은 아니며, 하부랙(142)의 영역에도 상부랙(141)의 각 영역에 대응하는, 제1 영역, 제2 영역, 제3 영역, 제1 가이드 영역, 및 제2 가이드 영역이 포함된다.For convenience of description, the first region (R), the second region (P), the third region (O), the first guide region (E1), and the second guide region (E2) are the regions of the upper rack 141 . , but the embodiment is not limited thereto, and the first area, the second area, the third area, and the first guide area corresponding to each area of the upper rack 141 also in the area of the lower rack 142 . , and a second guide region.

이하, 도 4b를 참조하여 실예에 따른 인식부(32)가 직선의 이진 영상을 이용하여 식기의 개수를 카운트하는 방법에 대하여 설명한다. 이하, 도 4b에 도시된 식기는 접시인 것으로 가정한다. Hereinafter, a method in which the recognition unit 32 counts the number of dishes using a binary image of a straight line according to an embodiment will be described with reference to FIG. 4B . Hereinafter, it is assumed that the tableware shown in FIG. 4B is a plate.

도 4b는 실시예에 따른 에지 영상 중 제2 영역(P)을 나타내는 도면이다. 4B is a diagram illustrating a second region P of an edge image according to an exemplary embodiment.

인식부(32)는 제2 영역(P)에서, 영상의 밝기(Brightness)가 낮은 값에서 높은 값으로 변하는 영역, 또는 영상의 밝기가 낮은 값에서 높은 값으로 변화는 영역의 경계선을 직선 에지로 인식하고, 직선 에지의 개수를 카운트하여 제1 방향으로 수납된, 접시의 위치를 판단하고, 접시의 개수를 카운트할 수 있다.In the second region P, the recognition unit 32 sets the boundary line of a region in which the brightness of the image changes from a low value to a high value, or a region in which the image brightness changes from a low value to a high value, as a straight edge. It is possible to recognize, count the number of straight edges, determine the position of the plate accommodated in the first direction, and count the number of plates.

구체적으로 설명하면, 인식부(32)는 제2 영역(P)에서, 영상의 밝기가 미리 설정된 기준 밝기 이상인 영역 접시 영역(W)으로 인식하고 영상의 밝기가 기준 밝기 미만인 영역을 공간 영역(B)으로 인식한다. 인식부(32)는 공간 영역(B)과 접시 영역(W)이 반복적으로 포함되는 소정의 패턴(pattern)을 이용하여 제1 방향으로 수납된 접시의 개수를 카운트할 수 있다. 즉, 인식부(32)는 접시 영역(W)의 개수 또는 공간 영역(B)의 개수를 카운트하여 제2 영역(P)에 포함된 접시의 개수를 카운트할 수 있다. Specifically, in the second area P, the recognition unit 32 recognizes an area dish area W in which the brightness of the image is greater than or equal to the preset reference brightness, and identifies the area in which the brightness of the image is less than the reference brightness as the spatial area B. ) is recognized as The recognition unit 32 may count the number of plates accommodated in the first direction by using a predetermined pattern in which the spatial region B and the plate region W are repeatedly included. That is, the recognition unit 32 may count the number of dishes included in the second area P by counting the number of dish areas W or the number of space areas B. Referring to FIG.

따라서, 인식부(32)는 제1 영역(R) 중 제2 영역(P)을 인식하여 접시가 제1 방향으로 수납된 위치를 판단할 수 있고, 제2 영역에서 인식된 접시의 개수를 카운트할 수 있다.Accordingly, the recognition unit 32 may recognize the second area P of the first area R to determine the position where the dishes are accommodated in the first direction, and count the number of dishes recognized in the second area. can do.

이하, 도 4c를 참조하여 실예에 따른 인식부(32)가 겹친 타원을 이용하여 접시를 인식하고 인식된 접시의 개수를 카운트하는 방법에 대하여 설명한다. Hereinafter, a method in which the recognition unit 32 according to an embodiment recognizes a plate using an overlapping ellipse and counts the number of recognized plates will be described with reference to FIG. 4C .

도 4c는 실시예에 따른 제3 영역에서 서로 겹쳐진 복수의 타원을 나타낸 도면이다.4C is a diagram illustrating a plurality of ellipses overlapping each other in a third area according to an embodiment.

인식부(32)는 인식된 복수의 타원 각각의 중심점 거리와 인식된 복수의 타원의 색을 이용하여 접시를 구별할 수 있다. The recognition unit 32 may distinguish a plate by using the distance from the center point of each of the recognized plurality of ellipses and the colors of the recognized plurality of ovals.

예를 들어, 인식부(32)는 인식된 복수의 타원 각각의 중심점 거리가 미리 설정된 기준 거리를 초과하면 복수의 타원은 서로 다른 접시인 것으로 인식한다. For example, the recognition unit 32 recognizes that the plurality of ellipses are different plates when the distance to the center point of each of the recognized ellipses exceeds a preset reference distance.

또한, 인식부(32)는, 인식된 복수의 타원 각각의 중심점 거리가 소정의 기준 거리 이하인 경우, 인식된 복수의 타원 각각의 명도 차이가 미리 설정된 기준 명도를 초과하는 경우 인식된 복수의 타원은 서로 다른 접시인 것으로 판단한다. 인식부(32)는 인식된 복수의 타원 각각의 명도 차이가 기준 명도 이하인 경우, 인식된 복수의 타원은 서로 동일한 접시인 것으로 판단한다.In addition, the recognition unit 32, when the distance to the center point of each of the recognized plurality of ellipses is less than or equal to a predetermined reference distance, when the difference in brightness of each of the recognized plurality of ellipses exceeds a preset reference brightness, the recognized plurality of ellipses is They are judged to be different plates. When the difference in brightness between the plurality of recognized ellipses is equal to or less than the reference brightness, the recognition unit 32 determines that the plurality of recognized ellipses are the same plate.

구체적으로, 도 4c를 참조하면, 인식된 접시(D)는 복수의 타원을 포함할 수 있다. 복수의 타원은 제1 타원(D1), 제2 타원(D2), 및 제3 타원(D3)을 포함할 수 있다. Specifically, referring to FIG. 4C , the recognized dish D may include a plurality of ellipses. The plurality of ellipses may include a first ellipse D1 , a second ellipse D2 , and a third ellipse D3 .

제1 타원(D1)의 중심점(c1)과 제2 타원(D2)의 중심점(c2) 사이의 거리(r1)는 기준 거리 이하이다. 제2 타원(D2)의 중심점(c2)과 제3 타원(D3)의 중심점(c3) 사이의 거리(r2)는 기준 거리를 초과한다. 따라서, 인식부(32)는 제2 타원(D2)과 제3 타원(D3)을 서로 다른 접시로 인식하고 2개의 접시로 카운트한다. A distance r1 between the center point c1 of the first ellipse D1 and the center point c2 of the second ellipse D2 is equal to or less than the reference distance. A distance r2 between the center point c2 of the second ellipse D2 and the center point c3 of the third ellipse D3 exceeds the reference distance. Accordingly, the recognition unit 32 recognizes the second ellipse D2 and the third ellipse D3 as different plates and counts them as two plates.

또한, 제1 타원(D1)의 명도와 제2 타원(D2)의 명도 차이가 기준 명도를 초과한다. 따라서, 인식부(32)는 제1 타원(D1)과 제2 타원(D2)을 서로 다른 접시로 인식하고 2개의 접시로 카운트한다. Also, a difference between the brightness of the first ellipse D1 and the brightness of the second ellipse D2 exceeds the reference brightness. Accordingly, the recognition unit 32 recognizes the first ellipse D1 and the second ellipse D2 as different plates and counts them as two plates.

이상에서 설명의 편의를 위해, 인식된 접시(D)는 복수의 타원을 포함하는 것으로 설명하였으나 실시예가 이에 한정되는 것은 아니고 인식된 접시(D)는 원 등의 폐곡선을 포함할 수 있다. 또한, 3개의 접시(D1, D2, D3)가 제2 방향으로 수납된 경우를 이용하여 설명하였으나 실시예가 이에 한정되는 것은 아니고 실시예는 3개 이상의 접시가 제2 방향으로 수납된 경우도 포함될 수 있다. For convenience of explanation, the recognized dish D has been described as including a plurality of ellipses, but the embodiment is not limited thereto and the recognized dish D may include a closed curve such as a circle. In addition, although the description has been made using the case in which the three plates D1, D2, and D3 are accommodated in the second direction, the embodiment is not limited thereto, and the embodiment may include a case in which three or more plates are accommodated in the second direction. have.

이하, 도 5를 참조하여 구동부(33)에서 인식부(32)가 인식한 식기의 수납위치, 식기의 종류, 및 식기의 개수에 따라, 세척 행정을 제어하는 방법에 대하여 설명한다.Hereinafter, a method of controlling the washing process according to the storage position of the dishes recognized by the recognition unit 32 in the driving unit 33, the types of dishes, and the number of dishes will be described with reference to FIG. 5 .

도 5는 실시예에 따른 구동부에서 세척 시간을 제어하는 그래프이다.5 is a graph for controlling a washing time in the driving unit according to the embodiment.

도 5를 참조하면, 실시예에 따른 식기 세척기(1)의, 식기 표준 오염도(Po)에 따른 세척 시간(T)에 대하여, 구동부(33)가 세척 시간(T)을 제어하지 않은 경우에 대응하는 세척 시간 그래프(De)와 구동부(33)가 세척 시간(T)을 제어한 경우에 대응하는 세척 시간 그래프(Co)가 도시되어 있다. Referring to FIG. 5 , with respect to the washing time T according to the standard contamination level Po of the dish washing machine 1 according to the embodiment, the driving unit 33 does not control the washing time T A washing time graph De and a washing time graph Co corresponding to the case where the driving unit 33 controls the washing time T are shown.

구동부(33)는 인식부(32) 인식한 식기의 개수가 많은 위치에, 세척수의 양, 헹굼수의 양, 및 스팀량을 제어하여 세척 시간을 줄일 수 있다.The driving unit 33 may reduce the washing time by controlling the amount of washing water, the amount of rinsing water, and the amount of steam at a position where the number of dishes recognized by the recognition unit 32 is large.

구체적으로, 식기 표준 오염도(Po)가 제1 오염도(Po1)인 경우, 구동부(33)는, 인식한 식기의 개수가 많은 위치에 세척수의 양, 헹굼수의 양, 및 스팀량 중 적어도 하나가 집중될 수 있도록 제어할 수 있다. 따라서, 제1 오염도(Po1)인 경우 종래 세척 시간(t2)을 세척 시간(t1)으로 단축할 수 있는 효과가 있다.Specifically, when the standard dishwashing level Po is the first level of pollution Po1, the driving unit 33 concentrates at least one of the amount of washing water, the amount of rinsing water, and the amount of steam at a position where the number of recognized dishes is large. can be controlled to be Therefore, in the case of the first pollution degree Po1, there is an effect that the conventional washing time t2 can be shortened to the washing time t1.

또한, 식기 표준 오염도(Po)가 제1 오염도(Po1)에서 제2 오염도(Po2) 사이인 경우, 구동부(33)는, 인식한 식기의 개수가 많은 위치에 세척수의 양, 헹굼수의 양, 및 스팀량 중 적어도 하나가 집중될 수 있도록, 세척 시간을 단계별로 제어할 수 있다. 따라서, 제1 오염도(Po1)에서 제2 오염도(Po2) 사이의 구간에서, 구동부(33)는, 종래 일정한 세척 시간(t3)을 단계별로 단축할 수 있는 효과가 있다.In addition, when the standard level of contamination Po of dishes is between the first level of pollution (Po1) and the second level of pollution (Po2), the driving unit 33 sets the amount of washing water, the amount of rinsing water, and And it is possible to control the washing time step by step so that at least one of the amount of steam can be concentrated. Accordingly, in the section between the first pollution degree Po1 and the second pollution degree Po2, the driving unit 33 has an effect of reducing the conventional constant cleaning time t3 step by step.

또한, 식기 표준 오염도(Po)가 제2 오염도(Po2)에서 제3 오염도(Po3) 사이인 경우, 구동부(33)는, 인식한 식기의 개수가 많은 위치에 세척수의 양, 헹굼수의 양, 및 스팀량 중 적어도 하나가 집중될 수 있도록, 세척 시간을 단계별로 제어할 수 있다. 따라서, 제2 오염도(Po2)에서 제3 오염도(Po3) 사이의 구간에서, 구동부(33)는, 종래 일정한 세척 시간(t3)을 단계별로 단축할 수 있는 효과가 있다.In addition, when the standard level of contamination Po of dishes is between the second level of pollution (Po2) and the third level of pollution (Po3), the driving unit 33 sets the amount of washing water, the amount of rinsing water, And it is possible to control the washing time step by step so that at least one of the amount of steam can be concentrated. Accordingly, in the section between the second pollution degree Po2 and the third pollution degree Po3, the driving unit 33 has the effect of shortening the conventional constant cleaning time t3 step by step.

이상에서 제1 오염도(Po1)는 3인이 사용한 식기의 표준 오염량이고, 제2 오염도(Po2)는 6인이 사용한 식기의 표준 오염량이며, 제1 오염도(Po1)는 10인이 사용한 식기의 표준 오염량일 수 있으나, 실시예가 이에 한정되는 것은 아니다.In the above, the first pollution degree (Po1) is the standard amount of contamination of tableware used by 3 people, the second pollution degree (Po2) is the standard amount of contamination of the tableware used by 6 people, and the first pollution degree (Po1) is the standard amount of tableware used by 10 people. It may be the amount of contamination, but the embodiment is not limited thereto.

이하, 도 6을 참조하여 실시예에 따른 식기 세척기의 제어 방법을 설명한다.Hereinafter, a method of controlling a dishwasher according to an embodiment will be described with reference to FIG. 6 .

도 6은 실시예에 다른 식기 세척기의 제어 방법을 설명하는 흐름도이다.6 is a flowchart illustrating a control method of a dishwasher according to an embodiment.

도 6을 참조하면, 단계(S10)에서, 제어부(30)는 도어(18)가 열린 상태인지 확인한다.Referring to FIG. 6 , in step S10 , the control unit 30 checks whether the door 18 is in an open state.

단계(S20)에서, 제어부(30)는, 도어(18)가 열린 경우, 상부랙(141) 및/또는 하부랙(142)이 인출되었는지 판단한다.In step S20 , the control unit 30 determines whether the upper rack 141 and/or the lower rack 142 is withdrawn when the door 18 is opened.

단계(S30)에서, 촬영부(10)는 상부랙(141) 및/또는 하부랙(142)이 인출된 경우, 상부랙(141) 및/또는 하부랙(142)을 촬영하여 촬영 영상을 생성한다. In step (S30), the photographing unit 10 creates a photographed image by photographing the upper rack 141 and/or the lower rack 142 when the upper rack 141 and/or the lower rack 142 is withdrawn. do.

단계(S40)에서, 영상 처리부(31)는 촬영 영상에 에지 디텍터를 적용하여 에지 영상을 생성하고 영상 처리를 수행한다. In step S40 , the image processing unit 31 generates an edge image by applying an edge detector to the captured image and performs image processing.

단계(S50)에서, 인식부(32)는 에지 영상에서 상부랙(141)의 에지 및 하부랙(142)의 에지를 감지하여 상부랙(141)및 하부랙(142) 인식할 수 있다. In step S50, the recognition unit 32 may recognize the upper rack 141 and the lower rack 142 by detecting the edge of the upper rack 141 and the edge of the lower rack 142 in the edge image.

단계(S60)에서, 인식부(32)는 상부랙(141) 및/또는 하부랙(142)의 소정의 영역에 포함된 에지를 이용하여 상부랙(141) 및/또는 하부랙(142)에서, 식기의 위치 및 식기의 개수를 감지할 수 있다. In step S60, the recognition unit 32 uses the edge included in a predetermined area of the upper rack 141 and/or the lower rack 142 in the upper rack 141 and/or the lower rack 142. , the position of the dishes and the number of dishes can be detected.

또한, 인식부(32)는 에지 영상(EI)을 이용하여 복수의 영역을 설정할 수 있다. 예를 들어, 영상 처리부(31)는 에지 영상(EI)을 이용하여 제1 영역(R)을 설정한다. 인식부(32)는 제2 영역(P)의 직선 에지를 제1 방향으로 수납된 식기의 에지로 인식한다. 즉, 인식부(32)는 제2 영역(P)에 포함된 식기를 제1 방향으로 수납된 식기로서 인식한다.Also, the recognizer 32 may set a plurality of regions using the edge image EI. For example, the image processing unit 31 sets the first region R using the edge image EI. The recognition unit 32 recognizes the straight edge of the second area P as the edge of the dish accommodated in the first direction. That is, the recognition unit 32 recognizes the dishes included in the second area P as dishes accommodated in the first direction.

인식부(32)는 제2 영역(P)에서, 영상의 밝기(Brightness)가 낮은 값에서 높은 값으로 변하는 영역, 또는 영상의 밝기가 낮은 값에서 높은 값으로 변화는 영역의 경계선을 이용하여 접시가 제1 방향으로 수납된 위치를 판단하고, 접시의 개수를 카운트한다.In the second area P, the recognition unit 32 uses a boundary line of a region in which the image brightness changes from a low value to a high value, or a region in which the image brightness changes from a low value to a high value. A position is determined in the first direction, and the number of plates is counted.

또한, 인식부(32)는, 제3 영역(O)을 인식하여, 눕혀진 접시 및 컵이 수납된 위치를 판단할 수 있고, 제3 영역(O)에서 인식된 접시 및 컵의 개수를 카운트한다. In addition, the recognition unit 32 may recognize the third region O, determine the position in which the laid-down plates and cups are accommodated, and count the number of plates and cups recognized in the third region O. do.

단계(S70)에서, 구동부(33)는 인식부(32)가 인식한 식기의 수납 위치, 식기의 종류, 및 식기의 개수에 따라, 미리 설정된 세척 코스를 변경한다. In step S70 , the driving unit 33 changes the preset washing course according to the storage position of the dishes, the types of dishes, and the number of dishes recognized by the recognition unit 32 .

구동부(33)는 수납 위치 및/또는 식기의 개수가 많은 위치에, 세척수의 양, 헹굼수의 양, 및 스팀량, 세척 시간 중 적어도 어느 하나가 증가하도록 제어함으로써 세척 시간을 단축할 수 있다. The driving unit 33 may shorten the washing time by controlling to increase at least one of the amount of washing water, the amount of rinsing water, the amount of steam, and the washing time in the storage position and/or the position where the number of dishes is large.

또한, 구동부(33)는 수납 위치 및/또는 식기의 개수가 많은 위치에 세척 시간을 단계 별로 단축할 수 있다.In addition, the driving unit 33 may reduce the washing time step by step in the storage position and/or the position in which the number of dishes is large.

단계(S80)에서, 구동부(33)는 변경된 세척 코스에 따라 식기 세척기(1)를 구동한다.In step S80 , the driving unit 33 drives the dishwasher 1 according to the changed washing course.

이하, 도 7을 참조하여 실시예에 따른 인식부에서 제1 방향으로 수납된 식기를 인식하고 개수를 카운팅하는 방법을 설명한다.Hereinafter, a method of recognizing and counting dishes stored in the first direction in the recognition unit according to an embodiment will be described with reference to FIG. 7 .

도 7은 실시예에 따른 식기 세척기의 제어 방법 중 제1 방향으로 수납된 식기 개수를 카운팅 하는 방법을 나타내는 흐름도이다.7 is a flowchart illustrating a method of counting the number of dishes stored in a first direction among a control method of a dish washing machine according to an embodiment.

도 7을 참조하면, 단계(S51)에서, 영상 처리부(31)에 촬영부(10)의 촬영 영상이 입력된다.Referring to FIG. 7 , in step S51 , the captured image of the photographing unit 10 is input to the image processing unit 31 .

단계(S52)에서, 영상 처리부(31)는 촬영 영상을 이진 영상으로 만든 다음, 에지 디텍터를 이용하여 에지 영상(EI)을 생성한다. 영상 처리부(31)는 에지 영상(EI)을 이용하여 제1 영역(R)을 설정한다. 제1 영역(R1)은 상부랙(141)의 에지 안쪽 영역에 대응하는 영역의 에지 영상이다. 에지 영상(EI)에는 제1 영역(R)을 포함한다.In step S52 , the image processing unit 31 converts the captured image into a binary image and then generates an edge image EI using an edge detector. The image processing unit 31 sets the first region R by using the edge image EI. The first region R1 is an edge image of a region corresponding to an inner edge region of the upper rack 141 . The edge image EI includes the first region R.

단계(S53)에서, 인식부(32)는 에지 영상(EI)을 이용하여 복수의 영역을 설정한다. 구체적으로, 영상 처리부(31)는 에지 영상(EI)을 이용하여 제1 영역(R)을 설정한다. 제1 영역(R1)은 상부랙(141)의 에지 안쪽 영역에 대응하는 영역의 에지 영상이다. 에지 영상(EI)에는 제1 영역(R)을 포함한다. In step S53 , the recognition unit 32 sets a plurality of regions using the edge image EI. Specifically, the image processing unit 31 sets the first region R by using the edge image EI. The first region R1 is an edge image of a region corresponding to an inner edge region of the upper rack 141 . The edge image EI includes the first region R.

단계(S61)에서, 인식부(32)는 제2 영역(P)에서, 영상의 밝기가 낮은 값에서 높은 값으로 변하는 영역, 또는 영상의 밝기가 낮은 값에서 높은 값으로 변화는 영역의 경계선을 이용하여 제1 방향으로 수납된 접시의 위치를 판단한다.In step S61, in the second region P, the recognition unit 32 recognizes a boundary of a region in which the image brightness changes from a low value to a high value, or a region in which the image brightness changes from a low value to a high value. The position of the plate accommodated in the first direction is determined using the

인식부(32)는 제2 영역(P)에서, 영상의 밝기가 기준 밝기 이상인 영역 접시 영역(W)으로 인식하고 영상의 밝기가 기준 밝기 미만인 영역을 공간 영역(B)으로 인식한다.The recognition unit 32 recognizes, in the second area P, as the dish area W in which the brightness of the image is equal to or greater than the reference brightness, and recognizes the area in which the brightness of the image is less than the reference brightness as the spatial area B.

단계(S62)에서, 인식부(32)는 공간 영역(B)과 접시 영역(W)이 반복적으로 포함되는 소정의 패턴을 이용하여 제1 방향으로 수납된 접시의 개수를 카운트할 수 있다. 즉, 인식부(32)는 접시 영역(W)의 개수 또는 공간 영역(B)의 개수를 카운트하여 제2 영역(P)에 포함된 접시의 개수를 카운트할 수 있다.In step S62 , the recognition unit 32 may count the number of plates accommodated in the first direction by using a predetermined pattern in which the spatial region B and the plate region W are repeatedly included. That is, the recognition unit 32 may count the number of dishes included in the second area P by counting the number of dish areas W or the number of space areas B. Referring to FIG.

따라서, 인식부(32)는 제2 영역(P)을 인식하여, 제1 방향으로 수납된 접시의 수납 위치를 판단할 수 있고, 제2 영역(P)에서 인식된, 접시와 컵의 개수를 카운트할 수 있다.Accordingly, the recognition unit 32 may recognize the second region P, determine the storage position of the plate accommodated in the first direction, and determine the number of plates and cups recognized in the second region P. can count

이하, 도 8을 참조하여 실시예에 따른 인식부에서 인식된 타원을 이용하여 접시를 인식하고 접시의 개수를 카운팅하는 방법을 설명한다.Hereinafter, a method of recognizing a plate using an ellipse recognized by the recognition unit according to an embodiment and counting the number of plates will be described with reference to FIG. 8 .

도 8은 실시예에 따른 식기 세척기의 제어 방법 중 제2 방향으로 수납된 식기 개수를 카운팅 하는 방법을 나타내는 흐름도이다.8 is a flowchart illustrating a method of counting the number of dishes stored in a second direction among a control method of a dish washing machine according to an embodiment.

도 8을 참조하면, 단계(S51)에서, 영상 처리부(31)에 촬영부(10)의 촬영 영상이 입력된다.Referring to FIG. 8 , in step S51 , the captured image of the photographing unit 10 is input to the image processing unit 31 .

단계(S53)에서, 인식부(32)는 에지 영상(EI)을 이용하여 복수의 영역을 설정한다. 구체적으로, 영상 처리부(31)는 에지 영상(EI)을 이용하여 제1 영역(R)을 설정한다. 제1 영역(R1)은 상부랙(141)의 에지 안쪽 영역에 대응하는 영역의 에지 영상이다. 에지 영상(EI)에는 제1 영역(R)을 포함한다.In step S53 , the recognition unit 32 sets a plurality of regions using the edge image EI. Specifically, the image processing unit 31 sets the first region R by using the edge image EI. The first region R1 is an edge image of a region corresponding to an inner edge region of the upper rack 141 . The edge image EI includes the first region R.

단계(S64)에서, 인식부(32)는 제3 영역(O)에서 폐곡선을 인식하고, 인식된, 폐곡선의 중심점 및 면적을 인식한다. 인식부(32)는 인식된, 중심점 및 면적에 대응하여 수납된 식기의 중심점 및 접시의 크기를 인식한다.In step S64, the recognition unit 32 recognizes the closed curve in the third area O, and recognizes the recognized center point and area of the closed curve. The recognition unit 32 recognizes the center point of the accommodated dish and the size of the plate corresponding to the recognized center point and area.

단계(S65)에서, 인식부(32)는 인식된, 폐곡선의 면적과 기준 면적을 비교하여 접시(D)와 컵(C)을 구별한다. In step S65, the recognition unit 32 distinguishes the plate D from the cup C by comparing the recognized area of the closed curve with the reference area.

예를 들어, 인식부(32)는 인식된 폐곡선의 면적이 기준 면적 이하인 경우 인식된 폐곡선을 컵(C)으로 인식한다. 인식부(32)는 인식된 폐곡선의 면적이 기준 면적을 초과하는 경우 인식된 폐곡선을 접시(D)로 인식한다.For example, the recognition unit 32 recognizes the recognized closed curve as the cup C when the area of the recognized closed curve is equal to or less than the reference area. The recognition unit 32 recognizes the recognized closed curve as the dish D when the area of the recognized closed curve exceeds the reference area.

단계(S66)에서, 인식부(32)는 인식된 복수의 타원 각각의 중심점 거리와 소정의 기준 거리를 비교한다. 인식부(32)는 인식된 복수의 타원 각각의 중심점 거리가 소정의 기준 거리를 초과하면 복수의 타원은 서로 다른 접시인 것으로 인식한다.In step S66, the recognition unit 32 compares the distance between the center points of each of the recognized plurality of ellipses and a predetermined reference distance. The recognition unit 32 recognizes that the plurality of ellipses are different plates from each other when the distance to the center point of each of the recognized ellipses exceeds a predetermined reference distance.

단계(S67)에서, 인식부(32)는, 인식된 복수의 타원 각각의 중심점 거리가 소정의 기준 거리 이하인 경우, 인식된 복수의 타원 각각의 명도 차이를 비교한다. In step S67 , the recognition unit 32 compares differences in brightness between the recognized plurality of ellipses when the distance to the center point of each of the recognized ellipses is equal to or less than a predetermined reference distance.

인식부(32)는, 인식된 복수의 타원 각각의 중심점 거리가 소정의 기준 거리 이하인 경우, 인식된 복수의 타원 각각의 명도 차이가 기준 명도를 초과하는지 판단한다. The recognition unit 32 determines whether a difference in brightness of each of the recognized ellipses exceeds a reference brightness when the distance to the center point of each of the recognized ellipses is less than or equal to a predetermined reference distance.

인식부(32)는, 인식된 복수의 타원 각각의 명도 차이가 기준 명도 이하인 경우, 인식된 복수의 타원은 서로 동일한 접시인 것으로 판단한다.The recognition unit 32 determines that the plurality of recognized ellipses are the same plate when the difference in brightness of each of the recognized ellipses is equal to or less than the reference brightness.

단계(S68)에서, 인식부(32)는 인식된 폐곡선의 면적이 기준 면적 이하인 경우 인식된 폐곡선을 컵(C)으로 인식하고, 컵(C)의 개수를 카운팅한다.In step S68 , the recognition unit 32 recognizes the recognized closed curve as the cup C when the area of the recognized closed curve is less than or equal to the reference area, and counts the number of cups C.

또한, 인식부(32)는 인식된 복수의 타원 각각의 중심점 거리가 소정의 기준 거리를 초과하면 복수의 타원은 서로 다른 접시인 것으로 인식하고, 인식된 서로 다른 접시의 개수를 카운팅힌다.In addition, the recognition unit 32 recognizes that the plurality of ellipses are different plates from each other when the distance from the center point of each of the recognized plurality of ellipses exceeds a predetermined reference distance, and counts the number of recognized different plates.

인식된 복수의 타원 각각의 명도 차이가 기준 명도를 초과하는 경우 인식된 복수의 타원은 서로 다른 접시인 것으로 판단하고, 인식된 서로 다른 접시의 개수를 카운팅힌다.When the difference in brightness between the plurality of recognized ellipses exceeds the reference brightness, it is determined that the plurality of recognized ellipses are different plates, and the number of recognized different plates is counted.

따라서, 인식부(32)는 제1 영역(R) 중 제3 영역(O)을 인식하여, 눕혀진 접시 및 컵이 수납된 위치를 판단할 수 있고, 제3 영역(O)에서 인식된 접시 및 컵의 개수를 카운트할 수 있다.Accordingly, the recognition unit 32 recognizes the third region O of the first region R, and determines the position in which the laid-down plate and the cup are accommodated, and the plate recognized in the third region O. And the number of cups can be counted.

이상에서 실시예의 실시예에 대하여 상세하게 설명하였지만 실시예의 권리범위는 이에 한정되는 것은 아니고 이하의 청구범위에서 정의하고 있는 실시예의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 실시예의 권리범위에 속하는 것이다. Although the embodiment of the embodiment has been described in detail above, the scope of the embodiment is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the embodiment as defined in the claims below are also included in the scope of the embodiment. will be.

따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되고 예시로서 고려되어야 한다. 실시예의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 실시예의 등가적 범위 내에서의 모든 변경은 실시예의 범위에 포함된다.Accordingly, the foregoing detailed description should not be construed as limiting in all respects but as examples. The scope of the embodiments should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the embodiments are included in the scope of the embodiments.

1: 식기 세척기 10: 촬영부
11: 캐비닛 12: 에어 가이드
13: 세척조 16: 섬프
17: 펌프 18: 도어
20: 제2 카메라 30: 제어부
31: 영상 처리부 32: 인식부
33: 구동부 40: 급수 장치
50: 배수 장치 60: 표시 장치
121: 급수 유로 151: 배수 유로
123: 제1 센서 131: 제2 센서
141: 상부랙 142: 하부랙
151: 상부암 152: 하부암
161: 섬프 커버 162: 배출구
1231: 임펠러 1232: 마그넷
1233: 홀센서 1311: 발광부
1312: 수광부 1313: 덮개1: Dishwasher 10: Filming Department
11: Cabinet 12: Air Guide
13: washing tank 16: sump
17: pump 18: door
20: second camera 30: control unit
31: image processing unit 32: recognition unit
33: drive unit 40: water supply device
50: drainage device 60: display device
121: water supply flow path 151: drain flow path
123: first sensor 131: second sensor
141: upper rack 142: lower rack
151: upper arm 152: lower arm
161: sump cover 162: outlet
1231: impeller 1232: magnet
1233: Hall sensor 1311: light emitting part
1312: light receiving unit 1313: cover

Claims

A dishwasher comprising a washing tub in which dishes are washed,
a rack for accommodating the dishes;
a photographing unit disposed at a position capable of photographing the entire rack, and generating a photographed image by photographing the rack;
The photographed image is image-processed to generate an edge image, the rack is recognized by using the edge of the rack included in the edge image, and the storage position of the tableware is recognized in the rack, and the tableware A control unit for counting and changing a preset washing course according to the storage position and the count result
Dishwasher comprising a.

According to claim 1,
The rack is drawn out in the front direction of the dishwasher and inserted in the rear direction of the dishwasher,
The photographing unit includes a first camera disposed in a first position,
The first camera creates the photographed image by photographing the entire rack inserted in the rear direction,
The first position is a position corresponding to a front upper end of the dishwasher.

According to claim 1,
The rack is drawn out in the front direction of the dishwasher and inserted in the rear direction of the dishwasher,
The photographing unit includes a second camera disposed at a second position,
The second camera creates the photographed image by photographing the entire rack inserted in the rear direction,
The second position is a position corresponding to an upper end inside the washing tub.

According to claim 1,
The dishwasher further includes a door disposed in front of the dishwasher,
The rack includes an upper rack drawn out in the front direction of the dishwasher and inserted in the rear direction of the dishwasher, and a lower rack drawn out in the front direction of the dish washing machine and inserted in the rear direction of the dishwasher,
The photographing unit includes a third camera and a fourth camera spaced apart from each other in a third position,
The third camera creates the photographed image by photographing the entire upper rack inserted in the rear direction,
The fourth camera creates the photographed image by photographing the entire lower rack inserted in the rear direction,
The third position is a position corresponding to a rear surface of the dishwasher.

According to claim 1,
The dishwasher further includes a door disposed in front of the dishwasher,
The rack includes an upper rack drawn out in the front direction of the dishwasher and inserted in the rear direction of the dishwasher, and a lower rack drawn out in the front direction of the dish washing machine and inserted in the rear direction of the dishwasher,
The photographing unit includes a third camera and a fourth camera spaced apart from each other at a fourth position,
The third camera generates the captured image by photographing the entire upper rack after the door is closed at the fourth position,
The fourth camera generates the captured image by photographing the entire lower rack after the door is closed at the fourth position,
The fourth position is a position corresponding to the rear surface of the door.

According to claim 1,
In the image processing, the controller converts the captured image into a binary image, and then generates the edge image using an edge detector.
The control unit further comprises:
In the edge image, a first area corresponding to an area inside the edge of the rack, a second area including a straight edge among the first area, and a third area including a curved edge among the first area are set,
Recognizing the dishes stored in the first direction using the straight edge, and recognizing the dishes stored in the second direction using the curved edge,
counting the number of dishes stored in the first direction using the number of straight edges of the second area;
counting the number of dishes stored in the second direction using the number of curved edges of the third area;
The first direction is a direction perpendicular to the rack, and the second direction is a direction horizontal to the rack or a direction forming a predetermined angle with the rack.

7. The method of claim 6,
The curved edge forms a closed curve,
The control unit further comprises:
Comparing the area of the closed curve with a preset reference area,
When the area of the closed curve is less than a preset reference area, the closed curve is recognized as a cup, and when the area of the closed curve exceeds the preset reference area, the closed curve is recognized as a plate,
and counting the number of closed curves as the number of cups or plates.

8. The method of claim 7,
The closed curve includes a first closed curve and a second closed curve,
The control unit further comprises:
Recognizing a first center point of the first closed curve and recognizing a second center point of the second closed curve,
When the distance between the first central point and the second central point exceeds a preset reference distance, the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are recognized as different dishes, and the tableware corresponds to the first closed curve. and counting the corresponding dishes and the dishes corresponding to the second closed curve, respectively.

9. The method of claim 8,
The control unit further comprises:
Recognizing a first brightness inside the first closed curve and recognizing a second brightness inside the second closed curve,
When the distance between the first central point and the second central point is less than or equal to the set reference distance, and the difference between the first brightness and the second brightness exceeds a preset reference brightness, the tableware corresponding to the first closed curve and the and recognizing that the dishes corresponding to the second closed curve are different from each other, and counting the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve, respectively.

A method for controlling a dishwasher comprising:
generating a photographed image by photographing the rack at a position capable of photographing the entire rack for accommodating dishes;
generating an edge image by image processing the captured image;
Recognizing the rack by using the edge of the rack included in the edge image; and
Recognizing the storage position of the dishes in the rack, counting the dishes, and changing a preset washing course according to the storage position and the count result
including,
The image processing is to convert the captured image into a binary image (Binary Picture), and then to generate the edge image using an edge detector (Edge Detector), the control method.

11. The method of claim 10,
The control method is
In the edge image, a first area corresponding to an area inside the edge of the rack is set, a second area including a straight edge is set among the first areas, and a third area including a curved edge among the first area is set. establishing an area;
recognizing the dish accommodated in a first direction using the straight edge; and
Recognizing the dish accommodated in the second direction using the curved edge
further comprising,
The first direction is a direction perpendicular to the rack, and the second direction is a direction horizontal to the rack or a direction forming a predetermined angle with the rack.

12. The method of claim 11,
and counting the number of dishes stored in the first direction by using the number of straight edges of the second area.

13. The method of claim 12,
and counting the number of dishes stored in the second direction by using the number of curved edges of the third area.

14. The method of claim 13,
The curved edge forms a closed curve,
The control method is
comparing the area of the closed curve with a preset reference area;
recognizing the closed curve as a cup when the area of the closed curve is less than or equal to a preset reference area, and recognizing the closed curve as a plate when the area of the closed curve exceeds the preset reference area; and
Counting the number of closed curves as the number of cups or plates
A control method further comprising a.

15. The method of claim 14,
The closed curve includes a first closed curve and a second closed curve,
The control method is
recognizing a first center point of the first closed curve and recognizing a second center point of the second closed curve;
comparing a reference distance in which the distance between the first center point and the second center point is preset; and
recognizing that the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are different from each other when the distance between the first central point and the second central point is within the preset reference distance;
A control method further comprising a.

16. The method of claim 15,
recognizing that the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve are different from each other when the distance between the first central point and the second central point exceeds the preset reference distance; and
counting the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve, respectively;
A control method further comprising a.

17. The method of claim 16,
recognizing a first brightness inside the first closed curve and recognizing a second brightness inside the second closed curve;
comparing a reference brightness in which a difference between the first brightness and the second brightness is preset when the distance between the first center point and the second center point is less than or equal to the set reference distance; and
recognizing that the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are identical to each other when the difference between the first brightness and the second brightness is within the preset reference brightness;
A control method further comprising a.

18. The method of claim 17,
recognizing that the tableware corresponding to the first closed curve and the tableware corresponding to the second closed curve are different from each other when the difference between the first brightness and the second brightness exceeds the preset reference brightness; and
counting the dishes corresponding to the first closed curve and the dishes corresponding to the second closed curve, respectively;
A control method further comprising a.