KR20220039059A

KR20220039059A - 식기 세척기 및 식기 세척기의 3차원 이미지 획득 방법

Info

Publication number: KR20220039059A
Application number: KR1020200121679A
Authority: KR
Inventors: 권배근
Original assignee: 엘지전자 주식회사
Priority date: 2020-09-21
Filing date: 2020-09-21
Publication date: 2022-03-29
Also published as: EP3970595A1; US11763475B2; US20220092808A1

Abstract

본 명세서는 식기 세척기 및 식기 세척기의 3차원 이미지 획득 방법에 관한 것이다. 본 명세서의 일 실시예에 따른 식기 세척기는, 외관을 이루고 전방이 개구되는 케이스, 상기 케이스의 개구된 전방을 밀폐시키는 도어, 내부에 세척수가 수용되는 터브, 상기 섬프 내부에 배치되고 식기를 수납 가능하게 형성되는 랙, 상기 터브 내측면의 제1 위치에 배치되고 상기 랙의 상단부를 조명하는 복수의 조명 장치, 상기 터브 내측면의 제2 위치에 배치되고 상기 랙의 상단부를 촬영하여 제1 식기 이미지 및 제2 식기 이미지를 생성하는 식기 계측용 카메라 및 상기 식기 세척기의 구동을 제어하는 제어부를 포함하고, 상기 제어부는 복수의 조명 장치에 대한 제1 조명 제어를 수행하고, 상기 제1 조명 제어가 수행된 상태에서 상기 식기 계측용 카메라가 랙의 상단부를 촬영하여 생성되는 제1 식기 이미지를 획득하고, 상기 복수의 조명 장치에 대한 제2 조명 제어를 수행하고, 상기 제2 조명 제어가 수행된 상태에서 상기 식기 계측용 카메라가 상기 랙의 상단부를 촬영하여 생성되는 제2 식기 이미지를 획득하고, 상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성한다.

Description

식기 세척기 및 식기 세척기의 3차원 이미지 획득 방법{DISHWASHER AND METHOD FOR OBTAINING THREE-DIMENSIONAL IMAGE THEREOF}

본 명세서는 식기 세척기 및 식기 세척기의 3차원 이미지 획득 방법에 관한 것이다.

식기 세척기는 고압의 세척수 분사를 통해 식사 후 식기에 붙은 음식물 및 오물을 제거하여 식기를 세척해주는 장치이다. 식기 세척기는 여러 단계의 행정을 거쳐 식기를 세척한다. 일반적으로 첫번째 행정에서는 세제 없이 단순히 세척수의 분사를 통해 세척수를 식기와 마찰시켜 식기에 붙은 음식물이 제거된다. 이후, 추가적인 행정으로 본 세척, 헹굼, 가열 헹굼 및 건조 등의 행정을 거쳐 식기가 깨끗이 세척된다. 다만, 투입된 식기의 양, 식기의 종류 및 거치된 위치 등에 따라 식기의 세척되는 정도가 달라 질 수 있다. 이하 식기 세척기의 내부 구조에 대해 도 1를 참조하여 설명한다.

도 1은 도어가 열린 상태의 식기 세척기의 사시도이다.

도 1을 참조하면, 식기 세척기의 외관은 전방이 개구 되는 케이스(1), 케이스의 개구 된 전방을 밀폐시키는 도어(2)로 이루어져 있다. 케이스(1)와 식기 세척기 전방의 도어(2)가 내부 공간을 밀폐시켜 식기를 세척하는 동안 세척수 또는 세제가 외부로 빠져나오지 않도록 한다.

도어(2)가 오픈 되면 도어(2)는 케이스(1)와 90도 직각의 각도를 이루며 열릴 수 있다. 식기 세척기의 내부는 세척수가 수용되는 터브(18), 터브의 하측에 세척수를 집수하고 이물을 걸러서 분사되도록 하는 섬프(16), 섬프와 연결되어 회전하며 세척수를 터브 내부로 분사하는 노즐(14), 터브 내부에 형성되고 상, 하단으로 구분되어 복수의 식기가 수납되는 렉(11,12)을 포함하는 구성으로 이루어진다.

부피가 큰 음식물은 식기에서 가장 먼저 제거되어 식기 세척기의 터브 하측면에 수집된다. 이 후 행정이 지속됨에 따라 부피가 작은 음식물이 차례로 식기에서 제거되며 식기가 세척되고, 제거된 음식물은 식기 세척기의 터브 하측면으로 수집된다.

한편, 식기 세척기는 랙에 수용된 식기의 종류 또는 식기의 양에 관계없이 동일하게 미리 정해진 단계의 행정을 순차적으로 진행한다. 따라서, 식기에 대한 양을 계측하는 과정이 없으므로 수용된 식기의 양이 권장량보다 많은 경우, 식기가 제대로 세척되지 않는다. 이때, 깨끗한 세척을 위해 또 다시 세척기를 동작 시키면 에너지가 낭비된다. 이와 반대로 수용된 식기의 양이 적은 경우, 식기가 충분히 세척되었음에도 행정이 계속 진행되어 에너지가 낭비되는 문제점이 있다.

또한, 식기가 투입된 위치 및 식기가 거치된 형태에 따라 식기의 세척되는 정도가 달라진다. 예를 들어, 식기가 랙의 모서리 부분에 옆으로 비스듬히 거치된 경우 식기가 랙의 가운데에 식기의 오목한 부분을 아래로 향하도록 투입된 경우보다 세척력이 저하된다. 따라서, 사용자는 식기를 투입할 때마다 식기의 투입 위치 및 거치 방향을 고려해야하는 불편함이 있다. 이에 더해, 사용자가 식기를 마음대로 투입하거나 투입된 식기가 세척수의 수압에 의해 구석으로 이동된 경우 식기가 제대로 세척되지 않는 문제점이 있다.

본 명세서의 목적은 랙에 수납된 식기의 3차원 형상을 생성하여 수납된 식기의 종류 및 식기의 양에 따라 서로 다른 세척 행정을 수행하고 효율적인 세척을 통해 에너지를 절약하는 것이다.

또한 본 명세서의 목적은 수납된 식기의 위치 및 밀도 등을 파악하여 세척수의 사용량, 세척시간 및 세척 방향을 제어하고 식기가 있는 위치의 집중 세척을 통해 세척력을 향상시키는 것이다.

본 명세서의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 명세서의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 명세서의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 명세서의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 명세서의 일 실시예에 따른 식기 세척기는, 외관을 이루고 전방이 개구되는 케이스, 상기 케이스의 개구된 전방을 밀폐시키는 도어, 내부에 세척수가 수용되는 터브, 상기 섬프 내부에 배치되고 식기가 수납 가능하게 형성되는 랙, 상기 터브 내측면의 제1 위치에 배치되고 상기 랙의 상단부를 조명하는 복수의 조명 장치, 상기 터브 내측면의 제2 위치에 배치되고 상기 랙의 상단부를 촬영하여 제1 식기 이미지 및 제2 식기 이미지를 생성하는 식기 계측용 카메라 및 식기 세척기의 구동을 제어하는 제어부를 포함하고, 상기 제어부는 터브 내측면의 제1 위치에 배치되는 복수의 조명 장치에 대한 제1 조명 제어를 수행하고, 상기 제1 조명 제어가 수행된 상태에서 제2 위치에 배치된 식기 계측용 카메라가 랙의 상단부를 촬영하여 생성되는 제1 식기 이미지를 획득하고, 상기 복수의 조명 장치에 대한 제2 조명 제어를 수행하고, 상기 제2 조명 제어가 수행된 상태에서 상기 식기 계측용 카메라가 상기 랙의 상단부를 촬영하여 생성되는 제2 식기 이미지를 획득하고, 상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성한다.

본 명세서의 일 실시예에서 제어부는 상기 제1 식기 이미지 또는 상기 제2 식기 이미지에 포함된 각 픽셀로부터 조명 거리를 산출하고, 상기 식기 계측용 카메라의 좌표값, 상기 복수의 조명 장치의 좌표값 및 상기 조명 거리를 이용하여 기준점을 생성하고, 상기 식기 계측용 카메라의 좌표값 및 상기 기준점을 이용하여 3차원 공간에서 후보 반사점의 좌표값을 산출하고, 상기 후보 반사점에 기초하여 최종 반사점을 결정하고, 상기 결정된 최종 반사점들을 결합하여 상기 식기의 3차원 형상 이미지를 생성한다.

본 명세서의 일 실시예에서 제어부는, 제1 식기 이미지에 포함된 픽셀 중 선택된 하나의 픽셀인 제1 픽셀에 기초하여 제1 조명거리를 산출하고, 제2 식기 이미지에 포함된 픽셀 중 상기 제1 픽셀의 위치와 동일한 위치의 제2 픽셀에 기초하여 제2 조명거리를 산출한다.

본 명세서의 일 실시예에서 제어부는, 상기 식기 계측용 카메라, 제1 조명 및 제2 조명을 포함하여 이루어지는 제1 평면을 추출하고, 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 제1 기준점 및 제2 기준점을 산출한다.

본 명세서의 일 실시예에서 제어부는, 상기 제1 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제2 평면을 추출하고, 상기 식기 계측용 카메라와 상기 제2 평면에 기초하여 3차원 공간에서 제1 후보 반사점의 좌표값을 산출한다.

본 명세서의 일 실시예에서 제어부는, 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제2 기준점의 좌표값을 산출하고, 상기 제2 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제3 평면을 추출하고, 상기 식기 계측용 카메라와 상기 제3 평면에 기초하여 3차원 공간에서 제2 후보 반사점의 좌표값을 산출한다.

본 명세서의 일 실시예에서 제어부는 상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 먼 거리에 위치한 교차점을 제1 기준점으로 결정하여 제1 기준점의 좌표값을 산출하고, 상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 가까운 거리에 위치한 교차점을 제2 기준점으로 결정하여 제2 기준점의 좌표값을 산출한다.

본 명세서의 일 실시예에서 상기 제어부는, 상기 제1 후보 반사점으로부터 상기 제1 중점을 연결하는 제1 법선 벡터를 산출하고, 상기 제2 후보 반사점으로부터 상기 제2 중점을 연결하는 제2 법선 벡터를 산출하고, 상기 제1 픽셀과 순차적으로 이웃한 제3 픽셀 및 제5 픽셀에 대하여 제3 픽셀로부터 제3 법선 벡터를 산출하고, 제5 픽셀로부터 제5 법선 벡터를 산출하고, 상기 제2 픽셀과 순차적으로 이웃한 제4 픽셀 및 제6 픽셀에 대하여 제4 픽셀로부터 제4 법선 벡터를 산출하고, 제6 픽셀로부터 제6 법선 벡터를 산출하고, 상기 제1 법선 벡터와 상기 제3 법선 벡터를 비교하여 제1 변화 각도를 산출하고, 상기 제2 법선 벡터와 상기 제4 법선 벡터를 비교하여 제2 변화 각도를 산출한다.

본 명세서의 일 실시예에서 상기 제어부는 상기 제3 법선 벡터와 상기 제5 법선 벡터를 비교하여 제3 변화 각도를 산출하고, 상기 제4 법선 벡터와 상기 제6 법선 벡터를 비교하여 제4 변화 각도를 산출하고, 상기 제1 변화 각도와 상기 제3 변화 각도가 일치하고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하지 않으면 상기 제1 후보 반사점을 최종 반사점으로 결정하고, 상기 제1 변화 각도와 상기 제3 변화 각도가 일치하지 않고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하면 상기 제2 후보 반사점을 최종 반사점으로 결정한다

본 명세서의 일 실시예에 따른 식기 세척기는 상기 제2 위치가 상기 터브의 측면인 경우, 상기 제1 위치는 상기 제2 위치보다 높고, 상기 조명 장치는 상기 터브 내부에 설정되는 기준면에 의해서 설정되는 2개의 공간 중 하나의 공간에 적어도 두개가 배치되며, 상기 터브 내부에는 적어도 세 개의 조명 장치가 배치된다.

본 명세서의 일 실시예에 따른 식기 세척기는 상기 제2 위치가 터브의 상부인 경우, 상기 제1 위치는 상기 제2 위치와 터브 바닥을 기준으로 같은 높이에 위치하고, 상기 식기 계측용 카메라를 기준으로 상기 복수의 조명 장치 간의 각도가 90도 이상이다.

본 명세서의 일 실시예에 따른 식기 세척기는 상기 제1 조명 제어 및 상기 제2 조명 제어는 상기 복수의 조명 장치가 순차적으로 온, 오프 되거나 밝기가 조절되도록 상기 조명 장치를 제어한다.

본 명세서의 일 실시예에 따른 식기 세척기의 3차원 이미지 획득 방법은 터브 내측면의 제1 위치에 배치되는 복수의 조명 장치에 대한 제1 조명 제어를 수행하고, 상기 제1 조명 제어가 수행된 상태에서 제2 위치에 배치된 식기 계측용 카메라가 랙의 상단부를 촬영하여 생성되는 제1 식기 이미지를 획득하는 단계, 상기 복수의 조명 장치에 대한 제2 조명 제어를 수행하는 단계, 상기 제2 조명 제어가 수행된 상태에서 상기 식기 계측용 카메라가 상기 랙의 상단부를 촬영하여 생성되는 제2 식기 이미지를 획득하는 단계 및 상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성하는 단계를 포함한다.

본 명세서의 일 실시예에서 상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성하는 단계는

상기 제1 식기 이미지 또는 상기 제2 식기 이미지에 포함된 각 픽셀로부터 조명 거리를 산출하는 단계, 상기 식기 계측용 카메라의 좌표값, 상기 복수의 조명 장치의 좌표값 및 상기 조명 거리를 이용하여 기준점을 생성하는 단계, 상기 식기 계측용 카메라의 좌표값 및 상기 기준점을 이용하여 3차원 공간에서 후보 반사점의 좌표값을 산출하는 단계, 상기 후보 반사점에 기초하여 최종 반사점을 결정하는 단계, 상기 결정된 최종 반사점들을 결합하여 상기 식기의 3차원 형상 이미지를 생성하는 단계를 포함한다.

본 명세서의 일 실시예에서 상기 제1 식기 이미지 또는 상기 제2 식기 이미지에 포함된 각 픽셀로부터 조명 거리를 산출하는 단계는 제1 식기 이미지에 포함된 픽셀 중 선택된 하나의 픽셀인 제1 픽셀에 기초하여 제1 조명거리를 산출하는 단계 및 제2 식기 이미지에 포함된 픽셀 중 상기 제1 픽셀의 위치와 동일한 위치의 제2 픽셀에 기초하여 제2 조명거리를 산출하는 단계를 포함한다.

본 명세서의 일 실시예에서 상기 식기 계측용 카메라의 좌표값, 상기 복수의 조명 장치의 좌표값 및 상기 조명 거리를 이용하여 기준점을 생성하는 단계는

상기 식기 계측용 카메라, 제1 조명 및 제2 조명을 포함하여 이루어지는 제1 평면을 추출하는 단계 및 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 제1 기준점 및 제2 기준점을 산출하는 단계를 포함한다.

본 명세서의 일 실시예에서 상기 식기 계측용 카메라의 좌표값 및 상기 기준점을 이용하여 3차원 공간에서 반사점의 좌표값을 산출하는 단계는 상기 제1 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제2 평면을 추출하는 단계, 상기 식기 계측용 카메라와 상기 제2 평면에 기초하여 3차원 공간에서 제1 후보 반사점의 좌표값을 산출하는 단계를 포함한다.

본 명세서의 일 실시예에 따른 식기 세척기의 3차원 이미지 획득 방법은 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제2 기준점의 좌표값을 산출하는 단계, 상기 제2 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제3 평면을 추출하는 단계, 상기 식기 계측용 카메라와 상기 제3 평면에 기초하여 3차원 공간에서 제2 후보 반사점의 좌표값을 산출하는 단계를 더 포함한다.

본 명세서의 일 실시예에서 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제1 기준점의 좌표값을 산출하는 단계는 상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 먼 거리에 위치한 교차점을 제1 기준점으로 결정하여 제1 기준점의 좌표값을 산출하는 단계를 포함하고, 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제2 기준점의 좌표값을 산출하는 단계는 상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 가까운 거리에 위치한 교차점을 제2 기준점으로 결정하여 제2 기준점의 좌표값을 산출하는 단계를 포함한다.

본 명세서의 일 실시예에 따른 식기 세척기의 3차원 이미지 획득 방법은 상기 제1 반사점으로부터 상기 제1 중점을 연결하는 제1 법선 벡터를 산출하는 단계, 상기 제2 반사점으로부터 상기 제2 중점을 연결하는 제2 법선 벡터를 산출하는 단계, 상기 제1 픽셀과 순차적으로 이웃한 제3 픽셀 및 제5 픽셀에 대하여 제3 픽셀로부터 제3 법선 벡터를 산출하고, 제5 픽셀로부터 제5 법선 벡터를 산출하는 단계, 상기 제2 픽셀과 순차적으로 이웃한 제4 픽셀 및 제6 픽셀에 대하여 제4 픽셀로부터 제4 법선 벡터를 산출하고, 제6 픽셀로부터 제6 법선 벡터를 산출하는 단계, 상기 제1 법선 벡터와 상기 제3 법선 벡터를 비교하여 제1 변화 각도를 산출하는 단계 및 상기 제2 법선 벡터와 상기 제4 법선 벡터를 비교하여 제2 변화 각도를 산출하는 단계를 더 포함한다.

본 명세서의 일 실시예에서 상기 후보 반사점에 기초하여 최종 반사점을 결정하는 단계는 상기 제3 법선 벡터와 상기 제5 법선 벡터를 비교하여 제3 변화 각도를 산출하는 단계, 상기 제4 법선 벡터와 상기 제6 법선 벡터를 비교하여 제4 변화 각도를 산출하는 단계 및 상기 제1 변화 각도와 상기 제3 변화 각도가 일치하고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하지 않으면 상기 제1 후보 반사점을 최종 반사점으로 결정하고, 상기 제1 변화 각도와 상기 제3 변화 각도가 일치하지 않고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하면 상기 제2 후보 반사점을 최종 반사점으로 결정하는 단계를 더 포함한다.

본 명세서의 일 실시예에 따른 식기 세척기의 3차원 이미지 획득 방법은 상기 제2 위치가 상기 터브의 측면인 경우, 상기 제1 위치는 상기 제2 위치보다 높고, 상기 조명 장치는 상기 터브 내부에 설정되는 기준면에 의해서 설정되는 2개의 공간 중 하나의 공간에 적어도 두개가 배치되며, 상기 터브 내부에는 적어도 세 개의 조명 장치가 배치된다.

본 명세서의 일 실시예에 따른 식기 세척기의 3차원 이미지 획득 방법은 상기 제2 위치가 터브의 상부인 경우, 상기 제1 위치는 상기 제2 위치와 터브 바닥을 기준으로 같은 높이에 위치하고, 상기 식기 계측용 카메라를 기준으로 상기 복수의 조명 장치 간의 각도가 90도 이상이다.

본 명세서의 일 실시예에서 상기 제1 조명 제어 및 상기 제2 조명 제어는

상기 복수의 조명 장치가 순차적으로 온, 오프 되거나 밝기가 조절되도록 상기 조명 장치를 제어한다.

본 명세서의 일 실시예에 따른 식기 세척기는 랙에 수납된 식기의 3차원 형상을 생성하여 수납된 식기의 종류 및 식기의 양에 따라 서로 다른 세척 행정을 수행하고 효율적인 세척을 통해 에너지를 절약할 수 있다.

또한 본 명세서의 일 실시예에 따른 식기 세척기는 수납된 식기의 위치 및 밀도 등을 파악하여 세척수의 사용량, 세척시간 및 세척 방향을 제어하고 식기가 있는 위치의 집중 세척을 통해 세척력을 향상시킬 수 있다.

도 1은 도어가 열린 상태의 식기 세척기의 사시도이다.
도 2는 서로 다른 위치의 복수의 조명 장치와 복수의 조명 장치에 의해 식기에 반사되는 반사광을 촬영하는 식기 계측용 카메라를 나타낸 도면이다.
도 3은 빛이 물체에 입사 되었을 때 물체 표면의 광량을 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 식기 세척기의 구성도이다.
도 5는 본 명세서의 일 실시예에서 조명 제어부가 조명을 온, 오프제어 하는 방법의 순서도이다.
도 6은 본 명세서의 일 시시예에서 조명 제어부가 조명의 조도를 제어하는 방법의 순서도이다
도 7은 광원의 광량 분포도 및 광량 계측에 따른 조명거리를 나타낸 도면이다.
도 8은 후보 반사점 산출부가 제1 기준점 및 제2 기준점을 산출하는 방법을 나타낸 도면이다.
도 9는 후보 반사점 산출부가 제2 평면 및 식기 계측용 카메라를 이용하여 제1 후보 반사점을 산출하는 방법을 나타낸 도면이다.
도 10은 후보 반사점 산출부가 후보 반사점을 산출하는 방법을 나타낸 도면이다.
도 11은 최종 반사점 결정부가 제1 후보 반사점과 제2 후보 반사점으로부터 최종 반사점을 결정하는 방법을 나타낸 도면이다.
도 12는 본 명세서의 일 실시예에서 조명 장치 및 식기 계측용 카메라의 배치 위치를 나타낸 도면이다.
도 13은 본 명세서의 일 실시예에 따른 식기 형상 생성 방법에 대한 순서도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자가 본 명세서의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 명세서를 설명함에 있어서 본 명세서와 관련된 공지 기술에 대한 구체적인 설명이 본 명세서의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 명세서에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

도 2는 서로 다른 위치의 복수의 조명 장치와 복수의 조명 장치에 의해 식기에 반사되는 반사광을 촬영하는 식기 계측용 카메라를 나타낸 도면이고, 도 3은 빛이 물체에 입사 되었을 때 물체 표면의 광량을 나타낸 도면이다. 이하 도2 및 도3을 참조하여 설명한다.

빛이 두 매질의 경계면을 향해 입사할 때, 빛 에너지의 일부는 투과하고, 일부는 흡수되며, 일부는 반사한다. 이 때, 경계면을 통과하지 못하고 입사한 방향의 반대 방향으로 반사되는 빛이 반사광이다. 카메라는 이러한 조명 장치로부터 발생하는 빛의 반사광을 이용하여 물체를 식별할 수 있다. 반사광은 크게 물체에 직접적인 음영에 영향을 주는 직접 반사광과 빛의 산란을 통해 전반적인 영상의 밝기에 영향을 미치는 산란광이 있다.

도 2를 참조하면 3개의 조명 장치(17a, 17b, 17c) 각각으로부터 발생한 빛이 식기(7)에 입사 후 반사되고, 반사광의 광량이 하나의 카메라(P0)를 통해 촬영된다. 3개의 조명 장치(17a, 17b, 17c) 각각이 온, 오프의 동작을 수행한다고 가정할 때, 제1 조명 장치(17a)가 켜지면 직접 반사가 일어나 카메라의 계측지점 중 제1 계측지점(8)이 가장 밝게 계측되고 제2 계측지점(9)은 가장 어둡게 계측된다. 반대로, 제1 조명 장치(17a)가 꺼지고 제3 조명 장치(17b)가 켜지면 제2 계측지점(9)이 가장 밝게 계측되고 제1 계측지점(8)은 가장 어둡게 계측될 것이다. 제2 조명 장치(17c)만 켜지면 제1 계측지점(8)과 제2 계측지점(9)의 중간 부분이 가장 밝게 계측되고 제1 계측지점(8)은 조명 각도에 의해 직접 반사가 일어나지 않고 산란광만 영향을 미치게 된다.

도 3을 참조하면, 조명으로부터 입사된 빛이 제1 영역(10a)은 직접 반사, 제2 영역은 (10b) 간접 반사, 제3 영역(10c)은 비반사 된다. 제1 영역(10a)부터 제3 영역(10c)으로 갈수록 빛이 반사되는 양이 적아져 물체 표면의 광량 또한 줄어든다.

한편, 이와 같이 반사광 및 물체 표면의 광량은 빛이 입사하는 각도 즉, 조명의 위치에 따라 서로 달라진다. 따라서, 역으로 물체 표면의 광량을 통해 조명 중심까지의 거리를 산출할 수 있고, 식기 세척기에 수납되는 식기들은 대부분 도자기 재질의 매끈한 표면을 가지므로 전반사를 이용하여 3차원 공간에서 계측점의 좌표값을 알 수 있다. 조명 중심까지의 거리를 산출하는 방법에 대해서는 후술하도록 한다.

도 4는 본 명세서의 일 실시예에 따른 식기 세척기의 구성도이다.

도면을 참조하면, 조명 장치(17)는 터브 내측면의 제1 위치에 배치되어 랙의 상단부를 조명한다. 조명 장치(17)는 복수개로 구성될 수 있고, 제어부(20)의 조명 제어에 따라 구동이 제어될 수 있다.

식기 계측용 카메라(P0)는 터브 내측면의 제2 위치에 배치되고 랙의 상단부를 촬영하여 식기 이미지를 생성한다. 식기 계측용 카메라(P0)는 이미지 센서를 사용하여 외부의 광학 영상 신호를 전기 영상 신호로 변환하는 장치를 포함한다. 예를 들어, CIS(CMOS image Sensor) 또는 CCD(Charge-Coupled Device)일 수 있다. 조명 장치(17)가 배치되는 제1 위치 및 식기 계측용 카메라(P0)가 배치되는 제2 위치의 상세한 위치는 후술하여 설명한다.

제어부(20)는 조명 제어부(21), 데이터 저장부(22), 조명 거리 산출부(24), 후보 반사점 산출부(26), 최종 반사점 결정부(28) 및 3차원 형상 이미지 생성부(29)를 포함한다.

조명 제어부(21)는 복수의 조명 장치를 순차적으로 제어한다. 구체적으로 조명 제어부(21)는 조명 장치(17)를 순차적으로 온, 오프되거나 밝기가 조절되도록 제어할 수 있다. 이때, 조명 제어부(21)는 복수의 조명 장치가 제어되는 과정에서 식기 계측용 카메라(P0)를 통해 서로 다른 식기 이미지를 획득할 수 있다.

조명 거리 산출부(24)는 식기 계측용 카메라(P0)로부터 획득한 식기 이미지에 기초하여 조명 거리를 산출한다. 구체적으로, 식기 이미지에 포함된 각 픽셀로부터 식기 표면의 광량을 산출하여 픽셀 각각의 조명 거리를 산출할 수 있다.

후보 반사점 산출부(26)는 3차원 공간에서 미리 설정된 식기 계측용 카메라의 좌표값, 복수의 조명 장치의 좌표값 및 조명 거리를 이용하여 기준점을 생성하고, 식기 계측용 카메라의 좌표값 및 기준점을 이용하여 후보 반사점의 좌표값을 산출한다. 또한, 후보 반사점 산출부(26)는 식기 이미지에 포함된 픽셀 중 하나의 픽셀로부터 하나 또는 두개의 반사점의 좌표값을 산출한다. 상세하게는, 후보 반사점 산출부(26)는 2개의 조명 장치(17)를 사용하면 2개의 기준점을 산출하므로 2개의 후보 반사점의 좌표값을 산출하고, 3개 이상의 조명 장치(17)를 사용하면 하나의 기준점만을 산출하므로 1개의 후보 반사점의 좌표값을 산출한다.

최종 반사점 결정부(28)는 하나의 픽셀로부터 산출된 후보 반사점의 좌표값이 하나인 경우 산출된 후보 반사점을 최종 반사점의 좌표값으로 결정한다. 그러나, 하나의 픽셀로부터 산출된 후보 반사점의 좌표값이 두개인 경우 둘 중 하나의 후보 반사점의 좌표값을 최종 반사점의 좌표값으로 결정한다. 구체적으로, 각각의 픽셀로부터 산출된 후보 반사점을 이용하여 법선 벡터를 각각 산출하고, 각각의 법선 벡터로부터 식기의 표면 굴곡에 따른 변화 각도를 산출하여 최종 반사점을 결정한다. 구체적인 최종 반사점 결정 방법은 후술하기로 한다.

3차원 이미지 생성부(29)는 식기 이미지의 픽셀 각각으로부터 산출된 최종 반사점의 좌표값을 결합하여 식기의 3차원 형상 이미지를 생성한다.

도 5는 본 명세서의 일 실시예에서 조명 제어부가 조명을 온, 오프제어 하는 방법의 순서도이고, 도 6은 본 명세서의 일 시시예에서 조명 제어부가 조명의 조도를 제어하는 방법의 순서도이다. 이하, 도 2, 도 5 및 도 6을 참조하여 조명 제어를 설명한다.

조명 제어부(21)는 조명 장치(17)를 순차적으로 제어할 수 있다. 구체적으로, 조명 제어부(21)는 터브 내측면에 배치되는 복수의 조명 장치에 대한 제1 조명 제어를 수행하고, 제1 조명 제어가 수행된 상태에서 식기 계측용 카메라(P0)가 랙의 상단부를 촬영하여 생성되는 제1 식기 이미지를 획득하면, 조명 제어부(21)는 복수의 조명 장치에 대한 제2 조명 제어를 수행한다. 이후, 조명 제어부(21)는 제2 조명 제어가 수행된 상태에서 식기 계측용 카메라가 랙의 상단부를 촬영하여 제2 식기 이미지를 획득한다. 제1 조명 제어 및 제2 조명 제어는 복수의 조명 장치가 순차적으로 온, 오프 되거나 밝기가 조절되는 조명 제어일 수 있다.

도 2에서는 3개의 조명 장치(17a, 17b, 17c)를 통해 식기가 조명된다. 이하 복수의 조명 장치는 3개의 조명장치임을 예로 들어 설명한다. 도 5를 참조하면, 제2 조명 장치(17b) 및 제3 조명 장치(17c)가 꺼진 상태에서 제1 조명 장치(17a)의 전원이 켜지면(S100), 조명 제어부(21)는 식기 계측용 카메라(P0)로부터 랙 상당부를 촬영하여 생성된 제1 식기 이미지를 획득하고(S101), 제1 조명 장치(17a)의 전원을 끈다 (S102). 그리고, 다음 순서인 제2 조명 장치(17b)의 전원이 켜지면(S103), 조명 제어부(21)는 제2 식기 이미지를 획득하고(S104), 제2 조명 장치(17b)의 전원을 끈다(S105). 마찬가지로, 조명 제어부(21)는 제3 조명 장치(17c)의 전원이 켜지면(S106) 제3 식기 이미지를 획득하고(S107), 제3 조명 장치(17c)의 전원을 끈다(S108). 이와 같이 조명 제어부(21)는 서로 다른 각도의 조명 장치를 순차적으로 제어할 수 있다. 이에 따라 제어부(20)는 획득한 식기 이미지에 기초하여 식기의 3차원 형상 이미지를 생성할 수 있고, 복수의 식기 이미지를 획득함으로써 보다 정확한 3차원 형상 이미지를 생성할 수 있다.

한편, 조명 제어부(21)는 조명 장치로의 전원 인가 유무에 따른 오, 오프뿐만 아니라 전원이 인가된 상태에서 전력 공급에 따른 조명의 밝기도 제어할 수 있다. 도 6를 참조하면, 조명 제어부(21)는 제1 조명 제어로 제1 조명 장치(17a)의 밝기를 밝게 조절(S110)하여 제1 식기 이미지를 획득한 후(S111) 제1 조명 장치(17b)의 밝기를 어둡게 조절하고(S112), 제2 조명 장치(17b)의 밝기를 밝게 조절하는 제2 조명 제어를 통해 제2 식기 이미지를 획득할 수 있다(S113). 이후, 동일한 방법으로 조명 제어부(21)는 제3 조명 제어를 통해(S114) 제3 식기 이미지를 획득(S115)할 수 있다. 여기서, 제1 식기 이미지 획득한 후 제1 조명 장치(17a)의 밝기를 어둡게 조절하지 않은 상태에서, 제2 조명 장치(17b)의 밝기만을 밝게 조절하여 제2 식기 이미지를 획득하는 방법도 가능하다. 즉, 제1 조명 장치(17a) 및 제2 조명 장치(17b) 모두가 밝게 조절된 상태에서 제2 식기 이미지가 획득될 수 있다.

다시 말해서, 본 명세서의 일 실시예에 따른 식기 세척기는 조명 장치의 오, 오프 상태와 관계없이 조명 제어를 통해 서로 다른 조명값을 갖기만 하면 식기 이미지의 획득을 통해 식기의 3차원 이미지를 획득할 수 있다.

또한, 본 명세서의 다른 실시예에서 제1 조명 제어 및 제2 조명 제어는 조명의 광원 주파수 제어일 수 있다. 즉, 서로 다른 위치에 배치된 복수의 조명 장치는 조명의 밝기를 제어하는 것이 아닌 조명 장치 모두에 전원을 인가하고 조명 각각의 광원 주파수(즉, 빛의 파장)를 달리하는 제어를 할 수 있다. 이에 따라, 별도의 조도 제어 없이 광원 주파수에 따라 서로 다른 식기 이미지가 획득될 수 있다.

도 7은 광원의 광량 분포도 및 광량 계측에 따른 조명거리를 나타낸 도면이다.

도면을 참조하면, 광량 분포도 그래프에서 가로축과 세로축이 만나는 지점은 광원의 중심 즉, 조명 중심(30)을 의미한다. 가로축은 조명으로부터의 거리인 조명거리(d)이고, 세로축은 광량(W/m2)을 의미한다. 조명 장치와의 거리에 따라 미리 정해진 서로 다른 광량을 갖게 되며, 일반적으로 광원의 분포도는 조명 중심을 기준으로 좌우가 대칭이며, 중심을 기준으로 멀어질수록 광량이 작다. 예를 들어, 조명거리(d)가 0인 조명의 중심(33)에서는 가장 많은 광량을 가지며, 조명 장치로부터 거리가 가장 먼 지점(34)에서는 광량이 없거나 매우 적은 양을 갖는다.

광량은 식기 계측용 카메라로부터 광학 영상 신호를 전기 영상 신호로 변환하여 획득한 식기 이미지에 포함된 픽셀 각각으로부터 추출될 수 있다. 하나의 광원으로부터의 거리는 픽셀별로 다르기 때문에 각각의 픽셀은 서로 다른 광량을 가질 수 있다. 또한, 같은 위치의 픽셀이라도 식기 이미지 별로 서로 다른 조명 장치가 사용되므로 서로 다른 광량을 가질 수 있다.

한편, 광원의 광량 분포도에서 조명 중심을 기준으로 멀어지는 좌변 또는 우변은 1:1로 대응되어 거리에 따른 광량이 미리 설정된다. 따라서, 광량을 알 수 있는 경우 조명의 중심부터의 거리 즉, 조명 거리(d)를 알 수 있다.

예를 들어, 2개의 조명 장치의 제어를 통해 제1 식기 이미지 및 제2 식기 이미지가 획득되었다고 가정한다. 여기서 조명 거리 산출부(24)는 광량 분포도를 통해 제1 식기 이미지에 포함된 임의의 픽셀인 제1 픽셀의 광량(31)에 대응하는 제1 조명거리(d1)을 산출할 수 있고, 제2 식기 이미지에 포함된 픽셀 중 제1 픽셀과 동일한 위치의 픽셀인 제2 픽셀의 광량(32)에 대응하는 제2 조명거리(d2)를 산출할 수 있다. 이후, 후보 반사점 산출부(26)는 후보 반사점을 산출하기 위한 전 단계로 기준점을 산출할 수 있다.

도 8은 후보 반사점 산출부가 제1 기준점 및 제2 기준점을 산출하는 방법을 나타낸 도면이고, 도 9는 후보 반사점 산출부가 제2 평면 및 식기 계측용 카메라를 이용하여 제1 후보 반사점을 산출하는 방법을 나타낸 도면이다. 이하 도 8 및 도 9를 참조하여 설명한다.

도면을 참조하면, 3차원 공간에서 카메라의 좌표값은 P0(x0, y0, z0), 제1 조명 장치의 좌표값은 P1(x1, y1, z1), 제2 조명 장치의 좌표값은 P2(x2, y2, z2), 제3 조명 장치의 좌표값은 P3(x3, y3, z3)일 수 있다. 좌표값 P0, P1, P2는 각각 카메라 및 조명 장치의 최초 배치시 미리 설정된 값이다. 후보 반사점 산출부(26)는 P0, P1, P2를 포함하는 하나의 가상 평면인 제1 평면(A1)을 생성할 수 있다.

이때, 3차원 공간에서 P1으로부터 제1 중심거리(d1)에 위치한 점들의 집합과 P2로부터 제2 중심거리(d2)에 위치한 점들의 집합 이 서로 만나 형성하는 원에서 제1 평면(A1) 상에 위치한 점은 P3(x3, y3, z3) 및 P4(x4, y4, z4) 두개뿐이다.

여기서, 제1 평면 내에 위치하고 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 식기 계측용 카메라로부터 먼 거리에 위치한 교차점을 제1 기준점(P3)으로 결정하여 제1 기준점의 3차원 좌표값P3(x3, y3, z3)을 산출하고, 제1 평면 내에 위치하고 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 식기 계측용 카메라로부터 가까운 거리에 위치한 교차점을 제2 기준점(P4)으로 결정하여 제2 기준점의 3차원 좌표값 P4(x4, y4, z4)을 산출할 수 있다.

이상에서는 2개의 조명을 이용하여 3차원 공간상에서 2개의 기준점의 좌표값을 산출하였으나, 3개 또는 그 이상의 조명을 이용하여 기준점의 좌표값을 산출하는 경우 복수의 교차점의 중심값을 기준점의 좌표값으로 하여 1개의 기준점의 좌표값만을 산출할 수 있다.

도 9에는 식기에 반사되는 반사점Pr1(xr1, yr1, zr1), 카메라의 위치P0(x0, y0, z0), 제1 기준점P3(x3, y3, z3), 제2 평면(A2) 및 볼록한 면이 위로 향하도록 덮어놓은 식기(80)가 표시된다.

제2 평면(A2)는 가상의 평면으로, 카메라(P0)와 제1 기준점(P3)사이의 동일 거리에 위치한 점들의 집합을 의미하고, 제2 평면(A2)에 위치한 점 중 식기 계측용 카메라(P0)와 제1 기준점(P3)의 직선거리 중간에 위치한 점이 제1 중점(Pn1)이다.

한편, 후보 반사점 산출부(26)는 식기 계측용 카메라(P0)와 제2 평면(A2)을 이용하여 제1 후보 반사점의 좌표값 Pr1(xr1, yr1, zr1)을 산출할 수 있다.

마찬가지로, 후보 반사점 산출부(26)는 카메라(P0)와 제2 기준점(P4)의 직선거리 중간에 위치한 제2 중점(P4) 및 제2 기준점(P4)과 식기 계측용 카메라(P0) 사이의 동일 거리에 위치한 점들의 집합인 제3 평면(A3)을 추출할 수 있다. 또한, 제3 평면(A3)에 위치한 점 중 식기 계측용 카메라(P0)와 제2 기준점(P4)의 직선거리 중간에 위치한 점이 제2 중점(Pn2)이다. 후보 반사점 산출부(26)는 식기 계측용 카메라(P0)와 제3 평면(A3)을 이용하여 제2 후보 반사점의 좌표값 Pr2(xr2, yr2, zr2)을 산출할 수 있다.

도 10은 후보 반사점 산출부가 후보 반사점을 산출하는 방법을 나타낸 도면이다.

3차원 공간상의 점들이 2차원의 이미지 상에서 어디에 맺히는지는 기하학적으로 보면 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정된다. 즉, 카메라 영상은 3차원 공간상의 점들을 2차원 이미지 평면에 투사함으로써 얻어지므로 카메라 캘리브레이션(Camera Calibration)을 통해 역으로 2차원 이미지로부터 3차원 공간좌표를 산출할 수 있다. 본 명세서에서는 카메라 캘리브레이션(Camera Calibration) 및 핀홀 카메라 모델(pinhole camera projection)을 적용하여 식기 이미지로부터 3차원 공간에서 후보 반사점의 좌표값을 산출할 수 있다.

도 10을 참조하면, A는 식기 세척용 카메라의 위치(P0)와 제2 평면(A2)의 관계를 나타낸 사시도이고, B는 식기 세척용 카메라의 위치(P0)와 제2 평면(A2)의 관계를 나타낸 측면도이다.

P0는 식기 계측용 카메라의 초점(P0)을 원점으로 식기 계측용 카메라의 정면 광학축 방향을 Z축, 카메라 상하 방향을 Y축, 좌우 방향을 X축으로 설정한다. A는 3차원 공간상의 좌표 Pr1(xr1, yr1, zr1)과 제2 평면(A2)의 원점 Pn1(0,0)(즉, 제2 중점), 제2 평면의 좌표 Pr1(x,y)을 나타내며 f는 식기 계측용 카메라의 렌즈 중심과 제2 평면(A2)까지의 거리이다. 이때, 3차원 공간상의 좌표 Pr1(xr1, yr1, zr1)에 대응하여 이미지가 투영되는 제2 평면의 Pr1(x,y) 사이의 관계는 하기의 식1과 같이 나타낼 수 있다.

[식 1]

,

상기 식 1을 이용하면, 제2 평면(A2)에서의 좌표값 Pr1(x,y)을 통해 3차원 공간상에서의 제1 후보 반사점의 좌표값 Pr1(xr1, yr1, zr1)을 산출할 수 있다.

마찬가지로, 식 2를 이용하면, 제3 평면(A3)에서의 좌표값 Pr2(x,y)를 통해 3차원 공간상에서의 제2 후보 반사점의 좌표값 Pr2(xr2, yr2, zr2)을 산출할 수 있다.

[식 2]

,

상기 식에 따라 산출된 제1 후보 반사점의 좌표값과 제2 후보 반사점의 좌표값은 서로 상이할 수 있다. 따라서, 제1 후보 반사점의 좌표값과 제2 후보 반사점의 좌표값 중 하나를 최종 반사점의 좌표값으로 결정할 수 있다. 만약, 2개 이상의 조명을 사용함으로써 기준점이 하나만 산출되는 경우 후보 반사점도 하나만 산출되므로 산출된 후보 반사점이 곧바로 최종 반사점으로 결정될 수 있다.

도 11은 최종 반사점 결정부가 제1 후보 반사점과 제2 후보 반사점으로부터 최종 반사점을 결정하는 방법을 나타낸 도면이다.

일반적으로 모든 픽셀의 후보 반사점을 모두 결합하면 식기의 3차원 형상 이미지가 생성된다. 다만, 이 경우 원근감에 따라 같은 식기의 표면이 볼록하게 또는 오목하게 보이는 왜곡이 발생할 수 있다. 따라서, 최종 반사점 결정부(28)는 왜곡을 제거하기 위해 제1 후보 반사점과 제2 후보 반사점 각각의 연속된 픽셀과의 연속성을 이용하여 최종 반사점을 결정할 수 있다. 구체적으로, 연속성은 위치의 연속성과 각도의 연속성을 의미하며, 왜곡의 제거를 위해서는 각도의 연속성이 요구된다. 따라서, 연속성을 판단하기 위해서는 각각의 후보 반사점으로부터 법선 벡터가 먼저 산출되어야 한다.

먼저 도 9 및 도 11을 참조하면, 최종 반사점 결정부(28)는 제1 후보 반사점 Pr1(xr1, yr1, zr1)에서 수직방향인 제1 중점 Pn1(xn1, yn1, zn1)으로 향하는 제1 법선 벡터(V1)를 산출할 수 있고, 제2 후보 반사점 Pr2(xr2, yr2, zr2)에서 수직방향인 제2 중점 Pn2(xn2, yn2, zn2)으로 향하는 제2 법선 벡터(V2)를 산출할 수 있다. 즉, 식기 이미지에 포함된 픽셀 중 임의의 픽셀인 제1 픽셀로부터 제1 법선 벡터 및 제2 법선 벡터를 산출할 수 있다.

마찬가지로, 제1 픽셀과 이웃한 픽셀인 제2 픽셀로부터 제3 법선 벡터(V3) 및 제4 법선 벡터(V4)를 산출할 수 있고, 제2 픽셀과 이웃하고 제1 픽셀과 반대편에 위치한 제3 픽셀로부터 제5 법선 벡터(V5) 및 제6 법선 벡터(V6)를 산출할 수 있다.

한편, 벡터는 크기와 방향을 갖는 물리량이므로, 상술한 바와 같이 산출된 제1 법선 벡터(V1)와 이웃한 제3 법선 벡터(V3)를 비교하여 제1 변화 각도를 산출할 수 있고, 제2 법선 벡터(V2)와 이웃한 제4 법선 벡터(V4)를 비교하여 제2 변화 각도를 산출할 수 있다.

이후, 제3 법선 벡터(V3)와 이웃한 제5 법선 벡터(V5)를 비교하여 산출된 제3 변화 각도를 제1 변화 각도와 비교한다. 또한, 제4 법선 벡터(V2)와 이웃한 제6 법선 벡터(V6)를 비교하여 산출된 제4 변화 각도를 제2 변화 각도와 비교한다.

왜곡이 발생한 후보 반사점에서는 변화 각도가 유지되지 않는다. 따라서 변화 각도가 일정하게 유지되는 후보 반사점이 최종 반사점으로 결정된다. 예를 들어, 제1 변화 각도와 제3 변화 각도가 일치하고, 제2 변화 각도와 제4 변화 각도가 일치하지 않으면 제1 후보 반사점이 최종 반사점으로 결정되고, 제1 변화 각도와 제3 변화 각도가 일치하지 않고, 제2 변화 각도와 제4 변화 각도가 일치하면 제2 후보 반사점이 최종 반사점으로 결정된다.

만약 제1 변화 각도와 제3 변화 각도가 일치하지 않고, 제2 변화 각도와 제4 변화 각도 역시 일치하지 않는 경우에는, 식기의 경계지점에 해당하여 발생하는 오류로써 최종 반사점 결정부(28)는 엣지(Edge)를 검색하고 관심영역(Region of interest;ROI)을 제한하여 오류를 해결할 수 있다.

이와 같이 후보 반사점으로부터 법선 벡터 및 변화 각도를 산출하여 왜곡을 제거함으로써 3차원 이미지 생성부(29)는 식기의 정확한 3차원 형상 이미지를 생성할 수 있다.

도 12는 본 명세서의 일 실시예에서 조명 장치 및 식기 계측용 카메라의 배치 위치를 나타낸 도면이다.

식기 세척기 내부의 터브는 밀폐된 공간으로써 조명 장치가 식기의 한부분만을 조명하거나 조명 장치가 식기 계측용 카메라보다 낮은 위치에 배치되는 경우 빛이 반사되지 않는 사각지대가 발생하게 되고, 식기의 3차원 형상 이미지를 생성할 수 없게 된다. 따라서, 식기 계측용 카메라(P0) 및 조명 장치(17)는 제약 조건이 발생한다.

예컨대, 조명 장치가 하나뿐이거나, 조명 장치가 식기 계측용 카메라와 너무 근거리에 모여 있거나, 식기 계측용 카메라의 배치가 조명 장치의 배치와 비교하여 너무 낮은 위치에 배치되는 경우에는 식기의 3차원 형상 이미지를 생성할 수 없다.

도면을 참조하면, 제1 배치(90a), 제2 배치(90b), 제3 배치(90c) 각각은 본 명세서의 실시예에 따른 조명 장치 및 식기 계측용 카메라의 최적의 배치 위치를 나타낸다. 먼저, 조명 장치(17)는 복수개로써, 터브 내측면의 제1 위치에 배치되고 점 형태, 띠 형태 또는 밴드 형태로 배치가 가능하다. 식기 계측용 카메라(P0)는 하나이며, 터브 내측면의 제2 위치에 배치된다.

식기 계측용 카메라의 제2 위치는 터브의 상부 또는 터브의 측면일 수 있다. 제1 배치(90a) 및 제2 배치(90b)는 제2 위치가 터브의 상부인 경우이고, 제3 배치(90c)는 제2 위치가 터브의 측면인 경우를 나타낸다.

제1 배치(90a)의 경우 제2 위치와 제1 위치가 터브 바닥을 기준으로 같은 높이에 위치하고, 제2 배치(90b)의 경우 제1 위치가 터브 바닥을 기준으로 제2 위치보다 낮게 위치한다. 이때, 복수의 조명 장치는 적어도 2개일 것과, 식기 계측용 카메라를 기준으로 복수의 조명 장치 간의 각도가 90도 이상일 것을 제약 조건으로 한다. 즉, 식기 계측용 카메라를 기준으로 조명 장치가 있는 반대편에 다른 조명 장치가 있어야 한다.

제1 배치(90a)와 같이 식기 계측용 카메라(P0) 및 조명 장치(17)를 배치하는 경우 랙의 상단부를 모두 비추고 모든 조명 장치가 동일한 평면에 있어 식기의 3차원 형상 이미지 생성시 발생하는 오차가 작다. 이에 더해 제2 배치(90b)와 같이 제1 위치가 제2 위치보다 낮은 경우 식기 계측용 카메라(P0)와 조명 장치(17)간의 각도가 커져서 오차를 더욱 줄일 수 있다.

제3 배치(90c)의 경우 제1 위치는 제2 위치보다 높고, 조명 장치(13)는 터브 내부에 설정되는 기준면에 의해서 설정되는 2개의 공간 중 하나의 공간에 적어도 두개가 배치되며, 터브 내부에는 2개의 공간을 합하여 적어도 세개의 조명 장치가 배치될 것을 제약 조건으로 한다.

제3 배치(90c)와 같이 식기 계측용 카메라(P0) 및 조명 장치(17)를 배치하는 경우 원거리 및 근거리 조명이 모두 이용될 수 있다. 따라서, 식기의 위치 및 배치와 관계없이 다양한 대응을 통해 식기의 정확한 3차원 형상 이미지 생성이 가능하다.

도 13은 본 명세서의 일 실시예에 따른 식기 형상 생성 방법에 대한 순서도이다.

먼저 제어부(20)는 제1 식기 이미지에 포함된 픽셀 중 임의의 픽셀인 제1 픽셀로부터 제1 중심거리를 산출하고(S200), 제2 식기 이미지에 포함된 픽셀 중 제1 픽셀과 동일한 위치의 픽셀로부터 제2 중심거리를 산출한다(S210). 이후, 제어부(20)는 식기 계측용 카메라(P0), 제1 조명 장치(17a) 및 제2 조명 장치(17b)를 포함하는 제1 평면(A1)을 산출한다(S220).

제어부(20)는 3차원 공간에서 제1 조명 장치(17a)로부터 제1 중심거리에 있는 점들과 제2 조명 장치(17b)로부터 제2 중심거리에 있는 점들의 집합 중 제1 평면(A1)위에 있는 점인 제1 기준점(P3) 및 제2 기준점(P4)을 산출한다(S230).

제어부(20)는 제1 기준점(P3)과 식기 계측용 카메라(P0) 사이의 동일 거리에 있는 점들의 집합인 제2 평면(A2)를 산출하고, 제2 기준점(P4)과 식기 계측용 카메라(P0) 사이의 동일 거리에 있는 점들의 집합인 제3 평면(A3)를 산출한다(S240).

제어부(20)는 식기 계측용 카메라(P0)와 제2 평면(A2)에 기초하여 제1 후보 반사점(Pr1)을 산출하고 식기 계측용 카메라(P0)와 제3 평면(A3)에 기초하여 제2 후보 반사점(Pr1)을 산출한다(S250).

제어부(20)는 제1 기준점(P3)과 식기 계측용 카메라(P0) 사이의 직선 거리 중간에 있는 점인 제1 중점(Pn1)을 산출하고, 제2 기준점(P4)과 식기 계측용 카메라(P0) 사이의 직선 거리 중간에 있는 점인 제2 중점(Pn2)을 산출한다(S260).

제어부(20)는 제1 픽셀의 제1 후보 반사점(Pr1)으로부터 제1 중점(Pn1) 방향의 제1 법선 벡터(V1)를 산출하고, 제1 픽셀의 제2 후보 반사점(Pr2)으로부터 제2 중점(Pn2) 방향의 제2 법선 벡터(V1)를 산출한다(S270). 이후, 제1 픽셀과 이웃한 픽셀인 제2 픽셀로부터 동일한 과정을 반복하여 제3 법선 벡터(V3) 및 제4 법선 벡터(V4)를 산출하고, 제2 픽셀과 이웃하고 제1 픽셀 반대편에 있는 픽셀인 제3 픽셀로부터 제5 법선 벡터(V5) 및 제6 법선 벡터(V6)를 산출한다(S280).

제어부(20)는 제1 법선 벡터(V1)과 제3 법선 벡터(V3)를 비교하여 제1 변화 각도를 산출하고, 제1 변화 각도를 제3 법선 벡터(V1)와 제5 법선 벡터(V5)를 비교하여 산출된 제2 변화 각도와 비교하여 일치하는 경우 제1 후보 반사점(Pr1)을 최종 반사점으로 결정한다. 마찬가지로 제어부(20)는 제2 법선 벡터(V2)과 제4 법선 벡터(V4)를 비교하여 제3 변화 각도를 산출하고, 제3 변화 각도를 제4 법선 벡터(V4)와 제6 법선 벡터(V6)를 비교하여 산출된 제4 변화 각도와 비교하여 일치하는 경우 제2 후보 반사점(Pr2)을 최종 반사점(Pr)으로 결정한다(S290). 법선 벡터를 이용하여 이웃한 픽셀의 연속성을 판단함으로써 왜곡이 제거되고 정확한 식기의 3차원 영상 이미지가 생성될 수 있다. 제어부(20)는 최종 반사점(Pr)을 결합하여 식기의 3차원 영상 이미지를 생성한다.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims

외관을 이루고 전방이 개구되는 케이스;
상기 케이스의 개구된 전방을 밀폐시키는 도어;
내부에 세척수가 수용되는 터브;
상기 섬프 내부에 배치되고 식기가 수납 가능하게 형성되는 랙;
상기 터브 내측면의 제1 위치에 배치되고 상기 랙의 상단부를 조명하는 복수의 조명 장치;
상기 터브 내측면의 제2 위치에 배치되고 상기 랙의 상단부를 촬영하여 제1 식기 이미지 및 제2 식기 이미지를 생성하는 식기 계측용 카메라; 및
식기 세척기의 구동을 제어하는 제어부를 포함하고,
상기 제어부는
터브 내측면의 제1 위치에 배치되는 복수의 조명 장치에 대한 제1 조명 제어를 수행하고, 상기 제1 조명 제어가 수행된 상태에서 제2 위치에 배치된 식기 계측용 카메라가 랙의 상단부를 촬영하여 생성되는 제1 식기 이미지를 획득하고, 상기 복수의 조명 장치에 대한 제2 조명 제어를 수행하고, 상기 제2 조명 제어가 수행된 상태에서 상기 식기 계측용 카메라가 상기 랙의 상단부를 촬영하여 생성되는 제2 식기 이미지를 획득하고, 상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성하는
식기 세척기.
제1 항에 있어서
제어부는
상기 제1 식기 이미지 또는 상기 제2 식기 이미지에 포함된 각 픽셀로부터 조명 거리를 산출하고,
상기 식기 계측용 카메라의 좌표값, 상기 복수의 조명 장치의 좌표값 및 상기 조명 거리를 이용하여 기준점을 생성하고,
상기 식기 계측용 카메라의 좌표값 및 상기 기준점을 이용하여 3차원 공간에서 후보 반사점의 좌표값을 산출하고,
상기 후보 반사점에 기초하여 최종 반사점을 결정하고,
상기 결정된 최종 반사점들을 결합하여 상기 식기의 3차원 형상 이미지를 생성하는
식기 세척기.
제2항에 있어서,
제어부는,
제1 식기 이미지에 포함된 픽셀 중 선택된 하나의 픽셀인 제1 픽셀에 기초하여 제1 조명거리를 산출하고, 제2 식기 이미지에 포함된 픽셀 중 상기 제1 픽셀의 위치와 동일한 위치의 제2 픽셀에 기초하여 제2 조명거리를 산출하는
식기 세척기.
제2 항에 있어서,
제어부는,
상기 식기 계측용 카메라, 제1 조명 및 제2 조명을 포함하여 이루어지는 제1 평면을 추출하고, 상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 제1 기준점 및 제2 기준점을 산출하는
식기 세척기.
제2 항에 있어서,
제어부는,
상기 제1 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제2 평면을 추출하고,
상기 식기 계측용 카메라와 상기 제2 평면에 기초하여 3차원 공간에서 제1 후보 반사점의 좌표값을 산출하는
식기 세척기.
제5 항에 있어서,
제어부는,
상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제2 기준점의 좌표값을 산출하고,
상기 제2 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제3 평면을 추출하고,
상기 식기 계측용 카메라와 상기 제3 평면에 기초하여 3차원 공간에서 제2 후보 반사점의 좌표값을 산출하는
식기 세척기.
제6 항에 있어서,
제어부는
상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 먼 거리에 위치한 교차점을 제1 기준점으로 결정하여 제1 기준점의 좌표값을 산출하고,
상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 가까운 거리에 위치한 교차점을 제2 기준점으로 결정하여 제2 기준점의 좌표값을 산출하는
식기 세척기.
제6 항에 있어서
상기 제어부는,
상기 제1 후보 반사점으로부터 상기 제1 중점을 연결하는 제1 법선 벡터를 산출하고,
상기 제2 후보 반사점으로부터 상기 제2 중점을 연결하는 제2 법선 벡터를 산출하고,
상기 제1 픽셀과 순차적으로 이웃한 제3 픽셀 및 제5 픽셀에 대하여 제3 픽셀로부터 제3 법선 벡터를 산출하고, 제5 픽셀로부터 제5 법선 벡터를 산출하고,
상기 제2 픽셀과 순차적으로 이웃한 제4 픽셀 및 제6 픽셀에 대하여 제4 픽셀로부터 제4 법선 벡터를 산출하고, 제6 픽셀로부터 제6 법선 벡터를 산출하고,
상기 제1 법선 벡터와 상기 제3 법선 벡터를 비교하여 제1 변화 각도를 산출하고,
상기 제2 법선 벡터와 상기 제4 법선 벡터를 비교하여 제2 변화 각도를 산출하는
식기 세척기
제8항에 있어서,
상기 제어부는
상기 제3 법선 벡터와 상기 제5 법선 벡터를 비교하여 제3 변화 각도를 산출하고,
상기 제4 법선 벡터와 상기 제6 법선 벡터를 비교하여 제4 변화 각도를 산출하고,
상기 제1 변화 각도와 상기 제3 변화 각도가 일치하고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하지 않으면 상기 제1 후보 반사점을 최종 반사점으로 결정하고,
상기 제1 변화 각도와 상기 제3 변화 각도가 일치하지 않고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하면 상기 제2 후보 반사점을 최종 반사점으로 결정하는
식기 세척기의 3차원 이미지 획득 방법.
제1 항에 있어서,
상기 제2 위치가 상기 터브의 측면인 경우,
상기 제1 위치는 상기 제2 위치보다 높고, 상기 조명 장치는 상기 터브 내부에 설정되는 기준면에 의해서 설정되는 2개의 공간 중 하나의 공간에 적어도 두개가 배치되며, 상기 터브 내부에는 적어도 세 개의 조명 장치가 배치되는
식기 세척기.
제1 항에 있어서,
상기 제2 위치가 터브의 상부인 경우,
상기 제1 위치는 상기 제2 위치와 터브 바닥을 기준으로 같은 높이에 위치하고, 상기 식기 계측용 카메라를 기준으로 상기 복수의 조명 장치 간의 각도가 90도 이상인
식기 세척기.
제1 항에 있어서,
상기 제1 조명 제어 및 상기 제2 조명 제어는
상기 복수의 조명 장치가 순차적으로 온, 오프 되거나 밝기가 조절되도록 상기 조명 장치를 제어하는
식기 세척기.
터브 내측면의 제1 위치에 배치되는 복수의 조명 장치에 대한 제1 조명 제어를 수행하는 단계;
상기 제1 조명 제어가 수행된 상태에서 제2 위치에 배치된 식기 계측용 카메라가 랙의 상단부를 촬영하여 생성되는 제1 식기 이미지를 획득하는 단계;
상기 복수의 조명 장치에 대한 제2 조명 제어를 수행하는 단계;
상기 제2 조명 제어가 수행된 상태에서 상기 식기 계측용 카메라가 상기 랙의 상단부를 촬영하여 생성되는 제2 식기 이미지를 획득하는 단계;
상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성하는 단계를 포함하는
식기 세척기의 3차원 이미지 획득 방법
제13항에 있어서,
상기 제1 식기 이미지 및 상기 제2 식기 이미지에 기초하여 상기 랙에 거치된 식기의 3차원 형상 이미지를 생성하는 단계는
상기 제1 식기 이미지 또는 상기 제2 식기 이미지에 포함된 각 픽셀로부터 조명 거리를 산출하는 단계;
상기 식기 계측용 카메라의 좌표값, 상기 복수의 조명 장치의 좌표값 및 상기 조명 거리를 이용하여 기준점을 생성하는 단계;
상기 식기 계측용 카메라의 좌표값 및 상기 기준점을 이용하여 3차원 공간에서 후보 반사점의 좌표값을 산출하는 단계;
상기 후보 반사점에 기초하여 최종 반사점을 결정하는 단계;
상기 결정된 최종 반사점들을 결합하여 상기 식기의 3차원 형상 이미지를 생성하는 단계를 포함하는
식기 세척기의 3차원 이미지 획득 방법
제14항에 있어서
상기 제1 식기 이미지 또는 상기 제2 식기 이미지에 포함된 각 픽셀로부터 조명 거리를 산출하는 단계는
제1 식기 이미지에 포함된 픽셀 중 선택된 하나의 픽셀인 제1 픽셀에 기초하여 제1 조명거리를 산출하는 단계; 및
제2 식기 이미지에 포함된 픽셀 중 상기 제1 픽셀의 위치와 동일한 위치의 제2 픽셀에 기초하여 제2 조명거리를 산출하는 단계를 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제14항에 있어서
상기 식기 계측용 카메라의 좌표값, 상기 복수의 조명 장치의 좌표값 및 상기 조명 거리를 이용하여 기준점을 생성하는 단계는
상기 식기 계측용 카메라, 제1 조명 및 제2 조명을 포함하여 이루어지는 제1 평면을 추출하는 단계; 및
상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 제1 기준점 및 제2 기준점을 산출하는 단계를 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제14항에 있어서
상기 식기 계측용 카메라의 좌표값 및 상기 기준점을 이용하여 3차원 공간에서 반사점의 좌표값을 산출하는 단계는
상기 제1 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제2 평면을 추출하는 단계;
상기 식기 계측용 카메라와 상기 제2 평면에 기초하여 3차원 공간에서 제1 후보 반사점의 좌표값을 산출하는 단계를 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제17 항에 있어서
상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제2 기준점의 좌표값을 산출하는 단계;
상기 제2 기준점의 3차원 좌표값과 상기 식기 계측용 카메라의 3차원 좌표값 중간에 있는 점들의 집합면인 제3 평면을 추출하는 단계;
상기 식기 계측용 카메라와 상기 제3 평면에 기초하여 3차원 공간에서 제2 후보 반사점의 좌표값을 산출하는 단계를 더 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제18 항에 있어서,
상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제1 기준점의 좌표값을 산출하는 단계는
상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 먼 거리에 위치한 교차점을 제1 기준점으로 결정하여 제1 기준점의 좌표값을 산출하는 단계를 포함하고,
상기 제1 조명거리, 제2 조명거리 및 제1 평면을 이용하여 3차원 공간에서 제2 기준점의 좌표값을 산출하는 단계는
상기 제1 평면 내에 위치하고 상기 제1 조명으로부터 제1 조명거리에 있는 점과 상기 제1 평면 내에 위치하고 상기 제2 조명으로부터 제2 조명거리에 있는 점이 만나는 두 교차점 중 상기 식기 계측용 카메라로부터 가까운 거리에 위치한 교차점을 제2 기준점으로 결정하여 제2 기준점의 좌표값을 산출하는 단계를 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제18항에 있어서,
상기 제1 반사점으로부터 상기 제1 중점을 연결하는 제1 법선 벡터를 산출하는 단계;
상기 제2 반사점으로부터 상기 제2 중점을 연결하는 제2 법선 벡터를 산출하는 단계;
상기 제1 픽셀과 순차적으로 이웃한 제3 픽셀 및 제5 픽셀에 대하여 제3 픽셀로부터 제3 법선 벡터를 산출하고, 제5 픽셀로부터 제5 법선 벡터를 산출하는 단계;
상기 제2 픽셀과 순차적으로 이웃한 제4 픽셀 및 제6 픽셀에 대하여 제4 픽셀로부터 제4 법선 벡터를 산출하고, 제6 픽셀로부터 제6 법선 벡터를 산출하는 단계;
상기 제1 법선 벡터와 상기 제3 법선 벡터를 비교하여 제1 변화 각도를 산출하는 단계; 및
상기 제2 법선 벡터와 상기 제4 법선 벡터를 비교하여 제2 변화 각도를 산출하는 단계를 더 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제20항에 있어서,
상기 후보 반사점에 기초하여 최종 반사점을 결정하는 단계는
상기 제3 법선 벡터와 상기 제5 법선 벡터를 비교하여 제3 변화 각도를 산출하는 단계;
상기 제4 법선 벡터와 상기 제6 법선 벡터를 비교하여 제4 변화 각도를 산출하는 단계; 및
상기 제1 변화 각도와 상기 제3 변화 각도가 일치하고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하지 않으면 상기 제1 후보 반사점을 최종 반사점으로 결정하고,
상기 제1 변화 각도와 상기 제3 변화 각도가 일치하지 않고 상기 제2 변화 각도와 상기 제4 변화 각도가 일치하면 상기 제2 후보 반사점을 최종 반사점으로 결정하는 단계를 더 포함하는
식기 세척기의 3차원 이미지 획득 방법.
제13 항에 있어서,
상기 제2 위치가 상기 터브의 측면인 경우,
상기 제1 위치는 상기 제2 위치보다 높고, 상기 조명 장치는 상기 터브 내부에 설정되는 기준면에 의해서 설정되는 2개의 공간 중 하나의 공간에 적어도 두개가 배치되며, 상기 터브 내부에는 적어도 세 개의 조명 장치가 배치되는
식기 세척기의 3차원 이미지 획득 방법.
제13 항에 있어서,
상기 제2 위치가 터브의 상부인 경우,
상기 제1 위치는 상기 제2 위치와 터브 바닥을 기준으로 같은 높이에 위치하고, 상기 식기 계측용 카메라를 기준으로 상기 복수의 조명 장치 간의 각도가 90도 이상인
식기 세척기의 3차원 이미지 획득 방법.
제13 항에 있어서,
상기 제1 조명 제어 및 상기 제2 조명 제어는
상기 복수의 조명 장치가 순차적으로 온, 오프 되거나 밝기가 조절되도록 상기 조명 장치를 제어하는
식기 세척기의 3차원 이미지 획득 방법.