KR20220043611A - 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법 - Google Patents

식기 세척기 및 식기 세척기의 카메라 고장 검출 방법 Download PDF

Info

Publication number
KR20220043611A
KR20220043611A KR1020200127220A KR20200127220A KR20220043611A KR 20220043611 A KR20220043611 A KR 20220043611A KR 1020200127220 A KR1020200127220 A KR 1020200127220A KR 20200127220 A KR20200127220 A KR 20200127220A KR 20220043611 A KR20220043611 A KR 20220043611A
Authority
KR
South Korea
Prior art keywords
image
dish
tableware
recognition camera
dishwasher
Prior art date
Application number
KR1020200127220A
Other languages
English (en)
Inventor
박제강
손창우
권배근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200127220A priority Critical patent/KR20220043611A/ko
Priority to EP21199727.5A priority patent/EP3973843A1/en
Priority to US17/488,569 priority patent/US20220095884A1/en
Publication of KR20220043611A publication Critical patent/KR20220043611A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0049—Detection or prevention of malfunction, including accident prevention
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0063—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control using remote monitoring or controlling of the dishwasher operation, e.g. networking systems
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4278—Nozzles
    • A47L15/428—Rotary nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/30—Variation of electrical, magnetical or optical quantities
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/34—Other automatic detections
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/26—Indication or alarm to the controlling device or to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Washing And Drying Of Tableware (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 식기 세척기 및 식기 세척기의 본 명세서의 카메라 고장 검출 방법에 관한 것이다. 본 명세서의 일 실시예에 따른 식기 세척기는 외관을 이루고 전방이 개구되는 케이스, 상기 케이스의 개구된 전방을 밀폐시키는 도어, 내부에 세척수가 수용되는 터브, 상기 섬프 내부에 배치되고 식기가 수납 가능하게 형성되는 랙, 상기 도어 내측면 및 상기 터브 내측면 중 적어도 하나에 구비되어 식기가 수납된 상기 랙의 상부를 촬영하는 식기 인식 카메라, 식기 세척기 및 상기 식기 인식 카메라의 구동을 제어하는 제어부를 포함하고, 상기 제어부는 미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하고, 상기 획득한 제1 식기 이미지 및 제2 식기 이미지에 기초하여 이미지 처리를 하고, 상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단한다.

Description

식기 세척기 및 식기 세척기의 카메라 고장 검출 방법{DISHWASHER AND METHOD FOR DETERMINING A CAMERA MALFUNCTION THEREOF}
본 명세서는 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법에 관한 것이다.
식기 세척기는 세제가 용해된 세척수의 분사를 통해 식사 후 식기에 묻은 음식물 및 기름 때를 제어하여 식기를 세척하는 장치이다. 구체적으로는 터브의 내부에 세척수가 고압으로 분사되고, 분사되는 세척수가 식기에 닿아서 식기 표면에 묻어 있는 음식물 찌꺼기 등의 오물이 세척된다. 그러나 오물에는 뼈와 같이 단단하거나 날카로운 재질의 음식물 찌꺼기가 포함될 수 있고, 세척수는 고압으로 분사되므로 세척수에 의해 튀어 오른 오물이 폐쇄된 터브의 내측면과 충돌하여 터브 내측면에 스크래치가 발생될 수 있다. 이하 도 1 내지 도 3을 참조하여 식기 세척기 내부 구조를 상세히 설명한다.
도 1은 도어가 닫힌 상태의 식기 세척기의 사시도이고, 도 2는 도어가 열린 상태의 식기 세척기의 사시도를 나타낸다.
도 1을 참조하면, 식기 세척기의 외관은 전방이 개구 되는 케이스(1), 케이스의 개구 된 전방을 밀폐시키는 도어(2)로 이루어져 있다. 케이스(1)와 식기 세척기 전방의 도어(2)가 내부 공간을 밀폐시켜 식기를 세척하는 동안 세척수 또는 세제가 외부로 빠져나오지 않도록 한다.
도 2를 참조하면, 도어(2)가 오픈 되면 도어(2)는 케이스(1)와 90도 직각의 각도를 이루며 열릴 수 있다. 식기 세척기의 내부는 세척수가 수용되는 터브(18), 터브의 하측에 세척수를 집수하고 이물을 걸러서 분사되도록 하는 섬프(16), 섬프와 연결되어 회전하며 세척수를 터브 내부로 분사하는 노즐(14), 터브 내부에 형성되고 상, 하단으로 구분되어 복수의 식기가 수납되는 상랙(11) 및 하랙(12)을 포함하는 구성으로 이루어진다.
한편, 식기 세척기의 터브 내측면에는 거치된 식기를 인식하기 위한 식기 인식 카메라가 배치될 수 있다. 도 3은 본 명세서의 일 실시예에서 내부에 식기 인식 카메라가 배치된 식기 세척기의 측면 단면도이다.
도면을 참조하면, 식기세척기(3)의 외부는 전방이 개구 되는 케이스(1)와 상기 케이스(1)의 개구 된 전방을 밀폐시키는 도어(2)로 구성되어 외관을 이룬다. 식기세척기의 내부에는 세척수가 수용되는 터브(18)가 놓이고, 상기 터브의 하측에는 세척수를 집수하고 이물을 걸러서 다시금 분사되도록 하는 섬프(16)가 놓여있다.
구체적으로, 터브(18)의 내부에는 식기가 각각 거치되는 상랙(11)과 하랙(12)을 향하여 세척수를 분사하는 노즐(14)이 형성되어 있다. 또한, 터브(18) 내부의 일측면에는 상노즐(14a) 및 탑노즐(14c)로 세척수를 공급하는 세척수유로(19)가 제공된다.
또한, 본 명세서의 일 실시예에서 터브(18)의 내부에는 식기 인식 카메라(20)가 구비될 수 있다. 다시 도면을 참조하면, 식기 인식 카메라(20)는 터브(18) 내부에 복수개로 구비될 수 있다. 상세하게, 도 3에 도시된 바와 같이 상랙(11)에 수용된 식기를 촬영하기 위한 식기 인식 카메라(20a, 20b)가 상랙(11)의 상단에 위치하고, 하랙(12)에 수용된 식기를 촬영하기 위한 식기 인식 카메라(20c, 20d)가 하랙(12)과 상랙(11) 중간 부분에 위치할 수 있다.
또한, 식기 인식 카메라(20)는 터브(18)의 일측면 또는 도어(2)에 구비될 수 있다. 상세하게는, 도 3에 도시된 바와 같이 터브 또는 도어의 내측면에 홈을 형성하고 형성된 홈 내부에 식기 인식 카메라(20)를 배치할 수 있다. 그리고 형성된 홈은 패널을 통해 터브 내측면을 굴곡지지 않게 처리될 수 있다. 패널은 유리 또는 플라스틱과 같이 홈 내부에서 터브 내부를 촬영할 수 있도록 투명한 재질일 수 있다.
한편, 식기 세척기의 터브 내부에 배치된 식기 인식 카메라는 홈과 패널을 구비하였음에도 불구하고 고장 가능성이 매우 높다. 식기 세척기의 터브 내부는 고온, 다습한 환경이므로 식기 인식 카메라의 이미지 센서가 손상될 수 있고, 식기, 음식물 또는 세척수와의 물리적 충돌로 인해 렌즈가 파손되거나 패널에 스크래치가 발생할 수 있다. 이에 더해, 오물 및 세척수가 렌즈 표면에 묻어 렌즈 표면에 이물질이 침착 되는 등 다양한 종류의 고장이 발생할 수 있는 문제점이 있다.
또한, 식기 인식 카메라의 고장을 미리 알지 못하는 경우 식기 인식 카메라의 고장으로 인해 식기 인식 카메라로부터 잘못된 식기 이미지를 획득하여 식기 세척기가 오작동 하는 문제점이 있다.
본 명세서의 목적은 식기 이미지에 기초한 이미지 처리를 통해 식기 세척기 내부에 배치된 식기 인식 카메라의 고장을 자체적으로 검출하고, 신속한 대응을 하는 것이다.
또한 본 명세서의 목적은 식기 인식 카메라의 동작 이상을 다양한 방식으로 검출하여 여러 종류의 고장을 검출하고, 고장 유형에 따라 서로 다른 대응을 하는 것이다.
또한 본 명세서의 목적은 식기 인식 카메라의 고장을 미리 인식하여 식기 세척기의 오작동을 사전에 방지하는 것이다.
본 명세서의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 명세서의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 명세서의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 명세서의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 명세서의 일 실시예에 따른 식기 세척기는 외관을 이루고 전방이 개구되는 케이스, 상기 케이스의 개구된 전방을 밀폐시키는 도어, 내부에 세척수가 수용되는 터브, 상기 섬프 내부에 배치되고 식기가 수납 가능하게 형성되는 랙, 상기 도어 내측면 및 상기 터브 내측면 중 적어도 하나에 구비되어 식기가 수납된 상기 랙의 상부를 촬영하는 식기 인식 카메라, 식기 세척기 및 상기 식기 인식 카메라의 구동을 제어하는 제어부를 포함하고, 상기 제어부는 미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하고, 상기 획득한 제1 식기 이미지 및 제2 식기 이미지에 기초하여 이미지 처리를 하고, 상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단한다.
또한 본 명세서의 일 실시예에서 제어부는 상기 제1 식기 이미지 및 상기 제2 식기 이미지 각각에 포함된 픽셀로부터 정적 픽셀을 분류하고, 상기 정적 픽셀에 기초하여 오염 영역을 분류하고, 상기 오염 영역에 포함된 정적 픽셀의 수가 미리 설정된 기준 픽셀의 수를 초과하면 상기 식기 인식 카메라의 렌즈 손상 또는 패널 오염으로 판단한다.
또한 본 명세서의 일 실시예에서 제어부는 복수의 단계가 반복적으로 수행되는 행정의 첫번째 행정인 제1 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제1 식기 이미지를 획득하고, 복수의 단계가 반복적으로 수행되는 행정의 두번째 행정인 제2 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제2 식기 이미지를 획득한다.
또한 본 명세서의 일 실시예에서 제어부는 상기 제1 식기 이미지에 포함된 픽셀 각각의 명도값과 상기 제2 식기 이미지 각각에 포함된 픽셀 각각의 명도값을 비교하여 명도값이 일치하는 경우 상기 식기 인식 카메라의 이미지 센서가 손상된 것으로 판단한다.
또한 본 명세서의 일 실시예에서 제어부는 조명 장치의 온, 오프 제어 동작 또는 조도 제어 동작을 통해 제1 식기 이미지 또는 제2 식기 이미지를 획득한다.
또한 본 명세서의 일 실시예에서 제어부는 상기 제1 식기 이미지 또는 제2 식기 이미지 각각에 포함된 식별자에 해당하는 부분의 픽셀의 색상값이 미리 설정된 기준 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값과 다른 경우 상기 식기 인식 카메라의 색필터 고장으로 판단한다.
또한 본 명세서의 일 실시예에 따른 식기 세척기의 카메라 고장 검출 방법은 미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하는 단계, 상기 획득한 제1 식기 이미지 및 제2 식기 이미지에 기초하여 이미지 처리를 하는 단계, 상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계는 상기 제1 식기 이미지 및 상기 제2 식기 이미지 각각에 포함된 픽셀로부터 정적 픽셀을 분류하는 단계, 상기 정적 픽셀에 기초하여 오염 영역을 분류하는 단계, 상기 오염 영역에 포함된 정적 픽셀의 수가 미리 설정된 기준 픽셀의 수를 초과하면 상기 식기 인식 카메라의 렌즈 손상 또는 패널 오염으로 판단하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 미리 설정된 동작 타이밍에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하는 단계는 복수의 단계가 반복적으로 수행되는 행정의 첫번째 행정인 제1 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제1 식기 이미지를 획득하고, 복수의 단계가 반복적으로 수행되는 행정의 두번째 행정인 제2 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제2 식기 이미지를 획득하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계는 상기 제1 식기 이미지에 포함된 픽셀 각각의 명도값과 상기 제2 식기 이미지 각각에 포함된 픽셀 각각의 명도값을 비교하여 명도값이 일치하는 경우 상기 식기 인식 카메라의 이미지 센서가 손상된 것으로 판단하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하는 단계는 조명 장치의 온, 오프 제어 동작 또는 조도 제어 동작을 통해 제1 식기 이미지 또는 제2 식기 이미지를 획득하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계는 상기 제1 식기 이미지 또는 제2 식기 이미지 각각에 포함된 식별자에 해당하는 부분의 픽셀의 색상값이 미리 설정된 기준 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값과 다른 경우 상기 식기 인식 카메라의 색필터 고장으로 판단하는 단계를 포함한다.
본 명세서의 일 실시예에 따른 식기 세척기는 식기 이미지에 기초한 이미지 처리를 통해 식기 세척기 내부에 배치된 식기 인식 카메라의 고장을 자체 검출하고, 신속한 대응을 할 수 있다.
또한 본 명세서의 일 실시예에 따른 식기 세척기는 식기 인식 카메라의 이상 동작을 다양한 방식으로 검출하여 여러 종류의 고장을 검출하고, 고장 유형에 따라 서로 다른 대응을 할 수 있다.
또한 본 명세서의 일 실시예에 따른 식기 세척기는 식기 인식 카메라의 고장을 미리 인식하여 식기 세척기의 오작동을 사전에 방지할 수 있다.
도 1은 도어가 닫힌 상태의 식기 세척기의 사시도이다.
도 2는 도어가 열린 상태의 식기 세척기의 사시도이다.
도 3은 본 명세서의 일 실시예에서 내부에 식기 인식 카메라가 배치된 식기 세척기의 측면 단면도이다.
도 4는 본 명세서의 일 실시예에 따른 식기 세척기의 구성도이다.
도 5는 본 명세서의 일 실시예에서 패널 오염 또는 렌즈 손상에 대한 이미지 처리와 이상 동작 판단 방법에 대한 순서도이다.
도 6 내지 도 9는 패널 오염 또는 렌즈 손상을 검출하기 위한 이미지 처리를 나타낸 도면이다.
도 10은 본 명세서의 일 실시예에서 불량 픽셀 검출에 대한 이미지 처리와 이상 동작 판단 방법에 대한 순서도이다.
도 11 내지 도13은 불량 픽셀을 검출하기 위한 이미지 처리 방법에 따른 식기 이미지를 나타낸 도면이다.
도 14는 본 명세서의 일 실시예에서 불량 색 필터 검출에 대한 이미지 처리와 이상 동작 판단 방법에 대한 순서도이다.
도 15 및 도 16은 색 필터가 정상인 상태에서 획득한 식기 이미지와 색 필터가 불량인 상태에서 획득한 식기 이미지를 나타낸 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자가 본 명세서의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 명세서를 설명함에 있어서 본 명세서와 관련된 공지 기술에 대한 구체적인 설명이 본 명세서의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 명세서에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 4는 본 명세서의 일 실시예에 따른 식기 세척기의 구성도이다.
도면을 참조하면, 식기 인식 카메라(20)는 터브 또는 도어 내측면에 배치되고 랙의 상단부를 촬영하여 식기 이미지를 생성한다. 식기 인식 카메라(20)는 이미지 센서를 사용하여 외부의 광학 영상 신호를 전기 영상 신호로 변환하는 장치를 포함한다. 예를 들어, CIS(CMOS image Sensor) 또는 CCD(Charge-Coupled Device)일 수 있다.
조명 장치(30)는 터브 측면 또는 상부에 배치되어 상랙(11) 또는 하랙(12)의 상단부를 조명한다. 조명 장치(30)는 복수개로 구성될 수 있고, 제어부(500)의 조명 제어에 따라 구동이 제어될 수 있다.
제어부(500)는 장치 제어부(502), 이미지 수신부(504), 이미지 처리부(506), 이상 동작 판별부(508) 및 이상 동작 처리부(510)를 포함할 수 있다.
장치 제어부(502)는 식기 인식 카메라(20) 및 조명 장치(30)의 동작을 제어한다. 장치 제어부(502)의 제어 신호에 따라서 조명 장치(30)에 전원이 인가되고 식기 인식 카메라(20)가 랙의 상단부를 촬영하여 식기 이미지를 생성한다. 조명 장치(30) 및 식기 인식 카메라(20)는 제어 신호에 따라 순차적으로 또는 동시에 제어될 수 있고, 제어 신호는 조명 장치의 온, 오프를 제어하는 신호 또는 조도를 제어하는 신호일 수 있다.
또한, 장치 제어부(502)는 식기 세척기의 동작 단계를 제어할 수 있다. 예를 들어, 장치 제어부(502)는 예비 세척, 본 세척, 헹굼, 가열 헹굼 및 건조의 단계를 순차적으로 수행할 수 있다.
이미지 수신부(504)는 식기 인식 카메라(20)가 촬영하여 생성한 식기 이미지 및 기준 이미지를 수신한다. 이후, 이미지 수신부(504)는 이미지 처리부(506)의 요청에 따라 수신한 식기 이미지 및 기준 이미지를 이미지 처리부(506)로 전송한다.
이미지 처리부(506)는 수신한 식기 이미지를 다양한 방법으로 이미지 처리한다. 다양한 방법의 이미지 처리는 예를 들어, 식기 이미지의 정적 픽셀 수 비교, 식기 이미지의 픽셀의 명도값 비교 또는 기준 이미지와의 비교를 통해 수행될 수 있다.
이상 동작 판단부(508)는 이미지 처리부(506)에서의 이미지 처리 결과에 기초하여 식기 인식 카메라(20)의 이상 동작여부를 판단한다. 식기 인식 카메라(20)는 터브 내부에서 여러가지 이상 동작을 할 수 있다. 예를 들어, 세척기의 터브 내부의 고온, 다습한 환경으로 인해 식기 인식 카메라의 이미지 센서가 손상될 수 있고, 식기, 음식물 또는 세척수와의 물리적 충돌로 인해 렌즈가 파손되거나 패널에 스크래치가 발생할 수 있다. 또한, 오물 및 세척수가 렌즈 표면에 묻어 렌즈 표면에 이물질이 침착될 수 있다. 이상 동작 판단부(508)는 이미지 처리 결과에 따라서 상술한 여러가지 이상 동작 각각을 구별하여 판단할 수 있다.
이상 동작 처리부(510)는 판단한 이상 동작의 종류에 따라서 서로 다른 대응을 수행한다. 예컨대, 판단된 이상 동작에 해당하는 메세지를 식기 세척기의 디스플레이에 표시하거나, 판단된 이상 동작에 해당하는 정보를 서버로 전송하여 대응을 요청할 수 있다.
도 5는 본 명세서의 일 실시예에서 패널 오염 또는 렌즈 손상에 대한 이미지 처리와 이상 동작 판단 방법에 대한 순서도이고, 도 6 내지 도 9는 패널 오염 또는 렌즈 손상을 검출하기 위한 이미지 처리를 나타낸 도면이다. 이하 본 명세서의 일 실시예에서 도 5 내지 도 9를 참조하여 이상 동작 판단 방법을 설명한다.
패널 오염에는 세척수 분사에 의한 얼룩 및 이물질 침착에 의한 오염이 있고, 렌즈 손상은 오물과의 충돌에 의한 파손이 있다. 이러한 오염 또는 렌즈 손상들은 렌즈 혹은 패널 표면에서 발생하므로 식기 인식 카메라(20)의 촬영 각도 변경 또는 식기 주변 배경의 변경과 관계없이 식기 이미지에서 항상 고정된 위치와 형상을 갖는다. 따라서 복수의 식기 이미지를 비교하여 장기간 움직임이 없거나 색 변화가 없는 정적 픽셀을 검출하여 패널 오염 또는 렌즈 손상여부를 검출할 수 있다.
이미지 수신부(504)가 식기 인식 카메라(20)로부터 서로 다른 시간에 촬영되거나 서로 다른 각도에서 촬영된 제1 시기 이미지와 제2 식기 이미지를 획득하면(600), 이미지 처리부(506)는 수신한 제1 식기 이미지 및 제2 식기 이미지를 비교한다(602). 도 6에 표시된 2개의 식기 이미지(601)가 제1 식기 이미지(601a) 및 제2 식기 이미지(601b)이다.
이미지 처리부(506)는 다음과 같은 방법을 통해 제1 식기 이미지 및 제2 식기 이미지를 비교하고 제1 식기 이미지 및 제2 식기 이미지에 기초하여 정적 픽셀을 분류할 수 있다(608).
본 명세서의 일 실시예에서 이미지 처리부(506)는 식기 이미지로부터 이미지 처리를 통해 색변화 여부를 검출할 수 있다(604). 구체적으로, 식기 이미지는 복수의 픽셀(Pixel)의 집합으로 구성되어 있고, 각각의 픽셀마다 색상값을 갖는다. 이미지 처리부(506)는 색상값으로부터 정적 픽셀을 분류하기 위해 미리 정해진 색상모델을 사용할 수 있다. 예를 들어, 색상모델은 RGB, CMYK, HSV, HSL 또는 HEX 중 하나일 수 있다. 다만, 이에 한정되지 않고 디지털에서 색을 표현하는 방법으로 사용되는 모든 색상모델을 포함한다.
이미지 처리부(506)는 제1 식기 이미지 및 제2 식기 이미지 각각에 포함된 픽셀 중 색상값의 변화가 없는 픽셀을 정적 픽셀로 분류할 수 있고, 분류된 정적 픽셀 중 인접한 정적 픽셀의 집합을 검출하여 오염 영역으로 분류할 수 있다(610). 도 7은 제1 식기 이미지(601a) 및 제2 식기 이미지(601b) 각각에 포함된 픽셀 중 색상값의 변화가 없는 픽셀의 집합인 정적 픽셀 이미지(605)를 나타내고, 도 8는 정적 픽셀 이미지(605)로부터 인접한 정적 픽셀의 집합을 검출하여 분류된 오염 영역(611)을 나타낸다.
이상 동작 판단부(508)는 동작 이상으로 판단하는 기준 픽셀의 수를 미리 설정할 수 있다. 따라서, 분류된 오염 영역(611)에 포함된 정적 픽셀의 수가 미리 설정된 기준 픽셀의 수를 초과하는 경우 이상 동작 판단부(508)는 식기 인식 카메라(20)의 패널 오염 또는 렌즈 손상이 발생되었다고 판단할 수 있다(612).
본 명세서의 다른 실시예에서 이미지 처리부(506)는 식기 이미지로부터 엣지 변화 여부를 검출하는 이미지 처리를 할 수 있다(606). 구체적으로, 이미지 처리부(506)는 제1 식기 이미지 및 제2 식기 이미지에 기초하여 제1 식기 이미지 및 제2 식기 이미지 각각에 포함된 픽셀의 색상값의 차이에 따라 경계를 형성하여 엣지(edge)를 추출할 수 있다. 도 9는 제1 식기 이미지(601a)로부터 추출된 제1 엣지 이미지(607)를 나타낸다.
이후, 이미지 처리부(506)는 제1 식기 이미지로부터 추출한 제1 엣지 이미지(607)와 제2 식기 이미지로부터 추출한 제2 엣지 이미지(미도시)를 비교(602)하여 엣지 변화 여부를 검출할 수 있다(606). 또한, 이미지 처리부(506)는 제1 엣지 이미지 및 제2 엣지 이미지에 기초하여 엣지 변화가 없는 픽셀을 정적 픽셀로 분류하고(608), 분류된 정적 픽셀 중 인접한 정적 픽셀의 집합을 오염 영역으로 분류할 수 있다(610).
이때, 이상 동작 판단부(508)는 이상 동작으로 판단하는 기준 픽셀의 수를 미리 설정할 수 있다. 따라서, 분류된 오염 영역에 포함된 정적 픽셀의 수가 설정된 기준 픽셀의 수를 초과하는 경우 이상 동작 판단부(508)는 식기 인식 카메라(20)의 패널 오염 또는 렌즈 손상이 발생되었다고 판단할 수 있다(612).
한편, 정적 픽셀을 분류하여 렌즈 손상 또는 패널 오염을 분류하는 이미지 처리 방법은 세척수가 분사되는 환경에서는 정확한 분류가 어렵다. 따라서, 장치 제어부(502)는 식기 인식 카메라(20)가 세척수가 분사되지 않는 행정에서 제1 식기 이미지 및 제2 식기 이미지를 촬영하도록 동작 타이밍을 미리 설정할 수 있다.
구체적으로, 복수의 단계가 반복적으로 수행되는 행정의 첫번째 행정인 제1 행정에서 세척수가 분사되지 않는 비세척 행정이 종료되면 제1 식기 이미지를 획득하고, 복수의 단계가 반복적으로 수행되는 행정의 두번째 행정인 제2 행정에서 세척수가 분사되지 않는 비세척 행정이 종료되면 제2 식기 이미지를 획득할 수 있다.
예를 들어, 식기 세척기는 장치 제어부(502)를 통해 예비 세척, 본 세척, 헹굼, 가열 헹굼 및 건조의 복수의 단계로 동작될 수 있고, 상기 복수의 단계는 반복적으로 수행될 수 있다. 위와 같은 단계 중 세척수가 분사되지 않는 단계는 건조 단계이므로, 비세척 단계는 건조 단계일 수 있고, 식기 인식 카메라(20)가 식기 이미지를 생성하도록 미리 설정된 동작 타이밍은 건조 단계가 종료되는 시점일 수 있다. 따라서, 식기 인식 카메라(20)는 제1 행정의 건조 단계가 종료되면 제1 식기 이미지를 생성하고, 제2 행정의 건조 단계가 종료되면 제2 식기 이미지를 생성할 수 있다.
상술한 실시예에서는 제1 식기 이미지 및 제2 식기 이미지로 표현하였으나, 3 이상의 복수의 식기 이미지에 기초하여 식기 이미지를 비교하고 정적 픽셀을 분류하고 오염 영역을 분류할 수 있다. 이상 동작 판단부(508)는 이미지 처리부(506)의 3 이상의 식기 이미지에 기초한 오염 영역 분류를 통해 정확한 패널 오염 또는 렌즈 손상을 판단할 수 있다.
이상 동작 처리부(510)는 식기 세척기(3)의 디스플레이에 패널 오염 또는 렌즈 손상 메세지를 표시할 수 있고, 서버와의 무선 통신을 통해 오류코드를 전송할 수 있다. 이에 따라, 사용자가 패널 오염 또는 렌즈 손상을 인지하여 패널 또는 렌즈를 직접 세척하거나, 서버에 의해 요청된 수리 기사를 통해 패널 또는 렌즈가 신속하게 교체되어, 이미지 센서 손상에 따른 식기 세척기의 오작동 가능성이 줄어들게 된다.
도 10은 본 명세서의 일 실시예에서 불량 픽셀 검출에 대한 이미지 처리와 이상 동작 판단 방법에 대한 순서도이고, 도 11 내지 도 13은 불량 픽셀을 검출하기 위한 이미지 처리 방법에 따른 식기 이미지를 나타낸 도면이다. 이하 도 10 내지 도 13을 참조하여 이상 동작 판단 방법을 설명한다.
불량 픽셀은 식기 인식 카메라(20) 내부의 이미지 센서의 손상에 의해 발생한다. 불량 픽셀은 촬영 대상인 식기에 빛의 밝기 변화가 있어도 명도값의 변화가 없다. 따라서, 도어 개폐 또는 조명의 온, 오프 제어를 통해 식기를 조명하는 빛의 밝기가 급격하게 변하는 환경에서 명도값이 일정한 픽셀의 검출을 통해 불량 픽셀이 검출될 수 있다.
도 11은 도어가 열린 상태에서 생성된 제1 식기 이미지(703)이고, 도 12는 도어가 닫힌 상태에서 생성된 제2 식기 이미지(707)를 나타낸다. 도 10을 참조하면, 사용자가 식기 세척기(3)의 도어(2)를 열면(700) 이미지 수신부(504)는 식기 인식 카메라(20)로부터 생성된 제1 식기 이미지를 수신한다(702). 사용자가 식기 세척기(3)의 도어(2)를 닫으면(704) 이미지 수신부(504)는 식기 인식 카메라(20)로부터 생성된 제2 식기 이미지를 수신한다(706). 이때, 급격한 빛의 밝기 변화가 있어야 하므로 사용자가 도어(2)를 개폐하는 동작은 신속하게 이루어 져야 한다.
이미지 처리부(506)는 획득한 제1 식기 이미지 및 제2 식기 이미지에 기초하여 제1 식기 이미지 및 제2 식기 이미지 각각에 포함된 픽셀 중 같은 위치에 있는 픽셀의 명도값을 비교하고(714), 명도값이 변하지 않는 픽셀을 검출할 수 있다(716). 다시 도면을 참조하면, 도 11에서 제1 식기 이미지에 표시된 점선으로 이루어진 원 내부의 픽셀(723)과 도 12에서 제2 식기 이미지에 표시된 점선으로 이루어진 원 내부의 픽셀(727)은 명도값이 동일하다. 따라서, 이미지 처리부(506)는 명도값이 변하지 않는 픽셀(723,727)을 검출할 수 있다.
한편, 도어를 개폐하는 시점에 주변의 환경이 어둡다면 도어의 개폐와 관계없이 모든 픽셀의 명도값이 변하지 않을 수 있다. 따라서, 도어가 닫힌 상태에서 조명 제어를 통해 식기 세척기의 터브 내부에 급격한 빛의 밝기 변화를 제공함으로써 명도값의 차이가 뚜렷하게 검출될 수 있다.
본 명세서의 일 실시예에서 이미지 처리부(54)는 도어의 개폐 전, 후의 식기 이미지만을 비교하는 것뿐만 아니라, 도어가 닫힌 상태에서 조명의 온, 오프제어 또는 조도 제어를 통해 획득한 추가적인 식기 이미지를 비교할 수 있다.
도 10을 참조하면, 제2 식기 이미지를 획득한 이후, 장치 제어부(502)는 조명 장치(30)에 전원을 인가하고(708), 이미지 수신부(504)는 식기 인식 카메라(20)로부터 생성된 제3 식기 이미지를 획득할 수 있다(710). 이미지 처리부(506)는 획득한 제1 식기 이미지 내지 제3 식기 이미지에 기초하여 제1 식기 이미지 내지 제3 식기 이미지 각각에 포함된 픽셀 중 같은 위치에 있는 픽셀의 명도값을 비교하고(714) 명도값이 변하지 않는 픽셀을 검출할 수 있다(716). 또한, 이상 동작 판단부(508)는 검출된 픽셀을 불량 픽셀로 판단할 수 있다(718).
다시 도면을 참조하면, 도 11에서 제1 식기 이미지에 표시된 점선으로 이루어진 원 내부의 픽셀(723), 도 12에서 제2 식기 이미지에 표시된 점선으로 이루어진 원 내부의 픽셀(727) 및 도 13에서 제3 식기 이미지에 표시된 점선으로 이루어진 원 내부의 픽셀(731)은 명도값이 동일하다. 도시된 바와 같이 주변의 다른 픽셀의 명도값이 제1 식기 이미지 내지 제3 식기 이미지에 걸쳐 변하는 동안 해당 픽셀의 명도값은 변하지 않으므로, 이미지 처리부(506)는 명도값이 변하지 않는 픽셀(723,727,731)을 검출할 수 있다.
이상 동작 판단부(508)는 검출된 명도값이 동일한 픽셀을 불량 픽셀로 분류할 수 있고, 식기 인식 카메라(20)의 이미지 센서가 손상된 것으로 판단할 수 있다. 이상 동작 처리부(510)는 식기 세척기(3)의 디스플레이에 이미지 센서 오류 메세지를 표시할 수 있고, 서버와의 무선 통신을 통해 이미지 센서의 오류코드를 전송할 수 있다. 이에 따라, 사용자가 이미지 센서의 손상을 인지하여 이미지 센서를 직접 교체하거나, 서버에 의해 요청된 수리 기사를 통해 이미지 센서가 신속하게 교체되어, 이미지 센서 손상에 따른 식기 세척기의 오작동 가능성이 줄어 들게 된다.
도 14는 본 명세서의 일 실시예에서 불량 색 필터 검출에 대한 이미지 처리와 이상 동작 판단 방법에 대한 순서도이고, 도 15 및 16은 색 필터가 정상인 상태에서 획득한 식기 이미지와 색 필터가 불량인 상태에서 획득한 식기 이미지를 나타낸 도면이다. 이하 본 명세서의 일 실시예에서 도 14 내지 도 16을 참조하여 이상 동작 판단 방법을 설명한다.
색 필터의 불량은 식기 이미지에 포함된 픽셀의 색상값에서 특정 색성분이 누락된 경우 발생할 수 있다. 도 15는 색 필터가 정상인 상태에서 획득한 기준 이미지(857)를, 도 17은 색 필터가 불량인 상태 즉, 특정 색성분이 누락된 상태에서 획득한 식기의 색필터 손상 이미지(851)를 각각 나타낸다. 도시된 바와 같이, 특정 색성분이 누락되면 색 필터를 입힌 것과 같이 해당 색성분은 식기 이미지에 나타나지 않는다. 따라서, 색성분의 이상 유무를 판단하기 위해 기준 이미지(857)가 필요하다.
구체적으로, 식기가 거치되는 상랙(11) 또는 하랙(12)의 일측에는 식별자(858a)가 포함될 수 있다. 식별자는 색성분의 이상 유무를 판단하기 위해 기준이 되는 식별 요소로써 하나의 랙에 2개 이상의 식별자가 배치될 수 있고, 각각 서로 다른 색상값을 가질 수 있다. 본 명세서의 일 실시예에서 식별자는 도 15와 같이 랙 내부에 거치되는 형태의 식별자(858a)뿐 아니라 도 16과 같이 랙의 상단에 배치되는 식별자(858b,858c,858d,858e)를 포함할 수 있다. 본 명세서의 랙은 복수의 식별자를 구비함으로써 식기 인식 카메라의 색필터가 고장인지 여부를 정확하게 판단할 수 있다.
식기 인식 카메라(20)는 식별자를 포함하는 랙의 상부를 촬영하여 식기 이미지를 생성하고 이미지 처리부(506)는 식기 인식 카메라가 정상 상태에서 생성한 식기 이미지를 기준 이미지(857)로 미리 설정할 수 있다.
도 14를 참조하면, 조명 장치(30)에 전원이 인가되면(850) 제어부(500)는 식기 인식 카메라(20)로부터 생성된 식기 이미지를 획득할 수 있다(852). 본 명세서의 일 실시예에서 획득한 식기 이미지는 도 16의 색필터 손상 이미지(851)임을 가정하여 이하 설명한다.
이후, 이미지 처리부(506)는 색필터 손상 이미지(851)에 포함된 식별자(858a)에 해당하는 부분의 픽셀의 색상값을 추출한다(854). 그리고, 이미지 처리부(506)는 식기 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값과 미리 설정된 기준 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값을 비교한다(856). 식별자에 해당하는 부분이 아닌 다른 부분의 픽셀의 색상값의 경우 거치된 식기의 재질, 색상에 따라 픽셀의 색상값이 달라지게 되므로, 항상 고정된 색상값을 갖는 식별자에 해당하는 부분의 픽셀의 색상값을 비교한다.
이상 동작 판단부(508)는 식기 이미지 포함된 식별자에 해당하는 부분의 픽셀의 색상값이 이미 생성된 기준 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값과 다른 경우 식기 인식 카메라(20)의 색필터 고장으로 판단할 수 있다(858).
이상 동작 처리부(510)는 식기 세척기(3)의 디스플레이에 색필터 오류 메세지를 표시할 수 있고, 서버와의 무선 통신을 통해 색필터 오류코드를 전송할 수 있다. 이에 따라, 사용자가 식기 인식 카메라(20)의 색필터 손상을 인지하여 식기 인식 카메라(20)를 직접 교체하거나, 서버에 의해 요청된 수리 기사를 통해 이미지 센서가 신속하게 교체되어, 이미지 센서 손상에 따른 식기 세척기의 오작동이 줄어들게 된다.
위와 같이 본 명세서의 일 실시예에 따른 식기 세척기는 식기 이미지에 기초한 이미지 처리를 통해 식기 세척기 내부에 배치된 식기 인식 카메라의 고장을 자체 검출하고, 신속한 대응을 할 수 있다.
또한 본 명세서의 일 실시예에 따른 식기 세척기는 식기 인식 카메라의 이상 동작을 다양한 방식으로 검출하여 여러 종류의 고장을 검출하고, 고장 유형에 따라 서로 다른 대응을 할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (12)

  1. 외관을 이루고 전방이 개구되는 케이스;
    상기 케이스의 개구된 전방을 밀폐시키는 도어;
    내부에 세척수가 수용되는 터브;
    상기 섬프 내부에 배치되고 식기가 수납 가능하게 형성되는 랙;
    상기 도어 내측면 및 상기 터브 내측면 중 적어도 하나에 구비되어 식기가 수납된 상기 랙의 상부를 촬영하는 식기 인식 카메라;
    식기 세척기 및 상기 식기 인식 카메라의 구동을 제어하는 제어부를 포함하고,
    상기 제어부는
    미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하고, 상기 획득한 제1 식기 이미지 및 제2 식기 이미지에 기초하여 이미지 처리를 하고, 상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는
    식기 세척기.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제1 식기 이미지 및 상기 제2 식기 이미지 각각에 포함된 픽셀로부터 정적 픽셀을 분류하고,
    상기 정적 픽셀에 기초하여 오염 영역을 분류하고, 상기 오염 영역에 포함된 정적 픽셀의 수가 미리 설정된 기준 픽셀의 수를 초과하면 상기 식기 인식 카메라의 렌즈 손상 또는 패널 오염으로 판단하는
    식기 세척기.
  3. 제2항에 있어서,
    상기 제어부는,
    복수의 단계가 반복적으로 수행되는 행정의 첫번째 행정인 제1 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제1 식기 이미지를 획득하고,
    복수의 단계가 반복적으로 수행되는 행정의 두번째 행정인 제2 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제2 식기 이미지를 획득하는
    식기 세척기.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 제1 식기 이미지에 포함된 픽셀 각각의 명도값과 상기 제2 식기 이미지 각각에 포함된 픽셀 각각의 명도값을 비교하여 명도값이 일치하는 경우 상기 식기 인식 카메라의 이미지 센서가 손상된 것으로 판단하는
    식기 세척기.
  5. 제4항에 있어서,
    상기 제어부는,
    조명 장치의 온, 오프 제어 동작 또는 조도 제어 동작을 통해 제1 식기 이미지 또는 제2 식기 이미지를 획득하는
    식기 세척기.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 제1 식기 이미지 또는 제2 식기 이미지 각각에 포함된 식별자에 해당하는 부분의 픽셀의 색상값이 미리 설정된 기준 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값과 다른 경우 상기 식기 인식 카메라의 색필터 고장으로 판단하는
    식기 세척기.
  7. 미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하는 단계;
    상기 획득한 제1 식기 이미지 및 제2 식기 이미지에 기초하여 이미지 처리를 하는 단계;
    상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계를 포함하는
    식기 세척기의 카메라 고장 검출 방법.
  8. 제7항에 있어서,
    상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계는
    상기 제1 식기 이미지 및 상기 제2 식기 이미지 각각에 포함된 픽셀로부터 정적 픽셀을 분류하는 단계;
    상기 정적 픽셀에 기초하여 오염 영역을 분류하는 단계; 및
    상기 오염 영역에 포함된 정적 픽셀의 수가 미리 설정된 기준 픽셀의 수를 초과하면 상기 식기 인식 카메라의 렌즈 손상 또는 패널 오염으로 판단하는 단계를 포함하는
    식기 세척기의 카메라 고장 검출 방법.
  9. 제8항에 있어서,
    미리 설정된 동작 타이밍에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하는 단계는
    복수의 단계가 반복적으로 수행되는 행정의 첫번째 행정인 제1 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제1 식기 이미지를 획득하고,
    복수의 단계가 반복적으로 수행되는 행정의 두번째 행정인 제2 행정에서 세척수가 분사되지 않는 비세척 단계가 종료되면 제2 식기 이미지를 획득하는 단계를 포함하는
    식기 세척기의 카메라 고장 검출 방법.
  10. 제7항에 있어서,
    상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계는
    상기 제1 식기 이미지에 포함된 픽셀 각각의 명도값과 상기 제2 식기 이미지 각각에 포함된 픽셀 각각의 명도값을 비교하여 명도값이 일치하는 경우 상기 식기 인식 카메라의 이미지 센서가 손상된 것으로 판단하는 단계를 포함하는
    식기 세척기의 카메라 고장 검출 방법.
  11. 제10항에 있어서,
    미리 설정된 동작에 따라 식기 인식 카메라로부터 서로 다른 시간에 촬영된 제1 식기 이미지 및 제2 식기 이미지를 획득하는 단계는
    조명 장치의 온, 오프 제어 동작 또는 조도 제어 동작을 통해 제1 식기 이미지 또는 제2 식기 이미지를 획득하는 단계를 포함하는
    식기 세척기의 카메라 고장 검출 방법.
  12. 제7항에 있어서,
    상기 이미지 처리 결과에 따라 상기 식기 인식 카메라의 동작 이상을 판단하는 단계는
    상기 제1 식기 이미지 또는 제2 식기 이미지 각각에 포함된 식별자에 해당하는 부분의 픽셀의 색상값이 미리 설정된 기준 이미지에 포함된 식별자에 해당하는 부분의 픽셀의 색상값과 다른 경우 상기 식기 인식 카메라의 색필터 고장으로 판단하는 단계를 포함하는
    식기 세척기의 카메라 고장 검출 방법.
KR1020200127220A 2020-09-29 2020-09-29 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법 KR20220043611A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200127220A KR20220043611A (ko) 2020-09-29 2020-09-29 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
EP21199727.5A EP3973843A1 (en) 2020-09-29 2021-09-29 Dishwasher and method for detecting camera failure by dishwasher
US17/488,569 US20220095884A1 (en) 2020-09-29 2021-09-29 Dishwasher and method for detecting camera failure by dishwasher

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200127220A KR20220043611A (ko) 2020-09-29 2020-09-29 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법

Publications (1)

Publication Number Publication Date
KR20220043611A true KR20220043611A (ko) 2022-04-05

Family

ID=78332434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200127220A KR20220043611A (ko) 2020-09-29 2020-09-29 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법

Country Status (3)

Country Link
US (1) US20220095884A1 (ko)
EP (1) EP3973843A1 (ko)
KR (1) KR20220043611A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11566902B2 (en) 2017-08-03 2023-01-31 Idealab Localization of autonomous vehicles via ground image recognition

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7388609B2 (en) * 2003-07-07 2008-06-17 Zoran Corporation Dynamic identification and correction of defective pixels
US8391585B2 (en) * 2006-12-28 2013-03-05 Sharp Kabushiki Kaisha Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
CN100573315C (zh) * 2007-04-04 2009-12-23 鸿富锦精密工业（深圳）有限公司 相机模块污点测试系统及方法
US20080247745A1 (en) * 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
US8000520B2 (en) * 2007-11-28 2011-08-16 Omnivision Technologies, Inc. Apparatus and method for testing image sensor wafers to identify pixel defects
US8154632B2 (en) * 2009-08-24 2012-04-10 Lifesize Communications, Inc. Detection of defective pixels in an image sensor
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
JP5751760B2 (ja) * 2010-04-02 2015-07-22 キヤノン株式会社 原稿読取装置
US8696827B2 (en) * 2010-12-01 2014-04-15 Whirlpool Corporation Dishwasher with imaging device for measuring load characteristics and a method for controlling same
US9253375B2 (en) * 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
DE102013223932A1 (de) * 2013-11-22 2015-05-28 BSH Hausgeräte GmbH Verfahren zur Fernüberwachung des Betriebs eines Haushaltsgeräts, tragbares Kommunikationsendgerät und Computerprogrammprodukt
EP2899692B1 (en) * 2014-01-28 2019-09-04 Honda Research Institute Europe GmbH Method, system, imaging device, movable device and program product for detecting static elements in video and image sources
WO2016004422A1 (en) * 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
DE102015102694A1 (de) * 2015-02-25 2016-08-25 Miele & Cie. Kg Verfahren zur Ermittlung der Drehzahl eines Sprüharms einer Geschirrspülmaschine
KR102321110B1 (ko) * 2015-04-17 2021-11-03 엘지전자 주식회사 촬영 장치 및 촬영 장치의 제어 방법
US9854188B2 (en) * 2015-12-16 2017-12-26 Google Llc Calibration of defective image sensor elements
JP6889899B2 (ja) * 2016-08-22 2021-06-18 株式会社ニイタカ 食器洗浄機及び洗浄状態の評価方法
JP2018102899A (ja) * 2016-09-01 2018-07-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機
IT201700078567A1 (it) * 2017-07-13 2019-01-13 Candy Spa Metodo per valutare automaticamente lo spostamento di un oggetto all’interno di una zona di lavaggio di una macchina lavastoviglie.
DE102017212313A1 (de) * 2017-07-19 2019-01-24 BSH Hausgeräte GmbH Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine
EP3434168B1 (en) * 2017-07-27 2022-12-28 Vestel Elektronik Sanayi ve Ticaret A.S. Dishwasher, method of operating a dishwasher, and computer program
US10809685B2 (en) * 2019-03-18 2020-10-20 Midea Group Co., Ltd. Dishwasher with cloud connected cameras
KR20190099157A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 인공지능 장치를 이용한 식기 세척 방법 및 이를 위한 장치
US11202550B2 (en) * 2019-11-20 2021-12-21 Midea Group Co., Ltd. Dishwasher thermal imaging system

Also Published As

Publication number Publication date
US20220095884A1 (en) 2022-03-31
EP3973843A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
WO2022062812A1 (zh) 屏幕缺陷检测方法、装置和电子设备
US20050074140A1 (en) Sensor and imaging system
CN110044910B (zh) 一种汽车置杯盒零部件检测系统及检测方法
WO2022170702A1 (zh) 模具的状态监测方法、装置、工控机、存储介质及系统
WO2007141858A1 (ja) 汚れ検出方式
CN112730251B (zh) 一种用于屏幕颜色缺陷检测的装置及方法
KR20220043611A (ko) 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
CN111064870A (zh) 视觉机器人的镜头清洁方法、控制装置及存储介质
US20150077541A1 (en) Method and apparatus for inspecting appearance of object
CN109584219B (zh) 一种摄像装置脏污的检测方法及烹饪设备
CN114445330A (zh) 一种元器件外观缺陷的检测方法及系统
CN104463827A (zh) 一种图像采集模块的自动检测方法及相应的电子设备
JP5207057B2 (ja) 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
US9335275B2 (en) Device and method for identifying anomalies on instruments
CN114674830A (zh) 一种高速生产线上瓶盖瑕疵检测模组
CN111364206A (zh) 一种洗衣机及控制方法
US8654217B2 (en) Device and method for detecting dust on an image sensor
CN109410229A (zh) 多目标透镜位置以及凹凸面识别的方法
KR20220134019A (ko) 반사하는 객체를 이미징하는 시스템 및 방법
CN112804449A (zh) 摄像头图像采集模式的确定方法、电子设备及存储介质
CN114486902A (zh) 质量检测系统和方法
Arsalan et al. Low-cost machine vision system for dimension measurement of fast moving conveyor products
CN111380873A (zh) 一种针对扫地机器人镜头的污物检测方法及装置、设备、介质
Shreya et al. Design of machine vision system for high speed manufacturing environments
TWI655412B (zh) 發光源檢測系統與方法

Legal Events

Date Code Title Description
A201 Request for examination