KR20230140760A - 주방 비전 센싱 장치 및 그 시스템 - Google Patents

Abstract

주방 비전 센싱 장치(100)가 제공된다. 상기 주방 비전 센싱 장치(100)는 주방 내 배치되는 인덕션레인지(200)를 촬영하도록 구성되는 촬영 모듈(10); 및 상기 촬영 모듈(10)에 의해 촬영된 영상으로부터 객체를 검출하도록 구성되는 검출 모듈(20)을 포함할 수 있다.

Description

주방 비전 센싱 장치 및 그 시스템{A KITCHEN VISION SENSING APPARATUS AND A SYSTEM COMPRISING THE SAME}

본 발명은 주방 비전 센싱 장치에 관한 발명으로서, 보다 구체적으로 시각장애인이 주방에서 안전하게 요리를 할 수 있도록 비전 센싱을 활용하여 인덕션레인지의 화구 정위치 알림 및 사용자 손 위치 알림을 시각장애인에게 제공할 수 있는 주방 비전 센싱 장치 및 그 시스템에 관한 발명이다.

2020년 보건복지부 장애인 실태조사보고서에 따르면 지난 10년 동안 장애인 1인 가구의 비중이 해마다 증가하여 2020년에는 총 71만 3천명의 장애인 1인 가구가 존재하는 것으로 파악되고 있다.

특히, 시각 장애는 시각 감각의 상실 또는 손상으로 인하여 일상생활에서 받아들이는 정보의 80-90%를 처리할 수 없고, 그에 따라 다양한 어려움과 경험의 제한 때문에 다른 장애 영역보다도 더욱 심각한 장애 범주에 속하게 된다. 일반적인 가전제품은 시각장애인들의 사용을 전혀 고려하지 않고 설계되어 시각장애인에게 사용의 불편함과 위험을 초래하는 경우가 매우 빈번하다.

주방의 요리 설비도 마찬가지인데, 최근 주목받고 있는 인덕션레인지(induction range)도 터치식 인터페이스로 구현되거나 물리적 지표가 없이 매끈한 판 형태로 이루어지기 때문에 시각장애인의 활용이 더욱 어려운 실정이다. 시각장애인들을 대상으로 하여 수행된 실제 조사 결과, 화상과 화재 등의 사고 위험으로 인한 두려움, 고온 물체의 정확한 위치 파악의 어려움, 시각장애인의 사용을 고려한 조리기기의 부재 등으로 인해, 많은 시각장애인이 요리에 어려움을 느끼고 있음을 확인할 수 있다.

이에, 시각장애인이 식사 준비를 보다 안전하고 편리하게 수행할 수 있도록 도와주고, 궁극적으로는 성공적인 자립 생활을 지원하기 위해 시각장애인의 화구 사용을 보조할 수 있는 주방 비전 센싱 장치 및 이를 포함하는 주방 비전 센싱 시스템에 대한 필요가 많은 시각장애인들 사이에서 증가하고 있는 상황이다.

본 발명은 상기의 문제점들을 해결하고자 안출된 것으로서, 본 발명은 시각장애인에게 인덕션레인지의 화구 사용에 대한 청각 피드백을 제공함으로써 시각장애인의 요리 안정성을 개선할 수 있는 주방 비전 센싱 장치 및 그 시스템을 제안하는 것을 목적으로 한다.

또한, 본 발명은 시각장애인에게 조리도구에 대한 사용자 손의 상대적 위치 정보를 제공함으로써 시각장애인이 요리 재료를 조리도구 내부에 보다 안정적으로 추가할 수 있도록 하고, 그에 따라 보다 양질의 요리 음식을 만들 수 있도록 하는 주방 비전 센싱 장치 및 그 시스템을 제안하는 것을 목적으로 한다.

또한, 본 발명은 저시력자에게 인덕션레인지의 화구 사용에 대한 조명 피드백을 제공함으로써 저시력자의 요리 안정성을 개선할 수 있는 주방 비전 센싱 장치 및 그 시스템을 제안하는 것을 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 주방 비전 센싱 장치는, 주방 내 배치되는 인덕션레인지를 촬영하도록 구성되는 촬영 모듈; 및 상기 촬영 모듈에 의해 촬영된 영상으로부터 객체를 검출하도록 구성되는 검출 모듈을 포함할 수 있다.

또한, 상기 검출 모듈은, 상기 촬영된 영상으로부터 상기 인덕션레인지에 구비된 적어도 하나의 화구를 검출하도록 구성되는 화구 검출 모듈을 포함할 수 있다.

또한, 상기 검출 모듈은, 상기 촬영된 영상으로부터 조리도구를 검출하도록 구성되는 조리도구 검출 모듈을 더 포함할 수 있다.

또한, 상기 주방 비전 센싱 장치는, 상기 화구 검출 모듈에 의해 검출되는 상기 화구의 중심점 및 상기 조리도구 검출 모듈에 의해 검출되는 상기 조리도구의 중심점에 기초하여, 사용자가 상기 화구의 중심점을 향해 상기 조리도구의 중심점을 이동시키도록 유도하기 위한 알림을 출력하도록 구성되는 알림 모듈을 더 포함할 수 있다.

또한, 상기 알림 모듈에 의해 출력되는 알림은, 좌측이동알림, 우측이동알림, 상측이동알림 및 하측이동알림 중 어느 하나로 구현될 수 있다.

또한, 상기 검출 모듈은, 상기 촬영된 영상으로부터 사용자 손을 검출하도록 구성되는 손 검출 모듈을 더 포함할 수 있다.

또한, 상기 알림 모듈은, 상기 손 검출 모듈에 의해 검출되는 사용자 손의 중심점과 상기 조리도구의 중심점 사이의 거리에 따른 소정의 알림을 출력하도록 추가로 구성될 수 있다.

또한, 상기 알림 모듈은, 상기 손 검출 모듈에 의해 검출되는 사용자 손의 중심점과 상기 조리도구의 중심점 사이의 거리가 상기 조리도구의 반지름의 0.6배 이상 1.2배 미만이면 제1 멜로디를 출력하고, 상기 손 검출 모듈에 의해 검출되는 사용자 손의 중심점과 상기 조리도구의 중심점 사이의 거리가 상기 조리도구의 반지름의 0.6배 미만이면 제2 멜로디를 출력하도록 추가로 구성될 수 있다.

또한, 상기 제1 멜로디는 상기 제2 멜로디보다 더 긴 멜로디일 수 있다.

또한, 상기 손 검출 모듈은 상기 검출된 사용자 손 주변에 바운딩 박스를 표시하는 방식으로 라벨링하도록 추가로 구성될 수 있다.

또한, 상기의 기술적 과제를 해결하기 위한 본 발명의 추가 실시예에 따른 주방 비전 센싱 시스템은, 상기 주방 비전 센싱 장치; 및 상기 주방 비전 센싱 장치가 센싱을 수행하고 적어도 하나의 화구를 구비하는 인덕션레인지를 포함할 수 있다.

본 발명의 일 실시예에 따른 주방 비전 센싱 장치 및 그 시스템에 의하면, 시각장애인에게 인덕션레인지의 화구 사용에 대한 청각 피드백을 제공함으로써 시각장애인의 요리 안정성을 개선할 수 있다.

또한, 본 발명의 일 실시예에 따른 주방 비전 센싱 장치 및 그 시스템에 의하면, 시각장애인에게 조리도구에 대한 사용자 손의 상대적 위치 정보를 제공함으로써 시각장애인이 요리 재료를 조리도구 내부에 보다 안정적으로 추가할 수 있도록 하고, 그에 따라 보다 시각장애인이 보다 양질의 요리 음식을 만들 수 있도록 한다.

또한, 본 발명의 일 실시예에 따른 주방 비전 센싱 장치 및 그 시스템에 의하면, 저시력자에게 인덕션레인지의 화구 사용에 대한 조명 피드백을 제공함으로써 저시력자의 요리 안정성을 개선할 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1a는 본 발명의 일 실시예에 따른 주방 비전 센싱 시스템(1000)의 개략도이고, 도 1b는 본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)의 개략도이다.
도 2a는 본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)의 개략적인 블록도이고, 도 2b는 도 2a의 검출 모듈(20)에 대한 세부 블록도이며, 도 2c는 도 2a의 알림 모듈(30)에 대한 세부 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 화구 검출을 설명하기 위한 개념도이고, 도 3b는 화구 검출의 과정(S30)을 설명하기 위한 순서도이다.
도 4a는 본 발명의 일 실시예에 따른 조리도구 검출 및 화구 정위치 알림을 설명하기 위한 개념도이고, 도 4b는 조리도구 검출 및 화구 정위치 알림의 과정(S40)을 설명하기 위한 순서도이다.
도 5a는 본 발명의 일 실시예에 따른 사용자 손 검출을 설명하기 위한 개념도이고, 도 5b는 사용자 손 검출의 과정(S50)을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 조명 알림을 설명하기 위한 개념도이다.
도 7a는 본 발명의 일 실시예에 따른 보조조리도구의 이동 알림을 설명하기 위한 순서도(S70)이고, 도 7b는 보조조리도구의 이동 알림에 기준이 되는 팬 분할 영역의 예시도이다.

이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.

도 1a는 본 발명의 일 실시예에 따른 주방 비전 센싱 시스템(1000)의 개략도이고, 도 1b는 본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)의 개략도이다.

도 1에 도시되는 바와 같이, 본 발명의 일 실시예에 따른 주방 비전 센싱 시스템(1000)은 주방 비전 센싱 장치(100)와, 인덕션레인지(200), 조리도구(300) 등을 포함할 수 있다.

본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)는 주방의 적어도 일부 영역에 배치될 수 있고, 예를 들어 인덕션레인지(200)의 전체 영역을 촬영할 수 있는 적절한 높이(예를 들어, 60cm 등)로 인덕션레인지(200)의 상부에 배치될 수 있으며, 도 1에서는 주방 비전 센싱 장치(100)가 인덕션레인지(200)의 상부에 구비된 환기 시설에 설치된 구성을 예시적으로 도시하고 있으나 본 발명은 이에 한정되지 않고, 주방 비전 센싱 장치(100)가 환기 시설에 매립 설치될 수도 있고, 주방 비전 센싱 장치(100)가 주방 환기 시설 이외의 다른 영역에, 예를 들어 주방의 천장에 설치될 수도 있거나, 또는 추가로 마련한 보조 구조물에 주방 비전 센싱 장치(100)가 설치될 수도 있다.

또한, 도 1에서는 인덕션레인지(200)가 상하로 나란히 배치된 2개의 화구(210)를 구비한 구성을 도시하고 있으나 이는 본 발명의 용이한 이해를 위한 예에 불과하고, 따라서 단일의 화구(210)를 갖는 인덕션레인지(200), 3개 이상의 화구(210)를 갖는 인덕션레인지(200)에 대해서도 본 발명의 일 실시예에 따른 주방 비전 센싱 기반의 화구 정위치 알림 및 손 위치 알림이 동일하게 적용될 수 있음은 명백할 것이다.

또한, 본 발명에 따른 주방 비전 센싱 장치(100)는 도 1b에 도시되는 바와 같이 패키징 형태로 제작될 수 있고, 예를 들어 제품 패키징은 촬영 모듈(10)이 삽입되는 케이스와, 케이스가 거치되는 거치대로 구성될 수 있으며, 이렇게 패키징 형태로 제작되는 주방 비전 센싱 장치(100)가 주방의 일 영역에서 인덕션레인지(200)의 방향을 향해 설치될 수 있다.

또한, 도 1b에서는 명시적으로 도시되지 않으나, 검출 모듈(20, 도 2 참조), 알림 모듈(30, 도 2 참조) 및 제어 모듈(40, 도 2 참조)의 동작을 위한 명령이 칩(chip), PCB 등의 형태로 프로그래밍되어 주방 비전 센싱 장치(100)의 내부에 일체로 임베디드될 수 있거나, 또는 검출 모듈(20), 알림 모듈(30) 및 제어 모듈(40)이 촬영 모듈(10)과 무선 통신 가능하게 결합되어 촬영 모듈(10)과는 이격된 공간에서 별도의 장치로서 검출 및 제어 동작을 구현하도록 구성될 수도 있다.

또한, 사용자에게 음성 및/또는 조명의 알림을 제공하기 위한 알림 모듈(30)이 주방 비전 센싱 장치(100)의 적어도 일부 영역에 추가로 구비될 수 있고, 음성 모듈(31, 도 2 참조)의 경우 촬영 모듈(10)과 무선 통신 가능하게 결합되어 촬영 모듈(10)과는 이격된 영역에서 별도의 장치로서 음성 출력의 동작을 구현하도록 구성될 수도 있다.

도 2a는 본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)의 개략적인 블록도이다. 도 2a에 도시되는 바와 같이, 본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)는 촬영 모듈(10), 검출 모듈(20), 알림 모듈(30), 제어 모듈(40) 등으로 구성될 수 있다. 참고로, 도 2a에 도시되는 주방 비전 센싱 장치(100)의 구성요소들(10, 20, 30, 40)은 주방 비전 센싱 장치(100)의 동작, 기능 등을 설명하기 위한 예시적인 구성요소들에 불과하고, 따라서 본 발명의 일 실시예에 따른 주방 비전 센싱 장치(100)가 도시된 구성요소들(10, 20, 30, 40) 이외의 다른 구성요소(예를 들어, 전원 모듈, 통신 모듈, 충전 모듈 등)를 추가로 포함할 수 있음은 명백하다.

촬영 모듈(10)은 주방 내 배치되는 인덕션레인지(200)를 촬영할 수 있다. 촬영 모듈(10)은 촬영 수단으로서 카메라 등을 포함할 수 있고, 도 1a에 예시되는 바와 같이 인덕션레인지(200)의 전체 영역을 촬영할 수 있도록 인덕션레인지(200)의 상부에 적절한 높이로 고정 설치될 수 있다.

또는, 본 발명의 다른 실시예에 따른 촬영 모듈(10)은 인덕션레인지(200)에 구비된 복수의 화구(210)를 각각 촬영하도록 구성될 수 있고, 이를 위해 제어 모듈(40)은 사용자가 현재 사용하고 있는 화구(210)를 식별하여 식별된 화구(210)의 방향으로 촬영 모듈(10)을 이동시키도록 제어할 수 있으며, 촬영 모듈(10)의 가변 이동을 위해 소정의 이동 수단(예를 들어, 레일 등)이 주방 비전 센싱 장치(100)의 설치 영역에 추가로 구비될 수 있다. 복수의 화구(210)가 구비된 인덕션레인지(200)의 환경에서 촬영 모듈(10)이 각각의 화구(210)에 대해 촬영을 수행함으로써, 화구(210)에 대한 영상 분석 및 객체 검출의 정확도가 보다 개선될 수 있다.

또한, 본 발명의 추가 실시예에 따르면, 제어 모듈(40)은 사용자가 인덕션레인지(200)를 사용하는지 여부를 판단하여 인덕션레인지(200)를 사용하는 경우에만 촬영 모듈(10)이 선택적으로 온(ON)되도록 제어할 수 있으며, 이를 위해 제어 모듈(40)은 인덕션레인지(200)의 전원 상태를 모니터링하도록 추가로 구성될 수 있다. 그에 따라, 인덕션레인지(200)의 사용 여부와 무관하게 항상 촬영 모듈(10)을 활성화시킴에 따른 전력 낭비 문제 및 영상 처리 문제를 효율적으로 해결할 수 있다.

이와 관련하여, 본 발명의 추가 실시예에 따르면 인덕션레인지(200)가 현재 사용되는 것으로 판단되어 촬영 모듈(10)이 활성화된 경우에도 미리 정의된 사용자 제스처에 따라 촬영 모듈(10)의 전원이 선택적으로 온 또는 오프되도록 구성될 수 있다. 예를 들어, 시각장애인 스스로가 더 이상 위험 요소가 없이 안정적으로 요리를 수행하고 있어 화구 정위치 알림 및/또는 손 위치 알림의 제공이 필요하지 않다고 판단하는 경우, 미리 정의된 사용자 제스처(예를 들어, 손가락 2개로 'V'자를 형성하는 제스처 등)를 취함으로써 촬영 모듈(10)을 비활성화할 수도 있다.

또한, 도 1에는 명시적으로 도시되지 않으나, 본 발명의 추가 실시예에 따르면 주방 비전 센싱 장치(100)의 설치 영역에 소형 팬이 구비된 에어 커튼(air curtain)이 추가로 형성될 수 있고, 그에 따라 요리로 인해 만들어지는 기름때 등이 카메라에 부착됨으로써 카메라 기능 및 동작을 저해시키는 문제를 효과적으로 방지할 수 있다.

검출 모듈(20)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 객체를 검출하도록 구성될 수 있다. 검출 모듈(20)에 의해 검출되는 객체(object)는 주방에서 사용자가 요리를 함에 있어 촬영될 수 있는 임의의 객체를 포함할 수 있고, 이하의 본 명세서에서는 검출 모듈(20)에 의해 검출되는 객체로서 화구(210), 조리도구(300) 및 사용자 손을 대표하여 기술하기로 한다.

참고로, 본 발명의 일 실시예에 따른 검출 모듈(20)은 인간의 인지 과정을 모방하여 데이터를 학습하는 딥러닝 기반의 객체 검출 기법을 활용하는 것을 특징으로 하는데, 특히 입력 영상에서 한 번에 객체의 위치와 카테고리를 동시에 추정할 수 있어 실시간 객체 검출 및 요리의 실시간 상황 알림에 보다 적합한 YOLO(You Only Look Once) v5가 검출 모듈(20)에서 수행되는 객체 검출 기법으로서 활용될 수 있다. 추가로, 검출 모듈(20)은 객체 검출의 속도 향상을 위해 파이썬(Python) 프로그래밍 언어를 더 활용할 수 있다.

본 발명의 일 실시예에 따른 검출 모듈(20)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 화구(210), 조리도구(300), 사용자 손의 객체를 검출할 수 있는데, 이를 위해 도 2b에 도시되는 바와 같이 검출 모듈(20)은 화구 검출 모듈(21)과, 조리도구 검출 모듈(22)과, 손 검출 모듈(23) 등으로 구성될 수 있다.

화구 검출 모듈(21)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 인덕션레인지(200)에 구비된 적어도 하나의 화구(210)를 검출하도록 구성될 수 있다. 인덕션레인지(200)에 구비된 화구(210)가 보통 원형의 형상을 갖는 것을 고려하여, 본 발명의 일 실시예에 따른 화구 검출 모듈(21)은 공개 소스 컴퓨터 비전(OpenCV)의 HoughCircle 함수를 활용하여 화구(210)를 검출하도록 구성될 수 있다. 여기서, 촬영 모듈(10)의 작동 과부하를 방지하기 위해서, 촬영 영상으로부터 원을 검출하는 루프에 소정의 지연(예를 들어, 0.001초)이 적용될 수 있다.

보다 구체적으로, 화구 검출 모듈(21)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 HoughCircle 함수를 활용하여 화구(210)가 갖는 원을 인식하고, 인식된 원(즉, 화구(210)의 원)의 중심점과 반지름을 검출할 수 있다. 다음으로, 화구 검출 모듈(21)은 검출된 화구(210)의 중심점을 기준으로 좌우 방향(즉, x 방향)과 상하 방향(즉, y 방향) 각각 15px 만큼 오프셋을 적용하면서 화구(210)의 근처 영역을 9개 영역으로 분할할 수 있다. 이와 같은 화구(210)의 위치 파악 및 저장은 최초 1회의 세팅 시에만 수행되고 이후에는 반복되지 않으나, 예를 들어 주방 비전 센싱 장치(100)의 재설치 또는 이전 설치로 인해 촬영 모듈(10)의 위치가 변경되는 경우에는 화구(210)의 위치 파악 및 저장이 다시 수행될 수도 있다.

화구 검출 모듈(21)에 의해서 인덕션레인지(200)의 화구(210)가 검출되는 세부적인 과정과 단계에 대해서는 이하의 도 3에서 보다 상세하게 기술하기로 한다.

조리도구 검출 모듈(22)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 조리도구(300)를 검출할 수 있다. 팬, 냄비 등의 조리도구(300)가 보통 원형의 형상을 갖는 것을 고려하여, 본 발명의 일 실시예에 따른 조리도구 검출 모듈(22)은 공개 소스 컴퓨터 비전(OpenCV)의 HoughCircle 함수를 활용하여 조리도구(300)를 검출하도록 구성될 수 있으나, 본 발명의 추가 실시예에 따른 조리도구 검출 모듈(22)은 원형 이외의 형상을 갖는 조리도구(300)를 검출하도록 추가로 구성될 수 있다. 참고로, 이하의 본 명세서에서는 화구(210)와 직접 접촉하여 화구(210)로부터 열을 전달받아 사용자의 요리를 가능하게 하는 조리도구(300)로서 팬(pan)을 대표하여 기술하기로 한다.

본 발명의 일 실시예에 따르면, 조리도구 검출 모듈(22)은 화구 검출 모듈(21)에 의해 검출된 화구(210)보다 더 큰 반지름을 갖는 원을 팬으로 식별하여 검출할 수 있다. 인덕션레인지(200)의 화구(210)에서 출력되는 열이 팬에 충분히 전달될 수 있도록, 소비자 시장에 판매되고 있는 팬의 크기는 화구(210)의 크기보다 더 큰 것이 일반적이다. 따라서, 화구(210)보다 더 큰 반지름을 갖는 원을 팬으로 검출함으로써, 팬의 검출을 보다 용이하게 수행할 수 있다.

추가적으로 또는 대안적으로, 본 발명의 다른 실시예에 따른 조리도구 검출 모듈(22)은 화구 검출 모듈(21)에 의해 검출된 화구(210)의 위치에 대응하지 않는 원 또는 원 이외의 테두리를 팬으로 식별하여 검출할 수도 있다. 즉, 화구 검출 모듈(21)에 의해 검출된 화구(210)의 중심점과 일치하지 않는 중심점을 갖는 다른 원이 검출되는 경우, 해당 원을 팬으로 인식함으로써 화구(210)의 반지름보다 더 작은 팬을 정확하게 식별하는 것이 가능하다.

조리도구 검출 모듈(22)에 의해 조리도구(300), 예를 들어 팬의 위치가 검출되면, 본 발명의 일 실시예에 따른 제어 모듈(40)은 사용자가 팬을 화구(210)의 정위치로 이동시키도록 유도하는 소정의 알림을 출력하도록 알림 모듈(30)을 제어할 수 있다. 조리도구 검출 모듈(22)에 의해서 조리도구(300)의 중심점, 반지름 등이 검출되고, 그에 기초하여 제어 모듈(40)에 의해 알림 모듈(30)이 알림을 출력하는 세부적인 과정과 단계에 대해서는 이하의 도 4에서 보다 상세하게 기술하기로 한다.

손 검출 모듈(23)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 사용자 손을 검출할 수 있다. 참고로, 화구(210)의 공간 속에서 촬영될 수 있는 다양한 손의 모양, 손과 유사한 색상의 조리도구, 음식 재료 등이 포함된 조리 과정의 이미지가 수집되어 손 검출 모듈(23)의 YOLO 딥러닝에 활용되고, 촬영 영상에서 사용자 손 주변에 바운딩 박스(bounding box)를 표시하는 방식으로 라벨링이 수행될 수 있다.

손 검출 모듈(23)을 통해 조리도구(300)의 중심점에 대한 사용자 손의 상대적 위치가 검출될 수 있고, 여기서 사용자 손의 상대적 위치는 예를 들어 “가장자리”와 “중앙”을 포함할 수 있으며, 검출된 사용자 손의 상대적 위치에 따라 제어 모듈(40)은 알림 모듈(30)이 소정의 알림(또는 멜로디)이 출력되도록 제어할 수 있다. 손 검출 모듈(23)에 의해서 사용자 손 및 그 중심점이 검출되고, 그에 기초하여 제어 모듈(40)에 의해 알림 모듈(30)이 소정의 알림을 출력하는 세부적인 과정과 단계에 대해서는 이하의 도 5에서 보다 상세하게 기술하기로 한다.

알림 모듈(30)은 화구 검출 모듈(21)에 의해 검출된 화구(210)의 중심점, 조리도구 검출 모듈(22)에 의해 검출된 조리도구(300)의 중심점, 손 검출 모듈(23)에 의해 검출된 사용자 손의 중심점 등에 기초하여 소정의 알림을 출력하도록 구성될 수 있다.

보다 구체적으로, 도 2c에 도시되는 바와 같이 본 발명의 일 실시예에 따른 알림 모듈(30)은 음성 모듈(31)과 조명 모듈(32)을 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 음성 모듈(31)은 검출된 화구(210)의 중심점과 검출된 조리도구(300)의 중심점에 기초하여 사용자가 화구(210)의 중심점을 향해 조리도구(300)의 중심점을 이동시키도록 유도하기 위한 음성 알림을 출력하도록 구성될 수 있다. 예를 들어, 이 음성 알림은 좌측이동음성알림, 우측이동음성알림, 상측이동음성알림, 하측이동음성알림 등을 포함할 수 있다.

추가로, 본 발명의 일 실시예에 따른 음성 모듈(31)은 검출된 조리도구(300)의 중심점과 검출된 사용자 손의 중심점에 기초하여, 조리도구(300)에 대한 사용자 손의 상대적 위치에 따른 음성 알림(또는 멜로디)을 출력하도록 구성될 수 있다.

또한, 본 발명의 일 실시예에 따른 조명 모듈(32)은 검출된 화구(210)의 중심점과 검출된 조리도구(300)의 중심점에 기초하여 사용자가 화구(210)의 중심점을 향해 조리도구(300)의 중심점을 이동시키도록 유도하기 위한 조명 알림을 출력하도록 구성될 수 있다. 예를 들어, 이 조명 알림은 좌측이동조명알림, 우측이동조명알림, 상측이동조명알림, 하측이동조명알림 등을 포함할 수 있고, 조명 모듈(32)에 의해 조리도구(300)의 중심영역을 향해 조명이 고정 출력되도록 구성될 수 있으며, 이러한 조명 모듈(32)에 의해 조명 유도 인터페이스는 저시력자에게 보다 유용할 수 있다. 조명 모듈(32)에 의한 화구 정위치 알림에 대해서는 이하의 도 6에서 보다 상세하게 기술하기로 한다.

참고로, 도 2c에서는 사용자에게 화구 정위치 알림 및/또는 손 위치 알림을 제공하기 위한 수단으로서 음성을 출력하는 음성 모듈(31)과, 조명을 출력하는 조명 모듈(32)을 도시하고 있으나, 본 발명의 추가 실시예에 따르면 진동 등의 타입으로 사용자에게 촉각적인 피드백을 제공하도록 구성되는 햅틱(haptic) 모듈(미도시)이 알림 모듈(30)에 더 포함될 수 있으며, 예를 들어 햅틱 모듈은 주방 비전 센싱 장치(100)와 무선으로 통신 가능하도록 구성되어 알림 모듈(30)로부터 햅틱 알림을 수신할 수 있는 웨어러블 디바이스(wearable device)로 구현될 수 있다.

제어 모듈(40)은 주방 비전 센싱 장치(100)의 전체적인 동작, 기능 등을 총괄하여 제어할 수 있고, 이를 위해 제어 모듈(40)은 촬영 모듈(10), 검출 모듈(20), 알림 모듈(30)의 동작, 기능 등을 제어하도록 구성될 수 있다. 제어 모듈(40)은 프로세서(processor), 컨트롤러(controller), 마이크로-프로세서(micro-processor), 마이크로-컨트롤러(micro controller) 등으로 구현될 수 있다. 즉, 제어 모듈(40)은 응용 프로그램의 구동을 위하여, 주방 비전 센싱 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 작동시킬 수 있다.

또한, 도 2a에는 명시적으로 도시되지 않으나, 본 발명의 추가 실시예에 따른 주방 비전 센싱 장치(100)는 저장 모듈(미도시)을 더 포함할 수 있고, 저장 모듈에는 촬영 모듈(10)에 의해 촬영된 영상 데이터, 화구 검출 모듈(21)에 의해 검출된 화구(210)의 이미지, 중심점, 반지름 등의 데이터, 조리도구 검출 모듈(22)에 의해 검출된 조리도구(300)의 이미지, 중심점, 반지름 등의 데이터, 손 검출 모듈(23)에 의해 검출된 사용자 손의 이미지, 중심점 등의 데이터, 알림 모듈(30)에 의해 출력되는 알림 데이터 등이 저장될 수 있다.

참고로, 주방 비전 센싱 장치(100)에 추가로 구비될 수 있는 저장 모듈은 통상의 기술자에게 알려진 바와 같이, HDD(Hard Disk Drive), ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory), CF(Compact Flash) 카드, SD(Secure Digital) 카드, SM(Smart Media) 카드, MMC(Multimedia) 카드 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 다양한 형태의 저장 장치로 구현될 수 있다.

도 3a는 본 발명의 일 실시예에 따른 화구 검출을 설명하기 위한 개념도이고, 도 3b는 화구 검출의 과정(S30)을 설명하기 위한 순서도이다.

도 3a의 좌측은 화구(210)를 검출하기 이전의 촬영 영상에 해당하고, 도 3a의 우측은 화구(210)의 위치를 검출한 결과를 개념적으로 도시한다. 화구 검출 모듈(21)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 인덕션레인지(200)에 구비된 적어도 하나의 화구(210)를 검출하도록 구성될 수 있고, 일반적으로 원형인 화구 검출을 위해 공개 소스 컴퓨터 비전(OpenCV)의 HoughCircle 함수를 활용할 수 있음은 상기한 바와 같다.

화구 검출 모듈(21)에 의해 화구(210)가 갖는 원을 인식하고 인식된 화구(210)의 중심점과 반지름이 산출될 수 있다. 다음으로, 화구 검출 모듈(21)은 검출된 화구(210)의 중심점을 기준으로 좌우 방향(즉, x 방향)과 상하 방향(즉, y 방향) 각각 15px 만큼 오프셋을 적용하면서 화구(210)의 근처 영역을 9개 영역으로 분할할 수 있으며, 도 3a의 우측에서 두꺼운 두께의 원은 검출된 화구(210)의 원을 나타내고, 가로/세로의 점선은 오프셋 분할된 영역을 예시적으로 나타낸다.

도 3b를 참조하면, 화구 검출 모듈(21)은 촬영 모듈(10)에 의해 촬영된 영상을 캡쳐할 수 있다(S31). 이후, 화구 검출 모듈(21)은 캡쳐된 영상으로부터 HoughCircle 함수를 이용하여 화구(210)의 원을 검출할 수 있고(S32), 소정의 지연 시간(예를 들어, 0.001초 등) 이후에 화구 검출 모듈(21)은 캡쳐된 영상으로부터 HoughCircle 함수를 이용하여 화구(210)의 원을 다시 검출할 수 있다(S33).

참고로, 화구 영상의 촬영을 연속적으로 수행하게 되면 촬영 모듈(10), 예를 들어 카메라의 작동 과부하가 초래될 수 있는데, 촬영 영상으로부터 원을 검출하는 루프에 소정의 지연(예를 들어, 0.001초 등)을 적용함으로써 촬영 모듈(10)의 이러한 작동 과부하를 효율적으로 방지할 수 있다. 참고로, 인덕션레인지(200)가 복수의 화구(210)를 포함하는 경우 상기의 원 검출 단계(S32, S33)는 복수의 화구(210) 각각에 대해 수행될 수 있고, 따라서 화구(210)의 크기가 서로 상이한 복수의 화구(210)를 포함하는 인덕션레인지(200)에 대해서도 본 발명의 일 실시예에 따른 화구 정위치 알림이 적용될 수 있다.

다음으로, 제어 모듈(40)은 제1 화구 검출 단계, 즉 S32에서 검출된 원의 좌표와 제2 화구 검출 단계, 즉 S33에서 검출된 원의 좌표를 비교할 수 있다(S34). 비교 결과 두 좌표가 일치하지 않으면 영상 캡쳐 단계(S31)로 다시 반환되고, 비교 결과 두 좌표가 일치하면 해당 원을 화구(210)의 원으로 최종 인식하고 화구 검출 모듈(21)은 인식된 원, 즉 화구(210)의 위치값, 예를 들어 중심점과 반지름을 도출할 수 있다(S35).

참고로, 이러한 방식으로 수행된 화구(210)의 위치 파악, 오프셋 표시 및 저장은 최초 1회의 세팅 시에만 수행되고 이후에는 반복되지 않으나, 필요에 따라(예를 들어, 주방 비전 센싱 장치(100)의 재배치, 촬영 모듈(10)의 교환 등) 화구(210)의 위치 파악, 오프셋 표시 및 저장이 다시 수행될 수도 있음은 상기한 바와 같다.

도 4a는 본 발명의 일 실시예에 따른 조리도구 검출 및 화구 정위치 알림을 설명하기 위한 개념도이고, 도 4b는 조리도구 검출 및 화구 정위치 알림의 과정(S40)을 설명하기 위한 순서도이다.

도 4a의 (a)는 사용자가 조리도구(300)의 위치 조정을 수행하기 이전의 배치를 예시적으로 도시하고, 도 4a의 (b)는 음성 모듈(31)에 출력되는 음성 알림에 의해 사용자가 조리도구(300)의 위치 조정을 수행하는 과정을 설명하기 위한 개념도이며, 도 4a의 (c)는 사용자가 조리도구(300)의 위치 조정을 수행한 이후의 배치를 예시적으로 도시한다.

조리도구 검출 모듈(22)에 의해 검출된 조리도구(300)의 위치(예를 들어, 좌표)에 기초하여, 제어 모듈(40)은 팬의 중심점이 분할된 9개의 영역 중에서 어느 영역에 존재하는지를 판단하고 그 판단 결과에 따라 사용자가 팬을 이동시켜야 할 방향을 좌측이동음성알림, 우측이동음성알림, 상측이동음성알림, 하측이동음성알림 중 어느 하나의 음성 알림으로 출력할 수 있도록 음성 모듈(31)을 제어할 수 있다.

도 4a의 예에서는 팬을 우측으로 소정의 거리만큼 이동시키고 다시 팬을 상측으로 소정이 거리만큼 이동시킴으로써 팬이 화구의 정위치에 배치된 예를 도시하고, 팬이 화구의 정위치에 배치될 때에 음성 모듈(31)은 화구 정위치를 나타내는 알람(예를 들어, “띵동~” 등)과, 복수의 화구 중 어느 화구에 정위치된 것인지에 관한 음성 알림(예를 들어, 도 4a에 도시되는 바와 같이 “1번 화구입니다” 등)을 출력할 수 있다.

도 4b를 참조하면, 본 발명의 일 실시예에 따른 조리도구 검출 모듈(22)은 촬영 모듈(10)에 의해 촬영된 영상을 캡쳐하고(S41), HoughCircle 함수를 활용하여 캡쳐된 영상으로부터 원을 검출할 수 있다(S42).

본 발명의 일 실시예에 따르면 팬의 크기가 화구(210)의 크기보다 일반적으로 더 큰 사실에 기초하여 화구(210)보다 더 큰 반지름을 갖는 원을 팬으로 식별하여 검출할 수 있는데, 이를 위해 조리도구 검출 모듈(22)은 검출된 원의 반지름이 화구(210)의 반지름보다 더 큰지 여부를 판단할 수 있다(S43).

판단 결과 검출된 원의 반지름이 화구(210)의 반지름보다 작으면 조리도구 검출 모듈(22)은 다시 원을 검출할 수 있고, 판단 결과 검출된 원의 반지름이 화구(210)의 반지름보다 더 크면 조리도구 검출 모듈(22)은 검출된 팬의 중심 및 반지름을 산출하고(S44), 촬영 모듈(10)에 의해 팬이 수직이 아니라 다소 경사지게 촬영됨에 따른 영상 왜곡을 반영하기 위해 팬의 중심 좌표를 보정하며(S45), 화구의 중심부터 x 좌표 및 y 좌표에 대해 18px 오프셋을 적용할 수 있다(S46).

이렇게 화구(210)의 반지름과 식별된 원의 반지름의 크기를 비교하여 조리도구(300)를 검출하는 구성에 추가적으로 또는 대안적으로, 화구 검출 모듈(21)에 의해 검출된 화구(210)의 위치에 대응하지 않는 원(또는 조리도구(300)가 원형이 아닌 경우 그 조리도구(300)의 테두리(또는 외곽) 형상, 예를 들어 사각형 등)을 팬으로서 식별하여 검출할 수도 있다.

이후, 제어 모듈(40)은 검출된 팬의 중심과 화구(210)의 중심 사이의 거리를 산출하고 그 거리가 55px 미만인지 여부를 판단할 수 있다(S47a). 판단 결과 화구 중심과 팬 중심 사이의 거리가 55px 이상이면 촬영 모듈(10)로부터의 촬영 영상을 캡쳐하는 단계(S41)로 다시 반환될 수 있고, 판단 결과 화구 중심과 팬 중심 사이의 거리가 55px 미만이면 사용자가 팬을 화구(210)의 정위치로 이동시키도록 하는 알림 제공의 단계가 순차적으로 수행될 수 있다.

먼저, 제어 모듈(40)은 팬의 x좌표가 -x오프셋(예를 들어, x오프셋은 미리 설정된 양의 수) 미만인지 여부를 판단할 수 있고(S47b), 팬의 x좌표가 -x오프셋 미만이면, 즉 팬이 화구(210)의 중심으로부터 좌측으로 치우쳐 있으면, 제어 모듈(40)은 사용자가 팬을 우측으로 이동시키도록 유도하는 우측이동음성알림(예를 들어, “오른쪽” 등)을 음성 모듈(31)이 출력(S47c)하도록 제어할 수 있고, 팬의 x좌표가 x오프셋 범위(즉, -x오프셋 ~ x오프셋) 이내로 진입할 때까지 우측이동음성알림의 제공이 계속될 수 있다.

마찬가지로, 제어 모듈(40)은 팬의 x좌표가 x오프셋 초과인지 여부를 판단할 수 있고(S47d), 팬의 x좌표가 x오프셋을 초과하면, 즉 팬이 화구(210)의 중심으로부터 우측으로 치우쳐 있으면, 제어 모듈(40)은 사용자가 팬을 좌측으로 이동시키도록 유도하는 좌측이동음성알림(예를 들어, “왼쪽” 등)을 음성 모듈(31)이 출력(47e)하도록 제어할 수 있고, 팬의 x좌표가 x오프셋 범위(즉, -x오프셋 ~ x오프셋) 이내로 진입할 때까지 좌측이동음성알림의 제공이 계속될 수 있다.

유사하게, y좌표 방향(상하 방향)에 대해서도 마찬가지의 방식이 적용될 수 있다. 제어 모듈(40)은 팬의 y좌표가 -y오프셋(예를 들어, y오프셋은 미리 설정된 양의 수)(참고로, x오프셋과 y오프셋은 동일할 수도 있고 상이할 수도 있음) 미만인지 여부를 판단할 수 있고(S47f), 팬의 y좌표가 -y오프셋 미만이면, 즉 팬이 화구(210)의 중심으로부터 하측으로 치우쳐 있으면, 제어 모듈(40)은 사용자가 팬을 상측으로 이동시키도록 유도하는 상측이동음성알림(예를 들어, “위쪽” 등)을 음성 모듈(31)이 출력(S47g)하도록 제어할 수 있고, 팬의 y좌표가 y오프셋 범위(즉, -y오프셋 ~ y오프셋) 이내로 진입할 때까지 상측이동음성알림의 제공이 계속될 수 있다.

마찬가지로, 제어 모듈(40)은 팬의 y좌표가 y오프셋 초과인지 여부를 판단할 수 있고(S47h), 팬의 y좌표가 y오프셋을 초과하면, 즉 팬이 화구(210)의 중심으로부터 상측으로 치우쳐 있으면, 제어 모듈(40)은 사용자가 팬을 하측으로 이동시키도록 유도하는 하측이동음성알림(예를 들어, “아래쪽” 등)을 음성 모듈(31)이 출력(S47i)하도록 제어할 수 있고, 팬의 y좌표가 y오프셋 범위(즉, -y오프셋 ~ y오프셋) 이내로 진입할 때까지 하측이동음성알림의 제공이 계속될 수 있다.

그에 따라, 팬의 x 좌표 및 y 좌표 모두가 화구 정위치에 대해 미리 설정된 오프셋 범위 이내로 들어오게 되면 제어 모듈(40)은 조리도구(300)가 화구(210)의 정위치에 배치되었다고 판단하고, 음성 모듈(31)이 화구 정위치를 나타내는 알람(예를 들어, “띵동~” 등)과, 복수의 화구 중 어느 화구에 정위치된 것인지에 관한 음성 알림(예를 들어, “1번 화구입니다” 등)을 출력하도록 제어할 수 있다.

이와 관련하여, 인덕션레인지(200)에 구비된 화구(210)가 복수인 경우 이러한 화구 정위치 알림의 대상이 되는 화구, 즉 시각장애인에게 조리도구(300)의 이동을 유도하는 화구를 명확하게 지정할 필요가 있다. 예를 들어, 시각장애인은 상부의 화구를 사용하고자 하는데 주방 비전 센싱 장치(100)의 알림 모듈(30)이 시각장애인에게 하부의 화구 방향으로 팬의 이동을 유도하게 되면 사용자 불편함만 더욱 가중시키는 문제가 있다.

이를 위해, 본 발명의 추가 실시예에 따르면 제어 모듈(40)은 복수의 화구(210) 중에서 전원이 온(ON)인 화구를 식별할 수 있고, 전원이 온인 것으로 식별된 화구의 방향으로 소정의 알림이 제공되도록 화구 검출 모듈(21), 조리도구 검출 모듈(22) 및 알림 모듈(30)을 제어할 수 있다.

도 5a는 본 발명의 일 실시예에 따른 사용자 손 검출을 설명하기 위한 개념도이고, 도 5b는 사용자 손 검출의 과정(S50)을 설명하기 위한 순서도이다.

본 발명의 일 실시예에 따른 손 검출 모듈(23)은 촬영 모듈(10)에 의해 촬영된 영상으로부터 사용자 손을 검출할 수 있고, 예를 들어 촬영 영상에서 사용자 손 주변에 바운딩 박스를 표시하는 방식으로 라벨링이 수행될 수 있으며(도 5a의 라운딩 박스 참고), 바운딩 박스의 중심점과 사용자 손의 중심점이 실질적으로 일치한다는 가정에 따라 사용자 손의 중심점을 결정할 수 있다.

손 검출 모듈(23)을 통해 조리도구(300)의 중심점에 대한 사용자 손의 상대적 위치가 검출될 수 있고, 여기서 사용자 손의 상대적 위치는 가장자리(도 5a의 좌측) 및 중앙(도 5a의 우측)을 포함할 수 있으며, 검출된 사용자 손의 상대적 위치에 따라 제어 모듈(40)은 알림 모듈(30)이 소정의 알림(또는 멜로디)이 출력되도록 제어할 수 있다.

예를 들어, 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 팬의 중심점 사이의 거리가 팬 반지름의 0.6배 이상 1.2배 이하이면 사용자 손이 팬의 가장자리에 있음을 의미하고, 그에 따라 제어 모듈(40)은 음성 모듈(31)이 사용자 손이 가장자리에 위치하고 있음을 나타내는 알림, 예를 들어 긴 멜로디(long melody)를 출력하도록 제어할 수 있다.

또한, 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 팬의 중심점 사이의 거리가 팬 반지름의 0.6배 미만이면 사용자 손이 팬의 중앙 영역에 있음을 의미하고, 그에 따라 제어 모듈(40)은 음성 모듈(31)이 사용자 손이 중앙에 위치하고 있음을 나타내는 알림, 예를 들어 짧은 멜로디(short melody)를 출력하도록 제어할 수 있다.

0.6 및 1.2와 같은 수치 영역 범위로서 긴/짧은 멜로디를 출력하는 구성에 더하여, 본 발명의 추가 실시예에 따른 손 검출 모듈(23)은 사용자 손의 중심점이 화구(210)의 중심점과 화구의 테두리 중에서 어디에 더 근접한지를 판단할 수 있고, 예를 들어 사용자 손의 중심점이 화구(210)의 중심점에 더 근접한 것으로 판단되면 제어 모듈(40)은 음성 모듈(31)이 사용자 손이 중앙에 위치하고 있음을 나타내는 알림, 예를 들어 짧은 멜로디를 출력하도록 제어할 수 있고, 사용자 손의 중심점이 화구(210)의 테두리에 더 근접한 것으로 판단되면 제어 모듈(40)은 음성 모듈(31)이 사용자 손이 가장자리에 위치하고 있음을 나타내는 알림, 예를 들어 짧은 멜로디를 출력하도록 제어할 수도 있다.

손 검출 모듈(23)에 의해 사용자 손의 위치가 알림으로서 시각장애인에게 제공됨으로써, 사용자가 요리 재료를 조리도구(300)에 안정적으로 첨가할 수 있거나 또는 요리 재료의 혼합, 섞음 등을 보다 용이하고 정확하게 수행할 수 있도록 한다. 참고로, 손 검출 모듈(23)은 이미지 증대 과정을 거쳐 생성된 3855장의 학습 데이터를 YOLO로 20회 학습함으로써 사용자 손을 검출할 수 있는 디텍터를 활용할 수 있다. 또한, 사용자 손의 상대적 위치를 판정하기 위한 기준값인 0.6, 1.2 등의 수치는 본 발명의 다양한 구현예 또는 응용예에 따라 조정될 수 있고, 사용자 손이 상대적 위치에 대한 알림을 “가장자리”와 “중앙”으로 2분화하여 예시적으로 기술하지만 본 발명의 다른 실시예에 따르면 보다 세분화된 위치 알림의 구현이 또한 가능할 수 있다.

도 5b를 참고하면, 본 발명의 일 실시예에 따른 손 검출 모듈(23)은 촬영 모듈(10)에 의해 촬영된 영상을 캡쳐하고(S51), 캡쳐된 영상으로부터 YOLO v5, 파이썬 등을 활용하여 사용자 손을 검출할 수 있다(S52). 여기서, 사용자 손을 검출하기 위한 디텍터를 학습함에 있어 검출된 객체가 사용자 손에 해당할 확률인 신뢰도 점수, 즉 임계 점수(threshold score)를 0.65로 설정할 수 있다.

사용자 손 검출(S52)의 결과 사용자 손이 인식되지 않으면 팬의 중심 및 반지름을 산출하는 단계(S55)로 진행하고, 사용자 손 검출(S52)의 결과 사용자 손이 인식되면 손 검출 모듈(23)은 사용자 손의 중심 좌표를 계산할 수 있다.

여기서, 사용자 손이 복수(예를 들어, 2개)로 검출되는 경우, 본 발명의 일 실시예에 따른 손 검출 모듈(23)은 조리도구(300), 예를 들어 팬의 손잡이를 핸들링하고 있는 손은 검출 대상에서 제외하도록 추가로 구성될 수 있으며, 그에 따라 실제로 요리를 수행하는 사용자 손만이 검출 및 알림의 대상이 되도록 함으로써 사용자 만족도를 보다 개선할 수 있다.

그렇게 사용자 손의 중심점과 팬의 중심점이 산출되면(S54, S55), 손 검출 모듈(23)은 사용자 손의 중심점과 팬의 중심점 사이의 거리(d)를 산출할 수 있다(S56).

이후, 제어 모듈(40)은 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 팬의 중심점 사이의 거리가 팬 반지름의 0.6배 이상 1.2배 미만인지를 판단하고(S57a), 판단 결과 해당 범위를 충족하지 않으면 다음으로 진행하고, 판단 결과 해당 범위를 충족하면 알림 모듈(30)이, 보다 구체적으로는 음성 모듈(31)이 제1 멜로디(예를 들어, 긴 멜로디)를 출력(S57b)하도록 제어할 수 있다.

또한, 제어 모듈(40)은 제어 모듈(40)은 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 팬의 중심점 사이의 거리가 팬 반지름의 0.6배 미만인지를 판단하고(S57c), 판단 결과 0.6배 미만이 아니면 영상 캡쳐의 단계(S51)로 반환하고, 판단 결과 0.6배 미만이면 알림 모듈(30)이, 보다 구체적으로는 음성 모듈(31)이 제2 멜로디(예를 들어, 짧은 멜로디)를 출력(S57d)하도록 제어할 수 있다.

이와 같이, 팬의 중심점에 대한 사용자 손의 상대적 위치에 따라 알림 모듈(30)이 소정의 멜로디를 사용자에게 제공하여 줌으로써, 예를 들어 사용자 손이 팬의 중앙부에 위치할 때에는 짧은 멜로디의 피드백을 제공함으로써 시각장애인이 보다 용이하게 팬의 위치를 파악하면서 요리 재료를 안정적으로 팬에 넣을 수 있도록 하여 시각장애인이 안전하게 요리 진행을 할 수 있도록 보조할 수 있다.

도 6은 본 발명의 일 실시예에 따른 조명 알림을 설명하기 위한 개념도이다.

본 발명자들의 다양한 시험 결과에 따르면, 음성 알림에 더하여 강한 조명 알림이 추가로 제공되면 요리를 수행함에 있어 저시력자에게는 큰 도움이 된다는 것을 확인하였고, 이를 위해 본 발명의 일 실시예에 따른 알림 모듈(30)은 인덕션레인지(200)의 영역에 대해 소정의 광 출력을 제공하도록 구성되는 조명 모듈(32)을 더 포함할 수 있다.

도 6에 예시적으로 도시되는 바와 같이, 화구의 중심점과 팬의 중심점의 산출에 기초하여 제공되는 음성 알림에 더하여, 우측이동조명알림(61-1, 도 6의 (a) 참조), 상측이동조명알림(61-2, 도 6의 (b) 참조) 등이 추가로 제공될 수 있고, 특히 조명 모듈(32)은 화구(210)의 위치에 대해 강한 화구 조명(62)을 출력함으로써 저시력자가 화구의 위치를 보다 정확하게 식별할 수 있도록 보조할 수 있으며, 예를 들어 복수의 화구(210)가 구비되는 경우 조명 모듈(32)은 현재 사용자가 사용을 하고 있는 화구(210)에만 선택적으로 화구 조명(62)을 출력하도록 추가로 구성될 수 있거나 또는 각각의 화구(210)에 대해 조명 모듈(32)이 개별적으로 구비되어 사용 중인 화구(210)에 매칭되는 조명 모듈(32)만이 선택적으로 활성화되도록 구현될 수도 있다.

여기서, 팬의 중심에 대해 출력되는 화구 조명(62)은 중앙부가 외곽부보다 더 강한 밝기를 갖도록 구현될 수 있고, 그에 따라 저시력자가 조리도구(300)의 중앙 및 외곽에 상이하게 출력되는 조명의 밝기 차이를 통해 팬 내부의 공간을 보다 용이하게 파악할 수 있다.

이와 관련하여, 사용자의 미리 정의된 제스처에 따라 촬영 모듈(10)의 온/오프를 조절할 수 있는 것과 유사하게, 본 발명의 추가 실시예에 따르면 시각장애인 또는 저시력자 스스로가 더 이상 위험 요소가 없이 안정적으로 요리를 수행하고 있어 화구 정위치 알림/조명의 제공, 손 위치 알림의 제공이 필요하지 않다고 판단하는 경우, 미리 정의된 사용자 제스처에 따라 음성 모듈(31), 조명 모듈(32) 등이 온/오프될 수도 있다.

도 7a는 본 발명의 일 실시예에 따른 보조조리도구의 이동 알림을 설명하기 위한 순서도(S70)이고, 도 7b는 보조조리도구의 이동 알림에 기준이 되는 팬 분할 영역의 예시도이다.

시각장애인이 팬과 같은 조리도구(300) 내부에 식재료를 넣고 볶을 때에 시각장애인은 재료가 정확하게 어디에 있는지, 골고루 볶아지고 있는지 등을 파악하기가 어려운데, 이를 보완하기 위해서 본 발명의 추가 실시예에 따르면 보조조리도구의 이동 알림이 도 7a 및 도 7b에 도시되는 바와 같이 구현될 수 있다.

먼저, 검출 모듈(20)은 딥러닝 기법을 활용하여 촬영 모듈(10)에 의해 촬영되는 영상으로부터 국자, 주걱 등의 보조조리도구를 인식할 수 있다(S71). 또한, 검출 모듈(20)은 보조조리도구의 이동 경로를 파악할 수 있고(S72), 파악된 이동 경로에 기초하여 보조조리도구가 지나가지 않은 영역을 검출할 수 있다(S73).

예를 들어, 도 7b에 도시된 조리도구(300)에 대해 보조조리도구가 “좌” 영역에서만 이동하는 것으로 검출되는 경우, 즉 시각장애인이 식재료를 상/하/우로 골고루 볶아야 할 필요가 있다고 판단되는 경우, 제어 모듈(40)은 알림 모듈(30)이 적절한 음성 알림 및/또는 조명 알림을 출력(S74)하도록 제어할 수 있다.

상기한 촬영 모듈(10)의 온/오프, 화구 정위치 알림의 온/오프 및 손 위치 알림의 온/오프와 마찬가지로, 이러한 보조조리도구의 이동 알림 또한 미리 정의된 사용자 제스처에 의해 온/오프될 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 주방 비전 센싱 장치 및 그 시스템에 의하면, 시각장애인에게 인덕션레인지의 화구 사용에 대한 청각 피드백을 제공함으로써 시각장애인의 요리 안정성을 개선할 수 있다.

또한, 본 발명의 일 실시예에 따른 주방 비전 센싱 장치 및 그 시스템에 의하면, 시각장애인에게 조리도구에 대한 사용자 손의 상대적 위치 정보를 제공함으로써 시각장애인이 요리 재료를 조리도구 내부에 보다 안정적으로 추가할 수 있도록 하고, 그에 따라 보다 양질의 요리 음식을 만들 수 있도록 한다.

또한, 본 발명의 일 실시예에 따른 주방 비전 센싱 장치 및 그 시스템에 의하면, 저시력자에게 인덕션레인지의 화구 사용에 대한 조명 피드백을 제공함으로써 저시력자의 요리 안정성을 개선할 수 있다.

한편, 본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.

또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대,　명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스를 포함할 수 있다.

이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.

특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 촬영 모듈
20: 검출 모듈
21: 화구 검출 모듈
22: 조리도구 검출 모듈
23: 손 검출 모듈
30: 알림 모듈
31: 음성 모듈
32: 조명 모듈
40: 제어 모듈
100: 주방 비전 센싱 장치
200: 인덕션레인지
210: 화구
300: 조리도구
1000: 주방 비전 센싱 시스템

Claims (11)

1. 주방 비전 센싱 장치(100)로서,
   주방 내 배치되는 인덕션레인지(200)를 촬영하도록 구성되는 촬영 모듈(10); 및
   상기 촬영 모듈(10)에 의해 촬영된 영상으로부터 객체를 검출하도록 구성되는 검출 모듈(20)을 포함하는,
   주방 비전 센싱 장치(100).
2. 제 1 항에 있어서,
   상기 검출 모듈(20)은, 상기 촬영된 영상으로부터 상기 인덕션레인지(200)에 구비된 적어도 하나의 화구(210)를 검출하도록 구성되는 화구 검출 모듈(21)을 포함하는,
   주방 비전 센싱 장치(100).
3. 제 2 항에 있어서,
   상기 검출 모듈(20)은, 상기 촬영된 영상으로부터 조리도구(300)를 검출하도록 구성되는 조리도구 검출 모듈(22)을 더 포함하는,
   주방 비전 센싱 장치(100).
4. 제 3 항에 있어서,
   상기 화구 검출 모듈(21)에 의해 검출되는 상기 화구(210)의 중심점 및 상기 조리도구 검출 모듈(22)에 의해 검출되는 상기 조리도구(300)의 중심점에 기초하여, 사용자가 상기 화구(210)의 중심점을 향해 상기 조리도구(300)의 중심점을 이동시키도록 유도하기 위한 알림을 출력하도록 구성되는 알림 모듈(30)을 더 포함하는,
   주방 비전 센싱 장치(100).
5. 제 4 항에 있어서,
   상기 알림 모듈(30)에 의해 출력되는 알림은, 좌측이동알림, 우측이동알림, 상측이동알림 및 하측이동알림 중 어느 하나로 구현되는,
   주방 비전 센싱 장치(100).
6. 제 4 항에 있어서,
   상기 검출 모듈(20)은, 상기 촬영된 영상으로부터 사용자 손을 검출하도록 구성되는 손 검출 모듈(23)을 더 포함하는,
   주방 비전 센싱 장치(100).
7. 제 6 항에 있어서,
   상기 알림 모듈(30)은, 상기 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 상기 조리도구(300)의 중심점 사이의 거리에 따른 소정의 알림을 출력하도록 추가로 구성되는,
   주방 비전 센싱 장치(100).
8. 제 7 항에 있어서,
   상기 알림 모듈(30)은, 상기 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 상기 조리도구(300)의 중심점 사이의 거리가 상기 조리도구(300)의 반지름의 0.6배 이상 1.2배 미만이면 제1 멜로디를 출력하고, 상기 손 검출 모듈(23)에 의해 검출되는 사용자 손의 중심점과 상기 조리도구(300)의 중심점 사이의 거리가 상기 조리도구(300)의 반지름의 0.6배 미만이면 제2 멜로디를 출력하도록 추가로 구성되는,
   주방 비전 센싱 장치(100).
9. 제 8 항에 있어서,
   상기 제1 멜로디는 상기 제2 멜로디보다 더 긴 멜로디인,
   주방 비전 센싱 장치(100).
10. 제 6 항에 있어서,
    상기 손 검출 모듈(23)은 상기 검출된 사용자 손 주변에 바운딩 박스를 표시하는 방식으로 라벨링하도록 추가로 구성되는,
    주방 비전 센싱 장치(100).
11. 제 1 항에 따른 주방 비전 센싱 장치(100); 및
    상기 주방 비전 센싱 장치(100)가 센싱을 수행하고, 적어도 하나의 화구(210)를 구비하는 인덕션레인지(200)를 포함하는,
    주방 비전 센싱 시스템(1000).