KR20170002319A

KR20170002319A - 스마트 셰프 미러 시스템

Info

Publication number: KR20170002319A
Application number: KR1020160081299A
Authority: KR
Inventors: 오미현; 남서영; 김동양; 구성용
Original assignee: 유진주식회사
Priority date: 2015-06-29
Filing date: 2016-06-29
Publication date: 2017-01-06

Abstract

본 발명은 스마트 셰프 미러 시스템에 관한 것으로서, 더욱 상세하게는 하프 미러와 레시피가 표시되는 디스플레이로 이루어진 화면부와, 사용자의 근접을 센싱하는 적외선 센서 어레이와, 사용자의 제스처를 인식하여 화면부를 사용자가 조작하는 제스처 카메라와, 사용자의 위치로 제스처 카메라와 디스플레이를 이동시키는 리니어 모터로 구성됨으로써, 인터넷을 통한 요리정보(레시피)를 손을 대지 않고 쉽게 찾을 수 있어 요리에 불편함이 없고, 요리 중인 음식물에 세균 등의 오염을 방지할 수 있어 깨끗하고 편리하게 요리를 할 수 있으며, 항상 거울을 즐겨보는 여성의 심리를 이용해 하프 미러와 레시피 디스플레이 기능을 연동한 새로운 개념의 싱크대 모니터 기능 부여되고, 최신 웹 포털과 연동하여 최신의 레시피 정보를 추천받으며, 스마트폰을 통해 자신만의 레시피 DB를 제작할 수 있는 기능이 제공되어 더욱 편리하고 창적인 요리를 할 수 있는 특징이 있다.

Description

스마트 셰프 미러 시스템{Smart chef mirror system}

본 발명은 스마트 셰프 미러 시스템에 관한 것으로서, 더욱 상세하게는 하프 미러와 레시피가 표시되는 디스플레이로 이루어진 화면부와, 사용자의 근접을 센싱하는 적외선 센서 어레이와, 사용자의 제스처를 인식하여 화면부를 사용자가 조작하는 제스처 카메라와, 사용자의 위치로 제스처 카메라와 디스플레이를 이동시키는 리니어 모터로 구성됨으로써, 인터넷을 통한 요리정보(레시피)를 손을 대지 않고 쉽게 찾을 수 있어 요리에 불편함이 없고, 요리 중인 음식물에 세균 등의 오염을 방지할 수 있어 깨끗하고 편리하게 요리를 할 수 있는 스마트 셰프 미러 시스템에 관한 것이다.

최근 현대사회의 가정을 보면, 맞벌이 부부의 증가 및 미혼 남녀가 급속하게 증가하고 있는 추세이다.

특히, 맞벌이 부부의 경우에는 요리에 대한 시간 부족으로 인해 가정의 외식이 늘고, 이러한 외식문화의 정착으로 인해 입맛은 전문가인 쉐프가 제공하는 음식맛에 길들여져 고급화되었으나, 가정에서는 이러한 음식에 대한 정보가 전무하기 때문에 만들 수가 없었다.

하지만, 최근에는 많은 전문 요리사인 쉐프들이 자신만의 노하우를 공개한 요리에 대한 서적이나 인터넷의 개인 블로그 등을 통해서 제공하고 있고, 가정에서는 이러한 서적이나 인터넷의 개인 블로그를 보고 음식을 만들기도 하나, 이와 같이 서적이나 인터넷에서 제공되는 요리정보는 개략적인 것으로, 취식인원에 따른 세밀한 요리정보는 제공되지 않기 때문에, 결국에는 자신의 경험이나 추측을 통해서 음식물을 조리하는 경우가 많다. 따라서, 서적이나 인터넷에서 제공되는 요리정보대로 음식이 조리되지 못하는 문제가 있다.

아울러, 위와 같이 서적이나 인터넷을 통한 요리정보는 요리 중에도 계속해서 서적이나 인터넷을 찾아가면서 조리하게 되므로 많은 불편함이 있었고, 음식물이 세균에 손쉽게 오염될 수 있는 환경에 노출되는 단점이 있다.

대한민국 등록특허공보 제10-1121647호

본 발명은 상기 종래의 문제점을 해소하기 위해 안출된 것으로서,

하프 미러와 레시피가 표시되는 디스플레이로 이루어진 화면부와, 사용자의 근접을 센싱하는 적외선 센서 어레이와, 사용자의 제스처를 인식하여 화면부를 사용자가 조작하는 제스처 카메라와, 사용자의 위치로 제스처 카메라와 디스플레이를 이동시키는 리니어 모터로 구성됨으로써, 인터넷을 통한 요리정보(레시피)를 손을 대지 않고 쉽게 찾을 수 있어 요리에 불편함이 없고, 요리 중인 음식물에 세균 등의 오염을 방지할 수 있어 깨끗하고 편리하게 요리를 할 수 있는 스마트 셰프 미러 시스템을 제공하는데 목적이 있다.

또한, 항상 거울을 즐겨보는 여성의 심리를 이용해 하프 미러와 레시피 디스플레이 기능을 연동한 새로운 개념의 싱크대 모니터 기능 부여되고, 최신 웹 포털과 연동하여 최신의 레시피 정보를 추천받으며, 스마트폰을 통해 자신만의 레시피 DB를 제작할 수 있는 기능이 제공되어 더욱 편리하고 창적인 요리를 할 수 있는 스마트 셰프 미러 시스템을 제공하는데 목적이 있다.

상기 목적을 달성하고자, 본 발명은 맞춤형의 레시피를 편리하게 제공하기 위한 스마트 셰프 미러 시스템에 있어서,

제어부가 구비된 본체부와;

상기 본체부의 일측면에 설치되고, 상기 제어부와 연결되어 레시피가 화면에 표시되는 화면부와;

상기 화면부의 하측부에 형성되어 사용자의 근접을 센싱하여 셰프 미러 시스템이 작동되고, 동시에 근접한 사용자의 위치를 파악하여 제어부에 신호를 전달하는 적외선 센서 어레이(infrared sensor array)와;

상기 화면부의 상측부에 형성되어 사용자의 제스처를 인식하여 화면부에 표시된 레시피의 화면을 조작하는 제스처 카메라와;

상기 화면부의 후면부인 본체부에 설치되어 화면부와 제스처 카메라가 연결되고, 상기 적외선 센서 어레이에 의해 센싱된 사용자의 위치로 제스처 카메라를 이동시키는 리니어 모터(linear motor)부;를 포함하여 구성되는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

또한, 본 발명의 화면부는, 상기 본체부의 정면부에 설치되어 평소에는 거울로 사용되는 하프 미러와;

상기 하프 미러의 후면에 구비되어 제어부의 레시피가 표시되는 디스플레이;

를 포함하여 구성되는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

또한, 본 발명의 디스플레이는 리니어 모터부와 연결되어 적외선 센서 어레이에 의해 센싱된 사용자의 위치로 리니어 모터부에 의해 제스처 카메라와 함께 이동되는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

또한, 본 발명의 제스처 카메라는 사용자의 손 제스처(위,아래,좌,우,스크롤,클릭)를 인식하여 디스플레이에 레시피가 표시될 수 있도록 조작하는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

또한, 본 발명의 제어부는 제스처 카메라에 의해 조작되어 표시될 레시피를 데이터 베이스에 저장한 후, 디스플레이에 레시피를 표시하는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

또한, 본 발명의 제어부는 컴퓨터(computer)와 컨트롤러(controller)로 이루어져 레시피를 컴퓨터의 인터넷에서 제스처 카메라에 의한 조작에 의해 검색하여 화면부에 표시하는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

또한, 본 발명의 적외선 센서 어레이는 본체부의 수평 길이방향으로 상호 이격된 다수개의 센서가 형성되어 사용자의 정위치를 파악할 수 있는 것을 특징으로 하는 스마트 셰프 미러 시스템에 관한 것이다.

이상에서 살펴 본 바와 같이, 본 발명의 스마트 셰프 미러 시스템은 하프 미러와 레시피가 표시되는 디스플레이로 이루어진 화면부와, 사용자의 근접을 센싱하는 적외선 센서 어레이와, 사용자의 제스처를 인식하여 화면부를 사용자가 조작하는 제스처 카메라와, 사용자의 위치로 제스처 카메라와 디스플레이를 이동시키는 리니어 모터로 구성됨으로써, 인터넷을 통한 요리정보(레시피)를 손을 대지 않고 쉽게 찾을 수 있어 요리에 불편함이 없고, 요리 중인 음식물에 세균 등의 오염을 방지할 수 있어 깨끗하고 편리하게 요리를 할 수 있는 효과가 있다.

또한, 항상 거울을 즐겨보는 여성의 심리를 이용해 하프 미러와 레시피 디스플레이 기능을 연동한 새로운 개념의 싱크대 모니터 기능 부여되고, 최신 웹 포털과 연동하여 최신의 레시피 정보를 추천받으며, 스마트폰을 통해 자신만의 레시피 DB를 제작할 수 있는 기능이 제공되어 더욱 편리하고 창적인 요리를 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 스마트 셰프 미러 시스템을 나타낸 분해 사시도이고,
도 2는 본 발명의 일 실시예에 따른 스마트 셰프 미러 시스템을 나타낸 결합 사시도이고,
도 3은 본 발명의 일 실시예에 따른 스마트 셰프 미러 시스템의 설치를 나타낸 개략도이고,
도 4는 본 발명의 일 실시예에 따른 디스플레이와 제스처 카메라가 설치된 리니어 모터부를 나타낸 개략도이고,
도 5는 본 발명의 일 실시예에 따른 사용자 맞춤형 메뉴 추천을 나타낸 순서도이고,
도 6은 본 발명의 일 실시예에 따른 사용자 몸통 중심 검출 방법을 나타낸 개략도이고,
도 7은 본 발명의 일 실시예에 따른 모터 컨트롤러 기본 구성도 및 대칭형 가감속도 프로파일을 나타낸 개략도이고,
도 8은 본 발명의 일 실시예에 따른 레시피 조작을 위한 인식 및 인터페이싱 모듈 연결 구조를 나타낸 순서도이고,
도 9는 본 발명의 일 실시예에 따른 제스처 인식 기술 개발 방법을 나타낸 개념도이고,
도 10은 본 발명의 일 실시예에 따른 손 동작인식 소프트웨어 파이프라인을 나타낸 개략도이고,
도 11은 본 발명의 일 실시예에 따른 강인한 삼차원 머리 위치 추정을 위한 동적 베이지안 네트워크 모델을 나타낸 개략도이고,
도 12는 본 발명의 일 실시예에 따른 검출된 머리 위치를 기준으로 정의된 손 동작 영역을 나타낸 개략도이고,
도 13은 본 발명의 일 실시예에 따른 동일한 길이의 손 영역에 대한 쥐고 펴는 동작에서의 점구름 데이터 분포의 변화를 나타낸 개략도이다.

이와 같은 특징을 갖는 본 발명은 그에 따른 바람직한 실시예를 통해 더욱 명확히 설명될 수 있을 것이다.

이하 첨부된 도면을 참조로 본 발명의 여러 실시예들을 상세히 설명하기 전에, 다음의 상세한 설명에 기재되거나 도면에 도시된 구성요소들의 구성 및 배열들의 상세로 그 응용이 제한되는 것이 아니라는 것을 알 수 있을 것이다. 본 발명은 다른 실시예들로 구현되고 실시될 수 있고 다양한 방법으로 수행될 수 있다. 또, 장치 또는 요소 방향(예를 들어 "전(front)", "후(back)", "위(up)", "아래(down)", "상(top)", "하(bottom)", "좌(left)", "우(right)", "횡(lateral)")등과 같은 용어들에 관하여 본원에 사용된 표현 및 술어는 단지 본 발명의 설명을 단순화하기 위해 사용되고, 관련된 장치 또는 요소가 단순히 특정 방향을 가져야 함을 나타내거나 의미하지 않는다는 것을 알 수 있을 것이다. 또한, "제 1(first)", "제 2(second)"와 같은 용어는 설명을 위해 본원 및 첨부 청구항들에 사용되고 상대적인 중요성 또는 취지를 나타내거나 의미하는 것으로 의도되지 않는다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1 내지 도 5에 도시한 바와 같이, 본 발명의 스마트 셰프 미러 시스템은 사용자 맞춤형 요리 제공 인터페이스 장치로서 사용자 맞춤형의 레시피를 편리하게 제공하기 위해 본체부(10)와, 화면부(20)와, 적외선 센서 어레이(infrared sensor array,30)와, 제스처 카메라(40)와, 리니어 모터부(50)로 구성된다.

상기 본체부(10)는 도 1 내지 도 5에 도시한 바와 같이, 내부에 제어부(11)가 구성되는데, 상기 본체부(10)는 별도로 몸체 제작이 가능하거나, 기존에 설치된 싱크대, 찬장, 벽면 수납장 등을 본체부(10)로 사용할 수 있다. 즉, 상기 싱크대, 찬장 등의 내부에 제어부(11)가 구비되는 것이다. 이때, 상기 제어부(11)는 본체부(10) 내에 구비될 수도 있고, 본체부(10)의 외부에 별도로 설치가 가능하다.

한편, 상기 본체부(10)를 내부가 중공되어 직사각형 형태의 몸체로 형성되는데, 이때, 몸체의 형태는 설치위치, 환경 등에 따라 다양하게 설계변경이 가능하고, 상기 본체부(10)의 하단부에는 이동이 가능하도록 다수개의 바퀴가 설치될 수 있다. 또한, 상기 본체부(10)는 일체형 알루미늄을 아노다이징 처리한 후 부착하여 최신 트렌드의 디자인 감각을 구현한다.

그리고, 상기 제어부(11)는 컴퓨터(computer)와 컨트롤러(controller)로 이루어져 레시피를 컴퓨터의 인터넷에서 제스처 카메라(40)에 의한 조작에 의해 검색하여 화면부(20)에 표시한다. 이때, 상기 제어부(11)는 스마트폰과도 연동되어 다양한 레시피를 검색한 뒤, 제어부(11)의 DB에 저장할 수 있다.

또한, 상기 제어부(11)는 도 5에서처럼, 메뉴 추천 알고리즘이 이하와 같이 형성된다.

(1) 사용자가 특정 음식에 대한 레시피를 선택하지 않을 경우, 현재 환경 상태 및 사용자 정보에 기반한 요리 메뉴 추천 기능

(2) 요리 메뉴 DB가 나라 별, 요리 방식 별, 메인 재료 별, 맛 별로 구분되어 구축되어 있으며, 웹을 통해 업데이트 가능

(3) 사용자 맞춤형 메뉴 추천을 위한 학습 알고리즘 개발

(가) 이벤트, 식사 인원수, 기분상태 등 사용자의 현재 정보를 제스처 인터페이스를 이용하여 입력 받음

(나) 학습 알고리즘을 통한 사용자 메뉴 선정 패턴 학습

(4) 메뉴 추천 방법 개발

(가) 환경 정보, 사용자 정보에 따라 사용자가 가장 선호할만한 6가지 메뉴를 카테고리로 분류하여 추천 메뉴로 선택

(나) 6가지 메뉴를 선택해 사용자가 마음에 드는 메뉴를 선택

(다) 선택된 메뉴의 레시피를 디스플레이 함과 동시에, 그 메뉴에 대한 특징을 기반으로 사용자의 선호도를 업데이트 함

상기 화면부(20)는 도 1 내지 도 4에 도시한 바와 같이, 본체부(10)의 일측면에 설치되고, 상기 제어부(11)와 연결되어 레시피가 화면에 표시되도록 하프 미러(21)와, 디스플레이(22)로 구성된다.

여기서, 상기 하프 미러(Half mirror,21)는 본체부(10)의 정면부에 설치되어 평소에는 거울로 사용되고, 상기 하프 미러(21)의 후면부에는 디스플레이(22), 웹카메라(미도시) LED조명(미도시)을 포함한 모니터 장치가 설치된다. 이때, 상기 하프 미러(21)에는 제스처 입력과 함께 연동하여 사용하기 위해 터치포일(미도시)을 장착한다.

또한, 상기 디스플레이(22)는 웹카메라, LED조명과 연동하여 제어부(11)에서 전달된 레시피가 표시된다.

그리고, 상기 디스플레이(22)는 리니어 모터부(50)와 연결되어 적외선 센서 어레이(30)에 의해 센싱된 사용자의 위치로 리니어 모터부(50)에 의해 제스처 카메라(40)와 함께 이동된다. 즉, 본 발명에서는 디스플레이(22)가 좌,우로 사용자의 위치로 이동되는 것이다.

상기 적외선 센서 어레이(infrared sensor array,30)는 도 1 내지 도 4 및 도 6 내지 도 7에 도시한 바와 같이, 화면부(20)의 하측부에 형성되어 사용자의 근접을 센싱하여 셰프 미러 시스템이 작동되고, 동시에 근접한 사용자의 위치를 파악하여 제어부(11)에 신호를 전달한다.

여기서, 상기 적외선 센서 어레이(30)는 본체부(10)의 수평 길이방향으로 상호 이격된 다수개의 IR 센서(31)가 형성되어 사용자의 정위치를 파악할 수 있는데, 본 발명에서는 IR 센서(31)를 75mm 중심간 간격으로 배열하여 사람의 움직임을 12cm이내 수평 위치 분해능으로 감지할 수 있도록 장착한다.

그리고, 도 6을 참고하여, 상기 적외선 센서 어레이(30)를 이용한 공간 정보로부터 사람의 몸체 중심 정보를 이하와 같이 산출한다.

(가) Raw data 획득 : 19개의 IR sensor array로부터 사용자의 위치 정보를 100ms의 샘플링 주기로 획득함.

(나) 전처리 과정 : i번째 ir 거리 데이터의 고주파 노이즈를 제거하기 위해, i-n부터 i+n까지의 샘플에 대한 평균 필터링(Averaging filtration)을 수행함.

(다) 사용자 검지 용 컷오프 : 사용자가 인식됐는지를 사전 검출하기 위해 ir 센서로부터 800mm 이내로의 근접 신호가 감지되면 사용자 중심점 검출 계산 수행함.

(라) 사용자 중심 검출 : N=Argmin_i(Dist(n))을 수행하여 최소 거리에 위치한 ir 센서 번호(N) 획득함.

(마) 몸통 중심 위치(Bodycenter) 추정 : 중심 센서 위치 중심으로 가우시안 함수를 이용한 approximation 수행하여 중심 위치 추정함(Bodycenter=MIN _i [Error{f_Gausian(i)-Dist(i)}]).

그리고, 사용자의 얼굴 중심 검출 정보와 결합하여 사용자 중심을 이하에서처럼 산출한다.

(가) 4장에서 기술할 얼굴 검출 알고리즘은 통상적으로 알려진 HAAR like type 특징점 검출방법을 사용함. 얼굴 검출기를 통해 찾은 사각형의 공간 매핑 정보를 RGB-D카메라 정보를 이용해 추출. 이중에서 수평 방향 위치 성분을 추출하여 카메라를 중심으로 사용자 얼굴의 중심 위치(Facecenter)를 계산함.

(나) 사용자의 최종 중심위치(Usercenter)는 사용자 몸통 중심(Bodycenter)과 얼굴 중심 위치(Facecenter)를 합하여 계산(Usercenter = Bodycenter+Facecenter).

그리고, 도 7을 참고하여, 사람 몸체 추종을 위한 리니어 모터 시스템의 경로 생성 및 속도 제어 알고리즘을 이하에서처럼 산출한다.

(가) 스텝 모터의 속도제어 프로파일 생성 및 홈포지셔닝 : 가감속도 프로파일은 대칭형 사다리꼴 프로파일 형태로 설계하여 부드러운 구동이 가능하도록 하였음. 리밋스위치와 원점 스위치를 부착하여 시스템이 컨트롤 구간에서 벗어날 시 안전하게 멈출 수 있도록 함. 또한, 초기화시 +리밋 방향으로 홈포지셔닝을 수행할 수 있도록 함.

(나) 사람 몸체 추종 방법 : 사용자 중심 위치와 모니터의 현재 중심 위치 차이를 실시간으로 추적하고, 그 차이가 200mm를 벗어나게 되면 모니터의 중심 위치를 사용자 중심 위치로 이송하도록 알고리즘 개발. 위치 오차는 5mm 이내로 위치하도록 함. 이송중 사용자의 위치를 계속 추종하여 목표 위치를 실시간으로 업데이트하도록 함.

상기 제스처 카메라(RGB-D camera,40)는 도 1 및 도 3 내지 도 4에 도시한 바와 같이, 화면부(20) 즉, 디스플레이(22)의 상측부에 형성되어 사용자의 제스처를 인식하여 디스플레이(22)에 표시된 레시피의 화면을 조작한다.

여기서, 상기 제스처 카메라(40)는 사용자의 손 제스처(위,아래,좌,우,스크롤,클릭)를 인식하여 디스플레이(22)에 레시피가 표시될 수 있도록 조작한다. 이때, 상기 제스처 카메라(40)의 레시피 조작 인터페이싱 기술은 이하에서 기술한다.

상기 리니어 모터(linear motor)부(50)는 도 1 내지 도 2 및 도 4에 도시한 바와 같이, 화면부(20)의 후면부인 본체부(10)에 설치되어 화면부(20)와 제스처 카메라(40)가 연결되고, 상기 적외선 센서 어레이(30)에 의해 센싱된 사용자의 위치로 제스처 카메라(40) 및 디스플레이(22)를 이동시킨다.

여기서, 상기 리니어 모터 스테이지는 사용자의 움직임을 추적할 수 있는 선형 이송 메커니즘(볼-스크류 등)을 장착하고, 상기 볼 스크류(51)에는 이송부(52)가 형성되어 일측의 모터(미도시)에 의해 좌,우 이송되는데, 상기 이송부(52)는 제스처 카메라(40) 및 디스플레이(22)가 연결된다.

그리고, 상기 리니어 모터부(50)의 선형 이송범위는 1.2m로 분해능 2mm, 구동 속도는 20cm/s 이내에서 구동하도록 설계하고, 시스템의 안전성을 위해 최소, 최대 이송위치를 센싱하는 포토센서(미도시)를 부착한다.

이하에서는 상기에서 기술한 스마트 셰프 미러 시스템을 이용하여 제스처 기반 레시피 조작 인터페이싱 기술을 도 8 내지 도 13을 참고하여 설명한다.

가. 기술 개발 목표

(1) 적외선 센서 어레이(30)를 이용해 현재 사람의 위치를 인식하고, 사람의 움직임을 추종하기 위하여 리니어 모터부를 제어

(2) 리니어 모터부(50)에 설치된 디스플레이(22), 카메라(40)는 사람의 정면에 위치하여 사람과 상호작용을 수행

(3) 직관적인 제스처 명령을 통한 레시피 조작

(가) 필요성 : 사용자의 동작 명령을 기기에 전달하는 인터페이스 장치는 그 사용성과 신뢰도를 향상시키기 위하여 사용자의 의도를 편리하고 신속 정확하게 장치에 전달할 수 있어야 함. 만약 기기가 우수한 기능 수행 능력이 있다고 하더라도 그 인터페이스가 사용하기 불편하다면 사용자는 그 장치를 자주 유용하게 사용하지 않게 됨. 특별히 레시피 탐색 및 선택 기능은 사용자와 기기가 직접 상호작용을 하며 동작하므로 편리한 인터페이스 기능이 특히 중요함. 또한 사용자가 동작 명령을 내렸을 때 기기는 신속하고 정확하게 반응할 수 있어야 함. 이는 사용자가 장치에 대해 가지는 작동 신뢰성에 중요한 영향을 미치며, 사용자가 명령을 내린 후에 이에 따른 동작 여부를 사용자가 신뢰할 수 없다면, 이는 그 장치 전체에 대한 낮은 신뢰도로 이어지게 됨.

(나) 기술의 제한점 : 이러한 요건을 만족시키는 인터페이스를 개발함에 있어서 부엌이라는 특수한 환경은 다음과 같은 환경적 제한조건을 야기함. 첫 번째로, 일반적인 요리 상황에서 사용자는 양 손에 필요한 장비들을 착용하고 있고 조리대에는 다양한 용품들이 배치되어 있음. 이는 사용자가 레시피 디스플레이 장치에 접근하는데 공간적인 제약을 유발하므로, 화면 터치나 버튼 방식의 근접 조작은 편리한 인터페이스 방식으로는 한계가 있음. 두 번째로, 이를 극복하기 위해 원격조종 방식을 사용할 수 있으나, 리모콘과 같은 고전적인 버튼형 원격 인터페이스 방식은 손에 장치를 파지해야 하는 불편함이 있으며 이는 요리를 위한 두 손의 사용에 제약을 가져옴. 또한 기존의 복잡한 인터페이스 장치는 사용자가 이를 사용하는데 사전 학습이 필요하며, 이는 일부 학습에 어려움을 느끼는 사용자에게는 장치를 사용하는데 상당한 불편함을 가져옴.

(다) 기술 구현 목표 : 앞서 설명한 바와 같이 편리하고 신속 정확한 기능을 갖춤과 동시에 기존 방법의 한계를 극복하고 부엌이라는 환경에 최적화된 인터페이싱 기술을 개발하기 위해 본 과제에서는 다음과 같은 목표를 가지고 새로운 인터페이스 방식을 개발하였음.

① 자연스러운 인터페이스 : 화면 터치 및 리모콘 등의 정확한 명령 전달에만 초점을 맞춘 인터페이스 방식을 지양하고 부엌이라는 환경과 요리라는 상황을 고려하여 사용자 관점에서 자연스러운 인터페이스 방식을 고안하였음.

② 직관적인 인터페이스 : 레시피 탐색 및 선택하기 위한 사용자 명령은 아이템 네비게이션 기능, 선택 및 취소 기능 등이 필요함. 이를 사용자가 사전 학습 없이 직관적으로 동작시키기 위해 실제 레시피 책자를 다루는 듯한 손동작을 원격으로 인식하여 장치가 사용자의 명령을 이해할 수 있게 하였음.

③ 다양한 동작을 신속정확하게 인식 : 레시피 탐색 및 선택에 필요한 사용자의 다양한 동작을 인식하는데 있어서 500ms 이하의 빠른 응답 속도와 90% 이상의 인식률을 목표로 알고리즘을 개발하였음.

나. 기술 개발 방법

(1) 시스템 개념도 및 파이프라인 구성

(가) 하드웨어 시스템 상세 및 입출력 데이터

① 도 9와 같이 손 동작 인식을 위한 RGB-D카메라(ASUS, Xtion Pro)는 스마트미러 상단에 고정되어 있으며, 바닥으로부터 1.8m 높이에 위치함. 또한 45의 수직 시야각을 가진 카메라는 카메라 정면으로 1m~2m 사이에 사용자가 위치한다는 가정하에 사용자의 상체를 온전히 관찰하도록 함.

② RGB-D 카메라(40)로부터 획득된 영상은 30ms 마다 640480 크기의 RGB 및 거리 이미지를 컴퓨터로 송출. 각 픽셀에 대한 거리값은 카메라 내부 파라미터에 따라서 삼차원 공간상의 삼차원 위치 (x,y,z) 값으로 변환될 수 있으며, 이를 통해 매

시간에 획득된 RGB-D 영상은 다음과 같은 640480개의 점구름(point cloud) 데이터

로 변환됨.

(1)

③ 센서로부터 받은 영상 데이터는 매시간 일련의 계산과정을 거쳐서 동작 인식 결과를 출력함. 본 과제에서 목표로 하는 손 동작은 삼차원 공간에서 요리 레시피를 탐색 및 선택할 수 있도록 삼차원 공간 이동을 나타내는 제스처로, left, right, up, down, click, scroll-up scroll-down 등 7가지임. 아래 그림은 7가지 동작을 수행할 때 나타날 수 있는 사람의 자세 중 일부에 대한 거리 이미지 데이터를 점구름으로 시각화 한 그림임. 이와 같이 각 제스처는 왼손/오른손에 관계없이 수행될 수 있으며, 카메라로부터 획득한 거리데이터는 상대적으로 앞에 위치한 손의 움직임에 의해 많은 부분이 가려질 수 있음.

(나) 손동작 인식 소프트웨어 파이프라인

① RGB-D 카메라(40)로부터 7가지 제스처를 인식하기 위하여 본 과제에서는 아래 그림과 같은 파이프라인을 가지는 손 동작 인식 소프트웨어를 개발함. 본 소프트웨어의 특징은 얼굴 인식, 머리 인식, 손 인식 및 추적, 손 상태 인식, 제스처 인식 등으로 연결되는 단계적 종속구조를 가지므로, 앞서 언급한 강인하고 신속 정확한 인식이 가능.

② 매 프레임마다 RGB-D 카메라(40)로부터 RGB이미지(

)와 거리 이미지(

)가 각각 얻어짐. 이 중에 RGB 이미지는 널리 알려진 Haar 특징 기반 단계적 얼굴 인식기를 통해 이미지 상의 얼굴의 위치를 구함.

(2)

여기서, 사람의 얼굴은 기울어진 각도 및 조명에 따라 항상 검출이 되지 않을 수 있기 때문에 노이즈 및 검출 에러가 섞인 얼굴 정보를 토대로, 머리의 위치를 필터링하여 추정. 이 과정에서 거리 이미지가 부가적인 데이터로 사용되며, 이를 통해 사람의 시선이나 자세에 관계없이 강인한 머리 검출이 가능함. 이 때, 머리의 위치는 카메라를 원점으로 하는 삼차원 정보로 구해짐.

(3)

③ 사용자가 손 동작을 수행할 때, 항상 사람의 얼굴보다 앞에 손이 위치한다는 가정으로 손을 검출하기 위한 탐색영역을 축소시킴. 이러한 합리적 가정하에 손에 해당하는 점구름 데이터를 거리 이미지로부터 추출.

(4)

이렇게 구한 삼차원 공간상의 손 영역 점구름 데이터는 그 평균값으로 손의 현재 위치를 구하고 손 중심의 이동 경로를 저장하는 과정과, 현재 손의 모양이 쥐었는지(fist), 폈는지(palm)을 결정하는 과정을 거침.

(5)

(6)

④ 마지막으로, 손의 상태를 기반으로 시작점과 끝점을 계산한 다음, 그만큼에 해당하는 손의 이동경로를 분석하여 제스처의 종류를 판단.

{Left, Right, Up, Down, Click, Scroll up, Scroll down} (7)

(2) 개발 내용

이하에서는 앞서 간략히 설명한 소프트웨어 파이프라인의 각 부분을 자세히 기술하고, 제스처 인식을 위한 상세한 구현 방법을 설명한다.

(가) 얼굴 및 머리 검출

① 영상으로부터 움직임의 변화가 빠른 손을 직접 검출하는것 보다, 상대적으로 느린 사용자의 머리의 위치를 추적하고, 그 상대적인 위치를 기반으로 손 검출을 위한 탐색 영역을 한정시키는 것이 효과적. 여기서 기준점의 역할을 하는 머리는 특히 매시간 노이즈 및 계산오류에 강인하게 추적해야 함. 이를 위해, RGB-D 카메라(40)로부터 획득한 영상 중 RGB 이미지로부터 널리 사용되는 조명 및 환경변화에 강인한 얼굴 인식기를 사용. 이 부분은OpenCV에 구현된Haar 특징 기반 단계적 얼굴 인식방법을 통해 구현되었으며, 그 결과로 앞의 식 (2)와 같이 현재 얼굴의 위치를 이차원 이미지 상의 픽셀정보로 얻을 수 있음

.

② 사람이 옆이나 뒤를 바라보고 있을 경우, 즉 카메라에 얼굴의 정면이 충분히 관찰되지 않는 경우, RGB 영상 기반 얼굴 인식은 그 결과를 출력하지 못하며, 이는 때때로 데이터의 손실로 이어짐. 손의 움직임 경로 기반 동작인식을 위해서는 이러한 기준점의 손실은 치명적임. 따라서 RGB영상을 통한 얼굴 인식 결과와 더불어 거리이미지로부터 머리를 강인하게 추적하는 알고리즘을 개발함. 식 (3)과 같이, 이 알고리즘은 관찰된 이차원 얼굴 위치

,센서로부터 획득한 거리 이미지

,그리고 이전 시간에 추적했던 삼차원 머리 위치

를 입력으로 하여, 현재 추정된 삼차원 머리 위치

를 출력. 도 10은 각 데이터들을 확률변수로 하여 동적 베이지안 네트워크 모델로 나타내었음.

③ 위의 생성모델에서 알 수 있듯이, 사용자 머리의 삼차원 위치(

)로부터 정면 얼굴의 이차원 위치(

)및 거리 이미지(

)가 결정되며, 사용자의 이차원 및 삼차원 위치는 동적 모델을 가짐. 여기서, 사용자 머리의 삼차원 위치는 직접 관측할 수 없으므로, 하얀색 원으로 표현하였고, 정면 얼굴의 이차원 위치는 사용자의 자세에 따라 관측 되기도 하고 안되기도 하므로 회색 원으로 표현함. 거리 이미지는 매 시간 관측이 가능하므로 검은색 원으로 표현함. 이 생성 모델을 기반으로 숨겨진 삼차원 위치의 현재값을 관측된 값들로부터 추정하는 문제는 베이지안 규칙에 따라 다음과 같이 표현함.

(8)

(9)

④ 사람의 머리의 움직임은 선형 동적모델을 따른다고 가정했을 때, 적절한 우도함수

가 정의되면 위의 문제는 칼만필터링에 따라 재귀적인 알고리즘으로 손 쉽게 계산할 수 있음. 앞서 알아본 바와 같이, 관측 가능한 두 확률변수

중

는 매번 관측이 가능하고,

는 관측이 불가능 할 때가 있음. 하지만, 얼굴 인식을 통한 위치 값이 거리영상으로부터 대략적으로 추정된 머리의 위치보다 더 정확하다는 가정 하에서, 다음과 같이 두 경우를 분리하여 우도함수를 정의함.

(10)

여기서

는 머리위치(

)를 중심으로 해서 사람 평균 얼굴의 크기(반경 15cm) 만큼의 구모양의 삼차원 확률분포를 의미하며, 이에 속하는 점구름 데이터의 중심값을 관측된 머리위치(

)라고 정의.

(11)

⑤ 사람의 얼굴이 관측된 경우에 우도함수

는 머리 위치(

)와 동일한 중심값을 가지고, 역시 반경 15cm의 삼차원 분산값(

)을 가지는 확률분포로부터 셈플링된 값이라고 정의함.

(12)

이와 같은 우도함수의 정의와 더불어, 식 (8)과 (9)는 다음과 같은 칼만필터링 과정을 거쳐 계산. 먼저 선형 동적 모델에 의해 머리의 위치 및 분산값이 예측됨.

(13)

⑥ 그 다음으로 앞의 식 (11) 또는 (12)에서 계산된 관측값(

)및 관측 분산값(

)에 의해 (13)에서 계산된 예측값이 다음과 같이 보정됨.

(14)

⑦ 이와 같이 식 (13)과 (14)를 매 시간 반복적으로 계산하여 얼굴인식이 가능할 때 뿐만 아니라, 사용자의 다양한 자세 및 센서 데이터의 오류로 얼굴이 인식되지 않을 경우에도 머리 위치의 안정적인 추정이 가능함.

(나) 손 영역 점구름 검출 및 손 위치 인식

① 앞에서 추정한 안정적인 얼굴위치를 기반으로 해서 손에 해당하는 점구름 데이터는 다음과 같은 단계별 점구름 데이터 필터링 과정을 거쳤다.먼저 사람이 손 동작을 수행할 때, 손의 위치는 어께 위 그리고 카메라를 향한 방향으로 팔 길이(

)만큼의 반경을 가지는 영역(

)안에만 위치한다고 가정. 이러한 영역 제한 방법으로 첫 번째 필터링한 점구름

를 획득하였음. 아래 그림은 이렇게 정의된 손 동작 영역을 보여줌.

(14)

② 두 번째는

영역 안에 있는 점구름 데이터 중 피부색에 해당하는 데이터만 검출하였음. 피부색 여부는 ycbcr color space 기반의 skin color 모델 [39]을 사용하여 구현하였음.

(15)

③ 마지막으로, 사용자가 반소매 또는 민소매 옷을 입었을 경우에 피부가 노출된 팔 전부가 손으로 인식되므로,

중에서 원점

로부터 가장 먼곳에 있는 점(

)부터 일정 거리(

)이하에 있는 점들의 집합을 손에 해당하는 점구름이라고 인식하였음.

(16)

④ 이렇게 얻어진 손 영역 점구름 데이터로부터, 각 점 데이터의 삼차원 위치에 대한 평균으로 손의 중심 위치를 구함.

(17)

(다) 손 상태 인식

① 앞서 설명한 바와 같이, 빠르고 정확한 손 동작을 인식하기 위해서는 동작의 시작과 끝점을 인식하는 것이 중요. 본 과제에서는 자연스럽고 직관적인 동작을 통해 사용자가 동작의 시작과 끝을 표현할 수 있도록 동작기반 끝점 인식 방법을 고안함. 즉, 요리 레시피 책장을 잡고 넘기는 듯한 동작을 모방하여, 손의 쥐는 동작 및 펴는 동작을 인식하여 제스처의 시작점과 끝점으로 정의함.

② 앞의 식 (16)에서, 손 영역에 해당하는 점구름 데이터는, 원점에서 가장 멀리 떨어진 점(

)로부터 동일한 거리(

)안에 위치한 점들의 집합으로 정의. 따라서 손을 쥐거나 폈을 때, 도 12와 같이 점들의 분포된 모양은 다르게 나타남.

③ 손을 쥐고 있을 때는, 분포의 중심점(

)이 끝점(

)에 가까이 나타나고, 손을 폈을 때는 상대적으로 끝점보다 더 먼 곳에 분포의 중심점이 나타남. 이 두 가지 상태를 나누는 기준은 여러 가지 실험 환경 또는 가정에 따라 달라질 수 있지만, 본 과제에서 다양한 손의 크기 및 상황에 따라 실험한 결과, 손의 크기의 절반인 지점을 기준으로 중심점의 위치를 판별하여 두 동작을 구분했을 때, 가장 강인한 결과를 얻을 수 있었음. 따라서, 아래 (18)과 같이 손의 쥐거나 핀 상태

를 결정함.

(18)

(라) 손 동작 인식

① 앞에서 인식한 손의 현재 상태

에 따라, 현재 사용자가 손 동작으로 명령을 내리는 중인지 아닌지에 대한 판단을 함. 즉, 명령 제스처를 취할 때는 손을 쥐는 동작을 하고 손을 움직이고, 그렇지 않을 때는 손을 펴고 움직이게 됨. 이 정보에 기반하여, 사용자가 손을 편 상태에서 손을 쥔 상태로 바뀌는 시점의 손의 위치를

라 하고, 사용자가 손을 쥔 상태에서 손을 펴는 상태로 바꾸는 시점의 손의 위치를

라 하면, 제스처 동작에 해당하는 만큼의 손의 움직인 경로를

에 저장하게 됨. 그리고,

가 결정되는 순간

를 분석하여 7가지 제스처 중에 하나로 분류해낼 수 있음.

② 분류기는 앞서 설명한 바와 같이 HMM등과 같은 기계학습 기반의 분류기를 사용할 수 있다. 특히 HMM은 움직인 경로의 패턴, 즉 움직인 경로 상의 공간상의 일련의 상태 변화를 구분하는데 효과적이다. 하지만, 본 과제에서 설정한 7가지 지시 제스처는 정확한 끝점 인식 및 위치 추적에 기반하였을 때, 이동 경로보다는 제스처가 시작하는 위치(

)와 끝나는 위치(

)의 차이에 의해 사용자의 의도가 결정됨. 예를 들어, left 라는 동작은, 사용자의 손이 실제 동작을 시작한 위치보다 왼쪽에 위치 해야 하며, right라는 동작은 반대로 시작점보다 오른쪽에 위치해야 한다. 이런 경우에 중간 이동 경로를 고려한 인식기는 더 안좋은 성능을 낼 수 있으므로, 본 과제에서는 기계학습 기반 방법 보다 시작점과 끝점의 위치 차이에 의한 분류기를 사용함.

③ 먼저 동작이 끝났을 때, 시작위치로부터 동작이 끝난 위치까지 각 축방향으로 이동한 거리를 계산함.

(19)

이 중 수평방향(y축) 으로 사용자의 손이 이동한 정도가 다른 두 축보다 클 경우는 그 동작이 left 또는 right 임을 의미함. 따라서 아래 (20)과 같이, 시작 점보다 끝난 점이 왼쪽인지 오른쪽인지를 판별하여 left, right 둘 중에 한 가지 제스처를 결정함.

(20)

④ 같은 식으로, 수직방향(x축) 으로 사용자의 손이 이동한 정도가 다른 두 축보다 클 경우는 그 동작이 up 또는 down 인지 (21)와 같이 판단할 수 있음.

(21)

⑤ Click의 경우 {Fist, Palm}의 인식 횟수 및 주기를 이용해 Click, Double Click 등으로 판단할 수 있음. 이때, 영상 인식의 특성상 인식 프레임이 규칙적이지 않음을 고려해, 실시간 클락을 체크하여 비주기 샘플링을 주기화하는 알고리즘을 삽입하고, 이후 FFT를 거쳐 Fist와 Palm의 주기성을 계산함.

⑥ Scroll은 Up과 Down 제스처 인식 결과를 활용하여 Up/Down의 양을 계산하고, 이를 스크롤 속도에 반영하는 알고리즘을 개발함. 예를 들어, Up 상태를 인식한 상태에서 손의 이동 경로 중 Up 방향의 성분을 계산하여 거리를 5단계로 구분하고, 1단계는 None, 2단계~5단계는 단계가 상승할 때마다 스크롤 업 속도를 증가시키도록 구현함.

10 : 본체부 11 : 제어부
20 : 화면부 21 : 하프미러
22 : 디스플레이
30 : 적외선 센서 어레이 31 : IR 센서
40 : 제스처 카메라
50 : 리니어 모터부 51 : 볼 스크류
52 : 이송부

Claims

맞춤형의 레시피를 편리하게 제공하기 위한 스마트 셰프 미러 시스템에 있어서,
제어부(11)가 구비된 본체부(10)와;
상기 본체부(10)의 일측면에 설치되고, 상기 제어부(11)와 연결되어 레시피가 화면에 표시되는 화면부(20)와;
상기 화면부(20)의 후면부에 형성되어 사용자의 근접을 센싱하여 셰프 미러 시스템이 작동되고, 동시에 근접한 사용자의 위치를 파악하여 제어부(11)에 신호를 전달하는 적외선 센서 어레이(infrared sensor array,30)와;
상기 화면부(20)의 하단부에 형성되어 사용자의 제스처를 인식하여 화면부(20)에 표시된 레시피의 화면을 조작하는 제스처 카메라(40)와;
상기 화면부(20)의 후면부인 본체부(10)에 설치되어 화면부(20)와 제스처 카메라(40)가 연결되고, 상기 적외선 센서 어레이(30)에 의해 센싱된 사용자의 위치로 제스처 카메라(40)를 이동시키는 리니어 모터(linear motor)부(50);
를 포함하여 구성되는 것을 특징으로 하는 스마트 셰프 미러 시스템.
제 1항에 있어서,
상기 화면부(20)는,
상기 본체부(10)의 정면부에 설치되어 평소에는 거울로 사용되는 하프 미러(21)와;
상기 하프 미러(21)의 후면에 구비되어 제어부(11)의 레시피가 표시되는 디스플레이(22);
를 포함하여 구성되는 것을 특징으로 하는 스마트 셰프 미러 시스템.
제 2항에 있어서,
상기 디스플레이(22)는 리니어 모터부(50)와 연결되어 적외선 센서 어레이(30)에 의해 센싱된 사용자의 위치로 리니어 모터부(50)에 의해 제스처 카메라(40)와 함께 이동되는 것을 특징으로 하는 스마트 셰프 미러 시스템.
제 2항에 있어서,
상기 제스처 카메라(40)는 사용자의 손 제스처(위,아래,좌,우,스크롤,클릭)를 인식하여 디스플레이(22)에 레시피가 표시될 수 있도록 조작하는 것을 특징으로 하는 스마트 셰프 미러 시스템.
제 4항에 있어서,
상기 제어부(11)는 제스처 카메라(40)에 의해 조작되어 표시될 레시피를 데이터 베이스(DB)에 저장한 후, 디스플레이(22)에 레시피를 표시하는 것을 특징으로 하는 스마트 셰프 미러 시스템.
제 1항 또는 제 5항에 있어서,
상기 제어부(11)는 컴퓨터(computer)와 컨트롤러(controller)로 이루어져 레시피를 컴퓨터의 인터넷에서 제스처 카메라(40)에 의한 조작에 의해 검색하여 화면부(20)에 표시하는 것을 특징으로 하는 스마트 셰프 미러 시스템.
제 1항에 있어서,
상기 적외선 센서 어레이(30)는 본체부(10)의 수평 길이방향으로 상호 이격된 다수개의 IR 센서(31)가 형성되어 사용자의 정위치를 파악할 수 있는 것을 특징으로 하는 스마트 셰프 미러 시스템.