KR20200069513A - 냉장고용 카메라 모듈 - Google Patents

Abstract

본 발명은 냉장고 내부를 촬영한 이미지 데이터를 기존 통신 방식으로 송수신할 수 있는 냉장고용 카메라 모듈에 관한 것으로, 냉장고 내부의 이미지 데이터를 획득할 수 있는 적어도 하나 이상의 이미지 센서부; 상기 이미지 센서부로부터 제공된 이미지 데이터를 압축 및 분할하여 다수의 이미지 패킷으로 생성하는 이미지 패킷 생성부; 상기 이미지 패킷으로부터 제공된 이미지 패킷을 범용 비동기화 송수신기(Universal asynchronous receiver transmitter: UART) 처리용 신호로 변환하여 분할하여 무선 방식으로 외부 장치로 전송하는 무선 통신모듈; 및 상기 이미지 패킷을 상기 무선 통신 모듈을 통해 외부 장치로 송신하고, 상기 무선 통신모듈을 통해 사용자 단말기로부터 수신한 사용자 요청 신호를 분석하여 대응하는 이미지 패킷을 상기 외부 장치로부터 추출하여 사용자 단말기로 전송하도록 상기 무선 통신 모듈을 제어하는 제어부를 포함하여 이루어지며, 기존 사물 인터넷(IoT) 모듈에 사용할 수 있는 UART 통신 방식을 이용하는 무선 통신 모듈을 활용하여 냉장고 내부의 내용물에 대한 선명한 이미지를 원격지에서 사용자의 디스플레이 장치를 이용하여 확인할 수 있다.

Description

냉장고용 카메라 모듈{Camera module for a refrigerator}

본 발명은 냉장고용 카메라 모듈에 관한 것으로서, 더욱 상세하게는 냉장고 내부를 촬영한 이미지 데이터를 기존 통신 방식으로 송수신할 수 있는 냉장고용 카메라 모듈에 관한 것이다.

기술의 발전에 따라 가전 제품에도 사물 인터넷(Internet of Things: IoT) 기술이 접목되어, 내부에 카메라가 설치된 냉장고가 개발되었다. 냉장고의 외부에는 액정 디스플레이 장치가 설치되어 상기 카메라에 의해 촬영된 냉장고 내부 이미지 정보를 실시간 표시할 수 있다.

그러나, 이와 같이 외부에 액정 디스플레이 장치를 설치하여 냉장고 내부에 저장된 내용물을 확인하기 위한 기술적 구성요소의 설치비용이 매우 비싸다. 따라서, 실시간 냉장고 내용물의 이미지 확인이 필요없는 모델에 대한 필요성과 함께 기존 사물 인터넷(Internet of Things: IoT) 모듈에 사용했던 범용 비동기화 송수신 방식을 이용하는 무선 통신 모듈을 재사용할 필요성이 대두되고 있다.

또한 카메라 모듈로부터 냉장고 전면에 형성된 액정 디스플레이 장치까지의 배선 길이로 인해 신호 전송에 에러가 발생할 확률이 높다.

본 발명은 기존 사물 인터넷(Internet of Things: IoT) 모듈에 사용할 수 있는 범용 비동기화 송수신기(Universal Asynchronous Receiver Transmitter: UART) 통신 방식을 이용할 수 있는 냉장고용 카메라 모듈을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 촬영한 이미지를 바로 확인할 필요가 없는 냉장고에 적용할 수 있는 냉장고용 카메라 모듈을 제공하는 것이다.

본 발명의 또 다른 목적은 기존 사물 인터넷 모듈에 사용했던 범용 비동기화 송수신 방식을 이용하는 무선 통신 모듈을 활용할 수 있는 냉장고용 카메라 모듈을 제공하는 것이다.

본 발명의 또 다른 목적은 냉장고 내부의 내용물을 원격지에서 사용자의 디스플레이 장치를 이용하여 확인할 수 있는 냉장고용 카메라 모듈을 제공하는 것이다.

본 발명의 또 다른 목적은 김서림을 방지하여 선명한 이미지를 촬영할 수 있는 냉장고용 카메라 모듈을 제공하는 것이다.

본 발명의 또 다른 목적은 제품의 신뢰성을 확보하기 위해 방수 기능을 갖는 냉장고용 카메라 모듈을 제공하는 것이다.

이러한 목적들을 달성하기 위한 냉장고용 카메라 모듈은 냉장고 내부의 이미지 데이터를 획득할 수 있는 적어도 하나 이상의 이미지 센서부와 상기 이미지 센서부로부터 제공된 이미지 데이터를 압축 및 분할하여 다수의 이미지 패킷으로 생성하는 이미지 패킷 생성부를 갖는 카메라; 상기 이미지 패킷 생성부로부터 제공된 이미지 패킷을 범용 비동기화 송수신기(Universal asynchronous receiver transmitter: UART) 처리용 신호로 변환하여 분할하여 무선 방식으로 외부 장치로 전송하는 무선 통신모듈; 및 상기 이미지 패킷을 상기 무선 통신 모듈을 통해 외부 장치로 송신하고, 상기 무선 통신모듈을 통해 사용자 단말기로부터 수신한 사용자 요청 신호를 분석하여 대응하는 이미지 패킷을 상기 외부 장치로부터 추출하여 사용자 단말기로 전송하도록 상기 무선 통신 모듈을 제어하는 제어부를 포함하여 이루어지는 것을 기술적 특징으로 한다.

본 발명에 따른 냉장고용 카메라 모듈의 세부적 특징은 상기 이미지 센서부, 이미지 패킷 생성부, 무선 통신모듈 및 제어부는 방수용 하우징에 내장되는 것이 바람직하다.

본 발명에 따른 냉장고용 카메라 모듈의 세부적 특징은 상기 이미지 센서부가 전원을 이용하여 렌즈에 열을 가할 수 있는 열선을 포함하는 점이다.

본 발명에 따른 냉장고용 카메라 모듈의 세부적 특징은 상기 이미지 패킷 생성부가 하나의 라인에 해당하는 상기 이미지 데이터를 복수 개의 이미지 패킷과 라인 시작 및 끝을 알리는 라인 제어 패킷으로 생성하는 점이다.

본 발명에 따른 냉장고용 카메라 모듈의 세부적 특징은 상기 이미지 패킷이 패킷의 종류(pkt_type), 여분(reserved), 패킷 아이디(packet_ID), 카메라 아이디(camera_ID), 이미지 데이터, 에러 검출을 위한 체크섬(checksum), 패킷의 끝을 알리는 이오피(EOP:end of packet)를 포함하는 점이다.

본 발명에 따른 냉장고용 카메라 모듈의 세부적 특징은 상기 이미지 패킷 생성부로부터 출력되는 상기 이미지 패킷을 임시 보관하는 이미지 패킷 저장부를 더 포함하는 점이다.

본 발명의 바람직한 실시에 따른 냉장고용 카메라 모듈은 상기 이미지 패킷 생성부가 엠제이펙(MJPEG) 또는 에이치 닷 264(H.264) 코덱을 사용하여 풀 HD(FHD) 화질의 이미지 데이터를 상기 이미지 패킷 저장부에 저장한다.

본 발명에 따른 냉장고용 카메라 모듈에서 상기 무선 통신모듈은 이미지 전체 데이터를 한번에 전송하거나 2048 바이트로 분할하여 전송할 수 있다.

본 발명에 따른 냉장고용 카메라 모듈은 다수의 카메라의 이미지 패킷 생성부로부터 제공되는 이미지 데이터 패킷을 상기 제어부로 선택적으로 전달하는 허브를 더 포함할 수 있다.

본 발명에 따른 냉장고용 카메라 모듈에서의 허브는 다수의 이미지 센서부 및 제어부와 범용 직렬 버스(Universal Serial Bus: USB) 통신 방식으로 데이터 통신을 수행한다.

본 발명에 따른 냉장고용 카메라 모듈은 다음과 같은 효과를 나타낼 수 있다.

첫째, 기존 사물 인터넷(Internet of Things: IoT) 모듈에 사용할 수 있는 범용 비동기화 송수신기(Universal Asynchronous Receiver Transmitter: UART) 통신 방식을 이용할 수 있다.

둘째, 기존 사물 인터넷 모듈에 사용했던 범용 비동기화 송수신 방식을 이용하는 무선 통신 모듈을 활용할 수 있다.

셋째, 냉장고 내부의 내용물을 원격지에서 사용자의 디스플레이 장치를 이용하여 확인할 수 있다.

넷째, 김서림을 방지하여 선명한 이미지를 촬영할 수 있다.

다섯째, 방수 기능을 구비하여 제품의 신뢰성을 확보할 수 있다.

도 1은 일반적인 냉장고의 정면도이다.
도 2는 도 1에서 도어가 개방된 상태의 냉장고를 나타낸 예시도이다.
도 3은 본 발명에 따른 냉장고용 카메라 모듈을 적용한 이미지 데이터 처리 시스템의 구성을 나타낸 예시도이다.
도 4는 본 발명에 따른 냉장고용 카메라 모듈의 구성을 개략적으로 나타낸 블럭도이다.
도 5는 본 발명에 따른 이미지데이터 및 제어신호의 패킷구조를 나타낸 예시도이다.
도 6a는 본 발명에 따른 냉장고용 카메라 모듈에서 생성한 이미지 데이터를 인터넷 망을 통해 외부 장치인 클라우드 서버로 전송하는 예를 나타낸 예시도이고, 도 6b는 인터넷 망을 통해 클라우드 서버로부터 이미지 데이터를 수신하는 것을 나타낸 예시도이다.
도 7a 및 도 7b는 사용자 단말기를 통해 냉장고 내용물 이미지 데이터를 확인하는 것을 나타낸 예시도이다.
도 8은 본 발명에 따른 냉장고용 카메라 모듈을 이용하여 냉장고 내부 이미지를 클라우드 서버로 전송하는 과정을 나타낸 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 개시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급한 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에'', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

시간 관계에 대한 설명일 경우, 예를 들어, '~후에', '~에 이어서', '~다음에', '~전에' 등으로 시간적 선후 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.

제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

본 명세서의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

도 1은 본 발명에 따른 냉장고용 카메라 모듈이 장착될 냉장고의 정면도이고, 도 2는 도 1에서 도어가 개방된 도면이다. 이하 도 1 및 도 2를 참조해서 설명한다.

본 발명에 따른 냉장고용 카메라 모듈이 장착될 냉장고는 식품이 저장되는 저장실인 냉동실과 냉장실이 상/하로 구획되어 냉동실이 냉장실의 상측에 배치되는 탑 마운트 타입(Top Mount-Type)과, 냉동실과 냉장실이 좌/우측으로 구획된 사이드 바이 사이드 타입(Side By Side-Type)의 냉장고에도 동일하게 적용가능하다.

다만 본 실시예에서는 설명의 편의상 냉동실과 냉장실이 상/하로 구획되고 냉동실이 냉장실의 하측에 배치되는 바텀 프리져 타입(Bottom Freezer-Type)을 중심으로 설명한다.

냉장고의 본체는 외부에서 사용자가 보았을 때에 전체적인 외관을 형성하는 아우터 케이스(10)와 내부에 식품이 보관되는 저장실(22)을 형성하는 인너 케이스(12)를 포함한다. 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 소정의 공간이 형성되어 냉기가 순환되는 통로 등이 형성될 수 있다. 한편 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 단열재가 충진되어서 상기 저장실(22)의 내부가 외부에 비해서 상대적으로 저온을 유지할 수 있다.

또한 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이 공간에 형성된 기계실(미도시)에는 냉매를 순환시켜 냉기를 발생시키는 냉매사이클장치가 설치된다. 냉매사이클장치를 이용해 냉장고 내부를 저온으로 유지하여 보관하는 식품류의 신선도를 유지될 수 있다. 냉매사이클장치는 냉매를 압축하는 압축기, 액체상태의 냉매를 기체상태로 상변환시켜 외부와 열교환이 이루어지게 하는 증발기(미도시) 등을 포함한다.

냉장고에는 저장실을 개폐하는 도어(20, 30)가 구비된다. 이때 도어는 각각 냉동실 도어(30) 및 상기 냉장실 도어(20)를 포함할 수 있고, 각각의 도어는 그 일단이 힌지에 의해서 냉장고의 본체에 회동가능하게 설치된다. 상기 냉동실 도어(30) 및 상기 냉장실 도어(20)는 복수 개로 이루어질 수 있다. 즉 도 2에 도시된 바와 같이, 상기 냉장실 도어(20) 및 상기 냉동실 도어(30)는 전방을 향해서 냉장고의 양 모서리를 중심으로 개방되는 형태로 설치될 수 있다.

상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 발포제가 충진되어서, 외부와 상기 저장실(22)의 사이에는 단열될 수 있다.

상기 저장실(22)은 상기 인너 케이스(12)와 상기 도어(20)에 의해서 외부로부터 단열된 공간을 이룬다. 상기 저장실(22)은 상기 도어(20)가 상기 저장실(22)을 밀폐하게 되면, 외부로부터 격리되어 단열되는 공간을 형성할 수 있다. 다시 말하면, 상기 저장실(22)은 도어(20)에 의한 단열벽 그리고 케이스(10, 12)에 의한 단열벽을 통해 외부와 격리되는 공간이라 할 수 있다.

상기 저장실(22) 내에는 기계실에서 공급되는 냉기가 곳곳으로 유동가능해서, 상기 저장실(22) 내에 보관되는 식품이 저온 상태를 유지할 수 있다.

상기 인너 케이스(12)는 상기 저장실(22)의 바닥에 베리어(60)를 구성할 수 있다. 상기 저장실(22)의 하단에는 베리어(Barrier)(60)가 설치되어, 상기 냉동실과 상기 냉장실을 구분할 수 있다. 상기 베리어(60)는 소정의 두께로 이루어져, 상기 인너 케이스(12)에 형성될 수 있다. 상기 베리어(60)는 수평방향으로 연장될 수 있다.

상기 저장실(22)에는 상측에 식품이 거치되는 선반(40)을 포함할 수 있다. 이때 상기 선반(40)은 복수 개가 마련되고, 각각의 선반(40)에는 식품이 거치될 수 있다. 상기 선반(40)은 상기 저장실의 내부를 수평 방향으로 구획할 수 있다.

상기 저장실(22)에는 인입 또는 인출이 가능한 드로워(50)가 설치된다. 상기 드로워(50)에는 식품 등이 수용되어 보관된다. 상기 드로워(40)는 상기 저장실(22) 내에 좌우측으로 두 개가 배치되는 것이 가능하다. 사용자는 좌측에 배치되는 드로워에 접근하기 위해서는 상기 저장실(22)의 좌측 도어를 개방할 수 있다. 반면에 사용자가 우측에 배치되는 드로워에 접근하기 위해서는 상기 저장실(22)의 우측 도어를 개방할 수 있다.

상기 베리어(60)에는 식품이 저장되는 공간이 형성될 수 있다. 상기 베리어(60)는 상기 도어에 마련되지 않고, 상기 인너 케이스(12)에 마련되기 때문에, 도어의 회전에 따라 이동되지 않고 고정된 상태가 유지된다. 따라서 사용자가 안정적으로 식품을 수납하거나 인출할 수 있다.

상기 저장실(22) 내에는 상기 선반(40)의 상측에 위치하는 공간, 상기 드로워(50)에 의해서 형성되는 공간, 상기 베리어(60)에 형성되는 공간 등으로 구분되어서, 식품이 저장되는 공간이 복수 개로 구획될 수 있다.

이때 각각의 공간은 하나의 저장실(storage compartment)(22)의 내부에 배치되는 저장 공간으로, 상기 저장실(22)에 공급되는 냉기가 각각의 공간으로 이동될 수 있다. 즉 각각의 공간은 서로 냉기가 이동될 수 있을 정도로 구획되기 때문에, 앞에서 서술한 저장실과는 서로 다른 의미를 가지게 된다.

특히 각각의 공간은 단열되는 공간을 이루는 저장실과는 달리, 하나의 저장실 내에서 온도 차이는 존재할 수 있지만 서로 단열되는 공간을 이루지는 않는다.

하나의 저장실에 공급되는 냉기는 다른 저장실로 자유롭게 이동하지는 않지만, 하나의 저장실에 공급되는 냉기는 하나의 저장실 내부에 설치되는 각각의 구획되는 공간으로 자유롭게 이동할 수 있다. 즉 상기 선반(40)의 상측에 위치하는 냉기는 상기 드로워(50)에 의해서 형성되는 공간으로 이동가능하다.

또한 본 발명은 상기 저장실(22) 내부의 사진을 촬영하는 하나의 카메라(70)를 포함할 수 있다. 이때 상기 카메라(70)는 고정된 위치를 유지하도록 마련되어서, 동일한 부분을 촬영하는 것이 가능하다.

특히 상기 카메라(70)는 상기 인너 케이스(12)의 상측벽에 아래를 향하도록 설치되어서, 상기 저장실(22)에 저장된 식품에 대한 사진을 촬영할 수 있다. 촬영된 사진의 모습은 사용자가 내려다본 형태, 즉 실제 냉장고를 사용할 때에 사용자가 바라보는 형태의 모습을 가질 수 있다.

특히 상기 카메라(70)는 상기 드로워가 완전히 열린 상태에 있을 때에 드로워 내부에 대응되는 위치에 설치되어, 촬영된 사진은 사용자가 드로워 내부를 위에서 바라본 것과 유사한 화면을 제공할 수 있다.

이때 상기 저장실(22)은 상기 선반(40)에 식품이 거치되는 제1영역(42), 상기 드로워(50)의 내측 공간에 의해서 정의되는 제2영역(52)을 포함할 수 있다. 또한 제1영역과 제2영역과는 다른 저장 공간인, 상기 드로워(50)가 인출되면 상기 제2영역(52)에 중첩되는 제3영역(62)을 포함할 수 있다. 이 부분에 대해서는 이후에 보다 상세하게 설명한다.

상기 제1영역(42), 상기 제2영역(52)은 상기 저장실(22) 내에서 전체적으로 높낮이를 달리할 수 있다. 즉 상기 제1영역(42), 상기 제2영역(52)의 순서로 낮아질 수 있다.

상기 저장실(22)에 공급되는 냉기는 상기 제1영역(42), 상기 제2영역(52)으로 이동될 수 있고, 각각의 영역에 위치하는 냉기는 다른 영역으로도 이동될 수 있다.

상기 냉장실 도어(20)의 내측에는 복수 개의 바스켓(80)이 구비될 수 있다. 각각의 상기 바스켓(72)은 서로 높이를 달리하게 배치되어서, 상기 바스켓(80)의 내부 공간에는 식품이 저장될 수 있다.

이때 상기 바스켓(80)의 내부 공간을 제4영역(82)으로 정의한다. 상기 제4영역(82)은 상기 저장실의 내부에 배치되되, 상기 도어(20)에 설치된 바스켓(80) 등에 의해서 식품이 저장될 수 있는 공간을 의미할 수 있다. 물론 상기 제4영역(82)은 상기 바스켓(80)이 아닌 선반 등 상기 도어(20)의 내측에 설치되어 식품이 저장될 수 있는 어떠한 공간도 모두 의미할 수 있다.

상기 제4영역(82)은 상기 도어(20)가 양측에 배치되는 경우에 두 개의 도어의 내측면의 공간을 모두 의미하는 것도 가능하고, 하나의 도어의 내측면의 공간을 의미하는 것도 가능하다.

도 3은 본 발명에 따른 냉장고용 카메라 모듈을 적용한 이미지 데이터 처리 시스템의 구성을 나타낸 예시도이다. 도시하는 바와 같이 본 실시 형태의 카메라 시스템(1)은 본 실시 형태에 있어서의 촬상 대상인 냉장고(2), 냉장고(2)에 설치되어 있는 통신 어댑터(3), 통신 어댑터(3)와의 사이에서 근거리 통신 등의 무선 통신을 수행하는 액세스 포인트(4), 이동통신 단말기(5)(스마트폰), 서버(6) 및 본 실시 형태에서는 냉장고(2) 내에 설치되어 있는 카메라 장치(7) 등을 포함하여 이루어진다. 이들 냉장고(2), 휴대 단말기(5), 서버(6) 및 카메라 장치(7)는 액세스 포인트(4) 및 외부 네트워크(8)를 통하여 서로 통신 가능하게 접속되어 있다.

즉, 본 실시 형태에서는 카메라 시스템(1)은 냉장고(2)의 고내의 화상을 취득하는 냉장고(2)용 화상 취득 시스템으로서 기능하고 있다.

냉장고(2)에 설치되어 있는 통신 어댑터(3)는 액세스 포인트(4)와의 사이에서 근거리 무선 통신을 행하는 것으로, 본 실시 형태에서는 냉장고(2)의 상부에 착탈 가능(후면 부착 가능)하게 설치되어 있다. 또한, 통신 어댑터(3)를 냉장고(2)에 내장한 구성으로 하여도 되고, 냉장고(2)와 액세스 포인트(4)의 사이를 유선 통신 방식으로 접속하여도 된다.

이동통신 단말기(5)는 소위 스마트 폰(고기능 휴대 전화)이나 태블릿 PC 등을 상정하고 있고, 주택 안 또는 주택 밖으로부터 냉장고(2)나 서버(6)와의 사이에서 통신 가능하게 되어 있다. 이 휴대 단말기(5)는 주택 안이어도 광역 통신에 의해 외부 네트워크(8)를 경유하여 냉장고(2)측과 통신하는 것이 가능하다. 또한, 휴대 단말기(5)의 표시부에는 터치 패널이 설치되어 있고, 사용자의 조작을 받아들인다.

서버(6)는 주지의 컴퓨터 시스템에 의해 구성되어 있고, 화상 정보를 기억하기 위한 기억부를 구비하고 있다. 여기서, 화상 정보란 화상을 나타내는 정보(데이터)이고, 예를 들어 비트맵 형식이나 JPEG 형식, MPEG 형식 등의 주지의 정지 화상 또는 동영상 포맷의 화상 데이터나 그 화상 데이터를 압축이나 암호화 또는 화상 처리 등에 의해 변환한 데이터 등, 서버(6)에 송신 가능하며, 최종적으로 휴대 단말기(5)로 화상을 열람할 수 있는 것이면, 어떠한 형상의 정보여도 된다. 본 실시 형태에서는 화상은 정지 화상을 상정하고 있다. 또한, 서버(6)에는 화상 정보 외에 냉장고(2)측에 액세스하기 위한 정보(예를 들어 IP 어드레스 등)나 후술하는카메라 장치(7)로 촬상을 행하기 위한 조건 등을 기억하고 있다.

도 4는 본 발명에 따른 냉장고용 카메라 모듈의 구성을 개략적으로 나타낸 블럭도이다.

각 카메라(110)는 냉장고 내부의 이미지 데이터를 획득할 수 있는 적어도 하나 이상의 이미지 센서부(101)와 상기 이미지 센서부(101)로부터 제공된 이미지 데이터를 압축 및 분할하여 다수의 이미지 패킷으로 생성하는 이미지 패킷 생성부(102)를 포함한다.

상기 이미지 패킷 생성부(102)로부터 제공된 이미지 패킷을 범용 비동기화 송수신기(Universal asynchronous receiver transmitter: UART) 처리용 신호로 변환하여 분할하여 무선 방식으로 외부 장치로 전송하는 무선 통신모듈(150)와 상기 이미지 패킷을 상기 무선 통신 모듈(150)을 통해 외부 장치로 송신하고, 상기 무선 통신모듈을 통해 사용자 단말기로부터 수신한 사용자 요청 신호를 분석하여 대응하는 이미지 패킷을 상기 외부 장치로부터 추출하여 사용자 단말기로 전송하도록 상기 무선 통신 모듈을 제어하는 제어부(130)를 포함하여 이루어진다.

다수의 카메라(110)로부터 제공되는 이미지 데이터 패킷을 상기 제어부(130)로 선택적으로 전달하는 허브(120)와, 상기 제어부(150)를 포함한 각 구성요소에 동작 전원을 공급하는 전원제어회로(Power management integrated circuit: PMIC)(160)와, 상기 제어부(130)에 필요한 프로그램 및 상기 제어부(130)로부터 제공된 이미지 데이터를 저장하는 이미지 패킷 저장부(140: 메모리)를 더 포함하여 구성된다.

상기 허브(120)는 다수의 카메라(110) 및 제어부(130)와 범용 직렬 버스(Universal Serial Bus: USB) 통신 방식으로 데이터 통신을 수행한다.

또한, 상기 제어부(130)는 냉장고에 포함된 중앙제어장치(Main control unit: MCU)와 범용 비동기화 송수신기(Universal asynchronous receiver transmitter: UART) 방식으로 데이터 통신을 수행한다.

상기 카메라(110), 무선 통신모듈(150) 및 제어부(130)는 방수용 하우징에 내장되어 제품의 신뢰성을 향상할 수 있다.

상기 이미지 센서부(101)는 전원을 이용하여 렌즈에 열을 가할 수 있는 열선(도시하지 않음)을 포함할 수 있다.

이미지 패킷 생성부(102)는 하나의 라인에 해당하는 상기 이미지데이터를 복수 개의 이미지 패킷과 라인 시작 및 끝을 알리는 라인 제어 패킷으로 생성한다.

상기 메모리(140)는 상기 이미지 패킷 생성부(102)로부터 출력되는 상기 이미지 패킷을 임시 보관하는 역할을 수행한다.

상기 이미지 패킷 생성부(102)는 엠제이펙(MJPEG) 또는 에이치 닷 264(H.264) 코덱을 사용하여 풀 HD(FHD) 화질의 이미지 데이터를 상기 이미지 패킷 저장부(140)에 저장한다.

상기 무선 통신모듈(150)은 이미지 전체 데이터를 한번에 전송하거나 2048 바이트로 분할하여 전송할 수 있다.

상기 이미지 패킷은 도 5a에 도시된 바와 같이 패킷종류(pkt_type), 여분(reserved), 패킷 아이디(packet_ID), 카메라 아이디(camera_ID), 이미지데이터, 에러 검출을 위한 체크섬(checksum), 패킷의 끝을 알리는 이오피(EOP:end of packet:EOP)로 구성된다. 그리고, 상기 라인 제어 패킷은 도 5b에 도시된 바와 같이 식별자(LCP:line control packet), 라인의 시작 또는 끝을 알리는 라인 제어 패킷의 종류(LCTYPE), 패킷 아이디, 카메라 아이디, 현재 라인이 몇 번째 라인인지를 알리는 라인 아이디, 이어서 에러 체크섬 및 이오피(EOP)로 구성된다. 상기 이미지 데이터 패킷과 상기 라인 제어 패킷은 도 5c와 같이 상기 라인 제어 패킷의 라인 시작 패킷과, 복수 개의 이미지 데이터 패킷과, 라인의 끝을 알리는 라인 제어 패킷 순서대로 전송된다. 상기와 같이 하나의 라인 이미지데이터를 여러 개의 이미지 패킷으로 나누어 보냄으로 데이터 에러 발생시 해당 이미지 패킷만 재전송 받기 때문에 시간 손실을 최소화하여 데이터 복구를 수행할 수 있다.

도 6a는 본 발명에 따른 냉장고용 카메라 모듈에서 생성한 이미지 데이터를 인터넷 망을 통해 외부 장치인 클라우드 서버로 전송하는 예를 나타낸 예시도이고, 도 6b는 인터넷 망을 통해 클라우드 서버로부터 이미지 데이터를 수신하는 것을 나타낸 예시도이다.

도 6a에 도시한 바와 같이, 카메라(110) 내부의 이미지 패킷 생성부에서 위에서 설명한 바와 같이 생성한 n개의 이미지 패킷(패킷 1, 패킷 2, …, 패킷 n)을 USB 통신 방식으로 제어부(130)으로 전송한다.

제어부(130)는 수신한 이미지 데이터를 메모리(140)에 저장한다. 일정 주기 또는 필요에 의해 메모리(140)에 저장된 이미지 데이터 중 조건에 대응하는 이미지를 추출하고 무선 통신 모듈(150)을 제어하여 인터넷을 통해 클라우드 서버로 전송한다. 이때, 상기 제어부(150)와 무선 통신 모듈(150)은 UART 통신 방식으로 데이터 통신을 수행한다.

한편, 외부 클라우드 서버로부터 이미지를 수신해야 하는 상황이 발생할 수 있다. 제어부(130)는 무선 통신 모듈(150)을 제어하여 인터넷을 통해 조건에 부합하는 이미지 데이터를 수신한다. 이때, 상기 제어부(150)와 무선 통신 모듈(150)은 UART 통신 방식으로 데이터 통신을 수행한다.

도 7a 및 도 7b는 사용자 단말기를 통해 냉장고 내용물 이미지 데이터를 확인하는 것을 나타낸 예시도이다. 사용자가 자신의 단말기를 이용하여 클라우드 서버 또는 카메라 모듈 내부의 메모리에 저장된 이미지를 찾기 위한 어플리케이션을 구동하면 도 7a에 도시한 바와 같이, 사용자가 검색하고자 하는 이미지 데이터의 생성일자를 확인하는 화면을 표시한다. 사용자가 검색 일자를 선택하면, 도 7b에 도시한 바와 같이, 냉장실 또는 냉동실의 이미지 데이터를 선택할 수 있는 메뉴를 표시한다. 예를 들어, 사용자가 냉장실 이미지를 선택한 경우라면, 도시한 바와 같이 냉장실의 구분된 영역을 선택할 수 있는 메뉴 화면을 표시할 수 있다.

도 8은 본 발명에 따른 냉장고용 카메라 모듈을 이용하여 냉장고 내부 이미지를 클라우드 서버로 전송하는 과정을 나타낸 흐름도이다. 이하의 동작에서 감지 및 제어의 동작 주체는 카메라 모듈의 이미지 패킷 생성부, 제어부 및 무선 통신 모듈이 될 수 있다.

전원을 인가하면(S801) 카메라에 전원이 공급된다(S802).

냉장고 도어 센서의 감지 신호에 따라 제어부는 냉장고 도어의 오픈 여부를 판단한다 (S803).

도어가 오픈된 것으로 판단하면, 카메라의 이미지 센서부에 연결된 열선에 전원을 공급하여 카메라의 렌즈 글래스를 가열하여 렌즈에 김이 서린 것을 제거한다 (S804).

일정 시간이 경과되어 이미지를 추출할 수 있는 조건이 되면 이미지 센서부에서 현재의 이미지를 획득한다. 이때, 카메라가 다수개 설치된 경우, 각 이미지 센서부는 제어부에서 제공하는 신호에 따라 이미지 추출 동작을 수행한다. 즉, 제어부는 각 이미지 센서부에서 추출한 영상이 이전 영상과 동일한지 여부를 판단한다. 예를 들어, 사용자가 우측 도어에 형성된 수납 공간에 맥주를 채워 넣는 경우, 제어부는 다수의 이미지 센서부 상기 우측 도어 수납 공간을 촬영하기 위한 이미지 센서부에 이미지 캡쳐를 수행할 수 있도록 제어신호를 전달한다. 이때, 제어부로부터 이미지 센서부에 제공되는 제어 신호는 USB 방식으로 전달된다 (S805).

이미지 센서부에서 획득한 이미지 데이터는 이미지 패킷 생성부로 전달된다. 이미지 패킷 생성부는 수신한 이미지를 엠제이펙(MJPEG) 또는 에이치 닷 264(H.264) 코덱을 사용하여 압축한다. 카메라에 이미지 패킷 생성부가 구비되지 않은 경우, 제어부에서 이미지 패킷 생성부 기능을 구비하고 제어부에서 이미지를 압축한다 (S806).

제어부는 압축한 데이터를 메모리에 저장한다. 이때, 저장되는 이미지 데이터는 선입선출(FIFO: First in first out)의 방식으로 메모리 영역에 저장될 수 있다. 저장되는 이미지 데이터는 설정된 조건에 따라 HD급 또는 full HD의 해상도로 저장될 수 있다. 또한, 상기 메모리는 이미지 데이터를 임시적으로 저장하는 버퍼(buffer)로서 동작될 수 있다 (S807).

이미지 패킷 생성부 또는 제어부는 이미지 데이터를 분할하여 위에서와 같이 도 5a 내지 도 5c를 통해 설명한 바와 같이 이미지 데이터를 패킷화한다 (S808).

이어, 예를 들어 full HD 급의 고해상도 이미지 데이터를 UART 통신 방식으로 무선 통신 모듈로 전송하기 위해 제어부는 이미지 데이터의 형식(Format)을 변환하여 (S809) 무선 통신 모듈로 전송한다 (S810). 이때, 무선 통신 모듈에서는 이미지 패킷을 디패킷하여 수신한 이미지 데이터의 에러 여부를 검출한다. 만일 수신된 이미지 데이터에 에러가 없는 경우 "ACK" 신호를, 에러가 발생한 경우에는 "NACK" 신호를 제어부로 전송한다. 상기 "NACK" 신호에는 에러가 발생한 이미지 패킷의 ID를 포함할 수 있다 (S811).

제어부로부터 UART 통신 방식으로 이미지 데이터를 모두 수신한 후, 무선 통신 방식으로 외부 장치로 전송한다. 즉, 사용자의 이동통신 단말기로 이미지를 전송하거나 인터넷 망을 통해 외부 저장 장소인 클라우드 서버로 전송한다. 이때, 이미지 전체 데이터를 한번에 전송하거나 2048 바이트로 분할하여 전송할 수 있다 (S812).

이상에서 설명한 바와 같이, 본 발명에 따른 냉장고용 카메라 모듈은 기존 사물 인터넷(IoT) 모듈에 사용할 수 있는 UART 통신 방식을 이용하는 무선 통신 모듈을 활용하여 냉장고 내부의 내용물에 대한 선명한 이미지를 원격지에서 사용자의 디스플레이 장치를 이용하여 확인할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

1: 카메라 시스템 2: 냉장고
3: 통신 어댑터 4: 인터넷 액세스 포인트
5: 이동통신 단말기 6: 서버
10: 아우터 케이스 12: 인너 케이스
20: 도어 40: 선반
42: 제1영역 50: 드로워
52: 제2영역 60: 베리어
62: 제3영역 70: 카메라
80: 바스켓 82: 제4영역
100: 카메라 모듈 110: 카메라
101: 센서 102: 이미지 패킷 생성부(ISP)
120: 허브 130: 제어부
140: 메모리 150: 무선 통신 모듈

Claims (10)

1. 냉장고 내부의 이미지 데이터를 획득할 수 있는 적어도 하나 이상의 이미지 센서부와 상기 이미지 센서부로부터 제공된 이미지 데이터를 압축 및 분할하여 다수의 이미지 패킷으로 생성하는 이미지 패킷 생성부를 갖는 카메라;
   상기 이미지 패킷 생성부로부터 제공된 이미지 패킷을 범용 비동기화 송수신기(Universal asynchronous receiver transmitter: UART) 처리용 신호로 변환하여 분할하여 무선 방식으로 외부 장치로 전송하는 무선 통신모듈;
   상기 이미지 패킷을 상기 무선 통신 모듈을 통해 외부 장치로 송신하고, 상기 무선 통신모듈을 통해 사용자 단말기로부터 수신한 사용자 요청 신호를 분석하여 대응하는 이미지 패킷을 상기 외부 장치로부터 추출하여 사용자 단말기로 전송하도록 상기 무선 통신 모듈을 제어하는 제어부를 포함하여 이루어지는 냉장고용 카메라 모듈.
2. 제1항에 있어서, 상기 카메라, 무선 통신모듈 및 제어부는 방수용 하우징에 내장되는 것을 특징으로 하는 냉장고용 카메라 모듈.
3. 제1항에 있어서, 상기 이미지 센서부는 전원을 이용하여 렌즈에 열을 가할 수 있는 열선을 포함하는 것을 특징으로 하는 냉장고용 카메라 모듈.
4. 제1항에 있어서, 상기 이미지 패킷 생성부는 하나의 라인에 해당하는 상기 이미지 데이터를 복수 개의 이미지 패킷과 라인 시작 및 끝을 알리는 라인 제어 패킷으로 생성하는 것을 특징으로 하는 냉장고용 카메라 모듈.
5. 제4항에 있어서, 상기 이미지 패킷은 패킷의 종류(pkt_type), 여분(reserved), 패킷 아이디(packet_ID), 카메라 아이디(camera_ID), 이미지 데이터, 에러 검출을 위한 체크섬(checksum), 패킷의 끝을 알리는 이오피(EOP:end of packet)를 포함하는 것을 특징으로 하는 냉장고용 카메라 모듈.
6. 제1항에 있어서, 상기 이미지 패킷 생성부로부터 출력되는 상기 이미지 패킷을 임시 보관하는 이미지 패킷 저장부를 더 포함하는 것을 특징으로 하는 냉장고용 카메라 모듈.
7. 제6항에 있어서, 상기 이미지 패킷 생성부는 엠제이펙(MJPEG) 또는 에이치 닷 264(H.264) 코덱을 사용하여 풀 HD(FHD) 화질의 이미지 데이터를 상기 이미지 패킷 저장부에 저장하는 것을 특징으로 하는 냉장고용 카메라 모듈.
8. 제1항에 있어서, 상기 무선 통신모듈은 이미지 전체 데이터를 한번에 전송하거나 2048 바이트로 분할하여 전송하는 것을 특징으로 하는 냉장고용 카메라 모듈.
9. 제1항에 있어서, 상기 다수의 이미지 패킷 생성부로부터 제공되는 이미지 데이터 패킷을 상기 제어부로 선택적으로 전달하는 허브를 더 포함하는 것을 특징으로 하는 냉장고용 카메라 모듈.
10. 제9항에 있어서, 상기 허브는 다수의 카메라와 범용 직렬 버스(Universal Serial Bus: USB) 통신 방식으로 데이터 통신을 수행하는 것을 특징으로 하는 냉장고용 카메라 모듈.

Images