KR102358533B1

KR102358533B1 - 식당 정보 제공 시스템 및 방법

Info

Publication number: KR102358533B1
Application number: KR1020200072446A
Authority: KR
Inventors: 이성진; 고천명; 전병복
Original assignee: 경상국립대학교산학협력단
Priority date: 2020-06-15
Filing date: 2020-06-15
Publication date: 2022-02-04
Also published as: KR20210155213A

Abstract

본 발명은 식당 정보 제공 시스템에 관한 것으로, 보다 상세하게는 GPS를 이용하여 위치 정보를 획득하는 위치 정보 획득부; 카메라로부터 식당의 간판 이미지를 획득하는 이미지 획득부; 지자기 센서를 이용하여 상기 카메라의 촬영 방향을 인지하여 방향 정보를 획득하는 방향 정보 획득부; 상기 간판 이미지에서 글자를 인식하는 글자 인식부; 상기 위치 정보 및 상기 방향 정보를 기초로 상기 간판 이미지의 글자 또는 상기 간판 이미지를 이용하여 상기 식당을 인식하는 식당 인식부; 및 상기 식당 인식부에서 인식된 상기 식당의 식당 정보를 제공하는 정보 제공부;를 포함하며, 사용자가 식당에 진입하지 않은 상태에서도 사용자가 원하는 식당의 메뉴, 가격, 후기 등 다양한 정보를 쉽게 획득할 수 있어 식당 선택에 도움을 줄 수 있다.

Description

식당 정보 제공 시스템 및 방법{Restaurant Information Service Providing System and Method}

본 발명은 식당 정보 제공 시스템에 관한 것으로, 보다 상세하게는 모바일 단말의 카메라, 지자기 센서, GPS를 이용하여 주변 식당에 관한 메뉴, 가격 및 평가 정보를 사용자에게 제공하여 식당 선택에 도움을 주는 시스템 및 동작 방법에 관한 것이다.

오늘날 식당 광고 수단은 사람들 간의 입소문에서부터 시작해서, SNS를 통한 정보 공유, 블로거의 후기 참고, 전용 애플리케이션을 통한 정보 검색 등 매우 다양하고, 이를 통해 얻을 수 있는 정보 또한 무한하다.

그러나, 정작 정보의 양은 늘어났음에도 고객의 입장에서 만족할 만한 식당을 찾는 일은 예전보다 더 힘들어졌다. 그 이유는 정보의 양이 늘어난 만큼, 그 중에 신뢰할 수 없는 거짓 정보도 많아져 정보에 대한 신뢰도가 하락하였기 때문이다.

입소문이나 SNS 정보는 왜곡되고 부풀려져서 사실과 다른 경우가 많고, 블로거의 후기는 대개 식당 주인으로부터 대가를 받고 거짓으로 꾸미는 경우도 많다. 전용 애플리케이션을 통한 정보 검색도 역시나 마찬가지로 아르바이트생들이 대가를 받고 칭찬 일색의 리뷰를 남기는 일이 만연하고 있다.

이로 인해 관광지 등의 처음 가는 장소에서는 식당을 선택하는데 신뢰할 정보나 식당에 대한 정보를 충분히 얻지 못하는 경우가 많아 식당을 선택하는데 불필요한 시간을 낭비하게 된다.

또는, 길거리를 걸어가는 과정에서 외관이 예쁘거나, 좋아하는 메뉴를 판매하는 식당을 발견하게 되면 호기심을 자극하게 되며, 식당에 대한 정보를 알고 싶어지게 되지만 인터넷상에서 홍보를 많이 진행하는 대형 식당을 제외한다면 실제 식당에 대한 정보를 얻기에는 한계가 있으며, 길거리에서 식당에 대한 정보를 검색할 수 없기에 식당에 방문하거나 그냥 포기하고 지나치는 경우가 대다수이다.

실제 식당의 외관만을 보고 식당에 들어가게 된다면, 식당 내로 진입하는 동시에 위생 또는 잘못된 메뉴 선택, 예상보다 비싼 가격 등으로 인하여 불필요한 금전적 낭비의 발생, 기분이 나빠짐에 의해 컨디션 난조, 커플간 다툼 등 생각하지 못한 다양한 문제가 발생할 수 있다.

대한민국 공개특허공보 제10-2016-0002099호 (2016년01월08일 공개) 대한민국 공개특허공보 제10-2007-0036584호 (2007년04월03일 공개)

본 발명은 상술한 문제점을 개선하기 위한 것으로서 모바일 단말을 이용하여 간편하게 식당 정보를 획득할 수 있는 식당 정보 제공 서비스 시스템 및 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 모바일 단말의 애플리케이션 내에서 사용자가 원하는 식당의 정보, 유사 메뉴의 식당 정보 및 주변 상권 정보를 제공함으로써 사용자가 원하는 식당의 메뉴, 가격, 평점, 위치를 제공하여 편리하게 식당을 이용할 수 있는 시스템을 제공하는데 그 목적이 있다.

상술한 과제를 해결하기 위한 본 발명에서의 식당 정보 제공 시스템은 GPS를 이용하여 위치 정보를 획득하는 위치 정보 획득부; 카메라로부터 식당의 간판 이미지를 획득하는 이미지 획득부; 지자기 센서를 이용하여 상기 카메라의 촬영 방향을 인지하여 방향 정보를 획득하는 방향 정보 획득부; 상기 간판 이미지에서 글자를 인식하는 글자 인식부; 상기 위치 정보 및 상기 방향 정보를 기초로 상기 간판 이미지의 글자 또는 상기 간판 이미지를 이용하여 상기 식당을 인식하는 식당 인식부; 및 상기 식당 인식부에서 인식된 상기 식당의 식당 정보를 제공하는 정보 제공부;를 포함할 수 있다.

또한, 상기 식당 정보는 상기 식당의 메뉴, 상기 메뉴의 가격, 상기 메뉴의 평점, 상기 메뉴의 평가 정보 및 상기 메뉴와 동일 카테고리의 메뉴를 판매하는 주변 식당 정보를 포함할 수 있다.

또한, 상기 상기 글자 인식부는 Mnist 데이터셋을 학습시킨 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 글자를 인식할 수 있다.

또한, 상기 위치 정보를 기반으로 사용자가 기설정된 시간 이상 특정 식당에 머무른 것으로 판단되면 상기 사용자에게 식당에 대한 평가를 요청하는 식당 평가부를 더 포함할 수 있다.

또한, 상기 식당 평가부는 상기 식당에 대한 평가가 입력되면 텍스트 마이닝을 통해 감정 분석을 수행하고, 상기 감정 분석 결과를 이용하여 상기 식당의 긍정도를 평가할 수 있다.

또한, 상기 식당 평가부는 상기 식당에 대한 평가 또는 상기 식당 방문자 수가 많을수록 상기 식당 평가에 가산점을 부여할 수 있다.

또한, 상기 식당 인식부는 상기 위치 정보를 이용하여 소정 범위 내 위치한 후보 식당들을 추출하며, 상기 후보 식당들 중에서 상기 글자와 매칭되는 식당을 1차적으로 인식하며, 상기 방향 정보를 이용하여 상기 간판 이미지와 매칭되는 식당을 2차적으로 인식할 수 있다.

본 발명의 다른 일 실시예에 따른 식당 정보 제공 방법은 GPS를 이용하여 사용자의 위치를 확인하는 단계; 지자기 센서를 이용하여 카메라의 촬영 방향을 인식하는 단계; 상기 카메라를 이용하여 식당의 간판 이미지를 획득하는 단계; 상기 간판 이미지에서 간판의 글자를 인식하는 단계; 상기 간판의 글자 및 상기 간판 이미지 중 어느 하나와 상기 사용자의 위치 정보, 상기 카메라의 방향 정보를 이용하여 식당을 인식하는 단계; 및 상기 인식된 식당의 식당 정보를 사용자에게 제공하는 단계;를 포함할 수 있다.

또한, 상기 글자를 인식하는 단계는 Mnist 데이터셋을 이용하여 학습시킨 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 글자를 인식할 수 있다.

또한, 상기 위치 정보를 기반으로 상기 사용자가 기설정된 시간 이상 특정 식당에 머무른 것으로 판단되면 상기 사용자에게 식당에 대한 평가를 요청하는 단계를 더 포함할 수 있다.

또한, 상기 식당에 대한 평가를 요청하는 단계는 상기 식당에 대한 평가가 입력되면 텍스트 마이닝을 통해 감정 분석을 수행하고, 상기 감정 분석 결과를 이용하여 상기 식당의 긍정도를 평가할 수 있다.

또한, 상기 식당에 대한 평가를 요청하는 단계는 상기 식당에 대한 평가 또는 상기 식당 방문자 수가 많을수록 상기 식당 평가에 가산점을 부여할 수 있다.

또한, 상기 식당을 인식하는 단계는 상기 위치 정보를 기초로 후보 식당들을 추출하는 단계; 상기 후보 식당들 중에서 상기 글자와 매칭되는 식당을 인식하는 단계; 및 상기 방향 정보를 이용하여 상기 간판 이미지와 매칭되는 식당을 인식하는 단계;를 포함할 수 있다.

또한, 상기 간판 이미지와 매칭되는 식당을 인식하는 단계는 상기 후보 식당들의 간판 이미지와 상기 카메라로 획득한 상기 간판 이미지를 이용하여 유사도 매칭을 통해 식당을 인식할 수 있다.

상기와 같은 본 발명의 식당 정보 제공 시스템 및 방법은 식당에 들어가지 않은 상태에서도 식당의 정보를 제공 받을 수 있다.

또한, 식당의 후기를 함께 확인할 수 있어 식당에 관한 후기 정보를 검색하지 않아도 쉽게 획득할 수 있다.

또한, 원하는 메뉴에 대한 식당 정보를 기반으로 주변에 위치하는 식당 정보를 쉽게 취득함으로써 식당 선택에 도움을 받을 수 있다.

본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.

도 1은 본 발명의 일 실시예에 따른 식당 정보 제공 시스템을 단순화하여 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 식당 정보 제공 시스템의 구조를 나타내는 블록다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 식당 정보 제공 시스템을 모바일 단말의 애플리케이션 형태로 구현한 도면이다.
도 4는 본 발명의 일 실시예에 따른 식당 정보 획득 방법을 나타내는 순서도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

공간적으로 상대적인 용어인 아래(below, beneath, lower), 위(above, upper) 등은 도면에 도시되어 있는 바와 같이 하나의 구성 요소들과 다른 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 구성 요소의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 구성 요소를 뒤집을 경우, 다른 구성 요소의 아래(below, beneath)로 기술된 구성 요소는 다른 구성 요소의 위(above, upper)에 놓일 수 있다. 따라서, 예시적인 용어인 아래는 아래와 위의 방향을 모두 포함할 수 있다. 구성 요소는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 발명에서 사용되는 “부” 또는 “부분” 등의 일부분을 나타내는 표현은 해당 구성요소가 특정 기능을 포함할 수 있는 장치, 특정 기능을 포함할 수 있는 소프트웨어, 또는 특정 기능을 포함할 수 있는 장치 및 소프트웨어의 결합을 나타낼 수 있음을 의미하나, 꼭 표현된 기능에 한정된다고 할 수는 없으며, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른, 식당 정보 제공 시스템에 관하여 상세히 설명하면 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 식당 정보 제공 시스템을 단순화하여 나타내는 도면이다.

본 발명의 일 실시예에서의 식당 정보 제공 시스템은 사용자가 도보 또는 탑승 상황에서 이동하던 중 식당의 정보를 취득하기 위한 것으로, 모바일 단말(10), 서버(20) 및 간판(30)으로 구성될 수 있으며, 모바일 단말(10)은 카메라(13), GPS(11), 지자기센서(13)를 포함할 수 있다.

본 발명의 일 실시예에서의 모바일 단말(10)은 사용자가 이동하며 동작할 수 있는 휴대 가능한 전자장치를 의미할 수 있으며, 예를 들어, 모바일 단말(10)과 유사한 동작을 수행할 수 있는 태블릿, 노트북, 웨어러블 장치 등의 이동하며 서버(20)와 무선통신(5)을 수행할 수 있는 모든 무선통신 장치를 포함할 수 있다.

모바일 단말(10)은 디스플레이(미도시)를 포함하고 있으며, 디스플레이(미도시)를 통해 사용자에게 다양한 정보를 제공할 수 있다.

본 발명의 일 실시예에서의 다양한 정보는 사용자가 카메라(13)를 이용하여 촬영한 식당의 메뉴, 메뉴의 가격, 다른 사용자가 작성한 메뉴별 또는 식당 전체에 대한 평점 및 평가 정보, 사용자가 촬영한 식당의 메뉴와 유사한 메뉴를 제공하는 주변 식당에 대한 메뉴 및 가격 정보 등의 다양한 정보를 포함할 수 있다.

상기 유사한 메뉴란 각 식당의 대표 메뉴 또는 음식 종류에 대하여 카테고리로 구분하고, 구분한 카테고리 내에서 동일 카테고리에 속하는 메뉴를 판매하고 있는 식당의 메뉴를 의미할 수 있다.

카메라(13)는 식당의 간판(30)을 촬영하는데 이용할 수 있다. 모바일 단말(10)은 카메라(13)에서 촬영한 이미지를 기반으로 간판의 글자, 심볼, 간판의 형태 등을 인식하여 식당을 구분하는데 이용하며, 카메라(13)로 촬영하는 간판은 옥상간판, 옥외간판, 입간판 등 식당을 광고하는데 이용하는 모든 간판의 종류를 포함할 수 있다.

카메라(13)은 모바일 단말(10)에 장착되어 있는 카메라를 이용하여 촬영할 수 있으나, 모바일 단말(10) 내의 카메라 이외에도 외부의 장비를 이용하여 촬영할 수 있다. 예를 들어, 모바일 단말(10)과 연결되어 서버(20)에 촬영된 이미지를 전송할 수 있는 디지털 카메라, DSLR, 캠코더 등 이미지를 촬영할 수 있는 모든 장비를 활용할 수 있다.

GPS(11)는 위성 항법 시스템(Global Positioning System)의 약자로, 지구의 위성 궤도에 위치하는 위성과의 교신을 통하여 GPS 장치의 위도, 경도 및 표고(해발 고도)를 파악할 수 있는 장치일 수 있다. 일반적으로 한국에서 판매되고 있는 모든 모바일 단말(10)에는 GPS가 포함되어 있으며, 본 발명의 일 실시예에서는 모바일 단말(10)의 내부에 포함되어 있는 GPS를 이용하여 사용자의 위치를 감지하는데 이용할 수 있다.

지자기 센서(12)는 모바일 단말(10)의 방향 또는 움직임을 감지하기 위한 센서로서, 모바일 단말(10) 내부에 포함되는 홀 센서 등의 센서를 의미할 수 있다.

지자기 센서(12)는 일반적으로 지구에서 발생하는 지구 자기장을 감지하여 모바일 단말(10)의 방향 또는 움직임을 감지하는 것으로, 보통 3축 지자기 센서 또는 홀 센서를 의미하나, 기압 센서, 가속도 센서, 자이로스코프 센서 또는 지자기 이미징 센서 등의 외부 센서를 이용하여 동작할 수도 있다.

모바일 단말(10)과 서버(20)는 무선통신(5)을 통하여 데이터를 송수신할 수 있다.

서버(20)는 카메라(13)를 통해 촬영한 이미지를 기반으로 식당을 인식하거나 식당과 관련된 식당 정보를 사용자에게 제공할 수 있다.

구체적으로, 서버(20)는 네트워크(5)를 통하여 카메라(13)로 촬영한 식당 간판(30)의 이미지를 획득하고, GPS(11)를 이용하여 모바일 단말(10)의 위치 정보를 획득하고, 지자기 센서(12)를 이용하여 카메라(13)의 촬영 방향 정보를 획득할 수 있다.

서버(20)는 카메라(13)로 촬영한 식당 간판(30)의 이미지를 분석하여 간판 이미지 내의 글자를 인식할 수 있으며, 인식된 글자, 위치 정보, 방향 정보를 이용하여 식당을 인식할 수 있다.

본 발명의 일 실시예에서는 서버(20)에서 식당을 인식하는 시스템 및 방법에 대하여 개시하고 있으나, 이에 한정하지 않으며, 다른 실시 예로 모바일 단말(10)에서 식당 인식을 수행하며, 서버(20)는 모바일 단말(10)의 요청에 따라 데이터베이스(25)에 저장되어 있는 정보를 검색, 출력하는 기능을 제공할 수도 있다. 즉, 본 발명의 식당 정보 검색 시스템은 식당을 인식하여 사용자에게 식당 정보를 제공하는데 그 목적이 있으며, 식당을 인식하는 동작을 수행하는 주체는 모바일 단말(10), 서버(20)로 제한을 두지 않으며, 필요에 따라 함께 동작하거나 변경되어 동작을 수행할 수 있다.

데이터베이스(25)는 식당과 관련된 정보를 저장할 수 있다. 상기 식당과 관련된 정보로는 식당의 상호명, 식당의 메뉴, 메뉴별 가격, 식당의 위치와 연락처, 다른 사용자들의 별점, 평가 정보 및 식당의 위치와 연락처 등의 정보를 포함할 수 있다.

또한, 데이터베이스(25)는 상기 식당과 관련된 정보를 포함하여 간판(30)의 이미지 및 촬영에 사용된 장비의 모델 정보를 함께 저장할 수 있다. 상기 간판(30)의 이미지는 사용자가 촬영한 간판(30)의 이미지일 수 있으며, 하나의 이미지일 수도 있으나, 복수의 사용자가 촬영한 복수의 이미지일 수 있다. 이러한 식당과 관련된 정보들은 각 식당별로 하나의 테이블을 형성하여 저장하거나, 표 형태로 저장되어 검색에 이용할 수 있다. 식당은 고유 번호를 가지고 관련된 정보를 저장하거나, 간판(30)과 연계되어 간판(30)이 고유 번호를 가지고 있는 상태에서 간판(30)에 해당하는 식당을 연결하는 형태로 구성될 수 있다.

또한, 데이터베이스(25)는 식당과 관련된 메뉴, 식당 소개 리뷰 블로그, 식당 메뉴와 유사 메뉴를 소개하는 요리법 블로그 등 관련 정보를 포함하고 있는 웹 페이지 정보를 검색/분류하여 저장할 수 있다. 이를 통하여 사용자가 선택한 식당의 사진 정보를 수집하여 사용자에게 제공하거나, 사용자가 이후 관심 있어하는 요리 레시피 등을 수집하여 이용할 수 있다.

도 2는 상기 도 1을 구체화하는 식당 정보 제공 시스템(100)의 구조를 나타내는 블록다이어그램이다.

식당 정보 제공시스템(100)은 모바일 단말(10)에서 수집한 정보를 이용하여 식당 정보를 사용자에게 제공할 수 있다.

구체적으로, 식당 정보 제공 시스템(100)은 모바일 단말(10)의 카메라(13), GPS(11), 지자기 센서(12)에서 획득한 정보를 이용하여 사용자가 촬영한 식당을 인식하고, 인식한 정보를 기반으로 데이터베이스(25)에서 식당 정보를 가져와 사용자에게 제공할 수 있다.

위치 정보 획득부(110)는 모바일 단말(10)의 위치를 인식할 수 있다. 일반적으로 모바일 단말(10) 내부에 위치하는 GPS(11)를 이용할 수 있으며, GPS 신호를 통해 사용자의 위도, 경도 및 표고 정보를 지도와 비교하여 사용자의 정확한 위치를 파악할 수 있다.

또한, 위치 정보 획득부(110)는 사용자의 위치를 주기적으로 추적하여 사용자의 이동 동선을 감지할 수 있다. 모바일 단말(10)은 일정 시간 단위로 사용자의 위치를 검출하며, 검출한 위치는 위치 정보 획득부(110)에 전달되어 사용자의 위치를 감지하고, 감지된 위치 정보는 지도와 연동하여 사용자의 이동 경로를 파악하는 한편, 사용자가 일정한 장소에서 이동이 감지되지 않는다면, 사용자가 일정한 장소에 머무른 상태로 행동을 취하고 있다고 판단할 수 있다.

모바일 단말(10) 내부에 위치하는 GPS(11)는 일반적으로 퀄컴에서 개발한 A-GPS(Assisted GPS)를 탑재하고 있으며, A-GPS는 위성의 궤도 정보·시각 등을 위성으로부터 수신하지 않고 별도의 네트워크를 통해 전송받아 위치 설정에 걸리는 시간을 대폭 단축하는 기술로서, 일반적으로 약 30m의 오차를 가진다고 알려져있다.

본 발명의 일 실시예에서는 이러한 오차를 최소화하기 위하여 여러 번 위치를 반복하여 측정함으로써 오차를 감소시킬 수 있다.

방향 정보 획득부(120)는 사용자가 카메라(13)를 이용하여 식당의 간판(30)을 촬영하기 위해 이동시킨 카메라(13)의 방향을 인식할 수 있다.

위치 정보 획득부(110)을 이용하여 모바일 단말(10)의 위치를 특정한다 하더라도 사용자가 바라보는 방향을 특정하는 데는 한계가 있다. 또한, 빌딩의 경우, 하나의 건물 내에 적게는 2 내지 3개 많게는 10개 이상의 식당이 위치할 수 있으며, 특정 사용자의 경우, 도로 건너편에 위치하는 식당의 정보를 요구하는 경우가 발생할 수도 있다. 이러한 문제들을 해결하기 위하여 방향 정보 획득부(120)는 사용자가 이미지 획득부(110)을 이용하여 촬영하는 방향, 촬영 각도 및 모바일 단말(10)의 움직임 중 어느 하나 이상을 인식하여 이용할 수 있다.

상기 촬영하는 방향, 촬영 각도 및 모바일 단말(10)의 움직임은 사용자의 모바일 단말(10)이 움직이는 3차원적 모든 움직임을 이야기할 수 있으며, x축, y축, z축 방향에 대한 움직임을 인식하여 결합하는 형태로 동작할 수 있다.

방향 정보 획득부(120)는 일반적으로 모바일 단말(10) 내의 지자기 센서(12)를 이용하여 동작할 수 있으나, 기압 센서, 가속도 센서, 자이로스코프 센서, 3축/6축/9축 자유도 센서 등의 모바일 단말(10)의 방향, 각도 및 움직임 정보를 인식할 수 있는 모든 센서를 활용할 수 있다.

이미지 획득부(110)는 카메라(13)로 촬영한 식당 간판(30)의 이미지를 획득할 수 있다.

간판(30)은 상가 출입구 상단에 위치하는 옥상간판, 건물과 수직하여 위치하는 옥외간판, 도로 또는 인도에 세워 위치하는 입간판, 선간판 등 식당을 광고하는 데이용할 수 있는 모든 종류의 광고판을 포함할 수 있다.

글자 인식부(140)는 이미지 획득부(110)에서 획득한 간판 이미지에서 글자를 인식하여 간판 이미지 내 글자를 검출할 수 있다.

글자 인식 방법은 촬영된 이미지를 전처리하여 문자 영역만을 추출하고, 추출된 문자 영역을 신경망에 인가하여 간판의 문자를 인식할 수 있다.

상기 전처리 과정은 촬영된 이미지를 그레이스케일로 변환하는 단계, 필터 등을 이용하여 노이즈를 제거하는 단계, 그레이스케일 이미지를 분할하여 문자의 위치를 특정하는 단계, 특정한 문자의 위치를 관심영역(Region Of Interesting, ROI)으로 지정하는 단계, 관심영역을 제외한 배경 이미지 부분을 삭제하는 단계로 구체화할 수 있으나, 이에 한정하지 않고 문자 영역을 신경망에서 인식하기 쉽도록 변환하는 모든 과정을 포함할 수 있다.

상기 신경망은 컨볼루션 신경망(Convolutional Neural Network, CNN) 일 수 있으며, 상기 CNN은 Mnist 데이터셋을 이용하여 사전에 학습 된 신경망 모델일 수 있다.

Mnist 데이터셋은 MNIST 데이터베이스 (Modified National Institute of Standards and Technology database)의 데이터를 기반으로 구성된 학습용 데이터 세트를 의미할 수 있으며, 다양한 화상 처리 시스템을 학습하기 위해 사용되는 데이터베이스이다. 본 발명의 일 실시예에서는 Mnist 데이터셋을 이용하여 상기 CNN을 학습하는 것을 예시하고 있으나, 이에 한정하지 않고 문자 인식을 수행하기 위한 학습용 데이터셋이라면 구분하지 않고 이용하여 학습을 수행할 수 있다.

본 발명의 일 실시예에서 상기 신경망은 컨볼루션 신경망(Convolutional Neural Network, CNN)을 활용하는 방법을 개시하고 있으나, SVM(Support Vector Machine), k-NN(k-Nearest Neighbors), 랜덤 포레스트(Random Forest), 인공신경망(Artificial Neural Network, ANN), 회귀신경망(Recurrent Neural Network, RNN) 등의 문자인식을 수행할 수 있는 모든 기계학습(Machine Learning) 및 딥러닝(Deep Learning)을 이용할 수 있다.

식당 인식부(150)는 글자 인식부(140)에서 인식한 글자 정보, 위치 정보 획득부(110)에서 인식한 모바일 단말(10)의 위치, 방향 정보 획득부(120)에서 인식한 카메라(13)의 방향, 정보 제공부(160)에 저장되어 있는 식당의 정보를 모두 받아 분석하여 식당을 구분할 수 있다.

구체적으로, 위치 정보 획득부(110)에서 인식한 모바일 단말(10)의 위치 정보를 기준으로 기설정된 거리 이내에 위치하는 후보 식당의 식당 리스트를 생성할 수 있다. 또는, 위치 정보 획득부(110)에서 인식한 모바일 단말(10)의 위치 정보와 방향 정보 획득부(120)에서 인식한 카메라(13)가 바라보고 있는 방향을 이용하여 정보 제공부(160)에서 사용자의 위치 및 방향에 존재하는 후보 식당의 식당 리스트를 생성할 수 있다. 상기 식당 리스트와 글자 인식부(140)에서 인식한 문자 데이터를 매칭시켜 사용자가 촬영한 식당 간판(30)에 해당하는 식당을 인식할 수 있다.

그러나, 글자 인식부(140)에서 문자를 정확하게 인식하지 못하는 경우가 발생할 수 있으며, 이러한 경우 사용자에게 식당의 정보를 정확하게 제공할 수 없는 문제가 발생할 수 있다. 본 발명에서는 이러한 문제를 해결하기 위하여 글자 인식부(140)와 별도로 이미지 매칭부(미도시)를 포함할 수 있으며, 식당 인식부(150)는 이미지 매칭부(미도시)를 이용하여 사용자가 이미지 획득부(110)로 촬영한 식당의 간판 이미지와 후보 식당의 간판 이미지 간 유사도 매칭을 수행하여 매칭 스코어를 계산하며, 매칭 스코어가 가장 높은 식당 또는 기설정된 기준 이상의 매칭 스코어를 포함하는 식당들에 대한 식당 정보를 사용자에게 제공할 수 있다.

상기 이미지 매칭부(미도시)는 신경망, 딥러닝, 기계학습 등의 학습을 통해 동작하는 모델을 이용하거나, 픽셀 분석을 이용하는 매칭 방법 등 이미지 매칭을 수행하는 일반적 방법이라면 어떠한 방법이라도 사용이 가능하다.

식당 인식부(150)에서 식당을 인식하면 식당 인식부(150)는 인식된 식당을 정보 제공부(160)로 전송할 수 있다.

정보 제공부(160)는 식당 인식부(150)에서 인식된 식당과 관련된 정보를 데이터베이스(25)에 요청할 수 있다.

식당에 관련된 정보로는 인식된 식당의 메뉴, 메뉴별 가격, 메뉴별 평가 정보를 포함할 수 있으며, 상기 메뉴별 평가 정보는 스코어화 된 평가 포인트, 사용자들이 작성한 텍스트 또는 이미지 등의 평가 정보 일 수 있다.

또한, 정보 제공부(160)는 사용자에게 메뉴 선택의 편의를 돕기 위하여 데이터베이스(25)에 저장되어 있는 식당의 위치 정보 및 메뉴 정보를 함께 이용하여 동일 카테고리에 속하는 주변의 식당에 대한 추가 정보를 요청할 수 있다.

예를 들어, 사용자가 촬영한 식당의 메뉴가 '철판 볶음밥'을 주 메뉴로 하는 볶음밥 집이라면, 식당 인식부(150)는 정보 제공부(160)에 '볶음밥' 카테고리를 분류하여 '볶음밥' 카테고리 내의 식당 정보를 요청하고, 정보 제공부(160)는 저장되어 있는 주변 식당의 정보를 검색하여 '볶음밥'을 포함하고 있는 식당 정보를 식당 인식부(150)에 제공할 수 있다. 상기 주변 식당의 기준은 기설정된 기준 또는 사용자의 설정 범위를 기반으로 동작할 수 있다.

식당 평가부(170)는 GPS(11)를 이용하여 측정한 위치 정보를 기반으로 위치 정보 획득부(110)에서 수집한 모바일 단말(10)의 위치가 기설정된 시간 이상 이동하지 않은 상태로 특정 식당에 위치한 뒤에 이동을 수행하면 식당 정보 제공 시스템(100)은 사용자가 특정 식당을 이용하였다고 판단할 수 있으며. 사용자가 기설정된 시간 이상 이동이 감지되지 않아 식당에 머무른 것으로 판단되면, 식당 정보 제공 시스템(100)은 사용자에게 식당에 대한 평가를 요청할 수 있다.

예를 들어, 사용자가 식당 정보 제공 시스템(100)을 이용하여 식당 정보를 획득한 뒤에 특정 식당으로 이동하고, 20분 이상 이동이 없는 것으로 감지된 후에 특정 식당 밖으로 나와 15미터 이상 이동이 발생하는 경우, 식당 정보 제공 시스템(100)은 사용자가 식당을 이용하여 식사를 하였다고 판단할 수 있다.

사용자가 식당을 이용한 것으로 판단되면, 모바일 단말(10)의 푸쉬(Push) 알림 등을 이용하여 사용자에게 식당 평가를 요청할 수 있다.

상기 식당 평가는 이용한 식당과 관련하여 식당의 서비스 품질, 위생상태, 데코레이션, 맛, 별점 등 다양한 분야에 걸쳐 평가를 수행할 수 있으며, 사용자에게 자유 기고 형식을 통한 텍스트 입력, 사진 촬영을 통한 이미지 입력, 별점, 점수 등의 포인트 입력, 단답형 또는 다지선다형 등의 다양한 방식으로 사용자에게 평가를 요청할 수 있다.

사용자의 식당 평가가 입력되면 식당 정보 제공 시스템(100)은 사용자가 입력한 텍스트에 대해 텍스트 마이닝(text mining)을 수행하여 식당에 대한 긍정도를 평가할 수 있다.

상기 텍스트 마이닝(text mining)이란 언어학, 통계학, 기계 학습 등을 기반으로 한 자연언어 처리 기술을 활용하여 반정형/비정형 텍스트 데이터를 정형화하고, 정형화된 텍스트를 분류 및 분석하여 유용한 정보를 추출, 가공하는 것을 목적으로 하는 기술로서, 본 발명의 실시예에서는 텍스트 마이닝을 통해 사용자의 감정분석을 수행하여 사용자가 입력한 식당 평가 정보가 어느 정도의 긍정도를 가지고 있는지 분석을 통해 평가 스코어를 생성할 수 있다.

상기 평가 스코어는 해당 식당 이용자의 수, 평가 텍스트 입력 수, 평가 텍스트 입력 비율, 부정적 평가와 긍정적 평가의 비율 등 다양한 기준을 이용하여 가산 또는 감산점을 부여할 수 있다.

도 3은 본 발명의 일 실시예에 따른 식당 정보 제공 시스템(100)을 모바일 단말의 애플리케이션 형태로 구현한 도면으로써 본 발명의 일 실시예에서의 정보 제공부(160)의 동작 예시 화면일 수 있다.

도 3의 (a)는 애플리케이션의 메인 화면으로써, 카메라를 이용한 식당 검색 방법인 '카메라로 식당 찾기' 메뉴와 위치 정보를 이용한 식당 검색 방법인 '내 위치에서 식당 찾기'의 두 가지 방법을 이용한 주변 식당 정보 검색 방법을 제공할 수 있다.

도 3의 (b)는 (a)의 메뉴 중 '내 위치에서 식당 찾기' 메뉴(이하, 위치검색)를 선택하였을 경우에 대한 화면 예시로써, 사용자가 위치검색을 선택하면, 위치 정보 획득부(110)는 GPS를 이용하여 사용자의 위치를 검색하고, 사용자의 위치를 기준으로 기설정된 거리 이내의 모든 식당 정보를 정보 제공부(160)에 요청하여 사용자에게 제공할 수 있다.

도 3의 (b)를 참조하여 설명하면, 기본적으로 사용자에게 식당 리스트 및 사용자의 현재 위치를 중심으로 하는 지도 정보를 제공할 수 있으며, 식당 리스트를 선택하면 식당 리스트 우측으로 사용자가 선택한 식당에 대한 식당 정보를 제공할 수 있다.

식당 정보로는 식당에 대한 메뉴, 가격, 평가 등에 대한 정보를 포함할 수 있으며, 사용자가 식당 정보 중 식당 메뉴를 선택하고, 식당 정보 부분 하단의 '주변 식당 더 보기' 메뉴를 선택하면 도 3의 (d)와 같은 주변 식당 이름, 유사 메뉴, 현재 위치에서의 거리, 유사 메뉴의 가격, 유사 메뉴에 대한 평가 정보를 표 형태로 제공할 수 있다.

또는, 사용자는 화면 하단의 지도 부분을 이동시켜 사용자의 위치를 가상으로 설정한 후에 가상의 위치를 기준으로 식당 리스트를 검색하거나 화면 상단의 검색(Search)메뉴를 이용하여 위치 또는 식당 명을 검색하여 식당 정보를 검색할 수 있다.

또는, 도면상에 표시하지는 않았으나, 지도 부분의 일측에 메뉴를 선택하여 팝업 형태로 화면 전체를 지도 형태로 변환한 후, 확대, 축소 기능을 이용하여 사용자가 정확한 가상의 위치를 설정하여 식당을 검색할 수 있다.

또는, 식당 리스트 상단부에 필터를 설치하여 한식, 중식, 양식, 일식 등 특정 분야 또는 메뉴만을 선택하여 식당을 검색할 수 있다.

또는, 식당 정보를 길게 누르거나 식당 정보부의 일측의 메뉴를 이용하여 사용자가 선택한 식당에 대한 상세 정보를 팝업 또는 새창 형태로 전체화면으로 확인하거나, 식당을 리뷰한 블로그, 사진 등 추가적인 정보를 획득할 수 있다.

도 3의 (c)는 (a)의 메뉴 중 '카메라로 식당 찾기' 메뉴(이하, 카메라검색)를 선택하였을 경우에 대한 화면 예시로써, 사용자가 카메라검색을 선택하면, 이미지 획득부(110)을 활성화하여 사용자에게 간판 촬영을 요청하는 동시에 위치 정보 획득부(110) 및 방향 정보 획득부(120)을 활성화하여 사용자의 위치 및 방향을 검출할 수 있다.

사용자의 간판 촬영이 완료되면 분석중이라는 화면과 함께 사용자가 촬영한 이미지, 위치 및 방향 정보를 분석하여 사용자가 촬영한 이미지 내의 식당 정보를 정보 제공부(160)에서 호출하여 사용자에게 제공할 수 있다.

도 3의 (c)를 참조하여 설명하면, 사용자가 촬영한 간판 이미지를 하단에 제공하는 한편, 사용자의 이미지를 분석하여 획득한 문자 데이터(텍스트)를 화면의 좌측에 제공할 수 있다. 텍스트 우측으로는 사용자가 촬영한 식당에 대한 정보를 제공할 수 있다.

또는, 사용자는 식당 인식이 잘못되었다고 판단되는 경우, 화면 상단의 검색(Search)메뉴를 눌러 직접 식당 이름을 입력하거나, 카메라 버튼을 눌러 재촬영을 통해 식당을 인식시킬 수 있다.

도 4는 본 발명의 일 실시예에 따른 식당 정보 획득 방법을 나타내는 순서도이다.

사용자가 모바일 단말(10)을 주머니 또는 손에 쥔 상태 등 일정 위치를 지키고 있는 상태에서 이동하던 도중 정지 또는 이동속도가 감소하게 되면 위치 정보 획득부(110)는 GPS(11)를 이용하여 사용자의 위치를 확인할 수 있다(S110).

상기 사용자가 이동을 중지 또는 이동 속도가 감소한 상태로 모바일 단말(10)의 움직임이 지자기센서(13)에서 측정되면 방향 정보 획득부(120)는 모바일 단말(10)의 카메라(13)가 바라보는 촬영 방향을 인식할 수 있다(S120).

상기 사용자는 구체적인 정보가 궁금한 식당에 대하여 간판 사진을 모바일 단말(10)의 카메라(13)를 이용하여 간판 이미지를 획득할 수 있다(S130).

글자 인식부(140)는 상기 카메라(13)를 이용하여 촬영한 간판 이미지를 분석하여 간판 이미지 내의 글자를 인식할 수 있다(S140).

상기 S140 단계에서, 글자의 인식 방법은 간판 부분만을 관심영역(Region Of Interesting, ROI)으로 지정하여 잘라내는 전처리를 수행한 이후에 관심영역에 대해 Mnist 데이터 세트를 이용하여 사전에 학습 된 신경망을 이용하여 글자 인식을 수행할 수 있다.

식당 인식부(150)는 글자 인식부(140)에서 인식한 글자를 정보 제공부(160)의 정보와 비교하여 상호명이 일치하는 식당이 존재하는지 판단할 수 있다(S150).

상기 상호명이 일치하는 식당을 판단하기 위하여 상기 인식된 모바일 단말(10)의 위치 및 방향 정보를 함께 이용하여 체인점 등 동일한 상호명을 가지는 식당이 여러 개 존재하는 경우에도 정확한 판단을 수행할 수 있도록 도울 수 있다.

구체적으로, 식당 인식부(150)는 위치 정보 획득부(110)에서 획득한 위치 정보를 기반으로 기설정된 거리 이내의 식당 리스트를 정보저장부(230)에서 획득하고, 방향 정보 획득부(120)에서 획득한 방향 정보를 기반으로 식당 리스트에서 후보 식당을 설정하며, 후보 식당의 식당명과 글자 인식부(140)에서 인식한 글자를 매칭하여 식당을 인식할 수 있다.

상기 S140 단계에서, 상기 인식한 글자와 일치하는 식당이 정보 제공부(160)에 존재하는 경우, 식당 정보 제공 시스템은 사용자에게 해당 식당의 식당 정보 및 주변 식당 정보를 정보 제공부(160)에서 가져와 사용자에게 제공할 수 있다(S190).

또는, 상기 S140 단계에서, 상기 인식한 글자와 일치하는 식당이 정보 제공부(160)에 존재하지 않는 경우 사용자가 촬영한 간판 이미지와 정보 제공부(160)에 존재하는 간판 이미지 간에 유사도 매칭을 실시할 수 있다(S160).

구체적으로, 식당 인식부(150)는 사용자가 이미지 획득부(110)로 촬영한 식당의 간판 이미지와 상기 S150단계에서 생성한 후보 식당의 간판 이미지 간 유사도 매칭을 수행하여 매칭 스코어를 계산하며, 매칭 스코어가 가장 높은 식당 또는 기설정된 기준 이상의 매칭 스코어를 포함하는 식당들에 대한 식당 정보를 사용자에게 제공할 수 있다.

상기 S160단계에서, 이미지의 유사도 매칭 방법은 신경망, 딥러닝, 기계학습 등의 학습을 통해 동작하는 모델을 이용하거나, 픽셀 분석을 이용하는 매칭 방법 등 이미지 매칭을 수행하는 일반적 방법이라면 어떠한 방법이라도 사용할 수 있다.

상기 S160단계에서, 간판 이미지와 기설정된 유사도 이상의 이미지가 후보 식당내에 존재하는 경우, 이후 간판 이미지 매칭의 소스로 사용하도록 사용자가 촬영한 간판 이미지를 정보 제공부(160)에 추가할 수 있다(S180).

정보 제공부(160)에 간판 이미지 추가가 완료되면 식당 정보 제공 시스템은 사용자에게 해당 식당의 식당 정보 및 주변 식당 정보를 정보 제공부(160)에서 가져와 사용자에게 제공할 수 있다(S190).

또는, 상기 S160단계에서, 간판 이미지와 기설정된 유사도 이상의 이미지가 정보 제공부(160)에 존재하지 않는 경우, 식당 정보 제공 시스템은 식당 인식에 실패하였다는 메시지를 사용자에게 제공하는 한편, 상기 S120 단계로 되돌아가 새로운 방향 및 인식용 이미지를 요청할 수 있다(S170).

상기에서와 같이 본 발명의 일 실시예에서 식당 정보 제공 시스템은 식당에 진입하지 않은 상태에서 식당의 구체적인 메뉴, 가격, 평가 등의 정보를 제공받을 수 있으며, 실제 이용한 사용자들의 식당 후기를 제공받음으로써 식당 검색에 불필요한 시간을 낭비하지 않을 수 있다.

또한, 본 발명의 일 실시예에서 식당 정보 제공 시스템은 사용자가 원하는 식당에 대한 정보와 함께 유사 메뉴를 판매하는 주변 식당의 정보를 함께 제공함으로써 사용자에게 식당 선택을 쉽게 하도록 도움을 줄 수 있다.

한편, 본 발명의 일 실시예에 따른 식당 정보 제공 시스템 및 방법은 소프트웨어, 펌웨어, 하드웨어 중 적어도 하나에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 롬(ROM), 플로피 디스크, 하드 디스크 등의 자기적 매체, CD, DVD 등의 광학적 매체 및 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 형태로 구현된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네크워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

그리고, 본 발명의 실시예에서 사용되는 구성요소 또는 '~부'는 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소 또는 '~부'는 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 모바일 단말
11: GPS
12: 지자기 센서
13: 카메라
20: 서버
25: 데이터베이스
30: 간판
100: 식당 정보 제공 시스템
110: 위치 정보 획득부
120: 방향 정보 획득부
130: 이미지 획득부
140: 글자 인식부
150: 식당 인식부
160: 정보 제공부
170: 식당 평가부

Claims

GPS를 이용하여 위치 정보를 획득하는 위치 정보 획득부;
카메라로부터 식당의 간판 이미지를 획득하는 이미지 획득부;
지자기 센서를 이용하여 상기 카메라의 촬영 방향을 인지하여 방향 정보를 획득하는 방향 정보 획득부;
상기 간판 이미지에서 글자를 인식하는 글자 인식부;
상기 위치 정보 및 상기 방향 정보를 기초로 상기 간판 이미지의 글자 또는 상기 간판 이미지를 이용하여 상기 식당을 인식하는 식당 인식부; 및
상기 식당 인식부에서 인식된 상기 식당의 식당 정보 및 상기 식당과 유사 메뉴를 판매하는 주변 식당 정보를 제공하는 정보 제공부; 및
상기 위치 정보를 기반으로 사용자가 기 설정된 시간 이상 상기 식당에 머무른 뒤에 이동을 실시하면 상기 사용자가 상기 식당에서 식사를 한 것으로 판단하고, 상기 식당에 대한 평가를 요청하는 식당 평가부;
를 포함하는 식당 정보 제공 시스템.
제1항에 있어서,
상기 식당 정보는,
상기 식당의 메뉴, 상기 메뉴의 가격, 상기 메뉴의 평점 및 상기 메뉴의 평가 정보를 포함하는 것을 특징으로 하는 식당 정보 제공 시스템.
제1항에 있어서,
상기 글자 인식부는 Mnist 데이터셋을 이용하여 학습시킨 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 글자를 인식하는 것을 특징으로 하는 식당 정보 제공 시스템.
삭제
제1항에 있어서,
상기 식당 평가부는,
상기 식당에 대한 평가가 입력되면 텍스트 마이닝을 통해 감정 분석을 수행하고, 상기 감정 분석 결과를 이용하여 상기 식당의 긍정도를 평가하는 것을 특징으로 하는 식당 정보 제공 시스템.
제1항에 있어서,
상기 식당 평가부는,
상기 식당에 대한 평가 또는 상기 식당 방문자 수가 많을수록 상기 식당 평가에 가산점을 부여하는 것을 특징으로 하는 식당 정보 제공 시스템.
제1항에 있어서,
상기 식당 인식부는,
상기 위치 정보 및 방향 정보를 이용하여 소정 범위 내 위치한 후보 식당들을 추출하며, 상기 후보 식당들 중에서 상기 글자와 매칭되는 식당을 1차적으로 인식하며, 상기 방향 정보를 이용하여 상기 간판 이미지와 매칭되는 식당을 2차적으로 인식하는 것을 특징으로 하는 식당 정보 제공 시스템.
GPS를 이용하여 사용자의 위치를 확인하는 단계;
지자기 센서를 이용하여 카메라의 촬영 방향을 인식하는 단계;
상기 카메라를 이용하여 식당의 간판 이미지를 획득하는 단계;
상기 간판 이미지에서 간판의 글자를 인식하는 단계;
상기 간판의 글자 및 상기 간판 이미지 중 어느 하나와 상기 사용자의 위치 정보, 상기 카메라의 방향 정보를 이용하여 식당을 인식하는 단계;
상기 인식된 식당의 식당 정보 및 상기 식당과 유사 메뉴를 판매하는 주변 식당 정보를 사용자에게 제공하는 단계; 및
상기 위치 정보를 기반으로 사용자가 기 설정된 시간 이상 상기 식당에 머무른 뒤에 이동을 실시하면 상기 사용자가 상기 식당에서 식사를 한 것으로 판단하고, 상기 식당에 대한 평가를 요청하는 단계;
를 포함하는 식당 정보 제공 방법.
제8항에 있어서,
상기 식당 정보는,
상기 식당의 메뉴, 상기 메뉴의 가격, 상기 메뉴의 평점 및 상기 메뉴의 평가 정보를 포함하는 것을 특징으로 하는 식당 정보 제공 방법.
제8항에 있어서,
상기 글자를 인식하는 단계는,
Mnist 데이터셋을 이용하여 학습시킨 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 글자를 인식하는 것을 특징으로 하는 식당 정보 제공 방법.
삭제
제8항에 있어서,
상기 식당에 대한 평가를 요청하는 단계는,
상기 식당에 대한 평가가 입력되면 텍스트 마이닝을 통해 감정 분석을 수행하고, 상기 감정 분석 결과를 이용하여 상기 식당의 긍정도를 평가하는 것을 특징으로 하는 식당 정보 제공 방법.
제8항에 있어서,
상기 식당에 대한 평가를 요청하는 단계는,
상기 식당에 대한 평가 또는 상기 식당 방문자 수가 많을수록 상기 식당 평가에 가산점을 부여하는 것을 특징으로 하는 식당 정보 제공 방법.
제8항에 있어서,
상기 식당을 인식하는 단계는,
상기 위치 정보 및 방향 정보를 기초로 후보 식당들을 추출하는 단계;
상기 후보 식당들 중에서 상기 글자와 매칭되는 식당을 인식하는 단계; 및
상기 방향 정보를 이용하여 상기 간판 이미지와 매칭되는 식당을 인식하는 단계;
를 포함하는 것을 특징으로 하는 식당 정보 제공 방법.
제14항에 있어서,
상기 간판 이미지와 매칭되는 식당을 인식하는 단계는,
상기 후보 식당들의 간판 이미지와 상기 카메라로 획득한 상기 간판 이미지를 이용하여 유사도 매칭을 통해 식당을 인식하는 것을 특징으로 하는 식당 정보 제공 방법.