KR20230076545A

KR20230076545A - 카메라를 이용한 대화형 주문 방법

Info

Publication number: KR20230076545A
Application number: KR1020210163606A
Authority: KR
Inventors: 김재형; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2021-11-24
Filing date: 2021-11-24
Publication date: 2023-05-31

Abstract

본 발명은 카메라를 이용한 대화형 주문 방법에 관한 것으로, 본 발명에 따른 터치스크린과 카메라부를 구비한 사용자 무선단말에서 실행되는 카메라를 이용한 대화형 주문 방법은, 상기 카메라부를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하는 제1 단계와, 상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 제2 단계와, 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하는 제3 단계와, 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 제4 단계를 포함한다.

Description

카메라를 이용한 대화형 주문 방법{Method for Interactive Ordering by Using Camera}

본 발명은 카메라를 이용한 대화형 주문 방법에 관한 것으로, 사용자 무선단말의 카메라를 이용하여 실시간 획득되는 화상데이터를 터치스크린에 표시하는 중에 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하고, 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하여 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하도록 하는 방법에 관한 것이다.

종래의 오프라인 매장에서의 주문은 점원이 직접 고객으로부터 구두로 받는 형태였다. 이후 고객이 늘어나고 주문 상의 실수도 발생하면서, 보다 편리하게 주문할 수 있는 주문용 키오스크가 등장하게 되었다.

대한민국 공개특허공보 제10-2021-0062149호(2021년 05월 31일 공개)는 주문관리시스템과 스마트폰의 사용자앱을 활용한 주문 및 주문확인 시스템에 관한 것으로, 손님은 테이블에 위치한 QR코드를 스캔하여 앱상의 방문한 매장 페이지로 이동하고 종업원의 도움없이 스마트폰의 사용자앱을 이용하여 주문과 주문정보 확인, 후기 작성이 가능한 시스템에 대한 구성이 기재되어 있다.

그러나, 별도의 주문관리시스템을 구축하는 비용이 소요되고, 매장별 또는 매장 테이블별 QR코드를 발행하여 일일이 부착해야 하는 번거로움이 존재하였다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 터치스크린과 카메라부를 구비한 사용자 무선단말에서 상기 카메라부를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하고, 상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하여, 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하고, 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하도록 하는 카메라를 이용한 대화형 주문 방법을 제공함에 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 터치스크린과 카메라부를 구비한 사용자 무선단말에서 실행되며, 상기 카메라부를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하는 제1 단계와, 상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 제2 단계와, 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하는 제3 단계와, 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 제4 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, M(M≥1)개의 가맹점 정보를 저장한 관리DB를 구비한 운영서버와 통신 연결하거나 상기 운영서버의 관리DB에 저장된 M개의 가맹점 정보를 수신하여 무선단말의 지정된 저장영역에 저장하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 가맹점 정보는, 가맹점에 고유하게 부여된 가맹점 식별정보, 가맹점을 식별하기 위해 인식할 가맹점 식별 객체에 대응하는 가맹점 식별 객체정보, 가맹점에 구비된 가맹점 단말과 통신하기 위한 가맹점 통신정보, 가맹점의 명칭에 대응하는 가맹점 명칭정보, 가맹점의 유선/무선 통화단말이나 가맹점 대표의 무선 통화단말과 전화 통화하기 위한 가맹점 전화번호정보 중 적어도 하나의 정보를 포함할 수 있다.

본 발명에 따르면, 상기 가맹점 정보는, 가맹점의 위치(또는 주소)에 대응하는 가맹점 위치정보(또는 주소정보), 가맹점에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 고유정보와 매칭된 가맹점 고유정보, 가맹점에 구비된 음파출력장치로부터 출력되는 음파신호에 부호화된 고유정보와 매칭된 가맹점 고유정보 중 적어도 하나의 정보를 더 포함할 수 있다.

본 발명에 따르면, 상기 화상데이터는, 상기 카메라부의 시선 방향을 지정된 메뉴판에 지향하여 획득되는 화상데이터를 포함할 수 있다.

본 발명에 따르면, 상기 터치 점 좌표는, 상기 터치스크린에 대응하는 좌표계 상의 좌표값을 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 카메라부를 통해 실시간 획득되는 화상데이터를 확인하거나 상기 터치스크린에 화상데이터를 표시하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 가맹점 식별 단계를 더 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 터치 점 좌표를 확인한 경우, 상기 터치스크린의 좌표계에 대응하는 터치 점 좌표를 상기 터치스크린을 통해 표시되는 화상데이터의 픽셀 좌표 영역에 대응하는 좌표계로 좌표 변환하는 단계를 더 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 터치스크린에 상기 터치 점이 터치 인식된 터치 인식 시점을 확인하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 제2 단계는, 상기 터치스크린을 통해 표시되었거나 표시 중인 N(N≥1)개의 화상데이터 중 상기 터치 인식 시점에 대응하는 제n(1≤n≤N) 화상데이터를 확인하는 단계 및

상기 제n 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 제n 화상데이터의 픽셀 좌표 영역 중 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 단계;를 포함할 수 있다.

본 발명에 따르면, 상기 터치 인식 시점은, 상기 터치스크린을 통해 사람의 손가락을 이용한 터치 또는 지정된 터치도구를 이용한 터치에 대응하는 터치이벤트가 발생한 시점을 포함할 수 있다.

본 발명에 따르면, 상기 N개의 화상데이터는, 상기 카메라부의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링된 화상데이터, 상기 카메라부의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시되기 위해 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터, 상기 카메라부의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시된 후 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터 중 하나 이상의 화상데이터를 포함할 수 있다.

본 발명에 따르면, 상기 제n 화상데이터는, 상기 N개의 화상데이터 중 모션블러(Motion Blur) 현상이 없거나 최소화된 화상데이터를 포함할 수 있다.

본 발명에 따르면, 상기 주문 메뉴 객체는, 가맹점의 메뉴를 식별 가능한 문자열을 포함하는 주문 메뉴 문자열과, 가맹점의 메뉴를 식별 가능한 사진, 그림, 도안 중 적어도 하나를 포함하는 주문 메뉴 이미지 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 상기 제3 단계는, 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 C(C≥2)개의 문자 정보와 C개의 문자 별 픽셀 좌표 영역 정보를 인식하는 단계와, 상기 C개의 문자 별 픽셀 좌표 영역 정보에 대응하는 C개의 문자 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 문자쓰기 방향에 따라 배열된 c(2≤c≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제3 단계는, 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 C'(C'≥2)개의 문자 정보를 인식하면서 지정된 문자쓰기 방향에 따라 배열된 c'(2≤c'≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제3 단계는, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 S(S≥1)개의 문자열 정보와 S개의 문자열 별 픽셀 좌표 영역 정보를 인식하는 단계와, 상기 S개의 문자열 별 픽셀 좌표 영역 정보에 대응하는 S개의 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제3 단계는, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 인식하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제3 단계는, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 P(P≥1)개의 이미지 정보와 P개의 이미지 별 픽셀 좌표 영역 정보를 인식하는 단계와, 상기 P개의 이미지 별 픽셀 좌표 영역 정보에 대응하는 P개의 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 제3 단계는, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 인식하는 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며, 상기 제3 단계는, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 문자열 정보와 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보를 확인하는 단계와, 상기 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며, 상기 제3 단계는, 상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며, 상기 제3 단계는, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 이미지 정보와 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보를 확인하는 단계와, 상기 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며, 상기 제3 단계는, 상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 터치 점이 터치 인식된 시점에 대응하는 화상데이터를 확인하거나 상기 화상데이터에 포함된 주문 메뉴 객체를 인식하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 가맹점 식별 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 가맹점 식별 객체는, 가맹점을 식별 가능한 문자열을 포함하는 가맹점 식별 문자열과, 가맹점을 식별 가능한 도안, 그림, 사진 중 적어도 하나를 포함하는 가맹점 식별 이미지 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 상기 가맹점 식별 객체는, 가맹점의 위치(또는 주소)를 추가 이용하여 가맹점을 식별하는 경우, 상기 가맹점의 위치(또는 주소)와 조합하여 가맹점을 식별 가능한 가맹점의 주문 메뉴 문자열과 주문 메뉴 이미지 중 적어도 하나의 주문 메뉴 객체를 더 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 무선단말의 측위모듈을 통해 측위된 상기 무선단말의 위치정보를 확인하는 단계와, 지정된 관리DB 또는 상기 무선단말의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 위치정보(또는 주소정보) 중 상기 무선단말의 위치정보와 매칭되거나 지정된 허용 범위 내에 포함된 p(1≤p≤M)개의 가맹점 위치정보(또는 주소정보)에 대응하는 p개의 가맹점을 확인하는 단계를 더 포함하고, 상기 무선단말의 위치정보를 근거로 p개의 가맹점을 확인하고 상기 화상데이터에 포함된 주문 메뉴 문자열과 주문 메뉴 이미지 중 적어도 하나의 주문 메뉴 객체를 인식한 경우 상기 p개의 가맹점 중 상기 인식된 주문 메뉴 객체에 대응하는 가맹점을 확인하는 단계를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 테이블 식별 단계를 더 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 무선단말의 근거리통신모듈을 통해 테이블에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 테이블 번호를 확인하는 단계를 더 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 주문 메뉴 객체를 인식한 경우 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹(Marking)하기 위한 마커(Marker) 정보를 생성하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 제4 단계는, 대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 상기 가맹점에 대응하는 가맹점 측 단말기와 대화형 주문을 위한 통신채널을 연결하는 단계와, 상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 가맹점 측 단말기로 상기 주문 메뉴 정보를 전송하는 절차를 수행하는 단계와, 상기 가맹점 측 단말기로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하는 단계와, 상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 가맹점 측 단말기로 전송하는 단계를 포함할 수 있다.

본 발명에 따르면, 상기 주문 옵션 요청 정보는, 가맹점 측 단말기에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송할 수 있다.

본 발명에 따르면, 상기 제4 단계는, 대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 지정된 운영서버와 통신채널을 연결하거나 연결된 상태를 유지하는 단계와, 상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 운영서버로 상기 주문 메뉴 정보를 전송하는 절차를 수행하는 단계와, 상기 운영서버로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하는 단계와, 상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 운영서버로 전송하는 단계를 포함할 수 있다.

본 발명에 따르면, 테이블 번호를 인식한 경우 상기 통신채널을 통해 상기 테이블 번호를 전송하는 절차를 수행하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 주문 옵션 요청 정보는, 운영서버에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송할 수 있다.

본 발명에 따르면, 상기 주문 옵션 요청 정보는, 주문 메뉴의 수량 옵션과 조리 옵션 중 적어도 하나의 옵션에 대응하는 숫자 또는 문자 또는 문자열의 입력을 요청하는 문자열 정보를 포함하며, 상기 주문 옵션 정보는, 상기 입력 요청된 옵션에 대응하는 숫자 또는 문자 또는 문자열을 포함할 수 있다.

본 발명에 따르면, 상기 주문 옵션 요청 정보는, 주문 메뉴의 수량 옵션과 조리 옵션 중 적어도 하나의 옵션에 대한 객관식 선택을 위한 옵션 선택 인터페이스를 포함하며, 상기 주문 옵션 정보는, 상기 옵션 선택 인터페이스를 통해 선택된 옵션에 대응하는 숫자 또는 문자를 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 주문 메뉴 객체에 대응하는 주문을 가맹점에 접수한 경우 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹하기 위한 마커 정보를 생성하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 마커 정보는, 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 자동 식별하여 인식하기 위한 고유한 패턴 인식 정보 또는 문자 인식 정보를 포함할 수 있다.

본 발명에 따르면, 상기 카메라부를 통해 실시간 획득되어 상기 터치스크린에 표시되는 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식하는 단계와, 상기 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식한 경우 상기 화상데이터 상의 픽셀 좌표 영역 중 상기 마커 정보에 대응하는 주문 메뉴 객체의 픽셀 좌표 영역 위에 기 설정된 가상 객체를 실시간 중첩하여 터치스크린 상에 표시되도록 처리하는 단계를 더 포함할 수 있다.

본 발명에 따른 카메라를 이용한 대화형 주문 방법은, 상기 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 메뉴 정보와 주문 옵션 정보의 조합에 대응하는 t(t≥1)개의 주문 정보를 터치스크린 상의 지정된 영역에 표시하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 사용자는 소지한 무선단말(앱)을 통해 카메라로 매장에 기 구비된 메뉴판을 촬영하는 것만으로, 메뉴 주문을 손쉽게 할 수 있는 이점과, 별도의 주문관리 시스템의 구축이 필요없으며, 매장 내 별도의 장비 교체나 구입이 필요없는 이점이 있다.

도 1은 본 발명의 실시 방법에 따른 카메라를 이용한 대화형 주문을 위한 무선단말의 기능 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 무선단말을 통해 인식된 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 무선단말을 통해 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시 방법에 따라 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 정보를 무선단말의 터치스크린 상의 표시하는 과정을 도시한 도면이다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 카메라를 이용한 대화형 주문을 위한 무선단말의 기능 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 카메라를 이용하여 실시간 획득되는 화상데이터를 터치스크린에 표시하는 중에 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하고, 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하여 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 기능을 실행하도록 하는 무선단말(100)의 기능 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 무선단말(100)의 기능에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 바람직하게, 본 도면1의 무선단말(100)은 각종 이동통신단말, 각종 휴대폰, 각종 스마트폰, 각종 태블릿PC 중 적어도 하나를 포함할 수 있다.

도면1을 참조하면, 상기 무선단말(100)은 제어부(105)와 메모리부(150)와 화면 출력부(110)와 사용자 입력부(115)와 사운드 입력부(120)와 사운드 출력부(125)와 카메라부(130)와 무선망 통신부(135)와 근거리망 통신부(140)와 USIM 리더부(145)를 구비하며, 전원 공급을 위한 배터리를 구비할 수 있다.

상기 제어부(105)는 상기 무선단말(100)의 동작을 제어하는 구성의 총칭으로서, 적어도 하나의 프로세서와 실행 메모리를 포함하여 구성될 수 있으며, 상기 무선단말(100)에 구비된 각 구성부와 버스(BUS)를 통해 연결될 수 있다. 본 발명에 따르면, 상기 제어부(105)는 상기 프로세서를 통해 상기 무선단말(100)에 구비되는 적어도 하나의 프로그램코드를 상기 실행 메모리에 로딩하여 연산하고, 그 결과를 상기 버스를 통해 적어도 하나의 구성부로 전달하여 상기 무선단말(100)의 동작을 제어할 수 있다. 이하, 편의상 프로그램코드 형태로 구현되는 본 발명의 카메라를 이용한 대화형 주문을 위한 기능 구성을 본 제어부(105) 내에 도시하여 설명하기로 한다.

상기 메모리부(150)는 상기 무선단말(100)의 저장 자원에 대응되는 비휘발성 메모리의 총칭으로서, 상기 제어부(105)를 통해 실행되는 적어도 하나의 프로그램코드와, 상기 프로그램코드가 이용하는 적어도 하나의 데이터셋트를 저장하여 유지할 수 있다. 상기 메모리부(150)는 기본적으로 상기 무선단말(100)의 운영체제에 대응하는 시스템프로그램코드와 시스템데이터셋트, 상기 무선단말(100)의 무선 통신 연결을 처리하는 통신프로그램코드와 통신데이터셋트 및 적어도 하나의 응용프로그램코드와 응용데이터셋트를 저장할 수 있으며, 본 발명에 따라 카메라를 이용한 대화형 주문을 위한 동작 기능을 실행 하도록 하는 프로그램코드와 데이터셋트도 상기 메모리부(150)에 저장될 수 있다.

상기 화면 출력부(110)는 화면출력기(예컨대, LCD(Liquid Crystal Display) 등)와 이를 구동하는 출력모듈을 포함하며, 상기 제어부(105)와 연동되어 상기 제어부(105)의 각종 연산 결과 중 화면 출력에 대응하는 연산 결과를 상기 화면출력기로 출력할 수 있다.

상기 사용자 입력부(115)는 하나 이상의 사용자입력기(예컨대, 버튼, 키패드, 터치패드, 화면 출력부(110)와 연동하는 터치스크린 등)와 이를 구동하는 입력모듈을 포함하며, 상기 제어부(105)와 연동되어 상기 제어부(105)의 각종 연산을 명령하는 명령을 입력하거나, 또는 상기 제어부(105)의 연산에 필요한 데이터를 입력할 수 있다.

상기 사운드 입력부(120)는 사운드신호를 입력받는 마이크로폰과 및 이를 구동하는 구동 모듈로 구성될 수 있으며, 마이크로폰을 통해 입력되는 사운드신호를 지정된 엔코딩(Encoding) 규칙에 따라 엔코딩하여 상기 제어부(105)로 전달할 수 있다.

상기 사운드 출력부(125)는 사운드신호를 출력하는 스피커와 이를 구동하는 구동 모듈로 구성될 수 있으며, 상기 제어부(105)의 각종 연산 결과 중 사운드 출력에 대응하는 사운드 데이터를 디코딩(Decoding)하여 상기 스피커를 통해 출력할 수 있다.

상기 카메라부(130)는 카메라 렌즈와 이미지센 및 이를 구동하는 카메라모듈을 포함하며, 자동초점 기능이나 손떨림보정 기능을 위한 액츄에이터(Actuator) 및/또는 각종 필터(예컨대, IR필터 등) 등을 더 포함한다. 바람직하게, 상기 카메라부(130)는 시선 방향의 피사체 중 지정된 화각 내의 피사체에 대한 광학 신호를 카메라 렌즈를 통해 입력받아 이미지센서를 통해 디지털화하여 영상데이터를 생성하여 제어부(105)로 제공할 수 있으며, 상기 액츄에이터를 통해 자동초점 기능이나 손떨림보정 기능을 제공하며, 적어도 하나의 필터를 통해 상기 영상데이터의 품질을 보정할 수 있다.

상기 무선망 통신부(135)와 근거리망 통신부(140)는 상기 무선단말(100)을 지정된 통신망에 접속시키는 통신 자원의 총칭이다. 바람직하게, 상기 무선단말(100)은 무선망 통신부(135)를 기본 통신 자원으로 구비할 수 있으며, 하나 이상의 근거리망 통신부(140)를 구비할 수 있다.

상기 무선망 통신부(135)는 상기 무선단말(100)을 기지국을 경유하는 무선 통신망에 접속시키는 통신 자원의 총칭으로서, 특정 주파수 대역의 무선 주파수 신호를 송수신하는 안테나, RF모듈, 기저대역모듈, 신호처리모듈을 적어도 하나 포함하여 구성되며, 상기 제어부(105)와 연결되어 상기 제어부(105)의 각종 연산 결과 중 무선 통신에 대응하는 연산 결과를 무선 통신망을 통해 전송하거나 또는 무선 통신망을 통해 데이터를 수신하여 상기 제어부(105)로 전달함과 동시에, 상기 무선 통신의 접속, 등록, 통신, 핸드오프의 절차를 수행한다.

상기 무선망 통신부(135)는 CDMA/WCDMA/LTE 규격에 따라 이동 통신망에 접속, 위치등록, 호처리, 통화연결, 데이터통신, 핸드오프를 적어도 하나 수행하는 이동 통신 구성을 포함한다. 한편 당업자의 의도에 따라 상기 무선망 통신부(135)는 IEEE 802.16 관련 규격에 따라 휴대인터넷에 접속, 위치등록, 데이터통신, 핸드오프를 적어도 하나 수행하는 휴대 인터넷 통신 구성을 더 포함할 수 있으며, 상기 무선망 통신부(135)가 제공하는 무선 통신 구성에 의해 본 발명이 한정되지 아니함을 명백히 밝혀두는 바이다. 즉, 상기 무선망 통신부(135)는 무선 구간의 주파수 대역이나 통신망의 종류 또는 프로토콜에 무관하게 셀 기반의 기지국을 통해 무선 통신망에 접속하는 구성부의 총칭이다.

상기 근거리망 통신부(140)는 일정 거리 이내(예컨대, 10m)에서 무선 주파수 신호를 통신매체로 이용하여 통신세션을 연결하고 이를 기반으로 상기 무선단말(100)을 통신망에 접속시키는 통신 자원의 총칭으로서, 바람직하게 와이파이 통신, 블루투스 통신, 공중무선 통신, UWB 중 적어도 하나를 통해 상기 무선단말(100)을 통신망에 접속시킬 수 있다. 본 발명에 따르면, 상기 근거리망 통신부(140)는 무선AP를 통해 상기 무선단말(100)을 패킷 통신 기반의 근거리 무선 데이터 통신을 제공하는 데이터망에 연결한다.

상기 USIM 리더부(145)는 ISO/IEC 7816 규격을 기반으로 상기 무선단말(100)에 탑재 또는 이탈착되는 범용가입자식별모듈(Universal Subscriber Identity Module)과 적어도 하나의 데이터셋트를 교환하는 구성의 총칭으로서, 상기 데이터셋트는 APDU(Application Protocol Data Unit)를 통해 반이중 통신 방식으로 교환된다.

상기 무선단말(100)의 제어부(105)는 상기 통신 자원이 접속 가능한 데이터망을 통해 지정된 앱제공서버(예컨대, 애플사의 앱스토어 등)로부터 본 발명에 따른 무선단말(100)의 기능을 수행하기 위한 프로그램코드를 다운로드하여 설치하는 과정을 수행할 수 있다. 한편 상기 무선단말(100)에 다운로드 설치된 프로그램코드는 설치 후 최초 실행(또는 정보 등록 전 실행) 시 상기 무선단말(100)과 프로그램코드의 조합(또는 상기 프로그램코드를 설치한 무선단말(100), 또는 상기 무선단말(100)에 설치된 프로그램코드)을 고유한 매체로 식별하는 매체식별정보(예컨대, 디바이스토큰, UUID 등)를 생성하거나 지정된 운영서버(100)를 통해 할당받는 절차를 수행할 수 있으며, 상기 무선단말(100)과 프로그램코드의 조합을 고유한 매체로 고유 식별하는 매체식별정보를 지정된 서버(100)에 등록하는 절차를 수행할 수 있다.

한편 상기 무선단말(100)의 프로그램코드는 상기 무선단말(100)을 고유 식별하는 무선단말정보(예컨대, 전화번호, IMSI, IMEI 등)를 지정된 서버에 등록하는 절차를 수행할 수 있으며, 이 경우 상기 서버는 상기 매체식별정보와 상기 무선단말정보를 연계 저장하여 관리할 수 있다. 한편 상기 무선단말(100)의 프로그램코드는 상기 프로그램코드를 설치한 무선단말(100)의 사용자를 고유 식별하는 고유식별정보(예컨대, 주민등록번호, 고유ID(또는 회원ID), 성명, 생년월일 등)를 등록하는 절차를 수행할 수 있으며, 이 경우 상기 서버는 상기 매체식별정보와 상기 사용자의 고유식별정보를 연계 저장하여 관리할 수 있다.

또한, 상기 프로그램코드는 상기 무선단말(100)에 설치된 앱에 포함된 프로그램코드, 상기 무선단말(100)의 브라우져로 제공된 페이지에 포함된 스크립트 형태의 프로그램코드 중 적어도 하나의 프로그램코드를 포함할 수 있다.

도면1을 참조하면, 상기 무선단말(100)의 제어부(105)는, 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하는 좌표 확인부(160)와, 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 영역 확인부(165)와, 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하는 객체 인식부(170)와, 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 주문절차 수행부(175)를 구비하여 구성될 수 있다.

또한, 상기 무선단말(100)의 제어부(105)는, 가맹점 정보를 무선단말(100)의 지정된 저장영역에 저장하는 정보 저장부(180)를 더 구비할 수 있다.

상기 정보 저장부(180)는 M(M≥1)개의 가맹점 정보를 저장한 관리DB를 구비한 운영서버와 통신 연결하거나 상기 운영서버의 관리DB에 저장된 M개의 가맹점 정보를 수신하여 무선단말(100)의 지정된 저장영역에 저장한다.

여기서, 상기 가맹점 정보는, 가맹점에 고유하게 부여된 가맹점 식별정보, 가맹점을 식별하기 위해 인식할 가맹점 식별 객체에 대응하는 가맹점 식별 객체정보, 가맹점에 구비된 가맹점 단말과 통신하기 위한 가맹점 통신정보, 가맹점의 명칭에 대응하는 가맹점 명칭정보, 맹점의 유선/무선 통화단말이나 가맹점 대표의 무선 통화단말과 전화 통화하기 위한 가맹점 전화번호정보 중 적어도 하나의 정보를 포함한다.

또한, 상기 가맹점 정보는, 가맹점의 위치(또는 주소)에 대응하는 가맹점 위치정보(또는 주소정보), 가맹점에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 고유정보와 매칭된 가맹점 고유정보, 가맹점에 구비된 음파출력장치로부터 출력되는 음파신호에 부호화된 고유정보와 매칭된 가맹점 고유정보 중 적어도 하나의 정보를 더 포함할 수 있다.

또한, 상기 운영서버는 M(M≥1)개의 가맹점 정보를 지정된 관리DB에 등록 저장할 수 있으며, 상기 가맹점 정보는, 가맹점 회원의 단말기(유선단말, 무선단말)을 통해 등록 저장되거나, 운영서버와 연계된 운영단말을 통해 등록 저장될 수 있다.

한편, 상기 무선단말(100)의 좌표 확인부(160)는 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인한다.

여기서, 상기 화상데이터는 상기 카메라부(130)의 시선 방향을 지정된 메뉴판에 지향하여 획득되는 화상데이터를 포함할 수 있다.

또한, 상기 터치 점 좌표는 상기 터치스크린에 대응하는 좌표계 상의 좌표값을 포함할 수 있다.

본 발명의 실시 방법에 따르면, 상기 좌표 확인부(160)는 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되는 화상데이터를 상기 터치스크린에 실시간 표시하거나, 또는 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링되는 화상데이터를 상기 터치스크린에 실시간 표시할 수 있다.

여기서, 상기 화상데이터는 상기 카메라부(130)의 이미지센서를 통해 지정된 단위 시간 당 프레임 수에 매칭하여 실시간 생성되는 화상데이터를 포함할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 좌표 확인부(160)는 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되는 화상데이터 중 특정 화상데이터를 캡쳐하여 상기 터치스크린에 표시할 수 있다. 여기서, 상기 특정 화상데이터는 상기 카메라부의 이미지센서를 통해 실시간 생성되는 화상데이터 중 모션블러(Motion Blur) 현상이 없거나 최소화된 화상데이터를 포함할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 좌표 확인부(160)는 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통한 터치이벤트 발생을 실시간 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 좌표 확인부(160)는 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 실시간 표시하는 경우 상기 터치스크린을 통해 실시간 표시되는 화상데이터를 지정된 메모리 영역에 선입선출 형태로 임시 저장할 수 있다.

예컨대, 터치 인식 시점의 화상데이터를 특정하기 위해 화상데이터를 임시 저장할 필요 있으며, 만약 터치 인식 시점 이후의 화상데이터를 특정하는 경우에는 임시 저장하지 않아도 무방하다. 또는 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링되는 화상 데이터를 터치 스크린에 표시하는 경우에는 이미 버퍼링(=임시저장)되어 있으므로 별도로 임시 저장하지 않아도 무방하며, 또는 카메라를 통해 획득되는 화상데이터 중 특정 화상데이터를 캡쳐하여 이미지를 표시한 경우에도 별도로 임시 저장하지 않아도 무방하다.

한편, 본 발명의 실시 방법에 따르면, 상기 좌표 확인부(160)는 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 확인하거나 상기 터치스크린에 화상데이터를 표시하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식할 수 있다. 예컨대, 상기 가맹점은 미리 식별할 수 있고, 주문 메뉴 문자열을 인식하는 중 또는 후에 식별할 수도 있다.

상기 무선단말(100)의 영역 확인부(165)는, 상기 좌표 확인부(160)를 통해 상기 터치 인식된 터치 점에 대응하는 터치 점 좌표가 확인되면, 상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인한다.

본 발명의 실시 방법에 따르면, 상기 영역 확인부(165)는 상기 터치 점 좌표를 확인한 경우, 상기 터치스크린의 좌표계에 대응하는 터치 점 좌표를 상기 터치스크린을 통해 표시되는 화상데이터의 픽셀 좌표 영역에 대응하는 좌표계로 좌표 변환할 수 있다. 만약 터치스크린의 좌표계와 화상데이터의 좌표계가 동일하다면 좌표 변환하지 않아도 무방하다.

또한, 본 발명의 실시 방법에 따르면, 상기 영역 확인부(165)는 상기 터치스크린에 상기 터치 점이 터치 인식된 터치 인식 시점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 영역 확인부(165)는 상기 터치스크린을 통해 표시되었거나 표시 중인 N(N≥1)개의 화상데이터 중 상기 터치 인식 시점에 대응하는 제n(1≤n≤N) 화상데이터를 확인하고, 상기 제n 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 제n 화상데이터의 픽셀 좌표 영역 중 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인할 수 있다.

여기서, 상기 터치 인식 시점은 상기 터치스크린을 통해 사람의 손가락을 이용한 터치 또는 지정된 터치도구를 이용한 터치에 대응하는 터치이벤트가 발생한 시점을 포함할 수 있다.

또한, 상기 제n 화상데이터는, 상기 터치 점이 터치 인식되는 터치이벤트가 발생하기 직전 일정 시간 전부터 상기 터치이벤트가 발생한 이후 일정 시간까지의 지정된 시간 범위 동안 상기 터치스크린을 통해 표시되었거나 표시 중인 하나 이상의 화상데이터 중에서 선택되는 화상데이터를 포함하거나, 또는 상기 터치 점이 터치 인식되는 터치이벤트가 발생한 시점부터 상기 터치이벤트가 발생한 이후 일정 시간까지의 지정된 시간 범위 동안 상기 터치스크린을 통해 표시되었거나 표시 중인 하나 이상의 화상데이터 중에서 선택되는 화상데이터를 포함할 수 있다.

또한, 상기 N개의 화상데이터는, 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링된 화상데이터, 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시되기 위해 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터, 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시된 후 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터 중 하나 이상의 화상데이터를 포함할 수 있다.

또한, 상기 제n 화상데이터는, 상기 N개의 화상데이터 중 모션블러(Motion Blur) 현상이 없거나 최소화된 화상데이터를 포함할 수 있다.

상기 무선단말(100)의 객체 인식부(170)는, 상기 영역 확인부(165)를 통해 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역이 확인되면, 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식한다.

여기서, 상기 주문 메뉴 객체는, 가맹점의 메뉴를 식별 가능한 문자열을 포함하는 주문 메뉴 문자열과, 가맹점의 메뉴를 식별 가능한 사진, 그림, 도안 중 적어도 하나를 포함하는 주문 메뉴 이미지 중 적어도 하나를 포함할 수 있다. 예컨대, 상기 주문 메뉴 문자열은 메뉴 명칭(예: 김치볶음밥 등)을 포함하며, 상기 주문 메뉴 이미지는 메뉴에 대응하는 음식을 촬영한 사진, 메뉴에 대응하는 음식을 식별 가능한 그림이나 도안 등을 포함하며, 광의적으로는 화상데이터를 통해 메뉴를 식별 가능한 객체 중에 문자열을 제외한 나머지 모든 것이 주문 메뉴 이미지에 포함될 수 있다.

본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 C(C≥2)개의 문자 정보와 C개의 문자 별 픽셀 좌표 영역 정보를 인식하고, 상기 C개의 문자 별 픽셀 좌표 영역 정보에 대응하는 C개의 문자 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 문자쓰기 방향에 따라 배열된 c(2≤c≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 C'(C'≥2)개의 문자 정보를 인식하면서 지정된 문자쓰기 방향에 따라 배열된 c'(2≤c'≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

여기서, 상기 문자쓰기 방향은, 가로쓰기 방향, 세로쓰기 방향, 비스듬히쓰기 방향 중 적어도 하나의 방향을 포함할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 S(S≥1)개의 문자열 정보와 S개의 문자열 별 픽셀 좌표 영역 정보를 인식하고, 상기 S개의 문자열 별 픽셀 좌표 영역 정보에 대응하는 S개의 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 인식할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 P(P≥1)개의 이미지 정보와 P개의 이미지 별 픽셀 좌표 영역 정보를 인식하고, 상기 P개의 이미지 별 픽셀 좌표 영역 정보에 대응하는 P개의 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 인식할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 이 경우 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 문자열 정보와 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보를 확인하고, 상기 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 이 경우, 상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 이 경우, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 이미지 정보와 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보를 확인하고, 상기 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 이 경우, 상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인할 수 있다.

한편, 상기 객체 인식부(170)는 상기 주문 메뉴 객체에 대응하는 주문 메뉴 정보를 확인할 수 있다.

본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 터치 점이 터치 인식된 시점에 대응하는 화상데이터를 확인하거나 상기 화상데이터에 포함된 주문 메뉴 객체를 인식하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식할 수 있다.

여기서, 상기 가맹점 식별 객체는, 가맹점을 식별 가능한 문자열을 포함하는 가맹점 식별 문자열과, 가맹점을 식별 가능한 도안, 그림, 사진 중 적어도 하나를 포함하는 가맹점 식별 이미지 중 적어도 하나를 포함할 수 있다. 예컨대, 상기 가맹점 식별 문자열은 가맹점 명칭, 가맹점 명칭과 지점명의 조합을 포함하고, 상기 가맹점 식별 이미지는 가맹점 상표 도안이나 그림, 브랜드 도안이나 그림, 가맹점 명칭의 캘리그라피, 가맹점의 간판이나 출입문 또는 가맹점의 고유 형상을 촬영한 사진 등을 포함하며, 광의적으로는 화상데이터를 통해 가맹점을 식별 가능한 객체 중에 문자열을 제외한 나머지 모든 것이 가맹점 식별 이미지에 포함될 수 있다.

또한, 상기 가맹점 식별 객체는, 가맹점의 위치(또는 주소)를 추가 이용하여 가맹점을 식별하는 경우, 상기 가맹점의 위치(또는 주소)와 조합하여 가맹점을 식별 가능한 가맹점의 주문 메뉴 문자열과 주문 메뉴 이미지 중 적어도 하나의 주문 메뉴 객체를 더 포함할 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 과정에서 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 C(C≥2)개의 문자 정보를 인식하고, 상기 C개의 문자 정보 중 지정된 문자쓰기 방향에 따라 배열된 c(2≤c≤C)개의 문자 정보를 조합하여 지정된 가맹점 식별 문자열에 대응하는 가맹점 식별 객체를 인식하여, 상기 가맹점 식별 객체에 대응하는 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 과정에서 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 S(S≥1)개의 문자열 정보를 인식하고, 상기 S개의 문자열 정보 중 지정된 가맹점 식별 문자열에 대응하는 가맹점 식별 객체를 인식하여, 상기 가맹점 식별 객체에 대응하는 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 과정에서 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 P(P≥1)개의 이미지 정보(=가맹점 로고, 가맹점 상표 도안 등)를 인식하고, 상기 P개의 이미지 정보 중 지정된 가맹점 식별 이미지에 대응하는 가맹점 식별 객체를 인식하여, 상기 가맹점 식별 객체에 대응하는 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 가맹점 식별 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 가맹점 식별 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 과정에서 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 가맹점 식별 문자열에 대응하는 가맹점 식별 객체를 인식하고, 상기 가맹점 식별 객체에 대응하는 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 지정된 가맹점 식별 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 가맹점 식별 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 과정에서 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 가맹점 식별 이미지에 대응하는 가맹점 식별 객체를 인식하고, 상기 가맹점 식별 객체에 대응하는 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 무선단말(100)의 측위모듈을 통해 측위된 상기 무선단말의 위치정보를 확인하고, 지정된 관리DB 또는 상기 무선단말(100)의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 위치정보(또는 주소정보) 중 상기 무선단말(100)의 위치정보와 매칭되거나 지정된 허용 범위 내에 포함된 p(1≤p≤M)개의 가맹점 위치정보(또는 주소정보)에 대응하는 p개의 가맹점을 확인할 수 있으며, 상기 무선단말(100)의 위치정보를 근거로 p개의 가맹점을 확인한 경우 상기 p개의 가맹점에 대응하는 정보를 터치스크린에 표시하여 선택된 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 가맹점 식별 객체가 가맹점 위치정보(또는 주소정보)와 비교 가능한 무선단말의 위치정보를 더 포함하는 경우, 상기 객체 인식부(170)는 상기 무선단말(100)의 측위모듈을 통해 측위된 상기 무선단말의 위치정보를 확인하고, 지정된 관리DB 또는 상기 무선단말(100)의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 위치정보(또는 주소정보) 중 상기 무선단말의 위치정보와 매칭되거나 지정된 허용 범위 내에 포함된 p(1≤p≤M)개의 가맹점 위치정보(또는 주소정보)에 대응하는 p개의 가맹점을 확인할 수 있으며, 상기 무선단말(100)의 위치정보를 근거로 p개의 가맹점을 확인하고 상기 화상데이터에 포함된 가맹점 식별 문자열과 가맹점 식별 이미지 중 적어도 하나의 가맹점 식별 객체를 인식한 경우 상기 p개의 가맹점 중 상기 인식된 가맹점 식별 객체에 대응하는 가맹점을 확인할 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 무선단말(100)의 측위모듈을 통해 측위된 상기 무선단말(100)의 위치정보를 확인하고, 지정된 관리DB 또는 상기 무선단말(100)의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 위치정보(또는 주소정보) 중 상기 무선단말(100)의 위치정보와 매칭되거나 지정된 허용 범위 내에 포함된 p(1≤p≤M)개의 가맹점 위치정보(또는 주소정보)에 대응하는 p개의 가맹점을 확인할 수 있으며, 상기 무선단말(100)의 위치정보를 근거로 p개의 가맹점을 확인하고 상기 화상데이터에 포함된 주문 메뉴 문자열과 주문 메뉴 이미지 중 적어도 하나의 주문 메뉴 객체를 인식한 경우 상기 p개의 가맹점 중 상기 인식된 주문 메뉴 객체에 대응하는 가맹점을 확인할 수 있다. 예컨대, 상기 p개의 가맹점이 'aa중화반점', 'bb햄버거가게', 'cc국밥집' 등인 경우, 만약 주문 메뉴 객체가 '짜장면'의 문자열이나 이미지인 경우, 'aa중화반점'을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 무선단말(100)의 근거리통신모듈을 통해 근거리의 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 고유정보를 확인하고, 상기 근거리 무선신호에 포함된 고유정보를 확인한 경우 지정된 관리DB 또는 상기 무선단말(100)의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 고유정보 중 상기 근거리 무선신호에 포함된 고유정보에 대응하는 가맹점을 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 무선단말(100)의 사운드입력부(120)를 통해 근거리의 음파출력장치로부터 출력되는 음파신호에 포함된 고유정보를 확인하고, 상기 음파신호에 포함된 고유정보를 확인한 경우 지정된 관리DB 또는 상기 무선단말(100)의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 고유정보 중 상기 음파신호에 포함된 고유정보에 대응하는 가맹점을 확인할 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 화상데이터에 포함된 테이블 식별 객체를 인식할 수 있으며, 상기 테이블 식별 객체는 테이블을 식별 가능한 숫자를 포함하는 테이블 번호와, 테이블을 식별 가능한 도안, 그림, 사진 중 적어도 하나를 포함하는 테이블 식별 이미지 중 적어도 하나를 포함할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 테이블 식별 객체를 인식하는 과정에서, 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘 또는 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 문자 정보를 인식하고, 상기 인식된 문자 정보 중 테이블을 식별하는 테이블 번호를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 테이블 식별 객체를 인식하는 과정에서, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 테이블 식별 이미지를 인식하고, 상기 테이블 식별 이미지에 대응하는 테이블 번호를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 테이블에 구비된 테이블 번호의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 테이블 번호에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 테이블 식별 객체를 인식하는 과정에서, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 테이블 번호를 인식할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 테이블에 구비된 테이블 번호에 대응하는 테이블 식별 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 테이블 번호에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 테이블 식별 객체를 인식하는 과정에서, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 테이블 식별 이미지에 대응하는 테이블 번호를 인식할 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 무선단말(100)의 근거리통신모듈을 통해 테이블에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 테이블 번호를 확인할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(170)는 상기 주문 메뉴 객체를 인식한 경우 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹(Marking)하기 위한 마커(Marker) 정보를 생성할 수 있다.

상기 주문절차 수행부(175)는, 상기 객체 인식부(170)를 통해 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체가 인식되면, 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행한다.

본 발명의 실시 방법에 따르면, 상기 주문절차 수행부(175)는 대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 상기 가맹점에 대응하는 가맹점 측 단말기와 대화형 주문을 위한 통신채널을 연결하고, 상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 가맹점 측 단말기로 상기 주문 메뉴 정보를 전송하는 절차를 수행한 후, 상기 가맹점 측 단말기로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하여, 상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 가맹점 측 단말기로 전송할 수 있다.

여기서, 상기 통신채널은, 사용자 무선단말의 근거리 무선모듈과 가맹점 측 단말기의 근거리 무선모듈 간 근거리 무선 통신채널을 포함하거나, 사용자 무선단말과 지정된 운영서버 간 무선망 통신채널 및 상기 운영서버와 가맹점 측 단말기 간 통신채널의 조합을 포함할 수 있다.

또한, 상기 주문 메뉴 정보는 주문 메뉴에 대응하는 문자열 정보를 포함할 수 있으며, 상기 주문 옵션 요청 정보는 가맹점 측 단말기에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송할 수 있다.

또한, 상기 주문 옵션 요청 정보는 가맹점 측 단말기를 운용하는 가맹점 주(또는 직원)에 의해 입력되거나 지정된 옵션 요청 인터페이스를 근거로 선택되어 전송될 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 주문절차 수행부(175)는 대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 지정된 운영서버와 통신채널을 연결하거나 연결된 상태를 유지하고, 상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 운영서버로 상기 주문 메뉴 정보를 전송하는 절차를 수행하고, 상기 운영서버로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하여, 상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 운영서버로 전송할 수 있다.

여기서, 상기 주문 메뉴 정보는, 주문 메뉴에 대응하는 문자열 정보를 포함하거나, 상기 가맹점을 식별하는 정보를 더 포함할 수 있다.

또한, 상기 주문절차 수행부(175)는 테이블 번호를 인식한 경우 상기 통신채널을 통해 상기 테이블 번호를 전송하는 절차를 수행할 수 있다.

또한, 상기 주문 옵션 요청 정보는, 운영서버에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송하거나, 가맹점 측 단말기로 상기 주문 메뉴 정보를 전달한 후 상기 가맹점 측 단말기에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송하거나, 가맹점 측 단말기로 상기 주문 메뉴 정보를 전달한 후 상기 가맹점 측 단말기를 운용하는 가맹점 주(또는 직원)에 의해 입력되거나 지정된 옵션 요청 인터페이스를 근거로 선택되어 전송될 수 있다.

또한, 상기 주문 옵션 요청 정보는, 주문 메뉴의 수량 옵션과 조리 옵션 중 적어도 하나의 옵션에 대응하는 숫자 또는 문자 또는 문자열의 입력을 요청하는 문자열 정보를 포함하며, 상기 주문 옵션 정보는, 상기 입력 요청된 옵션에 대응하는 숫자 또는 문자 또는 문자열을 포함할 수 있다.

또한, 상기 주문 옵션 요청 정보는, 주문 메뉴의 수량 옵션과 조리 옵션 중 적어도 하나의 옵션에 대한 객관식 선택을 위한 옵션 선택 인터페이스를 포함하며, 상기 주문 옵션 정보는, 상기 옵션 선택 인터페이스를 통해 선택된 옵션에 대응하는 숫자 또는 문자를 포함할 수 있다.

또한, 상기 운영서버는 상기 주문 메뉴 정보와 주문 옵션 정보의 조합에 대응하는 주문 정보를 구성하여 가맹점 측 단말기로 전송할 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 주문절차 수행부(175)는 상기 주문 메뉴 객체에 대응하는 주문을 가맹점에 접수한 경우 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹하기 위한 마커 정보를 생성할 수 있다.

또한, 상기 주문절차 수행부(175)는 상기 주문 메뉴 객체에 대응하는 주문 메뉴 정보와 상기 마커 정보를 상기 무선단말의 지정된 저장영역에 매핑 저장할 수 있다.

또한, 상기 주문절차 수행부(175)는 상기 카메라부(130)를 통해 화상데이터를 실시간 획득되는 동안 상기 마커 정보를 저장한 상태를 유지할 수 있다.

여기서, 상기 마커 정보는 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 자동 식별하여 인식하기 위한 고유한 패턴 인식 정보 또는 문자 인식 정보를 포함할 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 주문절차 수행부(175)는 상기 카메라부(130)를 통해 실시간 획득되어 상기 터치스크린에 표시되는 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식하고, 상기 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식한 경우 상기 화상데이터 상의 픽셀 좌표 영역 중 상기 마커 정보에 대응하는 주문 메뉴 객체의 픽셀 좌표 영역 위에 기 설정된 가상 객체를 실시간 중첩하여 터치스크린 상에 표시되도록 처리할 수 있다.

여기서, 상기 가상 객체는, 상기 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체가 기 선택되거나 기 주문된 주문 메뉴 객체임을 시각적으로 표시하기 위한 2D 이미지 객체, 3D 이미지 객체, 도안 객체, 반투명 색상 영역 객체 중 적어도 하나를 포함할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 주문절차 수행부(175)는 상기 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 메뉴 정보와 주문 옵션 정보의 조합에 대응하는 t(t≥1)개의 주문 정보를 터치스크린 상의 지정된 영역에 표시할 수 있다.

도면2는 본 발명의 실시 방법에 따라 무선단말을 통해 인식된 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 터치스크린과 카메라부(130)를 구비한 사용자 무선단말(100)에서 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하고, 상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2를 참조하면, 도시된 실시 방법은 먼저 상기 무선단말(100)에서 M(M≥1)개의 가맹점 정보를 저장한 관리DB를 구비한 운영서버와 통신 연결하거나 상기 운영서버의 관리DB에 저장된 M개의 가맹점 정보를 수신하여 무선단말(100)의 지정된 저장영역에 저장한다(200).

그리고, 상기 무선단말(100)은 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시한다(205). 여기서, 상기 화상데이터는 상기 카메라부(130)의 시선 방향을 지정된 메뉴판에 지향하여 획득되는 화상데이터를 포함할 수 있다.

또한, 상기 화상데이터는 상기 카메라부(130)의 이미지센서를 통해 지정된 단위 시간 당 프레임 수에 매칭하여 실시간 생성되는 화상데이터를 포함할 수 있다.

본 발명의 실시 방법에 따르면, 상기 무선단말(100)은 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되는 화상데이터를 상기 터치스크린에 실시간 표시하거나, 또는 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링되는 화상데이터를 상기 터치스크린에 실시간 표시할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 무선단말(100)은 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되는 화상데이터 중 특정 화상데이터를 캡쳐하여 상기 터치스크린에 표시할 수 있다. 여기서, 상기 특정 화상데이터는 상기 카메라부의 이미지센서를 통해 실시간 생성되는 화상데이터 중 모션블러(Motion Blur) 현상이 없거나 최소화된 화상데이터를 포함할 수 있다.

또한, 본 발명의 실시 방법에 따르면, 상기 무선단말(100)은 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터를 확인하거나 상기 터치스크린에 화상데이터를 표시하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식할 수 있다. 예컨대, 상기 가맹점은 미리 식별할 수 있고, 주문 메뉴 문자열을 인식하는 중 또는 후에 식별할 수도 있다.

그리고, 상기 무선단말(100)은 상기 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인한다(210).

이후, 상기 무선단말(100)은 상기 터치 점 좌표를 확인한 경우, 상기 터치스크린의 좌표계에 대응하는 터치 점 좌표를 상기 터치스크린을 통해 표시되는 화상데이터의 픽셀 좌표 영역에 대응하는 좌표계로 좌표 변환한다(215). 만약 터치스크린의 좌표계와 화상데이터의 좌표계가 동일하다면 좌표 변환하지 않아도 무방하다.

그리고, 상기 무선단말(100)은 상기 터치스크린에 상기 터치 점이 터치 인식된 터치 인식 시점을 확인한다(220). 여기서, 상기 터치 인식 시점은 상기 터치스크린을 통해 사람의 손가락을 이용한 터치 또는 지정된 터치도구를 이용한 터치에 대응하는 터치이벤트가 발생한 시점을 포함할 수 있다.

상기 터치 인식된 터치 점에 대응하는 터치 점 좌표가 확인되면, 상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인한다.

이후, 상기 무선단말(100)은 상기 터치스크린을 통해 표시되었거나 표시 중인 N(N≥1)개의 화상데이터 중 상기 터치 인식 시점에 대응하는 제n(1≤n≤N) 화상데이터를 확인하고(225), 상기 제n 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭한다(230).

상기 제n 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭하여 상기 무선단말(100)은 상기 제n 화상데이터의 픽셀 좌표 영역 중 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인한다(235).

여기서, 상기 N개의 화상데이터는, 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링된 화상데이터, 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시되기 위해 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터, 상기 카메라부(130)의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시된 후 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터 중 하나 이상의 화상데이터를 포함할 수 있다.

도면3은 본 발명의 실시 방법에 따라 무선단말을 통해 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 과정을 도시한 도면이다.

보다 상세하게 본 도면3은 상기 도면2의 과정 이후, 무선단말(100)에서 화상데이터의 픽셀 좌표 영역 중 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하고, 상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면3을 참조하면, 도시된 실시 방법은 상기 도면2의 과정을 통해 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역이 확인되면, 상기 무선단말(100)은 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식한다(300). 여기서, 상기 주문 메뉴 객체는, 가맹점의 메뉴를 식별 가능한 문자열을 포함하는 주문 메뉴 문자열과, 가맹점의 메뉴를 식별 가능한 사진, 그림, 도안 중 적어도 하나를 포함하는 주문 메뉴 이미지 중 적어도 하나를 포함할 수 있다. 예컨대, 상기 주문 메뉴 문자열은 메뉴 명칭(예: 김치볶음밥 등)을 포함하며, 상기 주문 메뉴 이미지는 메뉴에 대응하는 음식을 촬영한 사진, 메뉴에 대응하는 음식을 식별 가능한 그림이나 도안 등을 포함하며, 광의적으로는 화상데이터를 통해 메뉴를 식별 가능한 객체 중에 문자열을 제외한 나머지 모든 것이 주문 메뉴 이미지에 포함될 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 과정은 매우 다양한 실시예로 제시될 수 있다.

우선, 상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제1 실시예에 따르면, 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 C(C≥2)개의 문자 정보와 C개의 문자 별 픽셀 좌표 영역 정보를 인식하고, 상기 C개의 문자 별 픽셀 좌표 영역 정보에 대응하는 C개의 문자 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 문자쓰기 방향에 따라 배열된 c(2≤c≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제2 실시예에 따르면, 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 C'(C'≥2)개의 문자 정보를 인식하면서 지정된 문자쓰기 방향에 따라 배열된 c'(2≤c'≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제3 실시예에 따르면, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 S(S≥1)개의 문자열 정보와 S개의 문자열 별 픽셀 좌표 영역 정보를 인식하고, 상기 S개의 문자열 별 픽셀 좌표 영역 정보에 대응하는 S개의 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제4 실시예에 따르면, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 인식할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제5 실시예에 따르면, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 P(P≥1)개의 이미지 정보와 P개의 이미지 별 픽셀 좌표 영역 정보를 인식하고, 상기 P개의 이미지 별 픽셀 좌표 영역 정보에 대응하는 P개의 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제6 실시예에 따르면, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 인식할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제7 실시예에 따르면, 지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 문자열 정보와 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보를 확인하고, 상기 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제8 실시예에 따르면, 지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제9 실시예에 따르면, 지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 이미지 정보와 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보를 확인하고, 상기 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인할 수 있다.

상기 무선단말(100)에서 주문 메뉴 객체를 인식하는 제10 실시예에 따르면, 지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인할 수 있다.

한편, 상기 무선단말(100)은 상기 터치 점이 터치 인식된 시점에 대응하는 화상데이터를 확인하거나 상기 화상데이터에 포함된 주문 메뉴 객체를 인식하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식할 수 있다. 여기서, 상기 가맹점 식별 객체는, 가맹점을 식별 가능한 문자열을 포함하는 가맹점 식별 문자열과, 가맹점을 식별 가능한 도안, 그림, 사진 중 적어도 하나를 포함하는 가맹점 식별 이미지 중 적어도 하나를 포함할 수 있다. 예컨대, 상기 가맹점 식별 문자열은 가맹점 명칭, 가맹점 명칭과 지점명의 조합을 포함하고, 상기 가맹점 식별 이미지는 가맹점 상표 도안이나 그림, 브랜드 도안이나 그림, 가맹점 명칭의 캘리그라피, 가맹점의 간판이나 출입문 또는 가맹점의 고유 형상을 촬영한 사진 등을 포함하며, 광의적으로는 화상데이터를 통해 가맹점을 식별 가능한 객체 중에 문자열을 제외한 나머지 모든 것이 가맹점 식별 이미지에 포함될 수 있다.

이후, 상기 무선단말(100)은 상기 화상데이터에 포함된 테이블 식별 객체를 인식한다(305). 여기서 상기 테이블 식별 객체는 테이블을 식별 가능한 숫자를 포함하는 테이블 번호와, 테이블을 식별 가능한 도안, 그림, 사진 중 적어도 하나를 포함하는 테이블 식별 이미지 중 적어도 하나를 포함할 수 있다.

상기 무선단말(100)이 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 과정은 다양한 실시예로 제시될 수 있다.

우선 상기 무선단말(100)이 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 제1 실시예에 따르면, 지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘 또는 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 문자 정보를 인식하고, 상기 인식된 문자 정보 중 테이블을 식별하는 테이블 번호를 확인할 수 있다.

상기 무선단말(100)이 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 제2 실시예에 따르면, 지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 테이블 식별 이미지를 인식하고, 상기 테이블 식별 이미지에 대응하는 테이블 번호를 확인할 수 있다.

상기 무선단말(100)이 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 제3 실시예에 따르면, 테이블에 구비된 테이블 번호의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 테이블 번호에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 테이블 번호를 인식할 수 있다.

상기 무선단말(100)이 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 제4 실시예에 따르면, 테이블에 구비된 테이블 번호에 대응하는 테이블 식별 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 테이블 번호에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있으며, 상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 테이블 식별 이미지에 대응하는 테이블 번호를 인식할 수 있다.

상기 무선단말(100)이 상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 제5 실시예에 따르면, 상기 무선단말(100)의 근거리통신모듈을 통해 테이블에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 테이블 번호를 확인할 수 있다.

이후, 상기 무선단말(100)은 대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지한다(310).

그리고, 상기 무선단말(100)은 상기 가맹점에 대응하는 가맹점 측 단말기와 대화형 주문을 위한 통신채널을 연결하고(315), 상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 가맹점 측 단말기로 상기 주문 메뉴 정보를 전송하는 절차를 수행한다(320).

그리고, 상기 무선단말(100)은 상기 가맹점 측 단말기로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하여(325), 상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 가맹점 측 단말기로 전송한다(330).

한편, 상기 무선단말(100)에서 대화형으로 주문 메뉴를 전송하는 다른 실시예에 따르면, 대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 지정된 운영서버와 통신채널을 연결하거나 연결된 상태를 유지하고, 상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 운영서버로 상기 주문 메뉴 정보를 전송하는 절차를 수행하고, 상기 운영서버로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하여, 상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 운영서버로 전송할 수 있다.

또한, 상기 무선단말(100)은 테이블 번호를 인식한 경우 상기 통신채널을 통해 상기 테이블 번호를 전송하는 절차를 수행할 수 있다.

도면4는 본 발명의 일 실시 방법에 따라 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 정보를 무선단말의 터치스크린 상의 표시하는 과정을 도시한 도면이다.

보다 상세하게 본 도면4는 상기 도면3의 과정 이후, 무선단말(100)에서 상기 주문 메뉴 객체에 대응하는 주문을 가맹점에 접수한 경우, 주문 메뉴 객체를 마킹하기 위해 생성된 마커 정보를 이용하여 상기 카메라부(130)를 통해 실시간 획득되어 상기 터치스크린에 표시되는 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식하고, 상기 화상데이터 상의 픽셀 좌표 영역 중 상기 마커 정보에 대응하는 주문 메뉴 객체의 픽셀 좌표 영역 위에 기 설정된 가상 객체를 실시간 중첩하여 터치스크린 상에 표시되도록 처리하여, 상기 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 정보를 터치스크린 상의 지정된 영역에 표시하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면4를 참조하면, 도시된 실시 방법은, 상기 도면3의 과정을 통해 주문 메뉴 객체에 대응하는 주문을 가맹점에 접수한 이후, 무선단말(100)에서 상기 주문 메뉴 객체에 대응하는 주문을 가맹점에 접수한 경우 상기 카메라부(130)를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹하기 위한 마커 정보를 생성한다(400).

그리고, 상기 무선단말(100)은 상기 주문 메뉴 객체에 대응하는 주문 메뉴 정보와 상기 마커 정보를 상기 무선단말의 지정된 저장영역에 매핑 저장한다(405).

또한, 상기 무선단말(100)은 상기 카메라부(130)를 통해 화상데이터를 실시간 획득되는 동안 상기 마커 정보를 저장한 상태를 유지한다(410). 여기서, 상기 마커 정보는 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 자동 식별하여 인식하기 위한 고유한 패턴 인식 정보 또는 문자 인식 정보를 포함할 수 있다.

이후, 상기 무선단말(100)은 상기 카메라부(130)를 통해 실시간 획득되어 상기 터치스크린에 표시되는 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식하고(415), 상기 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식한 경우 상기 화상데이터 상의 픽셀 좌표 영역 중 상기 마커 정보에 대응하는 주문 메뉴 객체의 픽셀 좌표 영역 위에 기 설정된 가상 객체를 실시간 중첩하여 터치스크린 상에 표시되도록 처리한다(420). 여기서, 상기 가상 객체는, 상기 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체가 기 선택되거나 기 주문된 주문 메뉴 객체임을 시각적으로 표시하기 위한 2D 이미지 객체, 3D 이미지 객체, 도안 객체, 반투명 색상 영역 객체 중 적어도 하나를 포함할 수 있다.

그리고, 상기 무선단말(100)은 상기 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 메뉴 정보와 주문 옵션 정보의 조합에 대응하는 t(t≥1)개의 주문 정보를 터치스크린 상의 지정된 영역에 표시한다(425).

100 : 무선단말 105 : 제어부
110 : 화면 출력부 115 : 사용자 입력부
120 : 사운드 입력부 125 : 사운드 출력부
130 : 카메라부 135 : 무선망 통신부
140 : 근거리망 통신부 145 : USIM 리더부
150 : 메모리부 155 : 배터리
160 : 좌표 확인부 165 : 영역 확인부
170 : 객체 인식부 175 : 주문절차 수행부
180 : 정보 저장부 185 : 운영서버

Claims

터치스크린과 카메라부를 구비한 사용자 무선단말에서 실행되는 방법에 있어서,
상기 카메라부를 통해 실시간 획득되는 화상데이터를 상기 터치스크린에 표시하는 중에 상기 터치스크린을 통해 터치 인식된 터치 점에 대응하는 터치 점 좌표를 확인하는 제1 단계;
상기 터치 점이 터치 인식된 시점에 상기 터치스크린을 통해 표시된 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 제2 단계;
상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 주문 가능 메뉴에 대응하는 주문 메뉴 객체를 인식하는 제3 단계; 및
상기 주문 메뉴 객체에 대응하는 가맹점이 확인된 경우 상기 가맹점으로 상기 주문 메뉴 객체에 대응하는 주문을 접수하기 위한 대화형 주문 절차를 수행하는 제4 단계;를 포함하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
M(M≥1)개의 가맹점 정보를 저장한 관리DB를 구비한 운영서버와 통신 연결하거나 상기 운영서버의 관리DB에 저장된 M개의 가맹점 정보를 수신하여 무선단말의 지정된 저장영역에 저장하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 2항에 있어서, 상기 가맹점 정보는,
가맹점에 고유하게 부여된 가맹점 식별정보,
가맹점을 식별하기 위해 인식할 가맹점 식별 객체에 대응하는 가맹점 식별 객체정보,
가맹점에 구비된 가맹점 단말과 통신하기 위한 가맹점 통신정보,
가맹점의 명칭에 대응하는 가맹점 명칭정보,
가맹점의 유선/무선 통화단말이나 가맹점 대표의 무선 통화단말과 전화 통화하기 위한 가맹점 전화번호정보 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 3항에 있어서, 상기 가맹점 정보는,
가맹점의 위치(또는 주소)에 대응하는 가맹점 위치정보(또는 주소정보),
가맹점에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 고유정보와 매칭된 가맹점 고유정보,
가맹점에 구비된 음파출력장치로부터 출력되는 음파신호에 부호화된 고유정보와 매칭된 가맹점 고유정보 중 적어도 하나의 정보를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 화상데이터는,
상기 카메라부의 시선 방향을 지정된 메뉴판에 지향하여 획득되는 화상데이터를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 터치 점 좌표는,
상기 터치스크린에 대응하는 좌표계 상의 좌표값을 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 카메라부를 통해 실시간 획득되는 화상데이터를 확인하거나 상기 터치스크린에 화상데이터를 표시하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 가맹점 식별 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 터치 점 좌표를 확인한 경우,
상기 터치스크린의 좌표계에 대응하는 터치 점 좌표를 상기 터치스크린을 통해 표시되는 화상데이터의 픽셀 좌표 영역에 대응하는 좌표계로 좌표 변환하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 터치스크린에 상기 터치 점이 터치 인식된 터치 인식 시점을 확인하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제2 단계는,
상기 터치스크린을 통해 표시되었거나 표시 중인 N(N≥1)개의 화상데이터 중 상기 터치 인식 시점에 대응하는 제n(1≤n≤N) 화상데이터를 확인하는 단계; 및
상기 제n 화상데이터의 픽셀 좌표 영역에 상기 터치 점 좌표를 매칭시켜 상기 제n 화상데이터의 픽셀 좌표 영역 중 상기 터치 점 좌표에 대응하는 터치 기반 픽셀 좌표 영역을 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 10항에 있어서, 상기 터치 인식 시점은,
상기 터치스크린을 통해 사람의 손가락을 이용한 터치 또는 지정된 터치도구를 이용한 터치에 대응하는 터치이벤트가 발생한 시점을 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 10항에 있어서, 상기 N개의 화상데이터는,
상기 카메라부의 이미지센서를 통해 실시간 생성되어 지정된 메모리 영역에 버퍼링된 화상데이터,
상기 카메라부의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시되기 위해 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터,
상기 카메라부의 이미지센서를 통해 실시간 생성되어 상기 터치스크린을 통해 실시간 표시된 후 지정된 메모리 영역에 선입선출 형태로 임시 저장된 화상데이터 중 하나 이상의 화상데이터를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 10항에 있어서, 상기 제n 화상데이터는,
상기 N개의 화상데이터 중 모션블러(Motion Blur) 현상이 없거나 최소화된 화상데이터를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 주문 메뉴 객체는,
가맹점의 메뉴를 식별 가능한 문자열을 포함하는 주문 메뉴 문자열과,
가맹점의 메뉴를 식별 가능한 사진, 그림, 도안 중 적어도 하나를 포함하는 주문 메뉴 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제3 단계는,
지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 C(C≥2)개의 문자 정보와 C개의 문자 별 픽셀 좌표 영역 정보를 인식하는 단계; 및
상기 C개의 문자 별 픽셀 좌표 영역 정보에 대응하는 C개의 문자 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 문자쓰기 방향에 따라 배열된 c(2≤c≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제3 단계는,
지정된 문자 인식(Optical Character Recognition; OCR) 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함된 C'(C'≥2)개의 문자 정보를 인식하면서 지정된 문자쓰기 방향에 따라 배열된 c'(2≤c'≤C)개의 문자 정보를 조합하여 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제3 단계는,
지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 S(S≥1)개의 문자열 정보와 S개의 문자열 별 픽셀 좌표 영역 정보를 인식하는 단계; 및
상기 S개의 문자열 별 픽셀 좌표 영역 정보에 대응하는 S개의 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제3 단계는,
지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 인식하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제3 단계는,
지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역에 포함된 P(P≥1)개의 이미지 정보와 P개의 이미지 별 픽셀 좌표 영역 정보를 인식하는 단계; 및
상기 P개의 이미지 별 픽셀 좌표 영역 정보에 대응하는 P개의 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제3 단계는,
지정된 패턴 인식 알고리즘을 통해 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 포함되면서 지정된 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 인식하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며,
상기 제3 단계는,
상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 문자열 정보와 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보를 확인하는 단계; 및
상기 M개의 주문 메뉴 문자열 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 문자열 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
지정된 주문 메뉴 문자열의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 문자열에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며,
상기 제3 단계는,
상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 문자열에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며,
상기 제3 단계는,
상기 화상데이터를 상기 인공지능모듈에 대입하여 상기 화상데이터에 포함된 M(M≥1)개의 주문 메뉴 이미지 정보와 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보를 확인하는 단계; 및
상기 M개의 주문 메뉴 이미지 별 픽셀 좌표 영역 정보에 대응하는 M개의 주문 메뉴 이미지 정보 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
지정된 주문 메뉴 이미지의 관측된 특징에 대응하는 i(i≥2)개의 입력 정보와 상기 주문 메뉴 이미지에 대응하는 출력 정보를 포함하는 학습데이터를 지정된 인공지능모듈에 대입하여 학습시키는 단계를 더 포함하며,
상기 제3 단계는,
상기 화상데이터와 상기 터치 기반 픽셀 좌표 영역 정보를 상기 인공지능모듈에 대입하여 상기 화상데이터의 픽셀 좌표 영역 중 상기 터치 기반 픽셀 좌표 영역을 포함하는 지정된 픽셀 좌표 영역에 매칭되는 주문 메뉴 이미지에 대응하는 주문 메뉴 객체를 확인하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 터치 점이 터치 인식된 시점에 대응하는 화상데이터를 확인하거나 상기 화상데이터에 포함된 주문 메뉴 객체를 인식하는 경우, 상기 화상데이터에 포함된 가맹점 식별 객체를 인식하는 가맹점 식별 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 7항 또는 제 25항에 있어서, 상기 가맹점 식별 객체는,
가맹점을 식별 가능한 문자열을 포함하는 가맹점 식별 문자열과,
가맹점을 식별 가능한 도안, 그림, 사진 중 적어도 하나를 포함하는 가맹점 식별 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 7항 또는 제 25항에 있어서, 상기 가맹점 식별 객체는,
가맹점의 위치(또는 주소)를 추가 이용하여 가맹점을 식별하는 경우,
상기 가맹점의 위치(또는 주소)와 조합하여 가맹점을 식별 가능한 가맹점의 주문 메뉴 문자열과 주문 메뉴 이미지 중 적어도 하나의 주문 메뉴 객체를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 무선단말의 측위모듈을 통해 측위된 상기 무선단말의 위치정보를 확인하는 단계;
지정된 관리DB 또는 상기 무선단말의 지정된 저장영역에 저장된 M(M≥1)개의 가맹점 정보에 포함된 M개의 가맹점 위치정보(또는 주소정보) 중 상기 무선단말의 위치정보와 매칭되거나 지정된 허용 범위 내에 포함된 p(1≤p≤M)개의 가맹점 위치정보(또는 주소정보)에 대응하는 p개의 가맹점을 확인하는 단계;를 더 포함하고,
상기 무선단말의 위치정보를 근거로 p개의 가맹점을 확인하고 상기 화상데이터에 포함된 주문 메뉴 문자열과 주문 메뉴 이미지 중 적어도 하나의 주문 메뉴 객체를 인식한 경우 상기 p개의 가맹점 중 상기 인식된 주문 메뉴 객체에 대응하는 가맹점을 확인하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 화상데이터에 포함된 테이블 식별 객체를 인식하는 테이블 식별 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 무선단말의 근거리통신모듈을 통해 테이블에 구비된 무선신호장치로부터 송출되는 근거리 무선신호에 포함된 테이블 번호를 확인하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 주문 메뉴 객체를 인식한 경우 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹(Marking)하기 위한 마커(Marker) 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제4 단계는,
대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 상기 가맹점에 대응하는 가맹점 측 단말기와 대화형 주문을 위한 통신채널을 연결하는 단계;
상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 가맹점 측 단말기로 상기 주문 메뉴 정보를 전송하는 절차를 수행하는 단계;
상기 가맹점 측 단말기로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하는 단계; 및
상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 가맹점 측 단말기로 전송하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 32항에 있어서, 상기 주문 옵션 요청 정보는,
가맹점 측 단말기에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서, 상기 제4 단계는,
대화형 주문을 위한 대화 인터페이스 화면을 표시하거나 표시한 상태를 유지하면서 지정된 운영서버와 통신채널을 연결하거나 연결된 상태를 유지하는 단계;
상기 대화 인터페이스 화면에 상기 주문 메뉴 객체 대응하는 주문 메뉴 정보를 표시하면서 상기 통신채널을 통해 상기 운영서버로 상기 주문 메뉴 정보를 전송하는 절차를 수행하는 단계;
상기 운영서버로부터 상기 주문 메뉴 정보에 대응하는 주문 옵션 요청 정보를 수신하여 대화 인터페이스 화면에 표시하는 단계; 및
상기 대화 인터페이스 화면을 통해 주문 옵션 요청 정보에 대응하는 주문 옵션 정보를 입력받거나 선택받아 표시하면서 상기 운영서버로 전송하는 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 32항 또는 제 34항에 있어서,
테이블 번호를 인식한 경우 상기 통신채널을 통해 상기 테이블 번호를 전송하는 절차를 수행하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 34항에 있어서, 상기 주문 옵션 요청 정보는,
운영서버에 구비된 챗봇앱에서 상기 주문 메뉴 정보를 근거로 생성하여 전송하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 32항 또는 제 34항에 있어서,
상기 주문 옵션 요청 정보는, 주문 메뉴의 수량 옵션과 조리 옵션 중 적어도 하나의 옵션에 대응하는 숫자 또는 문자 또는 문자열의 입력을 요청하는 문자열 정보를 포함하며,
상기 주문 옵션 정보는, 상기 입력 요청된 옵션에 대응하는 숫자 또는 문자 또는 문자열을 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 32항 또는 제 34항에 있어서,
상기 주문 옵션 요청 정보는, 주문 메뉴의 수량 옵션과 조리 옵션 중 적어도 하나의 옵션에 대한 객관식 선택을 위한 옵션 선택 인터페이스를 포함하며,
상기 주문 옵션 정보는, 상기 옵션 선택 인터페이스를 통해 선택된 옵션에 대응하는 숫자 또는 문자를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 주문 메뉴 객체에 대응하는 주문을 가맹점에 접수한 경우 상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 마킹하기 위한 마커 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 31항 또는 제 39항에 있어서, 상기 마커 정보는,
상기 카메라부를 통해 실시간 획득되는 화상데이터 상에서 상기 주문 메뉴 객체를 자동 식별하여 인식하기 위한 고유한 패턴 인식 정보 또는 문자 인식 정보를 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 31항 또는 제 39항에 있어서,
상기 카메라부를 통해 실시간 획득되어 상기 터치스크린에 표시되는 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식하는 단계;
상기 화상데이터 상에서 상기 마커 정보에 대응하는 주문 메뉴 객체를 인식한 경우 상기 화상데이터 상의 픽셀 좌표 영역 중 상기 마커 정보에 대응하는 주문 메뉴 객체의 픽셀 좌표 영역 위에 기 설정된 가상 객체를 실시간 중첩하여 터치스크린 상에 표시되도록 처리하는 단계;를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.
제 1항에 있어서,
상기 대화형 주문 절차를 통해 대화형으로 입력되거나 선택된 주문 메뉴 정보와 주문 옵션 정보의 조합에 대응하는 t(t≥1)개의 주문 정보를 터치스크린 상의 지정된 영역에 표시하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 대화형 주문 방법.