KR20230012861A

KR20230012861A - 전자 장치 및 전자 장치의 제어 방법

Info

Publication number: KR20230012861A
Application number: KR1020210093643A
Authority: KR
Inventors: 박재성; 박이훈; 이정흠; 최낙원
Original assignee: 삼성전자주식회사
Priority date: 2021-07-16
Filing date: 2021-07-16
Publication date: 2023-01-26
Also published as: WO2023287054A1

Abstract

전자 장치의 일 실시예에 따르면,　이미징 장치; 서버와 통신을 수행하는 통신부; 프로젝터; 상기 이미징 장치를 통해 차량이 촬영되는 것에 기초하여 상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하도록 상기 프로젝터를 제어하고, 상기 이미징 장치를 통해 상기 콘텐츠 이미지에 대한 사용자 제스처가 촬영되는 것에 기초하여 상기 복수의 메뉴 중 상기 사용자 제스처에 대응하는 메뉴를 결정하고, 상기 결정된 메뉴에 대한 정보를 서버로 송신하도록 상기 통신부를 제어하는 프로세서;를 포함할 수 있다.

Description

전자 장치 및 전자 장치의 제어 방법{ELECTRONIC DEVICE AND CONTROL METHOD THEREOF}

개시된 발명은 드라이브 스루 기반 상점에서 사용되는 주문 및 결제 장치에 관한 것으로, 차량의 윈도우를 내리고 주문하고 결제 수단(카드, 현금)을 제시해야 하는 종래의 기술과 달리, 프로젝터로 차량 윈도우에 콘텐츠를 조사하여 주문하고 결제를 수행하는 드라이브 스루 기반 상점용 비대면 키오스크 장치에 관한 것이다.

드라이브 스루(DRIVE-THROUGH, DRIVE-THRU)란 차량의 탑승자가 차량에 탑승한 채로 상점의 상품을 구매할 수 있도록 하는 서비스를 말하며, DT로 약칭된다. 드라이브 스루 방식의 상점은 미국의 패스트푸드점에 널리 적용되어 왔으며, 최근 우리나라에서도 스타벅스, 맥도날드 등의 프랜차이즈 업체들이 드라이브 스루 방식의 영업점을 운영하고 있는 실정이다.

드라이브 스루 기반 상점은 주문 구역, 결제 구역, 상품인도구역(픽업 구역)으로 구별되는데, 드라이브 스루 기반 상점을 통행할 수 있는 진입로를 통해 진입 차량이 주문 구역에 진입하여 주문 단계가 이루어질 수 있다. 여기서, 주문 구역에는 사용자의 주문 및 결제를 위한 주문 장치가 설치되며, 주문 장치는 드라이브 스루 기반 상점 내부의 POS 단말 또는 별도의 서버와 통신할 수 있다. 한편, 종래에는 진입 차량이 주문 구역에서 주문 장치를 이용하여 상품의 주문을 완료한 다음, 진입 차량이 진입로를 따라 결제 구역으로 이동한다. 점원은 드라이브 스루 기반 상점의 결제 단말기를 이용하여 진입 차량의 탑승자로부터 신용카드, 현금, 쿠폰 등 결제 수단을 이용하여 결제 금액을 결제한다. 결제 단계가 이루어진 다음, 진입 차량은 상품인도구역으로 이동하며, 드라이브 스루 기반 상점의 점원이 상품을 탑승자에게 인도함으로써 상품인도단계가 완료된다.

대안적으로, 주문 장치는 카드 투입구, 현금 투입구와 같이 결제를 위한 수단을 구비할 수 있으며, 이 경우 결제 단계가 생략될 수 있어 탑승자의 전체적인 이용 시간이 줄어들 수 있다.

그러나, 종래 드라이브 스루 기반 상점은 주문을 위한 키오스크가 운전자 방향에 비치되어 있어 차량의 동승자가 키오스크를 함께 보거나 주문에 참여하는 것이 불편하여 운전자를 통해서만 가능한 문제점이 있었으며, 운전자가 주문을 할 때도 고개를 밖으로 내밀고 손을 뻗어서 키오스크를 동작시키거나, 매장 주변 소음 상황에 따라 매장 직원에게 목소리를 높여서 음성으로 주문해야 하는 불편함이 있었다.

주문 상품에 대한 지불 또한 위 언급된 경우와 마찬가지의 불편을 줄 수 있고, COVID 상황에서 사용자의 주문 금액 지불을 위해서 결제 수단(신용카드, 현금, 휴대폰 결제)을 차량의 창문을 열고 매장 직원에게 제공해야 하는 등의 불편 요소가 많다. 더욱이 기존 키오스크 시스템은 차량에 탑승한 운전자가 주로 주문 및 결제를 하는 대상이 되는데, 차량의 동승자가 같이 키오스크 화면을 보고 메뉴를 고를 수 있는 방법이 없으며, 더욱이 동승자 2명 이상이 각자 메뉴를 보고 주문을 담고 더 나아가 각자 본인의 결제 방식으로 2명 이상이 따로 결제를 할 수 있는 시스템이 불가능하다.

또한, 이러한 점을 해결하기 위해서 차량 윈도우에 프로젝터를 활용한 디스플레이로 키오스크 영상과 사용자 인터렉션 방법을 제공하는 것이 매우 중요하다.

개시된 발명은 COVID 비대면 시대에 적합한 주문 장치를 제공하며, 드라이브 스루 상점에 진입한 차량의 운전자와 동승자가 함께 차량 전/후/측면 윈도우나 선루프를 통해서 상품을 함께 주문할 수 있도록 차량의 윈도우를 키오스크 화면으로 제공한다. 이를 위해 차량 전/후/측면 윈도우나 선루프로 차량 외부에 위치한 프로젝터를 통해 콘텐츠를 조사하고, 2인 이상의 동승자가 상품을 주문하고 각각 혹은 한 번에 상품을 결제하는 사용자 편의 인터페이스를 제공하는 것을 목적으로 한다.

개시된 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 개시된 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 개시된 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 개시된 발명의 목적 및 장점은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있다.

전자 장치의 일 실시예에 따르면,　이미징 장치; 서버와 통신을 수행하는 통신부; 프로젝터; 상기 이미징 장치를 통해 차량이 촬영되는 것에 기초하여 상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하도록 상기 프로젝터를 제어하고, 상기 이미징 장치를 통해 상기 콘텐츠에 대한 사용자 제스처가 촬영되는 것에 기초하여 상기 복수의 메뉴 중 상기 사용자 제스처에 대응하는 메뉴를 결정하고, 상기 결정된 메뉴에 대한 정보를 서버로 송신하도록 상기 통신부를 제어하는 프로세서;를 포함할 수 있다.

상기 프로젝터는 조사 각도를 설정하기 위해 다양한 각도 별로 콘텐츠를 복수 회 조사하고, 상기 조사된 콘텐츠의 피드백을 확인하여 상기 조사 각도를 설정할 수 있다.

상기 프로젝터는 상기 설정된 조사 각도로 상기 차량에 패턴 영상을 포함하는 콘텐츠를 조사하고, 상기 프로세서는 투과율 및 반사율의 차이에 따라 차량의 윈도우 영역을 검출할 수 있다.

상기 프로세서는 상기 차량의 전면 윈도우에 표시된 선 바이저 패턴을 인식하기 위해 상기 설정된 조사 각도로 상기 차량을 촬영하도록 상기 이미징 장치를 제어하고, 상기 인식된 선 바이저 패턴의 아래쪽 영역을 전면 윈도우 영역으로 검출할 수 있다.

상기 프로세서는 상기 검출된 윈도우 영역의 기울기와 외곽 라운딩 정도를 검출하고, 상기 검출된 기울기와 외곽 라운딩 정도에 기초하여 기하 왜곡 반대 방향으로 역보상을 적용하여 상기 윈도우에 상기 콘텐츠를 조사할 수 있다.

상기 프로세서는 상기 검출된 윈도우 영역의 기울기와 외곽 라운딩 정도를 검출하고, 기하 왜곡이 미리 설정된 기준값 이하인 영역에 상기 콘텐츠 를 축소하여 조사할 수 있다.

상기 프로세서는 상기 차량의 주행 경로 바닥에 패턴 영상을 조사하도록 프로젝터를 제어하고, 상기 패턴 영상을 촬영하도록 상기 이미징 장치를 제어하여 상기 차량이 정상 진입 하였는지 판단할 수 있다.

상기 프로젝터는 상기 차량에 초점 조절을 위한 초점 조절 패턴 영상을 조사하고, 상기 프로세서는 상기 이미징 장치를 통해 패턴 영상을 촬영하여 초점이 정상적으로 설정되었는지 판단하고, 상기 프로젝터가 초점을 조절하도록 제어할 수 있다.

상기 프로세서는 상기 이미징 장치를 통해 상기 차량 내부의 오메가 형상(omega shape)을 인식하고, 인식된 상기 오메가 형상(omega shape)을 기초로 상기 사용자의 두상의 위치를 검출하여 상기 프로젝터가 초점을 조절하도록 제어할 수 있다.

상기 프로세서는 상기 이미징 장치를 통해 상기 차량 내부의 오메가 형상(omega shape)을 인식하고, 상기 오메가 형상(omega shape)이 복수개인 것에 기초하여 상기 차량의 윈도우에 복수개의 키오스크 화면을 조사하도록 상기 프로젝터를 제어할 수 있다.

상기 프로세서는 상기 사용자가 메뉴 선택을 위한 도구를 상기 메뉴 앞에 미리 정해진 시간 동안 머무는 것을 상기 이미징 장치를 통해 감지한 것에 기초하여 상기 사용자가 메뉴를 선택한 것으로 판단할 수 있다.

상기 프로세서는 상기 결정된 메뉴에 대한 정보가 서버로 송신된 것에 기초하여 결제 화면을 상기 차량의 윈도우에 조사하도록 상기 프로젝터를 제어하고, 상기 사용자는 상기 결제 화면을 통해 결제를 진행할 수 있다.

상기 프로세서는 상기 결제 화면에 표시된 마커를 모바일 기기로 촬영하거나, 상기 결제 화면에 표시된 9개의 점을 모바일 기기에서 순서대로 따라 그리는 방식으로 결제를 진행할 수 있다.

일 실시예에 따른 전자 장치의 제어 방법은 프로젝터가 차량의 주행 경로 바닥에 패턴 영상을 조사하는 단계; 상기 이미징 장치가 상기 패턴 영상을 촬영하여 상기 차량이 정상 진입 하였는지 판단하는 단계; 상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 단계; 상기 이미징 장치를 통하여 상기 콘텐츠에 대한 사용자 제스처가 촬영되는 경우 상기 복수의 메뉴 중 상기 사용자 제스처에 대응하는 메뉴를 결정하는 단계; 상기 결정된 메뉴에 대한 정보를 서버로 송신하는 단계;를 포함할 수 있다.

상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 조사 각도를 설정하기 위해 상기 프로젝터를 이동시켜 미리 설정된 각도 별로 프로젝션 빔을 조사하고, 상기 조사된 프로젝션 빔의 피드백을 확인하여 조사 각도를 설정하는 단계;를 더 포함할 수 있다.

상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 상기 차량에 패턴을 조사하고, 반사된 패턴을 상기 이미징 장치로 촬영하여 투과율 및 반사율의 차이에 따라 차량의 윈도우 영역을 검출하는 단계;를 더 포함할 수 있다.

상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 상기 검출된 윈도우 영역의 기울기와 외곽 라운딩 정도를 검출하고, 상기 검출된 기울기와 외곽 라운딩 정도에 기초하여 기하 왜곡 반대 방향으로 역보상을 적용하는 단계;를 더 포함할 수 있다.

상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 상기 차량에 초점 조절을 위한 초점 조절 패턴을 조사하고, 상기 이미징 장치를 통해 패턴을 촬영하여 초점이 정상적으로 설정되었는지 판단하고, 상기 프로젝터가 초점을 조절하는 단계;를 더 포함할 수 있다.

상기 사용자 제스처에 대응하는 메뉴를 결정하는 것은, 상기 사용자가 메뉴 선택을 위한 도구를 상기 메뉴 앞에 미리 정해진 시간 동안 머무는 것을 상기 이미징 장치를 통해 감지한 것에 기초하여 상기 사용자가 메뉴를 선택한 것으로 판단하는 단계;를 더 포함할 수 있다.

상기 결정된 메뉴에 대한 정보를 서버로 송신하는 것은, 결제 화면을 상기 차량의 윈도우에 조사하고, 상기 사용자는 상기 결제 화면을 통해 결제를 진행하는 단계;를 더 포함할 수 있다.

기존 DT점의 키오스크와 달리 사용자는 차량 윈도우를 열고 밖에 위치한 점원이나 키오스크 화면에 발화를 할 필요 없이 차량 내부에서 완전한 비대면으로 주문 및 결제가 가능하다.

차량 전/후/측면 윈도우나 선루프를 활용한 키오스크 제공 방법으로 한 번에 여러 사용자에게 주문을 받을 수 있고, 차량 내부에서 주문을 위해 대기하는 시간 동안 추가 광고나 재미 요소 혹은 DT점의 콘텐츠 시청 등으로 프로젝션을 활용할 수 있어 대기 하는 시간이 줄어드는 것 같은 효과를 줄 수 있다.

차량 동승자 2명 이상이 각각의 키오스크 화면을 보면서 별도의 주문을 해서 각각 결제하거나 혹은 각각 상품 주문만 입력하고 결제는 한 사람의 카드로 한 번에 하는 등의 편의성 UX를 줄 수 있는 편의성이 향상된 키오스크 제공이 가능하다.

도 1은 개시된 발명의 일 실시 예에 따른 진입 차량이 드라이브 스루 기반 상점을 통행할 수 있는 진입로에 진입한 경우 전자 장치의 배치 구조를 나타낸 예시도이다.
도 2은 개시된 발명의 일 실시 예에 따른 전자 장치의 제어 블록도를 나타낸 도면이다.
도 3는 개시된 발명의 일 실시 예에 따른 전자 장치가 진입 차량의 진입을 유도하고 진입 차량이 정상 위치에 진입했는지 확인하는 도면이다.
도 4는 개시된 발명의 일 실시 예에 따른 전자 장치가 선루프가 있는 차량과 없는 차량을 구분하여 콘텐츠를 조사하는 도면이다.
도 5은 개시된 발명의 일 실시 예에 따른 프로젝터가 소정의 각도에 따라 콘텐츠를 조사할 차량 전면부 또는 차량 상측 윈도우를 결정하고 최적의 조사 각도를 설정하는 도면이다.
도 6은 개시된 발명의 일 실시 예에 따른 프로젝터가 소정의 각도에 따라 콘텐츠를 조사할 차량 우측면 또는 좌측면 윈도우를 결정하고 최적의 조사 각도를 설정하는 도면이다.
도 7은 개시된 발명의 일 실시 예에 따른 전자 장치가 윈도우 영역과 그 외의 영역을 구분하는 도면이다.
도 8는 개시된 발명의 일 실시 예에 따른 프로젝터가 1인용 또는 2인용 콘텐츠를 조사하는 것을 설명하는 도면이다.
도 9은 개시된 발명의 일 실시 예에 따른 프로젝터가 콘텐츠를 윈도우에 조사하고, 사용자가 메뉴를 선택하는 것을 보여주는 도면이다.
도 10은 개시된 발명의 일 실시 예에 따른 프로젝터가 콘텐츠를 조사하는 경우 차량의 내부에서 본 모습이다.
도 11는 개시된 발명의 일 실시 예에 따른 전자 장치가 주문 정보나 시청 중이던 컨텐츠 정보를 다음 프로젝터로 넘겨주는 것을 설명하는 도면이다.
도 12은 개시된 발명의 일 실시 예에 따른 전자 장치에 의해 주문이 이루어지는 일반적인 흐름도이다.
도 13는 개시된 발명의 일 실시 예에 따른 전자 장치에 의해 동승자의 탑승이 확인된 경우 복수의 콘텐츠를 조사하는 흐름도이다.

본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.

또한, 본 명세서의 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.

또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.

또한, 본 명세서에서 사용한 "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 개시된 발명의 권리 범위를 벗어나지 않으면서 제1구성 요소는 제2구성 요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1구성 요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array)/ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서(120)에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.

각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서(120)에 의해 실행되었을 때, 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.

이하에서는 첨부도면을 참조하여 전자 장치(100) 및 전자 장치(100)의 제어 방법에 대해 상세히 설명한다.

이하에서 설명하는 프로젝터(130)는 프로젝션 스크린이나 그와 비슷한 흰색의 평평한 표면 위에　영상(이미지나 동영상)을 확대해서 보여 주기 위한 장치로, 보통 다수의 청중에게 동일한 정보를 제공하기 위해 사용되는 도구이며 TV, VCR, DVD Player, PC, 캠코더등의 각종 영상 기기들의 신호를 입력받아서 렌즈를 통해 확대한 영상을 스크린상에 나타내주는 장비일 수 있다.

이하에서 설명하는 이미징 장치(110)는 사물을 촬영 또는 센싱하여 이미지를 얻을 수 있는 수단이면 모두 포함될 수 있다.

예를 들어 사물의 사진이나 영상을 촬영할 수 있는 이미지 센서가 내장된 카메라가 될 수 있다. 또 다른 예로, UWB(Ultra-WideBand), FMCW(Frequency-Modulated Continuous Wave) 와 같이 무선주파수를 이용하여 점구름 형태의 이미지를 생성하는 레이더 기술이 될 수도 있다.

이미지를 생성할 수 있는 모든 수단을 포함하나, 이해의 편의를 위해 이하에서는 이미징 장치(110)가 카메라를 의미하는 것으로 가정하고 설명한다.

도 1은 개시된 발명의 일 실시 예에 따른 진입 차량들(200-1,200-2,200-3)이 드라이브 스루 기반 상점을 통행할 수 있는 진입로에 진입한 경우 전자 장치들(100-1,100-2,100-3)의 배치 구조를 나타낸 예시도이다.

일 실시예에 의한 전자 장치(100)는 드라이브스루(DT) 기반 상점에서 사용되는 주문 및 결제를 위한 것으로서 도 1에 도시된 바와 같이 전자 장치(100)는 차량(200) 진입로 및 이동경로에 설치된다.

도 1을 참조하면 전자 장치(100)는 복수 개로 구성될 수 있으며, 이동 경로로 진입하는 차량(200)과 단방향 또는 양방향으로 소통할 수 있다. 차량(200)과 단방향 또는 양방향으로 소통하기 위한 방법으로, 라디오 채널을 이용할 수 있으며, 라디오 채널을 이용하는 방법은 도 2 및 도 3에서 구체적으로 설명한다.

도 2는 개시된 발명의 일 실시 예에 따른 라디오 채널을 생성하기 위한 입력 값에 관한 도면이고, 도 3은 개시된 발명의 일 실시 예에 따른 프로세서가 라디오 채널을 생성하는 과정에 관한 도면이다.

도 2 및 도 3을 참조하면, 프로세서(120)는, 차량(200)이 DT점에 진입할 때 스피커 등으로 차량(200)의 라디오 채널을 맞추라는 가이드를 할 수 있다. 차량(200)과 통신이 가능한 상태인 경우, 프로세서(120)는 차량(200) 운전자의 동의를 받아 라디오 채널을 특정 주파수로 자동 세팅하고 차량(200) 내부의 스피커로 안내가 되도록 구비할 수 있다.

이 때 DT주위 차량(200)과 라디오채널 간 간섭을 회피하기 위해, 라디오채널은 차량(200) 진입시 차량(200)인식을 통해 획득한 정보를 바탕으로 결정될 수 있다. 예를 들면 전자 장치(100)는, 차종, 년식, 색상, 번호 등 각 특징 파라미터를 코드화 하고, 이 코드조합을 랜덤주파수 생성을 위한 시드로 사용하여, 중복되지 않는 라디오채널을 선정할 수 있다. 선정된 라디오채널은 차량(200)내의 사용자들과 매장 직원간에 단방향 또는 양방향 의사소통을 위한 통신수단을 제공할 수 있다.

도 4는 개시된 발명의 일 실시 예에 따른 전자 장치(100)의 제어 블록도를 나타낸 도면이다.

도 4를 참조하면, 전자 장치(100)는 프로젝터(130), 서버(300), 서버(300)와 통신하도록 통신부(140)를 제어하는 프로세서(120)를 포함할 수 있다.

이하에서는 개시된 발명의 전자 장치(100)의 각 구성에 관하여 상세히 설명한다.

프로젝터(130)는 프로젝션 빔을 발사하기 위한 구성인 프로젝션 모듈(131)과 발사된 프로젝션 빔의 피드백을 확인하거나 사용자의 움직임을 감지할 수 있는 이미징 장치(110)를 포함할 수 있다. 프로젝터(130)는, 차량(200)의 윈도우를 스크린으로 활용하고자 하는 사용자를 위해 주정차 가이드라인을 조사할 수 있다. 또한 프로젝터(130)는, 차량(200)의 윈도우에 콘텐츠를 조사할 수 있고, 적외선 이미징 장치(110)는 최적의 조사 영역 또는 각도를 찾기 위해 사용될 수 있다. 프로젝터(130)는 차량(200)의 윈도우에 콘텐츠를 조사할 수 있고, 적외선 이미징 장치(110)는, 차량(200) 윈도우의 전체적인 기울기와 라운딩 정도를 검출하는 것에 사용될 수 있다. 또한, 프로젝터(130)는, 검출된 윈도우 영역에 키오스크 화면을 제공하기 위해 사용될 수 있다.

통신부(140)는 무선 통신이 가능하도록 구비된 유선 통신 모듈(141)과 유선 통신이 가능하도록 구비된 무선 통신 모듈(142)로 구성될 수 있다. 통신부(140)는, 프로세서(120)의 제어에 따라 서버(300)와 통신하며, 주문에 관한 정보 및 결제에 관한 정보를 서버(300)에 송신하거나 서버(300)로부터 수신하여 프로젝터(130)에 의해 사용자에게 보여지도록 할 수 있다.

서버(300)는 통신부(140)와 통신을 수행하여 주문 정보 및 결제 정보를 판매자의 POS에 넘기거나 POS로부터 받은 정보를 프로젝터(130)에 의해 사용자에게 보여지도록 할 수 있다.

프로세서(120)는 프로젝터(130)를 제어하여 차량(200)의 윈도우를 스크린으로 활용하고자 하는 사용자를 위해 주정차 가이드라인을 제공하거나, 차량(200)의 윈도우에 콘텐츠를 조사하여 최적의 조사 영역 또는 각도를 찾기 위해 사용하거나, 차량(200)의 윈도우에 콘텐츠를 조사하여 차량(200) 윈도우의 전체적인 기울기와 라운딩 정도를 검출하는 것에 사용할 수 있다. 또한, 프로젝터(130)를 검출된 윈도우 영역에 키오스크 화면을 제공하기 위해 사용할 수 있다.

프로세서(120)는 통신부(140)와 서버(300)를 제어하여 통신부(140)와 서버(300) 상호간의 통신으로 주문 정보 및 결제 정보를 서버(300)에 송신하고 서버(300)로부터 주문 정보 및 결제 정보를 통신부(140)가 수신하여 사용자에게 보여지도록 할 수 있다.

프로세서(120)의 동작 중 제스쳐 입력은 프로젝터(130)가 사용자에게 선택할 수 있는 복수의 메뉴를 조사하는 경우, 사용자가 메뉴를 선택하는 것을 의미할 수 있다. 제스쳐 입력은 차량(200)윈도우에 조사된 메뉴 선택 화면내의 특정영역 내에 운전자 또는 동승자의 손가락, 손등 또는 기타 도구가 일정시간 동안 머무르면, 해당 메뉴를 장바구니에 담을지 확인하는 절차 등을 수행한다. 해당 메뉴선택이 아니라면, '아니오'를 선택해서, 메뉴 선택을 계속 진행할 수 있다. 메뉴 선택이 모두 끝났으면, 메뉴선택 공간영역의 주문을 선택할 수 있다.

프로세서(120)의 동작 중 결제 정보 입력의 일 실시예로, 지불 방법의 편의 기능을 제공하기 위해서 사용자가 결재를 선택하면, 프로젝터(130)에서 윈도우의 특정 위치에 특정 마커를 띄우고 그 곳에 휴대폰 이미징 장치(110)를 비추라는 유저 인터페이스(UI)를 띄워준다. 사용자가 지정된 위치의 마커를 사용자의 이미징 장치(110)로 비추면 사용자가 결재를 허락했다는 것으로 간주하고 결재 프로세스로 진행되고 실제 결재를 위한 마커를 촬영케 하거나 인증 코드 등을 띄워주고 입력하게 하는 방법 등이 가능하다.

결제 정보 입력의 또 다른 실시예로, 페어링을 통해 새로운 인증 방법을 제공할 수 있는데, 프로젝터(130) 스크린에 9개의 점을 표시해주고, 그 점들 간에 순서대로 연결된 화살표를 표시해준 후 페어링된 휴대폰으로 그 점을 따라 그리는 동작으로 인증을 하는 방법을 제공할 수 있다. 이는 휴대폰이나 모바일 기기에서 활용하는 락 스크린 해제 방법과 유사하나, 서버(300) 측이 정해놓은 숫자 순서 패턴을 제공하고 사용자가 이를 따라 그리는 동작으로 승인하는 방법으로 기존과 다른 형태라고 할 수 있다.

도 5는 개시된 발명의 일 실시 예에 따른 전자 장치(100)가 진입 차량(200)의 진입을 유도하고 진입 차량(200)이 정상 위치에 진입했는지 확인하는 도면이다.

도 5를 참조하면, 차량(200)이 진입하기 전에, 프로젝터(130)가 차량(200) 주행 경로 바닥에 특정 패턴(예를들어, 주차 위치 4각형 box 등의 표시 등 차량(200)을 특정 위치에 정차할 수 있도록 표시해주는 방법 등)을 조사할 수 있다. 이후 프로젝터(130)가 차량(200)이 특정 위치까지 이동하도록 안내하고 이미징 장치(110)가 정확한 영역에 도착한 것을 인식하여 주정차를 가이드 할 수 있다.

구체적으로, 도 5에서 보여지는 바와 같이 프로젝터(130)가 DT점 이동 경로상에 8개의 점으로 된 특정 패턴을 총 4개 조사하고, 차량(200)이 해당 패턴 위에 주차되도록 가이드 할 수 있다. 프로세서(120)는, 차량(200)의 이동에 의해 4개의 패턴이 가려지면, 가려진 패턴의 개수와 가려진 정도를 분석하여 차량(200)이 DT점 이동 경로에 정상적으로 진입하였는지 판단할 수 있다. 프로세서(120)는, 차량(200)의 크기나 위치를 계산하여 키오스크 화면을 조사할 윈도우 영역을 감지하기 위한 동작을 수행할 수 있다. 프로젝터(130)가 조사하는 패턴의 종류나 개수는 이에 제한되지 않으며, 프로젝터(130)에 의해 패턴이 조사되고 패턴의 변화에 따라 차량(200)의 진입 및 크기를 확인할 수 있는 다른 방법도 포함될 수 있다.

도 6은 개시된 발명의 일 실시 예에 따른 전자 장치(100)가 선루프가 있는 차량(200)과 없는 차량(200)을 구분하여 콘텐츠를 조사하는 도면이다.

도 6을 참조하면, 차량(200)의 선루프를 프로젝터(130) 스크린으로 활용하고자 하는 사용자를 위해서 별도의 주정차 가이드라인과 안내를 제공하는 방법으로, 프로젝터(130)가 바닥에 LED 점멸이나 별도 패턴 등으로 두 개의 정차 가이드라인을 표시하여 차량(200)을 안내 할 수 있다. 예를 들어, 프로젝터(130)가 점선과 실선의 두 가지 가이드라인을 표시하여 선루프를 통한 키오스크 화면 주문은 앞의 점선에 차량(200)의 전면부를 일치시키도록 유도하고, 전면 윈도우를 활용하는 경우는 뒤의 실선에 차량(200)의 전면부를 일치시키도록 유도하여 사용자가 키오스크를 활용할 윈도우를 선택하도록 가이드 할 수 있다.

도 7과 도 8은 개시된 발명의 일 실시 예에 프로젝터(130)가 소정의 각도에 따라 콘텐츠를 조사할 윈도우를 결정하고 최적의 조사 각도를 설정하는 도면이다

도 7과 도 8을 참조하면, 프로젝터(130)가 이동하면서 다양한 각도로 콘텐츠를 조사하고, 피드백을 확인하여 최적의 조사 영역 및 조사 각도를 찾을 수 있다.

도 7을 참조하면, 프로젝터(130)가 콘텐츠를 차량(200)에 조사하면, 이미징 장치(110)가 차량(200)윈도우와 프로젝션 빔의 각도에 따른 조사량, 반사량 등을 판단하고, 최적의 조사 영역 또는 각도를 찾을 수 있다. 예를 들면, 차량(200) 정면 윈도우(제1 조사영역) 또는 선루프(제 2조사영역)에 최적의 빔 조사 각도와 영역을 파악하기 위해, 2차원 평면상에 위치한 프로젝터(130)는 차량(200)의 길이방향(x-y방향)으로 이동하면서 각도별 (θ1, θ2, θ3)로 빔을 조사하고, 프로세서(120)가 반복적으로 피드백을 확인하여 제 1 조사영역에 대한 최적의 조사각도(θ_optimum)를 찾는 과정을 수행할 수 있다.

도 8을 참조하여 또 다른 예를 들면, 차량(200) 좌측면 윈도우(제 3조사영역) 또는 우측면 윈도우(제 4조사영역)에 최적의 빔 조사 각도와 영역을 파악하기 위해, 프로젝터(130)는 차량(200)의 너비방향(u-v방향)으로 이동하면서 각도별 (ψ1, ψ2, ??)로 빔을 조사하고, 프로세서(120)가 피드백을 확인하여 최적의 조사각도을 찾는 과정을 수행할 수 있다.

미리 설정된 각도를 결정하기 위해, 프로세서는 사전에 다양한 차량 이미지를 바탕으로 학습을 진행하여 모델을 생성하고, 생성된 모델을 검증한 후, 이 모델을 이용하여 DT에 진입하는 차량의 윈도우 기울기 정보 등을 추론하는 과정을 거칠 수 있다.

미리 설정된 각도를 효과적으로 결정하기 위한 AI 기술은 머신러닝(Machine Learning)의 한 방법인 딥러닝(Deep Learning) 기술일 수 있다.

머신러닝은 기계가 빅데이터를 확률적, 통계적으로 분석하여 가장 가치 있는 데이터를 찾아내 분류하는 능력을 학습하는 것일 수 있다.　딥 러닝이란 인간의 뇌 신경망을 본따 만든 인공 신경망 모델로 기존의 데이터에 포함된 다양한 변수를 파악하지 못하는 머신러닝의 한계를 보완한 방법일 수 있다.

일 실시 예에 따른 각도의 결정은 데이터 기반 방법의 이미지 분석일 수 있다. 데이터 기반 방법은 수 많은 이미지와 레이블이 있는 데이터셋을 통해 모델을 학습할 수 있다.

학습된 머신러닝 모델은 새로운 이미지를 입력받아 그 이미지의 레이블을 예측할 수 있다. 레이블을 예측하기 위해 입력되는 새로운 이미지는 웹으로부터 수집할 수 도 있고, 개시된 발명의 동작 과정에서 수집될 수 도 있다.

도 9는 개시된 발명의 일 실시 예에 따른 전자 장치(100)가 윈도우 영역과 프레임 영역 등 그 외의 영역을 구분하는 도면이다.

도 9를 참조하면, 차량(200)의 윈도우 영역과 그 외 프레임 영역을 구분하기 위한 과정을 나타내고 있다. 이에 해당하는 일 실시예에 따르면, 차량(200)의 윈도우 영역과 그 외 프레임 영역을 구분하기 위해 프로젝터(130)는 특정 패턴을 차량(200) 윈도우와 프레임 영역에 조사할 수 있다. 프로세서(120)는 차량(200)에 반사된 패턴을 프로젝터(130)에 내장된 (RGB, 적외선 등) 이미징 장치(110)로 촬영해서 투과율과 반사율 차이를 계산할 수 있다. 차량(200)의 프레임에서 반사된 영역과 차량(200)의 윈도우에 의해서 반사된 영역의 패턴은 다를 수 밖에 없으므로, 해당 반사된 패턴의 차이에 따라 차량(200) 윈도우 영역을 검출할 수 있다. 이 때 프로젝터(130)에서 조사한 패턴을 이미징 장치(110)로 촬영한 후, 촬영된 이미지에서 패턴을 기하 왜곡 분석하여 윈도우의 기울기나 크기를 함께 검출할 수 있도록 제공할 수 있다.

일 실시예에 의한 전자 장치(100)가 윈도우 영역과 프레임 영역 등 그 외의 영역을 구분하는 또 다른 실시예에 따르면, 차량(200)의 윈도우를 검출 할 때 차량(200) 윈도우에 프린트된 선 바이저 패턴(sun visor pattern)을 활용하거나, 즉 차량(200)의 전면 윈도우를 프로젝터(130)에 내장된 (RGB, 적외선 등) 이미징 장치(110)로 촬영하여 분석 할 때, 차량(200)의 선 바이저 패턴(sun visor pattern)을 검출하고 해당 선 바이저 패턴(sun visor pattern)의 아래쪽 영역을 차량(200) 전면 윈도우로 검출할 수 있다. 측면과 후면 윈도우 또한 측면과 후면에 프로젝터(130)가 설치된 경우 동일한 방법으로 윈도우 영역을 검출할 수 있다.

전자 장치(100)가 차량(200)의 윈도우 영역을 검출한 것에 기초하여, 검출된 차량(200) 윈도우에 왜곡 없이 키오스크 화면을 표시하는 방법에 대해 상세히 설명하기로 한다.

이미징 장치(110)가 차량(200)의 윈도우를 촬영하여 차량(200) 윈도우의 전체적인 기울기와 윈도우의 외곽 라운딩 정도를 검출할 수 있다. 프로세서(120)는 키오스크 프로젝션 시 차량(200) 탑승자 입장에서 왜곡 없이 키오스크 화면이 보이도록 표시 영상에 검출된 기하 왜곡 반대 방향으로 역보상을 적용할 수 있다.

프로젝터(130)는 왜곡 없이 키오스크 화면이 보이도록 하기 위해 역보상이 적용된 키오스크 화면을 조사하거나, 기하 왜곡이 최소화되는 영역에 키오스크 화면을 축소해서 표시할 수 있다.

기존 키스톤 조정 방법에서의 프로젝터(130)가 기울어진 경우와 달리 프로젝션 하려는 대상 즉, 스크린이 곡률을 갖고 기울어진 상황이므로 곡률 인식과 이를 보상한 키스톤 보정이 수행될 수 있다.

상기 프로세서(120)는 차량의 높이에 따라 프로젝터(130)로 부터 투영되는 윈도우까지의 거리가 달라지게 되고, 그에 따라 이미지의 크기가 달라지게 되는 점을 고려하여 추가적인 보정을 할 수 있다.

프로젝터(130)는 상기 키스톤 보정에 더하여 검출된 윈도우 사이즈로 스케일링 조정 및 화면 비율 조정을 수행한 후 콘텐츠를 조사할 수 있다.

스케일링 조정은 줌 인(zoom-in), 줌 아웃(zoom-out) 기능을 통해 화면의 크기를 조정할 수 있다. 화면 비율 조정은 감지된 크기로 이미지를 표시하거나 높이, 너비 또는 두 가지 모두 최대화하여 이미지 크기를 다시 조정할 수 있고, 원래의 가로 세로 비율을 유지하면서 크기를 윈도우 크기에 맞게 최대화 할 수도 있다.

상기 과정이 자동으로 조정 된 후 사용자에게 키오스크 키스톤을 확정하거나 키스톤을 사용자 매뉴얼로 조절할 수 있다. 그에 의하여, 프로젝터(130)가 최적 초점을 가지는 키오스크 화면을 제공할 수 있다.

프로젝터(130)는 특정 초점 조절 패턴을 차량(200)의 윈도우 중 키오스크 화면을 제공하려는 영역이나 그 외 영역에 표시할 수 있다. 이후 프로세서(120)가 이미징 장치(110)를 활용하여 초점이 정상적으로 설정되었는지 판단 후 자동으로 조절해줄 수 있다. 상기 과정이 자동으로 조정 된 후 사용자에게 초점을 확정하거나 초점을 사용자 매뉴얼로 조절할 수 있다. 그에 의하여, 사용자가 사용자 최적 초점을 갖고 키오스크 화면을 볼 수 있도록 제공할 수 있다.

차량(200) 윈도우를 검출 할 때, 차량(200)의 윈도우에 이물질 (먼지, 빗방울 등)의 제거를 안내하는 과정이 추가될 수 있다. 이는 프로세서(120)가 프로젝터(130)에 내장되어 구비될 수 있는 센서(CCD나 조도 센서 등)를 활용하거나 이미징 장치(110)를 활용하여 윈도우에 출력하는 광량이나 특정 패턴의 이미지가 정상 표시되는지 식별할 수 있다. 프로세서(120)가 이물질이 있다고 판단될 경우, 사용자에게 차량(200) 와이퍼로 스크린에 해당하는 윈도우를 닦아달라고 안내하거나 차량(200)과 통신으로 운전자에게 승인을 요청하고 수락 받아 자동으로 동작시킬 수 있다. 프로젝터(130)는 투영된 영상이나 패턴의 밝기를 식별하고, 밝기가 부족하거나 과하다고 판단될 경우 밝기를 조정하도록 구비한다.

프로젝터(130)가 윈도우에 왜곡 없이 키오스크 화면을 표시하기 위해, 차량(200)의 탑승자의 안구 위치 또는 두상 위치를 인식해서 사용자에게 최적화된 키오스크 스크린 위치를 결정할 수 있다. 구체적으로는 프로세서(120)가 영상 인식으로 오메가 형상 인식 기술을 활용하여 사용자의 안구 위치나 두상 위치를 검출하고 스크린의 기울기 등 프로젝션 대상 환경을 고려한 최적 키오스크 화면을 제공할 수 있다.

여기에서의 오메가 형상 인식 기술이란, 이미징 장치(110)를 이용하여 사람의 머리를 검출하는 머리 추적 알고리즘으로, 사람의 전면 형상이 이미징 장치(110)에 의해 촬영될 경우, 특수한 경우를 제외하고는 머리 부분의 둥근 형상과 어깨 부분의 직선 형상이 합쳐져 오메가(Ω) 형상을 이루게 된다. 이에 따라 이미지 프로세싱으로 이미지를 필터링하여 오메가 형상의 개수에 따라 사람 머리의 개수를 확인하는 기술을 의미한다.

특히 오메가 형상의 인식은 차량 내에 다양한 탑승자의 형태 때문에 검출율이 저조할 수 있다. 이러한 단점을 보완하기 위해 AI 기술을 활용하여 다양한 탑승 패턴 이미지를 학습하여 검출율을 높일 수 있다.

오메가 형상의 검출율을 높이기 위한 AI 기술은 머신러닝(Machine Learning)의 한 방법인 딥러닝(Deep Learning) 기술일 수 있다.

머신러닝은 기계가 빅데이터를 확률적, 통계적으로 분석하여 가장 가치 있는 데이터를 찾아내 분류하는 능력을 학습하는 것일 수 있다.　딥 러닝이란 인간의 뇌 신경망을 본따 만든 인공 신경망 모델로 기존의 데이터에 포함된 다양한 변수를 파악하지 못하는 머신러닝의 한계를 보완한 방법일 수 있다.일 실시 예에 따른 오메가 형상의 검출은 데이터 기반 방법의 이미지 분석일 수 있다. 데이터 기반 방법은 수 많은 이미지와 레이블이 있는 데이터셋을 통해 모델을 학습할 수 있다.

데이터 기반 방법의 예시로 KNN(K-nearest neighbor)방법을 사용할 수 있다. KNN(K-nearest neighbor)방법은　테스트 또는 예측 단계에서 인풋과 가까운 순으로 총 k 개의　데이터의 레이블을 구한 후, 가장 빈번하게 나오는 레이블로 이미지를 예측하는　방법이다.

KNN(K-nearest neighbor)방법을 개시된 발명의 오메가 형상을 검출하는 방법에 사용할 경우, 사용자가 DT매장을 방문할 때 가장 빈번하게 나타나는 형상을 오메가 형상으로 판단하여 검출율을 높일 수 있다.

도 10은 개시된 발명의 일 실시 예에 따른 프로젝터(130)가 1인용 또는 2인용 콘텐츠를 조사하는 것을 설명하는 도면이다.

도 10을 참조하면, 프로세서(120)가 동승자 탑승 여부를 고려하여 키오스크 영역을 자동 조절하여 한 개의 키오스크 화면을 2인 이상이 동시에 활용할 수 있도록 할 수 있다. 프로젝터(130)가 사용자의 선택에 따라 상품 검색 및 주문 등을 위한 유저 인터페이스(UI) 버튼을 양쪽에 제공하거나, 동일한 키오스크 화면을 차량(200)의 운전자와 동승자 각각이 활용할 수 있도록 두 개의 키오스크 화면으로 탑승자 별로 제공할 수 있다.

동승자가 있다고 판단된 경우에도 사용자의 선택에 따라 프로젝터가 사용자에게 메뉴 표시 방법에 대한 선택권을 주어 한 명만 메뉴를 보고 선택할 수도 있다.

이와 같이 키오스크 콘텐츠를 1인용 또는 2인용으로 제공하는 것은 사용자의 선택에 따라서 제공될 수 도 있지만, 프로세서(120)에 의해 자동으로 2인용으로 제공될 수 도 있다.

또한 동승자의 탑승 여부를 확인하는 것은 앞서 설명한 오메가 형상 인식 기술을 활용하여 두상의 개수를 확인하고, 동승자의 탑승 여부를 확인할 수 있다.

도 11은 개시된 발명의 일 실시 예에 따른 프로젝터(130)가 콘텐츠를 윈도우에 조사하고, 사용자가 메뉴를 선택하는 것을 보여주는 도면이다.

도 11을 참조하면, 조사된 콘텐츠의 메뉴를 차량(200)의 윈도우에서 선택할 때, 차량(200) 탑승자가 손이나 기타 도구 등을 활용하여 상품 선택 및 주문 결제를 진행할 수 있다.

차량(200) 탑승자의 손이나 기타 도구가 콘텐츠를 선택하는지 여부를 결정하는 것은 종래 기술에서 많이 활용되는 기술들을 적용할 수 있다. 개시된 발명의 이미징 장치(110)는 적외선(IR) 이미징 장치(110) 또는 RGB 이미징 장치(110)를 포함할 수 있다.

프로세서는 감지된 사용자의 손의 모양이나 제스쳐에 따라 주문 시스템에서 사용자에게 어떤 상품이 장바구니에 담기거나 주문 되었다고 알림을 줄 수 있으며, 사용자가 메뉴 선택을 위한 도구를 메뉴 앞에 미리 정해진 시간 동안 머무는 것을 이미징 장치(110)를 통해 감지한 경우, 사용자가 메뉴를 선택한 것으로 판단할 수 있다.

메뉴가 선택되었음을 운전자 및 동승자가 인지할 수 있도록 피드백을 주는 구체적인 방법으로, 차량(200) 내 음향장치를 이용하는 방법이 있을 수 있다. 일 실시예로 선택된 메뉴의 색상을 반전하거나, 글씨의 농도를 반전할 수도 있다. 또 다른 실시예로 장바구니 또는 메뉴 선택화면 이외의 화면으로 선택되어 나갈 수도 있다.

차량(200) 탑승자의 손이나 기타 도구가 콘텐츠를 선택하는 방법에는 제한이 없으며, 개시된 발명에서의 이미징 장치(110)는 적외선(IR) 이미징 장치(110)를 이용하는 방법을 구체적으로 설명한다.

적외선(IR) 이미징 장치(110)로 취득하는 이미지는 적외선 센서의 특성상 가까운 거리에 위치하는 물체가 먼 거리에 있는 위치에 비해 밝은 값을 가진다. 프로세서(120)는밝기 값을 기준으로 최대 밝기 값의 0.1에 해당하는 값을 임계점으로 설정하고 임계점을 넘는 영역을 대략적인 손 영역으로 추출할 수 있다. 또한, 프로세서(120)는 제 2의 임계점을 최대 밝기 값의 0.3에 해당하는 값으로 적용하여 더 밝은 손 부분과 상대적으로 어두운 부분인 팔뚝 영역을 분리할 수 있다. 이 때 추출된 경계선의 길이가 짧은 부분들은 손 영역에서 제외하여 손 부분만을 식별할 수 있다.

손 부분이 식별된 경우, 관측자와 물체의 상대 운동에 의하여 생기는 화상 위의 겉보기 속도 분포인 옵티컬 플로(optical flow)를 활용할 수 있다. 예를 들어, 프로세서(120)가 손가락과 손바닥 부분의 옵티컬 플로(optical flow) 차이를 계산하여 현재 동작이 이동, 클릭, 정지 중 어떤 동작인지 식별할 수 있다.

이와 같이 사용자가 손을 이용하여 터치를 구현하는 경우 뿐 아니라 도구를 이용하는 경우도 동일한 알고리즘을 적용하여 터치 인식을 구현할 수 있고, 터치 인식에 따라 메뉴를 선택하고 주문 및 결제를 진행할 수 있다.

개시된 발명에서는 메뉴를 선택하는 사용자가 프로젝터(130) 또는 프로젝터(130)의 조사면과 분리된 공간에 있을 수 있다. 즉, 일 실시 예에 따른 전자 장치(100)에 의하면, 종래 기술과 달리 프로젝터(130)가 콘텐츠를 조사하는 방향과 사용자의 시선의 진행 방향이 상이할 수 있다.

프로세서(120)에 의해 키스톤 보정, 스케일링 보정, 화면 비율 조정 등을 수행하므로, 프로젝터(130)가 사용자의 눈 방향으로 콘텐츠를 조사하더라도 최적의 초점으로 사용자에게 콘텐츠를 표시할 수 있다.

개시된 발명에서는 적외선(IR) 이미징 장치(110)나 RGB 이미징 장치(110)를 통한 영상 인식 방법을 제공하는 것 뿐 아니라, 차량(200) 전면 윈도우에 주차위반 과태료 종이가 붙어있거나, 눈이 쌓여 있거나, 과도한 틴팅으로 인식이 어려울 경우 등에 사용자의 휴대용 기기를 활용한 예외 처리 방법을 별도로 구비한다.

예외 처리와 관련하여, 사용자가 주문 페이지로 넘어갔을 때 프로젝터(130) 주변 모바일 기기를 탐색하여 가장 가까이 있는 사용자의 휴대용 기기에 페어링 요청을 보내고 사용자가 수락함으로써 페어링을 완료한다.

그 후 사용자는 휴대폰 화면을 보지 않고 휴대폰을 윈도우에 표시된 화면을 가리키거나 상하좌우로 흔드는 것 만으로 메뉴 탐색이나 선택을 할 수 있다. 이 때 휴대용 기기의 가속도 센서나 중력 센서 UWB 기술 등을 활용하여 해당 기능을 제공할 수 있고, 정확도를 향상할 수 있다.

도 12는 개시된 발명의 일 실시 예에 따른 프로젝터(130)가 콘텐츠를 조사하는 경우 차량(200)의 내부에서 본 모습이다.

도 12를 참조하면, 동승자가 있다고 판단된 경우에 프로젝터(130)가 2인용 콘텐츠를 조사한 것을 내부에서 확인할 수 있으며, 윈도우에 키오스크를 조사하는 것에 장애가 있을 경우에는 도 10과 같이 차량(200)의 대쉬보드 상에 키오스크를 조사하는 것도 가능하다.

차량(200)의 대쉬보드 상에 키오스크를 조사할 경우, 대쉬보드는 반사율, 굴절율이 낮기 때문에 윈도우에 조사하는 것 보다 선명한 화면을 제공할 수 있으므로 사용자의 선택에 따라 키오스크 화면을 조절할 수 있어, 편의성이 증대된다.

도 13은 개시된 발명의 일 실시 예에 따른 전자 장치들 (100-1, 100-2, 100-3, 100-4, 100-5, 100-6, 100-7) 이 주문 정보를 다음 전자 장치들(100-1, 100-2, 100-3, 100-4, 100-5, 100-6, 100-7)로 넘겨주는 것을 설명하는 도면이다.

도 13을 참조하면, DT점 주문 및 결제 후에 차량들(200-1, 200-2, 200-3)이 주행 경로를 따라 이동할 때 전자 장치(100) 간 통신으로 방문자의 정보를 전자 장치(100) 간에 핸드오버하는 기능을 구비하여 방문자에게 편의 기능을 제공할 수 있다.

구체적으로, 주문 정보 표시나 대기 중 보던 광고 및 기타 컨텐츠 정보를 다음 주행 경로 상의 디스플레이에 재생 시점을 넘겨주는 기능을 제공하는데, 전자 장치(100)에 내장된 이미징 장치(110)를 통해 차량(200) 번호를 인식하고 어떤 차량(200)이 어떤 주행경로 상의 전자 장치(100)에 있는지 확인하여 끊김 없는 컨텐츠 감상이 가능하도록 제공할 수 있다.

또한 차량(200) 번호 인식 외에 차량(200)의 일부의 특이한 모양 (후드 모양 등)을 인식하여 DT점에서만 잠시 인식 정보를 활용 후 DT점에서 떠났을 때 해당 정보를 바로 삭제해서 개인정보 노출에 대한 대비책을 마련할 수도 있다.

도 14는 개시된 발명의 일 실시 예에 따른 전자 장치(100)에 의해 주문이 이루어지는 일반적인 흐름도이다.

도 14를 참조하면, 프로젝터(130)가 DT 진입로 바닥면에 패턴 영상이 포함된 콘텐츠를 조사(2010)하고, 이미징 장치(110)가 패턴 영상의 변경 여부를 감지(2020)할 수 있다.

이미징 장치(110)가 패턴 영상의 변경을 감지한 경우, 해당 변경에 기초하여 전면, 측면, 선루프 중 프로젝션의 대상이 되는 윈도우의 종류를 결정(2030)할 수 있다. 이 때 윈도우를 결정하는 것은 사용자의 선택일 수 도 있고, 자동으로 이루어지는 것일 수 도 있다.

프로젝션의 대상이 되는 윈도우의 종류가 결정되면 윈도우 영역과 윈도우가 아닌 영역을 구분하여 감지(2040)할 수 있다. 윈도우 영역이 감지되지 않는 경우, 윈도우 영역을 감지하기 위해 차량(200)을 향해 콘텐츠를 반복 조사하고 피드백을 확인하여 윈도우를 감지(2050)한다.

윈도우가 감지된 것에 기초하여, 프로젝션 대상 윈도우에 콘텐츠를 조사(2060)한다. 사용자가 콘텐츠에 표시된 메뉴를 선택(2070)하면, 서버(300)로 메뉴에 대한 정보를 전송(2080)하고 결제 정보에 관한 콘텐츠를 윈도우에 조사(2090)한다.

이후 사용자가 결제를 위한 결제 수단을 선택(2100)하는 것으로 동작이 종료되며, 사용자는 차량(200) 윈도우를 열고 밖에 위치한 점원이나 키오스크 화면에 발화를 할 필요 없이 차량(200) 내부에서 완전한 비대면으로 주문 및 결제가 가능한 효과가 있다.

도 15는 개시된 발명의 일 실시 예에 따른 전자 장치(100)에 의해 동승자의 탑승이 확인된 경우 복수의 콘텐츠를 조사하는 흐름도이다.

도 15를 참조하면, 프로젝터(130)가 DT 진입로 바닥면에 패턴 영상이 포함된 콘텐츠를 조사(3010)하고, 이미징 장치(110)가 패턴 영상의 변경 여부를 감지(3020)할 수 있다.

이미징 장치(110)가 패턴 영상의 변경을 감지한 경우, 해당 변경에 기초하여 전면, 측면, 선루프 중 프로젝션의 대상이 되는 윈도우의 종류를 결정(3030)할 수 있다. 이 때 윈도우를 결정하는 것은 사용자의 선택일 수 도 있고, 자동으로 이루어지는 것일 수 있다.

프로젝션의 대상이 되는 윈도우의 종류가 결정되면 윈도우 영역과 윈도우가 아닌 영역을 구분하여 감지(3040)할 수 있다. 윈도우 영역이 감지되지 않는 경우, 윈도우 영역을 감지하기 위해 차량(200)을 향해 콘텐츠를 반복 조사하고 피드백을 확인하여 윈도우를 감지(3050)한다.

윈도우가 감지된 것에 기초하여, 차량(200) 내부의 오메가 형상이 2개 이상인 것으로 판단(3070)되는 경우, 동승자가 탑승한 것으로 판단하여 유저 인터페이스(UI)를 복수로 제공하거나, 키오스크 화면을 복수개로 제공하는 등 2인용 콘텐츠를 조사(3060)할 수 있다.

프로젝션 대상 윈도우에 콘텐츠가 조사(3080)되면, 사용자가 콘텐츠에 표시된 메뉴를 선택(3090)하고, 서버(300)로 메뉴에 대한 정보를 전송(3100)하고 결제 정보에 관한 콘텐츠를 윈도우에 조사(3110)한다. 이후 사용자가 결제를 위한 결제 수단을 선택(3120)하는 것으로 동작이 종료된다.

사용자는 완전한 비대면으로 주문 및 결제가 가능한 것에 더하여 동승자가 탑승한 경우, 동승자도 키오스크 화면을 통해 주문이 가능하고 각각 결제가 가능한 편의성 증대 효과가 있다.

개시된 발명 중 전자 장치(100)의 제어 방법에 관하여 설명하면, 프로젝터(130)가 차량(200)의 주행 경로 바닥에 패턴 영상을 조사하고, 이미징 장치(110)가 패턴 영상을 촬영하여 상기 차량(200)이 정상 진입 하였는지 판단하며, 상기 차량(200)의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사할 수 있다.

이후 이미징 장치(110)를 통하여 콘텐츠 이미지에 대한 사용자 제스처가 촬영되는 경우 복수의 메뉴 중 사용자 제스처에 대응하는 메뉴를 결정하고 , 결정된 메뉴에 대한 정보를 서버(300)로 송신하는 단계를 포함할 수 있다.

전자 장치(100)의 제어 방법에 관한 구체적인 실시예는 상기에서 전자 장치(100)에 관한 실시예와 중복되므로 설명을 생략한다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 개시된 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 개시된 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 개시된 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

100, 100-1, 100-2, 100-3, 100-4, 100-5, 100-6, 100-7 : 전자 장치,
110 : 이미징 장치, 120 : 프로세서, 130 : 프로젝터, 140 : 통신부, 131 : 프로젝션 모듈, 141 : 유선 통신 모듈, 142 : 무선 통신 모듈,
200, 200-1, 200-2, 200-3 : 차량, 300:서버

Claims

이미징 장치;
서버와 통신을 수행하는 통신부;
프로젝터;
상기 이미징 장치를 통해 차량이 촬영되는 것에 기초하여 상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하도록 상기 프로젝터를 제어하고,
상기 이미징 장치를 통해 상기 콘텐츠에 대한 사용자 제스처가 촬영되는 것에 기초하여 상기 복수의 메뉴 중 상기 사용자 제스처에 대응하는 메뉴를 결정하고,
상기 결정된 메뉴에 대한 정보를 서버로 송신하도록 상기 통신부를 제어하는 프로세서;를 포함하는 전자 장치.
제 1 항에 있어서,
상기 프로젝터는 조사 각도를 설정하기 위해 다양한 각도 별로 콘텐츠를 복수 회 조사하고, 상기 조사된 콘텐츠의 피드백을 확인하여 상기 조사 각도를 설정하는 것을 특징으로 하는 전자 장치.
제 2 항에 있어서,
상기 프로젝터는 상기 설정된 조사 각도로 상기 차량에 패턴 영상을 포함하는 콘텐츠를 조사하고, 상기 프로세서는 투과율 및 반사율의 차이에 따라 차량의 윈도우 영역을 검출하는 것을 특징으로 하는 전자 장치.
제 2 항에 있어서,
상기 프로세서는 상기 차량의 전면 윈도우에 표시된 선 바이저 패턴을 인식하기 위해 상기 설정된 조사 각도로 상기 차량을 촬영하도록 상기 이미징 장치를 제어하고, 상기 인식된 선 바이저 패턴의 아래쪽 영역을 전면 윈도우 영역으로 검출하는 것을 특징으로 하는 전자 장치.
제 3 항에 있어서,
상기 프로세서는 상기 윈도우 영역을 검출하는 과정에서 상기 차량의 윈도우 표면에 위치하는 이물질을 식별하고, 상기 이물질을 제거하도록 상기 사용자에게 안내하는 전자 장치.
제 3 항에 있어서,
상기 프로세서는 상기 검출된 윈도우 영역의 기울기와 외곽 라운딩 정도를 검출하고, 상기 검출된 기울기와 외곽 라운딩 정도에 기초하여 기하 왜곡 반대 방향으로 역보상을 적용하여 상기 윈도우에 상기 콘텐츠를 조사하는 것을 특징으로 하는 전자 장치.
제 3 항에 있어서,
상기 프로세서는 상기 검출된 윈도우 영역의 기울기와 외곽 라운딩 정도를 검출하고, 기하 왜곡이 미리 설정된 기준값 이하인 영역에 상기 콘텐츠 를 축소하여 조사하는 것을 특징으로 하는 전자 장치.
제 1 항에 있어서,
상기 프로세서는 상기 차량의 주행 경로 바닥에 패턴 영상을 조사하도록 프로젝터를 제어하고, 상기 패턴 영상을 촬영하도록 상기 이미징 장치를 제어하여 상기 차량이 정상 진입 하였는지 판단하는 것을 특징으로 하는 전자 장치.
제 1 항에 있어서,
상기 프로세서는 랜덤 라디오 주파수를 생성하고, 상기 랜덤 라디오 주파수를 이용하는 라디오 채널을 통해 상기 차량 내의 상기 사용자와 통신하는 전자 장치.
제 1 항에 있어서,
상기 프로젝터는 상기 차량에 초점 조절을 위한 초점 조절 패턴을 조사하고, 상기 프로세서는 상기 이미징 장치를 통해 패턴을 촬영하여 초점이 정상적으로 설정되었는지 판단하고, 상기 프로젝터가 초점을 조절하도록 제어하는 것을 특징으로 하는 전자 장치.
제 1 항에 있어서,
상기 프로세서는 상기 이미징 장치를 통해 상기 차량 내부의 오메가 형상을 인식하고, 인식된 상기 오메가 형상을 기초로 상기 사용자의 두상의 위치를 검출하여 상기 프로젝터가 초점을 조절하도록 제어하는 것을 특징으로 하는 전자 장치.
제 1 항에 있어서,
상기 프로세서는 상기 이미징 장치를 통해 상기 차량 내부의 오메가 형상을 인식하고, 상기 오메가 형상이 복수개인 것에 기초하여 상기 차량의 윈도우에 복수개의 키오스크 화면을 조사하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 전자 장치.
제 1 항에 있어서,
상기 프로세서는 상기 사용자가 메뉴 선택을 위한 도구를 상기 메뉴 앞에 미리 정해진 시간 동안 머무는 것을 상기 이미징 장치를 통해 감지한 것에 기초하여 상기 사용자가 메뉴를 선택한 것으로 판단하는 전자 장치.
제 13 항에 있어서,
상기 프로세서는 상기 사용자가 메뉴를 선택하는 것은 상기 프로젝터와 분리된 공간에서 선택이 이루어지는 전자 장치
제 13 항에 있어서,
상기 프로세서는 상기 결정된 메뉴에 대한 정보가 서버로 송신된 것에 기초하여 결제 화면을 상기 차량의 윈도우에 조사하도록 상기 프로젝터를 제어하고, 상기 사용자는 상기 결제 화면을 통해 결제를 진행하는 것을 특징으로 하는 전자 장치.
제15항에 있어서,
상기 프로세서는 상기 결제 화면에 표시된 마커를 모바일 기기로 촬영하거나, 상기 결제 화면에 표시된 9개의 점을 모바일 기기에서 순서대로 따라 그리는 방식으로 결제를 진행하는 것을 특징으로 하는 전자 장치.
제1항에 있어서,
상기 프로세서는 상기 차량이 주행하여 이동하는 것에 기초하여, 주행 경로 상에 위치한 다음 전자 장치에서 방문자의 정보를 이어받아 조사하는 전자 장치.
이미징 장치, 통신부, 프로젝터를 포함하는 전자 장치의 제어 방법에 있어서,
상기 프로젝터가 차량의 주행 경로 바닥에 패턴을 조사하는 단계;
상기 이미징 장치가 상기 패턴을 촬영하여 상기 차량이 진입로에 정상 진입 하였는지 판단하는 단계;
상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 단계;
상기 이미징 장치를 통하여 상기 콘텐츠에 대한 사용자 제스처가 촬영되는 경우 상기 복수의 메뉴 중 상기 사용자 제스처에 대응하는 메뉴를 결정하는 단계;
상기 결정된 메뉴에 대한 정보를 서버로 송신하는 단계;를 포함하는 전자 장치의 제어 방법.
제 18 항에 있어서,
상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 조사 각도를 설정하기 위해 상기 프로젝터를 이동시켜 다양한 각도 별로 상기 콘텐츠를 복수 회 조사하고, 상기 조사된 콘텐츠의 피드백을 확인하여 조사 각도를 설정하는 단계;를 더 포함하는 전자 장치의 제어 방법.
제 18 항에 있어서,
상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 상기 차량에 패턴 영상을 조사하고, 반사된 패턴을 상기 이미징 장치로 촬영하여 투과율 및 반사율의 차이에 따라 차량의 윈도우 영역을 검출하는 단계;를 더 포함하는 전자 장치의 제어 방법.
제 20항에 있어서,
상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 상기 검출된 윈도우 영역의 기울기와 외곽 라운딩 정도를 검출하고, 상기 검출된 기울기와 외곽 라운딩 정도에 기초하여 기하 왜곡 반대 방향으로 역보상을 적용하는 단계;를 더 포함하는 전자 장치의 제어 방법.
제 18 항에 있어서,
상기 차량의 윈도우로 복수의 메뉴를 포함하는 콘텐츠를 조사하는 것은, 상기 차량에 초점 조절을 위한 초점 조절 패턴 영상을 조사하고, 상기 이미징 장치를 통해 패턴 영상을 촬영하여 초점이 정상적으로 설정되었는지 판단하고, 상기 프로젝터가 초점을 조절하는 단계;를 더 포함하는 전자 장치의 제어 방법.
제 18 항에 있어서,
상기 사용자 제스처에 대응하는 메뉴를 결정하는 것은, 상기 사용자가 메뉴 선택을 위한 도구를 상기 메뉴 앞에 미리 정해진 시간 동안 머무는 것을 상기 이미징 장치를 통해 감지한 것에 기초하여 상기 사용자가 메뉴를 선택한 것으로 판단하는 단계;를 더 포함하는 전자 장치의 제어 방법.
제 18 항에 있어서,
상기 결정된 메뉴에 대한 정보를 서버로 송신하는 것은, 결제 화면을 상기 차량의 윈도우에 조사하고, 상기 사용자는 상기 결제 화면을 통해 결제를 진행하는 단계;를 더 포함하는 전자 장치의 제어 방법.