KR102421355B1 - 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법 - Google Patents

증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법 Download PDF

Info

Publication number
KR102421355B1
KR102421355B1 KR1020170183124A KR20170183124A KR102421355B1 KR 102421355 B1 KR102421355 B1 KR 102421355B1 KR 1020170183124 A KR1020170183124 A KR 1020170183124A KR 20170183124 A KR20170183124 A KR 20170183124A KR 102421355 B1 KR102421355 B1 KR 102421355B1
Authority
KR
South Korea
Prior art keywords
information
mobile terminal
augmented
camera
augmented image
Prior art date
Application number
KR1020170183124A
Other languages
English (en)
Other versions
KR20190080583A (ko
Inventor
유치훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170183124A priority Critical patent/KR102421355B1/ko
Publication of KR20190080583A publication Critical patent/KR20190080583A/ko
Application granted granted Critical
Publication of KR102421355B1 publication Critical patent/KR102421355B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 서비스를 제공하는 사이니지 장치는 서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부, 상기 사이니지 장치의 카메라를 통해 적어도 하나의 객체가 진열된 오프라인 매장을 촬영하는 촬영부, 상기 모델링 정보에 기초하여 상기 사이니지 장치의 카메라를 통해 촬영된 영상에 포함된 상기 적어도 하나 이상의 객체를 인식하는 인식부, 상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성하는 생성부 및 상기 생성된 제 1 증강 이미지 정보를 상기 사이니지 장치의 카메라를 통해 촬영된 영상과 정합하여 상기 사이니지 장치의 디스플레이를 통해 출력하는 출력부를 포함하고, 상기 사이니지 장치의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말의 카메라를 통해 촬영되는 경우, 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 상기 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력된다.

Description

증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법{SIGNAGE DEVICE, MOBILE DEVICE AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE}
본 발명은 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법에 관한 것이다.
증강 현실(AR, Augmented Reality)이란 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다. 증강 현실은 현실과 가상을 혼합된 영상으로 제공함으로써, 실제 환경 보다 나은 현실감과 부가 정보를 사용자에게 제공한다는 장점을 가지고 있다.
이러한 증강 현실 서비스와 관련하여, 선행기술인 한국공개특허 제 2017-0054146호는 증강 현실 제공 방법을 개시하고 있다.
최근에는 옥외 광고법이 개정됨으로써, 증강 현실 서비스가 디지털 옥외에서 정보나 광고 이미지 또는 영상을 제공하는 디지털 사이니지 장치를 통해 제공될 수 있게 되었다. 이와 같이, 증강 현실 서비스의 활용 범위가 점차 확대되고 있으며, 그에 따라 증강 현실 서비스를 이용한 다양한 마케팅 방법이 제시되고 있다.
사이니지 장치는 카메라를 통해 오프라인 매장에 진열된 상품을 촬영하고, 디스플레이를 통해 상품 객체에 대한 공공의 정보를 증강 현실화하여 사용자에게 제공하도록 하는 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법을 제공하고자 한다. 모바일 단말은 카메라를 통해 사이니지 장치에서 디스플레이되는 증강 현실화된 상품 객체를 촬영하고, 디스플레이를 통해 상품 객체에 대한 개인 맞춤형 정보를 증강 현실화하여 사용자에게 제공하도록 하는 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법을 제공하고자 한다. 상품 객체에 대한 다양한 마케팅 방법을 적용함으로써, 상품 판매로 인한 매출을 증가시킬 수 있도록 하는 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부, 상기 사이니지 장치의 카메라를 통해 적어도 하나의 객체가 진열된 오프라인 매장을 촬영하는 촬영부, 상기 모델링 정보에 기초하여 상기 사이니지 장치의 카메라를 통해 촬영된 영상에 포함된 상기 적어도 하나 이상의 객체를 인식하는 인식부, 상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성하는 생성부 및 상기 생성된 제 1 증강 이미지 정보를 상기 사이니지 장치의 카메라를 통해 촬영된 영상과 정합하여 상기 사이니지 장치의 디스플레이를 통해 출력하는 출력부를 포함하고, 상기 사이니지 장치의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말의 카메라를 통해 촬영되는 경우, 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 상기 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력되는 것인 사이니지 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부, 오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 촬영부, 상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 객체 인식부, 상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 증강 이미지 정보 생성부 및 상기 생성된 제 2 증강 이미지 정보를 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력하는 출력부를 포함하는 모바일 단말을 제공할 수 있다.
본 발명의 또 다른 실시예는, 서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 단계, 사이니지 장치가 오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 경우, 상기 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 단계, 상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 단계, 상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 단계 및 상기 생성된 제 2 증강 이미지 정보를 상기 적어도 하나 이상의 객체와 정합하도록 상기 모바일 단말의 디스플레이를 통해 출력하는 단계를 포함하는 증강 현실 서비스 제공 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사이니지 장치는 카메라를 통해 오프라인 매장에 진열된 상품을 촬영하고, 디스플레이를 통해 상품 객체에 대한 공공의 정보를 증강 현실화하여 사용자에게 제공하도록 하는 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법을 제공할 수 있다. 모바일 단말은 카메라를 통해 사이니지 장치에서 디스플레이되는 증강 현실화된 상품 객체를 촬영하고, 디스플레이를 통해 상품 객체에 대한 개인 맞춤형 정보를 증강 현실화하여 사용자에게 제공하도록 하는 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법을 제공할 수 있다. 상품 객체에 대한 다양한 마케팅 방법을 적용함으로써, 상품 판매로 인한 매출을 증가시킬 수 있도록 하는 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템을 도시한 예시적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 사이니지 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 사이니지 장치에서 증강 현실 서비스를 제공하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 모바일 단말의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 프레임 동기화 정보를 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 모바일 단말에서 증강 현실 서비스를 제공하는 방법의 순서도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 제 1 증강 이미지 정보와 제 2 증강 이미지 정보를 도시한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 시스템에서 증강 현실 서비스를 제공하는 과정을 도시한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템을 도시한 예시적인 도면이다. 도 1을 참조하면, 증강 현실 제공 시스템(1)은 사이니지 장치(100), 모바일 단말(120) 및 서비스 서버(130)를 포함할 수 있다. 사이니지 장치(100), 모바일 단말(120) 및 서비스 서버(130)는 증강 현실 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 증강 현실 서비스 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사이니지 장치(100)는 모바일 단말(120) 또는 서비스 서버(130)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
사이니지 장치(100)는 서비스 서버(130)로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신할 수 있다.
사이니지 장치(100)는 사이니지 장치(100)의 카메라(110)를 통해 적어도 하나의 객체(103 내지 105)가 진열된 오프라인 매장을 촬영할 수 있다. 이는, 사용자(125)가 오프라인 매장의 주변을 지나가는 경우, 투명한 소재로 구성된 사이니지 장치(100)를 통해 매장에 진열된 상품을 확인하고, 사이니지 장치(100)의 디스플레이를 통해 촬영된 오프라인 매장의 상품에 대한 객체(103 내지 105)를 증강 현실화하여 표시되도록 하기 위함이다. 예를 들어, 적어도 하나의 객체(103 내지 105)는 사이니지 장치(100)의 디스플레이로부터 이격된 위치(101)에 일렬(102)로 배열된 것일 수 있다.
사이니지 장치(100)는 모델링 정보에 기초하여 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상에 포함된 적어도 하나 이상의 객체(103 내지 105)를 인식할 수 있다.
사이니지 장치(100)는 인식된 객체에 대한 정보와 인식된 객체(103 내지 105)에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성할 수 있다. 여기서, 인식된 객체에 대한 정보는 인식된 객체(103 내지 105)의 상품 정보, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 등을 포함할 수 있다.
사이니지 장치(100)는 생성된 제 1 증강 이미지 정보를 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상과 정합하여 사이니지 장치(100)의 디스플레이를 통해 출력할 수 있다. 예를 들어, 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상의 전체 프레임 중 일부 프레임에 대응하도록 제 1 증강 이미지 정보를 생성하여 출력할 수 있다. 이 때, 제 1 증강 이미지 정보는 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상보다 낮은 프레임율로 출력될 수 있다. 제 1 증강 이미지 정보는 제공되는 증강 이미지의 해상도가 낮아도 객체의 위치가 비교적 고정되어 있어 사용자(125)는 일정 프레임마다 주기적으로 삽입되는 영상만으로도 충분히 제 1 증강 이미지 정보를 인지할 수 있게 된다. 제 1 증강 이미지 정보는 오프라인 매장을 지나가는 모든 고객을 위한 공공의 정보로서, 예를 들어, 상세 정보, 할인 정보 등일 수 있다.
사이니지 장치(100)는 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 서비스 서버(130)에 전송할 수 있다.
모바일 단말(120)은 서비스 서버(130)로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신할 수 있다.
모바일 단말(120)은 오프라인 매장에 진열된 적어도 하나의 객체(103 내지 105)를 촬영 중인 사이니지 장치(100)를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영할 수 있다. 이 때, 모바일 단말(120)이 모바일 단말(120)의 카메라를 통해 제 1 증강 이미지 정보에 대한 촬영을 개시하면, 모바일 단말(120)은 서비스 서버(130)로부터 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 수신할 수 있다. 예를 들어, 모바일 단말(120)의 사용자는 투명한 소재로 구성된 사이니지 장치(100)를 통해 오프라인 매장에 진열된 실제 상품을 볼 수 있으며, 이와 함께 사이니지 장치(100)의 디스플레이를 통해 출력된 실제 상품에 대응하는 증강 객체 이미지를 볼 수 있다. 만약 모바일 단말(120)의 사용자가 모바일 단말(120)의 카메라를 이용하여 사이니지 장치(100)를 통해 보여지는 실제 상품을 촬영하고자 하는 경우, 오프라인 매장 내의 실제 상품을 촬영하는 동시에 사이니지 장치(100)의 디스플레이를 통해 출력되는 증강 객체 이미지도 촬영할 수 있다. 이 경우, 모바일 단말(120)은 촬영된 증강 객체 이미지에 대해 확장된 증 객체 이미지를 모바일 단말(120)의 디스플레이를 통해 더 표시하도록 할 수 있다. 즉, 본원 발명의 사이니지 장치(100)와 모바일 단말(120)은 실제 상품에 대해 출력 타입/성격(예를 들어, 공용 정보를 위한 출력 또는 개인화 정보를 위한 출력)이 다른 증강 객체를 각각 독립적으로 단계적으로 출력할 수 있다.
모바일 단말(120)은 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보를 포함하는 영상 및 제 1 증강 이미지 정보를 포함하지 않은 영상을 분리할 수 있다. 이 때, 모바일 단말(120)은 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 프레임율의 제 1 증강 이미지 정보를 포함하는 프레임 및 제 2 프레임율의 제 1 증강 이미지 정보를 포함하지 않는 프레임을 분리할 수 있다. 예를 들어, 모바일 단말(120)은 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 낮은 프레임율을 가지는 프레임 및 나머지 프레임을 분리할 수 있다.
모바일 단말(120)의 모델링 정보에 기초하여 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 적어도 하나 이상의 객체(103 내지 105)를 인식할 수 있다. 예를 들어, 모바일 단말(120)은 모델링 정보에 기초하여 제 1 증강 이미지 정보를 포함하지 않은 프레임으로부터 적어도 하나 이상의 객체(103 내지 105)를 인식할 수 있다. 예를 들어, 모바일 단말(120)은 카메라를 통해 촬영된 영상으로부터 분리된 나머지 프레임을 객체(103 내지 105)를 인식할 수 있다.
모바일 단말(120)은 인식된 객체에 대한 정보를 추출할 수 있다. 여기서, 인식된 객체에 대한 정보는 인식된 객체의 상품 정보, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 등을 포함할 수 있다.
모바일 단말(120)은 모바일 단말(120)의 복수의 센서를 통해 측정된 센싱 정보에 기초하여 객체에 해당하는 증강 이미지의 변형 정보를 도출할 수 있다. 복수의 센서는 예를 들어, 위치 센서, 자이로 센서, 가속도 센서 등을 포함할 수 있다.
모바일 단말(120)은 인식된 객체에 대한 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성할 수 있다. 예를 들어, 모바일 단말(120)은 추출된 객체에 대한 정보를 증강 이미지에 대한 변형 정보와 매칭하여 제 2 증강 이미지를 생성할 수 있다. 여기서, 제 2 증강 이미지 정보는 사용자를 위한 개인화된 정보일 수 있다.
모바일 단말(120)은 생성된 제 2 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합하여 모바일 단말(120)의 디스플레이를 통해 출력할 수 있다. 예를 들어, 모바일 단말(120)은 프레임 동기화 정보에 기초하여 생성된 제 2 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합할 수 있다. 이 때, 모바일 단말(120)은 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보가 포함된 프레임을 제외하여 생성된 제 2 증강 이미지 정보와 정합할 수 있으며, 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보가 포함된 프레임을 제외하지 않고 생성된 제 2 증강 이미지 정보와 정합할 수수도 있다.
모바일 단말(120)은 제 2 증강 이미지 정보를 제 1 증강 이미지 정보에 오버레이할 수도 있으며, 제 2 증강 이미지 정보를 제 1 증강 이미지 정보와 구분되도록 표시할 수도 있다. 이러한 제 2 증강 이미지 정보는 모바일 단말(120)이 오프라인 매장의 일정 범위 내에 어떠한 상태로 사이니지 장치(100)를 보고 있는지에 대한 정보를 이용하여, 모바일 단말(120)이 오프라인 매장에서 일정 범위 내에 위치하는 경우에 대해 증강 현실 서비스를 제공할 수 있고, 모바일 단말(120)을 통해 오프라인 매장을 바라보는 경우에 대해서만 증강 현실 서비스를 제공할 수도 있다.
즉, 사이니지 장치(100)는 디스플레이를 통해 제 1 증강 이미지 정보를 출력하고, 모바일 단말(120)은 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말(120)의 카메라를 통해 촬영되는 경우, 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합하여 모바일 단말(120)의 디스플레이를 통해 출력할 수 있다. 여기서, 제 1 증강 이미지 정보는 사이니지 장치(100)의 주변에 위치한 사용자를 타겟으로 하는 객체에 대한 공공의 증강 정보를 포함하고, 제 2 증강 이미지 정보는 모바일 단말(120)의 사용자를 타겟으로 하는 객체에 대한 개인화된 증강 정보를 포함하는 것일 수 있다.
서비스 서버(130)는 오프라인 매장에 진열된 복수의 객체에 대한 모델링 정보 및 증강 이미지를 저장하고, 저장된 복수의 객체에 대한 모델링 정보 및 증강 이미지를 사이니지 장치(100) 및 모바일 단말(120)로 전송할 수 있다.
서비스 서버(130)는 사이니지 장치(100)에서 제 1 증강 이미지 정보가 디스플레이를 통해 출력되면, 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 사이니지 장치(130)로부터 수신할 수 있다. 또한, 서비스 서버(130)는 모바일 단말(120)에서 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보를 촬영하는 경우, 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 모바일 단말(120)로 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 사이니지 장치의 구성도이다. 도 2를 참조하면, 사이니지 장치(100)는 수신부(210), 촬영부(220), 인식부(230), 생성부(240), 출력부(250) 및 동기화부(260)를 포함할 수 있다.
수신부(210)는 서비스 서버(130)로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신할 수 있다. 복수의 객체에 대한 모델링 정보는 3D 모델링 정보일 수 있다.
촬영부(220)는 사이니지 장치(100)의 카메라(110)를 통해 적어도 하나의 객체가 진열된 오프라인 매장을 촬영할 수 있다.
인식부(230)는 모델링 정보에 기초하여 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상에 포함된 적어도 하나 이상의 객체를 인식할 수 있다. 인식부(230)는 객체를 인식하고, 인식된 객체에 대한 정보를 파악할 수 있다. 여기서, 객체에 대한 정보는 객체의 상품 정보, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 등을 포함할 수 있다. 예를 들어, 인식부(230)는 3D 모델링 정보를 통해 인식된 객체의 상품 정보(상품 ID, 상품명, 가격 등)를 파악하고, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 등을 계산할 수 있다.
생성부(240)는 인식된 객체에 대한 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성할 수 있다. 여기서, 제 1 증강 이미지 정보는 사이니지 장치(100)의 주변에 위치한 사용자를 타겟으로 하는 객체에 대한 공공의 증강 정보를 포함하는 것일 수 있다.
출력부(250)는 생성된 제 1 증강 이미지 정보를 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상과 정합하여 렌더링하고, 사이니지 장치(100)의 디스플레이를 통해 출력할 수 있다. 이 때, 출력부(250)는 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상의 전체 프레임 중 일부 프레임에 대응하여 상대적으로 낮은 프레임율로 제 1 증강 이미지 정보를 생성하여 출력할 수 있다.
출력부(250)는 디스플레이를 통해 제 1 증강 이미지 정보를 제공하며, 출력부(250)는 투명 OLED를 통해 투명 패널에 영상을 직접 재생할 수 있으며, 투명 필름을 유리에 부착하여 빔프로젝터의 영상을 필름에 투영시켜 재생할 수도 있다.
여기서, 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말(120)의 카메라를 통해 촬영되는 경우, 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합하여 모바일 단말(120)의 디스플레이를 통해 출력될 수 있다.
동기화부(260)는 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 서비스 서버(130)에 전송할 수 있다. 예를 들어, 동기화부(260)는 제 1 증강 이미지 정보가 표시되는 프레임이 어떤 프레임인지에 대한 동기화 정보를 서비스 서버(130)로 전송할 수 있다. 동기화 정보는 예를 들어, 증강 이미지가 나타나는 시점과 몇 개의 빈 프레임 마다 증강 이미지가 삽입되었는지에 대한 정보를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사이니지 장치에서 증강 현실 서비스를 제공하는 방법의 순서도이다. 도 3에 도시된 사이니지 장치(100)에서 증강 현실 서비스를 제공하는 방법은 도 1 및 도 2에 도시된 실시예에 따른 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 사이니지 장치(100)에서 증강 현실 서비스를 제공하는 방법에도 적용된다.
단계 S310에서 사이니지 장치(100)는 서비스 서버(130)로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신할 수 있다.
단계 S320에서 사이니지 장치(100)는 사이니지 장치(100)의 카메라(110)를 통해 적어도 하나의 객체게 진열된 오프라인 매장을 촬영할 수 있다.
단계 S330에서 사이니지 장치(100)는 모델링 정보에 기초하여 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상에 포함된 적어도 하나 이상의 객체를 인식할 수 있다.
단계 S340에서 사이니지 장치(100)는 인식된 객체에 대한 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성할 수 있다.
단계 S350에서 사이니지 장치(100)는 생성된 제 1 증강 이미지 정보를 사이니지 장치(100)의 카메라(110)를 통해 촬영된 영상과 정합하여 사이니지 장치(100)의 디스플레이를 통해 출력할 수 있다. 여기서, 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말(120)의 카메라를 통해 촬영되는 경우, 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합하여 모바일 단말(120)의 디스플레이를 통해 출력될 수 있다.
상술한 설명에서, 단계 S310 내지 S350은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 모바일 단말의 구성도이다. 도 4를 참조하면, 모바일 단말(120)은 수신부(410), 촬영부(420), 분리부(430), 객체 인식부(440), 변형 정보 도출부(450), 증강 이미지 정보 생성부(460) 및 출력부(470)를 포함할 수 있다.
수신부(410)는 서비스 서버(130)로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신할 수 있다. 여기서, 모델링 정보는 3D 모델링 정보일 수 있다.
수신부(410)는 촬영부(420)에서 제 1 증강 이미지 정보를 촬영하면, 서비스 서버(130)로부터 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 정보를 수신할 수 있다. 프레임 정보에 대해서는 도 5를 통해 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 프레임 동기화 정보를 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 실제 상품을 촬영한 전체 프레임(500) 중 일부 프레임(510)을 이용하여 프레임 동기화를 하는 과정을 설명하도록 한다.
사이니지 장치(100)는 투명한 소재로 생성된 장치로서, 손님들은 오프라인 매장 외부에서 사이니지 장치(100)를 통해 매장 내에 배치된 실제 상품를 볼 수 있고, 사이니지 장치(100)는 카메라를 통해 오프라인 매장 내에 배치된 실제 상품을 촬영할 수 있다. 사이니지 장치(100)는 실제 상품을 촬영한 원본 영상의 전체 프레임(500) 중 일부 프레임에 대응하여 제 1 증강 이미지 정보가 출력되도록 생성할 수 있다. 예를 들어, 샤이니지 장치(100)는 원본 영상의 전체 프레임(500) 중 일부 프레임(510) '1, 2, 3'에 대응하도록 제 1 증강 이미지 정보를 구성하는 'c' 프레임(521)을 생성할 수 있다. 그리고, 사이니지 장치(100)는 전체 프레임(520)으로 구성되는 제 1 증강 이미지 정보를 원본 영상과 정합하여 사이니지 장치(100)의 디스플레이를 통해 출력할 수 있다.. 이 때, 제 1 증강 이미지 정보의 프레임율은 실제 상품을 촬영한 원본 영상의 1/3이 되고, 나머지 실제 상품을 촬영한 원본 영상의 2/3는 빈 프레임이 된다. 제 1 증강 이미지 정보의 빈 프레임의 경우는 사이니지 장치(100)의 디스플레이를 통해 아무것도 표시되지 않을 수 있다. 실제 상품을 촬영한 원본 영상의 전체 프레임(500)과 관련하여 생성된 제 1 증강 이미지 정보의 전체 프레임(520)에 대한 정보는 프레임 동기화 정보로 이용될 수 있다.
이후, 모바일 단말(120)에서 사이니지 장치(100)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보를 카메라를 통해 촬영한 경우, 모바일 단말(120)은 사이니지 장치(100)의 디스플레이를 통해 출력된 제 1 증강 이미지 정보의 전체 프레임(520) 중 제 1 증강 이미지 정보가 삽입되지 않은 'a, b' 프레임(522)을 이용하여 객체를 인식하고, 원본 영상에 포함된 실제 상품에 해당하는 객체와 정합된 'A' 프레임(531)을 포함하는 제 2 증강 이미지 정보의 전체 프레임(530)을 생성하여 모바일 단말(120)의 디스플레이를 통해 출력할 수 있다.
제 1 증강 이미지 정보를 촬영한 영상과 제 2 증강 이미지 정보를 정합하는 방법은 'c' 프레임(521)에 삽입된 제 1 증강 이미지 정보를 포함하여 제 2 증강 이미지 정보를 정합하는 방법, 제 1 증강 이미지 정보가 삽입된 'c' 프레임(521)을 제외하고 'b, d' 프레임의 길이를 늘려 'A' 프레임(531)을 구성하여 제 2 증강 이미지 정보만을 정합하는 방법, 'a, b' 프레임(522)을 이용하여 'c'의 현실 영상을 추정하여 'c' 프레임(521)을 생성하고, 제 2 증강 이미지 정보를 정합하여 'A' 프레임(531)을 구성하는 방법 등이 이용될 수 있다. 이러한 방법들은 사이니지 장치(100)에서 제공되는 제 1 증강 이미지 정보는 전체 프레임 중 상대적으로 적은 프레임으로 주기적으로 삽입되는 형태이므로, 오차율을 감안하더라도 끊김 현상을 최소화하여 증강 현실 서비스를 제공할 수 있게 된다. 원본 영상의 전체 프레임(500)과 제 1 증강 이미지 정보의 전체 프레임(520)과 제 2 증강 이미지 정보의 전체 프레임(530)은 각 단말에 의한 촬영 시각 차에 의해 각 영상 마다 처리 지연(process delay)이 발생할 수 있다/
다시 도 2로 돌아와서, 촬영부(420)는 오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 사이니지 장치(100)를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영할 수 있다.
분리부(430)는 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보를 포함하는 영상 및 제 1 증강 이미지 정보를 포함하지 않은 영상을 분리할 수 있다. 예를 들어, 분리부(430)는 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 프레임율(낮은 프레임율)의 제 1 증강 이미지 정보를 포함하는 프레임 및 제 2 프레임율의 제 1 증강 이미지 정보를 포함하지 않는 프레임을 분리할 수 있다.
객체 인식부(440)는 모델링 정보에 기초하여 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 적어도 하나 이상의 객체를 인식할 수 있다. 예를 들어, 객체 인식부(440)는 모델링 정보에 기초하여 제 1 증강 이미지 정보를 포함하지 않은 프레임으로부터 적어도 하나 이상의 객체를 인식할 수 있다.
객체 인식부(440)는 인식된 객체에 대한 정보를 추출할 수 있다. 여기서, 인식된 객체에 대한 정보는 예를 들어, 인식된 객체의 상품 정보, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 등을 포함할 수 있다.
변형 정보 도출부(450)는 모바일 단말(120)의 복수의 센서를 통해 측정된 센싱 정보에 기초하여 객체에 해당하는 증강 이미지의 변형 정보를 도출할 수 있다. 복수의 센서는 예를 들어, GPS 센서, 자이로 센서, 가속도 센서 등을 포함할 수 있다. 예를 들어, 변형 정보 도출부(450)는 사용자(125)가 오프라인 매장으로부터 어떤 위치에서 어떤 각도로 바로 보고 있는 지에 대한 값을 증강 이미지의 변형 정보로서 도출하고, 도출된 변형 정보를 이용하여 증강 이미지에 대한 범위 등을 좁히거나, 증강 이미지의 위치를 계산할 수 있다.
증강 이미지 정보 생성부(460)는 인식된 객체에 대한 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성할 수 있다. 또한, 증강 이미지 정보 생성부(460)는 추출된 객체에 대한 정보를 증강 이미지에 대한 변형 정보와 매칭하여 제 2 증강 이미지를 생성할 수 있다.
출력부(470)는 생성된 제 2 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합하여 렌더링하고, 모바일 단말(120)의 디스플레이를 통해 출력할 수 있다. 출력부(470)는 프레임 동기화 정보에 기초하여 생성된 제 2 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영된 영상과 정합할 수 있다. 예를 들어, 출력부(470)는 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보가 포함된 프레임을 제외하여 생성된 제 2 증강 이미지 정보와 정합할 수 있다. 이 때, 출력부(470)는 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보가 포함된 프레임을 제외하지 않고 생성된 제 2 증강 이미지 정보와 정합할 수 있다.
출력부(470)는 제 2 증강 이미지 정보를 제 1 증강 이미지 정보에 오버레이하여 표시할 수 있다. 또는, 출력부(470)는 제 2 증강 이미지 정보를 제 1 증강 이미지 정보와 구분되도록 표시할 수 있다.
출력부(470)는 실제 영상 중에 낮은 프레임율에 따라 제외되는 영상의 경우, 재생시에 제외된 프레임의 전후 영상의 프레임 길이를 늘이거나 복사하여 영상이 단절되는 것을 방지할 수 있다. 이는, 상대적으로 낮은 프레임율을 가지기 때문에 제외되는 프레임이 상대적으로 적으므로, 끊김 현상을 최소화시킬 수 있다. 또는, 출력부(470)는 객체 인식 시 제외되었던 제 1 증강 이미지 정보가 포함된 영상을 원래대로 복원한 후 제외되는 프레임의 전후 프레임을 비교하여, 제 1 증강 이미지 정보의 위치를 파악한 후, 제 2 증강 이미지 정보를 제 1 증강 이미지와 겹치거나, 덮는 방식으로 표현할 수 있다.
도 6은 본 발명의 일 실시예에 따른 모바일 단말에서 증강 현실 서비스를 제공하는 방법의 순서도이다. 도 6에 도시된 모바일 단말(120)에서 증강 현실 서비스를 제공하는 방법은 도 1 내지 도 5에 도시된 실시예에 따른 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5에 도시된 실시예에 따른 모바일 단말(120)에서 증강 현실 서비스를 제공하는 방법에도 적용된다.
단계 S610에서 모바일 단말(120)은 서비스 서버(130)로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신할 수 있다.
단계 S620에서 모바일 단말(120)은 사이니지 장치(100)가 오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 경우, 사이니지 장치(100)를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말(120)의 카메라를 통해 촬영할 수 있다.
단계 S630에서 모바일 단말(120)은 모델링 정보에 기초하여 모바일 단말(120)의 카메라를 통해 촬영된 영상으로부터 적어도 하나 이상의 객체를 인식할 수 있다.
단계 S640에서 모바일 단말(120)은 인식된 객체의 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성할 수 있다.
단계 S650에서 모바일 단말(120)은 생성된 제 2 증강 이미지 정보를 적어도 하나 이상의 객체와 정합하도록 모바일 단말(120)의 디스플레이를 통해 출력할 수 있다.
상술한 설명에서, 단계 S610 내지 S650은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 제 1 증강 이미지 정보와 제 2 증강 이미지 정보를 도시한 예시적인 도면이다.
도 7a는 본 발명의 일 실시예에 따른 제 2 증강 이미지 정보가 제 1 증강 이미지 정보에 오버레이되어 표시된 예시적인 도면이다. 도 7a를 참조하면, 사이니지 장치(710)는 카메라(711)를 통해 오프라인 매장 내에 진열된 복수의 상품(700)을 촬영할 수 있다.
예를 들어, 오프라인 매장에 사과(701), 구두(702), 핸드폰(703)이 진열된 경우, 사이니지 장치(710)는 진열된 상품에 대한 객체를 인식하고, 인식된 객체에 기초하여 제 1 증강 이미지 정보를 생성하여 디스플레이를 통해 출력할 수 있다. 여기서, 제 1 증강 이미지 정보는 사이니지 장치(710)의 주변에 위치한 사용자를 타겟으로 하는 객체에 대한 공공의 증강 정보일 수 있다.
사이니지 장치(710)는 사과(701)에 대해서는 '1박스 만원'(712), 구두(702)에 대해서는 '시즌 오프'(713) 및 '소가죽'(714), 핸드폰(703)에 대해서는 '30%할인'(715)과 같이 객체에 대한 제 1 증강 이미지 정보를 디스플레이를 통해 출력할 수 있다.
모바일 단말(720)은 사이니지 장치(710)의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보를 카메라를 통해 촬영하면, 모바일 단말(720)은 제 1 증강 이미지 정보 및 카메라를 통해 촬영된 영상에 기초하여 객체를 인식하고, 인식된 객체에 기초하여 제 2 증강 이미지 정보를 생성할 수 있다. 여기서, 제 2 증강 이미지 정보는 사용자를 타겟으로 하는 객체에 대한 개인화된 증강 정보일 수 있다.
모바일 단말(720)은 사과(701)에 대해서는 '사과 이유식 판매'(721), 구두(702)에 대해서는 '오늘만 50%'(722), 핸드폰(703)에 대해서는 '50% 할인'(723)과 같이 동일 객체에 대한 제 2 증강 이미지 정보를 디스플레이를 통해 제 1 증강 이미지 정보에 오버레이하여 출력할 수 있다.
도 7b는 본 발명의 일 실시예에 따른 제 2 증강 이미지 정보가 제 1 증강 이미지 정보가 구분되어 표시된 예시적인 도면이다. 도 7b를 참조하면, 도 7a에서 제 2 증강 이미지 정보가 제 1 증강 이미지 정보에 오버레이되어 표시된 구성을, 각각 구분되어 표시되도록 설정할 수도 있다.
모바일 단말(120)은 개인화된 증강 정보를 제공받기 위해, 오프라인 매장 전용 애플리케이션을 이용할 수 있고, 매장 주변에 제공되는 QR 코드로 접속되는 웹페이지 등을 통해 증강 현실 서비스를 이용할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 시스템(1)에서 증강 현실 서비스를 제공하는 과정을 도시한 동작 흐름도이다. 도 8을 참조하면, 증강 현실 서비스 제공 시스템(1)은 사이니지 장치(100), 모바일 단말(120), 서비스 서버(130)를 포함할 수 있다.
서비스 서버(130)는 복수의 객체에 대한 모델링 정보 및 증강 이미지를 사이니지 장치(100)로 전송할 수 있다(S801).
사이니지 장치(100)는 카메라(110)를 통해 객체가 진열된 오프라인 매장을 촬영할 수 있다(S802).
사이니지 장치(100)는 모델링 정보에 기초하여 카메라(110)를 통해 촬영된 영상에 포함된 객체를 인식하고(S803), 인식된 객체에 대한 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성할 수 있다(S804).
사이니지 장치(100)는 카메라(110)를 통해 촬영된 영상의 전체 프레임 중 일부 프레임에 대응하도록 제 1 증강 이미지 정보를 생성하여 디스플레이를 통해 출력하고(S805), 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 서비스 서버(130)로 전송할 수 있다(S806).
서비스 서버(130)는 복수의 객체에 대한 모델링 정보 및 증강 이미지를 모바일 단말(120)로 전송할 수 있다(S807).
모바일 단말(120)은 오프라인 매장에 진열된 객체를 촬영 중인 사이니지 장치(100)를 통해 출력 중인 제 1 증강 이미지 정보를 카메라를 통해 촬영할 수 있다(S808).
서비스 서버(130)는 사이니지 장치(100)를 통해 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 모바일 단말(120)로 전송할 수 있다(S809).
모바일 단말(120)은 카메라를 통해 촬영된 영상으로부터 제 1 증강 이미지 정보를 포함하는 영상 및 제 1 증강 이미지 정보를 포함하지 않은 영상을 분리하고(S810), 모델링 정보에 기초하여 제 1 증강 이미지 정보를 포함하지 않은 프레임으로부터 객체를 인식할 수 있다(S811).
모바일 단말(120)은 인식된 객체에 대한 정보와 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하고(S812), 생성된 제 2 증강 이미지 정보를 카메라를 통해 촬영된 영상과 정합하여 디스플레이를 통해 출력할 수 있다(S813).
상술한 설명에서, 단계 S801 내지 S813은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 8을 통해 설명된 사이니지 장치 및 모바일 단말에서 증강 현실 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 8을 통해 설명된 사이니지 장치 및 모바일 단말에서 증강 현실 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사이니지 장치
110: 카메라
120: 모바일 단말
130: 서비스 서버
210: 수신부
220: 촬영부
230: 인식부
240: 생성부
250: 출력부
260: 동기화부
410: 수신부
420: 촬영부
430: 분리부
440: 객체 인식부
450: 변형 정보 도출부
460: 증강 이미지 정보 생성부
470: 출력부

Claims (18)

  1. 증강 현실 서비스를 제공하는 사이니지 장치에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부;
    상기 사이니지 장치의 카메라를 통해 적어도 하나의 객체가 진열된 오프라인 매장을 촬영하는 촬영부;
    상기 모델링 정보에 기초하여 상기 사이니지 장치의 카메라를 통해 촬영된 영상에 포함된 상기 적어도 하나 이상의 객체를 인식하는 인식부;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성하는 생성부; 및
    상기 생성된 제 1 증강 이미지 정보를 상기 사이니지 장치의 카메라를 통해 촬영된 영상과 정합하여 상기 사이니지 장치의 디스플레이를 통해 출력하는 출력부
    를 포함하고,
    상기 사이니지 장치의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말의 카메라를 통해 촬영되는 경우, 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 상기 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력되고,
    상기 출력부는 상기 사이니지 장치의 카메라를 촬영된 영상의 전체 프레임 중 일부 프레임에 대응하도록 상기 제 1 증강 이미지 정보를 생성하여 출력하는 것인, 사이니지 장치.
  2. 제 1 항에 있어서,
    상기 인식된 객체에 대한 정보는 상기 인식된 객체의 상품 정보, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 중 적어도 하나를 포함하는 것인, 사이니지 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 상기 서비스 서버에 전송하는 동기화부
    를 더 포함하는 것인, 사이니지 장치.
  5. 증강 현실 서비스를 제공하는 사이니지 장치에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부;
    상기 사이니지 장치의 카메라를 통해 적어도 하나의 객체가 진열된 오프라인 매장을 촬영하는 촬영부;
    상기 모델링 정보에 기초하여 상기 사이니지 장치의 카메라를 통해 촬영된 영상에 포함된 상기 적어도 하나 이상의 객체를 인식하는 인식부;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 1 증강 이미지 정보를 생성하는 생성부; 및
    상기 생성된 제 1 증강 이미지 정보를 상기 사이니지 장치의 카메라를 통해 촬영된 영상과 정합하여 상기 사이니지 장치의 디스플레이를 통해 출력하는 출력부
    를 포함하고,
    상기 사이니지 장치의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보가 모바일 단말의 카메라를 통해 촬영되는 경우, 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 인식된 객체의 정보와 상기 인식된 객체에 해당하는 증강 이미지가 매칭되어 생성된 제 2 증강 이미지 정보가 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력되고,
    상기 제 1 증강 이미지 정보는 상기 사이니지 장치의 주변에 위치한 사용자를 타겟으로 하는 상기 객체에 대한 공공의 증강 정보를 포함하고,
    상기 제 2 증강 이미지 정보는 상기 모바일 단말의 사용자를 타겟으로 하는 상기 객체에 대한 개인화된 증강 정보를 포함하는 것인, 사이니지 장치.
  6. 증강 현실 서비스를 제공하는 모바일 단말에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부;
    오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 촬영부;
    상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 객체 인식부;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 증강 이미지 정보 생성부; 및
    상기 생성된 제 2 증강 이미지 정보를 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력하는 출력부
    를 포함하고,
    상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 제 1 증강 이미지 정보를 포함하는 영상 및 상기 제 1 증강 이미지 정보를 포함하지 않은 영상을 분리하는 분리부
    를 더 포함하는, 모바일 단말.
  7. 증강 현실 서비스를 제공하는 모바일 단말에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부;
    오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 촬영부;
    상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 객체 인식부;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 증강 이미지 정보 생성부; 및
    상기 생성된 제 2 증강 이미지 정보를 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력하는 출력부
    를 포함하고,
    상기 수신부는,
    상기 서비스 서버로부터 상기 사이니지 장치의 디스플레이를 통해 출력되는 제 1 증강 이미지 정보와 동기화하기 위한 프레임 동기화 정보를 수신하고,
    상기 출력부는 상기 프레임 동기화 정보에 기초하여 상기 생성된 제 2 증강 이미지 정보를 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하는 것인, 모바일 단말.
  8. 삭제
  9. 제 6 항에 있어서,
    상기 분리부는 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 제 1 프레임율의 상기 제 1 증강 이미지 정보를 포함하는 프레임 및 제 2 프레임율의 상기 제 1 증강 이미지 정보를 포함하지 않는 프레임을 분리하는 것인, 모바일 단말.
  10. 제 9 항에 있어서,
    상기 객체 인식부는 상기 모델링 정보에 기초하여 상기 제 1 증강 이미지 정보를 포함하지 않은 프레임으로부터 상기 적어도 하나 이상의 객체를 인식하는 것인, 모바일 단말.
  11. 제 10 항에 있어서,
    상기 객체 인식부는 상기 인식된 객체에 대한 정보를 추출하고,
    상기 인식된 객체에 대한 정보는 상기 인식된 객체의 상품 정보, 위치 정보, 방향 정보, 왜곡 정보 및 변환 정보 중 적어도 하나를 포함하는 것인, 모바일 단말.
  12. 제 11 항에 있어서,
    상기 모바일 단말의 복수의 센서를 통해 측정된 센싱 정보에 기초하여 상기 객체에 해당하는 증강 이미지의 변형 정보를 도출하는 변형 정보 도출부
    를 더 포함하는 것인, 모바일 단말.
  13. 제 12 항에 있어서,
    상기 증강 이미지 정보 생성부는 상기 추출된 객체에 대한 정보를 상기 증강 이미지에 대한 변형 정보와 매칭하여 상기 제 2 증강 이미지를 생성하는 것인, 모바일 단말.
  14. 제 6 항에 있어서,
    상기 출력부는 상기 제 2 증강 이미지 정보를 상기 제 1 증강 이미지 정보에 오버레이하는 것인, 모바일 단말.
  15. 제 6 항에 있어서,
    상기 출력부는 상기 제 2 증강 이미지 정보를 상기 제 1 증강 이미지 정보와 구분되도록 표시하는 것인, 모바일 단말.
  16. 증강 현실 서비스를 제공하는 모바일 단말에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부;
    오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 촬영부;
    상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 객체 인식부;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 증강 이미지 정보 생성부; 및
    상기 생성된 제 2 증강 이미지 정보를 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력하는 출력부
    를 포함하고,
    상기 출력부는 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 제 1 증강 이미지 정보가 포함된 프레임을 제외하여 상기 생성된 제 2 증강 이미지 정보와 정합하는 것인, 모바일 단말.
  17. 증강 현실 서비스를 제공하는 모바일 단말에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 수신부;
    오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 촬영부;
    상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 객체 인식부;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 증강 이미지 정보 생성부; 및
    상기 생성된 제 2 증강 이미지 정보를 상기 모바일 단말의 카메라를 통해 촬영된 영상과 정합하여 상기 모바일 단말의 디스플레이를 통해 출력하는 출력부
    를 포함하고,
    상기 출력부는 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 제 1 증강 이미지 정보가 포함된 프레임을 제외하지 않고 상기 생성된 제 2 증강 이미지 정보와 정합하는 것인, 모바일 단말.
  18. 모바일 단말에서 증강 현실 서비스를 제공하는 방법에 있어서,
    서비스 서버로부터 복수의 객체에 대한 모델링 정보 및 증강 이미지를 수신하는 단계;
    사이니지 장치가 오프라인 매장에 진열된 적어도 하나의 객체를 촬영 중인 경우, 상기 사이니지 장치를 통해 출력 중인 제 1 증강 이미지 정보를 모바일 단말의 카메라를 통해 촬영하는 단계;
    상기 모델링 정보에 기초하여 상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 적어도 하나 이상의 객체를 인식하는 단계;
    상기 인식된 객체에 대한 정보와 상기 인식된 객체에 해당하는 증강 이미지를 매칭하여 제 2 증강 이미지 정보를 생성하는 단계; 및
    상기 생성된 제 2 증강 이미지 정보를 상기 적어도 하나 이상의 객체와 정합하도록 상기 모바일 단말의 디스플레이를 통해 출력하는 단계
    를 포함하고,
    상기 모바일 단말의 카메라를 통해 촬영된 영상으로부터 상기 제 1 증강 이미지 정보를 포함하는 영상 및 상기 제 1 증강 이미지 정보를 포함하지 않은 영상을 분리하는 단계를 더 포함하는 것인, 증강 현실 서비스 제공 방법.
KR1020170183124A 2017-12-28 2017-12-28 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법 KR102421355B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183124A KR102421355B1 (ko) 2017-12-28 2017-12-28 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183124A KR102421355B1 (ko) 2017-12-28 2017-12-28 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법

Publications (2)

Publication Number Publication Date
KR20190080583A KR20190080583A (ko) 2019-07-08
KR102421355B1 true KR102421355B1 (ko) 2022-07-15

Family

ID=67256650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183124A KR102421355B1 (ko) 2017-12-28 2017-12-28 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법

Country Status (1)

Country Link
KR (1) KR102421355B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619607B1 (ko) * 2019-08-08 2023-12-29 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102252159B1 (ko) * 2019-08-27 2021-05-14 (주)네오위즈랩 증강현실 포토카드를 제공하는 시스템, 서버, 방법 및 그 기록매체
KR20210066250A (ko) 2019-11-28 2021-06-07 이티아이코리아(주) 디지털 영상 콘텐츠 표시 시스템
KR102549002B1 (ko) * 2021-07-21 2023-06-27 주식회사 노크 디지털 사이니지에서 제공되는 콘텐츠에 관한 증강 현실 인터페이스를 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022025547A1 (ko) * 2020-07-28 2022-02-03 주식회사 노크 디지털 사이니지에서 제공되는 콘텐츠에 관한 증강 현실 인터페이스를 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102539212B1 (ko) * 2020-07-28 2023-06-02 주식회사 노크 디지털 사이니지에서 제공되는 콘텐츠에 관한 증강 현실 인터페이스를 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2023090565A1 (ko) * 2021-11-22 2023-05-25 주식회사 미니레코드 플랫폼 앨범 서비스 제공 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741001B1 (ko) * 2015-02-02 2017-05-29 주식회사 에스에프엠케이솔루션 스마트 윈도우를 이용한 디지털 사이니지 장치 및 그의 디지털 정보 디스플레이

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544965B1 (ko) * 2014-03-12 2015-08-19 주식회사 마블로터스 상품에 대한 정품 인증정보의 출력기능이 부여된 디지털 사이니지 및 상기 디지털 사이니지를 이용하여 정품의 구매자에게 차별화된 서비스를 제공하는 능동적 광고 시스템
KR102235707B1 (ko) * 2015-01-29 2021-04-02 한국전자통신연구원 콘텐츠 부가 정보 제공 방법 및 모바일 단말 및 콘텐츠 제어 서버

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741001B1 (ko) * 2015-02-02 2017-05-29 주식회사 에스에프엠케이솔루션 스마트 윈도우를 이용한 디지털 사이니지 장치 및 그의 디지털 정보 디스플레이

Also Published As

Publication number Publication date
KR20190080583A (ko) 2019-07-08

Similar Documents

Publication Publication Date Title
KR102421355B1 (ko) 증강 현실 서비스를 제공하는 사이니지 장치, 모바일 단말 및 방법
US9384588B2 (en) Video playing method and system based on augmented reality technology and mobile terminal
EP3230950B1 (en) Method, apparatus and medium for synchronisation of colour and depth videos
CN110176077B (zh) 增强现实拍照的方法、装置及计算机存储介质
US20140178029A1 (en) Novel Augmented Reality Kiosks
CN106982240B (zh) 信息的显示方法和装置
US20210112193A1 (en) Obtaining image data of an object in a scene
KR20210036212A (ko) 증강 현실 서비스를 제공하는 서버, 사용자 단말 및 방법
KR20200012878A (ko) 가상 현실 콘텐츠를 제공하기 위해 장면의 2d 캡처 이미지를 사용하기 위한 방법 및 시스템
KR101769118B1 (ko) 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치
US20150341704A1 (en) Method of transmitting video to receiver including head-mounted display through network and transmitter, relay server and receiver for the same
JP6424339B2 (ja) 表示制御装置、および表示制御方法
JP6952456B2 (ja) 情報処理装置、制御方法、及びプログラム
WO2018042963A1 (ja) 注目対象物に関する情報提供システムおよび情報提供方法
US20200202610A1 (en) File generation apparatus, image generation apparatus, file generation method, and storage medium
JP6515512B2 (ja) 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
KR102620477B1 (ko) 증강 현실 서비스를 제공하는 서버, 단말 및 방법
US20200045359A1 (en) Reproduction device, generation device, reproduction system, program, recording medium
CN110784728B (zh) 一种图像数据处理方法、装置、以及计算机可读存储介质
KR101718109B1 (ko) 사물 인터넷을 이용한 간접 광고 및 판매 서비스 시스템과 그 방법
KR102540976B1 (ko) 매장 내 길 안내 시스템 및 방법
JP5782911B2 (ja) 三次元画像処理装置及び方法
KR20160082368A (ko) 네트워크 기반 멀티 디스플레이에서 콘텐츠 간 동기화 방법 및 시스템
KR102459198B1 (ko) 컨텐츠를 표시하는 디스플레이 장치
KR20200076968A (ko) 위치 관련 컨텐츠와 오버레이 컨텐츠를 매핑하는 컨텐츠 제공 서버, 사용자 단말 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant