KR102043274B1 - 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법 - Google Patents

3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법 Download PDF

Info

Publication number
KR102043274B1
KR102043274B1 KR1020180014530A KR20180014530A KR102043274B1 KR 102043274 B1 KR102043274 B1 KR 102043274B1 KR 1020180014530 A KR1020180014530 A KR 1020180014530A KR 20180014530 A KR20180014530 A KR 20180014530A KR 102043274 B1 KR102043274 B1 KR 102043274B1
Authority
KR
South Korea
Prior art keywords
information
content
marker
terminal
user
Prior art date
Application number
KR1020180014530A
Other languages
English (en)
Other versions
KR20190094874A (ko
Inventor
김영덕
Original Assignee
주식회사 팝스라인
김영덕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팝스라인, 김영덕 filed Critical 주식회사 팝스라인
Priority to KR1020180014530A priority Critical patent/KR102043274B1/ko
Publication of KR20190094874A publication Critical patent/KR20190094874A/ko
Application granted granted Critical
Publication of KR102043274B1 publication Critical patent/KR102043274B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템 및 그 방법을 개시한다. 즉, 본 발명은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공함으로써, 3D 객체와 관련하여 다양한 부가 정보를 제공하고, 상품의 가상 체험 및 시뮬레이션 기능을 제공하여 사용자의 만족도를 높이며, 사용자의 요구에 따른 MR 콘텐츠의 활용폭을 넓힐 수 있다.

Description

3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템 및 그 방법{Digital signage system for providing mixed reality content comprising three-dimension object and marker and method thereof}
본 발명은 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템 및 그 방법에 관한 것으로, 특히 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템 및 그 방법에 관한 것이다.
디지털 사이니지(Digital Signage)는 기업들의 마케팅, 광고, 트레이닝 효과 및 고객 경험을 유도할 수 있는 커뮤니케이션 툴로, 공항, 호텔, 병원 등의 공공장소에서 특정 정보를 제공하는 디지털 영상 디스플레이 장치이다.
이러한 디지털 사이니지를 이용한 현재의 광고 방식은 대부분의 사용자가 디지털 사이니지를 통해 접하게 된 콘텐츠를 그저 보고 지나치거나, 관심이 있다고 해도 오래 기억하기는 어렵고 해당 콘텐츠에 대한 추가 정보를 확인하기 어렵다. 특히, 이러한 문제는 디지털 사이니지가 사용자들이 많고 이동이 잦은 곳, 예컨대 길거리나 지하보도 등에 설치되어 있다면 더욱 현저히 나타나게 된다.
한국등록특허 제10-1619886호 [명칭: 디지털 사이니지 시스템 및 모바일 연동 방법]
본 발명의 목적은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법은 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법에 있어서, 디지털 사이니지에 의해, 재생 스케줄 정보 및 현재 시각 정보를 근거로 서버로부터 제공되는 MR 콘텐츠를 출력하는 단계; 상기 디지털 사이니지에 의해, 사용자의 동작을 인식하는 단계; 및 상기 디지털 사이니지에 의해, 상기 인식된 사용자의 동작을 근거로 상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때, 상기 선택된 마커에 대응하는 기능을 수행하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 MR 콘텐츠는, 상기 3D 객체, 상기 3D 객체의 속성 정보, 상기 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 3D 객체에 대응하는 상기 마커, 상기 마커의 위치 정보, 상기 마커의 속성 정보, 상기 마커와 관련한 바로 구매 정보 및 공유 정보 중 적어도 하나를 포함하며, 상기 마커의 속성 정보는, 상기 마커와 관련한 객체의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보, 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보 및 후각 정보를 포함하며, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는, 상기 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠일 수 있다.
본 발명과 관련된 일 예로서 상기 MR 콘텐츠는, 단말에 의해, 전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 3D 객체를 생성하는 과정; 상기 단말에 의해, 상기 생성된 3D 객체가 표시되고 있는 화면의 일측에 표시되는 마커 삽입 메뉴가 선택될 때, 상기 3D 객체가 표시되고 있는 화면에 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 과정; 상기 단말에 배치된 마커가 선택될 때, 상기 단말에 의해, 상기 단말의 사용자 입력을 근거로 상기 선택된 마커에 대한 속성 정보를 설정하는 과정; 상기 단말의 일측에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 단말에 의해, 상기 3D 객체와 상기 3D 객체에 인접하게 배치된 마커를 포함하는 MR 콘텐츠를 생성하는 과정; 및 상기 단말에 의해, 상기 생성된 MR 콘텐츠를 서버에 등록하는 과정에 의해 관리될 수 있다.
본 발명과 관련된 일 예로서 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 과정은, 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정할 수 있다.
본 발명과 관련된 일 예로서 상기 MR 콘텐츠를 출력하는 단계는, 상기 MR 콘텐츠에 포함된 영상 정보를 표시하는 과정; 상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 청각 정보를 근거로 상기 청각 정보에 대응하는 음성 정보나 소리 정보를 출력하는 과정; 상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 촉각 정보를 근거로 상기 촉각 정보에 대응하는 출력을 제공하는 과정; 및 상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 후각 정보를 근거로 상기 후각 정보에 대응하는 향기를 분사하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 선택된 마커에 대응하는 기능을 수행하는 단계는, 상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때, 사용자 정보를 입력받기 위한 화면을 표시하는 과정; 상기 사용자의 동작을 추가로 인식하는 과정; 상기 인식된 사용자의 추가 동작을 근거로 상기 사용자 정보를 입력받는 과정; 및 상기 사용자 정보에 대응하는 단말, 이메일 주소 및 SNS 계정 중 어느 하나로 상기 출력 중인 MR 콘텐츠를 전송하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 디지털 사이니지로부터 미리 설정된 반경 내에 위치하는 다른 단말이 존재할 때, 상기 디지털 사이니지에 의해, 상기 디지털 사이니지에서 출력 중인 MR 콘텐츠를 상기 다른 단말에 전송하는 단계; 및 상기 다른 단말에 의해, 상기 디지털 사이니지로부터 전송되는 MR 콘텐츠를 출력하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템은 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템에 있어서, 복수의 MR 콘텐츠를 재생할 순서 정보를 포함하는 재생 스케줄 정보를 생성하고, 상기 생성된 재생 스케줄 정보 및 상기 복수의 MR 콘텐츠를 제공하는 서버; 및 상기 재생 스케줄 정보 및 현재 시각 정보를 근거로 상기 서버로부터 제공되는 MR 콘텐츠를 출력하고, 사용자의 동작을 인식하고, 상기 인식된 사용자의 동작을 근거로 상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때 상기 선택된 마커에 대응하는 기능을 수행하는 디지털 사이니지를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 디지털 사이니지는, 상기 MR 콘텐츠에 포함된 영상 정보를 표시하는 표시부; 상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 청각 정보를 근거로 상기 청각 정보에 대응하는 음성 정보나 소리 정보를 출력하는 음성 출력부; 상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 촉각 정보를 근거로 상기 촉각 정보에 대응하는 출력을 제공하는 햅틱부; 및 상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 후각 정보를 근거로 상기 후각 정보에 대응하는 향기를 분사하는 향기 발생부 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 디지털 사이니지는, 상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때, 사용자 정보를 입력받기 위한 화면을 표시하고, 상기 사용자의 동작을 추가로 인식하고, 상기 인식된 사용자의 추가 동작을 근거로 상기 사용자 정보를 입력받고, 상기 사용자 정보에 대응하는 단말, 이메일 주소 및 SNS 계정 중 어느 하나로 상기 출력 중인 MR 콘텐츠를 전송할 수 있다.
본 발명은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공함으로써, 3D 객체와 관련하여 다양한 부가 정보를 제공하고, 상품의 가상 체험 및 시뮬레이션 기능을 제공하여 사용자의 만족도를 높이며, 사용자의 요구에 따른 MR 콘텐츠의 활용폭을 넓힐 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 디지털 사이니지의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 디지털 사이니지에 포함된 요소 기술의 개념을 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법을 나타낸 흐름도이다.
도 5 내지 도 8은 본 발명의 실시예에 따른 단말의 화면을 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 디지털 사이니지의 화면을 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 사이니지 시스템(10)은 단말(100), 서버(200), 디지털 사이니지(300) 및 다른 단말(400)로 구성된다. 도 1에 도시된 사이니지 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 사이니지 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 사이니지 시스템(10)이 구현될 수도 있다.
상기 단말(100) 및 상기 다른 단말(400)은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기에 적용될 수 있다.
또한, 상기 단말(100)은 상기 단말(100)에 미리 설치된 전용 툴(또는 전용 프로그램)을 이용하거나 또는 상기 단말(100)에 구비된 카메라부(미도시)를 통해 촬영된 객체를 포함하는 영상 정보를 이용해서 3D 객체(또는 해당 3D 객체와 관련한 3D 객체 데이터)를 생성(또는 제작/모델링)한다.
즉, 상기 단말(100)은 전용 툴(또는 전용 프로그램)을 이용해서 특정 객체와 관련한 3D 객체를 생성(또는 제작/모델링)한다. 여기서, 상기 전용 툴(또는 전용 프로그램)은 사용자의 조작(또는 사용자의 제어)에 의해 임의의 특정 객체와 관련한 3D 객체를 생성할 수 있는 공지의 툴(또는 프로그램/애플리케이션) 중 어느 하나일 수 있다.
본 발명의 실시예에서는 3D 객체 위주로 설명하고 있으나, 이에 한정되는 것은 아니며, 2D 객체도 포함할 수 있다.
또한, 상기 3D 객체 또는 2D 객체는 이미지(또는 정지 영상)뿐만 아니라, 상기 3D 객체/2D 객체가 적용된 동영상, 360VR 영상, 파노라마 영상 등도 포함할 수 있다.
또한, 상기 단말(100)은 해당 단말(100)에 포함된 카메라부를 통해 촬영된(또는 획득된) 임의의 객체를 포함하는 영상(또는 영상 정보) 내의 객체를 인식하고, 상기 단말(100)에 미리 설치된 3D 객체 생성 프로그램(미도시)을 통해 상기 인식된 객체를 이용해서 3D 객체를 생성(또는 제작/모델링)한다. 이때, 상기 영상은 상기 단말(100)과 통신하는 임의의 단말(미도시) 또는 서버(200)로부터 제공될 수도 있다. 또한, 상기 3D 객체 생성 프로그램은 사용자의 조작(또는 사용자의 제어)에 의해 임의의 영상 내에 포함된 객체를 3D 객체로 생성(또는 변환/제작)할 수 있는 공지의 프로그램(또는 툴/애플리케이션) 중 어느 하나일 수 있다.
여기서, 상기 생성된(또는 제작된/모델링된) 3D 객체(또는 3D 객체 데이터)는 해당 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등을 포함하도록 생성되어, 해당 3D 객체에 대한 정보 제공 시 시각, 청각, 촉각, 후각 등에 대한 정보를 동시에 제공할 수 있도록 구성할 수 있다. 이때, 상기 시각 정보는 해당 3D 객체의 형상 정보, 색상 정보, 재질 정보, 패턴 정보, 디자인 정보 등을 포함하도록 생성되어, 해당 3D 객체와 관련한 정보 제공 시 사용자에게 정확하고 다양한 정보를 제공할 수 있다. 또한, 상기 청각 정보는 해당 3D 객체와 관련한 소리 정보 등을 포함한다. 또한, 상기 촉각 정보는 해당 3D 객체와 관련한 근감각(kinesthesia)에 대한 정보(예를 들어 해당 3D 객체와 관련한 질량, 굳고 말랑말랑한 정도, 반력 등에 대한 정보 포함), 해당 3D 객체와 관련한 질감(tactility)에 대한 정보(예를 들어 해당 3D 객체와 관련한 표면의 무늬, 작은 모양들, 표면의 부드럽고 거친 정도, 냉온감 등에 대한 정보 포함) 등을 포함한다. 또한, 상기 후각 정보는 해당 3D 객체와 관련한 향기(또는 향) 정보 등을 포함한다.
또한, 상기 단말(100)은 상기 생성된(또는 제작된/모델링된) 3D 객체를 상기 서버(200)에 제공하여, 상기 서버(200)에 구비된 데이터베이스(미도시)를 통해 통합 관리되도록 구성할 수도 있다.
또한, 상기 단말(100)은 상기 생성된 3D 객체를 가상 스토어, 재고 관리, 모조품 단속 등의 유통 산업뿐만 아니라 가상 현실(또는 증강 현실/혼합 현실)에서 활용할 수도 있다.
또한, 상기 생성된(또는 제작된) 3D 객체와 관련한 마커(또는 3D 마커/객체 마커)를 삽입하기 위해서 상기 영상이 표시되고 있는 단말(100)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼(또는 메뉴/항목)(또는 상기 단말(100)의 일측에 구비된 마커 삽입 버튼)이 선택되는 경우, 상기 단말(100)은 상기 생성된 3D 객체에 인접하게 마커(또는 객체 마커)를 배치한다. 이에 따라, 상기 단말(100)은 해당 객체를 포함하는 영상의 일측에 상기 객체로부터 일정 거리만큼 이격된 상태로 상기 마커를 표시한다.
또한, 드래그 앤 드롭(drag & drop) 기능을 사용하여 상기 단말(100)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼이 선택(또는 드래그)된 후, 드래그 앤 드롭 기능에 의해, 상기 단말(100)의 화면에 표시 중인 3D 객체 위로 드롭될 때(또는 상기 3D 객체로부터 미리 설정된 반경 내의 영역/위치로 드롭될 때), 상기 단말(100)은 상기 3D 객체로부터 미리 설정된 거리만큼 이격된 임의의 위치(또는 특정 위치)에 상기 마커를 배치할 수도 있다.
이때, 상기 단말(100)은 해당 3D 객체에 대해서 일정 간격만큼 이격되어 상기 마커를 배치하며, 해당 3D 객체가 3차원으로 회전하거나 또는 축소/확대되더라도 마커가 해당 3D 객체에 일정 간격을 유지하도록 설정(또는 배치/설계)한다.
즉, 상기 단말(100)은 상기 3D 객체가 동작하는 레이어(layer)와 상기 마커가 동작(또는 표시)하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대, 이동 등에 대해서도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격 상태를 유지하도록 설정할 수 있다.
또한, 상기 단말(100)은 해당 3D 객체 상에 오버랩되도록 상기 마커를 배치할 수도 있다.
즉, 상기 단말(100)은 상기 3D 객체가 표시되고 있는 화면상에서 상위 레이어를 추가 형성하고, 상기 추가 형성된 상위 레이어에 상기 마커를 배치할 수도 있다.
본 발명의 실시예에서는 상기 마커와 상기 3D 객체가 독립적으로 제어되도록 구성하기 위해서, 상기 3D 객체와 상기 마커가 서로 다른 레이어에 형성되는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 영상 내에서 상기 마커와 상기 3D 객체가 독립적으로 동작(또는 제어)할 수 있는 다양한 기술이 적용될 수도 있다.
본 발명의 실시예에서 설명하는 상기 마커 및/또는 상기 객체가 포함되는 영상은 2D 또는 3D 이미지, 정지 영상, 동영상, 360VR 영상, 파노라마 영상, 항공사진(또는 항공영상), 위성사진(또는 위성영상), 스카이뷰, 로드뷰 등을 포함한다. 여기서, 상기 항공사진(또는 항공영상)은 항공기, 드론 등을 통해 지상으로부터 일정 고도에서 촬영한 정지 영상 또는 동영상 등을 포함한다. 또한, 상기 위성사진(또는 위성영상) 또는 상기 스카이뷰는 인공위성 등을 통해 지상으로부터 일정 고도에서 촬영한 정지 영상 또는 동영상 등을 포함한다. 또한, 상기 로드뷰는 차량, 오토바이(autobicycle), 기타 이동 수단 등에 카메라(예를 들어 360도 촬영이 가능한 카메라 등 포함)를 장착하고, 상기 차량 등의 이동에 따라 상기 차량 등의 주변을 촬영한 정지 영상 또는 동영상 등을 포함한다.
또한, 상기 항공사진(또는 항공영상), 위성사진(또는 위성영상), 스카이뷰, 로드뷰 등은 촬영 시점의 GPS를 통한 위치 정보를 촬영 영상과 함께 저장하여, 촬영된 영상 내에 포함된 임의의 객체(예를 들어 건물, 건물 내 위치한 하나 이상의 업체 등 포함)를 정확하고 용이하게 확인하고, 상기 확인된 객체와 관련한 마커를 추가할 수도 있다.
이와 같이, 상기 3D 객체와 상기 마커가 서로 다른 레이어에 형성되어, 상기 마커가 상기 3D 객체와 독립적으로 제어되도록 구성하여, 상기 3D 객체의 이동, 확대, 축소 등에 대해서도 상기 마커는 상기 3D 객체로부터 일정 간격만큼 이격되거나 상기 3D 객체 상에 위치하도록 구성할 수 있다.
또한, 상기 3D 객체를 이용하여 동영상(또는 360VR 영상/파노라마 영상)을 구성한 경우, 상기 마커는 상기 동영상 내에서 상기 3D 객체가 표시되고 있는 동안에는 상기 3D 객체(또는 2D 객체)에 인접한 위치나 상기 3D 객체에 오버랩되어 표시되며, 상기 동영상 내에서 상기 3D 객체가 사라지는 경우 상기 마커도 사라지도록 구성할 수 있다. 또한, 상기 동영상 내에서 새로운 3D 객체(또는 새로운 2D 객체)가 등장하는 경우, 해당 새로운 3D 객체에 대응하여 새로운 마커가 표시되도록 구성할 수 있다.
또한, 상기 3D 객체에 인접하거나 또는 오버랩되어 표시 중인 상기 마커가 선택되는 경우, 상기 마커에 대해서 설정된 설정 정보에 따라 추가적인 화면이 표시될 수 있다.
예를 들어, 상기 3D 객체에 인접하거나 또는 오버랩되어 표시 중인 상기 마커가 선택되는 경우, 상기 마커와 관련한(또는 상기 마커에 대응하는 상기 3D 객체와 관련한) 상세 정보를 보기 위한 화면, 결제 기능을 위한 화면, 공유 기능을 위한 화면, 상기 마커와 관련한 해당 3D 객체(또는 2D 객체)의 확대된 화면 또는 해당 3D 객체(또는 2D 객체)와 관련한 다른 이미지/화면/영상, 챗봇 기능 수행을 위한 화면 등이 화면상에서 팝업 형태로 표시되거나 또는 전체 화면에 표시되도록 구성할 수 있다.
여기서, 챗봇(chatterbot, 대화 로봇)은 사람과 기계 사이에 대화를 하기 위해 만든 프로그램 혹은 로봇으로, 상기 챗봇 기능은 해당 화면을 보고 있는 사용자와 상기 서버(200) 또는 상기 디지털 사이니지(300)에서 제공하는 로봇이 대화로 정보를 주고받을 수 있는 대화형 사용자 인터페이스 시스템을 제공하는 것으로 인공 지능(artificial intelligence: AI) 기능을 포함하며, 상기 선택된 마커에 대응하는 객체와 관련된 사용자(또는 고객)의 질문에 AI 기능 적용에 따라 자동으로 응답해주는 기능(예를 들어 가격 흥정, 재고 문의, 배송 문의, 성능 문의, 사용방법 문의 등 포함) 등을 포함한다.
또한, 본 발명의 실시예에서는 상기 마커가 고정된 형태로 구성되는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 마커는 2D 또는 3D 형태로 구성될 수 있으며, 해당 3D 객체의 축소 형태이거나 또는 설계자에 의해 임의로 설계된(또는 디자인된) 형태일 수도 있고, 애니메이션 효과(예를 들어 회전, 깜빡임, 튕김 기능 등 포함)가 적용될 수도 있다.
예를 들어, 냉장고 매장이 3D 형태로 구성된 상태에서, 해당 냉장고 매장에 구성된 복수의 냉장고에 대해서 각 냉장고를 축소한 형태의 3D 마커가 상기 복수의 냉장고 각각에 인접하거나 해당 냉장고에 오버랩되어 표시될 수 있으며, 해당 3D 마커에 대해서 애니메이션 기능(예를 들어 오른쪽에서 왼쪽으로 축소된 냉장고 이미지가 회전하는 기능)이 적용된 상태일 수 있다.
이와 같이, 상기 마커에 대해서 애니메이션 효과가 적용됨에 따라, 상기 3D 객체(또는 2D 객체)와 함께 표시되고 있는 마커가 사용자의 눈에 잘 띄어, 해당 마커를 선택하는 경우가 더 늘어나게 되며, 상기 마커의 선택에 따라 부가 기능(또는 부가 정보)을 제공할 수 있다.
또한, 상기 마커는 아래 설명되는 임시 마커와의 구분을 위해서 상기 마커의 테두리를 실선 처리하고, 상기 임시 마커는 점선 처리하여 표시할 수 있다. 여기서, 상기 마커는 MR 콘텐츠(Mixed Reality Contents)(또는 MR 영상)에 포함되며, 상기 MR 콘텐츠에 포함된 객체와 연동하는(또는 매칭하는) 적어도 하나의 다른 MR 콘텐츠에 대한 정보를 포함한다. 또한, 상기 임시 마커는 상기 단말(100) 및/또는 상기 서버(200)에 상기 카메라부를 통해 획득된 영상에 포함된 객체와 관련한 MR 콘텐츠가 존재함을 나타내기 위한 표시(또는 정보)일 수 있다.
또한, 상기 단말(100)에 표시되는 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 단말(100)은 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 마커에 대한 속성 정보를 설정한다. 여기서, 상기 마커에 대한 속성 정보(또는 마커의 속성 정보)는 해당 마커와 관련한 객체(또는 3D 객체)의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보, 해당 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보(또는 해당 객체와 관련한 적어도 하나의 MR 콘텐츠가 저장된 주소 정보/링크 주소), 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등을 포함한다. 이때, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는 해당 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠일 수 있다.
또한, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보를 설정할 때, 상기 단말(100)은 상기 서버(200)와의 연동에 의해, 기계 학습을 통해 상기 단말(100)의 사용자(또는 특정/임의의 사용자)와 관련하여 실시간으로 확인되는 사용자 정보(예를 들어 선호도, 구매 이력 정보, 해당 객체와 관련하여 사용자가 가장 많이 검색한 상품과 관련한 정보, 해당 객체와 관련하여 가장 많이 판매된 상품과 관련한 정보, 프로모션 정보, 해당 객체 및/또는 사용자와 관련한 빅 데이터 등 포함)를 근거로 상기 단말(100) 및/또는 상기 서버(200)에 미리 저장된 복수의 MR 콘텐츠 중에서 해당 객체와 관련한 적어도 하나의 MR 콘텐츠를 선택(또는 설정)할 수 있다.
이와 같이, 상기 단말(100)은 해당 사용자(또는 특정/임의의 사용자)에게 최적화된 맞춤형 MR 콘텐츠를 제공할 수 있도록 상기 사용자 정보를 누적하고, 상기 누적된 사용자 정보에 대한 기계 학습(Machine Learning)을 통해 해당 사용자(또는 특정/임의의 사용자)와 관련한 정보를 반영하여 적응 전환형태의 상기 선택된 마커에 대한 속성 정보를 설정할 수도 있다.
또한, 상기 단말(100)의 일측에 표시되는 미리 설정된 미리보기 메뉴(또는 버튼/항목)가 선택되는 경우, 상기 단말(100)은 MR 콘텐츠 저작의 결과 영상을 미리보기 화면으로 표시한다. 이때, 상기 단말(100)은 새로운 화면으로 상기 MR 콘텐츠 저작의 결과 영상을 표시하거나 또는, 팝업 형태로 상기 MR 콘텐츠 저작의 결과 영상을 표시할 수 있다.
즉, 상기 미리보기 메뉴가 선택되는 경우, 상기 단말(100)은 MR 콘텐츠 저작의 결과 영상(또는 상기 생성된 객체와 해당 객체에 인접하게 배치된 마커를 포함하는 영상)을 미리보기 형태로 표시한다. 이때, 해당 MR 콘텐츠 저작의 결과 영상에는 해당 객체와 관련한 구매 기능을 제공하기 위한 바로 구매 메뉴, 해당 MR 콘텐츠에 대한 공유 기능을 제공하기 위한 공유 메뉴 등이 포함될 수 있다.
또한, 상기 단말(100)의 다른 일측에 표시되는 미리 설정된 저장 메뉴(또는 완성 메뉴/버튼/항목)가 선택되는 경우, 상기 단말(100)은 해당 3D 객체, 상기 3D 객체에 인접하게 배치된 마커 등을 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 해당 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보, 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 단말(100)은 상기 마커에 대해서 사용자 선택에 따른 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료되지 않은 상태인 경우, 상기 단말(100)은 상기 마커의 속성 정보 설정이 완료되지 않은 상태임을 표시하며, 해당 마커의 속성 정보 설정에 대한 안내 정보를 일측에 표시한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료된 경우, 상기 단말(100)은 상기 3D 객체, 해당 3D 객체와 관련한 마커 등을 포함하는 MR 콘텐츠를 생성한다.
이와 같이, 상기 단말(100)은 실제 객체를 포함하는 영상과, 해당 객체와 관련한 정보를 제공하기 위한 마커를 포함하는 영상을 혼합하여 MR 콘텐츠를 생성할 수 있다.
이때, 상기 생성된 3D 객체를 이용해서 동영상이 생성된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 단말(100)은 상기 3D 객체 및 상기 3D 객체에 대응하는 마커와 관련한 코드의 고유 식별 정보(또는 상기 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 3D 객체에 인접하도록 상기 마커를 각각 추가하여(또는 매칭하여/연동시켜/업데이트하여) 동영상 형태의 MR 콘텐츠를 생성할 수 있다.
이와 같이, 상기 단말(100)은 상기 객체를 포함하는 영상이 정지 영상(또는 이미지)뿐만 아니라 동영상인 경우에도, 상기 영상에 포함된 객체와 관련한 마커를 삽입하여 상기 MR 콘텐츠를 생성할 수 있다.
또한, 이와 같이, 상기 단말(100)은 상기 3D 객체와 상기 3D 객체와 관련한 마커를 포함하는 MR 콘텐츠를 활용하여 상기 MR 콘텐츠에 포함된 3D 객체에 대응하는 상품과 관련한 연관 상품 추천 기능, 상품 추천 기능, 프로모션 기능, 인터랙션 기능(또는 상호작용 기능), 시뮬레이션 기능 등을 제공하여, 상품을 검색하고 확인하는 사용자의 편의성을 향상시키며 사용자의 만족감을 높일 수 있다.
또한, 상기 단말(100)의 화면상에 상기 마커가 배치되는 경우 또는 상기 단말(100)의 화면상에 배치된 마커에 대한 속성 정보의 설정이 완료되는 경우, 상기 단말(100)은 상기 마커와 관련한 상기 이미지/동영상에 포함된 객체(또는 상기 객체와 관련한 코드)와, 상기 마커를 연동하여 저장한다.
이때, 상기 단말(100)은 상기 배치된 마커의 외곽선을 상기 이미지/동영상에 포함된 상기 마커와 관련한 객체의 외곽선까지 연장 형성한다. 즉, 상기 단말(100)은 상기 배치된 마커의 외곽선의 좌표값을 상기 마커와 관련한 객체의 외곽선의 좌표값으로 매칭하여 저장한다.
예를 들어, 상기 단말(100)은 무선 진공 청소기에 대응하는 객체와 관련한 마커가 배치되고, 상기 배치된 마커에 대한 속성 정보 설정이 완료되는 경우, 상기 배치된 마커의 외곽선의 좌표값을 상기 무선 진공 청소기의 외곽선의 좌표값으로 매칭(또는 연장 형성)한다.
이와 같이, 상기 마커의 외곽선을 상기 마커와 관련한 객체의 외곽선으로 연장 형성함에 따라, 추후 해당 객체를 선택할 경우에도, 해당 마커를 선택한 효과를 얻을 수 있다.
또한, 상기 단말(100)은 상기 생성된 MR 콘텐츠를 공유하기 위해서 상기 생성된 MR 콘텐츠, 상기 단말(100)의 식별 정보 등을 상기 서버(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
상기 서버(200)는 상기 단말(100), 상기 디지털 사이니지(300), 상기 다른 단말(400) 등과 통신한다.
또한, 상기 서버(200)는 상기 단말(100)을 포함하여 복수의 단말(100)로부터 각각 전송되는 MR 콘텐츠, 단말(100)의 식별 정보 등을 수신한다. 여기서, 상기 MR 콘텐츠는 각 단말(100)에서 생성된(또는 제작된) 콘텐츠일 수 있다.
또한, 상기 서버(200)는 상기 수신된 복수의 MR 콘텐츠를 저장(또는 관리)한다.
또한, 상기 서버(200)는 상기 서버(200)에 저장된 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식(또는 형태)으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 근거로 특정 디지털 사이니지(300)에서 출력될 콘텐츠에 대한 스케줄링을 수행한다.
즉, 상기 서버(200)는 상기 서버(200)에 저장된 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식(또는 형태)으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 이용해서 상기 서버(200)에서 관리하는 복수의 디지털 사이니지(300)별로 해당 디지털 사이니지(300)에서 날짜별 및/또는 시간대별로 출력할 콘텐츠에 대한 정보를 포함하는 재생 스케줄링 정보를 생성한다.
또한, 상기 서버(200)는 상기 서버(200)에 저장된 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식(또는 형태)으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 근거로 특정 디지털 사이니지(300)에서 출력될 콘텐츠에 대한 스케줄링을 수행한다.
즉, 상기 서버(200)는 복수의 MR 콘텐츠에 대해서 타임셀에 따라 날짜별 및/또는 시간대별로 출력할 콘텐츠에 대한 정보를 포함하는 재생 스케줄링 정보를 생성한다.
또한, 상기 서버(200)는 상기 생성된 재생 스케줄 정보, 해당 재생 스케줄 정보에 따른 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함) 등을 해당 재생 스케줄 정보와 관련한 디지털 사이니지(300)에 전송한다.
이때, 상기 서버(200)는 상기 생성된 재생 스케줄 정보를 미리 상기 디지털 사이니지(300)에 전송한 후, 상기 재생 스케줄 정보에 따라 해당 디지털 사이니지(300)에서 출력할 복수의 MR 콘텐츠를 스트리밍 방식, 이벤트 방식 등을 이용해서 순차적으로 해당 디지털 사이니지(300)에 전송하여, 상기 디지털 사이니지(300)에서 큰 저장 용량을 구비하지 않더라도, 상기 서버(200)로부터 제공되는 복수의 MR 콘텐츠를 순차적으로 출력할 수 있다.
이와 같이, 상기 서버(200)는 상기 서버(200)에서 관리하는 복수의 디지털 사이니지(300)에 대해서 각 디지털 사이니지(300)별로 타임셀에 따른 복수의 콘텐츠(예를 들어 MR 콘텐츠, AR 콘텐츠, VR 콘텐츠, 동영상 등 포함)를 재생(또는 출력)할 순서인 재생 스케줄 정보를 생성하고, 상기 생성된 디지털 사이니지별 재생 스케줄 정보를 관리한다.
또한, 상기 서버(200)는 상기 디지털 사이니지별 재생 스케줄 정보에 따라, 각 디지털 사이니지(300)에 하나 이상의 콘텐츠를 순차적으로 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 디지털 사이니지(300)의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 디지털 사이니지(또는 디지털 사이니지 장치)(300)는 통신부(310), 저장부(320), 카메라부(330), 센서부(340), 표시부(350), 음성 출력부(360), 햅틱부(370), 향기 발생부(380) 및 제어부(390)로 구성된다. 도 2에 도시된 디지털 사이니지(300)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 디지털 사이니지(300)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 디지털 사이니지(300)가 구현될 수도 있다.
또한, 도 3은 본 발명의 실시예에 따른 디지털 사이니지(300)에 포함된 요소 기술의 개념을 나타낸 도이다.
상기 디지털 사이니지(300)는 멀티비젼, 키오스크(kiosk), 터치디스플레이, 엘리베이터 디스플레이, 옥외 디지털사이니지, 미디어 월 등을 포함한다.
또한, 상기 디지털 사이니지(300)는 디스플레이 장치, 콘텐츠, 네트워크, 소프트웨어 솔루션 등 IT 기술 및 콘텐츠 관련 기술 등이 융합되어 발전 중이며, AR, VR, MR, AI, 멀티 모달리티(Multi Modality) 등 첨단 기술과 디지털 사이니지의 결합을 통해 다양한 형태의 스마트 사이니지로 응용 범위가 확장 중인 상태이다.
또한, 상기 디지털 사이니지(300)는 인터랙션 실감형 디지털 사이니지 형태로 구성된다.
즉, 상기 디지털 사이니지(300)는 HTML5 기반으로 네트워크 연동성을 확대하고, 첨단 시굴 적용 및 호환성이 높은 플랫폼(예를 들어 클라우드 시스템을 통한 빅 데이터 분석 등 포함)을 적용하고, 멀티 모달리티 시스템(예를 들어 모션 제어, 음성 인식, 후각 정보 활용 등 포함)을 적용한 실감형 정보를 제공하며, 디지털 사이니지에 VR/AR/MR 기술을 적용하여 상품에 대한 체험감을 극대화하며, 마커와 3D 이벤트 시스템을 이용하여 커머스 기능을 직접 연결할 수 있다.
상기 통신부(310)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 상기 단말(100), 상기 서버(200), 상기 다른 단말(400) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(310)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(310)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(310)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 단말(100), 상기 서버(200), 상기 다른 단말(400) 등과 무선 신호를 송수신한다.
또한, 상기 통신부(310)는 상기 제어부(390)의 제어에 의해 상기 서버(200)로부터 전송되는 재생 스케줄 정보, 해당 재생 스케줄 정보에 따른 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함) 등을 수신한다. 이때, 상기 MR 콘텐츠는 해당 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보, 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
상기 저장부(320)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(320)는 상기 디지털 사이니지(300)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(320)는 상기 디지털 사이니지(300)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 디지털 사이니지(300)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 디지털 사이니지(300)의 기본적인 기능을 위하여 출고 당시부터 디지털 사이니지(300)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(320)에 저장되고, 디지털 사이니지(300)에 설치되어, 제어부(390)에 의하여 상기 MR 콘텐츠 제공 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(320)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 디지털 사이니지(300)는 인터넷(internet)상에서 저장부(320)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(320)는 상기 통신부(310)를 통해 수신된 재생 스케줄 정보, 해당 재생 스케줄 정보에 따른 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함) 등을 저장한다.
상기 카메라부(330)는 영상 통화 모드, 촬영 모드, 영상 회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 상기 처리된 화상 프레임은 상기 제어부(390)의 제어에 의해 상기 표시부(350)에 표시될 수 있다. 일 예로, 상기 카메라는 객체(또는 피사체)(예를 들어 상품, 사용자 등 포함)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
또한, 상기 카메라부(330)에서 처리된 화상 프레임은 상기 저장부(320)에 저장되거나 상기 통신부(310)를 통해 상기 서버(200)나 상기 다른 단말(400)로 전송될 수 있다.
또한, 상기 카메라부(330)는 360도 카메라(미도시)를 통해 획득된(또는 촬영된) 파노라마 영상(또는 파노라마 영상 정보)을 상기 제어부(390)에 제공할 수도 있다. 이때, 상기 360도 카메라는 2차원 또는 3차원 형태의 파노라마 영상을 촬영할 수 있다.
또한, 상기 카메라부(330)는 상기 디지털 사이니지(300)의 일면에 설치한다.
또한, 상기 카메라부(330)는 상기 카메라부(330)가 구성된 디지털 사이니지(300)의 정면에 위치한 사용자(또는 사용자의 움직임)에 대한 영상 정보를 획득(또는 촬영)한다.
상기 센서부(340)는 상기 디지털 사이니지(300)의 일면(또는 일측)에 구성한다.
또한, 상기 센서부(340)는 상기 센서부(340)가 구성된 디지털 사이니지(300)의 정면에 위치한 사용자의 동작(또는 모션) 인식 기능, 음성 인식 기능, 입술 움직임 인식 기능, 눈동자의 움직임 인식 기능(또는 시선 추적 기능) 등을 수행한다.
또한, 상기 센서부(340)는 상기 사용자의 동작이나 입술 움직임이나 눈동자의 움직임을 인식하기 위한 동작 인식 모듈, 음성 인식을 위한 음성 인식 모듈 등을 포함한다.
또한, 상기 도 3에 도시된 바와 같이, 상기 센서부(340)는 웨어러블 디바이스 형태로 제공되어, 사용자의 신체(예를 들어 손, 손가락, 팔, 다리 등 포함)에 착용된 상태에서 해당 사용자의 움직임에 따른 정보를 인식할 수도 있다.
상기 표시부(350)는 상기 제어부(390)의 제어에 의해 상기 저장부(320)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(350)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(350)는 터치 스크린 일 수 있다.
또한, 상기 표시부(350)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 도 3에 도시된 바와 같이, 상기 표시부(350)는 복수의 디스플레이 장치가 하나의 대화면을 구성할 수도 있다.
또한, 상기 표시부(350)는 상기 제어부(390)의 제어에 의해 상기 재생 스케줄 정보 및 현재 시각을 근거로 상기 서버(200)로부터 제공되는 MR 콘텐츠(또는 MR 콘텐츠와는 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 표시한다.
이때, 상기 표시부(350)는 상기 서버(200)로부터 실시간으로 전송되는 MR 콘텐츠를 출력하거나 또는, 상기 저장부(320)의 저장 용량을 고려하여 상기 서버(200)로부터 전송되는 MR 콘텐츠를 상기 저장부(320)에 임시 저장한 후, 상기 임시 저장된 MR 콘텐츠를 출력할 수 있다.
상기 음성 출력부(360)는 상기 제어부(390)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(360)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(360)는 상기 제어부(390)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(360)는 상기 제어부(390)에 의해 상기 재생 스케줄 정보 및 현재 시각을 근거로 상기 서버(200)로부터 제공되는 MR 콘텐츠에 포함된 청각 정보(예를 들어 음성 정보, 소음 정보 등 포함)를 출력한다.
즉, 상기 음성 출력부(360)는 상기 제어부(390)에 의해 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 상기 표시부(350)에 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 청각 정보가 있는 경우, 해당 청각 정보를 출력한다.
상기 햅틱부(또는 햅틱 인터페이스/촉각 인터페이스)(370)는 상기 표시부(350)에 인접하게 구성한다.
또한, 상기 햅틱 인터페이스(Haptic Interface)(또는 상기 햅틱부)는 넓은 의미로는 사용자에게 촉감을 전달하는 시스템 전체를 가리키며, 사용자가 직접 접촉하게 함으로써 사용자에게 물리력 전달을 통해 촉감을 발생시키는 하드웨어 장치인 햅틱 장치(Haptic Device)와, 원격 접촉(Teletaction) 환경 또는 컴퓨터 그래픽과 물리적 특성 등으로 이루어진 가상 환경, 햅틱 장치의 움직임을 가상 환경에 전달하고 가상 환경과의 접촉력을 햅틱 장치로 전달하는 역할을 하는 제어기(미도시)(또는 상기 제어부(390))로 구성할 수 있다.
이러한 상기 햅틱 인터페이스의 궁극적인 목적은 모델링되어 있는 가상 환경(예를 들어, AR 환경, VR 환경, MR 환경 등 포함) 또는 실제 환경의 물리적 특성을 사용자가 상기 햅틱 장치를 통해 똑같이 느끼게 하는 것이다.
또한, 상기 햅틱 인터페이스는 상기 햅틱 장치와 가상 환경이 하나의 환경에 존재할 수 있도록 상기 햅틱 장치의 위치 변화를 표현하는 가상의 대리자가 가상 환경 속에 존재한다. 상기 가상의 대리자가 가상의 물체에 부딪혀서 발생한 힘이 Fe이고, 사람이 햅틱 장치를 통해서 느끼는 힘이 Fm이라면, 두 값이 똑같이 되도록 제어하는 것이 이상적인 햅틱 인터페이스 시스템이다.
이상적인 햅틱 인터페이스의 구현을 위해서는 정확한 모델링 방법과 모델을 구현할 수 있는 하드웨어 및 제어 방법에 관한 연구가 뒷받침되어야 한다.
또한, 상기 햅틱 인터페이스는 좁은 의미로 하드웨어적인 부분만으로 제한되어 상기 햅틱 장치와 동일한 의미로 사용될 수도 있다.
또한, 상기 햅틱 인터페이스는 하드웨어 개발 관점, 즉 상기 햅틱 장치를 개발하는 관점에서 크게 두 분야로 나눌 수 있다.
즉, 사람은 촉각을 두 가지 주요 경로를 통해 느끼며, 상기 햅틱 인터페이스도 이러한 두 가지 주요 분야로 나누어 개발되고 있다.
이러한 햅틱 인터페이스의 분야 중 하나는 근감각에 관련된 것으로, 우리가 물체의 질량이나, 굳고 말랑말랑한 정도, 물체의 외형 등을 느낄 때, 근육과 관절의 움직임을 통해 촉감을 느끼는 현상이다. 이 과정은 물리적으로는 힘과 연관되어 있으므로, 상기 햅틱 장치는 힘을 생성하기에 유리한 로봇 모양과 같은 기구적 구조를 띠고 있으며, 이와 같은 목적으로 만들어진 햅틱 장치를 힘 피드백 장치(Force Feedback Device)라고 한다.
또한, 햅틱 인터페이스의 분야 중 다른 하나는 질감에 관련된 것으로, 접촉하고 있는 표면의 무늬 또는 작은 모양들, 표면의 부드럽고 거친 정도, 냉온감 등을 느낄 때 피부를 표면에 직접 접촉하여 느끼는 현상이다. 이 과정은 여러 가지 복잡한 물리적 요소들로 이루어져 있어서 질감을 재현하고자 하는 햅틱 장치들의 모양도 매우 다양하며, 이와 같은 질감을 전달하는 목적으로 만들어진 장치를 질감 제시 장치(Tactile Display)라고 한다.
이와 같이, 상기 햅틱 장치(또는 상기 햅틱부(370))는 목적에 따라 힘 피드백 장치와 질감 제시 장치의 두 분야로 나누어지며, 본 발명의 실시예에서는 상기 두 분야의 햅틱 장치를 모두 포함하여 설명한다.
특히, 상기 햅틱 장치를 이용해서 질감에 대한 정보를 사용자에게 제공하기 위해서, 자극 방법 중 진동을 이용하는 진동촉각(Vibrotactile) 디스플레이는 손쉬우면서도 자극의 전달이 빨라 간단한 신호만을 필요로 하는 곳에 많이 적용되고 있다.
또한, 핀 배열(Pin-array) 방식은 피부에 여러 개의 핀이 모양을 이루어 수직 방향으로 직접 자극하므로 표면의 무늬를 직관적으로 전달할 수 있다.
또한, 상기 햅틱부(370)는 상기 제어부(390)의 제어에 의해 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 상기 표시부(350)에 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 촉각 정보가 있는 경우, 해당 촉각 정보(예를 들어 질량, 굳고 말랑말랑한 정도, 반력, 표면의 무늬, 작은 모양들, 표면의 부드럽고 거친 정도, 냉온감 등에 대응하는 정보)에 따라 동작한다.
이와 같이, 상기 햅틱부(370)는 촉각 피드백을 통한 명령어 확인 및 제어, 각종 실감 게임, 내비게이션, 각종 메시지 및 의사 전달, 시각장애인용 모바일 기기 등에 적용되어, 상기 디지털 사이니지(300)와 사용자 간의 인터랙션 기능을 제공할 수 있다.
또한, 상기 햅틱부(370)는 촉감의 전달을 통해 원거리 환경 또는 가상 환경의 사실성을 크게 증대시키고, 네트워크 기반의 환경에서 눈으로만 보던 온라인 쇼핑몰에서 상품을 만져보고 살 수 있는 기능을 제공할 수 있으며, 실제 유물을 만져볼 수 있는 온라인 박물관 기능을 제공할 수 있으며, 문자를 기반으로 하는 메신저 환경에서 서로 악수를 하고 어깨를 두드리는 등 촉감을 통한 감정의 전달 기능 등을 제공하는 바와 같이, 임의의 단말과 사용자 간의 상호작용형 기능을 제공할 수 있다.
상기 향기 발생부(또는 후각 인터페이스)(380)는 상기 디지털 사이니지(300)의 일측(또는 일면)에 구성한다.
사람의 후각은 주위의 냄새 정보를 감지하여 주위 환경에 대한 정보를 받아들인다. 빵 굽는 냄새, 타는 냄새, 익숙한 연인의 냄새는 우리에게 정보로서 전달되고 있다. 이와 같이 향기는 상태나 상항, 사건에 관한 대표적인 정보를 전달하기 위해서 사이니지 시스템(10)에 사용될 수 있다.
또한, 상기 후각 인터페이스는 크게 주변 환경의 냄새를 인식하는 냄새 인식 장치(미도시)와 원하는 향기를 사용자 주변에 출력하는 상기 향기 발생부(380)로 구분된다.
흔히 전자코(electronic nose)로 일컫는 냄새 인식 장치는 사람이 코를 통해서 감지한 냄새의 정보를 뇌에서 처리하는 것과 같은 일련의 과정을 기계가 대신하는 장비이다. 상기 전자코는 사람코의 후각 세포에 해당하는 센서(미도시)와 사람 뇌에 해당하는 컴퓨터 또는 마이크로프로세서(미도시)로 구성된다. 사람이 코의 후각세포가 감지한 냄새 정보를 뇌에서 처리해 냄새를 인식하는 것처럼, 센서가 냄새 분자에 반응하면, 마이크로프로세서가 센서의 반응되는 정도에 대한 패턴 인식 소프트웨어에 의해 냄새를 감별한다.
상기 전자코의 기본은 여러 개의 서로 다른 종류의 화학적 가스 센서들을 어레이(array)화하여 사용하는 것이다. 상기 센서 어레이(sensor array)에 의해 측정된 데이터는 냄새에 따라 구분할 수 있는 특징을 보이게 되는데, 이는 각각의 센서가 냄새의 화학적 성분에 따라 다른 민감도를 가지는 물질에 의해 제조되기 때문이다.
또한, 상기 향기 발생부(380)는 상기 제어부(390)의 제어에 의해 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 상기 표시부(350)에 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 후각 정보가 있는 경우, 해당 후각 정보(예를 들어 장미꽃 향기, 향수 향기, 음식의 탄 향기 등 포함)에 따라 외부로 향기(또는 향)를 분사(또는 출력/발생/배출)한다.
또한, 상기 향기 발생부(380)에 의해 분사된(또는 발생된/출력된) 향기는 상기 전자코를 통해 인식된 후, 상기 제어부(390)의 제어에 의해 학습되어 추후 좀더 세밀하고 정확한 향기를 분사(또는 출력/발생/생성)하는데 이용될 수도 있다.
또한, 상기 향기 발생부(380)는 온라인 게임과 연계된 기술에 적용할 수 있다.
즉, 상기 향기 발생부(380)는 온라인 게임에서 화약 냄새 또는 외계 생물체의 타는 냄새나 레이싱 게임을 위한 고무 타는 냄새를 출력하여 게임의 실감성을 증가시킬 수 있다. 오늘날 방대한 양의 자료와 최상의 게임 플레이 환경을 요구하는 게임 플레이어는 몹시 경쟁심이 강하며, 따라서 기존의 게임 콘텐츠에 향기가 같이 전달되어 그들이 활동하는 데 유리하다면, 향기 기술은 일상에 적용될 수 있을 것이다. 이것은 CD 음질의 음악과 고화질 그래픽의 전례에서 보듯이 수익 가능성이 큰 특정 시장 분야에서 향기 적용이 시작될 수 있음을 나타낸다.
또한, 상기 향기 발생부(380)는 개인 공간에서 향기를 사용하여 냄새에 대한 기억과 학습 능력을 증가시킬 수 있다.
또한, 상기 향기 발생부(380)는 시각장애인, 청각장애인, 다른 특별한 필요가 있는 개인 등에게 매우 유용한 정보 디스플레이 매체로서 상기 향기를 적용할 수도 있다. 즉, 고품질의 컴퓨터 제어 사운드 장치, 촉각 연구의 성과, 그리고 저렴한 컴퓨터 하드웨어와 소프트웨어는 보다 향상된 방법으로 개개인이 감각을 이용하여 외부 세계와 통신하고 정보를 받을 수 있는 환경을 제공해 줄 것이다.
본 발명의 실시예에서는 상기 햅틱부(370) 및/또는 상기 향기 발생부(380)가 상기 디지털 사이니지(300)의 구성 요소 중 일부에 포함되어 동작하는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 햅틱부(370) 및/또는 상기 향기 발생부(380)는 스탠드 얼론(stand alone) 형태로 동작하며, 상기 디지털 사이니지(300)에서 출력 중인 MR 콘텐츠가 있을 때, 상기 햅틱부(370) 및/또는 상기 향기 발생부(380)에서 상기 디지털 사이니지(300)로부터 전송되는 MR 콘텐츠(또는 상기 MR 콘텐츠에 포함된 마커의 속성 정보)를 수신하고, 상기 수신된 MR 콘텐츠에 포함된 마커의 속성 정보를 근거로 청각 정보 및/또는 후각 정보에 대응하여 동작할 수도 있다.
즉, 상기 햅틱부(370) 및/또는 상기 향기 발생부(380)가 독립적으로 구성되며 상기 디지털 사이니지(300)에 인접하게 배치(또는 설치)된 상태에서 상기 디지털 사이니지(300)에서 MR 콘텐츠(또는 AR 콘텐츠/VR 콘텐츠/다른 형식의 콘텐츠)가 출력 중일 때, 상기 햅틱부(370) 및/또는 상기 향기 발생부(380)는 상기 디지털 사이니지(300)로부터 전송되는 MR 콘텐츠(또는 해당 MR 콘텐츠에 포함된 마커의 속성 정보)를 수신한다.
또한, 상기 햅틱부(370) 및/또는 상기 향기 발생부(380)는 상기 수신된 MR 콘텐츠에 포함된 마커의 속성 정보를 근거로 청각 정보에 대응하는 진동 등을 발생시키거나 후각 정보에 대응하는 향기를 분사한다.
상기 제어부(390)는 상기 디지털 사이니지(300)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(390)는 상기 저장부(320)에 저장된 프로그램 및 데이터를 이용하여 디지털 사이니지(300)의 전반적인 제어 기능을 실행한다. 상기 제어부(390)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(320)에 액세스하여, 상기 저장부(320)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(320)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(390)는 상기 수신된 재생 스케줄 정보 및 현재 시각을 근거로 상기 서버(200)로부터 제공되는 MR 콘텐츠(또는 MR 콘텐츠와는 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 상기 표시부(350), 상기 음성 출력부(360), 상기 햅틱부(370), 상기 향기 발생부(380) 등을 통해 출력한다.
즉, 상기 제어부(390)는 상기 수신된 재생 스케줄 정보 및 현재 시각을 근거로 상기 서버(200)로부터 제공되는 MR 콘텐츠(또는 MR 콘텐츠와는 별도의 광고나 홍보를 위한 콘텐츠 등 포함)에 포함된 영상 정보를 상기 표시부(350)를 통해 표시(또는 출력)한다. 이때, 상기 제어부(390)는 상기 서버(200)로부터 실시간으로 전송되는 MR 콘텐츠를 상기 표시부(350)를 통해 표시하거나 또는, 상기 저장부(320)의 저장 용량을 고려하여 상기 서버(200)로부터 전송되는 MR 콘텐츠를 상기 저장부(320)에 임시 저장한 후, 상기 저장부(320)에 임시 저장된 MR 콘텐츠를 상기 표시부(350)를 통해 표시할 수 있다.
또한, 상기 제어부(390)는 상기 디지털 사이니지(300)에서 상기 MR 콘텐츠를 상기 표시부(350)를 통해 디스플레이(또는 표시)하는 중에, 상기 MR 콘텐츠에 포함된 마커의 속성 정보를 근거로 상기 MR 콘텐츠와 관련한 시각 정보뿐만 아니라 청각 정보, 촉각 정보, 후각 정보 등을 제공(또는 출력)한다.
즉, 상기 제어부(390)는 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 상기 표시부(350)를 통해 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 청각 정보가 있는 경우, 해당 청각 정보(또는 해당 청각 정보에 대응하는 소리/음성 정보)를 상기 음성 출력부(360)를 통해 출력한다.
또한, 상기 제어부(390)는 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 상기 표시부(350)를 통해 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 촉각 정보가 있는 경우, 해당 촉각 정보(또는 해당 촉각 정보에 대응하는 진동 정보)를 상기 햅틱부(370)를 통해 출력한다.
또한, 상기 제어부(390)는 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 상기 표시부(350)를 통해 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 후각 정보가 있는 경우, 해당 후각 정보에 대응하는 향기(또는 향)를 상기 향기 발생부(380)를 통해 분사(또는 출력)한다.
또한, 상기 디지털 사이니지(300)로부터 미리 설정된 반경 내에 위치하는 적어도 하나의 다른 단말(400)이 존재하는 경우, 상기 제어부(390)는 상기 통신부(310)를 통해 상기 적어도 하나의 다른 단말(400)과 연결한다. 이때, 상기 디지털 사이니지(300)와 상기 다른 단말(400) 간의 통신 연결 방식은 무선 통신 방식일 수 있다.
또한, 상기 제어부(390)는 상기 표시부(350)를 통해 표시 중인 MR 콘텐츠(또는 MR 콘텐츠와는 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 상기 통신부(310)를 통해 상기 연결된 다른 단말(400)에 전송한다.
이와 같이, 상기 제어부(390)는 상기 디지털 사이니지(300)를 통해 상기 콘텐츠 및 상기 콘텐츠와 관련한 부가 정보(예를 들어 청각 정보, 촉각 정보, 후각 정보 등 포함)를 출력할 수도 있고, 상기 디지털 사이니지(300)에 인접한 적어도 하나의 다른 단말(400)에 상기 디지털 사이니지(300)를 통해 출력 중인 정보들(예를 들어 상기 콘텐츠 및 상기 콘텐츠와 관련한 부가 정보 등 포함)을 제공할 수도 있다.
또한, 상기 센서부(340)를 통해 인식된 상기 디지털 사이니지(300)에 인접한 특정 사용자의 음성 및/또는 동작에 따라 상기 표시부(350)에 표시 중인 MR 콘텐츠(또는 콘텐츠)의 일측에 표시되는 마커가 선택되는 경우, 상기 제어부(390)는 해당 마커와 관련한 추가 기능을 제공한다.
즉, 상기 인식된 음성 및/또는 동작에 따라 상기 표시부(350)에서 표시 중인 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 제어부(390)는 상기 MR 콘텐츠를 제공받을 또 다른 단말(400)에 대한 사용자 정보를 입력받기 위한 화면(또는 사용자 인터페이스/UI)을 상기 표시부(350)에 표시한다.
또한, 사용자 입력(또는 사용자 선택/터치)에 따른 상기 MR 콘텐츠를 제공받을 또 다른 단말(400)에 대한 사용자 정보를 수신하는 경우, 상기 제어부(390)는 상기 수신된 또 다른 단말(400)에 대한 사용자 정보를 근거로 상기 표시부(350)에서 표시 중인 상기 MR 콘텐츠 등을 상기 통신부(310)를 통해 해당 또 다른 단말(400)에 대한 사용자 정보에 대응하는 또 다른 단말(400)에 제공(또는 전송)한다. 여기서, 상기 또 다른 단말(400)에 대한 사용자 정보는 또 다른 단말(400)의 전화번호/식별정보, 이메일 주소, SNS 계정 정보 등을 포함한다.
또한, 상기 인식된 음성 및/또는 동작에 따라 상기 표시부(350)에서 표시 중인 MR 콘텐츠의 다른 일측에 표시되는 특정 메뉴가 선택되는 경우, 상기 제어부(390)는 상기 특정 사용자 및/또는 상기 서버(200)와 연동하여, 상기 선택된 특정 메뉴에 대응하는 정보(또는 콘텐츠)를 상기 표시부(350), 상기 음성 출력부(360), 상기 햅틱부(370) 및 상기 향기 발생부(380)를 통해 출력하거나 또는, 상기 선택된 특정 메뉴에 대응하는 기능을 수행하고 해당 기능의 수행 결과를 출력한다.
본 발명의 실시예에서는, 상기 디지털 사이니지(300)와 상기 특정 사용자와 상기 또 다른 단말(400) 간의 상호 인터랙션을 통해 다양한 정보가 공유되는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 디지털 사이니지(300)는 상기 특정 사용자의 동작 및/또는 음성 인식 결과에 따른 상기 또 다른 단말(400)에 대한 사용자 정보를 수신하고, 상기 수신된 또 다른 단말(400)에 대한 사용자 정보, 현재 출력 중인 MR 콘텐츠(또는 임의의 콘텐츠)에 대한 정보 등을 상기 서버(200)에 전송하고, 상기 서버(200)에서 상기 디지털 사이니지(300)로부터 전송된 또 다른 단말(400)에 대한 사용자 정보, 현재 출력 중인 MR 콘텐츠(또는 임의의 콘텐츠)에 대한 정보 등을 근거로 해당 또 다른 단말(400)에 상기 디지털 사이니지(300)에서 출력 중인 MR 콘텐츠를 전송할 수도 있다.
또한, 상기 디지털 사이니지(300)는 상기 서버(200)에서 관리되는 재생 스케줄링 정보를 근거로 현재 시각에 따라 특정 콘텐츠를 출력하지만, 이와 같이 상기 디지털 사이니지(300)와 특정 사용자 간에 인터랙션이 수행되는 경우, 상기 재생 스케줄링 정보에 따라 현재 시각에 출력해야할 특정 콘텐츠의 출력을 잠시 보류하고, 상기 디지털 사이니지(300)와 상기 특정 사용자 간의 인터랙션 기능을 우선적으로 처리할 수 있다.
또한, 상기 디지털 사이니지(300)와 상기 특정 사용자 간의 인터랙션 기능이 완료된 후, 상기 디지털 사이니지(300)는 상기 재생 스케줄링 정보와 현재 시점의 시각 정보를 근거로 해당 현재 시점에 대응하는 특정 콘텐츠를 출력할 수 있다.
인터페이스의 중요성은 컴퓨터 기술이 발전할수록 커지고 있다. 컴퓨터와 인터페이스는 불가분의 관계에 있으며, 사람이 컴퓨터를 편리하게 이용하기 위해서는 컴퓨터의 인터페이스가 인간의 오감에 의존하는 형태를 가질 수밖에 없다. 이에 따라, 본 발명의 실시예에서는 상기 디지털 사이니지(300)를 통해 시청각에만 의존하던 인터페이스 기술에 사람의 직관적인 동작, 촉각, 후각을 활용하고, 멀티 모달리티를 융합하는 멀티모달 인터페이스 기술을 적용한다.
여기서, 상기 멀티 모달의 사전적 의미는 '여러 개의 모드, 양상, 감각을 포함 또는 가지는 것'이다. 멀티모달 인터페이스는 인간과 컴퓨터가 2개 이상의 입출력 모달리티(Modality)를 이용하여 상호작용을 할 수 있도록 하는 것일 수 있다.
상기 멀티모달 인터페이스를 위해서는 키보드, 마우스, 펜, 터치 스크린과 같은 단순히 직접적인 조작으로 입력할 수 있는 모달리티에 대한 입력 기술뿐만 아니라, 음성 인식, 2D/3D 제스처 인식, 입술 움직임 인식, 눈동자의 움직임 인식 등과 같은 좀더 복잡하고 진보된 모달리티들에 대한 입력 기술들이 사용된다. 또한, 출력 기술로는 음성 합성, 2D/3D 그래픽, 점자 출력기 등과 같은 모달리티 기술이 사용되고 있다. 이러한 개별 모달리티들을 서로 융합해 시스템에서 사용 가능한 모달리티로 입출력하는 수단을 제공하기 위한 융합 기술은 휴대와 이동성이 강조되는 차세대 컴퓨터의 중요한 인터페이스일 수 있다.
또한, 상기 멀티모달 인터페이스는 인간과 대화하는 거소가 비슷한 방식으로 컴퓨터와 상호작용할 수 있는 인간 중심적인 인터페이스이다. 특정의 인터페이스에 제약이 있는 환경이거나 장애인에게는 다른 입출력 방식을 선택할 수 있는 장점을 제공하며, 둘 이상의 입력을 융합하여 신뢰성 높은 입출력 결과를 얻을 수도 있다.
멀티모달 시스템은 음향, 음성, 필기, 키보드 등의 다양한 입력 모드를 사용하고, 출력은 음성, 문자, 그래픽, 음향, 동영상 등 하나 이상의 다중 출력 모드로 구성될 수 있다.
또한, 멀티모달 프레임워크 구성에서 사용자는 시스템에 입력하고, 시스템에 의해 표현된 정보를 보거나 듣는다. 상호작용 관리자(Interaction Manager)는 다양한 입출력 컴포넌트 간의 데이터를 적절히 조정하며, 각 컴포넌트들이 실행되는 상태 및 문맥 정보를 관리하고, 세션 컴포넌트는 멀티모달 응용을 위한 세션 및 상태 관리를 제공하기 위해 상호작용 관리자와의 인터페이스를 제공한다. 다양한 입력장치들의 데이터는 일반화된 형식으로 변환되어 상호작용 관리자로 넘겨진다.
또한, 이러한 입력장치들의 데이터를 일반화하기 위해 W3C에서는 EMMA 마크업 언어(Extensible Multimodal Annotation Markup Language) 형식을 사용하며, 디지털 잉크 데이터에 대해서는 InkML 마크업 언어를 사용한다. 여기서, 상기 EMMA는 멀티모달 인터랙션 프레임워크에서 음성, 문자, GUI, 잉크 등 다양한 입력 결과를 의미가 있는 데이터 형식으로 표현하기 위한 마크업 언어이며, 상기 InkML은 전자펜이나 스타일러스를 사용해 입력된 잉크를 표현하는 데이터 형식을 제공하기 위한 마크업 언어이다.
이와 같이, 상기 디지털 사이니지(300)는 다양한 마크업 언어(예를 들어 EMMA 마크업 언어, InkML 마크업 언어, SALT(Speech Application Language Tags) 등 포함)를 통해 구현하여, 사용자의 경험을 향상시키고, 어떠한 애플리케이션에 접근하려할 때 신뢰성을 증가시킬 수 있는 인터페이스를 제공할 수 있다. 또한, 사용자는 동시에 하나의 기기 또는 모달리티, 나아가 더 많은 기기나 모달리티들과 상호작용을 할 수 있다. 즉, 펜 입력, 멀티미디어 출력, 비디오 입력, 햅틱 입력과 출력, TTY 통신 등과 같은 상호작용의 여러 형태로 확장 응용이 가능할 수 있다.
상기 다른 단말(400)은 상기 서버(200), 상기 디지털 사이니지(300) 등과 통신한다.
또한, 상기 다른 단말(400)이 상기 디지털 사이니지(300)의 통신 반경 내에 위치하는 경우, 상기 다른 단말(400)은 상기 디지털 사이니지(300)로부터 전송되는 상기 디지털 사이니지(300)에서 출력 중인 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 수신한다.
또한, 상기 특정 사용자와 상기 디지털 사이니지(300) 간의 상호작용에 의해 상기 디지털 사이니지(300)에서 출력 중인 상기 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 제공받을 단말로 상기 다른 단말(400)이 선택(또는 선정)된 경우, 상기 다른 단말(400)은 상기 디지털 사이니지(300) 및/또는 상기 서버(200)로부터 전송되는 상기 디지털 사이니지(300)에서 출력 중인 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 수신한다.
또한, 상기 다른 단말(400)은 상기 수신된 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함/MR 콘텐츠에 포함된 영상 정보)를 표시한다. 여기서, 상기 다른 단말(400)은 상기 MR 콘텐츠를 표시하면서, 상기 MR 콘텐츠와 관련한 청각 정보를 근거로 음성 정보를 출력하고, 상기 MR 콘텐츠와 관련한 촉각 정보를 근거로 상기 다른 단말(400)에 구비된 진동부(미도시)를 통해 상기 촉각 정보에 대응하는 진동을 출력할 수도 있다.
또한, 상기 또 다른 단말(400)은 상기 표시되는 MR 콘텐츠에 대해서 사용자 선택에 따라 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면(또는 바로 구매 기능)을 표시하는 기능, 임의의 특정 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다.
즉, 상기 또 다른 단말(400)에 표시된 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 또 다른 단말(400)은 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시한다.
이와 같이, 상기 디지털 사이니지(300)와 상기 또 다른 단말(400) 간의 상호 인터랙션을 통해, 실시간으로 다양한 정보를 공유할 수 있다.
또한, 상기 다른 단말(400)은 상기 추가 MR 콘텐츠가 표시되는 일측(또는 상기 추가 MR 콘텐츠가 표시되는 일측에 오버레이하여/증강 현실 기능을 적용하여)에 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 표시한다.
이때, 상기 객체와 관련한 상세 정보는 상기 다른 단말(400)에 표시된 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 다른 단말(400)에서 실시간으로 상기 서버(200) 및/또는 상기 디지털 사이니지(300)에 상기 객체와 관련한 상세 정보를 요청하고, 이에 응답하여 상기 서버(200) 및/또는 상기 디지털 사이니지(300)에서 실시간으로 해당 객체와 관련한 상세 정보를 수집한 후, 상기 다른 단말(400)에 제공하는 정보일 수 있다.
여기서, 상기 상세 정보는 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량, 프로모션 정보(또는 이벤트 정보) 등을 포함한다.
또한, 상기 다른 단말(400)에 표시된 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴(또는 항목)가 선택되는 경우, 상기 다른 단말(400)은 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면을 표시한다.
즉, 상기 다른 단말(400)에 표시된 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴가 선택되는 경우, 상기 다른 단말(400)은 상기 마커와 관련한 3D 객체에 대응하는 상품의 구매 기능을 위한 화면(예를 들어 장바구니 화면, 결제 화면 등 포함)을 표시한다.
이와 같이, 상기 다른 단말(400)은 상기 3D 객체 및 해당 3D 객체와 관련한 마커를 포함하는 MR 콘텐츠를 활용하여 상품 검색(또는 상품 탐색/추천), 구매에 이르는 원스톱(one-stop) 서비스를 제공하여, 사용자의 편의성을 향상시킬 수 있다.
또한, 상기 다른 단말(400)에 표시된 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택되는 경우, 상기 다른 단말(400)은 사용자 선택(또는 사용자 터치)에 따라 상기 MR 콘텐츠를 제공받을 임의의 단말을 선택(또는 선정)한다. 또한, 상기 다른 단말(400)은 상기 선택된 임의의 단말로 상기 마커와 3D 객체를 포함하는 MR 콘텐츠를 제공(또는 전송)한다. 이때, 상기 다른 단말(400)은 상기 다른 단말(400)의 사용자 또는 상기 선택된 임의의 단말의 사용자와 관련한 소셜 네트워크 서비스(Social Networking Service: SNS) 등에 상기 마커와 3D 객체를 포함하는 MR 콘텐츠를 전송(또는 공유/제공)할 수도 있다.
본 발명의 실시예에 따른 상기 단말(100) 및 상기 다른 단말(400)은 상기 디지털 사이니지(300)에 포함된 통신부, 저장부, 카메라부, 센서부, 표시부, 음성 출력부, 햅틱부, 향기 발생부, 제어부 등의 구성 요소 중 적어도 하나 이상의 구성 요소를 포함하도록 구성할 수 있다.
이와 같이, 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공할 수 있다.
이하에서는, 본 발명에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법을 도 1 내지 도 9를 참조하여 상세히 설명한다.
도 4는 본 발명의 실시예에 따른 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법을 나타낸 흐름도이다.
먼저, 단말(100)은 전용 툴(또는 전용 프로그램)을 이용하거나 또는 상기 단말(100)에 구비된 카메라부(미도시)를 통해 촬영된 객체를 포함하는 영상 정보를 이용해서 3D 객체(또는 해당 3D 객체와 관련한 3D 객체 데이터)를 생성(또는 제작/모델링)한다.
즉, 상기 단말(100)은 전용 툴(또는 전용 프로그램)을 이용해서 특정 객체와 관련한 3D 객체를 생성(또는 제작/모델링)한다.
또한, 상기 단말(100)은 해당 단말(100)에 포함된 카메라부를 통해 임의의 객체를 포함하는 영상을 촬영하고, 상기 촬영된 영상(또는 영상 정보) 내의 객체를 인식한 후, 상기 단말(100)에 미리 설치된 3D 객체 생성 프로그램(미도시)을 통해 상기 인식된 객체를 이용해서 3D 객체를 생성(또는 제작/모델링)한다. 이때, 상기 영상은 상기 단말(100)과 통신하는 임의의 단말(미도시) 또는 서버(200)로부터 제공될 수도 있다. 여기서, 상기 생성된(또는 제작된/모델링된) 3D 객체는 해당 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등을 포함하도록 생성되어, 해당 3D 객체에 대한 정보 제공 시 시각, 청각, 촉각, 후각 등에 대한 정보를 동시에 제공할 수 있도록 구성할 수 있다. 이때, 상기 시각 정보는 해당 3D 객체의 형상 정보, 색상 정보, 재질 정보, 패턴 정보, 디자인 정보 등을 포함한다. 또한, 상기 청각 정보는 해당 3D 객체와 관련한 소리 정보 등을 포함한다. 또한, 상기 촉각 정보는 해당 3D 객체와 관련한 근감각에 대한 정보(예를 들어 해당 3D 객체와 관련한 질량, 굳고 말랑말랑한 정도, 반력 등에 대한 정보 포함), 해당 3D 객체와 관련한 질감에 대한 정보(예를 들어 해당 3D 객체와 관련한 표면의 무늬, 작은 모양들, 표면의 부드럽고 거친 정도, 냉온감 등에 대한 정보 포함) 등을 포함한다. 또한, 상기 후각 정보는 해당 3D 객체와 관련한 향기(또는 향) 정보 등을 포함한다.
일 예로, 도 5에 도시된 바와 같이, 제 1 단말(100)은 상기 제 1 단말에 미리 설치된 전용 툴을 이용해서 3D 형태의 무선 진공 청소기(510)를 제작한다. 여기서, 상기 제작된 3D 형태의 무선 진공 청소기는 형상 정보, 색상 정보, 재질 정보, 패턴 정보, 디자인 정보 등을 포함하는 제 1 시각 정보와, 해당 무선 진공 청소기의 동작 모드(예를 들어 1단, 2단, 3단 등의 동작 모드)에 따른 소음 정보 등을 포함하는 제 1 청각 정보와, 해당 무선 진공 청소기의 동작 모드에 따른 진동의 크기 정보 등을 포함하는 제 1 촉각 정보와, 해당 무선 진공 청소기의 동작 시 미리 설정된 시간 단위로 외부로 방출되는 방향제에 대한 정보 등을 포함하는 제 1 후각 정보 등을 포함한다(S410).
이후, 상기 생성된(또는 제작된) 3D 객체와 관련한 마커를 삽입하기 위해서 상기 단말(100)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼(또는 메뉴/항목)(또는 상기 단말(100)의 일측에 구비된 마커 삽입 버튼)이 선택되는 경우, 상기 단말(100)은 상기 생성된 3D 객체에 인접하게 마커(또는 객체 마커)를 배치한다.
또한, 드래그 앤 드롭 기능을 사용하여 상기 단말(100)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼이 선택(또는 드래그)된 후, 드래그 앤 드롭 기능에 의해, 상기 단말(100)의 화면에 표시 중인 3D 객체 위로 드롭될 때(또는 상기 3D 객체로부터 미리 설정된 반경 내의 영역/위치로 드롭될 때), 상기 단말(100)은 상기 3D 객체로부터 미리 설정된 거리만큼 이격된 임의의 위치(또는 특정 위치)에 상기 마커를 배치할 수도 있다.
이때, 상기 단말(100)은 해당 3D 객체에 대해서 일정 간격만큼 이격되어 상기 마커를 배치하며, 해당 3D 객체가 3차원으로 회전하거나 또는 축소/확대되더라도 마커가 해당 3D 객체에 일정 간격을 유지하도록 설정(또는 배치/설계)한다.
즉, 상기 단말(100)은 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작(또는 표시)하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대, 이동 등에 대해서도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격 상태를 유지하도록 설정할 수 있다.
일 예로, 상기 도 5에 도시된 바와 같이, 상기 3D 형태의 무선 진공 청소기(510)를 제작한 후, 상기 도 5의 화면의 일측에 표시되는 마커 삽입 메뉴(520)가 선택(또는 터치)될 때, 도 6에 도시된 바와 같이, 상기 제 1 단말은 상기 3D 형태의 무선 진공 청소기(610)로부터 미리 설정된 간격만큼 떨어진 위치에 제 1 마커(620)를 배치한다. 이때, 상기 도 6에 도시된 3D 형태의 무선 진공 청소기(610)가 사용자 제어에 의해 확대될 때, 도 7에 도시된 바와 같이, 상기 제 1 단말은 상기 확대된 3D 형태의 무선 진공 청소기(710)로부터 미리 설정된 간격만큼 떨어진 위치에 제 1 마커(720)를 배치하여, 상기 3D 형태의 무선 진공 청소기(710)와 상기 제 1 마커(720) 사이에 일정 간격이 유지되도록 구성할 수 있다(S420).
이후, 상기 단말(100)에 표시되는 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 단말(100)은 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 마커에 대한 속성 정보를 설정한다. 여기서, 상기 마커에 대한 속성 정보(또는 마커의 속성 정보)는 해당 마커와 관련한 객체(또는 3D 객체)의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보, 해당 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보(또는 해당 객체와 관련한 적어도 하나의 MR 콘텐츠가 저장된 주소 정보/링크 주소), 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등을 포함한다. 이때, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는 해당 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠일 수 있다.
여기서, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보를 설정할 때, 상기 단말(100)은 상기 단말(100)의 사용자(또는 특정/임의의 사용자)와 관련한 사용자 정보(예를 들어 선호도, 구매 이력 정보, 해당 객체와 관련하여 사용자가 가장 많이 검색한 상품과 관련한 정보, 해당 객체와 관련하여 가장 많이 판매된 상품과 관련한 정보, 프로모션 정보, 해당 객체 및/또는 사용자와 관련한 빅 데이터 등 포함)를 근거로 상기 단말(100) 및/또는 상기 서버(200)에 미리 저장된 복수의 MR 콘텐츠 중에서 해당 객체와 관련한 적어도 하나의 MR 콘텐츠를 선택(또는 설정)할 수 있다.
이와 같이, 상기 단말(100)은 해당 사용자(또는 특정/임의의 사용자)에게 최적화된 MR 콘텐츠를 제공할 수 있도록 상기 사용자 정보를 누적하고, 상기 누적된 사용자 정보에 대한 기계 학습을 통해 해당 사용자와 관련한 정보를 반영하여 적응 전환형태의 상기 선택된 마커에 대한 속성 정보를 설정할 수도 있다.
일 예로, 해당 무선 진공 청소기와 관련한 제 1 상세 정보(또는 제 1 상품 정보)(예를 들어 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보 등 포함)가 사전에 등록된(또는 입력된) 상태에서, 상기 도 6에 도시된 3D 형태의 무선 진공 청소기(610)와 제 1 마커(620)가 표시되고 있는 화면에서 상기 제 1 마커(620)가 선택될 때, 상기 제 1 단말은 미리 저장된 복수의 상세 정보 중에서 해당 3D 형태의 무선 진공 청소기에 대응하는 제 1 상세 정보를 확인한다.
또한, 상기 제 1 단말은 상기 3D 형태의 무선 진공 청소기 제작 시 설정된 상기 3D 형태의 무선 진공 청소기와 관련한 형상 정보, 색상 정보, 재질 정보, 패턴 정보, 디자인 정보 등을 포함하는 제 1 시각 정보와, 해당 무선 진공 청소기의 동작 모드(예를 들어 1단, 2단, 3단 등의 동작 모드)에 따른 소음 정보 등을 포함하는 제 1 청각 정보와, 해당 무선 진공 청소기의 동작 모드에 따른 진동의 크기 정보 등을 포함하는 제 1 촉각 정보와, 해당 무선 진공 청소기의 동작 시 미리 설정된 시간 단위로 외부로 방출되는 방향제에 대한 정보 등을 포함하는 제 1 후각 정보 등을 확인한다.
또한, 상기 제 1 단말은 미리 저장된 복수의 MR 콘텐츠 중에서 해당 무선 진공 청소기와 관련한 3D 객체와 동일 코드를 가지거나 유사 코드를 가지는 제 2 MR 콘텐츠(예를 들어 기계 학습에 따른 사용자의 선호도가 반영된 유선 진공 청소기와 관련한 MR 콘텐츠) 및 제 3 MR 콘텐츠(예를 들어 최근 1달 동안 가장 많이 판매된 다른 무선 진공 청소기와 관련한 MR 콘텐츠)가 저장된 제 2 주소 정보 및 제 3 주소 정보를 확인한다. 여기서, 상기 제 2 MR 콘텐츠는 3D 형태의 유선 진공 청소기와 해당 3D 형태의 유선 진공 청소기와 관련한 마커를 포함하며, 상기 제 3 MR 콘텐츠는 3D 형태의 다른 무선 진공 청소기와 해당 3D 형태의 다른 무선 진공 청소기와 관련한 마커를 포함한다.
또한, 상기 제 1 단말은 상기 확인된 무선 진공 청소기와 관련한 제 1 상세 정보, 제 1 시각 정보, 제 1 청각 정보, 제 1 촉각 정보, 제 1 후각 정보, 상기 무선 진공 청소기와 관련한 제 2 MR 콘텐츠 및 제 3 MR 콘텐츠가 저장된 제 2 주소 정보 및 제 3 주소 정보 등을 포함하는 제 1 마커에 대한 제 1 속성 정보를 설정한다(S430).
이후, 상기 단말(100)의 일측에 표시되는 미리 설정된 미리보기 메뉴(또는 버튼/항목)가 선택되는 경우, 상기 단말(100)은 MR 콘텐츠 저작의 결과 영상을 미리보기 화면으로 표시한다.
즉, 상기 미리보기 메뉴가 선택되는 경우, 상기 단말(100)은 MR 콘텐츠 저작의 결과 영상(또는 상기 생성된 객체와 해당 객체에 인접하게 배치된 마커를 포함하는 영상)을 미리보기 형태로 표시한다. 이때, 해당 MR 콘텐츠 저작의 결과 영상에는 해당 객체와 관련한 구매 기능을 제공하기 위한 바로 구매 메뉴, 해당 MR 콘텐츠에 대한 공유 기능을 제공하기 위한 공유 메뉴 등이 포함될 수 있다.
일 예로, 상기 도 6에 도시된 3D 형태의 무선 진공 청소기(610)와 제 1 마커(620)가 표시되고 있는 화면에서 미리 설정된 미리보기 메뉴(630)가 선택될 때, 도 8에 도시된 바와 같이, 상기 제 1 단말은 상기 3D 형태의 무선 진공 청소기(810), 상기 무선 진공 청소기와 관련한 제 1 마커(820) 등에 각각 대응하는 MR 콘텐츠 저작의 결과 영상(800)을 팝업 형태로 표시한다. 이때, 상기 MR 콘텐츠 저작의 결과 영상(800)에는 해당 무선 진공 청소기(810)에 대한 구매 기능을 제공하기 위한 바로 구매 메뉴(830)와, 해당 3D 형태의 무선 진공 청소기(810)와 제 1 마커(820)로 구성되는 MR 콘텐츠를 공유하기 위한 공유 메뉴(840)가 포함된 상태일 수 있다(S440).
이후, 상기 단말(100)의 다른 일측에 표시되는 미리 설정된 저장 메뉴(또는 완성 메뉴/버튼/항목)가 선택되는 경우, 상기 단말(100)은 해당 3D 객체, 상기 3D 객체에 인접하게 배치된 마커 등을 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 해당 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보, 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 단말(100)은 상기 마커에 대해서 사용자 선택에 따른 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료되지 않은 상태인 경우, 상기 단말(100)은 상기 마커의 속성 정보 설정이 완료되지 않은 상태임을 표시하며, 해당 마커의 속성 정보 설정에 대한 안내 정보를 일측에 표시한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료된 경우, 상기 단말(100)은 상기 3D 객체, 해당 3D 객체와 관련한 마커 등을 포함하는 MR 콘텐츠를 생성한다.
이때, 상기 생성된 3D 객체를 이용해서 동영상이 생성된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 단말(100)은 상기 3D 객체 및 상기 3D 객체에 대응하는 마커와 관련한 코드의 고유 식별 정보(또는 상기 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 3D 객체에 인접하도록 상기 마커를 각각 추가하여(또는 매칭하여/연동시켜/업데이트하여) 동영상 형태의 MR 콘텐츠를 생성할 수 있다.
또한, 상기 단말(100)은 상기 생성된 MR 콘텐츠를 공유하기 위해서 상기 생성된 MR 콘텐츠, 상기 단말(100)의 식별 정보 등을 상기 서버(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
일 예로, 상기 도 6에 도시된 3D 형태의 무선 진공 청소기(610)와 제 1 마커(620)가 표시되고 있는 화면에서 미리 설정된 저장 메뉴(640)가 선택될 때, 상기 제 1 단말은 상기 3D 형태의 무선 진공 청소기(610), 상기 무선 진공 청소기(610)에 인접하게 배치된 제 1 마커(620), 상기 제 1 마커(620)의 위치 정보, 상기 제 1 마커(620)의 속성 정보 등을 포함하는 제 1 MR 콘텐츠를 생성한다. 이때, 상기 제 1 마커의 속성 정보는 상기 무선 진공 청소기에 대응하는 제 1 상세 정보, 상기 무선 진공 청소기와 관련한 3D 객체와 동일/유사 코드를 가지는 제 2 MR 콘텐츠 및 제 2 MR 콘텐츠가 저장된 제 2 주소 정보 내지 제 3 주소 정보, 상기 무선 진공 청소기와 관련한 제 1 시각 정보, 제 1 청각 정보, 제 1 촉각 정보, 제 1 후각 정보 등을 포함한다(S450).
이후, 상기 서버(200)는 상기 단말(100)로부터 전송되는 MR 콘텐츠, 단말(100)의 식별 정보 등을 수신한다.
또한, 상기 서버(200)는 복수의 단말(100)로부터 각각 전송된 복수의 MR 콘텐츠를 저장(또는 관리)한다.
또한, 상기 서버(200)는 상기 서버(200)에 저장된 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식(또는 형태)으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 근거로 특정 디지털 사이니지(300)에서 출력될 콘텐츠에 대한 스케줄링을 수행한다.
즉, 상기 서버(200)는 복수의 MR 콘텐츠에 대해서 타임셀에 따라 날짜별 및/또는 시간대별로 출력할 콘텐츠에 대한 정보를 포함하는 재생 스케줄링 정보를 생성한다.
일 예로, 상기 서버(200)는 상기 제 1 단말로부터 전송되는 제 1 MR 콘텐츠를 수신한다.
또한, 상기 서버(200)는 상기 서버(200)의 관리자의 제어에 따라 제 1 디지털 사이니지(300)에서 2018년 1월 1일 0시 0분 0초 ~ 2018년 1월 7일 24시 0분 0초까지 일주일 동안의 제 1 재생 스케줄링 정보를 생성한다(S460).
이후, 상기 서버(200)는 상기 생성된 재생 스케줄 정보, 해당 재생 스케줄 정보에 따른 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함) 등을 해당 재생 스케줄 정보와 관련한 디지털 사이니지(300)에 전송한다. 이때, 상기 서버(200)는 상기 생성된 재생 스케줄 정보를 미리 상기 디지털 사이니지(300)에 전송한 후, 상기 재생 스케줄 정보에 따라 해당 디지털 사이니지(300)에서 출력할 복수의 MR 콘텐츠를 순차적으로 해당 디지털 사이니지(300)에 전송하여, 상기 디지털 사이니지(300)에서 큰 저장 용량을 구비하지 않더라도, 상기 서버(200)로부터 제공되는 복수의 MR 콘텐츠를 순차적으로 출력할 수 있다.
일 예로, 상기 서버(200)는 상기 생성된 제 1 재생 스케줄 정보(예를 들어 제 1 MR 콘텐츠, 제 11 MR 콘텐츠, 제 12 MR 콘텐츠 등에 대한 재생 스케줄 정보 포함)를 상기 제 1 재생 스케줄 정보와 관련한 상기 제 1 디지털 사이니지에 전송한다(S470).
이후, 상기 디지털 사이니지(300)는 상기 서버(200)로부터 전송되는 재생 스케줄 정보, 해당 재생 스케줄 정보에 따른 복수의 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함) 등을 수신한다.
또한, 상기 디지털 사이니지(300)는 상기 수신된 재생 스케줄 정보 및 현재 시각을 근거로 상기 서버(200)로부터 제공되는 MR 콘텐츠(또는 MR 콘텐츠와는 별도의 광고나 홍보를 위한 콘텐츠 등 포함/MR 콘텐츠에 포함된 영상 정보)를 출력한다. 이때, 상기 디지털 사이니지(300)는 상기 서버(200)로부터 실시간으로 전송되는 MR 콘텐츠를 출력하거나 또는, 상기 디지털 사이니지(300)의 저장 용량을 고려하여 상기 서버(200)로부터 전송되는 MR 콘텐츠를 임시 저장한 후 상기 임시 저장된 MR 콘텐츠를 출력할 수 있다.
또한, 상기 디지털 사이니지(300)는 상기 디지털 사이니지(300)에서 상기 MR 콘텐츠(또는 상기 MR 콘텐츠에 포함된 영상 정보)를 디스플레이(또는 표시)하는 중에, 상기 MR 콘텐츠에 포함된 마커의 속성 정보를 근거로 상기 MR 콘텐츠와 관련한 시각 정보뿐만 아니라 청각 정보, 촉각 정보, 후각 정보 등을 제공(또는 출력)한다.
즉, 상기 디지털 사이니지(300)는 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 미리 설정된 청각 정보가 있는 경우, 해당 청각 정보를 출력한다.
또한, 상기 디지털 사이니지(300)는 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 촉각 정보가 있는 경우, 상기 디지털 사이니지(300)에 포함된 햅틱부(370)를 통해 촉각 정보를 출력한다.
또한, 상기 디지털 사이니지(300)는 상기 재생 스케줄 정보에 따라 현재 시각에 대응하는 MR 콘텐츠를 표시하면서, 상기 표시 중인 해당 MR 콘텐츠와 관련하여 후각 정보가 있는 경우, 상기 디지털 사이니지(300)에 포함된 향기 발생부(380)를 통해 향기(또는 향)를 외부로 분사(또는 출력)한다.
이때, 상기 디지털 사이니지(300)로부터 미리 설정된 반경 내에 위치하는 적어도 하나의 다른 단말(400)이 존재하는 경우, 상기 디지털 사이니지(300)는 상기 적어도 하나의 다른 단말(400)과 무선 통신 방식으로 연결하여, 해당 적어도 하나의 다른 단말(400)에 상기 디지털 사이니지(300)에서 출력 중인 MR 콘텐츠(또는 MR 콘텐츠와는 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 전송한다. 또한, 상기 다른 단말(400)은 상기 디지털 사이니지(300)로부터 전송되는 상기 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 수신하고, 상기 수신된 MR 콘텐츠(또는 MR 콘텐츠와는 다른 형식으로 제작된 별도의 광고나 홍보를 위한 콘텐츠 등 포함)를 표시한다. 여기서, 상기 다른 단말(400)은 상기 MR 콘텐츠를 표시하면서, 상기 MR 콘텐츠와 관련한 청각 정보를 근거로 음성 정보를 출력하고, 상기 MR 콘텐츠와 관련한 촉각 정보를 근거로 상기 다른 단말(400)에 구비된 진동부(미도시)를 통해 상기 촉각 정보에 대응하는 진동을 출력할 수도 잇다.
일 예로, 상기 제 1 디지털 사이니지는 상기 서버(200)로부터 전송되는 제 1 재생 스케줄 정보 및 현재 시각을 근거로 상기 무선 진공 청소기와 관련한 상기 제 1 MR 콘텐츠를 표시하고, 상기 제 1 MR 콘텐츠와 관련한 음성 정보 및 상기 제 1 MR 콘텐츠와 관련해서 상기 무선 진공 청소기가 작동 중인 상태에서의 소음 정보를 출력하고, 상기 제 1 디지털 사이니지의 일측에 구비된 제 1 햅틱부(370)를 통해 해당 무선 진공 청소기의 동작 모드에 따른 진동의 크기 정보에 대응하는 진동을 출력하고, 상기 제 1 디지털 사이니지의 일측에 구비된 제 1 향기 발생부(380)를 통해 미리 설정된 시간 단위(예를 들어 1분)로 미리 설정된 양의 방향제를 분사한다.
이때, 상기 제 1 디지털 사이니지로부터 미리 설정된 반경(예를 들어 2미터) 이내에 제 2 단말 내지 제 4 단말이 위치할 때, 상기 제 1 디지털 사이니지는 블루투스, 지그비, 와이파이 등의 무선 통신 방식에 의해 상기 제 2 단말 내지 제 4 단말과 각각 통신 연결하고, 상기 제 1 디지털 사이니지에서 출력 중인 상기 제 1 MR 콘텐츠 등을 상기 제 2 단말 내지 제 4 단말에 각각 전송한다.
또한, 상기 제 2 단말 내지 제 4 단말 각각은 상기 제 1 디지털 사이니지로부터 전송되는 상기 제 1 디지털 사이니지에서 출력 중인 상기 제 1 MR 콘텐츠 등을 각각 수신하고, 상기 수신된 제 1 MR 콘텐츠를 출력한다. 이때, 상기 제 2 단말 내지 제 4 단말 각각은 해당 단말에 구비된 표시부, 음성 출력부, 진동부 등을 통해 해당 제 1 MR 콘텐츠 및 해당 제 1 MR 콘텐츠와 관련한 정보(예를 들어 청각 정보, 촉각 정보 등 포함)를 출력할 수 있다(S480).
이후, 상기 디지털 사이니지(300)는 상기 디지털 사이니지(300)에 인접한 특정 사용자의 음성 및/또는 동작을 인식한다.
또한, 상기 인식된 음성 및/또는 동작에 따라 상기 디지털 사이니지(300)에서 표시 중인 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 디지털 사이니지(300)는 해당 마커와 관련한 추가 기능을 제공한다.
즉, 상기 인식된 음성 및/또는 동작에 따라 상기 디지털 사이니지(300)에서 표시 중인 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 디지털 사이니지(300)는 상기 MR 콘텐츠를 제공받을 또 다른 단말(400)에 대한 사용자 정보를 입력받기 위한 화면(또는 사용자 인터페이스/UI)을 표시하고, 사용자 입력(또는 사용자 선택/터치)에 따른 상기 MR 콘텐츠를 제공받을 또 다른 단말(400)에 대한 사용자 정보를 수신한다. 여기서, 상기 또 다른 단말(400)에 대한 사용자 정보는 또 다른 단말(400)의 전화번호/식별정보, 이메일 주소, SNS 계정 정보 등을 포함한다.
또한, 상기 디지털 사이니지(300)는 상기 수신된 또 다른 단말(400)에 대한 사용자 정보를 근거로 해당 또 다른 단말(400)에 대한 사용자 정보에 대응하는 또 다른 단말(400)에 상기 디지털 사이니지(300)에서 표시 중인 상기 MR 콘텐츠 등을 제공(또는 전송)한다.
이때, 상기 또 다른 단말(400)은 상기 디지털 사이니지(300)로부터 제공되는 상기 MR 콘텐츠 등을 수신하고, 상기 수신된 MR 콘텐츠를 출력한다.
또한, 상기 또 다른 단말(40)은 상기 표시되는 MR 콘텐츠에 대해서 사용자 선택에 따라 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면(또는 바로 구매 기능)을 표시하는 기능, 임의의 특정 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다.
이와 같이, 상기 디지털 사이니지(300)와 상기 또 다른 단말(400) 간의 상호 인터랙션을 통해, 실시간으로 다양한 정보를 공유할 수 있다.
일 예로, 상기 제 1 디지털 사이니지는 상기 제 1 디지털 사이니지에 인접한 특정 사용자의 동작(또는 모션)을 인식하고, 상기 인식된 특정 사용자의 동작을 근거로 상기 제 1 디지털 사이니지에서 표시 중인 제 1 MR 콘텐츠 상의 일측에 표시된 제 1 마커가 선택될 때, 도 9에 도시된 바와 같이, 상기 제 1 디지털 사이니지에서 표시 중인 제 1 MR 콘텐츠를 제공받을 제 11 사용자 정보를 입력받기 위한 화면(900)을 표시한다. 여기서, 상기 제 1 디지털 사이니지는 복수의 디스플레이가 4×4 형태로 배열된 상태일 수 있다.
또한, 상기 제 1 디지털 사이니지는 상기 특정 사용자의 동작 및/또는 음성을 인식하고, 상기 인식된 동작 및/또는 음성을 근거로 상기 제 11 사용자 정보(예를 들어 상기 특정 사용자와 관련한 제 11 이메일 주소)를 수신한다(또는 입력받는다).
또한, 상기 제 1 디지털 사이니지는 상기 수신된(또는 입력된) 제 11 사용자 정보를 근거로 상기 제 1 디지털 사이니지에서 출력 중인 제 11 MR 콘텐츠를 상기 특정 사용자와 관련한 제 11 이메일 주소로 전송한다.
또한, 상기 특정 사용자는 상기 특정 사용자와 관련한 제 11 이메일 주소와 관련한 계정에 접속하여, 상기 제 1 디지털 사이니지로부터 전송된 제 11 MR 콘텐츠를 확인(또는 출력)할 수 있다(S490).
본 발명의 실시예는 앞서 설명된 바와 같이, 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공하여, 3D 객체와 관련하여 다양한 부가 정보를 제공하고, 상품의 가상 체험 및 시뮬레이션 기능을 제공하여 사용자의 만족도를 높이며, 사용자의 요구에 따른 MR 콘텐츠의 활용폭을 넓힐 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하고, 상기 제작된 MR 콘텐츠를 시각, 청각, 후각, 청각 등과 관련한 사이니지 장치를 통해 제공함으로써, 3D 객체와 관련하여 다양한 부가 정보를 제공하고, 상품의 가상 체험 및 시뮬레이션 기능을 제공하여 사용자의 만족도를 높이며, 사용자의 요구에 따른 MR 콘텐츠의 활용폭을 넓힐 수 있는 것으로, 가상 현실 분야, 증강 현실 분야, 혼합 현실(MR) 분야, 단말 분야, 파노라마 영상 분야, 쇼핑 정보 제공 분야, 마케팅 분야, 서버 분야, 멀티 모달리티 분야 등에서 광범위하게 이용될 수 있다.

Claims (10)

  1. 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법에 있어서,
    디지털 사이니지에 의해, 재생 스케줄 정보 및 현재 시각 정보를 근거로 서버로부터 제공되는 MR 콘텐츠를 출력하는 단계;
    상기 디지털 사이니지에 의해, 사용자의 동작을 인식하는 단계; 및
    상기 디지털 사이니지에 의해, 상기 인식된 사용자의 동작을 근거로 상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때, 상기 선택된 마커에 대응하는 기능을 수행하는 단계를 포함하며,
    상기 MR 콘텐츠는,
    단말에 의해, 전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 3D 객체를 생성하고, 마커 삽입 메뉴가 선택될 때 생성된 상기 3D 객체가 표시되는 화면 상에서 상기 3D 객체로부터 미리 설정된 간격만큼 이격하여 마커를 배치하되, 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정하는 과정을 포함하여 생성되는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법.
  2. 제 1 항에 있어서,
    상기 MR 콘텐츠는,
    상기 3D 객체, 상기 3D 객체의 속성 정보, 상기 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 3D 객체에 대응하는 상기 마커, 상기 마커의 위치 정보, 상기 마커의 속성 정보, 상기 마커와 관련한 바로 구매 정보 및 공유 정보 중 적어도 하나를 포함하며,
    상기 마커의 속성 정보는,
    상기 마커와 관련한 객체의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보, 상기 마커에 대응하는 3D 객체와 관련한 시각 정보, 청각 정보 및 후각 정보를 포함하며,
    상기 객체와 관련한 적어도 하나의 MR 콘텐츠는,
    상기 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠인 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법.
  3. 제 1 항에 있어서,
    상기 MR 콘텐츠는,
    단말에 의해, 전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 3D 객체를 생성하는 과정;
    상기 단말에 의해, 상기 생성된 3D 객체가 표시되고 있는 화면의 일측에 표시되는 마커 삽입 메뉴가 선택될 때, 상기 3D 객체가 표시되고 있는 화면에 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 과정;
    상기 단말에 배치된 마커가 선택될 때, 상기 단말에 의해, 상기 단말의 사용자 입력을 근거로 상기 선택된 마커에 대한 속성 정보를 설정하는 과정;
    상기 단말의 일측에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 단말에 의해, 상기 3D 객체와 상기 3D 객체에 인접하게 배치된 마커를 포함하는 MR 콘텐츠를 생성하는 과정; 및
    상기 단말에 의해, 상기 생성된 MR 콘텐츠를 서버에 등록하는 과정에 의해 관리되는 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 MR 콘텐츠를 출력하는 단계는,
    상기 MR 콘텐츠에 포함된 영상 정보를 표시하는 과정;
    상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 청각 정보를 근거로 상기 청각 정보에 대응하는 음성 정보나 소리 정보를 출력하는 과정;
    상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 촉각 정보를 근거로 상기 촉각 정보에 대응하는 출력을 제공하는 과정; 및
    상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 후각 정보를 근거로 상기 후각 정보에 대응하는 향기를 분사하는 과정 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법.
  6. 제 1 항에 있어서,
    상기 선택된 마커에 대응하는 기능을 수행하는 단계는,
    상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때, 사용자 정보를 입력받기 위한 화면을 표시하는 과정;
    상기 사용자의 동작을 추가로 인식하는 과정;
    상기 인식된 사용자의 추가 동작을 근거로 상기 사용자 정보를 입력받는 과정; 및
    상기 사용자 정보에 대응하는 단말, 이메일 주소 및 SNS 계정 중 어느 하나로 상기 출력 중인 MR 콘텐츠를 전송하는 과정을 포함하는 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법.
  7. 제 1 항에 있어서,
    상기 디지털 사이니지로부터 미리 설정된 반경 내에 위치하는 다른 단말이 존재할 때, 상기 디지털 사이니지에 의해, 상기 디지털 사이니지에서 출력 중인 MR 콘텐츠를 상기 다른 단말에 전송하는 단계; 및
    상기 다른 단말에 의해, 상기 디지털 사이니지로부터 전송되는 MR 콘텐츠를 출력하는 단계를 더 포함하는 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 방법.
  8. 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템에 있어서,
    복수의 MR 콘텐츠를 재생할 순서 정보를 포함하는 재생 스케줄 정보를 생성하고, 상기 생성된 재생 스케줄 정보 및 상기 복수의 MR 콘텐츠를 제공하는 서버; 및
    상기 재생 스케줄 정보 및 현재 시각 정보를 근거로 상기 서버로부터 제공되는 MR 콘텐츠를 출력하고, 사용자의 동작을 인식하고, 상기 인식된 사용자의 동작을 근거로 상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때 상기 선택된 마커에 대응하는 기능을 수행하는 디지털 사이니지를 포함하며;
    상기 서버로부터 제공되는 MR 콘텐츠는 3D 객체와 상기 3D 객체와 미리 설정된 간격만큼 이격하여 배치된 마커를 포함하고, 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정되는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템.
  9. 제 8 항에 있어서,
    상기 디지털 사이니지는,
    상기 MR 콘텐츠에 포함된 영상 정보를 표시하는 표시부;
    상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 청각 정보를 근거로 상기 청각 정보에 대응하는 음성 정보나 소리 정보를 출력하는 음성 출력부;
    상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 촉각 정보를 근거로 상기 촉각 정보에 대응하는 출력을 제공하는 햅틱부; 및
    상기 MR 콘텐츠에 포함된 마커의 속성 정보에 포함되는 후각 정보를 근거로 상기 후각 정보에 대응하는 향기를 분사하는 향기 발생부 중 적어도 하나를 포함하는 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템.
  10. 제 8 항에 있어서,
    상기 디지털 사이니지는,
    상기 출력 중인 MR 콘텐츠에 포함된 마커가 선택될 때, 사용자 정보를 입력받기 위한 화면을 표시하고, 상기 사용자의 동작을 추가로 인식하고, 상기 인식된 사용자의 추가 동작을 근거로 상기 사용자 정보를 입력받고, 상기 사용자 정보에 대응하는 단말, 이메일 주소 및 SNS 계정 중 어느 하나로 상기 출력 중인 MR 콘텐츠를 전송하는 것을 특징으로 하는 3D 객체와 마커를 포함한 MR 콘텐츠를 제공하는 사이니지 시스템.
KR1020180014530A 2018-02-06 2018-02-06 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법 KR102043274B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180014530A KR102043274B1 (ko) 2018-02-06 2018-02-06 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180014530A KR102043274B1 (ko) 2018-02-06 2018-02-06 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190094874A KR20190094874A (ko) 2019-08-14
KR102043274B1 true KR102043274B1 (ko) 2019-11-11

Family

ID=67621996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180014530A KR102043274B1 (ko) 2018-02-06 2018-02-06 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102043274B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220076815A (ko) 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102549002B1 (ko) * 2021-07-21 2023-06-27 주식회사 노크 디지털 사이니지에서 제공되는 콘텐츠에 관한 증강 현실 인터페이스를 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102567857B1 (ko) * 2021-02-08 2023-08-17 메리디안글로벌 주식회사 확장현실 플랫폼 서비스 제공 시스템
WO2024090970A1 (ko) * 2022-10-28 2024-05-02 삼성전자 주식회사 메타버스에서 외부 장치를 사용하는 전자 장치 및 이의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815158B1 (ko) * 2016-11-10 2018-01-05 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법
KR101809673B1 (ko) * 2016-07-04 2018-01-18 주식회사 팝스라인 단말 및 그의 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101559313B1 (ko) * 2013-11-20 2015-10-13 (주)아바비젼 디지털 사이니지를 이용한 맞춤형 광고서비스 제공시스템
KR101619886B1 (ko) 2014-03-31 2016-05-23 숭실대학교산학협력단 디지털 사이니지 시스템 및 모바일 연동 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101809673B1 (ko) * 2016-07-04 2018-01-18 주식회사 팝스라인 단말 및 그의 제어 방법
KR101815158B1 (ko) * 2016-11-10 2018-01-05 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220076815A (ko) 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법

Also Published As

Publication number Publication date
KR20190094874A (ko) 2019-08-14

Similar Documents

Publication Publication Date Title
US11494991B2 (en) Systems, methods and apparatuses of digital assistants in an augmented reality environment and local determination of virtual object placement and apparatuses of single or multi-directional lens as portals between a physical world and a digital world component of the augmented reality environment
Benyon Designing user experience
KR102043274B1 (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
Davies et al. Pervasive displays: understanding the future of digital signage
US20180095734A1 (en) System and method for creating a universally compatible application development system
WO2019028479A1 (en) SYSTEMS, METHODS AND APPARATUSES FOR DEPLOYING AND TARGETING VIRTUAL OBJECTS SENSITIVE TO CONTEXT AND MODELING BEHAVIOR OF VIRTUAL OBJECTS BASED ON PHYSICAL PRINCIPLES
CN110908504B (zh) 一种增强现实博物馆协作交互方法与系统
CN108984087A (zh) 基于三维虚拟形象的社交互动方法及装置
García-Crespo et al. CESARSC: Framework for creating cultural entertainment systems with augmented reality in smart cities
CN110300951A (zh) 媒体项附接系统
CN104504576A (zh) 服装三维展示交互的实现方法及平台
CN115552472A (zh) 用于为社交世界提供关系地形的系统和方法
CN108734536A (zh) 房地产楼盘信息三维展示系统及方法
Alce et al. WozARd: a wizard of Oz method for wearable augmented reality interaction—a pilot study
Shinde et al. Internet of things integrated augmented reality
De Kare-Silver e-shock 2020: how the digital technology revolution is changing business and all our lives
KR102507260B1 (ko) 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법
WO2023241154A1 (zh) 基于信息流广告的互动方法、装置、设备及介质
Spacca et al. Promoting industrial cultural heritage by augmented reality: Application and assessment
KR20190094875A (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
Adnan et al. SCAN-ME: The Development of Augmented Reality Application Prototype using Information, Interface and Interaction Aspect
Lo et al. Interactive virtual reality touring system: a case study of Shulin Ji’an Temple in Taiwan
KR102020352B1 (ko) 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
Ariffin et al. Enhancing tourism experiences via mobile augmented reality by superimposing virtual information on artefacts
KR20200008359A (ko) Mr 콘텐츠 제공 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant