KR102020352B1 - 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법 - Google Patents

3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR102020352B1
KR102020352B1 KR1020180017512A KR20180017512A KR102020352B1 KR 102020352 B1 KR102020352 B1 KR 102020352B1 KR 1020180017512 A KR1020180017512 A KR 1020180017512A KR 20180017512 A KR20180017512 A KR 20180017512A KR 102020352 B1 KR102020352 B1 KR 102020352B1
Authority
KR
South Korea
Prior art keywords
marker
content
displayed
information
display unit
Prior art date
Application number
KR1020180017512A
Other languages
English (en)
Other versions
KR20190088843A (ko
Inventor
김영덕
Original Assignee
주식회사 팝스라인
김영덕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팝스라인, 김영덕 filed Critical 주식회사 팝스라인
Publication of KR20190088843A publication Critical patent/KR20190088843A/ko
Application granted granted Critical
Publication of KR102020352B1 publication Critical patent/KR102020352B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법을 개시한다. 즉, 본 발명은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작함으로써, 3D 객체와 관련하여 다양한 부가 정보를 제공할 수 있다.

Description

3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법{Apparatus for providing mixed reality content using three-dimension object and marker and method thereof}
본 발명은 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법에 관한 것으로, 특히 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법에 관한 것이다.
웹상에서 구현되는 가상현실에 사용되는 기술은 VRML(가상현실모델링(3D)), VRML97, 자바를 기반으로 한 Java3D, Cult3D, 마이크로소프트사의 MetaStream, 애플사의 QuickTimeVR 등이 있다.
이러한 기술들은 자사만의 포맷을 사용하고 있어 많은 개발자나 일반인들이 쉽게 접근할 수 없어 광범위한 기술 개발이 어렵고, 활용성에 제한이 있다.
한국등록특허 제10-0860673호 [명칭: 3차원 이미지 생성을 위한 이미지 생성 장치 및 방법]
본 발명의 목적은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 3D 객체와 마커를 이용하여 생성된 MR 콘텐츠가 표시되고 있는 상태에서 3D 객체에 인접한 마커가 선택되는 경우, 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행하거나 다른 단말과의 공유 기능을 제공하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 단말에 구비된 카메라를 통해 일정 시간 이상 특정 객체를 포함하는 영상을 획득하는 상태에서, 영상 내 포함된 특정 객체와 관련하여 미리 저장된 3D 객체가 존재하는 경우, 해당 영상 내의 특정 객체에 인접하게 해당 특정 객체와 관련한 마커를 표시하고, 해당 마커가 선택되는 경우 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법은 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법에 있어서, 전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 3D 객체를 생성하는 단계; 상기 생성된 3D 객체가 표시되고 있는 화면의 일측에 표시되는 마커 삽입 메뉴가 선택될 때, 제어부에 의해, 상기 3D 객체가 표시되고 있는 표시부에 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 단계; 상기 표시부에 배치된 마커가 선택될 때, 상기 제어부에 의해, 사용자 입력을 근거로 상기 선택된 마커에 대한 속성 정보를 설정하는 단계; 및 상기 표시부의 일측에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 제어부에 의해, 상기 3D 객체와 상기 3D 객체에 인접하게 배치된 마커를 포함하는 MR 콘텐츠를 생성하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 단계는, 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정할 수 있다.
본 발명과 관련된 일 예로서 상기 마커에 대한 속성 정보는, 상기 마커와 관련한 객체의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보 및 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보를 포함하며, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는, 상기 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠일 수 있다.
본 발명과 관련된 일 예로서 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는, 기계 학습을 통해, 사용자와 관련한 선호도, 구매 이력 정보, 상기 객체와 관련하여 가장 많이 검색한 상품과 관련한 정보, 상기 객체와 관련하여 가장 많이 판매된 상품과 관련한 정보 및 프로모션 정보 중 적어도 하나를 근거로 저장부 및 서버에 미리 저장된 복수의 MR 콘텐츠 중에서 선택된 사용자에게 최적화된 맞춤형 MR 콘텐츠일 수 있다.
본 발명과 관련된 일 예로서 상기 MR 콘텐츠는, 상기 3D 객체, 상기 3D 객체의 속성 정보, 상기 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 3D 객체에 대응하는 상기 마커, 상기 마커의 위치 정보, 상기 마커의 속성 정보, 상기 마커와 관련한 바로 구매 정보 및 공유 정보 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 저장부에 저장된 복수의 MR 콘텐츠를 상기 표시부에 표시하는 단계; 상기 표시부에 표시되는 복수의 MR 콘텐츠 중에서 제 1 MR 콘텐츠가 선택될 때, 상기 제어부에 의해, 상기 선택된 제 1 MR 콘텐츠를 상기 표시부에 표시하는 단계; 상기 표시부에 표시된 제 1 MR 콘텐츠의 일측에 표시되는 제 1 마커가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 추가 MR 콘텐츠를 상기 표시부에 표시하는 단계; 상기 표시부에 표시된 제 1 MR 콘텐츠의 다른 일측에 표시되는 제 1 마커와 관련한 바로 구매 메뉴가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 제 1 3D 객체에 대응하는 상품의 구매 기능을 위한 화면을 상기 표시부에 표시하는 단계; 및 상기 표시부에 표시된 제 1 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택될 때, 상기 제어부에 의해, 사용자 선택에 따른 다른 단말로 상기 제 1 MR 콘텐츠를 전송하도록 통신부를 제어하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제 1 마커와 관련한 추가 MR 콘텐츠를 상기 표시부에 표시하는 단계는, 상기 추가 MR 콘텐츠가 표시되는 표시부의 일측에 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 표시하며, 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보는, 서버에서 실시간으로 수집한 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 정보이며, 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량 및 프로모션 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법은 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법에 있어서, 카메라부를 통해 미리 설정된 시간 이상으로 하나 이상의 객체에 대한 초점이 맞춰질 때, 제어부에 의해, 상기 카메라부를 통해 초점이 맞춰진 하나 이상의 객체를 포함하는 영상을 획득하는 단계; 상기 제어부에 의해, 상기 획득된 영상에 포함된 하나 이상의 객체를 각각 인식하는 단계; 저장부에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재할 때, 상기 제어부에 의해, 상기 영상 내의 객체로부터 미리 설정된 간격만큼 이격되어 상기 객체와 관련한 임시 마커를 표시하도록 표시부를 제어하는 단계; 및 상기 표시부에 표시되고 있는 상기 인식된 객체와 관련한 임시 마커가 선택될 때, 상기 제어부에 의해, 상기 선택된 임시 마커와 관련한 MR 콘텐츠를 표시하도록 상기 표시부를 제어하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 표시부에 표시된 MR 콘텐츠의 일측에 표시되는 제 1 마커가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 추가 MR 콘텐츠를 상기 표시부에 표시하는 단계; 상기 표시부에 표시된 MR 콘텐츠의 다른 일측에 표시되는 제 1 마커와 관련한 바로 구매 메뉴가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 제 1 3D 객체에 대응하는 상품의 구매 기능을 위한 화면을 상기 표시부에 표시하는 단계; 및 상기 표시부에 표시된 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택될 때, 상기 제어부에 의해, 사용자 선택에 따른 다른 단말로 상기 MR 콘텐츠를 전송하도록 통신부를 제어하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치에 있어서, 전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 생성된 3D 객체를 표시하는 표시부; 및 상기 생성된 3D 객체가 표시되고 있는 화면의 일측에 표시되는 마커 삽입 메뉴가 선택될 때, 상기 3D 객체가 표시되고 있는 상기 표시부에 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하며, 상기 표시부에 배치된 마커가 선택될 때, 사용자 입력을 근거로 상기 선택된 마커에 대한 속성 정보를 설정하며, 상기 표시부의 일측에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 3D 객체와 상기 3D 객체에 인접하게 배치된 마커를 포함하는 MR 콘텐츠를 생성하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 저장부에 저장된 복수의 MR 콘텐츠를 상기 표시부에 표시하고, 상기 표시부에 표시되는 복수의 MR 콘텐츠 중에서 제 1 MR 콘텐츠가 선택될 때, 상기 선택된 제 1 MR 콘텐츠를 상기 표시부에 표시하고, 상기 표시부에 표시된 제 1 MR 콘텐츠의 일측에 표시되는 제 1 마커가 선택될 때, 상기 제 1 마커와 관련한 추가 MR 콘텐츠 및 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 상기 표시부에 표시할 수 있다.
본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치에 있어서, 하나 이상의 객체를 포함하는 영상을 획득하는 카메라부; 상기 카메라부에 의해 획득된 영상을 표시하는 표시부; 및 상기 카메라부를 통해 미리 설정된 시간 이상으로 하나 이상의 객체에 대한 초점이 맞춰질 때, 상기 카메라부를 통해 초점이 맞춰진 하나 이상의 객체를 포함하는 영상을 획득하고, 상기 획득된 영상에 포함된 하나 이상의 객체를 각각 인식하고, 저장부에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재할 때, 상기 영상 내의 객체로부터 미리 설정된 간격만큼 이격되어 상기 객체와 관련한 임시 마커를 표시하도록 상기 표시부를 제어하고, 상기 표시부에 표시되고 있는 상기 인식된 객체와 관련한 임시 마커가 선택될 때, 상기 선택된 임시 마커와 관련한 MR 콘텐츠를 표시하도록 상기 표시부를 제어하는 제어부를 포함할 수 있다.
본 발명은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작함으로써, 3D 객체와 관련하여 다양한 부가 정보를 제공하고, 상품의 가상 체험 및 시뮬레이션 기능을 제공하여 사용자의 만족도를 높일 수 있는 효과가 있다.
또한, 본 발명은 3D 객체와 마커를 이용하여 생성된 MR 콘텐츠가 표시되고 있는 상태에서 3D 객체에 인접한 마커가 선택되는 경우, 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행하거나 다른 단말과의 공유 기능을 제공함으로써, 사용자의 흥미를 유발하고 편의성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 단말에 구비된 카메라를 통해 일정 시간 이상 특정 객체를 포함하는 영상을 획득하는 상태에서, 영상 내 포함된 특정 객체와 관련하여 미리 저장된 3D 객체가 존재하는 경우, 해당 영상 내의 특정 객체에 인접하게 해당 특정 객체와 관련한 마커를 표시하고, 해당 마커가 선택되는 경우 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행함으로써, 사용자의 요구에 따른 MR 콘텐츠의 활용폭을 넓히며 사용자의 만족도를 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치가 적용된 MR 콘텐츠 제공 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 제 1 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법을 나타낸 흐름도이다.
도 4 내지 도 11은 본 발명의 실시예에 따른 화면을 나타낸 도이다.
도 12는 본 발명의 제 2 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법을 나타낸 흐름도이다.
도 13 내지 도 15는 본 발명의 실시예에 따른 화면을 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치(100)가 적용된 MR 콘텐츠 제공 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, MR 콘텐츠 제공 시스템(10)은 MR 콘텐츠 제공 장치(100) 및 다른 단말(200)로 구성된다. 도 1에 도시된 MR 콘텐츠 제공 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 MR 콘텐츠 제공 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 MR 콘텐츠 제공 시스템(10)이 구현될 수도 있다.
상기 MR 콘텐츠 제공 장치(100) 및 상기 다른 단말(200)은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기에 적용될 수 있다.
도 2는 본 발명의 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치(100)의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치(100)는 통신부(110), 저장부(120), 카메라부(130), 표시부(140), 음성 출력부(150) 및 제어부(160)로 구성된다. 도 2에 도시된 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치(100)가 구현될 수도 있다.
상기 통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 다른 단말(200) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(110)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(110)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 다른 단말(200) 등과 무선 신호를 송수신한다.
또한, 상기 통신부(110)는 상기 제어부(160)의 제어에 의해 상기 다른 단말(200)로부터 제공되는 하나 이상의 영상(또는 영상 정보)을 수신한다. 여기서, 상기 영상은 이미지, 동영상 등을 포함한다. 또한, 상기 영상은 상기 이미지/동영상 외에, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등을 포함한다.
상기 저장부(120)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(120)는 상기 MR 콘텐츠 제공 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(120)는 상기 MR 콘텐츠 제공 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), MR 콘텐츠 제공 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 MR 콘텐츠 제공 장치(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 MR 콘텐츠 제공 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(120)에 저장되고, MR 콘텐츠 제공 장치(100)에 설치되어, 제어부(160)에 의하여 상기 MR 콘텐츠 제공 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(120)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, MR 콘텐츠 제공 장치(100)는 인터넷(internet)상에서 저장부(120)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(120)는 상기 통신부(110)를 통해 수신된 하나 이상의 영상 정보를 저장한다.
또한, 상기 저장부(120)는 상기 제어부(160)의 제어에 의해 상기 서버로부터 제공되는 상기 영상 정보를 표시(또는 출력)하거나 상기 영상 정보를 편집하여 MR 콘텐츠(Mixed Reality Contents)(또는 MR 영상)를 생성하기 위한 특정 앱(또는 애플리케이션)을 저장(또는 설치)한다.
또한, 상기 저장부(120)는 상기 제어부(160)의 제어에 의해 상기 서버로부터 제공되는 3D 객체를 생성(또는 저작/제작)하기 위한 다른 특정 앱(또는 애플리케이션)을 저장(또는 설치)한다.
상기 카메라부(130)는 영상 통화 모드, 촬영 모드, 영상 회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 상기 처리된 화상 프레임은 상기 제어부(160)의 제어에 의해 상기 표시부(140)에 표시될 수 있다. 일 예로, 상기 카메라는 객체(또는 피사체)(예를 들어 상품, 사용자 등 포함)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
또한, 상기 카메라부(130)에서 처리된 화상 프레임은 상기 저장부(120)에 저장되거나 상기 통신부(110)를 통해 상기 서버나 상기 다른 단말(200)로 전송될 수 있다.
또한, 상기 카메라부(130)는 360도 카메라(미도시)를 통해 획득된(또는 촬영된) 파노라마 영상(또는 파노라마 영상 정보)을 상기 제어부(160)에 제공할 수도 있다. 이때, 상기 360도 카메라는 2차원 또는 3차원 형태의 파노라마 영상을 촬영할 수 있다.
상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 저장부(120)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(140)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(140)는 터치 스크린 일 수 있다.
또한, 상기 표시부(140)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 카메라부(130)를 통해 획득되는 영상(또는 영상 정보)을 표시한다.
상기 음성 출력부(150)는 상기 제어부(160)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(150)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)의 제어에 의해 상기 카메라부(130)를 통해 영상 정보를 획득할 때 마이크(미도시)를 통해 획득된 음성 정보를 출력한다.
상기 제어부(160)는 상기 MR 콘텐츠 제공 장치(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(160)는 상기 저장부(120)에 저장된 프로그램 및 데이터를 이용하여 MR 콘텐츠 제공 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(120)에 액세스하여, 상기 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(120)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(160)는 상기 MR 콘텐츠 제공 장치(또는 제 1 단말)(100)에 미리 설치된 전용 툴(또는 전용 프로그램) 또는 상기 카메라부(130)를 통해 촬영된 객체를 포함하는 영상 정보를 이용해서 3D 객체(또는 해당 3D 객체와 관련한 3D 객체 데이터)를 생성(또는 제작/모델링)한다.
즉, 상기 제어부(160)는 상기 MR 콘텐츠 제공 장치(100)에 미리 설치된 전용 툴(또는 전용 프로그램)을 이용해서 특정 객체와 관련한 3D 객체를 생성(또는 제작/모델링)한다. 여기서, 상기 전용 툴(또는 전용 프로그램)은 사용자의 조작(또는 사용자의 제어)에 의해 임의의 특정 객체와 관련한 3D 객체를 생성할 수 있는 공지의 툴(또는 프로그램/애플리케이션) 중 어느 하나일 수 있다.
또한, 상기 제어부(160)는 상기 카메라부(130)를 통해 촬영된(또는 획득된) 임의의 객체를 포함하는 영상(또는 영상 정보) 내의 객체를 인식하고, 상기 MR 콘텐츠 제공 장치(100)에 미리 설치된 3D 객체 생성 프로그램(미도시)을 통해 상기 인식된 객체를 이용해서 3D 객체를 생성(또는 제작/모델링)한다. 이때, 상기 영상은 상기 MR 콘텐츠 제공 장치(100)와 통신하는 상기 다른 단말(200)로부터 제공될 수도 있다. 여기서, 상기 3D 객체 생성 프로그램은 사용자의 조작(또는 사용자의 제어)에 의해 임의의 영상 내에 포함된 객체를 3D 객체로 생성(또는 변환/제작)할 수 있는 공지의 프로그램(또는 툴/애플리케이션) 중 어느 하나일 수 있다.
이때, 상기 생성된(또는 제작된/모델링된) 3D 객체(또는 3D 객체 데이터)는 해당 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등을 포함하도록 생성되어, 해당 3D 객체와 관련한 상품 검색 시 상품 간 상호연계성 분석을 통해 상품 검색(또는 상품 추천)의 정확도를 높일 수 있도록 구성할 수 있다. 여기서, 상기 시각 정보는 해당 3D 객체의 형상 정보, 색상 정보, 재질 정보, 패턴 정보, 디자인 정보 등을 포함하도록 생성되어, 해당 3D 객체와 관련한 정보 제공 시 사용자에게 정확하고 다양한 정보를 제공할 수 있다. 또한, 상기 청각 정보는 해당 3D 객체와 관련한 소리 정보 등을 포함한다. 또한, 상기 촉각 정보는 해당 3D 객체와 관련한 근감각(kinesthesia)에 대한 정보(예를 들어 해당 3D 객체와 관련한 질량, 굳고 말랑말랑한 정도, 반력 등에 대한 정보 포함), 해당 3D 객체와 관련한 질감(tactility)에 대한 정보(예를 들어 해당 3D 객체와 관련한 표면의 무늬, 작은 모양들, 표면의 부드럽고 거친 정도, 냉온감 등에 대한 정보 포함) 등을 포함한다. 또한, 상기 후각 정보는 해당 3D 객체와 관련한 향기(또는 향) 정보 등을 포함한다.
본 발명의 실시예에서는 3D 객체 위주로 설명하고 있으나, 이에 한정되는 것은 아니며, 2D 객체도 포함할 수 있다.
또한, 상기 3D 객체 또는 2D 객체는 이미지(또는 정지 영상)뿐만 아니라, 상기 3D 객체/2D 객체가 적용된 동영상, 360VR 영상, 파노라마 영상 등도 포함할 수 있다.
또한, 상기 제어부(160)는 상기 생성된(또는 제작된/모델링된) 3D 객체를 상기 통신부(110)를 통해 상기 서버에 제공하여, 상기 서버에 구비된 데이터베이스(미도시)를 통해 통합 관리되도록 구성할 수도 있다.
또한, 상기 제어부(160)는 상기 생성된 3D 객체를 가상 스토어, 재고 관리, 모조품 단속 등의 유통 산업뿐만 아니라 가상 현실(또는 증강 현실/혼합 현실)에서 활용할 수도 있다.
또한, 상기 생성된(또는 제작된) 3D 객체와 관련한 마커를 삽입하기 위해서 상기 영상이 표시되고 있는 표시부(140)의 일측에 표시되는 미리 설정된 마커 삽입 버튼(또는 메뉴/항목)(또는 상기 MR 콘텐츠 제공 장치(100)의 일측에 구비된 마커 삽입 버튼)이 선택되는 경우, 상기 제어부(160)는 상기 생성된 3D 객체에 인접하게 마커(또는 객체 마커)를 배치한다. 이에 따라, 상기 표시부(140)는 해당 객체를 포함하는 영상의 일측에 상기 객체로부터 일정 거리만큼 이격된 상태로 상기 마커를 표시한다.
또한, 드래그 앤 드롭(drag & drop) 기능을 사용하여 상기 표시부(140)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼이 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 표시부(140)의 화면에 표시 중인 3D 객체 위로 드랍될 때(또는 상기 3D 객체로부터 미리 설정된 반경 내의 영역/위치로 드랍될 때), 상기 제어부(160)는 상기 3D 객체로부터 미리 설정된 거리만큼 이격된 임의의 위치(또는 특정 위치)에 상기 마커를 배치할 수도 있다.
이때, 상기 제어부(160)는 해당 3D 객체에 대해서 일정 간격만큼 이격되어 상기 마커를 배치하며, 해당 3D 객체가 3차원으로 회전하거나 또는 축소/확대되더라도 마커가 해당 3D 객체에 일정 간격을 유지하도록 설정(또는 배치/설계)한다.
즉, 상기 제어부(160)는 상기 3D 객체가 동작하는 레이어(layer)와 상기 마커가 동작(또는 표시)하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대, 이동 등에 대해서도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격된 상태를 유지하도록 설정할 수 있다.
또한, 상기 제어부(160)는 해당 3D 객체 상에 오버랩되도록 상기 마커를 배치할 수도 있다.
즉, 상기 제어부(160)는 상기 표시부(140)에 3D 객체가 표시되고 있는 화면상에서 상위 레이어를 추가 형성하고, 상기 추가 형성된 상위 레이어에 상기 마커를 배치할 수도 있다.
본 발명의 실시예에서는 상기 마커와 상기 3D 객체가 독립적으로 제어되도록 구성하기 위해서, 상기 3D 객체와 상기 마커가 서로 다른 레이어에 형성되는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 영상 내에서 상기 마커와 상기 3D 객체가 독립적으로 동작(또는 제어)할 수 있는 다양한 기술이 적용될 수도 있다.
본 발명의 실시예에서 설명하는 상기 마커 및/또는 상기 객체가 포함되는 영상은 2D 또는 3D 이미지, 정지 영상, 동영상, 360VR 영상, 파노라마 영상, 항공사진(또는 항공영상), 위성사진(또는 위성영상), 스카이뷰, 로드뷰 등을 포함한다. 여기서, 상기 항공사진(또는 항공영상)은 항공기, 드론 등을 통해 지상으로부터 일정 고도에서 촬영한 정지 영상 또는 동영상 등을 포함한다. 또한, 상기 위성사진(또는 위성영상) 또는 상기 스카이뷰는 인공위성 등을 통해 지상으로부터 일정 고도에서 촬영한 정지 영상 또는 동영상 등을 포함한다. 또한, 상기 로드뷰는 차량, 오토바이(autobicycle), 기타 이동 수단 등에 카메라(예를 들어 360도 촬영이 가능한 카메라 등 포함)를 장착하고, 상기 차량 등의 이동에 따라 상기 차량 등의 주변을 촬영한 정지 영상 또는 동영상 등을 포함한다.
또한, 상기 항공사진(또는 항공영상), 위성사진(또는 위성영상), 스카이뷰, 로드뷰 등은 촬영 시점의 GPS를 통한 위치 정보를 촬영 영상과 함께 저장하여, 촬영된 영상 내에 포함된 임의의 객체(예를 들어 건물, 건물 내 위치한 하나 이상의 업체 등 포함)를 정확하고 용이하게 확인하고, 상기 확인된 객체와 관련한 마커를 추가할 수도 있다.
이와 같이, 상기 3D 객체와 상기 마커가 서로 다른 레이어에 형성되어, 상기 마커가 상기 3D 객체와 독립적으로 제어되도록 구성하여, 상기 3D 객체의 이동, 확대, 축소 등에 대해서도 상기 마커는 상기 3D 객체로부터 일정 간격만큼 이격되거나 상기 3D 객체 상에 위치하도록 구성할 수 있다.
또한, 상기 3D 객체를 이용하여 동영상(또는 360VR 영상/파노라마 영상)을 구성한 경우, 상기 마커는 상기 동영상 내에서 상기 3D 객체가 표시되고 있는 동안에는 상기 3D 객체(또는 2D 객체)에 인접한 위치나 상기 3D 객체에 오버랩되어 표시되며, 상기 동영상 내에서 상기 3D 객체가 사라지는 경우 상기 마커도 사라지도록 구성할 수 있다. 또한, 상기 동영상 내에서 새로운 3D 객체(또는 새로운 2D 객체)가 등장하는 경우, 해당 새로운 3D 객체에 대응하여 새로운 마커가 표시되도록 구성할 수 있다.
또한, 상기 3D 객체에 인접하거나 또는 오버랩되어 표시 중인 상기 마커가 선택되는 경우, 상기 제어부(160)는 상기 마커에 대해서 설정된 설정 정보에 따라 추가적인 화면을 상기 표시부(140)에 표시할 수 있다.
예를 들어, 상기 3D 객체에 인접하거나 또는 오버랩되어 표시 중인 상기 마커가 선택되는 경우, 상기 마커와 관련한(또는 상기 마커에 대응하는 상기 3D 객체와 관련한) 상세 정보를 보기 위한 화면, 결제 기능을 위한 화면, 공유 기능을 위한 화면, 상기 마커와 관련한 해당 3D 객체(또는 2D 객체)의 확대된 화면 또는 해당 3D 객체(또는 2D 객체)와 관련한 다른 이미지/화면/영상, 챗봇 기능 수행을 위한 화면 등이 화면상에서 팝업 형태로 표시되거나 또는 전체 화면에 표시되도록 구성할 수 있다.
여기서, 챗봇(chatterbot, 대화 로봇)은 사람과 기계 사이에 대화를 하기 위해 만든 프로그램 혹은 로봇으로, 상기 챗봇 기능은 해당 화면을 보고 있는 사용자와 상기 서버(200) 또는 상기 디지털 사이니지(300)에서 제공하는 로봇이 대화로 정보를 주고받을 수 있는 대화형 사용자 인터페이스 시스템을 제공하는 것으로 인공 지능(artificial intelligence: AI) 기능을 포함하며, 상기 선택된 마커에 대응하는 객체와 관련된 사용자(또는 고객)의 질문에 AI 기능 적용에 따라 자동으로 응답해주는 기능(예를 들어 가격 흥정, 재고 문의, 배송 문의, 성능 문의, 사용방법 문의 등 포함) 등을 포함한다.
또한, 본 발명의 실시예에서는 상기 마커가 고정된 형태로 구성되는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 마커는 2D 또는 3D 형태로 구성될 수 있으며, 해당 3D 객체의 축소 형태이거나 또는 설계자에 의해 임의로 설계된(또는 디자인된) 형태일 수도 있고, 애니메이션 효과(예를 들어 회전, 깜빡임, 튕김 기능 등 포함)가 적용될 수도 있다.
예를 들어, 냉장고 매장이 3D 형태로 구성된 상태에서, 해당 냉장고 매장에 구성된 복수의 냉장고에 대해서 각 냉장고를 축소한 형태의 3D 마커가 상기 복수의 냉장고 각각에 인접하거나 해당 냉장고에 오버랩되어 표시될 수 있으며, 해당 3D 마커에 대해서 애니메이션 기능(예를 들어 오른쪽에서 왼쪽으로 축소된 냉장고 이미지가 회전하는 기능)이 적용된 상태일 수 있다.
이와 같이, 상기 마커에 대해서 애니메이션 효과가 적용됨에 따라, 상기 3D 객체(또는 2D 객체)와 함께 표시되고 있는 마커가 사용자의 눈에 잘 띄어, 해당 마커를 선택하는 경우가 더 늘어나게 되며, 상기 마커의 선택에 따라 부가 기능(또는 부가 정보)을 제공할 수 있다.
또한, 상기 마커는 아래 설명되는 임시 마커와의 구분을 위해서 상기 마커의 테두리를 실선 처리하고, 상기 임시 마커는 점선 처리하여 표시할 수 있다. 여기서, 상기 마커는 MR 콘텐츠에 포함되며, 상기 MR 콘텐츠에 포함된 객체와 연동하는(또는 매칭하는) 적어도 하나의 다른 MR 콘텐츠에 대한 정보를 포함한다. 또한, 상기 임시 마커는 상기 MR 콘텐츠 제공 장치(100) 및/또는 상기 서버에 상기 카메라부(130)를 통해 획득된 영상에 포함된 객체와 관련한 MR 콘텐츠가 존재함을 나타내기 위한 표시(또는 정보)일 수 있다.
또한, 상기 표시부(140)에 표시되는 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 제어부(160)는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 마커에 대한 속성 정보를 설정한다. 여기서, 상기 마커에 대한 속성 정보(또는 마커의 속성 정보)는 해당 마커와 관련한 객체의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보, 해당 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보(또는 해당 객체와 관련한 적어도 하나의 MR 콘텐츠가 저장된 주소 정보/링크 주소) 등을 포함한다. 이때, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는 해당 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠일 수 있다.
또한, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보를 설정할 때, 상기 제어부(160)는 상기 서버와의 연동에 의해, 기계 학습을 통해 상기 MR 콘텐츠 제공 장치(100)의 사용자와 관련하여 실시간으로 확인되는 사용자 정보(예를 들어 선호도, 구매 이력 정보, 해당 객체와 관련하여 사용자가 가장 많이 검색한 상품과 관련한 정보, 해당 객체와 관련하여 가장 많이 판매된 상품과 관련한 정보, 프로모션 정보, 해당 객체 및/또는 사용자와 관련한 빅 데이터 등 포함)를 근거로 상기 저장부(120) 및/또는 상기 서버에 미리 저장된 복수의 MR 콘텐츠 중에서 해당 객체와 관련한 적어도 하나의 MR 콘텐츠를 선택(또는 설정)할 수 있다.
이와 같이, 상기 제어부(160)는 해당 사용자에게 최적화된 맞춤형 MR 콘텐츠를 제공할 수 있도록 상기 사용자 정보를 누적하고, 상기 누적된 사용자 정보에 대한 기계 학습(Machine Learning)을 통해 해당 사용자와 관련한 정보를 반영하여 적응 전환형태의 상기 선택된 마커에 대한 속성 정보를 설정할 수도 있다.
또한, 상기 표시부(140)의 일측에 표시되는 미리 설정된 미리보기 메뉴(또는 버튼/항목)가 선택되는 경우, 상기 제어부(160)는 MR 콘텐츠 저작의 결과 영상을 미리보기 화면으로 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 새로운 화면으로 상기 MR 콘텐츠 저작의 결과 영상을 상기 표시부(140)에 표시하거나 또는, 팝업 형태로 상기 MR 콘텐츠 저작의 결과 영상을 상기 표시부(140)에 표시할 수 있다.
즉, 상기 미리보기 메뉴가 선택되는 경우, 상기 제어부(160)는 MR 콘텐츠 저작의 결과 영상(또는 상기 생성된 객체와 해당 객체에 인접하게 배치된 마커를 포함하는 영상)을 미리보기 형태로 상기 표시부(140)에 표시한다. 이때, 해당 MR 콘텐츠 저작의 결과 영상에는 해당 객체와 관련한 구매 기능을 제공하기 위한 바로 구매 메뉴, 해당 MR 콘텐츠에 대한 공유 기능을 제공하기 위한 공유 메뉴 등이 포함될 수 있다.
또한, 상기 표시부(140)의 다른 일측에 표시되는 미리 설정된 저장 메뉴(또는 완성 메뉴/버튼/항목)가 선택되는 경우, 상기 제어부(160)는 해당 3D 객체, 상기 3D 객체에 인접하게 배치된 마커 등을 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 해당 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 제어부(160)는 상기 마커에 대해서 사용자 선택에 따른 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료되지 않은 상태인 경우, 상기 제어부(160)는 상기 마커의 속성 정보 설정이 완료되지 않은 상태임을 상기 표시부(140)에 표시하며, 해당 마커의 속성 정보 설정에 대한 안내 정보를 상기 표시부(140)의 일측에 표시한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료된 경우, 상기 제어부(160)는 상기 3D 객체, 해당 3D 객체와 관련한 마커 등을 포함하는 MR 콘텐츠를 생성한다.
이와 같이, 상기 제어부(160)는 실제 객체를 포함하는 영상과, 해당 객체와 관련한 정보를 제공하기 위한 마커를 포함하는 영상을 혼합하여 MR 콘텐츠를 생성할 수 있다.
또한, 상기 제어부(160)는 상기 생성된 MR 콘텐츠를 상기 저장부(120)에 저장한다.
이때, 상기 생성된 3D 객체를 이용해서 동영상이 생성된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 제어부(160)는 상기 3D 객체 및 상기 3D 객체에 대응하는 마커와 관련한 코드의 고유 식별 정보(또는 상기 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 3D 객체에 인접하도록 상기 마커를 각각 추가하여(또는 매칭하여/연동시켜/업데이트하여) 동영상 형태의 MR 콘텐츠를 생성할 수 있다.
이와 같이, 상기 제어부(160)는 상기 객체를 포함하는 영상이 정지 영상(또는 이미지)뿐만 아니라 동영상인 경우에도, 상기 영상에 포함된 객체와 관련한 마커를 삽입하여 상기 MR 콘텐츠를 생성할 수 있다.
또한, 이와 같이, 상기 제어부(160)는 상기 3D 객체와 상기 3D 객체와 관련한 마커를 포함하는 MR 콘텐츠를 활용하여 상기 MR 콘텐츠에 포함된 3D 객체에 대응하는 상품과 관련한 연관 상품 추천 기능, 상품 추천 기능, 프로모션 기능, 인터랙션 기능, 시뮬레이션 기능 등을 제공하여, 상품을 검색하고 확인하는 사용자의 편의성을 향상시키며 사용자의 만족감을 높일 수 있다.
또한, 상기 표시부(140)에 상기 마커가 배치되는 경우 또는 상기 표시부(140)에 배치된 마커에 대한 속성 정보의 설정이 완료되는 경우, 상기 제어부(160)는 상기 마커와 관련한 상기 이미지/동영상에 포함된 객체(또는 상기 객체와 관련한 코드)와, 상기 마커를 연동하여 저장한다.
이때, 상기 제어부(160)는 상기 배치된 마커의 외곽선을 상기 이미지/동영상에 포함된 상기 마커와 관련한 객체의 외곽선까지 연장 형성한다. 즉, 상기 제어부(160)는 상기 배치된 마커의 외곽선의 좌표값을 상기 마커와 관련한 객체의 외곽선의 좌표값으로 매칭하여 저장한다.
예를 들어, 상기 제어부(160)는 4인용 식탁에 대응하는 객체와 관련한 마커가 배치되고, 상기 배치된 마커에 대한 속성 정보 설정이 완료되는 경우, 상기 배치된 마커의 외곽선의 좌표값을 상기 4인용 식탁의 외곽선의 좌표값으로 매칭(또는 연장 형성)한다.
이와 같이, 상기 마커의 외곽선을 상기 마커와 관련한 객체의 외곽선으로 연장 형성함에 따라, 추후 해당 객체를 선택할 경우에도, 해당 마커를 선택한 효과를 얻을 수 있다.
또한, 상기 제어부(160)는 상기 저장부(120)에 저장된 복수의 MR 콘텐츠를 상기 표시부(140)에 표시한다.
또한, 상기 표시부(140)에 표시되는 복수의 MR 콘텐츠 중에서 사용자 선택에 따라 특정 MR 콘텐츠가 선택(또는 터치)되는 경우, 상기 제어부(160)는 선택된 특정 MR 콘텐츠를 상기 표시부(140)에 표시한다.
또한, 상기 표시부(140)에 표시된 특정 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 제어부(160)는 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 상기 표시부(140)에 표시한다.
또한, 상기 제어부(160)는 상기 추가 MR 콘텐츠가 표시되는 일측(또는 상기 추가 MR 콘텐츠가 표시되는 일측에 오버레이하여/증강 현실 기능을 적용하여)에 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 표시한다.
이때, 상기 객체와 관련한 상세 정보는 상기 표시부(140)에 표시된 특정 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 제어부(160)에서 상기 통신부(110)를 통해 실시간으로 상기 서버에 상기 객체와 관련한 상세 정보를 요청하고, 이에 응답하여 상기 서버에서 실시간으로 해당 객체와 관련한 상세 정보를 수집한 후, 상기 MR 콘텐츠 제공 장치(100)에 제공하는 정보일 수 있다.
여기서, 상기 상세 정보는 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량, 프로모션 정보(또는 이벤트 정보) 등을 포함한다.
또한, 상기 표시부(140)에 표시된 특정 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴(또는 항목)가 선택되는 경우, 상기 제어부(160)는 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면을 상기 표시부(140)에 표시한다.
즉, 상기 표시부(140)에 표시된 특정 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴가 선택되는 경우, 상기 제어부(160)는 상기 마커와 관련한 3D 객체에 대응하는 상품의 구매 기능을 위한 화면(예를 들어 장바구니 화면, 결제 화면 등 포함)을 상기 표시부(140)에 표시한다.
이와 같이, 상기 제어부(160)는 상기 3D 객체 및 해당 3D 객체와 관련한 마커를 포함하는 MR 콘텐츠를 활용하여 상품 검색(또는 상품 탐색/추천), 구매에 이르는 원스톱(one-stop) 서비스를 제공하여, 사용자의 편의성을 향상시킬 수 있다.
또한, 상기 표시부(140)에 표시된 특정 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택되는 경우, 상기 제어부(160)는 사용자 선택(또는 사용자 터치)에 따라 상기 특정 MR 콘텐츠를 제공받을 다른 단말(200)을 선택(또는 선정)한다. 또한, 상기 제어부(160)는 상기 통신부(110)를 통해 상기 선택된 다른 단말(200)로 상기 마커와 3D 객체를 포함하는 특정 MR 콘텐츠를 제공(또는 전송)한다. 이때, 상기 제어부(160)는 상기 MR 콘텐츠 제공 장치(100)의 사용자 또는 상기 선택된 다른 단말(200)의 사용자와 관련한 소셜 네트워크 서비스(Social Networking Service: SNS) 등에 상기 마커와 3D 객체를 포함하는 특정 MR 콘텐츠를 전송(또는 공유/제공)할 수도 있다.
또한, 상기 카메라부(130)를 통해 미리 설정된 시간 이상으로 하나 이상의 객체에 대한 초점이 맞춰지는 경우, 상기 제어부(160)는 상기 카메라부(130)를 통해 초점이 맞춰진 하나 이상의 객체를 포함하는 영상(또는 영상 정보)을 획득한다. 이때, 상기 제어부(160)는 상기 카메라부(130)를 통해 확인되는(또는 획득되는) 영상을 표시부(140)에 표시한다.
또한, 상기 제어부(160)는 상기 획득된 영상에 포함된 하나 이상의 객체를 각각 인식한다.
즉, 상기 제어부(160)는 상기 획득된 영상에 포함된 하나 이상의 객체와 관련한 특징점을 각각 추출하고, 상기 추출된 특징점을 근거로 해당 객체를 인식한다. 이때, 상기 영상에 포함된 객체를 인식하기 위한 방법은 공지된 다양한 객체 인식 방법 중 어느 하나를 사용할 수 있다.
또한, 상기 제어부(160)는 상기 인식된 객체에 대해서 상기 저장부(120) 및/또는 상기 서버에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재하는지 여부를 확인한다.
상기 확인 결과, 상기 저장부(120)에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재하지 않는 경우, 상기 제어부(160)는 상기 카메라부(130)를 통해 초점이 맞춰진 하나 이상의 객체를 포함하는 영상을 획득하고, 상기 획득된 영상에 포함된 하나 이상의 객체를 각각 인식하는 과정을 반복 수행한다.
또한, 상기 확인 결과, 상기 저장부(120)에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재하는 경우, 상기 제어부(160)는 상기 영상 내의 객체에 인접하게 해당 객체와 관련한 임시 마커를 상기 표시부(140)에 표시한다. 여기서, 상기 임시 마커는 MR 콘텐츠에 포함된 마커와는 다른 개념으로, 상기 카메라부(130)를 통해 획득되는 영상 내에 포함된 객체와 관련한 MR 콘텐츠가 상기 저장부(120)(또는 상기 서버)에 저장된 상태임을 나타내기 위한 표시일 수 있다.
즉, 상기 저장부(120)에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재하는 경우, 상기 제어부(160)는 상기 인식된 객체와 관련한 MR 콘텐츠를 확인한다. 여기서, 상기 MR 콘텐츠는 상기 인식된 객체와 관련한 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
또한, 상기 제어부(160)는 상기 카메라부(130)를 통해 획득된 상기 하나 이상의 객체를 포함하는 영상이 표시되고 있는 상기 표시부(140)에 상기 인식된 객체와 관련한 임시 마커를 표시한다. 이때, 상기 제어부(160)는 상기 객체로부터 미리 설정된 간격만큼 이격되어 상기 임시 마커를 배치(또는 표시)하며, 상기 카메라부(130)의 상/하/좌/우/대각선 방향으로의 이동에 따라 상기 카메라부(130)를 통해 획득되는 영상(또는 상기 표시부(140)에 표시되는 영상)이 일부 변경되더라도 상기 영상 내에 포함된 객체로부터 일정 간격만큼 이격되어 상기 임시 마커가 표시되도록 제어할 수 있다.
또한, 상기 표시부(140)에 표시되고 있는 상기 인식된 객체와 관련한 임시 마커가 선택(또는 터치)되는 경우, 상기 제어부(160)는 상기 선택된 임시 마커와 관련한 MR 콘텐츠를 상기 표시부(140)에 표시한다.
또한, 상기 제어부(160)는 상기 표시부(140)에 표시되고 있는 MR 콘텐츠에 대해서 앞서 설명된 다른 MR 콘텐츠의 표시 기능, 바로 구매 기능, 공유 기능 등을 수행할 수 있다.
상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)에 포함된 하나 이상의 구성 요소(예를 들어 통신부, 저장부, 카메라부, 표시부, 음성 출력부, 제어부 등 포함)를 포함한 수 있다.
또한, 상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 특정 MR 콘텐츠를 수신한다.
또한, 상기 다른 단말(200)은 상기 수신된 특정 MR 콘텐츠를 표시한다.
또한, 상기 다른 단말(200)은 상기 표시되는 특정 MR 콘텐츠에 대해서 사용자 선택에 따라 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면(또는 바로 구매 기능)을 표시하는 기능, 또 다른 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다.
이와 같이, 상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 특정 MR 콘텐츠를 이용해서 추가 확인(또는 절차)없이 바로 해당 특정 MR 콘텐츠에 포함된 객체(또는 상품)에 대한 구매 기능을 수행할 수 있다.
상기 서버는 상기 MR 콘텐츠 제공 장치(100), 상기 다른 단말(200) 등과 통신한다.
또한, 상기 서버는 상기 MR 콘텐츠 제공 장치(100)로부터 전송되는 객체와 관련한 상세 정보 요청을 수신한다.
또한, 상기 서버는 상기 수신된 해당 객체와 관련한 상세 정보 요청을 근거로 실시간으로 해당 객체와 관련한 상세 정보를 수집한다. 여기서, 상기 상세 정보는 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량, 프로모션 정보(또는 이벤트 정보) 등을 포함한다.
또한, 상기 서버는 상기 수집된 해당 객체와 관련한 상세 정보를 상기 MR 콘텐츠 제공 장치(100)에 전송한다.
또한, 상기 서버는 복수의 MR 콘텐츠 제공 장치에서 제작된(또는 생성된) 복수의 MR 콘텐츠를 관리(또는 저장)하며, 특정 객체와 관련한 MR 콘텐츠를 요청한 단말에 해당 MR 콘텐츠를 제공한다.
이와 같이, 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작할 수 있다.
또한, 이와 같이, 3D 객체와 마커를 이용하여 생성된 MR 콘텐츠가 표시되고 있는 상태에서 3D 객체에 인접한 마커가 선택되는 경우, 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행하거나 다른 단말과의 공유 기능을 제공할 수 있다.
또한, 이와 같이, 단말에 구비된 카메라를 통해 일정 시간 이상 특정 객체를 포함하는 영상을 획득하는 상태에서, 영상 내 포함된 특정 객체와 관련하여 미리 저장된 3D 객체가 존재하는 경우, 해당 영상 내의 특정 객체에 인접하게 해당 특정 객체와 관련한 마커를 표시하고, 해당 마커가 선택되는 경우 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행할 수 있다.
이하에서는, 본 발명에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법을 도 1 내지 도 15를 참조하여 상세히 설명한다.
도 3은 본 발명의 제 1 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법을 나타낸 흐름도이다.
먼저, MR 콘텐츠 제공 장치(또는 제 1 단말)(100)는 전용 툴(또는 전용 프로그램) 또는 카메라부(130)를 통해 촬영된 객체를 포함하는 영상 정보를 이용해서 3D 객체(또는 해당 3D 객체와 관련한 3D 객체 데이터)를 생성(또는 제작/모델링)한다.
즉, 상기 MR 콘텐츠 제공 장치(100)는 전용 툴(또는 전용 프로그램)을 이용해서 특정 객체와 관련한 3D 객체를 생성(또는 제작/모델링)한다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 해당 MR 콘텐츠 제공 장치(100)에 포함된 카메라부(130)를 통해 임의의 객체를 포함하는 영상을 촬영하고, 상기 촬영된 영상(또는 영상 정보) 내의 객체를 인식한 후, 상기 MR 콘텐츠 제공 장치(100)에 미리 설치된 3D 객체 생성 프로그램(미도시)을 통해 상기 인식된 객체를 이용해서 3D 객체를 생성(또는 제작/모델링)한다. 이때, 상기 영상은 상기 MR 콘텐츠 제공 장치(100)와 통신하는 다른 단말(200)로부터 제공될 수도 있다.
여기서, 상기 생성된(또는 제작된/모델링된) 3D 객체(또는 3D 객체 데이터)는 해당 3D 객체와 관련한 시각 정보, 청각 정보, 촉각 정보, 후각 정보 등을 포함하도록 생성되어, 해당 3D 객체와 관련한 상품 검색 시 상품 간 상호연계성 분석을 통해 상품 검색(또는 상품 추천)의 정확도를 높일 수 있도록 구성할 수 있다. 이때, 상기 시각 정보는 해당 3D 객체의 형상 정보, 색상 정보, 재질 정보, 패턴 정보, 디자인 정보 등을 포함하도록 생성되어, 해당 3D 객체와 관련한 정보 제공 시 사용자에게 정확하고 다양한 정보를 제공할 수 있다. 또한, 상기 청각 정보는 해당 3D 객체와 관련한 소리 정보 등을 포함한다. 또한, 상기 촉각 정보는 해당 3D 객체와 관련한 근감각에 대한 정보(예를 들어 해당 3D 객체와 관련한 질량, 굳고 말랑말랑한 정도, 반력 등에 대한 정보 포함), 해당 3D 객체와 관련한 질감에 대한 정보(예를 들어 해당 3D 객체와 관련한 표면의 무늬, 작은 모양들, 표면의 부드럽고 거친 정도, 냉온감 등에 대한 정보 포함) 등을 포함한다. 또한, 상기 후각 정보는 해당 3D 객체와 관련한 향기(또는 향) 정보 등을 포함한다.
일 예로, 도 4에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 MR 콘텐츠 제공 장치(100)에 미리 설치된 전용 툴을 이용해서 3D 형태의 4인용 식탁(410)을 제작한다.
다른 일 예로, 상기 MR 콘텐츠 제공 장치(100)는 상기 MR 콘텐츠 제공 장치(100)에 포함된 카메라부(130)를 통해 의자를 포함하는 제 1 영상을 촬영하고, 상기 촬영된 제 1 영상 내에서 의자를 인식한다. 또한, 도 5에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)에 미리 설치된 3D 객체 생성 프로그램(또는 3D 객체 변환 프로그램)을 통해 상기 인식된 의자에 대한 3D 형태의 의자(510)를 생성한다(S310).
이후, 상기 생성된(또는 제작된) 3D 객체와 관련한 마커를 삽입하기 위해서 상기 MR 콘텐츠 제공 장치(100)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼(또는 메뉴/항목)(또는 상기 MR 콘텐츠 제공 장치(100)의 일측에 구비된 마커 삽입 버튼)이 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 생성된 3D 객체에 인접하게 마커(또는 객체 마커)를 배치한다.
또한, 드래그 앤 드롭 기능을 사용하여 상기 MR 콘텐츠 제공 장치(100)의 화면의 일측에 표시되는 미리 설정된 마커 삽입 버튼이 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 MR 콘텐츠 제공 장치(100)의 화면에 표시 중인 3D 객체 위로 드랍될 때(또는 상기 3D 객체로부터 미리 설정된 반경 내의 영역/위치로 드랍될 때), 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 객체로부터 미리 설정된 거리만큼 이격된 임의의 위치(또는 특정 위치)에 상기 마커를 배치할 수도 있다.
이때, 상기 MR 콘텐츠 제공 장치(100)는 해당 3D 객체에 대해서 일정 간격만큼 이격되어 상기 마커를 배치하며, 해당 3D 객체가 3차원으로 회전하거나 또는 축소/확대되더라도 마커가 해당 3D 객체에 일정 간격을 유지하도록 설정(또는 배치/설계)한다.
즉, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 객체가 동작하는 레이어와 상기 마커가 동작(또는 표시)하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대, 이동 등에 대해서도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격 상태를 유지하도록 설정할 수 있다.
일 예로, 상기 도 4에 도시된 바와 같이, 상기 3D 형태의 4인용 식탁(410)을 제작한 후, 상기 도 4의 화면의 일측에 표시되는 마커 삽입 메뉴(420)가 선택(또는 터치)될 때, 도 6에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 형태의 4인용 식탁(410)으로부터 미리 설정된 간격만큼 떨어진 위치에 제 1 마커(610)를 배치한다.
이때, 상기 도 6에 도시된 3D 형태의 4인용 식탁(410)이 사용자 제어에 의해 확대될 때, 도 7에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 확대된 3D 형태의 4인용 식탁(410)으로부터 미리 설정된 간격만큼 떨어진 위치에 제 1 마커(710)를 배치한다.
다른 일 예로, 상기 도 5에 도시된 바와 같이, 상기 3D 형태의 의자(510)를 생성한 후, 상기 도 5의 화면의 일측에 표시되는 마커 삽입 메뉴(520)가 선택될 때, 도 8에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 형태의 의자(510)로부터 미리 설정된 간격만큼 떨어진 위치에 제 2 마커(810)를 배치한다(S320).
이후, 상기 MR 콘텐츠 제공 장치(100)에 표시되는 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 마커에 대한 속성 정보를 설정한다. 여기서, 상기 마커에 대한 속성 정보(또는 마커의 속성 정보)는 해당 마커와 관련한 객체의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보, 해당 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보(또는 해당 객체와 관련한 적어도 하나의 MR 콘텐츠가 저장된 주소 정보/링크 주소) 등을 포함한다. 이때, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠는 해당 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠일 수 있다.
여기서, 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보를 설정할 때, 상기 MR 콘텐츠 제공 장치(100)는 상기 MR 콘텐츠 제공 장치(100)의 사용자와 관련한 사용자 정보(예를 들어 선호도, 구매 이력 정보, 해당 객체와 관련하여 사용자가 가장 많이 검색한 상품과 관련한 정보, 해당 객체와 관련하여 가장 많이 판매된 상품과 관련한 정보, 프로모션 정보, 해당 객체 및/또는 사용자와 관련한 빅 데이터 등 포함)를 근거로 상기 MR 콘텐츠 제공 장치(100) 및/또는 서버(미도시)에 미리 저장된 복수의 MR 콘텐츠 중에서 해당 객체와 관련한 적어도 하나의 MR 콘텐츠를 선택(또는 설정)할 수 있다.
이와 같이, 상기 MR 콘텐츠 제공 장치(100)는 해당 사용자에게 최적화된 MR 콘텐츠를 제공할 수 있도록 상기 사용자 정보를 누적하고, 상기 누적된 사용자 정보에 대한 기계 학습을 통해 해당 사용자와 관련한 정보를 반영하여 적응 전환형태의 상기 선택된 마커에 대한 속성 정보를 설정할 수도 있다.
일 예로, 해당 4인용 식탁과 관련한 제 1 상세 정보(또는 제 1 상품 정보)(예를 들어 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보 등 포함)가 사전에 등록된(또는 입력된) 상태에서, 상기 도 6에 도시된 3D 형태의 4인용 식탁(410)과 제 1 마커(610)가 표시되고 있는 화면에서 상기 제 1 마커(610)가 선택될 때, 상기 MR 콘텐츠 제공 장치(100)는 미리 저장된 복수의 상세 정보 중에서 해당 4인용 식탁에 대응하는 제 1 상세 정보를 확인한다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 미리 저장된 복수의 MR 콘텐츠 중에서 해당 4인용 식탁과 관련한 3D 객체와 동일 코드를 가지거나 유사 코드를 가지는 제 1 MR 콘텐츠(예를 들어 기계 학습에 따른 사용자의 선호도가 반영된 사각 형태의 다른 식탁과 관련한 MR 콘텐츠) 및 제 2 MR 콘텐츠(예를 들어 최근 1달 동안 가장 많이 판매된 원형의 다른 식탁과 관련한 MR 콘텐츠)가 저장된 제 1 주소 정보 및 제 2 주소 정보를 확인한다. 여기서, 상기 제 1 MR 콘텐츠는 사각 형태의 다른 3D 형태의 식탁과 해당 다른 3D 형태의 식탁과 관련한 마커를 포함하며, 상기 제 2 MR 콘텐츠는 원형의 3D 형태의 식탁과 해당 원형의 식탁과 관련한 마커를 포함한다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 상기 확인된 4인용 식탁과 관련한 제 1 상세 정보, 상기 4인용 식탁과 관련한 제 1 MR 콘텐츠 및 제 2 MR 콘텐츠가 저장된 제 1 주소 정보 및 제 2 주소 정보 등을 포함하는 제 1 마커에 대한 제 1 속성 정보를 설정한다.
다른 일 예로, 상기 도 8에 도시된 3D 형태의 의자(510)와 제 2 마커(810)가 표시되고 있는 화면에서 상기 제 2 마커(810)가 선택될 때, 상기 MR 콘텐츠 제공 장치(100)는 사용자 입력(또는 사용자 선택)에 따른 해당 의자와 관련한 제 2 상세 정보(예를 들어 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보 등 포함)를 수신한다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 미리 저장된 복수의 MR 콘텐츠 중에서 해당 의자와 관련한 3D 객체와 동일 코드를 가지거나 유사 코드를 가지는 제 11 MR 콘텐츠(예를 들어 사용자의 최근 3개월간 구매 이력을 근거로 선택된 MR 콘텐츠) 및 제 12 MR 콘텐츠(예를 들어 해당일자에 가장 많은 할인 혜택을 제공하는 MR 콘텐츠)가 저장된 제 11 주소 정보 및 제 12 주소 정보를 확인한다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 상기 확인된 의자와 관련한 제 2 상세 정보, 상기 의자와 관련한 제 11 MR 콘텐츠 및 제 12 MR 콘텐츠가 저장된 제 11 주소 정보 및 제 12 주소 정보 등을 포함하는 제 2 마커에 대한 제 2 속성 정보를 설정한다(S330).
이후, 상기 MR 콘텐츠 제공 장치(100)의 일측에 표시되는 미리 설정된 미리보기 메뉴(또는 버튼/항목)가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 MR 콘텐츠 저작의 결과 영상을 미리보기 화면으로 표시한다.
즉, 상기 미리보기 메뉴가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 MR 콘텐츠 저작의 결과 영상(또는 상기 생성된 객체와 해당 객체에 인접하게 배치된 마커를 포함하는 영상)을 미리보기 형태로 표시한다. 이때, 해당 MR 콘텐츠 저작의 결과 영상에는 해당 객체와 관련한 구매 기능을 제공하기 위한 바로 구매 메뉴, 해당 MR 콘텐츠에 대한 공유 기능을 제공하기 위한 공유 메뉴 등이 포함될 수 있다.
일 예로, 상기 도 6에 도시된 3D 형태의 4인용 식탁(410)과 제 1 마커(610)가 표시되고 있는 화면에서 미리 설정된 미리보기 메뉴(620)가 선택될 때, 도 9에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 형태의 4인용 식탁(410), 상기 4인용 식탁과 관련한 제 1 마커(610) 등에 각각 대응하는 MR 콘텐츠 저작의 결과 영상(910)을 팝업 형태로 표시한다. 이때, 상기 MR 콘텐츠 저작의 결과 영상(910)에는 해당 4인용 식탁(410)에 대한 구매 기능을 제공하기 위한 바로 구매 메뉴(920)와, 해당 MR 콘텐츠를 공유하기 위한 공유 메뉴(930)가 포함된 상태일 수 있다(S340).
이후, 상기 MR 콘텐츠 제공 장치(100)의 다른 일측에 표시되는 미리 설정된 저장 메뉴(또는 완성 메뉴/버튼/항목)가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 해당 3D 객체, 상기 3D 객체에 인접하게 배치된 마커 등을 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 해당 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 마커에 대해서 사용자 선택에 따른 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료되지 않은 상태인 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 마커의 속성 정보 설정이 완료되지 않은 상태임을 표시하며, 해당 마커의 속성 정보 설정에 대한 안내 정보를 일측에 표시한다.
또한, 상기 확인 결과, 상기 마커에 대한 속성 정보 설정이 완료된 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 객체, 해당 3D 객체와 관련한 마커 등을 포함하는 MR 콘텐츠를 생성한다.
이때, 상기 생성된 3D 객체를 이용해서 동영상이 생성된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 객체 및 상기 3D 객체에 대응하는 마커와 관련한 코드의 고유 식별 정보(또는 상기 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 3D 객체에 인접하도록 상기 마커를 각각 추가하여(또는 매칭하여/연동시켜/업데이트하여) 동영상 형태의 MR 콘텐츠를 생성할 수 있다.
일 예로, 상기 도 6에 도시된 3D 형태의 4인용 식탁(410)과 제 1 마커(610)가 표시되고 있는 화면에서 미리 설정된 저장 메뉴(630)가 선택될 때, 상기 MR 콘텐츠 제공 장치(100)는 상기 3D 형태의 4인용 식탁(410), 상기 4인용 식탁(410)에 인접하게 배치된 제 1 마커(510), 상기 제 1 마커(510)의 위치 정보, 상기 제 1 마커(510)의 속성 정보 등을 포함하는 제 3 MR 콘텐츠를 생성한다. 이때, 상기 제 1 마커의 속성 정보는 상기 4인용 식탁에 대응하는 제 1 상세 정보, 상기 4인용 식탁과 관련한 3D 객체와 동일/유사 코드를 가지는 제 1 MR 콘텐츠 및 제 2 MR 콘텐츠가 저장된 제 1 주소 정보 내지 제 2 주소 정보 등을 포함한다(S350).
이후, 상기 MR 콘텐츠 제공 장치(100)에 저장된 복수의 MR 콘텐츠 중에서 사용자 선택에 따라 특정 MR 콘텐츠가 선택(또는 터치)되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 선택된 특정 MR 콘텐츠를 표시한다.
일 예로, 상기 MR 콘텐츠 제공 장치(100)에 저장된 복수의 MR 콘텐츠 중에서 사용자 선택에 따라 제 3 MR 콘텐츠가 선택될 때, 도 10에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 선택된 제 3 MR 콘텐츠(1000)를 표시한다. 이때, 상기 제 3 MR 콘텐츠(1000)는 3D 형태의 식탁(1010), 해당 식탁에 대응하는 제 1 마커(1020), 해당 식탁에 대한 구매 기능 제공을 위한 바로 구매 메뉴(1030), 해당 식탁에 대한 공유 기능 제공을 위한 공유 메뉴(1040) 등을 포함한다(S360).
이후, 상기 MR 콘텐츠 제공 장치(100)에 표시된 특정 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시한다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 상기 추가 MR 콘텐츠가 표시되는 일측(또는 상기 추가 MR 콘텐츠가 표시되는 일측에 오버레이하여/증강 현실 기능을 적용하여)에 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 표시한다. 이때, 상기 객체와 관련한 상세 정보는 상기 MR 콘텐츠 제공 장치(100)에서 실시간으로 상기 서버에 요청하고, 이에 응답하여 상기 서버에서 실시간으로 해당 객체와 관련한 상세 정보를 수집한 후, 상기 MR 콘텐츠 제공 장치(100)에 제공하는 정보일 수 있다.
여기서, 상기 상세 정보는 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량, 프로모션 정보(또는 이벤트 정보) 등을 포함한다.
일 예로, 상기 도 10에 도시된 제 3 MR 콘텐츠(1000)의 일측에 표시되는 4인용 식탁과 관련한 제 1 마커(1020)가 선택될 때, 상기 MR 콘텐츠 제공 장치(100)는 상기 제 1 마커(1020)와 관련하여 미리 설정된 복수의 제 1 MR 콘텐츠 내지 제 2 MR 콘텐츠 중에서 다음 순위의 제 1 MR 콘텐츠를 확인하고, 상기 제 1 MR 콘텐츠에 포함된 사각 형태의 4인용 식탁과 관련한 상세 정보를 상기 서버에 요청한다. 또한, 상기 서버는 상기 MR 콘텐츠 제공 장치(100)의 상세 정보 요청에 응답하여 실시간으로 상기 사각 형태의 4인용 식탁과 관련한 상세 정보를 수집하고, 상기 수집된 상기 사각 형태의 4인용 식탁과 관련한 상세 정보를 상기 MR 콘텐츠 제공 장치(100)에 전송한다. 또한, 상기 MR 콘텐츠 제공 장치(100)는 상기 확인된 제 1 MR 콘텐츠를 표시하고, 상기 제 1 MR 콘텐츠가 표시되고 있는 일측에 상기 서버로부터 제공되는 해당 사각 형태의 4인용 식탁과 관련한 상세 정보를 표시한다.
이때, 상기 표시되는 제 1 MR 콘텐츠의 일측에 표시되는 다른 마커가 선택되면, 상기 MR 콘텐츠 제공 장치(100)는 상기 제 1 MR 콘텐츠에 포함된 다른 마커와 관련하여 미리 설정된 복수의 MR 콘텐츠 중에서 제 1 순위의 다른 MR 콘텐츠(또는 상기 제 1 마커(1020)와 관련하여 미리 설정된 복수의 제 1 MR 콘텐츠 내지 제 2 MR 콘텐츠 중에서 제 2 순위의 제 2 MR 콘텐츠)와, 상기 서버로부터 제공되는 상기 다른 MR 콘텐츠에 포함된 다른 객체에 대한 상세 정보를 함께 표시할 수 있다. 여기서, 상기 제 1 MR 콘텐츠는 사각 형태의 다른 3D 형태의 식탁과 해당 다른 3D 형태의 식탁과 관련한 마커를 포함하며, 상기 제 2 MR 콘텐츠는 원형의 3D 형태의 식탁과 해당 원형의 식탁과 관련한 마커를 포함한다(S370).
또한, 상기 MR 콘텐츠 제공 장치(100)에 표시된 특정 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴(또는 항목)가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면을 표시한다.
즉, 상기 MR 콘텐츠 제공 장치(100)에 표시된 특정 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴가 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 상기 마커와 관련한 3D 객체에 대응하는 상품의 구매 기능을 위한 화면(예를 들어 장바구니 화면, 결제 화면 등 포함)을 표시한다.
일 예로, 상기 도 10에 도시된 제 3 MR 콘텐츠(1010)의 다른 일측에 표시되는 4인용 식탁과 관련한 바로 구매 메뉴(1030)가 선택될 때, 도 11에 도시된 바와 같이, 상기 MR 콘텐츠 제공 장치(100)는 상기 4인용 식탁에 대한 결제 기능을 수행하기 위한 화면(1110)을 표시한다(S380).
또한, 상기 MR 콘텐츠 제공 장치(100)에 표시된 특정 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택되는 경우, 상기 MR 콘텐츠 제공 장치(100)는 사용자 선택(또는 사용자 터치)에 따라 상기 특정 MR 콘텐츠를 제공받을 다른 단말(200)을 선택(또는 선정)하고, 상기 선택된 다른 단말(200)로 상기 마커와 3D 객체를 포함하는 특정 MR 콘텐츠를 제공(또는 전송)한다.
이때, 상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 특정 MR 콘텐츠를 수신하고, 상기 수신된 특정 MR 콘텐츠를 표시한다.
또한, 상기 다른 단말(200)은 상기 표시되는 특정 MR 콘텐츠에 대해서 사용자 선택에 따라 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면(또는 바로 구매 기능)을 표시하는 기능, 또 다른 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다.
이와 같이, 상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 특정 MR 콘텐츠를 이용해서 추가 확인(또는 절차)없이 바로 해당 특정 MR 콘텐츠에 포함된 객체(또는 상품)에 대한 구매 기능을 수행할 수 있다.
일 예로, 상기 도 10에 도시된 제 3 MR 콘텐츠(1010)의 또 다른 일측에 표시되는 4인용 식탁과 관련한 공유 메뉴(1040)가 선택될 때, 상기 MR 콘텐츠 제공 장치(100)는 해당 제 3 MR 콘텐츠를 제공받을 사용자(또는 단말)를 선택하기 위한 화면을 표시하고, 상기 표시되는 화면 중에서 선택되는 적어도 하나의 사용자에 대응하는 적어도 하나의 다른 단말(200)에 상기 제 3 MR 콘텐츠를 제공(또는 전송)한다.
또한, 상기 적어도 하나의 다른 단말(200) 각각은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 제 3 MR 콘텐츠를 수신하고, 상기 수신된 제 3 MR 콘텐츠를 표시한다.
또한, 상기 다른 단말(200)은 상기 제 3 MR 콘텐츠에 대해서 앞서 설명된 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면을 표시하는 기능, 또 다른 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다(S390).
도 12는 본 발명의 제 2 실시예에 따른 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법을 나타낸 흐름도이다.
먼저, 카메라부(130)를 통해 미리 설정된 시간 이상으로 하나 이상의 객체에 대한 초점이 맞춰지는 경우, 제어부(160)는 상기 카메라부(130)를 통해 초점이 맞춰진 하나 이상의 객체를 포함하는 영상(또는 영상 정보)을 획득한다. 이때, 상기 제어부(160)는 상기 카메라부(130)를 통해 확인되는(또는 획득되는) 영상을 표시부(140)에 표시한다.
또한, 상기 제어부(160)는 상기 획득된 영상에 포함된 하나 이상의 객체를 각각 인식한다.
일 예로, 도 13에 도시된 바와 같이, 상기 카메라부(130)를 통해 미리 설정된 3초 이상 모자(1310)와 선글라스(1320)를 착용한 마네킹(1300)에 대한 초점을 맞춘 상태일 때, 상기 제어부(160)는 상기 카메라부(130)를 통해 상기 초점이 맞춰진 모자(1310)와 선글라스(1320)를 착용한 마네킹(1300)에 대한 제 11 영상 정보를 획득한다.
또한, 상기 제어부(160)는 상기 획득된 제 11 영상 정보에 포함된 모자와 선글라스를 각각 인식한다(S1210).
이후, 저장부(120)에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재하는 경우, 상기 제어부(160)는 상기 영상 내의 객체에 인접하게 해당 객체와 관련한 임시 마커를 표시한다. 여기서, 상기 임시 마커는 MR 콘텐츠에 포함된 마커와는 다른 개념으로, 상기 카메라부(130)를 통해 획득되는 영상 내에 포함된 객체와 관련한 MR 콘텐츠가 상기 저장부(120)에 저장된 상태임을 나타내기 위한 표시일 수 있다.
즉, 상기 저장부(120)에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재하는 경우, 상기 제어부(160)는 상기 인식된 객체와 관련한 MR 콘텐츠를 확인한다. 여기서, 상기 MR 콘텐츠는 상기 인식된 객체와 관련한 3D 객체, 상기 3D 객체의 속성 정보(또는 상품 정보), 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 3D 객체에 대응하는 마커, 마커의 위치 정보, 마커의 속성 정보(예를 들어 해당 3D 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보 등 포함), 해당 마커와 관련한 바로 구매 정보, 공유 정보 등을 포함한다.
또한, 상기 제어부(160)는 상기 카메라부(130)를 통해 획득된 상기 하나 이상의 객체를 포함하는 영상이 표시되고 있는 상기 표시부(140)에 상기 인식된 객체와 관련한 임시 마커를 표시한다. 이때, 상기 제어부(160)는 상기 객체로부터 미리 설정된 간격만큼 이격되어 상기 임시 마커를 배치(또는 표시)하며, 상기 카메라부(130)의 상/하/좌/우/대각선 방향으로의 이동에 따라 상기 카메라부(130)를 통해 획득되는 영상(또는 상기 표시부(140)에 표시되는 영상)이 일부 변경되더라도 상기 영상 내에 포함된 객체로부터 일정 간격만큼 이격되어 상기 임시 마커가 표시되도록 제어할 수 있다.
일 예로, 상기 저장부(120)에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 모자와 관련한 제 21 MR 콘텐츠 및 제 22 MR 콘텐츠가 존재하고, 상기 인식된 선글라스와 관련한 제 31 MR 콘텐츠가 존재할 때, 도 14에 도시된 바와 같이, 상기 제어부(160)는 상기 카메라부(130)를 통해 획득되는 제 11 영상 정보가 표시되고 있는 상기 표시부(140) 상에 상기 인식된 모자와 관련한 MR 콘텐츠가 있음을 나타내기 위한 제 1 임시 마커(1410)와, 상기 인식된 선글라스와 관련한 MR 콘텐츠가 있음을 나타내기 위한 제 2 임시 마커(1420)를 각각 표시한다. 여기서, 상기 제 21 MR 콘텐츠는 상기 모자와 유사한 다른 3D 형태의 모자와 해당 다른 3D 형태의 모자와 관련한 마커를 포함하며, 상기 제 22 MR 콘텐츠는 상기 모자와 유사한 또 다른 3D 형태의 모자와 해당 또 다른 3D 형태의 모자와 관련한 마커를 포함한다. 또한, 상기 제 31 MR 콘텐츠는 상기 인식된 선글라스와 동일 제조사에서 제조한 다른 3D 형태의 선글라스와 해당 다른 3D 형태의 선글라스와 관련한 마커를 포함한다. 이때, 상기 도 14에 도시된 바와 같이, 상기 임시 마커(1410, 1420)와 MR 콘텐츠에 포함된 마커를 구분하기 위해서, 상기 임시 마커의 외곽선은 점선으로 표시될 수 있고, 상기 MR 콘텐츠에 포함된 마커의 외곽선은 실선으로 표시될 수 있다(S1220).
이후, 상기 표시부(140)에 표시되고 있는 상기 인식된 객체와 관련한 임시 마커가 선택(또는 터치)되는 경우, 상기 제어부(160)는 상기 선택된 임시 마커와 관련한 MR 콘텐츠를 표시한다.
일 예로, 상기 도 14에서 상기 제 1 임시 마커(1410)가 선택될 때, 도 15에 도시된 바와 같이, 상기 제어부(160)는 상기 선택된 제 1 임시 마커(1410)와 관련한 제 21 MR 콘텐츠(1500)를 표시한다. 이때, 상기 제 21 MR 콘텐츠(1500)에 포함된 제 21 마커(1520)의 외곽선은 실선으로 표시될 수 있다(S1230).
이후, 상기 표시부(140)에 표시된 상기 선택된 임시 마커와 관련한 MR 콘텐츠의 일측에 표시되는 마커가 선택되는 경우, 상기 제어부(160)는 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시한다. 여기서, 상기 MR 콘텐츠에 포함된 마커는 해당 MR 콘텐츠에 포함된 객체와 관련한 다양한 정보(예를 들어 상세 정보, 해당 객체와 관련한 다른 MR 콘텐츠에 대한 주소 정보 등 포함)를 포함한 상태일 수 있다.
또한, 상기 MR 콘텐츠 제공 장치(100)는 상기 추가 MR 콘텐츠가 표시되는 일측(또는 상기 추가 MR 콘텐츠가 표시되는 일측에 오버레이하여/증강 현실 기능을 적용하여)에 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 표시한다. 이때, 상기 객체와 관련한 상세 정보는 상기 MR 콘텐츠 제공 장치(100)에서 실시간으로 상기 서버에 요청하고, 이에 응답하여 상기 서버에서 실시간으로 해당 객체와 관련한 상세 정보를 수집한 후, 상기 MR 콘텐츠 제공 장치(100)에 제공하는 정보일 수 있다.
여기서, 상기 상세 정보는 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량, 프로모션 정보(또는 이벤트 정보) 등을 포함한다.
일 예로, 상기 도 15에 도시된 제 21 MR 콘텐츠(1510)의 일측에 표시되는 상기 모자와 관련한 제 21 마커(1520)가 선택될 때, 상기 제어부(160)는 상기 제 21 마커(1520)와 관련하여 미리 설정된 복수의 MR 콘텐츠 중에서 다음 순위의 상기 제 22 MR 콘텐츠를 확인하고, 상기 제 22 MR 콘텐츠에 포함된 제 2 모자와 관련한 상세 정보를 상기 서버에 요청한다. 또한, 상기 서버는 상기 MR 콘텐츠 제공 장치9100)의 상세 정보 요청에 응답하여 실시간으로 상기 제 2 모자와 관련한 상세 정보를 수집하고, 상기 수집된 제 2 모자와 관련한 상세 정보를 상기 MR 콘텐츠 제공 장치(100)에 전송한다. 또한, 상기 MR 콘텐츠 제공 장치(100)는 상기 확인된 제 22 MR 콘텐츠를 표시하고, 상기 제 22 MR 콘텐츠가 표시되고 있는 일측에 상기 서버로부터 제공되는 해당 제 2 모자와 관련한 상세 정보를 표시한다(S1240).
또한, 상기 표시부(140)에 표시된 상기 선택된 임시 마커와 관련한 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴(또는 항목)가 선택되는 경우, 상기 제어부(160)는 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면을 표시한다.
즉, 상기 표시부(140)에 표시된 상기 선택된 임시 마커와 관련한 MR 콘텐츠의 다른 일측에 표시되는 마커와 관련한 바로 구매 메뉴가 선택되는 경우, 상기 제어부(160)는 상기 마커와 관련한 3D 객체에 대응하는 상품의 구매 기능을 위한 화면(예를 들어 장바구니 화면, 결제 화면 등 포함)을 표시한다.
일 예로, 상기 도 15에 도시된 제 21 MR 콘텐츠(1500)의 다른 일측에 표시되는 상기 모자와 관련한 바로 구매 메뉴(1530)가 선택될 때, 상기 제어부(160)는 상기 모자에 대한 결제 기능을 수행하기 위한 화면을 표시한다(S1250).
또한, 상기 표시부(140)에 표시된 상기 선택된 임시 마커와 관련한 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택되는 경우, 상기 제어부(160)는 사용자 선택(또는 사용자 터치)에 따라 상기 MR 콘텐츠를 제공받을 다른 단말(200)을 선택(또는 선정)하고, 상기 선택된 다른 단말(200)로 상기 마커와 3D 객체를 포함하는 MR 콘텐츠를 제공(또는 전송)한다.
이때, 상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 MR 콘텐츠를 수신하고, 상기 수신된 MR 콘텐츠를 표시한다.
또한, 상기 다른 단말(200)은 상기 표시되는 MR 콘텐츠에 대해서 사용자 선택에 따라 해당 마커와 관련한 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면(또는 바로 구매 기능)을 표시하는 기능, 또 다른 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다.
이와 같이, 상기 다른 단말(200)은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 특정 MR 콘텐츠를 이용해서 추가 확인없이 바로 해당 MR 콘텐츠에 포함된 객체(또는 상품)에 대한 구매 기능을 수행할 수 있다.
일 예로, 상기 도 15에 도시된 제 21 MR 콘텐츠(1500)의 또 다른 일측에 표시되는 상기 모자와 관련한 공유 메뉴(1540)가 선택될 때, 상기 제어부(160)는 상기 제 21 MR 콘텐츠를 제공받을 사용자(또는 단말)를 선택하기 위한 화면을 표시하고, 상기 표시되는 화면 중에서 선택되는 적어도 하나의 사용자에 대응하는 적어도 하나의 다른 단말(200)에 상기 제 21 MR 콘텐츠를 제공(또는 전송)한다.
또한, 상기 적어도 하나의 다른 단말(200) 각각은 상기 MR 콘텐츠 제공 장치(100)로부터 제공되는 제 21 MR 콘텐츠를 수신하고, 상기 수신된 제 21 MR 콘텐츠를 표시한다.
또한, 상기 다른 단말(200)은 상기 제 21 MR 콘텐츠에 대해서 앞서 설명된 추가 MR 콘텐츠(또는 추가 애니메이션 정보)를 표시하는 기능, 해당 마커와 관련한 3D 객체에 대한 바로 구매 화면을 표시하는 기능, 또 다른 단말(미도시)로의 공유 기능 등을 각각 수행할 수 있다(S1260).
본 발명의 실시예는 앞서 설명된 바와 같이, 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하여, 3D 객체와 관련하여 다양한 부가 정보를 제공하고, 상품의 가상 체험 및 시뮬레이션 기능을 제공하여 사용자의 만족도를 높일 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 3D 객체와 마커를 이용하여 생성된 MR 콘텐츠가 표시되고 있는 상태에서 3D 객체에 인접한 마커가 선택되는 경우, 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행하거나 다른 단말과의 공유 기능을 제공하여, 사용자의 흥미를 유발하고 편의성을 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 단말에 구비된 카메라를 통해 일정 시간 이상 특정 객체를 포함하는 영상을 획득하는 상태에서, 영상 내 포함된 특정 객체와 관련하여 미리 저장된 3D 객체가 존재하는 경우, 해당 영상 내의 특정 객체에 인접하게 해당 특정 객체와 관련한 마커를 표시하고, 해당 마커가 선택되는 경우 마커와 관련한 추가 MR 콘텐츠를 표시하거나 바로 구매 기능을 수행하여, 사용자의 요구에 따른 MR 콘텐츠의 활용폭을 넓히며 사용자의 만족도를 높일 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 전용 툴을 통해 생성된 3D 객체 또는 카메라를 통해 촬영된 영상 내에서의 객체 인식을 통한 3D 객체를 근거로 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작함으로써, 3D 객체와 관련하여 다양한 부가 정보를 제공할 수 있는 것으로, 가상 현실 분야, 증강 현실 분야, 혼합 현실(MR) 분야, 단말 분야, 파노라마 영상 분야, 쇼핑 정보 제공 분야, 마케팅 분야, 서버 분야 등에서 광범위하게 이용될 수 있다.

Claims (13)

  1. 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법에 있어서,
    전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 3D 객체를 생성하는 단계;
    상기 생성된 3D 객체가 표시되고 있는 화면의 일측에 표시되는 마커 삽입 메뉴가 선택될 때, 제어부에 의해, 상기 3D 객체가 표시되고 있는 표시부에 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 단계;
    상기 표시부에 배치된 마커가 선택될 때, 상기 제어부에 의해, 사용자 입력을 근거로 상기 선택된 마커에 대한 속성 정보를 설정하는 단계;
    상기 표시부의 일측에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 제어부에 의해, 상기 3D 객체와 상기 3D 객체에 인접하게 배치된 마커를 포함하는 MR 콘텐츠를 생성하는 단계;
    상기 제어부에 의해, 저장부에 저장된 복수의 MR 콘텐츠를 상기 표시부에 표시하는 단계;
    상기 표시부에 표시되는 복수의 MR 콘텐츠 중에서 제 1 MR 콘텐츠가 선택될 때, 상기 제어부에 의해, 상기 선택된 제 1 MR 콘텐츠를 상기 표시부에 표시하는 단계; 및
    상기 표시부에 표시된 제 1 MR 콘텐츠의 일측에 표시되는 제 1 마커가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 추가 MR 콘텐츠 및 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 상기 표시부에 표시하는 단계를 포함하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  2. 제 1 항에 있어서,
    상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하는 단계는,
    상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  3. 제 1 항에 있어서,
    상기 마커에 대한 속성 정보는,
    상기 마커와 관련한 객체의 고유 코드 정보, 상기 객체와 관련한 마커의 고유 코드 정보 및 상기 객체와 관련한 적어도 하나의 MR 콘텐츠에 대한 정보를 포함하며,
    상기 객체와 관련한 적어도 하나의 MR 콘텐츠는,
    상기 객체와 관련하여 동일 코드 또는 유사 코드를 가진 적어도 하나의 다른 3D 객체에 대응하는 MR 콘텐츠인 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  4. 제 1 항에 있어서,
    상기 객체와 관련한 적어도 하나의 MR 콘텐츠는,
    기계 학습을 통해, 사용자와 관련한 선호도, 구매 이력 정보, 상기 객체와 관련하여 가장 많이 검색한 상품과 관련한 정보, 상기 객체와 관련하여 가장 많이 판매된 상품과 관련한 정보 및 프로모션 정보 중 적어도 하나를 근거로 저장부 및 서버에 미리 저장된 복수의 MR 콘텐츠 중에서 선택된 사용자에게 최적화된 맞춤형 MR 콘텐츠인 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  5. 제 1 항에 있어서,
    상기 MR 콘텐츠는,
    상기 3D 객체, 상기 3D 객체의 속성 정보, 상기 3D 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 3D 객체에 대응하는 상기 마커, 상기 마커의 위치 정보, 상기 마커의 속성 정보, 상기 마커와 관련한 바로 구매 정보 및 공유 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  6. 제 1 항에 있어서,
    상기 표시부에 표시된 제 1 MR 콘텐츠의 다른 일측에 표시되는 제 1 마커와 관련한 바로 구매 메뉴가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 제 1 3D 객체에 대응하는 상품의 구매 기능을 위한 화면을 상기 표시부에 표시하는 단계; 및
    상기 표시부에 표시된 제 1 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택될 때, 상기 제어부에 의해, 사용자 선택에 따른 다른 단말로 상기 제 1 MR 콘텐츠를 전송하도록 통신부를 제어하는 단계를 더 포함하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  7. 제 6 항에 있어서,
    상기 제 1 마커와 관련한 추가 MR 콘텐츠를 상기 표시부에 표시하는 단계는,
    상기 추가 MR 콘텐츠가 표시되는 표시부의 일측에 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 표시하며,
    상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보는,
    서버에서 실시간으로 수집한 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 정보이며, 상기 객체와 관련한 상품명, 상품 고유 모델 번호, 제조일자, 제조사, 상품 종류에 따른 코드 정보, 원산지, 가격, 중량 및 프로모션 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  8. 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법에 있어서,
    카메라부를 통해 미리 설정된 시간 이상으로 하나 이상의 객체에 대한 초점이 맞춰질 때, 제어부에 의해, 상기 카메라부를 통해 초점이 맞춰진 하나 이상의 객체를 포함하는 영상을 획득하는 단계;
    상기 제어부에 의해, 상기 획득된 영상에 포함된 하나 이상의 객체를 각각 인식하는 단계;
    저장부에 미리 저장된 복수의 MR 콘텐츠 중에서 상기 인식된 객체와 관련한 MR 콘텐츠가 존재할 때, 상기 제어부에 의해, 상기 영상 내의 객체로부터 미리 설정된 간격만큼 이격되어 상기 객체와 관련한 임시 마커를 표시하도록 표시부를 제어하는 단계; 및
    상기 표시부에 표시되고 있는 상기 인식된 객체와 관련한 임시 마커가 선택될 때, 상기 제어부에 의해, 상기 선택된 임시 마커와 관련한 MR 콘텐츠를 표시하도록 상기 표시부를 제어하는 단계를 포함하되,
    상기 표시부에 표시된 MR 콘텐츠의 일측에 표시되는 제 1 마커가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 추가 MR 콘텐츠 및 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 상기 표시부에 표시하는 단계를 더 포함하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  9. 제 8 항에 있어서,
    상기 표시부에 표시된 MR 콘텐츠의 다른 일측에 표시되는 제 1 마커와 관련한 바로 구매 메뉴가 선택될 때, 상기 제어부에 의해, 상기 제 1 마커와 관련한 제 1 3D 객체에 대응하는 상품의 구매 기능을 위한 화면을 상기 표시부에 표시하는 단계; 및
    상기 표시부에 표시된 MR 콘텐츠의 또 다른 일측에 표시되는 공유 항목이 선택될 때, 상기 제어부에 의해, 사용자 선택에 따른 다른 단말로 상기 MR 콘텐츠를 전송하도록 통신부를 제어하는 단계를 더 포함하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 방법.
  10. 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치에 있어서,
    전용 툴 또는 카메라부를 통해 촬영된 객체를 포함하는 영상 정보를 근거로 생성된 3D 객체를 표시하는 표시부; 및
    상기 생성된 3D 객체가 표시되고 있는 화면의 일측에 표시되는 마커 삽입 메뉴가 선택될 때, 상기 3D 객체가 표시되고 있는 상기 표시부에 상기 3D 객체로부터 미리 설정된 간격만큼 이격되어 마커를 배치하며, 상기 표시부에 배치된 마커가 선택될 때, 사용자 입력을 근거로 상기 선택된 마커에 대한 속성 정보를 설정하며, 상기 표시부의 일측에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 3D 객체와 상기 3D 객체에 인접하게 배치된 마커를 포함하는 MR 콘텐츠를 생성하는 제어부를 포함하며,
    상기 제어부는,
    저장부에 저장된 복수의 MR 콘텐츠를 상기 표시부에 표시하고, 상기 표시부에 표시되는 복수의 MR 콘텐츠 중에서 제 1 MR 콘텐츠가 선택될 때, 상기 선택된 제 1 MR 콘텐츠를 상기 표시부에 표시하고, 상기 표시부에 표시된 제 1 MR 콘텐츠의 일측에 표시되는 제 1 마커가 선택될 때, 상기 제 1 마커와 관련한 추가 MR 콘텐츠 및 상기 추가 MR 콘텐츠에 포함된 객체와 관련한 상세 정보를 상기 표시부에 표시하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 3D 객체가 동작하는 레이어와 상기 마커가 동작하는 레이어를 서로 다르게 구성하여, 상기 3D 객체의 회전, 축소, 확대 및 이동 중 어느 하나의 기능이 수행되더라도 상기 마커가 상기 3D 객체로부터 일정 간격만큼 이격되도록 설정하는 것을 특징으로 하는 3D 객체와 마커를 이용한 MR 콘텐츠 제공 장치.
  12. 삭제
  13. 삭제
KR1020180017512A 2018-01-19 2018-02-13 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법 KR102020352B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180006992 2018-01-19
KR20180006992 2018-01-19

Publications (2)

Publication Number Publication Date
KR20190088843A KR20190088843A (ko) 2019-07-29
KR102020352B1 true KR102020352B1 (ko) 2019-09-11

Family

ID=67480706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180017512A KR102020352B1 (ko) 2018-01-19 2018-02-13 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102020352B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815158B1 (ko) * 2016-11-10 2018-01-05 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860673B1 (ko) 2007-03-13 2008-09-26 삼성전자주식회사 3차원 이미지 생성을 위한 이미지 생성 장치 및 방법
KR101325757B1 (ko) * 2010-07-09 2013-11-08 주식회사 팬택 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
KR20130092500A (ko) * 2012-02-10 2013-08-20 삼성전자주식회사 사용자 관심 정보를 이용한 광고 제공 장치 및 방법
KR20150126289A (ko) * 2014-05-02 2015-11-11 한국전자통신연구원 증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법
CN106484086B (zh) * 2015-09-01 2019-09-20 北京三星通信技术研究有限公司 用于辅助拍摄的方法及其拍摄设备
KR20160125322A (ko) * 2016-09-30 2016-10-31 한림대학교 산학협력단 광고 콘텐츠 생성 및 관리 장치와 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815158B1 (ko) * 2016-11-10 2018-01-05 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법

Also Published As

Publication number Publication date
KR20190088843A (ko) 2019-07-29

Similar Documents

Publication Publication Date Title
US11206373B2 (en) Method and system for providing mixed reality service
TWI617929B (zh) 儲存於可由處理器電路執行之一非暫態媒介中的系統及方法
KR102138389B1 (ko) 문서에서의 3차원 개체 브라우징
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
CN103092612B (zh) 实现安卓操作系统3d桌面贴图的方法及电子装置
WO2019183593A1 (en) Design and generation of augmented reality experiences for structured distribution of content based on location-based triggers
KR101815158B1 (ko) Mr 콘텐츠 제작 장치 및 그 방법
US10824869B2 (en) Clickless identification and online posting
US20150317365A1 (en) Modular search object framework
KR102043274B1 (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
EP2940607A1 (en) Enhanced search results associated with a modular search object framework
CN104504576A (zh) 服装三维展示交互的实现方法及平台
US9424361B2 (en) Information communication method and information communication apparatus
KR101679791B1 (ko) 모바일 장치를 이용한 전광판 구동시스템 및 방법
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
KR101809673B1 (ko) 단말 및 그의 제어 방법
KR102184162B1 (ko) 반응형 웹툰 제작 시스템 및 방법
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
JP2016200884A (ja) 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム
KR102020352B1 (ko) 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
JP6510116B2 (ja) 仮想オブジェクトの表示システムを用いた顧客把握システム、顧客把握システムプログラム及び顧客把握方法
KR101705812B1 (ko) Mr 콘텐츠 제작 장치 및 그 방법
Linares-Garcia et al. Framework and case studies for context-aware ar system (caars) for ubiquitous applications in the aec industry
KR100945288B1 (ko) 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어멀티서비스 방법 및 시스템
KR20190094875A (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant