KR20220123900A - 실감 콘텐츠 제공 시스템 및 그 방법 - Google Patents

실감 콘텐츠 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220123900A
KR20220123900A KR1020210027419A KR20210027419A KR20220123900A KR 20220123900 A KR20220123900 A KR 20220123900A KR 1020210027419 A KR1020210027419 A KR 1020210027419A KR 20210027419 A KR20210027419 A KR 20210027419A KR 20220123900 A KR20220123900 A KR 20220123900A
Authority
KR
South Korea
Prior art keywords
terminal
content
image
server
information
Prior art date
Application number
KR1020210027419A
Other languages
English (en)
Inventor
김영덕
안지현
김진욱
서덕주
Original Assignee
주식회사 팝스라인
주식회사 스타윙스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팝스라인, 주식회사 스타윙스 filed Critical 주식회사 팝스라인
Priority to KR1020210027419A priority Critical patent/KR20220123900A/ko
Publication of KR20220123900A publication Critical patent/KR20220123900A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)

Abstract

본 발명은 실감 콘텐츠 제공 시스템 및 그 방법을 개시한다. 즉, 본 발명은 단말에 저장된 콘텐츠를 로딩하고, 로딩된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 꾸미기 효과가 적용된 콘텐츠와 카메라를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시함으로써, 사용자의 직접 체험에 따른 사용자의 관심과 흥미를 유발할 수 있다.

Description

실감 콘텐츠 제공 시스템 및 그 방법{System for providing immersive contents and method thereof}
본 발명은 실감 콘텐츠 제공 시스템 및 그 방법에 관한 것으로서, 특히 단말에 저장된 콘텐츠를 로딩하고, 로딩된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 꾸미기 효과가 적용된 콘텐츠와 카메라를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시하는 실감 콘텐츠 제공 시스템 및 그 방법에 관한 것이다.
실감 콘텐츠(Immersive Content)는 현실 세계를 가장 비슷하게 나타내고자 하는 콘텐츠로, 시각, 청각, 촉각 같은 인간의 오감과 개인의 경험이나 사전 지식, 나아가 느낌(feeling)이나 감성(sensibility)까지 자극하여 사용자에게 실감(reality)을 전달할 수 있는 다차원 콘텐츠이다.
가상현실(Virtual Reality : VR)이나 증강현실(Augmented Reality : AR)에 대한 관심이 높아지고 있으나, 다양한 상황에 효과적으로 이러한 실감 콘텐츠를 적용하는 기술의 다양화에 한계가 있는 상태이다.
한국공개특허 제10-2019-0057808호 [제목: 증강현실을 이용한 보물찾기 제공방법]
본 발명의 목적은 단말에 저장된 콘텐츠를 로딩하고, 로딩된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 꾸미기 효과가 적용된 콘텐츠와 카메라를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시하는 실감 콘텐츠 제공 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 증강현실 영상 내의 특정 시점의 이미지를 캡처하고, 캡쳐된 이미지를 서버에 업로드하고, 서버에서 업로드된 이미지로부터 꾸미기 효과가 적용된 콘텐츠를 추출하고, 추출된 콘텐츠에 대한 기계 학습을 통해 해당 콘텐츠와 미리 설정된 유사도 이상의 매칭 결과를 나타내는 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 포함하는 기계 학습 결과를 단말에 제공하는 실감 콘텐츠 제공 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 실감 콘텐츠 제공 방법은 단말에 의해, 상기 단말에 미리 저장된 하나 이상의 콘텐츠를 불러와서 표시하는 단계; 상기 단말에 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택될 때, 상기 단말에 의해, 상기 선택된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하는 단계; 상기 단말에 의해, 상기 꾸미기 효과가 적용된 콘텐츠와 상기 단말에 의해 획득되는 영상을 합성하여 증강현실 영상을 생성하는 단계; 및 상기 단말에 의해, 상기 생성된 증강현실 영상을 표시하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 꾸미기 효과는, 액자 종류 선택 기능, 액자 크기 선택 기능, 액자 재질 선택 기능, 액자 색상 선택 기능 및 액자 디자인 형태 선택 기능 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 단말에 의해, 상기 증강현실 영상 내의 특정 시점의 이미지를 캡처하는 단계; 상기 단말에 의해, 상기 캡처된 이미지를 서버에 업로드하는 단계; 상기 서버에 의해, 상기 캡처된 이미지에 포함된 꾸미기 효과가 적용된 콘텐츠를 추출하는 단계; 상기 서버에 의해, 상기 추출된 꾸미기 효과가 적용된 콘텐츠를 미리 설정된 작품 추천 모델의 입력값으로 하여 기계 학습을 수행하는 단계; 상기 서버에 의해, 기계 학습 수행에 따라 확인된 하나 이상의 작품 정보 및 콘텐츠 정보를 상기 단말에 전송하는 단계; 상기 단말에 의해, 상기 서버로부터 전송되는 하나 이상의 작품 정보 및 콘텐츠 정보를 표시하는 단계; 및 상기 표시되는 하나 이상의 작품 정보 및 콘텐츠 정보 중에서 어느 하나의 작품 정보 또는 콘텐츠 정보가 선택될 때, 상기 단말에 의해, 상기 서버 및 결제 서버와 연동하여, 결제 기능을 수행하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 캡처된 이미지를 상기 서버에 업로드하는 단계는, 상기 증강현실 영상이 표시되는 화면의 일측에 표시되는 마커가 선택되는 경우 또는 상기 증강현실 영상이 표시되는 중에 상기 단말의 사용자 조작에 따른 미리 설정된 움직임이 감지되는 경우, 상기 단말에 의해, 상기 마커가 선택되는 시점 또는 상기 움직임이 감지되는 시점의 상기 증강현실 영상의 이미지를 캡처하고, 상기 캡처된 이미지를 상기 서버에 자동으로 업로드할 수 있다.
본 발명과 관련된 일 예로서 상기 서버로부터 전송되는 하나 이상의 작품 정보 및 콘텐츠 정보를 표시하는 단계는, 상기 단말의 사용자가 현실 세계에서 상기 하나 이상의 작품 정보 및 콘텐츠 정보에 대응하는 작품 및 콘텐츠가 어울리는지 확인할 수 있도록 상기 수신된 작품 정보에 대응하는 작품 및 상기 수신된 콘텐츠 정보에 대응하는 콘텐츠를 백그라운드 상태로 획득되는 영상과 합성하여 또 다른 증강현실 영상을 생성하는 과정; 및 분할된 화면의 일측에 상기 수신된 하나 이상의 작품 정보 및 콘텐츠 정보를 표시하고, 분할된 화면의 다른 일측에 상기 생성된 또 다른 증강현실 영상을 표시하는 과정을 포함할 수 있다.
본 발명의 실시예에 따른 실감 콘텐츠 제공 시스템은 미리 저장된 하나 이상의 콘텐츠를 불러와서 표시하고, 상기 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택될 때, 상기 선택된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 상기 꾸미기 효과가 적용된 콘텐츠와 상기 단말에 의해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 상기 생성된 증강현실 영상을 표시하는 단말; 및 상기 증강현실 영상 내에서 캡처된 이미지를 등록하는 서버를 포함할 수 있다.
본 발명은 단말에 저장된 콘텐츠를 로딩하고, 로딩된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 꾸미기 효과가 적용된 콘텐츠와 카메라를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시함으로써, 사용자의 직접 체험에 따른 사용자의 관심과 흥미를 유발할 수 있는 효과가 있다.
또한, 본 발명은 증강현실 영상 내의 특정 시점의 이미지를 캡처하고, 캡쳐된 이미지를 서버에 업로드하고, 서버에서 업로드된 이미지로부터 꾸미기 효과가 적용된 콘텐츠를 추출하고, 추출된 콘텐츠에 대한 기계 학습을 통해 해당 콘텐츠와 미리 설정된 유사도 이상의 매칭 결과를 나타내는 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 포함하는 기계 학습 결과를 단말에 제공함으로써, 사용자가 관심을 보이는 콘텐츠와 관련한 작품이나 콘텐츠를 추천함에 따라 콘텐츠 거래 활성화를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 실감 콘텐츠 제공 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 실감 콘텐츠 제공 방법을 나타낸 흐름도이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 단말의 화면의 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 실감 콘텐츠 제공 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 실감 콘텐츠 제공 시스템(10)은 단말(100) 및 서버(200)로 구성된다. 도 1에 도시된 실감 콘텐츠 제공 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 실감 콘텐츠 제공 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 실감 콘텐츠 제공 시스템(10)이 구현될 수도 있다.
상기 단말(또는 실감 콘텐츠 제공 장치)(100)은 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치, 키오스크 등과 같은 다양한 단말기에 적용될 수 있다.
상기 서버(200)는 웹 서버, 데이터베이스 서버, 프록시 서버 등의 형태로 구현될 수 있다. 또한, 상기 서버(200)에는 네트워크 부하 분산 메커니즘, 내지 해당 서버(200)가 인터넷 또는 다른 네트워크상에서 동작할 수 있도록 하는 다양한 소프트웨어 중 하나 이상이 설치될 수 있으며, 이를 통해 컴퓨터화된 시스템으로 구현될 수 있다. 또한, 네트워크는 http 네트워크일 수 있으며, 전용 회선(private line), 인트라넷 또는 임의의 다른 네트워크일 수 있다. 나아가, 단말(100) 및 서버(200) 간의 연결은 데이터가 임의의 해커 또는 다른 제3자에 의한 공격을 받지 않도록 보안 네트워크로 연결될 수 있다. 또한, 상기 서버(200)는 복수의 데이터베이스 서버를 포함할 수 있으며, 이러한 데이터베이스 서버가 분산 데이터베이스 서버 아키텍처를 비롯한 임의의 유형의 네트워크 연결을 통해 상기 서버(200)와 별도로 연결되는 방식으로 구현될 수 있다.
상기 단말(100) 및 상기 서버(200) 각각은 다른 단말들과의 통신 기능을 수행하기 위한 통신부(미도시), 다양한 정보 및 프로그램(또는 애플리케이션)을 저장하기 위한 저장부(미도시), 다양한 정보 및 프로그램 실행 결과를 표시하기 위한 표시부(미도시), 상기 다양한 정보 및 프로그램 실행 결과에 대응하는 음성 정보를 출력하기 위한 음성 출력부(미도시), 각 단말의 다양한 구성 요소 및 기능을 제어하기 위한 제어부(미도시) 등을 포함할 수 있다.
상기 단말(100)은 상기 서버(200) 등과 통신한다. 여기서, 상기 단말(100)은 상기 서버(200)에서 제공하는 콘텐츠 꾸미기 기능, 콘텐츠 등록/업로드 기능 등을 제공받기 위한 사용자가 소지한 단말일 수 있다.
또한, 상기 단말(100)은 상기 서버(200)와의 연동에 의해, 상기 서버(200)에서 제공하는 전용 앱 및/또는 웹 사이트를 통해 콘텐츠 꾸미기 기능, 콘텐츠 등록/업로드 기능 등을 제공받기 위한 일반 사용자로 회원 가입하며, 개인 정보 등을 상기 서버(200)에 등록한다. 이때, 상기 개인 정보는 아이디, 이메일 주소, 패스워드(또는 비밀번호), 이름, 성별, 생년월일, 연락처, 주소지(또는 주소정보) 등을 포함한다.
또한, 상기 단말(100)은 해당 단말(100)의 사용자가 가입한 SNS 계정 정보 또는 타사이트 계정 정보를 이용하여 상기 서버(200)에 사용자로 회원 가입할 수도 있다. 여기서, 상기 SNS 계정은 페이스북, 트위터, 인스타그램, 카카오 스토리, 네이버 블로그 등과 관련한 정보일 수 있다. 또한, 상기 타사이트 계정은 유튜브, 카카오, 네이버 등과 관련한 정보일 수 있다.
또한, 회원 가입 절차 수행 시, 상기 단말(100)은 본인 인증 수단(예를 들어 이동 전화, 신용카드, 아이핀 등 포함)을 통한 인증 기능을 완료해야 상기 서버(200)에 대한 회원 가입 절차를 정상적으로 완료할 수 있다.
또한, 회원 가입이 완료된 후, 상기 단말(100)은 상기 서버(200)에서 제공하는 서비스를 이용하기 위해서, 상기 서버(200)로부터 제공되는 전용 앱(또는 애플리케이션/응용 프로그램/특정 앱)을 해당 단말(100)에 설치한다. 이때, 상기 전용 앱은 콘텐츠 꾸미기 기능, 콘텐츠 등록/업로드 기능 등을 수행하기 위한 앱일 수 있다.
또한, 회원 가입이 완료된 후, 상기 단말(100)은 상기 서버(200)에서 제공되는 할인 쿠폰을 해당 전용 앱을 통해 표시할 수 있다. 이때, 상기 할인 쿠폰은 해당 서버(200)에서 제공하는 콘텐츠 꾸미기 기능, 콘텐츠 등록/업로드 기능 등을 수행시 일정 비율의 할인 정보를 포함하는 할인 쿠폰일 수 있다.
또한, 상기 단말(100)은 해당 단말(100)에 미리 저장된 하나 이상의 콘텐츠를 로딩(또는 불러오기)한다. 여기서, 상기 콘텐츠는 이미지, 동영상, 텍스트 등을 포함하며, 임의의 사용자가 그린 드로잉(또는 소묘/스케치/크로키)일 수도 있다. 이때, 상기 단말(100)은 해당 단말(100)에 미리 설치된 전용 앱을 실행하고, 전용 앱 실행에 따른 앱 실행 결과 화면 내에서의 미리 설정된 불러오기 메뉴가 선택되는 경우에, 상기 단말(100)의 미리 설정된 폴더에 미리 저장된 하나 이상의 콘텐츠를 로딩할 수도 있다.
또한, 상기 단말(100)은 상기 로딩된(또는 불러온) 하나 이상의 콘텐츠를 표시한다.
또한, 상기 단말(100)에 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택되는 경우, 상기 단말(100)은 상기 선택된 콘텐츠에 대해서 사용자 입력(또는 사용자 선택/터치/제어)에 따른 꾸미기 효과(또는 꾸미기 기능)를 적용(또는 수행/반영)한다.
즉, 상기 단말(100)에 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택되는 경우, 상기 단말(100)은 콘텐츠에 대한 꾸미기 효과를 위해서 꾸미기 화면을 상기 단말(100)의 일측에 표시한다. 여기서, 상기 꾸미기 화면은 다양한 액자 종류를 선택하기 위한 액자 종류 선택 항목, 액자의 크기를 선택하기 위한 액자 크기 선택 항목, 액자의 프레임을 선택하기 위한 액자 프레임 선택 항목 등을 포함한다. 또한, 상기 액자 종류는 사각형, 원형, 마름모, 삼각형, 다각형 등을 포함한다. 또한, 상기 액자 크기는 미리 설정된 규격화된 크기, 사용자 설정에 따른 크기 등을 포함한다. 또한, 상기 액자 프레임은 재질, 색상, 디자인 형태 등을 포함한다.
또한, 상기 단말(100)은 상기 선택된 콘텐츠에 대해서 사용자 입력에 따라 액자 종류, 액자 크기, 액자 프레임 등을 포함하는 꾸미기 효과(또는 꾸미기 기능)를 적용(또는 수행/반영)한다.
또한, 상기 단말(100)은 상기 꾸미기 효과(또는 꾸미기 기능)가 적용된(또는 수행된/반영된) 콘텐츠를 표시한다.
또한, 상기 단말(100)은 상기 꾸미기 효과가 적용된 콘텐츠와 해당 단말(100)에 구비된 카메라(미도시)를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성한다.
즉, 상기 단말(100)은 백그라운드 상태로 현실 세계의 일정 영역에 해당하는 영상(또는 영상 정보)을 획득(또는 촬영)한다.
또한, 상기 단말(100)은 상기 꾸미기 효과가 적용된 콘텐츠를 상기 획득된 영상에 적용(또는 투영/합성)하여 상기 증강현실 영상을 생성한다. 이때, 상기 단말(100)은 사용자 제어에 따라 상기 증강현실 영상 내에서의 특정 위치(예를 들어 거실, 건물로비, 침실, 복도, 계단, 건물외벽 등의 벽면)에 상기 꾸미기 효과가 적용된 콘텐츠(또는 가상 객체)를 고정 배치한다.
이에 따라, 상기 증강현실 내에서의 실시간으로 획득되는 영상은 변화하더라도 상기 꾸미기 효과가 적용된 콘텐츠는 해당 특정 위치에 고정된 상태를 유지할 수 있다.
또한, 상기 단말(100)은 상기 생성된 증강현실 영상을 표시한다.
여기서, 상기 카메라(또는 카메라부/촬영부)는 상기 단말(100)의 일측에 배치(또는 구성/형성/설치)한다.
또한, 상기 카메라는 상기 단말(100)의 전면, 상기 단말(100)의 후면, 상기 단말(100)의 측면 등을 포함하는 전면을 촬영할 수 있도록 하나 이상의 이미지 센서(카메라 모듈 또는 카메라)로 구성한다. 이때, 상기 카메라는 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 카메라로 구성할 수도 있다.
또한, 상기 카메라는 상기 단말(100)의 전면/후면/측면에 위치한 하나 이상의 객체를 포함하는 영상 정보를 획득(또는 촬영)한다.
즉, 상기 카메라는 영상 통화 모드, 촬영 모드, 영상회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 일 예로, 상기 카메라는 객체(또는 피사체)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
또한, 상기 카메라에서 처리된 화상 프레임(또는 영상 정보)은 디지털 비디오 레코더(Digital video recorder: DVR)에 저장되거나, 상기 단말(100)에 구비된 저장부(미도시)에 저장되거나, 외부 서버 등에 전송될 수 있다.
또한, 상기 카메라는 렌즈를 통해 들어오는 피사체를 뷰파인더(viewfinder) 화면상에 표시한다. 이러한 카메라는 렌즈를 통해 들어오는 피사체의 상을 전기신호로 변환하는 이미지 센서로 구성된다. 예를 들어, 상기 카메라는 CCD (Charge Coupled Device) 센서 및 CMOS (Complementary Metal Oxide) 센서 등을 포함할 수 있다.
상기 카메라를 통해 획득된(또는 촬영된) 영상은 상기 저장부에 저장될 수 있다. 상기 영상은 정지영상 및 동영상 등으로 구분되어 저장될 수 있다.
이와 같이, 상기 카메라는 현실 세계의 일정 영역에 해당하는 영상(또는 영상 정보)을 획득(또는 촬영)한다.
본 발명의 실시예에서는, 상기 단말(100)에서 해당 단말(100)에 미리 저장된 복수의 가상현실 영상 중에서 어느 하나의 가상현실 영상을 선택하여, 상기 구축된 가상공간에 상기 선택된 가상현실 영상을 적용하여 증강현실 영상을 생성하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 이벤트 발생에 따라 상기 단말(100)에서 복수의 가상현실 영상을 관리(또는 저장) 중인 서버(200)에 특정 가상현실 영상의 제공을 요청하고, 상기 요청에 응답하여 상기 서버(200)로부터 제공되는 특정 가상현실 영상을 적용하여 상기 증강현실 영상을 생성할 수도 있다.
또한, 상기 단말(100)은 상기 증강현실 영상 내의 특정 시점의 이미지(또는 화면)를 캡처한다. 여기서, 상기 캡처된 이미지는 상기 꾸미기 효과가 적용된 콘텐츠를 포함한다.
또한, 상기 단말(100)은 상기 캡처된 이미지를 서버(200)에 업로드(또는 등록/전송/제공)한다.
즉, 상기 단말(100)은 상기 캡처된 이미지, 상기 단말(100)의 식별 정보 등을 상기 서버(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
이때, 상기 증강현실 영상이 표시되는 화면의 일측에 표시되는 마커가 선택되는 경우 또는 상기 증강현실 영상이 표시되는 중에 상기 단말(100)의 사용자 조작(또는 사용자 제어)에 따른 미리 설정된 움직임이 감지되는 경우, 상기 단말(100)은 상기 마커가 선택되는 시점 또는 상기 움직임이 감지되는 시점의 상기 증강현실 영상의 이미지를 캡처하고, 상기 캡처된 이미지를 상기 서버(200)에 자동으로 업로드할 수도 있다. 여기서, 상기 미리 설정된 움직임은 상기 단말(100)의 시계 방향(또는 반시계 방향)으로 원을 그리는 움직임(또는 회전하는 움직임), 상기 단말(100)의 위/아래 방향(또는 상/하 방향, 좌/우 방향/대각선 방향)으로의 움직임, 상기 단말(100)의 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 기울임, 상기 단말(100)의 화면에 대한 멀티 터치 입력, 상기 단말(100)의 사용자의 터치 제스처 등을 포함한다. 여기서, 상기 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 핀치, 스와이프 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후, 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대값이나 축소값이 결정된다.
"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
또한, 상기 단말(100)은 앞서 서버(200)에 업로드된(또는 등록된) 상기 캡처된 이미지에 관련해서 상기 서버(200)로부터 전송되는 하나 이상의 작품 정보 및/또는 콘텐츠 정보(또는 기계 학습 결과/인공지능 결과/딥 러닝 결과)를 수신한다.
또한, 상기 단말(100)은 상기 수신된 하나 이상의 작품 정보 및/또는 콘텐츠 정보(또는 기계 학습 결과/인공지능 결과/딥 러닝 결과)를 표시한다. 이때, 상기 단말(100)은 상기 하나 이상의 작품 정보 및/또는 콘텐츠 정보에 대응하는 작품 및/또는 콘텐츠가 적용된 다른 증강현실 영상을 수신하고, 상기 수신된 다른 증강현실 영상을 표시할 수도 있다.
또한, 상기 단말(100)은 해당 단말(100)의 사용자가 해당 증강현실 영상의 배경이 되는 현실 세계에서 상기 확인된 작품 및/또는 콘텐츠가 어울리는지를 확인할 수 있도록 상기 수신된 작품 정보에 대응하는 작품 및/또는 상기 수신된 콘텐츠 정보에 대응하는 콘텐츠를 백그라운드 상태로 획득되는 영상과 합성하여 또 다른 증강현실 영상을 생성하고, 상기 생성된 또 다른 증강현실 영상을 표시할 수도 있다.
이때, 상기 단말(100)은 화면을 분할하여, 일측에 상기 수신된 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 표시하고, 다른 일측에 상기 수신된 다른 증강현실 영상(또는 상기 하나 이상의 작품 및 콘텐츠에 각각 대응하는 하나 이상의 다른 증강현실 영상) 또는 상기 생성된 또 다른 증강현실 영상(또는 상기 하나 이상의 작품 및 콘텐츠에 각각 대응하는 하나 이상의 또 다른 증강현실 영상)을 표시할 수도 있다.
또한, 상기 단말(100)에 표시되는 하나 이상의 작품 정보 및/또는 콘텐츠 정보 중에서 적어도 하나의 작품 정보 및/또는 콘텐츠 정보가 선택되는 경우, 상기 단말(100)은 상기 서버(200) 및 결제 서버(미도시)와 연동하여, 상기 선택된 적어도 하나의 작품 정보 및/또는 콘텐츠 정보와 관련한 결제 금액에 대해서 결제 기능을 수행한다. 이때, 상기 단말(100)은 카드 결제, 은행의 결제 계좌 연동을 통한 자동 이체, 상기 서버(200)에 회원 가입한 상기 단말(100)의 계정에 남아 있는 현금성 포인트나 현금을 이용한 결제, 카카오페이, 네이버페이 등을 포함하는 간편 결제 등을 이용해서 결제 기능을 수행할 수 있다.
결제 기능이 실패한 경우, 상기 단말(100)은 상기 서버(200)(또는 상기 결제 서버)로부터 전송되는 결제 실패 정보(예를 들어 결제일자, 결제금액, 실패 정보(일 예로 잔액 부족, 한도 초과 등 포함) 등 포함)(또는 결제가 실패한 상태임을 나타내는 정보)를 수신하고, 상기 수신된 결제 실패 정보를 표시(또는 출력)한다.
또한, 결제 기능이 정상적으로 완료되는 경우, 상기 단말(100)은 상기 서버(200)(또는 상기 결제 서버)로부터 전송되는 결제 기능이 정상적으로 수행된 상태임을 나타내는 정보 등을 수신하고, 상기 수신된 결제 기능이 정상적으로 수행된 상태임을 나타내는 정보 등을 표시(또는 출력)한다. 여기서, 상기 결제 기능이 정상적으로 수행된 상태임을 나타내는 정보(또는 결제 기능 수행 결과)는 결제 일자 및 시각 정보, 결제 금액, 결제 상품명, 판매자 정보 등을 포함한다.
또한, 상기 단말(100)은 결제 기능이 정상적으로 수행된 후, 상기 적어도 하나의 작품 정보 및/또는 콘텐츠 정보에 대응하는 적어도 하나의 작품 및/또는 콘텐츠를 상기 서버(200)와 관련한 배송 단말(미도시)의 배송 기능을 통해 제공받는다(또는 배송받는다).
이와 같이, 상기 단말(100)은 상기 사용자가 선택한 콘텐츠와 관련해서 해당 서버(200)로부터 추천되는 작품(또는 콘텐츠)에 대해서 구매 기능을 수행할 수 있다.
본 발명의 실시예에서는 상기 단말(100)에서 전용 앱 형태로 콘텐츠 꾸미기 기능, 콘텐츠 등록/업로드 기능 등을 수행하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 전용 앱 이외에도 상기 서버(200)에 제공하는 웹 사이트 등을 통해 상기 콘텐츠 꾸미기 기능, 상기 콘텐츠 등록/업로드 기능 등을 수행할 수도 있다.
상기 서버(200)는 상기 단말(100) 등과 통신한다.
또한, 상기 서버(200)는 상기 단말(100) 등의 사용자에 대한 회원 가입 절차 등을 수행한다.
또한, 상기 서버(200)는 상기 단말(100) 등의 사용자와 관련한 개인 정보를 등록한다. 이때, 상기 서버(200)는 해당 개인 정보 등을 DB 서버(미도시)에 등록(또는 관리)할 수 있다.
또한, 상기 서버(200)는 상기 단말(100) 등의 사용자에 대한 회원 관리 기능을 수행한다.
또한, 상기 서버(200)는 콘텐츠 꾸미기 기능, 콘텐츠 등록/업로드 기능 등을 제공하는 전용 앱 및/또는 웹 사이트를 상기 단말(100) 등에 제공한다.
또한, 상기 서버(200)는 공지사항, 이벤트 등을 위한 게시판 기능을 제공한다.
또한, 상기 서버(200)는 미리 설정된 학습용 데이터 등을 통해 작품 추천 모델에 대해서 특정 로우 데이터와 관련한 학습용 데이터 등을 위한 학습 기능을 수행한다. 이때, 상기 서버(200)는 로우 데이터를 병렬 및 분산하여 저장하고, 저장된 로우 데이터(또는 학습용 요건 데이터 등 포함) 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터, 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하고 적어도 하나의 종류의 기계학습에 기반하여 학습, 훈련 및 테스트를 진행하여 빅데이터를 구축할 수 있다. 이때, 적어도 하나의 종류의 기계학습은 지도 학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 및 심층 강화 학습(Deep Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합으로 이루어질 수 있다.
즉, 상기 서버(200)는 특정 콘텐츠에 대한 특성 분석을 통해서 뉴럴 네트워크(Neural Networks) 형태의 상기 작품 추천 모델에 대해 학습 기능을 수행한다.
또한, 상기 서버(200)는 상기 단말(100)과 연동하여, 상기 증강현실 영상 내의 특정 시점에 캡쳐된 이미지(또는 화면)를 해당 서버(200)에 업로드(또는 등록)한다. 여기서, 상기 캡처된 이미지는 상기 꾸미기 효과가 적용된 콘텐츠를 포함한다.
즉, 상기 서버(200)는 상기 단말(100)로부터 전송되는 상기 캡처된 이미지, 상기 단말(100)의 식별 정보 등을 수신한다.
또한, 상기 서버(200)는 상기 수신된 캡처된 이미지를 미리 설정된 게시판(또는 폴더)에 등록(또는 저장)한다.
또한, 상기 서버(200)는 상기 캡처된 이미지에 포함된 꾸미기 효과가 적용된 콘텐츠를 추출한다.
또한, 상기 서버(200)는 상기 추출된 꾸미기 효과가 적용된 콘텐츠를 미리 설정된 작품 추천 모델의 입력값으로 하여 기계 학습(또는 인공지능/딥 러닝)을 수행한다. 여기서, 상기 작품 추천 모델은 미리 설정된 학습용 데이터 셋을 통해 임의의 콘텐츠와 관련한 특징을 분석하도록 지속적으로 학습 기능을 수행한 상태일 수 있다.
즉, 상기 서버(200)는 상기 작품 추천 모델에 포함된 네트워크 함수를 이용해서 상기 추출된 꾸미기 효과가 적용된 콘텐츠에 대해 추론 기능을 수행하여, 해당 서버(200)에서 관리하는 복수의 작품 정보 및 복수의 콘텐츠 정보를 포함하는 빅데이터 중에서 해당 추출된 꾸미기 효과가 적용된 콘텐츠와 미리 설정된 유사도 이상의 매칭 결과를 나타내는 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 확인(또는 검색/분류)한다. 여기서, 상기 작품 정보(또는 콘텐츠 정보)는 작품명(또는 콘텐츠명), 작가명(또는 제작자명), 작품 설명, 파일 형태의 작품 이미지(또는 콘텐츠), 가격 정보 등을 포함한다. 이때, 상기 파일 형태의 작품 이미지(또는 콘텐츠)는 저작권 보호를 위해서 워터마크(watermark) 기능, DRM(Digital Rights Management: 디지털 저작권 관리) 기능, DLP(Data Leakage Prevention: 데이터 유출 방지) 기능 등이 적용된 상태일 수 있다.
또한, 상기 서버(200)는 상기 확인된 하나 이상의 작품 정보 및/또는 콘텐츠 정보(또는 기계 학습 결과/인공지능 결과/딥 러닝 결과)를 상기 단말(100)에 전송한다.
이때, 상기 서버(200)는 해당 단말(100)의 사용자가 해당 증강현실 영상의 배경이 되는 현실 세계에서 상기 확인된 작품 및/또는 콘텐츠가 어울리는지를 확인할 수 있도록 상기 확인된 하나 이상의 작품 정보에 대응하는 작품 및/또는 상기 콘텐츠 정보에 대응하는 콘텐츠를 상기 캡처된 이미지(또는 상기 증강현실 영상)에 적용한 다른 증강현실 영상을 생성하고, 상기 생성된 다른 증강현실 영상을 상기 단말(100)에 전송할 수도 있다.
또한, 상기 단말(100)에 표시되는 하나 이상의 작품 정보 및/또는 콘텐츠 정보 중에서 적어도 하나의 작품 정보 및/또는 콘텐츠 정보가 선택되는 경우, 상기 서버(200)는 상기 단말(100) 및 결제 서버(미도시)와 연동하여, 상기 선택된 적어도 하나의 작품 정보 및/또는 콘텐츠 정보와 관련한 결제 금액에 대해서 결제 기능을 수행한다.
결제 기능이 실패한 경우, 상기 서버(200)는 결제 실패 정보(예를 들어 결제일자, 결제금액, 실패 정보(일 예로 잔액 부족, 한도 초과 등 포함) 등 포함)(또는 결제가 실패한 상태임을 나타내는 정보)를 상기 단말(100)에 전송(또는 제공)한다.
또한, 결제 기능이 정상적으로 완료되는 경우, 상기 서버(200)는 결제 기능이 정상적으로 수행된 상태임을 나타내는 정보 등을 상기 단말(100)에 전송(또는 제공)한다. 여기서, 상기 결제 기능이 정상적으로 수행된 상태임을 나타내는 정보(또는 결제 기능 수행 결과)는 결제 일자 및 시각 정보, 결제 금액, 결제 상품명, 판매자 정보 등을 포함한다.
또한, 상기 서버(200)는 상기 서버(200)와 관련한 배송 단말(미도시)과 연동하여, 해당 단말(100)에서 구매한 작품(또는 콘텐츠)에 대한 배송 기능을 제공(또는 수행)한다.
이와 같이, 단말에 저장된 콘텐츠를 로딩하고, 로딩된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 꾸미기 효과가 적용된 콘텐츠와 카메라를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시할 수 있다.
또한, 이와 같이, 증강현실 영상 내의 특정 시점의 이미지를 캡처하고, 캡쳐된 이미지를 서버에 업로드하고, 서버에서 업로드된 이미지로부터 꾸미기 효과가 적용된 콘텐츠를 추출하고, 추출된 콘텐츠에 대한 기계 학습을 통해 해당 콘텐츠와 미리 설정된 유사도 이상의 매칭 결과를 나타내는 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 포함하는 기계 학습 결과를 단말에 제공할 수 있다.
이하에서는, 본 발명에 따른 실감 콘텐츠 제공 방법을 도 1 내지 도 6을 참조하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 실감 콘텐츠 제공 방법을 나타낸 흐름도이다.
먼저, 단말(100)은 해당 단말(100)에 미리 저장된 하나 이상의 콘텐츠를 로딩(또는 불러오기)한다. 여기서, 상기 콘텐츠는 이미지, 동영상, 텍스트 등을 포함하며, 임의의 사용자가 그린 드로잉(또는 소묘/스케치/크로키)일 수도 있다. 이때, 상기 단말(100)은 해당 단말(100)에 미리 설치된 전용 앱을 실행하고, 전용 앱 실행에 따른 앱 실행 결과 화면 내에서의 미리 설정된 불러오기 메뉴가 선택되는 경우에, 상기 단말(100)의 미리 설정된 폴더에 미리 저장된 하나 이상의 콘텐츠를 로딩할 수도 있다.
또한, 상기 단말(100)은 상기 로딩된(또는 불러온) 하나 이상의 콘텐츠를 표시한다.
일 예로, 도 3에 도시된 바와 같이, 제 1 단말(100)은 해당 제 1 단말의 저장 폴더에 미리 저장된 제 1 이미지, 제 2 이미지, 제 3 이미지, 제 1 동영상 및 제 2 동영상을 로딩하고, 로딩한 제 1 이미지, 제 2 이미지, 제 3 이미지, 제 1 동영상 및 제 2 동영상을 표시(300)한다(S210).
이후, 상기 단말(100)에 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택되는 경우, 상기 단말(100)은 상기 선택된 콘텐츠에 대해서 사용자 입력(또는 사용자 선택/터치/제어)에 따른 꾸미기 효과(또는 꾸미기 기능)를 적용(또는 수행/반영)한다.
즉, 상기 단말(100)에 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택되는 경우, 상기 단말(100)은 콘텐츠에 대한 꾸미기 효과를 위해서 꾸미기 화면을 상기 단말(100)의 일측에 표시한다. 여기서, 상기 꾸미기 화면은 다양한 액자 종류를 선택하기 위한 액자 종류 선택 항목, 액자의 크기를 선택하기 위한 액자 크기 선택 항목, 액자의 프레임을 선택하기 위한 액자 프레임 선택 항목 등을 포함한다. 또한, 상기 액자 종류는 사각형, 원형, 마름모, 삼각형, 다각형 등을 포함한다. 또한, 상기 액자 크기는 미리 설정된 규격화된 크기, 사용자 설정에 따른 크기 등을 포함한다. 또한, 상기 액자 프레임은 재질, 색상, 디자인 형태 등을 포함한다.
또한, 상기 단말(100)은 상기 선택된 콘텐츠에 대해서 사용자 입력에 따라 액자 종류, 액자 크기, 액자 프레임 등을 포함하는 꾸미기 효과(또는 꾸미기 기능)를 적용(또는 수행/반영)한다.
또한, 상기 단말(100)은 상기 꾸미기 효과(또는 꾸미기 기능)가 적용된(또는 수행된/반영된) 콘텐츠를 표시한다.
일 예로, 상기 제 1 단말에 표시되는 제 1 이미지, 제 2 이미지, 제 3 이미지, 제 1 동영상, 제 2 동영상 등 중에서 제 2 이미지(310)가 선택될 때, 상기 제 1 단말은 상기 제 1 단말의 사용자 선택에 따라 상기 선택된 제 2 이미지에 알루미늄 재질의 F10호 규격(53.0cm X 45.5cm)의 액자를 적용하고, 도 4에 도시된 바와 같이, 상기 액자 꾸미기 효과가 적용된 제 2 이미지(400)를 표시한다(S220).
이후, 상기 단말(100)은 상기 꾸미기 효과가 적용된 콘텐츠와 해당 단말(100)에 구비된 카메라(미도시)를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성한다.
즉, 상기 단말(100)은 백그라운드 상태로 현실 세계의 일정 영역에 해당하는 영상(또는 영상 정보)을 획득(또는 촬영)한다.
또한, 상기 단말(100)은 상기 꾸미기 효과가 적용된 콘텐츠를 상기 획득된 영상에 적용(또는 투영/합성)하여 상기 증강현실 영상을 생성한다. 이때, 상기 단말(100)은 사용자 제어에 따라 상기 증강현실 영상 내에서의 특정 위치(예를 들어 거실, 건물로비, 침실, 복도, 계단, 건물외벽 등의 벽면)에 상기 꾸미기 효과가 적용된 콘텐츠(또는 가상 객체)를 고정 배치하며, 2D 형태 또는 3D 형태로 변환된 상태일 수 있다.
이에 따라, 상기 증강현실 내에서의 실시간으로 획득되는 영상은 변화하더라도 상기 꾸미기 효과가 적용된 콘텐츠는 해당 특정 위치에 고정된 상태를 유지할 수 있다.
또한, 상기 단말(100)은 상기 생성된 증강현실 영상을 표시한다.
일 예로, 상기 제 1 단말은 백그라운드 상태로 제 1 단말의 뷰파인더 화면에 표시되는 현실 세계에서의 일정 영역에 해당하는 제 1 영상을 획득한다.
또한, 상기 제 1 단말의 뷰파인더 화면에 표시되는 제 1 영상에서의 벽면으로 사용자 선택에 따라 상기 선택된 꾸미기 효과가 적용된 제 2 이미지가 터치 앤 드래그에 따라 위치될 때, 상기 제 1 단말은 해당 뷰파인더 화면에 표시되는 현실 세계의 일정 영역(또는 해당 벽면 영역)에 제 1 가상 공간을 구축한다.
또한, 상기 제 1 제어부는 상기 구축된 제 1 가상공간에 상기 꾸미기 효과가 적용된 제 2 이미지를 적용하여 제 1 증강현실 영상을 생성한다. 이때, 상기 제 1 단말은 상기 제 2 이미지의 크기를 현실 세계에 반영하기 위해서, 상기 제 1 단말과 상기 제 1 영상에서의 벽면까지의 거리를 근거로 상기 꾸미기 효과가 적용된 제 2 이미지를 원래 크기로부터 20% 줄인 상태로 해당 벽면에 위치(또는 고정)시켜, 상기 제 1 증강현실 영상을 생성한다.
또한, 도 5에 도시된 바와 같이, 상기 제 1 단말은 상기 생성된 제 1 증강현실 영상(500)을 표시한다. 이때, 도 6에 도시된 바와 같이, 상기 제 1 단말은 실시간으로 획득되는 제 1 영상이 변화하더라도 상기 꾸미기 효과가 적용된 제 2 이미지를 해당 벽면상에 고정된 상태(600)로 표시하여, 사용자가 다양한 위치에서 해당 꾸미기 효과가 적용된 제 2 이미지를 확인할 수 있도록 구성할 수 있다(S230).
이후, 상기 단말(100)은 상기 증강현실 영상 내의 특정 시점의 이미지(또는 화면)를 캡처한다. 여기서, 상기 캡처된 이미지는 상기 꾸미기 효과가 적용된 콘텐츠를 포함한다.
또한, 상기 단말(100)은 상기 캡처된 이미지를 서버(200)에 업로드(또는 등록/전송/제공)한다.
즉, 상기 단말(100)은 상기 캡처된 이미지, 상기 단말(100)의 식별 정보 등을 상기 서버(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
또한, 상기 서버(200)는 상기 단말(100)로부터 전송되는 상기 캡처된 이미지, 상기 단말(100)의 식별 정보 등을 수신하고, 상기 수신된 캡처된 이미지를 미리 설정된 게시판(또는 폴더)에 등록(또는 저장)한다.
이때, 상기 증강현실 영상이 표시되는 화면의 일측에 표시되는 마커가 선택되는 경우 또는 상기 증강현실 영상이 표시되는 중에 상기 단말(100)의 사용자 조작(또는 사용자 제어)에 따른 미리 설정된 움직임이 감지되는 경우, 상기 단말(100)은 상기 마커가 선택되는 시점 또는 상기 움직임이 감지되는 시점의 상기 증강현실 영상의 이미지를 캡처하고, 상기 캡처된 이미지를 상기 서버(200)에 자동으로 업로드할 수도 있다. 여기서, 상기 미리 설정된 움직임은 상기 단말(100)의 시계 방향(또는 반시계 방향)으로 원을 그리는 움직임(또는 회전하는 움직임), 상기 단말(100)의 위/아래 방향(또는 상/하 방향, 좌/우 방향/대각선 방향)으로의 움직임, 상기 단말(100)의 미리 설정된 시간 이내에 미리 설정된 각도 이상으로의 기울임, 상기 단말(100)의 화면에 대한 멀티 터치 입력, 상기 단말(100)의 사용자의 터치 제스처 등을 포함한다. 여기서, 상기 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 핀치, 스와이프 등이 있을 수 있다.
일 예로, 상기 제 1 단말에서 상기 제 1 증강현실 영상이 표시되고 있는 상태에서 상기 제 1 단말의 화면 일측에 표시되는 제 1 마커가 선택될 때, 상기 제 1 단말은 상기 제 1 마커가 선택된 시점의 제 1 증강현실 영상에 해당하는 제 11 이미지를 캡처한다. 여기서, 상기 제 11 이미지는 상기 꾸미기 효과가 적용된 제 2 이미지를 포함한다.
또한, 상기 제 1 단말은 상기 캡처된 제 11 이미지, 상기 제 1 단말의 식별 정보 등을 상기 서버(200)에 전송한다.
또한, 상기 서버(200)는 상기 제 1 단말로부터 전송되는 상기 제 11 이미지, 상기 제 1 단말의 식별 정보 등을 수신한다.
또한, 상기 서버(200)는 상기 수신된 제 11 이미지, 상기 제 1 단말의 식별 정보 등을 미리 설정된 제 1 폴더에 등록한다(S240).
이후, 상기 서버(200)는 상기 캡처된 이미지에 포함된 꾸미기 효과가 적용된 콘텐츠를 추출한다.
일 예로, 상기 서버(200)는 상기 수신된 제 11 이미지에 포함된 상기 꾸미기 효과가 적용된 제 2 이미지를 추출한다(S250).
이후, 상기 서버(200)는 상기 추출된 꾸미기 효과가 적용된 콘텐츠를 미리 설정된 작품 추천 모델의 입력값으로 하여 기계 학습(또는 인공지능/딥 러닝)을 수행한다. 여기서, 상기 작품 추천 모델은 미리 설정된 학습용 데이터 셋을 통해 임의의 콘텐츠와 관련한 특징을 분석하도록 지속적으로 학습 기능을 수행한 상태일 수 있다.
즉, 상기 서버(200)는 상기 작품 추천 모델에 포함된 네트워크 함수를 이용해서 상기 추출된 꾸미기 효과가 적용된 콘텐츠에 대해 추론 기능을 수행하여, 해당 서버(200)에서 관리하는 복수의 작품 정보 및 복수의 콘텐츠 정보를 포함하는 빅데이터 중에서 해당 추출된 꾸미기 효과가 적용된 콘텐츠와 미리 설정된 유사도 이상의 매칭 결과를 나타내는 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 확인(또는 검색/분류)한다. 여기서, 상기 작품 정보(또는 콘텐츠 정보)는 작품명(또는 콘텐츠명), 작가명(또는 제작자명), 작품 설명, 파일 형태의 작품 이미지(또는 콘텐츠), 가격 정보 등을 포함한다. 이때, 상기 파일 형태의 작품 이미지(또는 콘텐츠)는 저작권 보호를 위해서 워터마크 기능, DRM(디지털 저작권 관리) 기능, DLP(데이터 유출 방지) 기능 등이 적용된 상태일 수 있다.
또한, 상기 서버(200)는 상기 확인된 하나 이상의 작품 정보 및/또는 콘텐츠 정보(또는 기계 학습 결과/인공지능 결과/딥 러닝 결과)를 상기 단말(100)에 전송한다.
이때, 상기 서버(200)는 해당 단말(100)의 사용자가 해당 증강현실 영상의 배경이 되는 현실 세계에서 상기 확인된 작품 및/또는 콘텐츠가 어울리는지를 확인할 수 있도록 상기 확인된 하나 이상의 작품 정보에 대응하는 작품 및/또는 상기 콘텐츠 정보에 대응하는 콘텐츠를 상기 캡처된 이미지(또는 상기 증강현실 영상)에 적용한 다른 증강현실 영상을 생성하고, 상기 생성된 다른 증강현실 영상을 상기 단말(100)에 전송할 수도 있다.
일 예로, 상기 서버(200)는 상기 작품 추천 모델을 이용해서 상기 추출된 제 2 이미지에 대해 추론 기능을 수행하여, 해당 제 2 이미지와 유사도가 미리 설정된 값(예를 들어 90%) 이상인 제 21 미술품 정보 내지 제 23 미술품 정보를 확인하고, 상기 확인된 제 21 미술품 정보 내지 제 23 미술품 정보를 상기 제 1 단말에 전송한다(S260).
이후, 상기 단말(100)은 앞서 서버(200)에 업로드된(또는 등록된) 상기 캡처된 이미지에 관련해서 상기 서버(200)로부터 전송되는 하나 이상의 작품 정보 및/또는 콘텐츠 정보(또는 기계 학습 결과/인공지능 결과/딥 러닝 결과)를 수신한다.
또한, 상기 단말(100)은 상기 수신된 하나 이상의 작품 정보 및/또는 콘텐츠 정보(또는 기계 학습 결과/인공지능 결과/딥 러닝 결과)를 표시한다. 이때, 상기 단말(100)은 상기 하나 이상의 작품 정보 및/또는 콘텐츠 정보에 대응하는 작품 및/또는 콘텐츠가 적용된 다른 증강현실 영상을 수신하고, 상기 수신된 다른 증강현실 영상을 표시할 수도 있다.
또한, 상기 단말(100)은 해당 단말(100)의 사용자가 해당 증강현실 영상의 배경이 되는 현실 세계에서 상기 확인된 작품 및/또는 콘텐츠가 어울리는지를 확인할 수 있도록 상기 수신된 작품 정보에 대응하는 작품 및/또는 상기 수신된 콘텐츠 정보에 대응하는 콘텐츠를 백그라운드 상태로 획득되는 영상과 합성하여 또 다른 증강현실 영상을 생성하고, 상기 생성된 또 다른 증강현실 영상을 표시할 수도 있다.
이때, 상기 단말(100)은 화면을 분할하여, 일측에 상기 수신된 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 표시하고, 다른 일측에 상기 수신된 다른 증강현실 영상(또는 상기 하나 이상의 작품 및 콘텐츠에 각각 대응하는 하나 이상의 다른 증강현실 영상) 또는 상기 생성된 또 다른 증강현실 영상(또는 상기 하나 이상의 작품 및 콘텐츠에 각각 대응하는 하나 이상의 또 다른 증강현실 영상)을 표시할 수도 있다.
일 예로, 상기 제 1 단말은 앞서 상기 서버(200)에 업로드된 제 11 이미지에 대응하여 상기 서버(200)로부터 전송되는 제 21 미술품 정보 내지 제 23 미술품 정보를 수신하고, 상기 수신된 제 21 미술품 정보 내지 제 23 미술품 정보를 표시한다(S270).
이후, 상기 단말(100)에 표시되는 하나 이상의 작품 정보 및/또는 콘텐츠 정보 중에서 적어도 하나의 작품 정보 및/또는 콘텐츠 정보가 선택되는 경우, 상기 단말(100)은 상기 서버(200) 및 결제 서버(미도시)와 연동하여, 상기 선택된 적어도 하나의 작품 정보 및/또는 콘텐츠 정보와 관련한 결제 금액에 대해서 결제 기능을 수행한다.
또한, 상기 단말(100)은 결제 기능이 정상적으로 수행된 후, 상기 적어도 하나의 작품 정보 및/또는 콘텐츠 정보에 대응하는 적어도 하나의 작품 및/또는 콘텐츠를 상기 서버(200)와 관련한 배송 단말(미도시)의 배송 기능을 통해 제공받는다(또는 배송받는다).
이와 같이, 상기 단말(100)은 상기 사용자가 선택한 콘텐츠와 관련해서 해당 서버(200)로부터 추천되는 작품(또는 콘텐츠)에 대해서 구매 기능을 수행할 수 있다.
일 예로, 상기 표시되는 제 21 미술품 정보 내지 제 23 미술품 정보 중에서 사용자 선택에 따라 상기 제 23 미술품 정보가 선택된 후 미리 설정된 결제 메뉴가 선택될 때, 상기 제 1 단말은 상기 서버(200) 및 상기 결제 서버와 연동하여, 상기 선택된 제 23 미술품 정보와 관련한 결제 금액(예를 들어 15만원)에 대해 결제 기능을 수행한다.
또한, 상기 제 1 단말(또는 해당 제 1 단말의 사용자)은 배송 단말을 통해 배송되는 상기 제 23 미술품 정보에 대응하는 제 23 미술품을 수신(또는 수령)한다(S280).
본 발명의 실시예는 앞서 설명된 바와 같이, 단말에 저장된 콘텐츠를 로딩하고, 로딩된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 꾸미기 효과가 적용된 콘텐츠와 카메라를 통해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시하여, 사용자의 직접 체험에 따른 사용자의 관심과 흥미를 유발할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 증강현실 영상 내의 특정 시점의 이미지를 캡처하고, 캡쳐된 이미지를 서버에 업로드하고, 서버에서 업로드된 이미지로부터 꾸미기 효과가 적용된 콘텐츠를 추출하고, 추출된 콘텐츠에 대한 기계 학습을 통해 해당 콘텐츠와 미리 설정된 유사도 이상의 매칭 결과를 나타내는 하나 이상의 작품 정보 및/또는 콘텐츠 정보를 포함하는 기계 학습 결과를 단말에 제공하여, 사용자가 관심을 보이는 콘텐츠와 관련한 작품이나 콘텐츠를 추천함에 따라 콘텐츠 거래 활성화를 제공할 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 실감 콘텐츠 제공 시스템 100: 단말
200: 서버

Claims (6)

  1. 단말에 의해, 상기 단말에 미리 저장된 하나 이상의 콘텐츠를 불러와서 표시하는 단계;
    상기 단말에 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택될 때, 상기 단말에 의해, 상기 선택된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하는 단계;
    상기 단말에 의해, 상기 꾸미기 효과가 적용된 콘텐츠와 상기 단말에 의해 획득되는 영상을 합성하여 증강현실 영상을 생성하는 단계; 및
    상기 단말에 의해, 상기 생성된 증강현실 영상을 표시하는 단계를 포함하는 실감 콘텐츠 제공 방법.
  2. 제 1 항에 있어서,
    상기 꾸미기 효과는,
    액자 종류 선택 기능, 액자 크기 선택 기능, 액자 재질 선택 기능, 액자 색상 선택 기능 및 액자 디자인 형태 선택 기능 중 적어도 하나를 포함하는 것을 특징으로 하는 실감 콘텐츠 제공 방법.
  3. 제 1 항에 있어서,
    상기 단말에 의해, 상기 증강현실 영상 내의 특정 시점의 이미지를 캡처하는 단계;
    상기 단말에 의해, 상기 캡처된 이미지를 서버에 업로드하는 단계;
    상기 서버에 의해, 상기 캡처된 이미지에 포함된 꾸미기 효과가 적용된 콘텐츠를 추출하는 단계;
    상기 서버에 의해, 상기 추출된 꾸미기 효과가 적용된 콘텐츠를 미리 설정된 작품 추천 모델의 입력값으로 하여 기계 학습을 수행하는 단계;
    상기 서버에 의해, 기계 학습 수행에 따라 확인된 하나 이상의 작품 정보 및 콘텐츠 정보를 상기 단말에 전송하는 단계;
    상기 단말에 의해, 상기 서버로부터 전송되는 하나 이상의 작품 정보 및 콘텐츠 정보를 표시하는 단계; 및
    상기 표시되는 하나 이상의 작품 정보 및 콘텐츠 정보 중에서 어느 하나의 작품 정보 또는 콘텐츠 정보가 선택될 때, 상기 단말에 의해, 상기 서버 및 결제 서버와 연동하여, 결제 기능을 수행하는 단계를 더 포함하는 것을 특징으로 하는 실감 콘텐츠 제공 방법.
  4. 제 3 항에 있어서,
    상기 캡처된 이미지를 상기 서버에 업로드하는 단계는,
    상기 증강현실 영상이 표시되는 화면의 일측에 표시되는 마커가 선택되는 경우 또는 상기 증강현실 영상이 표시되는 중에 상기 단말의 사용자 조작에 따른 미리 설정된 움직임이 감지되는 경우, 상기 단말에 의해, 상기 마커가 선택되는 시점 또는 상기 움직임이 감지되는 시점의 상기 증강현실 영상의 이미지를 캡처하고, 상기 캡처된 이미지를 상기 서버에 자동으로 업로드하는 것을 특징으로 하는 실감 콘텐츠 제공 방법.
  5. 제 3 항에 있어서,
    상기 서버로부터 전송되는 하나 이상의 작품 정보 및 콘텐츠 정보를 표시하는 단계는,
    상기 단말의 사용자가 현실 세계에서 상기 하나 이상의 작품 정보 및 콘텐츠 정보에 대응하는 작품 및 콘텐츠가 어울리는지 확인할 수 있도록 상기 수신된 작품 정보에 대응하는 작품 및 상기 수신된 콘텐츠 정보에 대응하는 콘텐츠를 백그라운드 상태로 획득되는 영상과 합성하여 또 다른 증강현실 영상을 생성하는 과정; 및
    분할된 화면의 일측에 상기 수신된 하나 이상의 작품 정보 및 콘텐츠 정보를 표시하고, 분할된 화면의 다른 일측에 상기 생성된 또 다른 증강현실 영상을 표시하는 과정을 포함하는 것을 특징으로 하는 실감 콘텐츠 제공 방법.
  6. 미리 저장된 하나 이상의 콘텐츠를 불러와서 표시하고, 상기 표시되는 하나 이상의 콘텐츠 중에서 어느 하나의 콘텐츠가 선택될 때, 상기 선택된 콘텐츠에 대해서 사용자 입력에 따른 꾸미기 효과를 적용하고, 상기 꾸미기 효과가 적용된 콘텐츠와 상기 단말에 의해 획득되는 영상을 합성하여 증강현실 영상을 생성하고, 상기 생성된 증강현실 영상을 표시하는 단말; 및
    상기 증강현실 영상 내에서 캡처된 이미지를 등록하는 서버를 포함하는 실감 콘텐츠 제공 시스템.
KR1020210027419A 2021-03-02 2021-03-02 실감 콘텐츠 제공 시스템 및 그 방법 KR20220123900A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210027419A KR20220123900A (ko) 2021-03-02 2021-03-02 실감 콘텐츠 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210027419A KR20220123900A (ko) 2021-03-02 2021-03-02 실감 콘텐츠 제공 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220123900A true KR20220123900A (ko) 2022-09-13

Family

ID=83286631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027419A KR20220123900A (ko) 2021-03-02 2021-03-02 실감 콘텐츠 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220123900A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057808A (ko) 2017-11-20 2019-05-29 이용옥 증강현실을 이용한 보물찾기 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057808A (ko) 2017-11-20 2019-05-29 이용옥 증강현실을 이용한 보물찾기 제공방법

Similar Documents

Publication Publication Date Title
US11227326B2 (en) Augmented reality recommendations
US10839605B2 (en) Sharing links in an augmented reality environment
US9911239B2 (en) Augmenting a live view
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
US10742932B2 (en) Communication terminal, communication system, moving-image outputting method, and recording medium storing program
US8943582B1 (en) Transferring information among devices using cameras
US20180095711A1 (en) Communication terminal, communication system, transmission method, and recording medium storing program
WO2022089209A1 (zh) 一种图片评论的处理方法、装置、电子设备和存储介质
US9600720B1 (en) Using available data to assist in object recognition
CN102681870A (zh) 在登录时自动执行动作
US11694371B2 (en) Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US9262689B1 (en) Optimizing pre-processing times for faster response
JP2022169565A (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
KR20200127928A (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
CN108874141B (zh) 一种体感浏览方法和装置
KR20220123900A (ko) 실감 콘텐츠 제공 시스템 및 그 방법
TWM480729U (zh) 整合有電子設備並用於顯示2d擴增實境之擴增實境系統
US10733491B2 (en) Fingerprint-based experience generation
US20200389600A1 (en) Environment-driven user feedback for image capture
KR20220033660A (ko) 증강현실 기반 유명인 불러오기 이벤트 시스템 및 그 방법
TWM589834U (zh) 擴增實境整合系統
KR102354128B1 (ko) 콘텐츠 거래 시스템 및 그 방법
JP7382847B2 (ja) 情報処理方法、プログラム、及び情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)