KR102339332B1 - 사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법 - Google Patents

사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102339332B1
KR102339332B1 KR1020197000071A KR20197000071A KR102339332B1 KR 102339332 B1 KR102339332 B1 KR 102339332B1 KR 1020197000071 A KR1020197000071 A KR 1020197000071A KR 20197000071 A KR20197000071 A KR 20197000071A KR 102339332 B1 KR102339332 B1 KR 102339332B1
Authority
KR
South Korea
Prior art keywords
user
publication
media content
augmented reality
trigger
Prior art date
Application number
KR1020197000071A
Other languages
English (en)
Other versions
KR20190033511A (ko
Inventor
제이. 미쉘 헤인즈
Original Assignee
어 빅 청크 오브 머드 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어 빅 청크 오브 머드 엘엘씨 filed Critical 어 빅 청크 오브 머드 엘엘씨
Publication of KR20190033511A publication Critical patent/KR20190033511A/ko
Application granted granted Critical
Publication of KR102339332B1 publication Critical patent/KR102339332B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0291—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for reading, e.g. e-books
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/13—Type of disclosure document
    • G06V2201/131—Book

Abstract

사용자에 의해 캡처되는 라이브 비디오 - 라이브 비디오는 출판물의 비디오를 포함하고, 출판물은 저작권 보호 콘텐츠를 포함함 - 를 수신하는 것; 라이브 비디오에서 적어도 하나의 제1 트리거를 식별하고, 적어도 하나의 제1 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하며, 제1 삼차원 상호 작용식 매체를 사용자에게 제시하는 것; 및 제1 삼차원 상호 작용식 매체에서 적어도 하나의 제2 트리거를 식별하고, 적어도 하나의 제2 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하고, 제2 삼차원 상호 작용식 매체를 사용자에게 제시하여 출판물의 저작권 보호 콘텐츠와의 연대성을 점진적으로 심화시키고 풍부하게 하는 것에 의해 하나 이상의 출판물을 향상시키기 위한 방법, 시스템, 및 매체.

Description

사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법
관련 출원에 대한 교차 참조
본 출원은 2016년 6월 3일자로 출원된 미국 가출원 제62/345,320호 및 2017년 2월 28일자로 출원된 미국 출원 제15/445,806호의 이익을 주장하는데, 이들 미국 출원의 각각의 전체 내용은 참조에 의해 본원에 통합된다.
저작권 선언
이 특허 문서의 개시의 일부는 저작권 보호를 받는 자료를 포함한다. 본 저작권자는, 특허상표청의 특허 파일 또는 기록물에 나타나는 한, 특허문헌 또는 특허 개시의 누군가에 의한 팩스 복제에 이의를 갖지 않지만, 그러나, 그렇지 않으면 어떠한 경우에도 모든 저작권을 유보한다.
증강 현실(augmented Reality; "AR") 기술은, 그래픽, 비디오, 사운드, 또는 GPS 데이터와 같은 컴퓨터 생성 감각 입력(computer-generated sensory input)에 의해 자신의 구성 요소가 증강되는(또는 보충되는) 물리적인 실제 환경의 실시간의 직접적인 또는 간접적인 뷰를 제공한다.
한편, 가상 현실(virtual reality; "VR") 기술은, 소프트웨어를 활용하여, 실제 환경을 복제하는(또는 허상의 환경을 생성하는) 현실적인 이미지, 사운드 및 다른 감각을 생성하고, 특수한 디스플레이 스크린 또는 프로젝터 및 다른 디바이스를 사용하여 사용자가 이 공간 및 그 안에서 묘사되는 임의의 객체(object)와 상호 작용하는 것을 가능하게 하는 것에 의해, 이 환경에서 사용자의 물리적인 존재를 시뮬레이팅한다.
전통적인 물리적 출판물(publication)은 (사용자 또는 독자의 상상력 외에) 사용자 또는 독자가 캐릭터 또는 스토리 상호 작용을 경험하는 것을 가능하게 하지 못한다. 전통적인 물리적 출판물은 또한, 사용자 또는 독자의 상상에서의 경우 이외에는, 사용자 또는 독자가 1 인칭 시점(first person point of view)으로부터(예를 들면, 주인공(protagonist) 또는 적수(antagonist)의 관점(perspective)으로부터) 캐릭터 또는 스토리 상호 작용을 경험하는 것을 가능하게 하지 못한다. 따라서 전통적인 물리적 출판물은, 출판물의 캐릭터 또는 스토리에 대한 사용자의 또는 독자의 인지적이고 인상적인 또는 감동을 받는 공감의 느낌을 향상시키지 못한다.
비록 AR 기술이 독서 경험과 관련하여 사용되었지만, 그러한 종래의 AR 책(AR book)는, AR을 VR 책 상호 작용 경험으로의 다리로서 활용하지도 않으며, 이들 종래의 AR 책은 AR과 VR 사이에서 동적으로 시프트하여 사용자 또는 독자에게 더욱 몰입감 있는 책 상호 작용 경험을 제공하지도 않는다.
그러므로, 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 더욱 견고하고 확장 가능한 솔루션에 대한 필요성이 존재하며, 특정한 실시형태에서, 출판물의 저작권 보호 콘텐츠와의 연대성을 점진적으로 심화시키고 풍부하게 하도록 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법, 시스템, 및 컴퓨터 소프트웨어에 대한 필요성이 존재한다.
"Quantum Storey(퀀텀 스토리)" 책을 비롯한 본원에서 설명되는 기술은, 인쇄된 책의 진화물인 전자책(e-book)에 비해 상당한 향상이다. 퀀텀 스토리 책은, 사용자가 책의 가상 시뮬레이션 안으로 가상적으로 들어가는 것, 그들의 인식, 주관성, 및 사교성을 교환하는 것, 책으로부터의 글로 쓰여진 텍스트 및 2D 이미지로부터 취해지는 인식된 경험을 중첩하는 것 및 그것을 360° 2D 및 3D 애니메이션화된 가상 세계에 적용하는 것을 허용한다. 이것은, 사용자가 완전한 몰입을 통해 새로운 관점을 경험하는 것을 허용하고, 1 인칭, 선과 악 둘 모두의 경험을 실현하여 공감의 구축을 돕는 능력을 가능하게 한다. 또한 ,본원에서 설명되는 기술은, 사용자가 다른 캐릭터의 입장을 경험하여 그 상황에 있는 것이 어떻게 느껴지는지를 다른 관점에서 인식하는 것을 가능하게 한다. 이들 직접적이고 본능적인 경험 및 이들 독창적이고 적용 가능한 학습을 획득하고 저장하는 과정은, 상황의 훨씬 더 깊은 지각, 감각, 관념, 및 직감을 가능하게 하여, 다른 사람의 상황에 대한 더 강한 정서적 및 공감적 반응으로 나타나게 된다.
예를 들면, 괴롭힘을 당하고 있는 또는 가해 행동의 당하는 쪽에 있는 젊은 사람에 관한 전통적인 책을 읽은 아이(child)는, 이야기를 통해 그 사람이 어떻게 느낄 수도 있을 것인지에 관해서만 읽을 수 있고 움직임이 없는 삽화(illustration)를 통해 그것을 시각적으로 이해하려고 시도할 수 있을 뿐이다. 본원에서 설명되는 기술은, 아이가 글로 쓰여진 이야기를 읽는 것을 여전히 허용하지만, 그러나 그 때 또한, 안을 보고 있는 외부인으로서 짧은 무비 클립 또는 애니메이션을 통해 경험을 관전하는 것을 허용한다. 아이가 무생물 또는 스크린을 탭핑(tapping)하여 캐릭터로부터 어떤 상호 작용을 얻는 것에 의해 메인 캐릭터와 상호 작용할 수 있다는 것을 제외하면, 팝업 컨텍스트(pop-up context), 또는 AR 컨텍스트에서와 동일하지만, 그러나, 뷰어에 대한 최종 결과는, 친구가 방금 겪은 상황을, 당신 스스로가 그 상황에 실제로 놓여지지 않고도, 친구가 말하는 것을 듣는 것에 의해 당신이 그 상황을 이해하려고 시도하고 따라서 그것이 당신에게 관련되는 것처럼, 그것이 직접적으로 어떻게 느껴지는지를 알기 시작할 수 있는 것과 동일한 방식이다.
따라서, 하나의 양태에서, 출판물을 향상시키는 컴퓨터로 구현되는(computer-implemented) 방법이 본원에서 개시되는데, 그 컴퓨터로 구현되는 방법은, 출판물 - 출판물은 저작권 보호 콘텐츠(copyrighted content)를 포함함 - 의 비디오를 포함하는, 사용자에 의해 캡처되는 라이브 비디오를 수신하는 것; 라이브 비디오에서 적어도 하나의 제1 트리거(trigger)를 식별하는 것; 적어도 하나의 제1 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하는 것; 제1 시각적 출력 디바이스를 통해 그리고 사용자에게, 제1 삼차원 상호 작용식 매체를 제시하는 것; 제1 삼차원 상호 작용식 매체에서 적어도 하나의 제2 트리거를 식별하는 것; 적어도 하나의 제2 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하는 것; 및 제1 또는 제2 시각적 출력 디바이스를 통해 그리고 사용자에게, 제2 삼차원 상호 작용식 매체를 제시하는 것을 포함하고; 출판물의 저작권 보호 콘텐츠와의 사용자의 연대성은 점진적으로 심화되고 보강된다. 몇몇 실시형태에서, 출판물은 인쇄된 출판물이다. 다른 실시형태에서, 출판물은 전자책이다. 다양한 실시형태에서, 출판물은 다음으로 이루어지는 그룹으로부터 선택되는 하나 이상을 포함한다: 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립(comic strip), 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 이벤트 티켓 스터브(event ticket stub), 및 포스터. 몇몇 실시형태에서, 적어도 하나의 제1 트리거는 출판물과 관련되는 텍스트, 이미지, QR 코드, 또는 바코드를 포함한다. 다른 실시형태에서, 적어도 하나의 제1 트리거는 출판물과 관련되는 삼차원 객체를 포함한다. 몇몇 실시형태에서, 제1 삼차원 상호 작용식 매체는 360 도(360-degree) 비디오를 포함한다. 다른 실시형태에서, 제1 삼차원 상호 작용식 매체는 증강 현실 디스플레이를 포함한다. 또 다른 실시형태에서, 제1 삼차원 상호 작용식 매체는 멀티매체 게임을 포함한다. 몇몇 실시형태에서, 제1 시각적 출력 디바이스는 카메라 및 디스플레이 스크린을 포함하는 모바일 디바이스이다. 몇몇 실시형태에서, 적어도 하나의 제2 트리거는 제1 삼차원 상호 작용식 매체와의 사용자의 상호 작용을 포함한다. 또 다른 실시형태에서, 적어도 하나의 제2 트리거는 상호 작용의 지속 기간(duration)을 포함한다. 몇몇 실시형태에서, 제2 삼차원 상호 작용식 매체는 가상 현실 환경, 360 도 비디오, 또는 멀티매체 게임을 포함한다. 특정한 실시형태에서, 제2 삼차원 상호 작용식 매체는 가상 현실 환경을 포함한다. 또 다른 실시형태에서, 제2 시각적 출력 디바이스는 가상 현실 헤드셋이다. 몇몇 실시형태에서, 방법은, 사용자의 시야 - 시야는 출판물의 적어도 일부를 포함함 - 를 결정하는 것; 사용자의 시야와 정렬되도록 하나 이상의 삼차원 상호 작용식 매체 콘텐츠의 방위를 수정하는 것; 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 삼차원 상호 작용식 매체 콘텐츠가 출판물의 적어도 일부와 관련하여 가상의 오버레이(overlay)로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 삼차원 상호 작용식 매체 콘텐츠를 제시하는 것을 더 포함한다. 몇몇 실시형태에서, 라이브 비디오는 복수의 트리거를 포함한다. 또 다른 실시형태에서, 복수의 제1 트리거와 관련되는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하는 것은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체를 식별하는 것을 포함한다. 몇몇 실시형태에서, 제1 삼차원 상호 작용식 매체는 복수의 트리거를 포함한다. 또 다른 실시형태에서, 복수의 제2 트리거와 관련되는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하는 것은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체를 식별하는 것을 포함한다. 제1 삼차원 상호 작용식 매체 및 제2 삼차원 상호 작용식 매체는, 몇몇 실시형태에서, 텍스트, 하나 이상의 그래픽, 하나 이상의 캐릭터, 스토리 라인, 테마, 하나 이상의 상호 작용, 음악, 하나 이상의 음향 효과, 저작권 보호 콘텐츠에 관련되는 구어 오디오(spoken word audio), 또는 이들의 조합을 포함하는 방식으로 저작권 보호 콘텐츠에 관련된다.
다른 양태에서, 컴퓨터로 구현되는 시스템이 본원에서 개시되는데, 컴퓨터로 구현되는 시스템은, 디지털 프로세싱 디바이스를 포함하고, 디지털 프로세싱 디바이스는, 적어도 하나의 프로세서, 메모리, 디스플레이, 카메라, 실행 가능한 명령어를 수행하도록 구성되는 운영 체제, 및 출판물을 향상시키기 위한 애플리케이션을 생성하는, 디지털 프로세싱 디바이스에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램을 포함하고, 애플리케이션은, 카메라를 통해 사용자에 의해 캡처되는 라이브 비디오 - 라이브 비디오는 출판물의 비디오를 포함하고, 출판물은 저작권 보호 콘텐츠를 포함함 - 를 수신하는 제1 소프트웨어 모듈; 라이브 비디오에서 적어도 하나의 제1 트리거를 식별하고, 적어도 하나의 제1 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하며, 디스플레이를 통해 그리고 사용자에게, 제1 삼차원 상호 작용식 매체를 제시하는 제2 소프트웨어 모듈; 및 제1 삼차원 상호 작용식 매체에서 적어도 하나의 제2 트리거를 식별하고, 적어도 하나의 제2 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하며, 디스플레이를 통해 그리고 사용자에게, 제2 삼차원 상호 작용식 매체를 제시하는 제3 소프트웨어 모듈을 포함하고; 출판물의 저작권 보호 콘텐츠와의 사용자의 연대성은 점진적으로 심화되고 보강된다. 몇몇 실시형태에서, 출판물은 인쇄된 출판물이다. 다른 실시형태에서, 출판물은 전자책이다. 다양한 실시형태에서, 출판물은 다음으로 이루어지는 그룹으로부터 선택되는 하나 이상을 포함한다: 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 이벤트 티켓 스터브, 및 포스터. 몇몇 실시형태에서, 적어도 하나의 제1 트리거는 출판물과 관련되는 텍스트, 이미지, QR 코드, 또는 바코드를 포함한다. 다른 실시형태에서, 적어도 하나의 제1 트리거는 출판물과 관련되는 삼차원 객체를 포함한다. 몇몇 실시형태에서, 제1 삼차원 상호 작용식 매체는 360 도 비디오를 포함한다. 다른 실시형태에서, 제1 삼차원 상호 작용식 매체는 증강 현실 디스플레이를 포함한다. 또 다른 실시형태에서, 제1 삼차원 상호 작용식 매체는 멀티매체 게임을 포함한다. 몇몇 실시형태에서, 적어도 하나의 제2 트리거는 제1 삼차원 상호 작용식 매체와의 사용자의 상호 작용을 포함한다. 또 다른 실시형태에서, 적어도 하나의 제2 트리거는 상호 작용의 지속 기간을 포함한다. 몇몇 실시형태에서, 제2 삼차원 상호 작용식 매체는 가상 현실 환경, 360 도 비디오, 또는 멀티매체 게임을 포함한다. 특정한 실시형태에서, 제2 삼차원 상호 작용식 매체는 가상 현실 환경을 포함한다. 몇몇 실시형태에서, 애플리케이션은 다음을 더 포함한다: 사용자의 시야 - 시야는 출판물의 적어도 일부를 포함함 - 를 결정하고, 사용자의 시야와 정렬되도록 하나 이상의 삼차원 상호 작용식 매체 콘텐츠의 방위를 수정하고, 디스플레이를 통해 그리고 사용자에게, 하나 이상의 삼차원 상호 작용식 매체 콘텐츠가 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 삼차원 상호 작용식 매체 콘텐츠를 제시하는 제4 소프트웨어 모듈. 몇몇 실시형태에서, 라이브 비디오는 복수의 트리거를 포함한다. 또 다른 실시형태에서, 복수의 제1 트리거와 관련되는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하는 소프트웨어 모듈은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체를 식별한다. 몇몇 실시형태에서, 제1 삼차원 상호 작용식 매체는 복수의 트리거를 포함한다. 또 다른 실시형태에서, 복수의 제2 트리거와 관련되는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하는 소프트웨어 모듈은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체를 식별한다. 제1 삼차원 상호 작용식 매체 및 제2 삼차원 상호 작용식 매체는, 몇몇 실시형태에서, 텍스트, 하나 이상의 그래픽, 하나 이상의 캐릭터, 스토리 라인, 테마, 하나 이상의 상호 작용, 음악, 하나 이상의 음향 효과, 저작권 보호 콘텐츠에 관련되는 구어 오디오(spoken word audio), 또는 이들의 조합을 포함하는 방식으로 저작권 보호 콘텐츠에 관련된다.
다른 양태에 있어서, 출판물을 향상시키기 위한 애플리케이션을 생성하는, 프로세서에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램으로 인코딩된 비일시적 컴퓨터로 판독 가능한(computer-readable) 저장 매체가 본원에서 개시되는데, 애플리케이션은, 모바일 디바이스의 카메라를 통해 사용자에 의해 캡처되는 라이브 비디오 - 라이브 비디오는 출판물의 비디오를 포함하고, 출판물은 저작권 보호 콘텐츠를 포함함 - 를 수신하는 제1 소프트웨어 모듈; 라이브 비디오에서 적어도 하나의 제1 트리거를 식별하고, 적어도 하나의 제1 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하며, 모바일 디바이스의 디스플레이를 통해 그리고 사용자에게, 제1 삼차원 상호 작용식 매체를 제시하는 제2 소프트웨어 모듈; 및 제1 삼차원 상호 작용식 매체에서 적어도 하나의 제2 트리거를 식별하고, 적어도 하나의 제2 트리거와 관련되며 저작권 보호 콘텐츠에 관련이 있는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하며, 모바일 디바이스의 디스플레이를 통해 그리고 사용자에게, 제2 삼차원 상호 작용식 매체를 제시하는 제3 소프트웨어 모듈을 포함하고; 출판물의 저작권 보호 콘텐츠와의 사용자의 연대성은 점진적으로 심화되고 보강된다. 몇몇 실시형태에서, 출판물은 인쇄된 출판물이다. 다른 실시형태에서, 출판물은 전자책이다. 다양한 실시형태에서, 출판물은 다음으로 이루어지는 그룹으로부터 선택되는 하나 이상을 포함한다: 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 이벤트 티켓 스터브, 및 포스터. 몇몇 실시형태에서, 적어도 하나의 제1 트리거는 출판물과 관련되는 텍스트, 이미지, QR 코드, 또는 바코드를 포함한다. 다른 실시형태에서, 적어도 하나의 제1 트리거는 출판물과 관련되는 삼차원 객체를 포함한다. 몇몇 실시형태에서, 제1 삼차원 상호 작용식 매체는 360 도 비디오를 포함한다. 다른 실시형태에서, 제1 삼차원 상호 작용식 매체는 증강 현실 디스플레이를 포함한다. 또 다른 실시형태에서, 제1 삼차원 상호 작용식 매체는 멀티매체 게임을 포함한다. 몇몇 실시형태에서, 적어도 하나의 제2 트리거는 제1 삼차원 상호 작용식 매체와의 사용자의 상호 작용을 포함한다. 또 다른 실시형태에서, 적어도 하나의 제2 트리거는 상호 작용의 지속 기간을 포함한다. 몇몇 실시형태에서, 제2 삼차원 상호 작용식 매체는 가상 현실 환경, 360 도 비디오, 또는 멀티매체 게임을 포함한다. 특정한 실시형태에서, 제2 삼차원 상호 작용식 매체는 가상 현실 환경을 포함한다. 몇몇 실시형태에서, 애플리케이션은 다음을 더 포함한다: 사용자의 시야 - 시야는 출판물의 적어도 일부를 포함함 - 를 결정하고, 사용자의 시야와 정렬되도록 하나 이상의 삼차원 상호 작용식 매체 콘텐츠의 방위를 수정하고, 디스플레이를 통해 그리고 사용자에게, 하나 이상의 삼차원 상호 작용식 매체 콘텐츠가 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 삼차원 상호 작용식 매체 콘텐츠를 제시하는 제4 소프트웨어 모듈. 몇몇 실시형태에서, 라이브 비디오는 복수의 트리거를 포함한다. 또 다른 실시형태에서, 복수의 제1 트리거와 관련되는 하나 이상의 제1 삼차원 상호 작용식 매체를 식별하는 소프트웨어 모듈은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체를 식별한다. 몇몇 실시형태에서, 제1 삼차원 상호 작용식 매체는 복수의 트리거를 포함한다. 또 다른 실시형태에서, 복수의 제2 트리거와 관련되는 하나 이상의 제2 삼차원 상호 작용식 매체를 식별하는 소프트웨어 모듈은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체를 식별한다. 제1 삼차원 상호 작용식 매체 및 제2 삼차원 상호 작용식 매체는, 몇몇 실시형태에서, 텍스트, 하나 이상의 그래픽, 하나 이상의 캐릭터, 스토리 라인, 테마, 하나 이상의 상호 작용, 음악, 하나 이상의 음향 효과, 저작권 보호 콘텐츠에 관련되는 구어 오디오(spoken word audio), 또는 이들의 조합을 포함하는 방식으로 저작권 보호 콘텐츠에 관련된다.
다른 양태에서, 출판물을 향상하는 방법이 본원에서 개시되는데, 방법은, 사용자의 컴퓨팅 디바이스에 의해, 출판물의 비디오를 포함하는 라이브 비디오를 수신하는 것; 라이브 비디오에서 적어도 하나의 트리거를 식별하는 것; 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 것; 컴퓨팅 디바이스에 의해, 사용자의 시야 - 사용자의 시야는 출판물의 적어도 일부를 포함함 - 를 결정하는 것; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것; 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 출판물은 인쇄된 출판물이다. 다른 실시형태에서, 출판물은 전자책이다. 다양한 실시형태에서, 출판물은 다음 중 하나를 포함한다: 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 이벤트 티켓 스터브, 및 포스터. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은 다음 중 하나를 포함한다: 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상의 그래픽, 출판물의 적어도 일부 상의 키워드 또는 키 코드, 출판물의 커버 이미지, 출판물의 커버 상의 제목, 출판물의 커버 상의 저자명, 출판물에 근접하여 배치되는 출판물과 관련되는 인형(stuffed character), 출판물에 근접하여 배치되는 출판물과 관련되는 3D 인쇄 캐릭터(3D-printed character), 및 출판물에 근접하여 배치되는 출판물과 관련되는 3D 인쇄 객체. 몇몇 실시형태에서, 라이브 비디오는 적어도 2 개의 트리거, 적어도 3 개의 트리거, 적어도 4 개의 트리거, 적어도 5 개의 트리거, 적어도 6 개의 트리거, 적어도 7 개의 트리거, 적어도 8 개의 트리거, 적어도 9 개의 트리거, 또는 적어도 10 개의 트리거를 포함한다. 또 다른 실시형태에서, 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 것은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체 콘텐츠를 식별하는 것을 포함한다. 여전히 또 다른 실시형태에서, 트리거의 조합은 각각의 트리거의 아이덴티티 및 식별의 시퀀스를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는 다음 중 적어도 하나를 포함한다: 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 및 3D 상호 작용식의 애니메이션화된 그래픽. 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은 다음 중 적어도 하나를 포함한다: 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 출판물과 관련되는 비 허구의(non-fictional) 지리적 위치, 출판물과 관련되는 허구의(fictional) 지리적 위치, 출판물과 관련되는 룸, 출판물과 관련되는 건물, 출판물에서 설명되는 장면, 및 출판물에서 설명되는 하나 이상의 아이템. 여전히 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은 출판물과 관련되는 캐릭터의 관점에서 제시된다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 출판물 옆에서 가상의 오버레이로서 제시되는 것, 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 출판물의 바인딩 앞에서 가상의 오버레이로서 제시되는 것, 출판물의 일부 상의 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 출판물의 일부 상의 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는 다음 중 하나를 포함한다: VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 및 AR 시스템의 일부로서 적응되는 스마트폰. 몇몇 실시형태에서, 시각적 출력 디바이스는 사용자의 컴퓨팅 디바이스와 통신 가능하게 커플링된다. 몇몇 실시형태에서, 시각적 출력 디바이스는, 제1 카메라가 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 라이브 비디오에서 적어도 하나의 트리거를 식별하는 것은, 사용자의 컴퓨팅 디바이스에서 또는 사용자의 컴퓨팅 디바이스에 통신 가능하게 커플링되는 서버에서 수행된다. 몇몇 실시형태에서, 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 것은, 사용자의 컴퓨팅 디바이스에서 또는 사용자의 컴퓨팅 디바이스에 통신 가능하게 커플링되는 서버에서 수행된다. 몇몇 실시형태에서, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것은, 사용자의 컴퓨팅 디바이스에서 또는 사용자의 컴퓨팅 디바이스에 통신 가능하게 커플링되는 서버에서 수행된다. 몇몇 실시형태에서, 컴퓨팅 디바이스는 이동 전화 또는 태블릿 컴퓨터를 포함한다.
다른 양태에 있어서, 적어도 하나의 프로세서, 실행 가능한 명령어를 수행하도록 구성되는 운영 체제, 메모리, 카메라, 및 애플리케이션을 생성하는, 적어도 하나의 프로세서에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램을 포함하는 컴퓨팅 디바이스를 포함하는 컴퓨터로 구현되는 시스템이 본원에서 개시되는데, 애플리케이션은, 출판물의 비디오를 포함하는 라이브 비디오를 카메라로부터 수신하는 소프트웨어 모듈; 라이브 비디오에서 적어도 하나의 트리거를 식별하는 소프트웨어 모듈; 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 소프트웨어 모듈; 사용자의 시야 - 시야는 출판물의 적어도 일부를 포함함 - 를 결정하는 소프트웨어 모듈; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 소프트웨어 모듈; 및 시각적 출력 디바이스를 통해 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 소프트웨어 모듈을 포함한다. 몇몇 실시형태에서, 출판물은 인쇄된 출판물이다. 다른 실시형태에서, 출판물은 전자책이다. 다양한 실시형태에서, 출판물은 다음 중 하나를 포함한다: 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 이벤트 티켓 스터브, 및 포스터. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은 다음 중 하나를 포함한다: 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상의 그래픽, 출판물의 적어도 일부 상의 키워드 또는 키 코드, 출판물의 커버 이미지, 출판물의 커버 상의 제목, 출판물의 커버 상의 저자명, 출판물에 근접하여 배치되는 출판물과 관련되는 인형, 출판물에 근접하여 배치되는 출판물과 관련되는 3D 인쇄 캐릭터, 및 출판물에 근접하여 배치되는 출판물과 관련되는 3D 인쇄 객체. 몇몇 실시형태에서, 라이브 비디오는 적어도 2 개의 트리거, 적어도 3 개의 트리거, 적어도 4 개의 트리거, 적어도 5 개의 트리거, 적어도 6 개의 트리거, 적어도 7 개의 트리거, 적어도 8 개의 트리거, 적어도 9 개의 트리거, 또는 적어도 10 개의 트리거를 포함한다. 또 다른 실시형태에서, 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 소프트웨어 모듈은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체 콘텐츠를 식별한다. 여전히 또 다른 실시형태에서, 트리거의 조합은 각각의 트리거의 아이덴티티 및 식별의 시퀀스를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는 다음 중 적어도 하나를 포함한다: 3D 정지 그래픽, 3D 애니메이션화된 그래픽 및 3D 상호 작용식의 애니메이션화된 그래픽. 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은 다음 중 적어도 하나를 포함한다: 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 출판물과 관련되는 비 허구의 지리적 위치, 출판물과 관련되는 허구의 지리적 위치, 출판물과 관련되는 룸, 출판물과 관련되는 건물, 출판물에서 설명되는 장면, 및 출판물에서 설명되는 하나 이상의 아이템. 여전히 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은 출판물과 관련되는 캐릭터의 관점에서 제시된다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 출판물 옆에서 가상의 오버레이로서 제시되는 것, 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 출판물의 바인딩 앞에서 가상의 오버레이로서 제시되는 것, 출판물의 일부 상의 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 출판물의 일부 상의 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는 다음 중 하나를 포함한다: VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 및 AR 시스템의 일부로서 적응되는 스마트폰. 몇몇 실시형태에서, 시각적 출력 디바이스는 사용자의 컴퓨팅 디바이스와 통신 가능하게 커플링된다. 몇몇 실시형태에서, 시각적 출력 디바이스는, 제1 카메라가 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 컴퓨팅 디바이스는 이동 전화 또는 태블릿 컴퓨터를 포함한다.
다른 양태에서, 애플리케이션을 생성하는, 프로세서에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램으로 인코딩되는 비일시적 컴퓨터로 판독 가능한 저장 매체가 본원에서 개시되는데, 애플리케이션은, 사용자의 컴퓨팅 디바이스와 관련되는 카메라를 통해, 출판물의 비디오를 포함하는 라이브 비디오를 수신하는 소프트웨어 모듈; 라이브 비디오에서 적어도 하나의 트리거를 식별하는 소프트웨어 모듈; 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 소프트웨어 모듈; 사용자의 시야 - 시야는 출판물의 적어도 일부를 포함함 - 를 결정하는 소프트웨어 모듈; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 소프트웨어 모듈; 및 시각적 출력 디바이스를 통해 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 소프트웨어 모듈을 포함한다. 몇몇 실시형태에서, 출판물은 인쇄된 출판물이다. 다른 실시형태에서, 출판물은 전자책이다. 다양한 실시형태에서, 출판물은 다음 중 하나를 포함한다: 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 이벤트 티켓 스터브, 및 포스터. 다양한 실시형태에서, 적어도 하나의 트리거 각각은 다음 중 하나를 포함한다: 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상의 그래픽, 출판물의 적어도 일부 상의 키워드 또는 키 코드, 출판물의 커버 이미지, 출판물의 커버 상의 제목, 출판물의 커버 상의 저자명, 출판물에 근접하여 배치되는 출판물과 관련되는 인형, 출판물에 근접하여 배치되는 출판물과 관련되는 3D 인쇄 캐릭터, 및 출판물에 근접하여 배치되는 출판물과 관련되는 3D 인쇄 객체. 몇몇 실시형태에서, 라이브 비디오는 적어도 2 개의 트리거, 적어도 3 개의 트리거, 적어도 4 개의 트리거, 적어도 5 개의 트리거, 적어도 6 개의 트리거, 적어도 7 개의 트리거, 적어도 8 개의 트리거, 적어도 9 개의 트리거, 또는 적어도 10 개의 트리거를 포함한다. 또 다른 실시형태에서, 적어도 하나의 트리거와 관련되는 하나 이상의 매체 콘텐츠를 식별하는 소프트웨어 모듈은, 트리거의 미리 결정된 조합과 관련되는 하나 이상의 매체 콘텐츠를 식별한다. 여전히 또 다른 실시형태에서, 트리거의 조합은 각각의 트리거의 아이덴티티 및 식별의 시퀀스를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는 다음 중 적어도 하나를 포함한다: 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 및 3D 상호 작용식의 애니메이션화된 그래픽. 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은 다음 중 적어도 하나를 포함한다: 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 출판물과 관련되는 비 허구의 지리적 위치, 출판물과 관련되는 허구의 지리적 위치, 출판물과 관련되는 룸, 출판물과 관련되는 건물, 출판물에서 설명되는 장면, 및 출판물에서 설명되는 하나 이상의 아이템. 여전히 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은 출판물과 관련되는 캐릭터의 관점에서 제시된다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 출판물 옆에서 가상의 오버레이로서 제시되는 것, 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 출판물의 바인딩 앞에서 가상의 오버레이로서 제시되는 것, 출판물의 일부 상의 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 출판물의 일부 상의 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 다양한 실시형태에서, 시각적 출력 디바이스는 다음 중 하나를 포함한다: VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 및 AR 시스템의 일부로서 적응되는 스마트폰. 몇몇 실시형태에서, 시각적 출력 디바이스는 사용자의 컴퓨팅 디바이스와 통신 가능하게 커플링된다. 몇몇 실시형태에서, 시각적 출력 디바이스는, 제1 카메라가 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 컴퓨팅 디바이스는 이동 전화 또는 태블릿 컴퓨터를 포함한다.
다른 양태에서, 방법이 본원에서 개시되는데, 방법은, 제1 카메라를 사용하여, 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처하는 것; 컴퓨팅 시스템을 사용하여, 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 컴퓨팅 시스템으로 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하는 것; 캡처된 하나 이상의 이미지가 하나 이상의 트리거 중 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하는 것; 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것; 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것; 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는 제1 카메라를 포함한다. 몇몇 실시형태에서, 제1 카메라는 시각적 출력 디바이스의 외부에 있고, 동시에 시각적 출력 디바이스에 통신 가능하게 커플링된다. 몇몇 실시형태에서, 시각적 출력 디바이스는, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소(venue) 또는 이벤트 티켓 스터브, 또는 포스터 중 하나를 포함한다. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 컴퓨팅 시스템은 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템 중 적어도 하나를 포함한다.
다른 양태에서, 장치가 본원에서 개시되는데, 장치는, 제1 카메라; 디스플레이 디바이스; 적어도 하나의 프로세서; 및 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금, 제1 카메라를 사용하여, 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처하게 하고; 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하게 하고; 캡처된 하나 이상의 이미지가 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장한다. 몇몇 실시형태에서, 장치는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 제2 카메라를 더 포함하고; 명령어의 세트는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 또한, 제2 카메라를 사용하여, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하게 하되; 사용자의 시야를 결정하는 것은, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터 중 하나를 포함한다. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다.
다른 양태에서, 시스템이 본원에서 개시되는데, 시스템은, 이미지 캡처 디바이스를 포함하고, 이미지 캡처 디바이스는, 제1 카메라; 적어도 하나의 제1 프로세서; 및 제1 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제1 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 이미지 캡처 디바이스로 하여금, 제1 카메라를 사용하여, 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처하게 하고; 그리고 캡처된 하나 이상의 이미지를 컴퓨팅 시스템으로 전송하게 하는 명령어의 제1 세트를 포함하는 컴퓨터 소프트웨어를 저장하고, 컴퓨팅 시스템은, 적어도 하나의 제2 프로세서; 및 제2 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제2 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제2 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 캡처된 하나 이상의 이미지를 이미지 캡처 디바이스로부터 수신하게 하고; 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하게 하고; 캡처된 하나 이상의 이미지가 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 시각적 출력 디바이스로 전송하게 하는 명령어의 제2 세트를 포함하는 컴퓨터 소프트웨어를 저장하고, 시각적 출력 디바이스는, 디스플레이 디바이스; 적어도 하나의 제3 프로세서; 및 제3 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제3 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제3 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금, 컴퓨팅 시스템으로부터 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 수신하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 제3 세트를 포함하는 컴퓨터 소프트웨어를 저장한다. 몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는 이미지 캡처 디바이스를 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터 중 하나를 포함한다. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 컴퓨팅 시스템은 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템 중 적어도 하나를 포함한다.
다른 양태에서, 방법이 본원에서 개시되는데, 방법은, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거(non-visual trigger) 중 적어도 하나의 트리거 사이에서 통신을 확립하는 것; 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하는 것; 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것; 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것; 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것은, 컴퓨팅 시스템을 사용하여, 시각적 출력 디바이스가 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거의 통신 범위 내에 있는지의 여부를 결정하는 것; 및 시각적 출력 디바이스가 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거의 통신 범위 내에 있다는 결정에 기초하여, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것을 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는, 사용자가 인쇄된 출판물의 적어도 일부를 향해 보고 있을 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 카메라를 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터 중 하나를 포함한다. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 또 다른 실시형태에서, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함한다. 몇몇 실시형태에서, 컴퓨팅 시스템은 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템 중 적어도 하나를 포함한다.
다른 양태에서, 장치가 본원에서 개시되는데, 장치는, 무선 통신 디바이스; 디스플레이 디바이스; 적어도 하나의 프로세서; 및 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금, 무선 통신 디바이스를 사용하여, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거 사이에서 통신을 확립하게 하고; 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장한다. 몇몇 실시형태에서, 장치는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 장치는, 사용자가 인쇄된 출판물의 적어도 일부를 향해 보고 있을 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 카메라를 더 포함하되, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함한다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터 중 하나를 포함한다. 몇몇 실시형태에서, 적어도 하나의 트리거 각각은, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다.
다른 양태에서, 시스템이 본원에서 개시되는데, 시스템은, 무선 통신 디바이스를 포함하고, 무선 통신 디바이스는, 트랜스시버; 적어도 하나의 제1 프로세서; 및 제1 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제1 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 이미지 캡처 디바이스로 하여금, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거 사이에서 통신을 확립하게 하는 명령어의 제1 세트를 포함하는 컴퓨터 소프트웨어를 저장하고, 컴퓨팅 시스템은, 적어도 하나의 제2 프로세서; 및 제2 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제2 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제2 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 시각적 출력 디바이스로 전송하게 하는 명령어의 제2 세트를 포함하는 컴퓨터 소프트웨어를 저장하고, 시각적 출력 디바이스는, 디스플레이 디바이스; 적어도 하나의 제3 프로세서; 및 제3 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제3 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제3 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금, 컴퓨팅 시스템으로부터 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 수신하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 제3 세트를 포함하는 컴퓨터 소프트웨어를 저장한다.
다른 양태에서, 방법이 본원에서 개시되는데, 방법은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하는 것; 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것; 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하는 것; 및 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하는 것을 포함한다. 몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 물리적 객체는, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 포스터, 크리스마스 트리 전구, 크리스마스 트리 장식품, 하누카 메노라(Hanukkah menorah), 묘비, 사용자와 관련되는 감상적 인공물 또는 장식물, 또는 사용자와 관련되는 다른 개인과 관련되는 감상적 인공물 또는 장식물 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 방법은, 하나 이상의 센서를 사용하여, 매체 콘텐츠의 표현으로부터의 자극에 응답하는 사용자의 하나 이상의 물리적 특성을 검출하는 것; 또는, 컴퓨팅 시스템을 사용하여, 매체 콘텐츠가 제시되어야 하는 방법의 선택을 나타내는 사용자 입력을 수신하는 것 중 적어도 하나를 더 포함하되; 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것은, 사용자의 검출된 하나 이상의 물리적 특성의 분석 또는 수신된 사용자 입력 중 적어도 하나에 기초한다. 몇몇 실시형태에서, 방법은 다음을 더 포함한다: 하나 이상의 매체 콘텐츠를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 증강 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 증강 현실 표현으로 시프트하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 제시하는 것.
다른 양태에서, 장치가 본원에서 개시되는데, 장치는, 디스플레이 디바이스; 적어도 하나의 프로세서; 및 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하게 하고; 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하게 하고; 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하게 하고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하게 하고; 그리고 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하게 하고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장한다. 몇몇 실시형태에서, 장치는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다. 몇몇 실시형태에서, 물리적 객체는, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 포스터, 크리스마스 트리 전구, 크리스마스 트리 장식품, 하누카 메노라, 묘비, 사용자와 관련되는 감상적 인공물 또는 장식물, 또는 사용자와 관련되는 다른 개인과 관련되는 감상적 인공물 또는 장식물 중 하나를 포함한다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 장치는, 하나 이상의 센서; 또는 하나 이상의 사용자 입력 디바이스 중 적어도 하나를 더 포함하고; 명령어의 세트는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 또한, 하나 이상의 센서를 사용하여, 매체 콘텐츠의 표현으로부터의 자극에 응답하는 사용자의 하나 이상의 물리적 특성을 검출하는 것; 또는 하나 이상의 사용자 입력 디바이스로부터, 매체 콘텐츠가 제시되어야 하는 방법의 선택을 나타내는 사용자 입력을 수신하는 것 중 적어도 하나를 수행하게 하되; 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것은, 사용자의 검출된 하나 이상의 물리적 특성의 분석 또는 수신된 사용자 입력 중 적어도 하나에 기초한다. 또 다른 실시형태에서, 명령어의 세트는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 또한, 하나 이상의 매체 콘텐츠를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 증강 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 증강 현실 표현으로 시프트하게 하고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 제시하게 한다.
다른 양태에서, 시스템이 본원에서 개시되는데, 시스템은, 시각적 출력 디바이스 - 시각적 출력 디바이스는, 디스플레이 디바이스; 적어도 하나의 제1 프로세서; 및 제1 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제1 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 제1 세트를 포함하는 컴퓨터 소프트웨어를 저장함 - ; 컴퓨팅 시스템 - 컴퓨팅 시스템은, 적어도 하나의 제2 프로세서; 및 제2 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 제2 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제2 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하게 하고; 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하게 하고; 그리고 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 혼합 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하게 하는 명령어의 제2 세트를 포함하는 컴퓨터 소프트웨어를 저장함 - 을 포함하되; 명령어의 제1 세트는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금 또한, 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하게 하고; 그리고, 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하게 한다.
다른 양태에서, 방법이 본원에서 개시되는데, 방법은, 컴퓨팅 시스템을 사용하여, 복수의 매체 콘텐츠 중 하나 이상의 제1 매체 콘텐츠 또는 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지 중 적어도 하나가 사용자에게 제시되어야 하는 방법을 결정하는 것; 하나 이상의 제1 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 제1 매체 콘텐츠를 수정하여 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것, 및 제2 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 매체 콘텐츠를 사용자에게 제시하는 복수의 시각적 출력 디바이스 중 제1 시각적 출력 디바이스로 하나 이상의 제2 매체 콘텐츠를 전송하는 것; 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 증강 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해 컴퓨팅 시스템 사용하여, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지와 관련하여 하나 이상의 제1 매체 콘텐츠를 가상의 오버레이로서 수정하는 것에 의해 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것, 및 제2 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제3 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제3 매체 콘텐츠를 전송하는 것; 및 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를, 가상 현실 및 증강 현실의 요소를 결합하는 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 혼합 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지에 기초하여 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것, 및 제2 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제4 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제4 매체 콘텐츠를 전송하는 것을 포함한다. 몇몇 실시형태에서, 방법은 다음을 더 포함한다: 컴퓨팅 시스템을 사용하여, 제1 API를 통한 자산 통합 및 제어 시스템, 제2 API를 통한 제1 시각적 출력 디바이스, 제3 API를 통한 자산 생산 시스템, 및 제4 API를 통한 생산 관리 시스템 중 적어도 하나의 각각에서의 복수의 매체 콘텐츠의 각각의 실시간 상태를 추적하는 것; 컴퓨팅 시스템을 사용하여, 자신의 상태가 자산 생산 시스템으로부터 자산 통합 및 제어 시스템으로의 통합을 위한 준비가 되어 있다는 것을 나타내는 복수의 매체 콘텐츠 중 적어도 하나의 제5 매체 콘텐츠를 분배하는 것; 컴퓨팅 시스템을 사용하여, 자신의 상태가 자산 통합 및 제어 시스템으로부터 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 나타내는 복수의 매체 콘텐츠 중 적어도 하나의 제6 매체 콘텐츠를 분배하는 것; 컴퓨팅 시스템을 사용하여, 적어도 하나의 제6 매체 콘텐츠를, 복수의 시각적 출력 디바이스 중 하나 이상의 제2 시각적 출력 디바이스 - 하나 이상의 제2 시각적 출력 디바이스는 제1 시각적 출력 디바이스와는 별개임 - 와 동기화하는 것; 및 적어도 하나의 제6 매체 콘텐츠에 대한 업데이트를 수신하는 것에 응답하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 제6 매체 콘텐츠에 대한 업데이트를, 하나 이상의 제2 시각적 출력 디바이스의 각각 및 제1 시각적 출력 디바이스의 각각으로 전송하는 것. 몇몇 실시형태에서, 방법은 다음을 더 포함한다: 컴퓨팅 시스템을 사용하여, 제3 API를 통해 자산 생산 시스템으로부터 하나 이상의 제1 매체 콘텐츠를 수신하는 것; 및, 컴퓨팅 시스템을 사용하여, 이미지 캡처 디바이스로부터 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 수신하는 것. 또 다른 실시형태에서, 방법은 다음을 더 포함한다: 컴퓨팅 시스템을 사용하여, 하나 이상의 제1 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 결정하는 것; 컴퓨팅 시스템을 사용하여, 제4 API를 통해 하나 이상의 제1 메시지 - 하나 이상의 제1 메시지는, 생산 관리 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 나타내도록 하나 이상의 제1 매체 콘텐츠의 상태를 변경하게 함 - 를 생산 관리 시스템으로 전송하는 것; 및, 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 메시지 - 하나 이상의 제2 메시지는, 자산 생산 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠를 제3 API를 통해 컴퓨팅 시스템으로 전송하게 함 - 를 제3 API를 통해 자산 생산 시스템으로 전송하는 것. 여전히 또 다른 실시형태에서, 방법은 다음을 더 포함한다: 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있지 않다는 것을 결정하는 것; 컴퓨팅 시스템을 사용하여, 제4 API를 통해 하나 이상의 제3 메시지 - 하나 이상의 제3 메시지는, 생산 관리 시스템으로 하여금, 하나 이상의 제2 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있지 않다는 것을 나타내도록 하나 이상의 제2 매체 콘텐츠의 상태를 변경하게 함 - 를 생산 관리 시스템으로 전송하는 것; 및, 컴퓨팅 시스템을 사용하여, 하나 이상의 제4 메시지 - 하나 이상의 제4 메시지는, 자산 생산 시스템으로 하여금, 하나 이상의 제2 매체 콘텐츠에 대한 작업을 계속하도록 하나 이상의 제5 메시지를 한 명 이상의 개발자에게 전송하게 함 - 를 제3 API를 통해 자산 생산 시스템으로 전송하는 것. 몇몇 실시형태에서, 컴퓨팅 시스템은 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템 중 적어도 하나를 포함한다. 몇몇 실시형태에서, 복수의 시각적 출력 디바이스 각각은, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰 중 하나를 포함한다.
다른 양태에서, 컴퓨팅 시스템이 본원에서 개시되는데, 컴퓨팅 시스템은, 적어도 하나의 프로세서; 및 비일시적 컴퓨터로 판독 가능한 매체를 포함하되, 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 복수의 매체 콘텐츠 중 하나 이상의 제1 매체 콘텐츠 또는 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지 중 적어도 하나가 사용자에게 제시되어야 하는 방법을 결정하게 하고; 하나 이상의 제1 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해, 자산 통합 및 제어 시스템으로 하여금, 제1 매체 콘텐츠를 수정하여 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하게 하고, 제2 API를 통해, 하나 이상의 제2 매체 콘텐츠를 사용자에게 제시하는 복수의 시각적 출력 디바이스 중 제1 시각적 출력 디바이스로 하나 이상의 제2 매체 콘텐츠를 전송하게 하고; 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 증강 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지와 관련하여 하나 이상의 제1 매체 콘텐츠를 가상의 오버레이로서 수정하는 것에 의해 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하게 하고, 제2 API를 통해, 하나 이상의 제3 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제3 매체 콘텐츠를 전송하게 하고; 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를, 가상 현실 및 증강 현실의 요소를 결합하는 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 혼합 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지에 기초하여 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하게 하고, 제2 API를 통해, 하나 이상의 제4 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제4 매체 콘텐츠를 전송하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장한다.
도 1은, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템을 예시하는 개략적인 도면이다.
도 2는, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하는 방법을 예시하는 흐름도이다.
도 3은, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 다른 시스템을 예시하는 개략적인 도면이다.
도 4는, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 다른 방법을 예시하는 흐름도이다.
도 5a 내지 도 5d는, 다양한 실시형태에 따른, 사용자와 물리적 객체 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법을 예시하는 흐름도이다.
도 6은, 다양한 실시형태에 따른, 가상 현실, 증강 현실, 또는 혼합 현실 중 하나로부터, 가상 현실, 증강 현실, 또는 혼합 현실 중 다른 하나로 시프팅하는 것을 가능하게 하는 컴퓨터로 시뮬레이션되는 현실 플랫폼을 구현하기 위한 시스템을 예시하는 개략적인 도면이다.
도 7a 내지 도 7f는, 다양한 실시형태에 따른, 가상 현실, 증강 현실, 또는 혼합 현실 중 하나로부터 가상 현실, 증강 현실, 또는 혼합 현실의 다른 하나로 시프팅하는 것을 가능하게 하는 컴퓨터로 시뮬레이션되는 현실 플랫폼을 구현하기 위한 방법을 예시하는 흐름도이다.
도 8은, 다양한 실시형태에 따른, 예시적인 컴퓨터 또는 시스템 하드웨어 아키텍처를 예시하는 블록도이다.
도 9는, 다양한 실시형태에 따라 사용될 수 있는 컴퓨터의 네트워크 시스템을 예시하는 블록도이다.
도 10 내지 도 25는 예시적인 전자책을 예시한다.
도 26 내지 도 30은, 예시적인 AR 경험을 예시한다.
도 31은 제1의 예시적인 VR 경험(experience)을 예시한다.
도 32 내지 도 36은 제2 예시적인 VR 경험을 예시한다.
소정의 정의
달리 정의되지 않는 한, 본원에서 사용되는 모든 기술적 용어는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 본 명세서 및 첨부된 청구의 범위에서 사용될 때, 단수 형태 "a(한)", "an(한)" 및 "the(그)"는, 문맥 상 명확하게 달리 지시하지 않는 한, 복수의 참조를 포함한다. 본원에서의 "또는(or)"에 대한 임의의 언급은, 달리 언급되지 않는 한, "및/또는"을 포괄하도록 의도된다.
본원에서 사용될 때, "트리거"는, AR, VR, 또는 MxR 매체 콘텐츠를 식별 및/또는 활성화하기 위해 사용되는 이미지, 프레임 마커(예를 들면, QR 코드), 텍스트, 물리적 삼차원 객체, 및 등등을 포함한다.
본원에서 사용될 때, "비 시각적 트리거"는, AR, VR, 또는 MxR 매체 콘텐츠를 식별 및/또는 활성화하기 위해 사용되는, 근접장 통신(Near Field Communications; NFC) 태그, 무선 주파수 식별 데이터(Radio Frequency Identification Data; RFID) 모드 2 또는 6 태그, 스마트폰 상에서 활성인 위치 기반 서비스(Location Based Service; LBS), 및 등등을 포함한다.
다양한 실시형태는, 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 툴 및 기술을 제공하며, 특정한 실시형태에서는, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법, 시스템, 및 컴퓨터 소프트웨어를 제공한다.
컴퓨터로 시뮬레이션되는 현실 사용자 경험(User Experience; "UX")
다양한 실시형태에서, 제1 카메라는 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 수도 있을 것이고, 컴퓨팅 시스템은 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하기 위해 캡처된 하나 이상의 이미지를 분석할 수도 있을 것이다. 캡처된 하나 이상의 이미지가 하나 이상의 트리거 중 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 컴퓨팅 시스템은, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별할 수도 있을 것이다. 컴퓨팅 시스템은 (예를 들면, 사용자가 보고 있는 것과 관련하여 카메라를 사용하여 사용자의 눈(들)을 캡처하는 것에 의해) 사용자의 시야를 결정할 수도 있을 것인데, 시야는 인쇄된 출판물의 적어도 일부를 포함한다. 컴퓨팅 시스템은 필요하다면(즉, 하나 이상의 매체 콘텐츠의 방위가 사용자의 시야와 아직 정렬되어 있지 않다는 것을 컴퓨팅 시스템이 결정하는 경우, 또는 등등), 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 후속하여 수정할 수도 있을 것이다. 그 다음, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, (몇몇 경우에, 사용자의 시야와 정렬되도록 그 방위가 수정된) 하나 이상의 매체 콘텐츠는 시각적 출력 디바이스로 그리고 사용자에게 제시될 수도 있다.
대안적으로, 시각적 트리거를 사용하는 대신, 비 시각적 트리거가 사용될 수도 있다. 그러한 경우에, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거 사이에서 무선 통신이 확립될 수도 있다. 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 컴퓨팅 시스템은, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별할 수도 있을 것이다. 컴퓨팅 시스템은 (예를 들면, 사용자가 보고 있는 것과 관련하여 카메라를 사용하여 사용자의 눈(들)을 캡처하는 것에 의해) 사용자의 시야를 결정할 수도 있을 것인데, 시야는 인쇄된 출판물의 적어도 일부를 포함한다. 컴퓨팅 시스템은 필요하다면(즉, 하나 이상의 매체 콘텐츠의 방위가 사용자의 시야와 아직 정렬되어 있지 않다는 것을 컴퓨팅 시스템이 결정하는 경우, 또는 등등), 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 후속하여 수정할 수도 있을 것이다. 그 다음, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, (몇몇 경우에, 사용자의 시야와 정렬되도록 그 방위가 수정된) 하나 이상의 매체 콘텐츠는 시각적 출력 디바이스로 그리고 사용자에게 제시될 수도 있다.
몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 실시형태에 따르면, 적어도 하나의 시각적 트리거 각각은, 출판물의 적어도 일부 상에 제공되는 퀵 리스폰스(quick response; "QR") 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 적어도 하나의 비 시각적 트리거는, 몇몇 경우에, 각각, 무선 주파수 식별("RFID") 태그, 블루투스 저 에너지(Bluetooth low energy; "BLE") 태그, 근접장 통신("NFC") 태그, 또는 실시간 위치 결정 시스템(real-time locating system; "RTLS") 태그, 및/또는 등등을 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다.
몇몇 경우에, 하나 이상의 매체 콘텐츠는, 삼차원("3D") 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함하는데, 이들의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다.
몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 실시형태에 따르면, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 이차원("2D") 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다.
몇몇 실시형태에서, 상기에서 설명되는 컴퓨팅 시스템은 컴퓨터 비전(몇몇 경우에, 객체 인식을 포함함)을 포함할 수도 있을 것이다. 여기서, "컴퓨터 비전"은, 객체 및 트리거를 인식하는, 그리고 트리거(이들은 시각 기반의 트리거, 비 시각 기반의 트리거, 시각적 및 비 시각적 트리거의 임의의 조합, 및/또는 등등일 수 있을 것임)를 검출하는 것에 응답하여 콘텐츠의 AR 표현을 개시하는 이미지 캡처 기술을 가리킬 수도 있을 것이다. 몇몇 경우에, 컴퓨터 비전 기술은, AR을 VR로의 가교(bridge)로서 사용하는 것, 및 그 반대로서 사용하는 것을 더 포함할 수도 있을 것인데, 이 경우, 몇몇 경우에, 컴퓨터 비전 시스템은, 사용자 또는 독자에 대한 상호 작용 경험을 향상시킬 인자(그리고 이것은 AR 및/또는 VR 표현에서의 소정의 자극에 대한 사용자 응답을 검출 및 식별하는 것에 기초할 수도 있을 것임)에 따라, AR과 VR 사이에서 동적으로 또는 선택적으로 시프트할 수도 있을 것이다. 본원에서, "증강 현실"또는 "AR"은, 실제 객체 및 설정의 실제 뷰 위에 또는 실제 객체 및 설정의 이미지 위에 시뮬레이팅된 구조의 가상의 오버레이를 가리킬 수도 있을 것이고, 한편 "가상 현실" 또는 "VR"은, 사용자에 의해 관찰되는 모든 것이 시뮬레이팅되는 둘러싸인 감각 환경(enclosed sensory environment)을 가리킬 수도 있을 것이고, "혼합 현실" 또는 "MxR"은, AR과 VR의 조합(예를 들면, 시뮬레이팅되는 AR 요소가 표현에 임베딩되는 VR 표현, 또는 등등)을 가리킬 수도 있을 것이다. 컴퓨터 비전의 이들 및 다른 구현은, 다양한 비제한적인 실시형태와 관련하여 하기에서 상세하게 설명된다.
인쇄된 출판물과 관련되는 캐릭터, 이야기 요소(story element), 설정, 장면, 및/또는 등등의 가상의 오버레이는, (사용자의 또는 독자의 상상은 별개로) 출판물과 관련되는 캐릭터, 설정, 및/또는 스토리와의 가상의 상호 작용을 사용자 또는 독자에게 제공한다. 몇몇 경우에, 이러한 상호 작용은, 사용자가 출판물의 스토리로부터의 가상의 캐릭터를 가지고 플레이하는 상호 작용식 게임을 포함한다. 몇몇 실시형태는, 사용자 또는 독자가, AR, VR, 및/또는 혼합 현실(즉, AR 및 VR의 조합)을 통해, 스토리의 주인공 또는 적수의 관점에서 스토리를 경험하는 것을 또한 허용할 것이고, 그에 의해, 출판물의 캐릭터 또는 스토리에 대한 사용자의 또는 독자의 인지적이고 인상적인 또는 감동을 받는 공감의 느낌을 향상시킬 것이다. 또한, AR과 VR 사이의 동적인 또는 선택된 시프트는, 사용자 또는 독자에게, 출판물의 스토리 및/또는 캐릭터와의 더욱 몰입감 있는 상호 작용 경험을 제공한다.
컴퓨터로 시뮬레이션되는 현실 플랫폼
컴퓨터로 시뮬레이션되는 현실 플랫폼은, 몰입형 VR 안으로의 AR 및 2D 프론트 엔드 론칭 기능성을 갖춘, MxR 매체 콘텐츠 애플리케이션을 위한 확장 가능하고 재사용 가능한 프레임워크 및 엔드 사용자 애플리케이션이다. 컴퓨터로 시뮬레이션되는 현실 플랫폼은, 출판 및 분석을 통해 매체 콘텐츠 표현의 제1 디자인으로부터 추적 및 관리되는, 능률화된(streamlined) 그리고 비용 효율적인 생산 프로세스를 가능하게 하는 종단간 생산 프로세스 및 매체 콘텐츠 애플리케이션 프레임워크를 제공한다. 몇몇 경우에, 완전히 커스터마이징된 클라이언트/서버 기술(completely custom client/server technology)인 프레임워크는, 독점적 애플리케이션 프레임워크로 배포되는(released) 모든 매체 콘텐츠 자산 또는 애플리케이션(본원에서 "자산", "매체 콘텐츠", "애플리케이션", 등등으로 또한 칭해짐)의 생성, 분배, 및 관리를 제공한다. 플랫폼은, 사용자 인터페이스(user interface; "UI") 및/또는 사용자 경험(user experience; "UX")의 그래픽 표현, 아키텍처 및 서버 기반의 기능성(예를 들면, 호스팅된 콘텐츠), 애플리케이션의 개발 및 라이브 버전의 호스팅 및 지원을 위한 기술적 요건 및 콘텐츠 관리 솔루션(content management solution; "CMS")을, 제한 없이, 포함한다. 플랫폼은 임의의 MxR 기반 플랫폼뿐만 아니라, 에피소드 TV용 자산의 재목적화를 포함하는, 그러나 이것으로 제한되지는 않는 개발 프로젝트에 보편적으로 적응 가능하도록 의도된다.
사전 생산 계획 및 스케줄링,
자산(예를 들면, Microsoft® EXCEL®(마이크로소프트 엑셀), Google® Docs(구글 독스), 전자 메일 애플리케이션, 메시징 애플리케이션, 등등)의 생산을 추적하는 전통적인 방법은, 통신의 관점에서 단절되고 통상적으로 일방향이다는 단점을 갖는다. 플랫폼은, Autodesk®(오토데스크), Maya®(마야), Autodesk® Mudbox®(오토데스크 머드박스), Adobe® Photoshop®(아도브 포토샵), 및/또는 등등을 포함하는, 그러나 이들로 제한되지는 않는 자산 생산 시스템 및 소프트웨어에게, 직접적인 연결 및 론칭 성능을 제공하면서, 자산의 생산을 추적하는 이들 전통적인 수단을 대신하는 올인원 추적 및 관리 솔루션을 생성한다. 서비스로서의 소프트웨어(software as a service; "SaaS") 모델을 사용하여, 몇몇 경우에, 사전 생산 계획 및 스케줄링 툴(예를 들면, Autodesk Shotgun(오토데스크 샷건), 또는 등등)을 사용하여, 커스텀 생산 프로세스(custom production process)가 구축되었다. 디자인, 개발, 아티스트의 태스크(task), 매체 콘텐츠 구조 및 태스킹(tasking), 애니메이션, 오디오를 정확하게 추적하기 위해 생산의 모든 스테이지에 대한 커스텀 인터페이스가 생성되었을 뿐만 아니라, 애플리케이션의 배포 버전 및 베타 버전에서의 버그를 추적하기 위한 버그 관리 시스템이 생성되었으며, 이들은 중복적으로 백업된 128 비트(또는 그 이상의) 암호화된 온라인 데이터베이스에서 추적된다.
독점적인 추적 및 생산 템플릿을 사용하여, 플랫폼은, 최소 양의 생산 오버헤드를 가지고, 엄격한 레벨의 품질 제어를 유지하면서, 책에 대한 작품을 기하 급수적으로 확장하도록, 내부 및 외부 둘 모두의 아티스트, 개발자, 작가, 등등(본원에서, "개발자"로 일괄적으로 언급됨)을 관리할 수 있다.
몇몇 실시형태에서, 데스크탑 컴퓨터, 랩탑 컴퓨터, 모바일 디바이스, 태블릿 플랫폼, 및/또는 등등 중 하나 이상 상에서 실행될 수도 있는 플랫폼의 내부 툴세트(toolset)(예를 들면, Quantum Bridge™(퀀텀 브리지), 또는 등등)은, 모든 내부 소프트웨어 및 개발 툴을, Python(파이썬), JavaScript(자바스크립트), 및 C#, 및/또는 등등과 같은 언어로 작성될 수도 있는 커스텀 워크플로우(예를 들면, Quantum Transport™(퀀텀 트랜스포트), 및/또는 등등)를 통해 연결할 수도 있을 것이다. 커스텀 워크플로우 애플리케이션 프로그래밍 인터페이스(application programming interface; "API")는, 개발 파이프라인의 각각의 전혀 다른 종류의 섹션 또는 컴포넌트에게, 서로 통신하는 능력을 제공하여, 디지털 자산이 그들의 상태를 사전 생산 단계로부터 자산 통합으로 또는 자산 분배로 변경하는 경우에, 자산이 통합을 위한 준비가 된 것으로 또는 분배를 위한 준비가 된 것으로 플래그가 지정되는(flagged) 경우에, 등등의 경우에, 메시지를 주고받을 수도 있을 것이다.
몇몇 실시형태에 따르면, 생산이 진행됨에 따라 향상 및 수정을 가능하게 하면서, 개발자의 특정한 사전 생산 및 생산 스타일에 맞는 커스텀 워크플로우를 개발하기 위해, 생산 추적, 계획 및 태스킹 시스템이 사용될 수도 있을 것이다. 생산 추적, 계획 및 태스킹 시스템은, 아티스트의 시간을 추적할 수 있고, 새로운 디지털 스토리의 생성을 위해 필요한 모든 자산에 대한 전달을 추적할 수 있고, 종속적인 태스크(이 경우, 하나의 태스크는 다른 것이 종료되면 시작하고, 하나의 태스크는 다른 것이 소정의 스테이지로 진행하면 시작하고, 등등이다)를 생성할 수 있고, 그리고 상기한 것의 모든 것의 버전을 추적할 수 있다. 생산 추적, 계획 및 태스킹 시스템은 또한, 자산의 전달을 위해, 서버 또는 컴퓨팅 시스템 상에서, 개발, 테스팅, 및 생산 데이터베이스를 시딩할(seed) 수 있다. 내장 API 및/또는 플랫폼 툴세트를 사용하여, 자산이 승인을 위해 플래그가 지정되면, 결과적으로 나타나는 파일은, 자산 생산 시스템의 프레임워크에서의 검토(viewing) 및 재검토(reviewing)를 위해 생산 관리 시스템 상의 데이터를, 자산 생산 시스템(예를 들면, Unity(유니티) 3D, 등등)용의 자산 번들로 푸시하고 변환하는 커스텀 스크립트(예를 들면, Quantum Trigger™(퀀텀 트리거) 스크립트, 또는 등등)을 통해 동기화될(synchronized) 수 있거나 또는 동기화될(synced) 수 있다.
타임라인에 대해 세심히 계획을 세우는 것으로부터, 자산(예를 들면, 모델, 사운드, 애니메이션, 등등)에 따른 비용 산출까지, 플랫폼은, (예를 들면, 생산 관리 시스템, 또는 등등에서) 스케줄링 툴을 사용하여, 뿐만 아니라, 플랫폼 툴세트에서 커스텀 툴을 사용하여, 시간/비용을 정확하게 스케줄링하고 관리할 것이다. 이들을 통해, 플랫폼은, 개념으로부터 완성, 배포 및 전달에 이르기까지 프로세스가 진행됨에 따라, 새로운 자산을 추적하고 예측할 수 있다. 이것은 출판되는 각각의 자산에 대해 중요한데, 이 경우, 그들이 생성되는 타임라인은 개정을 부단하게 필요로 할 수도 있고 이 경우 각각의 스테이지를 완료하는 데 필요한 노동자 또는 개발자는 변경되는 것을 필요로 할 수도 있다.
자산 생산,
통상적으로, 3D 또는 2D에서의 생산은, 자산을 구축하는 것으로부터 애플리케이션 내부에서 업데이트되는 최신 콘텐츠를 보는 것까지 많은 단일의 실패 지점을 생성하는 더 많은 할당 및 반복 프로세스를 필요로 한다. 몇몇 경우에, 몇몇 생산 방법론은, 전개 중인 다중 스토리 솔루션에 대해 확장될 수 없다.
플랫폼은, 태스킹, 재검토, 및 승인 기능성을 갖춘 툴(예를 들면, 생산 관리 시스템 툴, 플랫폼 툴세트, 자산 생성을 위한 업계 표준 소프트웨어, 및/또는 등등)을 사용하여, 자산을 더욱 능률화된 양식으로 구축, 추적 및 배치할 수 있다. 생산 프로세스에서 생성되는 모든 자산은, 정확한 추적뿐만 아니라, 엔드 사용자 디바이스에 대한 더 용이한 디지털 배포 및 업데이트를 위해, 메타데이터, 스크립트, 및/또는 등등을 통해, 플랫폼 툴세트에서 생성되는 코드를 통해 연결될 수 있다. 플랫폼은 아티스트 및 기타 개발자에게 직접적으로 과제를 부과할(task) 수 있고, 커스텀 스크립트를 통해, VR 기반의 애플리케이션, AR 기반의 애플리케이션, 또는 MxR 기반의 애플리케이션, 또는 이들 애플리케이션의 조합, 및 등등에서의 재검토를 위해, 생산 툴 모음(production suite of tools)으로부터 직접적으로 개발 테스팅 영역으로 승인된 버전의 자산을 푸시할 수 있다.
자산 통합 및 제어,
플랫폼의 커스텀 툴은, 사전 생산의 초기 스테이지로부터 데이터를 연결할 수 있다. 데이터 기반의 접근법을 사용하는 것은, 테스트되는 그리고 후속하여 출판되는 자산 빌드 내의의 모든 자산의 추적을 허용한다. 이것은 품질 제어에서 도움이 될 뿐만 아니라, 더 많은 수동 기반의 개발 워크플로우에서 아주 통상적인 비용 초과, 시간 지연, 및 콘텐츠 버그에서도 또한 도움이 된다. 다중 플랫폼 자산 생산 시스템을 사용하여, (2D 및 3D 둘 모두의 구현에서) 매우 커스터마이징 가능한 모양 및 자산이 만들어질 수 있다. 다중 플랫폼 기능성은, 사소한 조작을 통해 프레임워크를 복수의 상이한 표현 플랫폼 중 임의의 하나로 푸시하는 것을 가능하게 하는 하나의 코드베이스 내에서의 개발을 허용한다. 증강 현실 기반의 경험(또는 혼합 현실 기반의 경험)을 위해, 자산 통합 시스템이 모바일 디바이스 상의 카메라를 사용하여 실세계 객체 및 이미지를 인식 및 추적하는 것을 허용하기 위해, 컴퓨터 비전 기술 및 대응하는 시스템이 사용될 수 있다. 이미지는 애플리케이션(또는 앱)에서 호스팅될 수 있거나, 또는 컴퓨터 비전 개발 웹 사이트로부터 동적으로 공급될 수 있다.
자산 통합 및 제어,
서버(예를 들면, Parse Server(파스 서버), 등등)는, 대량의 데이터를 디지털 방식으로 프레임워크에 저장 및 전달하는 것을 허용할 수도 있을 것이고, 자산 통합 시스템뿐만 아니라, 기타 개발 플랫폼에 직접 연결될 수도 있을 것이다. 서버는 수평적으로 그리고 수직적으로 고도로 확장 가능할 수도 있을 것이고, 현재 이용 가능한 웹 서비스 솔루션(예를 들면, Amazon® Web Services(아마존 웹 서비스), 또는 등등) 상에서 원활하게 실행될 수도 있을 것이다. 다른 이점은, 사용자 로그인 및 계정 생성, 커스텀 데이터베이스 스키마, 더 쉬운 부모 계정을 위한 oAuth2 연결, 어린이 온라인 사생활 보호법(Child's Online Privacy Protection Act; COPPA) 준수 정보를 저장하는 것, 푸시 통지 프레임워크 및 서버, 및/또는 등등을, 제한 없이, 포함할 수도 있을 것이다.
자산 통합 시스템은, 서버(들)에서 호스팅되는 데이터에 직접적으로 연결될 수도 있는데, 데이터는, 결국에는(in turn) 웹 서비스 솔루션 상에서 실행될 수도 있다. 서버 데이터는, 자산 생산 시스템 및 자산 통합 시스템에서 생성되는 자산으로의 연결부(hook)를 가지고, 생산 관리 시스템과 서버 사이에서 동기화될 수 있다. 이것은, 사전 생산에서부터 플랫폼의 배포를 위한 전달까지 내내 자산 및 버전의 추적을 허용한다. 서버는, 디바이스, 자산, 및 사용자를 추적할 수 있고, 자산이 이용 가능한 모든 플랫폼에 걸친 프레임워크의 더 나은 사용자 유지 및 수익화를 추진할 커스텀 분석을 생성할 수 있다.
전달 플랫폼,
자산 통합 시스템, 및 서버(들)를 통한 자산 또는 매체 콘텐츠의 동적인 전달을 사용하여, 다수의 플랫폼은 재빨리 그리고 수동 전달 방법보다 훨씬 더 저렴한 비용에서 지원될 수 있다. Google Cardboard™(구글 카드보드), Samsung Gear VR®(삼성 기어 VR), Google Daydream™(구글 데이드림), Microsoft HoloLens™(마이크로소프트 홀로렌즈), Oculus Rift™(오큘러스 리프트), HTC Vive™(HTC 바이브), Sony PlayStation VR®(소니 플레이스테이션 VR), 및/또는 등등을 포함하는 그러나 이들로 제한되지는 않는 다양한 전달 플랫폼이 사용될 수 있다.
동기화,
서버 및 프론트 엔드 클라이언트 둘 모두에서 독점적 툴을 사용하여, 서버는 사용자 경험의 모든 양태를 제어한다. 생산 관리 시스템과 동기화되면, 서버는, 최신의 최신 정보를 자산 상에서 유지하고, 사용자, 디바이스, 및 등등을 업데이트하고, 테스팅 뿐만 아니라 배포 둘 모두를 위해, 애플리케이션, 자산, 등등에 관련되는 임의의 것 및 모든 것에 대한 가장 최근의 분석을 실행한다.
사용자, COPPA 준수 추적, 애플리케이션 흐름 및 구조, 등등은, 서버를 통한 데이터로의 커스텀 인터페이스를 통해 관리될 수 있다. 서버는, 세계 어느 곳이든 위치될 수도 있는 클라이언트 디바이스와 통신하는 다양한 툴(예를 들면, MongoDB®(몽고DB), Node.js, ReST, 커스텀 API 등)을 활용한다. 그들은, 수백만 명의 사용자까지 동적으로 확장하는 능력을 갖는, 무상태 클라이언트-서버 캐시 가능 통신 프로토콜(stateless, client-server, cacheable communications protocol)에 의존한다.
데이터베이스 관리에 다중 버전 동시성 제어(multiversion concurrency control; "MVCC") 접근법을 활용하는 것은, 플랫폼이 몇 분 내에 클라이언트 애플리케이션의 데이터를 업데이트하는 것을 허용한다. 스토리 포인트 또는 흐름을 변경하는 것, 자산을 제거 또는 추가하는 것, 및 등등은, 간단하며 모든 클라이언트 디바이스가 즉시 이용 가능하다.
사용자, 설치, 지오로케이션, 사용자 경험에서 소비되는 시간, 및/또는 등등은, 자산 애플리케이션의 특정한 위치(예를 들면, 가상 위치, 등등)에서 소비되는 시간의 세분화된 레벨까지, 실제 고객 데이터를 사용하여, 유지, 이벤트에 대한 사용자 퍼널(user funnel), 및 사용자 경험을 제공하기 위한 프로세스의 지속적인 개선 및 연마(honing)를 허용하는 무수한 커스텀 리포트를 추적하기 위해 사용될 수 있는 커스텀 분석을 위해 서버를 통해 추적 및 공급될 수 있다.
다음의 상세한 설명은 몇 가지 예시적인 실시형태를, 기술 분야에서 숙련된 자가 그러한 실시형태를 실시하는 것을 가능하게 하기 위해, 더 상세하게 예시한다. 설명된 예는 예시의 목적을 위해 제공되며, 본 발명의 범위를 제한하도록 의도되는 것은 아니다.
이하의 설명에서, 설명의 목적을 위해, 설명된 실시형태의 완전한 이해를 제공하기 위해 다수의 특정한 세부 사항이 기술된다. 그러나, 본 발명의 다른 실시형태는, 이들 특정한 세부 사항 중 일부가 없이, 실시될 수도 있다는 것이 기술 분야에서 숙련된 자에게는 명백할 것이다. 다른 경우에, 소정의 구조 및 디바이스는 블록도 형태로 도시된다. 몇몇 실시형태가 본원에 설명되고, 다양한 피처가 상이한 실시형태에 기인하지만, 하나의 실시형태와 관련하여 설명되는 피처는 다른 실시형태와 함께 통합될 수도 있다는 것이 또한 인식되어야 한다. 그러나, 동일한 이유로, 본 발명의 다른 실시형태가 그러한 피처를 생략할 수도 있기 때문에, 임의의 설명된 실시형태의 어떠한 단일의 피처 또는 피처들도 본 발명의 모든 실시형태에 대해 필수적인 것으로 고려되어서는 안된다.
다양한 실시형태에 의해 제공되는 툴은, 방법, 시스템 및/또는 소프트웨어 제품을, 제한 없이, 포함한다. 단지 예로서, 방법은 하나 이상의 프로시져를 포함할 수도 있을 것인데, 이들 중 임의의 것 또는 모두는 컴퓨터 시스템에 의해 실행된다. 따라서, 실시형태는, 다양한 다른 실시형태에 의해 제공되는 방법에 따른 하나 이상의 프로시져를 수행하기 위한 명령어로 구성되는 컴퓨터 시스템을 제공할 수도 있을 것이다. 마찬가지로, 컴퓨터 프로그램은, 이러한 동작을 수행하기 위해 컴퓨터 시스템(및/또는 그 내부의 프로세서)에 의해 실행 가능한 명령어의 세트를 포함할 수도 있을 것이다. 많은 경우, 그러한 소프트웨어 프로그램은, 물리적인, 유형의(tangible), 및/또는 비일시적 컴퓨터로 판독 가능한 매체(예컨대, 단지 몇몇의 이름을 거론하자면, 광학 매체, 자기 매체, 및/또는 등등) 상에 인코딩된다.
본원에서 설명되는 다양한 실시형태는, (몇몇 경우에) 소프트웨어 제품, 컴퓨터 수행 방법, 및/또는 컴퓨터 시스템을 구현하는 동안, 증강 현실 기술, 가상 현실 기술, 혼합 현실 기술, 상호 작용식 게이밍 기술, 및/또는 등등을 비롯한, 그러나 이들로 제한되지는 않는, 현존하는 기술 분야에 대한 유형의, 구체적인 향상을 나타낸다. 다른 양태에서, 소정의 실시형태는, 예를 들면, 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것, 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것에 의해, 컴퓨터 또는 네트워크 시스템 그 자체(예를 들면, 하기에서 설명되는 기능성, 등등을 수행하기 위한 컴퓨팅 디바이스 또는 시스템, 사용자 디바이스, 또는 등등)의 기능을 향상시킬 수 있고, 그에 의해, 더욱 현실성 있게 보이는 매체 콘텐츠의 가상 투영(virtual projection)을 생성하는 것, 증강 현실, 혼합 현실, 및 가상 현실 중 두 개 사이에서 원활한 방식(이것은 특히 사용자가 이러 저리 돌아다니고 그의 또는 그녀의 시야를 변경함에 따라, 적절한 관점을 유지하도록 매체 콘텐츠의 시뮬레이션 및 수정을 필요로 함)으로 시프트하는 것, 및 시프팅, 및/또는 등등에 기초하여 AR, 혼합 현실, 또는 VR에서 매체 콘텐츠를 제시하는 것에 의해, 사용자에 대한 증강 또는 가상 현실 인터페이스의 기능을 향상시킬 수 있다. 특히, 임의의 추상적인 개념이 다양한 실시형태에서 존재하는 한, 그들 개념은, 단지 종래의 컴퓨터 프로세싱 동작을 넘어서 확장하는 몇몇 예를 들자면, 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것, 또는 증강 현실, 혼합 현실, 및 가상 현실 중 두 개 사이에서 원활한 방식(이것은 특히 사용자가 이러 저리 돌아다니고 그의 또는 그녀의 시야를 변경함에 따라, 적절한 전망을 유지하도록 매체 콘텐츠의 시뮬레이션 및 수정을 필요로 함)으로 시프트하는 것을 가능하게 하는 것, 및 시프팅, 및/또는 등등에 기초하여 AR, 혼합 현실, 또는 VR에서 매체 콘텐츠를 제시하는 것과 같은, 특정한 신규의 기능성(예를 들면, 단계 또는 동작)을 수반하는 디바이스, 소프트웨어, 시스템, 및 방법에 의해 본원에서 설명되는 바와 같이 구현될 수 있다. 이들 기능성은, 단지 예로서, 고객 및/또는 서비스 제공자에 의해 관찰 또는 측정될 수도 있는, 사용자에게 현실성 있게 보이는 물리적 출판물과 관련하여 매체 콘텐츠의 3D 가상 투영을 생성하는 능력, 증강 현실, 혼합 현실, 및 가상 현실 중 두 개 사이에서 원활하게 전환하고 그에 의해 사용자에게 몰입형 상호 작용식 환경을 제공하는 능력, 및/또는 등등을 비롯한, 컴퓨터 시스템을 구현하는 것 밖의 명백한 결과를 생성할 수 있다.
하나의 양태에서, 방법은, 제1 카메라를 사용하여, 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처하는 것;
컴퓨팅 시스템을 사용하여, 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 컴퓨팅 시스템으로 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하는 것;
및, 캡처된 하나 이상의 이미지가 하나 이상의 트리거 중 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하는 것을 포함할 수도 있다. 방법은 또한, 컴퓨터 시스템을 사용하여, 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것 및, 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것을 포함할 수도 있을 것이다. 방법은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 더 포함할 수도 있을 것이다.
몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 시각적 출력 디바이스는 제1 카메라를 포함할 수도 있을 것이다. 대안적으로, 제1 카메라는, 시각적 출력 디바이스에 외부에 있을 수도 있을 것이고, 동시에, 시각적 출력 디바이스에 통신 가능하게 커플링될 수도 있을 것이다.
몇몇 실시형태에 따르면, 시각적 출력 디바이스는, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함할 수도 있을 것이고, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것을 포함할 수도 있을 것이다.
몇몇 경우에, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 적어도 하나의 트리거는, 몇몇 실시형태에 따르면, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를 각각 포함할 수도 있을 것이다.
몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다. 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다. 몇몇 경우에, 컴퓨팅 시스템은, 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
다른 양태에서, 장치는, 제1 카메라, 디스플레이 디바이스, 적어도 하나의 프로세서, 및 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금, 제1 카메라를 사용하여, 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처하게 하고; 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하게 하고; 캡처된 하나 이상의 이미지가 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
몇몇 실시형태에서, 장치는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다.
몇몇 경우에, 장치는 제2 카메라를 더 포함할 수도 있을 것이다. 명령어의 세트는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 또한, 제2 카메라를 사용하여, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하게 할 수도 있을 것이다. 사용자의 시야를 결정하는 것은, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 사용자의 시야를 결정하는 것을 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 적어도 하나의 트리거 각각은, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를 포함할 수도 있을 것이다.
단지 예로서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다. 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다.
또 다른 양태에서, 시스템은, 이미지 캡처 디바이스, 컴퓨팅 시스템, 및 시각적 출력 디바이스를 포함할 수도 있을 것이다. 이미지 캡처 디바이스는, 제1 카메라, 적어도 하나의 제1 프로세서, 및 제1 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제1 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 이미지 캡처 디바이스로 하여금, 제1 카메라를 사용하여, 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처하게 하고, 캡처된 하나 이상의 이미지를 컴퓨팅 시스템에 전송하게 하는 명령어의 제1 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
컴퓨팅 시스템은, 적어도 하나의 제2 프로세서 및 제2 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제2 비일시적인 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제2 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 캡처된 하나 이상의 이미지를 이미지 캡처 디바이스로부터 수신하게 하고; 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거를 포함하는지의 여부를 결정하게 하고; 캡처된 하나 이상의 이미지가 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 시각적 출력 디바이스로 전송하게 하는 명령어의 제2 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
시각적 출력 디바이스는, 디스플레이 디바이스, 적어도 하나의 제3 프로세서, 및 제3 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제3 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제3 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금, 컴퓨팅 시스템으로부터 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 수신하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 제3 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 시각적 출력 디바이스는 이미지 캡처 디바이스를 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 시각적 출력 디바이스는, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 제2 카메라를 포함할 수도 있을 것이고, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것을 포함할 수도 있을 것이다.
몇몇 경우에, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 적어도 하나의 트리거는, 몇몇 실시형태에 따르면, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를 각각 포함할 수도 있을 것이다.
몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다. 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다. 몇몇 경우에, 컴퓨팅 시스템은, 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
여전히 다른 양태에서, 방법은, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거 사이에서 통신을 확립하는 것, 및 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하는 것을 포함할 수도 있을 것이다. 방법은 또한, 컴퓨터 시스템을 사용하여, 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것 및, 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것을 포함할 수도 있을 것이다. 방법은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 더 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것은, 컴퓨팅 시스템을 사용하여, 시각적 출력 디바이스가 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거의 통신 범위 내에 있는지의 여부를 결정하는 것; 및 시각적 출력 디바이스가 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거의 통신 범위 내에 있다는 결정에 기초하여, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것을 포함할 수도 있을 것이다.
몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 시각적 출력 디바이스는, 사용자가 인쇄된 출판물의 적어도 일부를 향해 보고 있을 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 카메라를 포함할 수도 있을 것이고, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것을 포함한다.
단지 예로서, 몇몇 경우에, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 적어도 하나의 트리거 각각은, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그, 및/또는 등등 중 하나를 포함할 수도 있을 것이다.
몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다. 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
몇몇 실시형태에서, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다. 몇몇 경우에, 컴퓨팅 시스템은, 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
다른 양태에서, 장치는, 무선 통신 디바이스, 디스플레이 디바이스, 적어도 하나의 프로세서, 및 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금, 무선 통신 디바이스를 사용하여, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거 사이에서 통신을 확립하게 하고; 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
몇몇 실시형태에서, 장치는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 장치는, 사용자가 인쇄된 출판물의 적어도 일부를 향해 보고 있을 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 카메라를 더 포함할 수도 있을 것이고, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것은, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여, 컴퓨터 시스템을 사용하여, 사용자의 시야를 결정하는 것을 포함한다.
단지 예로서, 몇몇 경우에, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 적어도 하나의 트리거 각각은, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그, 및/또는 등등 중 하나를 포함할 수도 있을 것이다.
몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
여전히 다른 양태에서, 시스템은 무선 통신 디바이스, 컴퓨팅 시스템, 및 시각적 출력 디바이스를 포함할 수도 있을 것이다. 무선 통신 디바이스는, 트랜스시버, 적어도 하나의 제1 프로세서, 및 제1 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제1 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 이미지 캡처 디바이스로 하여금, 시각적 출력 디바이스와 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거 사이에서 통신을 확립하게 하는 명령어의 제1 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
컴퓨팅 시스템은, 적어도 하나의 제2 프로세서 및 제2 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제2 비일시적인 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제2 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하게 하고; 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하게 하고; 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하게 하고; 그리고 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 시각적 출력 디바이스로 전송하게 하는 명령어의 제2 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
시각적 출력 디바이스는, 디스플레이 디바이스, 적어도 하나의 제3 프로세서, 및 제3 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제3 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제3 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금, 컴퓨팅 시스템으로부터 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 수신하게 하고; 그리고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 제3 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
다른 양태에서, 방법은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하는 것; 및 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것을 포함할 수도 있을 것이다. 방법은 또한, 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하는 것을 포함할 수도 있을 것이다. 방법은, 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하는 것을 더 포함할 수도 있을 것이다.
몇몇 실시형태에서, 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 물리적 객체는, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 포스터, 크리스마스 트리 전구, 크리스마스 트리 장식품, 하누카 메노라, 묘비, 사용자와 관련되는 감상적 인공물 또는 장식물, 또는 사용자와 관련되는 다른 개인과 관련되는 감상적 인공물 또는 장식물, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
방법은, 몇몇 실시형태에 따라, 하나 이상의 센서를 사용하여, 매체 콘텐츠의 표현으로부터의 자극에 응답하는 사용자의 하나 이상의 물리적 특성을 검출하는 것 또는 컴퓨팅 시스템을 사용하여, 매체 콘텐츠가 제시되어야 하는 방법의 선택을 나타내는 사용자 입력을 수신하는 것 중 적어도 하나를 더 포함할 수도 있을 것이다. 이러한 실시형태에서, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것은, 사용자의 검출된 하나 이상의 물리적 특성의 분석 또는 수신된 사용자 입력 중 적어도 하나에 기초할 수도 있을 것이다. 몇몇 실시형태에서, 방법은, 하나 이상의 매체 콘텐츠를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 증강 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 증강 현실 표현으로 시프트하는 것, 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 제시하는 것을 더 포함할 수도 있을 것이다.
여전히 다른 양태에서, 장치는, 디스플레이 디바이스, 적어도 하나의 프로세서, 및 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것인데, 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하게 하고; 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하게 하고; 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하게 하고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하게 하고; 그리고 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하게 하고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장한다.
몇몇 실시형태에서, 장치는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 물리적 객체는, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 포스터, 크리스마스 트리 전구, 크리스마스 트리 장식품, 하누카 메노라, 묘비, 사용자와 관련되는 감상적 인공물 또는 장식물, 또는 사용자와 관련되는 다른 개인과 관련되는 감상적 인공물 또는 장식물, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 장치는, 하나 이상의 센서 또는 하나 이상의 사용자 입력 디바이스 중 적어도 하나를 더 포함할 수도 있을 것이다. 명령어의 세트는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 또한, 하나 이상의 센서를 사용하여, 매체 콘텐츠의 표현으로부터의 자극에 응답하는 사용자의 하나 이상의 물리적 특성을 검출하는 것; 또는 하나 이상의 사용자 입력 디바이스로부터, 매체 콘텐츠가 제시되어야 하는 방법의 선택을 나타내는 사용자 입력을 수신하는 것 중 적어도 하나를 수행하게 한다. 이러한 실시형태에서, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것은, 사용자의 검출된 하나 이상의 물리적 특성의 분석 또는 수신된 사용자 입력 중 적어도 하나에 기초할 수도 있을 것이다.
몇몇 경우에, 명령어의 세트는, 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금 또한, 하나 이상의 매체 콘텐츠를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 증강 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 증강 현실 표현으로 시프트하게 하고, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 제시하게 한다.
여전히 다른 양태에서, 시스템은 시각적 출력 디바이스 및 컴퓨팅 시스템을 포함할 수도 있을 것이다. 시각적 출력 디바이스는, 디스플레이 디바이스, 적어도 하나의 제1 프로세서, 및 제1 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제1 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금, 디스플레이 디바이스 및 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하게 하는 명령어의 제1 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
컴퓨팅 시스템은, 적어도 하나의 제2 프로세서 및 제2 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것이다. 제2 비일시적인 컴퓨터로 판독 가능한 매체는, 적어도 하나의 제2 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하게 하고; 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하게 하고; 그리고 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하게 하는 명령어의 제2 세트를 포함하는 컴퓨터 소프트웨어를 저장할 수도 있을 것이다.
명령어의 제1 세트는, 적어도 하나의 제1 프로세서에 의해 실행될 때, 시각적 출력 디바이스로 하여금 또한, 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하게 하고; 그리고, 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 디스플레이 디바이스 및 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하게 할 수도 있을 것이다.
다른 양태에서, 방법은, 컴퓨팅 시스템을 사용하여, 복수의 매체 콘텐츠 중 하나 이상의 제1 매체 콘텐츠 또는 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지 중 적어도 하나가 사용자에게 제시되어야 하는 방법을 결정하는 것을 포함할 수도 있을 것이다. 방법은, 하나 이상의 제1 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 제1 매체 콘텐츠를 수정하여 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것, 및 제2 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 매체 콘텐츠를 사용자에게 제시하는 복수의 시각적 출력 디바이스 중 제1 시각적 출력 디바이스로 하나 이상의 제2 매체 콘텐츠를 전송하는 것을 더 포함할 수도 있을 것이다.
방법은 또한, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 증강 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해 컴퓨팅 시스템 사용하여, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지와 관련하여 하나 이상의 제1 매체 콘텐츠를 가상의 오버레이로서 수정하는 것에 의해 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것, 및 제2 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제3 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제3 매체 콘텐츠를 전송하는 것을 포함할 수도 있을 것이다. 방법은, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를, 가상 현실 및 증강 현실의 요소를 결합하는 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 혼합 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지에 기초하여 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것, 및 제2 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제4 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제4 매체 콘텐츠를 전송하는 것을 더 포함할 수도 있을 것이다.
몇몇 실시형태에서, 방법은, 컴퓨팅 시스템을 사용하여, 제1 API를 통한 자산 통합 및 제어 시스템, 제2 API를 통한 제1 시각적 출력 디바이스, 제3 API를 통한 자산 생산 시스템, 및 제4 API를 통한 생산 관리 시스템 중 적어도 하나의 각각에서의 복수의 매체 콘텐츠의 각각의 실시간 상태를 추적하는 것을 더 포함할 수도 있을 것이다. 몇몇 경우에, 방법은 또한, 컴퓨팅 시스템을 사용하여, 자신의 상태가 자산 생산 시스템으로부터 자산 통합 및 제어 시스템으로의 통합을 위한 준비가 되어 있다는 것을 나타내는 복수의 매체 콘텐츠 중 적어도 하나의 제5 매체 콘텐츠를 분배하는 것 및 컴퓨팅 시스템을 사용하여, 자신의 상태가 자산 통합 및 제어 시스템으로부터 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 나타내는 복수의 매체 콘텐츠 중 적어도 하나의 제6 매체 콘텐츠를 분배하는 것을 포함할 수도 있을 것이다. 몇몇 경우에, 방법은, 컴퓨팅 시스템을 사용하여, 적어도 하나의 제6 매체 콘텐츠를, 복수의 시각적 출력 디바이스 중 하나 이상의 제2 시각적 출력 디바이스 - 하나 이상의 제2 시각적 출력 디바이스는 제1 시각적 출력 디바이스와는 별개임 - 와 동기화하는 것, 및 적어도 하나의 제6 매체 콘텐츠에 대한 업데이트를 수신하는 것에 응답하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 제6 매체 콘텐츠에 대한 업데이트를, 하나 이상의 제2 시각적 출력 디바이스의 각각 및 제1 시각적 출력 디바이스의 각각으로 전송하는 것을 더 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 방법은, 컴퓨팅 시스템을 사용하여, 제3 API를 통해 자산 생산 시스템으로부터 하나 이상의 제1 매체 콘텐츠를 수신하는 것 및, 컴퓨팅 시스템을 사용하여, 이미지 캡처 디바이스로부터 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 수신하는 것을 더 포함할 수도 있을 것이다. 몇몇 실시형태에서, 방법은, 컴퓨팅 시스템을 사용하여, 하나 이상의 제1 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 결정하는 것; 컴퓨팅 시스템을 사용하여, 제4 API를 통해 하나 이상의 제1 메시지 - 하나 이상의 제1 메시지는, 생산 관리 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 나타내도록 하나 이상의 제1 매체 콘텐츠의 상태를 변경하게 함 - 를 생산 관리 시스템으로 전송하는 것; 및, 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 메시지 - 하나 이상의 제2 메시지는, 자산 생산 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠를 제3 API를 통해 컴퓨팅 시스템으로 전송하게 함 - 를 제3 API를 통해 자산 생산 시스템으로 전송하는 것 을 더 포함할 수도 있을 것이다.
몇몇 경우에, 방법은, 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있지 않다는 것을 결정하는 것; 컴퓨팅 시스템을 사용하여, 제4 API를 통해 하나 이상의 제3 메시지 - 하나 이상의 제3 메시지는, 생산 관리 시스템으로 하여금, 하나 이상의 제2 매체 콘텐츠가 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있지 않다는 것을 나타내도록 하나 이상의 제2 매체 콘텐츠의 상태를 변경하게 함 - 를 생산 관리 시스템으로 전송하는 것; 컴퓨팅 시스템을 사용하여, 하나 이상의 제4 메시지 - 하나 이상의 제4 메시지는, 자산 생산 시스템으로 하여금, 하나 이상의 제2 매체 콘텐츠에 대한 작업을 계속하도록 하나 이상의 제5 메시지를 한 명 이상의 개발자에게 전송하게 함 - 를 제3 API를 통해 자산 생산 시스템으로 전송하는 것 을 더 포함할 수도 있을 것이다.
몇몇 경우에, 컴퓨팅 시스템은, 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이다. 몇몇 실시형태에 따르면, 복수의 시각적 출력 디바이스 각각은, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수도 있을 것이다.
여전히 다른 양태에서, 컴퓨팅 시스템은, 적어도 하나의 프로세서 및 비일시적 컴퓨터로 판독 가능한 매체를 포함할 수도 있을 것인데, 비일시적 컴퓨터로 판독 가능한 매체는, 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금,
복수의 매체 콘텐츠 중 하나 이상의 제1 매체 콘텐츠 또는 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지 중 적어도 하나가 사용자에게 제시되어야 하는 방법을 결정하게 하고;
하나 이상의 제1 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해, 자산 통합 및 제어 시스템으로 하여금, 제1 매체 콘텐츠를 수정하여 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하게 하고, 제2 API를 통해, 하나 이상의 제2 매체 콘텐츠를 사용자에게 제시하는 복수의 시각적 출력 디바이스 중 제1 시각적 출력 디바이스로 하나 이상의 제2 매체 콘텐츠를 전송하게 하고; 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 증강 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지와 관련하여 하나 이상의 제1 매체 콘텐츠를 가상의 오버레이로서 수정하는 것에 의해 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하게 하고, 제2 API를 통해, 하나 이상의 제3 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제3 매체 콘텐츠를 전송하게 하고; 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를, 가상 현실 및 증강 현실의 요소를 결합하는 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 혼합 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제1 API를 통해, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지에 기초하여 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하게 하고, 제2 API를 통해, 하나 이상의 제4 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제4 매체 콘텐츠를 전송하게 하는 명령어의 세트를 포함하는 컴퓨터 소프트웨어를 저장한다.
본 발명의 범위를 벗어나지 않으면서, 논의된 실시형태에 대한 다양한 수정예 및 추가예가 이루어질 수 있다. 예를 들면, 상기에서 설명되는 실시형태는 특정한 피처를 참조하지만, 본 발명의 범위는 또한, 피처의 상이한 조합을 갖는 실시형태 및 상기 설명된 피처 전체를 포함하지 않는 실시형태를 포함한다.
특정한 예시적인 실시형태
이제 도면에 의해 예시되는 바와 같은 실시형태를 참조한다. 도 1 내지 도 9는, 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법, 시스템, 및 장치의 피처 중 일부를 예시하며, 특정한 실시형태에서, 상기에서 참조되는 바와 같은, 사용자와 물리적인 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법, 시스템, 및 컴퓨터 소프트웨어의 피처 중 일부를 예시한다. 도 1 내지 도 5는 구현된 컴퓨터로 시뮬레이션되는 현실 사용자 경험을 위한 방법, 시스템, 및 장치에 관한 것이고, 도 6 및 도 7은 구현된 컴퓨터로 시뮬레이션되는 현실 플랫폼을 위한 방법, 시스템, 및 장치에 관한 것이며, 도 8 및 도 9는, 컴퓨터로 시뮬레이션되는 현실 사용자 경험 및 컴퓨터로 시뮬레이션되는 현실 플랫폼을 구현하기 위한 하드웨어 시스템에 관한 것이다. 도 1 내지 도 9에 의해 예시되는 방법, 시스템, 및 장치는, 대안으로서 간주될 수 있는 또는 다양한 실시형태에서 서로 연계하여 사용될 수 있는, 다양한 컴포넌트 및 단계를 포함하는 상이한 실시형태의 예를 참조한다. 도 1 내지 도 9에서 도시되는 예시된 방법, 시스템, 및 장치의 설명은 예시의 목적을 위해 제공되며 상이한 실시형태의 범위를 제한하는 것으로 고려되지 않아야 한다.
컴퓨터로 시뮬레이션되는 현실 UX
도면을 참조하면, 도 1은, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템(100)을 예시하는 개략적인 도면이다.
도 1의 비제한적인 실시형태에서, 시스템(100)은 하나 이상의 사용자 디바이스(105)(본원에서는 "시각적 출력 디바이스" 또는 등등으로 또한 칭해짐)를 포함할 수도 있을 것이다. 비록 사용자 디바이스(105)의 특정한 실시형태(예를 들면, 태블릿 컴퓨터, 스마트폰, 및 가상 현실 또는 증강 현실 헤드셋)가 도 1에서 도시되지만, 다양한 실시형태는 그렇게 제한되지 않으며, 각각의 사용자 디바이스(105)는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 실시형태에서, 시스템(100)은, 하나 이상의 사용자 디바이스(105)와는 별개의, 또는 멀리 떨어져 있는, 그리고 (예를 들면, 도 1에서 하나 이상의 사용자 디바이스(105)와 네트워크(115) 사이에서 실선에 의해 도시되는 바와 같은) 유선 연결을 통해 또는 (예를 들면, 도 1에서 하나 이상의 사용자 디바이스(105)와 네트워크(115) 사이에서 번개 심볼에 의해 도시되는 바와 같은) 무선 연결을 통해 네트워크(115)를 통해 액세스 가능한 컴퓨팅 시스템(110)(서버 컴퓨터, 클라우드 컴퓨팅 시스템, 및/또는 등등을, 제한 없이 포함함)을 더 포함할 수도 있을 것이다. 몇몇 경우에서, 네트워크(115)는, 광섬유 네트워크, 이더넷 네트워크, Token-Ring™(토큰링) 네트워크, 및/또는 등등을, 제한 없이, 포함하는 근거리 통신망(local area network; "LAN"); 광역 네트워크(wide-area network; WAN); 무선 광역 네트워크(wireless wide area network; "WWAN"); 가상 사설망(virtual private network; "VPN")과 같은 가상 네트워크; 인터넷; 인트라넷; 엑스트라넷; 공중 교환식 전화망(public switched telephone network; "PSTN"); 적외선 네트워크; IEEE 802.11 프로토콜 스위트, 기술 분야에서 공지되어 있는 Bluetooth™ 프로토콜, 및/또는 임의의 다른 무선 프로토콜 중 임의의 것 하에서 동작하는 네트워크를, 제한 없이, 포함하는 무선 네트워크; 및/또는 이들 및/또는 다른 네트워크의 임의의 조합을 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 특정한 실시형태에서, 네트워크는 서비스 제공자(예를 들면, 인터넷 서비스 제공자(Internet service provider; "ISP"))의 액세스 네트워크를 포함할 수도 있을 것이다. 다른 실시형태에서, 네트워크는 서비스 제공자의 코어 네트워크, 및/또는 인터넷을 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 시스템(100)은 인쇄된 출판물(125)을 더 포함할 수도 있을 것이다. 비록 인쇄된 출판물(125)의 특정한 실시형태(예를 들면, 책)가 도 1에서 도시되지만, 다양한 실시형태는 그렇게 제한되지 않으며, 인쇄된 출판물(125)은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를, 제한 없이, 포함할 수 있다. 몇몇 실시형태에서, 하나 이상의 트리거(130)는, 인쇄된 출판물의 적어도 일부 상에서 제공될 수도 있을 것이고, 각각은, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 몇몇 실시형태에 따르면, 사용자 디바이스(105)는, (사용자 디바이스(105)의 정면도의 화살표 A-A의 방향을 따라 도시되는 바와 같은 사용자 디바이스(105)의 측면도에서 도시되는 바와 같은) 제1 카메라(135), 제2 카메라(140), 디스플레이 디바이스 또는 디스플레이 스크린(145), 및/또는 등등을 더 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다.
동작에서, 사용자 디바이스(105)의 제1 카메라(135)는 인쇄된 출판물(125)의 적어도 일부(예를 들면, 전면 커버, 전체 출판물, 후면 커버, 인쇄된 출판물의 페이지, 인쇄된 출판물의 바인딩, 이들 중 임의의 것의 일부, 및/또는 등등)의 하나 이상의 이미지를 캡처할 수도 있을 것이다. 사용자 디바이스(105) 및/또는 컴퓨팅 시스템(110)은, 캡처된 하나 이상의 이미지가 (상기에서 설명되는 바와 같은) 하나 이상의 트리거(130)를 포함하는지의 여부를 결정하기 위해, 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 분석할 수도 있을 것이다. 몇몇 실시형태에 따르면, 사용자 디바이스(105) 또는 컴퓨팅 시스템(110)은, 캡처된 하나 이상의 이미지가 하나 이상의 트리거(130)를 포함하는지 여부를 결정하기 위해, 분석의 일부로서 인쇄된 출판물(125)의 적어도 일부의 하나 이상의 캡처된 이미지 상의 포인트를 매핑할 수도 있을 것이다.
캡처된 하나 이상의 이미지가 하나 이상의 트리거 중 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 사용자 디바이스(105) 및/또는 컴퓨팅 시스템(110)은, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠(160)를 식별할 수도 있을 것이다. 사용자 디바이스(105) 및/또는 컴퓨팅 시스템(110)은, 후속하여, (예를 들면, 제2 카메라(140)를 사용하여 사용자의 눈(들)의 이미지를 캡처하는 것에 의해) 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정할 수도 있을 것이고, 필요하다면(즉, 하나 이상의 매체 콘텐츠의 방위가 사용자의 시야와 아직 정렬되지 않았다는 결정, 또는 등등에 기초하여), 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정할 수도 있을 것이다. 그 다음, 사용자 디바이스(105) 및/또는 컴퓨팅 시스템(110)은, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자 디바이스(105)의 디스플레이 디바이스(145) 상에서, (사용자의 시야와 정렬되도록 방위가 수정되었을 수도 있는) 하나 이상의 매체 콘텐츠를 디스플레이할 수도 있을 것이다. 도 1의 비제한적인 실시형태에서, 하나 이상의 매체 콘텐츠(160)는 객체(예를 들면, 눈뭉치(snowball) 또는 등등)를 던지는 행위를 하는 캐릭터를 포함하고, 캐릭터는 인쇄된 출판물(125)의 커버의 이미지의 상부 상에서 가상의 오버레이로서 제시된다. 비록 하나 이상의 매체 콘텐츠(160)가 도 1의 태블릿 컴퓨터(105)의 디스플레이 디바이스 상에서 디스플레이 되는 것으로 묘사되지만, 다양한 실시형태는 그렇게 제한되지는 않으며, 하나 이상의 매체 콘텐츠(160)는 상기에서 설명되는 바와 같은 사용자 디바이스(105)(예를 들면, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등) 중 임의의 것의 디스플레이 디바이스 상에서 디스플레이될 수도 있다.
몇몇 경우에, 시스템(100)은, (복수의 인쇄된 출판물 중의) 각각의 인쇄된 출판물(125)과 관련되는 하나 이상의 트리거(130)에 관한 정보, (복수의 인쇄된 출판물 중의) 각각의 인쇄된 출판물(125)과 관련되는 하나 이상의 매체 콘텐츠(160)에 관한 정보, 하나 이상의 매체 콘텐츠(160) 그 자체, 사용자 디바이스(105)의 디스플레이 디바이스 또는 시각적 출력 디바이스의 각각에 대한 포맷팅 정보, 및/또는 등등 중 적어도 하나를 저장하는 하나 이상의 데이터베이스(120)를 더 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 상기에서 설명되는 바와 같은 하나 이상의 사용자 디바이스(105)의 기능성은 하나 이상의 사용자 디바이스(105) 상에 다운로드되어 설치되는 소프트웨어 애플리케이션("앱")에 의해 제공될 수도 있을 것이고, 소프트웨어 앱은, 인쇄된 출판물의 적어도 일부의 이미지를 캡처하기 위한, 트리거를 위한 이미지를 분석하기 위한, 트리거와 관련되는 매체 콘텐츠를 식별하기 위한, 사용자의 시야를 결정하기 위한, (필요한 경우) 사용자의 시야와 정렬되도록 매체 콘텐츠의 방위를 수정하기 위한, 그리고 인쇄된 출판물의 적어도 일부(몇몇 경우에, 인쇄된 출판물의 적어도 일부의 이미지)와 관련하여 가상의 오버레이로서 매체 콘텐츠를 사용자에게 제시하기 위한 기능성을 제공한다.
몇몇 실시형태에서, 트리거는 두 개 이상의 인쇄된 출판물의 특정한 배치를 포함할 수도 있을 것이다. 예를 들면, 특정한 시리즈의 책 중 두 권의 책을 서로의 옆에 배치하는 것은, 두 권의 책과 관련하여 가상의 오버레이로서 제시되는 두 권의 책으로부터의 캐릭터를 포함하는 매체 콘텐츠를 생성하기 위한 트리거로서 역할을 할 수도 있을 것인데, 여기서 캐릭터는 서로 상호 작용하는 것으로 제시된다(예를 들면, 제1 캐릭터는 제2 캐릭터와 눈싸움(snowball fight)을 시작하고, 여기서 각각의 캐릭터는 두 권의 책 중 하나 상부, 또는 등등 상에서 오버레이로서 제시될 수도 있을 것임). 다른 예로서, 한 시리즈의 책 중 세 권 이상의 책을 서로에 대해 제1 시퀀스 또는 순서대로 배치하는 것은, 매체 콘텐츠의 하나의 세트(이것은 그 시리즈의 책의 캐릭터 사이의 상호 작용의 제1 세트를 포함할 수도 있을 것임)에 대한 트리거로서 역할을 할 수도 있을 것이고, 한편 그 세 권 이상의 책을 서로에 대해 제2 시퀀스 또는 순서로 배치하는 것은 매체 콘텐츠의 다른 세트(이것은 그 시리즈의 책의 캐릭터 사이의 상호 작용의 제2 세트를 포함할 수도 있을 것임)에 대한 트리거로서 역할을 할 수도 있을 것이다. 몇몇 경우에, 캐릭터 대신, 특정한 순서의 인쇄된 출판물의 배열은, 지도, 실마리(clue), 또는 (예를 들면, 시리즈의 책에 대한, 영화에 대한, TV 시리즈에 대한, 게임에 대한, 장난감에 대한, 및/또는 등등에 대한 마켓팅 캠페인의 일부로서) 사용자를 실제의 또는 가상의 상품으로 유도할 수도 있을 다른 콘텐츠의 표현을 트리거하는 것으로 나타날 수도 있을 것이다. 몇몇 경우에, 시리즈의 책 모두를 특정한 구성 및/또는 순서로 함께 배치하는 것은, 가상의 위치 또는 장소를 생성하기 위한(예를 들면, 책 시리즈 또는 등등과 관련되는 마을, 마을 중심, 도시, 도시 중심, 건물, 룸, 등등의 가상의 표현을 제시하기 위한) 트리거로서 역할을 할 수도 있을 것이다. 상기에서 설명되는 이들 가상의 투영(본원에서, "결합 효과"로도 또한 칭해짐)은, 사용자 디바이스가 인쇄된 출판물에 대해 또는 주위에서 움직일 때 변할 수도 있을 2D 슬라이스, 또는 3D 가상 투영일 수도 있다.(예를 들면, 하나의 각도로부터 보는 것은, 사용자가 가상 투영의 한 면을 보는 것을 허용할 수도 있을 것이고, 한편, 다른 각도로부터 보는 것은, 사용자가 동일한 가상 투영의 다른 면을 보는 것을 허용할 수도 있을 것이거나, 또는 등등일 수도 있다).
대안적으로, 또는 추가적으로, 사용자 디바이스(105)의 지오로케이션 기능성이 매체 콘텐츠의 표현의 각각에 대한 추가적인 트리거로서 사용될 수도 있을 것이다. 예를 들면, 사용자가 인쇄된 출판물의 스토리의 설정 중 하나와 관련되는 위치에 있고 상기에서 설명되는 바와 같은 앱을 구현하는 경우, 결과적으로 나타나는 매체 콘텐츠는, 그렇지 않으면 트리거될 매체 콘텐츠와 비교하여, 그 위치에 대해 특별히 재단될 수도 있을 것이다.
대안적으로, 또는 추가적으로, 사용자 디바이스(105)의 날씨 추적 기능성이 특정한 매체 콘텐츠의 표현을 트리거하기 위한 추가적인 트리거(이것은 또한 지오로케이션 기능성과 커플링될 수도 있을 것임)로서 사용될 수도 있을 것이다. 예를 들면, 사용자가 상기에서 설명되는 바와 같은 앱을 사용하고 있을 때 사용자 디바이스의 위치에서 눈이 내리고 있다는 것을 사용자 디바이스가 (자신의 날씨 추적 앱 또는 인터넷을 통해 및/또는 사용자 디바이스의 지오로케이션에 관한 정보를 사용하여) 결정하는 경우, 인쇄된 출판물과 관련되는 트리거에 응답하여 사용자에게 제시되고 있는 결과적으로 나타나는 매체 콘텐츠는, 스토리와 부합하는, 눈싸움 또는 다른 눈 스포츠에 참여하고 있는 인쇄된 출판물과 관련되는 캐릭터를 포함할 수도 있을 것이다. 다르게는, 사용자 디바이스가 상기에서 설명되는 바와 같은 앱을 사용하고 있을 때 사용자 디바이스의 위치에서 화창하다는 것을 사용자 디바이스가 결정하는 경우, 인쇄된 출판물과 관련되는 트리거에 응답하여 사용자에게 제시되고 있는 결과적으로 나타나는 매체 콘텐츠는, 스토리와 부합하는, 물풍선 싸움 또는 여름 활동에 참여하고 있는 인쇄된 출판물과 관련되는 캐릭터를 포함할 수도 있을 것이다. 기타 등등이다.
몇몇 실시형태에 따르면, 가상의 오버레이로서 제시되고 있는 매체 콘텐츠는, 대화 또는 게임, 및/또는 등등에서와 같이, 사용자와 상호 작용하는 캐릭터를 포함할 수도 있을 것이다. 예를 들면, 투영된 가상의 캐릭터와 사용자 사이의 이러한 가상의 대화는, 인쇄된 출판물의 스토리와 관련되는 대화 또는 주제와 부합할 수도 있을 것이다. 상호 작용식 게임의 경우, 가상의 캐릭터는 사용자와의 눈싸움 또는 물풍선 싸움에 참여할 수도 있을 것이고, 사용자 디바이스에 대한 사용자 탭핑 또는 다르게는 사용자 디바이스 상에 입력을 입력하는 것(예를 들면, 스크린의 특정한 버튼 또는 부분을 터치하는 것)은, 가상의 눈뭉치 또는 물풍선이 가상의 캐릭터를 향해 날아가게 할 수도 있을 것이고, 및 등등일 수도 있다.
비록 상기의 실시형태가 인쇄된 출판물과 관련하여 설명되지만, 몇몇 경우에, 인쇄된 출판물 대신, 컴퓨팅 디바이스로부터 판독되는 책 또는 전자 이 사용될 수도 있을 것이다. 그러한 경우에, 상기에서 설명되는 바와 같은 별개의 사용자 디바이스가 전자책 커버의 이미지 또는 페이지를 캡처하여, 이미지가 트리거를 포함하는지를 결정할 수도 있을 것이고, 다른 프로세스는, 그 외에는, 동일하거나 또는 유사할 것이다. 두 개 이상의 인쇄된 출판물을 함께 두어 상기에서 설명되는 바와 같은 결합 효과를 트리거하는 대신, 전자책 리더 또는 컴퓨팅 디바이스는 두 개 이상의 인쇄된 출판물의 커버를 동일한 스크린 상에 디스플레이할 수도 있을 것이다. 몇몇 경우에, 앱은 전자책 리더로서 또한 역할을 할 수도 있을 것이고, 디스플레이 스크린 상의 다수의 출판물의 배치가 결합 효과를 트리거하는 것을 허용할 수도 있을 것이다. 대안적인 경우, 별개의 사용자 디바이스를 사용하여 전자책의 이미지를 캡처하는 대신, 앱은, 카메라를 사용하지 않고도(어쩌면 전자 출판물 또는 등등을 나타내는 스크린의 이미지를 캡처하기 위해 스크린 캡처 기술을 사용하는 대신, 또는, 단순히, 스크린 상에 디스플레이되고 있는 트리거를 인식하여) 상기에서 설명되는 프로세스를 트리거하기 위한 옵션을 제공하면서, 전자책을 읽는 것을 허용할 수도 있을 것이다. 몇몇 경우에, 트리거는, 트리거를 클릭하는 것에 의해 사용자가 작동시키도록, 플래그가 지정될 수도 있을 것이고, 트리거식 매체 콘텐츠의 표현으로 나타날 수도 있을 것이다. 몇몇 실시형태에 따르면, 3D 투영 또는 홀로그래픽 디바이스 또는 등등은 전자책 리더/사용자 디바이스와 연계하여 사용되어, 디바이스의 스크린 위에서 3D 투영을 제시할 수도 있을 것이다(이것은 대응하는 3D/홀로그래픽 안경을 착용하고 있는 사용자가 투영을 보는 것을 허용할 수도 있을 것이거나 또는 매체 콘텐츠의 무안경 3D 홀로그래픽 투영을 허용할 수도 있을 것임).
몇몇 실시형태에서, 인쇄된 출판물의 그래픽이 트리거로서 역할을 할 수도 있을 것이다. 예를 들면, 지도 삽화는 지도에 의해 나타내어지는 위치(또는 위치 중 하나)의 3D 투영을 트리거할 수도 있을 것이다. 몇몇 경우에, 계곡의 지도가, 골짜기 아래로 급하강하는 새의 3D 애니메이션, 또는 등등을 트리거할 수도 있을 것이다. 공간의 한 영역의 2D 지도는, 공간의 동일한 영역의 3D 팬(pan)을 트리거할 수도 있을 것이다. 기타 등등이다. 책에 있는 장면의 2D 삽화는 동일한 장면의 3D 애니메이션을 트리거할 수도 있을 것이다. 이들 3D 투영에서, 사용자는 3D 투영의 상이한 각도를 보기 위해 디스플레이 디바이스를 움직이는 것에 의해 시점을 변경시킬 수 있다.
설명되는 바와 같은 이들 상호 작용 및 매체 콘텐츠는, 본 발명의 실시형태와 부합하는 비제한적인 예에 불과하며, (본원에서 설명되는 또는 암시되는 실시형태와 부합하는 한) 다른 상호 작용 및 매체 콘텐츠가 구현될 수도 있다.
도 2는, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법(200)을 예시하는 흐름도이다.
기술 및 프로시져가 예시의 목적을 위해 소정의 순서로 묘사되고 및/또는 설명되지만, 소정의 프로시져는 다양한 실시형태의 범위 내에서 다시 순서가 정해질 수도 있고 및/또는 생략될 수 있다는 것이 인식되어야 한다. 또한, 도 2에 의해 예시되는 방법이 도 1의 시스템(100)(또는 그 컴포넌트)에 의해 또는 도 1의 시스템(100)(또는 그 컴포넌트)을 사용하여 구현될 수 있지만(그리고, 몇몇 경우에는, 도 1의 시스템(100)(또는 그 컴포넌트)과 관련하여 하기에서 설명되지만), 이러한 방법은 또한 임의의 적절한 하드웨어(또는 소프트웨어) 구현예를 사용하여 구현될 수도 있다. 마찬가지로, 도 1의 시스템(100)(또는 그 컴포넌트)이 (예를 들면, 컴퓨터로 판독 가능한 매체 상에서 구체화되는 명령어를 실행하는 것에 의해) 도 2에 의해 예시되는 방법에 따라 동작할 수 있지만, 도 1의 시스템(100)은 또한 동작의 다른 모드에 따라 동작할 수 있고 및/또는 다른 적절한 프로시져를 수행할 수 있다.
도 2를 참조하면, 방법(200)은, 몇몇 실시형태에 따라, 블록(205)에서, 제1 카메라를 사용하여, 인쇄된 출판물(예를 들면, 도 1의 인쇄된 출판물(125) 또는 등등)의 적어도 일부의 하나 이상의 이미지를 캡처하는 것을 포함할 수도 있을 것이다. 블록(210)에서, 방법(200)은, 컴퓨팅 시스템(이것은 도 1의 사용자 디바이스(105) 또는 컴퓨팅 시스템(110) 중 어느 하나, 또는 등등에 대응할 수도 있을 것임)을 사용하여, 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지를 분석하여, 캡처된 하나 이상의 이미지가 하나 이상의 트리거(예를 들면, 도 1의 하나 이상의 트리거(130), 또는 등등)를 포함하는지의 여부를 결정할 수도 있을 것이다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 적어도 하나의 트리거는, 몇몇 경우에, 각각, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 몇몇 경우에, 제1 카메라는 사용자 디바이스의 일부일 수도 있을 것이거나 또는 사용자 디바이스 내에서 구현될 수도 있을 것이다. 대안적으로, 제1 카메라는 사용자 디바이스 외부에 있을 수도 있을 것이고, 동시에, 사용자 디바이스에 통신 가능하게 커플링될 수도 있을 것이다.
방법(200)은, 캡처된 하나 이상의 이미지가 하나 이상의 트리거 중 적어도 하나의 트리거를 포함한다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하는 것을 더 포함할 수도 있을 것이다(블록(215)). 몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함하는데, 그들의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다.
블록(220)에서, 방법(200)은, 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것을 포함할 수도 있을 것이다. 몇몇 실시형태에서, 사용자의 시야를 결정하는 것은, 제2 카메라(이것은 도 1의 사용자 디바이스(105)의 제2 카메라(140), 또는 등등에 대응할 수도 있을 것임)를 사용하여, 제1 카메라가 인쇄된 출판물의 적어도 일부의 하나 이상의 이미지를 캡처할 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 것(옵션 블록(225)) 및, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 (예를 들면, 제1 카메라에 의한 인쇄된 출판물의 적어도 일부의 캡처된 하나 이상의 이미지, 또는 등등에 대한) 사용자의 시야를 결정하는 것(옵션 블록(230))을 포함할 수도 있을 것이다.
방법(200)은, 블록(235)에서, 필요하다면(즉, 하나 이상의 매체 콘텐츠의 방위가 사용자의 시야와 아직 정렬되지 않았다는 것이 결정되면), 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것을 더 포함할 수도 있을 것이다. 블록(240)에서, 방법(200)은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다. 여기서, 시각적 출력 디바이스는 상기에서 설명되는 바와 같은 사용자 디바이스에 대응할 수도 있을 것이고, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 실시형태에 따르면, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다.
도 3은, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 다른 시스템(300)을 예시하는 개략적인 도면이다.
도 3의 비제한적인 실시형태에서, 시스템(300)은 하나 이상의 사용자 디바이스(305)(본원에서는 "시각적 출력 디바이스" 또는 등등으로 또한 칭해짐)를 포함할 수도 있을 것이다. 비록 사용자 디바이스(305)의 특정한 실시형태(예를 들면, 태블릿 컴퓨터, 스마트폰, 및 가상 현실 또는 증강 현실 헤드셋)가 도 3에서 도시되지만, 다양한 실시형태는 그렇게 제한되지 않으며, 각각의 사용자 디바이스(305)는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 실시형태에서, 시스템(300)은, 하나 이상의 사용자 디바이스(305)와는 별개의, 또는 멀리 떨어져 있는, 그리고 (예를 들면, 도 3에서 하나 이상의 사용자 디바이스(305)와 네트워크(315) 사이에서 실선에 의해 도시되는 바와 같은) 유선 연결을 통해 또는 (예를 들면, 도 3에서 하나 이상의 사용자 디바이스(305)와 네트워크(315) 사이에서 번개 심볼에 의해 도시되는 바와 같은) 무선 연결을 통해 네트워크(315)를 통해 액세스 가능한 컴퓨팅 시스템(310)(서버 컴퓨터, 클라우드 컴퓨팅 시스템, 및/또는 등등을, 제한 없이 포함함)을 더 포함할 수도 있을 것이다. 몇몇 경우에서, 네트워크(315)는, 광섬유 네트워크, 이더넷 네트워크, Token-Ring™(토큰링) 네트워크, 및/또는 등등을, 제한 없이, 포함하는 LAN; WAN; WWAN; 가상 네트워크, 예컨대 VPN; 인터넷; 인트라넷; 엑스트라넷; PSTN; 적외선 네트워크; IEEE 802.11 프로토콜 스위트, 기술 분야에서 공지되어 있는 Bluetooth™ 프로토콜, 및/또는 임의의 다른 무선 프로토콜 중 임의의 것 하에서 동작하는 네트워크를, 제한 없이, 포함하는 무선 네트워크; 및/또는 이들 및/또는 다른 네트워크의 임의의 조합을 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 특정한 실시형태에서, 네트워크는 서비스 제공자(예를 들면, ISP)의 액세스 네트워크를 포함할 수도 있을 것이다. 다른 실시형태에서, 네트워크는 서비스 제공자의 코어 네트워크, 및/또는 인터넷을 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 시스템(300)은 인쇄된 출판물(325)을 더 포함할 수도 있을 것이다. 비록 인쇄된 출판물(325)의 특정한 실시형태(예를 들면, 책)가 도 3에서 도시되지만, 다양한 실시형태는 그렇게 제한되지 않으며, 인쇄된 출판물(325)은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를, 제한 없이, 포함할 수 있다. 몇몇 실시형태에서, 하나 이상의 트리거(330)는 인쇄된 출판물의 적어도 일부분 상에서 제공될 수도 있을 것이고, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그, 및/또는 등등 중 하나를 포함하는, 그러나 이것으로 제한되지는 않는 비 시각적 트리거를 각각 포함할 수도 있을 것이다. 몇몇 실시형태에 따르면, 사용자 디바이스(305)는, (예를 들면, 도 3에서 트랜스시버(335)와 하나 이상의 트리거(330) 사이의 번개 심볼에 의해 도시되는 바와 같이) 하나 이상의 트리거(330)와 무선으로 통신하는 트랜스시버(335), 카메라(340), 디스플레이 디바이스 또는 디스플레이 스크린(345), 하나 이상의 프로세서(350), 메모리(355), 및/또는 등등을 더 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다.
동작에서, 사용자 디바이스(305)(또는 어쩌면 트랜스시버(335))는, 사용자 디바이스(305)가 인쇄된 출판물과 관련되는 적어도 하나의 비 시각적 트리거(330)의 통신 범위 내에 있는지의 여부를 결정할 수도 있을 것이다. 사용자 디바이스(330)가 적어도 하나의 비 시각적 트리거(330)의 통신 범위 내에 있다는 결정에 기초하여, 트랜스시버(335)와 인쇄된 출판물과 관련되는 적어도 하나의 비 시각적 트리거(330) 사이에 무선 통신이 확립될 수도 있다.
사용자 디바이스(305)와 적어도 하나의 비 시각적 트리거(330) 사이에서 통신을 확립하는 것에 응답하여, 사용자 디바이스(305) 및/또는 컴퓨팅 시스템(310)은, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠(360)를 식별할 수도 있을 것이다. 사용자 디바이스(305)(의 프로세서(350)) 및/또는 컴퓨팅 시스템(310)은, 후속하여, (예를 들면, 카메라(340)를 사용하여 사용자의 눈(들)의 이미지를 캡처하는 것에 의해) 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정할 수도 있을 것이고, 필요하다면(즉, 하나 이상의 매체 콘텐츠의 방위가 사용자의 시야와 아직 정렬되지 않았다는 결정, 또는 등등에 기초하여), 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정할 수도 있을 것이다. 그 다음, 사용자 디바이스(305) 및/또는 컴퓨팅 시스템(310)은, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자 디바이스(305)의 디스플레이 디바이스(345) 상에서, (사용자의 시야와 정렬되도록 방위가 수정되었을 수도 있는) 하나 이상의 매체 콘텐츠를 디스플레이할 수도 있을 것이다. 도 3의 비제한적인 실시형태에서, 하나 이상의 매체 콘텐츠(360)는 객체(예를 들면, 눈뭉치 또는 등등)를 던지는 행위를 하는 캐릭터를 포함하고, 캐릭터는 인쇄된 출판물(325)의 커버의 이미지의 상부 상에서 가상의 오버레이로서 제시된다. 비록 하나 이상의 매체 콘텐츠(360)가 도 3의 태블릿 컴퓨터(305)의 디스플레이 디바이스 상에서 디스플레이 되는 것으로 묘사되지만, 다양한 실시형태는 그렇게 제한되지는 않으며, 하나 이상의 매체 콘텐츠(360)는 상기에서 설명되는 바와 같은 사용자 디바이스(305)(예를 들면, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등) 중 임의의 것의 디스플레이 디바이스 상에서 디스플레이될 수도 있다.
몇몇 경우에, 시스템(300)은, (복수의 인쇄된 출판물 중의) 각각의 인쇄된 출판물(325)과 관련되는 하나 이상의 트리거(330)에 관한 정보, (복수의 인쇄된 출판물 중의) 각각의 인쇄된 출판물(325)과 관련되는 하나 이상의 매체 콘텐츠(360)에 관한 정보, 하나 이상의 매체 콘텐츠(360) 그 자체, 사용자 디바이스(305)의 디스플레이 디바이스 또는 시각적 출력 디바이스의 각각에 대한 포맷팅 정보, 및/또는 등등 중 적어도 하나를 저장하는 하나 이상의 데이터베이스(320)를 더 포함할 수도 있을 것이다.
몇몇 실시형태에 따르면, 상기에서 설명되는 바와 같은 하나 이상의 사용자 디바이스(305)의 기능성은 하나 이상의 사용자 디바이스(305) 상에 다운로드되어 설치되는 앱에 의해 제공될 수도 있을 것이고, 소프트웨어 앱은, 사용자 디바이스(의 트랜스시버(335)와 비 시각적 트리거 사이에서 통신을 확립하기 위한, 비 시각적 트리거와 관련되는 매체 콘텐츠를 식별하기 위한, 사용자의 시야를 결정하기 위한, 사용자의 시야와 정렬되도록 매체 콘텐츠의 방위를 (필요하다면) 수정하기 위한, 그리고 인쇄된 출판물의 적어도 일부와 (몇몇 경우에 인쇄된 출판물의 적어도 일부의 이미지와) 관련하여 가상의 오버레이로서 매체 콘텐츠를 사용자에게 제시하기 위한 기능성을 제공한다.
몇몇 실시형태에서, 트리거는 두 개 이상의 인쇄된 출판물의 특정한 배치를 포함할 수도 있을 것이다. 예를 들면, 특정한 시리즈의 책 중 두 권의 책을 서로의 옆에 배치하는 것 - 이 경우, 트랜스시버와 각각의 책과 관련되는 각각의 트리거 사이에서 결국에는 무선 통신을 확립함 - 은, 두 권의 책과 관련하여 가상의 오버레이로서 제시되는 두 권의 책으로부터의 캐릭터를 포함하는 매체 콘텐츠를 생성하기 위한 트리거로서 역할을 할 수도 있을 것인데, 여기서 캐릭터는 서로 상호 작용하는 것으로 제시된다(예를 들면, 제1 캐릭터는 제2 캐릭터와 눈싸움을 시작하고, 여기서 각각의 캐릭터는 두 권의 책 중 하나 상부, 또는 등등 상에서 오버레이로서 제시될 수도 있을 것임). 다른 예로서, 한 시리즈의 책 중 세 권 이상의 책을 서로에 대해 제1 시퀀스 또는 순서대로 배치하는 것 - 이 경우, 트랜스시버와 각각의 책과 관련되는 각각의 트리거 사이에서 결국에는 무선 통신을 확립함 - 은, 매체 콘텐츠의 하나의 세트(이것은 그 시리즈의 책의 캐릭터 사이의 상호 작용의 제1 세트를 포함할 수도 있을 것임)에 대한 트리거로서 역할을 할 수도 있을 것이고, 한편 그 세 권 이상의 책을 서로에 대해 제2 시퀀스 또는 순서로 배치하는 것 - 이 경우, 트랜스시버와 각각의 책과 관련되는 각각의 트리거 사이에서 결과적으로 무선 통신을 확립함 - 은 매체 콘텐츠의 다른 세트(이것은 그 시리즈의 책의 캐릭터 사이의 상호 작용의 제2 세트를 포함할 수도 있을 것임)에 대한 트리거로서 역할을 할 수도 있을 것이다. 몇몇 경우에, 캐릭터 대신, 특정한 순서의 인쇄된 출판물의 배열은, 지도, 실마리(clue), 또는 (예를 들면, 시리즈의 책에 대한, 영화에 대한, TV 시리즈에 대한, 게임에 대한, 장난감에 대한, 및/또는 등등에 대한 마켓팅 캠페인의 일부로서) 사용자를 실제의 또는 가상의 상품으로 유도할 수도 있을 다른 콘텐츠의 표현을 트리거하는 것으로 나타날 수도 있을 것이다. 몇몇 경우에, 시리즈의 책 모두를 특정한 구성 및/또는 순서로 함께 배치하는 것 - 이 경우, 트랜스시버와 각각의 책과 관련되는 각각의 트리거 사이에서 결국에는 또는 동시적으로 무선 통신을 확립함 - 은, 가상의 위치 또는 장소를 생성하기 위한(예를 들면, 책 시리즈 또는 등등과 관련되는 마을, 마을 중심, 도시, 도시 중심, 건물, 룸, 등등의 가상의 표현을 제시하기 위한) 트리거로서 역할을 할 수도 있을 것이다. 상기에서 설명되는 이들 가상의 투영(본원에서, "결합 효과"로도 또한 칭해짐)은, 사용자 디바이스가 인쇄된 출판물에 대해 또는 주위에서 움직일 때 변할 수도 있을 2D 슬라이스, 또는 3D 가상 투영일 수도 있다.(예를 들면, 하나의 각도로부터 보는 것은, 사용자가 가상 투영의 한 면을 보는 것을 허용할 수도 있을 것이고, 한편, 다른 각도로부터 보는 것은, 사용자가 동일한 가상 투영의 다른 면을 보는 것을 허용할 수도 있을 것이거나, 또는 등등일 수도 있다).
대안적으로, 또는 추가적으로, 사용자 디바이스(305)의 지오로케이션 기능성이 매체 콘텐츠의 표현의 각각에 대한 추가적인 트리거로서 사용될 수도 있을 것이다. 예를 들면, 사용자가 인쇄된 출판물의 스토리의 설정 중 하나와 관련되는 위치에 있고 상기에서 설명되는 바와 같은 앱을 구현하는 경우, 결과적으로 나타나는 매체 콘텐츠는, 그렇지 않으면 트리거될 매체 콘텐츠와 비교하여, 그 위치에 대해 특별히 재단될 수도 있을 것이다.
대안적으로, 또는 추가적으로, 사용자 디바이스(305)의 날씨 추적 기능성이 특정한 매체 콘텐츠의 표현을 트리거하기 위한 추가적인 트리거(이것은 또한 지오로케이션 기능성과 커플링될 수도 있을 것임)로서 사용될 수도 있을 것이다. 예를 들면, 사용자가 상기에서 설명되는 바와 같은 앱을 사용하고 있을 때 사용자 디바이스의 위치에서 눈이 내리고 있다는 것을 사용자 디바이스가 (자신의 날씨 추적 앱 또는 인터넷을 통해 및/또는 사용자 디바이스의 지오로케이션에 관한 정보를 사용하여) 결정하는 경우, 인쇄된 출판물과 관련되는 트리거에 응답하여 사용자에게 제시되고 있는 결과적으로 나타나는 매체 콘텐츠는, 스토리와 부합하는, 눈싸움 또는 다른 눈 스포츠에 참여하고 있는 인쇄된 출판물과 관련되는 캐릭터를 포함할 수도 있을 것이다. 다르게는, 사용자 디바이스가 상기에서 설명되는 바와 같은 앱을 사용하고 있을 때 사용자 디바이스의 위치에서 화창하다는 것을 사용자 디바이스가 결정하는 경우, 인쇄된 출판물과 관련되는 트리거에 응답하여 사용자에게 제시되고 있는 결과적으로 나타나는 매체 콘텐츠는, 스토리와 부합하는, 물풍선 싸움 또는 여름 활동에 참여하고 있는 인쇄된 출판물과 관련되는 캐릭터를 포함할 수도 있을 것이다. 기타 등등이다.
몇몇 실시형태에 따르면, 가상의 오버레이로서 제시되고 있는 매체 콘텐츠는, 대화 또는 게임, 및/또는 등등에서와 같이, 사용자와 상호 작용하는 캐릭터를 포함할 수도 있을 것이다. 예를 들면, 투영된 가상의 캐릭터와 사용자 사이의 이러한 가상의 대화는, 인쇄된 출판물의 스토리와 관련되는 대화 또는 주제와 부합할 수도 있을 것이다. 상호 작용식 게임의 경우, 가상의 캐릭터는 사용자와의 눈싸움 또는 물풍선 싸움에 참여할 수도 있을 것이고, 사용자 디바이스에 대한 사용자 탭핑 또는 다르게는 사용자 디바이스 상에 입력을 입력하는 것(예를 들면, 스크린의 특정한 버튼 또는 부분을 터치하는 것)은, 가상의 눈뭉치 또는 물풍선이 가상의 캐릭터를 향해 날아가게 할 수도 있을 것이고, 및 등등일 수도 있다.
비록 상기의 실시형태가 인쇄된 출판물과 관련하여 설명되지만, 몇몇 경우에, 인쇄된 출판물 대신, 컴퓨팅 디바이스로부터 판독되는 책 또는 전자 이 사용될 수도 있을 것이다. 그러한 경우에, 상기에서 설명되는 바와 같은 별개의 사용자 디바이스가 전자책 리더 또는 컴퓨팅 디바이스와의 무선 통신을 확립할 수도 있을 것이고, 다른 프로세스는, 그 외에는, 동일하거나 또는 유사할 것이다. 다시 말하면, 상기에서 설명되는 바와 같이 두 개 이상의 인쇄된 출판물을 함께 두어 결합 효과를 트리거하는 대신, 전자책 리더 또는 컴퓨팅 디바이스는 두 개 이상의 인쇄된 출판물의 커버를 동일한 스크린 상에 디스플레이할 수도 있을 것이고, 전자책 리더 또는 컴퓨팅 디바이스는 비 시각적 트리거로서 시뮬레이팅할 수도 있을 것이거나 또는 역할을 할 수도 있는 트랜스시버를 구비할 수도 있을 것이다. 몇몇 경우에, 앱은 또한 전자책 리더로서 역할을 할 수도 있을 것이고, 전자책 리더 또는 컴퓨팅 디바이스로 하여금 그것의 트랜스시버를 결합 효과를 트리거할 출판물과 관련되는 비 시각적 트리거로서 사용하게 하면서, 디스플레이 스크린 상에서의 다수의 출판물의 배치를 허용할 수도 있을 것이다. 대안적인 경우에, 전자책의 이미지를 캡처하기 위해 별개의 사용자 디바이스를 사용하는 대신, 앱은, 외부 트랜스시버 또는 등등을 사용하지 않고도 상기에서 설명되는 프로세스를 트리거하기 위한 옵션을 제공하면서(오히려 상기에서 설명되는 비 시각적 트리거 대신 시뮬레이팅된 또는 가상의 트리거 이벤트가 발생하게 하면서), 전자책의 판독을 허용할 수도 있을 것이다. 몇몇 경우에, 가상의 트리거는, 트리거를 클릭하는 것에 의해 사용자가 작동시키도록, 플래그가 지정될 수도 있을 것이고, 트리거식 매체 콘텐츠의 표현으로 나타날 수도 있을 것이다. 몇몇 실시형태에 따르면, 3D 투영 또는 홀로그래픽 디바이스 또는 등등은 전자책 리더/사용자 디바이스와 연계하여 사용되어, 디바이스의 스크린 위에서 3D 투영을 제시할 수도 있을 것이다(이것은 대응하는 3D/홀로그래픽 안경을 착용하고 있는 사용자가 투영을 보는 것을 허용할 수도 있을 것이거나 또는 매체 콘텐츠의 무안경 3D 홀로그래픽 투영을 허용할 수도 있을 것임).
몇몇 실시형태에서, 전자책 리더를 통해, 사용자가 전자책 리더를 판독하는 것과 관련하여, 수반하는 오디오 판독이 활용될 수 있고, 몇몇 트리거는, 텍스트와 관련되는 오디오 키워드, 오디오 트랙 밑의 숨겨진 트랙과 같은 서브 보컬 키워드(sub-vocal keyword), 가청 톤(audible tone), 가청 튠(audible tune), 가청치 이하의 톤(sub-audible tone), 가청치 이하의 튠(sub-audible tune), 등등을 포함하는, 그러나 이들로 제한되지는 않는 오디오 트리거를 포함할 수도 있을 것이다. 예를 들면, 오디오 트랙이 출판물의 특정한 장면을 설명한 이후, 장면의 3D 애니메이션이 투영 및 재생되고, 및 등등일 때 오디오 트랙은 일시 중지될 수도 있을 것이다.
설명되는 바와 같은 이들 상호 작용 및 매체 콘텐츠는, 본 발명의 실시형태와 부합하는 비제한적인 예에 불과하며, (본원에서 설명되는 또는 암시되는 실시형태와 부합하는 한) 다른 상호 작용 및 매체 콘텐츠가 구현될 수도 있다.
도 3의 시스템(300)은 그 외에는 도 1의 시스템(100)과, 동일하지 않다면, 유사할 수도 있을 것이고, 시스템(100)의 컴포넌트의 설명은 시스템(300)의 대응하는 컴포넌트에 마찬가지로 적용될 수도 있을 것이다.
도 4는, 다양한 실시형태에 따른, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 다른 방법(400)을 예시하는 흐름도이다.
기술 및 프로시져가 예시의 목적을 위해 소정의 순서로 묘사되고 및/또는 설명되지만, 소정의 프로시져는 다양한 실시형태의 범위 내에서 다시 순서가 정해질 수도 있고 및/또는 생략될 수 있다는 것이 인식되어야 한다. 또한, 도 4에 의해 예시되는 방법이 도 3의 시스템(300)(또는 그 컴포넌트)에 의해 또는 도 3의 시스템(300)(또는 그 컴포넌트)을 사용하여 구현될 수 있지만(그리고, 몇몇 경우에는, 도 3의 시스템(300)(또는 그 컴포넌트)과 관련하여 하기에서 설명되지만), 이러한 방법은 또한 임의의 적절한 하드웨어(또는 소프트웨어) 구현예를 사용하여 구현될 수도 있다. 마찬가지로, 도 3의 시스템(300)(또는 그 컴포넌트)이 (예를 들면, 컴퓨터로 판독 가능한 매체 상에서 구체화되는 명령어를 실행하는 것에 의해) 도 4에 의해 예시되는 방법에 따라 동작할 수 있지만, 도 3의 시스템(300)은 또한 동작의 다른 모드에 따라 동작할 수 있고 및/또는 다른 적절한 프로시져를 수행할 수 있다.
도 4를 참조하면, 방법(400)은, 몇몇 실시형태에 따라, 블록(405)에서, 시각적 출력 디바이스(이것은 도 3의 사용자 디바이스(305), 또는 등등에 대응할 수도 있을 것임)와 인쇄된 출판물(예를 들면, 도 3의 인쇄된 출판물(325) 또는 등등)과 관련되는 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거(이것은 도 3의 하나 이상의 트리거(330), 또는 등등에 대응할 수도 있을 것임) 사이에서 통신을 확립하는 것을 포함할 수도 있을 것이다. 몇몇 실시형태에서, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것은, 컴퓨팅 시스템을 사용하여, 시각적 출력 디바이스가 인쇄된 출판물과 관련되는 하나 이상의 비 시각적 트리거의 통신 범위 내에 있는지의 여부를 결정하는 것(옵션 블록(410)), 및 시각적 출력 디바이스가 하나 이상의 비 시각적 트리거 중 적어도 하나의 트리거의 통신 범위 내에 있다는 결정에 기초하여, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것(옵션 블록(415))을 포함할 수도 있을 것이다. 몇몇 실시형태에서, 인쇄된 출판물은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 적어도 하나의 트리거는, 몇몇 경우에, 각각이, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그, 및/또는 등등 중 하나를 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다.
방법(400)은, 시각적 출력 디바이스와 적어도 하나의 트리거 사이에서 통신을 확립하는 것에 응답하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 트리거와 관련되는 복수의 매체 콘텐츠 중 하나 이상의 매체 콘텐츠를 식별하는 것을 더 포함할 수도 있을 것이다(블록(420)). 몇몇 경우에, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것인데, 그들의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다.
블록(425)에서, 방법(400)은, 컴퓨터 시스템을 사용하여, 사용자의 시야 - 시야는 인쇄된 출판물의 적어도 일부를 포함함 - 를 결정하는 것을 포함할 수도 있을 것이다. 몇몇 실시형태에서, 사용자의 시야를 결정하는 것은, 카메라(이것은 도 3의 사용자 디바이스(305)의 카메라(340), 또는 등등에 대응할 수도 있을 것임)를 사용하여, 사용자가 인쇄된 출판물의 적어도 일부를 향해 보고 있을 때 사용자의 눈의 하나 이상의 이미지를 캡처하는 것(옵션 블록(430)) 및, 컴퓨터 시스템을 사용하여, 사용자의 눈의 캡처된 하나 이상의 이미지의 분석에 기초하여 (예를 들면, 사용자가 인쇄된 출판물의 적어도 일부를 향해 보고 있는 방향, 또는 등등에 대한) 사용자의 시야를 결정하는 것(옵션 블록(435))을 포함할 수도 있을 것이다.
방법(400)은, 블록(440)에서, 필요하다면(즉, 하나 이상의 매체 콘텐츠의 방위가 사용자의 시야와 아직 정렬되지 않았다는 것이 결정되면), 컴퓨터 시스템을 사용하여, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정하는 것을 더 포함할 수도 있을 것이다. 블록(445)에서, 방법(400)은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다. 여기서, 시각적 출력 디바이스는 상기에서 설명되는 바와 같은 사용자 디바이스에 대응할 수도 있을 것이고, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 실시형태에 따르면, 하나 이상의 매체 콘텐츠를 제시하는 것은, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되는 것, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되는 것, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 위에서 가상의 오버레이로서 제시되는 것, 또는 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되는 것, 및/또는 등등 중 적어도 하나이도록, 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다.
도 4의 방법(400)은 그 외에는 도 2의 방법(200)과, 동일하지 않다면, 유사할 수도 있을 것이고, 방법(200)의 프로세스의 설명은 방법(400)의 대응하는 프로세스에 마찬가지로 적용될 수도 있을 것이다.
도 5a 내지 도 5d(일괄적으로, "도 5")는, 다양한 실시형태에 따른, 사용자와 물리적 객체 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법(500)을 예시하는 흐름도이다. 도 5에서, 방법(500)의 프로세스는, "A"로 표시되는 원형 마커를 따라 도 5a로부터 도 5b로 계속되고, "B"로 표시되는 원형 마커를 따라 도 5a로부터 도 5c로 계속되고, "C"로 표시되는 원형 마커를 따라 도 5a로부터 도 5d로 계속되고, 그리고 "D"로 표시되는 원형 마커를 따라 도 5b 내지 도 5d의 각각으로부터 도 5a로 복귀한다.
기술 및 프로시져가 예시의 목적을 위해 소정의 순서로 묘사되고 및/또는 설명되지만, 소정의 프로시져는 다양한 실시형태의 범위 내에서 다시 순서가 정해질 수도 있고 및/또는 생략될 수 있다는 것이 인식되어야 한다. 또한, 도 5에 의해 예시되는 방법이 도 1의 시스템(100)(또는 그 컴포넌트) 또는 도 3의 시스템(300)(또는 그 컴포넌트)에 의해 또는 도 1의 시스템(100)(또는 그 컴포넌트) 또는 도 3의 시스템(300)(또는 그 컴포넌트)을 사용하여 구현될 수 있지만(그리고, 몇몇 경우에는, 도 1의 시스템(100)(또는 그 컴포넌트) 또는 도 3의 시스템(300)(또는 그 컴포넌트)과 관련하여 하기에서 설명되지만), 이러한 방법은 또한 임의의 적절한 하드웨어(또는 소프트웨어) 구현예를 사용하여 구현될 수도 있다. 마찬가지로, 도 1의 시스템(100)(또는 그 컴포넌트) 또는 도 3의 시스템(300)(또는 그 컴포넌트)이 (예를 들면, 컴퓨터로 판독 가능한 매체 상에서 구체화되는 명령어를 실행하는 것에 의해) 도 3에 의해 예시되는 방법에 따라 동작할 수 있지만, 도 1의 시스템(100)(또는 그 컴포넌트) 또는 도 3의 시스템(300)(또는 그 컴포넌트)은 또한 동작의 다른 모드에 따라 동작할 수 있고 및/또는 다른 적절한 프로시져를 수행할 수 있다.
도 5a를 참조하면, 방법(500)은, 블록(505)에서, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 매체 콘텐츠가 물리적 객체의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록, 하나 이상의 매체 콘텐츠를 제시하는 것을 포함할 수도 있을 것이다. 몇몇 실시형태에서, 물리적 객체는 인쇄된 출판물을 포함할 수도 있을 것이고, 블록(505)에서의 프로세스는 도 2의 방법(200)의 블록(240)에서의 프로세스에 대응할 수도 있을 것이거나(그리고 방법(200)의 블록(205-235)에서의 프로세스를 따를 수도 있을 것이거나), 또는 도 4의 방법(400)의 블록(445)에서의 프로세스에 대응할 수도 있을 것이다(그리고 방법(400)의 블록(405-440)에서의 프로세스를 따를 수도 있을 것이다). 일반적으로, 물리적 객체는 인쇄된 출판물일 필요는 없으며, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 포스터, 크리스마스 트리 전구, 크리스마스 트리 장식품, 하누카 메노라, 묘비, 사용자와 관련되는 감상적 인공물 또는 장식물, 또는 사용자와 관련되는 다른 개인과 관련되는 감상적 인공물 또는 장식물, 및/또는 등등 중 하나를, 제한 없이, 포함할 수 있다. 시각적 출력 디바이스는, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등 중 하나를 포함할 수 있지만, 그러나 이들로 제한되지는 않는다. 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽, 및/또는 등등 중 적어도 하나를, 제한 없이, 포함할 수 있다.
옵션 블록(510)에서, 방법(500)은, 하나 이상의 센서를 사용하여, 매체 콘텐츠의 표현으로부터의 자극에 응답하는 사용자의 하나 이상의 물리적 특성을 검출하는 것을 포함할 수도 있을 것이다. 몇몇 경우에, 하나 이상의 센서는, 하나 이상의 카메라, 하나 이상의 심박수 모니터, 하나 이상의 피트니스 트래커(fitness tracker), 하나 이상의 마이크, 및/또는 등등 중 적어도 하나를, 제한 없이, 포함할 수도 있을 것이다. 하나 이상의 물리적 특성은, 미소짓기, 웃기, 소리지르기, 함성지르기, 매체 콘텐츠 내의 가상 객체를 향해 이동하기, 매체 콘텐츠 내의 가상 객체로부터 멀어지게 이동하기, 매체 콘텐츠 내의 가상 객체와 상호 작용하려고 시도하기, 및/또는 등등 중 적어도 하나를 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 대안적으로 또는 추가적으로, 방법(500)은, 옵션 블록(515)에서, 컴퓨팅 시스템을 사용하여, 매체 콘텐츠가 제시되어야 하는 방법의 선택을 나타내는 사용자 입력을 수신하는 것을 포함할 수도 있을 것이다. 사용자 입력은, 예를 들면, 음성 입력, 촉각 입력, 시도된 촉각 입력, 몸짓, 옵션의 눈 움직임 선택, 깜박임, 및/또는 등등 중 적어도 하나를, 제한 없이, 포함할 수도 있을 것이다.
방법(500)은, 블록(520)에서, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠가 사용자에게 제시되어야 하는 방법을 결정하는 것을 더 포함할 수도 있을 것인데, 이것은, 몇몇 경우에, 사용자의 검출된 하나 이상의 물리적 특성의 분석 또는 수신된 사용자 입력 중 적어도 하나에 기초할 수도 있을 것이다. 프로세스는, (가상 현실 표현을 위한) 마커 "A"를 따르는 도 5b의 블록(525)의 프로세스, (혼합 현실 표현을 위한) 마커 "B"를 따르는 도 5c의 블록(535)의 프로세스, 또는 (증강 현실 표현을 위한) 마커 "C"를 따르는 도 5d의 블록(545)의 프로세스 중 하나로 계속될 수도 있을 것이다.
도 5b를 참조하면, 방법(500)은, 하나 이상의 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 가상 현실 표현으로 시프트하는 것(블록(525)), 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 제시하는 것(블록(530))을 포함할 수도 있을 것이다. 프로세스는 도 5a의 옵션 블록(510)에서 프로세스로 복귀할 수도 있을 것이다.
도 5c를 참조하면, 방법(500)은, 하나 이상의 매체 콘텐츠를 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 혼합 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 혼합 현실 표현으로 시프트하는 것(블록(535)), 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 제시하는 것(블록(540))을 더 포함할 수도 있을 것이다. 여기서, "혼합 현실"은 증강 현실과 가상 현실의 결합을 가리킨다. 예를 들면, 시뮬레이팅된 증강 현실 표현이 생성되어 가상 현실 표현에 임베딩될 수도 있을 것이다. 프로세스는 도 5a의 옵션 블록(510)에서 프로세스로 복귀할 수도 있을 것이다.
도 5d에서, 방법(500)은, 하나 이상의 매체 콘텐츠를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 매체 콘텐츠가 아직 증강 현실 표현으로서 제시되고 있지 않다는 결정에 기초하여, 컴퓨팅 시스템을 사용하여, 하나 이상의 매체 콘텐츠의 표현을 증강 현실 표현으로 시프트하는 것(블록(545)), 및, 시각적 출력 디바이스로 그리고 사용자에게, 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 제시하는 것(블록(550))을 더 포함할 수도 있을 것이다. 프로세스는 도 5a의 옵션 블록(510)에서 프로세스로 복귀할 수도 있을 것이다.
방법(500)의 실시형태에서, 증강 현실이 초기에 트리거되고, 후속하여, 혼합 현실 또는 가상 현실 중 하나에 대한 다리로서 역할을 한다. 컴퓨팅 시스템(이것은, 몇몇 경우에, 상기에서 설명되는 바와 같이, 컴퓨터 비전 시스템임)은, 사용자에게 몰입형 상호 작용 경험을 제공하기 위해, 증강 현실, 혼합 현실, 또는 가상 현실 중 두 가지 사이를 동적으로 또는 선택적으로 시프트한다.
몇몇 실시형태에서, 가상 현실 표현은, 가상 현실 표현 내에 임베딩되는 시뮬레이팅된 현실 세그먼트를 포함할 수도 있을 것이다. 이러한 경우, 사용자는 물리적 현실, 증강 현실, 및 가상 현실 사이를 구분할 수 없을 것이다. 예를 들면, 사용자가 그의 또는 그녀의 물리적 또는 실제 침실에 들어 갈 수도 있을 것인데, 이 경우 트리거는, 시스템으로 하여금, 침실의 이미지 위에 중첩될 수도 있을 매체의 증강 현실 표현을 생성하게 할 수도 있을 것이다. 추가적인 트리거 또는 선택은, (침실 내의 지점에 대한 사용자의 눈의 포지션 및 움직임에 기초한 사용자의 적절한 관점을 갖는) 침실의 정확한(또는 거의 정확한) 복제물을 정확하게 재현할 수도 있을 침실의 가상 시뮬레이션으로 하여금 생성되게 할 수도 있을 것이다. 그 다음, 증강 현실 표현은, 물리적 침실의 이미지가 침실의 시뮬레이팅된 재현물로 시프트되었다는 것을 사용자가 인식하지 못하도록 시뮬레이팅된 침실이 원활하게 제시되는 가상 현실 표현으로 시프트된다. 가상 공간에서, 시뮬레이팅된 침실은, 증강 현실 표현을 트리거한 인쇄된 출판물 또는 물리적 객체의 스토리와 부합하는 임의의 적절한 방식으로 변형 또는 조작될 수 있다. 예를 들면, 스토리는, 메인 캐릭터의 침실이 성(castle)으로 또는 우주선(space vessel)으로 또는 환상적인 풍경으로, 및/또는 등등으로 변형되는 장면을 포함할 수도 있을 것이다. 그러한 경우에, 사용자의 시뮬레이팅된 침실(이것은 사용자에게 매우 익숙함)은, 적절한 트리거시, 성, 또는 우주선, 또는 환상적인 풍경, 및/또는 등등으로 변형될 것이다. 이러한 방식에서, 물리적 또는 실제 현실로부터, 증강 현실로의, 가상 현실로의 원활한 전환은, 사용자를 스토리 속으로 더욱 완전히 몰입시킬 것이다. 증강 현실, 혼합 현실, 또는 가상 현실 중 두 개 사이에서의 추가적인 시프팅은, 몰입 과정을 용이하게 할 것이고, 따라서 아마도 스토리에 대한 사용자의 인지적이고 인상적인 또는 감동을 받는 공감을 향상시킬 것이다. 유사한 방식으로, 실제 사람들의 이미지가 스토리 속의 캐릭터로 변형될 수도 있을 것이다(그리고 완전히 변경될 수도 있을 것이거나, 또는 가상 영역에서의 변형 이후에도 실제 사람들의 몇몇 특성이 유지될 수도 있도록 부분적으로 변경될 수도 있을 것이다).
몇몇 실시형태에서, 거울이 표현에서 사용되는 경우, 사용자는 그 자신 또는 그녀 자신을 주인공으로서 또는 적수로서 볼 수도 있을 것이다. 이러한 경우, 실제 거울은, 사용자의 변형된 표현이 시뮬레이팅된 거울의 시뮬레이팅된 반영에서 제시될 수도 있는 시뮬레이팅된 거울로서 완전히 재현될 수도 있을 것이다. 대안적으로, 실제 거울은, 거울의 일부가 사용자의 변형된 표현의 시뮬레이팅된 반영을 포함하도록, 부분적으로 재현될 수도 있을 것이다(나머지는 실제 미러의 이미지일 수도 있을 것이다). 이러한 방식에서, 물리적 또는 실제 현실로부터, 증강 현실로의, 가상 현실로의 원활한 전환은, 사용자를 스토리 속으로 더욱 완전히 몰입시킬 것이고, 스토리 내의 캐릭터에 대한 사용자의 지적이고 인상적인 또는 감동을 받는 공감의 느낌을 향상시키는 1 인칭 시점(first person point of view)을 제공할 수도 있을 것이다. 그 다음, 표현은, 사용자가 스토리 속의 캐릭터 중 한 명의 역할을 수행하는 상태에서, 스토리의 장면을 시뮬레이팅할 수도 있을 것이다.
몇몇 실시형태에 따르면, 물리적 또는 실제 현실로부터, 증강 현실로의, 가상 현실로의(또는 이러한 원활한 전환 또는 시프트의 임의의 조합으로의) 원활한 전환을 통해 사용자는 스토리 속으로 몰입, 트랜스포팅, 또는 텔레포팅되어, 스토리 내의 캐릭터의 역할을 경험할(inhabit) 수도 있을 것이다. 예를 들면, Little Red Riding Hood(빨간 모자를 쓴 아이)의 스토리에서, 사용자는 그녀 자신이 이러한 방식으로 트랜스포팅 또는 텔레포팅되어, 빨간 모자를 쓴 아이가 그녀의 할머니를 만나러 갈 때의 그리고 그녀가 늑대를 만날 때의 빨간 모자를 쓴 아이의 역할을 경험하는 것을 알아차릴 수도 있을 것이다. 대안적으로, 또는 추가적으로, 사용자는 그녀 자신이 상기에서 설명되는 방식으로 트랜스포팅 또는 텔레포팅되어, 빨간 모자를 쓴 아이가 늑대를 만날 때 할머니의 역할, 및 그 만남 동안 그녀에게 일어나는 일을 경험하는 것을 알아차릴 수도 있을 것이다. 대안적으로, 또는 추가적으로, 사용자는 그녀 자신이 상기에서 설명되는 방식으로 트랜스포팅 또는 텔레포팅되어, 늑대가 할머니의 역할을 맡을 때의 그리고 늑대가 빨간 모자를 쓴 아이를 만날 때의 늑대의 역할을 경험하는 것을 알아차릴 수도 있을 것이다. 다른 예의 세트에서, 예를 들면, 아기 돼지 삼형제(three little pigs)의 스토리에서, 사용자는 그 자신이 상기에서 설명되는 방식으로 트랜스포팅 또는 텔레포팅되어, 아기 돼지가 자신의 (짚, 나무, 또는 벽돌로 만들어진) 집을 짓고 있을 때 아기 돼지 중 한 마리의 역할(또는 차례차례 각각의 역할)을 경험하는 것을 알아차릴 수도 있을 것이거나, 및/또는 그 자신이 상기에서 설명되는 방식으로 트랜스포팅 또는 텔레포팅되어, 늑대가 짚 및 나무 집을 불고, 불고 불어서 날려버리고, 벽돌 집을 그렇게 하려고 시도할 때의 늑대의 역할을 경험하는 것을 알아차릴 수도 있을 것이다. Harry Potter®(해리포터) 시리즈의 책 또는 등등과 같은, 더욱 복잡하거나 또는 뒤얽힌 스토리에서, 사용자는 그 자신 또는 그녀 자신이 상기에서 설명되는 방식으로 트랜스포팅 또는 텔레포팅되어, Harry Potter®(해리포터), Ron Weasley(론 위즐리), Hermione Granger(헤르미온느 그레인저), Lord Voldemort(볼드몰트 경), Albus Dumbledore(알버스 덤블도어), Severus Snape(세베루스 스네이프), 및/또는 등등을 포함하는, 그러나 이들로 제한되지는 않는 책 속의 캐릭터의 역할을 경험하는 것을 알아차릴 수도 있을 것이다. 사용자가 보조 캐릭터 중 몇몇과 백스토리 또는 사이드스토리 장면을 경험하는 것을 허용하여, 사용자를 해리포터 세상(Potter universe)에 더욱 몰입시키는 확장된 스토리라인 또는 장면을 생성하기 위해, 저자 J. K. Rowling(조앤 K. 롤링)과의 협업이 이루어질 수도 있을 것이다. 텔레비전 기반의 스토리, 비디오 스트리밍 서비스 기반의 오리지널 스토리(예를 들면, Netflix®(넷플릭스) 오리지널 시리즈, Amazon®(아마존) 오리지널 시리즈, 등등), 다른 영화 기반의 스토리(예를 들면, Inception(인셉션), Marvel® Cinematic Universe(마블 시네마틱 유니버스) 시리즈, the Star Wars®(스타워즈) 시리즈, the Star Trek®(스타트랙) 시리즈, 등등), 만화책 또는 망가 스토리(예를 들면, Marvel®(마블) 코믹스 시리즈, DC® 코믹스 시리즈, Image(이미지) 코믹스 시리즈, 등등), 다른 소설의 스토리, 비디오 게임 스토리(예를 들면, the Star Wars®(스타워즈) 게임 시리즈, Call of Duty®(콜 오브 듀티) 게임 시리즈, Final Fantasy(파이널 판타지) 게임 시리즈, Mario Bros®(마리오 브로스) 게임 시리즈, Zelda®(젤다) 게임 시리즈, Madden®(매든) 게임 시리즈, Myst®(미스트) 게임 시리즈, 및 등등), 및/또는 등등에 대해, 유사한 사용자 경험이 생성될 수 있을 것이다. 시스템은, 현존하는 스토리 및 소스 스토리로부터의 장면을, 3D 몰입형 가상/증강 현실/혼합 현실 환경 및 장면으로 적응시킬 수도 있을 것이거나, 또는 이들 원래의 소스 스토리에 기초하여 (나중에, 3D 몰입형 가상/증강/혼합 현실 환경 및 장면, 등등으로 적응되는) 새로운 장면 및 스토리를 (어쩌면, 원래의 크리에이터 또는 라이센스가 부여된 엔티티와 협업하여) 생성할 수도 있을 것이다. 이들 다양한 사용자 경험에서, 사용자는, 스토리에서 캐릭터가 조우하는 소정의 시련 및 고난을 경험하는 것이 어떤 것인지를 학습할 수 있고, 어쩌면 상이한 관점으로부터 사물을 보기 위해 학습해야 하는 것을 학습할 수 있다. 요약하면, 상기에서 설명되는 전환 기술은, 사용자가, 어떤 의미에서는, 특정 캐릭터가 되는 것을 가능하게 하고, 그에 의해, 스토리 속의 캐릭터에 대한 사용자의 인지적이고 인상적인 또는 감동을 받는 공감의 느낌을 향상시킨다.
몇몇 실시형태에서, 다양한 사용자 경험 설정 및 콘텐츠의 집성(aggregation), 관리, 및 검색은, 컴퓨터로 시뮬레이션되는 현실 플랫폼(이 시스템은 도 6 및 도 7과 관련하여 하기에서 상세하게 설명됨) 내에서 수행될 수 있거나 또는 구현될 수 있는데, 여기서 설정, 콘텐츠, 및 전환/시프팅 구현 정보는, 플랫폼이 액세스할 수 있는 데이터베이스에 라이브러리 형태로 저장될 수도 있을 것이다.
몇몇 경우에, 사용자 경험은, 사용자의 심리적 상태를 다루도록, 사용자를 위한 노출 치료(exposure therapy)를 구현하도록, 또는 인지적 거동 조절(cognitive behavior conditioning)을 수행하도록, 및/또는 등등을 하도록, 재단될 수도 있을 것이다. 몇몇 경우에, 시스템 및 플랫폼은, 사용자를 괴롭힐 수도 있는 소정의 공포(예를 들면, 거미에 대한 공포, 광장 공포증(fear of open spaces), 고소공포증(fear of heights), 등등)를 해결하기 위해 또는 심지어 치료하기 위해 사용되어, 사용자가 특정한 환경(특히 사용자가 이러한 환경; 예를 들면, 사용자의 외상 후 스트레스 장애를 유발하는 이벤트 또는 에피소드, 사용자의 군중 앞에서의 말하는 것에 대한 일반적인/특정한 공포, 과거의 남용 또는 등등에 기인하는 사람들 또는 가정/학교 환경에 대한 사용자의 경계심, 등등에서 주저하거나 또는 두려워하는 경우), 및 등등에서 대처하거나 또는 생존하는 것을 도울 수도 있을 것이다.
컴퓨터로 시뮬레이션되는 현실 플랫폼
도 6은, 다양한 실시형태에 따른, 가상 현실, 증강 현실, 및 혼합 현실 중 하나로부터, 가상 현실, 증강 현실, 및 혼합 현실 중 다른 것으로의 시프팅을 가능하게 하는 컴퓨터로 시뮬레이션되는 현실 플랫폼을 구현하기 위한 시스템(600)을 예시하는 개략적인 도면이다. 도 6에서, 시스템(600)은 컴퓨팅 시스템(605)을 포함할 수도 있을 것인데, 컴퓨팅 시스템(605)은, 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 또는 시각적 출력 디바이스의 컴퓨팅 시스템, 및/또는 등등 중 적어도 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 경우에서, 컴퓨팅 시스템(605)은, 도 1의 시스템(100)의 컴퓨팅 시스템(110) 또는 도 3의 시스템(300)의 컴퓨팅 시스템(310), 또는 등등에 대응할 수도 있을 것이다. 시스템(600)은 (상기에서 상세히 설명되는 바와 같은) 자산 통합 및 제어 시스템(610)을 더 포함할 수도 있을 것인데, 자산 통합 및 제어 시스템(610)은, 네트워크(615)(이것은 도 1의 시스템(100)의 네트워크(115) 또는 도 3의 시스템(300)의 네트워크(315), 또는 등등에 대응할 수도 있을 것임)를 통해 컴퓨팅 시스템(605)과 통신 가능하게 커플링될 수도 있을 것이다. 시스템(600)은 하나 이상의 시각적 출력 디바이스(620)를 더 포함할 수도 있을 것인데, 하나 이상의 시각적 출력 디바이스(620) 각각은, VR 헤드셋, AR 헤드셋, AR 글래스의 세트, 태블릿 컴퓨터, 생체 공학적 콘택트 렌즈의 세트, VR 헤드셋의 일부로서 적응되는 스마트폰, 또는 AR 시스템의 일부로서 적응되는 스마트폰, 및/또는 등등을 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 하나 이상의 시각적 출력 디바이스(620)는, 네트워크(615)를 통해, 컴퓨팅 시스템(605)과 통신 가능하게 커플링될 수도 있을 것이다.
시스템(600)은 (둘 모두 상기에서 상세히 설명되는 바와 같은) 자산 생산 시스템(625) 및 생산 관리 시스템(630)을 더 포함할 수도 있을 것인데, 이들의 각각은, 네트워크(615)를 통해 컴퓨팅 시스템(605)과 통신 가능하게 커플링될 수도 있을 것이다. 몇몇 경우에, 시스템(600)은 네트워크(615)를 통해 액세스 가능한 데이터베이스(635)를 더 포함할 수도 있을 것이다. 데이터베이스(635)는, 몇몇 경우에, 도 1의 시스템(100)의 데이터베이스(120) 또는 도 3의 시스템(300)의 데이터베이스(320), 또는 등등에 대응할 수도 있을 것이다.
몇몇 양태에 따르면, 자산 통합 및 제어 시스템(610), 하나 이상의 시각적 출력 디바이스(620)의 각각, 자산 생산 시스템(625), 및 생산 관리 시스템(630)은 (네트워크(615)를 통해), 각각, 제1 API(640a), 제2 API(640b), 제3 API(640c), 및 제4 API(640d)(일괄적으로 "API(640)")를 통해, 컴퓨팅 시스템(605)과 통신 가능하게 커플링될 수도 있을 것이다. VR, AR, 또는 MxR 중 하나로부터 VR, AR, 또는 MxR 중 다른 하나로의 시프팅을 구현하기 위한, 컴퓨팅 시스템(605), 자산 통합 및 제어 시스템(610), 하나 이상의 시각적 출력 디바이스(620)의 각각, 자산 생산 시스템(625), 및 생산 관리 시스템(630)(일괄적으로, "컴퓨터로 시뮬레이션되는 현실 플랫폼") 사이에서의 상호 작용은, 하기에서 도 7a 내지 도 7f와 관련하여 상세하게 설명된다.
이제, 다양한 실시형태에 따른, VR, AR, 또는 MxR 중 하나로부터 VR, AR, 또는 MxR 중 다른 하나로의 시프팅을 가능하게 하는 컴퓨터로 시뮬레이션되는 현실 플랫폼을 구현하기 위한 방법(700)을 예시하는 흐름도인 도 7a 내지 도 7f(일괄적으로, "도 7")를 참조한다. 도 7에서, 방법(700)의 프로세스는, "A"로 표시되는 원형 마커를 따라 도 7a로부터 도 7b로 계속되고, "B"로 표시되는 원형 마커를 따라 도 7a로부터 도 7c로 계속되고, "C"로 표시되는 원형 마커를 따라 도 7a로부터 도 7d로 계속되고, "D"로 표시되는 원형 마커를 따라 도 7a로부터 도 7e로 계속되고, "E"로 표시되는 원형 마커를 따라 도 7e로부터 도 7a로 복귀하고, 그리고 "F"로 표시되는 원형 마커를 따라 도 7b 내지 도 7d의 각각으로부터 도 7f로 계속된다.
기술 및 프로시져가 예시의 목적을 위해 소정의 순서로 묘사되고 및/또는 설명되지만, 소정의 프로시져는 다양한 실시형태의 범위 내에서 다시 순서가 정해질 수도 있고 및/또는 생략될 수 있다는 것이 인식되어야 한다. 또한, 도 7에 의해 예시되는 방법이 도 6의 시스템(600)(또는 그 컴포넌트)에 의해 또는 도 6의 시스템(600)(또는 그 컴포넌트)을 사용하여 구현될 수 있지만(그리고, 몇몇 경우에는, 도 6의 시스템(600)(또는 그 컴포넌트)과 관련하여 하기에서 설명되지만), 이러한 방법은 또한 임의의 적절한 하드웨어(또는 소프트웨어) 구현예를 사용하여 구현될 수도 있다. 마찬가지로, 도 6의 시스템(600)(또는 그 컴포넌트)이 (예를 들면, 컴퓨터로 판독 가능한 매체 상에서 구체화되는 명령어를 실행하는 것에 의해) 도 7에 의해 예시되는 방법에 따라 동작할 수 있지만, 도 6의 시스템(600)은 또한 동작의 다른 모드에 따라 동작할 수 있고 및/또는 다른 적절한 프로시져를 수행할 수 있다.
도 7a를 참조하면, 방법(700)은, 블록(705)에서, 컴퓨팅 시스템을 사용하여, 복수의 매체 콘텐츠 중 하나 이상의 제1 매체 콘텐츠(이것은 VR/AR/MxR 자산, VR/AR/MxR 콘텐츠, 및/또는 등등을 포함할 수도 있을 것임)가 복수의 시각적 출력 디바이스로 분배될 준비가 되었는지의 여부를 결정하는 것을 포함할 수도 있을 것이다. 만약 그렇다면, 프로세스는 블록(710)으로 진행한다. 만약 그렇지 않다면, 프로세스는 도 7e의 블록(765)으로 진행한다.
블록(710)에서, 하나 이상의 제1 매체 콘텐츠가 분배될 준비가 되어있다는 결정에 기초하여, 방법(700)은, 컴퓨팅 시스템을 사용하여, 제1 API를 통해 하나 이상의 제1 메시지를 생산 관리 시스템으로 전송하는 것을 포함할 수도 있을 것이다. 하나 이상의 제1 메시지는, 하나 이상의 제1 매체 콘텐츠가 복수의 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 나타내기 위해, 생산 관리 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠의 상태를 변경하게 한다. 방법(700)은, 블록(715)에서, 컴퓨팅 시스템을 사용하여, 제2 API를 통해 하나 이상의 제2 메시지를 자산 생산 시스템으로 전송하는 것을 포함할 수도 있을 것이다. 하나 이상의 제2 메시지는 자산 생산 시스템으로 하여금 제2 API를 통해 하나 이상의 제1 매체 콘텐츠를 컴퓨팅 시스템으로 전송하게 한다.
방법(700)은, 컴퓨팅 시스템을 사용하여, 제2 API를 통해 자산 생산 시스템으로부터 하나 이상의 제1 매체 콘텐츠를 수신하는 것(블록(720)) 및, 컴퓨팅 시스템을 사용하여, 이미지 캡처 디바이스(이것은 도 1의 시스템(100)의 제1 카메라(135), 또는 등등에 대응할 수도 있을 것임)로부터 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 수신하는 것(블록(725))을 더 포함할 수도 있을 것이다. 블록(730)에서, 방법(700)은, 컴퓨팅 시스템을 사용하여, 복수의 매체 콘텐츠 중 하나 이상의 제1 매체 콘텐츠 또는 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지 중 적어도 하나가 사용자에게 제시되어야 하는 방법을 결정하는 것을 포함할 수도 있을 것이다. 프로세스는, (가상 현실 표현의 경우) 마커 "A"를 따르는 도 7b의 블록(735)의 프로세스, (혼합 현실 표현의 경우) 마커 "B"를 따르는 도 7c의 블록(745)의 프로세스, 또는 (증강 현실 표현의 경우) 마커 "C"를 따르는 도 7d의 블록(755)의 프로세스 중 하나로 계속될 수도 있을 것이다.
도 7b를 참조하면, 방법(700)은, 하나 이상의 제1 매체 콘텐츠를 가상 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠가 가상 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제3 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 제1 매체 콘텐츠를 수정하여 하나 이상의 제2 매체 콘텐츠 - 하나 이상의 제2 매체 콘텐츠는 가상 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것(블록(735)), 및 제4 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제2 매체 콘텐츠를 사용자에게 제시하는 복수의 시각적 출력 디바이스 중 제1 시각적 출력 디바이스로 하나 이상의 제2 매체 콘텐츠를 전송하는 것(블록(740))을 더 포함할 수도 있을 것이다. 프로세스는 도 7f의 옵션 블록(775)의 프로세스로 계속될 수도 있다.
도 7c를 참조하면, 방법(700)은, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를 증강 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 증강 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제3 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지와 관련하여 하나 이상의 제1 매체 콘텐츠를 가상의 오버레이로서 수정하는 것에 의해 하나 이상의 제3 매체 콘텐츠 - 하나 이상의 제3 매체 콘텐츠는 증강 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것(블록(745)), 및 제4 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제3 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제3 매체 콘텐츠를 전송하는 것(블록(750))을 포함할 수도 있을 것이다. 프로세스는 도 7f의 옵션 블록(775)의 프로세스로 계속될 수도 있다.
도 7d에서, 방법(700)은, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지를, 가상 현실 및 증강 현실의 요소를 결합하는 혼합 현실 표현으로서 제시하려는 결정에 기초하여, 그리고 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지가 혼합 현실 표현으로서 아직 제시되고 있지 않다는 결정에 기초하여, 제3 API를 통해 컴퓨팅 시스템을 사용하여, 자산 통합 및 제어 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠 및 하나 이상의 물리적 객체의 하나 이상의 캡처된 이미지에 기초하여 하나 이상의 제4 매체 콘텐츠 - 하나 이상의 제4 매체 콘텐츠는 혼합 현실 콘텐츠를 포함함 - 를 생성하게 하도록 자산 통합 및 제어 시스템을 제어하는 것(블록(755)), 및 제4 API를 통해 컴퓨팅 시스템을 사용하여, 하나 이상의 제4 매체 콘텐츠를 사용자에게 제시하는 제1 시각적 출력 디바이스로 하나 이상의 제4 매체 콘텐츠를 전송하는 것(블록(760))을 포함할 수도 있을 것이다. 프로세스는 도 7f의 옵션 블록(775)의 프로세스로 계속될 수도 있다.
도 7c의 블록(705)를 다시 참조하면, 하나 이상의 제1 매체 콘텐츠가 분배를 위한 준비가 되어 있지 않다는 결정에 기초하여, 방법(700)은 마커 "D"를 따르는 도 7e의 블록(765)으로 진행할 수도 있을 것이다. 블록(765)에서, 방법(700)은, 컴퓨팅 시스템을 사용하여, 하나 이상의 제3 메시지를 제1 API를 통해 생산 관리 시스템으로 전송하는 것을 포함할 수도 있을 것이다. 하나 이상의 제3 메시지는, 하나 이상의 제1 매체 콘텐츠가 복수의 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있지 않다는 것을 나타내기 위해, 생산 관리 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠의 상태를 변경하게 한다. 방법(700)은, 블록(770)에서, 컴퓨팅 시스템을 사용하여, 하나 이상의 제4 메시지를 제2 API를 통해 자산 생산 시스템으로 전송하는 것을 포함할 수도 있을 것인데, 하나 이상의 제4 메시지는, 자산 생산 시스템으로 하여금, 하나 이상의 제1 매체 콘텐츠에 대한 작업을 계속하도록 하나 이상의 제5 메시지를 한 명 이상의 개발자에게 전송하게 한다. 프로세스는 마커 "E"를 따르는 도 7a의 블록(705)의 프로세스로 복귀할 수도 있을 것이다.
도 7b, 도 7c, 및 도 7d 각각의 블록(740, 750 및 760)의 각각으로부터 마커 "F"를 따르는 도 7f의 옵션 블록(775)을 참조하면, 방법(700)은, 컴퓨팅 시스템을 사용하여, 제1 API를 통한 생산 관리 시스템, 제2 API를 통한 자산 생산 시스템, 제3 API를 통한 자산 통합 및 제어 시스템, 및 제4 API를 통한 복수의 시각적 출력 디바이스의 각각 중 적어도 하나의 각각에서의 복수의 매체 콘텐츠의 각각의 실시간 상태를 추적하는 것을 더 포함할 수도 있을 것이다. 시스템(700)은, 컴퓨팅 시스템을 사용하여, 자신의 상태가 자산 생산 시스템으로부터 자산 통합 및 제어 시스템으로의 통합을 위한 준비가 되어 있다는 것을 나타내는 복수의 매체 콘텐츠 중 적어도 하나의 제5 매체 콘텐츠를 분배하는 것(옵션 블록(780)); 컴퓨팅 시스템을 사용하여, 자신의 상태가 자산 통합 및 제어 시스템으로부터 제1 시각적 출력 디바이스로의 분배를 위한 준비가 되어 있다는 것을 나타내는 복수의 매체 콘텐츠 중 적어도 하나의 제6 매체 콘텐츠를 분배하는 것(옵션 블록(785)); 컴퓨팅 시스템을 사용하여, 적어도 하나의 제6 매체 콘텐츠를, 복수의 시각적 출력 디바이스 중 하나 이상의 제2 시각적 출력 디바이스 - 하나 이상의 제2 시각적 출력 디바이스는 제1 시각적 출력 디바이스와는 별개임 - 와 동기화하는 것(옵션 블록(790)); 및, 적어도 하나의 제6 매체 콘텐츠에 대한 업데이트를 수신하는 것에 응답하여, 컴퓨팅 시스템을 사용하여, 적어도 하나의 제6 매체 콘텐츠에 대한 업데이트를, 하나 이상의 제2 시각적 출력 디바이스의 각각 및 제1 시각적 출력 디바이스의 각각으로 전송하는 것(옵션 블록(795))을 더 포함할 수도 있을 것이다.
시스템(600)은, 그 외에는, 도 1 및 도 3의 시스템(100 및 300)과, 동일하지 않으면, 유사하고, 방법(700)은, 그 외에는, 도 2, 도 4 및 도 5의 방법(200, 400 및 500)과, 동일하지 않으면, 유사하고, 유사한 컴포넌트 또는 프로세스의 설명은 시스템(600)의 컴포넌트 및 방법(700)의 프로세스에 적용된다.
예시적인 시스템 및 하드웨어 구현
도 8은, 다양한 실시형태에 따른, 예시적인 컴퓨터 또는 시스템 하드웨어 아키텍처를 예시하는 블록도이다. 도 8은, 본원에서 설명되는 바와 같이, 다양한 다른 실시형태에 의해 제공되는 방법을 수행할 수 있고, 및/또는, 상기에서 설명되는 바와 같이, 컴퓨터 또는 하드웨어 시스템(즉, 컴퓨팅 시스템(110 또는 310), 및/또는 등등)의, 또는 임의의 다른 디바이스(예를 들면, 사용자 디바이스(105 또는 305), 등등)의 기능을 수행할 수 있는 컴퓨터 시스템(800)의 하나의 실시형태의 개략적인 예시를 제공한다. 도 8은, 다양한 컴포넌트의 일반화된 예시를 제공하도록 의도되는 것에 불과하며, 그들 중 각각의 하나 이상은 적절히 활용될 수도 있다는(또는 어느 것도 적절히 활용될 수 없을 수도 있다는) 것을 유의해야 한다. 도 8은, 따라서, 개개의 시스템 엘리먼트가 상대적으로 분리된 방식으로 또는 상대적으로 더 많이 통합된 방식으로 어떻게 구현될 수도 있는지를 광범위하게 예시한다.
버스(805)를 통해 전기적으로 커플링될 수 있는(또는 적절히 다르게 통신할 수도 있는) 하드웨어 엘리먼트를 포함하는 컴퓨터 또는 하드웨어 시스템(800) - 이것은, 도 1 및 도 3과 관련하여 상기에서 설명되는, 컴퓨터 또는 하드웨어 시스템(즉, 컴퓨팅 시스템(110 또는 310), 및/또는 등등)의, 또는 임의의 다른 디바이스(예를 들면, 사용자 디바이스(105 또는 305), 등등)의 실시형태를 나타낼 수도 있을 것임 - 이 도시된다. 하드웨어 엘리먼트는, 하나 이상의 범용 프로세서 및/또는 하나 이상의 특수 목적 프로세서(예컨대 디지털 신호 프로세싱 칩, 그래픽 가속 프로세서, 및/또는 등등)를, 제한 없이, 포함하는 하나 이상의 프로세서(810); 마우스, 키보드, 및/또는 등등을, 제한 없이, 포함할 수 있는 하나 이상의 입력 디바이스(815); 및 디스플레이 디바이스, 프린터, 및/또는 등등을 포함할 수 있는 하나 이상의 출력 디바이스(820)를 포함할 수도 있다.
컴퓨터 또는 하드웨어 시스템(800)은, 로컬 및/또는 네트워크 액세스 가능 스토리지를, 제한 없이, 포함할 수 있는, 및/또는, 디스크 드라이브, 드라이브 어레이, 광학 스토리지 디바이스, 솔리드 스테이트 스토리지 디바이스 예컨대 랜덤 액세스 메모리(random access memory; "RAM") 및/또는 프로그래밍 가능할 수 있고, 플래시 업데이트 가능할 수 있고, 및/또는 등등일 수 있는 리드 온리 메모리(read-only memory; "ROM")를, 제한 없이, 포함할 수 있는 하나 이상의 스토리지 디바이스(825)를 더 포함할 수도 있다(및/또는 그 하나 이상의 스토리지 디바이스(825)와 통신할 수도 있다). 이러한 스토리지 디바이스는, 다양한 파일 시스템, 데이터베이스 구조, 및/또는 등등을 비롯한, 그러나 이들로 제한되지는 않는, 임의의 적절한 데이터 저장소를 구현하도록 구성될 수도 있다.
컴퓨터 또는 하드웨어 시스템(800)은 또한 통신 서브시스템(830)을 포함할 수도 있을 것인데, 통신 서브시스템(830)은, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋(예컨대, Bluetooth™ 디바이스, 802.11 디바이스, WiFi(와이파이) 디바이스, WiMax(와이맥스) 디바이스, WWAN 디바이스, 셀룰러 통신 설비, 등등), 및/또는 등등을, 제한 없이, 포함할 수 있다. 통신 서브시스템(830)은 데이터가 네트워크(예컨대, 하나의 예를 들자면, 하기에서 설명되는 네트워크)와, 다른 컴퓨터 또는 하드웨어 시스템과, 및/또는 본원에서 설명되는 임의의 다른 디바이스와 교환되는 것을 허용할 수도 있다. 많은 실시형태에서, 컴퓨터 또는 하드웨어 시스템(800)은, 상기에서 설명되는 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 작업 메모리(835)를 더 포함할 것이다.
컴퓨터 또는 하드웨어 시스템(800)은 또한, 운영 체제(840), 디바이스 드라이버, 실행 파일 라이브러리, 및/또는 다른 코드, 예컨대 하나 이상의 애플리케이션 프로그램(845)을 비롯한, 작업 메모리(835) 내에 현재 위치되는 것으로 도시되는 소프트웨어 엘리먼트를 포함할 수도 있는데, 하나 이상의 애플리케이션 프로그램(845)은, 다양한 실시형태에 의해 제공되는 (하이퍼바이저, VM, 및 등등을, 제한 없이, 포함하는) 컴퓨터 프로그램을 포함할 수도 있고, 및/또는, 본원에서 설명되는 바와 같이, 다른 실시형태에 의해 제공되는, 방법을 구현하도록, 및/또는 시스템을 구성하도록 설계될 수도 있다. 단지 예로서, 상기에서 논의되는 방법(들)과 관련하여 설명되는 하나 이상의 프로시져는, 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행 가능한 코드 및/또는 명령어로서 구현될 수도 있을 것이다;
하나의 양태에서, 그 다음, 이러한 코드 및/또는 명령어는, 설명된 방법에 따라 하나 이상의 동작을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응시키기 위해 사용될 수 있다.
이들 명령어 및/또는 코드의 세트는, 상기에서 설명되는 스토리지 디바이스(들)(825)와 같은, 비일시적 컴퓨터로 판독 가능한 저장 매체 상에서 인코딩될 수도 있을 것이거나 및/또는 저장될 수도 있을 것이다. 몇몇 경우에, 저장 매체는 시스템(800)과 같은 컴퓨터 시스템 내에 통합될 수도 있을 것이다. 다른 실시형태에서, 저장 매체는 컴퓨터 시스템으로부터 분리될 수도 있을 것이고(즉, 콤팩트 디스크, 등등과 같은 제거 가능한 매체), 및/또는 설치 패키지 내에 제공될 수도 있을 것이며, 그 결과, 저장 매체는, 그 상에 저장되는 명령어/코드를 사용하여, 범용 컴퓨터를 프로그래밍하기 위해, 구성하기 위해, 및/또는 적응시키기 위해 사용될 수 있다. 이들 명령어는, 컴퓨터 또는 하드웨어 시스템(800)에 의해 실행 가능한 및/또는 소스 및/또는 설치 코드의 형태를 취할 수도 있는 실행 가능 코드의 형태를 취할 수도 있을 것인데, 소스 및/또는 설치 코드는, 그 다음, (예를 들면, 다양한 일반적으로 이용 가능한 컴파일러, 설치 프로그램, 압축/압축 해제 유틸리티, 등등 중 임의의 것을 사용한) 컴퓨터 또는 하드웨어 시스템(800) 상에서의 컴파일 및/또는 설치시, 실행 가능 코드의 형태를 취할 수 있다.
특정한 요건에 따라 상당한 변화가 이루어질 수도 있다는 것이 기술 분야에서 숙련된 자에게는 명백할 것이다. 예를 들면, 커스터마이징된 하드웨어(예컨대, 프로그래밍 가능한 로직 컨트롤러, 필드 프로그래머블 게이트 어레이, 주문형 반도체, 및/또는 등등)가 또한 사용될 수도 있을 것이고, 및/또는 특정한 엘리먼트가 하드웨어, 소프트웨어(포팅 가능한 소프트웨어(portable software), 예컨대 애플릿, 등등을 포함함), 또는 둘 모두로 구현될 수도 있을 것이다. 또한, 네트워크 입력/출력 디바이스와 같은 다른 컴퓨팅 디바이스에 대한 연결부가 활용될 수도 있다.
상기에서 언급되는 바와 같이, 하나의 양태에서, 몇몇 실시형태는, 본 발명의 다양한 실시형태에 따른 방법을 수행하기 위해 컴퓨터 또는 하드웨어 시스템(예컨대 컴퓨터 또는 하드웨어 시스템(800))을 활용할 수도 있다. 실시형태의 한 세트에 따르면, 그러한 방법의 프로시져 중 일부 또는 전부는, 프로세서(810)가 작업 메모리(835) 내에 포함되는 하나 이상의 명령어(이것은 운영 체제(840) 및/또는 다른 코드, 예컨대 애플리케이션 프로그램(845) 안으로 통합될 수도 있을 것임)의 하나 이상의 시퀀스를 실행하는 것에 응답하여 컴퓨터 또는 하드웨어 시스템(800)에 의해 수행된다. 그러한 명령어는, 스토리지 디바이스(들)(825) 중 하나 이상과 같은 다른 컴퓨터로 판독 가능한 매체로부터 작업 메모리(835) 안으로 판독될 수도 있다. 단지 예로서, 작업 메모리(835)에 포함되는 명령어의 시퀀스의 실행은, 프로세서(들)(810)로 하여금, 본원에서 설명되는 방법 중 하나 이상의 프로시져를 수행하게 할 수도 있을 것이다.
용어 "머신 판독 가능 매체" 및 "컴퓨터로 판독 가능한 매체"는, 본원에서 사용될 때, 머신으로 하여금 특정한 양식으로 동작하게 하는 데이터를 제공하는 데 관여하는 임의의 매체를 가리킨다. 컴퓨터 또는 하드웨어 시스템(800)을 사용하여 구현되는 실시형태에서, 실행을 위해 프로세서(들)(810)에 명령어/코드를 제공함에 있어서 다양한 컴퓨터로 판독 가능한 매체가 수반될 수도 있을 것이고 및/또는 이러한 명령어/코드를 저장 및/또는 (예를 들면, 신호로서) 반송하기(carry) 위해 다양한 컴퓨터로 판독 가능한 매체가 사용될 수도 있을 것이다. 많은 구현예에서, 컴퓨터로 판독 가능한 매체는 비일시적, 물리적 및/또는 유형의(tangible) 저장 매체이다. 몇몇 실시형태에서, 컴퓨터로 판독 가능한 매체는, 불휘발성 매체, 휘발성 매체, 또는 등등을 포함하는, 그러나 이들로 제한되지는 않는 많은 형태를 취할 수도 있다. 불휘발성 매체는, 예를 들면, 스토리지 디바이스(들)(825)와 같은 광학 및/또는 자기 디스크를 포함한다. 휘발성 매체는 ,작업 메모리(835)와 같은 동적 메모리를, 제한 없이, 포함한다. 몇몇 대안적인 실시형태에서, 컴퓨터로 판독 가능한 매체는 송신 매체의 형태를 취할 수도 있는데, 송신 매체는, 버스(805)를 포함하는 배선(wire)을 비롯한, 동축 케이블, 구리 배선 및 광섬유뿐만 아니라, 통신 서브시스템(830)의 다양한 컴포넌트(및/또는 통신 서브시스템(830)이 다른 디바이스와의 통신을 제공하는 매체)를 포함한다. 실시형태의 대안적인 세트에서, 송신 매체는 또한, 파형(전파 및 적외선 데이터 통신 동안 생성되는 것과 같은, 전파, 음향파, 및/또는 광파를, 제한 없이, 포함함)의 형태를 취할 수 있다.
물리적 및/또는 유형의 컴퓨터로 판독 가능한 매체의 일반적인 형태는, 예를 들면, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드, 페이퍼 테이프, 구멍의 패턴을 갖는 임의의 다른 물리적 매체, RAM, PROM, 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 이하에서 설명되는 반송파, 또는 컴퓨터가 명령어 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
컴퓨터로 판독 가능한 매체의 다양한 형태는, 실행을 위해 하나 이상의 명령어의 하나 이상의 시퀀스를 프로세서(들)(810)로 반송함에 있어서 수반될 수도 있다. 단지 예로서, 명령어는 초기에 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 반송될 수도 있다. 원격 컴퓨터는, 명령어를 자신의 동적 메모리에 로딩할 수도 있을 것이고, 컴퓨터 또는 하드웨어 시스템(800)에 의해 수신 및/또는 실행되도록 송신 매체를 통해 신호로서 명령어를 전송할 수도 있다. 전자기 신호, 음향 신호, 광학 신호, 및/또는 등등의 형태일 수도 있을 이들 신호는, 본 발명의 다양한 실시형태에 따라, 명령어가 인코딩될 수 있는 반송파의 모든 예이다.
통신 서브시스템(830)(및/또는 그 컴포넌트)은 일반적으로 신호를 수신할 것이고, 그 때, 버스(805)가 신호(및/또는 신호에 의해 반송되는 데이터, 명령어, 등등)를 작업 메모리(835)로 반송할 수도 있을 것인데, 프로세서(들)(805)는 작업 메모리(835)로부터 명령어를 검색하고 실행한다. 작업 메모리(835)에 의해 수신되는 명령어는, 옵션 사항으로(optionally), 프로세서(들)(810)에 의한 실행 이전 또는 이후에 스토리지 디바이스(825) 상에 저장될 수도 있다.
상기에서 언급되는 바와 같이, 실시형태의 한 세트는, 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법 및 시스템을 포함하며, 특정한 실시형태에서, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법, 시스템, 및 컴퓨터 소프트웨어를 포함한다. 도 9는, 실시형태의 하나의 세트에 따라 사용될 수 있는 시스템(900)의 개략적인 도면을 예시한다. 시스템(900)은 하나 이상의 사용자 컴퓨터 또는 사용자 디바이스(905)를 포함할 수 있다. 사용자 컴퓨터 또는 사용자 디바이스(905)는, 범용 퍼스널 컴퓨터(단지 예로서, 임의의 적절한 운영 체제 - 그 중 몇몇은 애플(Apple), 마이크로소프트 코포레이션(Microsoft Corp), 및 등등과 같은 벤더로부터 이용 가능함 - 를 실행하는, 데스크탑 컴퓨터, 태블릿 컴퓨터, 랩탑 컴퓨터, 핸드헬드 컴퓨터, 및 등등을 포함함), 다양한 상업적으로 이용 가능한 UNIX™ 또는 UNIX형 운영 체제 중 임의의 것을 실행하는 클라우드 컴퓨팅 디바이스, 서버(들), 및/또는 워크스테이션 컴퓨터(들)일 수 있다. 사용자 컴퓨터 또는 사용자 디바이스(905)는 또한, (예를 들면, 상기에서 설명되는 바와 같은) 다양한 실시형태에 의해 제공되는 방법을 수행하도록 구성되는 하나 이상의 애플리케이션뿐만 아니라, 하나 이상의 오피스 애플리케이션, 데이터베이스 클라이언트 및/또는 서버 애플리케이션, 및/또는 웹 브라우저 애플리케이션을 비롯한, 다양한 애플리케이션 중 임의의 것을 구비할 수 있다. 대안적으로, 사용자 컴퓨터 또는 사용자 디바이스(905)는, 네트워크(예를 들면, 하기에 설명되는 네트워크(들)(910))를 통해 통신할 수 있는 및/또는 웹페이지 또는 다른 타입의 전자 문서를 디스플레이 및 내비게이팅할 수 있는 임의의 다른 전자 디바이스, 예컨대 씬 클라이언트 컴퓨터(thin-client compute), 인터넷 대응 이동 전화, 및/또는 개인 휴대형 정보 단말일 수 있다. 비록 예시적인 시스템(900)이 네 개의 사용자 컴퓨터 또는 사용자 디바이스(905)를 가지고 도시되지만, 임의의 수의 사용자 컴퓨터 또는 사용자 디바이스가 지원될 수 있다.
소정의 실시형태는, 네트워크(들)(910)를 포함할 수 있는 네트워크화된 환경에서 동작한다. 네트워크(들)(910)는, TCP/IP, SNA™, IPX™, AppleTalk™(애플토크), 및 등등을 비롯한, 그러나 이들로 제한되지는 않는, 다양한 상업적으로 이용 가능한(및/또는 무료의 또는 독점적인) 프로토콜 중 임의의 것을 사용하여 데이터 통신을 지원할 수 있는, 기술 분야에서 숙련된 자에게 익숙한 임의의 타입의 네트워크일 수 있다. 단지 예로서, 네트워크(들)(910)(도 1의 네트워크(115) 또는 도 3의 네트워크(315), 또는 등등과 유사함) 각각은,
광섬유 네트워크, 이더넷 네트워크, Token-Ring™(토큰링) 네트워크, 및/또는 등등을, 제한 없이, 포함하는 LAN; WAN; WWAN; 가상 네트워크, 예컨대 VPN; 인터넷; 인트라넷; 엑스트라넷; PSTN; 적외선 네트워크; IEEE 802.11 프로토콜 스위트, 기술 분야에서 공지되어 있는 Bluetooth™ 프로토콜, 및/또는 임의의 다른 무선 프로토콜 중 임의의 것 하에서 동작하는 네트워크를, 제한 없이, 포함하는 무선 네트워크; 및/또는 이들 및/또는 다른 네트워크의 임의의 조합을 포함할 수 있다. 특정한 실시형태에서, 네트워크는 서비스 제공자(예를 들면, ISP)의 액세스 네트워크를 포함할 수도 있을 것이다. 다른 실시형태에서, 네트워크는 서비스 제공자의 코어 네트워크, 및/또는 인터넷을 포함할 수도 있을 것이다.
실시형태는 또한 하나 이상의 서버 컴퓨터(915)를 포함할 수 있다. 서버 컴퓨터(915)의 각각은, 상기에서 논의되는 것들 중 임의의 것, 뿐만 아니라, 임의의 상업적으로(또는 무료로) 이용 가능한 서버 운영 체제를 비롯한, 그러나 이들로 제한되지는 않는, 운영 체제를 가지고 구성될 수도 있다. 서버(915)의 각각은 또한, 하나 이상의 클라이언트(905) 및/또는 다른 서버(915)에 서비스를 제공하도록 구성될 수 있는 하나 이상의 애플리케이션을 실행하고 있을 수도 있다.
단지 예로서, 서버(915) 중 하나는, 상기에서 설명되는 바와 같이, 데이터 서버, 웹 서버, 클라우드 컴퓨팅 디바이스(들), 또는 등등일 수도 있다. 데이터 서버는, 단지 예로서, 사용자 컴퓨터(905)로부터의 웹 페이지 또는 다른 전자 문서에 대한 요청을 프로세싱하기 위해 사용될 수 있는 웹 서버를 포함할 수도 있을 것이다(또는 그 웹 서버와 통신할 수도 있을 것이다). 웹 서버는 또한, HTTP 서버, FTP 서버, CGI 서버, 데이터베이스 서버, Java(자바) 서버, 및 등등을 비롯한, 다양한 서버 애플리케이션을 실행할 수 있다. 본 발명의 몇몇 실시형태에서, 웹 서버는, 본 발명의 방법을 수행하기 위해 사용자 컴퓨터(905) 중 하나 이상 상의 웹 브라우저 내에서 동작될 수 있는 웹 페이지를 서비스하도록 구성될 수도 있다.
서버 컴퓨터(915)는, 몇몇 실시형태에서, 클라이언트 컴퓨터(905) 및/또는 다른 서버(915) 중 하나 이상 상에서 실행되는 클라이언트에 의해 액세스 가능한 하나 이상의 애플리케이션을 가지고 구성될 수 있는 하나 이상의 애플리케이션 서버를 포함할 수도 있을 것이다. 단지 예로서, 서버(들)(915)는, 사용자 컴퓨터(905) 및/또는 다른 서버(915)에 응답하여, 웹 애플리케이션(이들은, 몇몇 경우에, 다양한 실시형태에 의해 제공되는 방법을 수행하도록 구성될 수도 있을 것임)을 비롯한, 그러나 이들로 제한되지는 않는 프로그램 또는 스크립트를 실행할 수 있는 하나 이상의 범용 컴퓨터일 수 있다. 단지 예로서, 웹 애플리케이션은, 임의의 적절한 프로그래밍 언어, 예컨대 JavaTM(자바), C, C #™ 또는 C++, 및/또는 임의의 스크립팅 언어, 예컨대 Perl(펄), Python(파이썬), 또는 TCL, 뿐만 아니라, 임의의 프로그래밍 및/또는 스크립팅 언어의 조합으로 작성되는 하나 이상의 스크립트 또는 프로그램으로서 구현될 수 있다. 애플리케이션 서버(들)는 또한, 사용자 컴퓨터 또는 사용자 디바이스(905) 및/또는 다른 서버(915) 상에서 실행 중인 클라이언트(구성에 따라, 전용 데이터베이스 클라이언트, API 클라이언트, 웹 브라우저, 등등을 포함함)로부터의 요청을 프로세싱할 수 있는, Oracle™(오라클), Microsoft™(마이크로소프트), Sybase™(사이베이스), IBM™(아이비엠), 및 등등으로부터 상업적으로 이용 가능한한 것들을 비롯한, 그러나 이들로 제한되지는 않는, 데이터베이스 서버를 포함할 수 있다. 몇몇 실시형태에서, 애플리케이션 서버는, 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 프로세스 중 하나 이상을 수행할 수 있고, 특정한 실시형태에서, 상기에서 상세히 설명되는 바와 같이, 사용자와 물리적 출판물 사이에서 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 방법, 시스템, 및 컴퓨터 소프트웨어, 또는 등등을 수행할 수 있다. 애플리케이션 서버에 의해 제공되는 데이터는 하나 이상의 웹 페이지(예를 들면, HTML, JavaScript(자바스크립트), 등등을 포함함)로서 포맷될 수도 있고 및/또는 (예를 들면, 상기에서 설명되는 바와 같은) 웹 서버를 통해 사용자 컴퓨터(905)로 포워딩될 수도 있다. 마찬가지로, 웹 서버는 사용자 컴퓨터(905)로부터 웹 페이지 요청 및/또는 입력 데이터를 수신할 수도 있을 것이고 및/또는 웹 페이지 요청 및/또는 입력 데이터를 애플리케이션 서버로 포워딩할 수도 있을 것이다. 몇몇 경우에, 웹 서버가 애플리케이션 서버와 통합될 수도 있다.
또 다른 실시형태에 따르면, 하나 이상의 서버(915)가 파일 서버로서 기능할 수 있고 및/또는 사용자 컴퓨터(905) 및/또는 다른 서버(915) 상에서 실행 중인 애플리케이션에 의해 통합되는, 다양한 개시된 방법을 구현하는 데 필요한 하나 이상의 파일(예를 들면, 애플리케이션 코드, 데이터 파일, 등등)을 포함할 수 있다. 대안적으로, 기술 분야에서 숙련된 자가 인식하는 바와 같이, 파일 서버는 모든 필요한 파일을 포함할 수 있어서, 그러한 애플리케이션이 사용자 컴퓨터 또는 사용자 디바이스(905) 및/또는 서버(915)에 의해 원격으로 호출되는 것을 허용할 수 있다.
본원에서 다양한 서버(예를 들면, 애플리케이션 서버, 데이터베이스 서버, 웹 서버, 파일 서버, 등등)와 관련하여 설명되는 기능은, 구현예 고유의 요구 사항 및 파라미터에 따라, 단일의 서버 및/또는 복수의 특수 서버에 의해 수행될 수 있다는 것을 유의해야 한다.
소정의 실시형태에서, 시스템은 하나 이상의 데이터베이스(920a 및 920b)(일괄적으로 "데이터베이스(920)")를 포함할 수 있다. 데이터베이스(920)의 각각의 위치는 임의적이다,
단지 예로서, 데이터베이스(920a)는, 서버(915a)(및/또는 사용자 컴퓨터 또는 사용자 디바이스(905))에 로컬한(및/또는 서버(915a)(및/또는 사용자 컴퓨터 또는 사용자 디바이스(905)) 내에 존재하는) 저장 매체 상에 상주할 수도 있을 것이다. 대안적으로, 데이터베이스(920b)는, 그것이 컴퓨터(905, 915) 중 하나 이상과 (예를 들면, 네트워크(910)를 통해) 통신할 수 있는 한, 이들 중 임의의 것 또는 전체로부터 원격에 있을 수 있다. 실시형태의 특정한 세트에서, 데이터베이스(920)는 기술 분야에서 숙련된 자에게 익숙한 스토리지 영역 네트워크(storage-area network; "SAN")에 상주할 수 있다. (마찬가지로, 컴퓨터(905, 915)에 기인하는 기능을 수행하기 위한 임의의 필요한 파일은, 적절히, 각각의 컴퓨터 상에 로컬하게 및/또는 원격으로 저장될 수 있다). 실시형태의 하나의 세트에서, 데이터베이스(920)는, SQL 형식 커맨드에 응답하여 데이터를 저장, 업데이트, 및 검색하도록 적응되는 관계형 데이터베이스, 예컨대 Oracle(오라클) 데이터베이스일 수 있다. 데이터베이스는, 예를 들면, 상기에서 설명되는 바와 같이, 데이터베이스 서버에 의해 제어 및/또는 유지될 수도 있을 것이다.
몇몇 실시형태에 따르면, 시스템(900)은 인쇄된 출판물(925)(이것은, 도 1 및 도 3의 인쇄된 출판물(125 또는 325)에 각각 대응할 수도 있을 것임)을 더 포함할 수도 있을 것이다. 몇몇 실시형태에서, 인쇄된 출판물(925)은, 픽션 소설, 논픽션 소설, 아동 책, 신문, 잡지, 만화책, 코믹 스트립, 그래픽 소설, 백과사전, 사전, 지도, 달력, 축하 카드, 북마크, 행사 장소 또는 이벤트 티켓 스터브, 또는 포스터, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 몇몇 경우에, 인쇄된 출판물(925)은 인쇄된 출판물(925)의 적어도 일부 상에서 하나 이상의 트리거(930)를 포함할 수도 있을 것이다. 하나 이상의 트리거는, 몇몇 경우에, 각각, 출판물의 적어도 일부 상에 제공되는 QR 코드, 출판물의 적어도 일부 상에 제공되는 바코드, 출판물의 적어도 일부에 부착되는 스티커 상에 제공되는 그래픽 코드, 출판물의 적어도 일부 상에 인쇄되는 그래픽, 출판물의 적어도 일부 상에 인쇄되는 키워드 또는 키 코드, 인쇄된 출판물의 커버 이미지, 인쇄된 출판물의 커버 상에 인쇄되는 제목, 인쇄된 출판물의 커버 상에 인쇄되는 저자명, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 인형, 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 캐릭터, 또는 인쇄된 출판물에 근접하여 배치되는 인쇄된 출판물과 관련되는 3D 인쇄 객체, 및/또는 등등 중 하나를 포함할 수도 있을 것이지만, 그러나 이들로 제한되지는 않는다. 대안적으로, 하나 이상의 트리거 각각은, RFID 태그, BLE 태그, NFC 태그, 또는 RTLS 태그, 및/또는 등등 중 하나를, 제한 없이, 포함할 수도 있을 것이다. 사용자 디바이스(905)는, 카메라, 무선 트랜스시버, 및/또는 등등을, 제한 없이, 각각 포함할 수도 있을 하나 이상의 트리거 검출기(935)를 포함할 수도 있을 것이다. 무선 트랜스시버는, RFID 스캐너, BLE 인터페이스, NFC 인터페이스, RTLS 인터페이스, 및/또는 등등 중 하나를 포함할 수도 있을 것이다. 시스템(900)은, VR, AR, 또는 MxR 중 하나로부터 VR, AR, 또는 MxR 중 다른 하나로 시프팅하는 것을 가능하게 하며, 도 6 및 도 7과 관련하여 상세하게 설명되는 플랫폼 또는 컴퓨터로 시뮬레이션되는 현실 플랫폼(940)을 더 포함할 수도 있을 것이다.
동작에서, 하나 이상의 트리거 검출기(935) 중 적어도 하나의 트리거 검출기(935)가 하나 이상의 트리거(930)의 적어도 하나의 트리거(930)를 검출하는 것에 응답하여, 사용자 디바이스(905) 또는 서버(915)는, 적어도 하나의 트리거(930)와 관련되는 하나 이상의 매체 콘텐츠를 식별할 수도 있을 것이다. 몇몇 실시형태에서, 하나 이상의 매체 콘텐츠는, 3D 정지 그래픽, 3D 애니메이션화된 그래픽 또는 3D 상호 작용식의 애니메이션화된 그래픽 중 적어도 하나를 포함한다. 몇몇 경우에, 3D 정지 그래픽, 3D 애니메이션화된 그래픽, 또는 3D 상호 작용식의 애니메이션화된 그래픽의 각각은, 인쇄된 출판물과 관련되는 하나 이상의 캐릭터의 그래픽 표현, 인쇄된 출판물과 관련되는 비 허구의 지리적 위치, 인쇄된 출판물과 관련되는 허구의 지리적 위치, 인쇄된 출판물과 관련되는 룸, 인쇄된 출판물과 관련되는 건물, 인쇄된 출판물에서 설명되는 장면, 인쇄된 출판물에서 설명되는 장면에 의해 영감을 받는 장면, 인쇄된 출판물에서 설명되는 하나 이상의 아이템, 또는 인쇄된 출판물에서 설명되는 하나 이상의 아이템에 의해 영감을 받는 하나 이상의 아이템, 및/또는 등등 중 적어도 하나를 포함한다.
사용자 디바이스(905)는 (예를 들면, 도 1 및 도 3의 카메라(140 또는 340)와 같은 카메라를 각각 사용하는 것에 의해) 사용자의 시야를 결정할 수도 있을 것이다. 시야는 인쇄된 출판물의 적어도 일부를 포함할 수도 있을 것이다. 사용자 디바이스(905) 또는 서버(930)는, 만약 필요하다면, 사용자의 시야와 정렬되도록 하나 이상의 매체 콘텐츠의 방위를 수정할 수도 있을 것이고, 몇몇 경우에, 하나 이상의 매체 콘텐츠가 인쇄된 출판물의 적어도 일부와 관련하여 가상의 오버레이로서 제시되도록(예를 들면, 인쇄된 출판물의 커버 위에서 가상의 오버레이로서 제시되도록, 인쇄된 출판물의 커버 상에서 가상의 오버레이로서 제시되도록, 인쇄된 출판물 옆에서 가상의 오버레이로서 제시되도록, 인쇄된 출판물의 페이지 위에서 가상의 오버레이로서 제시되도록, 인쇄된 출판물의 페이지 상에서 가상의 오버레이로서 제시되도록, 인쇄된 출판물의 표면 앞에서 가상의 오버레이로 제시되도록, 인쇄된 출판물의 바인딩 앞에서 가상의 오버레이로 제시되도록, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되도록, 인쇄된 출판물의 일부 상에 인쇄되는 2D 그래픽 상에서 가상의 오버레이로서 제시되도록, 및 등등이도록), 사용자의 시야와 정렬되도록 방위가 수정된 하나 이상의 매체 콘텐츠를, 사용자 디바이스(905)의 디스플레이 디바이스 상에서, 디스플레이할 수도 있을 것이다.
디지털 프로세싱 디바이스
몇몇 실시형태에서, 본원에서 설명되는 플랫폼, 시스템, 매체, 및 방법은 디지털 프로세싱 디바이스, 또는 그 사용을 포함한다. 또 다른 실시형태에서, 디지털 프로세싱 디바이스는, 디바이스의 기능을 수행하는 하나 이상의 하드웨어 중앙 프로세싱 유닛(central processing unit; CPU) 또는 범용 그래픽 프로세싱 유닛(general purpose graphics processing unit; GPGPU)을 포함한다. 여전히 또 다른 실시형태에서, 디지털 프로세싱 디바이스는, 실행 가능한 명령어를 수행하도록 구성되는 운영 체제를 더 포함한다. 몇몇 실시형태에서, 디지털 프로세싱 디바이스는, 옵션 사항으로, 컴퓨터 네트워크에 연결된다. 또 다른 실시형태에서, 디지털 프로세싱 디바이스는, 옵션 사항으로, 월드 와이드 웹에 액세스하도록 인터넷에 연결된다. 여전히 또 다른 실시형태에서, 디지털 프로세싱 디바이스는, 옵션 사항으로, 클라우드 컴퓨팅 기반 구조(cloud computing infrastructure)에 연결된다. 다른 실시형태에서, 디지털 프로세싱 디바이스는, 옵션 사항으로, 인트라넷에 연결된다. 다른 실시형태에서, 디지털 프로세싱 디바이스는, 옵션 사항으로, 데이터 스토리지 디바이스에 연결된다.
본원의 설명에 따르면, 적절한 디지털 프로세싱 디바이스는, 비제한적인 예로서, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북 컴퓨터, 서브노트북 컴퓨터, 넷북 컴퓨터, 넷패드 컴퓨터, 셋탑 컴퓨터, 매체 스트리밍 디바이스, 핸드헬드 컴퓨터, 인터넷 기기, 모바일 스마트폰, 태블릿 컴퓨터, 개인 휴대형 정보 단말, 비디오 게임 콘솔, 및 차량을 포함한다. 기술 분야에서 숙련된 자는, 많은 스마트폰이 본원에서 설명되는 시스템에서의 사용에 적합하다는 것을 인식할 것이다. 기술 분야에서 숙련된 자는 또한, 옵션 사항의 컴퓨터 네트워크 연결성을 갖는 엄선된 텔레비전, 비디오 플레이어, 및 디지털 음악 플레이어가 본원에서 설명된 시스템에서의 사용에 적합하다는 것을 인식할 것이다. 적절한 태블릿 컴퓨터는, 기술 분야에서 숙련된 자에게 공지되어 있는, 북릿(booklet), 슬레이트(slate), 및 컨버터블 구성을 갖는 것들을 포함한다.
몇몇 실시형태에서, 디지털 프로세싱 디바이스는, 실행 가능한 명령어를 수행하도록 구성되는 운영 체제를 포함한다. 운영 체제는, 예를 들면, 디바이스의 하드웨어를 관리하고 애플리케이션 실행을 위한 서비스를 제공하는, 프로그램 및 데이터를 포함하는 소프트웨어이다. 기술 분야에서 숙련된 자는, 적절한 서버 운영 체제가, 비제한적 예로서, FreeBSD(프리 BSD), OpenBSD(오픈 BSD), NetBSD®(넷 BSD), Linux(리눅스), Apple® Mac OS X Server®(애플 맥 OS X 서버), Oracle® Solaris®(오라클 솔라리스), Windows Server®(윈도우즈 서버), 및 Novell® NetWare®(노벨 넷웨어)를 포함한다는 것을 인식할 것이다. 기술 분야에서 숙련된 자는, 적절한 퍼스널 컴퓨터 운영 체제가, 비제한적인 예로서, Microsoft® Windows®(마이크로소프트 윈도우즈), Apple® Mac OS X®(애플 맥 OS X), UNIX®(유닉스) 및 GNU/Linux®(GNU/리눅스)와 같은 UNIX형 운영 체제를 포함한다는 것을 인식할 것이다. 몇몇 실시형태에서, 운영 체제는 클라우드 컴퓨팅에 의해 제공된다. 기술 분야에서 숙련된 자는 또한, 적절한 모바일 스마트폰 운영 체제가, 비제한적인 예로서, Nokia® Symbian® OS(노키아 심비안 OS), Apple® iOS®(애플 iOS), Research In Motion® BlackBerry OS®(RIM 블랙베리 OS), Google® Android®(구글 안드로이드), Microsoft® Windows Phone® OS(마이크로소프트 윈도우즈 폰 OS), Microsoft® Windows Mobile® OS(마이크로소프트 윈도우즈 모바일 OS), Linux®(리눅스) 및 Palm® WebOS®(팜 WebOS)를 포함한다는 것을 인식할 것이다. 기술 분야에서 숙련된 자는 또한, 적절한 매체 스트리밍 디바이스 운영 체제가, 비제한적인 예로서, Apple TV®(애플 TV), Roku®(로쿠), Boxee®(박시), Google TV®(구글 TV), Google Chromecast®(구글 크롬캐스트), Amazon Fire®(아마존 파이어), 및 Samsung® HomeSync®(삼성 홈싱크)를 포함한다는 것을 인식할 것이다. 기술 분야에서 숙련된 자는 또한, 적절한 비디오 게임 콘솔 운영 체제가, 비제한적인 예로서, Sony® PS3®(소니 PS3), Sony® PS4®(소니 PS4), Microsoft® Xbox 360®(마이크로소프트 Xbox 360), Microsoft Xbox One(마이크로소프트 Xbox 원), Nintendo® Wii®(닌텐도 위), Nintendo® Wii U®(닌텐도 위 U), 및 Ouya®(오유야)를 포함한다는 것을 인식할 것이다.
몇몇 실시형태에서, 디바이스는 스토리지 디바이스 및/또는 메모리 디바이스를 포함한다. 스토리지 디바이스 및/또는 메모리 디바이스는, 일시적 또는 영구적 기반으로 데이터 또는 프로그램을 저장하기 위해 사용되는 하나 이상의 물리적 장치이다. 몇몇 실시형태에서, 디바이스는 휘발성 메모리이고 저장된 정보를 유지하기 위한 전력을 필요로 한다. 몇몇 실시형태에서, 디바이스는 불휘발성 메모리이고, 디지털 프로세싱 디바이스가 전력을 공급을 받지 않는 경우 저장된 정보를 유지한다. 또 다른 실시형태에서, 불휘발성 메모리는 플래시 메모리를 포함한다. 몇몇 실시형태에서, 불휘발성 메모리는 동적 랜덤 액세스 메모리(dynamic random-access memory; DRAM)를 포함한다. 몇몇 실시형태에서, 불휘발성 메모리는 강유전체 랜덤 액세스 메모리(ferroelectric random access memory; FRAM)를 포함한다. 몇몇 실시형태에서, 불휘발성 메모리는 상 변화 랜덤 액세스 메모리(phase-change random access memory; PRAM)를 포함한다. 다른 실시형태에서, 디바이스는, 비제한적인 예로서, CD-ROM, DVD, 플래시 메모리 디바이스, 자기 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 및 클라우드 컴퓨팅 기반의 스토리지를 포함하는 스토리지 디바이스이다. 또 다른 실시형태에서, 스토리지 디바이스 및/또는 메모리 디바이스는 본원에서 개시되는 것과 같은 디바이스의 조합이다.
몇몇 실시형태에서, 디지털 프로세싱 디바이스는 시각적 정보를 사용자에게 전송하는 디스플레이를 포함한다. 몇몇 실시형태에서, 디스플레이는 액정 디스플레이(liquid crystal display; LCD)이다. 또 다른 실시형태에서, 디스플레이는 박막 트랜지스터 액정 디스플레이(thin film transistor liquid crystal display; TFT-LCD)이다. 몇몇 실시형태에서, 디스플레이는 유기 발광 다이오드(organic light emitting diode; OLED) 디스플레이이다. 다양한 또 다른 실시형태에서, OLED 디스플레이는 수동 매트릭스 OLED(passive-matrix OLED; PMOLED) 또는 능동 매트릭스 OLED(active-matrix OLED; AMOLED) 디스플레이이다. 몇몇 실시형태에서, 디스플레이는 플라즈마 디스플레이이다. 다른 실시형태에서, 디스플레이는 비디오 프로젝터이다. 또 다른 실시형태에서, 디스플레이는, VR 헤드셋과 같은, 디지털 프로세싱 디바이스와 통신하는 헤드 마운트형 디스플레이(head-mounted display)이다. 또 다른 실시형태에서, 적절한 VR 헤드셋은, 비제한적인 예로서, HTC Vive(HTC 바이브), Oculus Rift(오큘러스 리프트), Samsung Gear VR(삼성 기어 VR), Microsoft HoloLens(마이크로소프트 홀로렌즈), Razer OSVR(레이저 OSVR), FOVE VR(포브 VR), Zeiss VR One(짜이스 VR 원), Avegant Glyph(아베간트 글리프), Freefly VR(프리플라이 VR) 헤드셋, 및 등등을 포함한다. 여전히 또 다른 실시형태에서, 디스플레이는 본원에서 개시되는 것과 같은 디바이스의 조합이다.
몇몇 실시형태에서, 디지털 프로세싱 디바이스는 사용자로부터 정보를 수신하기 위한 입력 디바이스를 포함한다. 몇몇 실시형태에서, 입력 디바이스는 키보드이다. 몇몇 실시형태에서, 입력 디바이스는, 비제한적인 예로서, 마우스, 트랙볼, 트랙 패드, 조이스틱, 게임 컨트롤러, 또는 스타일러스를 포함하는 포인팅 디바이스이다. 몇몇 실시형태에서, 입력 디바이스는 터치스크린 또는 멀티 터치스크린이다. 다른 실시형태에서, 입력 디바이스는 음성 또는 다른 사운드 입력을 캡처하기 위한 마이크이다. 다른 실시형태에서, 입력 디바이스는 모션 또는 시각적 입력을 캡처하기 위한 비디오 카메라 또는 다른 센서이다. 또 다른 실시형태에서, 입력 디바이스는 키넥트(Kinect), 립 모션(Leap Motion), 또는 등등이다. 여전히 또 다른 실시형태에서, 입력 디바이스는 본원에서 개시되는 것과 같은 디바이스의 조합이다.
비일시적 컴퓨터로 판독 가능한 저장 매체
몇몇 실시형태에서, 본원에서 개시되는 플랫폼, 시스템, 매체, 및 방법은, 옵션 사항으로 네트워크화된 디지털 프로세싱 디바이스의 운영 체제에 의해 실행 가능한 명령어를 포함하는 프로그램으로 인코딩되는 하나 이상의 비일시적 컴퓨터로 판독 가능한 저장 매체를 포함한다. 또 다른 실시형태에서, 컴퓨터로 판독 가능한 저장 매체는 디지털 프로세싱 디바이스의 유형의 컴포넌트이다. 여전히 또 다른 실시형태에서, 컴퓨터로 판독 가능한 저장 매체는, 옵션 사항으로, 디지털 프로세싱 디바이스로부터 제거 가능하다. 몇몇 실시형태에서, 컴퓨터로 판독 가능한 저장 매체는, 비제한적인 예로서, CD-ROM, DVD, 플래시 메모리 디바이스, 솔리드 스테이트 메모리, 자기 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 클라우드 컴퓨팅 시스템 및 서비스, 및 등등을 포함한다. 몇몇 경우에, 프로그램 및 명령어는, 매체 상에서, 영구적으로, 실질적으로 영구적으로, 반영구적으로, 또는 비일시적으로 인코딩된다.
컴퓨터 프로그램
몇몇 실시형태에서, 본원에서 개시되는 플랫폼, 시스템, 매체, 및 방법은, 적어도 하나의 컴퓨터 프로그램, 또는 그 사용을 포함한다. 컴퓨터 프로그램은, 명시되는 태스크를 수행하도록 작성되는, 디지털 프로세싱 디바이스의 CPU에서 실행 가능한 명령어의 시퀀스를 포함한다. 컴퓨터로 판독 가능한 명령어는, 특정한 태스크를 수행하는 또는 특정한 추상 데이터 타입을 구현하는 프로그램 모듈로서, 예컨대 함수, 객체, 애플리케이션 프로그래밍 인터페이스(Application Programming Interface; API), 데이터 구조, 및 등등으로서 구현될 수도 있다. 본원에서 제공되는 개시에 비추어, 기술 분야에서 숙련된 자는, 컴퓨터 프로그램이 다양한 언어의 다양한 버전으로 작성될 수도 있다는 것을 인식할 것이다.
컴퓨터로 판독 가능한 명령어의 기능성은 다양한 환경에서 소망되는 대로 결합 또는 분산될 수도 있다. 몇몇 실시형태에서, 컴퓨터 프로그램은 명령어의 하나의 시퀀스를 포함한다. 몇몇 실시형태에서, 컴퓨터 프로그램은 명령어의 복수의 시퀀스를 포함한다. 몇몇 실시형태에서, 컴퓨터 프로그램은 하나의 위치로부터 제공된다. 다른 실시형태에서, 컴퓨터 프로그램은 복수의 위치로부터 제공된다. 다양한 실시형태에서, 컴퓨터 프로그램은 하나 이상의 소프트웨어 모듈을 포함한다. 다양한 실시형태에서, 컴퓨터 프로그램은, 하나 이상의 웹 애플리케이션, 하나 이상의 모바일 애플리케이션, 하나 이상의 독립형 애플리케이션, 하나 이상의 웹 브라우저 플러그인(plug-in), 확장, 애드인(add-in), 또는 애드온(add-on), 또는 이들의 조합을, 부분적으로 또는 전체적으로, 포함한다.
웹 애플리케이션
몇몇 실시형태에서, 컴퓨터 프로그램은 웹 애플리케이션을 포함한다. 본원에 제공되는 개시에 비추어, 기술 분야에서 숙련된 자는, 웹 애플리케이션이, 다양한 실시형태에서, 하나 이상의 소프트웨어 프레임워크 및 하나 이상의 데이터베이스 시스템을 활용한다는 것을 인식할 것이다. 몇몇 실시형태에서, 웹 애플리케이션은 Microsoft® .NET(마이크로소프트 닷넷) 또는 Ruby on Rails(루비 온 레일즈)(RoR)와 같은 소프트웨어 프레임워크 상에서 생성된다. 몇몇 실시형태에서, 웹 애플리케이션은, 비제한적인 예로서, 관계형, 비 관계형, 객체 지향, 연상(associative), 및 XML 데이터베이스 시스템을 포함하는 하나 이상의 데이터베이스 시스템을 활용한다. 또 다른 실시형태에서, 적절한 관계형 데이터베이스 시스템은, 비제한적인 예로서, Microsoft® SQL Server(마이크로소프트 SQL 서버), mySQL™ 및 Oracle®(오라클)을 포함한다. 기술 분야에서 숙련된 자는 또한, 웹 애플리케이션이, 다양한 실시형태에서, 하나 이상의 언어의 하나 이상의 버전으로 작성된다는 것을 인식할 것이다. 웹 애플리케이션은, 하나 이상의 마크업 언어, 프리젠테이션 정의 언어(presentation definition language), 클라이언트 측 스크립팅 언어, 서버 측 코딩 언어, 데이터베이스 쿼리 언어, 또는 이들의 조합으로 작성될 수도 있다. 몇몇 실시형태에서, 웹 애플리케이션은, 어느 정도까지는, 하이퍼텍스트 마크업 언어(Hypertext Markup Language; HTML), 확장성 하이퍼텍스트 마크업 언어(Extensible Hypertext Markup Language; XHTML), 또는 확장성 마크업 언어(eXtensible Markup Language; XML)과 같은 마크업 언어로 어느 정도 작성된다. 몇몇 실시형태에서, 웹 애플리케이션은, 어느 정도까지는, 캐스케이딩 스타일 시트(Cascading Style Sheets; CSS)와 같은 프리젠테이션 정의 언어로 작성된다. 몇몇 실시형태에서, 웹 애플리케이션은, 어느 정도까지는, 비동기 자바스크립트 및 XML(AJAX), Flash® Actionscript(플래시 액션 스크립트), Javascript(자바스크립트) 또는 Silverlight®(실버라이트)와 같은 클라이언트 측 스크립팅 언어로 작성된다. 몇몇 실시형태에서, 웹 애플리케이션은, 어느 정도까지는, Active Server Pages(액티브 서버 페이지)(ASP), ColdFusion®(콜드 퓨전), Perl(펄), JavaTM(자바), JavaServer Pages(자바서버 페이지)(JSP), Hypertext Preprocessor(하이퍼텍스트 프리프로세서)(PHP), Python™(파이썬), Ruby(루비), Tel(텔), Smalltalk(스몰토크), WebDNA®(웹DNA), 또는 Groovy(그루비)와 같은 서버 측 코딩 언어로 작성된다. 몇몇 실시형태에서, 웹 애플리케이션은, 어느 정도까지는, 구조화 쿼리 언어(Structured Query Language; SQL)와 같은 데이터베이스 쿼리 언어로 작성된다. 몇몇 실시형태에서, 웹 애플리케이션은, IBM® Lotus Domino®(IBM 로터스 도미노)와 같은 엔터프라이즈 서버 제품을 통합한다. 몇몇 실시형태에서, 웹 애플리케이션은 매체 플레이어 엘리먼트를 포함한다. 다양한 추가 실시형태에서, 매체 플레이어 엘리먼트는, 비제한적 예로서, Adobe® Flash®(아도브 플래시), HTML 5, Apple® QuickTime®(애플 퀵타임), Microsoft® Silverlight®(마이크로소프트 실버라이트), Java™(자바), 및 Unity®(유니티)를 포함하는 많은 멀티매체 기술 중 하나 이상을 활용한다.
모바일 애플리케이션
몇몇 실시형태에서, 컴퓨터 프로그램은 모바일 디지털 프로세싱 디바이스에 제공되는 모바일 애플리케이션을 포함한다. 몇몇 실시형태에서, 모바일 애플리케이션은, 그것이 제조될 때 모바일 디지털 프로세싱 디바이스에 제공된다. 다른 실시형태에서, 모바일 애플리케이션은, 본원에서 설명되는 컴퓨터 네트워크를 통해 모바일 디지털 프로세싱 디바이스에 제공된다.
본원에서 제공되는 개시에 비추어, 모바일 애플리케이션은, 본 기술 분야에서 공지되어 있는 하드웨어, 언어, 및 개발 환경을 사용하여, 기술 분야에서 숙련된 자에게 공지되어 있는 기술에 의해 생성된다. 기술 분야에서 숙련된 자는, 모바일 애플리케이션이 여러 가지 언어로 작성된다는 것을 인식할 것이다. 적절한 프로그래밍 언어는, 비제한적인 예로서, C, C++, C #, Objective-C(오브젝티브 C), Java™(자바), Javascript(자바스크립트), Pascal(파스칼), Object Pascal(객체 파스칼), Python™(파이썬), Ruby(루비), VB.NET(비주얼 베이직 닷넷), WML, 및 CSS가 있는 또는 없는 XHTML/HTML, 또는 이들의 조합을 포함한다.
적절한 모바일 애플리케이션 개발 환경은 여러 소스로부터 이용 가능하다. 상업적으로 이용 가능한한 개발 환경은, 비제한적인 예로서, AirplaySDK(에어플레이SDK), alcheMo(알케모), Appcelerator®(앱셀러레이터), Celsius(셀시우스), Bedrock(베드락), Flash Lite(플래시 라이트), .NET Compact Framework(닷넷 컴팩트 프레임워크), Rhomobile(로모바일) 및 WorkLight Mobile Platform(워크라이트 모바일 플랫폼)을 포함한다. 비제한적인 예로서, Lazarus(라자루스), MobiFlex(모비플렉스), MoSync(모싱크) 및 Phonegap(폰갭)을 포함하는 다른 개발 환경이 비용 없이 이용 가능하다. 또한, 모바일 디바이스 제조자는, 비제한적인 예로서, iPhone(아이폰) 및 iPad(아이패드)(iOS) SDK, Android™(안드로이드) SDK, BlackBerry®(블랙베리) SDK, BREW SDK, Palm®(팜) OS SDK, Symbian(심비안) SDK, webOS(웹OS) SDK, Windows® Mobile(윈도우즈 모바일) SDK를 포함하는 소프트웨어 개발자 키트를 배포한다.
기술 분야에서 숙련된 자는, 비제한적인 예로서, Apple® App Store(애플 앱 스토어), Google® Play(구글 플레이), Chrome WebStore(크롬 웹스토어), BlackBerry® App World(블랙베리 앱 월드), App Store for Palm devices(팜 디바이스용 앱 스토어), App Catalog for webOS(웹OS용 앱 카탈로그), Windows® Marketplace for Mobile(모바일용 윈도우즈 마켓플레이스), Ovi Store for Nokia® devices(노키아 디바이스용 오비 스토어), Samsung® Apps(삼성 앱스), 및 Nintendo® DSi Shop(닌텐도 DSi 샵)을 포함하는 모바일 애플리케이션의 배포를 위한 여러 가지 상업적 포럼이 이용 가능하다는 것을 인식할 것이다.
독립형 애플리케이션
몇몇 실시형태에서, 컴퓨터 프로그램은 독립형 애플리케이션을 포함하는데, 독립형 애플리케이션은, 현존하는 프로세스에 대한 애드온이 아닌, 예를 들면, 플러그인이 아닌, 독립적인 컴퓨터 프로세스로서 실행되는 프로그램이다. 기술 분야에서 숙련된 자는, 독립형 애플리케이션이 종종 컴파일된다는 것을 인식할 것이다. 컴파일러는, 프로그래밍 언어로 작성된 소스 코드를, 어셈블리 언어 또는 머신 코드와 같은 바이너리 객체 코드로 변환하는 컴퓨터 프로그램(들)이다. 적절한 컴파일식 프로그래밍 언어는, 비제한적인 예로서, C, C++, Objective-C(객체 C), COBOL(코볼), Delphi(델파이), Eiffel(에펠), Java™(자바), Lisp(리스프), Python™(파이썬), Visual Basic(비주얼 베이직) 및 VB.NET(비주얼 베이직 닷넷), 또는 이들의 조합을 포함한다. 컴파일화는(compilation), 적어도 부분적으로, 실행 가능 프로그램을 생성하기 위해 종종 수행된다. 몇몇 실시형태에서, 컴퓨터 프로그램은 하나 이상의 실행 가능한 컴파일된 애플리케이션을 포함한다.
웹 브라우저 플러그인
몇몇 실시형태에서, 컴퓨터 프로그램은 웹 브라우저 플러그인(예를 들면, 확장, 등등)을 포함한다. 컴퓨팅에서, 플러그인은, 더 큰 소프트웨어 애플리케이션에 특정한 기능성을 추가하는 하나 이상의 소프트웨어 컴포넌트이다. 소프트웨어 애플리케이션 제조자는, 써드파티 개발자가, 애플리케이션을 확장하는 능력을 생성하는 것, 새로운 피처의 용이한 추가를 지원하는 것, 및 애플리케이션의 사이즈를 감소시키는 것을 가능하게 하는 플러그인을 지원한다. 지원되는 경우, 플러그인은 소프트웨어 애플리케이션의 기능성을 커스터마이징하는 것을 가능하게 한다. 예를 들면, 플러그인은, 비디오를 재생하기 위해, 상호 작용성을 생성하기 위해, 바이러스를 스캔하기 위해, 그리고 특정한 파일 타입을 디스플레이하기 위해, 웹 브라우저에서 일반적으로 사용된다. 기술 분야에서 숙련된 자는, Adobe® Flash® Player(아도브 플래시 플레이어), Microsoft® Silverlight®(마이크로소프트 실버라이트), 및 Apple® QuickTime®(애플 퀵타임)을 포함한 여러 가지 웹 브라우저 플러그인에 익숙할 것이다.
본원에서 제공되는 개시에 비추어, 기술 분야에서 숙련된 자는, 비제한적인 예로서, C++, Delphi(델파이), Java™(자바), PHP, Python™(파이썬) 및 VB.NET(비주얼 베이직 닷넷), 또는 이들의 조합이 포함하는 다양한 프로그래밍 언어의 플러그인의 개발을 가능하게 하는 여러 가지 플러그인 프레임워크가 이용 가능하다는 것을 인식할 것이다.
웹 브라우저(인터넷 브라우저라고도 또한 칭해짐)는, 월드 와이드 웹 상에서 정보 리소스를 검색하기 위한, 제시하기 위한, 그리고 열람하기(traversing) 위한, 네트워크 연결된 디지털 프로세싱 디바이스와의 사용을 위해 설계되는 소프트웨어 애플리케이션이다. 적절한 웹 브라우저는, 비제한적인 예로서, Microsoft® Internet Explorer®(마이크로소프트 인터넷 익스플로러), Mozilla® Firefox®(모질라 파이어폭스), Google® Chrome(구글 크롬), Apple® Safari®(애플 사파리), Opera Software® Opera®(오페라 소프트웨어 오페라), 및 KDE Konqueror(KDE 컨커러)를 포함한다. 몇몇 실시형태에서, 웹 브라우저는 모바일 웹 브라우저이다. 모바일 웹 브라우저(마이크로브라우저(mircrobrowser), 미니 브라우저(mini-browsers), 및 무선 브라우저(wireless browsers)라고도 또한 칭해짐)는, 비제한적인 예로서, 핸드헬드 컴퓨터, 태블릿 컴퓨터, 넷북 컴퓨터, 서브노트북 컴퓨터, 스마트폰, 음악 플레이어, 개인 휴대형 정보 단말(personal digital assistant; PDA), 및 핸드헬드 비디오 게임 시스템을 포함하는 모바일 디지털 프로세싱 디바이스 상에서의 사용을 위해 설계된다. 적절한 모바일 웹 브라우저는, 비제한적인 예로서, Google® Android®(구글 안드로이드) 브라우저, RIM BlackBerry® Browser(림 블랙베리 브라우저), Apple® Safari®(애플 사파리), Palm® Blazer(팜 블레이저), Palm® WebOS® Browser(팜 웹OS 브라우저), 모바일용 Mozilla® Firefox®(모질라 파이어폭스) , Microsoft® Internet Explorer® Mobile(마이크로소프트 인터넷 익스플로러 모바일), Amazon® Kindle® Basic Web(아마존 킨들 베이직 웹), Nokia® Browser(노키아 브라우저), Opera Software® Opera® Mobile(오페라 소프트웨어 오페라), 및 Sony® PSP™(소니 PSP) 브라우저를 포함한다.
소프트웨어 모듈
몇몇 실시형태에서, 본원에서 개시되는 플랫폼, 시스템, 매체, 및 방법은, 소프트웨어, 서버, 및/또는 데이터베이스 모듈, 또는 그 사용을 포함한다. 본원에서 제공되는 개시에 비추어, 소프트웨어 모듈은, 본 기술 분야에서 공지되어 있는 머신, 소프트웨어, 및 언어를 사용하여 기술 분야에서 숙련된 자에게 공지되어 있는 기술에 의해 생성된다. 본원에서 개시되는 소프트웨어 모듈은 다수의 방식으로 구현된다. 다양한 실시형태에서, 소프트웨어 모듈은, 파일, 코드의 섹션, 프로그래밍 객체, 프로그래밍 구조, 또는 이들의 조합을 포함한다. 추가적인 다양한 실시형태에서, 소프트웨어 모듈은 복수의 파일, 코드의 복수의 섹션, 복수의 프로그래밍 객체, 복수의 프로그래밍 구조, 또는 이들의 조합을 포함한다. 다양한 실시형태에서, 하나 이상의 소프트웨어 모듈은, 비제한적인 예로서, 웹 애플리케이션, 모바일 애플리케이션, 및 독립형 애플리케이션을 포함한다. 몇몇 실시형태에서, 소프트웨어 모듈은 하나의 컴퓨터 프로그램 또는 애플리케이션에서 존재한다. 다른 실시형태에서, 소프트웨어 모듈은 하나보다 더 많은 컴퓨터 프로그램 또는 애플리케이션에서 존재한다. 몇몇 실시형태에서, 소프트웨어 모듈은 하나의 머신 상에서 호스팅된다. 다른 실시형태에서, 소프트웨어 모듈은 하나보다 더 많은 머신 상에서 호스팅된다. 또 다른 실시형태에서, 소프트웨어 모듈은 클라우드 컴퓨팅 플랫폼 상에서 호스팅된다. 몇몇 실시형태에서, 소프트웨어 모듈은 하나의 위치의 하나 이상의 머신 상에서 호스팅된다. 다른 실시형태에서, 소프트웨어 모듈은 하나보다 더 많은 위치에서 하나 이상의 머신 상에서 호스팅된다.
데이터베이스
몇몇 실시형태에서, 본원에서 개시되는 플랫폼, 시스템, 매체, 및 방법은 하나 이상의 데이터베이스, 또는 그 사용을 포함한다. 본원에서 제공되는 개시에 비추어, 기술 분야의 숙련된 자는, 많은 데이터베이스가 사용자, 출판물, 트리거, AR 콘텐츠, 및 VR 콘텐츠 정보의 저장 및 검색에 적절하다는 것을 인식할 것이다. 다양한 실시형태에서, 적절한 데이터베이스는, 비제한적인 예로서, 관계형 데이터베이스, 비 관계형 데이터베이스, 객체 지향 데이터베이스, 객체 데이터베이스, 엔티티 관계 모델 데이터베이스(entity-relationship model database), 연상 데이터베이스, 및 XML 데이터베이스를 포함한다. 추가적인 비제한적 예는, SQL, PostgreSQL, MySQL, Oracle(오라클), DB2 및 Sybase(사이베이스)를 포함한다. 몇몇 실시형태에서, 데이터베이스는 인터넷 기반이다. 또 다른 실시형태에서, 데이터베이스는 웹 기반이다. 여전히 또 다른 실시형태에서, 데이터베이스는 클라우드 컴퓨팅 기반이다. 다른 실시형태에서, 데이터베이스는 하나 이상의 로컬 컴퓨터 스토리지 디바이스에 기초한다.
예
다음의 예시적인 예는, 본원에서 설명되는 소프트웨어 애플리케이션, 시스템, 및 방법의 실시형태를 대표하며, 어떤 식으로든 제한하도록 의도되는 것은 아니다.
예 1 - AR 및 VR 사용자 경험을 개시하는 트리거를 갖는 물리적 책
특정한 실시형태에서, 사용자는 "Morning Nightmare(모닝 나이트메어)"라는 제목의 어린 독자를 위한 전자책 형태의 출판물을 획득한다. 도 10 내지 도 25에서 묘사되는 바와 같이, 출판물은 기억할 만한 겨울 스쿨버스 승차의 삽화가 있는 스토리를 제시한다. 이 출판물에서 제시되는 스토리는, 두려움을 극복하고 자신감을 키우는 것에 관한 메시지를 포함하며 대처 기술 및 갈등 해결 기술을 강조한다. 스토리는 1 인칭으로 제시된다.
도 19를 참조하면, 출판물은, 사용자의 모바일 컴퓨팅 디바이스에 의해 스캐닝될 때, 본원에서 설명되는 바와 같은 애플리케이션의 다운로드 및 설치를 위한 액세스를 제공하는 QR 코드를 포함한다. 애플리케이션은, 그 분야에서 알려져 있는 앱 스토어를 통해 또한 이용 가능하다. 애플리케이션은, 일단 설치되면, 그 출력이 디바이스의 스크린 상에서 디스플레이되는, 모바일 컴퓨팅 디바이스의 카메라를 통해, 사용자가 그들의 주변을 보는 것을 허용한다.
도 26을 참조하면, 사용자는 애플리케이션을 설치하고 애플리케이션 아이콘을 활성화하여 애플리케이션을 론칭한다. 그 다음, 사용자는, 디바이스 상에서 실행 중인 애플리케이션을 사용하여, 모바일 컴퓨팅 디바이스의 디스플레이 스크린 상에서의 카메라의 출력을 통해 그들의 주변을 본다. 이와 같이, 사용자 주변의 라이브 비디오 피드가 애플리케이션에게 이용 가능하다. 계속해서 도 26을 참조하면, 전자책 인쇄 출력(또는 전자책 자체의 온스크린 표현)이 애플리케이션을 실행하는 디바이스를 통해 보여지면, 출판물의 커버는 트리거로서 식별된다. 이 경우, 커버 아트의 이미지가 데이터베이스에 업로드되고 매체 콘텐츠와 관련된다.
도 27을 참조하면, 애플리케이션은 식별된 트리거를 사용하여 데이터베이스에 질의하고 트리거와 관련되는 매체 콘텐츠를 식별한다. 이 경우에 식별되는 매체 콘텐츠는 3D의 애니메이션화된 상호 작용식 매체 엘리먼트이다. 매체 콘텐츠는, 출판물의 커버 상에 중첩되는 AR 콘텐츠로서, 디바이스의 스크린 상에서 사용자에게 제시된다. 계속해서 도 26을 참조하면, AR 콘텐츠는, 출판물의 스토리로부터의 캐릭터가, 스토리의 줄거리 및 주제와 관련되는 활동에 참여하는 것을 포함한다. 이 경우, 버스의 아이는 눈뭉치를 던지는 것에 의해 사용자에 대해 적대시하고 있다.
몇몇 경우에, 사용자는, 터치스크린, 멀티터치 스크린, 버튼, 스타일러스, 트랙볼, 또는 등등과 같은 모바일 컴퓨팅 디바이스의 입력 엘리먼트를 통해 매체 콘텐츠와 상호 작용할 수 있다. 특정한 실시형태에서, 사용자는, AR 오버레이 내의 캐릭터를 터치하는 것에 의해, 매체 콘텐츠 내의 캐릭터에게 다시 눈뭉치를 던질 수 있다.
도 28을 참조하면, 애플리케이션은, 출판물 및 그 내부의 임의의 트리거가 시야 내에 있는지를 결정하기 위해 그리고 출판물 및 식별된 트리거와 관련하여 사용자가 보고 있는 각도를 결정하기 위해, 사용자의 시야를 계속 모니터링한다. 계속해서 도 28을 참조하면, 사용자의 뷰가 출판물 및 식별된 트리거와 관련하여 회전하면, 매체 콘텐츠의 방위는 사용자의 시야와 정렬되도록 수정되고 AR 매체 콘텐츠 내의 캐릭터는 사용자와 대면하도록 몸을 돌린다.
도 31을 참조하면, 제1 향상된 상호 작용 경험의 완성은, VR 경험인 제2의 것을 트리거한다. 사용자는 그들의 모바일 디바이스를 VR 헤드셋에 배치하도록 지시받아서, 제2 향상된 상호 작용 경험을 보게 된다. 계속해서 도 31을 참조하면, 트리거가 식별되고 사용되어 제2 매체 콘텐츠를 추가로 식별한다. 이 경우, 3D 상호 작용식 장면을 묘사하는 VR 매체 콘텐츠는 스토리와 관련되며 스토리의 1 인칭 관점으로부터 제시된다.
도 32 내지 도 36은 대안적인 제2의 향상된 상호 작용 경험을 다시 나타내는데, VR 매체 콘텐츠는 스토리에 관련되는 장면을 묘사하며 스토리의 메인 캐릭터의 1 인칭 관점으로부터 제시된다. 이 경우, 눈이 내리는 장면은, 스토리에 관련되는 활동에 참여한 스토리로부터의 다수의 캐릭터를 나타내고 있다. 사용자의 뷰가 공간에서 회전하면, 매체 콘텐츠의 방위는, 3D 및 360 도 VR 장면을 제공하도록 수정된다.
특히 도 34를 참조하면, VR 매체 콘텐츠는 상호 작용적이다. VR 환경에서 사용자의 시야 중심에 표시되는 초점을 사용하는 것에 의해, 사용자는 시선 배치 및 지속 기간을 사용하여 환경 및 캐릭터와 상호 작용할 수 있다. 이 경우, 눈뭉치를 다시 집어드는 것은 스토리로부터의 캐릭터와 눈싸움을 한다.
소정의 피처 및 양태가 예시적인 실시형태와 관련하여 설명되었지만, 기술 분야에서 숙련된 자는, 수많은 수정이 가능하다는 것을 인식할 것이다. 예를 들면, 본원에서 설명되는 방법 및 프로세스는, 하드웨어 컴포넌트, 소프트웨어 컴포넌트, 및/또는 이들의 임의의 조합을 사용하여 구현될 수도 있다. 또한, 본원에서 설명되는 다양한 방법 및 프로세스가 설명의 용이함을 위해 특정한 구조적 및/또는 기능적 컴포넌트와 관련하여 설명될 수도 있지만, 다양한 실시형태에 의해 제공되는 방법은 임의의 특정한 구조적 및/또는 기능적 아키텍처로 제한되지 않으며, 대신, 임의의 적절한 하드웨어, 펌웨어 및/또는 소프트웨어 구성 상에서 구현될 수 있다. 마찬가지로, 소정의 기능성이 소정의 시스템 컴포넌트에 기인하지만, 문맥이 달리 지시하지 않는 한, 이 기능성은, 여러 가지 실시형태에 따른 다양한 다른 시스템 컴포넌트 사이에서 분산될 수 있다.
또한, 본원에서 설명되는 방법 및 프로세스의 프로시져가 설명의 용이함을 위해 특정한 순서로 설명되지만, 문맥이 달리 지시하지 않는 한, 다양한 프로시져는 다양한 실시형태에 따라 다시 순서가 매겨질 수도 있고, 추가될 수도 있고, 및/또는 생략될 수도 있다. 또한, 하나의 방법 또는 프로세스와 관련하여 설명된 프로시져는, 다른 설명된 방법 또는 프로세스 내에 통합될 수도 있다;
마찬가지로, 특정 구조적 아키텍처에 따라 및/또는 하나의 시스템과 관련하여 설명되는 시스템 컴포넌트는, 대안적인 구조적 아키텍처에서 편제될 수도 있고 및/또는 다른 설명된 시스템 내에 통합될 수도 있다. 그러므로, 다양한 실시형태가 설명의 용이함을 위해 그리고 그들 실시형태의 예시적인 양태를 예시하기 위해 소정의 피처와 함께 - 또는 소정의 피처 없이 - 설명되지만, 특정한 실시형태와 관련하여 본원에서 설명되는 다양한 컴포넌트 및/또는 피처는, 문맥이 달리 지시하지 않는 한, 다른 설명된 실시형태 사이에서 대체될 수 있고, 추가될 수 있고 및/또는 감산될 수 있다. 결과적으로, 비록 여러 가지 예시적인 실시형태가 상기에서 설명되지만, 본 발명은 하기의 청구범위의 범주 내에서 모든 수정예 및 균등물을 포괄하도록 의도된다는 것이 인식될 것이다.

Claims (34)

  1. 출판물(publication)을 향상시키는 컴퓨터로 구현되는 방법(computer-implemented method)으로서,
    복수의 컴포넌트를 갖는 출판물의 비디오 및 복수의 트리거를 포함하는, 사용자에 의해 캡처된 라이브 카메라 피드 비디오를 수신하는 단계;
    상기 라이브 카메라 피드 비디오를 분석함으로써 상기 라이브 카메라 피드 비디오에서 적어도 하나의 제1 트리거 - 상기 적어도 하나의 제1 트리거는 하나 이상의 증강 현실 디스플레이 매체를 제공하기 위해 관여(engage)됨 - 를 자동적으로 식별하는 단계;
    상기 적어도 하나의 제1 트리거와 연관되며 상기 출판물에 관한 상기 하나 이상의 증강 현실 디스플레이 매체 - 상기 하나 이상의 증강 현실 디스플레이 매체는 상기 출판물의 상기 복수의 컴포넌트 중 하나 이상을 포함함 - 를 식별하는 단계;
    제1 시각적 출력 디바이스를 통해 그리고 상기 사용자에게, 하나 이상의 증강 현실 디스플레이 매체를 제시하는(presenting) 단계;
    상기 하나 이상의 증강 현실 디스플레이 매체에서, 상호작용의 지속기간 및 방향을 포함하는 적어도 하나의 디지털 제2 트리거 - 상기 적어도 하나의 디지털 제2 트리거는, 사용자의 시야(field of view) 내에 있는 상기 하나 이상의 증강 현실 디스플레이의 일부에서 상기 출판물의 상기 복수의 컴포넌트와 함께 사용자 상호작용에 의해 관여되고, 상기 디지털 제2 트리거의 관여는 상기 출판물에 관한 하나 이상의 가상 현실 환경의 식별을 야기함 - 를 식별하는 단계; 및
    하나 이상의 증강 현실 디스플레이 매체의 제시를 종료하고, 상기 사용자가 상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경 사이의 전환을 인식하지 못하도록, 상기 제1 시각적 출력 디바이스 또는 제2 시각적 출력 디바이스를 통해, 상기 하나 이상의 가상 현실 환경을 상기 사용자에게 원활하게(seamlessly) 제시하는 단계
    를 포함하는, 출판물을 향상시키는 컴퓨터로 구현되는 방법.
  2. 제1항에 있어서, 상기 출판물은 인쇄된 출판물인 것인, 방법.
  3. 제1항에 있어서, 상기 출판물은 전자책(e-book)인 것인, 방법.
  4. 제1항에 있어서, 상기 출판물은, 픽션 소설(fiction novel), 논픽션 소설(non-fiction novel), 아동 책(children's book), 신문, 잡지(magazine), 만화 책(comic book), 연재 만화(comic strip), 그래픽 소설, 백과사전, 사전, 지도, 달력, 인사장(greeting card), 북마크, 이벤트 티켓 스터브(event ticket stub), 및 포스터로 구성되는 그룹으로부터 선택되는 하나 이상을 포함하는 것인, 방법.
  5. 제1항에 있어서, 상기 적어도 하나의 제1 트리거는 상기 출판물과 연관된 텍스트, 이미지, QR 코드, 또는 바코드를 포함하는 것인, 방법.
  6. 제1항에 있어서, 상기 적어도 하나의 제1 트리거는 상기 출판물과 연관된 삼차원 객체를 포함하는 것인, 방법.
  7. 제1항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 360도 비디오(360-degree video)를 포함하는 것인, 방법.
  8. 제1항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 증강 현실 디스플레이를 포함하는 것인, 방법.
  9. 제1항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 멀티미디어 게임을 포함하는 것인, 방법.
  10. 제1항에 있어서, 상기 제1 시각적 출력 디바이스는 카메라 및 디스플레이 스크린을 포함하는 모바일 디바이스인 것인, 방법.
  11. 제1항에 있어서, 상기 적어도 하나의 디지털 제2 트리거는 상호작용의 지속기간을 포함하는 것인, 방법.
  12. 제1항에 있어서, 상기 제2 시각적 출력 디바이스는 가상 현실 헤드셋인 것인, 방법.
  13. 제1항에 있어서,
    a) 상기 사용자의 시야 - 상기 시야는 상기 출판물의 적어도 일부를 포함함 - 를 결정하는 단계;
    b) 상기 하나 이상의 증강 현실 디스플레이 매체의 방위(orientation)를 상기 사용자의 시야와 정렬되도록 수정하는(modifying) 단계; 및
    c) 상기 제1 시각적 출력 디바이스 또는 상기 제2 시각적 출력 디바이스로 그리고 상기 사용자에게, 상기 하나 이상의 증강 현실 디스플레이 매체가 상기 출판물의 적어도 일부와 관련하여 가상 오버레이(virtual overlay)로서 제시되도록, 상기 사용자의 시야와 정렬되도록 상기 방위가 수정된 상기 하나 이상의 증강 현실 디스플레이 매체를 제시하는 단계
    를 더 포함하는, 방법.
  14. 제1항에 있어서, 상기 라이브 카메라 피드 비디오는 복수의 트리거들을 포함하는 것인, 방법.
  15. 제14항에 있어서, 상기 복수의 트리거들과 연관된 상기 하나 이상의 증강 현실 디스플레이 매체를 식별하는 것은, 상기 복수의 트리거들의 미리 결정된 조합과 연관된 하나 이상의 매체를 식별하는 것을 포함하는 것인, 방법.
  16. 제1항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 상기 적어도 하나의 디지털 제2 트리거를 포함하는 복수의 제2 트리거들을 포함하는 것인, 방법.
  17. 제16항에 있어서, 상기 복수의 제2 트리거들과 연관된 상기 하나 이상의 가상 현실 환경을 식별하는 것은, 상기 복수의 제2 트리거들의 미리 결정된 조합과 연관된 하나 이상의 가상 현실 환경을 식별하는 것을 포함하는 것인, 방법.
  18. 제1항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경은, 상기 출판물에 관련된 텍스트, 하나 이상의 그래픽, 하나 이상의 캐릭터, 스토리 라인(story line), 테마, 하나 이상의 상호작용, 음악, 하나 이상의 음향 효과(sound effect), 또는 구어 오디오(spoken word audio)를 포함하는 방식으로 상기 출판물에 관련되는 것인, 방법.
  19. 제1항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 360도 디스플레이이고, 상기 하나 이상의 가상 현실 환경은 360도 장면인 것인, 방법.
  20. 제1항에 있어서,
    상기 사용자의 시야각에 기초하여, 상기 하나 이상의 증강 현실 디스플레이 매체 내의 상기 출판물의 상기 복수의 컴포넌트의 방위를 조정하는 단계를 더 포함하고,
    상기 하나 이상의 증강 현실 디스플레이 매체는 애니메이션화되고, 상기 하나 이상의 증강 현실 디스플레이 매체 내의 상기 출판물의 상기 복수의 컴포넌트는 애니메이션화된 것인, 방법.
  21. 제1항에 있어서,
    상기 적어도 하나의 디지털 제2 트리거는 상기 제1 시각적 출력 디바이스의 지오로케이션(geolocation) 기능성을 포함하고,
    상기 하나 이상의 가상 현실 환경의 제시는, 상기 제1 시각적 출력 디바이스의 지오로케이션에 대응하는 지리적 위치(geographical location)에 대해 재단되는 것인, 방법.
  22. 제1항에 있어서,
    상기 제1 시각적 출력 디바이스에 포함된 센서에 의해, 사용자의 제스처를 검출하는 단계;
    상기 하나 이상의 증강 현실 디스플레이 매체가 상기 사용자에게 어떻게 제시되어야 하는지에 대한 표시를 결정하기 위해 상기 제스처를 분석하는 단계; 및
    상기 표시에 기초하여 상기 하나 이상의 증강 현실 디스플레이 매체의 제시를 수정하는 단계
    를 더 포함하는, 방법.
  23. 제1항에 있어서,
    상기 제1 시각적 출력 디바이스에 포함된 센서에 의해, 사용자로부터 수신된 음성 입력을 검출하는 단계;
    상기 하나 이상의 증강 현실 디스플레이 매체가 상기 사용자에게 어떻게 제시되어야 하는지에 대한 표시를 결정하기 위해 상기 음성 입력을 분석하는 단계; 및
    상기 표시에 기초하여 상기 하나 이상의 증강 현실 디스플레이 매체의 제시를 수정하는 단계
    를 더 포함하는, 방법.
  24. 컴퓨터로 구현되는 시스템으로서, 디지털 프로세싱 디바이스를 포함하고, 상기 디지털 프로세싱 디바이스는, 적어도 하나의 프로세서, 메모리, 디스플레이, 카메라, 실행가능한 명령어들을 수행하도록 구성된 운영 체제, 및 출판물을 향상시키기 위한 애플리케이션을 생성하기 위한 상기 디지털 프로세싱 디바이스에 의해 실행가능한 명령어들을 포함하는 컴퓨터 프로그램을 포함하고, 상기 애플리케이션은,
    a) 상기 카메라를 통해 사용자에 의해 캡처된 라이브 카메라 피드 비디오 - 상기 라이브 카메라 피드 비디오는 복수의 트리거들 및 출판물의 비디오를 포함하고, 상기 출판물은 복수의 컴포넌트를 포함함 - 를 수신하는 제1 소프트웨어 모듈;
    b) 상기 라이브 카메라 피드 비디오를 분석함으로써 상기 라이브 카메라 피드 비디오에서 적어도 하나의 제1 트리거 - 상기 적어도 하나의 제1 트리거는 하나 이상의 증강 현실 디스플레이 매체를 제공하기 위해 관여됨 - 를 자동적으로 식별하고, 상기 적어도 하나의 제1 트리거와 연관되며 상기 출판물에 관한 하나 이상의 증강 현실 디스플레이 매체를 식별하며, 상기 디스플레이를 통해 그리고 상기 사용자에게, 상기 하나 이상의 증강 현실 디스플레이 매체 - 상기 하나 이상의 증강 현실 디스플레이 매체는 상기 출판물의 상기 복수의 컴포넌트 중 하나 이상을 포함함 - 를 제시하는 제2 소프트웨어 모듈; 및
    c) 상기 하나 이상의 증강 현실 디스플레이 매체에서 상호작용의 지속기간 및 방향을 포함하는 적어도 하나의 디지털 제2 트리거 - 상기 적어도 하나의 디지털 제2 트리거는 사용자의 시야 내에 있는 상기 하나 이상의 증강 현실 디스플레이 매체의 일부에서 상기 출판물의 상기 복수의 컴포넌트와 함께 사용자 상호작용에 의해 관여되고, 상기 디지털 제2 트리거의 관여는 상기 출판물에 관한 하나 이상의 가상 현실 환경의 식별을 야기함 - 를 식별하고, 하나 이상의 증강 현실 디스플레이 매체의 제시를 종료하며, 상기 사용자가 상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경 사이의 전환을 인식하지 못하도록, 제1 시각적 출력 디바이스 또는 제2 시각적 출력 디바이스를 통해, 상기 하나 이상의 가상 현실 환경을 상기 사용자에게 원활하게 제시하는 제3 소프트웨어 모듈
    을 포함하는 것인, 컴퓨터로 구현되는 시스템.
  25. 제24항에 있어서, 상기 애플리케이션은, 상기 사용자의 시야 - 상기 시야는 상기 출판물의 적어도 일부를 포함함 - 를 결정하고, 상기 하나 이상의 증강 현실 디스플레이 매체의 방위를 상기 사용자의 시야와 정렬되도록 수정하고, 상기 디스플레이를 통해 그리고 상기 사용자에게, 상기 하나 이상의 증강 현실 디스플레이 매체가 상기 출판물의 적어도 일부와 관련하여 가상 오버레이로서 제시되도록, 상기 사용자의 시야와 정렬되도록 방위가 수정된 상기 하나 이상의 증강 현실 디스플레이 매체를 제시하는 제4 소프트웨어 모듈을 더 포함하는 것인, 컴퓨터로 구현되는 시스템.
  26. 제24항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경은, 상기 출판물에 관련된 텍스트, 하나 이상의 그래픽, 하나 이상의 캐릭터, 스토리 라인, 테마, 하나 이상의 상호작용, 음악, 하나 이상의 음향 효과, 또는 구어 오디오를 포함하는 방식으로 상기 출판물에 관련되는 것인, 컴퓨터로 구현되는 시스템.
  27. 제24항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 360도 디스플레이이고, 상기 하나 이상의 가상 현실 환경은 360도 장면인 것인, 컴퓨터로 구현되는 시스템.
  28. 제24항에 있어서,
    상기 제2 소프트웨어 모듈은 또한, 상기 사용자의 시야각에 기초하여, 상기 하나 이상의 증강 현실 디스플레이 매체 내의 상기 출판물의 상기 복수의 컴포넌트의 방위를 조정하고,
    상기 하나 이상의 증강 현실 디스플레이 매체는 애니메이션화되고, 상기 하나 이상의 증강 현실 디스플레이 매체 내의 상기 출판물의 상기 복수의 컴포넌트는 애니메이션화된 것인, 컴퓨터로 구현되는 시스템.
  29. 출판물을 향상시키기 위한 애플리케이션을 생성하기 위한, 프로세서에 의해 실행가능한 명령어들을 포함하는 컴퓨터 프로그램으로 인코딩된 비일시적 컴퓨터 판독가능 저장 매체(non-transitory computer-readable storage medium)로서, 상기 애플리케이션은,
    a) 카메라를 통해 사용자에 의해 캡처된 라이브 카메라 피드 비디오 - 상기 라이브 카메라 피드 비디오는 복수의 컴포넌트를 포함하는 출판물의 비디오 및 복수의 트리거들을 포함함 - 를 수신하는 제1 소프트웨어 모듈;
    b) 상기 라이브 카메라 피드 비디오를 분석함으로써 상기 라이브 카메라 피드 비디오에서 적어도 하나의 제1 트리거 - 상기 적어도 하나의 제1 트리거는 하나 이상의 증강 현실 디스플레이 매체를 제공하기 위해 관여됨 - 를 자동적으로 식별하고, 상기 적어도 하나의 제1 트리거와 연관되며 상기 출판물에 관한 하나 이상의 증강 현실 디스플레이 매체를 식별하며, 상기 디스플레이를 통해 그리고 상기 사용자에게, 상기 하나 이상의 증강 현실 디스플레이 매체 - 상기 하나 이상의 증강 현실 디스플레이 매체는 상기 출판물의 상기 복수의 컴포넌트 중 하나 이상을 포함함 - 를 제시하는 제2 소프트웨어 모듈; 및
    c) 상기 하나 이상의 증강 현실 디스플레이 매체에서 상호작용의 지속기간 및 방향을 포함하는 적어도 하나의 디지털 제2 트리거 - 상기 적어도 하나의 디지털 제2 트리거는 사용자의 시야 내에 있는 상기 하나 이상의 증강 현실 디스플레이 매체의 일부에서 상기 출판물의 상기 복수의 컴포넌트와 함께 사용자 상호작용에 의해 관여되고, 상기 디지털 제2 트리거의 관여는 상기 출판물에 관한 하나 이상의 가상 현실 환경의 식별을 야기함 - 를 식별하고, 하나 이상의 증강 현실 디스플레이 매체의 제시를 종료하며, 상기 사용자가 상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경 사이의 전환을 인식하지 못하도록, 제1 시각적 출력 디바이스 또는 제2 시각적 출력 디바이스를 통해, 상기 하나 이상의 가상 현실 환경을 상기 사용자에게 원활하게 제시하는 제3 소프트웨어 모듈
    을 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 제29항에 있어서, 상기 애플리케이션은, 상기 사용자의 시야 - 상기 시야는 상기 출판물의 적어도 일부를 포함함 - 를 결정하고, 상기 하나 이상의 증강 현실 디스플레이 매체의 방위를 상기 사용자의 시야와 정렬되도록 수정하고, 디스플레이를 통해 그리고 상기 사용자에게, 상기 하나 이상의 증강 현실 디스플레이 매체가 상기 출판물의 적어도 일부와 관련하여 가상 오버레이로서 제시되도록, 상기 사용자의 시야와 정렬되도록 방위가 수정된 상기 하나 이상의 증강 현실 디스플레이 매체를 제시하는 제4 소프트웨어 모듈을 더 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  31. 제29항에 있어서,
    상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경은, 상기 출판물에 관련된 텍스트, 하나 이상의 그래픽, 하나 이상의 캐릭터, 스토리 라인, 테마, 하나 이상의 상호작용, 음악, 하나 이상의 음향 효과, 또는 구어 오디오를 포함하는 방식으로 상기 출판물에 관련되는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  32. 제29항에 있어서, 상기 하나 이상의 증강 현실 디스플레이 매체는 360도 디스플레이이고, 상기 하나 이상의 가상 현실 환경은 360도 장면인 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  33. 제29항에 있어서,
    상기 제2 소프트웨어 모듈은 또한, 상기 사용자의 시야각에 기초하여, 상기 하나 이상의 증강 현실 디스플레이 매체 내의 상기 출판물의 상기 복수의 컴포넌트의 방위를 조정하고,
    상기 하나 이상의 증강 현실 디스플레이 매체는 애니메이션화되고, 상기 하나 이상의 증강 현실 디스플레이 매체 내의 상기 출판물의 상기 복수의 컴포넌트는 애니메이션화된 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  34. 출판물을 향상시키는 컴퓨터로 구현되는 방법으로서,
    a) 복수의 컴포넌트를 갖는 출판물의 비디오 및 복수의 트리거를 포함하는, 사용자에 의해 캡처된 라이브 카메라 피드 비디오를 수신하는 단계;
    b) 상기 라이브 카메라 피드 비디오를 분석함으로써 상기 라이브 카메라 피드 비디오에서 적어도 하나의 제1 트리거 - 상기 적어도 하나의 제1 트리거는 하나 이상의 증강 현실 디스플레이 매체를 제공하기 위해 관여됨 - 를 자동적으로 식별하는 단계;
    c) 상기 적어도 하나의 제1 트리거와 연관되며 상기 출판물에 관한 상기 하나 이상의 증강 현실 디스플레이 매체 - 상기 하나 이상의 증강 현실 디스플레이 매체는 상기 출판물의 상기 복수의 컴포넌트 중 하나 이상을 포함함 - 를 식별하는 단계;
    d) 제1 시각적 출력 디바이스를 통해 그리고 상기 사용자에게, 하나 이상의 증강 현실 디스플레이 매체를 제시하는 단계;
    e) 상기 하나 이상의 증강 현실 디스플레이 매체에서, 상호작용의 지속기간 및 방향을 포함하는 적어도 하나의 디지털 제2 트리거 - 상기 적어도 하나의 디지털 제2 트리거는, 사용자의 시야 내에 있는 상기 하나 이상의 증강 현실 디스플레이의 일부에서 상기 출판물의 상기 복수의 컴포넌트와 함께 사용자 상호작용에 의해 관여되고, 상기 디지털 제2 트리거의 관여는 상기 출판물에 관한 하나 이상의 가상 현실 환경의 식별을 야기함 - 를 식별하는 단계;
    f) 상기 적어도 하나의 디지털 제2 트리거가 상기 사용자의 시야 내에 있는지를 결정하기 위해, 그리고 상기 적어도 하나의 디지털 제2 트리거에 대한 상기 사용자의 시야각을 결정하기 위해 상기 사용자의 시야를 연속적으로 모니터링하는 단계; 및
    g) 하나 이상의 증강 현실 디스플레이 매체의 제시를 종료하고, 상기 사용자가 상기 하나 이상의 증강 현실 디스플레이 매체 및 상기 하나 이상의 가상 현실 환경 사이의 전환을 인식하지 못하도록, 상기 제1 시각적 출력 디바이스 또는 제2 시각적 출력 디바이스를 통해, 상기 하나 이상의 가상 현실 환경을 상기 사용자에게 원활하게 제시하는 단계
    를 포함하는, 출판물을 향상시키는 컴퓨터로 구현되는 방법.
KR1020197000071A 2016-06-03 2017-06-02 사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법 KR102339332B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662345320P 2016-06-03 2016-06-03
US62/345,320 2016-06-03
US15/445,806 2017-02-28
US15/445,806 US10748339B2 (en) 2016-06-03 2017-02-28 System and method for implementing computer-simulated reality interactions between users and publications
PCT/US2017/035620 WO2017210522A1 (en) 2016-06-03 2017-06-02 System and method for implementing computer-simulated reality interactions between users and publications

Publications (2)

Publication Number Publication Date
KR20190033511A KR20190033511A (ko) 2019-03-29
KR102339332B1 true KR102339332B1 (ko) 2021-12-13

Family

ID=60477985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000071A KR102339332B1 (ko) 2016-06-03 2017-06-02 사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (7) US10748339B2 (ko)
JP (1) JP7021201B2 (ko)
KR (1) KR102339332B1 (ko)
CN (1) CN109690632B (ko)
AU (1) AU2017274518B2 (ko)
CA (1) CA3026337A1 (ko)
WO (1) WO2017210522A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572990B1 (ko) 2022-10-18 2023-08-31 소라피리협동조합 에듀테인먼트 콘텐츠 제공 플랫폼 시스템

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919507B (zh) 2012-06-14 2018-06-26 百利游戏技术有限公司 用于增强现实游戏的系统和方法
US10120437B2 (en) * 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
WO2018194569A1 (en) * 2017-04-18 2018-10-25 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
US10565452B2 (en) * 2017-10-06 2020-02-18 Steve Rad Virtual reality system and kit
US10430658B2 (en) * 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
WO2019071209A1 (en) * 2017-10-06 2019-04-11 Rad Steve SYSTEM AND KIT OF INCREASED REALITY
JP2021508122A (ja) * 2017-12-19 2021-02-25 ロバート チュア プロダクション ハウス カンパニー リミテッドRobert Chua Production House Co.Ltd. インタラクティブな印刷出版物
US10846205B2 (en) * 2017-12-21 2020-11-24 Google Llc Enhancements to support testing of augmented reality (AR) applications
US10580215B2 (en) 2018-03-29 2020-03-03 Rovi Guides, Inc. Systems and methods for displaying supplemental content for print media using augmented reality
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
WO2019235849A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US10812486B2 (en) 2018-12-05 2020-10-20 Bank Of America Corporation Utilizing smart data tags to track and control secure enterprise data
WO2020181086A1 (en) * 2019-03-06 2020-09-10 Rad Steve Augmented and virtual reality system and kit
US11770569B2 (en) * 2019-04-05 2023-09-26 Q'ligent Corporation Providing risk based subscriber enhancements
US10949671B2 (en) * 2019-08-03 2021-03-16 VIRNECT inc. Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
CN110458928A (zh) * 2019-08-12 2019-11-15 苏州悠优互娱文化传媒有限公司 基于unity3d的AR动画生成方法、装置、介质
CN110874596B (zh) * 2019-11-06 2023-02-28 中国石油大学(北京) 一种仪表智能识别预警方法及系统
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
CN112288840B (zh) * 2020-10-26 2021-08-24 北京优锘科技有限公司 一种三维渲染引擎结合JavaScript脚本引擎实现运行的方法
US11558472B2 (en) * 2021-03-01 2023-01-17 Daniel Goddard Augmented reality positioning and matching system
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
WO2023129380A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Enhanced reading with ar glasses
EP4224289A1 (en) * 2022-02-08 2023-08-09 Nokia Technologies Oy Mediated reality
WO2023205393A1 (en) * 2022-04-22 2023-10-26 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307856A1 (en) * 2012-05-16 2013-11-21 Brian E. Keane Synchronizing virtual actor's performances to a speaker's voice

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1582458A (en) 1925-01-08 1926-04-27 Frank D Fortney Book
US2197152A (en) 1936-06-08 1940-04-16 F N Burt Company Inc Box
US2918997A (en) 1958-02-11 1959-12-29 Henry L Kotkins Luggage construction
JPS57924B2 (ko) 1974-05-30 1982-01-08
USD268098S (en) 1979-04-24 1983-03-01 Garrod & Lofthouse Limited Container for a cassette box or the like
USD271161S (en) 1981-02-27 1983-11-01 Compton Edward M Video cassette book cover storage receptacle package
JPS5891927U (ja) 1981-12-16 1983-06-22 池田物産株式会社 カバン
USD294124S (en) 1985-05-23 1988-02-09 Ex-Cell Home Fashions, Inc. Display box
JPS63197524U (ko) 1987-06-08 1988-12-20
JPH04207868A (ja) 1990-11-30 1992-07-29 Sony Corp 電子機器のバッテリー
USD354520S (en) 1992-06-11 1995-01-17 Paper House Limited Display stand
US5248037A (en) 1992-08-03 1993-09-28 Largely Literary Designs, Inc. Display box simulating a book
USD369829S (en) 1994-08-31 1996-05-14 Tomy Company, Ltd. Picture-displaying binder case
USD472420S1 (en) 1996-02-22 2003-04-01 Nexpak Corporation Video cassette storage container
USD385781S (en) 1996-10-02 1997-11-04 DML Associates, Inc. Display box for a doll and book
US20030059758A1 (en) * 2000-02-23 2003-03-27 Brett Cohen Enhanced reading system and method
JP2003044387A (ja) 2001-05-18 2003-02-14 Sharp Corp データサーバ装置、データ配信プログラム、データ配信プログラムを記録したコンピュータ読み取り可能な記録媒体およびクライアント装置
US7269632B2 (en) * 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
JP3086669U (ja) 2001-12-13 2002-06-28 株式会社アカマツ バッグ
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP3093914U (ja) 2002-11-07 2003-05-23 百合子 小池 持ち手交換式かばん
US8028233B1 (en) * 2003-05-02 2011-09-27 Yahoo! Inc. Interactive graphical interface including a streaming media component and method and system of producing the same
USD495746S1 (en) 2003-09-26 2004-09-07 Officemate International Corporation Clipboard storage box
US20160267720A1 (en) 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20050242771A1 (en) 2004-04-30 2005-11-03 Blum Ronald D Method and apparatus for recharging eyeglasses
US20060113203A1 (en) 2004-11-30 2006-06-01 Charles Daley Computer bag
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
CN2909320Y (zh) 2006-05-15 2007-06-06 普立尔科技股份有限公司 相机皮套
US20070201201A1 (en) 2006-07-12 2007-08-30 Daley Charles A Iii Bag computer
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US7973786B2 (en) 2007-01-16 2011-07-05 Motorola Solutions, Inc. System and method for managing interaction in a virtual environment
USD566395S1 (en) 2007-05-07 2008-04-15 Target Brands, Inc. Container
US20090009938A1 (en) 2007-07-05 2009-01-08 Daley Iii Charles A Bag computer, front mount, top/bottom holder
US20090026749A1 (en) 2007-07-27 2009-01-29 Sandvik Innovations, Llc Interactive book having electronic circuits triggered by levels of illumination
USD624816S1 (en) 2008-04-02 2010-10-05 Philip Morris Usa Inc. Packaging container
WO2009133531A2 (en) * 2008-05-01 2009-11-05 Animation Lab Ltd. Device, system and method of interactive game
US7900757B2 (en) 2008-05-28 2011-03-08 Aviva Warter Sisitsky Carrying bag having a detachable bottom portion
USD654113S1 (en) 2008-08-27 2012-02-14 Americhip, Inc. Multi-spread video book
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US8457387B2 (en) * 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
JP2011077960A (ja) 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
US20110181497A1 (en) * 2010-01-26 2011-07-28 Roni Raviv Object related augmented reality play system
USD642743S1 (en) 2010-04-14 2011-08-02 Zena Shteysel Cosmetic holder
US8657138B2 (en) 2010-06-24 2014-02-25 Sussex Im, Inc. Container having a pre-curved lid
CA2799796A1 (en) 2010-06-29 2012-01-12 Targus Group International, Inc. Carrying cases having adjustable compartments for use with portable electronic devices and related methods
JP3164825U (ja) 2010-10-06 2010-12-16 株式会社エニックス 眼鏡ケース付きの物入れバッグ
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
US9536251B2 (en) 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9101197B2 (en) 2011-12-23 2015-08-11 Tedolph Consolidated Industries Convertible camera kit bag
USD688420S1 (en) 2012-01-09 2013-08-20 Chao Ling Chemical Industry Co., Ltd. Cosmetic case
US9041739B2 (en) 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
JP6208151B2 (ja) 2012-02-06 2017-10-04 ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド 拡張現実のためのブックオブジェクト
US9928651B2 (en) * 2012-02-21 2018-03-27 Mahesh Babu Mariappan Overlaid virtual playground and overlaid virtual information delivery platform for restaurants, catering businesses and other businesses using menu cards, pizza boxes, salt and pepper shakers, and other objects
US10672018B2 (en) 2012-03-07 2020-06-02 Visa International Service Association Systems and methods to process offers via mobile devices
GB2500416B8 (en) 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
US8818464B2 (en) 2012-03-21 2014-08-26 Google Inc. Device case with added functionality
GB2501921B (en) 2012-05-11 2017-05-03 Sony Computer Entertainment Europe Ltd Augmented reality system
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
WO2013192113A1 (en) 2012-06-18 2013-12-27 Brian Mark Shuster Transfer of virtual objects between applications
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
EP2875491A4 (en) * 2012-07-19 2016-06-15 Gaurav Vats USER-CONTROLLED 3D SIMULATION PROVIDING REALISTIC AND ENHANCED VISUALIZATION AND INTERACTION EXPERIENCE WITH DIGITAL OBJECT
USD691653S1 (en) 2012-09-06 2013-10-15 Rodrigo Benadon Book
US20140078174A1 (en) 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
JP2016502694A (ja) * 2012-10-04 2016-01-28 ディズニー エンタープライゼス インコーポレイテッド 没入型環境用のインタラクティブ型オブジェクト
AU2013358877B2 (en) 2012-12-14 2017-08-17 Andrew HAMRA Latch and carry detachable messenger bag and shoulder strap assembly for personal electronic devices
JP2014127987A (ja) 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
KR102056175B1 (ko) 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
US9415621B2 (en) 2013-02-19 2016-08-16 Little Magic Books, Llc Interactive book with integrated electronic device
US9628783B2 (en) * 2013-03-15 2017-04-18 University Of Southern California Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display
USD692949S1 (en) 2013-03-15 2013-11-05 Ellis N. Shamoon Clipboard storage container
KR20140119291A (ko) * 2013-03-28 2014-10-10 최명진 미러월드 마케팅 플랫폼 기반 증강현실 장바구니 시스템
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20140367004A1 (en) 2013-06-17 2014-12-18 Emiko Miki Cell Phone Carrying Case
KR101536115B1 (ko) * 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
EP3042340A4 (en) 2013-09-02 2017-04-26 Suresh T. Thankavel Ar-book
USD701865S1 (en) 2013-09-03 2014-04-01 Scanavo Manufacturing HK Ltd. Storage case
US9652895B2 (en) 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation
WO2015138266A1 (en) 2014-03-10 2015-09-17 Ion Virtual Technology Corporation Modular and convertible virtual reality headset system
USD741193S1 (en) 2014-08-20 2015-10-20 Suit Supply B.V. Package for garments
KR102230076B1 (ko) 2014-09-01 2021-03-19 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US20160203645A1 (en) 2015-01-09 2016-07-14 Marjorie Knepp System and method for delivering augmented reality to printed books
USD780844S1 (en) 2015-02-09 2017-03-07 Westside Solutions Sàrl Book with multimedia screen
US9646400B2 (en) * 2015-02-12 2017-05-09 At&T Intellectual Property I, L.P. Virtual doorbell augmentations for communications between augmented reality and virtual reality environments
TWI540522B (zh) * 2015-02-26 2016-07-01 宅妝股份有限公司 採用虛擬實境與擴增實境技術的虛擬購物系統與方法
CN204617351U (zh) 2015-04-13 2015-09-09 内蒙古科技大学 一种适用于笔记本电脑的多功能电脑箱
US20160378296A1 (en) 2015-06-25 2016-12-29 Ashok Mishra Augmented Reality Electronic Book Mechanism
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
USD803315S1 (en) 2016-12-13 2017-11-21 Ipevo Corp. Book page holder
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
USD820080S1 (en) 2017-04-25 2018-06-12 Kinesio Ip Llc Box
USD882392S1 (en) 2017-11-13 2020-04-28 A Big Chunk Of Mud Llc Virtual reality enhanced book and packaging
USD850006S1 (en) 2017-11-27 2019-05-28 Mary Kay Inc. Cosmetic compact
US11420493B2 (en) 2019-10-25 2022-08-23 Caterpillar Inc. Space frame front lower suspension connection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307856A1 (en) * 2012-05-16 2013-11-21 Brian E. Keane Synchronizing virtual actor's performances to a speaker's voice

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문: COMPUTER SCIENCE*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572990B1 (ko) 2022-10-18 2023-08-31 소라피리협동조합 에듀테인먼트 콘텐츠 제공 플랫폼 시스템

Also Published As

Publication number Publication date
JP7021201B2 (ja) 2022-02-16
US20210264676A1 (en) 2021-08-26
US11004268B2 (en) 2021-05-11
US11017607B2 (en) 2021-05-25
US20200334914A1 (en) 2020-10-22
US11481986B2 (en) 2022-10-25
US20180336735A1 (en) 2018-11-22
US20210233322A1 (en) 2021-07-29
US20170352187A1 (en) 2017-12-07
US20230260225A1 (en) 2023-08-17
US20210272374A1 (en) 2021-09-02
KR20190033511A (ko) 2019-03-29
US10748339B2 (en) 2020-08-18
US11481984B2 (en) 2022-10-25
AU2017274518A1 (en) 2019-01-24
CA3026337A1 (en) 2017-12-07
WO2017210522A1 (en) 2017-12-07
AU2017274518B2 (en) 2021-12-09
JP2019521460A (ja) 2019-07-25
CN109690632B (zh) 2023-10-27
US11663787B2 (en) 2023-05-30
CN109690632A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
KR102339332B1 (ko) 사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법
AU2017101911A4 (en) A system, device, or method for collaborative augmented reality
Atkinson Beyond the screen: Emerging cinema and engaging audiences
Snickars et al. Moving data: The iPhone and the future of media
CN104918670B (zh) 用于故事阅读的基于位置的增强
WO2023049053A1 (en) Content linking for artificial reality environments
Jackson The glitch aesthetic
Mack et al. Unreal Engine 4 virtual reality projects: build immersive, real-world VR applications using UE4, C++, and unreal blueprints
US20230057073A1 (en) Augmented Reality Platform for Fan Engagement
Arendttorp et al. Grab it, while you can: a VR gesture evaluation of a co-designed traditional narrative by indigenous people
Fabola et al. A virtual museum installation for time travel
US20230086248A1 (en) Visual navigation elements for artificial reality environments
Vroegop Microsoft HoloLens Developer's Guide
Seligmann Creating a mobile VR interactive tour guide
US20240013488A1 (en) Groups and Social In Artificial Reality
Vieira Creation of dynamic virtual tours in multimedia spaces
Tomlinson et al. Richly connected systems and multi-device worlds
Cheng The role of immersive media in engaging Singapore's history & cultural heritage: Singapore history gallery and digiMuse as a case study (2006-2018)
Ooi Mobile augmented reality for smart pet
Areschoug et al. The Gothenburg riots in virtual reality
CN117678020A (zh) 重新体验所记录瞬间
Mehta et al. Second mind: a system for authoring behaviors in virtual worlds
Dooley Screenwriting for Virtual Reality: Story, Space and Experience
Howse Illusion SDK: An Augmented Reality Engine for Flash 11

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant