KR102223339B1 - 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템 - Google Patents

증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템 Download PDF

Info

Publication number
KR102223339B1
KR102223339B1 KR1020140140772A KR20140140772A KR102223339B1 KR 102223339 B1 KR102223339 B1 KR 102223339B1 KR 1020140140772 A KR1020140140772 A KR 1020140140772A KR 20140140772 A KR20140140772 A KR 20140140772A KR 102223339 B1 KR102223339 B1 KR 102223339B1
Authority
KR
South Korea
Prior art keywords
video image
augmented reality
image
focused
video
Prior art date
Application number
KR1020140140772A
Other languages
English (en)
Other versions
KR20160045994A (ko
Inventor
김이길
권순종
백규태
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020140140772A priority Critical patent/KR102223339B1/ko
Publication of KR20160045994A publication Critical patent/KR20160045994A/ko
Application granted granted Critical
Publication of KR102223339B1 publication Critical patent/KR102223339B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 비디오 게임을 제공하는 방법은 하나 이상의 컴퓨터 그래픽을 생성하는 단계, 기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하는 단계, 상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 단계, 상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하는 단계 및 상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 단계를 포함한다.

Description

증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템{METHOD FOR PROVIDING AUGMENTED REALITY-VIDEO GAME, DEVICE AND SYSTEM}
본 발명은 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템에 관한 것이다.
증강 현실은 현실 세계에 문자나 그래픽 같은 가상의 물체를 중첩하여 한 영상으로 보여주는 기술이다. 증강현실 기술은 2000년대 중반까지는 연구 개발과 시험 적용 단계에 있었으나 최근 기술 환경이 갖추어지면서 실용화 단계에 진입하였다. 특히, 최근 스마트폰의 등장 및 인터넷 기술이 발달함에 따라 증강 현실 기술이 주목받기 시작하였다.
증강 현실을 구현하는 가장 일반적인 방법은, 스마트폰의 카메라를 이용하여 현실의 세계를 찍고 그 위에 기생성된 컴퓨터 그래픽을 오버레이하여 출력함으로써, 사용자로 하여금 가상과 현실이 혼재하는 것처럼 느끼게 하는 방법이다. 이러한 방법은 사용자가 현실의 영상을 스마트폰의 카메라를 이용하여 쉽게 획득할 수 있고 컴퓨터 그래픽도 스마트폰의 컴퓨팅 기능을 통해 쉽게 구현이 가능하기 때문에 대부분의 증강 현실 어플리케이션이 스마트폰에서 구현되고 있다.
파노라믹 비디오 영상은 360도의 방향을 촬영한 영상으로서, 다시점 비디오 영상의 한 예이다. 파노라믹 비디오 영상은 1대 이상의 카메라로 촬영된 영상들을 기하학적인 교정과 공간적인 합성 등을 통하여 생성할 수 있다. 파노라믹 비디오 영상은 카메라를 기준으로 한 360도 방향의 영상을 모두 담을 수 있다.
이와 관련하여, 특허공개공보 제 2007-0061145 호는 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른 콘텐츠의 재생방법에 관한 것으로, 사용자가 객체 식별 아이콘을 선택하면, 콘텐츠 재생장치는 객체 식별 아이콘의 식별 아이디를 획득하고 상기 식별 아이디에 대응된 객체를 추적하는 기술을 개시하고 있다.
한편, 현재 대화면의 TV를 이용하여 증강 현실을 제공하기 위하여, TV의 디스플레이 위에 카메라를 설치하고, TV를 바라보는 사용자를 촬영하여 그 위에 컴퓨터 그래픽을 합성하여 증강 현실을 구현하고 있다. 이러한 방식은 카메라가 고정됨으로 인해 사용자에게 보여지는 현실 영상 즉, 물리적 영역이 한정되는 문제점이 있다.
증강 현실 비디오 게임에서 현실의 영상은 기촬영된 파노라믹 비디오 영상을 출력하고, 파노라믹 비디오 영상 위에 컴퓨터 그래픽을 오버레이하여 출력하는 방법, 디바이스 및 시스템을 제공하고자 한다.
또한, 물리적, 공간적 제약에서 자유롭고 보다 효과적인 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 방법은 하나 이상의 컴퓨터 그래픽을 생성하는 단계, 기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하는 단계, 상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 단계, 상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하는 단계 및 상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 단계를 포함한다.
또한, 본 발명의 다른 실시예에 따른 증강 현실 비디오 게임을 제공하는 디바이스는 하나 이상의 컴퓨터 그래픽을 생성하는 컴퓨터 그래픽 생성 모듈, 기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하는 수신 모듈, 상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 영상 처리 모듈, 상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하는 영상 출력 모듈 및 상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 게임 엔진 모듈을 포함한다.
또한, 본 발명의 또 다른 실시예에 따른 증강 현실 비디오 게임을 제공하는 시스템은 증강 현실 비디오 게임 제공 디바이스 및 스트리밍 서버를 포함한다. 상기 증강 현실 비디오 게임 제공 디바이스는 하나 이상의 컴퓨터 그래픽을 생성하고, 기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하고, 상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하고, 상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하고, 상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하도록 구성된다. 또한 상기 스트리밍 서버는 상기 기촬영된 파노라믹 비디오 영상을 상기 증강 현실 비디오 게임 제공 디바이스로 전송하도록 구성된다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 대화면의 TV를 이용하여 증강 현실을 제공하기 위하여 TV의 디스플레이 위에 카메라를 설치하는 기존의 방법과 달리, 기촬영된 파노라믹 비디오 영상을 출력하고, 파노라믹 비디오 영상에 컴퓨터 그래픽을 오버레이하여 출력함으로써, 공간적 제약에서 자유롭고 보다 효과적인 증강 현실 비디오 게임을 제공할 수 있다.
사용자 시점의 선택이 자유로운 기촬영된 360도 파노라믹 비디오 영상을 이용하여 몰입도 및 현실감을 높일 수 있다. 또한, 인터렉션(interaction)이 많은 게임에 이를 이용할 경우, 게임의 백그라운드를 초고해상도 파노라믹 비디오 영상을 이용함으로써 게임의 실감성을 높이고, 새로운 장르의 몰입형 게임 서비스를 제공할 수 있다.
초고해상도의 파노라믹 비디오 영상을 게임의 백그라운드로 사용하여 게임의 배경화면은 간단히 디코딩만을 수행하고 상대적으로 적은 량의 컴퓨터 그래픽 영상만을 렌더링 함으로써, 단말 및 서버의 부하를 크게 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 디바이스의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 선택된 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 비디오 게임이 실행되는 화면을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 방법을 설명하기 위한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 시스템의 구성도이다. 도 1을 참조하면, 증강 현실 비디오 게임 제공 시스템(1)은 증강 현실 비디오 게임 제공 디바이스(100), 스트리밍 서버(110) 및 네트워크(120)를 포함할 수 있다. 다만, 이러한 도 1의 증강 현실 비디오 게임을 제공하는 시스템(1)은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
증강 현실 비디오 게임 제공 디바이스(100)는 하나 이상의 컴퓨터 그래픽을 생성하고, 기촬영된 파노라믹 비디오 영상을 스트리밍 서버(110)로부터 수신하고, 상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하고, 상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하고, 상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하도록 구성될 수 있다.
증강 현실 비디오 게임 제공 디바이스(100)는 스트리밍 서버(110)로부터 수신한 파노라믹 비디오 영상을 디코딩할 수 있다. 또한, 증강 현실 비디오 게임 제공 디바이스(100)는 시점을 주기적으로 추적하고, 상기 시점이 변화한 경우, 파노라믹 비디오 영상 중 상기 변화한 시점에 해당하는 비디오 영상을 재포커싱(re-focusing)할 수 있다.
증강 현실 비디오 게임 제공 디바이스(100)는 컴퓨터 그래픽만을 렌더링하여 출력할 수 있다. 또한, 증강 현실 비디오 게임 제공 디바이스(100)는 포커싱된 비디오 영상에 해당하는 위치 및 각도를 계산하고, 상기 계산된 위치 및 각도에 해당하는 컴퓨터 그래픽을 로딩하고, 상기 로딩된 컴퓨터 그래픽을 출력할 수 있다.
스트리밍 서버(110)는 기촬영된 파노라믹 비디오 영상을 상기 증강 현실 비디오 게임 제공 디바이스(100)로 전송하도록 구성될 수 있다.
네트워크(120)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(120)의 일 예에는 인터넷(Internet), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, LTE(Long Term Evolution), WiFi(Wireless Fidelity), WiMAX(World Interoperability for Microwave Access), WiGig(Wireless Gigabit) 등이 포함되나 이에 한정되지는 않는다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 디바이스의 블록도이다. 도 2를 참조하면, 증강 현실 비디오 게임 제공 디바이스(200)는 그래픽 생성 모듈(210), 수신 모듈(220), 영상 처리 모듈(230), 영상 출력 모듈(240) 및 게임 엔진 모듈(250)을 포함할 수 있다.
그래픽 생성 모듈(210)은 기촬영된 파노라믹 비디오 영상 위에 오버레이하여 출력될 하나 이상의 컴퓨터 그래픽을 생성할 수 있다. 컴퓨터 그래픽은 3차원적으로 표현되고, 복수의 행동 패턴을 가지도록 설계될 수 있다. 예를 들면, 컴퓨터 그래픽은 게임의 주인공, NPC(non player character), 무기 등에 해당할 수 있다. 또한 컴퓨터 그래픽은 복수의 행동 패턴에 따라 행동할 수 있다.
수신 모듈(220)은 기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신할 수 있다. 기촬영된 파노라믹 비디오 영상은 360도 시점의 현실 영상일 수 있다. 기촬영된 파노라믹 비디오 영상은 예를 들면, 다수의 카메라를 기준으로 한 360도 방향의 영상을 포함할 수 있다.
수신 모듈(220)이 수신하는 기촬영된 파노라믹 비디오 영상은 4K 급의 고해상도 파노라믹 비디오 영상일 수 있다. 4K 급의 고해상도 파노라믹 비디오 영상은 예를 들면, 해상도가 3840*2160 이상인 UHD(ultra high definition)급의 비디오 영상일 수 있다.
수신 모듈(220)은 스트리밍 서버로부터 수신한 파노라믹 비디오 영상을 디코딩할 수 있다.
영상 처리 모듈(230)은 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)할 수 있다.
잠시 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따른 선택된 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 방법을 설명하기 위한 도면이다. 영상 처리 모듈(230)은 수신한 360도 파노라믹 비디오 영상(300) 중 사용자가 선택된 시점(310)에 해당하는 특정 비디오 영상을 포커싱할 수 있다. 선택한 시점(310)은 예컨대, 게임 시작 시 설정된 시점일 수 있다.
선택된 시점(310)에 해당하는 비디오 영상이 포커싱된 경우, 증강 현실 비디오 게임 제공 디바이스는 수신한 360도 파노라믹 비디오 영상(300) 중 포커싱된 비디오 영상(320)만을 출력할 수 있다.
다시 도 2를 참조하면, 영상 처리 모듈(230)은 시점을 주기적으로 추적하고, 상기 시점이 변화한 경우, 파노라믹 비디오 영상 중 상기 변화한 시점에 해당하는 비디오 영상을 재포커싱(re-focusing)할 수 있다. 예를 들면, 사용자가 시점을 왼쪽으로 전환하면, 영상 처리 모듈(230)은 파노라믹 비디오의 시점을 전환된 시점에 대응하도록 재포커싱할 수 있다. 재포커싱된 비디오 영상은 배경 화면으로 출력되고, 재포커싱된 비디오 영상 위에 컴퓨터 그래픽이 오버레이되어 출력될 수 있다.
영상 출력 모듈(240)은 수신한 파노라믹 비디오 영상 중 영상 처리 모듈(230)에 의해 포커싱된 비디오 영상을 출력할 수 있다.
게임 엔진 모듈(250)은 컴퓨터 그래픽 생성 모듈에 의해 생성된 하나 이상의 컴퓨터 그래픽 중 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력할 수 있다.
게임 엔진 모듈(250)은 컴퓨터 그래픽만을 렌더링하여 출력할 수 있다. 예를 들면, 증강 현실 비디오 게임의 배경 화면에 해당하는 기촬영된 파노라믹 비디오 영상을 제외한 컴퓨터 그래픽만을 렌더링하여 출력할 수 있다.
게임 엔진 모듈(250)은 포커싱된 비디오 영상에 해당하는 위치 및 각도를 계산하고, 상기 계산된 위치 및 각도에 해당하는 컴퓨터 그래픽을 로딩하고, 상기 로딩된 컴퓨터 그래픽을 출력할 수 있다. 예를 들면, 증강 현실 비디오 게임의 시점 중 컴퓨터 그래픽이 출력될 시점 즉, 컴퓨터 그래픽의 위치는 미리 설정되어 있을 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 비디오 게임이 실행되는 화면을 나타낸 도면이다. 도 4에 도시한 증강 현실 비디오 게임의 배경 화면에 해당하는 360도 파노라믹 비디오 영상(400)은 현실의 광장을 촬영한 영상일 수 있다. 증강 현실 비디오 게임 제공 디바이스(410)에 현재 출력된 시점(420)은 광장의 왼쪽에 세워진 기둥 주변의 시점에 해당할 수 있다. 증강 현실 비디오 게임 제공 디바이스는 선택된 시점(420) 즉, 광장의 왼쪽에 세워진 기둥 주변의 시점을 포커싱하고, 포커싱된 비디오 영상을 증강 현실 비디오 게임의 배경 화면으로 출력할 수 있다.
증강 현실 비디오 게임 제공 디바이스는 현재 포커싱된 비디오 영상의 시점에 해당하는 컴퓨터 그래픽을 포커싱된 비디오 영상 위에 오버레이하여 출력할 수 있다. 예를 들면, 컴퓨터 그래픽은 주인공의 무기, 현재 시점에 존재하도록 기설정된 몬스터일 수 있다.
사용자가 시점을 오른쪽으로 전환하면, 증강 현실 비디오 게임 제공 디바이스는 파노라믹 비디오 영상의 시점을 오른쪽으로 전환하고, 전환한 시점에 해당하는 컴퓨터 그래픽을 비디오 영상 위에 오버레이하여 출력할 수 있다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 비디오 게임을 제공하는 방법을 설명하기 위한 흐름도이다. 도 5에 도시된 실시예에 따른 증강 현실 비디오 게임을 제공하는 방법은 도 1 및 도 2에 도시된 증강 현실 비디오 게임 제공 디바이스에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 증강 현실 비디오 게임 제공 디바이스에 관하여 이미 기술된 내용은 도 5에 도시된 실시예에 따라 수행되는 증강 현실 비디오 게임을 제공하는 방법에도 적용된다.
도 5를 참조하면, 단계 S510에서 증강 현실 비디오 게임 제공 디바이스는 하나 이상의 컴퓨터 그래픽을 생성할 수 있다.
단계 S520에서 증강 현실 비디오 게임 제공 디바이스는 기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신할 수 있다.
단계 S530에서 증강 현실 비디오 게임 제공 디바이스는 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 시점에 해당하는 비디오 영상을 포커싱(focusing)할 수 있다.
단계 S540에서 증강 현실 비디오 게임 제공 디바이스는 수신한 파노라믹 비디오 영상 중 포커싱된 비디오 영상을 출력할 수 있다.
단계 S550에서 증강 현실 비디오 게임 제공 디바이스는 생성된 하나 이상의 컴퓨터 그래픽 중 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 포커싱된 비디오 영상 위에 오버레이하여 출력할 수 있다.
상술한 설명에서, 단계 S510 내지 S550은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 5를 통해 설명된 증강 현실 비디오 게임을 제공하는 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 증강 현실 비디오 게임을 제공 시스템
100: 증강 현실 비디오 게임을 제공하는 디바이스
110: 스트리밍 서버
120: 네트워크
200: 증강 현실 비디오 게임을 제공하는 디바이스
300: 360도 파노라믹 비디오 영상
410: 증강 현실 비디오 게임을 제공하는 디바이스

Claims (15)

  1. 증강 현실 비디오 게임을 제공하는 방법에 있어서,
    하나 이상의 컴퓨터 그래픽을 생성하는 단계;
    기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하는 단계;
    상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 단계;
    상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하는 단계; 및
    상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 단계
    를 포함하되,
    상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하는 단계는
    상기 포커싱된 비디오 영상을 디코딩된 상태로 출력하고,
    상기 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 단계는,
    상기 컴퓨터 그래픽을 렌더링하여 출력하고,
    상기 컴퓨터 그래픽은, 3차원적으로 표현되고, 복수의 행동 패턴을 가지도록 설계된 것인, 증강 현실 비디오 게임 제공 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 기촬영된 파노라믹 비디오 영상은, 360도 시점의 현실 영상인 것인, 증강 현실 비디오 게임 제공 방법.
  4. 제 3 항에 있어서,
    상기 기촬영된 파노라믹 비디오 영상은, 4K 급의 고해상도 파노라믹 비디오 영상인 것인, 증강 현실 비디오 게임 제공 방법.
  5. 제 1 항에 있어서,
    상기 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하는 단계는,
    상기 스트리밍 서버로부터 수신한 파노라믹 비디오 영상을 디코딩하는 단계
    를 포함하는 것인, 증강 현실 비디오 게임 제공 방법.
  6. 제 1 항에 있어서,
    상기 선택된 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 단계는,
    상기 시점을 주기적으로 추적하는 단계; 및
    상기 시점이 변화한 경우, 파노라믹 비디오 영상 중 상기 변화한 시점에 해당하는 비디오 영상을 재포커싱(re-focusing)하는 단계
    를 포함하는 것인, 증강 현실 비디오 게임 제공 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 단계는,
    상기 포커싱된 비디오 영상에 해당하는 위치 및 각도를 계산하는 단계;
    상기 계산된 위치 및 각도에 해당하는 컴퓨터 그래픽을 로딩하는 단계; 및
    상기 로딩된 컴퓨터 그래픽을 출력하는 단계
    를 포함하는 것인, 증강 현실 비디오 게임 제공 방법.
  9. 증강 현실 비디오 게임을 제공하는 디바이스에 있어서,
    하나 이상의 컴퓨터 그래픽을 생성하는 컴퓨터 그래픽 생성 모듈;
    기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하는 수신 모듈;
    상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하는 영상 처리 모듈;
    상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하는 영상 출력 모듈; 및
    상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하는 게임 엔진 모듈
    을 포함하되,
    상기 영상 출력 모듈은 상기 포커싱된 비디오 영상을 디코딩된 상태로 출력하고,
    상기 게임 엔진 모듈은 상기 컴퓨터 그래픽을 렌더링하여 출력하고,
    상기 컴퓨터 그래픽은 3차원적으로 표현되고 복수의 행동 패턴을 가지도록 설계된 것인, 증강 현실 비디오 게임 제공 디바이스.
  10. 제 9 항에 있어서,
    상기 기촬영된 파노라믹 비디오 영상은, 360도 시점의 현실 영상인 것인, 증강 현실 비디오 게임 제공 디바이스.
  11. 제 10 항에 있어서,
    상기 기촬영된 파노라믹 비디오 영상은, 4K 급의 고해상도 파노라믹 비디오 영상인 것인, 증강 현실 비디오 게임 제공 디바이스.
  12. 제 9 항에 있어서,
    상기 영상 처리 모듈은
    상기 시점을 주기적으로 추적하고,
    상기 시점이 변화한 경우, 파노라믹 비디오 영상 중 상기 변화한 시점에 해당하는 비디오 영상을 재포커싱(re-focusing)하는 것인, 증강 현실 비디오 게임 제공 디바이스.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 게임 엔진 모듈은
    상기 포커싱된 비디오 영상에 해당하는 위치 및 각도를 계산하고,
    상기 계산된 위치 및 각도에 해당하는 컴퓨터 그래픽을 로딩하고,
    상기 로딩된 컴퓨터 그래픽을 출력하는 것인, 증강 현실 비디오 게임 제공 디바이스.
  15. 증강 현실 비디오 게임을 제공하는 시스템에 있어서,
    증강 현실 비디오 게임 제공 디바이스; 및
    스트리밍 서버를 포함하되,
    상기 증강 현실 비디오 게임 제공 디바이스는
    하나 이상의 컴퓨터 그래픽을 생성하고,
    기촬영된 파노라믹 비디오 영상을 스트리밍 서버로부터 수신하고,
    상기 수신한 파노라믹 비디오 영상 중 선택된 시점에 해당하는 영상이 출력되도록, 상기 시점에 해당하는 비디오 영상을 포커싱(focusing)하고,
    상기 수신한 파노라믹 비디오 영상 중 상기 포커싱된 비디오 영상을 출력하고,
    상기 생성된 하나 이상의 컴퓨터 그래픽 중 상기 포커싱된 비디오 영상에 해당하는 컴퓨터 그래픽을 상기 포커싱된 비디오 영상 위에 오버레이하여 출력하고,
    상기 포커싱된 비디오 영상을 디코딩된 상태로 출력하고,
    상기 컴퓨터 그래픽을 렌더링하여 출력하도록 구성되고,
    상기 스트리밍 서버는
    상기 기촬영된 파노라믹 비디오 영상을 상기 증강 현실 비디오 게임 제공 디바이스로 전송하도록 구성되고,
    상기 컴퓨터 그래픽은 3차원적으로 표현되고 복수의 행동 패턴을 가지도록 설계된 것인, 증강 현실 비디오 게임 제공 시스템.
KR1020140140772A 2014-10-17 2014-10-17 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템 KR102223339B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140140772A KR102223339B1 (ko) 2014-10-17 2014-10-17 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140140772A KR102223339B1 (ko) 2014-10-17 2014-10-17 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템

Publications (2)

Publication Number Publication Date
KR20160045994A KR20160045994A (ko) 2016-04-28
KR102223339B1 true KR102223339B1 (ko) 2021-03-05

Family

ID=55914992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140772A KR102223339B1 (ko) 2014-10-17 2014-10-17 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템

Country Status (1)

Country Link
KR (1) KR102223339B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102499317B1 (ko) * 2016-07-08 2023-02-13 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102542507B1 (ko) * 2016-08-17 2023-06-09 에스케이텔레콤 주식회사 컨텐츠 부가 정보 제공 방법 및 이를 위한 장치
CN110830735B (zh) * 2019-10-30 2022-11-29 腾讯科技（深圳）有限公司 一种视频生成方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
KR101705762B1 (ko) 2015-09-02 2017-02-14 주식회사 미르기술 3차원 형상 측정 장치의 틸트 교정 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525964B2 (ja) * 1995-07-05 2004-05-10 株式会社エフ・エフ・シー 物体の三次元形状計測方法
KR20110068764A (ko) * 2009-12-15 2011-06-22 (주)지에스엠솔루션 전방위 카메라로부터 취득한 구면 영상을 이용한 객체정보 제공 시스템 및 그 방법
US8532340B2 (en) * 2010-09-30 2013-09-10 Empire Technology Development, Llc Projecting patterns for high resolution texture extraction
KR20120133006A (ko) * 2011-05-30 2012-12-10 (주)포스트미디어 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
KR20140031129A (ko) * 2012-08-30 2014-03-12 (주)지에스엠솔루션 사용자 인터렉션에 기반한 전방위 영상의 가상면 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
KR101705762B1 (ko) 2015-09-02 2017-02-14 주식회사 미르기술 3차원 형상 측정 장치의 틸트 교정 방법

Also Published As

Publication number Publication date
KR20160045994A (ko) 2016-04-28

Similar Documents

Publication Publication Date Title
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US11303881B2 (en) Method and client for playing back panoramic video
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
US20170064174A1 (en) Image shooting terminal and image shooting method
US9485493B2 (en) Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof
CN110998505B (zh) 具有物理视频面板的同步全息显示和3d对象
US20140232819A1 (en) Systems and methods for generating and sharing panoramic moments
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
JP2022188059A (ja) 画像を合成するための方法及び装置
US9509907B2 (en) Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
JP2016025633A (ja) 情報処理装置、管理装置、情報処理方法、およびプログラム
KR102644833B1 (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
CN107040808B (zh) 用于视频播放中弹幕图片的处理方法和装置
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
CN105939497B (zh) 媒体串流系统及媒体串流方法
KR102117686B1 (ko) 영상 제공 서버, 영상 제공 방법 및 사용자 단말
US20170225077A1 (en) Special video generation system for game play situation
CN112019907A (zh) 直播画面分流方法、计算机设备及可读存储介质
KR102223339B1 (ko) 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
CN105163152A (zh) 一种电视互动系统的互动接入方法
CN105187934A (zh) 一种电视互动系统的终端平台
CN112019906A (zh) 直播方法、计算机设备及可读存储介质
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
CN104618733A (zh) 图像远程投射方法和相关装置
CN111367598B (zh) 动作指令的处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right