KR20220049293A - 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 - Google Patents

가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 Download PDF

Info

Publication number
KR20220049293A
KR20220049293A KR1020200132756A KR20200132756A KR20220049293A KR 20220049293 A KR20220049293 A KR 20220049293A KR 1020200132756 A KR1020200132756 A KR 1020200132756A KR 20200132756 A KR20200132756 A KR 20200132756A KR 20220049293 A KR20220049293 A KR 20220049293A
Authority
KR
South Korea
Prior art keywords
screen
game user
view
point
game
Prior art date
Application number
KR1020200132756A
Other languages
English (en)
Other versions
KR102423869B1 (ko
Inventor
강정혁
김서연
윤성영
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020200132756A priority Critical patent/KR102423869B1/ko
Publication of KR20220049293A publication Critical patent/KR20220049293A/ko
Application granted granted Critical
Publication of KR102423869B1 publication Critical patent/KR102423869B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템이 개시된다. 개시되는 일 실시예에 따른 가상 현실 게임 방송 서비스 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 가상 현실 게임의 진행에 따른 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 동작 및 게임 유저 시점 화면의 이동 변위에 따라 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작을 포함한다.

Description

가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템{METHOD FOR BROADCASTING SERVICE OF VIRTUAL REALITY GAME, APPARATUS AND SYSTEM FOR EXECUTING THE METHOD}
개시되는 실시예는 가상 현실 게임 방송 서비스 기술과 관련된다.
최근 게임은 게이밍 디바이스 내에서만 실행되는 로컬 게임에서 네트워크를 통해 다른 게이밍 디바이스나 서버와의 연동을 통해 실행되는 온라인 게임 등 다양한 방식으로 진화하고 있다. 또한, 하드웨어 성능 및 네트워크 기술의 향상에 따라 개인용 컴퓨터나 게임 콘솔뿐 아니라 스마트폰(Smart Phone), 타블렛(Tablet) PC 등과 같은 모바일 장치에서도 게임이 실행 가능하도록 진화하고 있다.
한편, 게임 유저가 플레이 하고 있는 게임을 방송을 통해 송출하여 시청자들이 시청하도록 하는 게임 방송도 증가하고 있는 추세이다. 여기서, VR(Virtual Reality) 게임 방송의 경우, 게임 유저가 헤드 마운트 디스플레이를 장착한 상태에서 플레이를 진행하기 때문에, 게임 유저의 시선 변화에 따라 게임 화면의 이동 또는 흔들림이 발생하게 되며, 그로 인해 방송 시청 시 혼란스럽고 어지러움을 느끼게 되는 문제점이 있다.
개시되는 실시예는 게임 유저의 시선 이동 변화에 따른 게임 화면의 흔들림을 줄일 수 있는 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 가상 현실 게임 방송 서비스 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 가상 현실 게임의 진행에 따른 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 동작; 및 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작을 포함한다.
상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은, 상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하는 동작; 상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하는 동작; 및 상기 특징점 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은, 상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은, 상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함할 수 있다.
상기 특징점 이동 변위를 확인하는 동작은, 상기 추출한 각 특징점들의 이동에 따른 벡터를 각각 산출하는 동작; 상기 산출한 벡터들을 평균하여 상기 특징점들의 이동에 따른 평균 벡터를 산출하는 동작; 및 상기 특징점들의 이동에 따른 평균 벡터의 크기 및 방향을 확인하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하는 동작; 상기 센싱 데이터에 기반하여 상기 게임 유저 시점 화면의 이동 변위를 확인하는 동작; 및 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은, 상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은, 상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 게임 유저 시점 화면의 이동 방향과 반대 방향으로 상기 게임 유저 시점 화면의의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함할 수 있다.
상기 가상 현실 게임 방송 서비스 방법은, 상기 가상 현실 게임 내 상기 게임 유저의 시선 방향 정보를 획득하는 동작; 상기 시선 방향 정보에 기반하여 시선 인디케이터를 생성하는 동작; 및 상기 시선 인디케이터를 상기 게임 유저 시점 화면에 표시하는 동작을 더 포함할 수 있다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 가상 현실 게임의 진행에 따른 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 통신부; 및 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 화면 보정부를 포함한다.
상기 컴퓨팅 장치는, 상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하는 특징점 추출부를 더 포함하고, 상기 화면 보정부는, 상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하고, 상기 특징점 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정할 수 있다.
상기 화면 보정부는, 상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신할 수 있다.
상기 화면 보정부는, 상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신할 수 있다.
상기 화면 보정부는, 상기 추출한 각 특징점들의 이동에 따른 벡터를 각각 산출하고, 상기 산출한 벡터들을 평균하여 상기 특징점들의 이동에 따른 평균 벡터를 산출하며, 상기 특징점들의 이동에 따른 평균 벡터의 크기 및 방향을 확인할 수 있다.
상기 통신부는, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하고, 상기 화면 보정부는, 상기 센싱 데이터에 기반하여 상기 게임 유저 시점 화면의 이동 변위를 확인하고, 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정할 수 있다.
상기 화면 보정부는, 상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신할 수 있다.
상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 게임 유저 시점 화면의 이동 방향과 반대 방향으로 상기 게임 유저 시점 화면의의 이동 변위에 대응하여 이동시키고 송신할 수 있다.
상기 통신부는, 상기 가상 현실 게임 내 상기 게임 유저의 시선 방향 정보를 획득하고, 상기 컴퓨팅 장치는, 상기 시선 방향 정보에 기반하여 시선 인디케이터를 생성하고, 상기 시선 인디케이터를 상기 게임 유저 시점 화면에 표시하는 시선 인디케이터 생성부를 더 포함할 수 있다.
개시되는 일 실시예에 따른 가상 현실 게임 방송 서비스 시스템은, 사용자의 두부에 착용되는 헤드 마운트 디스플레이; 상기 헤드 마운트 디스플레이를 통해 가상 현실 게임을 제공하며, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 상기 게임 유저에게 제공하는 게이밍 디바이스; 및 상기 게이밍 디바이스로부터 상기 게임 유저 시점 화면을 수신하고, 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하여 시청자 단말로 송신하는 방송 서버를 포함한다.
개시되는 실시예에 의하면, 방송 서버에서 게임 유저 시점 화면의 이동 변위에 따라 게임 유저 시점 화면을 후 보정하여 시청자 단말로 전송함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있게 된다. 그리고, 게임 유저 시점 화면에 시선 인디케이터를 렌더링 하여 표시함으로써, 시청자들이 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
또한, 게임 유저 시점 화면에 시선 인디케이터를 표시하여 송신함으로써, 시청자들이 게임 내에서 게임 유저의 시선 방향을 확인할 수 있으며, 그로 인해 가상 현실 게임 방송에 대한 몰입감을 높일 수 있게 된다.
또한, 게임 유저 시점 화면과는 별도의 가상 카메라 시점 화면을 생성하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만이면 가상 카메라 시점 화면을 그대로 송신하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상이면 가상 카메라 시점 화면을 그에 대응하는 만큼 이동시켜 송신함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있으며, 동시에 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
그리고, 가상 카메라 시점 화면이라는 게임 유저 시점 화면과는 별도의 게임 화면을 이용함으로써, 게임 유저 시점 화면에 작은 흔들림이 발생하여도 가상 카메라 시점 화면이 그대로 시청자에게 송출되기 때문에, 시청자들이 보는 게임 화면(즉, 가상 카메라 시점 화면)에서 작은 흔들림이 발생하는 것도 줄일 수 있게 된다.
도 1은 예시적인 일 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면
도 2는 개시되는 일 실시예에 따른 게이밍 디바이스의 구성을 나타낸 블록도
도 3은 개시되는 일 실시예에서 게임 유저 시점 화면과 가상 카메라 시점 화면을 비교한 도면
도 4는 개시되는 일 실시예에서 가상 카메라 시점 화면에 시선 인디케이터가 표시된 상태를 개략적으로 나타낸 도면
도 5는 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우를 나타낸 도면
도 6은 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우를 나타낸 도면
도 7은 개시되는 일 실시예에서 게임 유저 시점 화면의 프레임 간 특징점 이동 변위를 나타낸 도면
도 8은 개시되는 일 실시예에서 가상 카메라 시점 화면의 프레임을 이동하여 보정하는 상태를 나타낸 도면
도 9는 개시되는 다른 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면
도 10은 개시되는 실시예에 따른 방송 서버의 구성을 나타낸 블록도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 이에 제한되지 않는다.
상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 명세서에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하에서 "게임"이란, 한 명 또는 그 이상의 게이머들이 게이밍 디바이스에 탑재되거나 연결된 입력장치를 이용하여 즐길 수 있는 소프트웨어를 의미한다. 통상 플레이어 캐릭터를 직접 조작하거나, 게임 내 오브젝트의 움직임을 조작하는 등의 방식으로 진행되며, 롤플레잉, 어드벤쳐, 아케이드 등으로 장르가 구분되기도 한다.
이하에서 "게이밍 디바이스"란 게임 소프트웨어를 실행하되 입력장치를 통한 사용자의 입력에 따라 연산을 수행하며, 출력장치를 통해 결과를 출력하는 하드웨어를 의미한다. 예컨대, 개인용 컴퓨터(Personal Computer), 랩탑(Laptop Computer), 게임 콘솔(Game Console), 스마트폰(Smart Phone), 타블렛(Tablet) PC, 스마트 밴드(Smart Band)나 스마트 와치(Smart Watch) 등의 웨어러블 디바이스(Wearable Device)의 형태일 수 있다. 이외에도 상기 정의를 만족하는 하드웨어라면 게이밍 디바이스에 속하는 것으로 해석된다.
이하에서 "온라인 게임"이란, 게임의 플레이를 위하여 네트워크를 경유하여야 하는 게임을 의미한다. 통상 원격지의 둘 이상의 게이밍 디바이스가 네트워크를 통해 서로 연결되거나, 서버를 통해 동기화되어 즐기는 게임을 의미한다. 상기의 정의를 만족하는 것이라면 게임을 실행하는 게이밍 디바이스의 형태에 제한을 두지 아니한다. 개인용 컴퓨터나 게임 콘솔에서 실행되는 게임뿐만 아니라, 스마트폰과 같은 모바일에서 실행되는 게임, 또는 서로 다른 복수개의 게이밍 디바이스(서로 다른 종류의 게이밍 디바이스도 포함한다)가 연동되거나 클라우드에서 실행되는 게임 또한 상기 정의를 만족하는 것이라면 온라인 게임에 속하는 것으로 해석된다.
이하에서 "입력장치(Input Device)"란, 게이밍 디바이스에 데이터를 입력하기 위한 장치를 의미한다. 예컨대, 조이스틱, 마우스, 키보드, 터치스크린, 하드웨어 버튼 또는 스티어링 휠, 악기, 총, 장갑, 발판 등의 형태로 제조된 게임 조작 전용 입력장치를 들 수 있다. 이외에도 게이밍 디바이스에 탑재되거나 연동되는 각종 센서(온도 센서, 적외선 센서, 모션센서, 자이로센서, 가속도 센서, 중력 센서 등)나 글로벌 포지셔닝 시스템(GPS; Global Positioning System), 실내 위치 확인 시스템(Indoor Positioning System) 등의 위치 확인 수단 또한 입력장치의 일 예로 들 수 있다.
도 1은 예시적인 일 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 가상 현실 게임 방송 서비스 시스템(100)은 게이밍 디바이스(102), 방송 서버(104), 및 시청자 단말(106)을 포함할 수 있다. 게이밍 디바이스(102) 및 시청자 단말(106)은 각각 통신 네트워크(150)를 통해 방송 서버(104)와 통신 가능하게 연결된다.
몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
게이밍 디바이스(102)에는 하나 이상의 게임 애플리케이션이 설치될 수 있다. 여기서, 게임 애플리케이션은 게임 유저에게 게임 서비스를 제공하기 위해 게이밍 디바이스(102)에 설치된 프로그램을 의미할 수 있다. 예시적인 실시예에서, 게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)에 장착될 수 있다. 그러나, 이에 한정되는 것은 아니며 게이밍 디바이스(102)와 헤드 마운트 디스플레이(108)는 일체로 형성될 수도 있다. 또한, 게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)와 무선, 유선, 및 유무선 등을 통해 통신 가능하게 연결될 수 있다.
게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)를 통해 가상 현실 게임을 제공할 수 있다. 헤드 마운트 디스플레이(108)는 게임 유저의 머리 부분에 착용될 수 있다. 게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)를 착용한 게임 유저의 움직임에 따라 게임 유저(즉, 플레이어)의 시점에서 게임 화면을 제공할 수 있다.
도 2는 개시되는 일 실시예에 따른 게이밍 디바이스(102)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 게이밍 디바이스(102)는 게임 실행부(111), 센서부(113), 제1 화면 제공부(115), 제2 화면 제공부(117), 시선 인디케이터 생성부(119), 및 화면 송신부(121)를 포함할 수 있다.
일 실시예에서, 게임 실행부(111), 센서부(113), 제1 화면 제공부(115), 제2 화면 제공부(117), 시선 인디케이터 생성부(119), 및 화면 송신부(121)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
게임 실행부(111)는 게임 유저의 명령에 따라 게임 애플리케이션을 실행시킬 수 있다. 게임 실행부(111)는 게임이 시작된 후 게임 유저로부터 입력되는 명령에 따라 게임을 진행시킬 수 있다. 게임 유저는 입력장치를 통해 게임 진행을 위한 명령을 입력할 수 있다.
센서부(113)는 게임 유저의 위치 및 자세 중 하나 이상을 센싱할 수 있다. 즉, 센서부(113)는 헤드 마운트 디스플레이(108)를 착용한 게임 유저의 움직임을 센싱할 수 있다. 게임 유저는 가상 현실 게임을 진행하면서 게임 상황에 따라 머리를 돌리거나 고개를 숙이거나 팔을 움직이는 등의 동작을 하게 되는데, 센서부(113)는 게임 유저의 동작에 따라 변화하는 게임 유저의 위치 및 자세 중 하나 이상을 센싱할 수 있다. 예시적인 실시예에서, 센서부(113)는 자이로 센서, 가속도 센서, 및 중력 센서 등을 포함할 수 있다.
제1 화면 제공부(115)는 게임 유저의 시점에서 바라본 게임 화면을 제공할 수 있다. 제1 화면 제공부(115)는 센서부(113)에서 센싱한 센싱 데이터(즉, 게임 유저의 위치 및 자세 중 하나 이상에 대한 센싱 값)에 기반하여 게임 유저의 시점에서 바라본 게임 화면을 제공할 수 있다. 이하에서, 게임 유저의 시점에서 바라본 게임 화면을 "게임 유저 시점 화면"이라 지칭할 수 있다.
게임 유저 시점 화면은 게임 진행 시 게임 유저의 위치 및 자세 변화 등이 그대로 반영된 게임 화면이기 때문에, 게임 유저의 위치 및 자세 변화에 따른 움직임 또는 흔들림이 발생하게 된다. 이때, 게임 유저 시점 화면은 게임 유저의 움직임에 따라 게임 유저 시점 화면의 중심을 기준으로 이동 변화가 생기게 된다.
제2 화면 제공부(117)는 가상 카메라의 시점에서 바라본 게임 화면을 제공할 수 있다. 가상 카메라는 게임 내에 가상으로 마련되는 것으로, 게임 유저의 고정된 위치에서 게임을 바라보도록 마련될 수 있다. 가상 카메라의 시점에서 바라본 게임 화면은 게임 유저 시점 화면과는 별도의 게임 화면으로, 시청자 단말(106)로 전송하기 위한 게임 화면일 수 있다.
즉, 가상 카메라의 시점에서 바라본 게임 화면은 시청자에게 전송하기 위한 방송용 게임 화면일 수 있다. 이하에서, 가상 카메라의 시점에서 바라본 게임 화면을 "가상 카메라 시점 화면"이라 지칭할 수 있다. 가상 카메라 시점 화면은 가상 카메라의 고정된 시점에서 게임을 바라본 화면으로, 게임 유저의 위치 및 자세 변화에 영향을 받지 않게 된다.
여기서, 가상 카메라 시점 화면은 게임 유저 시점 화면보다 크게 마련될 수 있다. 도 3은 개시되는 일 실시예에서 게임 유저 시점 화면과 가상 카메라 시점 화면을 비교한 도면이다. 도 3을 참조하면, 게임 유저 시점 화면(S1) 보다 가상 카메라 시점 화면(S2)이 크게 마련된 것을 볼 수 있다.
예시적인 실시예에서, 게임 유저 시점 화면(S1)과 가상 카메라 시점 화면(S2)의 중심이 일치한 상태에서, 가상 카메라 시점 화면(S2)은 게임 유저 시점 화면(S1)의 각 테두리에서 외측으로 연장된 면적을 가지도록 마련될 수 있다. 그러나, 이에 한정되는 것은 아니며 가상 카메라 시점 화면(S2)은 게임 유저 시점 화면(S1)과 동일한 크기를 가질 수도 있다.
시선 인디케이터 생성부(119)는 게임 내 게임 유저의 시선 방향에 대한 인디케이터(즉, 시선 인디케이터)를 생성할 수 있다. 예시적인 실시예에서, 시선 인디케이터 생성부(119)는 센서부(113)에서 센싱한 센싱 데이터에 기반하여 게임 내 게임 유저의 시선 방향을 확인할 수 있다. 예를 들어, 시선 인디케이터 생성부(119)는 센싱 데이터를 통해 게임 유저의 머리 방향을 확인하여 게임 내 게임 유저의 시선 방향을 확인할 수 있다. 그러나, 이에 한정되는 것은 아니며 시선 인디케이터 생성부(119)는 별도의 아이 트래커(Eye Tracker)와 같은 장비를 통해 게임 내 게임 유저의 시선 방향을 확인할 수도 있다.
시선 인디케이터 생성부(119)는 게임 내 게임 유저의 시선 방향을 확인한 후, 게임 유저의 시선 방향을 나타내기 위한 시선 인디케이터를 생성할 수 있다. 예시적인 실시예에서, 시선 인디케이터 생성부(119)는 시선 인디케이터를 가상 카메라 시점 화면에 렌더링하여 표시할 수 있다.
도 4는 개시되는 일 실시예에서 가상 카메라 시점 화면에 시선 인디케이터가 표시된 상태를 개략적으로 나타낸 도면이다. 도 4를 참조하면, 시선 인디케이터(I)는 가상 카메라 시점 화면(S2)에 렌더링 되어 표시될 수 있다.
여기서, 시선 인디케이터(I)는 3D로 구현될 수 있다. 즉, 시선 인디케이터(I)는 게임 유저의 시선 방향을 3축 방향(즉, x축, y축, 및 z축)으로 나타내도록 3D로 구현될 수 있다.
가상 카메라 시점 화면(S2)은 시청자에게 제공되는 게임 화면이기 때문에, 가상 카메라 시점 화면(S2)에 시선 인디케이터(I)를 표시함으로써, 시청자들이 게임 내에서 게임 유저의 시선 방향을 확인할 수 있으며, 그로 인해 가상 현실 게임 방송에 대한 몰입감을 높일 수 있게 된다.
화면 송신부(121)는 가상 카메라 시점 화면을 방송 서버(104)로 송신할 수 있다. 즉, 개시되는 실시예에서는, 게임 유저 시점 화면을 방송 서버(104)로 송신하는 것이 아니라 가상 카메라 시점 화면을 방송 서버(104)로 송신하게 된다. 이때, 화면 송신부(121)는 게임 유저 시점 화면(S1)의 이동 변위에 따라 가상 카메라 시점 화면을 그대로 송신(즉, 이동 없이 송신)하거나 이동시켜 송신할 수 있다.
구체적으로, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 화면 송신부(121)는 가상 카메라 시점 화면을 게임 유저 시점 화면의 이동에 따라 보정하지 않고(즉, 이동시키지 않고) 방송 서버(104)로 송신할 수 있다.
즉, 게임 유저의 움직임에 의해 게임 유저 시점 화면이 이동을 하였는데, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우(예를 들어, 게임 유저의 움직임이 눈 깜박임 또는 시선 이동 등과 같은 작거나 미세한 움직임이어서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우), 화면 송신부(121)는 가상 카메라 시점 화면을 게임 유저 시점 화면의 이동에 따라 보정하지 않고 방송 서버(104)로 송신할 수 있다.
도 5는 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우를 나타낸 도면이다. 도 5를 참조하면, 게임 유저 시점 화면(S1)의 이동 변위(d)가 기 설정된 임계치 미만인 경우는, 게임 유저 시점 화면(S1)의 이동 변위가 가상 카메라 시점 화면(S2) 내에서 이루어지는 것으로 설정될 수 있다.
예를 들어, 게임 유저 시점 화면(S1)과 가상 카메라 시점 화면(S2)의 중심이 일치한 상태에서, 게임 유저 시점 화면(S1)의 이동 변위(d)가 가상 카메라 시점 화면(S2) 내에 있으면, 화면 송신부(121)는 게임 유저 시점 화면(S1)의 이동 변위가 기 설정된 임계치 미만인 것으로 판단할 수 있다. 그러나, 이에 한정되는 것은 아니며, 게임 유저 시점 화면(S1)의 이동 변위(d)가 가상 카메라 시점 화면(S2)을 벗어나더라도 미세하게 벗어난 경우라면 게임 유저 시점 화면(S1)의 이동 변위가 기 설정된 임계치 미만인 것으로 판단할 수 있다.
또한, 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 가상 카메라 시점 화면을 게임 유저 시점 화면의 이동에 따라 보정하여(즉, 이동하여) 방송 서버(104)로 송신할 수 있다. 이때, 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위에 대응하여 가상 카메라 시점 화면을 이동시킬 수 있다. 즉, 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위만큼 가상 카메라 시점 화면을 이동시킬 수 있다.
도 6은 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우를 나타낸 도면이다. 도 6을 참조하면, 게임 유저 시점 화면(S1)의 이동 변위(d)가 기 설정된 임계치 이상인 경우는, 게임 유저 시점 화면(S1)의 이동 변위가 가상 카메라 시점 화면(S2)을 벗어나는 것으로 설정될 수 있다.
예를 들어, 게임 유저 시점 화면(S1)과 가상 카메라 시점 화면(S2)의 중심이 일치한 상태에서, 게임 유저 시점 화면(S1)의 이동 변위(d)가 가상 카메라 시점 화면(S2)을 벗어나면, 화면 송신부(121)는 게임 유저 시점 화면(S1)의 이동 변위가 기 설정된 임계치 이상인 것으로 판단할 수 있다. 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위(d)에 대응하여 가상 카메라 시점 화면을 이동시킨 후 방송 서버(104)로 송신할 수 있다.
다시 도 1을 참조하면, 방송 서버(104)는 게임 유저가 플레이 하는 가상 현실 게임에 대한 방송 서비스를 제공하기 위한 서버 컴퓨팅 장치일 수 있다. 방송 서버(104)는 게이밍 디바이스(102)로부터 가상 카메라 시점 화면을 수신할 수 있다. 방송 서버(104)는 가상 카메라 시점 화면을 시청자 단말(106)로 송신할 수 있다.
시청자 단말(106)은 가상 현실 게임에 대한 방송을 시청하는 시청자의 단말일 수 있다. 시청자 단말(106)은 방송 서버(104)에 접속하고, 방송 서버(104)로부터 가상 카메라 시점 화면을 수신할 수 있다. 시청자 단말(106)은 스마트 폰, 태블릿 PC, 노트북 컴퓨터, 및 데스크 탑 컴퓨터 등을 포함할 수 있다.
개시되는 실시예에 의하면, 게임 유저 시점 화면과는 별도의 가상 카메라 시점 화면을 생성하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만이면 가상 카메라 시점 화면을 그대로 송신하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상이면 가상 카메라 시점 화면을 그에 대응하는 만큼 이동시켜 송신함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있으며, 동시에 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
그리고, 가상 카메라 시점 화면이라는 게임 유저 시점 화면과는 별도의 게임 화면을 이용함으로써, 게임 유저 시점 화면에 작은 흔들림이 발생하여도 가상 카메라 시점 화면이 그대로 시청자에게 송출되기 때문에, 시청자들이 보는 게임 화면(즉, 가상 카메라 시점 화면)에서 작은 흔들림이 발생하는 것도 줄일 수 있게 된다.
한편 여기서는, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만 또는 이상인지 여부를 가상 카메라 시점 화면과 비교하여 판단하였으나, 이에 한정되는 것은 아니며 가상 카메라 시점 화면과 비교 없이 독립적으로 판단할 수도 있다. 즉, 화면 송신부(121)는 게임 유저 시점 화면에서 특징점을 추출하고, 특징점의 이동 변위가 기 설정된 임계치 미만 또는 이상인지 여부에 따라 가상 카메라 시점 화면의 보정 여부를 결정할 수도 있다.
구체적으로, 화면 송신부(121)는 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출할 수 있다. 화면 송신부(121)는 게임 유저 시점 화면의 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 특징점 이동 변위를 확인할 수 있다.
도 7은 개시되는 일 실시예에서 게임 유저 시점 화면의 프레임 간 특징점 이동 변위를 나타낸 도면이다. 도 7을 참조하면, 화면 송신부(121)는 게임 유저 시점 화면의 각 프레임(예를 들어, 프레임 1, 프레임 2)마다 특징점(A, B, C, D, E)을 추출할 수 있다.
화면 송신부(121)는 게임 유저 시점 화면의 n번째 프레임(예를 들어, 프레임 2)와 그 이전 프레임인 n-1번째 프레임(예를 들어, 프레임 1) 간의 특징점(A, B, C, D, E)들의 이동 변위를 확인할 수 있다. 예시적인 실시예에서, 화면 송신부(121)는 각 특징점(A, B, C, D, E)들의 이동에 따른 벡터를 각각 산출하고, 이를 평균하여 특징점(A, B, C, D, E)들의 이동에 따른 평균 벡터를 산출할 수 있다. 여기서, 게임 유저의 시선 이동 방향이 오른쪽으로 이동하면 게임 유저 시점 화면은 왼쪽으로 이동(즉, 게임 유저 시점 화면에서 특징점들은 왼쪽으로 이동)하게 된다.
화면 송신부(121)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 미만인 경우, 게임 유저 시점 화면의 해당 프레임에 대응하는 가상 카메라 시점 화면을 보정하지 않고(즉, 이동시키지 않고) 방송 서버(104)로 송신할 수 있다.
화면 송신부(121)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임에 대응하는 가상 카메라 시점 화면을 보정하여(즉, 이동하여) 방송 서버(104)로 송신할 수 있다.
도 8은 개시되는 일 실시예에서 가상 카메라 시점 화면의 프레임을 이동하여 보정하는 상태를 나타낸 도면이다. 도 8을 참조하면, 화면 송신부(121)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임에 대응하는 가상 카메라 시점 화면(S2)을 특징점들의 이동 변위(예를 들어, 특징점들의 이동에 따른 평균 벡터의 크기)에 대응하여 이동시킬 수 있다.
이때, 화면 송신부(121)는 특징점들의 이동 방향(예를 들어, 특징점들의 이동에 따른 평균 벡터의 방향)과 반대 방향(즉, 게임 유저의 시선 이동 방향과 같은 방향)으로 가상 카메라 시점 화면(S2)을 이동시킬 수 있다.
도 9는 개시되는 다른 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면이다. 여기서는, 도 1에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.
도 9를 참조하면, 가상 현실 게임 방송 서비스 시스템(200)은 게이밍 디바이스(202), 방송 서버(204), 및 시청자 단말(206)을 포함할 수 있다. 게이밍 디바이스(202) 및 시청자 단말(206)은 각각 통신 네트워크(250)를 통해 방송 서버(204)와 통신 가능하게 연결된다.
게이밍 디바이스(202)는 헤드 마운트 디스플레이(208)를 통해 가상 현실 게임을 제공할 수 있다. 게이밍 디바이스(202)는 헤드 마운트 디스플레이(208)에 장착되거나 헤드 마운트 디스플레이(208)와 일체로 형성될 수 있으나, 이에 한정되는 것은 아니며 유선, 무선, 유무선 등을 통해 헤드 마운트 디스플레이(208)와 통신 가능하게 연결될 수 있다.
게이밍 디바이스(202)는 게임 유저의 명령에 따라 게임 애플리케이션을 실행시킬 수 있다. 게이밍 디바이스(202)는 게임 유저의 위치 및 자세 중 하나 이상을 센싱한 센싱 데이터에 기반하여 게임 유저 시점 화면을 생성할 수 있다. 게이밍 디바이스(202)는 게임 유저 시점 화면를 방송 서버(204)로 송신할 수 있다. 게이밍 디바이스(202)는 게임 유저 시점 화면을 프레임 단위로 방송 서버(204)로 송신할 수 있다.
게이밍 디바이스(202)는 게임 내 게임 유저의 시선 방향을 확인하여 시선 방향 정보를 생성할 수 있다. 게이밍 디바이스(202)는 시선 방향 정보를 방송 서버(204)로 송신할 수 있다.
방송 서버(204)는 게이밍 디바이스(202)로부터 수신한 게임 유저 시점 화면을 게임 유저 시점 화면의 이동 변위에 따라 보정하여 시청자 단말(206)로 송신할 수 있다. 도 10은 개시되는 실시예에 따른 방송 서버(204)의 구성을 나타낸 블록도이다. 도 10을 참조하면, 방송 서버(204)는 통신부(211), 특징점 추출부(213), 화면 보정부(215), 및 시선 인디케이터 생성부(217)를 포함할 수 있다.
일 실시예에서, 통신부(211), 특징점 추출부(213), 화면 보정부(215), 및 시선 인디케이터 생성부(217)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
통신부(211)는 게이밍 디바이스(202) 및 시청자 단말(206)과 통신을 수행할 수 있다. 통신부(211)는 게이밍 디바이스(202)로부터 게임 유저 시점 화면을 수신할 수 있다. 통신부(211)는 게이밍 디바이스(202)로부터 시선 방향 정보를 수신할 수 있다. 통신부(211)는 시청자 단말(206)로 게임 유저 시점 화면을 송신할 수 있다.
특징점 추출부(213)는 통신부(211)가 수신한 게임 유저 시점 화면에서 특징점을 추출할 수 있다. 예시적인 실시예에서, 특징점 추출부(213)는 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출할 수 있다. 특징점 추출은 이미지에서 특징점을 추출하는 기 공지된 다양한 방식을 사용할 수 있다.
화면 보정부(215)는 게임 유저 시점 화면에서 특징점의 이동 변위를 기반으로 게임 유저 시점 화면의 보정 여부를 결정할 수 있다. 화면 보정부(215)는 게임 유저 시점 화면의 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 특징점 이동 변위를 확인할 수 있다. 예시적인 실시예에서, 화면 보정부(215)는 추출한 각 특징점들의 이동에 따른 벡터를 각각 산출하고, 이를 평균하여 특징점들의 이동에 따른 평균 벡터를 산출할 수 있다.
화면 보정부(215)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 미만인 경우, 게임 유저 시점 화면의 해당 프레임(즉, n번째 프레임)을 보정하지 않고(즉, 이동시키지 않고) 시청자 단말(206)로 송신하는 것으로 결정할 수 있다. 화면 보정부(215)는 게임 유저 시점 화면의 해당 프레임을 통신부(211)를 통해 시청자 단말(206)로 송신할 수 있다.
화면 보정부(215)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임을 보정하여(즉, 이동하여) 시청자 단말(206)로 송신하는 것으로 결정할 수 있다.
화면 보정부(215)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임을 특징점들의 이동 변위(예를 들어, 특징점들의 이동에 따른 평균 벡터의 크기)에 대응하여 이동시킬 수 있다. 이때, 화면 보정부(215)는 특징점들의 이동 방향(예를 들어, 특징점들의 이동에 따른 평균 벡터의 방향)과 반대 방향으로 해당 프레임을 이동시킬 수 있다.
시선 인디케이터 생성부(217)는 통신부(211)가 수신한 시선 방향 정보에 기반하여 게임 내 게임 유저의 시선 방향을 나타내기 위한 시선 인디케이터를 생성할 수 있다. 시선 인디케이터 생성부(217)는 시선 인디케이터를 게임 유저 시점 화면에 렌더링 하여 표시할 수 있다.
개시되는 실시예에 의하면, 방송 서버(204)에서 게임 유저 시점 화면의 이동 변위에 따라 게임 유저 시점 화면을 후 보정하여 시청자 단말(206)로 전송함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있게 된다. 그리고, 게임 유저 시점 화면에 시선 인디케이터를 렌더링 하여 표시함으로써, 시청자들이 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
한편, 여기서는, 방송 서버(204)가 게임 유저 시점 화면에서 특징점을 추출한 후, 특징점의 이동 변위에 따라 게임 유저 시점 화면의 보정 여부를 결정하는 것으로 설명하였으나, 이에 한정되는 것은 아니다.
구체적으로, 방송 서버(204)는 게이밍 디바이스(202)로부터 게임 유저의 위치 및 자세 중 하나 이상을 센싱한 센싱 데이터를 수신할 수 있다. 방송 서버(204)는 센싱 데이터에 기반하여 게임 유저 시점 화면의 이동 변위를 확인할 수 있다. 즉, 방송 서버(204)는 센싱 데이터에 기반하여 게임 유저 시점 화면이 어느 방향으로 얼만큼 이동하였는지 여부를 확인할 수 있다.
방송 서버(204)는 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 게임 유저 시점 화면을 보정하지 않고 시청자 단말(206)로 송신할 수 있다. 방송 서버(204)는 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면을 이동시켜 시청자 단말(206)로 송신할 수 있다.
즉, 방송 서버(204)는 게임 유저 시점 화면을 게임 유저 시점 화면의 이동 방향과 반대 방향(즉, 게임 유저의 시선 이동 방향과 동일한 방향)으로 이동시킬 수 있다. 이때, 방송 서버(204)는 게임 유저 시점 화면의 이동 변위만큼 그 반대 방향으로 게임 유저 시점 화면을 이동시킬 수 있다.
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 게이밍 디바이스(102, 202)일 수 있다. 또한, 컴퓨팅 장치(12)는 방송 서버(104, 204)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100, 200 : 가상 현실 게임 방송 서비스 시스템
102, 202 : 게이밍 디바이스
104, 204 : 방송 서버
106, 206 : 시청자 단말
108, 208 : 헤드 마운트 디스플레이
111 : 게임 실행부
113 : 센서부
115 : 제1 화면 제공부
117 : 제2 화면 제공부
119 : 시선 인디케이터 생성부
121 : 화면 송신부
211 : 통신부
213 : 특징점 추출부
215 : 화면 보정부
217 : 시선 인디케이터 생성부

Claims (19)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    가상 현실 게임의 진행에 따른 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 동작; 및
    상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  2. 청구항 1에 있어서,
    상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은,
    상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하는 동작;
    상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하는 동작; 및
    상기 특징점 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  3. 청구항 2에 있어서,
    상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은,
    상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  4. 청구항 2에 있어서,
    상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은,
    상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  5. 청구항 2에 있어서,
    상기 특징점 이동 변위를 확인하는 동작은,
    상기 추출한 각 특징점들의 이동에 따른 벡터를 각각 산출하는 동작;
    상기 산출한 벡터들을 평균하여 상기 특징점들의 이동에 따른 평균 벡터를 산출하는 동작; 및
    상기 특징점들의 이동에 따른 평균 벡터의 크기 및 방향을 확인하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  6. 청구항 1에 있어서,
    상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은,
    상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하는 동작;
    상기 센싱 데이터에 기반하여 상기 게임 유저 시점 화면의 이동 변위를 확인하는 동작; 및
    상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  7. 청구항 6에 있어서,
    상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은,
    상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  8. 청구항 6에 있어서,
    상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 동작은,
    상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 게임 유저 시점 화면의 이동 방향과 반대 방향으로 상기 게임 유저 시점 화면의의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법.
  9. 청구항 1에 있어서,
    상기 가상 현실 게임 방송 서비스 방법은,
    상기 가상 현실 게임 내 상기 게임 유저의 시선 방향 정보를 획득하는 동작;
    상기 시선 방향 정보에 기반하여 시선 인디케이터를 생성하는 동작; 및
    상기 시선 인디케이터를 상기 게임 유저 시점 화면에 표시하는 동작을 더 포함하는, 가상 현실 게임 방송 서비스 방법.
  10. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    가상 현실 게임의 진행에 따른 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 통신부; 및
    상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하여 송신하는 화면 보정부를 포함하는, 컴퓨팅 장치.
  11. 청구항 10에 있어서,
    상기 컴퓨팅 장치는,
    상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하는 특징점 추출부를 더 포함하고,
    상기 화면 보정부는, 상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하고, 상기 특징점 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하는, 컴퓨팅 장치.
  12. 청구항 10에 있어서,
    상기 화면 보정부는,
    상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신하는, 컴퓨팅 장치.
  13. 청구항 10에 있어서,
    상기 화면 보정부는,
    상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신하는, 컴퓨팅 장치.
  14. 청구항 10에 있어서,
    상기 화면 보정부는,
    상기 추출한 각 특징점들의 이동에 따른 벡터를 각각 산출하고, 상기 산출한 벡터들을 평균하여 상기 특징점들의 이동에 따른 평균 벡터를 산출하며, 상기 특징점들의 이동에 따른 평균 벡터의 크기 및 방향을 확인하는, 컴퓨팅 장치.
  15. 청구항 10에 있어서,
    상기 통신부는, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하고,
    상기 화면 보정부는, 상기 센싱 데이터에 기반하여 상기 게임 유저 시점 화면의 이동 변위를 확인하고, 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하는, 컴퓨팅 장치.
  16. 청구항 15에 있어서,
    상기 화면 보정부는,
    상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 상기 게임 유저 시점 화면을 이동시키지 않고 송신하는, 컴퓨팅 장치.
  17. 청구항 15에 있어서,
    상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 상기 게임 유저 시점 화면을 상기 게임 유저 시점 화면의 이동 방향과 반대 방향으로 상기 게임 유저 시점 화면의의 이동 변위에 대응하여 이동시키고 송신하는, 컴퓨팅 장치.
  18. 청구항 10에 있어서,
    상기 통신부는, 상기 가상 현실 게임 내 상기 게임 유저의 시선 방향 정보를 획득하고,
    상기 컴퓨팅 장치는,
    상기 시선 방향 정보에 기반하여 시선 인디케이터를 생성하고, 상기 시선 인디케이터를 상기 게임 유저 시점 화면에 표시하는 시선 인디케이터 생성부를 더 포함하는, 컴퓨팅 장치.
  19. 사용자의 두부에 착용되는 헤드 마운트 디스플레이;
    상기 헤드 마운트 디스플레이를 통해 가상 현실 게임을 제공하며, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 상기 게임 유저에게 제공하는 게이밍 디바이스; 및
    상기 게이밍 디바이스로부터 상기 게임 유저 시점 화면을 수신하고, 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 게임 유저 시점 화면의 이동 여부를 결정하여 시청자 단말로 송신하는 방송 서버를 포함하는, 가상 현실 게임 방송 서비스 시스템.
KR1020200132756A 2020-10-14 2020-10-14 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 KR102423869B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200132756A KR102423869B1 (ko) 2020-10-14 2020-10-14 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132756A KR102423869B1 (ko) 2020-10-14 2020-10-14 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20220049293A true KR20220049293A (ko) 2022-04-21
KR102423869B1 KR102423869B1 (ko) 2022-07-21

Family

ID=81437635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132756A KR102423869B1 (ko) 2020-10-14 2020-10-14 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102423869B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5457606B2 (ja) * 2011-04-07 2014-04-02 富士フイルム株式会社 画像処理方法及び装置
JP2018503114A (ja) * 2014-12-30 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 仮想現実用ヘッドマウントディスプレイにおける走査ディスプレイシステム
KR20180022349A (ko) * 2016-08-24 2018-03-06 민코넷주식회사 카메라 정보 보정 방식의 게임 영상 리플레이 방법
KR20200069630A (ko) * 2018-12-07 2020-06-17 주식회사 볼트홀 클라우드 기반 게임 방송 서비스 제공 시스템 및 그 시스템의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5457606B2 (ja) * 2011-04-07 2014-04-02 富士フイルム株式会社 画像処理方法及び装置
JP2018503114A (ja) * 2014-12-30 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 仮想現実用ヘッドマウントディスプレイにおける走査ディスプレイシステム
KR20180022349A (ko) * 2016-08-24 2018-03-06 민코넷주식회사 카메라 정보 보정 방식의 게임 영상 리플레이 방법
KR20200069630A (ko) * 2018-12-07 2020-06-17 주식회사 볼트홀 클라우드 기반 게임 방송 서비스 제공 시스템 및 그 시스템의 동작 방법

Also Published As

Publication number Publication date
KR102423869B1 (ko) 2022-07-21

Similar Documents

Publication Publication Date Title
US10496158B2 (en) Image generation device, image generation method and non-transitory recording medium storing image generation program
JP2020102239A (ja) ヘッドマウントディスプレイ追跡
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP2017090979A (ja) 情報処理装置、情報処理システム、および情報処理方法
CN116328317A (zh) 应用处理系统、应用处理方法以及应用处理程序
CN110215685B (zh) 游戏中的虚拟对象控制方法及装置、设备、存储介质
US20180001188A1 (en) Controller for computer entertainment system
US11833428B2 (en) Positional haptics via head-mounted peripheral
US20160107080A1 (en) Information processing apparatus, computer-readable non-transitory storage medium having stored therein information processing program, information processing method, and information processing system
JP2019211864A (ja) コンピュータプログラム、情報処理装置および情報処理方法
US11126342B2 (en) Electronic device for controlling image display based on scroll input and method thereof
JP2023016015A (ja) 動きに基づくナビゲーション
US10369468B2 (en) Information processing apparatus, image generating method, and program
JP6207691B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
KR102423869B1 (ko) 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템
JP2017142816A (ja) 同期サーバ及び同期方法
KR102481528B1 (ko) 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템
JP6114848B1 (ja) 同期サーバ及び同期方法
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2015039589A (ja) 携帯端末を用いた運転シミュレーション装置及び運転シミュレーションプログラム
JP6739254B2 (ja) プログラム、情報処理装置、情報処理方法、及びサーバ装置
KR102170825B1 (ko) 게임 제어 장치 및 방법
JP7325833B2 (ja) ゲームプログラム、ゲーム処理方法、及びゲーム装置
KR102211564B1 (ko) 게임 서비스 제공 방법 및 장치
KR102141477B1 (ko) 게임 제어 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant