KR20210035773A - 비디오 스트림으로부터 특정 상황의 ｈｕｄ 콘텐츠를 파싱하는 방법 및 프로 게이밍 ａｒ 바이저 - Google Patents

비디오 스트림으로부터 특정 상황의 ｈｕｄ 콘텐츠를 파싱하는 방법 및 프로 게이밍 ａｒ 바이저 Download PDF

Info

Publication number
KR20210035773A
KR20210035773A KR1020207027424A KR20207027424A KR20210035773A KR 20210035773 A KR20210035773 A KR 20210035773A KR 1020207027424 A KR1020207027424 A KR 1020207027424A KR 20207027424 A KR20207027424 A KR 20207027424A KR 20210035773 A KR20210035773 A KR 20210035773A
Authority
KR
South Korea
Prior art keywords
display
information
computer
interpose
game program
Prior art date
Application number
KR1020207027424A
Other languages
English (en)
Other versions
KR102450896B1 (ko
Inventor
존 찰스 자르가니스
Original Assignee
소니 인터랙티브 엔터테인먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 엘엘씨
Publication of KR20210035773A publication Critical patent/KR20210035773A/ko
Application granted granted Critical
Publication of KR102450896B1 publication Critical patent/KR102450896B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0165—Head-up displays characterised by mechanical features associated with a head-down display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

증강 현실 (AR) 콘텐츠를 제시할 수 있는 웨어러블 또는 장착형 바이저 또는 디스플레이 장치 (200, 300, 400). AR 바이저의 주요 목적은 비디오 게임 또는 스트림과 관련된 지도, 타이머 또는 시계, 속도계/회전 속도계, 계측 패널 또는 유사한 상황에 맞는 정보와 같은 비디오 스트림 또는 비디오 게임에서 원하는 HUD (heads up display) 콘텐츠를 파싱 (602, 900)하고 선택적으로 디스플레이(902)하는 것이다. AR 바이저는 사용자가 AR 바이저/디스플레이의 하나 이상의 지정된 섹션에 다양한 콘텐츠를 구성 (912)하고 디스플레이할 수 있도록 한다.

Description

비디오 스트림으로부터 특정 상황의 ＨＵＤ 콘텐츠를 파싱하는 방법 및 프로 게이밍 ＡＲ 바이저
본 출원은 비디오 스트림으로부터 특정 상황의(context-specific) 헤드 업 디스플레이(HUD : heads up display) 콘텐츠를 파싱(parsing)하는 방법 및 전문 게임 증강 현실 (AR : augmented reality) 바이저(visor)에 관한 것이다.
많은 비디오 스트림, 특히 비디오 게임의 비디오 스트림은 화면 상에 주변 보조 데이터, 정보 또는 이미지를 포함한다. 디스플레이되는 기본(primary) 이미지 및 콘텐츠를 방해하거나 차단하지 않기 위해 이 추가 정보는 전형적으로 도시되는 기본 비디오의 가장자리(edge) 또는 주변 둘레의 텔레비전 또는 컴퓨터 화면에 디스플레이된다. 그러나 예를 들어, 비디오 게임을 플레이하는 동안, 사용자가 기본 화면 콘텐츠에서 눈을 떼서 화면 아웃스커트(outskirt)를 따라 HUD 콘텐츠를 보고 판독해야 하는 것은 주의가 산만해질 수 있다. 실제로, 주변에 위치한 콘텐츠를 스캔하는 데는 전형적으로 몇 초 밖에 걸리지 않지만, 본 원리는 게임 플레이 활동에서 짧은 시간 동안 주의가 산만해져도 시기 적절한 오산, 기회 놓치기 또는 다른 게임 플레이 실수를 초래할 수 있다는 점을 인식하고 있다. 실제로, 중요하지만 주변 정보를 볼 수 있도록, 전문 비디오 게임 플레이어는 훈련 메트로놈(training metronomes)을 사용하여 적절한 주기로 화면 가장자리로 시선을 돌리도록 스스로 훈련한다.
본 출원에서 이해되는 바와 같이, HUD 콘텐츠에 적합한 콘텐츠는 사용자 앞에 착용하거나 위치된 바이저 또는 디스플레이를 사용하여 기본 시청 영역(primary viewing area)에 전략적으로 추출하여 디스플레이하거나 중첩될 수 있으므로 사용자가 화면의 다른 영역으로 주의를 돌리지 않고 사용자를 위한 게임 플레이 장점을 낳는다.
본 원리는 경쟁 비디오 게임 플레이 이외의 애플리케이션에서도 사용될 수 있다. 예를 들어, 운전자의 주의를 도로 및 차량 운전에서 돌리는 정보의 대시 보드 디스플레이는 대시 보드의 정보를 더 안전한 HUD 시야(field of view)로 중첩하거나 그렇지 않으면, 디스플레이하는 디스플레이 장치에 의해 이동될 수 있다.
따라서, 시스템은 컴퓨터 게임 프로그램에 의해 요구되는 비디오를 제시하도록 구성된 적어도 하나의 기본 디스플레이(primary display)를 포함한다. 시스템은 또한 컴퓨터 게이머와 기본 디스플레이 사이에 위치할 수 있는 적어도 하나의 인터포즈(interpose) 디스플레이를 포함한다. 인터포즈 디스플레이는 반투명하다. 일시적인 신호가 아닌 적어도 하나의 컴퓨터 스토리지가 컴퓨터 게임 프로그램으로부터의 증강 현실 (AR) 정보를 인터포즈 디스플레이에 제시하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함한다. 이러한 방식으로 컴퓨터 게이머가 컴퓨터 게임 프로그램에서 요구하는 비디오를 인터포즈 디스플레이를 통해 보고 그리고 기본 디스플레이에서 볼 때 자신의 시선(line of sight)에서 AR 정보를 볼 수 있다.
일부 예들에서, 인터포즈 디스플레이는 컴퓨터 게이머의 머리, 예를 들어, AR 헤드셋의 바이저(visor)에 착용되도록 구성된다. 또는, 인터포즈 디스플레이는 안경처럼 구성될 수 있다. 다시 말하지만, 인터포즈 디스플레이는 컴퓨터 게이머로부터 떨어져있는 컴퓨터 게이머의 의도된 시야에 직접 배치되거나 장착되도록 구성될 수 있다.
예시적인 구현에서, 명령은 건강/생명, 시간, 스코어, 무기/탄약, 능력(capability), 메뉴, 게임 진행 상태, 미니 맵, 속도계/회전 속도계(speedometer/tachometer), 상황에 맞는(context-sensitive) 정보, 레티클(reticle)/커서/십자선(crosshair), 스텔스미터(stealthometer), 나침반 중 하나 이상을 포함하는 비디오 게임 플레이로부터의 사용자 콘텐츠, 데이터 및/또는 업데이트를 인터포즈 디스플레이에 제시하도록 실행 가능하다. 명령은 디바이스 또는 차량의 작동, 배터리 수명, 차량 속도, 오일 수준, 속도/속도 제한, 차선 이탈 경고(lane departure warning), 운전 방향, 경고/차량 상태 메시지, 크루즈 제어 정보, 근접 차량 감지, 도로 및/또는 기상 조건에 중요한 콘텐츠, 데이터 및/또는 업데이트 중 하나 이상을 인터포즈 디스플레이에 제시하도록 실행 가능할 수 있다.
일부 예들에서, 인터포즈 디스플레이는 기본 디스플레이를 마주하는 터치 감응(touch sensitive) 외부 표면 및 내부 표면을 포함할 수 있고, 명령은 인터포즈 디스플레이의 외부 표면상의 터치에 응답하여 인터포즈 디스플레이 상에 제시된 AR 정보를 이동 시키도록 실행 가능하다. 예시적인 실시예에서, 적어도 하나의 카메라가 인터포즈 디스플레이 상에 제공되고 컴퓨터 게이머의 눈 방위를 추적하도록 위치될 수 있으며, 카메라로부터의 정보는 예를 들어, 컴퓨터 게임 무기 조준선(aim line) 설정을 위해 컴퓨터 게임 프로그램을 실행하는 게임 콘솔로 발송된다.
원한다면, 명령은 AR 정보를 식별하여 컴퓨터 게임 프로그램의 코드에 액세스하고, 코드를 사용하여 AR 정보를 인터포즈 디스플레이에 제시하도록 실행될 수 있다. 예에서, 명령은 AR 정보의 움직임을 나타내는 컴퓨터 게임 프로그램으로부터 신호를 수신하고 신호에 적어도 부분적으로 기초하여, 인터포즈 디스플레이 상의 AR 정보의 색상, 크기 중 적어도 하나를 변경하도록 실행 가능하다.
이하에서 더 상세히 설명되는 일부 구현예에서, 명령은 인터포즈 디스플레이와 관련된 통신 컴포넌트와 컴퓨터 게임 프로그램을 실행하는 적어도 하나의 게임 콘솔 사이의 통신을 검출하는 것에 응답하여 컴퓨터 게임 프로그램으로부터의 AR 정보를 인터포즈 디스플레이로 전송하도록 실행될 수 있다. 다른 구현예에서, 명령은 적어도 하나의 게이머 개시 음성 또는 키 누름 입력 명령에 응답하여 컴퓨터 게임 프로그램으로부터 인터포즈 디스플레이로 AR 정보를 전송하도록 실행 가능하다.
다른 양태에서, 방법은 게임 프로그램에 따라 기본 디스플레이 상에 컴퓨터 게임 비디오를 제시하는 단계를 포함한다. 상기 방법은 또한 게임 프로그램으로부터의 정보를 기본 디스플레이와 컴퓨터 게이머 사이에 위치된 반투명 디스플레이 상에 증강 현실 (AR) 정보로서 제시하는 단계를 포함한다.
또 다른 양태에서, 디스플레이 어셈블리는 적어도 하나의 반투명 디스플레이 및 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 갖는 적어도 하나의 컴퓨터 스토리지를 포함하여, 실행되는 컴퓨터 게임 프로그램으로부터 코드에 액세스하여 반투명 디스플레이와는 별개의 기본 디스플레이에 비디오를 제시한다. 명령은 코드에 의해 전달되는 정보를 반투명 디스플레이 상에 제시하도록 실행 가능하다.
구조 및 작동에 관한 본 출원의 세부 사항은 첨부된 도면을 참조하면 가장 잘 이해될 수 있으며, 여기서 유사한 도면 번호는 유사한 부분을 나타내며, 여기서 :
도 1은 본 원리에 따른 예를 포함하는 예시적인 시스템의 블록도이다;
도 2는 컴퓨터 게임 헤드셋 구성에서 "헤드 업 디스플레이"(HUD : heads up display)로 구성된 반투명 디스플레이의 평면도이며, 일부 컴포넌트를 개략적으로 도시한다;
도 3은 안경 구성에서 HUD로 구성된 반투명 디스플레이의 사시도이다;
도 4는 게이머가 착용하지 않고 게이머와 기본 디스플레이 사이에 배치된 독립형 HUD로 구성된 반투명 디스플레이의 사시도이며, 일부 컴포넌트를 개략적으로 도시하고, HUD의 임의의 구현예에서의 컴포넌트는 상호 교환될 수 있다는 것이 이해된다;
도 5는 게임 콘솔로부터의 컴퓨터 게임 비디오가 표시되는 기본 디스플레이를 포함하는 시스템을 도시하는 입면도이고, 콘솔에 의해 실행되는 프로그램으로부터의 정보는 반투명 HUD로 발송된다;
도면들 6-8은 HUD 상에 AR 정보 프리젠테이션을 초기화하기 위한 예제 로직의 흐름도이다; 및
도 9는 HUD 상에 AR 프리젠테이션을 실행하기 위한 예제 로직의 흐름도이다.
도면들 10-12는 본 원리에 따른 예시적인 HUD 제어 모드를 예시하는 개략도이다.
본 개시는 전반적으로 소비자 전자 (CE : consumer electronics) 디바이스 네트워크 예컨대, 한정되는 것은 아니지만, 컴퓨터 게임 네트워크의 양태를 포함하는 컴퓨터 생태계에 관한 것이다. 본 출원의 시스템은 데이터가 클라이언트와 서버 컴포넌트 사이에서 교환될 수 있도록 네트워크를 통해 연결된 서버 및 클라이언트 컴포넌트를 포함할 수 있다. 클라이언트 컴포넌트는 게임 콘솔 예컨대, 소니 플레이스테이션® 또는 마이크로소프트 또는 닌텐도에 제조된 게임 콘솔 또는 다른 제조업체의 가상 현실 (VR) 헤드셋, 증강 현실 (AR) 헤드셋, 휴대용 TV (예를 들어, 스마트 TV, 인터넷 지원 TV), 랩톱 및 태블릿 컴퓨터와 같은 휴대용 컴퓨터 및 스마트 폰을 포함한 다른 모바일 디바이스 및 아래에서 설명하는 추가 예제를 포함하는 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 이러한 클라이언트 디바이스는 다양한 운영 환경에서 작동할 수 있다. 예를 들어, 일부 클라이언트 컴퓨터는 예를 들어, 리눅스 운영 체제, 마이크로소프트 운영 체제 또는 유닉스(Unix) 운영 체제 또는 애플 컴퓨터 또는 구글 생산된 운영 체제를 사용할 수 있다. 이러한 운영 환경은 마이크로소프트 또는 구글 또는 모질라에서 만든 브라우저 또는 아래에서 설명하는 인터넷 서버에 의해 호스팅되는 웹 사이트에 액세스할 수 있는 다른 브라우저 프로그램과 같은 하나 이상의 브라우징 프로그램을 실행하는 데 사용될 수 있다. 또한, 본 원리에 따른 운영 환경은 하나 이상의 컴퓨터 게임 프로그램을 실행하는데 사용될 수 있다.
서버 및/또는 게이트웨이는 인터넷과 같은 네트워크를 통해 데이터를 수신하고 송신하도록 서버를 구성하는 명령을 실행하는 하나 이상의 프로세서를 포함할 수 있다. 또는, 클라이언트와 서버를 로컬 인트라넷이나 가상 사설망을 통해 연결할 수 있다. 서버 또는 컨트롤러는 소니 플레이스테이션®, 개인용 컴퓨터 등과 같은 게임 콘솔에 의해 인스턴스화될 수 있다.
정보는 클라이언트와 서버 사이의 네트워크를 통해 교환될 수 있다. 이를 위해 그리고 보안을 위해, 서버 및/또는 클라이언트에는 방화벽, 로드 밸런서(load balancer), 임시 스토리지 및 프록시, 신뢰성 및 보안을 위한 다른 네트워크 인프라스트럭처가 포함될 수 있다. 하나 이상의 서버는 온라인 소셜 웹 사이트와 같은 보안 커뮤니티를 네트워크 멤버에게 제공하는 방법을 구현하는 장치를 형성할 수 있다.
본 출원에서 사용된 명령은 시스템에서 정보를 처리하기 위한 컴퓨터 구현 단계를 지칭한다. 명령은 소프트웨어, 펌웨어 또는 하드웨어로 구현할 수 있으며 시스템 컴포넌트가 수행하는 임의 유형의 프로그래밍된 단계를 포함한다.
프로세서는 여러 라인들 예컨대, 어드레스 라인, 데이터 라인, 제어 라인 및 레지스터 및 시프트 레지스터(shift register)를 통해 로직을 실행할 수 있는 임의의 기존의 범용 단일 또는 멀티 칩 프로세서일 수 있다.
본 출원에서 흐름도 및 사용자 인터페이스를 통해 설명된 소프트웨어 모듈은 다양한 서브 루틴, 절차 등을 포함할 수 있다. 개시 내용에 한정되지 않고, 특정 모듈에 의해 실행되도록 명시된 로직은 다른 소프트웨어 모듈에 재배포될 수 있고/있거나 단일 모듈에서 함께 결합되고/되거나 공유 가능한 라이브러리에서 이용 가능하게 될 수 있다.
본 출원에 설명된 본 원리는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다; 따라서, 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 기능 측면에서 설명된다.
이하에서 설명되는 기능 및 방법은 소프트웨어로 구현될 때 적절한 언어 예컨대, 한정되는 것은 아니지만, 자바(Java), C# 또는 C++로 기록될 수 있으며 컴퓨터 판독 가능 스토리지 매체 예컨대, RAM (Random Access Memory), ROM (read-only memory), EEPROM (electrically erasable programmable read-only memory), CD-ROM (compact disk read-only memory) 또는 다른 광 디스크 스토리지 예컨대, DVD(digital versatile disc), 자기 디스크 스토리지 또는 착탈식 썸 드라이브(thumb drive) 등을 포함한 기타 자기 스토리지 디바이스상에 저장되거나 이들을 통해 송신될 수 있다. 연결은 컴퓨터 판독 가능 매체를 설정할 수 있다. 이러한 연결에는 예를 들어, 광섬유 및 동축 와이어 및 DSL (digital subscriber line) 및 이중와선 와이어를 포함하는 유선(hard-wired) 케이블이 포함될 수 있다. 이러한 연결에는 적외선 및 라디오를 포함한 무선 통신 연결이 포함될 수 있다.
일 실시예에 포함된 컴포넌트는 임의의 적절한 조합으로 다른 실시예에서 사용될 수 있다. 예를 들어, 본 출원에 설명되고/되거나 도면에 도시된 다양한 컴포넌트 중 임의의 것은 다른 실시예로부터 결합, 상호 교환 또는 제외될 수 있다.
"A, B 및 C 중 적어도 하나를 갖는 시스템" (마찬가지로 "A, B 또는 C 중 적어도 하나를 갖는 시스템" 및 "A, B, C 중 적어도 하나를 갖는 시스템")은 A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 및/또는 A, B 및 C 함께 등을 갖는 시스템을 포함한다.
이제 구체적으로 도 1을 참조하면, 예시적인 시스템 (10)이 도시되어 있으며, 이는 본 원리에 따라 상기에서 언급되고 이하에서 추가로 설명되는 예시적인 디바이스들 중 하나 이상을 포함할 수 있다. 시스템 (10)에 포함된 제 1 예시 디바이스는 소비자 전자(CE) 디바이스 예컨대, 오디오 비디오 디바이스(AVD) (12) 예컨대, 한정되는 것은 아니지만, TV 튜너 (동등하게, TV를 제어하는 셋톱 박스)가 있는 인터넷 지원 TV이다. 그러나, AVD (12)는 대안으로 컴퓨터 인터넷 지원 냉장고, 세탁기 또는 건조기와 같은 가전 제품 또는 가정 용품일 수 있다. AVD (12)는 대안적으로 또는 컴퓨터화된 인터넷 가능 ("스마트") 전화, 태블릿 컴퓨터, 노트북 컴퓨터, 웨어러블 컴퓨터화된 디바이스 예컨대, 컴퓨터화된 인터넷 지원 시계, 컴퓨터화된 인터넷 지원 팔찌, 다른 컴퓨터화된 인터넷 지원 디바이스, 컴퓨터화된 인터넷 지원 음악 플레이어, 컴퓨터화된 인터넷 지원 헤드폰, 컴퓨터화된 인터넷 지원 이식 가능한(implantable) 디바이스 예컨대, 이식가능 스킨 디바이스 등일 수 있다. 그럼에도 불구하고, AVD (12)는 본 원리를 (예를 들어, 본 원리를 수행하고, 본 출원에 설명된 로직을 실행하고, 본 출원에 설명된 임의의 다른 기능 및/또는 동작을 수행하기 위해 다른 CE 디바이스와 통신) 수행하도록 구성된다는 것을 이해해야 한다.
따라서, 이러한 원칙을 수행하기 위해, AVD(12)는 도 1에 도시된 일부 또는 모든 컴포넌트에 의해 설정될 수 있다. 예를 들어, AVD (12)는 고화질 또는 초 고화질 "4K"이상의 평면 화면으로 구현될 수 있고 디스플레이의 터치를 통해 사용자 입력 신호를 수신하기 위해 터치가 지원될 수 있는(touch-enabled) 하나 이상의 디스플레이 (14)를 포함할 수 있다. AVD (12)는 본 원리에 따라 오디오를 출력하기 위한 하나 이상의 스피커 (16), 및 예를 들어, AVD (12)를 제어하기 위해 AVD (12)에 가청 명령을 입력하기 위한 오디오 수신기/마이크와 같은 적어도 하나의 추가 입력 디바이스(18)를 포함할 수 있다. 예시적인 AVD (12)는 또한 하나 이상의 프로세서 (24)의 제어하에 인터넷, WAN, LAN 등과 같은 적어도 하나의 네트워크 (22)를 통한 통신을 위한 하나 이상의 네트워크 인터페이스 (20)를 포함할 수 있다. 그래픽 프로세서(graphics processor) (24A)가 또한 포함될 수 있다. 따라서, 인터페이스 (20)는 제한없이, 무선 컴퓨터 네트워크 인터페이스 예컨대, 한정되는 것을 아니지만, 메시 네트워크 트랜시버의 예인 Wi-Fi 트랜시버일 수 있다. 프로세서 (24)는 예를 들어, 디스플레이 (14)를 제어하여 그 위에 이미지를 제시하고 그로부터 입력을 수신하는 것과 같은 본 출원에 설명된 AVD (12)의 다른 엘리먼트를 포함하여 본 원리를 수행하도록 AVD (12)를 제어한다는 것을 이해해야 한다. 또한, 네트워크 인터페이스 (20)는 예를 들어, 유선 또는 무선 모뎀 또는 라우터, 또는 예를 들어, 전술한 바와 같은 무선 전화 트랜시버, 또는 Wi-Fi 트랜시버와 같은 다른 적절한 인터페이스일 수 있다는 것에 유의한다.
앞서 말한 것 외에도, AVD (12)는 예를 들어, 고화질 멀티미디어 인터페이스 (HDMI) 포트 또는 다른 CE 디바이스에 물리적으로 연결 (예를 들어, 유선 연결 사용) 하기 위한 USB 포트 및/또는 헤드폰을 통해 AVD (12)로부터 사용자에게 오디오를 제공하기 위해 헤드폰을 AVD (12)에 연결하기 위한 헤드폰 포트와 같은 하나 이상의 입력 포트 (26)를 포함할 수 있다. 예를 들어, 입력 포트 (26)는 유선 또는 무선을 통해 오디오 비디오 콘텐츠의 케이블 또는 위성 소스 (26a)에 연결될 수 있다. 따라서, 소스 (26a)는 예를 들어, 별도의 또는 통합된 셋톱 박스 또는 위성 수신기일 수 있다. 또는, 소스 (26a)는 컴퓨터 게임 소프트웨어 및 데이터베이스와 같은 콘텐츠를 포함하는 게임 콘솔 또는 디스크 플레이어일 수 있다. 게임 콘솔로 구현될 때 소스 (26a)는 CE 디바이스 (44)와 관련하여 이하에서 설명되는 컴포넌트의 일부 또는 전부를 포함할 수 있다.
AVD (12)는 일시적인 신호가 아닌 디스크 기반 또는 솔리드 스테이트 스토리지(solid state storage)와 같은 하나 이상의 컴퓨터 메모리 (28)를 더 포함할 수 있으며, 일부 경우에는 AVD의 섀시에 독립형 디바이스 또는 개인용 비디오 레코딩 디바이스 (PVR) 또는 AV 프로그램을 재생하기 위한 AVD 섀시 내부 또는 외부의 비디오 디스크 플레이어 또는 착탈가능한 메모리 매체로 구현된다. 또한 일부 실시예에서, AVD (12)는 예를 들어, 적어도 하나의 위성 또는 휴대폰 타워로부터 지리적 위치 정보를 수신하고 프로세서 (24)에 정보를 제공하고/하거나 프로세서 (24)와 함께 AVD (12)가 배치되는 고도를 결정하도록 구성된 휴대폰 수신기, GPS 수신기 및/또는 고도계(altimeter)(30)와 같은 포지션 또는 위치 수신기를 포함할 수 있지만 이에 한정되지는 않는다. 그러나, 휴대 전화 수신기, GPS 수신기 및/또는 고도계 이외의 다른 적절한 위치 수신기가 예를 들어, 3 차원 모두에서 AVD (12)의 위치를 결정하기 위해 본 원리에 따라 사용될 수 있다는 것을 이해해야 한다.
AVD (12)의 설명을 계속하면, 일부 실시예에서, AVD (12)는 본 원리에 따라 사진/이미지 및/또는 비디오를 수집하기 위해 프로세서 (24)에 의해 제어가능하고, 그리고 예를 들어, 열 화상 카메라, 웹캠과 같은 디지털 카메라 및/또는 AVD (12)에 통합된 카메라일 수 있는 하나 이상의 카메라 (32)를 포함할 수 있다. 또한 AVD (12)에는 블루투스 및/또는 NFC 기술을 개별적으로 사용하는 다른 디바이스와의 통신을 위한 블루투스 트랜시버 (34) 및 다른 NFC (Near Field Communication) 엘리먼트 (36)가 포함될 수 있다. NFC 엘리먼트의 예는 라디오 주파수 식별 (RFID) 엘리먼트일 수 있다. 지그비(zigbee)도 사용될 수 있다.
또한, AVD (12)는 프로세서 (24)에 입력을 제공하는 하나 이상의 보조 센서 (37) (예를 들어, 모션 센서 예컨대, 가속도계, 자이로스코프, 사이클로미터(cyclometer) 또는 자기 센서, 적외선 (IR) 센서, 광 센서, 속도 및/또는 카덴스(cadence) 센서, 제스처 센서 (예를 들어 제스처 명령을 감지하기 위한) 등)를 포함할 수 있다. AVD (12)는 프로세서 (24)에 입력을 제공하는 OTA TV 방송을 수신하기 위한 공중파(over-the-air) TV 방송 포트 (38)를 포함할 수 있다. 앞서 말한 것 외에도, AVD (12)는 적외선 (IR) 송신기 및/또는 IR 수신기 및/또는 IR 데이터 연관 (IRDA : IR data association) 디바이스와 같은 IR 트랜시버 (42)를 또한 포함할 수 있다는 것에 유의한다. AVD(12)에 전원을 공급하기 위해 배터리 (미도시)가 제공될 수 있다.
계속해서 도 1을 참조하면, AVD (12)에 추가하여, 시스템 (10)은 하나 이상의 다른 CE 디바이스 유형을 포함할 수 있다. 일 예에서, 제 1 CE 디바이스 (44)는 AVD (12)에 직접 및/또는 아래에 설명된 서버를 통해 발송된 명령을 통해 컴퓨터 게임 오디오 및 비디오를 AVD (12)에 발송하는데 사용될 수 있고 한편, 제 2 CE 디바이스(46)는 제 1 CE 디바이스(44)와 유사한 컴포넌트를 포함할 수 있다. 도시된 예에서, 제 2 CE 디바이스 (46)는 도시된 플레이어 (47)에 의해 착용되는 VR 헤드셋 또는 플레이어 (47)에 의해 조작되는 핸드헬드 게임 컨트롤러로 구성될 수 있다. 도시된 예에서, 단지 2 개의 CE 디바이스 (44, 46)가 도시되어 있으며, 더 적거나 더 많은 디바이스가 사용될 수 있음을 이해해야 한다.
도시된 예에서, 본 원리를 예시하기 위해 모든 3 개의 디바이스 (12, 44, 46)는 예를 들어, 집에서 엔터테인먼트 네트워크의 멤버로 가정되거나, 적어도 집과 같은 위치에서 서로 근접하여 존재한다고 가정된다. 그러나, 본 원리는 달리 명시적으로 주장되지 않는 한 점선 (48)으로 도시된 특정 위치에 한정되지는 않는다.
예시적인 비 제한적인 제 1 CE 디바이스 (44)는 상기 언급된 디바이스, 예를 들어, 휴대용 무선 랩톱 컴퓨터 또는 노트북 컴퓨터 또는 게임 컨트롤러 ("콘솔"이라고도 함) 중 어느 하나에 의해 설정될 수 있으며, 따라서 이하에 설명되는 하나 이상의 컴포넌트를 가질 수 있다. 제 1 CE 디바이스 (44)는 예를 들어 AVD (12)에 AV 재생 및 일시 중지 명령을 발행하기 위한 원격 컨트롤(RC : remote control) 일 수 있거나, 유선 또는 무선을 통해 AVD(12), 개인용 컴퓨터, 무선 전화 등과 통신하는 태블릿 컴퓨터, 게임 컨트롤러와 같은 보다 정교한 디바이스일 수 있다.
따라서, 제 1 CE 디바이스 (44)는 디스플레이상의 터치를 통해 사용자 입력 신호를 수신하기 위해 터치 지원될 수 있는 하나 이상의 디스플레이 (50)를 포함할 수 있다. 제 1 CE 디바이스 (44)는 본 원리에 따라 오디오를 출력하기 위한 하나 이상의 스피커 (52), 및 예를 들어, 디바이스(44) 제어를 위해 제 1 CE 디바이스 (44)에 가청 명령을 입력하기 위한 오디오 수신기/마이크와 같은 적어도 하나의 추가 입력 디바이스 (54)를 포함할 수 있다. 예시적인 제 1 CE 디바이스 (44)는 또한 하나 이상의 CE 디바이스 프로세서 (58)의 제어하에 네트워크 (22)를 통한 통신을 위한 하나 이상의 네트워크 인터페이스 (56)를 포함할 수 있다. 그래픽 프로세서(graphics processor) (58A)가 또한 포함될 수 있다. 따라서, 인터페이스 (56)는 메시 네트워크 인터페이스를 포함하는 무선 컴퓨터 네트워크 인터페이스의 예인 Wi-Fi 트랜시버일 수 있으나 이에 한정되지는 않는다. 프로세서 (58)는 예를 들어, 디스플레이 (50)를 제어하여 그 위에 이미지를 제시하고 그로부터 입력을 수신하는 것과 같은 본 출원에 설명된 제 1 CE 디바이스 (44)의 다른 엘리먼트를 포함하여 본 원리를 수행하도록 제 1 CE 디바이스 (44)를 제어한다는 것을 이해해야 한다. 또한, 네트워크 인터페이스 (56)는 예를 들어, 유선 또는 무선 모뎀 또는 라우터, 또는 예를 들어, 전술한 바와 같은 무선 전화 트랜시버, 또는 Wi-Fi 트랜시버와 같은 다른 적절한 인터페이스일 수 있다는 것에 유의한다.
앞서 말한 것 외에도, 제 1 CE 디바이스 (44)는 예를 들어, HDMI 포트 또는 다른 CE 디바이스에 물리적으로 연결 (예를 들어, 유선 연결 사용)하기 위한 USB 포트 및/또는 헤드폰을 통해 제 1 CE 디바이스 (44)로부터 사용자에게 오디오를 제공하기 위해 헤드폰을 제 1 CE 디바이스(44)에 연결하기 위한 헤드폰 포트와 같은 하나 이상의 입력 포트 (60)를 포함할 수 있다. 제 1 CE 디바이스 (44)는 디스크 기반 또는 솔리드 스테이트 스토리지와 같은 하나 이상의 유형의 컴퓨터 판독 가능 스토리지 매체 (62)를 더 포함할 수 있다. 또한 일부 실시예에서, 제 1 CE 디바이스 (44)는 예를 들어, 삼각측량을 사용하여 적어도 하나의 위성 또는 셀 타워로부터 지리적 위치 정보를 수신하고 CE 디바이스 프로세서 (58)에 정보를 제공하고/하거나 CE 디바이스 프로세서 (58)와 함께 제 1 CE 디바이스 (44)가 배치되는 고도를 결정하도록 구성된 휴대폰 수신기, GPS 수신기 및/또는 고도계(altimeter) (64)와 같은 포지션 또는 위치 수신기를 포함할 수 있지만 이에 한정되지는 않는다. 그러나, 휴대 전화 수신기, GPS 수신기 및/또는 고도계 이외의 다른 적절한 위치 수신기가 예를 들어, 3 차원 모두에서 제 1 CE 디바이스 (44)의 위치를 결정하기 위해 본 원리에 따라 사용될 수 있다는 것을 이해해야 한다.
제 1 CE 디바이스 (44)의 설명을 계속하면, 일부 실시예에서, 제 1 CE 디바이스 (44)는 본 원리에 따라 사진/이미지 및/또는 비디오를 수집하기 위해 CE 디바이스 프로세서 (58)에 의해 제어가능하고, 그리고 예를 들어, 열 화상 카메라, 웹캠과 같은 디지털 카메라 및/또는 제 1 CE 디바이스 (44)에 통합된 카메라일 수 있는 하나 이상의 카메라 (66)를 포함할 수 있다. 또한 제 1 CE 디바이스 (44)에는 블루투스 및/또는 NFC 기술을 개별적으로 사용하는 다른 디바이스와의 통신을 위한 블루투스 트랜시버 (68) 및 다른 NFC (Near Field Communication) 엘리먼트 (70)가 포함될 수 있다. NFC 엘리먼트의 예는 라디오 주파수 식별 (RFID) 엘리먼트일 수 있다.
또한, 제 1 CE 디바이스 (44)는 CE 디바이스 프로세서 (58)에 입력을 제공하는 하나 이상의 보조 센서 (72) (예를 들어, 모션 센서 예컨대, 가속도계, 자이로스코프, 사이클로미터(cyclometer) 또는 자기 센서, 적외선 (IR) 센서, 광 센서, 속도 및/또는 카덴스(cadence) 센서, 제스처 센서 (예를 들어 제스처 명령을 감지하기 위한) 등)를 포함할 수 있다. 제 1 CE 디바이스 (44)는 CE 디바이스 프로세서(58)에 입력을 제공하는 예를 들어, 하나 이상의 기후 센서 (74) (예를 들어, 기압계, 습도 센서, 풍향 센서, 광 센서, 온도 센서 등) 및/또는 하나 이상의 생체 인식 센서 (76)와 같은 또 다른 센서를 포함할 수 있다. 앞서 말한 것 외에도, 일부 실시예에서, 제 1 CE 디바이스 (44)는 적외선 (IR) 송신기 및/또는 IR 수신기 및/또는 IR 데이터 연관 (IRDA : IR data association) 디바이스와 같은 IR 트랜시버 (78)를 또한 포함할 수 있다는 것에 유의한다. 제 1 CE 디바이스(44)에 전원을 공급하기 위해 배터리 (미도시)가 제공될 수 있다. CE 디바이스 (44)는 전술한 통신 모드 및 관련 컴포넌트 중 임의의 것을 통해 AVD (12)와 통신할 수 있다.
제 2 CE 디바이스 (46)는 CE 디바이스 (44)에 대해 도시된 컴포넌트의 일부 또는 전부를 포함할 수 있다. 하나 또는 둘 모두의 CE 디바이스는 하나 이상의 배터리로 전력을 공급받을 수 있다.
이제 전술한 적어도 하나의 서버 (80)를 참조하면, 적어도 하나의 서버 프로세서 (82), 디스크 기반 또는 솔리드 스테이트 스토리지와 같은 적어도 하나의 유형의 컴퓨터 판독 가능 스토리지 매체 (84), 및 서버 프로세서 (82)의 제어하에, 네트워크 (22)를 통해 도 1의 다른 디바이스와의 통신을 허용하고, 실제로 본 원리에 따라 서버와 클라이언트 디바이스 사이의 통신을 가능하게 할 수 있는 적어도 하나의 네트워크 인터페이스 (86)를 포함한다. 네트워크 인터페이스 (86)는 예를 들어, 유선 또는 무선 모뎀 또는 라우터, Wi-Fi 트랜시버, 또는 예를 들어, 무선 전화 트랜시버와 같은 다른 적절한 인터페이스일 수 있음에 유의한다.
따라서, 일부 실시예에서 서버 (80)는 인터넷 서버 또는 전체 서버 "팜(farm)" 일 수 있고, 시스템 (10)의 디바이스가 예를 들어, 네트워크 게임 애플리케이션에 대한 실시예에서 서버 (80)를 통해 "클라우드" 환경에 액세스할 수 있도록 "클라우드" 기능을 포함하고 수행할 수 있다. 또는, 서버 (80)는 도 1에 도시된 다른 디바이스와 동일한 방에 있는 또는 그 근처의 하나 이상의 게임 콘솔 또는 다른 컴퓨터에 의해 구현될 수 있다.
상기에서 언급한 것 외에도, 이하에 설명되는 로직 블록, 모듈 및 회로는 범용 프로세서, 디지털 신호 프로세서 (DSP), 필드 프로그래밍 가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍 가능 로직 디바이스 예컨대, ASIC (application specific integrated circuit), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 본 출원에 설명된 기능을 수행하도록 디자인된 이들의 조합으로 구현되거나 수행될 수 있다. 프로세서는 컨트롤러 또는 상태 머신 또는 컴퓨팅 디바이스의 조합으로 구현될 수 있다. 따라서, 본 출원의 방법은 프로세서, 적절하게 구성된 ASIC (application specific integrated circuits) 또는 FPGA (field programmable gate array) 모듈에 의해 실행되는 소프트웨어 명령으로 구현될 수 있으며, 당업자가 인식할 수 있는 임의의 다른 편리한 방식으로 구현될 수 있다. 사용되는 경우, 소프트웨어 명령은 하드 디스크 드라이브, CD ROM 또는 플래시 드라이브와 같은 비 일시적 디바이스에 구현될 수 있다. 소프트웨어 코드 명령은 인터넷을 통해 다운로드 될 수도 있다.
도 2-4는 컴퓨터 게이머와 같은 시청자(viewer)와 컴퓨터 게임 비디오와 같은 비디오가 제시되는 기본 디스플레이 사이에 개재(interpose)될 수 있는 다양한 반투명 디스플레이 (200, 300, 400)를 예시한다. 반투명 디스플레이 (200, 300, 400)는 따라서 기본 디스플레이에서 게임 비디오를 구동하는 컴퓨터 게임 파일로부터의 보조 정보를 증강 현실 (AR)로서 제공하는 "헤드 업 디스플레이"(HUD)의 예이다. 이러한 AR 정보의 비 제한적인 예에는 게임 캐릭터의 건강/남은 수명의 수치 표현, 시간, 스코어, 사용 가능한 무기/탄약의 성격 및 양, 능력, 게임 메뉴, 게임 진행 상태, 미니어처 형태(miniature form)로 게임에서 에뮬레이트된(emulated) 지형지도, 게임에서 에뮬레이트된 차량과 관련된 속도계/회전 속도계 게이지, 상황에 맞는(context-sensitive) 정보, 레티클/커서/십자선 표현, "스텔스 미터", 에뮬레이트된 게임 지형과 관련된 나침반/퀘스트(quest) 화살표를 포함한다. 자동차 애플리케이션에서 HUD 콘텐츠에는 차량이 있는 도로와 관련된 실제 차량 속도/속도 제한, 차선 이탈 경고, 운전 방향, 경고/차량 상태 메시지, 크루즈 제어 정보, 주변 차량 감지 경고, 도로 및/또는 기상 조건을 포함할 수 있다.
도 2의 HUD (200)는 외부 표면 (204) (즉, 바이저를 착용할 때 사용자로부터 멀리 있는 표면) 및 내부 표면 (206)을 갖는 반투명 디스플레이 (202)를 갖는 헤드 웨어러블 바이저(visor)로서 구성된다. 외부 표면은 아래에 확장된 이유로 인해 터치에 민감할 수 있다. 마이크로폰 (208)이 HUD (200) 상에 제공되어 아래에서 추가로 논의되는 목적을 위해 사용자로부터 음성 신호를 수신할 수 있다. 본 출원의 다른 HUD와 마찬가지로 HUD (200)는 프로세서, 컴퓨터 스토리지, 스피커, 입력 키, 통신 인터페이스 및 일반적으로 도 1을 참조하여 상기에서 논의된 적절한 컴포넌트를 포함할 수 있다.
도 3은 좌측 및 우측 반투명 디스플레이 (302)와 디스플레이 (302) 사이의 코 다리 (304)를 갖는 안경으로 구성된 HUD (300)를 예시한다. 좌측 및 우측 템플(temple) (306)은 사용자의 좌측 및 우측 귀와 맞물리도록 디스플레이로부터 연장될 수 있다.
도 4는 게임 컨트롤러 (404)를 작동하는 게이머 (402)의 머리에 착용되지 않고 오히려 독립형 디스플레이로서 게이머 (402)와 기본 디스플레이 (406) 사이에 개재되도록 구성된 또 다른 HUD (400)를 예시한다. 기본 디스플레이 (406)는 본 출원에서 논의된 임의의 디스플레이, 예를 들어, 도 1의 디스플레이 (14)에서 구현될 수 있다.
컨트롤러 (404)는 기본 디스플레이 (406) 상의 컴퓨터 게임 프로그램으로부터 요구되는 이미지를 생성하는 컴퓨터 게임 콘솔 (408)에 게임 플레이 신호를 입력한다. 게이머 (402)가 컨트롤러 (404)를 작동하여 기본 디스플레이 (406)에 제시된 게임을 플레이할 때, 게이머는 예를 들어, 도시된 바와 같이 HUD(400)이 지지되는 스탠드에 장착된 UST(ultra-short-throw) 프로젝터와 같은 프로젝터(410)를 써서 게이머 (402)와 기본 디스플레이 (406) 사이에 개재된 반투명 HUD (400)를 통해 기본 디스플레이 (406)의 게임 비디오와 HUD (400)에서 생성된 AR 정보 둘 모두를 볼 수 있다. 본 출원의 다른 HUD는 AR 정보를 제시하기 위해 프로젝터 또는 다른 프리젠테이션 기술을 사용할 수 있음을 이해해야 한다.
도면들 2-4에 도시된 다양한 HUD 구성에 추가하여, HUD는 게이머의 시야를 가로 지르는 방식으로 게이머의 몸에 걸쳐 착용되도록 구성될 수 있다.
도 5는 도 4의 HUD(400)과 유사한 HUD의 추가 세부 사항을 예시한다. 예컨대, 한정되는 것을 아니지만, 소니 플레이스테이션® 콘솔 또는 마이크로소프트 Xbox® 콘솔과 같은 컴퓨터 게임 콘솔은 콘솔의 데이터 스토리지(502)에 저장된 하나 이상의 컴퓨터 게임 프로그램을 실행할 수 있다. 콘솔 (500)은 컴퓨터 게임 프로그램에 의해 요구되는 비디오를 기본 디스플레이 (504)로 발송한다. 전형적으로, 상기에서 설명된 임의의 유형의 보조 정보와 같은 보조 정보는 게이머가 자신의 시선을 비디오의 메인 동작으로부터 작은 영역 (506)으로 벗어났다가 다시 어느 정도 언제나 되돌아오는 것을 필요로 하는 도시된 예에서 좌측 하단 코너 영역과 같은 기본 디스플레이 (504)의 작은 영역 (506)에 제시된다.
그러나, 도 5에 도시된 바와 같이, 본 원리에 따라, 작은 영역 (506)의 보조 정보는 기본 디스플레이 (504)의 작은 영역 (506)으로부터 AR 정보로서 반투명 HUD (508)의 디스플레이 영역의 전부 또는 실질적으로 전부로 이동될 수 있다. 보조 정보는 HUD에 AR 정보로 제시될 때 기본 디스플레이 (504)의 작은 영역 (506)에서 제거될 수 있거나, HUD에 제공되는 것에 추가하여 작은 영역에 남아 있을 수 있다.
원하는 경우 사용자는 음성 명령 또는 다른 입력 모드를 통해 AR 콘텐츠가 HUD에 제시되는 빈도 또는 타이머 설정을 선택할 수 있다. 빈도는 초기에 디폴트 빈도로 설정될 수 있으며, 원하는 경우 AR 콘텐츠의 유형에 따라 예를 들어, 메시지의 경우 더 짧은 빈도, 지도의 경우 더 긴 빈도로 빈도가 결정될 수 있다. 이러한 실시예에서, 아래에서 설명하는 지도와 같은 AR 콘텐츠는 일정 기간 동안 화면에 남아 있고, 일정 기간 동안 사라졌다가 다시 나타나고 해당 빈도로 나타나고 사라지는 것을 순환한다.
HUD가 포함할 수 있는 다양한 내부 컴포넌트를 예시하기 위해, 하나 이상의 프로세서 (510)는 본 원리를 실행하기 위해 하나 이상의 컴퓨터 스토리지 (512) (전형적으로 일시적인 신호가 아님)에 액세스할 수 있다. 예를 들어, HUD 컴포넌트와 게임 콘솔 (500) 사이의 통신은 범용 직렬 버스 (USB) 포트 또는 트랜시버와 같은 하나 이상의 통신 인터페이스 (514)를 통해 이루어질 수 있다. 게임과 관련된 오디오 및 보다 전형적으로 HUD에 제시된 AR 정보는 하나 이상의 오디오 스피커 (516)에서 재생될 수 있다. 하나 이상의 마이크로폰 (518)이 제공되어 음성 신호를 감지하고, 예를 들어, 후술하는 바와 같이 명령을 생성하기 위해 음성 신호에 대한 음성 인식을 구현하기 위해 프로세서 (510)에 음성 신호를 발송할 수 있다. 원한다면, 각각의 키와 관련된 명령을 입력하기 위해 하나 이상의 조작 가능한 키 (520)가 제공될 수 있다.
도면들 6-8은 AR 정보의 HUD 프리젠테이션을 개시하기 위한 다양한 기술을 예시한다. 도 6의 블록 (600)에서, 게임 콘솔과 HUD 사이의 통신은 게임 콘솔과 HUD 중 하나 또는 둘 모두에 의해 검출될 수 있다. 예를 들어, HUD에서 게임 콘솔로 USB 케이블 플러그 인이 검출될 수 있고, 즉, USB 통신은 핫 플러그 가능 통신 원리를 사용하여 검출될 수 있다. 통신을 검출하는 것에 응답하여, 블록(602)에서, 게임 프로그램이 예를 들어, 도 5의 기본 디스플레이 (504)의 작은 영역 (506)에 제시되도록 명령하는 보조 정보가 게임 콘솔에서 HUD로 발송되어 HUD가 보조 정보를 AR 정보로 제시하게 하고 이를 통해 게이머가 기본 디스플레이에서 주요 동작을 볼 수 있으며 동시에 과도한 시선 전환없이 HUD에서 AR 정보를 볼 수 있다.
한편, 도 7의 블록 (700)에서 "HUD 프리젠테이션"과 상관되는 HUD 또는 게임 콘솔 또는 게임 컨트롤러상의 미리 결정된 키의 조작이 수신될 수 있다. 이에 응답하여, 블록(702)에서, 게임 프로그램이 예를 들어, 도 5의 기본 디스플레이 (504)의 작은 영역 (506)에 제시되도록 명령하는 보조 정보가 게임 콘솔에서 HUD로 발송되어 HUD가 보조 정보를 AR 정보로 제시하게 할 수 있다.
다시, 도 8은 블록(800)에서 음성 명령이 HUD 프리젠테이션을 개시하기 위해 HUD 및/또는 게임 콘솔 및/또는 게임 컨트롤러에 의해 수신될 수 있음을 예시한다. 이에 응답하여, 블록(802)에서, 게임 프로그램이 예를 들어, 도 5의 기본 디스플레이 (504)의 작은 영역 (506)에 제시되도록 명령하는 보조 정보가 게임 콘솔에서 HUD로 발송되어 HUD가 보조 정보를 AR 정보로 제시하게 할 수 있다.
도 9는 HUD AR 프리젠테이션 작동 로직의 예를 예시한다. 도 9에 예시된 로직은 HUD 프로세서 또는 본 출원에 개시된 임의의 다른 프로세서 또는 프로세서 조합에 의해 전체적으로 또는 부분적으로 실행될 수 있다. 블록 (900)에서 시작하여, HUD상의 AR 정보로서 제시될 수 있는 후보가 될 수 있는 보조 정보를 식별하는 컴퓨터 게임 프로그램의 코드 라인이 액세스된다. 코드 라인은 객체 유형 그래픽 객체 예를 들어, "회전속도계", "지도" 또는 "메시지"를 직접 나타낼 수 있으며, 프로세서는 객체 유형의 데이터 구조에 액세스하여 유형이 AR 객체와 연관되어 있는지 여부를 결정한다. 그렇다면 컴퓨터 게임 프로그램에서 객체를 나타내는 코드 라인을 획득하여 HUD에 AR 정보를 제시하는데 사용된다. 또는 코드 라인은 해당 객체의 기본 디스플레이 의 위치를 나타낼 수 있다. 예를 들어, 코드 라인은 기본 디스플레이의 작은 영역 (506)에 는 객체를 표시할 수 있다. AR 정보와 상관된 기본 디스플레이상의 객체 위치를 나타내는 코드를 기반으로 컴퓨터 게임 프로그램에서 객체를 추출하여 HUD상에 제시한다.
블록 (902)는 자동으로, 예를 들어 게임 콘솔과의 통신이 설정되고 상기의 원리에 따라 또는 음성 명령 또는 다른 사용자 명령에 따라 AR 정보로서 보조 정보가 식별된 후 블록 (900)에서 식별된 보조 정보가 AR 정보로서 HUD에 제시되는 것을 나타낸다. 일부 실시예에서, 보조 정보는 미리 결정된 우선 순위에 따라 제시를 위해 우선 순위가 지정될 수 있으며, "N" AR 객체만이 한 번에 제시되고, 여기서 "N"은 하나 이상의 정수이다. 또는, 객체의 이름을 나타내는 음성 명령으로 명령을 받은 객체가 제시될 수 있다. 예를 들어, 게이머는 회전 속도계를 제시하려면 "태치(tach)"라고 말하고, HUD에 남은 탄약 수를 제시하려면 "암모(ammo)"라고 말하거나 게이머의 남은 생명을 나타내는 숫자를 표시하려면 "생명(lives)"라고 말하거나 또는 HUD에 제시되는 캐릭터 또는 게임 지형을 HUD에 제시하는 "지도(map)"를 말할 수 있다.
블록 (904)에서, AR 객체가 움직이고 있음을 나타내는 신호가 게임 프로그램으로부터 수신될 수 있으며, 이는 HUD상의 객체의 프리젠테이션이 움직임 신호에 상응하는 블록 (906)에서 색상 또는 크기를 변경하게 할 수 있다. 예를 들어, AR 정보에 게임 내 시야 주변의 특정 게임 캐릭터가 포함되어있는 경우, 캐릭터가 게이머 캐릭터의 에뮬레이트된 위치에 가까워질수록, 캐릭터의 HUD 프리젠테이션은 크기가 증가하거나 색상이 변경 예를 들어, 녹색에서 빨간색으로 될 수 있다.
예를 들어, HUD 상의 카메라를 사용하여 게이머의 눈 방위를 추적할 수 있다는 것을 상기한다. 블록 (908)은 카메라로부터의 정보가 수신될 수 있고 블록 (910)에서 컴퓨터 게임 프로그램을 실행하는 게임 콘솔로 발송될 수 있음을 나타낸다. 일 예에서, 게이머가 바라 보는 방향은 게이머와 관련된 캐릭터가 사용하는 무기에 대한 조준선으로 게임 지형에서 에뮬레이션되므로 게이머는 예를 들어, 기본 디스플레이의 객체만을 볼 필요가 있고, 무기 발사를 나타내는 키를 누르면 게이머의 시선으로 설정된 조준선을 따라 무기가 발사되게 한다.
블록 (912)는 인터포즈 디스플레이 상에 제시된 AR 정보가 예를 들어, HUD의 외부 표면상의 터치에 응답하여 이동될 수 있음을 나타낸다. 블록 (912)은 또한 HUD의 반투명도가 게이머 명령에 따라 변경될 수 있음을 나타낸다. 도면들 10-12가 예시된다.
도 10에서, 기본 디스플레이 (1000)는 기본 디스플레이를 마주하는 터치 감응 표면 (1004)을 갖는 반투명 HUD (1002) 뒤에 도시된다. AR 정보 (1006)가 HUD에 제시된다. HUD를 통해 기본 디스플레이를 보는 게이머 (1008)는 화살표 (1014)로 표시된 바와 같이 HUD의 터치 감응 측면 (1004)에 맞닿은 손가락 (1010)을 새로운 위치 (1012)로 이동시킴으로써 AR 정보 (1006)를 이동시킬 수 있다. AR 콘텐츠는 음성 명령 예를 들어, "태치 왼쪽으로 이동"에 따라 이동할 수도 있다는 것에 유의한다.
도 11 및 12는 이전 원리에 따른 기본 디스플레이 (1100) 및 HUD (1102)를 예시하고 AR 정보는 지도 (1104)를 포함하는 HUD (1102) 상에 제시된다. 게이머 (1106)는 상기의 원리에 따라 지도를 보고 HUD를 통해 기본 디스플레이 (1100)를 본다.
게이머가 예를 들어, 맵 (1104)을 더 어둡게 보이게 함으로써 HUD의 반투명도를 감소시키고자 하는 경우, 게이머는 "더 어둡게(make darker)"와 같은 음성 명령을 발행하여 맵이 도 12에 도시된 바와 같이 더 짙은 윤곽이 띠거나 더 어두운 버전(1200)을 띠도록 하게 할 수 있다. 다른 사용 사례로는 HUD의 전체적인 반투명도를 높이는 "디스플레이를 밝게(lighten display)" 또는 AR 정보의 어두움을 줄여 HUD 반투명도를 높이는 "지도 밝게(lighten map)" 또는 "AR 밝게(lighten AR)"라는 게이머 음성 명령을 포함한다. HUD에 제시될 수 있는 AR 콘텐츠의 또 다른 예는 착신 메시지를 포함한다. 따라서, 사용자가 게임을 하는 동안 메시지가 들어오면 메시지가 스크롤되거나 그렇지 않으면, HUD에 디스플레이될 수 있다. 다른 사용자의 콘솔 또는 연결된 외부 디바이스 (블루투스, BLE, Wi-Fi 등을 통한 휴대 전화)로부터의 메시지일 수 있다.
본 원리가 일부 예시적인 실시예를 참조하여 설명되었지만, 이들은 한정하려는 의도가 아니며 본 출원에서 청구된 주제를 구현하기 위해 다양한 대안적인 배열이 사용될 수 있다는 것을 이해할 것이다.

Claims (20)

  1. 시스템에 있어서,
    컴퓨터 게임 프로그램에 의해 요구되는 비디오를 제시하도록 구성된 적어도 하나의 기본 디스플레이(primary display);
    적어도 하나의 인터포즈 디스플레이(interpose display)로서, 상기 적어도 하나의 인터포즈 디스플레이는 컴퓨터 게이머와 상기 기본 디스플레이 사이에 위치될 수 있고, 상기 인터포즈 디스플레이는 반투명인, 상기 인터포즈 디스플레이; 및
    일시적인 신호가 아니며, 적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함하는 적어도 하나의 컴퓨터 스토리지로서,
    상기 컴퓨터 게임 프로그램으로부터의 증강 현실 (AR : augmented reality) 정보를 상기 인터포즈 디스플레이에 제시하고, 상기 컴퓨터 게이머가 상기 인터포즈 디스플레이를 통해 보고 상기 컴퓨터 게임 프로그램에 의해 요구되는 비디오를 상기 기본 디스플레이 상에서 볼 때 상기 컴퓨터 게이머가 자신의 시선에서 상기 AR 정보를 볼 수 있도록 실행 가능한 상기 명령을 포함하는, 상기 컴퓨터 스토리지를 포함하는, 시스템.
  2. 제 1 항에 있어서, 상기 프로세서를 포함하는, 시스템.
  3. 제 1 항에 있어서, 상기 인터포즈 디스플레이는 상기 컴퓨터 게이머의 머리에 착용되도록 구성되는, 시스템.
  4. 제 2 항에 있어서, 상기 인터포즈 디스플레이는 안경처럼 구성되는, 시스템.
  5. 제 2 항에 있어서, 상기 인터포즈 디스플레이는 상기 컴퓨터 게이머로부터 떨어져 있는 상기 컴퓨터 게이머의 의도된 시야(field of view)에 직접 배치되거나 장착되도록 구성되는, 시스템.
  6. 제 1 항에 있어서, 상기 명령은 건강/생명, 시간, 스코어, 무기/탄약, 능력, 메뉴, 게임 진행 상황, 미니 맵, 속도계/회전 속도계, 상황에 맞는(context-sensitive) 정보, 레티클(reticle)/커서/십자선, 스텔스미터(stealthometer), 나침반 중 하나 이상을 포함하는 비디오 게임 플레이로부터의 사용자 콘텐츠, 데이터 및/또는 업데이트를 상기 인터포즈 디스플레이 상에 제시하도록 실행 가능한, 시스템.
  7. 제 1 항에 있어서, 상기 명령은 디바이스 또는 차량의 작동, 배터리 수명, 차량 속도, 오일 레벨, 속도/속도 제한, 차선 이탈 경고, 운전 방향, 경고/차량 상태 메시지, 크루즈 컨트롤 정보(cruise control information), 근접 차량 감지, 도로 및/또는 기상 조건에 중요한 콘텐츠, 데이터 및/또는 업데이트 중 하나 이상을 상기 인터포즈 디스플레이에 제시하도록 실행 가능한, 시스템.
  8. 제 1 항에 있어서, 상기 인터포즈 디스플레이는 상기 기본 디스플레이를 마주하는 외부 표면 및 내부 표면을 포함하고, 상기 외부 표면은 터치 감응(touch sensitive)이고, 상기 명령은,
    상기 인터포즈 디스플레이의 외부 표면 상의 터치에 응답하여 상기 인터포즈 디스플레이에 제시된 AR 정보를 이동시키도록 실행 가능한, 시스템.
  9. 제 1 항에 있어서, 상기 컴퓨터 게이머의 눈 방위를 추적하도록 배치된 상기 인터포즈 디스플레이상의 적어도 하나의 카메라를 포함하고, 상기 카메라로부터의 정보는 상기 컴퓨터 게임 프로그램을 실행하는 게임 콘솔로 발송되는, 시스템.
  10. 제 1 항에 있어서, 상기 컴퓨터 게임 프로그램을 실행하는 적어도 하나의 게임 콘솔을 포함하는, 시스템.
  11. 제 1 항에 있어서, 상기 명령은,
    상기 AR 정보를 식별하는 상기 컴퓨터 게임 프로그램의 코드를 액세스하고; 및
    상기 코드를 사용하여, 상기 인터포즈 디스플레이 상에 상기 AR 정보를 제시하도록 실행 가능한, 시스템.
  12. 제 1 항에 있어서, 상기 명령은,
    AR 정보의 움직임을 나타내는 상기 컴퓨터 게임 프로그램으로부터의 신호를 수신하고; 및
    상기 신호에 적어도 부분적으로 기초하여, 상기 인터포즈 디스플레이 상의 상기 AR 정보의 색상, 크기 중 적어도 하나를 변경하도록 실행 가능한, 시스템.
  13. 제 1 항에 있어서, 상기 명령은,
    상기 인터포즈 디스플레이와 연관된 통신 컴포넌트와 상기 컴퓨터 게임 프로그램을 실행하는 적어도 하나의 게임 콘솔 사이의 통신을 검출하는 것에 응답하여, 상기 컴퓨터 게임 프로그램에서 상기 인터포즈 디스플레이로 AR 정보를 전송하도록 실행 가능한, 시스템.
  14. 제 1 항에 있어서, 상기 명령은,
    적어도 하나의 게이머가 시작한 입력 명령에 응답하여, 상기 컴퓨터 게임 프로그램에서 상기 인터포즈 디스플레이로 AR 정보를 발송하도록 실행 가능한, 시스템.
  15. 방법에 있어서,
    게임 프로그램에 따라 컴퓨터 게임 비디오를 기본 디스플레이에 제시하는 단계; 및
    상기 게임 프로그램으로부터의 정보를 상기 기본 디스플레이와 컴퓨터 게이머 사이에 위치된 반투명 디스플레이에 증강 현실 (AR) 정보로 제시하는 단계를 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 반투명 디스플레이의 외부 표면에 대한 터치에 응답하여 및/또는 상기 AR 정보를 이동시키기 위한 음성 명령에 응답하여 상기 반투명 디스플레이 상에 제시된 AR 정보를 이동시키는 단계를 포함하는, 방법.
  17. 제 15 항에 있어서,
    상기 AR 정보를 식별하는 상기 컴퓨터 게임 프로그램의 코드에 액세스하는 단계; 및
    상기 코드를 사용하여, 상기 반투명 디스플레이 상에 상기 AR 정보를 제시하는 단계를 포함하는, 방법.
  18. 제 15 항에 있어서,
    AR 정보의 움직임을 나타내는 상기 컴퓨터 게임 프로그램으로부터의 신호를 수신하는 단계; 및
    상기 신호에 적어도 부분적으로 기초하여, 상기 반투명 디스플레이 상의 상기 AR 정보의 색상, 크기 중 적어도 하나를 변경하는 단계를 포함하는, 방법.
  19. 디스플레이 어셈블리에 있어서,
    적어도 하나의 반투명 디스플레이;
    적어도 하나의 프로세서에 의해 실행 가능한 명령을 포함하는 적어도 하나의 컴퓨터 스토리지로서,
    상기 반투명 디스플레이와 분리된 기본 디스플레이 상에 비디오를 제시하기 위해 실행되는 컴퓨터 게임 프로그램으로부터의 코드를 액세스하고; 및
    코드에 의해 전달되는 정보를 상기 반투명 디스플레이 상에 제시하도록 실행 가능한 상기 명령을 포함하는, 상기 컴퓨터 스토리지를 포함하는, 디스플레이 어셈블리.
  20. 제 19 항에 있어서, 상기 명령은,
    상기 디스플레이 장치와 상기 컴퓨터 게임 프로그램을 실행하는 적어도 하나의 게임 콘솔 사이의 통신을 검출하는 것에 응답하여, 상기 컴퓨터 게임 프로그램으로부터 증강 현실 (AR) 정보를 수신하고;
    AR 정보의 움직임을 나타내는 상기 컴퓨터 게임 프로그램으로부터의 신호를 수신하고; 및
    상기 신호에 적어도 부분적으로 기초하여, 상기 반투명 디스플레이 상의 상기 AR 정보의 색상, 크기 중 적어도 하나를 변경하도록 실행 가능한, 디스플레이 어셈블리.
KR1020207027424A 2018-03-14 2019-01-19 비디오 스트림으로부터 특정 상황의 ｈｕｄ 콘텐츠를 파싱하는 방법 및 프로 게이밍 ａｒ 바이저 KR102450896B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/921,141 2018-03-14
US15/921,141 US10695667B2 (en) 2018-03-14 2018-03-14 Pro gaming AR visor and method for parsing context specific HUD content from a video stream
PCT/US2019/014379 WO2019177692A2 (en) 2018-03-14 2019-01-19 Pro gaming ar visor and method for parsing context specific hud content from a video stream

Publications (2)

Publication Number Publication Date
KR20210035773A true KR20210035773A (ko) 2021-04-01
KR102450896B1 KR102450896B1 (ko) 2022-10-05

Family

ID=67904953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027424A KR102450896B1 (ko) 2018-03-14 2019-01-19 비디오 스트림으로부터 특정 상황의 ｈｕｄ 콘텐츠를 파싱하는 방법 및 프로 게이밍 ａｒ 바이저

Country Status (6)

Country Link
US (2) US10695667B2 (ko)
EP (1) EP3765944A4 (ko)
JP (1) JP7155280B2 (ko)
KR (1) KR102450896B1 (ko)
CN (1) CN112654950A (ko)
WO (1) WO2019177692A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520217B1 (en) * 2021-08-03 2022-12-06 Sony Interactive Entertainment Inc. Four-sided projection for augmented reality
JP2023115808A (ja) * 2022-02-08 2023-08-21 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、および記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2669885A2 (en) * 2012-05-28 2013-12-04 Acer Incorporated Transparent display device and transparency adjustment method thereof
JP2014010664A (ja) * 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 映像処理装置、映像処理方法、および映像処理システム
US20150205106A1 (en) * 2014-01-17 2015-07-23 Sony Computer Entertainment America Llc Using a Second Screen as a Private Tracking Heads-up Display

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467184B (zh) * 2006-04-13 2013-03-13 Igt公司 用于在游戏设备上集成远程主机和本地显示内容的方法和装置
EP2059315A4 (en) * 2006-08-24 2011-10-26 Howard W Lutnick COMPUTER TERMINAL SYSTEM WITH MULTIPLE DISPLAY SCREENS
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20130038702A1 (en) * 2010-03-09 2013-02-14 Imax Corporation System, method, and computer program product for performing actions based on received input in a theater environment
US9159165B2 (en) * 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9865125B2 (en) 2010-11-15 2018-01-09 Bally Gaming, Inc. System and method for augmented reality gaming
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8632182B2 (en) * 2011-05-05 2014-01-21 Sony Computer Entertainment Inc. Interface using eye tracking contact lenses
US20130232430A1 (en) * 2011-08-26 2013-09-05 Reincloud Corporation Interactive user interface
EP2761362A4 (en) * 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US9452354B2 (en) * 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US10303242B2 (en) * 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US9726889B2 (en) 2014-05-23 2017-08-08 NUVIZ, Inc. Helmet mounted display
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US10373379B2 (en) * 2015-08-20 2019-08-06 Disney Enterprises, Inc. Deformable-surface tracking based augmented reality image generation
US10449448B2 (en) * 2015-10-15 2019-10-22 Sony Interactive Entertainment America Llc Method for improving game streaming performance in the cloud
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
US10252154B2 (en) * 2016-12-01 2019-04-09 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of content at headset based on rating

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2669885A2 (en) * 2012-05-28 2013-12-04 Acer Incorporated Transparent display device and transparency adjustment method thereof
JP2014010664A (ja) * 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 映像処理装置、映像処理方法、および映像処理システム
US20150205106A1 (en) * 2014-01-17 2015-07-23 Sony Computer Entertainment America Llc Using a Second Screen as a Private Tracking Heads-up Display

Also Published As

Publication number Publication date
EP3765944A4 (en) 2022-03-23
WO2019177692A3 (en) 2020-04-09
US10695667B2 (en) 2020-06-30
JP2021518177A (ja) 2021-08-02
WO2019177692A2 (en) 2019-09-19
US20200384357A1 (en) 2020-12-10
CN112654950A (zh) 2021-04-13
KR102450896B1 (ko) 2022-10-05
US11325028B2 (en) 2022-05-10
JP7155280B2 (ja) 2022-10-18
US20190282894A1 (en) 2019-09-19
EP3765944A2 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
US20210268373A1 (en) Force feedback to improve gameplay
US11325028B2 (en) Pro gaming AR visor and method for parsing context specific HUD content from a video stream
US20220258045A1 (en) Attention-based ai determination of player choices
CN113041619A (zh) 虚拟车辆的控制方法、装置、设备及介质
US11402917B2 (en) Gesture-based user interface for AR and VR with gaze trigger
US11771993B2 (en) Changing response window for interactive content using user's reaction time
US12053699B2 (en) Foveated enhancement of non-XR games within a HMD system
US12090396B2 (en) Haptics support for UI navigation
JP7462069B2 (ja) 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
US20220355211A1 (en) Controller action recognition from video frames using machine learning
US20240041319A1 (en) Eye tracking for accessibility and visibility of critical elements as well as performance enhancements
US11632529B2 (en) Projecting content onto water to enhance computer simulation
US11373342B2 (en) Social and scene target awareness and adaptation of an occlusion system for increased social and scene interaction in an optical see-through augmented reality head mounted display
US20240115942A1 (en) Customizable virtual reality scenes using eye tracking
US20210129033A1 (en) Spectator feedback to game play
WO2020180509A1 (en) Controller inversion detection for context switching

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant