KR101610984B1 - 증강 현실 애플리케이션을 위한 모바일 장치 - Google Patents

증강 현실 애플리케이션을 위한 모바일 장치 Download PDF

Info

Publication number
KR101610984B1
KR101610984B1 KR1020117012880A KR20117012880A KR101610984B1 KR 101610984 B1 KR101610984 B1 KR 101610984B1 KR 1020117012880 A KR1020117012880 A KR 1020117012880A KR 20117012880 A KR20117012880 A KR 20117012880A KR 101610984 B1 KR101610984 B1 KR 101610984B1
Authority
KR
South Korea
Prior art keywords
visual
information
mobile device
virtual
background
Prior art date
Application number
KR1020117012880A
Other languages
English (en)
Other versions
KR20110100207A (ko
Inventor
파스칼 존트롭
마르크 브루노 프리다 고든
Original Assignee
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알까뗄 루슨트 filed Critical 알까뗄 루슨트
Publication of KR20110100207A publication Critical patent/KR20110100207A/ko
Application granted granted Critical
Publication of KR101610984B1 publication Critical patent/KR101610984B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실제 시각적 배경 정보(L, F)를 포함하는 외부의 시각적 정보(이미지; B, L, F)를 캡쳐하기 위한 시각적 입력 장치(C), 및 선택된 애플리케이션을 상기 외부의 시각적 정보(이미지)와 연관시키고, 상기 외부의 시각적 정보(이미지)와 사용자 관련 입력 정보를 기초로 상기 선택된 애플리케이션을 실행하며, 상기 애플리케이션에 응답해서 적어도 하나의 가상의 시각적 객체(VVO(n+1))에 관련된 시각적 출력 신호(P(n+1))를 발생시키기 위한 처리 장치(PD)를 포함하는 모바일 장치(MD)에 있어서, 상기 모바일 장치(MD)는 프로젝터 장치(P)를 더 포함하며, 상기 처리 장치(PD)는 또한 상기 시각적 출력 신호(P(n+1))를 상기 프로젝터 장치(P)에 제공하도록 구성되어, 상기 프로젝터 장치(P)가 상기 적어도 하나의 가상의 시각적 객체(VVO(n+1))에 관련된 상기 시각적 출력 신호(P(n+1))를 상기 시각적 배경에 투사하여 상기 외부의 시각적 정보를 수정하도록 구성되어 있다.

Description

증강 현실 애플리케이션을 위한 모바일 장치{MOBILE DEVICE FOR AUGMENTED REALITY APPLICATION}
본 발명은 청구항 1의 전제부에 기술된 바와 같은 증강 현실 애플리케이션을 위한 모바일 장치에 관한 것이다.
국제특허출원 제PCT/CH2006/000196호는 카메라, 및 선택된 애플리케이션을 외부의 시각적 정보와 연관시키며 시각적 배경 정보와 모바일 장치의 배향을 기초로 선택된 애플리케이션의 실행을 시작하는 제어 모듈을 포함하는 모바일 장치를 개시한다. 시각적 배경에 관한 모바일 장치의 배향은 사용자가 모바일 장치를 위치시키는 방향에 관련되기 때문에 사용자 관련 입력 정보로 간주될 수 있다. 종래의 모바일 장치는 상기 애플리케이션에 응답하여 시각적 출력 신호를 발생시키며 모바일 장치의 디스플레이에 이러한 시각적 출력 신호를 제공하는 출력 발생기를 더 포함한다.
만일 모바일 장치가 예를 들어 휴대폰이라면, 종래의 솔루션은 따라서 현실의 시각적 배경을 포함하며 애플리케이션으로부터 기인하는 몇몇 가상 객체를 사용하여 증강된 증강 현실 이미지를 휴대폰의 디스플레이에 보여주리라고 예견한다. 이것은 증강 현실이 단지 셀룰러 폰의 작은 스크린 상에서 볼 수 있다는 것을 의미한다. 게임 애플리케이션의 경우에, 작은 스크린은 게임 경험을 심각하게 제한할 수 있다. 만일 랩탑 컴퓨터가 모바일 장치로 사용된다면, 디스플레이가 이미 더 크지만, 심지어 그때에도 예를 들어 게임 그 자체에 고유한 사용자의 어떤 물리적인 동작을 포함하는 사용자의 보다 적극적인 참여가 더 바람직한 일부 애플리케이션에 대해서는 사용자 경험이 제한될 수 있다. 이것은 예를 들어 사용자가 수동으로 모바일 장치 그 자체 상에 있는 몇몇 제어 버튼을 제어할 뿐만 아니라 예를 들어 볼을 차거나, 정지시키거나 또는 되차는(countering a football) 동작을 수행함에 의해 보다 능동적으로 참여할 것을 원하는 축구 게임에서와 같은 경우일 수 있다.
따라서, 본 발명의 목적은 상기한 공지된 종류이지만 종래 장치와 관련된 문제점들을 해결할 수 있는 모바일 장치를 제공하는 것이다.
이 목적을 위해서, 본 발명에 따른 모바일 장치는 제 1항의 특징부에 기재된 바와 같은 특징을 더 포함한다.
이동단말기에 포함된 프로젝터 장치는 그에 의해 어떤 가상의 시각적 객체를 실제 시각적 배경에 투사할 수 있을 것이다. 축구 게임의 전술한 예에서, 이 가상의 시각적 객체는 그러면 선수가 현재 게임을 하면서 서있는 바닥에 투사될 가상의 축구공이 될 수 있을 것이다. 사용자가 차는 동작을 수행할 수 있는 바닥 위에 투사된 공을 이용해서, 선수는 본 발명의 목적인 더 한층 자극적인 게임 경험을 가질 수 있다: 훨씬 더 능동적으로 게임에 참여함과 아울러 인간/장치 인터페이스를 풍부하게 하게 함. 모바일 장치의 프로젝터는 단지 가상의 시각적 객체를 배경으로 투사하는 것만이 필요하며, 따라서 단지 처리 장치로부터 이 가상의 시각적 객체 정보를 받는 것만이 필요하다. 처리 장치는 따라서 이러한 종류의 신호를 프로젝터에 제공하도록 되어 있다. 이 가상의 시각적 객체를 배경으로 투사함에 의해서, 외부의 시각적 배경 정보는 물론 애플리케이션 그 자체에 응답해서 변화할 것이다.
본 발명의 다른 특징은 제 2항에 기재된다. 이 경우에, 사용자 관련 입력 정보는 예를 들어 축구 선수의 발의 이미지와 같은 시각적 정보를 포함하며, 그 시각적 정보는 배경 정보에 포함된다. 이 사용자관련 정보는 또한 상기 모바일 장치 내에 포함되는 한편 예를 들어 상기 시각적 배경 정보에 관해 상기 모바일 장치의 배향을 결정함으로써 배경에 대한 모바일 장치의 동작을 감지하도록 되어 있는 동작 감지기에 의해 감지된 동작 정보를 포함한다.
본 발명의 추가적인 특징들은 제4항 내지 제6항에 기재된다. 상기 시각적 입력 장치(C)로부터 수신된 상기 외부의 시각적 정보로부터 실제 시각적 배경 정보와 가상의 시각적 객체를 구분함과 아울러 그들로부터 메타데이터 정보를 연속적으로 추출함에 의해서, 모바일 장치에 대한 몇몇 애플리케이션의 플러그 인을 허용하는 유니버설 플랫폼이 실현된다.
제7항 내지 제 10항은 몇몇 실시예에서 처리 장치가 상기 모바일 장치에 포함되는 디스플레이에 제공하기 위해 상기 가상의 시각적 객체에 관련되는 제 2 시각적 출력 신호를 생성하도록 되어 있다. 몇몇의 이러한 실시예에서, 가상의 시각적 객체는 그때 모바일 장치의 스크린에 나타날 것이다. 다른 실시예에서, 이 처리 장치는 더욱 상기 제 2 시각적 출력 신호를 적어도 하나의 다른 가상의 시각적 객체를 포함하는 것으로 생성하도록 되어 있다. 이는 예를 들어 전술한 축구 게임의 경우이며, 여기에서 모바일 장치의 스크린은 단지 가상의 점수판 상에 선수의 점수를 나타내며, 반면에 가상의 축구공은 단지 바닥으로 투사된다. 또 다른 실시예에 있어서, 처리 장치는 더욱 상기 제 2 시각적 출력 신호를 상기 애플리케이션에 의해 생성된 적어도 하나의 다른 가상의 시각적 객체 위에 놓여지는 상기 가상의 시각적 객체 및/또는 시각적 배경 정보를 포함하도록 생성하게 되어 있다. 전술한 축구 게임의 예에서, 모바일 장치의 디스플레이는 그때 가상의 골대, 가상의 점수판 및 가능하면 또한 사용자가 서있으며 가상의 축구공이 투사되는 바닥과 함께 축구공을 보여준다. 다른 조합도 또한 예상될 수 있다.
첨부 도면과 연계된 일 실시예에 대한 다음의 설명을 참조함으로써, 본 발명의 전술한 그리고 다른 목적과 특징이 보다 명확하게 될 것이며, 본 발명 그 자체가 가장 잘 이해될 것이다.
도 1은 본 발명에 따라 모바일 장치(MD)을 이용하여 축구 게임을 하는 하나의 선수를 개략적으로 나타낸다.
도 2는 본 발명에 따른 모바일 장치(MD)의 일 실시예의 가능한 상세한 구현을 제시한다.
도 3은 도 2의 이미지 분석기와 애플리케이션 엔진에 의해 생성된 메타데이터의 일례를 도시한다.
도 4는 본 발명에 따른 모바일 장치(MD1 및 MD2)를 사용하는 두 명의 선수의 다중 선수 상황을 개략적으로 도시한다.
도 5는 본 발명에 따른 모바일 장치 상에서 구동되는 다른 애플리케이션을 개략적으로 도시한다.
도 6은 본 발명에 따른 모바일 장치 상에서 구동되는 또 다른 애플리케이션을 개략적으로 도시한다.
본 발명은 증강 현실 애플리케이션을 위한 모바일 장치에 관한 것이다. 이러한 모바일 장치는 휴대폰, 개인 휴대 단말기, 랩탑 컴퓨터와 같은 모바일 컴퓨터, 태블릿 컴퓨터, 게임 콘솔, GPS 단말기 등과 같은 모바일 장치의 다음의 한정된 리스트에 포함될 수 있다. 일반적으로, 이하에서 설명되는 바와 같이 시각적 정보를 캡처할 수 있고, 애플리케이션에서 사용하기 위해 이러한 시각적 정보를 처리하며, 가상 객체를 배경으로 투사할 수 있는 어떠한 휴대용 장치도 본 발명을 구현하기 위해 사용될 수 있다.
도 1은 사용자(U)에 의해 동작되는 그러한 모바일 장치(MD)의 일 실시예를 도시한다. 모바일 장치(MD)는 VBI라고 약칭되는 실제 시각적 배경 정보(visual background information)를 포함하는 외부의 시각적 정보 그 자체를 캡쳐할 수 있는 카메라, 디지털 영상 시스템, CCD 센서 등과 같은 시각적 입력 장치(C)를 포함한다. 이 실제 시각적 배경 정보는 예를 들어 소프트웨어 애플리케이션에 의해 생성된 시각적 정보와 대비하여 일반적으로 "실제" 세계로부터 유래하는 정보로 지칭되며, 이 시각적 정보는 VVO로 약칭되는 가상의 시각적 객체로 표시된다. 사용자(U)가 그의/그녀의 모바일 장치(MD)에서 게임을 하고 있는 도 1에 도시된 상황에서, 이 실제 시각적 배경 정보는 카메라에 의해 캡쳐된 시각적 정보를 포함하며, 그것은 사용자가 서 있는 바닥을 향할지 도 모른다. 실제 시각적 배경 정보(VBI)는 그때 사용자(U)의 다리(L) 및/또는 발(F)의 부분과 함께 바닥 이미지를 포함한다. 사용자의 발(F)과 다리(L)의 이 정보는 사용자 관련 입력 정보이며, 이 경우에는 따라서 실제 시각적 배경 정보의 부분이 되며, 그것은 이하에서 설명되는 바와 같이 모바일 장치에서 구동되는 애플리케이션에 의해 사용될 것이다.
도 1은 또한 카메라가 이 "실제" 배경 정보뿐만 아니라 투사된 축구공(B)의 이미지도 캡쳐한다는 것을 보여준다. 이 투사된 축구공(B)은 "실제" 축구공의 투사된 이미지가 아니며, 가상의 축구공의 투사된 이미지이고, 그 자체는 모바일 장치(MD)에 내장되어 있어서 도 1에는 도시되지 않은 처리 장치(PD)에서 구동되는 게임과 같은 애플리케이션의 결과이다. 도시된 예에서, 이 게임은 축구 게임이며, 이 축구 게임은 입력으로 외부의 시각적 정보, 따라서 이 경우 사용자 관련 정보를 또한 포함하는 실제 시각적 배경 정보(VBI)뿐만 아니라 이 경우 투사된 축구공으로 구성된 투사된 가상 객체 정보를 사용한다. 투사된 공(B)에 대한 사용자의 발의 위치에 따라, 게임에 의해 발생되는 바와 같은 다음 상태와 출력이 업데이트될 것이다. 축구 게임의 예에서, 이것은 게임이 사용자가 점수를 올리거나 공을 골대 밖으로 차는 것을 표시할 수 있는 다음 상태를 제공하며, 그것은 도 1에 도시된 실시예에서는 단지 모바일 장치의 스크린에만 디스플레이된다. 이 가상의 골대는 "실제" 물리적인 골대에 해당하지 않기 때문에 그 자체가 다른 가상의 시각적 객체이다. 처리 장치는 따라서 계속 게임의 매개 변수를 업데이트해야 하되, 그 자체는 캡쳐된 외부의 시각적 정보에 의존하고, 게임 내에서의 공의 새로운 위치를 계산하며, 업데이트된 시각적 정보를 투사 장치로 다시 전송하여 투사 장치가 이 가상의 공을 업데이트된 위치로 투사하도록 한다. 이 업데이트된 투사 위치는 이 경우에 실제 시각적 배경에 대한 모바일 장치의 상대 위치에 의존하고 있다. 이 상대 위치는 또한 사용자 관련 입력 정보에 관한 것이다. 그러한 위치 정보는 모바일 장치에 포함된 동작 감지기에 의해서 감지될 수 있으나, 대안적으로 이 동작 정보는 또한 이전에 캡쳐된 이미지를 서로 비교함에 의해서 외부의 시각적 정보에 수행된 영상 기법에 의해 추출될 수 있다. 이것은 이하에서 좀더 설명될 것이다.
모바일 장치(MD)에 포함된 투사 장치(P)는 현재 종래 기술에서 공지된 미니 프로젝터일 수 있다. 어떤 경우에나, 가상의 공의 업데이트된 그림이나 이미지는 바닥에 있는 업데이트된 위치에 투사될 것이다.
본 발명의 일부 실시예에서는, 단지 프로젝터 장치(P)가 하나 이상의 가상의 시각적 객체를 디스플레이한다. 다른 실시예에서는, 가상의 시각적 객체가 프로젝터 장치(P)에 의해 투사될 뿐만 아니라 모바일 장치의 스크린(S) 상에 도시된다. 그리고, 또 다른 실시예에서, 스크린(S)은 도 1에 도시된 바와 같은 몇몇 가상의 시각적 객체를 보여줄 것이다. 이 실시예에서는, 가상의 공뿐만 아니라 가상의 골대와 생성된 따라서 가상의 선수의 이미지가 스크린에 디스플레이된다. 또 다른 실시예에서는, 카메라에 의해 캡쳐된 바와 같은 예를 들어 다리와 발과 같은 실제 시각적 배경로부터의 정보뿐만 아니라 하나 또는 몇몇의 가상의 시각적 객체가 스크린에 디스플레이된다.
도 2는 모바일 장치(MD)에 포함된 처리 장치(PD)의 가능한 실시예의 상세도를 보여준다. 처리 장치(PD)의 많은 다른 실시예들이 가능하며, 이 도 2는 이 특정한 실시예에서 실행될 일부 메인 블록 및 처리 단계의 단지 개략적인 도면을 제시한다. 그러한 처리 장치(PD)는 당업자에게 잘 알려진 바와 같이 전용 프로세서나 범용 프로세서 상의 내장 소프트웨어에 의하거나 ASIC을 통하는 등의 방법으로 구현될 수 있다. 다른 블록들은 따라서 단지 예시적인 목적을 위한 것이다. 단지 하나의 단일 처리 장치가 모든 단계를 수행하는 다른 실시예가 또한 가능하다.
도 2는 또한 모바일 장치의 다른 구성 블록을 매우 개략적인 방식으로 도시한다: 도 2에서 카메라로 도시된 시각적 입력 장치(C), 도 2에서 "전통적인" 프로젝터(P)로 도시된 프로젝터 장치, 및 도 2에서 휴대폰의 스크린으로 도시된 디스플레이. 도 2에 도시된 모바일 장치(MD)의 처리 유닛(PD)의 실시예는 몇몇 기능 블록을 포함한다: 현실 추출기(2), 이미지 분석기(3), 애플리케이션 엔진(4), 가상 이미지 애니메이터(5), 이중 출력 발생기(6), 및 가상 이미지 버퍼(9). 이 이중 출력 발생기는 단지 이러한 실시예에 존재하여 이중 출력을 발생시켜서, 그 결과 하나는 프로젝터(P)로 출력되며 다른 하나는 스크린(S)으로 출력된다. 모바일 장치의 일부 실시예에는 단지 프로젝터(P)로 전송될 단일 이미지만을 생성하도록 되어 있는 단일 출력 발생기가 포함된다.
현실 추출기, 즉 블록(2)는 "이미지"라 지칭되며 카메라(C)에 의해 제공되는 들어오는 외부의 시각적 정보를 실제 시각적 배경 정보(VBI) 및 가상의 시각적 객체(VVO)로 분리하도록 되어 있는 모듈이다. 애플리케이션 엔진에 의해 이전에 발생된 가상의 시각적 객체와 애플리케이션의 현재 사이클에서 발생될 것들을 구별하기 위해서, 표기 VVO(n)은 이전에 발생되며 이전에 투사된 것에 대해 사용되며, 표기 VVO(n+1)은 발생되며 실제 사이클에서 투사될 업데이트된 것에 대해 사용될 것이다. 일부 실시예에서, 개시 시에는 어느 가상의 시각적 객체 정보도 사용이 가능하지 않다. 그 경우에, 들어오는 이미지는 전적으로 실제 시각적 배경 정보로 구성되어 있다. 들어오는 외부의 시각적 정보를 분해하기 위해서, 현실 추출기는 가상 객체의 투사 이미지가 무엇처럼 보이는 지를 알 필요가 있다. 처음에는 어떠한 가상 이미지를 포함하지 않을 수 있는 초기의 들어오는 이미지를 제외하고, 모든 다른 이미지 캡션 중에, 이 투사된 이미지(P(n))가 이전의 사이클에서 이중 출력 발생기에 의해 형성되었으며, 임시로 가상 이미지 버퍼(9)에 저장되거나 버퍼되었다. 저장된 투사 이미지를 버퍼로부터 획득한 후, 현실 추출기는 카메라의 이미지에서 동일한 패턴을 찾고자 시도한다. 이는 당업자에게 공지된 바와 같이 이미지 인식 기법을 통해 수행될 수 있다. 이러한 패턴을 발견하였을 때, 현실 추출기는 또한 어떻게 모바일 장치가 배경에 대해 위치되었는 가에 대한 정보를 (투사된 이미지의 크기 조절을 통해서) 추출할 수 있으나, 이것은 선택적이다. 현실 추출기가 패턴을 인식하며 아마도 크기 조절 정보를 추론한다면, 그 현실 추출기는 전체 이미지로부터 전제 가상 이미지를 빼며, 그에 의해 실제 시각적 배경 정보를 추론하게 되며, 또한 카메라에 의해 캡쳐된 바와 같은 가상의 투사된 들어오는 이미지(VVO(n))와 이것이 이미 새로운 실제 정보에 관련되는 바와 같은 실제 배경 정보(VBI(n+1))를 별개의 정보로서 이미지 분석기(3)로 전송한다. 시작 시에 가상 이미지 버퍼는 일반적으로 비어 있으며, 그 결과 입력 이미지는 실제 시각적 배경 정보에 해당될 것이며, 따라서 신호(VVO)는 그 순간에 어떤 관련 정보를 포함하지 않을 것이다.
처리 장치의 실시예 내에 있는 다음 모듈, 즉 이미지 분석기(3)는 현실 추출기(2)에 의해 제공되는 바와 같이 들어오는 이미지의 캡쳐된 가상의 시각적 객체 정보(VVO)와 캡쳐된 실제 시각적 정보(VBI)를 수신하도록 되어 있다. 이미지 분석기의 주된 기능은 이러한 이미지로부터 메타데이터를 추출하며/추출하거나 발생시키는 것이다. 이러한 목적을 위해서, 몇몇 반복이 결과를 향상시키기 위해 필요할 수 도 있다. 이것은 도 2에서 이미지 분석기의 궤환 화살표로 표시된다. 메타데이터를 추출하는 기법은 당업자에게 공지되어 있으며, 패턴 인식, 디지털 기하학 및/또는 신호 처리를 포함한다.
이러한 맥락에서, 본 문서에서 이해되는 바와 같은 메타데이터는 특정 의미론적 의미를 가진 매개 변수이다. 축구 게임의 예는 객체 = 공 그리고 배경 = 바닥, …일 수 있으며, 도 3에 도시된다. 그러한 메타데이터를 발생시키기 위해서, 이미지 분석기는 또한 배경에서의 변화를 분석하며 카메라의 전면에서 발생한 특정 움직임을 거기에서 추론하도록 되어 있을 수 있다. 이러한 움직임들은 축구 게임의 경우에 사용자의 다리/발의 동작일 수 있다. 대안적으로, 이 동작 정보는 동작 감지기에 의해 제공될 수 있다. 이미지 분석기(3)는 그때 예를 들어 도 3에 도시된 XML 포맷과 같이 이 처리 장치 상에서 구동할 수 있는 애플리케이션이 이해할 수 있는 포맷으로 그러한 메타데이터를 발생시키도록 될 수 있다. 도 2의 두꺼운 화살표와 M(n)에 의해 표시되며 이미지 분석기에 의해 발생된 메타데이터 출력은 따라서 예들 들면 발이 7°각도로 공을 향해 이동했다는 것을 표시하는 정보와 같이 애플리케이션을 위해 가치가 있으며 또한 애플리케이션에 의해 이해될 수 있는 정보를 포함한다.
이미지 분석기에 의해 생성된 메타데이터(M(n))는 그때 애플리케이션 엔진(4)으로 전달된다. 이 애플리케이션 상에서, 몇몇 애플리케이션들이 구동할 수 있다. 그러한 애플리케이션은 일반적으로 제삼자인 개발자에 의해 작성될 수 있는 컴파일된 소프트웨어를 포함한다. 이 애플리케이션은 이미지 분석기로부터 들어오는 입력 정보의 포맷을 이해할 수 있도록 되어 있다. 또는, 특정 입력 포맷을 애플리케이션에 의해 이해될 수 있는 포맷으로 변환하기 위한 몇몇 변환 모듈이 제공될 수 있다.
축구 게임의 전술한 예에서, 이 축구 게임은 따라서 애플리케이션에 해당한다. 몇몇 다른 애플리케이션들이 이하에서 설명될 것이다. 이러한 애플리케이션들이 일반적으로 확산되며 당업자에 의해 공지되었기 때문에, 그들의 내부 동작은 본 문서에서 더 이상 검토되지 않을 것이다.
애플리케이션에 의해 발생된 출력은 일반적으로는 최종적으로는 실제 배경으로 투사될 필요가 있는 업데이트된 가상의 시각적 객체에 관련된 정보를 포함하는 업데이트된 메타데이터(M(n+1))를 포함한다. 도 3은 애플리케이션에 입력되는 메타데이터의 일례를 보여주며, 이 메타데이터는 애플리케이션에 의해 발생된다.
도 2에 도시된 실시예에서, 애플리케이션 엔진(4)에 의해 발생되며 제공된 바와 같은 업데이트된 메타데이터(M(n+1))는 처음에 가상 이미지 애니메이터(5)인 다음의 모듈에 제공된다.
이 가상 이미지 애니메이터(5)는 애플리케이션 엔진에 의해 제공되는 바와 같이 업데이트된 메타데이터 정보 신호(M(n+1))를 수신하도록 되어 있으며, 애플리케이션의 실제 상태나 사이클에 해당하는 바와 같이 실제 애플리케이션에 의해 결정되는 것에 따라 디스플레이될 조절된 가상의 시각적 객체(VVO(n+1))을 내부에서 발생시키도록 되어 있다. 이미 기술된 축구 게임의 경우에, 단지 하나의 가상 객체가 투사된다. 그러나, 축구 게임을 포함하는 많은 다른 애플리케이션에 있어서, 예를 들어 가상의 공과 가상의 골대를 포함하는 몇몇 가상의 시각적 객체가 투사될 수 있다. 공의 형태를 가진 이미지를 포함하는 이 실시예에 있어서, 바닥에 투사되는 가상 객체는 그때 모바일 장치의 특정 실시예에 따라 이중 또는 단일 출력 발생기로 더욱 전달된다. 그러나, 도 2의 도시된 실시예는 그 프로젝터가 가상의 축구공 이미지를 배경에 투사하지만 모바일 장치 그 자체의 디스플레이는 다른 가상의 시각적 객체, 이 실시예에서는 가상의 점수판을 디스플레이하는 모바일 장치(MD)를 도시한다. 이러한 목적으로, 추가적인 가상의 시각적 객체(VVOS(n+1))는 가상 이미지 애니메이터에 의해 생성되어야 한다; 이 실시예에서는 이 추가적인 가상의 시각적 객체는 따라서 점수판의 형태를 가진다. 스크린에 디스플레이될 이미지는 투사될 이미지와 다르기 때문에, 이중 출력 발생기가 도 2의 실시예에 포함된다. 비록 같은 가상의 시각적 객체가 스크린 상에 보여지며 배경에 투사된다 할지라도, 이중 출력 발생기가 처리 장치 내에 포함되어야 하며, 그 이유는 두 개의 별도의 이미지가 발생될 필요가 있기 때문이며, 하나는 투사되기 위한 것이며 다른 하나는 모바일 장치의 스크린에 디스플레이되기 위한 것이다.
이중 출력 발생기(6)는 따라서 한편으로는 모바일 장치(MD) 그 자체의 스크린 또는 디스플레이를 위해 그리고 다른 한편으로는 빔 발생기 또는 투사 장치(P)를 위해 출력 신호의 발생을 담당한다. 가상 이미지 발생기에 의해 생성된 이미지는 단지 기초 형상 정보, 예를 들어 공의 기초 형태를 포함하고 있기 때문에, 출력 발생기는 이미지를 정확한 크기로 바꾸며 프로젝터가 이미지를 배경으로 정확히 투사할 수 있도록 이미지를 정확한 위치에 위치시킨다. 이것은 이 실시예에서 이 이중 출력 발생기가 가장 최근의 가상 객체(VVO(n+1) 및 VVOS(n+1))와 가장 최근의 시각적 배경 정보(VBI(n+1))를 수신해야 하며, 그들을 디스플레이에 제공될 제 1 출력 신호(S(n+1))와 프로젝션 장치(P)에 제공하기 위한 제 2 출력 신호(P(n+1))를 제공하기 위해 처리해야 한다는 것을 의미한다. 도시된 실시예에서, S(n+1)는 주로 VVOS(n+1)에 관한 것이며, 반면에 P(n+1)는 주로 VVO(n+1)에 관한 것이다. 그러나, 다른 실시예에서, 디스플레이에 전송될 출력 신호는 실제 배경에는 투사되지 않고 단지 디스플레이에만 보여지는 가상의 점수판으로서, VVO(n+1) 및 다른 가상 객체로 구성될 수 있다. 대안적으로, 어떤 가상의 축구 동작장, 가상의 골대 및 가상의 점수판에 더하여 사용자의 다리나 발과 같은 실제 배경에 관한 어떤 정보가 또한 스크린 상에 보여질 수 있다. 많은 다른 가능성이 당업자들에 의해 알려진 바와 같이 주로 애플리케이션에 따라 예상될 수 있다.
배경 그 자체로 가상 객체를 투사하기 위해 투사 장치(P)로 전송될 출력(P(n+1))을 생성하기 위해서, 이 이중 출력 발생기(6)는 항상 현실 추출기(2)로부터 직접 가장 최근의 실제 배경(VBI(n+1))을 얻는다. 이는 배경 입력이 항상 실제시간이라는 것을 의미한다. 투사된 증강 현실 가상 객체 이미지(P(n+1))에 대해서, 이중 출력 발생기는 정확한 가상 객체가 실제 배경에 정확한 위치에서 정확한 크기로 투사되는 것을 보장하는 것이 필요하다. 발생기는 이것을 가장 새로운 배경을 이전의 배경과 비교함에 의해서 수행할 수 있다. 이 이전의 배경은 이중 출력 발생기의 내부의 버퍼에 저장될 수 있으며, 도면에 도시되지 않는다. 이 비교 단계는 장치가 투사된 이미지의 좌표와 크기가 정확하도록 보장해야 하기 때문에 카메라가 수행한 동작을 계산하는 것과 함께 수행될 수 있다. 이는 장치의 가능한 동작으로 인해 예를 들어 모바일 장치가 실제 객체에 가까이 유지될 때 투사된 가상 이미지가 너무 크지 않도록 하기 위해(투사 개방 각도를 기억하라) 크기와 좌표가 늘 조정되어야 하기 때문이다. 대안적으로, 이 동작 정보는 이미지 분석기나 별도의 동작 또는 배향 감지기로부터 획득할 수 있다.
물론, 대안적인 실시예가 가능하다. 업데이트된 가상 객체 이미지를 버퍼로 궤환하는 대신에, 발생된 메타데이터는 대안적인 버퍼로 궤환될 수 있다. 그 경우에, 현실 추출기는 그때 들어오는 이미지와의 비교를 위해서 가장 최근의 투사된 가상 객체를 발생시키는 것과 같은 것을 위해 가상 이미지 애니메이터와 이중 출력 발생기의 기능의 일부를 통합하는 것이 필요하다. 당업자들에 의해 공지된 바와 같이 여전히 다른 실시예들이 가능하다.
도 4는 두 명의 사용자(U1 및 U2)가 현재 그들의 개별적인 모바일 장치(MD1 및 MD2) 상에서 이 축구 게임을 하고 있으며 따라서 가상의 투사된 공을 골대를 향해 차도록 시도하고 있는 다중 선수 경험의 상황을 도시하며, 이 골대는 이 실시예에 있어서 그들의 개별적인 이동단말기 상의 디스플레이에 도시된다. 대안적으로, 이 가상의 골대는 또한 바닥에 투사될 수 있다. 어느 경우에나, 모바일 장치는 당업자에 의해 공지되어 있는 바와 같이 다중 선수 애플리케이션을 가능하게 하는 통신 툴을 더 장착하는 것이 필요하다.
축구 게임의 전술한 예를 제외하고, 다른 애플리케이션은 본 방법과 실시예를 사용할 수 있다. 이러한 것들 중에는 예를 들어 사용자가 기차역을 찾아야 할 때 프로젝터가 발자국을 투사함에 의해서 사용자가 쫓아가야 하는 방향을 표시할 수 있는 애플리케이션이 있다. 이 경우에, 이 방법은 게임 경험을 향상시키지 않으며 인간 컴퓨터 인터페이스를 풍요롭게 하며 명확하게 하기 위해 사용된다. 그때, 모바일 장치는 사람들을 더 직관적인 방식으로 안내할 수 있다. 이것은 도 5에 개략적으로 도시된다.
다른 애플리케이션은 휴대폰의 투사 장치를 사용해서 오직 사용자의 쇼핑 리스트에 들어있는 품목만을 가게의 선반에서 하이라이트 표시를 하는 것과 관계가 있다. 이것은 도 6에 개략적으로 도시된다.
또 다른 예는 테이블 상에 가상의 키보드를 투사하는 것을 포함할 수 있으며, 사용자 그때 스크린 상에 텍스트를 형성하기 위해 가상의 키보드를 "치거나" 또는 "밀 수" 있다. 이 키보드는 또한 피아노의 키보드와 관련이 있으며, 사용자가 적절한 관련 음향을 생성하기 위해 그 피아노의 키보드를 "플레이"할 수 있다.
또 다른 예는 동작장, 예를 들어 테이블 상에 가상의 탁구공을 투사하는 것을 포함한다. 모바일 장치를 기울임에 의해서, 사용자는 그 모바일 장치에 의해 가상의 공을 “칠 수” 있다. 이 경우에, 입력 정보는 고정된 배경과 투사된 공에 관한 모바일 장치, 예를 들어 휴대폰에 대한 동작 및 배향 정보를 포함한다. 이 탁구 애플리케이션은 물론 또한 다중 선수 게임으로 실현될 수 있다.
본 발명의 원리가 특정 장치와 관련하여 설명되어 있지만, 이 설명이 단지 예로서 기재되어 있으며 첨부 특허청구범위에 정의된 바와 같은 본 발명의 범위에 대한 제한으로서 기재되어 있는 것이 아니라는 점이 명백하게 이해되어야 한다. 이 특허청구범위에서, 특정 기능을 수행하기 위한 수단으로 표현된 어느 구성요소도 그 기능을 수행하기 위한 어느 방식을 망라하도록 되어 있는 것은 아니다. 이는 예들 들면 a) 그 기능을 수행하는 전기적 또는 기계적 구성요소의 조합, 또는 b) 가능하다면 그 기능을 수행하도록 그 소프트웨어를 실행하기 위한 적절한 회로뿐만 아니라 소프트웨어 제어 회로에 연결된 기계적 구성요소와 결합된 따라서 펌웨어, 마이크로 코드 또는 유사한 것을 포함하는 어느 형태의 소프트웨어를 포함할 수 있다. 그러한 특허청구범위에 의해 정의되는 바와 같은 본 발명은 다양한 언급된 수단에 의해 제공되는 기능이 특허청구범위가 요구하는 방식으로 결합되며 모여지는 한편 달리 특별하게 그렇게 정의되지 않는 한 어느 물리적인 구조가 청구된 발명의 신규성에 거의 또는 전혀 중요하지 않다는 사실에 존재한다. 출원인은 따라서 그런 기능들을 제공할 수 있는 어느 수단을 여기에서 설명된 것들과 동등하다고 간주할 수 있다.

Claims (10)

  1. 모바일 장치로서,
    실제 시각적 배경과 연관된 정보를 포함하는 외부의 시각적 정보를 캡쳐하도록 구성된 시각적 입력 장치와,
    처리 장치를 포함하되,
    상기 처리 장치는,
    선택된 애플리케이션을 상기 외부의 시각적 정보와 연관시키고,
    상기 외부의 시각적 정보와 사용자 관련 입력 정보를 기초로 상기 선택된 애플리케이션을 실행하고,
    상기 애플리케이션에 응답해서 적어도 하나의 가상의 시각적 객체에 관련된 시각적 출력 신호를 발생시키고,
    프로젝터 장치가 상기 적어도 하나의 가상의 시각적 객체에 관련된 상기 시각적 출력 신호를 상기 실제 시각적 배경에 투사하여 상기 외부의 시각적 정보를 수정하도록 상기 시각적 출력 신호를 상기 프로젝터 장치에 제공하고,
    상기 시각적 입력 장치로부터 수신된 상기 외부의 시각적 정보로부터, 상기 실제 시각적 배경과 연관된 상기 정보와, 상기 실제 시각적 배경에 이전에 투사된 적어도 하나의 가상의 시각적 객체를 구별하고,
    구별된 상기 실제 시각적 배경과 연관된 상기 정보와 상기 실제 시각적 배경에 이전에 투사된 상기 적어도 하나의 가상의 시각적 객체를 기초로 상기 적어도 하나의 가상의 시각적 객체를 위한 다음 시각적 출력 신호를 발생시키도록 구성되는
    모바일 장치.
  2. 제 1 항에 있어서,
    상기 사용자 관련 입력 정보는 상기 실제 시각적 배경에 포함된 시각적 정보를 포함하는
    모바일 장치.
  3. 제 1 항에 있어서,
    상기 사용자 관련 입력 정보는, 상기 모바일 장치에 포함되어 상기 시각적 배경에 대한 상기 모바일 장치의 동작(movement)을 결정하도록 구성된 동작 감지기에 의해 감지된 동작 정보(movement information)를 포함하는
    모바일 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 처리 장치는, 상기 적어도 하나의 가상의 시각적 객체와 상기 실제 시각적 배경으로부터 메타데이터 정보를 결정하기 위해 상기 적어도 하나의 가상의 시각적 객체와 상기 실제 시각적 배경을 분석하도록 또한 구성되어 있는
    모바일 장치.
  6. 제 5 항에 있어서,
    상기 처리 장치는 상기 메타데이터 정보에 기초해서 상기 선택된 애플리케이션을 실행하도록 또한 구성되어 있는
    모바일 장치.
  7. 제 1 항 내지 제 3 항, 제 5 항 및 제 6 항 중 어느 한 항에 있어서,
    상기 처리 장치는, 상기 모바일 장치에 포함된 디스플레이에 제공하기 위해 상기 적어도 하나의 가상의 시각적 객체에 관련된 제 2 시각적 출력 신호를 생성하도록 구성되어 있는
    모바일 장치.
  8. 제 7 항에 있어서,
    상기 처리 장치는, 상기 제 2 시각적 출력 신호를, 상기 실제 시각적 배경 위에 놓여지는 상기 적어도 하나의 가상의 시각적 객체를 포함하는 것으로 생성하도록 또한 구성되어 있는
    모바일 장치.
  9. 제 7 항에 있어서,
    상기 처리 장치는, 상기 제 2 시각적 출력 신호를, 적어도 하나의 다른 가상의 시각적 객체를 포함하는 것으로 생성하도록 또한 구성되어 있는
    모바일 장치.
  10. 제 7 항에 있어서,
    상기 처리 장치는, 상기 제 2 시각적 출력 신호를, 상기 애플리케이션에 의해 발생된 적어도 하나의 다른 가상의 시각적 객체 및 상기 실제 시각적 배경 중 적어도 하나 위에 놓여지는 상기 적어도 하나의 가상의 시각적 객체를 포함하는 것으로 생성하도록 또한 구성되어 있는
    모바일 장치.
KR1020117012880A 2008-12-03 2009-11-24 증강 현실 애플리케이션을 위한 모바일 장치 KR101610984B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08291135.5 2008-12-03
EP08291135.5A EP2193825B1 (en) 2008-12-03 2008-12-03 Mobile device for augmented reality applications

Publications (2)

Publication Number Publication Date
KR20110100207A KR20110100207A (ko) 2011-09-09
KR101610984B1 true KR101610984B1 (ko) 2016-04-08

Family

ID=40549528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117012880A KR101610984B1 (ko) 2008-12-03 2009-11-24 증강 현실 애플리케이션을 위한 모바일 장치

Country Status (8)

Country Link
US (1) US8907982B2 (ko)
EP (1) EP2193825B1 (ko)
JP (1) JP5566397B2 (ko)
KR (1) KR101610984B1 (ko)
CN (1) CN102238987B (ko)
MY (1) MY165839A (ko)
SG (2) SG171901A1 (ko)
WO (1) WO2010063409A1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011197777A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US8550903B2 (en) 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
CN106790268B (zh) * 2011-08-27 2020-09-15 中兴通讯股份有限公司 访问增强现实用户上下文的方法
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP6281857B2 (ja) * 2012-01-13 2018-02-21 株式会社ドワンゴ 映像システム、および撮影方法
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9224184B2 (en) 2012-10-21 2015-12-29 Digimarc Corporation Methods and arrangements for identifying objects
EP3734426A1 (en) * 2012-11-09 2020-11-04 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
US20150042678A1 (en) * 2013-08-09 2015-02-12 Metaio Gmbh Method for visually augmenting a real object with a computer-generated image
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3391658B1 (en) * 2015-12-17 2021-08-25 InterDigital Madison Patent Holdings, SAS Personalized presentation enhancement using augmented reality
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN106228614A (zh) * 2016-07-29 2016-12-14 宇龙计算机通信科技(深圳)有限公司 一种场景再现方法和装置
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
CN108806681A (zh) * 2018-05-28 2018-11-13 江西午诺科技有限公司 语音控制方法、装置、可读存储介质及投影设备
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US10789780B1 (en) * 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image
JP2023503863A (ja) 2019-11-26 2023-02-01 エフ ホフマン－ラ ロッシュ アクチェン ゲゼルシャフト 分析測定を実行する方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094417A1 (en) * 2005-08-29 2008-04-24 Evryx Technologies, Inc. Interactivity with a Mixed Reality

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
FR2775814B1 (fr) * 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
JP4230999B2 (ja) * 2002-11-05 2009-02-25 ディズニー エンタープライゼス インコーポレイテッド ビデオ作動インタラクティブ環境
CN100449440C (zh) * 2003-02-03 2009-01-07 西门子公司 综合信息的投影
JP4047822B2 (ja) * 2004-02-27 2008-02-13 ソフトバンクモバイル株式会社 電子機器
ZA200504242B (en) * 2004-05-27 2006-02-22 Aruze Corp Gaming machine.
JP2006006912A (ja) 2004-05-27 2006-01-12 Aruze Corp 遊技機
WO2006105686A1 (en) 2005-04-06 2006-10-12 Eidgenössische Technische Hochschule Zürich Method of executing an application in a mobile device
JPWO2006134778A1 (ja) * 2005-06-14 2009-01-08 国立大学法人 電気通信大学 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
US20120231887A1 (en) * 2011-03-07 2012-09-13 Fourth Wall Studios, Inc. Augmented Reality Mission Generators
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094417A1 (en) * 2005-08-29 2008-04-24 Evryx Technologies, Inc. Interactivity with a Mixed Reality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문: IEEE*

Also Published As

Publication number Publication date
JP2012510673A (ja) 2012-05-10
SG171901A1 (en) 2011-07-28
SG10201400315UA (en) 2014-07-30
EP2193825B1 (en) 2017-03-22
US8907982B2 (en) 2014-12-09
EP2193825A1 (en) 2010-06-09
CN102238987A (zh) 2011-11-09
WO2010063409A1 (en) 2010-06-10
KR20110100207A (ko) 2011-09-09
JP5566397B2 (ja) 2014-08-06
CN102238987B (zh) 2014-11-26
US20110254860A1 (en) 2011-10-20
MY165839A (en) 2018-05-17

Similar Documents

Publication Publication Date Title
KR101610984B1 (ko) 증강 현실 애플리케이션을 위한 모바일 장치
JP5256269B2 (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
US20100203969A1 (en) Game device, game program and game object operation method
JP5254906B2 (ja) 電子機器
JP5039808B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US20110172017A1 (en) Game machine, game program, and game machine control method
US20100248825A1 (en) Character display control method
JP2007143748A (ja) 画像認識装置、フィットネス支援装置、フィットネス支援システム、フィットネス支援方法、制御プログラムおよび可読記録媒体
US8439750B2 (en) Storage medium storing game program, game apparatus and game controlling method
JPH07185131A (ja) テレビ遊戯システム
KR20010027533A (ko) 비디오 게임장치 및 그 제어방법
JP2010094329A (ja) 遊技システム、遊技機、及び遊技方法
TW201016272A (en) Game device, method for processing game, information recording medium, and program
JPWO2015098251A1 (ja) 情報処理装置、記録媒体および情報処理方法
JP2010137097A (ja) ゲーム装置および情報記憶媒体
US8497902B2 (en) System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
JP2002253718A (ja) トレーニング評価装置、トレーニング評価方法およびトレーニング評価プログラム
CN114584680A (zh) 一种运动数据展示方法、装置、计算机设备及存储介质
JP3983789B1 (ja) ゲーム装置、補正方法、および、プログラム
JP2017185190A (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
JP2016193006A (ja) ゲーム装置、及びプログラム
TWI258682B (en) Interactive video game system
CN114028819A (zh) 舞蹈数据处理方法、装置及跳舞设备
JP2001224731A (ja) ゲーム装置および情報記憶媒体
KR100566734B1 (ko) 카메라폰의 카메라를 입력수단으로 사용하여 ｄｄｒ 게임을 가능하게 하는 프로그램을 저장하는 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant