KR20140043904A - 증강 현실을 위한 완구 구축 시스템 - Google Patents

증강 현실을 위한 완구 구축 시스템 Download PDF

Info

Publication number
KR20140043904A
KR20140043904A KR1020137033652A KR20137033652A KR20140043904A KR 20140043904 A KR20140043904 A KR 20140043904A KR 1020137033652 A KR1020137033652 A KR 1020137033652A KR 20137033652 A KR20137033652 A KR 20137033652A KR 20140043904 A KR20140043904 A KR 20140043904A
Authority
KR
South Korea
Prior art keywords
marker
image
building
toy building
toy
Prior art date
Application number
KR1020137033652A
Other languages
English (en)
Other versions
KR101898754B1 (ko
Inventor
시드하르쓰 무티알라
비크 함 얀 반
니콜라스 다비드 알랭 구용
프란츠 라소르느
미켈 홀므 옌센
Original Assignee
레고 에이/에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46124378&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140043904(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 레고 에이/에스 filed Critical 레고 에이/에스
Publication of KR20140043904A publication Critical patent/KR20140043904A/ko
Application granted granted Critical
Publication of KR101898754B1 publication Critical patent/KR101898754B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/04—Building blocks, strips, or similar building parts
    • A63H33/042—Mechanical, electrical, optical, pneumatic or hydraulic arrangements; Motors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/04—Building blocks, strips, or similar building parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2448—Output devices
    • A63F2009/245—Output devices visual
    • A63F2009/2457—Display screens, e.g. monitors, video displays
    • A63F2009/246—Computer generated or synthesized image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/28—Miscellaneous game characteristics with a two-dimensional real image
    • A63F2250/287—Cameras therefor

Abstract

완구 구축 요소를 해제 가능하게 상호 연결하기 위한 커플링 수단을 가지는 완구 구축 요소를 포함하는 완구 구축 시스템이, 상기 커플링 수단을 포함하고 그리고 이미지 프로세싱 수단에 의해서 인식될 수 있는 가시적인 외관을 각각 가지는 하나 이상의 마커 구축 요소, 그리고 이미지 캡쳐링 수단, 이미지 프로세싱 수단, 및 디스플레이 수단을 포함하는 데이터 프로세싱 시스템을 포함하며, 상기 데이터 프로세싱 시스템은, 완구 구축 요소로부터 구축된 완구 구축 모델의 이미지를 캡쳐하도록, 적어도, 상기 캡쳐된 이미지 내의 적어도 하나의 마커 구축 요소의 존재를 검출하기 위해서 상기 캡쳐된 이미지를 프로세스하도록, 상기 검출된 마커 구축 요소에 응답하여, 컴퓨터-생성된 이미지를 생성하도록, 그리고 상기 생성된 컴퓨터-생성된 이미지가 중첩된, 캡쳐된 이미지를 포함하는 복합 이미지를 상기 디스플레이 수단 상에서 디스플레이하도록 구성된다.

Description

증강 현실을 위한 완구 구축 시스템{A TOY CONSTRUCTION SYSTEM FOR AUGMENTED REALITY}
본원 발명은 구축 요소를 해제가능하게 상호 연결하기 위한 커플링 수단을 가지는 구축 요소를 포함하는 완구 구축 시스템에 관한 것이다.
그러한 완구 구축 시스템이 수십 년 동안 공지되어 있다. 특히, 구축 요소를 서로 해제 가능하게 상호 연결하기 위한 커플링 수단을 가지는 완구 구축 요소를 포함하는 완구 구축 시스템이 높은 대중성을 가지고 있다. 단순한 조립 블록(building block)에는 놀이 가치(play value)를 높이기 위한 기계적 또는 전기적 기능부를 가지는 전용 구축 요소가 보충된다. 그러한 기능부에는, 예를 들어, 모터, 스위치 및 램프가 포함된다.
일반적으로, 물리적 구축 모델의 놀이 가치를 향상시키고 그리고 컴퓨터를 통해서 사용자가 물리적 구축 모델과 상호작용할 수 있게 하는 것이 바람직할 수 있을 것이다. 이를 위해서, 센서로부터 입력을 수용하고 그리고 수신된 센서 입력에 응답하여 기능 요소를 활성화시킬 수 있는, 그리고 적합한 프로그램된 컴퓨터에 의해서 사용자가 프로그래밍할 수 있는 프로그램 가능한 프로세서를 포함하는 물리적 구축 모델이 개시되어 있다.
예를 들어, WO09047225는, 구축 요소를 해제 가능하게 상호 연결하기 위한 커플링 수단을 구비한 구축 요소를 포함하는 완구 구축 시스템을 개시한다. 그러한 완구 구축 시스템은, 구축 시스템의 하나 이상의 기능 요소를 제어하기 위한 하나 이상의 논리적 명령들을 생성하기 위한 프로그래밍 환경을 제공하도록 프로그램된 데이터 프로세싱 시스템을 더 포함한다. 이를 위해서, 완구 구축 시스템은, 완구 구축 모델에 전기적으로 커플링될 수 있게 하고 그리고 컴퓨터로 하여금 어떠한 요소가 완구 구축 모델에 포함되는지를 검출할 수 있게 하는 인터페이스 구축 요소를 포함한다.
비록 전술한 종래 기술이 사용자로 하여금 컴퓨터를 이용하여 물리적 구축 모델과 상호작용할 수 있게 하지만, 물리적 구축 모델과 컴퓨터에서 생성된 가상 현실의 보다 근접한 통합을 제공하는 것이 여전히 요구되고 있다.
이미지 인식 및 컴퓨터 그래픽의 상이한 기술 분야에서, 증강 현실(AR)을 이용하는 시스템이 매력적인 증가된 관심의 대상이 되고 있다. 증강 현실(AR)은, 물리적인, 실제-세상의 주변환경(environment)의 하나 이상의 항목의 캡쳐된 라이브 뷰가 컴퓨터-생성된 그래픽으로 증강되는 즉, 예를 들어, 컴퓨터-그래픽과의 라이브 뷰의 중첩/중복 형태의 라이브 뷰 및 컴퓨터-생성된 그래픽을 포함하는 복합 뷰가 사용자에게 제시되는 기술이다.
이러한 시스템에서, 이미지 특징부들(features)이 캡쳐된 뷰 내에서 검출되고, 이어서 시스템은, 지정된 이미지 특징부에 의존하여 컴퓨터-생성된 그래픽을 생성하고 그리고 생성된 이미지를 캡쳐된 뷰 상에 중첩시킬 수 있을 것이다. 추가적으로, 이미지 특징부의 검출을 돕는 미리 결정된 증강 현실 마커(marker) 또는 태그를 포함하는 비디오 이미지 상에 컴퓨터 생성된 이미지를 중첩시키는 것이 공지되어 있다.
증강 현실은, 상자로 판매되는 완구 구축 요소로부터 조립될(built) 수 있는 완구 구축 모델의 컴퓨터-생성된 이미지를 사용자에게 제시하기 위해서 이용되고 있다. 이를 위해서, 상자가 그 외부에 증강 현실 마커를 포함한다. 사용자가 매장내 키오스크 시스템(in-store kiosk system)의 비디오 카메라의 전방에서 상자를 유지할 때, 키오스크 시스템은, 상자의 상단부 상에 조립된 것처럼 보이는 구축 모델의 컴퓨터-생성된 이미지로 증강된, 박스의 캡쳐된 비디오 이미지를 보여준다. 사용자가 상자를 카메라 앞에서 이동 또는 회전시킬 때, 구축 모델의 컴퓨터-생성된 이미지가 그러한 이동을 따른다.
그러나, 물리적 구축 모델과 컴퓨터 상에서 생성된 가상 현실의 보다 밀접한 통합을 제공하는 것이 여전히 요구되고 있다.
따라서, 어린 어린이, 예를 들어 입학전 어린이가 물리적 완구 구축 모델을 가상의 컴퓨터-생성된 놀이 경험과 조합할 수 있게 하는 완구 구축 시스템을 제공하는 문제가 여전히 남아 있다.
또한, 일반적으로, 프로그래밍 기술, 또는 제어 시스템, 등에 대한 구체적인 이해가 없는 어린이에게 적합한 완구 구축 시스템을 제공하는 것이 요구되고 있다.
또한, 완구 구축 시스템의 교육 및 놀이 가치를 향상시키는 것이 요구되고 있다.
완구 구축 요소를 해제 가능하게 상호 연결하기 위한 커플링 수단을 가지는 완구 구축 요소를 포함하는 완구 구축 시스템이 여기에서 개시된다. 완구 구축 시스템의 실시예는, 상기 커플링 수단을 가지고 그리고 마커 구축 요소의 캡쳐된 이미지 내에서 이미지 프로세싱 시스템에 의해서 인식될 수 있는 가시적인 외관을 각각 가지는 하나 이상의 마커 구축 요소, 그리고 이미지 캡쳐링 수단, 프로세싱 수단, 및 디스플레이 수단을 포함하는 데이터 프로세싱 시스템을 포함하며, 상기 데이터 프로세싱 시스템은:
- 완구 구축 요소로부터 구축된 부분적인 완구 구축 모델의 이미지를 캡쳐하도록;
- 상기 캡쳐된 이미지 내의 적어도 하나의 마커 구축 요소의 존재를 적어도 검출하기 위해서 상기 캡쳐된 이미지를 프로세스하도록;
- 상기 검출된 마커 구축 요소에 응답하여, 컴퓨터-생성된 이미지를 생성하도록; 그리고
- 중첩된 상기 생성된 컴퓨터-생성된 이미지를 가지는 캡쳐된 이미지를 포함하는 복합 이미지를 상기 디스플레이 수단 상에서 디스플레이하도록 구성된다.
완구 구축 시스템과 양립가능한(compatible) 커플링 수단을 포함하는 마커 구축 요소를 제공함으로써, 상기 마커 구축 요소가 완구 구축 시스템의 다른 구축 요소와 해제 가능하게 연결될 수 있을 것이다. 일반적으로, 마커 구축 요소는, 완구 구축 시스템과 양립가능한 커플링 수단, 그리고 마커 구축 요소의 캡쳐된 이미지 내에 이미지 프로세싱 시스템에 의해서 인식가능한 가시적인 외과, 예를 들어, 마커 구축 요소의 캡쳐된 이미지 상에서 용이하게 검출가능한 표지(insignia)를 포함하는 완구 구축 요소이다. 커플링 수단은, 예를 들어, 마찰 연결, 래칭 또는 스냅핑 기능부, 및/또는 임의의 다른 기계적인, 비-접착식 연결에 의해서 완구 구축 요소를 서로에 대해서 기계적으로 연결하기 위한 임의의 적합한 수단일 수 있을 것이다. 결과적으로, 사용자는 하나 이상의 마커 요소를 완구 구축 모델에 반복적으로 그리고 해제 가능하게 커플링시킬 수 있을 것이고, 그에 의해서 완구 구축 모델의 캡쳐된 이미지 내의 마커 구축 요소를 인식하도록 구성된 AR 시스템에 의해서 완구 구축 모델의 특징부가 검출될 수 있게 한다. 따라서, 사용자가 완구 구축 요소로 구축된 임의의 완구 구축 모델을 AR 인에이블드(enabled) 모델로 용이하게 변환할 수 있고, 즉, 검출된 마커 구축 요소의 존재에, 및, 선택적으로 다른 성질에 응답하여 데이터 프로세싱 시스템이 컴퓨터-생성된 이미지를 생성하고 중첩시킬 수 있게 허용한다. 그에 따라, 사용자는, 단지 인터페이스로서 완구 구축 시스템의 구축 요소를 이용하는 것에 의해서, AR 애플리케이션을 제어할 수 있을 것이다.
여기에서 개시된 완구 구축 시스템의 실시예의 추가적인 장점은, 마커 구축 요소가 주어진 완구 구조 내에서 다른 마커 구축 요소와 용이하게 상호교환될 수 있고, 그에 따라 AR 시스템 내에서 많은 다른 가능한 상호작용을 허용할 수 있다는 것이다.
일부 실시예에서, 커플링 수단은, 연결 방향을 규정하도록 그리고 구축 요소에 대한 구분된(discrete) 수의 미리 결정된 상대적인 배향으로 다른 구축 요소에 대해서 각각의 구축 요소를 상호연결할 수 있게 허용하도록 구성되고; 그리고 마커 구축 요소가 완구 구축 시스템의 적어도 하나의 다른 완구 구축 요소에 커플링될 때, 상기 규정된 연결 방향에 대한 적어도 하나의 미리 결정된 방향으로부터 보여질 수 있도록 모든 표지가 배열된다. 따라서, 그러한 완구 구축 시스템은, 상이한 마커 구축 요소가 서로 상호교환된 경우에도, 적절한 표지의 가시성이 용이하게 보장되도록 마커 구축 요소가 완구 구축 시스템의 다른 구축 요소와 상호연결되는 완구 구조의 구축을 허용한다.
일부 실시예에서, 완구 구축 시스템은 적어도 2개의 마커 구축 요소를 포함하고, 상기 2개의 마커 구축 요소는 그들의 커플링 수단을 통해서 서로 해제 가능하게 상호 연결될 수 있고 그에 따라 복합 마커 요소를 형성할 수 있다. 마커 구축 요소는 직접적으로 서로 연결될 수 있고 및/또는, 예를 들어, 공통의 제 3 완구 구축 요소(또는 구축 요소의 그룹)를 이용하여 2개의 마커 구축 요소를 연결하는 것에 의해서, 서로 간접적으로 연결될 수 있을 것이다. 컴퓨터 시스템은, 복합 마커 요소를 검출하도록 그리고 복합 마커 요소의 검출에 응답하여 컴퓨터-생성된 그래픽을 선택적으로 생성하도록 구성될 수 있을 것이다. 따라서, 마커 구축 요소를 상이한 방식으로 상호 연결함으로써, 사용자는 비교적 적은 수의 기본적인 마커 구축 요소로부터 다양한 새로운 복합 마커 요소를 구축할 수 있을 것이고, 그에 의해서 그러한 복합 마커의 검출에 응답하여 컴퓨터에 의해서 생성될 수 있는 가능한 증강 현실 시나리오의 가변성을 증가시킬 수 있을 것이다. 예를 들어, 마커 구축 요소의 세트가, 예를 들어 미리 결정된 코드에 따라서, AR 시스템에 의해서 인식되는 단어를 형성하는 알파벳의 문자와 상당히 유사한 기능을 할 수 있을 것이다.
일 실시예에서, 완구 구축 시스템이 교체가능한 면을 가지는 주사위(dice)를 포함하고, 상기 각각의 면이 완구 구축 시스템의 구축 요소에 의해서 형성되고, 그리고 하나 이상의 마커 구축 요소가 형상 및 크기를 가지고 그리고 마커 구축 요소가 주사위에 커플링될 수 있게 허용하도록 구성된 커플링 수단을 가지며, 상기 마커 구축 요소는 주사위의 면을 형성하도록 구성되고, 상기 마커 구축 요소는 상기 주사위의 면을 형성하는 그 표면의 일부 상에 가시적으로 검출가능한 표지를 포함한다. 주사위의 실시예가, 보드 게임, 카드 게임, 또는 일부 다른 게임과 같은, 게임을 위한 주사위일 수 있을 것이다. 게이밍 주사위는, 평면 상에서 지지할 때 게이밍 주사위가 지속적으로(steadily) 안착될 수 있는 적어도 6개의 측부를 포함하는 본체 부분을 포함할 수 있을 것이고, 그리고 그러한 측부의 적어도 하나가 표지-반송 마커 요소의 장착을 위한 커플링 수단을 구비한다. 일부 실시예에서, 적어도 하나의 주사위의 측부가 적어도 2개의 표지-반송 마커 요소의 동시적인 장착을 위한 커플링 수단을 구비할 수 있을 것이다. 결과적으로, 컴퓨터 시스템이 마커 요소(들)를 검출할 수 있고 그리고 각각의 응답을 생성할 수 있을 것이고, 그에 따라 게이밍 주사위가 던져졌을(thrown) 상이한 결과물을 위한 새로운 종류의 게임을 위한 추가적인 선택사항 또는 그 이상의 선택사항을 가능하게 할 수 있을 것이다.
일부 실시예에서, 커플링 수단은, 완구 구축 모델 내의 구축 요소의 위치를 규칙적인 그리드 상의 구분되는 위치로 제한하는, 3-차원적인(3D) 그리드와 같은 규칙적인 그리드를 형성한다. 특히, 커플링 수단은, 예를 들어, 규칙적인 평면-간(inter-plane) 거리에서 그리고 서로 평행하게 배열된 복수의 평면형 그리드로서 규정된, 3 차원적인 규칙적인 그리드의 그리드 지점 상에 배치된 복수의 커플링 요소를 포함할 수 있을 것이다. 커플링 수단에 의해서 규정된 본질적인, 구분된 좌표 시스템은, 상이한 마커 요소들 사이의, 및/또는 마커 구축 요소와 완구 구축 모델의 다른 요소 또는 특징부 사이의 공간적인 관계의 검출을 돕는다. 특히, 마커 구축 요소의 가시적으로 검출가능한 특징부가 마커 구축 요소의 커플링 수단에 대해서 균일한 위치에 배치될 때, 신뢰가능하고 정확한 완구 구축 모델 내의 AR 마커의 위치 결정이 용이해진다.
각각의 마커 구축 요소가 표지와 같은 가시적으로 검출가능한 특징부를 포함할 수 있을 것이다. 특히, 구분되는 그리고 유한한 세트의 값(예를 들어, 제한된 수의 구분되는 색채)을 가질 수 있는 적어도 하나의 성질을 구축 요소가 가질 때, 성질이 AR 컴퓨터 시스템에 의해서 검출되고 해석될 수 있는 경우에 그러한 성질이 용이하게 검출가능한 AR 마커로서 이용될 수 있을 것이다. 본 설명의 목적을 위해서, AR 시스템에 의해서 인식가능한 마커 구축 요소의 가시적인 특징부가 또한 AR 마커로서 지칭될 것이다.
AR 마커, 예를 들어, 표지가, 예를 들어, 여기에서 설명되는 바와 같은 완구 구축 시스템의 규칙적인 그리드 또는 본질적인 좌표 시스템에 대한 하나 이상의 방향을 규정할 수 있을 것이고, 그에 따라 AR 시스템이 AR 마커의 배향, 예를 들어 카메라에 대한 및/또는 다른 AR 마커에 대한 배향을 검출할 수 있게 한다.
일부 실시예에서, 각각의 마커 구축 요소는, 예를 들어 마커 구축 요소의 외측 표면 상의, 컴퓨터-인식가능한 표지, 예를 들어, 컴퓨터-인식가능한 바코드, 매트릭스 코드, 및/또는 다른 적합한 2D 심볼을 포함한다.
일부 실시예에서, 마커 구축 요소가 2개의 상이한 AR 마커, 그리고 제 1 위치와 제 2 위치 사이에서 이동될 수 있는 이동가능한 요소, 예를 들어, 힌지형 요소, 회전가능하게 배열된 요소, 등을 포함할 수 있을 것이고, 그에 따라 상기 이동가능한 요소가 상기 제 1 및 제 2 위치에 각각 배치될 때 뷰로부터 각각의 하나의 마커를 선택적으로 가로막을 수 있을 것이다. 따라서, 성분의 이동은 상이한 마커들이 보여질 수 있게 하고, 그에 따라 AR 컴퓨터 시스템이 이동가능한 성분의 상태를 검출할 수 있게 한다.
완구 구축 시스템의 실시예는, 사용자로 하여금 균일하고 양호하게-구조화된 방식으로 그리고 상이한 구축 요소의 제한된 세트를 이용하여 AR 기능성을 돕는 매우 다양한 완구 구축 모델을 구축할 수 있게 한다. 예를 들어, 완구 구축 시스템이, 상이한 표지를 가지는 많은 수의 마커 구축 요소를 포함하는 완구 구축 세트로서 제공될 수 있을 것이다. 선택사항으로서, 그러한 완구 구축 세트가 이하 중 하나 이상을 포함할 수 있을 것이다: 이미지 캡쳐링 장치, 통상적인 구축 요소, 설명서 메뉴얼, 여기에서 설명된 방법의 실시예의 단계를 컴퓨터가 실시하게 하도록 구성된 컴퓨터 프로그램 수단을 저장한 컴퓨터-판독가능 매체, 및/또는 기타 등등.
완구 조립 세트가, 당업계에 공지된 통상적인 조립 블록과 같이, 작용/기능을 실시 또는 제어할 수 있는 능력을 가지거나 가지지 않는 능동적인 및/또는 피동적인 구축 요소와 같은 추가적인 타입의 구축 요소를 더 포함할 수 있다는 것을 이해할 수 있을 것이다.
전술한 그리고 이하에서 설명되고 그리고 전술한 양태 중 적어도 하나와 관련하여 설명된 하나 이상의 이점 및 장점을 각각 제공하는 상응하는 방법, 장치, 및 생산 수단에 상응하는 완구 조립 시스템을 포함하고, 그리고 전술한 그리고 이하에서 설명되고 및/또는 종속항에 기재된 적어도 하나의 양태와 관련하여 설명되는 바람직한 실시예에 상응하는 하나 이상의 바람직한 실시예를 각각 가지는 본원 발명의 다른 양태가 다른 방식으로 구현될 수 있을 것이다. 또한, 여기에서 설명되는 양태 중 하나와 관련하여 설명된 실시예가 다른 양태에도 동일하게 적용될 수 있다는 것을 이해할 수 있을 것이다.
특히, 완구 구축 모델의 이미지를 생성하기 위한 방법이 제공된다. 또한, 데이터 프로세싱 시스템 상에서 실행될 때, 데이터 프로세싱 시스템으로 하여금 전술한 방법의 단계를 실시하게 하도록 구성된 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품이 제공된다.
컴퓨터 프로그램 제품은, CD-ROM, DVD, 광학적 디스크, 메모리 카드, 플래시 메모리, 자기 저장 장치, 플로피 디스크, 하드 디스크 등으로서 제공될 수 있을 것이다. 다른 실시예에서, 컴퓨터 프로그램 제품이, 예를 들어, 인터넷 또는 다른 컴퓨터 또는 통신 네트워크를 통해서 다운로드하기 위한 웹 서버 상의 다운로드 가능 소프트웨어 패키지로서 제공될 수 있을 것이다. 특히, 완구 구축 세트의 실시예가 전술한 바와 같은 하나 이상의 마커 구축 요소를 포함하는 완구 구축 요소, 및 적절한 데이터 프로세싱 시스템 상에 컴퓨터 프로그램 제품을 설치하기 위한 설치 설명서를 포함할 수 있을 것이다.
데이터 프로세싱 시스템이, PC, 휴대용 또는 핸드헬드 컴퓨터, PDA, 및/또는 스마트 폰, 등과 같은 임의의 적합한 컴퓨터 또는 다른 프로세싱 장치를 포함할 수 있을 것이다.
데이터 프로세싱 시스템의 실시예가 카메라, 예를 들어, 비디오 카메라와 같은 이미지 캡쳐링 수단, 또는 완구 구축 모델의 이미지를 획득하기 위한 임의의 다른 적합한 장치를 포함한다.
데이터 프로세싱 시스템의 실시예가 이미지 프로세싱 수단, 예를 들어, 캡쳐된 이미지 상에서, 특징부 검출 동작과 같은, 하나 이상의 이미지 프로세싱 동작을 실시하도록 구성된 프로세싱 수단을 포함한다.
여기에서 그리고 이하에서, 프로세싱 수단 및 프로세싱 유닛이라는 용어는 여기에서 설명된 기능을 실시하도록 적절하게 구성된 임의 회로 및/또는 장치를 포함하도록 의도된 것이다. 특히, 전술한 용어는 범용의 또는 특별한 목적의 프로그램 가능 마이크로프로세서, 디지털 신호 프로세서(DSP), 애플리케이션 맞춤형(specific) 집적 회로(ASIC), 프로그램 가능 논리 어레이(PLA), 필드 프로그램 가능 게이트 어레이(FPGA), 특별한 목적을 위한 전자 회로 등, 또는 이들의 조합을 포함한다.
그에 따라, 여기에서 설명된 완구 구축 세트의 실시예는, 사용자로 하여금 매우 다양한 완구 모델을 구축할 수 있게 허용하고 그리고, 적절하게 프로그램된 컴퓨터가 완구 모델의 이미지를 캡쳐할 수 있게 하고 그리고 인식된 마커 구축 요소에 응답하여 컴퓨터-생성된 이미지로 캡쳐된 이미지를 증강 또는 대체할 수 있게 하는, 용이하고 정확한 재현가능한 방식으로 컴퓨터-인식가능 마커 요소를 부가할 수 있게 허용한다.
AR 마커의 검출에 응답하여 컴퓨터-생성된 이미지를 생성하는 것이, AR 마커의 검출에 의해서 트리거링되는, 예를 들어 가상 주변환경에서의 활동(activity), 하나 이상의 가상 캐릭터의 거동, 등과 같은 트리거링 이벤트에 의해서 트리거링되는 추가적인 기능을 실시하는 것을 포함할 수 있을 것이다.
또한, 일부 실시예에 따라서, 적합한 마커 구축 요소를 완구 구축 모델에 커플링함으로써 및/또는 그러한 마커 구축 요소를 포함하는 완구 구축 모델의 적어도 일부를 조작함으로써, 사용자가 컴퓨터 생성된 이미지를 생성 및 제어할 수 있다.
도 1a-d는 종래 기술의 완구 조립 브릭(brick)을 각각 도시한다.
도 2는 여기에서 개시된 바와 같은 완구 구축 시스템의 실시예를 도시한다.
도 3 및 4는 마커 구축 요소의 예를 개략적으로 도시한다.
도 5a-g는 복합 마커 구축 요소의 예를 도시한다.
도 6 및 7은 복합 마커 구축 요소의 이용의 예를 도시한다.
도 8a-d는 규칙적인 그리드를 규정하는 완구 구축 시스템의 예를 도시한다.
도 9 및 10은 여기에서 설명된 완구 구축 시스템의 예의 이용의 예를 도시한다.
도 11a-b는 2개의 선택적인 가시적 AR 마커를 포함하는 마커 구축 요소의 예를 도시한다.
이제, 브릭 형태의 완구 구축 요소를 참조하여, 여기에서 개시된 완구 구축 시스템의 여러 가지 양태 및 실시예를 설명할 것이다. 그러나, 발명은 완구 구축 세트에서 이용되는 다른 형태의 구축 요소에도 적용될 수 있을 것이다.
도 1a-d는 상단부 표면 상의 커플링 스터드(105) 및 하단부로부터 브릭 내로 연장하는 공동(102)을 가지는 종래 기술의 완구 조립 브릭을 각각 도시한다. 도 1a는 완구 조립 브릭의 상단면을 도시하는 한편, 도 1b는 동일한 완구 조립 브릭의 하단면을 도시한다. 도 1c-d는 상이한 크기의 유사한 완구 조립 브릭의 예를 도시한다. 그러한 구축 요소가 LEGO라는 상표명 하에서 널리 이용가능하다. 공동이 중앙 튜브(103)를 가지고, 그리고 US 3 005 282 에 개시된 바와 같이 다른 브릭의 커플링 스터드가 공동 내에 마찰 결합식으로 수용될 수 있다. 나머지 도면에 도시된 조립 브릭이 협력하는 스터드 및 공동 형태의 이러한 공지된 타입의 커플링 수단을 가질 수 있을 것이다. 그러나, 다른 타입의 커플링 수단도 또한 이용될 수 있을 것이다. 커플링 스터드가 정사각형의 평면형 그리드 내에 배열되고, 즉 커플링 스터드의 시퀀스가 따라서 배열되는 직교 방향들을 형성한다. 일반적으로, 그러한 커플링 요소의 배열은 완구 브릭이 서로에 대해서 분리된(discrete) 수의 배향들로, 특히 서로에 대해서 직각으로, 상호연결될 수 있게 허용한다. 커플링 요소의 다른 기하형태적 배열이 상이한 배향적 구속(constraint)을 초래할 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 커플링 요소가 삼각형의 규칙적인 그리드로 배열되어, 조립 요소가 다른 조립 요소 상에서 3가지 상이한 배향으로 배치될 수 있게 한다.
도 2는 여기에서 개시된 완구 구축 시스템의 실시예를 도시한다. 그러한 시스템은 컴퓨터(15), 디스플레이(1), 비디오 카메라(5), 여기에서 개시된 바와 같이 완구 구축 시스템의 적어도 하나의 완구 구축 요소 및 적어도 하나의 마커 구축 요소(11)로 구축된 완구 구축 모델(10)을 포함한다. 컴퓨터는 개인용 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 휴대용 컴퓨터, 게임 콘솔, 휴대용 엔터테인먼트 장치, 또는 임의의 다른 적합한 프로그램 가능 컴퓨터일 수 있을 것이다. 디스플레이(1)가 컴퓨터(15)로 작동식으로 커플링되고(예를 들어, 통합되고), 그리고 컴퓨터(15)의 제어 하에서 비디오 이미지를 디스플레이하도록 동작될 수 있을 것이다. 시스템이 컴퓨터가 키보드, 마우스(2) 또는 다른 포인팅 장치, 및/또는 기타 등등과 같이, 컴퓨터(15)에 작동식으로 커플링된 추가적인 주변 장치를 더 포함할 수 있다는 것을 이해할 수 있을 것이다. 비디오 카메라(5)는 비디오 카메라가 위치되는, 예를 들어, 책상, 바닥 등과 같은 표면(4)의 가시적인 표면 지역(8)을 포함하는 시계(7)의 주변환경(environment)의 비디오 이미지를 캡쳐하도록 동작할 수 있다. 따라서, 가시적인 표면 지역(8)이 표면(4) 상의 비디오 카메라의 시계의 투사(projection)가 된다. 비디오 카메라는 컴퓨터(15)에 작동식으로 커플링될 수 있고(예를 들어, 통합될 수 있고) 그리고, 예를 들어, 컴퓨터(15)의 적합한 입력 인터페이스를 통해서, 캡쳐된 비디오 이미지를 컴퓨터(15)의 프로세싱 유닛으로 전달하도록 동작할 수 있다. 예를 들어, 비디오 카메라가 컴퓨터(15)에 연결된 또는 통합된 웹캠일 수 있을 것이다. 도 2의 예에서, 비디오 카메라는 카메라를 표면(4) 위의 미리 결정된 높이에서 지지하는, 삼각대와 같은, 카메라 지지부(6) 상에 배치된다.
여기에서, 비디오 카메라(5)는, 비디오 카메라가 위치되는 주변환경(8)의 비디오 이미지를 캡쳐하고 그리고 캡쳐된 비디오 이미지를 컴퓨터(15)로 전달한다. 예를 들어, 비디오 카메라가 내부에 위치되는 주변환경이 완구 구축 모델(10)을 포함할 수 있을 것이다. 완구 구축 모델(10)에 더하여, 주변환경이 다른 가정용 물품, 또는 완구, 등과 같은 추가적인 객체를 포함할 수 있을 것이다.
이어서, 컴퓨터 이미지가 컴퓨터(15)에 의해서 디스플레이(1) 상에서 렌더링된다. 그에 따라, 사용자는 비디오 카메라(5)의 시계 내에서 완구 구축 모델(10)을 돌려서 이동시킬 수 있고 및/또는 완구 구축 모델을 달리 조작할 수 있고, 그리고 완구 구축 모델의 비디오 카메라(5)로부터의 라이브 비디오를 관찰할 수 있을 것이다. 대안적으로 또는 부가적으로, 다른 위치로부터 (예를 들어, 정지된) 완구 구축 모델의 이미지를 캡쳐하기 위해서, 사용자가 비디오 카메라의 위치 및/또는 배향을 변화시킬 수 있을 것이다. 추가적으로, 컴퓨터가, 캡쳐된 비디오 이미지를 컴퓨터의 하드 디스크와 같은 저장 장치에 저장하도록, 및/또는 예를 들어, 컴퓨터 네트워크를 통해서 캡쳐된 비디오를 다른 컴퓨터로 전달하도록 동작될 수 있을 것이다. 예를 들어, 컴퓨터가 캡쳐된 비디오 이미지를 웹사이트로 업로드하도록 동작될 수 있을 것이다.
컴퓨터(15)는, 캡쳐된 비디오 이미지 내에서 하나 이상의 미리 결정된 증강 현실 마커 또는 태그를 검출하기 위해서 컴퓨터가 캡쳐된 비디오 이미지에 대해서 이미지 프로세싱을 실시하는, 증강 현실 모드로 동작하도록 컴퓨터가 적절하게 프로그램된다. 적어도 AR 마커(들)에 응답하여, 수정된 비디오 이미지, 예를 들어, 컴퓨터-생성된 이미지가 중첩된 캡쳐된 비디오 이미지로서 형성된 비디오 이미지, 또는 캡쳐된 비디오 이미지의 적어도 일부가 컴퓨터-생성된 이미지에 의해서 대체된 비디오 이미지를 생성하도록 컴퓨터가 프로그램될 수 있을 것이다. 컴퓨터(15)는, 수정된 비디오 이미지를 디스플레이(1) 상에서 디스플레이하도록 동작될 수 있을 것이다. 본 설명의 목적으로서, 비디오 카메라 및 디스플레이에 작동식으로 연결된 AR 기능성을 구현하도록 동작될 수 있는 컴퓨터가 또한 AR 시스템으로 지칭될 것이다.
AR 마커를 검출하기 위한 그리고 검출된 AR 마커에 응답하여 수정된 비디오 이미지를 생성하기 위한 이미지 프로세싱 방법이, 예를 들어, 당업계에서 공지되어 있다(Daniel Wagner 및 Dieter Schmalstieg, "ARToolKitPlus for Pose Tracking on Mobile Devices", omputer Vision Winter Workshop 2007, Michael Grabner, Helmut Grabner (eds.), St. Lambrecht, Austria, February 6-8, Graz Technical University) 참조).
도 2의 예에서, 물리적 완구 구축 모델(10)이 마커 구축 요소(11)에 연결된 완구 구축 요소(9)를 포함한다. 마커 구축 요소(11)는, 그 상단부 표면 상에 2-차원적인 기계 판독가능 코드 형태의 표지(insignia)를 가진다.
컴퓨터(15)는 캡쳐된 이미지 내의 2-차원적인 기계 판독가능 코드의 존재를 검출하도록 동작될 수 있을 것이다. 또한, 컴퓨터(15)는 비디오 카메라(5)의 위치에 대한 2-차원적인 기계 판독가능 코드의 상대적인 위치 및 배향을 결정할 수 있을 것이다.
따라서, 컴퓨터(15)가 완구 구축 모델의 캡쳐된 이미지를 수정하여, 디스플레이(1) 상에서 디스플레이되는 수정된 비디오 이미지(12)를 초래할 수 있을 것이다. 이러한 예에서, 수정된 이미지는 완구 구축 모델의 캡쳐된 이미지(13) 및 상기 캡쳐된 이미지와 중첩된 컴퓨터-생성된 이미지 요소(14) 보여준다. 컴퓨터는, 마커 구축 요소(11)의 AR 마커의 검출된 위치 및 배향으로부터 결정된 바에 따라 비디오 이미지(12) 내의 위치 및 배향에서 컴퓨터-생성된 이미지 요소를 생성한다.
예를 들어, 물리적 모델을 이동 및/또는 회전시킴으로써 사용자가 비디오 카메라의 투사 지역(8) 내의 물리적 완구 구축 모델(10)을 조작함에 따라, 컴퓨터(15)는 물리적 완구의 마커 구축 요소(11)의 표지의 위치 및 배향을 추적한다. 컴퓨터(15)는 비디오 카메라(거울형 모드)의 라이브 비디오 피드(feed)를 디스플레이(1) 상에서 디스플레이하고 그리고, 표지의 검출된 위치 및 배향에 응답하여, 라이브 비디오 피드에 증강 현실 특수 효과를 부가한다.
도 3 및 4는 마커 구축 요소의 예를 개략적으로 도시한다.
도 3은 도 1c의 조립 브릭과 유사한, 즉 완구 조립 브릭의 상단부 표면 상의 평면형 정사각형 그리드로 정렬된 커플링 스터드(305)를 포함하는 조립 브릭과 유사한 완구 조립 브릭(311) 형태의 완구 구축 요소를 도시한다. 완구 조립 브릭은 또한, 완구 구축 브릭과 유사하게, 다른 브릭의 커플링 스터드를 수용하고 마찰적으로 결합하기 위한 하단부 표면(도 3에 미도시됨) 상의 하나 이상의 공동을 포함한다. 완구 조립 브릭은, 그 측부 면 중 하나에서, 2D 바코드 형태의 증강 현실 마커(321)를 포함한다.
2D 바코드 대신에 다른 형태의 AR 마커가 이용될 수 있다는 것을 이해할 수 있을 것이다. 일반적으로, AR 마커는, 공지된 이미지 인식 방법을 이용하여 캡쳐된 비디오 이미지 내에서 자동적으로 구분하기가 비교적 용이한 임의 객체가 될 수 있을 것이다. AR 마커가 이미지 인식 방법에 의해서 검출되는 경우에, AR 마커가, 예를 들어, 입방체 또는 원통과 같은 3 차원적인 객체가 될 수 있을 것이고, 또는 정사각형 또는 원과 같은 2 차원적인 마커가 될 수 있을 것이다. 전형적으로, AR 마커가 흑색 및 백색 정사각형과 같이 용이하게 구분가능한 패턴을 포함할 수 있으나, 특별한 색채 또는 색채의 패턴 등을 이용하는 것과 같은 다른 방법이 마커 인식을 위해서 이용될 수 있을 것이다.
AR 마커는, 컴퓨터로 하여금 AR 마커의 위치 및/또는 배향을 검출할 수 있게 하는 하나 이상의 요소를 포함할 수 있을 것이다. 예를 들어, AR 마커가 둘 이상의 교차선을 포함할 수 있을 것이다. 대안적으로 또는 부가적으로, AR 마커가 정보를 인코딩하기 위한 가시적인 요소를 포함할 수 있을 것이고, 그에 따라 컴퓨터로 하여금 마커의 상이한 타입을 식별 및 구분할 수 있게 하고 그리고 특정 타입의 마커에 응답하여 컴퓨터-생성된 이미지를 선택적으로 생성할 수 있게 한다.
AR 마커는 커플링 수단에 대해서, 즉 상단부 표면 상의 커플링 스터드에 대해서 및/또는 하단부 내의 커플링 공동에 대해서 균일한 방식으로 배열될 수 있을 것이다. 예를 들어, AR 마커가 커플링 수단에 의해서 규정된 평면형 그리드에 대해서 평행한 또는 수직인 방향을 규정할 수 있을 것이다. 이는, 마커 브릭들이 상호교환될 수 있게 하고, 그리고 도 1-3에서와 같은 브릭으로부터의 완구 구조 조립에서, 몇 개의 마커 브릭이 상호 교환적으로 이용될 수 있게 하고, 그리고 특별한 마커가 몇몇 구축에서 이용될 수 있게 한다. 완구 구축 시스템은, 상이한 표지가 적용된 그리고 컴퓨터 시스템으로 하여금 상이한 컴퓨터-생성된 이미지를 생성하게 하는 몇 개의 그러한 마커 브릭을 포함할 수 있을 것이다. 그럼에도 불구하고, 만약 모든 마커 브릭이 균일한 위치에서 표지를 포함한다면, 그러한 마커 브릭은 여기에서 설명된 조립 브릭으로 조립된 완구 구축물 내에서 용이하게 상호교환될 수 있을 것이다.
표지를 포함하는 표면 부분이 어떠한 커플링 수단도 구비하지 않도록 마커 구축 요소의 표면의 일부 상에 표지가 위치될 때, 표지가 마커 구축 요소에 커플링되는 다른 구축 요소에 의해서 의도하지 않게 가로 막히게 될 가능성이 적을 것이다. 마커 구축 요소는, 예를 들어, 완구 구축 요소의 상이한 면들 상에(또는 그렇지 않은 경우에 표면의 상이한 부분들 상에) 복수의 표지를 포함할 수 있을 것이다.
도 4는, 마커 구축 요소가 완구 구축 모델의 다른 완구 구축 요소에 어떻게 커플링될 수 있는지를 도시한다. 이러한 예에서, 완구 구축 모델은 완구 구축 요소(410 및 412) 그리고 마커 구축 요소(411)를 포함한다. 도 4a는 개별적인 구축 요소를 도시하는 한편, 도 4b는 구축 요소(410)에 해제가능하게 커플링된 마커 구축 요소(411)를 도시한다. 이러한 목적을 위해서, 도 1과 관련하여 설명한 바와 같이, 완구 구축 요소(410)가 그 상단부 표면 상에 커플링 스터드(405)를 포함한다. 마커 구축 요소(404)가 그 하단면(도 4에 미도시됨) 상에 공동을 포함하고, 그에 따라 커플링 스터드(404)와 마찰적으로 결합하는 것을 허용한다.
따라서, 3D 공간 내에서 완구 모델을 추적하는 것을 용이하게 하기 위해서 그리고 가상 그래픽 및 효과를 중첩하기 위해서, 그에 따라 가상의 특질을 가지는 물리적 완구를 제공하고 그리고 구축된 완구 모델이 AR 애플리케이션의 일부가 되게 하기 위해서, 사용자는 AR 마커를 포함하는 마커 구축 요소를 구축된 완구 모델에 연결할 수 있을 것이다. 도 3의 예에서와 같이, 마커 구축 요소(411)의 표지가 커플링 요소를 포함하지 않는 마커 구축 요소의 표면 상에 위치된다.
도 5a-g는 복합 마커 구축 요소의 예 즉, 예를 들어, 서로에 대해서 미리 결정된 공간적 관계로, 완구 구축 시스템의 커플링 수단에 의해서 서로 직접적으로 또는 간접적으로 연결된 복수의 마커 구축 요소의 예를 도시한다. 일반적으로, 복합 마커 구축 요소는, 사용자로 하여금 구분된 객체의 큰 세트를 생성할 수 있게 하고, 각각의 객체는 많은 수의 특유의 AR 마커 중 하나에 의해서 식별될 수 있다. 특히, 많은 수의 특유의 AR 마커가 개별적인 마커 구축 요소의 상대적으로 제한된 세트로부터 생성될 수 있는데, 이는 조립 시스템을 통해서 마커의 작은 세트를 조합하는 것이 조합적인 가능성의 전체 수를 크게 증가시키기 때문이다.
도 5a는, 3개의 마커 구축 요소 즉, 피규어(figure)의 헤드와 유사한 요소(511), 피규어의 몸통과 유사한 요소(512), 및 피규어의 다리와 유사한 요소(513)로 구축된 인간-유사 피규어의 예를 도시한다. 구축 요소는 헤드 및 다리가 몸통에 해제가능하게 커플링될 수 있게 하는 커플링 요소를 구비한다. 헤드, 몸통, 및 다리는, 예를 들어, 헤드의 안면 특징부 및 몸통 및/또는 다리의 클로징(closing) 특징부 형태의 표지를 포함할 수 있을 것이다. AR 시스템의 비디오 카메라에 대해서 제시될 때, AR 시스템은, 예를 들어, 헤드, 몸통 및 다리 각각의 검출된 특징부(521, 522, 523)에 의해서 도 5b에 개략적으로 도시된 바와 같이, 헤드, 몸통 및 다리의 특징부를 검출할 수 있을 것이다. 따라서, 상이한 헤드, 몸통, 및 다리를 조합함으로써, AR 마커의 매우 다양한 조합이 생성될 수 있을 것이다. 어떠한 피규어가 AR 시스템에 의해서 검출되는지에 따라서, AR 시스템이 상이한 컴퓨터-생성된 이미지로 응답할 수 있을 것이고, 그에 의해서 매우 다양한 상호작용이 가능할 것이다.
도 5c 및 5d는, 도 1c에 도시된 바와 같은 완구 조립 브릭으로 구축된, 유사한 복합 마커 구축 요소를 도시한다. 완구 조립 브릭(531, 532, 및 533)은 상이한 색채, 예를 들어, 각각 적색, 백색, 및 청색을 가진다. 서로의 상단부에 적층되고 그리고 그들의 각각의 커플링 수단에 의해서 상호연결될 때, 조립 브릭이 색채의 시퀀스를 형성하고, 이는 AR 시스템에 의해서 검출될 수 있을 것이다. 도 5d에 도시된 바와 같이, 색채의 순서를 변경하는 것에 의해서, 상이한 특유의 복합 AR 마커가 단 3개의 상이한 마커 구축 요소로부터 구축될 수 있을 것이다.
도 5e는, 측부 면 상의 표지 형태의 AR 마커를 가지는 도 3에 도시된 것과 유사한 완구 조립 브릭(541, 542, 543)을 포함하는, 복합 마커 요소의 유사한 예를 도시한다.
도 5f-g는 복합 마커 요소의 다른 예를 도시한다. 이러한 예에서, 복합 마커 요소는 베이스 조립 브릭(550), 예를 들어, 도 1c의 브릭과 유사하나 상단부 표면에 보다 많은 수의 커플링 요소를 가지는 브릭을 포함한다. 복합 마커 요소는 베이스 조립 브릭(550)에 연결된 마커 구축 요소(551, 552, 553)를 더 포함한다. 따라서, 이러한 예에서, 마커 구축 요소(551, 552, 553)는 복합 마커 구축 요소를 형성하기 위해서 강성(rigid) 구성에서 서로에 대해서 간접적으로 커플링된다. 이러한 목적을 위해서, 마커 구축 요소는, 베이스 조립 브릭(550)의 상단부 표면상의 상응하는 커플링 요소, 예를 들어, 스터드와 결합할 수 있는, 하단부 표면 상의 커플링 요소, 예를 들어 공동을 구비한다. 각각의 마커 구축 요소는 그 상단부 표면 상에 표지를, 이러한 예에서는 로마 알파벳의 문자를 가진다. 마커 구축 요소가 나란히 배열됨에 따라, 그 마커 구축 요소는 AR 시스템에 의해서 검출될 수 있는 표지의 시퀀스를 형성한다.
도 5g에 의해서 설명되는 바와 같이, 마커 구축 요소의 표지가 평면 내의 배향을 규정할 수 있을 것이고, 그리고 개별적인 마커 요소가 서로에 대해서 회전될 수 있을 것이고, 따라서, AR 시스템이 AR 마크의 서로에 대한 및/또는 완구 구축 모델의 다른 특징부에 대한 각각의 AR 마크의 배향을 검출할 수 있을 것임에 따라, 복수 코드를 규정하는 자유도가 추가적으로 증가될 수 있을 것이다.
따라서, 도 5의 예에서, 가시적으로 검출가능한 특징부의 시퀀스를 규정하기 위해서, 다른 마커 구축 요소와 구분되는 가시적으로 검출가능한 특징부를 각각 포함하는 개별적인 마커 구축 요소가 그들의 커플링 요소에 의해서 상호 연결된다. 그에 따라, 가시적으로 검출가능한 특징부의 각각의 구분되는 시퀀스가 복합 AR 마커를 규정할 수 있을 것이다. 예를 들어, 개별적인 가시적으로 검출가능한 특징부가 AR 시스템에 의해서 코드의 심볼로서 검출될 수 있을 것이고, 그리고 심볼의 시퀀스에 의해서 인코딩된 정보를 획득하기 위해서 검출된 심볼의 시퀀스가 AR 시스템에 의해 디코딩될 수 있을 것이다. 일부 실시예에서, 검출 오류에 대해서 코드를 보다 확실하게(robust) 만들기 위해서, 시스템이 공지된 오류 검출 및/또는 오류 교정 기술을 이용할 수 있을 것이다.
도 6 및 7은 복합 마커 구축 요소의 이용의 예를 도시한다.
도 6a-b는 도 5a-b의 마커 구축 요소의 이용을 도시한다. 도 6a는 AR 시스템의 비디오 카메라(5) 및 디스플레이(1)를 도시한다. 초기에, 디스플레이는 장면(612)을 보여준다. 사용자가 인간-유사 피규어(613)를 AR 시스템의 비디오 카메라(5)에 제시할 때, AR 시스템이 헤드, 몸통, 및 다리의 조합을 검출하고, 상응하는 조합된 AR 마커를 결정하고, 그리고 검출된 조합된 마커에 응답하여 디스플레이된 이미지를 수정할 수 있을 것이다. 예를 들어, AR 시스템이 장면(612) 내의 피규어(623)의 이미지를 생성할 수 있을 것이다. 피규어가 물리적 피규어(613)와 유사할 수 있고 그리고 검출된 조합된 AR 마커에 응답하여 AR 시스템에 의해서 결정된 거동(예를 들어, 친근한, 화가 난, 슬픈, 등)을 보여주도록 애니메이트화될 수 있을 것이다.
도 6c-d는 도 5c 또는 5e의 마커 구축 요소의 이용을 도시한다. 도 6c는 AR 시스템의 비디오 카메라(5) 및 디스플레이(1)를 도시한다. 사용자가 복합 마커 요소(633)를 AR 시스템의 비디오 카메라(5)로 제시할 때, AR 시스템은 마커 구축 요소의 조합을 검출할 수 있을 것이다. 선택사항으로서, AR 시스템이 복합 마커 요소를 형성하는 개별적인 마커의 서로에 대한 상대적인 위치 및/또는 배향을 결정할 수 있을 것이다. 이어서, AR 시스템이 검출된 복합 마커 요소에 응답하여 반응할 수 있을 것이다. 예를 들어, 도 6d에 도시된 바와 같이, AR 시스템이 조합된 마커 요소를, 예를 들어, 게이밍 애플리케이션의 미리 결정된 레벨에 대한, AR 시스템의 진행된 특징부에 대한 액세스를 보장하기 위한, 액세스 코드로서 해석할 수 있을 것이다. 만약 제시된 조합된 마커 요소가 저장된 액세스 코드와 합치된다면, 사용자가 액세스하도록 허용되고; 그렇지 않은 경우에 액세스가 거부될 수 있을 것이다.
도 7a-d는 조합된 마커 구축 요소, 예를 들어, 도 5f-g에 도시된 타입의 마커 구축 요소의 이용의 다른 예를 도시한다. 도 7a는 완구 구축 요소의 커플링 요소(705), 예를 들어 도 1과 관련하여 설명된 바와 같은 커플링 스터드를 개략적으로 도시한다. 커플링 요소는 평면형의 정사각형 그리드로 배열된다. 도 7b는 커플링 요소에 의해서 완구 구축 요소에 커플링된 마커 구축 요소(711)를 도시한다. 커플링 요소의 배열은, 마커 구축 요소가 4개의 구분된 배향으로 다른 완구 구축 요소에 연결될 수 있게 허용한다. 도 7의 예에서, 마커 구축 요소(711)가 방향을 규정하는 표지를 가진다. 이러한 구체적인 예에서, 표지는 구름 및 태양의 이미지, 즉 "위쪽" 방향을 규정하는 이미지와 유사하다. 도 7c는 마커 구축 요소(711)에 인접하여 커플링 요소(705)에 커플링된 마커 구축 요소(713)를 도시한다. 마커 구축 요소(713)는 또한 방향을 규정하는 표지를 가지고, 이러한 예에서는 화살표와 유사하다. 마커 구축 요소(712)는, 그 방향이 구축 요소(711)에 의해서 규정된 방향에 대한 4개의 상이한 배향으로 향하는(pointing) 상태로 마커 구축 요소(711)에 대해서 배치될 수 있을 것이다. 이러한 3개의 배향이 도 7에서 파선 원(712)으로 도시되어 있다. 유사하게 도 7d는 마커 구축 요소(711)에 인접하여 커플링 요소(705)에 커플링된 다른 마커 구축 요소(715)를 도시한다. 마커 구축 요소(715)는 또한, 이러한 예에서 화살표와 유사한, 방향을 규정하는 표지를 가진다. 마커 구축 요소(715)는, 그 방향이 마커 구축 요소(711)에 의해서 규정된 방향에 대한 4개의 상이한 배향을 향하는 상태에서, 마커 구축 요소(711)에 대해서 배치된다. 이러한 배향 중 3개가 도 7에서 파선 원(714)으로 도시되어 있다. 조합된 마커 구축 요소가 요소(711, 713, 및 715)를 포함하고, 그에 따라 순차적인 순서로 배열된 AR 마커의 시퀀스를 규정하고 그리고 서로에 대해서 검출가능한 배향을 가진다. AR 시스템의 카메라에 대해서 제시될 때, AR 시스템이 3개의 마커 구축 요소, 그들의 상대적인 위치 및 그들의 상대적인 배치를 검출할 수 있을 것이다. 결과적으로, 단지 2가지 상이한 타입의 마커 구축 요소(마커의 "구름 및 태양" 타입 및 마커의 "화살표")에서, 마커 요소를 상이한 상대적인 배향 및/또는 위치(예를 들어, 상이한 순차적인 순서)으로 완구 구축 요소에 커플링시킴으로써, 많은 수의 상이한 복합 마커가 구축될 수 있을 것이다.
예를 들어, 컴퓨터 생성된 이미지 요소를 생성할 때, AR 시스템이 기후 현상, 예를 들어, 구름, 강우, 태양, 강설, 등과 유사한 이미지 요소를 생성할 수 있을 것이다. 그에 따라, AR 시스템은 마커 구축 요소(711, 713, 및 715)의 배향에 응답하여 기후 현상을 디스플레이하도록 제어될 수 있을 것이다. 예를 들어, 사용자가 마커 구축 요소(711)를 완구 구축 모델에 연결하였다는 것을 AR 시스템이 검출할 때, AR 시스템은 기후 현상과 유사한 이미지 요소의 디스플레이를 제어하기 위한 기능을 개시할 수 있을 것이다.
화살표가 (마커 구축 요소(711)에 대해서) 위를 향하게 마커 구축 요소(713)를 배치하는 것에 의해서, AR 시스템이 태양과 유사한 이미지 요소의 디스플레이를 제어하기 위한 기능을 개시하게 될 수 있을 것이다. 화살표가 좌측 또는 우측을 향하는 상태로 배치하는 것에 의해서, '강우' 및 '강설' 각각을 디스플레이하기 위한 디스플레이 기능을 개시할 수 있을 것이다.
화살표가 (마커 구축 요소(711)에 대해서) 우측을 향하는 상태로 마커 구축 요소(715)를 배치하는 것에 의해서, AR 시스템이 "중간" 정도(degree)의 (예를 들어, 구름에 의해서 부분적으로 덮여진) 선택된 이미지 요소(이러한 예에서, "태양")의 디스플레이를 제어하기 위한 기능을 개시하게 될 수 있을 것이다. 화살표가 위 또는 아래를 향하는 상태로 배치하는 것은 선택된 이미지 요소를 각각 높은 또는 낮은 정도(예를 들어, 많은 태양 또는 적은 태양)으로 디스플레이하는 기능을 개시할 수 있을 것이다.
일반적으로, 마커 구축 요소의 커플링 수단이 마커 구축 요소를 다른 완구 구축 시스템에 대해서 미리 결정된 수의 구분되는 상대적인 위치 및/또는 구분되는 상대적인 배향으로 완구 구축 시스템의 다른 완구 구축 요소(예를 들어, 다른 마커 구축 요소)에 커플링하는 것만을 허용할 때, AR 시스템은, 적어도 2개의 마커 구축 요소의 서로에 대한 상대적인 위치 및/또는 배향을 검출하도록, 그리고 검출된 상대적인 위치 및/또는 배향에 응답하여 컴퓨터-생성된 이미지 특징부를 생성하도록 구성될 수 있을 것이다. 예를 들어, 마커 구축 요소의 커플링 요소가 평면형의, 규칙적인 그리드를 규정할 때, 그리고 커플링 요소가 상기 평면 중 하나 내에서 서로에 대해서 미리 결정된 수의 각도로 완구 구축 요소의 커플링을 허용할 때, 제한된 수의 구분된 상대적인 위치 및 배향이 제공될 수 있을 것이다.
도 8a-d는 규칙적인 그리드를 형성하는 구축 시스템의 예를 도시한다. 도 8a는 3D 규칙적 그리드를 도시하고, 여기에서 그리드의 각각의 그리드 지점이 완구 구축 모델 내의 연결 요소의 유효 위치를 규정한다. 일반적으로, 그리드의 모든 그리드 지점에 커플링 요소가 반드시 존재할(populate) 필요는 없으나; 일부 실시예에서 모든 커플링 요소가 규칙적인 그리드의 그리드 지점 상에 배치된다는 것을 이해할 수 있을 것이다. 특히, 도 8a의 예에서, 그리드 지점이 평행한 평면들(801a-d) 내에 배열되고, 여기에서 평면 내의 그리드 지점은 하나 이상의 완구 구축 요소의 표면 상의 연결 요소, 예를 들어, 도 1에 도시된 조립 브릭의 커플링 스터드의 위치를 규정한다. 평행한 평면들 사이의 거리는 커플링 요소를 가지는 구축 요소들의 표면들 사이의 거리를 규정한다. 예를 들어, 일부 실시예에서, 구축 요소는 그리드의 2개의 이웃하는 평면들 사이의 거리와 같은(또는 그 정수배인) 높이를 가진다.
완구 구축 시스템이 규칙적인 그리드를 규정할 때, AR 마커의 위치 및/또는 배향이 AR 시스템에 의해서 그리드에 대해서 정확하게 결정될 수 있을 것이다. 또한, 조립 시스템의 그리드 내의 조립 요소에 부착된 추적 마커는, 태그된 요소가 모델 내에서 어떻게 이용되는지에 대한 추가적인 정보를 제공한다. 태그들이 정확하게 조립된다면 즉, 그리드 내에 정확하게 피팅된다면, 애플리케이션 내의 이벤트가 선택적으로 트리거링될 수 있을 것이다.
그에 따라, AR 마커는, AR 시스템으로 하여금 그리드에 대한 AR 마커(들)의 미리 결정된 위치 및/또는 배향(및/또는 다른 위치적 구속)에 응답하여 컴퓨터 생성된 이미지 요소의 생성을 개시하게 할 수 있을 것이다. 그에 따라, 물리적 요소가 조립 시스템 내에서 어떻게 이용되는지에 대해서 AR 애플리케이션이 반응할 수 있다.
도 8b-d는 그러한 위치-감응형 트리거 기능의 예를 도시한다.
도 8b는 도 8a에 도시된 바와 같이 3D 그리드를 형성하는 커플링 요소를 가지는 완구 구축 요소로부터 구축된 완구 구축 모델의 예를 개략적으로 도시한다. 그에 따라, 구축 요소의 상단부 표면이 적절한 좌표 시스템의 원점에 대해서 미리 결정된 높이에만 위치될 수 있을 것이다. 예를 들어, 도 8b의 구축 요소(810a)가 제 1 높이에 위치되는 한편, 구축 요소(810b)가 제 2 높이에 위치되고, 그리고 구축 요소(810c)가 제 3 높이에 위치된다.
구축 요소(810a-c)의 상단부 표면이 AR 시스템에 의해서 검출될 수 있고 그리고 가상 버튼(button)으로서 기능할 수 있을 것이다. 만약, 도 8c에 도시된 바와 같이, 사용자가 가상 버튼으로서 AR 시스템에 의해서 해석되는 하나의 구축 요소에 마커 구축 요소(811)를 연결한다면, 마커 구축 요소의 검출에 의해서 AR 시스템이 가상 작용을 트리거링하게 될 수 있을 것이고, 예를 들어 도 8d에 도시된 바와 같이 가상 버튼의 위치에서 컴퓨터-생성된 이미지 요소(812)를 디스플레이할 수 있을 것이다. 일부 실시예에서, 트리거링되는 작용이 또한 마커 요소(812)의 표지 및/또는 다른 조건, 예를 들어, 마커 요소가 가상 버튼 중 2개에 연결되는 조건에 의존할 수 있을 것이다.
AR 시스템의 카메라의 시계 내에 배치된 완구 구축 모델에 의해서 규정된 본질적인 구분된 좌표 시스템의 그리드 지점의 위치를 결정하도록 AR 시스템이 구성될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, AR 시스템이, 상응하는 마커 구축 요소의 커플링 요소와의 미리 결정된 공간적 관계로 위치된 AR 마커의 위치 및/또는 커플링 요소의 위치를 검출할 수 있을 것이다. 결정된 그리드 위치를 기초로, AR 시스템이 카메라 위치에 대한 규칙적인 그리드의 위치 및/또는 배향을 결정할 수 있을 것이다. AR 시스템은 예를 들어 검출된 물리적 그리드로부터 규칙적인 이미지 그리드를 생성할 수도 있을 것이고, 그에 따라 이미지 그리드가 물리적 커플링 요소의 이미지와 일치하는 그리드 지점을 가질 수 있을 것이다. 이어서, AR 시스템은, 검출된 이미지 그리드에 대한 위치에서 컴퓨터-생성된 이미지의 이미지 특징부를 생성하기 위해서 이미지 그리드를 이용할 수 있을 것이다.
도 9 및 10은 여기에서 설명된 바와 같은 완구 구축 시스템의 예의 이용에 관한 예를 도시한다.
도 9는 도 1에 도시된 타입의 완구 구축 요소(911a-911b)를 도시한다. 이러한 실시예에서, 상이한 구축 요소가 각각 표지, 상이한 색채, 및/또는 다른 구분가능한 가시적인 특징부를 가진다. 완구 구축 모델 내의 AR 시스템에 의해서 검출될 때, 완구 구축 요소의 각각이 미리 결정된 작용을 트리거링한다. 예를 들어, 도 9의 예에서, 구축 요소(911a-911d)의 각각이 상이한 타입의 풍경(landscape) 또는 주변환경 현상, 예를 들어, 잔디(grass), 물, 눈, 화재, 등을 나타낸다. AR 시스템에 의해서 검출될 때, 잔디, 물, 화재, 눈을 각각 나타내는 상응하는 이미지 요소를 디스플레이함으로써, 각각의 구축 요소가 AR 시스템에 의해서 증강될 수 있을 것이다. 이는, 예를 들어, 도 9b에 도시된 바와 같이, 사용자가 구축 요소에 의해서 풍경을 조립할 수 있게 허용한다.
마커 구축 요소가 또한 AR 시스템 내의 추가적인 작용들을 트리거링할 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 도 9b의 풍경이 내부에서 게임이 실시되는 풍경으로서 AR 시스템 내에서 이용될 수 있을 것이고, 즉 사용자가 물리적 조립 요소를 이용함으로써 컴퓨터 게임의 그 자신만의 레벨을 조립할 수 있을 것이다.
도 10은 6개의 동일한 측부를 가지는 본체 부재(2)를 포함하는 게이밍 주사위를 도시하고, 그리고 이러한 측부의 각각은, 게이밍 주사위가 던져진 후에 게이밍 주사위가 주어진 측부 상으로 놓여질 가능성이 게이밍 주사위의 모든 측부에 대해서 동일하게 높아지게 하는 효과를 위해서 본질적으로 정사각형으로 구성된다.
본체 부재(2)의 측부들이 본질적으로 동일하고 그에 따라 그러한 게이밍 주사위를 투척하는 것 자체는 의미를 가지지 않을 것이고, 사용자 또는 AR 시스템은 그러한 주사위 투척의 산출결과들을 구분할 수 없다. 이러한 주사위의 예에 따라서, 4개의 커플링 스터드(3)가 본체 부재(2)의 측부의 각각에 제공되고 그리고, 커플링 스터드(3)가 정사각형 모서리를 형성하는 효과를 위해서 정사각형 패턴으로 배열되고, 그리고 커플링 스터드(3)는, 게이밍 주사위가 상이한 그러한 조립 요소를 게이밍 주사위의 측부에 장착할 때 게이밍 주사위의 측부가 본성을 변화시킬 수 있게 하는 효과를 위해서, 완구 조립 시스템으로부터 조립 요소를 커플링 스터드(3) 상으로 장착할 수 있도록 구성된다.
조립 요소(4a, 4b, 4c)의 하부측부 상에서, 커플링 플랜지가 구성되고, 그러한 커플링 플랜지는, 조립 요소(4a, 4b, 4c)를 게이밍 주사위에 장착한 후에, 게이밍 주사위 상의 커플링 스터드(3)의 외측 측부 상에 마찰 인접된다. 그러한 커플링 플랜지를 상이한 방식으로 구성할 수 있는 충분한 가능성이 존재하고, 그리고 당업자는 그러한 선택사항에 자유롭게 주목(point)할 수 있을 것이다.
게이밍 주사위에 상이한 조립 요소를 장착함으로써, 게이밍 주사위에 장착되는 요소의 수, 형상 또는 외관을 변경하는 경우에, 게이밍 주사위의 각각의 측부에 그 자체의 본성을 부여할 수 있을 것이다.
도 10은 동일한 게이밍 주사위를 도시하며, 게이밍 주사위의 적어도 3개의 가시적인 측부 상에 완구 조립 시스템으로부터의 조립 플레이트(4a, 4b, 4c)가 장착된다. 위쪽을 향하는 하나의 측부 상에서, 직사각형 조립 플레이트(4a)가 장착되고, 그러한 조립 플레이트는, 조립 플레이트가 해당 측부 상에서 추가적인 조립 요소의 장착을 위한 공간을 남기지 않도록 하는 효과를 위해서, 그 측부 상의 4개의 모든 커플링 스터드를 덮는다. 게이밍 주사위의 2개의 다른 가시적인 측부 상에서, 각각, 한 측부 상에서 커플링 스터드(3) 중 정확하게 하나를 덮는 하나의 정사각형 조립 플레이트(4b)가 장착되고, 그리고 다른 측부에서, 2개의 직사각형 조립 플레이트(4c)가 해당 측부 상에 추가적인 조립 플레이트의 장착을 위한 공간을 남기지 않는 효과를 위해서, 해당 측부 상의 정확하게 2개의 커플링 스터드(3)를 각각 덮는 2개의 직사각형 조립 플레이트(4c)가 장착된다.
따라서, 상이한 AR 마커가 게이밍 주사위의 상이한 면과 연관될 수 있을 것이다. 여기에서 개시된 바와 같이, AR 시스템의 비디오 카메라의 시계 내에서 주사위를 던지는 것은, 그에 따라, AR 시스템으로 하여금, 예를 들어, 주사위의 면 상의 AR 마크를 검출하게 할 것이고, 그리고 가상 게임의 상응하는 결과를 제시하게 할 것이다. 상이한 AR 마커들이 주사위의 면들과 연관되기 때문에, AR 시스템은, AR 시스템을 재프로그래밍하거나 달리 재구성할 필요 없이, 주사위의 각각의 면에 연결된 AR 마커 구축 요소를 단순히 교체함으로써, 상이한 게임을 구현할 수 있을 것이다.
도 11a-b는 2개의 선택적인 가시적 AR 마커를 포함하는 마커 구축 요소의 예를 도시한다. 도 11a-b는, 도 11a에 도시된 바와 같은 폐쇄 위치와 도 11b에 도시된 개방 위치 사이에서 도어(1103)가 피봇될 수 있게 허용하기 위해서 프레임(1102)에 힌지 연결된 도어(1103)를 포함하는 완구 구축 모델(1101)을 개략적으로 도시한다. 프레임 및 도어가, 예를 들어, 힌지를 제위치로 스냅 결합하는 것에 의해서, 서로 해제 가능하게 상호 연결될 수 있을 것이다. 대안적으로 또는 부가적으로, 프레임(1102)이, 예를 들어, 완구 구조 내의 개구부를 덮는 이동가능한 배리어를 제공하기 위해서, 프레임과 도어 구조가 보다 큰 완구 구축 모델에 연결될 수 있게 허용하는 하나 이상의 커플링 요소(도 11에 명시적으로 도시되지 않음)를 포함할 수 있을 것이다. 도어(1103)가 양 측부 상에서 커플링 요소(도 11에 명료하게 도시되지 않음)를 구비할 수 있고, 그에 따라 상이한 마커 구축 요소(1111a 및 1111b)가 도어의 각각의 측부에 연결되게 허용할 수 있다. 예를 들어, 구축 마커 요소(1111a 및 1111b)가 도 4a의 요소(411)와 유사한 요소일 수 있을 것이다. 마커 구축 요소(1111a 및 1111b)가 도어로부터 멀어지는 쪽을 향하는 각각의 면 상에 상이한 표지를 포함한다. 도 11의 예에서, 마커 구축 요소(1111a)가 정사각형 프레임 및 상기 프레임 내부의 문자 'A'을 포함하는 한편, 마커 구축 요소(1111b)는 정사각형 프레임 및 상기 프레임 내부의 문자 'B'를 포함한다. 따라서, 표지(1111a)는 도어가 폐쇄 위치에 있을 때 보여질 수 있는 한편, 표지(1111b)는 도어가 개방 위치에 있을 때 보여질 수 있다. 구조(1101)가 여기에서 설명한 바와 같이 AR 시스템의 비디오 카메라(1105)의 시계 내에 배치될 때, AR 시스템은 표지들 중 어떠한 것이 보여지는지를 결정할 수 있고, 그에 의해서 도어가 개방 또는 폐쇄 위치에 있는지의 여부를 검출할 수 있고, 그리고 검출된 도어 상태에 응답하여 컴퓨터-생성된 이미지를 생성할 수 있을 것이다. 예를 들어, 폐쇄 위치에 있을 때, AR 시스템은, 완구 구조에 의해서 규정된 주변환경 주위로 이동하는 이동가능한 객체(예를 들어, 인간-유사 또는 동물-유사 피규어)의 컴퓨터-생성된 이미지와 함께 도어를 포함하는 완구 구조의 라이브 뷰를 증강할 수 있을 것이다. 도어가 폐쇄되어 있다는 것을 AR 시스템이 검출할 때, 이동가능한 객체의 이동이 주변환경의 일부만으로 속박될 수 있을 것인 한편(또는 객체가 전혀 보이지 않을 수 있을 것이다), 도어가 개방 위치에 있는 것으로 검출될 때, 이동가능한 객체가 도어에 의해서 덮여지는 개구부를 통과하는 것으로 보여질 수 있을 것이다.
따라서, 마커 중 어느 하나가 기능적 요소의 상태에 의존하여 보여질 수 있도록 2개의 AR 마커가 완구 구축 모델의 기능적 요소에 연결될 때, 그러한 기능적 요소의 상태가 AR 시스템에 의해서 검출될 수 있다. AR 마커 구축 요소(1111a 및 1111b)가 상이한 기능적 완구 구축 요소에 해제가능하게 연결될 수 있음에 따라, 완구 구축 시스템이 제 1 상태를 나타내는 제 1 마커 구축 요소 및 제 2 상태를 나타내는 제 2 마커 구축 요소를 포함할 수 있을 것이고, 그에 따라 AR 시스템이 상이한 기능적 구축 요소의 상이한 상태를 검출할 수 있게 한다.
몇 가지 수단을 나열하는 청구범위에서, 이러한 몇 개의 수단이 하드웨어의 하나의 그리고 동일한 요소, 성분 또는 항목에 의해서 구현될 수 있을 것이다. 단지 특정 수단이 서로 상이한 종속항에서 인용되었거나 다른 실시예에서 설명되었다는 사실은, 이러한 수단의 조합이 유리하게 이용될 수 없다는 것을 나타내는 것이 아니다.
"포함하는/포함한다"라는 용어는, 이러한 명세서에서 사용될 때, 기술된 특징부, 요소, 단계, 또는 성분의 존재를 구체화하기 위해서 취한 것이나, 하나 이상의 다른 특징부, 요소, 단계, 성분 또는 그 그룹의 존재나 부가를 배제하는 것이 아님을 강조하는 바이다.

Claims (17)

  1. 완구 구축 요소를 해제 가능하게 상호 연결하기 위한 커플링 수단을 가지는 완구 구축 요소를 포함하는 완구 구축 시스템으로서:
    상기 커플링 수단을 포함하고 그리고 이미지 프로세싱 수단에 의해서 인식될 수 있는 가시적인 외관을 각각 가지는 하나 이상의 마커 구축 요소, 그리고
    이미지 캡쳐링 수단, 이미지 프로세싱 수단, 및 디스플레이 수단을 포함하는 데이터 프로세싱 시스템을 포함하며,
    상기 데이터 프로세싱 시스템은:
    - 완구 구축 요소로부터 구축된 완구 구축 모델의 이미지를 캡쳐하도록;
    - 적어도, 상기 캡쳐된 이미지 내의 적어도 하나의 마커 구축 요소의 존재를 검출하기 위해서 상기 캡쳐된 이미지를 프로세스하도록;
    - 상기 검출된 마커 구축 요소에 응답하여, 컴퓨터-생성된 이미지를 생성하도록; 그리고
    - 상기 생성된 컴퓨터-생성된 이미지가 중첩된, 캡쳐된 이미지를 포함하는 복합 이미지를 상기 디스플레이 수단 상에서 디스플레이하도록 구성되는, 완구 구축 시스템.
  2. 제 1 항에 있어서,
    적어도 2개의 마커 구축 요소를 포함하고, 상기 2개의 마커 구축 요소는 그들의 각각의 커플링 수단을 통해서 서로 해제 가능하게 상호 연결될 수 있고 그에 따라 복합 마커 요소를 형성할 수 있는, 완구 구축 시스템.
  3. 제 2 항에 있어서,
    상기 데이터 프로세싱 시스템은 상기 복합 마커 요소를 검출하도록 그리고 상기 복합 마커 요소의 검출에 응답하여 컴퓨터-생성된 이미지를 선택적으로 생성하도록 추가적으로 구성되는, 완구 구축 시스템.
  4. 제 3 항에 있어서,
    상기 각각의 마커 구축 요소가 인코딩 정보에 대한 코드의 코드 심볼을 나타내는 표지를 포함하고; 그리고 상기 데이터 프로세싱 시스템이, 상기 복합 마커 요소의 가시적인 외관으로부터, 인코딩된 코드 심볼의 세트를 결정하도록 그리고 디코딩된 정보를 획득하기 위해서 상기 결정된 코드 심볼의 세트를 디코딩하도록 추가적으로 구성되는, 완구 구축 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    게이밍 주사위를 포함하고, 상기 게이밍 주사위는, 평면 상에서 지지할 때 게이밍 주사위가 지속적으로(steadily) 안착될 수 있는 적어도 6개의 측부를 포함하는 본체 부분을 포함하고, 그리고 상기 측부의 적어도 하나가 적어도 하나의 마커 구축 요소 중 하나의 장착을 위한 커플링 수단을 구비하는, 완구 구축 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 커플링 수단이 규칙적인 그리드에 대한 구분된 위치 및/또는 구분된 배향에 대해서 완구 구축 모델 내의 완구 구축 요소의 위치 및/또는 배향을 제한하는 규칙적인 그리드를 규정하는, 완구 구축 시스템.
  7. 제 6 항에 있어서,
    적어도 2개의 마커 구축 요소를 포함하고, 상기 데이터 프로세싱 시스템은, 상기 규칙적인 그리드에 대해서 상기 완구 구축 모델 내의 2개의 마커 구축 요소의 각각의 위치 및/또는 배향을 검출하도록, 그리고 상기 검출된 각각의 위치 및/또는 배향에 응답하여 컴퓨터-생성된 이미지를 생성하도록 구성되는, 완구 구축 시스템.
  8. 제 7 항에 있어서,
    상기 데이터 프로세싱 시스템이 상기 마커 구축 요소의 검출된 위치로부터 규칙적인 이미지 그리드의 그리드 위치를 결정하도록, 그리고 상기 검출된 이미지 그리드에 대한 위치에서 컴퓨터-생성된 이미지의 이미지 특징부를 생성하도록 구성되는, 완구 구축 시스템.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 완구 구축 요소가 적어도 하나의 특성을 가지고, 상기 완구 구축 시스템의 각각의 마커 구축 요소가 상기 특성의 값을 가지고, 상기 값이 상기 특성의 미리 결정된 구분되는 값의 세트로부터 선택되는, 완구 구축 시스템.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 마커 구축 요소가 표지 및 제 1 위치와 제 2 위치 사이에서 이동될 수 있는 이동가능한 요소를 포함하고, 상기 이동가능한 요소는, 상기 제 1 위치에 배치될 때, 상기 표지가 보여질 수 있게 하고, 그리고 제 2 위치에 배치될 때, 표지를 보이지 않게 가리며, 그리고 상기 데이터 프로세싱 시스템은 적어도 상기 표지의 가시성을 검출하도록, 그리고 상기 검출된 표지의 가시성에 응답하여 상기 컴퓨터-생성가능 이미지를 생성하도록 구성되는, 완구 구축 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 커플링 수단이 연결 방향을 규정하는 하나 이상의 규칙적인 평면형 그리드로 배열되고; 그리고 상기 각각의 마커 구축 요소는, 상기 마커 구축 요소가 상기 완구 구축 시스템의 적어도 하나의 다른 완구 구축 요소에 연결될 때, 상기 적어도 하나의 평면형 그리드에 평행한 방향으로부터 또는 상기 적어도 하나의 평면형 그리드에 수직인 방향으로부터 보여질 수 있는 표지를 포함하는, 완구 구축 시스템.
  12. 제 11 항에 있어서,
    상기 마커 구축 요소의 각각이 상단부 표면, 하단부 표면, 및 적어도 하나의 측부 표면을 가지고; 상기 커플링 수단이 상기 상단부 표면 및 하단부 표면 중 적어도 하나 상에 배치되고; 상기 마커 구축 요소가 커플링 수단을 가지지 않는 적어도 제 1 표면을 포함하고, 상기 제 1 표면이 상기 표지를 포함하는, 완구 구축 시스템.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 커플링 수단이 하나 이상의 돌출부 및 하나 이상의 공동을 포함하고, 상기 각각의 공동이 상기 적어도 하나의 돌출부를 마찰 결합식으로 수용하도록 구성되는, 완구 구축 시스템.
  14. 완구 구축 시스템의 완구 구축 요소로부터 구축된 완구 구축 모델의 이미지를 생성하기 위한 컴퓨터-구현되는 방법으로서, 상기 완구 구축 요소가 상기 완구 구축 요소를 해제 가능하게 상호 연결하기 위한 커플링 수단을 가지고, 상기 완구 구축 시스템은, 상기 커플링 수단을 포함하고 그리고 이미지 프로세싱 시스템에 의해서 인식가능한 가시적인 외관을 각각 가지는 하나 이상의 마커 구축 요소를 포함하는, 방법으로서:
    - 상기 완구 구축 요소로부터 구축된 완구 구축 모델의 이미지를 캡쳐하는 단계;
    - 적어도, 상기 캡쳐된 이미지 내의 적어도 하나의 마커 구축 요소의 존재를 검출하기 위해서 상기 캡쳐된 이미지를 프로세싱하는 단계;
    - 상기 검출된 마커 구축 요소에 응답하여, 컴퓨터-생성된 이미지를 생성하는 단계; 그리고
    - 상기 생성된 컴퓨터-생성된 이미지가 중첩된, 캡쳐된 이미지를 포함하는 복합 이미지를 디스플레이하는 단계를 포함하는, 방법.
  15. 이미지 캡쳐링 수단, 프로세싱 수단, 및 디스플레이 수단을 포함하는 데이터 프로세싱 시스템으로서:
    상기 데이터 프로세싱 시스템은, 상기 데이터 프로세싱 시스템에 의해서 실행될 때, 상기 데이터 프로세싱 시스템으로 하여금 제 14 항에 따른 방법의 단계들을 실시하게 하도록 구성된 컴퓨터 프로그램 수단을 포함하는, 데이터 프로세싱 시스템.
  16. 데이터 프로세싱 시스템에 의해서 실행될 때, 상기 데이터 프로세싱 시스템으로 하여금 제 14 항에 따른 방법의 단계들을 실시하게 하도록 구성된 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
  17. 완구 구축 요소를 해제가능하게 상호 연결하기 위한 커플링 수단을 포함하는 완구 구축 요소를 포함하는 완구 구축 세트로서:
    상기 커플링 수단을 포함하고 그리고 이미지 프로세싱 시스템에 의해서 인식가능한 가시적인 외관을 각각 가지는 하나 이상의 마커 구축 요소; 및 이미지 캡쳐링 수단, 프로세싱 수단, 및 디스플레이 수단을 포함하는 데이터 프로세싱 시스템 상에서, 제 16 항에 규정된 바에 따른 컴퓨터 프로그램을 설치하기 위한 사용자 설명서를 포함하는, 완구 구축 세트.
KR1020137033652A 2011-05-23 2012-05-22 증강 현실을 위한 완구 구축 시스템 KR101898754B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DKPA201170254 2011-05-23
DKPA201170254 2011-05-23
PCT/EP2012/059469 WO2012160055A1 (en) 2011-05-23 2012-05-22 A toy construction system for augmented reality

Publications (2)

Publication Number Publication Date
KR20140043904A true KR20140043904A (ko) 2014-04-11
KR101898754B1 KR101898754B1 (ko) 2018-09-13

Family

ID=46124378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033652A KR101898754B1 (ko) 2011-05-23 2012-05-22 증강 현실을 위한 완구 구축 시스템

Country Status (13)

Country Link
US (4) US9827507B2 (ko)
EP (4) EP3042704B1 (ko)
JP (1) JP6262127B2 (ko)
KR (1) KR101898754B1 (ko)
CN (1) CN103998107B (ko)
BR (2) BR122020022596B1 (ko)
CA (1) CA2836360C (ko)
DK (4) DK3785779T3 (ko)
ES (1) ES2570852T3 (ko)
HK (1) HK1196327A1 (ko)
MX (1) MX339520B (ko)
PL (1) PL2714222T3 (ko)
WO (1) WO2012160055A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170122725A (ko) * 2015-02-25 2017-11-06 인텔 코포레이션 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
KR20190032296A (ko) * 2016-05-27 2019-03-27 스왑보츠 리미티드 증강 현실 장난감

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754886B2 (en) 2008-12-29 2014-06-17 Intel Corporation Systems and methods for transporting physical objects from real physical life into virtual worlds
US8742814B2 (en) 2009-07-15 2014-06-03 Yehuda Binder Sequentially operated modules
EP3042704B1 (en) 2011-05-23 2019-03-06 Lego A/S A toy construction system
DE102012017305A1 (de) * 2012-09-03 2014-03-06 Leonhard Oschütz Verbindungskonstruktion zwischen Konstruktionselementen und Konstruktionselement
US20160027219A1 (en) * 2013-03-15 2016-01-28 Rubicon Group Holding Limited Augmented reality systems and methods used to identify toys and trigger video and graphics
KR101391582B1 (ko) * 2013-06-05 2014-05-07 (주)캡보이트레이딩 장식불록이나 완구와 같은 조립체 장식용 모자
KR101479411B1 (ko) * 2013-07-08 2015-01-27 지승환 증강현실 콘트롤러가 부착되는 완구
US10150043B2 (en) 2014-03-11 2018-12-11 Microsoft Technology Licensing, Llc Interactive smart beads
US10188939B2 (en) 2014-03-11 2019-01-29 Microsoft Technology Licensing, Llc Modular construction for interacting with software
US9592443B2 (en) 2014-03-11 2017-03-14 Microsoft Technology Licensing, Llc Data store for a modular assembly system
US9526979B2 (en) 2014-03-11 2016-12-27 Microsoft Technology Licensing, Llc Storing state for physical modular toys
US9555326B2 (en) 2014-03-11 2017-01-31 Microsoft Technology Licensing, Llc Gaming system for modular toys
US9703896B2 (en) 2014-03-11 2017-07-11 Microsoft Technology Licensing, Llc Generation of custom modular objects
US20170094346A1 (en) * 2014-05-22 2017-03-30 GM Global Technology Operations LLC Systems and methods for utilizing smart toys with vehicle entertainment systems
WO2015185629A2 (en) * 2014-06-06 2015-12-10 Lego A/S Interactive game apparatus and toy construction system
US10537821B2 (en) 2014-06-30 2020-01-21 Microsoft Technology Licensing, Llc Interactive play sets
US10478723B2 (en) 2014-06-30 2019-11-19 Microsoft Technology Licensing, Llc Track based play systems
US10518188B2 (en) 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
US9892560B2 (en) 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
EP3200886B1 (en) 2014-10-02 2023-09-20 Lego A/S Game system
US9919226B2 (en) 2014-10-08 2018-03-20 Microsoft Technology Licensing, Llc Storage and charging device for game pieces
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
WO2016080437A1 (ja) * 2014-11-21 2016-05-26 株式会社ネクスト 画像処理装置および方法
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
US10232249B2 (en) 2015-02-12 2019-03-19 Geeknet, Inc. Building brick game using magnetic levitation
DE102016105496A1 (de) * 2015-03-26 2016-09-29 Faro Technologies Inc. System zur Prüfung von Objekten mittels erweiterter Realität
CN104888469B (zh) * 2015-05-25 2017-09-15 卢军 基于图像识别的智能编程积木玩具及其实现方法
CN105013177A (zh) * 2015-06-23 2015-11-04 广东邦宝益智玩具股份有限公司 拼接玩具车的游戏方法
EP3337585B1 (en) * 2015-08-17 2022-08-10 Lego A/S Method of creating a virtual game environment and interactive game system employing the method
DK180058B1 (en) 2018-07-06 2020-02-27 Lego A/S toy system
US10552550B2 (en) 2015-09-26 2020-02-04 Intel Corporation Technologies for physical programming
JP6491068B2 (ja) * 2015-09-29 2019-03-27 富士フイルム株式会社 三次元造形システム、情報処理装置及び方法、並びにプログラム
KR101756385B1 (ko) * 2015-11-27 2017-07-27 (주) 라온 엔터테인먼트 증강현실을 이용한 멀티플레이 로봇게임의 수익 시스템
US11213747B2 (en) 2016-03-16 2022-01-04 The Trustees Of The University Of Pennsylvania Systems of stacking interlocking blocks
CA3030251A1 (en) 2016-03-29 2017-10-05 Play Properties Entertainment Ltd. A computerized system and method of using a physical toy construction set
DK3436773T3 (da) 2016-04-01 2021-07-12 Lego As Legetøjsscanner
HK1216278A (zh) * 2016-04-27 2016-10-28 Kam Ming Lau 種使用虛擬機器人的教育系統
CN105915635B (zh) * 2016-06-03 2019-01-08 杭州小丸子电子商务有限公司 磁力片玩具组件搭建技巧开发培训系统及方法
WO2018007369A1 (en) * 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
HUE063637T2 (hu) * 2016-08-12 2024-01-28 Trimiti Moebius Design Pty Ltd Játék építõelem
US11389718B2 (en) * 2016-10-14 2022-07-19 Lego A/S Game system
CN106506464B (zh) * 2016-10-17 2019-11-12 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和系统
CN106548518B (zh) * 2016-10-31 2019-02-19 杭州汉典科技有限公司 一种基于色彩阵列的增强现实互动方法及装置
DK3316222T3 (da) * 2016-11-01 2020-08-31 Previble AB Prævisualiseringsindretning
WO2018087268A1 (en) 2016-11-11 2018-05-17 Lego A/S Virtual card game system
CN108076303A (zh) * 2016-11-11 2018-05-25 中兴通讯股份有限公司 一种视频图像显示方法和装置
CN106823408B (zh) * 2016-12-30 2019-05-07 武汉市马里欧网络有限公司 基于ar的儿童积木搭建系统及方法
JP2018116471A (ja) * 2017-01-18 2018-07-26 富士通株式会社 表示制御方法、装置及びプログラム
US10847046B2 (en) * 2017-01-23 2020-11-24 International Business Machines Corporation Learning with smart blocks
CN106970708A (zh) * 2017-03-30 2017-07-21 苏州悠优互娱网络科技有限公司 绘画角色的显示方法和装置
JP6984158B2 (ja) * 2017-04-24 2021-12-17 凸版印刷株式会社 Ａｒマーカー付き立体物、ａｒマーカーシステム及びａｒマーカーサーバ
GB2564715B (en) * 2017-07-21 2022-08-24 Firebolt Games Ltd Systems and methods of forming virtual models
CN111417442B (zh) * 2017-10-16 2023-08-08 乐高公司 交互式游戏设备
CN108245881A (zh) * 2017-12-29 2018-07-06 武汉市马里欧网络有限公司 基于ar的三维拼板模型搭建系统
CN108325206A (zh) * 2017-12-29 2018-07-27 武汉市马里欧网络有限公司 拼板模型模拟搭建系统
US10894342B2 (en) 2018-03-29 2021-01-19 Kraft Foods Group Brands Llc System and method for molding comestible building blocks
USD844394S1 (en) 2018-03-29 2019-04-02 Kraft Foods Group Brands Llc Mold
EP3591608A1 (en) * 2018-07-06 2020-01-08 Tata Consultancy Services Limited Method and system for image reconstruction using deep dictionary learning (ddl)
GB201813450D0 (en) 2018-08-17 2018-10-03 Hiltermann Sean Augmented reality doll
JP7206706B2 (ja) * 2018-08-31 2023-01-18 積水ハウス株式会社 シミュレーションシステム
CN109240682B (zh) * 2018-09-30 2021-11-30 上海葡萄纬度科技有限公司 基于ar的交互编程系统、方法、介质及智能设备
CN111346390B (zh) * 2018-12-21 2020-12-25 上海葡萄纬度科技有限公司 编程积木
WO2020152189A1 (en) 2019-01-23 2020-07-30 Lego A/S A toy system for augmented reality
US11403823B2 (en) 2019-02-14 2022-08-02 Lego A/S Toy system for asymmetric multiplayer game play
WO2020227754A1 (en) * 2019-05-10 2020-11-19 Brickfit Pty Ltd Interactive human activity tracking system
CN110180167B (zh) * 2019-06-13 2022-08-09 张洋 增强现实中智能玩具追踪移动终端的方法
US20220266159A1 (en) * 2019-08-20 2022-08-25 Lego A/S Interactive music play system
JP2021072001A (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 プログラム、情報処理装置、情報処理方法、及び情報処理システム
US11188755B2 (en) 2019-11-01 2021-11-30 Pinfinity, Llc Augmented reality systems and methods incorporating wearable pin badges
CN110992472A (zh) * 2019-12-06 2020-04-10 广东邦宝益智玩具股份有限公司 一种积木3d模型智能搭建系统的构建方法
JP6771795B1 (ja) * 2020-03-04 2020-10-21 株式会社ナイアー Ａｒ対応物品セット及びこれを構成するａｒ対応物品
US11393153B2 (en) * 2020-05-29 2022-07-19 The Texas A&M University System Systems and methods performing object occlusion in augmented reality-based assembly instructions
US11524238B1 (en) 2021-04-09 2022-12-13 Kevin Neil Hannah Augmented reality tag recognition and game miniature identification system and process for uniquely identifying game miniatures corresponding to character attributes in a role
JP7219997B1 (ja) 2022-07-21 2023-02-09 株式会社G-ant ブロックオブジェクトの設計図を出力する方法
US20240050854A1 (en) * 2022-08-09 2024-02-15 Reuven Bakalash Integrated Reality Gaming

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3005282A (en) 1958-01-28 1961-10-24 Interlego Ag Toy building brick
US3670941A (en) 1970-03-02 1972-06-20 Fred I Grinnell Retractable guard and guide for nailer
US3670942A (en) 1970-10-15 1972-06-20 Omark Industries Inc Automatic feeding of fasteners
DK154964C (da) 1986-01-22 1989-05-29 Lego As Legetoejsbyggelement med elementer for tilvejebringelse af positionsinformation
EP0271422A3 (en) 1986-12-09 1988-09-14 JANE, Sociedad Anonima Improvements in foldable frames for children's pushchairs
US5724074A (en) * 1995-02-06 1998-03-03 Microsoft Corporation Method and system for graphically programming mobile toys
US5867166A (en) * 1995-08-04 1999-02-02 Microsoft Corporation Method and system for generating images using Gsprites
US6389375B1 (en) 1999-01-22 2002-05-14 Interlego Ag Virtual reality modelling
US6741245B1 (en) * 1999-04-23 2004-05-25 Mitsubishi Electric Research Laboratories, Inc. Method for decorating a virtual model
US7502759B2 (en) * 1999-08-30 2009-03-10 Digimarc Corporation Digital watermarking methods and related toy and game applications
DE10006834A1 (de) 2000-02-16 2001-08-23 Joachim Schwarz Baukastensystem
US20020127944A1 (en) 2000-07-20 2002-09-12 Donald Spector Construction kit for custom toys or other personalized products
JP2002159019A (ja) * 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US20020196250A1 (en) 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
WO2004066200A2 (en) 2003-01-17 2004-08-05 Yeda Research And Development Co. Ltd. Reactive animation
CA2515369C (en) 2003-02-06 2015-03-31 Cerus Corporation Listeria attenuated for entry into non-phagocytic cells, vaccines comprising the listeria, and methods of use thereof
PL378138A1 (pl) 2003-05-20 2006-03-06 Lego A/S Sposób i układ do manipulowania cyfrową reprezentacją obiektu trójwymiarowego
US7596473B2 (en) * 2003-05-20 2009-09-29 Interlego Ag Method of constructing a virtual construction model
JP4085918B2 (ja) * 2003-07-18 2008-05-14 ソニー株式会社 ３次元モデル処理装置、および３次元モデル処理方法、並びにコンピュータ・プログラム
RU2007101498A (ru) * 2004-06-17 2008-07-27 Лего А/С (Dk) Автоматическое генерирование инструкций для построения моделей из стандартных блоков
JP2006040045A (ja) * 2004-07-28 2006-02-09 Sony Corp 情報処理装置、立体物、情報処理システム及び情報処理方法
WO2006056231A1 (en) * 2004-11-29 2006-06-01 Nokia Corporation Mobile gaming with external devices in single and multiplayer games
JP2007034981A (ja) * 2005-07-29 2007-02-08 Canon Inc 画像処理システム、画像処理装置
US8390534B2 (en) * 2007-03-08 2013-03-05 Siemens Aktiengesellschaft Method and device for generating tracking configurations for augmented reality applications
US8374829B2 (en) * 2007-03-16 2013-02-12 Lego A/S Automatic generation of building instructions for building element models
US7979251B2 (en) 2007-03-16 2011-07-12 Lego A/S Automatic generation of building instructions for building element models
US8894461B2 (en) * 2008-10-20 2014-11-25 Eyecue Vision Technologies Ltd. System and method for interactive toys based on recognition and tracking of pre-programmed accessories
US20090029771A1 (en) 2007-07-25 2009-01-29 Mega Brands International, S.A.R.L. Interactive story builder
EP2918320B1 (en) 2007-10-11 2016-12-21 Lego A/S A toy construction system
US20090197678A1 (en) * 2008-02-04 2009-08-06 Chung-Jen Huang Pretend play toy with reality and virtual interaction
EP2157545A1 (en) 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
WO2010029553A1 (en) 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8754886B2 (en) * 2008-12-29 2014-06-17 Intel Corporation Systems and methods for transporting physical objects from real physical life into virtual worlds
GB2470073B (en) 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
EP2445600A1 (en) 2009-06-25 2012-05-02 ZYX Play APS A game system comprising a number of building elements
EP2462537A1 (en) 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
US20110065496A1 (en) * 2009-09-11 2011-03-17 Wms Gaming, Inc. Augmented reality mechanism for wagering game systems
EP3042704B1 (en) 2011-05-23 2019-03-06 Lego A/S A toy construction system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEGO Platformer game - Mobile Augmented Reality (AR) Youtube 2011 년 1 월 14 일, URL https ://www.youtube.com/watch?v=1-7HnOmPYjI(2011.01.14)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170122725A (ko) * 2015-02-25 2017-11-06 인텔 코포레이션 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
KR20190032296A (ko) * 2016-05-27 2019-03-27 스왑보츠 리미티드 증강 현실 장난감
US11103786B2 (en) 2016-05-27 2021-08-31 Swapbots Ltd Augmented reality toy

Also Published As

Publication number Publication date
BR112013029916B1 (pt) 2021-02-09
JP6262127B2 (ja) 2018-01-17
EP2714222B1 (en) 2016-03-23
JP2014515961A (ja) 2014-07-07
US11911709B2 (en) 2024-02-27
US10549209B2 (en) 2020-02-04
US20200147507A1 (en) 2020-05-14
EP3042704B1 (en) 2019-03-06
ES2570852T3 (es) 2016-05-20
US11014014B2 (en) 2021-05-25
US20220105440A1 (en) 2022-04-07
US9827507B2 (en) 2017-11-28
BR112013029916A2 (pt) 2017-01-24
CN103998107B (zh) 2016-01-20
DK3511062T3 (da) 2021-01-18
CA2836360A1 (en) 2012-11-29
US20180126293A1 (en) 2018-05-10
EP2714222B2 (en) 2019-07-31
BR122020022596B1 (pt) 2021-11-03
EP2714222A1 (en) 2014-04-09
KR101898754B1 (ko) 2018-09-13
DK2714222T4 (da) 2019-11-04
US20140378023A1 (en) 2014-12-25
EP3785779A1 (en) 2021-03-03
EP3042704A1 (en) 2016-07-13
HK1196327A1 (zh) 2014-12-12
CA2836360C (en) 2019-07-02
PL2714222T3 (pl) 2016-07-29
CN103998107A (zh) 2014-08-20
EP3511062B1 (en) 2020-10-21
MX2013013545A (es) 2014-12-04
MX339520B (es) 2016-05-30
WO2012160055A1 (en) 2012-11-29
EP3511062A1 (en) 2019-07-17
DK3785779T3 (da) 2023-08-07
DK3042704T3 (da) 2019-06-11
DK2714222T3 (en) 2016-06-13
EP3785779B1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
US11014014B2 (en) Toy construction system for augmented reality
CA2836505C (en) Generation of building instructions for construction element models
US9224231B2 (en) Augmented reality system indexed in three dimensions
CN113382790B (zh) 用于增强现实的玩具系统
KR20190059068A (ko) 증강현실을 이용한 격자 맵의 미션 기반 퍼즐 조립 시스템 및 방법
US20220266159A1 (en) Interactive music play system
US20240112424A1 (en) Authoring systems and methods for enabling bidirectional binding of augmented reality with toys in real-time

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right