KR20120089452A - 물체 추출 시스템 및 방법 - Google Patents

물체 추출 시스템 및 방법 Download PDF

Info

Publication number
KR20120089452A
KR20120089452A KR1020127005725A KR20127005725A KR20120089452A KR 20120089452 A KR20120089452 A KR 20120089452A KR 1020127005725 A KR1020127005725 A KR 1020127005725A KR 20127005725 A KR20127005725 A KR 20127005725A KR 20120089452 A KR20120089452 A KR 20120089452A
Authority
KR
South Korea
Prior art keywords
image
brick
physical object
color
background
Prior art date
Application number
KR1020127005725A
Other languages
English (en)
Inventor
로넨 호로비츠
란 카프토리
Original Assignee
아이큐 비젼 테크놀로지즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이큐 비젼 테크놀로지즈 리미티드 filed Critical 아이큐 비젼 테크놀로지즈 리미티드
Publication of KR20120089452A publication Critical patent/KR20120089452A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/61—Score computation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)

Abstract

예컨대 브릭(brick)으로 조립된 물리적 물체의 이미지를 추출하는 시스템 및 방법이 제공된다. 본 발명의 이미지 추출 방법 및 시스템은 테두리 검출 연산자를 이용하여 배경의 경계 및 테두리를 검출하고, 물리적 물체의 이미지와 실질적으로 정렬된 보정된 가상 그리드를 연산하기 위해 원근 변형 계산(perspective tranformation calculation)을 수행하며, 디지털 이미지에서 컬러 교정 팰릿의 위치를 확인하여 컬러 교정 팰릿의 픽셀에 대한 컬러 값 정보를 추출하며, 브릭을 물리적 물체의 이미지의 일부분으로서 인식할 수 있다. 이러한 인식은 컬러 팰릿에 비교된 브릭의 컬러 및 배경 컬러의 판정을 기반으로 하며, 인식된 브릭이 추출된 이미지를 형성한다. 컴퓨터 판독 가능 매체는 시스템으로 하여금 본 발명의 방법에 따라 브릭으로 조립된 물리적 물체의 이미지를 추출하도록 하는 명령을 포함할 수 있다.

Description

물체 추출 시스템 및 방법{SYSTEM AND METHOD FOR OBJECT EXTRACTION}
본 출원은 대화식 컴퓨터 이미징 시스템 및 방법에 관한 것으로, 보다 구체적으로는 이미지로부터 추출된 물체를 식별하는 시스템 및 방법에 관한 것이다.
조립 세트(construction set)는 다양한 다수의 상이한 모델 또는 형상의 조립을 가능하게 하는 표준화된 상호체결 조각을 포함할 수 있다. 이들 조각은 복잡한 시스템을 조립하기 위해 특별한 훈련 또는 설계 시간을 필요로 하지 않을 것이다. 상호체결 조각은 아동용 장난감으로서 사용하기 위한 일시적인 구조물을 만들기에 적합할 것이다. 상호체결 조립 세트의 일례로는 LEGO®(덴마크의 LEGO Juris A/S Corporation)가 있으며, 다양한 색상의 상호체결 플라스틱 브릭(brick)과 이에 수반되는 기어의 어레이, 축소 모형(minifigure), 및 다양한 다른 부품을 포함할 수 있다. 이들 상호체결 브릭은 차량, 건물 및 심지어는 작동 로봇과 같은 물체를 조립하기 위해 다수의 방식으로 맞추어서(assemble) 연결될 수 있다. 이들 상호체결 브릭에 의해 조립된 것은 분해될 수 있으며, 그 조각이 다른 물체를 만드는데 이용될 수 있다.
본 발명은 브릭으로 조립된 물리적 물체의 이미지를 추출하는 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예는 브릭으로 조립된 물리적 물체의 이미지를 추출하는 시스템을 제공한다. 이 시스템은, 프로세서 또는 컨트롤러와, 상기 프로세서 또는 컨트롤러에 접속되고, 패턴 또는 시각적 단서(visual cue)를 포함하고 있는 배경 위에 배치된 물리적 물체의 디지털 이미지를 제공하도록 구성된 디지털 영상화 장치와, 상기 컨트롤러에 접속되고, 상기 디지털 이미지에서 배경의 경계 및 테두리를 검출하도록 구성된 배경 검출기 유닛과, 상기 컨트롤러에 접속되고, 물리적 물체의 이미지에 실질적으로 정렬된 보정된 가상 그리드(corrected virtual grid)를 연산하도록 구성된 원근 변형 유닛(perspective tranformation unit)과, 상기 컨트롤러에 접속되고, 보정된 그리드에 정렬된 관련 픽셀을 샘플링함으로써 디지털 이미지에서 컬러 교정 팰릿(color calibration pallette)의 위치를 확인하도록 구성된 컬러 교정 추출 유닛과, 상기 컨트롤러에 접속되고, 상기 디지털 이미지 내의 브릭을 물리적 물체의 이미지의 일부분으로서 인식하도록 구성되며, 인식된 브릭이 추출된 이미지를 형성하는, 브릭 식별자 유닛을 포함한다. 여기에서 설명되는 각종 유닛(배경 검출기 유닛, 원근 변형 유닛 등)은 예컨대 명령 또는 코드를 실행하는 컨트롤러 또는 프로세서와 같은 컨트롤러 또는 프로세서에 의해 실시될 수 있다.
본 발명의 또 다른 실시예는 브릭으로 조립된 물리적 물체의 이미지를 추출하는 방법을 제공한다. 본 방법은, 배경 위에 배치된 물리적 물체의 디지털 이미지를 획득하는 획득 단계와, 테두리 검출 연산자를 이용하여 배경의 경계 및 테두리를 검출하며, 여기서 90°또는 약 90°인 것으로 계산된 테두리의 곡률이 모서리의 표식(indication)이 되는, 검출 단계와, 물리적 물체의 이미지와 실질적으로 정렬되는 보정된 가상 그리드를 연산하기 위해 원근 변형 계산을 수행하는 단계와, 디지털 이미지에서 컬러 교정 팰릿의 위치를 확인하고, 컬러 교정 팰릿의 픽셀에 대한 컬러 값 정보를 추출하는 단계와, 상기 브릭을 물리적 물체의 이미지의 일부분으로서 인식하며, 이러한 인식이 부분적으로는 컬러 팰릿 및 배경 컬러에 비교된 브릭의 컬러의 판정을 기반으로 하고, 인식된 브릭이 추출된 이미지를 형성하는, 인식 단계를 포함한다.
본 발명의 또 다른 실시예는 컴퓨터 판독 가능한 매체(예컨대, 메모리 장치, 디스크 드라이브)에 인코딩된 컴퓨터 판독 가능 프로그램을 제공한다. 컴퓨터 판독 가능 프로그램은 브릭으로 조립된 물리적 물체의 이미지를 추출하도록 시스템에 지시하는 실행 가능 컴퓨터 프로그램을 포함한다.
도 1은 본 발명의 실시예에 따른 시스템의 개요도이다.
도 2는 도 1의 시스템의 구성요소의 개요도이다.
도 3은 도 1에 도시된 시스템에 의해 캡쳐된 이미지를 도시하는 도면이다.
도 4는 본 발명의 실시예에 따른 방법을 도시하는 도면이다.
도 5는 도 4에 도시된 방법의 단계에 따른 이미지의 표현을 도시하는 도면이다.
도 6은 도 4에 도시된 방법에서의 또 다른 단계의 표현을 도시하는 도면이다.
도 7은 도 5의 이미지의 일부분을 클로즈업하여 도시하는 도면이다.
도 8은 도 3의 이미지의 요소의 다른 실시예를 도시하는 도면이다.
도 9의 (a) 내지 (c)는 도 4에 도시된 방법에서의 또 다른 단계의 표현을 도시하는 도면이다.
도 10은 도 4에 도시된 방법에 따라 도 3의 이미지로부터 추출된 이미지를 도시하는 도면이다.
도 11은 본 발명의 실시예에 따른 방법을 도시하는 도면이다.
도 12는 본 발명의 실시예에 따른 방법을 도시하는 도면이다.
도 13a는 실제 세상 물체의 모음을 도시하는 도면이다.
도 13b는 비디오 게임에 이식된 도 13a의 물체의 모음을 도시하는 도면이다.
도 14는 파지형 휴대 장치 상에 표시된 도 2의 방법에 따른 결과의 표현을 도시하고 있다.
이하의 상세한 설명에서는 본 발명의 다양한 실시예를 기술할 것이다. 설명을 위해, 본 발명의 적어도 하나의 실시예에 대한 완전한 이해를 제공하기 위해 구체적인 예를 언급한다. 그러나, 본 발명의 다른 실시예가 여기에서 설명되는 예로 한정되지 않는다는 것은 당업자에는 명백할 것이다. 더욱이, 본 명세서에 설명된 본 발명의 실시예를 모호하지 않게 하기 위해 널리 알려진 특징은 생략되거나 간략화될 것이다.
특별한 다른 언급이 없다면, 이하의 설명으로부터 명백하게 되는 바와 같이, 본 명세서 전반에 걸쳐, "선택", "평가", "처리", "연산(computing)", "계산", "연관", "판정", "지정", "할당" 등과 같은 표현을 이용한 설명은, 컴퓨터, 컴퓨터 프로세서 혹은 연산 시스템, 또는 전자 연산 장치의 동작 및/또는 프로세스를 지칭하며, 이들 장치는 연산 시스템의 레지스터 및/또는 메모리 내의 전자 공학과 같은 물리적인 양으로서 표현된 데이터를 연산 시스템의 메모리, 레지스터, 또는 다른 이러한 정보 저장, 전송 또는 디스플레이 장치 내의 물리적인 양으로서 유사하게 표현되는 다른 데이터로 조작하거나 및/또는 변환한다.
본 명세서에서 설명되는 프로세스 및 기능은 임의의 특정 컴퓨터, 네트워크 또는 기타 장치에 국한하여 관련되지 않는다. 본 명세서에서 설명되는 본 발명의 실시예는 임의의 특정 프로그래밍 언어, 기계어(machine code) 등을 참조하여 설명되지 않는다. 본 명세서에 설명된 바와 같은 본 발명의 실시예의 교시를 구현하기 위해 다양한 프로그래밍 언어, 네트워크 시스템, 프로토콜 또는 하드웨어 구성이 이용될 수 있다. 일부 실시예에서, 본 발명의 실시예의 하나 이상의 방법은 메모리 장치와 같은 물품에 명령어 또는 코드로서 저장될 수 있으며, 이러한 명령어는 프로세서 또는 컴퓨터에 의한 실행 시에 본 발명의 실시예의 방법이 실행되도록 한다.
본 출원은 이미지로 캡쳐된 물체를 추출하고 식별할 수 있는 대화식 게임 및 컴퓨터 비젼 이미징 시스템(computer vision imaging system)에 관한 것이다. 물체는 상호체결 브릭(예컨대, LEGO® 브릭 또는 건물 유닛) 또는 다른 브릭 또는 건물 블록을 맞춤으로써 이루어질 수 있다. 일실시예에서, 사용된 브릭 또는 조립 물체는 이미 알려진 일련의 치수(예컨대, 이미 알려지고 제한된 일련의 형상 및 치수)를 갖거나 따른다. 이미지는 조절되지 않은 조명 상태에서 캡쳐될 수 있다. 물체의 식별은 형상 분석 및/또는 형상 비교를 기반으로 할 수 있다. 식별은 물체의 미리 정해진 데이터베이스 내의 레코드(record)와의 비교에 의해 물체를 인식하고 분류함으로써 행해질 수 있다. 물리적 물체의 추출된 이미지를 대화식 비디오 게임 내에 이식함으로써, 사용자는 추출된 물체와의 어떠한 레벨의 인터랙션(interaction)을 경험할 수 있다.
도 1은 본 발명의 실시예에 따른 시스템(100)의 개요도이다. 이 시스템(100)은 워크스테이션 또는 개인용 컴퓨터(110) 등의 컴퓨터와 디지털 영상화 장치(190)를 포함할 수 있다. 개인용 컴퓨터(110)는 프로세서, 디스플레이(292)(도 2), 사용자 인터페이스 입력/출력 장치(296)(도 2)(예컨대, 키보드, 방향키, 및/또는 마우스), 및 메모리(245)(도 2)를 포함할 수 있다. 디지털 영상화 장치(190)는 그 일례로서 영상화기(imager), 웹캡(webcam), 또는 디지털 카메라이어도 된다. 개인용 컴퓨터(110)에는 이미지의 데이터베이스 및 기타 데이터(예컨대, 소프트웨어 또는 코드)를 포함하고 있는 데이터스토어(170)가 접속되어 있다. 데이터스토어(170)는 메모리 또는 하드 디스크 드라이브와 같은 다른 저장 장치에 의해 실시될 수 있다.
이 시스템(100)은 프로세서, 디스플레이, 사용자 인터페이스, 메모리, 데이터베이스 및 디지털 영상화 장치를 갖는 전용의 독립형 장치이어도 된다. 이 시스템(100)은 노트북 또는 넷북(120), PDA(personal digital assistant)(130), 휴대 전화(140), 또는 태블릿(패드) 컴퓨터(150)와 같은 연산 장치에서 구현될 수도 있다. 이 시스템(100)은 예컨대 PDA(130) 및 휴대 전화(140) 내의 일체형 영상화 장치를 포함할 수도 있다. 디지털 영상화 장치(190, 192, 194)는 개인용 컴퓨터(110), 노트북 또는 넷북(120), 및 태블릿 컴퓨터(150)에 각각 접속될 수 있다.
이 시스템(100)은 비휘발성 메모리 또는 컴퓨터 판독 가능 매체(예컨대, 하드 드라이브, 플래시 메모리, CR-ROM, 자기 매체 등)에 저장된 컴퓨터 프로그램 어플리케이션을 포함할 수도 있다. 컴퓨터 프로그램 어플리케이션은, 실행될 때에 시스템(100)의 컨트롤러 또는 프로세서로 하여금 물체를 추출, 식별 또는 이식하는 방법과 같은 본 명세서에 개시된 방법을 수행하도록 직접 지시하거나 이와 같은 방법을 행하도록 유도할 수 있는 코드 또는 실행 가능 명령을 포함할 수 있다.
다른 실시예에서, 시스템(100)의 연산 장치(110, 120, 130, 140, 150)는 각각 전자 통신 네트워크(160)를 통해 원격 서버(180)에 접속된 클라이언트 장치로서 구성될 수도 있다. 전자 통신 네트워크(160)는 인터넷, 근거리 통신망, 광역 통신망, 또는 전자 통신 네트워크의 다른 적합한 구성이어도 된다. 클라이언트 장치인 연산 장치(110, 120, 130, 140, 150)는 로컬 클라이언트 어플리케이션을 가질 수 있으며, 원격 서버(180)는 원격 서버 어플리케이션을 포함할 수 있다. 클라이언트 어플리케이션과 원격 서버 어플리케이션은 함께 작동 시에 시스템(100)이 물체를 추출, 식별 및/또는 이식하는 방법과 같은 본 명세서에 개시된 방법을 수행하도록 하는 명령을 제공할 수 있다. 이미지의 데이터베이스를 포함하고 있는 데이터스토어(172)는 원격 서버(180)에 접속될 수 있다. 일실시예에서, 이미지의 데이터베이스를 포함하고 있는 독립형 데이터스토어(174)는 전자 통신 네트워크(160)에 접속될 수 있다. 데이터스토어(174)는 연산 장치(110, 120, 130, 140, 150) 및/또는 원격 서버(180)에 의해 전자 통신 네트워크(160)를 통해 액세스될 수 있다.
이 시스템(100)은 디지털 영상화 장치(190, 192, 194)에 의해 캡쳐된 실제 세상 장면의 이미지로부터 물리적 물체의 이미지를 검지 및 추출할 수 있는 대화식 시스템을 제공한다. 이 시스템(100)은 컴퓨터 비디오 게임에서의 시각화 및 이식을 위해 추출된 물체를 컴퓨터 디스플레이 상에서 모델링할 수 있다. 물체는 상호체결 브릭, 또는 다른 아이템, 또는 다른 재료로 조립될 수 있다. 일실시예에서, 이 시스템(100)은 예컨대 비행기, 자동차, 집, 캐릭터 등과 같은 조립될 물체에 대한 제시된 형상 또는 구조에 관한 사용자에 대한 지시를 제공할 수 있다. 예컨대, 프로세서 또는 컨트롤러는 물리적 물체를 만들기 위해 형상을 선택하고, 가능하게는 그 형상을 디스플레이 상에 사용자가 디스플레이된 형상을 브릭으로 조립하도록 하는 지시와 함께 제공할 수 있다. 제시된 구조는 예컨대 데이터스토어(170, 172, 174)에 저장될 수 있다. 제시된 물체가 추출된 후, 이 시스템(100)은 추출된 이미지를 제시된 구조와 비교할 수 있으며, 그 비교 결과를 나타내거나 또는 제시된 구조 혹은 형상에 대한 이미지 혹은 물리적 물체의 대응 정도(correspondence)를 나타내는 등급(rating) 또는 계측치(metric)를 연산할 수 있다.
도 2는 시스템(100)의 부품의 개요도이다. 시스템(100)은 내부 버스(230)에 접속될 수 있는 컨트롤러 또는 중앙 처리 유닛(270)을 포함할 수 있다. 디지털 영상화 장치(190)는 입출력 포트(도시하지 않음)를 통해 CPU(270)에 접속될 수 있다. 또한 CPU(270)에는 입출력 포트를 통해 메모리 또는 데이터스토어(170)가 접속될 수 있다. 다른 실시예에서는, 데이터스토어 내에 저장된 형상 구조가 내부 버스(230)에 연결된 메모리(245)에 저장될 수 있어, 데이터스토어(170)의 필요성을 감소시킨다.
CPU(270)는 배경 검출기(240)에 디지털 영상화 장치에 의해 제공된 디지털 이미지를 제공할 수 있다. 배경 검출기(240)는 CPU(270)가 명령을 실행하는 전용 하드웨어, 소프트웨어 모듈, 및/또는 펌웨어에 의해 구현될 수 있다. 여기에서 설명되는 다른 유닛 또한 CPU(270)가 명령을 실행하는 전용 하드웨어 유닛, 소프트웨어 모듈, 및/또는 펌웨어에 의해 구현될 수 있다. 배경(220)(도 3)의 경계와 테두리는 테두리 검출자 프로세스(edge detector process) 또는 알고리즘을 이용하여 배경 검출기(240)에 의해 계산되고 추출될 수 있다. 배경(220)을 예컨대 브릭 또는 다른 건물 유닛으로 만들어진 물리적 물체의 이미지(205)(도 3)(예컨대, 디지털 이미지)로부터 구별하기 위해, 테두리의 곡률이 계산될 수 있으며, 곡률이 약 90°인 지점이 모서리로서 표시될 수 있다. 각각의 검출된 모서리는 그 모서리에 연결되는 테두리의 곡률과 연관될 수 있다. 배경 검출기는 내부 메모리(245) 또는 외부 메모리 유닛에 예컨대 데이터스토어(170) 내의 레코드로서 저장하기 위해 그 결과를 CPU(270)에 제공할 수 있다. 배경(220)은 물리적 물체의 이미지의 추출을 가능하게 하기 위해 그리드, 패턴 또는 시각적 단서(visual cue)를 포함할 수 있다. 배경은 이용되지 않아도 된다.
원근 변형 보정(perspective tranformation correction, PTC) 유닛(250)은 물체(210)의 이미지에 실질적으로 정렬된 보정된 가상 그리드를 연산할 수 있다. 컬러 교정 추출기 유닛(260)은 배경(220) 상에 형성된 컬러 교정 팰릿(color calibration palette)의 위치를 확인하기 위해 원근 교정된 그리드를 이용할 수 있다. 팰릿의 브릭에 대응하는 이미지(205)로부터 연관된 픽셀의 컬러 값이 추출되고, 컬러 교정 추출기 유닛에 의해 또 다른 색 공간 표현(color space representation)으로 변환된다. 또한, 필드 컬러를 표현하기 위해 선택된, 배경(220)의 배경 필드로부터의 몇몇의 교정 포인트가 또한 추출될 수 있으며, 컬러 교정 추출기 유닛(260)에 의해 동일한 HSV(색조(hue), 포화(saturation), 및 값(value)) 색 공간으로 변환된다. 다른 색 공간이 이용될 수도 있으며, 컬러가 사용될 필요는 없다.
브릭 식별기 유닛(brick identifier unit)(280)이 몇몇의 상이한 장소에서의 이미지(205)의 관련된 픽셀의 값을 샘플링하여 추출할 수 있다. 이들 값은 예컨대 HSV 색 공간으로 변환될 수 있다. 변환된 데이터의 색조값은 컬러 교정 팰릿 및 필요한 경우 배경(220)의 필드의 색조값과 비교될 수 있다. 가장 작은 차이를 갖는 컬러가 이 그리드 위치를 표현하기 위해 브릭 식별기 유닛(280)에 의해 선택된다. 브릭 식별기 유닛(280)은 브릭이 컬러인지 또는 흑백인지를 판정하기 위해 픽셀의 세기 및 포화 레벨을 비교한다. 브릭의 판정된 컬러가 배경의 컬러가 아니면, 브릭 식별기 유닛(280)은 그 브릭이 조립된 물체의 일부분인 것으로 인지한다.
비교 유닛(290)은 검출된 이미지의 형상을 데이터베이스에 저장된 레코드와 비교할 수 있다. 이러한 비교는 예컨대 상관 함수를 이용하여 비교 유닛에 의해 행해진다.
도 3은 배경(220) 상에 위치된 물체(210)의 이미지(205)를 도시하고 있다. 물체(210)는 건물 브릭 또는 다른 유닛으로 만들어진 실제 세상의 물리적 물체일 수 있다. 유사하게, 배경(220)은 건물 브릭 또는 다른 유닛으로 만들어지거나 또는 종이 혹은 클립보드 상에 프린트된 실제 세상의 물리적 물체일 수도 있다. 배경은 이용되지 않아도 된다.
추출될 물체는 소정의 패턴을 갖는 배경 상에서 캡쳐될 수 있다. 이 소정의 패턴은 물체(210)에 속하는 픽셀을 배경(220)에 속하는 픽셀로부터 구별할 수 있는 미리 결정된 알려진 공간적 특징을 가질 수 있다. 예컨대, 도 3은 정사각형 그리드를 갖는 배경(220)을 도시하고 있다. 배경(220)의 공간적 패턴은 통상적으로 입체이면서 단단한 상호체결 건물 브릭으로 만들어진 물체(210)를 포함하는 이미지(205)의 픽셀로부터 구별될 수 있다. 소정의 그리드는 정사각형 그리드일 필요는 없으며, 소정의 배경 패턴의 다른 구현예가 이용될 수도 있다.
전경 물체가 블루스크린 또는 그린스크린을 이용하여 배경과 분리되는 크로마키 기술(chroma key technique)과 유사한 결과로, 시스템(100)은 추출된 물체의 공간적 및 형태학적 특징(morphological feature)을 이용함으로써 이미지(205)로부터 물체(210)를 추출할 수 있으며, 컬러 인식과는 관계없이 행해질 수 있다.
물체(210)를 포함하고 있는 캡쳐된 이미지는 배경(220)으로부터 물체를 추출하기 위해 분석될 수 있다. 물체(210)는 추출된 후에 물체의 소정의 데이터베이스에 대한 비교에 의해 형상 식별을 위해 분석될 수 있다. 물체(210)의 형상이 식별된 후, 디지털 추출 물체는 플레이어와의 다양한 동적 인터랙션에 이용될 수 있다.
도 4는 본 발명의 실시예에 따른 프로세스(400)를 도시하고 있다. 물체(210)의 마스크는 추후에 가짜 허상(spurious artifact)을 제거하기 위해 임계 기술(threshold technique)과 다른 형태학적 연산자(예컨대, 클로징 및 오프닝)의 조합을 이용하여 필터링될 수 있는 이미지를 제공할 수 있는 2D 바텀-햇 연산자(2d bottom hat operator)와 같은 형태학적 연산자를 이용하여 추출될 수 있다. 이러한 형태학적 연산자를 적용함으로써 생성되는 그 결과의 마스크는 배경(220)으로부터 검출되어 분리되는 물체(210)를 표현할 수 있다.
일실시예에서, 물체(210)를 추출하고 식별하기 위한 프로세스(400)는 다음과 같이 수행될 수 있다:
단계 410에서는 물체(210)를 배경(220) 위에 배치하고 이러한 배치의 디지털 이미지를 취득함으로써 이미지(205)를 획득할 수 있다. 이 이미지는 개인용 컴퓨터와 같은 연산 장치(110)에 접속된 디지털 영상화 장치(190)를 이용하여 획득될 수 있다. 이와 달리, 이미지는 전술한 다른 연산 장치 및 이러한 다른 연산 장치와 관련된 외부 또는 내부 디지털 영상화 장치를 이용하여 획득될 수도 있다.
배경 물체 검출:
브릭이 위치될 수 있는 배경 물체는 물체의 검출 및 추출에 도움을 줄 수 있는 특정 컬러, 특정의 공간적 패턴, 또는 다른 스펙트럼/공간적 특징(spectral/spatial feature)과 같은 알려진 특징을 갖는 어떠한 표면일 수 있다. 배경 물체(220)는 예컨대 인쇄 용지 또는 클립보드일 수도 있고 또는 상호체결 브릭으로 형성된 표면일 수도 있다. 예컨대, 상호체결 브릭 배경이 배경으로서 이용되면, 프로세스(400)는 예컨대 어두운 컬러 필드(dark color field)를 둘러싸는 백색의 둘레 브릭을 이용함으로써 생성될 수 있는 컨트래스트가 높은 4개의 모서리를 검출하는 것을 포함할 수 있다. 이 모서리는 아래의 방식으로 배경 필드의 경계를 찾는데 이용될 수 있다:
이미지의 배경은 예컨대 이미지에서 테두리를 검출할 수 있는 테두리 검출기를 이용하여 계산되고 추출될 수 있으며, 이러한 멀티-스테이지 알고리즘의 한 가지 예로는 캐니 알고리즘(Canny algorithm)이 있다. 캐니 알고리즘은 이미지에서의 수평, 수직 및 대각 테두리를 검출하기 위해 4개의 필터를 포함할 수 있는 테두리 검출 연산자를 이용할 수 있다. 테두리 검출 연산자는 수평 방향 및 수직 방향에서의 1차 도함수에 대한 값을 리턴할 수 있다. 다른 비최대 억제 테두리 검출자 기술(non-maximal suppression edge dectector technique) 또한 프로세스(400)에 의해 이용될 수 있다.
단계 420에서는, 이미지(205)로부터 배경(220)을 구별하기 위해, 테두리의 곡률이 계산될 수 있으며, 곡률이 약 90°인 지점이 모서리로서 마크될 수 있다. 도 5는 프로세스(400)에 의해 식별되고 도면에 "+" 기호로 표시된 모서리를 갖는 상호체결 브릭 배경 및 물체를 도시하고 있다. 각각의 마크된 모서리는 배경 필드의 후보 모서리로 간주될 수 있다.
도 5를 참조하면, 각각의 검출된 후보 모서리는 이 모서리에 연결되는 테두리의 곡률과 관련될 수 있다. 이들 테두리 곡률은 이들이 사전에 정해진 임계치 내에서 영(0)에 근접하게 되는 것으로 발견되면 직선으로 될 수 있다. 이러한 경우, 모서리는 배경 필드의 모서리가 되기 위한 후보로서 마크될 수 있다. 후보 모서리의 각각의 연관된 테두리의 경사가 계산되며, 그 경사의 선형 방정식(line equation)이 추출된다. 제1 후보 모서리와, 제2 후보 모서리에 관련된 선형 방정식들 중의 하나와의 간의 거리가 미리 결정된 약간의 임계치보다 작으면, 이들 2개의 모서리는 동일한 라인 상에 있는 것으로 간주될 수 있다. 라인이 사변형을 형성하는 곳에서 이러한 4개의 모서리가 발견되면, 배경 필드의 모서리가 발견된 것으로 간주된다. 다른 모서리와 동일한 라인 상에 있지 않은 후보 모서리는 배경 모서리로서의 고려 대상에서 제외될 수 있다.
원근 변형 보정:
배경(220)은 직사각형, 정사각형 또는 다른 형상일 수도 있지만, 배경이 반드시 카메라 렌즈의 축에 직각으로 배향될 필요는 없다는 사실로 인해, 획득된 이미지는 정사각형일 필요도 없고 실물 그대로일 필요도 없다. 단계 430에서, 원근 변형 계산을 수행하기 위해 배경(220)의 검출된 모서리의 위치가 이용될 수 있다. 이러한 원근 변형은 이미지(205)에 묘사된 바와 같이 물체(210)를 형성하는 상호체결 브릭의 이미지와 실질적으로 정렬되는 보정된 가상 그리드를 연산하기 위해 이용될 수 있다. 도 6은 원근 변형 계산 후의 중첩된 실제 그리드를 갖는 이미지(205)의 표현을 도시하고 있다.
교정 컬러 추출:
도 7은 컬러 교정 팰릿(610)을 묘사하고 있는 배경(220)의 한쪽의 모서리를 클로즈업하여 도시하고 있다. 배경(220)은 4개의 모서리 중의 하나 이상에 위치된 컬러 교정 팰릿(610)을 가질 수 있다. 각각의 컬러 교정 팰릿은 예컨대 적색, 황색, 녹색 및 청색의 4개의 상이한 색상의 블록을 포함할 수 있다. 다른 개수의 컬러 및 다른 컬러가 사용되어도 된다. 색상을 갖는 블록은 예컨대 배경(220)이 맞추어질 때에 상호체결 브릭을 이용하여 형성될 수 있다.
단계 430에서 획득된 원근 보정된 그리드를 이용하면, 컬러 교정 팰릿(610)을 형성하는 각각의 이들 색상 블록의 위치를 알아낼 수 있다. 단계 440에서, 팰릿의 브릭에 대응하는 이미지(205)로부터의 관련된 픽셀의 컬러 값이 추출될 수 있으며, HSV 색 공간과 같은 또 다른 색 공간 표현으로 변환될 수 있다. 또한, 필드 컬러를 표현하도록 선택된, 배경(220)의 배경 필드로부터의 몇몇의 교정 포인트 또한 추출되고, 동일한 HSV 색 공간으로 변환될 수 있다.
색상을 갖는 건물 블록이 추가의 분석에 놓이게 될 수 있으며, 물체의 컬러 모델을 획득하기 위한 이들 컬러의 분류가 이루어질 수 있다.
도 8은 배경(220)의 다른 실시예를 도시하고 있다. 이 실시예에서, 배경(220)은 종이 또는 클립보드와 같은 적합한 평탄 표면 및 재료 상에 프린트될 수 있다. 여기서, 배경(220)은 특정의 공간적 배치로 배열된 컬러의 조합을 포함할 수 있는 컬러 교정 팰릿(620)을 포함할 수 있다. 컬러 교정 팰릿(620)은 화이트 밸런스, 다이나믹 레인지 및 색 균일성(color consistency)을 보상하기 위한 컬러의 교정을 허용할 수 있다.
브릭 식별:
단계 450에서, 각각의 그리드 위치에 대하여, 몇몇 상이한 장소에서 이미지(205)의 관련된 픽셀의 값이 샘플링되어 추출될 수 있다. 이들 값은 HSV 색 공간으로 변환될 수 있다. 변환된 데이터의 색조값은 단계 440 동안에 획득된 컬러 교정 팰릿 및 필요한 경우 배경 필드의 색조값과 비교될 수 있다. 가장 작은 차이를 갖는 컬러가 이 그리드 위치의 컬러를 표현하기 위해 선택될 수 있다. 관련된 픽셀의 세기 레벨이 배경(220)의 4개의 모서리에 사용된 브릭과 관련된 흑색 및 백색 픽셀의 세기 레벨 및 포화 레벨과 비교될 수 있다. 포화 레벨이 컬러 팰릿 및 배경의 포화 레벨보다 백색 컬러의 포화 레벨에 더 가깝고, 또한 그 세기 레벨 또한 높다면, 그리드 위치의 컬러가 백색으로서 마크될 수 있다. 세기 레벨이 매우 낮고 흑색의 세기 레벨에 가까우면, 그리드 위치가 흑색으로서 마크될 수 있다. 그렇지 않다면, 그리드 지점의 컬러는 컬러 교정 팰릿으로부터의 대응 컬러가 할당된다.
도 9의 (a) 내지 (c)는 단계 440의 중간 중간의 결과를 도시하고 있다. 2D 바텁-햇 연산자와 같은 형태학적 연산자가 이미지(도 9a를 참조)를 제공할 것이며, 이 이미지는 그 후에 가짜 허상을 제거하기 위해 하나 이상의 임계 기술(도 9b를 참조) 및 예컨대 클로징 및 오프닝과 같은 다른 형태학적 연산자를 이용하여 필터링될 수 있다. 이들 형태학적 연산자를 적용함으로써 생성된 그 결과의 마스크는 배경(220)으로부터 분리된 물체(210)를 표현할 수 있다(도 9c를 참조). 도 10은 프로세스(400)에 의해 이미지(205)로부터 추출된 후의 물체(210)의 이미지의 예를 도시하고 있다.
물체(210)의 이미지가 배경(220)으로부터 분리되고, 이미지(205)로부터 추출된 후, 프로세스(400)는 BLOB(binary large object) 분석, 라벨링, 및 물체를 보다 원하는 각도로 회전시키기 위해 사용될 수 있는 계산된 각도를 획득하기 위한 모멘트 계산(moment calculation)을 적용함으로써 추출된 이미지의 방향에 대한 추가적인 분석을 행할 수 있다.
일실시예에서, 검출된 물체와 관련된 공간적 특징 및 스펙트럼 특징의 추가 분석은, 예컨대 검출된 물체의 컬러 히스토그램 및 검출된 물체 내의 색상 세그먼트들의 관계를 검사함으로써 물체를 미래에 인식하도록 시스템(100)을 트레이닝하기 위해 이용될 수 있다. 이 정보는 데이터스토어(170, 172, 174)에 저장될 수 있다.
형상 비교 및 스코어링 ( scoring ):
단계 460 및 470에서, 이미지(205)로부터 추출된 물체의 형상은 데이터스토어(170, 172, 174) 내에 저장된 데이터베이스의 레코드와 비교될 수 있다. 추출된 물체 형상은 예컨대 정규화된 상관 함수 "cor"을 이용함으로써 데이터베이스로부터의 입력 형상에 비교될 수 있다:
f(cor)= (stored configuration, extracted shape)
f (cor) = 1 , if stored configuration = extracted shape
where:
the stored configuration may be within a datastore, and
the extracted shape may be provided, for example, by process 400
다른 오퍼레이션이 이용될 수도 있다. 일실시예에서, 게임은 추출된 이미지 및 그 분류에 기초하여 작성될 수 있다. 컴퓨터는 실제 세상 물체를 작성하기 위해 대화식 방법으로 사용자와의 접촉을 유지할 수 있으며, 이 실제 세상 물체는 그 후 추출을 위한 이미지로 컴퓨터에 제공된다. 컴퓨터는 데이터베이스로부터의 레코드를 컴퓨터 디스플레이 상에 제공하고, 플레이어에게 디스플레이된 물체를 구축하도록 요청한다. 디스플레이된 물체는 예컨대 자동차일 수도 있다. 물체가 플레이어에 의해 맞추어진 후, 적합한 배경 상에 위치된(전술한 바와 같이) 물체의 이미지가 획득될 수 있다. 컴퓨터는 그 후 물체의 이미지를 추출하고, 추출된 이미지를 데이터베이스 레코드와 비교할 수 있다. 도 13a는 구축될 수 있는 다양한 물체를 도시하고 있다. 일례로서, 도 13a는 캐릭터(1010), 자동차(1020), 나무(1030), 비행기(1040), 얼굴(1050), 및 집(1060) 형태의 실제 세상 물체를 도시하고 있다. 이하의 텍스트는 사용자에게 출력될 수 있는 대화식 문장 및 본 실시예에 따른 그에 대응하는 동작의 예이다:
Computer : Welcome , players , let's go on a fun storytelling adventure !
(컴퓨터: 플레이어님 환영합니다, 재미있는 스토리텔링 어드벤처를 하시죠!)
Computer : First , we need a character .... Can you build a boy character ?
(컴퓨터: 먼저, 캐릭터가 필요한데, 소년 캐릭터를 구축하실 수 있으세요?)
[ Player builds and shows a body of a character on the background ]
(플레이어가 배경 위에 캐릭터의 바디를 구축하여 보여준다)
Computer [ after extracting and comparing the object ]: Cool , now let's give him a face ; can you build a face for him ?
(컴퓨터[물체를 추출하여 비교한 후]: 좋아요, 이제 캐릭터에 얼굴을 붙여보죠, 캐릭터의 얼굴을 구축하실 수 있으세요?)
[ Player builds and shows a face on the background ]
(플레이어가 배경 위에 얼굴을 구축하여 보여준다)
Computer : Fantastic ... mmm ... Let's build him a house ... can you help do that ?
(컴퓨터: 아주 좋아요, 음.. 캐릭터의 집을 구축해보죠, 도와주실 수 있으시죠?)
[ Player builds and shows a house on the background ]
(플레이어가 배경 위에 집을 구축하여 보여준다)
Computer : That's a really nice house .
(컴퓨터: 정말 멋진 집이군요.)
Computer : Hey , what's that sound ? Is that an airplane ? Can you build an airplane ?
(컴퓨터: 이거 무슨 소리죠? 비행기인가요? 비행기를 구축할 수 있으시죠?)
[ Player builds and shows an airplane on the background ]
(플레이어가 배경 위에 비행기를 구축하여 보여준다)
Computer : And what is this sound ? Is that a car honking ? Let's build one ...
(컴퓨터: 이건 또 무슨 소리죠? 자동차의 경적 소리인가요? 자동차를 구축해보죠..)
[ Player builds and shows a car on the background ]
(플레이어가 배경 위에 자동차를 구축하여 보여준다)
If showing the wrong thing than computer responds with :
(잘못된 것을 보여주면, 컴퓨터는 다음과 같이 응답한다:)
Computer : That' s a cool [ face / house / airplane / car / tree ] but let's try again .
(컴퓨터: 그것도 멋진 [얼굴/집/비행기/자동차/나무]이지만, 다시 한번 해보죠)
조립된 물체의 이미지를 획득함으로써, 연산 장치는 형상의 존재를 검출하고 그 형상을 추출하여 추출된 형상의 디지털 표현을 디스플레이 화면 상에 보여줄 수 있다. 사용자는 화면 상의 형상의 디지털 표현의 위치 또는 다른 모양(sapect)을 조작함으로써 가상 세계를 작성할 수 있다.
추출은 또한 이미지 처리 기술을 이용함으로써 형상의 자동 인식을 포함할 수 있다. 자동 인식을 이용하면, 컴퓨터는 사용자에게 특정의 형상을 구축하도록 요청할 수 있고, 데이터베이스 내의 소정의 이미지와의 비교에 기초하여 일부 피드백을 제공할 수 있다.
도 11은 예컨대 위에 나타낸 대화식 문장을 포함하는 게임을 구현할 수 있는 프로세스(700)를 도시하고 있다. 단계 710에서, 컴퓨터는 플레이어에게 물체를 조립하도록 지시한다(예컨대, 디스플레이 또는 모니터를 통해). 이러한 지시는 사운드 카드를 통해 예컨대 오디오(구두 또는 음향)에 의해 제공될 수 있거나, 또는 작성된 단어를 컴퓨터 디스플레이 상에 표시함으로써 시각적으로 제공될 수 있다. 물체의 이미지는 디스플레이될 수도 있고 디스플레이되지 않을 수도 있다. 지시된 물체의 이미지를 디스플레이하지 않음으로써, 플레이어의 지식, 어휘 능력, 및 상상력이 연습될 수 있다. 물체는 데이터베이스로부터 랜덤하게 선택될 수 있거나, 또는 미리 정해진 순서로 선택될 수 있다. 미리 정해진 순서는 플레이어의 조립 능력이 물체 선택의 순서에 의해 개발되도록 선택될 수 있다.
플레이어가 물체를 조립한 후, 플레이어는 전술한 바와 같이 적합한 배경 상에 물체를 위치시키고, 디지털 영상화 장치를 이용하여 물체 및 배경의 디지털 이미지를 취할 수 있다. 배경은 사용되지 않아도 된다. 단계 720에서, 컴퓨터는 디지털 영상화 장치로부터 물리적 물체의 디지털 이미지를 이미지 파일로서 획득한다.
단계 730에서, 조립된 물리적 물체의 이미지가 디지털 이미지로부터 추출될 수 있다. 이러한 추출은 예컨대 도 4를 참조하여 설명된 프로세스(400)의 방법을 이용하여 수행될 수 있다.
단계 740에서, 물체의 추출된 이미지가 지시된 물체에 대응하는 데이터베이스 레코드에 비교될 수 있다. 본 발명의 일실시예에서, 이러한 비교는 조립된 물체가 지시된 물체와 어느 정도 일치하는지를 나타낼 수 있는 등급 또는 계측치를 제공할 수 있다.
단계 750에서, 추출된 이미지는 비디오 게임에 이식되고, 플레이어에 의해 게임 파라미터 내에서 활용될 수 있다.
다른 단계들 또는 다른 일련의 단계가 이용될 수도 있다.
또 다른 실시예에서, 컴퓨터는 형상(예컨대, 메모리 또는 데이터베이스로부터 가져온 미리 결정된 형상)을 무작위로 선택하고, 이 형상을 디스플레이 장치 상에 보여주거나 디스플레이할 수 있다. 플레이어는 예컨대 시간이 정해진 조건(timed condition) 하에서 게임의 일부분으로서 브릭 또는 다른 조립 물체를 이용하여 그 형상을 조립하려고 할 수 있다. 플레이어는, 형상을 조립하는 것을 완료한 후, 자신의 작성물의 이미지를 컴퓨터에 업로드하기 위해 디지털 영상화기를 이용한다. 컴퓨터가 물체를 추출하고 식별한 후, 이것은 디스플레이 장치 상에 나타낸 원본 형상과 비교될 수 있다. 대화식 경쟁(interactive competition)의 일부분으로서의 조립 작업의 성공 또는 실패를 나타내기 위해 비교의 결과가 표시될 수 있다.
사용자는 연산 장치의 화면 상에 보이는 브릭 또는 다른 건물 유닛으로 구성된 선택된 형상이 제공될 수 있다. 이 선택된 형상은 또한 타이머가 동반될 수도 있으며, 이 타이머는 사용자가 그 형상을 최초로 볼 때에 개시한다. 타이머는 사용자가 상호체결 브릭을 이용하여 그 형상을 얼마나 빨리 성공적으로 구축하는지를 측정하기 위해 이용될 수 있다.
사용자는 정규 브릭을 이용하여 그 형상을 구축하려고 시도하며, 배경이 이용되는 경우에는 배경 영역으로서 지정된 영역 상에 자신이 구축한 물체를 위치시킬 수 있다. 연산 장치는 디지털 카메라로부터 획득된 이미지를 일정하게 분석할 수 있으며, 배경 영역 상의 물체의 존재를 검출할 수 있다.
물체가 검출되면, 이 방법의 실시예는 예컨대 전술한 프로세스(400)와 같은 본 발명의 실시예에서의 프로세스를 이용하여 사용자가 작성한 물체의 형상을 추출할 수 있다.
프로세스는 사용자에 의해 구축된 물체의 추출된 이미지를 타겟 형상으로서 제공된 선택된 형상과 비교하여 그 형상을 사용자가 구축함에 있어서 얼마나 성공적인지를 판정할 수 있다. 이 비교는 사용자의 물체가 선택된 형상에 얼마나 정확하게 대응하는지에 기초하여 등급 또는 계측치를 제공할 수 있다. 이 등급 또는 계측치는 또한 물체를 조립하는데 소요된 시간을 나타내는 요소를 포함할 수 있으며, 이 요소는 물체의 복잡도에 기초하여 변화된다.
도 12는 전술한 시간이 정해진 조립을 실시할 수 있는 프로세스(800)를 도시하고 있다. 단계 810에서, 컴퓨터는 사전에 정해진 형상을 표현하는 레코드를 포함하고 있는 데이터베이스로부터 레코드를 검색할 수 있다. 단계 820에서, 검색된 형상의 시각적 이미지가 컴퓨터 디스플레이 상에 디스플레이될 수 있다.
단계 830에서, 컴퓨터는 디스플레이 상에 보여지는 물체를 조립하도록 플레이어에게 요청하는 메시지를 제공할 수 있다. 필요한 경우, 컴퓨터는 또한 화면 상에 클록 타이머를 표시할 수도 있다. 타이머(디스플레이되는지에 상관없이)는 사용자가 물리적 물체를 조립하는 동안 경과된 시간을 추적하기 위한 카운트 업 타이머 또는 카운트 다운 타이머이어도 된다.
단계 840에서, 사용자가 조립을 완성하였다는 표식(indication)(예컨대, 사용자 입력 장치를 통한)을 수신한 후 또는 미리 정해진 시간이 경과하기를 대기한 후, 컴퓨터는 전술한 바와 같이 플레이어에게 적합한 배경 상에 물체를 위치시키고 디지털 영상화 장치를 이용하여 물체 및 배경의 디지털 이미지를 취하도록 지시한다. 배경은 이용되지 않아도 된다. 단계 850에서, 컴퓨터가 디지털 영상화 장치로부터 디지털 이미지를 이미지 파일로서 획득할 수 있다.
단계 860에서, 조립된 물체의 이미지가 디지털 이미지로부터 추출될 수 있다. 이러한 추출은 예컨대 도 4를 참조하여 전술한 프로세스(400)의 방법을 이용하여 수행될 수 있다.
단계 870에서, 물체의 추출된 이미지가 검색된 데이터베이스 레코드와 비교될 수 있다. 이러한 비교는 조립된 물체가 검색된 레코드와 일치하는 정도를 나타낼 수 있는 등급 또는 계측치를 제공할 수 있다.
단계 880에서, 추출된 이미지가 비디오 게임에 이식되고, 플레이어에 의해 게임 파라미터 내에서 활용될 수 있다.
다른 단계들 또는 다른 일련의 단계가 이용될 수도 있다.
추출된 이미지(또는 다양한 물리적 물체의 복수의 추출된 이미지)가 가상 세상 또는 비디오 게임의 일부분으로서 디스플레이 장치 상에 디지털 방식으로 표현될 수 있으며, 여기서 가상 세계 및/또는 비디오 게임에서 금지하고 있는 물체가 설계되고, 실제 세상에서의 조립 세트로 구축된다. 도 13b는 컴퓨터 그래픽으로 이식된 도 13a의 복수의 실제 세상 물체의 추출된 이미지를 도시하고 있다.
도 14는 상호체결 브릭 배경 및 물체를 포함하고 있는 실제 세상 조합(1020)의 이미지로부터 처리된 후의 추출된 이미지(110)를 도시하고 있다. 도 14는 내부 카메라가 구비된 휴대 장치(130, 140) 상의 추출된 이미지를 도시하고 있다.
본 발명의 기본적인 신규 특징을 여러 실시예에 적용한 것으로서 도시하고 설명하였지만, 본 발명의 사상 및 범위에서 벗어나지 않고서도 예시된 실시예의 형태, 세부구성 및 동작에 있어서의 다양한 생략, 대체, 및 변경이 당업자에 의해 이루어질 수 있다는 것을 이해할 것이다. 하나의 실시예에서의 구성요소를 다른 구성요소로 대체하는 것 또한 충분히 생각할 수 있다. 본 발명은 첨부된 청구범위 및 그 설명의 등가물에 의해서만 정해진다.

Claims (27)

  1. 브릭(brick)으로 조립된 물리적 물체의 이미지를 추출하는 시스템에 있어서,
    컨트롤러;
    상기 컨트롤러에 접속되고, 배경 위에 배치된 물리적 물체의 디지털 이미지를 제공하도록 구성된 디지털 영상화 장치;
    상기 컨트롤러에 접속되고, 상기 디지털 이미지에서 배경의 경계 및 테두리를 검출하도록 구성된 배경 검출기 유닛; 및
    상기 컨트롤러에 접속되고, 상기 디지털 이미지 내의 브릭을 물리적 물체의 이미지의 일부분으로서 인식하도록 구성되며, 인식된 브릭이 추출된 이미지를 형성하는, 브릭 식별자 유닛
    을 포함하는 것을 특징으로 하는 이미지 추출 시스템.
  2. 제1항에 있어서,
    상기 컨트롤러에 접속된 비교 유닛 및 미리 정해진 형상을 묘사하는 레코드를 갖는 데이터베이스를 포함하고 있는 데이터베이스를 더 포함하며, 상기 비교 유닛은 추출된 이미지를 미리 정해진 형상 중에서 대응하는 형상에 비교하도록 구성되는, 이미지 추출 시스템.
  3. 제1항에 있어서,
    상기 컨트롤러는 추출된 이미지의 디지털 표현을 비디오 게임 디스플레이에 이식(embed)하도록 구성되며, 상기 디지털 표현은 사용자에 의해 조작될 수 있는, 이미지 추출 시스템.
  4. 제2항에 있어서,
    상기 비교 유닛은 또한 물리적 물체와 상기 대응하는 형상 간의 일치 정도의 등급(rating)을 제공하도록 구성되는, 이미지 추출 시스템.
  5. 제2항에 있어서,
    상기 컨트롤러는 상기 대응하는 형상을 선택하며, 그 형상을 디스플레이 유닛 상에 사용자로 하여금 디스플레이된 형상을 브릭으로 조립하여 상기 물리적 물체를 작성하도록 하는 지시와 함께 제공하는, 이미지 추출 시스템.
  6. 제5항에 있어서,
    상기 컨트롤러는 사용자가 상기 물리적 물체의 조립을 완성하는데 경과되는 시간을 추적하도록 구성되는, 이미지 추출 시스템.
  7. 제2항에 있어서,
    상기 컨트롤러는 상기 대응하는 형상을 선택하고, 사용자에게 그 형상을 브릭으로 조립하여 상기 물리적 물체를 작성하도록 하는 지시를 제공하는, 이미지 추출 시스템.
  8. 제1항에 있어서,
    상기 컨트롤러에 접속되고, 상기 물리적 물체의 이미지에 실질적으로 정렬된 보정된 가상 그리드(corrected virtual grid)를 연산하도록 구성된 원근 변형 유닛(perspective tranformation unit)을 더 포함하는, 이미지 추출 시스템.
  9. 제1항에 있어서,
    상기 컨트롤러에 접속되고, 보정된 그리드에 정렬된 관련 픽셀을 샘플링함으로써 디지털 이미지에서 컬러 교정 팰릿(color calibration pallette)의 위치를 확인하도록 구성된 컬러 교정 추출 유닛을 더 포함하는, 이미지 추출 시스템.
  10. 브릭으로 조립된 물리적 물체의 이미지를 추출하는 방법에 있어서,
    필드를 갖는 배경 위에 배치된 물리적 물체의 디지털 이미지를 획득하는 획득 단계;
    테두리 검출 연산자를 이용하여 배경의 경계 및 테두리를 검출하며, 여기서 약 90°인 것으로 계산된 테두리의 곡률이 모서리의 표식(indication)이 되는, 검출 단계; 및
    상기 브릭을 물리적 물체의 이미지의 일부분으로서 인식하며, 이러한 인식이 부분적으로는 배경 필드에 비교된 브릭의 컬러의 판정을 기반으로 하고, 인식된 브릭이 추출된 이미지를 형성하는, 인식 단계
    를 포함하는 것을 특징으로 하는 이미지 추출 방법.
  11. 제10항에 있어서,
    상기 추출된 이미지를 대응하는 형상을 묘사하고 있는 데이터베이스 레코드에 비교하는 단계를 더 포함하는, 이미지 추출 방법.
  12. 제10항에 있어서,
    추출된 이미지의 디지털 표현을 비디오 게임에 이식하는 단계를 더 포함하며, 상기 디지털 표현이 사용자에 의해 조작될 수 있는, 이미지 추출 방법.
  13. 제11항에 있어서,
    상기 물리적 물체와 상기 대응하는 형상 간의 일치 정도의 등급을 제공하는 단계를 더 포함하는, 이미지 추출 방법.
  14. 제11항에 있어서,
    상기 대응하는 형상을, 디스플레이 상에, 사용자로 하여금 디스플레이된 형상을 브릭으로 조립하여 상기 물리적 물체를 작성하도록 하는 지시와 함께 표시하는 단계를 더 포함하는, 이미지 추출 방법.
  15. 제14항에 있어서,
    사용자가 상기 물리적 물체의 조립을 완성하는데 경과되는 시간을 추적하는 단계를 더 포함하는, 이미지 추출 방법.
  16. 제11항에 있어서,
    상기 대응하는 형상을 선택하는 단계; 및
    사용자로 하여금 그 형상을 브릭으로 조립하여 물리적 물체를 작성하도록 하는 지시를 제공하는 단계
    를 더 포함하는, 이미지 추출 방법.
  17. 제11항에 있어서,
    상기 물리적 물체의 이미지와 실질적으로 정렬되는 보정된 가상 그리드를 연산하기 위해 원근 변형 계산을 수행하는 단계를 더 포함하는, 이미지 추출 방법.
  18. 제11항에 있어서,
    상기 디지털 이미지에서 컬러 교정 팰릿의 위치를 확인하고, 컬러 교정 팰릿의 픽셀에 대한 컬러 값 정보를 추출하는 단계를 더 포함하며, 상기 인식 단계는 또한 부분적으로는 컬러 팰릿에 비교된 브릭의 컬러의 판정을 기반으로 하는, 이미지 추출 방법.
  19. 프로세서에 의해 실행될 때에, 상기 프로세서로 하여금,
    브릭으로 조립된 물리적 물체의 이미지를 추출하는 추출 단계;
    필드를 갖는 배경 위에 배치된 물리적 물체의 디지털 이미지를 획득하는 획득 단계;
    테두리 검출 연산자를 이용하여 배경의 경계 및 테두리를 검출하며, 여기서 약 90°인 것으로 계산된 테두리의 곡률이 모서리의 표식(indication)이 되는, 검출 단계; 및
    상기 브릭을 물리적 물체의 이미지의 일부분으로서 인식하며, 이러한 인식이 부분적으로는 배경 필드에 비교된 브릭의 컬러의 판정을 기반으로 하고, 인식된 브릭이 추출된 이미지를 형성하는, 인식 단계
    를 포함하는 방법을 수행하도록 하는 명령이 저장된 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서,
    실행될 때에 상기 프로세서로 하여금 추출된 이미지를 대응하는 형상의 데이터베이스 레코드와 비교하도록 하는 명령을 더 포함하는, 컴퓨터 판독 가능 매체.
  21. 제19항에 있어서,
    실행될 때에 상기 프로세서로 하여금 추출된 이미지의 디지털 표현을 비디오 게임에 이식하도록 하는 명령을 더 포함하며, 상기 디지털 표현은 사용자에 의해 조작될 수 있는, 컴퓨터 판독 가능 매체.
  22. 제20항에 있어서,
    실행될 때에 상기 프로세서로 하여금 상기 물리적 물체와 상기 대응하는 형상 간의 일치 정도의 등급을 제공하도록 하는 명령을 더 포함하는, 컴퓨터 판독 가능 매체.
  23. 제20항에 있어서,
    실행될 때에 상기 프로세서로 하여금 상기 대응하는 형상을 디스플레이 유닛 상에, 사용자가 디스플레이된 형상을 브릭으로 조립하여 물리적 물체를 작성하도록 하는 지시와 함께, 제공하도록 하는 명령을 더 포함하는, 컴퓨터 판독 가능 매체.
  24. 제23항에 있어서,
    실행될 때에 상기 프로세서로 하여금 사용자가 상기 물리적 물체의 조립을 완료하는데 소요된 시간을 추적하도록 하는 명령을 더 포함하는, 컴퓨터 판독 가능 매체.
  25. 제20항에 있어서,
    실행될 때에, 상기 프로세서로 하여금, 상기 대응하는 형상을 선택하도록 하고, 또한 사용자가 그 형상을 브릭으로 조립하여 물리적 물체를 작성하도록 하는 지시를 제공하도록 하는 명령을 더 포함하는, 컴퓨터 판독 가능 매체.
  26. 제19항에 있어서,
    실행될 때에, 상기 프로세서로 하여금, 물리적 물체의 이미지와 실질적으로 정렬되는 보정된 가상 그리드를 연산하기 위해 원근 변형 계산을 수행하도록 하는 명령을 더 포함하는, 컴퓨터 판독 가능 매체.
  27. 제19항에 있어서,
    실행될 때에, 상기 프로세서로 하여금, 디지털 이미지에서 컬러 교정 팰릿의 위치를 확인하고, 또한 상기 컬러 교정 팰릿의 픽셀에 대한 컬러 값 정보를 추출하도록 하는 명령을 더 포함하며, 상기 인식 단계를 행하도록 하는 명령은 또한 부분적으로는 컬러 팰릿에 비교된 브릭의 컬러의 판정을 기반으로 하는, 컴퓨터 판독 가능 매체.
KR1020127005725A 2009-08-04 2010-08-04 물체 추출 시스템 및 방법 KR20120089452A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US23121609P 2009-08-04 2009-08-04
US61/231,216 2009-08-04
PCT/US2010/044343 WO2011017393A1 (en) 2009-08-04 2010-08-04 System and method for object extraction

Publications (1)

Publication Number Publication Date
KR20120089452A true KR20120089452A (ko) 2012-08-10

Family

ID=43544639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127005725A KR20120089452A (ko) 2009-08-04 2010-08-04 물체 추출 시스템 및 방법

Country Status (6)

Country Link
US (4) US9498721B2 (ko)
EP (1) EP2462537A1 (ko)
JP (1) JP2013501304A (ko)
KR (1) KR20120089452A (ko)
CN (1) CN102713931A (ko)
WO (1) WO2011017393A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155230A1 (ko) * 2016-03-08 2017-09-14 네이버비즈니스플랫폼 주식회사 가변 그리드의 인덱스를 이용한 입력 인식 방법 및 시스템

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138636B2 (en) 2007-05-16 2015-09-22 Eyecue Vision Technologies Ltd. System and method for calculating values in tile games
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
EP2462537A1 (en) 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
WO2012095846A1 (en) 2011-01-16 2012-07-19 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
EP3042704B1 (en) 2011-05-23 2019-03-06 Lego A/S A toy construction system
CN103702726B (zh) 2011-05-23 2016-01-13 乐高公司 玩具搭建系统、产生构建指令的方法和数据处理系统
US9044677B2 (en) * 2011-07-11 2015-06-02 Roblox Corporation System for optimizing processing capacity for a group of gaming appliances engaged in play of an online game
US9158389B1 (en) 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
US10033943B1 (en) 2012-10-15 2018-07-24 Tangible Play, Inc. Activity surface detection, display and enhancement
US10657694B2 (en) 2012-10-15 2020-05-19 Tangible Play, Inc. Activity surface detection, display and enhancement of a virtual scene
US9351698B2 (en) * 2013-03-12 2016-05-31 Lightlab Imaging, Inc. Vascular data processing and image registration systems, methods, and apparatuses
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
DE102013018924A1 (de) * 2013-11-13 2015-05-13 Audi Ag Verfahren zum Kontrollieren eines Aktors
JP6193135B2 (ja) * 2014-01-21 2017-09-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10130883B2 (en) 2014-01-21 2018-11-20 Sony Interactive Entertainment Inc. Information processing device and information processing method
JP6027554B2 (ja) 2014-01-21 2016-11-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、ブロックシステム、および情報処理方法
JP5543679B1 (ja) * 2014-02-03 2014-07-09 株式会社 ディー・エヌ・エー ゲーム内図形認識システム及びゲーム内図形認識プログラム
US10127700B2 (en) * 2014-03-31 2018-11-13 Samsung Display Co., Ltd. Generation of display overlay parameters utilizing touch inputs
EP3146466B1 (en) * 2014-05-21 2021-06-30 Tangible Play, Inc. Virtualization of tangible interface objects
WO2015185629A2 (en) * 2014-06-06 2015-12-10 Lego A/S Interactive game apparatus and toy construction system
US10537821B2 (en) * 2014-06-30 2020-01-21 Microsoft Technology Licensing, Llc Interactive play sets
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
CN107073346A (zh) 2014-09-10 2017-08-18 孩之宝公司 具有手动操作的扫描器的玩具系统
EP3200886B1 (en) 2014-10-02 2023-09-20 Lego A/S Game system
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
JP6345612B2 (ja) 2015-02-06 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、マット、および画像生成方法
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
WO2016172506A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
DK180058B1 (en) 2018-07-06 2020-02-27 Lego A/S toy system
EP3337585B1 (en) * 2015-08-17 2022-08-10 Lego A/S Method of creating a virtual game environment and interactive game system employing the method
US10977748B2 (en) 2015-09-24 2021-04-13 International Business Machines Corporation Predictive analytics for event mapping
US10552550B2 (en) 2015-09-26 2020-02-04 Intel Corporation Technologies for physical programming
US10275222B2 (en) 2016-03-15 2019-04-30 Intel Corporation Technologies for physical programming
EP3443470A1 (en) * 2016-04-14 2019-02-20 Ader Bilgisayar Hizmetleri Ve Ticaret A.S. Content based search and retrieval of trademark images
EP3454956B1 (en) 2016-05-09 2021-08-04 Lego A/S System and method for toy recognition
USD795349S1 (en) 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD812143S1 (en) 2016-05-24 2018-03-06 Tangible Play, Inc. Programming tile
USD811485S1 (en) 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD871419S1 (en) 2016-05-24 2019-12-31 Tangible Play, Inc. Display screen or portion thereof with a graphical user interface
USD795348S1 (en) 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD811486S1 (en) 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
GB2550911B (en) 2016-05-27 2021-02-10 Swap Bots Ltd Augmented reality toy
WO2018007369A1 (en) * 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
CN109641150B (zh) 2016-07-05 2022-06-07 乐高公司 用于创建虚拟对象的方法
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US11389718B2 (en) 2016-10-14 2022-07-19 Lego A/S Game system
WO2018087268A1 (en) 2016-11-11 2018-05-17 Lego A/S Virtual card game system
CN110168608B (zh) 2016-11-22 2023-08-29 乐高公司 用于获取物理对象的3维数字表示的系统
US11132728B2 (en) * 2017-02-06 2021-09-28 Lego A/S Electronic ordering system and method
US10854001B2 (en) 2017-12-26 2020-12-01 Tangible Play, Inc. Tangible object virtualization station
US11022863B2 (en) 2018-09-17 2021-06-01 Tangible Play, Inc Display positioning system
US11295087B2 (en) * 2019-03-18 2022-04-05 Apple Inc. Shape library suggestions based on document content
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
CN110900606B (zh) * 2019-12-03 2022-08-09 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
CN111429523B (zh) * 2020-03-16 2021-06-15 天目爱视（北京）科技有限公司 一种在3d建模中远距离标定方法
US11138690B1 (en) * 2020-12-08 2021-10-05 Photobrick Pty. Ltd. Multi-image brick mosaic and systems and methods for production thereof
WO2023094861A1 (en) * 2021-11-25 2023-06-01 L&T Technology Services Limited A system and method for visual text transformation
US20240050854A1 (en) * 2022-08-09 2024-02-15 Reuven Bakalash Integrated Reality Gaming

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1396267A (en) 1973-04-19 1975-06-04 Fortuna Agencie Ltd Arithmetical board game
US4275449A (en) 1978-04-28 1981-06-23 National Research Development Corporation Modelling arrangements
US5168531A (en) 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6351265B1 (en) 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
JPH07271818A (ja) 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
NO954684L (no) 1994-11-21 1996-05-22 Compaq Computer Corp Apparat og fremgangsmåte for interaktiv lek med en datamaskin
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US20090273574A1 (en) 1995-06-29 2009-11-05 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JPH09102042A (ja) * 1995-08-03 1997-04-15 Sanyo Electric Co Ltd 画像処理方法
US6081273A (en) 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
US6115482A (en) 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US6009458A (en) 1996-05-09 1999-12-28 3Do Company Networked computer game system with persistent playing objects
WO1998053889A1 (en) 1997-05-29 1998-12-03 Crossout Pty Ltd. Apparatus for playing a word game
US6208347B1 (en) 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP3752802B2 (ja) * 1997-10-06 2006-03-08 株式会社セガ ゲーム装置及びゲームプログラムを記録した記録媒体
US6049281A (en) 1998-09-29 2000-04-11 Osterweil; Josef Method and apparatus for monitoring movements of an individual
US6466205B2 (en) 1998-11-19 2002-10-15 Push Entertainment, Inc. System and method for creating 3D models from 2D sequential image data
US6259815B1 (en) 1999-03-04 2001-07-10 Mitsubishi Electric Research Laboratories, Inc. System and method for recognizing scanned objects with deformable volumetric templates
JP2000271346A (ja) * 1999-03-23 2000-10-03 Nec Corp 遊戯装置
US6741245B1 (en) 1999-04-23 2004-05-25 Mitsubishi Electric Research Laboratories, Inc. Method for decorating a virtual model
JP2000306121A (ja) 1999-04-23 2000-11-02 Mitsubishi Electric Inf Technol Center America Inc ネットワークによって接続された複数のオブジェクト
US6290565B1 (en) 1999-07-21 2001-09-18 Nearlife, Inc. Interactive game apparatus with game play controlled by user-modifiable toy
US7502759B2 (en) 1999-08-30 2009-03-10 Digimarc Corporation Digital watermarking methods and related toy and game applications
US6422561B1 (en) 1999-10-06 2002-07-23 Jimmy Dale Schroeder Word search based board game with directional tiles
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
DE10027323B4 (de) 2000-06-05 2013-09-26 Leica Microsystems Cms Gmbh Verfahren zum Generieren eines dreidimensionalen Objekts
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US6975744B2 (en) 2000-12-21 2005-12-13 Digimarc Corporation Detection of multiple watermarks and improved watermark calibration signals
US6690156B1 (en) 2000-07-28 2004-02-10 N-Trig Ltd. Physical object location apparatus and method and a graphic display device using the same
US6950104B1 (en) 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
JP3926572B2 (ja) * 2001-03-02 2007-06-06 株式会社日立製作所 画像監視方法、画像監視装置及び記憶媒体
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
GB0114157D0 (en) 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus
US20020196250A1 (en) * 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
GB2381429B (en) 2001-09-28 2005-07-27 Canon Europa Nv 3D computer model processing apparatus
GB2383245B (en) 2001-11-05 2005-05-18 Canon Europa Nv Image processing apparatus
GB0126526D0 (en) 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
US7046840B2 (en) 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US8025569B2 (en) 2002-03-29 2011-09-27 Igt Simulating real gaming environments with interactive host and players
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
GB0208909D0 (en) 2002-04-18 2002-05-29 Canon Europa Nv Three-dimensional computer modelling
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
DK1550085T3 (da) * 2002-10-11 2007-04-10 Lego As Fremgangsmåde til generering af en computerlæsbar model
CA2502232C (en) 2002-10-15 2013-10-01 Trent J. Brundage Identification document and related methods
US7280685B2 (en) * 2002-11-14 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. Object segmentation from images acquired by handheld cameras
GB2398469B (en) 2003-02-12 2005-10-26 Canon Europa Nv Image processing apparatus
US7009561B2 (en) 2003-03-11 2006-03-07 Menache, Llp Radio frequency motion tracking system and method
US7596473B2 (en) * 2003-05-20 2009-09-29 Interlego Ag Method of constructing a virtual construction model
PL378138A1 (pl) 2003-05-20 2006-03-06 Lego A/S Sposób i układ do manipulowania cyfrową reprezentacją obiektu trójwymiarowego
US7051935B2 (en) 2003-07-28 2006-05-30 Imageid Ltd. Color calibration for color bar codes
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP4055010B2 (ja) 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050111757A1 (en) * 2003-11-26 2005-05-26 Brackett Charles C. Auto-image alignment system and method based on identified anomalies
EP1704710A4 (en) 2003-12-24 2007-09-19 Walker Digital Llc METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
JP4321287B2 (ja) 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
US7668365B2 (en) 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
US7389002B1 (en) 2004-03-22 2008-06-17 Knight Andrew F Method for increasing resolution in a camera
CA2464591A1 (en) 2004-04-14 2005-10-14 Inventi Limited Partnership Puzzle machine and method of operating same
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
CA2567253A1 (en) 2004-05-18 2005-11-24 Silverbrook Research Pty Ltd Pharmaceutical product tracking
RU2007101498A (ru) 2004-06-17 2008-07-27 Лего А/С (Dk) Автоматическое генерирование инструкций для построения моделей из стандартных блоков
JP2006026790A (ja) 2004-07-15 2006-02-02 Fanuc Ltd 教示モデル生成装置
US7522163B2 (en) 2004-08-28 2009-04-21 David Holmes Method and apparatus for determining offsets of a part from a digital image
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US7480414B2 (en) 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US20060249530A1 (en) 2005-05-06 2006-11-09 Allure Home Creations Co., Inc. Dispenser with sound and motion
US7720257B2 (en) 2005-06-16 2010-05-18 Honeywell International Inc. Object tracking system
GB2428506A (en) 2005-07-18 2007-01-31 Hewlett Packard Development Co Masking an image to prevent obscuration of a coded pattern
US9033371B2 (en) 2005-12-23 2015-05-19 Xerox Corporation Counterfeit prevention using miniature security marks
US8035637B2 (en) 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
GB0602689D0 (en) 2006-02-10 2006-03-22 Univ Edinburgh Controlling the motion of virtual objects in a virtual space
US7983787B2 (en) 2006-02-28 2011-07-19 Alexander Garnett Methods of making artistic sculpture and sculptures so made
US7515734B2 (en) 2006-03-27 2009-04-07 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with a positioning instruction by a figure in an image
US7644926B2 (en) 2006-03-30 2010-01-12 Teeple Tod R Domino like card and board game
JP2007316949A (ja) * 2006-05-25 2007-12-06 Sharp Corp 認証装置、認証システム、認証方法、認証プログラム、および記録媒体
US20080004093A1 (en) * 2006-06-30 2008-01-03 Leviathan Entertainment, Llc Methods and System for Creating In Game Objects
US7643893B2 (en) * 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US20100317919A1 (en) * 2006-10-23 2010-12-16 Olympus Corporation Spectral endoscope and its wavelength calibration method
JP2008210327A (ja) * 2007-02-28 2008-09-11 Hitachi Computer Peripherals Co Ltd 文字画像出力システム及び文字画像出力方法
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
WO2008129540A2 (en) 2007-04-19 2008-10-30 Eyecue Vision Technologies Ltd. Device and method for identification of objects using color coding
JP2008265169A (ja) * 2007-04-20 2008-11-06 Matsushita Electric Works Ltd カードおよびカード情報読み取り方法
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US8017851B2 (en) 2007-06-12 2011-09-13 Eyecue Vision Technologies Ltd. System and method for physically interactive music games
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
US20100195902A1 (en) 2007-07-10 2010-08-05 Ronen Horovitz System and method for calibration of image colors
US8029411B2 (en) 2007-07-31 2011-10-04 Honeywell International Inc. Systems and methods of monitoring exercises and ranges of motion
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8086071B2 (en) 2007-10-30 2011-12-27 Navteq North America, Llc System and method for revealing occluded objects in an image dataset
US8920236B2 (en) * 2007-11-02 2014-12-30 Bally Gaming, Inc. Game related systems, methods, and articles that combine virtual and physical elements
US20130217491A1 (en) 2007-11-02 2013-08-22 Bally Gaming, Inc. Virtual button deck with sensory feedback
US8270716B2 (en) * 2007-12-04 2012-09-18 Ricoh Company, Limited Selectively compressing picture and text areas of an image to maintain highest quality and effective compaction
US8135216B2 (en) * 2007-12-11 2012-03-13 Flashfoto, Inc. Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US8194933B2 (en) 2007-12-12 2012-06-05 3M Innovative Properties Company Identification and verification of an unknown document according to an eigen image process
EP2242441B1 (en) 2007-12-21 2019-01-23 3M Innovative Properties Company Methods of preparing a virtual dentition model and fabricating a dental retainer therefrom
KR20090087394A (ko) 2008-02-12 2009-08-17 이관영 소리를 이용한 형상물 제작 장치 및 방법
US9305389B2 (en) 2008-02-28 2016-04-05 Autodesk, Inc. Reducing seam artifacts when applying a texture to a three-dimensional (3D) model
JP2010108012A (ja) 2008-10-28 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
US7942717B2 (en) 2008-12-15 2011-05-17 Ting-Shuo Chou Brick assembly with automatically recognizing connecting relationships
EP2462537A1 (en) 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
JP5457768B2 (ja) 2009-09-09 2014-04-02 任天堂株式会社 オブジェクト移動ゲームプログラムおよびオブジェクト移動ゲーム装置
US8070163B2 (en) 2009-12-03 2011-12-06 John Ogilvie Multilingual-tile word games
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US20110300516A1 (en) 2010-06-02 2011-12-08 Microsoft Corporation Tactile Tile Vocalization
WO2012001975A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
US9597581B2 (en) 2010-07-22 2017-03-21 Warifu, LLC Board game
US20120299876A1 (en) 2010-08-18 2012-11-29 Sony Ericsson Mobile Communications Ab Adaptable projection on occluding object in a projected user interface
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
WO2012095846A1 (en) 2011-01-16 2012-07-19 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
JP5742266B2 (ja) 2011-02-07 2015-07-01 セイコーエプソン株式会社 接着剤塗布装置および接着剤塗布装置の制御方法
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20120304059A1 (en) * 2011-05-24 2012-11-29 Microsoft Corporation Interactive Build Instructions
US20130106683A1 (en) 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
WO2013087974A1 (en) 2011-12-16 2013-06-20 Nokia Corporation Method and apparatus for image capture targeting
US9033805B2 (en) 2012-01-19 2015-05-19 Zynga Inc. Three dimensional operations in an isometric projection
JP5993233B2 (ja) 2012-07-11 2016-09-14 オリンパス株式会社 画像処理装置及び画像処理方法
US9095768B1 (en) 2014-10-28 2015-08-04 Yousef A. E. S. M. Bohadi Board game

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155230A1 (ko) * 2016-03-08 2017-09-14 네이버비즈니스플랫폼 주식회사 가변 그리드의 인덱스를 이용한 입력 인식 방법 및 시스템
US10754937B2 (en) 2016-03-08 2020-08-25 Naver Business Platform Corporation Method and system for recognizing input using index of variable grid
US11386188B2 (en) 2016-03-08 2022-07-12 Naver Cloud Corporation Method and system for recognizing input using index of variable grid

Also Published As

Publication number Publication date
US9409084B2 (en) 2016-08-09
US9498721B2 (en) 2016-11-22
CN102713931A (zh) 2012-10-03
US20110298922A1 (en) 2011-12-08
EP2462537A1 (en) 2012-06-13
JP2013501304A (ja) 2013-01-10
US20130321447A1 (en) 2013-12-05
US9669312B2 (en) 2017-06-06
US20140329598A1 (en) 2014-11-06
US9636588B2 (en) 2017-05-02
US20160228772A1 (en) 2016-08-11
WO2011017393A1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
US9669312B2 (en) System and method for object extraction
US9595108B2 (en) System and method for object extraction
US10974152B2 (en) System and method for toy recognition
US20230206720A1 (en) System for counting quantity of game tokens
CA2949844C (en) System and method for identifying, analyzing, and reporting on players in a game from video
TWI619530B (zh) 針對牌堆的牌堆庫和主圖像的自動生成方法以及相關的牌處理裝置
CN110399888B (zh) 一种基于mlp神经网络和计算机视觉的围棋裁判系统
CN111970557A (zh) 图像显示方法、装置、电子设备及存储介质
KR101700120B1 (ko) 사물 인식 장치 및 방법, 이를 포함하는 시스템
CN108764248B (zh) 图像特征点的提取方法和装置
US20140098991A1 (en) Game doll recognition system, recognition method and game system using the same
CN109919164B (zh) 用户界面对象的识别方法及装置
CN103632380A (zh) 一种基于关键点决策树的在线游戏扑克牌识别方法
JP6593928B2 (ja) 情報処理装置及びプログラム
Alves et al. PoolLiveAid: Augmented reality pool table to assist inexperienced players
Belshe Chess Piece Detection
Zrimec et al. Learning to recognize objects-Toward automatic calibration of color vision for Sony robots
CN115194793A (zh) 控制棋子移动的方法、装置、设备、对弈机器人及介质
Ranasinghe et al. ChessEye: An Integrated Framework for Accurate and Efficient Chessboard Reconstruction
CN113427489A (zh) 一种基于下棋工作台的机械手下棋控制规划方法及装置
CN113435346A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN111814642A (zh) 一种电竞赛事数据的识别方法及系统
Leung et al. Bananagrams Tile Extraction and Letter Recognition for Rapid Word Suggestion
Billiards A Computer Vision Tangible User Interface for Mixed Reality Billiards

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid