KR20160010475A - 증강 현실 (ar) 캡쳐 및 플레이 - Google Patents

증강 현실 (ar) 캡쳐 및 플레이 Download PDF

Info

Publication number
KR20160010475A
KR20160010475A KR1020157033591A KR20157033591A KR20160010475A KR 20160010475 A KR20160010475 A KR 20160010475A KR 1020157033591 A KR1020157033591 A KR 1020157033591A KR 20157033591 A KR20157033591 A KR 20157033591A KR 20160010475 A KR20160010475 A KR 20160010475A
Authority
KR
South Korea
Prior art keywords
objects
image
target objects
designated
target
Prior art date
Application number
KR1020157033591A
Other languages
English (en)
Other versions
KR102190721B1 (ko
Inventor
라파엘 그라스
하르트무트 자이히터
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160010475A publication Critical patent/KR20160010475A/ko
Application granted granted Critical
Publication of KR102190721B1 publication Critical patent/KR102190721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 (AR) 오브젝트를 생성하기 위한 방법들, 시스템들, 컴퓨터 판독가능 매체, 및 장치들이 제시된다. 방법은 하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하는 단계를 포함할 수도 있고, 여기에서 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치된다. 본 방법은 또한 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 이미지를 세그먼트하는 단계를 포함할 수도 있다. 본 방법은 추가로, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들을 디지털 이미지로 변환하는 단계를 포함할 수도 있다. 본 방법은 디지털 이미지에 적어도 부분적으로 기초하여 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하는 단계를 더 포함할 수도 있다.

Description

증강 현실 (AR) 캡쳐 및 플레이{AUGMENTED REALITY (AR) CAPTURE ＆ PLAY}
본 개시물의 양태들은 증강 현실 (AR) 오브젝트들에 관한 것이며, 구체적으로는, AR 상호작용들에서의 사용을 위하여 물리적 스케치들 또는 물리적 오브젝트들로부터 AR 오브젝트들을 생성하는 것에 관한 것이다.
모바일 AR 애플리케이션들의 현재의 생성은 이것이 유저와 상호작용하게 될 때로 제한될 수 있다. 예를 들어, 많은 애플리케이션은 프린트된 타겟 상에 오버레이된 미리 정의된 3-D 컨텐츠를 엔드 유저들이 조작 (예를 들어, 선택, 이동, 게임 액션들) 또는 네비게이션 (예를 들어, 주변을 회전, 가까이 오는 것) 하는 것만을 허용한다. 미리 정의된 컨텐츠는 통상적으로 아티스트들, 설계자들, 또는 개발자들에 의해 오프라인 상에서 작성되어 애플리케이션의 부분으로서 통합될 수도 있고, 실시간으로 변경될 수 없다. 이들 접근 방식들은 AR 경험의 유연성 및 창조적 잠재성을 제한한다.
실시간으로 증강 현실 (AR) 오브젝트를 생성하고 캡쳐하는 방법들, 시스템들, 컴퓨터 판독가능 매체, 및 장치들이 제시된다. 추가로, AR 오브젝트는 유저에 의한 멀티터치 상호작용들을 이용하여 실시간으로 변경될 수도 있다.
모바일 AR 애플리케이션들에 대해 멀티터치 상호작용 및 물리적 스케치를 유저가 결합하게 허용하는 특정 실시형태들이 설명된다. 일부 실시형태들에서, 실시간으로 AR 오브젝트를 생성하는 물리적 스케치는 페이퍼 기반일 수도 있다.
일부 실시형태들에서, 모바일 디바이스에 의해 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하는 방법은 하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하는 단계를 포함하며, 여기에서 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치된다. 본 방법은 또한 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 이미지를 세그먼트 (segment) 하는 단계를 포함한다. 본 방법은 추가로, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들을 디지털 이미지로 변환하는 단계를 포함한다. 본 방법은 디지털 이미지에 적어도 부분적으로 기초하여 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하는 단계를 더 포함한다.
일부 실시형태들에서, 이미지를 세그먼트하는 단계는 이미지로부터 미리 정의된 백그라운드를 분리 (subtract) 하는 단계를 더 포함한다.
일부 실시형태들에서, 유저 입력에 응답하여 하나 이상의 AR 오브젝트들을 편집하는 단계를 포함한다.
일부 실시형태들에서 편집하는 단계는 또한, 하나 이상의 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하는 단계, 복수의 AR 부분들로부터 지정된 AR 부분과 연관된 유저 입력을 수신하는 단계, 및 수신된 유저 입력에 기초하여 지정된 AR 부분을 조작하는 단계를 포함한다.
일부 실시형태들에서, 수신된 유저 입력에 기초하여 지정된 AR 부분을 조작하는 단계는 모바일 디바이스의 디스플레이 상에서의 결정된 손가락 압력에 기초하여 지정된 AR 부분에 깊이를 추가하는 단계, 모바일 디바이스의 디스플레이 상에서 수행된 유저의 제스쳐에 기초하여 지정된 AR 부분을 회전하는 단계, 지정된 AR 부분을 하나 이상의 계층들로 어셈블리하는 단계, 지정된 AR 부분을 모바일 디바이스의 디스플레이 상에 디스플레이가능한 하나 이상의 로케이션들로 이동시키는 단계, 또는 지정된 AR 부분을 돌출시키는 단계 중 적어도 하나를 포함한다.
일부 실시형태들에서, 하나 이상의 타겟 오브젝트들 중 하나는 2차원 (2-D) 스케치를 포함한다.
일부 실시형태들에서, 하나 이상의 타겟 오브젝트들 중 하나는 3차원 (3-D) 오브젝트를 포함한다.
일부 실시형태들에서, 하나 이상의 타겟 오브젝트들 중 하나는 미리 정의된 백그라운드와 동일 평면에 있다.
일부 실시형태들에서, 미리 정의된 백그라운드는 피쳐 추적 타겟이다.
일부 실시형태들에서, 본 방법은 또한, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 중 하나를 리파이닝하는 단계를 포함한다.
일부 실시형태들에서, 하나 이상의 AR 오브젝트들은 캡쳐된 이미지 내에서 2 차원 (2-D) 블랍의 검출에 기초하여 생성되며, 2-D 블랍의 검출은 미리 정의된 백그라운드 상에 위치된 하나 이상의 타겟 오브젝트들과 연관된 표면 반사율에 기초한다.
일부 실시형태들에서, 미리 정의된 백그라운드는 수평 추적 영역 및 수직 추적 영역을 포함한다.
일부 실시형태들에서, 본 방법은 또한 모바일 디바이스의 디스플레이 상에 하나 이상의 AR 오브젝트들을 실시간으로 디스플레이하는 단계를 포함한다.
일부 실시형태들에서, 하나 이상의 AR 오브젝트들을 생성하는 장치는, 메모리, 하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하도록 구성되는 이미지 캡쳐 모듈로서, 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 이미지 캡쳐 모듈, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 이미지를 세그먼트하도록 구성되는 이미지 프로세싱 모듈, 및 메모리, 이미지 캡쳐 모듈 및 이미지 프로세싱 모듈에 커플링된 프로세서를 포함한다. 프로세서는 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들을 디지털 이미지로 변환하고 디지털 이미지에 적어도 부분적으로 기초하여 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 영역들을 생성하도록 구성될 수도 있다.
일부 실시형태들에서, 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하기 위한 컴퓨터 실행가능 명령들을 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체로서, 컴퓨터 실행가능 명령들은 실행될 때, 모바일 디바이스에 포함된 하나 이상의 컴퓨팅 디바이스들로 하여금, 하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하게 하는 것으로서, 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 이미지를 캡쳐하게 하고, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 이미지를 세그먼트하게 하고, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들을 디지털 이미지로 변환하게 하고, 그리고 디지털 이미지에 적어도 부분적으로 기초하여 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 영역들을 생성하게 한다.
일부 실시형태들에서, 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하기 위한 장치는 하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하는 수단으로서, 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 이미지를 캡쳐하는 수단, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 이미지를 세그먼트하는 수단, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들을 디지털 이미지로 변환하는 수단, 및 디지털 이미지에 적어도 부분적으로 기초하여 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 영역들을 생성하는 수단을 포함한다.
본 개시물의 양태들은 예로서 설명된다. 첨부된 도면들에서, 유사한 도면 부호들은 유사한 엘리먼트들을 나타낸다.
도 1 은 일부 실시형태들에 따른 예시적인 모바일 디바이스를 예시하는 블록도이다.
도 2 는 엔드 유저들 대 개발자들의 관점으로부터 AR 애플리케이션들의 상이한 타입에 비교하여 본 발명의 실시형태들을 예시한다.
도 3 은 추적 영역을 이용하는 본 발명의 실시형태들을 예시한다.
도 4 는 일 실시형태에 따라 모바일 AR 애플리케이션들에 대해 멀티터치 상호작용 및 물리적 스케치를 결합하는 방법을 예시하는 흐름도이다.
도 5 내지 도 7 은 모바일 AR 애플리케이션들에 대해 멀티터치 상호작용 및 물리적 스케치를 결합하는 방법의 예들을 예시한다.
도 8 내지 도 10 은 일부 실시형태들에 따라 이용될 수 있는 스케치들의 상이한 유형을 예시한다.
도 11 은 일 실시형태에 따라 추적 영역에서 스케치된 오브젝트 또는 물리적 오브젝트를 배치하고 캡쳐하는 예시적인 방법을 예시한다.
도 12 는 일 실시형태에 따라 모바일 인터페이스를 이용하는 AR 편집 방법을 예시한다.
도 13 은 다른 실시형태에 따라 모바일 인터페이스를 이용하는 AR 편집 방법을 예시한다.
도 14 는 일부 실시형태들에 따른 상이한 편집 모드들을 예시하는 표이다.
도 15 는 일 실시형태에 따라, 2-D 계층에 단순화된 물리들을 적용하기 위해 2.5-D 스테이지를 이용하는 것을 예시한다.
도 16 은 일 실시형태에 따라 타겟 AR 오브젝트를 캡쳐하기 위한 방법을 예시하는 흐름도이다.
도 17 은 하나 이상의 실시형태들이 구현될 수도 있는 컴퓨팅 시스템의 일 예를 예시한다.
도 18 은 본 발명의 실시형태들과 연관된 작업들을 실행하기 위한 상이한 소프트웨어 모듈들을 가진 이미지 프로세싱 모듈의 일 예를 예시한다.
이하, 수개의 예시적인 실시형태들은 첨부된 도면들에 대하여 설명되며 도면들은 본 원의 일부를 형성한다. 본 개시물의 하나 이상의 양태들이 구현될 수도 있는 특정 실시형태에서 아래 설명되어 있지만, 다른 실시형태들이 이용될 수도 있고, 첨부된 청구항들의 사상 또는 본 개시물의 범위로부터 벗어남이 없이 여러 변경들이 이루어질 수도 있다.
증강 현실 (AR) 은 그 엘리먼트들이 컴퓨터로 생성된 센서 입력, 이를 테면, 이들에 제한되는 것은 아니지만, 사운드, 텍스트, 그래픽, 비디오, 및 로케이션 (예를 들어, 글로벌 네비게이션 위성 시스템 (GNSS) 데이터) 에 의해 증강되는 물리적, 실제 세계 환경의 라이브, 직접 또는 간접적인 뷰일 수 있다.
AR 기술들, 이를 테면, 오브젝트 구성을 이용하여, 유저의 주변의 실제 세계에 대한 정보가 상호작용적이고 디지털적으로 조작될 수 있게 된다. 유저의 환경 및 그 오브젝트에 대한 인공적인 정보가 실제 세계 상에 오버레이될 수 있다.
본 발명의 실시형태들은 구체적으로 모바일 AR 애플리케이션에 대해 멀티터치 상호작용 및 물리적 스케치를 결합하는 증강 현실 (AR) 오브젝트를 향해 교시된다. 추가로, AR 오브젝트는 유저에 의한 멀티터치 상호작용들을 이용하여 실시간으로 변경될 수도 있다.
모바일 AR 애플리케이션들에 대해 멀티터치 상호작용 및 물리적 스케치를 유저가 결합하게 허용하는 특정 실시형태들이 설명된다. 일부 실시형태들에서, 실시간으로 AR 오브젝트들을 생성하기 위한 물리적 스케치는 페이퍼 기반일 수 있다.
일부 실시형태들에 따르면, 유저는 마커 (예를 들어, 타겟 영역) 상에서 직접 실제 컨텐츠 (예를 들어, 페이퍼 기반) 와 상호작용가능할 수도 있다. 일부 경우들에서, AR 오브젝트는 엔드 유저에 의해 온라인으로 생성된 실제 컨텐츠에 기초할 수 있다. 이는 디지털 툴을 통하여 개발자들에 의해 가상 컨텐츠가 오프라인으로 생성되는 현재 구현들과는 대조적일 수도 있다.
그 결과, 본 발명의 실시형태들은 통상의 디지털 툴의 필요성 없이 AR 오브젝트들 및 컨텐츠를 유저가 생성하게 하는 더욱 직관적인 방식을 허용한다. 추가로, 팝업 북들, 및 칼리지 아트워크의 개념을 이용하여, AR 컨텐츠 생성은 엔드 유저들에 더욱 액세스가능하게 될 수 있다. 또한, 본 발명의 실시형태들은 실시간으로 실제 세계로부터 정보를 캡쳐하는 것을 포함할 수 있는, AR 상호작용에 대한 새로운 접근 방식들을 제공할 수도 있다.
도 1 은 일부 실시형태들에 따른 예시적인 모바일 디바이스 (100) 를 예시하는 블록도이다. 모바일 디바이스 (100) 는 이미지 프로세싱 모듈 (121) 에 커플링된 이미지 캡쳐 모듈 (111) 을 포함한다. 이미지 프로세싱 모듈 (121) 은 하나 이상의 범용 프로세서(들)일 수 있다. 추가로, 이미지 프로세싱 모듈 (121) 이 버스 인터페이스 (103) 에 의해 버스 (101) 에 접속될 수도 있고, 이미지 캡쳐 모듈 (111) 이 버스 인터페이스 (103) 에 의해 버스 (101) 에 접속될 수도 있고, 그리고 메모리 (161) 가 버스 인터페이스 (103) 에 의해 버스 (101) 에 접속될 수도 있다.
이미지 프로세싱 모듈 (121) 은 또한 버스 인터페이스 (103) 및 버스 (101) 를 통하여 디스플레이 모듈 (181) 에 커플링될 수도 있다. 추가로, 이미지 캡쳐 모듈 (111) 및 이미지 프로세싱 모듈 (121) 은 버스 인터페이스 (103) 및 버스 (101) 를 통하여 유저 입력 모듈 (191) 에 접속될 수 있다. 이미지 프로세싱 모듈 (121) 은 이미지 캡쳐 모듈 (111) 로부터 수신되는 인커밍 이미지 데이터 또는 비디오 데이터로부터 타겟 오브젝트의 이미지를 검출 및 캡쳐하도록 구성될 수도 있다. 타겟 오브젝트의 이미지는 미리 정의된 백그라운드에 대항하여 위치되는 오브젝트를 포함할 수도 있다. 이미지 프로세싱 모듈 (121) 은 미리 정의된 백그라운드를 타겟 오브젝트의 이미지와 비교하고, 그 비교에 기초하여 스케치를 결정할 수 있다. 후속하여, 이미지 프로세싱 모듈 (121) 은 디스플레이 모듈 상에 디스플레이를 위한 스케치에 기초하여 AR 오브젝트를 생성할 수 있다.
버스 인터페이스 (103) 는 이미지 프로세싱 모듈 (121), 이미지 캡쳐 모듈 (111), 및 이들과 연관된 메모리 (161) 와 통합될 수도 있다. 여러 실시형태들에서, 기능들은 메모리 (161), 이를 테면, 컴퓨터 판독가능 저장 매체, 이를 테면, RAM, ROM, FLASH 또는 디스크 드라이브에 하나 이상의 명령들 또는 코드로서 저장될 수도 있고 이미지 프로세싱 모듈 (121) 에 의해 실행될 수도 있다. 메모리 (161) 는 이미지 프로세싱 모듈 (121) 로 하여금 설명된 기능들을 수행하게 하도록 구성된 소프트웨어 코드 (프로그램 코드, 명령들 등) 를 저장하는 프로세서 판독가능 메모리 및/또는 컴퓨터 판독가능 메모리일 수도 있다. 다른 실시형태들에서, 설명된 기능들은 하드웨어로 구현될 수도 있다.
또한, 일부 실시형태들에서, 모바일 디바이스 (100) 는 글로벌 네비게이션 위성 시스템 (GNSS) 수신기 (171) 에 커플링된 GNSS 안테나 (172) 를 통하여 GNSS 신호들 (174) 을 수신가능한 GNSS 수신기 (171) 를 포함할 수도 있다. GNSS 수신기 (171) 는 또한 모바일 디바이스 (100) 의 로케이션을 결정하기 위해 GNSS 무선 신호들 (174) 을 전체적으로 또는 부분적으로 프로세싱하고 GNSS 신호들 (174) 을 이용할 수도 있다. GNSS 수신기 (171) 는 로케이션 기반 정보를 이용하여 모바일 AR 애플리케이션들을 지원할 수 있다.
또한, 일부 실시형태들에서, 모바일 디바이스 (100) 는 또한 버스 인터페이스 (103) 에 의해 버스 (101) 에 접속된 무선 트랜시버 (131) 를 포함할 수도 있다. 무선 트랜시버 (131) 는 안테나 (152) 를 통하여 무선 신호 (154) 를 수신하도록 동작가능할 수도 있다. 무선 신호 (154) 는 무선 네트워크를 통하여 송신될 수도 있다. 일부 실시형태들에서, 무선 네트워크는 임의의 무선 네트워크, 이를 테면, 이들에 제한되는 것은 아니지만, 인터넷, 퍼스널 액세스 네트워크 (PAN), 또는 셀룰라 네트워크 (예를 들어, GSM, WCDMA, LTE, CDMA2000 네트워크) 일 수도 있다. 일부 실시형태들에서, 안테나들 (152 및 172) 은 동일한 안테나일 수도 있다. 2 개의 안테나들이 도 1 에 묘사되어 있지만, 다른 실시형태들에서는, 임의의 수의 안테나들이 모바일 디바이스 (100) 상에 존재할 수도 있고, 무선 트랜시버 (131) 및 GNSS 수신기 (171) 가 통신 목적을 위하여 하나 이상의 이들 안테나들을 공유할 수도 있음이 이해될 수 있다. 무선 트랜시버 (131) 는 네트워크 (예를 들어, 인터넷) 과 통신하여 모바일 AR 애플리케이션을 지원할 수 있다.
모바일 디바이스 (100) 는 셀폰, 스마트폰, PDA, 테블릿, 랩탑, 추적 디바이스, 또는 일부 다른 무선 지원가능 및 이동가능 디바이스일 수도 있으며, 모바일 단말기, 이동국 (MS), 단말기, 디바이스, 무선 디바이스, 유저 장비 (UE), SET (SUPL Enabled Terminal), 타겟 디바이스, 타겟 또는 일부 다른 명칭으로 지칭될 수도 있다.
일부 실시형태들에 따르면, 이미지 캡쳐 모듈 (111) 은 미리 정의된 백그라운드 및 하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하도록 구성될 수 있는 렌즈 및 이미지 센서를 포함할 수도 있고, 여기에서 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치된다. 일부 경우들에서, 캡쳐된 이미지들은 비디오들일 수도 있고, 비디오들은 실시간으로 캡쳐될 수도 있다. 따라서, 여기에 기술된 용어 이미지는 비디오 및 오디오 데이터를 포함할 수 있다. 이미지 캡쳐 모듈 (111) 은 하나 이상의 디지털 정지 영상 카메라들, 하나 이상의 비디오 카메라들, 하나 이상의 마이크로폰들, 또는 이들의 임의의 조합을 포함할 수도 있다. 이미지 캡쳐 모듈 (111) 의 예들은 RGB 카메라, 깊이 카메라, 스테레오 카메라 등을 포함할 수도 있지만, 이들에 제한되지 않는다. 용어 "카메라"는 또한 상이한 유형들 (예를 들어, RGB 카메라 및 깊이 카메라) 로 이루어질 수도 있는 다수의 카메라들을 지칭할 수도 있다.
일부 실시형태들에 따르면, 도 16 의 방법 1600 에 대하여 설명된 바와 같이, 이미지 프로세싱 모듈 (121) 은 이미지 캡쳐 모듈 (111) 에 의해 수신된 이미지 데이터로부터 하나 이상의 타겟 오브젝트들을 검출하고 디스플레이 모듈 (181) 상에 디스플레이를 위한 증강된 이미지 데이터를 생성한다. 증강된 이미지 데이터를 생성하기 위하여, 이미지 캡쳐 모듈 (111) 은 캡쳐된 이미지를 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 세그먼트할 수도 있다. 그 후, 이미지 캡쳐 모듈 (111) 은 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들을 디지털 이미지로 변환할 수도 있다. 이미지 캡쳐 모듈 (111) 은 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하는 것을 계속할 수도 있다. 일부 실시형태들에서, 하나 이상의 타겟 오브젝트들은 유저에 의해 손으로 그려진 스케치를 포함할 수도 있다.
일부 경우들에서, 디스플레이 모듈 (181) 은 생성된 AR 오브젝트들을 디스플레이하도록 구성된다. 예를 들어, 디스플레이 모듈 (181) 은 모바일 디바이스 또는 다른 비쥬얼 디스플레이 디바이스 (예를 들어, 프로젝터, 헤드 탑재형 디스플레이, 차량 디스플레이, 스마트 워치, 카메라 디스플레이 등) 상의 디스플레이 스크린을 포함할 수도 있다. 일부 실시형태들에서, 생성된 AR 오브젝트들은 도 7 에 예시된 바와 같이, 증강된 이미지 내에 임베드된 AR 오브젝트로서 디스플레이될 수 있다.
일부 실시형태들에서, 유저 입력 모듈 (191) 은 유저가 디스플레이 모듈 (181) 을 통하여 디스플레이된 3차원 AR 오브젝트를 제어 (예를 들어, 애니메이션) 하게 한다. 예를 들어, 유저 입력 모듈 (191) 은 하나 이상의 물리적 제어부들, 이를 테면, 하나 이상의 스위치들, 버튼들, 조이스틱들, 또는 키들을 포함할 수도 있다. 다른 예들로서, 유저 입력 모듈 (191) 은 디스플레이 모듈 (181) 의 터치스크린, 스피치 인터페이스, 제스쳐 인식기, 다른 유저 입력 메카니즘 또는 이들의 임의의 조합을 포함할 수 있다. 일부 실시형태들에서, 유저 입력 모듈 (191) 은 모바일 디바이스 (100) 와는 별개로, 상이한 디바이스 내에 있을 수도 있다.
일부 경우들에서, 이미지 프로세싱 모듈 (121) 의 적어도 일부분은 전용 회로를 통하여 구현될 수도 있다. 다른 실시형태들에서, 이미지 프로세싱 모듈 (121) 의 적어도 일부분은 이미지 프로세싱 모듈 (121) 에 의해 실행되는 컴퓨터 실행가능 코드의 실행에 의해 구현될 수도 있다. 예시를 위하여, 메모리 (161) 는 이미지 프로세싱 모듈 (121) 에 의해 실행가능한 프로그램 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 프로그램 명령들은 이미지 캡쳐 모듈 (111) 로부터 수신되는 이미지 데이터 내에서 하나 이상의 타겟 오브젝트들을 검출하기 위한 코드, 및 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하기 위한 코드를 포함할 수도 있다.
도 2 는 엔드 유저 또는 개발자 관점에서 보여지는 AR 애플리케이션들의 상이한 유형들을 비교한다. 도 2 는 실시간 AR 작성 및/또는 실시간 AR 스케칭을 위한 AR 애플리케이션들의 클래스를 표현하는 본 발명의 실시형태들을 추가로 예시한다.
일부 실시형태들에 따르면, 실시간으로 컨텐츠를 생성하기 위하여, 엔드 유저들이 AR 애플리케이션들을 이용하는 것을 허용하는 방법들이 개시된다. 실시간 AR 스케칭 애플리케이션 (215) 에 예시된 바와 같이, 엔드 유저들은 가상 AR 컨텐츠를 생성 및 이용할 수 있다.
이와 대조적으로, 통상의 모바일 AR 애플리케이션 (205) 에서, 아티스트들 및 개발자들은 모바일 AR 애플리케이션 (205) 내에 통합될 수도 있는 가상의 AR 컨텐츠를 오프라인으로 생성한다. 그 후, 엔드 유저들은 이 미리 정의된 가상의 AR 컨텐츠를 온라인으로 조작하거나 또는 네비게이션할 수도 있지만, 이들은 실시간 동안에 컨텐츠를 변경 또는 편집할 수 없다.
대안으로서, 통상의 AR 브라우저의 모바일 애플리케이션 (210) 에서, 엔드 유저들은 가상의 그리고 실제 컨텐츠를 생성할 수 있지만, 컨텐츠는 여전히 통상의 디지털 작성 툴들을 이용하여, 별도의 플랫폼 상에서 오프라인으로 생성된다. 여기에 이용된 용어 "오프라인" 은 엔드 유저가 궁극적으로 AR 컨텐츠와 상호작용하도록 이용할 수 있는 것 외에 플랫폼 상에서 컨텐츠를 생성하는 것을 지칭할 수 있음을 이해할 수 있다. 예를 들어, 데스크톱 플랫폼들에 대해서만 조정될 수도 있는 통상의 AR 브라우저의 모바일 애플리케이션 (210) 에서, 엔드 유저들은 픽쳐들을 생성하고, 마크들 및 3-D 모델들을 그들의 데스크탑 상에 배치하고, 웹 작성 툴을 이용하여 이들을 서버 상에 추가하고 그리고 나서, 모바일 디바이스 또는 데스크탑 외의 다른 디바이스를 이용하여 나중 시간에 컨텐츠를 경험할 수 있다. 이 예에 예시된 바와 같이, 현재 구현이 엔드유저들이 가상 및 실제 컨텐츠를 생성하는 것을 허용할 수도 있더라도, 생성은 여전히 전문적인 디지털 툴을 이용한 오프라인 생성으로만 제한된다.
본 발명의 실시형태들은 실시간 AR 스케칭 애플리케이션 (215) 으로 예시된 바와 같이, 온라인과 유저 발생 양쪽 모두인 컨텐츠를 유저가 생성하게 하는 AR 툴들 및 모바일 AR 유저 인터페이스들을 설명한다. 여기에서 이용된 용어 "온라인"은 엔드 유저가 AR 컨텐츠와 상호작용하기 위해 궁극적으로 이용할 수도 있는 동일한 플랫폼 상에서 실시간으로 컨텐츠를 생성하는 것을 지칭할 수 있음을 이해할 수 있다. 일부 경우들에서, 실시간 AR 스케칭 애플리케이션 (215) 은 모바일 AR 유저 인터페이스를 이용하여 실시간 가상 컨텐츠를 생성하도록 허용할 수 있다. 예를 들어, 모바일 AR 유저 인터페이스는 입력 (예를 들어, 테블릿 상의 유저 드로잉, 사진 편집, 3-D 모델링) 을 수신할 수 있고 입력에 기초하여 실시간으로 가상 컨텐츠를 업데이트할 수 있다.
추가적으로, 본 발명의 실시형태들은 AR에서 가상 컨텐츠와 물리적 스케치를 결합할 수 있다. 일부 경우들에서, 결합은 도 2 의 하부에 실시간 AR 스케칭 애플리케이션 (215) 의 보다 구체적인 설명에 예시된 바와 같이, 모바일 AR 인터페이스 상에서 멀티-터치 상호작용들과 통상의 스케치를 통합하는 결과로서 이루어질 수 있다.
실시간 AR 스케칭 애플리케이션 (215) 은 가상 AR 스케칭 (220) 모드, 페이퍼 AR 스케칭 (225) 모드 및 AR 스케칭 및 플레이 (230) 모드를 포함할 수 있다. 이들 모드들을 이용하여, 실시간 AR 스케칭 애플리케이션 (215) 은 엔드 유저로 하여금 가상 및 실제 컨텐츠 양쪽 모두를 생성 및 이용하게 하기 위하여 물리적 스케치 (예를 들어, 실제 세계) 및 터치 상호작용을 실행한다.
일부 실시형태들에 따르면, 실시간 AR 스케칭 애플리케이션 (215) 에 의해 이용되는 방법은 실제 세계 컨텐츠를 캡쳐하도록 전용 공간 (예를 들어, 추적 영역) 을 이용하는 개념에 기초할 수 있다. 예를 들어, 추적 영역 (예를 들어, 컬컴의 NFT (Natural Feature Tracking) 마커) 은 실제 세계 컨텐츠를 캡쳐하는 전용 공간으로서 이용될 수 있다. 추가적으로, 추적 영역은 컨텐츠 (예를 들어, 캡쳐-앤드-플레이 공간) 를 편집하는데 이용될 수 있다. 일부 경우들에서, 실시간 AR 스케칭 애플리케이션 (215) 은 실제 오브젝트를 캡쳐하고, 추적 영역에서 조작될 수 있는 디지털 상대부분 (예를 들어, 가상부) 를 생성할 수 있다. 추적 영역 (예를 들어, 추적 영역 (305)) 은 도 3 에서 추가로 논의된다.
통상적인 가상 AR 스케칭 (220) 모드에서, 유저는 AR 오브젝트를 생성하기 위해 디지털 디바이스 상에서 스케치할 수 있다. 추가로, 유저는 가상 컨텐츠를 생성하기 위해, 마커 (예를 들어, 알려진 지오메트리를 가진 오브젝트, 추적 영역) 상에 생성된 AR 오브젝트를 추적할 수 있다. 일부 실시형태들에 따르면, 모바일 디바이스 (100) 에서의 다음의 모듈들 중 하나 이상 (예를 들어, 디지털 카메라들 및/또는 다른 광학 센서들) 이 추적을 위해 이용될 수 있다: 이미지 프로세싱 모듈 (121), 가속도계들, GNSS 수신기 (171), 자이로스코프들, 솔리드 스테이트 컴파스들, 및 무선 트랜시버 (131).
통상의 페이퍼 AR 스케칭 (225) 모드에서, 유저는 가상 컨텐츠를 생성하기 위해 마커 (예를 들어, 추적 영역) 상에서 AR 오브젝트의 스케치 및 추적 양쪽 모두를 행할 수 있다. 추가로, 유저는 스케치가 추적되고 있는 동안 마커 상에서 스케치를 조작함으로써 AR 오브젝트를 플레이할 수 있다.
현재 구현들은 풀 3-D 재구성에 대해 단독으로 포커싱할 수 있다. 대조적으로, 본 발명의 실시형태들은 2 차원 (2-D) 투 2.5 차원 (2.5-D) 재구성들을 가능하게 하는 기술들을 이용할 수 있다. 예를 들어, 2-D 투 2.5-D 오브젝트들, 이를 테면 팝업 북들 및 칼리지 아트워크는 크리에이티브 작업을 가르칠 때의 교육적 요소들일 수 있다. 따라서, 보다 적은 차원들을 가짐으로써, 애플리케이션은 유저들 (예를 들어, 아이들) 에 의한 사용을 보다 쉽게 할 수 있고 유저에 대해 보다 창의적일 수 있다. 추가로, 2-D 투 2.5-D 오브젝트들은 게임, 교육, 엔터테인먼트, 애니메이션/퍼핏, 예술적인 작업 등에 이용될 때 보다 우수한 기능을 가질 수 있다.
여기에서 설명된 구현들을 실시하는 AR 스케칭 및 플레이 (230) 모드에서, 유저는 2-D 투 2.5-D 오브젝트들을 이용하여 매체 상에 스케치할 수 있다. 추가로, 유저는 가상 컨텐츠를 생성하기 위해 마커 (예를 들어, 추적 영역) 상에서 캡쳐 및 편집할 수 있다. 또한, 유저는 생성된 하나 이상의 AR 오브젝트들을 플레이 (예를 들어, 조작) 할 수 있다.
도 3 은 특수한 환경에서 본 발명의 실시형태들을 예시한다. 예를 들어, 도 3 에 예시된 바와 같이, 실시간 AR 스케칭 애플리케이션 (215) 은 동시에 추출, 캡쳐 및 플레이하기 위해 마커 (예를 들어, 도 3 의 추적 영역 (305), 물리적 스케치 및 플레이 영역) 를 이용할 수 있다. 추가로, 마커 (예를 들어, 추적 영역 (305)) 은 3차원 (3-D) 에서 실시간 컨텐츠를 생성하는데 이용될 수 있다.
일부 경우들에서, 유저는 추적 영역 (305) 상에서 물리적 컨텐츠 (310)(예를 들어, 스케치, 드로잉, 3-D 물리적 오브젝트) 를 추가할 수 있고, 이미지 캡쳐 모듈 (111) 및 이미지 프로세싱 모듈 (121) 은 추적 영역 (305) 상에 위치 (예를 들어, 배치된) 물리적 컨텐츠 (310) 에 기초하여 하나 이상의 AR 오브젝트들 (315) 을 생성할 수 있다. 예를 들어, 도 16 은 추적 영역 (305) 에 위치된 물리적 컨텐츠에 기초하여 하나 이상의 AR 오브젝트들을 생성하기 위한 예시적인 방법을 설명한다. 후속하여, 유저는 생성된 AR 오브젝트(들)을 편집 및 플레이할 수 있다.
예를 들어, 일부 실시형태들에서, 실시간 AR 스케칭 애플리케이션 (215) 은 마커 기반 환경에 대한 편집 기술들을 포함할 수도 있는 캡쳐 또는 편집 메카니즘을 이용하여 구현될 수도 있다. 일부 실시형태들에서, 캡쳐 또는 편집 메카니즘은 마커 기반 환경의 편집을 허용하기 위해 이미지 프로세싱 모듈 (121) 과 상호작용할 수도 있다. 그 결과, AR 환경을 편집하는데 있어서 복잡한 컴퓨터 버전 (CV) 3-D 모델링 및 획득이 요구되지 않을 수도 있다.
도 4 는 일 실시형태에 따라 모바일 AR 애플리케이션들에 대해 멀티터치 상호작용 및 물리적 스케치를 결합하는 방법 (400) 을 예시하는 흐름도이다.
블록 405 에서, 유저는 실제 페이퍼를 이용하여 오브젝트를 스케치 및 잘라낼 수 있다. 대안으로서, 유저는 오브젝트를 드로잉 또는 붙이기를 할 수 있다. 도 5 는 유저가 실제 페이퍼를 이용하여 오브젝트 (예를 들어, 휴먼 피겨 (505)) 를 스케치하는 일 예를 예시한다.
410 에서, 유저는 추적 영역 (305)(예를 들어, 캡쳐 앤드 플레이 공간) 에 오브젝트를 배치할 수 있다. 도 6 은 유저가 추적 영역 (305) 에 오브젝트 (예를 들어, 휴먼 피겨 (505)) 를 배치하는 예를 예시한다. 도 6 에 예시된 바와 같이, 추적 영역 (305) 은 미리 정의된 백그라운드일 수 있다. 추적 영역 (305) 의 일부 예들은 AR 추적 타겟들, 퀄컴 NFT 마커 등을 포함하지만 이들에 제한되지 않는다.
415 에서, 실시간 AR 스케칭 애플리케이션 (215) 은 컨텐츠를 캡쳐할 수 있다. 도 16 에서의 흐름도는 컨텐츠를 캡쳐하는 방법을 추가로 기술한다. 추가로, 이전에 언급된 바와 같이, 이미지 캡쳐 모듈 (111) 은 추적 영역 (305) 상에 위치된 (예를 들어, 배치된) 하나 이상의 타겟 오브젝트들을 검출하도록 구성될 수 있다.
420 에서, 실시간 AR 스케칭 애플리케이션 (215) 은 캡쳐된 오브젝트를 그랩 및 디지털화할 수 있다. 일부 경우들에서, 실시간 AR 스케칭 애플리케이션 (215) 은 블록 405 및 블록 410 으로부터 스케치를 디지털화할 수 있고, 이를 디지털 이미지로 변환할 수 있다. 이미지 프로세싱 모듈 (121) 은 이미지 캡쳐 모듈 (111) 로부터 수신된 인커밍 비디오/이미지 데이터에서 하나 이상의 타겟 오브젝트들을 검출하고 디스플레이 모듈 (181) 상의 디스플레이를 위하여 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하도록 구성될 수 있다.
이들 단계들은 실시간으로 모바일 디바이스 (100) 에 의해 수행될 수도 있음을 이해할 수 있다.
다른 예들에서, 이미지 프로세싱 모듈 (121) 은 이미지 캡쳐 모듈 (111) 로부터 수신된 비디오/이미지 데이 내에서 타겟 이미지를 검출하도록 구성될 수도 있다. 이미지 프로세싱 모듈 (121) 은 검출된 타겟 이미지에 기초하여 스케치 및 증강 현실 (AR) 데이터를 생성하도록 구성될 수 있다.
425 에서, 유저는 실시간 AR 스케칭 애플리케이션 (215) 을 이용하여 캡쳐된 컨텐츠를 편집할 수 있다. 유저 인터페이스는 멀티 터치 인터페이스일 수 있다. 도 12 및 도 13 은 실시간 AR 스케칭 애플리케이션 (215) 을 이용하는 상이한 편집 방법들을 예시한다. 캡쳐된 컨텐츠를 편집하는 방법들은, 캡쳐된 컨텐츠의 지오메트리를 변경하는 것, 마커 (추적 영역 (305)) 상에서 캡쳐된 컨텐츠의 초기 배치를 변경하는 것, 오브젝트로 애니메이션을 생성하는 것, 및 오브젝트에 엑스트라 특성들 (예를 들어, 사운드들, 물리적 거동) 을 추가하는 것을 포함할 수 있지만 이들에 제한되지 않는다. 이들 편집 방법들은 도 14 에 예시된 테이블에 추가로 설명된다.
430 에서, 유저는 캡쳐된 컨텐츠 또는 편집된 컨텐츠로 플레이할 수 있다. 도 7 은 캡쳐된 컨텐츠를 편집 및/또는 플레이하는 예를 나타낸다. 컨텐츠로 플레이하는 것은 애니메이션, 조작, 및 컨텐츠와의 비디오 게임 상호작용들을 포함할 수 있지만 이들에 제한되지 않는다.
도 5 내지 도 7 은 모바일 AR 애플리케이션들에 대해 멀티터치 상호작용 및 물리적 스케치를 결합하는 방법 (400) 의 예들을 예시한다. 도 3 및 도 5 에 예시된 바와 같이, 유저는 블록 405 에서 이전에 설명된 바와 같이 오브젝트 (예를 들어, 휴먼 피겨 (505)) 를 스케치할 수 있다. 추가로, 도 6 은 블록 410 에서 이전에 설명된 바와 같이 추적 영역 (305) 상에 오브젝트 (예를 들어, 휴먼 피겨 (505)) 를 배치하는 예를 예시한다. 추가로, 도 7 은 블록 425 및 블록 430 에서 이전에 설명된 바와 같이, 추적 영역 (305) 상에서 캡쳐된 컨텐츠를 편집 또는 플레이하는 예를 예시한다.
블록 405 에서 이용된 스케치된 오브젝트는 드로잉, 스케치, 및 추적 영역 (305) 상에 배치된 3-D 물리적 오브젝트를 포함하지만 이들에 제한되지 않는 상이한 매체 아이템들의 범위를 포함할 수 있다. 일부 경우들에서, 3-D 물리적 오브젝트는 2-D 에서만 캡쳐될 수 있다. 스케치된 오브젝트 (405) 는 추적 영역 (305) 에 대해 동일 평면이며 명확하게 구별가능할 필요가 있을 수도 있다. 추가로 스케치된 오브젝트는 안정적인 추적을 보장하기 위하여 추적 영역 (305) 의 일부만을 커버하는 방식으로 배치될 수도 있다. 스케치된 오브젝트는 하나 이상의 타겟 오브젝트들의 일 예임을 이해할 수 있다.
도 8 내지 도 10 은 일부 실시형태들에 따라 이용될 수 있는 스케치된 오브젝트들의 여러 예들을 예시한다. 예를 들어, 유저는 도 8 에 예시된 바와 같이, 스틱 피겨 (805) 를 스케치하고 추적 영역 (305) 상에 오브젝트를 배치할 수 있다. 대안으로서, 유저는 도 9 에 예시된 바와 같이, 차량 (905) 을 스케치하고 추적 영역 상에 스케치를 배치할 수 있다. 다른 실시형태에서, 유저는 도 10 에 예시된 바와 같이, 3-D 오브젝트, 이를 테면, 장난감 차 (1005) 를 추적 영역 상에 배치할 수 있다.
도 16 의 흐름도에 추가로 설명된 바와 같이, 실시간 AR 스케칭 애플리케이션 (215) 은 추적 영역 (305) 상에 배치된 오브젝트 (예를 들어, 스틱 피겨 (805), 차량 (905), 3-D 장난감 차 (1005)) 를 캡쳐하고 캡쳐된 오브젝트에 기초하여 AR 오브젝트를 생성할 수 있다. 예시된 바와 같이, 스케치된 오브젝트는 드로잉, 스케치, 및 3-D 물리적 오브젝트를 포함하지만 이들에 제한되지 않는 상이한 매체 아이템들의 범위를 포함할 수 있다.
도 11 은 블록 410 및 블록 415 에서 이전에 설명된 바와 같이, 추적 영역 (305) 에 다수의 오브젝트들을 배치 및 캡쳐하는 예시적인 방법을 예시한다. 예를 들어, 제 1 오브젝트 (1105) 및 제 2 오브젝트 (1110) 가 추적 영역 (305) 상에 위치 (예를 들어, 배치) 될 때, 실시간 AR 스케칭 애플리케이션 (215) 은 다수의 오브젝트들을 캡쳐할 수 있다. 도 16 에 설명된 방법에 유사한 방법들이 다수의 오브젝트들을 캡쳐하는데 이용될 수 있다. 일부 경우들에서, 유저는 안정적인 추적을 보장하기 위하여 추적 영역 (305) 의 일부만을 커버하는 방식으로 하나 이상의 스케치된 오브젝트들을 배치할 수도 있다. 추가로, 스케치된 오브젝트 또는 물리적 오브젝트는 중앙에 바람직하게 배치되어야 한다. 다른 실시형태에서, 실시간 AR 스케칭 애플리케이션 (215) 은 이미지에서의 가장 긴 아이템만을 캡쳐할 수도 있다.
이미지 캡쳐 모듈 (111) 에 의해 캡쳐된 이미지 (1115) 에서 예시된 바와 같이, 하나 이상의 오브젝트들이 추적 영역 (305) 상에 배치된 후, 실시간 AR 스케칭 애플리케이션 (215) 은 백그라운드 분리 이미지 (1120) 에서 예시된 바와 같이 미리 정의된 백그라운드 상에 위치된 타겟 오브젝트(들)을 결정하기 위해 백그라운드 제거 기술을 이용할 수 있다. 일부 경우들에서, 실시간 AR 스케칭 애플리케이션 (215) 은 상호작용 수행을 위해 스케일 공간에서 높은 옥타브를 이용할 수 있고, 여기에서 상호작용 수행은 유저로부터의 가이던스에 기초한다. 추가로, 백그라운드 분리 기술은 오브젝트의 순수 알베도를 얻기 위해 로컬 광 추정으로 고려될 수 있다.
추가로, 기본 광 추정 또는 고유 이미지 분해는 캡쳐된 오브젝트(들)로부터 표면의 반사율을 복구하도록 적용될 수 있다. 일부 경우들에서, 비반사성 매체가 캡쳐에 보다 바람직하고 용이할 수 있다. 하나 이상의 오브젝트들이 캡쳐되면, 실시간 AR 스케칭 애플리케이션 (215) 은 캡쳐된 오브젝트 이미지 (1125) 에서 예시된 바와 같이, 캡쳐된 오브젝트(들)로부터 표면의 캡쳐된 반사율에 기초하여 하나 이상의 2-D 블랍들을 생성할 수 있다.
또한, 이미지 세그먼테이션 알고리즘 (예를 들어, GrabCut 알고리즘) 은 블랍의 윤곽 또는 형상 (예를 들어, 오브젝트의 윤곽 이를 테면, 스케치된 캐릭터) 을 리파이닝하는데 이용될 수 있다. 그 후, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들이 생성될 수도 있다.
도 12 및 도 13 은 블록 425 에서 이전에 설명된 바와 같이, 실시간 AR 스케칭 애플리케이션 (215) 을 이용하는 상이한 편집 방법들을 예시한다. 도 12 는 하나 이상의 AR 오브젝트들을 편집하는데 이용되는 윤곽 선택 기술을 예시한다. 대안으로서, 도 13 은 하나 이상의 AR 오브젝트들을 편집하는데 이용되는 핫스폿 선택 기술을 예시한다. 또한, 상이한 편집 모드들은 실시간 AR 스케칭 애플리케이션 (215) 을 이용하여 제어될 수 있다.
도 14 에 예시된 바와 같이, 상이한 편집 모드들은 지오메트리 모드 (1410)(예를 들어, 캡쳐된 오브젝트의 지오메트리를 변경하는 것), 로케이션 모드 (1420)(예를 들어, 마커 상의 오브젝트의 초기 배치를 변경하는 것), 애니메이션 모드 (1430)(예를 들어, 오브젝트로 애니메이션을 생성하는 것), 엑스트라 특성 모드 (1440)(예를 들어, 오브젝트에 엑스트라 특성들, 이를 테면, 사운드 모드 및 물리적 거동을 추가하는 것), 및 플레이 모드 (1450)(로컬 상호작용, 비쥬얼화, 또는 기록) 를 포함할 수 있다. 일부 경우들에서, 상이한 편집 모드들의 선택은 버튼들, 제스쳐들 및/또는 핫스폿들을 이용하여 수행될 수 있다.
지오메트리 모드 (1410) 는 기본 편집들 (1411), 돌출 편집들 (1412), 깊이 편집들 (1413), 선회 편집들 (1414), 다중 부분들 편집들 (1415), 스켈레톤화 편집들 (1416), 심볼 편집들 (1417) 및 준 3-D 편집들 (1418) 을 더 포함할 수 있다. 일부 경우들에서, 지오메트리 모드에서의 상이한 편집들의 선택은 버튼들, 제스쳐 및/또는 핫스폿들을 이용하여 동작될 수 있다.
기본 편집들 (1411) 은 캡쳐된 오브젝트 (예를 들어, 볼록한 훌, 다각형화) 로부터 2-D 평면 다각형 모델을 생성하는 것을 포함한다.
돌출 편집들 (1412) 은 유저가 오브젝트의 표면 상에 대각화 모션 입력들에 기초하여 오브젝트의 부분을 돌출하게 허용하는 것을 포함한다.
깊이 편집들 (1413) 은 오브젝트를 터치하는 유저에 의해 캡쳐된 오브젝트의 부분들 상에 일정 깊이를 추가하는 것을 포함한다. 일부 경우들에서, 더 오래 압력을 가할 수록 더 깊은 깊이를 가져올 수 있다. 추가로, 네가티브/포지티브 버튼이 모드를 스위치할 수 있다.
선회 편집들 (1414) 은 오브젝트를 생성하기 위해 선회 축을 유저가 드로잉하고 스윕 제스쳐를 수행하는 것을 포함할 수 있다.
다중 부분들 편집들 (1415) 은 오브젝트의 특정된 상이한 층들 (예를 들어, 나무에 있는 사과) 또는 오브젝트의 상이한 면 (예를 들어, 하우스의 겉면들) 에 대한 상이한 드로잉들을 어셈블링하는 것을 포함할 수 있다.
스켈레톤화 편집들 (1416) 은 캡쳐된 타겟 (예를 들어, 추출된 블랍) 의 외부 훌에 대한 모르폴리지 방법들을 이용하는 것을 포함할 수 있다.
심볼 편집들 (1417) 은 형상 디스크립터를 이용하여 심볼을 인식하는 것을 포함할 수 있다. 추가로, 실시간 AR 스케칭 애플리케이션 (215) 은 결과적인 재구성에 적용된 상호작용들을 구속할 수 있다.
준 3-D 편집들 (1418) 은 스케치에서 발견되는 스트로크들로부터 3-D 재구성을 생성하는 것을 포함할 수 있다.
다른 모드에서, 로케이션 모드 (1420) 는 회전 편집들 (1421) 및 이동 편집들 (1422) 을 포함할 수 있다. 예를 들어, 회전 편집들 (1421) 은 상이한 방향들에서의 스윕 제스쳐들을 이용하여 특정 축 중심으로부터 캡쳐된 이미지를 회전하는 방법들을 포함할 수 있다. 추가로, 유저는 회전 중심을 변경하기 위해 디폴트 핫스폿 상을 클릭할 수도 있다.
로케이션 모드 (1420) 의 이동 편집들 (1422) 컴포넌트에서, 캡쳐된 오브젝트는 추적 영역 (305) 상에서 이동될 수 있다. 일부 경우들에서, 스케치 (예를 들어, 스케치 (505)) 와 마커 사이의 레이 캐스트가 로케이션을 정의할 수 있다. 또한, AR 오브젝트를 이동시키는데 이용되는 상이한 가이드들은, 마커의 표면, 마커의 X 및 Y 배향의 접선 (또는 이중 접선) 을 따르는 것, 마커 상의 수직 평면 (즉, Z 축), 및 마커의 전방 또는 후방 (예를 들어, 마커 주변의 경계면들) 을 포함할 수 있다. 이전에 언급된 바와 같이, 모드들 중 어느 것에서의 상이한 편집들의 선택은 버튼들, 제스쳐들 및/또는 핫스폿들을 이용하여 배향될 수 있다.
다른 모드에서, 애니메이션 모드 (1430) 는 기본 편집들 (1431), 경로 편집들 (1432) 및 정지 모션 편집들 (1433) 을 포함할 수 있다. 기본 편집들 (1431) 은 스피닝, 점핑, 루핑 등과 같은 애니메이션 거동을 미리 정의할 수 있다. 경로 편집들 (1432) 은 유저가 디지털화된 스케치에 대한 경로를 기록하는 것을 허용할 수 있다. 정지 모션 편집들 (1433) 은 유저가 디지털화된 스케치에 대한 애니메이션된 시퀀스를 정의하는 것을 허용할 수 있다.
다른 모드에서, 엑스트라 특성 모드 (1440) 는 이들에 제한되는 것은 아니지만 사운드 편집들 (1441) 및 물리적 거동 편집들 (1442) 과 같은 오브젝트에 대한 엑스트라 특성들을 추가할 수 있다. 사운드 편집들 (1441) 은 기록 버튼을 이용함으로써 오브젝트에 사운드를 추가할 수 있다. 일부 경우들에서, 기록 버튼은 디지털화된 스케치 근처에 있을 수 있다. 물리적 거동 편집들 (1442) 은 디지털화된 오브젝트에 물리적 거동, 이를 테면, 점핑, 달리기 등을 추가할 수 있다.
또 다른 모드에서, 플레이 모드 (1450) 는 스켈레톤 편집들 (1451) 및 핸드 제스쳐 편집들 (1452) 에 기초할 수 있다. 플레이 모드 (1450) 는 스트로크들을 가진 스켈레톤 편집들 (1450) 을 포함할 수 있고, 노드들은 모델에서의 거리 변환들에 기초하여 검출되고, 단순화된 IK (inverse kinematics) 모델을 생성한다. 예를 들어, 3-D 애니메이션에서의 IK 모델은 발들이 지형 정상부에 확고하게 착지하고 있는 것과 같이 게임 캐릭터들을 주변에 물리적으로 접속할 수 있다.
일부 실시형태들에서, 플레이 모드 (1450) 에서, AR 컨텐츠의 스냅샷 (1453) 이 캡쳐 및/또는 기록될 수 도 있어 기록 제어를 허용한다. 즉, AR 은 하이브리드/실제-가상 모션 애니메이션, 하이브리드 머시니마, 스토리텔링 등의 유형을 생성하는데 이용될 수도 있다. 캡쳐된 비디오 시퀀스는 비디오 시퀀스 엑스포트 (1454) 기능을 이용하여 엑스포트될 수도 있다.
추가로, 플레이 모드 (1450) 에서, AR 오브젝트 (예를 들어, 애니메이션된 피겨) 는 운동학적 체인이라 불리는 조인트들과 접속된 견고한 세그먼트들의 스켈레톤으로 모델링될 수 있다. 피겨의 운동 방정식들은 피겨 및 그 구성의 조인트 각도들 간의 관계를 정의할 수 있다. 일부 경우들에서, 조인트 각도들을 직접 조작하기 보다는, 그 움직이는 부분들, 또는 팔과 다리로 피겨의 공간적 구성을 정의함으로써 AR 오브젝트들을 애니메이션하는 것이 더 쉽게 된다. 따라서, IK (inverse kinematics) 는 엔드 유저에 의해 AR 오브젝트를 쉽게 애니메이션하기 위해 실시간 AR 스켈레톤 애플리케이션 (215) 에 이용될 수 있다.
예를 들어, 스켈레톤 편집들 (1451) 은 엔드 유저가 3-D 휴먼 AR 오브젝트의 손을 원하는 포지션과 배향으로 이동시키고, 손목, 팔꿈치, 및 어깨 조인트들의 적절한 각도들을 자동으로 선택하도록 실시간 AR 스케칭 애플리케이션에서의 알고리즘을 갖게 하는 것을 허용할 수 있다.
플레이 모드 (1450) 의 핸드 제스쳐 편집들 (1452) 에서, AR 오브젝트들의 노드들은 핸드 제스쳐들로 애니메이션될 수 있다. 예를 들어, 실시간 AR 스케칭 애플리케이션 (215) 은 AR 오브젝트의 스켈레톤에서의 외부 노드 포인트들에 유저의 손가락끝들을 매핑할 수 있다. 추가로, 핸드 제스쳐 편집들 (1452) 은 준 3-D 모드에 기초할 수 있고, 여기에서, 실시간 AR 스케칭 애플리케이션 (215) 은 준 3-D 재구성된 모델에 핸드 제스쳐를 매핑할 수 있다.
또한, 상이한 디폴트 모드들, 이를 테면, 애니메이션 컨텐츠 (예를 들어, 팝업 스토리텔링 북), 기록 (예를 들어, 유저가 애니메이션 주변을 이동시키고 이것을 기록할 수 있음, 퍼펫 모드), 및 게임 모드 (예를 들어, 물리적 현상이 적용될 수 있고 오브젝트가 조작될 수 있음) 이 더 추가될 수 있다.
일부 실시형태들에 따르면, 유저는 인체 제스쳐들을 이용하여 HMD (head mounted display) 상에서 AR 오브젝트를 편집할 수 있다. 예를 들어, 핸드 제스쳐 편집들 (1452) 은 HMD 로 구현될 수 있다. HMD 는 이미지 캡쳐 모듈 (111) 에 대한 글래스 프레임 상에 탑재된 하나 이상의 에고센트릭 카메라들을 포함할 수 있다. HMD 는 광학 센서들, 가속도계들, GNSS 수신기 (171), 자이로스코프들, 솔리드 스테이트 콤파스들, RFID (radio-frequency identification), 및 무선 트랜시버 (131) 를 또한 포함할 수 있다. HMD 는 디스플레이 모듈 (181) 과 같이 유저의 시야 내에 투명한 디스플레이 영역을 가질 수 있고, 여기에서 유저는 가상 오브젝트들 및 물리적 오브젝트들 양쪽 모드를 뷰할 수 있다. 유저 입력 디바이스로서 내장형 카메라들을 이용하여, HMD 는 유저의 핸드 제스쳐 편집들 (1452) 에 따라 핸드 제스쳐들을 캡쳐할 수 있다.
HMD 예에서, HMD 는 물리적 오브젝트와 연관된, 예를 들어, 유저의 로케이션 및/또는 컨텍스트와 연관된 디지털 컨텐츠 (예를 들어, 텍스트, 픽쳐들, 비디오) 에 유저에 의해 뷰잉된 물리적 오브젝트들을 오버레이함으로써 AR 기능을 제공할 수 있다.
또한, 실시형태들이 HMD 에 대하여 여기에서 설명되어 있지만, 당해 기술 분야의 당업자는 헤드 마운트 디스플레이의 다른 형태들이 이용될 수도 있음을 알 것이다. 예를 들어, 여기에 설명된 실시형태들은 유저가 착용할 수도 있고/있거나, 유저가 시야를 인식할 수도 있는 디스플레이의 다른 형태로 구현될 수도 있는 하나 이상의 콘택트 렌즈들에 대하여 구현될 수도 있다.
본 발명의 실시형태들은 여기에 설명된 캡쳐, 편집, 및 플레이 방법들을 추가로 확장할 수 있다.
예를 들어, 캡쳐 방법은 잡지의 그림을 찍거나 사람의 얼굴을 기록하는 것과 같은 비타겟 기반 캡쳐로 확장될 수 있다. 일부 경우들에서, 캡쳐된 이미지는 블랍 형상을 얻기 위해 후프로세싱될 필요가 있을 수도 있으며, 이에 따라 이는 타겟 기반 캡쳐보다 덜 신뢰성있을 수도 있다. 추가로, 타겟 기반 캡쳐 방법에서, 블랍 형상은 실시간으로 덜 프로세싱되어 캡쳐되고 실시간으로 완성될 수 있다.
추가로, 캡쳐 방법은 또한 실제 세계로부터 텍스쳐 또는 컬러 정보를 획득할 수 있다 (예를 들어, 마커 상에 오브젝트를 배치하고 오브젝트의 컬러를 디지털화한다). 또한, 캡쳐 단계는 또한 동적 컨텐츠를 캡쳐하는 것 (예를 들어, 표정을 캡쳐하는 것) 으로 확장될 수 있다. 일부 경우들에서, 이들 확장된 캡쳐 방법은 후 프로세싱을 필요로 할 수도 있다.
편집 방법은 디지털화된 스케치 상에 스켈레톤을 생성하는 방식을 또한 포함하도록 확장될 수 있다. 예를 들어, 유저는 후에 애니메이션될 수 있는 연접 모델을 구축할 수 있다.
플레이 방법은 추적된 컨텐츠 (예를 들어, 유형의 유저 인터페이스로서의 수단에 의한 핸드, 물리적 프록시 오브젝트) 를 포함하도록 연장될 수 있다. 예를 들어, 유저의 핸드에 있는 자동차의 모델이 마커 상에서 이동될 수 있고 디지털화된 컨텐츠가 이와 연관된다 (즉, 손이 움직일 때, 차량의 디지털화된 스케치가 손의 모션을 추종한다).
도 15 는 일부 실시형태들에 따라 상호작용 퍼펫 시어터 경험들 및 게임들을 지원 및 생성하기 위한 2.5-D 스테이지를 예시한다. 일부 경우들에서, 하나의 수평 추적 영역 (1510) 및 하나의 수직 추적 영역 (1515) 을 가진 L-형상 마커 장치 (1505) 를 이용한다. L-형상 마커 장치 (1505) 는 시어터 방문자가 스테이지를 볼 때 스큐 각도에서 위에서부터 뿐만 아니라 측면으로부터 다양한 카메라 포지션들을 추정할 수 있다.
추가로, 유저는 나무, 산, 하우스, 가구 등과 같은 다양한 스테이지 프롭들 (props; 특성들) 을 디지털화할 수 있다. 이들 디지털 프롭들은 스테이지 상에 수직으로 나타난다. 두개의 추적 영역들을 이용함으로써, 프롭들은 깊이 (관찰자까지의 거리) 를 증가시키는 고정된 수 (예를 들어, 5) 의 층들로부터 선택된 임의의 층에 배치될 수 있다. 유저는 층을 선택하고 프롭의 좌우 배치를 조정하며 다수의 카피본들을 생성할 수 있다.
또한, 그 후, 유저는 여기에 설명된 방법들을 이용하여, 장면을 통해서 오브젝트들 (예를 들어, 동물들이나 다른 캐릭터들) 을 이동시키고 애니메이션 경로들을 생성할 수 있다. 오브젝트들은 지정된 층에서 이동할 수 있다. 일부 경우들에서, 이동하는 오브젝트의 움직임은 이동하는 오브젝트의 경로 상의 프롭들에 기초하여 정지 또는 변경될 수 있다. 움직임은 퍼펫 시어터와 유사한 애니메이션 시스템을 생성할 수 있고 이는 극소수의 자유도들을 갖기 때문에 이용에 간단할 수도 있다.
일부 실시형태들에 따르면, 핸드 애니메이션된 캐릭터들을 이용함으로써 유저는 애니메이션 시퀀스들에 다수의 AR 오브젝트들 (예를 들어, 디지털화된 드로잉들) 을 할당할 수 있다. 예를 들어, 걷는 사람은 수 개 (예를 들어, 2-3 개) 의 발 포즈들로 애니메이션될 수 있다. 실시간 AR 스케칭 애플리케이션 (215) 은 간단한 타임라인에 드로잉 시퀀스를 배치함으로써 이들 시퀀스들을 학습할 수 있다. 이들 애니메이션들을 설정한 후, 유저는 애니메이션된 캐릭터들을 호출할 수도 있다. 실시간 AR 스케칭 애플리케이션 (215) 은 또한 우측 걷기 시퀀스로부터 좌측 걷기 시퀀스로 바꾸기 위해 애니메이션을 미러링할 수 있다.
또한, 도 15 에 예시된 바와 같이, 2.5-D 스테이지는 또한 2-D 계층 메카니즘을 이용하여 단순화된 물리적 현상을 적용할 수 있다. 예를 들어, 실시간 AR 스케칭 애플리케이션 (215) 은 2.5-D 스테이지의 층들을 이용함으로써 유저에게 보다 가깝게 바위를 이동시킴으로써 산 아래로 굴러가는 바위의 프롭을 예시할 수 있다. 층들 및 2-D 물리현상을 이용함으로써, 실시간 AR 스케칭 애플리케이션 (215) 은 모바일 디바이스 (100) 에서 실시간으로 프롭과 연관된 물리적 애니메이션을 계산할 수 있다. 일부 경우들에서, 실시간 AR 스케칭 애플리케이션 (215) 은 다음 물리적 애니메이션들, 중력, 충돌, 마찰력, 바람 및 물을 포함할 수 있다.
도 16 은 일 실시형태에 따라 타겟 AR 오브젝트를 캡쳐하기 위한 방법 (1600) 을 예시하는 흐름도이다. 도 11 에 예시된 바와 같이, 실시간 AR 스케이 애플리케이션 (215) 은 AR 추적 타겟 (예를 들어, 추적 영역 (305)) 상에 배치된 실제 컨텐츠 (예를 들어, 제 1 오브젝트 (1105), 제 2 오브젝트 (1110)) 를 캡쳐하고, 모바일 인터페이스와 상호작용적으로 이용되는 컨텐츠를 변환한다.
블록 1605 에서, 하나 이상의 타겟 오브젝트들의 이미지가 캡쳐된다. 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치될 수도 있다. 미리 정의된 백그라운드는 마커 또는 피쳐 추적 타겟일 수도 있다. 타겟 오브젝트들은 2-D 스케치 또는 3-D 오브젝트를 포함할 수 있지만 이들에 제한되지 않는다. 타겟 오브젝트들은 또한 미리 정의된 백그라운드와 동일 평면에 있을 수 있다. 미리 정의된 백그라운드는 수평 추적 영역 및 수직 추적 영역을 포함할 수도 있다.
블록 1610 에서, 이미지는 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 세그먼트될 수도 있다. 이미지를 세그먼트하는 것은 이미지로부터 미리 정의된 백그라운드를 분리하는 것을 포함할 수도 있다.
블록 1615 에서, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들은 디지털 이미지로 변환될 수도 있다.
블록 1620 에서, 하나 이상의 AR 오브젝트들이 생성된다. 하나 이상의 AR 오브젝트들은 하나 이상의 타겟 오브젝트들에 대응할 수도 있고, 디지털 이미지에 적어도 부분적으로 기초하여 생성될 수도 있다. 하나 이상의 AR 오브젝트들은 캡쳐된 이미지 내에서 2 차원 (2-D) 블랍의 검출에 기초하여 생성되며, 2-D 블랍의 검출은 미리 정의된 백그라운드 상에 위치된 하나 이상의 타겟 오브젝트들과 연관된 표면 반사율에 기초한다.
하나 이상의 AR 오브젝트들은 유저 입력에 응답하여 편집될 수도 있다. 편집은 하나 이상의 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하는 것을 포함할 수 있다. 유저 입력은 복수의 AR 부분들로부터 소정 AR 부분을 지정할 수도 있다. 그 후, 지정된 AR 부분은 수신된 유저 입력에 기초하여 조작될 수도 있다. 수신된 유저 입력에 기초하여 지정된 AR 부분을 조작하는 것은 모바일 디바이스의 디스플레이 상에서의 결정된 손가락 압력에 기초하여 지정된 AR 부분에 깊이를 추가하는 것, 모바일 디바이스의 디스플레이 상에서 수행된 유저의 제스쳐에 기초하여 지정된 AR 부분을 회전하는 것, 지정된 AR 부분을 하나 이상의 계층들로 어셈블리하는 것, 지정된 AR 부분을 모바일 디바이스의 디스플레이 상에 디스플레이가능한 하나 이상의 로케이션들로 이동시키는 것, 또는 지정된 AR 부분을 돌출시키는 것 중 적어도 하나를 포함할 수 있다.
일부 실시형태들에서, 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들은 리파이닝될 수도 있다. 생성된 AR 오브젝트들은 모바일 디바이스의 디스플레이 상에 디스플레이될 수도 있다.
도 17 은 하나 이상의 실시형태들이 구현될 수도 있는 컴퓨팅 시스템의 일 예를 예시한다.
컴퓨터 시스템 (1700) 은 제한없이, 로컬 및/또는 네트워크 액세스가능 저장부를 포함할 수 있고/있거나 제한없이 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 솔리드 스테이트 저장 디바이스, 이를 테면, 프로그래밍가능, 플래시 업데이트가능 등을 할 수 있는 랜덤 액세스 메모리 ("RAM"), 및/또는 판독 전용 메모리 ("ROM") 를 포함할 수 있는 하나 이상의 비일시적 저장 디바이스들 (1725) 를 더 포함 (및/또는 이들과 통신) 할 수도 있다. 이러한 저장 디바이스들은 제한없이 여러 파일 시스템들, 데이터베이스 구조들 등을 포함하는 임의의 적절한 데이터 스토어들을 구현하도록 구성될 수도 있다.
컴퓨터 시스템 (1700) 은 또한, 제한없이 모뎀, 네트워크 카드 (무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스, 및/또는 칩 세트 (이를 테면, 블루투스™ 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰라 통신 설비들 등) 등을 포함할 수 있는 통신 서브시스템 (1730) 을 포함할 수도 있다. 통신 서브시스템 (1730) 은 네트워크, 다른 컴퓨터 시스템들, 및/또는 임의의 다른 전기 디바이스들/주변장치들과 데이터가 교환되는 것을 허용하기 위해 하나 이상의 입력 및/또는 출력 통신 인터페이스들을 포함할 수도 있다. 많은 실시형태들에서, 컴퓨터 시스템 (1700) 은 위에 설명된 바와 같이, RAM 또는 ROM 을 포함할 수 있는 작업 메모리 (1735) 를 더 포함할 것이다. 일부 경우들에서, 통신 서브시스템 (1730) 은 모바일 디바이스 (100) 의 무선 트랜시버 (131) 및 GNSS 수신기 (171) 의 일 예일 수 있다.
컴퓨터 시스템 (1700) 은 또한, 작업 메모리 (1735) 내에 현재 위치되는 것으로서 도시되며, 오퍼레이팅 시스템 (1740), 디바이스 드라이버들, 실행가능 라이브러리들, 및/또는 다양한 실시형태들에 의해 제공된 컴퓨터 프로그램들을 포함할 수도 있거나 및/또는 여기에 설명된 바와 같이 다른 실시형태들에 의해 제공된 방법들을 구현하거나 및/또는 시스템들을 구성하도록 설계될 수도 있는 하나 이상의 애플리케이션(들) (1745) 과 같은 다른 코드를 포함하는 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예로서, 상술된 방법(들), 이를 테면, 도 4 에 관련하여 설명된 방법 (400) 및 도 16 에 관련하여 설명된 설명된 방법 (1600) 에 대해 설명된 하나 이상의 절차들의 부분은, 컴퓨터 (및/또는 컴퓨터 내의 프로세서) 에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수도 있으며; 그 후에, 일 양태에서, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터 (또는 다른 디바이스) 를 구성 및/또는 적응하는데 사용될 수 있다. 일부 경우들에서, 작업 메모리 (1735) 는 디바이스 (100) 의 메모리 (161) 의 일 예일 수 있다.
이들 명령들 및/또는 코드의 세트는, 상술된 저장 디바이스(들) (1725) 와 같은 비일시적 컴퓨터 판독가능 저장 매체에 저장될 수도 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템 (1700) 과 같은 컴퓨터 시스템 내에 포함될 수도 있다. 다른 실시형태들에서, 저장 매체는, 저장 매체가 명령들/코드가 저장된 범용 컴퓨터를 프로그래밍, 구성 및/또는 적응하는데 사용될 수 있도록, 컴퓨터 시스템과는 분리 (예를 들어, 콤팩트 디스크와 같은 착탈형 매체) 될 수도 있거나, 및/또는 설치 (installation) 패키지에 제공될 수도 있다. 이들 명령들은, 컴퓨터 시스템 (1700) 에 의해 실행가능한 실행가능 코드의 형태를 취할 수도 있고/있거나 컴퓨터 시스템 (1700) 상에서의 (예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등 중 임의의 것을 사용하여) 컴파일 및/또는 설치시에, 실행가능 코드의 형태를 그 후에 취하는 소스 및/또는 설치가능한 코드의 형태를 취할 수도 있다. 일부 경우들에서, 저장 디바이스(들) (1725) 는 디바이스 (100) 의 메모리 (161) 의 일 예일 수 있다.
실질적인 변화들이 특정한 요건들에 따라 행해질 수도 있음이 당해 기술 분야의 당업자에게 명백할 것이다. 예를 들어, 커스터마이징된 하드웨어가 또한 사용될 수도 있거나, 및/또는 특정 엘리먼트들이 하드웨어, (애플릿들 등과 같은 휴대용 소프트웨어를 포함하는) 소프트웨어, 또는 둘 모두로 구현될 수도 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 연결이 채용될 수도 있다.
위에 언급된 바와 같이, 일 양태에서, 일부 실시형태들은, 본 발명의 여러 실시형태들에 따른 방법들을 수행하도록 (컴퓨터 시스템 (1700) 과 같은) 컴퓨터 시스템을 채용할 수도 있다. 일 세트의 실시형태들에 따르면, 이러한 방법들의 절차들 중 일부 또는 전부는, 프로세서 (1710) 가 작업 메모리 (1735) 에 포함된 (오퍼레이팅 시스템 (1740) 및/또는 애플리케이션 프로그램 (1745) 과 같은 다른 코드에 포함될 수도 있는) 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여, 컴퓨터 시스템 (1700) 에 의해 수행된다. 이러한 명령들은, 저장 디바이스(들) (1725) 중 하나 이상과 같은 다른 컴퓨터 판독가능 매체로부터 작업 메모리 (1735) 로 판독될 수도 있다. 단지 예로서, 작업 메모리 (1735) 에 포함된 명령들의 시퀀스들의 실행은 프로세서(들) (1710) 로 하여금 여기에 설명된 방법들 중 하나 이상의 절차들을 수행하게 할 수도 있다. 추가적으로, 또는 대안으로서, 여기에 설명된 방법들의 부분들은 특수 하드웨어를 통하여 실행될 수도 있다. 단지 예로서, 상술된 방법(들), 이를 테면, 도 4 에 관련하여 설명된 방법 (400) 및 도 16 에 관련하여 설명된 설명된 방법 (1600) 에 대해 설명된 하나 이상의 절차들의 부분은 프로세서 (1710) 에 의해 구현될 수도 있다. 일부 경우들에서, 프로세서 (1710) 는 모바일 디바이스 (100) 의 이미지 프로세싱 모듈 (121) 의 일 예일 수 있다. 일부 예들에서, 애플리케이션 프로그램 (1745) 은 실시간 AR 스케칭 애플리케이션 (215) 일 수 있다.
여기에 사용된 용어들 "머신 판독가능 매체" 및 "컴퓨터 판독가능 매체" 는, 머신으로 하여금 특정 방식으로 동작하게 하는 데이터를 제공하는 것에 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템 (1700) 을 사용하여 구현된 실시형태에서, 다양한 컴퓨터 판독가능 매체들은, 실행을 위해 프로세서(들) (1710) 에 명령들/코드를 제공하는 것에 관여될 수도 있거나 및/또는 이러한 명령들/코드를 (예를 들어, 신호들로서) 저장 및/또는 반송하는데 사용될 수도 있다. 많은 구현들에서, 컴퓨터 판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 이러한 매체는, 비휘발성 매체들, 또는 휘발성 매체들의 형태를 취할 수도 있다. 비휘발성 매체들은, 예를 들어, 저장 디바이스(들) (1725) 와 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체들은 작업 메모리 (1735) 와 같은 동적 메모리를 제한 없이 포함한다.
물리적 및/또는 유형의 컴퓨터 판독가능 매체들의 일반적인 형태들은, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터 판독가능 매체들은, 실행을 위해 프로세서(들) (1710) 에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송하는 것에 관여될 수도 있다. 단지 예로서, 명령들은 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 초기에 반송될 수도 있다. 원격 컴퓨터는 그 동적 메모리에 명령들을 로딩하고, 컴퓨터 시스템 (1700) 에 의해 수신 및/또는 실행될 송신 매체를 통한 신호들로서 명령들을 전송할 수도 있다.
통신 서브시스템 (1730) (및/또는 그의 컴포넌트들) 은 일반적으로 신호들을 수신할 것이고, 그 후에 버스 (1705) 는 프로세서(들) (1710) 가 명령들을 취출하고 실행하는 작업 메모리 (1735) 로 신호들 (및/또는 신호들에 의해 반송된 데이터, 명령들 등) 을 반송할 수도 있다. 작업 메모리 (1735) 에 의해 수신된 명령들은 선택적으로, 프로세서(들) (1710) 에 의한 실행 이전 또는 이후에 비일시적 저장 디바이스 (825) 상에 저장될 수도 있다.
도 18 은 본 발명의 실시형태들과 연관된 작업들을 실행하기 위한 상이한 소프트웨어 모듈들을 가진 이미지 프로세싱 모듈 (121) 의 일 예를 예시한다. 일부 배치들에서, 상이한 소프트웨어 모듈들과 연관된 작업들을 수행하기 위한 명령들/코드는 모바일 디바이스의 메모리 (181) 에 저장될 수 있다.
대안으로서, 도 18 에 설명된 소프트웨어 모듈들은 도 17 의 프로세서(들)(1710) 에 의해 실행될 수 있다. 일부 배치들에서, 상이한 소프트웨어 모듈들과 연관된 작업들을 수행하는 명령들/코드는 저장 디바이스(들)(1725) 에 저장될 수 있다.
일부 실시형태들에 따르면, 소프트웨어 모듈들은 추출 모듈 (1810), 삽입 모듈 (1820) 및 편집 모듈 (1830) 을 포함할 수 있다.
하나 이상의 배치들에서, 추출 모듈 (1810) 은 백그라운드 이미지에 대비되어 하나 이상의 오브젝트들에 대응하는 타겟 이미지의 부분을 추출할 수 있다. 일부 경우들에서, 추출은 백그라운드에 대비되어 위치되는 하나 이상의 오브젝트들에 대응하는 타겟 이미지의 부분을 결정하기 위해 타겟 이미지와 백그라운드 이미지를 비교하는 것에 기초할 수 있다. 예를 들어, 타겟 이미지의 부분은 유저에 의해 드로잉된 스케치 또는 백그라운드에 배치된 3-D 물리적 오브젝트에 기초할 수 있다. 추가로, 추출 모듈 (1810) 은 하나 이상의 오브젝트들에 대응하는 타겟 이미지의 부분에 기초하여 AR 오브젝트(들)을 생성할 수 있다. 일부 실시형태들에서, 추출 모듈 (1810) 에 의해 이용되는 수신된 이미지 데이터 (예를 들어, 타겟 이미지) 는 이미지 캡쳐 모듈 (111) 로부터 수신될 수 있다.
하나 이상의 배치들에서, 삽입 모듈 (1820) 은 디스플레이 스크린 상에 AR 오브젝트(들)을 디스플레이하기 위해 실시간 AR 스케칭 애플리케이션에 의해 이용될 수 있다. 예를 들어, 디스플레이 스크린은 모바일 디바이스 (100) 의 디스플레이 모듈 (181) 일 수 있다. 추가로, 삽입 모듈 (1820) 은 이미지 캡쳐 모듈 (111) 로부터 수신되는 이미지 데이터 (예를 들어, 타겟 이미지) 와, 증강된 이미지/비디오 (1825) 내에 임베디드 AR 오브젝트(들)을 디스플레이하기 위해 생성된 AR 오브젝트(들)을 결합할 수 있다.
하나 이상의 배치들에서, 편집 모듈 (1830) 은 증강된 이미지/비디오 상에 디스플레이된 임베디드 AR 오브젝트(들)을 편집할 수 있다. 일부 경우들에서, 편집 모듈은 유저 입력 모듈 (191) 로부터 유저 입력들을 수신할 수 있다. 이전에 논의된 바와 같이, 도 14 는 유저가 AR 오브젝트(들) 을 편집하는데 이용할 수 있는 편집 방법들의 예들을 설명한다. 도 14 에서의 표로부터 예시된 바와 같이, 편집 모듈 (1830) 은 지오메트리 모드 (1410), 로케이션 모드 (1420), 애니메이션 모드 (1430), 엑스트라 특성 모드 (1440) 및 플레이 모드 (1450) 를 포함할 수 있다.
상술된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은, 다양한 절차들 또는 컴포넌트들을 적절히 생략, 대체, 또는 부가할 수도 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 설명된 것과는 상이한 순서로 수행될 수도 있거나, 및/또는 다양한 스테이지들이 부가, 생략, 및/또는 조합될 수도 있다. 또한, 특정 구성들에 대해 설명된 피쳐들은 다양한 다른 구성들에서 결합될 수도 있다. 구성들의 상이한 양태들 및 엘리먼트들은 유사한 방식으로 결합될 수도 있다. 또한, 기술이 발전하므로, 엘리먼트들의 대부분은 본 개시물 또는 청구항들의 범위를 이들 특정 예들로 제한하지 않는 예들이다.
특정한 세부사항들은 (구현예들을 포함하는) 예시적인 구성들의 완전한 이해를 제공하도록 설명에서 제공된다. 그러나, 구성들은 이들 특정한 세부사항들 없이 실시될 수도 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 실시형태들을 불명료하게 하는 것을 피하기 위해 불필요한 세부사항 없이 도시되었다. 이러한 설명은 예시적인 구성들만을 제공하며, 청구항들의 범위, 적용능력, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 구성들의 이전 설명은, 설명된 기술들을 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 다양한 변화들은, 본 개시물의 사상 및 범위를 벗어나는 일 없이 엘리먼트들의 기능 및 배치에 행해질 수도 있다.
또한, 구성들은 흐름도 또는 블록도로서 도시된 프로세스로서 설명될 수도 있다. 각각이 순차적인 프로세스로서 동작들을 설명할 수도 있지만, 동작들의 대부분은 병행하여 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 도면에 포함되지 않은 부가적인 단계들을 가질 수도 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현되는 경우, 연관된 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서들은 설명된 작업들을 수행할 수도 있다.
몇몇 예시적인 구성들을 설명했지만, 다양한 변경들, 대안적인 구조들, 및 등가물들은 본 개시물의 사상을 벗어나는 일 없이 사용될 수도 있다. 예를 들어, 위의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수도 있으며, 여기서 다른 규칙들은 본 발명의 애플리케이션보다 우선하거나 또는 달리 그 애플리케이션을 변경할 수도 있다. 또한, 다수의 단계들은, 위의 엘리먼트들이 고려되기 전에, 동안, 또는 그 후에 착수될 수도 있다. 따라서, 위의 설명은 본 개시물의 범위를 제한하지 않는다.

Claims (30)

  1. 모바일 디바이스에 의해 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하는 방법으로서,
    하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하는 단계로서, 상기 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 상기 이미지를 캡쳐하는 단계;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 상기 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 상기 이미지를 세그먼트 (segment) 하는 단계;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 상기 하나 이상의 영역들을 디지털 이미지로 변환하는 단계; 및
    상기 디지털 이미지에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하는 단계를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 이미지를 세그먼트하는 단계는 상기 이미지로부터 상기 미리 정의된 백그라운드를 분리 (subtract) 하는 단계를 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  3. 제 1 항에 있어서,
    유저 입력에 응답하여 상기 하나 이상의 AR 오브젝트들을 편집하는 단계를 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  4. 제 3 항에 있어서,
    상기 편집하는 단계는,
    상기 하나 이상의 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하는 단계;
    상기 복수의 AR 부분들로부터 지정된 AR 부분과 연관된 유저 입력을 수신하는 단계; 및
    수신된 상기 유저 입력에 기초하여 상기 지정된 AR 부분을 조작하는 단계를 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  5. 제 4 항에 있어서,
    상기 수신된 유저 입력에 기초하여 상기 지정된 AR 부분을 조작하는 단계는,
    상기 모바일 디바이스의 디스플레이 상에서 결정된 손가락 압력에 기초하여 상기 지정된 AR 부분에 깊이를 추가하는 단계;
    상기 모바일 디바이스의 상기 디스플레이 상에서 수행된 유저 제스쳐에 기초하여 상기 지정된 AR 부분을 회전시키는 단계;
    상기 지정된 AR 부분을 하나 이상의 층들로 어셈블리하는 단계;
    상기 지정된 AR 부분을 상기 모바일 디바이스의 상기 디스플레이 상에 디스플레이가능한 하나 이상의 로케이션들로 이동시키는 단계; 또는
    상기 지정된 AR 부분을 돌출시키는 단계 중 적어도 하나를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  6. 제 1 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들 중 하나는 2차원 (2-D) 스케치를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  7. 제 1 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들 중 하나는 3차원 (3-D) 오브젝트를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  8. 제 1 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들 중 하나는 상기 미리 정의된 백그라운드와 동일 평면에 있는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  9. 제 1 항에 있어서,
    상기 미리 정의된 백그라운드는 피쳐 추적 타겟인, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  10. 제 1 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들에 대응하는 상기 하나 이상의 영역들 중 하나를 리파이닝하는 단계를 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  11. 제 1 항에 있어서,
    상기 하나 이상의 AR 오브젝트들은 캡쳐된 상기 이미지 내에서 2 차원 (2-D) 블랍의 검출에 기초하여 생성되며, 상기 2-D 블랍의 검출은 상기 미리 정의된 백그라운드 상에 위치된 상기 하나 이상의 타겟 오브젝트들과 연관된 표면 반사율에 기초하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  12. 제 1 항에 있어서,
    상기 미리 정의된 백그라운드는 수평 추적 영역 및 수직 추적 영역을 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  13. 제 1 항에 있어서,
    상기 모바일 디바이스의 디스플레이 상에, 상기 하나 이상의 AR 오브젝트들을 실시간으로 디스플레이하는 단계를 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 방법.
  14. 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하는 장치로서,
    메모리;
    하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하도록 구성되는 이미지 캡쳐 모듈로서, 상기 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 상기 이미지 캡쳐 모듈;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 상기 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 상기 이미지를 세그먼트하도록 구성되는 이미지 프로세싱 모듈; 및
    상기 메모리, 이미지 캡쳐 모듈 및 이미지 프로세싱 모듈에 커플링된 프로세서를 포함하고,
    상기 프로세서는,
    상기 하나 이상의 타겟 오브젝트들에 대응하는 상기 하나 이상의 영역들을 디지털 이미지로 변환하고; 그리고
    상기 디지털 이미지에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하도록 구성되는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  15. 제 14 항에 있어서,
    상기 이미지를 세그먼트하는 것은 상기 이미지로부터 상기 미리 정의된 백그라운드를 분리하는 것을 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  16. 제 14 항에 있어서,
    상기 프로세서는 또한, 유저 입력에 응답하여 상기 하나 이상의 AR 오브젝트들을 편집하도록 구성되는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  17. 제 16 항에 있어서,
    상기 편집하는 것은,
    상기 하나 이상의 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하는 것;
    상기 복수의 AR 부분들로부터 지정된 AR 부분과 연관된 유저 입력을 수신하는 것; 및
    수신된 상기 유저 입력에 기초하여 상기 지정된 AR 부분을 조작하는 것을 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  18. 제 17 항에 있어서,
    상기 수신된 유저 입력에 기초하여 상기 지정된 AR 부분을 조작하는 것은,
    모바일 디바이스의 디스플레이 상에서 결정된 손가락 압력에 기초하여 상기 지정된 AR 부분에 깊이를 추가하는 것;
    상기 모바일 디바이스의 상기 디스플레이 상에서 수행된 유저 제스쳐에 기초하여 상기 지정된 AR 부분을 회전시키는 것;
    상기 지정된 AR 부분을 하나 이상의 층들로 어셈블리하는 것;
    상기 지정된 AR 부분을 상기 모바일 디바이스의 상기 디스플레이 상에 디스플레이가능한 하나 이상의 로케이션들로 이동시키는 것; 또는
    상기 지정된 AR 부분을 돌출시키는 것 중 적어도 하나를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  19. 제 14 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들 중 하나는 2차원 (2-D) 스케치를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  20. 제 14 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들 중 하나는 3차원 (3-D) 오브젝트를 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  21. 제 14 항에 있어서,
    상기 하나 이상의 타겟 오브젝트들 중 하나는 상기 미리 정의된 백그라운드와 동일 평면에 있는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  22. 제 14 항에 있어서,
    상기 미리 정의된 백그라운드는 피쳐 추적 타겟인, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  23. 제 14 항에 있어서,
    상기 프로세서는 또한, 상기 하나 이상의 타겟 오브젝트들에 대응하는 상기 하나 이상의 영역들 중 하나를 리파이닝하도록 구성되는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  24. 제 14 항에 있어서,
    상기 하나 이상의 AR 오브젝트들은 캡쳐된 상기 이미지 내에서 2 차원 (2-D) 블랍의 검출에 기초하여 생성되며, 상기 2-D 블랍의 검출은 상기 미리 정의된 백그라운드 상에 위치된 상기 하나 이상의 타겟 오브젝트들과 연관된 표면 반사율에 기초하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  25. 제 14 항에 있어서,
    상기 미리 정의된 백그라운드는 수평 추적 영역 및 수직 추적 영역을 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  26. 제 14 항에 있어서,
    상기 하나 이상의 AR 오브젝트들을 실시간으로 디스플레이하도록 구성되는 디스플레이 디바이스를 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  27. 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하기 위한 컴퓨터 실행가능 명령들을 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 실행가능 명령들은 실행될 때, 모바일 디바이스에 포함된 하나 이상의 컴퓨팅 디바이스들로 하여금,
    하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하게 하는 것으로서, 상기 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 상기 이미지를 캡쳐하게 하고;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 상기 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 상기 이미지를 세그먼트하게 하고;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 상기 하나 이상의 영역들을 디지털 이미지로 변환하게 하고; 그리고
    상기 디지털 이미지에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하게 하는, 하나 이상의 증강 현실 오브젝트들을 생성하기 위한 컴퓨터 실행가능 명령들을 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체.
  28. 제 27 항에 있어서,
    상기 컴퓨터 실행가능 명령들은 실행될 때 또한, 상기 모바일 디바이스에 포함된 상기 하나 이상의 컴퓨팅 디바이스들로 하여금,
    상기 하나 이상의 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하게 하고;
    상기 복수의 AR 부분들로부터 지정된 AR 부분과 연관된 유저 입력을 수신하게 하고; 그리고
    수신된 상기 유저 입력에 기초하여 상기 지정된 AR 부분을 조작하게 하는, 하나 이상의 증강 현실 오브젝트들을 생성하기 위한 컴퓨터 실행가능 명령들을 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체.
  29. 하나 이상의 증강 현실 (AR) 오브젝트들을 생성하는 장치로서,
    하나 이상의 타겟 오브젝트들의 이미지를 캡쳐하는 수단으로서, 상기 하나 이상의 타겟 오브젝트들은 미리 정의된 백그라운드 상에 위치되는, 상기 이미지를 캡쳐하는 수단;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 영역들 및 상기 미리 정의된 백그라운드에 대응하는 하나 이상의 영역들로 상기 이미지를 세그먼트하는 수단;
    상기 하나 이상의 타겟 오브젝트들에 대응하는 상기 하나 이상의 영역들을 디지털 이미지로 변환하는 수단; 및
    상기 디지털 이미지에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 오브젝트들에 대응하는 하나 이상의 AR 오브젝트들을 생성하는 수단을 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
  30. 제 29 항에 있어서,
    상기 하나 이상의 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하는 수단;
    상기 복수의 AR 부분들로부터 지정된 AR 부분과 연관된 유저 입력을 수신하는 수단; 및
    수신된 상기 유저 입력에 기초하여 상기 지정된 AR 부분을 조작하는 수단을 더 포함하는, 하나 이상의 증강 현실 오브젝트들을 생성하는 장치.
KR1020157033591A 2013-05-14 2014-05-13 증강 현실 (ar) 캡쳐 및 플레이 KR102190721B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361823295P 2013-05-14 2013-05-14
US61/823,295 2013-05-14
US14/275,523 2014-05-12
US14/275,523 US10509533B2 (en) 2013-05-14 2014-05-12 Systems and methods of generating augmented reality (AR) objects
PCT/US2014/037932 WO2014186420A2 (en) 2013-05-14 2014-05-13 Augmented reality (ar) capture & play

Publications (2)

Publication Number Publication Date
KR20160010475A true KR20160010475A (ko) 2016-01-27
KR102190721B1 KR102190721B1 (ko) 2020-12-14

Family

ID=51896865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157033591A KR102190721B1 (ko) 2013-05-14 2014-05-13 증강 현실 (ar) 캡쳐 및 플레이

Country Status (6)

Country Link
US (3) US10509533B2 (ko)
EP (2) EP2997548A2 (ko)
JP (1) JP6367926B2 (ko)
KR (1) KR102190721B1 (ko)
CN (1) CN105210117B (ko)
WO (1) WO2014186420A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101620A (ko) 2018-02-23 2019-09-02 주식회사 로로아트플랜 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
WO2021221394A1 (ko) * 2020-04-30 2021-11-04 삼성전자 주식회사 이미지 증강을 위한 방법 및 전자 장치
WO2024080438A1 (ko) * 2022-10-12 2024-04-18 한국전자기술연구원 실시간 3d ar 객체 획득 장치, 시스템 및 방법

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) * 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015031886A1 (en) * 2013-09-02 2015-03-05 Thankavel Suresh T Ar-book
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US20160171739A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
CA2983046A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US20170124890A1 (en) * 2015-10-30 2017-05-04 Robert W. Soderstrom Interactive table
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US10949882B2 (en) * 2016-04-03 2021-03-16 Integem Inc. Real-time and context based advertisement with augmented reality enhancement
CN109074680A (zh) * 2016-04-14 2018-12-21 英特吉姆公司股份有限公司 基于通信的增强现实中实时图像和信号处理方法和系统
CN105854296A (zh) * 2016-04-21 2016-08-17 苏州探寻文化科技有限公司 一种基于增强现实的互动体验系统
WO2017188863A1 (ru) * 2016-04-30 2017-11-02 Виталий Витальевич АВЕРЬЯНОВ Устройство для воздействия на виртуальные объекты дополненной реальности
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US10720082B1 (en) 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
CN106362400A (zh) * 2016-10-12 2017-02-01 大连文森特软件科技有限公司 具有在线编辑功能的vr游戏系统
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
CN107992188B (zh) * 2016-10-26 2021-12-07 宏达国际电子股份有限公司 虚拟现实交互方法、装置与系统
EP3316080B1 (en) * 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
EP3340187A1 (en) * 2016-12-26 2018-06-27 Thomson Licensing Device and method for generating dynamic virtual contents in mixed reality
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
CN114390350B (zh) * 2017-01-18 2023-08-01 交互数字Vc控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
WO2018191720A1 (en) * 2017-04-14 2018-10-18 Penrose Studios, Inc. System and method for spatial and immersive computing
WO2019040539A1 (en) * 2017-08-21 2019-02-28 Flow Immersive, Inc. INCREASED VIRTUAL REALITY
US10558858B2 (en) 2017-10-06 2020-02-11 Steve Rad Augmented reality system and kit
US10430658B2 (en) 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
CN108063936B (zh) * 2017-12-29 2020-11-03 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10984596B2 (en) 2018-05-30 2021-04-20 Ke.com (Beijing)Technology Co., Ltd. Systems and methods for enriching a virtual reality tour
CN108874471B (zh) * 2018-05-30 2022-06-07 如你所视(北京)科技有限公司 一种房源的功能间附加元素添加方法及系统
US10825223B2 (en) 2018-05-31 2020-11-03 Microsoft Technology Licensing, Llc Mixed reality animation
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
CN111723806A (zh) * 2019-03-19 2020-09-29 北京京东尚科信息技术有限公司 增强现实方法和装置
WO2020250110A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for generating a 3d visualization using mixed reality-based hmd
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11308669B1 (en) 2019-09-27 2022-04-19 Apple Inc. Shader for graphical objects
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
CA3167329A1 (en) * 2020-02-14 2021-08-19 Victoria Catherine Maude FORREST Instruction of a sign language
US11508135B2 (en) 2020-04-13 2022-11-22 Snap Inc. Augmented reality content generators including 3D data in a messaging system
US20220051050A1 (en) * 2020-08-12 2022-02-17 Micron Technology, Inc. Presentation of digitized images from user drawings
US20220165024A1 (en) * 2020-11-24 2022-05-26 At&T Intellectual Property I, L.P. Transforming static two-dimensional images into immersive computer-generated content
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
WO2022244948A1 (en) 2021-05-18 2022-11-24 Samsung Electronics Co., Ltd. System and method of controlling brightness on digital displays for optimum visibility and power consumption
CN113577766B (zh) * 2021-08-05 2024-04-02 百度在线网络技术（北京）有限公司 对象处理方法及装置
CN113886775A (zh) * 2021-09-10 2022-01-04 上海阿吉必信息技术有限公司 数字权益证明的生成方法和装置
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100136712A (ko) * 2009-06-19 2010-12-29 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 이미지 표시 장치
KR20120065865A (ko) * 2010-12-13 2012-06-21 주식회사 팬택 증강 현실 제공 단말기 및 방법

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344314A (ja) 1992-06-05 1993-12-24 Konica Corp 画像処理装置
WO1999019840A1 (en) * 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
JP2001014421A (ja) * 1999-06-28 2001-01-19 Matsushita Electric Ind Co Ltd バーコード読み取り装置
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7050625B2 (en) * 2002-10-21 2006-05-23 Hewlett-Packard Development Company, L.P. Method and digital camera for indicating when image data has been captured for a three-dimensional target object
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005063225A (ja) 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP4318580B2 (ja) 2004-03-31 2009-08-26 独立行政法人科学技術振興機構 ３次元樹木形状生成装置
KR20060066340A (ko) * 2004-12-13 2006-06-16 삼성전자주식회사 3차원 구조 스케치 제작장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록매체
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
WO2007020591A2 (en) 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
US20090141023A1 (en) * 2007-11-29 2009-06-04 Brian Mark Shuster Selective filtering of user input data in a multi-user virtual environment
US8396296B2 (en) * 2007-12-31 2013-03-12 Intel Corporation Brand image detection
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP2010049323A (ja) 2008-08-19 2010-03-04 Kawai Musical Instr Mfg Co Ltd 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
US9824495B2 (en) 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5581002B2 (ja) 2009-04-20 2014-08-27 株式会社タイトー ゲーム機、ゲームプログラム
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
CN102713931A (zh) 2009-08-04 2012-10-03 艾修视力科技有限公司 用于对象提取的系统和方法
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
KR101082487B1 (ko) * 2010-01-29 2011-11-11 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US20110248995A1 (en) 2010-04-09 2011-10-13 Fuji Xerox Co., Ltd. System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
US8417058B2 (en) 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2646986A1 (en) * 2010-11-29 2013-10-09 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Computer-implemented method and apparatus for tracking and re-shaping a human shaped figure in a digital video
KR101669119B1 (ko) 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
US9116616B2 (en) * 2011-02-10 2015-08-25 Blackberry Limited Portable electronic device and method of controlling same
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR101824005B1 (ko) * 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US20130063487A1 (en) 2011-09-12 2013-03-14 MyChic Systems Ltd. Method and system of using augmented reality for applications
US20130104087A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8855366B2 (en) * 2011-11-29 2014-10-07 Qualcomm Incorporated Tracking three-dimensional objects
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
CN102929391B (zh) 2012-10-23 2015-11-04 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
GB2507314B (en) 2012-10-25 2018-05-23 Sony Interactive Entertainment Europe Ltd Apparatus and method of augmented reality
CN103177468A (zh) 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN103729885B (zh) 2014-01-21 2016-08-24 北京邮电大学 多视角投影与三维注册联合的手绘场景三维建模方法
JP5916248B2 (ja) * 2014-02-25 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100136712A (ko) * 2009-06-19 2010-12-29 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 이미지 표시 장치
KR20120065865A (ko) * 2010-12-13 2012-06-21 주식회사 팬택 증강 현실 제공 단말기 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101620A (ko) 2018-02-23 2019-09-02 주식회사 로로아트플랜 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
WO2021221394A1 (ko) * 2020-04-30 2021-11-04 삼성전자 주식회사 이미지 증강을 위한 방법 및 전자 장치
WO2024080438A1 (ko) * 2022-10-12 2024-04-18 한국전자기술연구원 실시간 3d ar 객체 획득 장치, 시스템 및 방법

Also Published As

Publication number Publication date
US20200089389A1 (en) 2020-03-19
US20140344762A1 (en) 2014-11-20
US11112934B2 (en) 2021-09-07
CN105210117B (zh) 2019-06-14
EP3907704A1 (en) 2021-11-10
EP2997548A2 (en) 2016-03-23
JP2016524221A (ja) 2016-08-12
CN105210117A (zh) 2015-12-30
WO2014186420A3 (en) 2015-04-23
KR102190721B1 (ko) 2020-12-14
JP6367926B2 (ja) 2018-08-01
US10509533B2 (en) 2019-12-17
US11880541B2 (en) 2024-01-23
WO2014186420A2 (en) 2014-11-20
US20210373743A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US11880541B2 (en) Systems and methods of generating augmented reality (AR) objects
US11238619B1 (en) Multi-device interaction with an immersive environment
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20220334649A1 (en) Hand gestures for animating and controlling virtual and graphical elements
US10331222B2 (en) Gesture recognition techniques
Arth et al. The history of mobile augmented reality
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
WO2016122973A1 (en) Real time texture mapping
ES2688643T3 (es) Aparato y método de realidad aumentada
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
KR20150012274A (ko) 이미지 내 원형 객체 검출에 의한 계산장치 동작
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
CN113129411A (zh) 一种仿生动画生成方法及电子设备
US20230066318A1 (en) Handcrafted augmented reality effort evidence
US20230060150A1 (en) Physical action-based augmented reality communication exchanges
TW202311815A (zh) 在實體表面上顯示數位媒體內容
Okamoto et al. Assembly assisted by augmented reality (A 3 R)
CN117173756A (zh) 一种增强现实ar系统、计算机设备及存储介质
US20230368452A1 (en) Interactive virtual graphics with physical objects
US20230062366A1 (en) Handcrafted augmented reality experiences
WO2023250361A1 (en) Generating user interfaces displaying augmented reality graphics
Shiratori User Interfaces for Character Animation and Character Interaction
CN114303120A (zh) 虚拟键盘

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant