KR20200002963A - 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작 - Google Patents

증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작 Download PDF

Info

Publication number
KR20200002963A
KR20200002963A KR1020197034464A KR20197034464A KR20200002963A KR 20200002963 A KR20200002963 A KR 20200002963A KR 1020197034464 A KR1020197034464 A KR 1020197034464A KR 20197034464 A KR20197034464 A KR 20197034464A KR 20200002963 A KR20200002963 A KR 20200002963A
Authority
KR
South Korea
Prior art keywords
processing system
augmented reality
virtual reality
authoring
reality processing
Prior art date
Application number
KR1020197034464A
Other languages
English (en)
Other versions
KR102358543B1 (ko
Inventor
마레이크 크리츨러
아사 맥윌리암스
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20200002963A publication Critical patent/KR20200002963A/ko
Application granted granted Critical
Publication of KR102358543B1 publication Critical patent/KR102358543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00355—
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

가상 현실을 사용한 증강 현실 저작을 위한 기법들의 예들이 개시된다. 본 개시내용의 양상들에 따른 하나의 예시적인 구현에서, 컴퓨터-구현 방법은, 가상 현실 프로세싱 시스템에 의해, 증강 현실 프로세싱 시스템으로부터 깊이 맵을 수신하는 단계를 포함하고, 여기서, 깊이 맵은 장면의 맵이다. 방법은, 가상 현실 프로세싱 시스템을 사용하여, 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 단계를 더 포함한다. 방법은, 가상 현실 프로세싱 시스템에 의해, 증강 현실 경험을 증강 현실 프로세싱 시스템에 송신하는 단계를 더 포함한다.

Description

증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
[1] 본 개시내용은 일반적으로 증강 현실 및 가상 현실에 관한 것으로, 더욱 구체적으로는 증강 현실 및 가상 현실을 사용하여 증강 현실 경험들을 저작하는 것에 관한 것이다.
[2] 증강 현실(AR; augmented reality) 애플리케이션(application)들은 실세계 객체들(즉, 장면들) 위에 디지털(digital) 정보를 중첩한다. 이 정보는 카메라(camera) 및 디스플레이(display)를 갖춘 AR 시스템(system)들을 이용하여 시각화될 수 있다. AR은 훈련(training), 시뮬레이션(simulation), 회의, 공동작업, 유지보수, 수리, 품질 보증 및 다른 태스크(task)들을 수행할 때 인간 사용자에게 유용할 수 있다.
[3] 가상 현실(VR; virtual reality)은 사용자에게 실세계 환경의 디지털 표현을 제시하며, 사용자가 완전한 디지털 표현으로 실세계 환경의 실제 크기 및 치수들을 경험하는 것을 가능하게 한다. 디지털 표현은 VR 시스템을 통해 사용자에게 디스플레이되며(displayed), 이 VR 시스템은 헤드-마운티드(head-mounted) VR 디바이스(device)일 수 있다. VR은 통상적인 2-차원 컴퓨터(computer) 장면들의 제한들, 그리고 통상적인 입력들(예컨대, 마우스(mouse), 터치패드(touchpad), 터치스크린(touchscreen) 등)을 통한 컴퓨터와의 제한된 상호작용을 극복한다.
[4] 본 개시내용의 예들에 따르면, 가상 현실을 사용한 증강 현실 저작을 위한 방법들, 시스템들 및/또는 컴퓨터 프로그램(program) 제품들을 포함하는 기법들이 제공된다. 예시적인 컴퓨터-구현 방법은, 가상 현실 프로세싱(processing) 시스템에 의해, 증강 현실 프로세싱 시스템으로부터 깊이 맵(map)을 수신하는 단계를 포함하고, 여기서, 깊이 맵은 장면의 맵이다. 방법은, 가상 현실 프로세싱 시스템을 사용하여, 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 단계를 더 포함한다. 방법은, 가상 현실 프로세싱 시스템에 의해, 증강 현실 경험을 증강 현실 프로세싱 시스템에 송신하는 단계를 더 포함한다.
[5] 가상 현실을 사용한 증강 현실 저작을 위한 시스템이 또한 제공된다. 시스템은 증강 현실 프로세싱 시스템을 포함하고, 이 증강 현실 프로세싱 시스템은 제1 컴퓨터 판독가능 명령들을 포함하는 제1 메모리(memory) 및 제1 방법을 수행하기 위해 제1 컴퓨터 판독가능 명령들을 실행하기 위한 제1 프로세싱 디바이스를 포함한다. 제1 방법은, 제1 프로세싱 디바이스에 의해, 장면을 캡처(capturing)하는 단계, 및 제1 프로세싱 디바이스에 의해, 장면의 깊이 맵을 생성하는 단계를 포함한다. 시스템은 또한, 가상 현실 프로세싱 시스템을 포함하고, 이 가상 현실 프로세싱 시스템은 제2 컴퓨터 판독가능 명령들을 포함하는 제2 메모리 및 제2 방법을 수행하기 위해 제2 컴퓨터 판독가능 명령들을 실행하기 위한 제2 프로세싱 디바이스를 포함한다. 제2 방법은, 제2 프로세싱 디바이스에 의해, 증강 현실 프로세싱 시스템으로부터 깊이 맵을 수신하는 단계, 제2 프로세싱 디바이스에 의해, 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 것을 인에이블(enabling)하는 단계, 및 제2 프로세싱 디바이스에 의해, 증강 현실 경험을 적어도 하나의 부가적인 증강 현실 프로세싱 시스템에 송신하는 단계를 포함한다.
[6] 가상 현실을 사용한 증강 현실 저작을 위한 컴퓨터 프로그램 제품이 또한 제공된다. 컴퓨터 프로그램 제품은 프로그램 명령들이 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함하고, 이 프로그램 명령들은, 프로세싱 디바이스로 하여금 방법을 수행하게 하도록 가상 현실 프로세싱 시스템에 의해 실행가능하다. 방법은, 가상 현실 프로세싱 시스템에 의해, 증강 현실 프로세싱 시스템으로부터 깊이 맵을 수신하는 단계를 포함하고, 여기서, 깊이 맵은 장면의 맵이다. 방법은, 가상 현실 프로세싱 시스템을 사용하여, 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 단계를 더 포함한다. 방법은, 가상 현실 프로세싱 시스템에 의해, 증강 현실 경험을 증강 현실 프로세싱 시스템에 송신하는 단계를 더 포함한다.
[7] 부가적인 특징들 및 장점들은 본 개시내용의 기법들을 통해 실현된다. 다른 양상들은 본원에서 상세히 설명되고, 본 개시내용의 일부로 간주된다. 장점들 및 특징들을 갖는 본 개시내용의 더 나은 이해를 위해, 다음의 설명 및 도면들을 참조하라.
[8] 본 발명으로서 간주되는 주제(subject matter)는 본 명세서의 끝부분에 있는 청구항들에서 특히 지적되고 명백하게 청구된다. 전술된 그리고 다른 특징들 및 이들의 장점들은 첨부된 도면들과 함께 취해진 다음의 상세한 설명으로부터 명백하며, 도면들에서:
[9] 도 1은 본 개시내용의 예들에 따른, 본원에서 설명된 기법들을 구현하기 위한 프로세싱 시스템의 블록 다이어그램(block diagram)을 도시하고;
[10] 도 2는 본 개시내용의 예들에 따른, 증강 현실 프로세싱 시스템 및 가상 현실 프로세싱 시스템의 블록 다이어그램을 도시하고;
[11] 도 3은 본 개시내용의 예들에 따른, 가상 현실을 사용한 증강 현실 저작을 위한 헤드세트(headset)의 블록 다이어그램을 도시하고;
[12] 도 4는 본 개시내용의 예들에 따른, 가상 현실을 사용한 증강 현실 저작을 위한 방법의 흐름 다이어그램을 도시하고;
[13] 도 5는 본 개시내용의 예들에 따른, 가상 현실을 사용한 증강 현실 저작을 위한 방법의 흐름 다이어그램을 도시하며; 그리고
[14] 도 6은 본 개시내용의 예들에 따른, 장면의 깊이 맵을 도시한다.
[15] 증강 현실(AR; augmented reality)은 증강 현실 경험들을 사용자들에게 제공한다. 통상적으로, 이들 AR 경험들은 예컨대 범용 프로세싱 시스템들(예컨대, 랩톱(laptop), 데스크톱(desktop), 태블릿(tablet) 등)에 이용가능한 특수화된 소프트웨어 툴(software tool)들을 사용하는 인간들에 의해 프리프로세싱(preprocessing) 기법들을 사용하여 생성(즉, 저작)된다. 일부 예들에 따르면, 특정 분야의 인간 전문가(즉, 저자)는 해당 분야에 특정한 증강 현실 경험을 생성할 수 있다. 그런 다음, AR 경험은 기술자, 새로운 직원 등을 안내하거나 또는 훈련하기 위해 사용될 수 있다. 저자는 컴퓨터 스크린(screen) 상에 AR 경험을 구축하기 위해 통상적인 입력 디바이스들, 이를테면, 키보드(keyboard), 마우스, 터치패드 등을 사용한다.
[16] AR 경험들의 저작은 통상적으로, 통상적인 범용 프로세싱 시스템들 상에서 실행되는 소프트웨어 툴들(즉, 저작 애플리케이션들)을 사용하며, 애플리케이션 및/또는 웹(web)-기반이다. 증강될 실세계 환경, 객체 등의 기존 디지털 3-차원(3D; three-dimensional) 표현이 저작 애플리케이션에 로딩되고(loaded), 포인트-클라우드(point-cloud) 또는 에지(edge)-기반 컴퓨터 보조 설계(CAD; computer aided design) 모델(model)로서 표현된다. 저작 애플리케이션은, 사용자가 디지털 표현을 조작(예컨대, 회전, 뒤집기 등)하며 AR 경험을 생성하기 위해 표현을 탐색하는 것을 가능하게 한다. 디지털 콘텐츠(content)(예컨대, 사진들, 비디오(video)들, 3D 모델들 등)가 표현에 부가되고 디지털 표현과 관련하여 배열될 수 있다. 그러나, 기존 저작 애플리케이션들은 헤드-마운티드 디바이스들 상에서 실행되도록 설계되지 않으며, AR 경험이 사용될 양식(modality)으로 사용자가 AR 경험들을 저작할 수 있게 하지 않는다.
[17] 본 기법들은 가상 현실(VR; virtual reality)을 사용한 증강 현실 저작을 제공한다. 본 개시내용의 예에 따르면, AR 프로세싱 시스템은 깊이 맵을 캡처하고, 깊이 맵을 VR 프로세싱 시스템에 송신한다. VR 프로세싱 시스템은 깊이 맵을 수신하며, 사용자가, 사용자(또는 다른 사용자)의 제스처(gesture)들을 캡처하고 제스처들에 기반하여 가상 현실 환경을 조작함으로써, 가상 현실 환경에서 AR 경험을 저작하는 것을 가능하게 한다. 그런 다음, AR 프로세싱 시스템의 사용자가 AR 경험을 사용하는 것을 가능하게 하기 위해, AR 경험은 다시 AR 프로세싱 시스템에 송신된다.
[18] 본 개시내용의 예들에 따르면, 저자는, 현장 작업자, 기술자, 엔지니어(engineer), 훈련생 등에 의해 사용되기 위한 AR 경험들을 저작하면서, AR 및 VR을 경험한다. 그러한 경우들에서, 전문가는 디스플레이(display), 깊이 카메라 및 제스처 센서(sensor)가 갖추어져 있는 헤드-마운티드 핸즈-프리(hands-free) 디바이스를 착용한다. 카메라는 증강되어야 할 실세계 환경들(예컨대, 객체들, 방들, 환경들 등)을 스캔(scan)한다. 이들 스캔(scan)들로부터, VR에서의 증강 저작에 사용될 수 있는 깊이 맵이 생성되며, 저작을 위한 기초로서의 역할을 한다. 저작 애플리케이션은 저작을 위한 디지털 콘텐츠, 이를테면 미리 정의된 3D 툴들을 제공한다. 디지털 콘텐츠는 저자의 제스처들에 기반하여 제스처 센서에 의해 인식되는 드래그 앤 드롭(drag and drop) 기능을 통해 물리적 세계에 대해 정렬, 스케일링(scaled), 회전 및/또는 변환된다(translated). 실세계 객체가 현재는 저자의 시야에 없지만 증강되어야 하면, 특정 객체에 대한 작업 지시들을 구축하기 위하여 그 특정 객체의 기존 3D CAD 모델이 VR에 디스플레이될 수 있다.
[19] 본 기법들은 사용자들이, AR 경험이 사용될 양식과 동일한 양식으로 AR 애플리케이션들을 저작하는 것을 가능하게 한다. 본 기법들은 또한, 콘텐츠 정렬의 결과를 직접적으로 시각화하는 직관적인 사용자 인터페이스(interface)를 제공한다. 이는, 사용자들이 장면에 완전히 몰입되고 태스크에 집중하는 것을 가능하게 한다. 게다가, 헤드-마운티드 디바이스들의 사용은 사용자들이 저작하는 동안 AR 환경 및 VR 환경에 있는 것을 가능하게 한다. 제스처 센서는 사용자가 AR 환경 및 VR 환경과 직관적으로 상호작용하는 것을 가능하게 한다. 게다가, 툴들, 객체들 등의 라이브러리(library)의 포함은, 사용자가 기존 콘텐츠를 재사용하는 것을 가능하게 함으로써 AR 장면들의 신속한 셋업(setup)을 용이하게 한다.
[20] 본 개시내용의 예시적인 실시예들은 다양한 기술 특징들, 기술 효과들 및/또는 기술에 대한 개선들을 포함하거나 또는 산출한다. 본 개시내용의 예시적인 실시예들은, AR 프로세싱 시스템으로부터 깊이 맵을 수신하고, 깊이 맵을 VR 프로세싱 시스템에 송신하며, 그리고 AR 환경에서 나중에 사용하기 위한 AR 경험을 생성하기 위해 깊이 맵에 기반하여 VR 환경에서 AR 경험의 저작을 가능하게 함으로써, 가상 현실을 사용한 증강 현실 저작을 제공한다. 본 개시내용의 이들 양상들은, 효율적인 AR 환경 저작을 위해 객체들/툴들의 재사용 및 다른 특징들을 가능하게 하는 완전히 몰입되는 가상 현실 환경을 사용하여 증강 현실 경험을 생성하는 기술 효과를 산출하는 기술 특징들을 구성한다. 이들 기술 특징들 및 기술 효과들의 결과로서, 본 개시내용의 예시적인 실시예들에 따른, 가상 현실을 사용한 증강 현실 저작은 기존 AR 저작 기법들에 대한 개선을 표현한다. 본 개시내용의 예시적인 실시예들의 기술 특징들, 기술 효과들 및 기술에 대한 개선들의 위의 예들은 단지 예시적이며 모든 예들을 총망라한 것이 아님이 인식되어야 한다.
[21] 본 발명의 실시예들은 현재 알려진 또는 나중에 개발되는 임의의 다른 적절한 유형의 컴퓨팅(computing) 환경과 함께 구현될 수 있는 것으로 이해된다. 예컨대, 도 1은 본원에서 설명된 기법들을 구현하기 위한 프로세싱 시스템(100)의 블록 다이어그램을 도시한다. 예들에서, 프로세싱 시스템(100)은 하나 이상의 중앙 프로세싱 유닛(unit)들(프로세서(processor)들)(21a, 21b, 21c 등)(집합적으로 또는 일반적으로, 프로세서(들)(21) 및/또는 프로세싱 디바이스(들)로 지칭됨)을 갖는다. 본 개시내용의 양상들에서, 각각의 프로세서(21)는 축소 명령 세트 컴퓨터(RISC; reduced instruction set computer) 마이크로프로세서(microprocessor)를 포함할 수 있다. 프로세서들(21)은 시스템 버스(bus)(33)를 통해 시스템 메모리(예컨대, 랜덤 액세스 메모리(RAM; random access memory)(24)) 및 다양한 다른 구성요소들에 커플링된다(coupled). 판독 전용 메모리(ROM; read only memory)(22)는 시스템 버스(33)에 커플링되며, 프로세싱 시스템(100)의 소정의 기본 기능들을 제어하는 기본 입력/출력 시스템(BIOS; basic input/output system)을 포함할 수 있다.
[22] 추가로, 시스템 버스(33)에 커플링된 입력/출력(I/O; input/output) 어댑터(adapter)(27) 및 통신 어댑터(26)가 예시된다. I/O 어댑터(27)는 하드 디스크(hard disk)(23) 및/또는 테이프(tape) 저장 드라이브(drive)(25) 또는 임의의 다른 유사한 구성요소와 통신하는 소형 컴퓨터 시스템 인터페이스(SCSI; small computer system interface) 어댑터일 수 있다. I/O 어댑터(27), 하드 디스크(23) 및 테이프 저장 디바이스(25)는 집합적으로 대용량 저장소(34)로 본원에서 지칭된다. 프로세싱 시스템(100) 상에서의 실행을 위한 운영체제(40)는 대용량 저장소(34)에 저장될 수 있다. 네트워크 어댑터(26)는 시스템 버스(33)를 외부 네트워크(36)와 상호연결하여서, 프로세싱 시스템(100)이 다른 그러한 시스템들과 통신하는 것을 가능하게 한다.
[23] 디스플레이(예컨대, 디스플레이 모니터(monitor))(35)는 디스플레이 어댑터(32)에 의해 시스템 버스(33)에 연결되며, 이 디스플레이 어댑터(32)는 그래픽스(graphics) 집약적 애플리케이션들 및 비디오 제어기의 성능을 개선시키기 위한 그래픽스 어댑터를 포함할 수 있다. 본 개시내용의 일 양상에서, 어댑터들(26, 27 및/또는 32)은 중간 버스 브리지(bridge)(미도시)를 통해 시스템 버스(33)에 연결되는 하나 이상의 I/O 버스들에 연결될 수 있다. 주변 디바이스들, 이를테면, 하드 디스크 제어기들, 네트워크 어댑터들 및 그래픽스 어댑터들을 연결하기에 적절한 I/O 버스들은 통상적으로, 일반적인 프로토콜(protocol)들, 이를테면 주변 구성요소 인터커넥트(PCI; Peripheral Component Interconnect)를 포함한다. 부가적인 입력/출력 디바이스들은 사용자 인터페이스 어댑터(28) 및 디스플레이 어댑터(32)를 통해 시스템 버스(33)에 연결된 것으로서 도시된다. 키보드(29), 마우스(30) 및 스피커(speaker)(31)가 사용자 인터페이스 어댑터(28)를 통해 시스템 버스(33)에 상호연결될 수 있으며, 이 사용자 인터페이스 어댑터(28)는 예컨대 다수의 디바이스 어댑터들을 단일 집적 회로에 통합하는 수퍼(Super) I/O 칩(chip)을 포함할 수 있다.
[24] 본 개시내용의 일부 양상들에서, 프로세싱 시스템(100)은 그래픽스 프로세싱 유닛(37)을 포함한다. 그래픽스 프로세싱 유닛(37)은, 디스플레이로의 출력을 위해 의도된 프레임 버퍼(frame buffer)에서 이미지(image)들의 생성을 가속하기 위해 메모리를 조작 및 변경하도록 설계된 특수화된 전자 회로이다. 일반적으로, 그래픽스 프로세싱 유닛(37)은 컴퓨터 그래픽스 및 이미지 프로세싱을 조작하는 데 매우 효율적이며, 큰 데이터(data) 블록들의 프로세싱이 병렬로 수행되는 알고리즘(algorithm)들의 경우 범용 CPU들보다 더욱 효과적이 되게 하는 고도의 병렬 구조를 갖는다.
[25] 따라서, 본원에서 구성된 바와 같이, 프로세싱 시스템(100)은 프로세서들(21)의 형태의 프로세싱 능력, 시스템 메모리(예컨대, RAM(24)) 및 대용량 저장소(34)를 포함하는 저장 능력, 키보드(29) 및 마우스(30)와 같은 입력 수단, 그리고 스피커(31) 및 디스플레이(35)를 포함하는 출력 능력을 포함한다. 본 개시내용의 일부 양상들에서, 시스템 메모리(예컨대, RAM(24)) 및 대용량 저장소(34)의 일부는 집합적으로, 프로세싱 시스템(100)에서 도시된 다양한 컴포넌트들의 기능들을 조정하기 위한 운영체제를 저장한다.
[26] 도 2는 본 개시내용의 예들에 따른, 증강 현실 프로세싱 시스템(210) 및 가상 현실 프로세싱 시스템(220)의 블록 다이어그램을 도시한다. 도 2에 관하여 설명된 다양한 구성요소들, 모듈(module)들, 엔진(engine)들 등은 컴퓨터-판독가능 저장 매체 상에 저장된 명령들로서, 하드웨어(hardware) 모듈들로서, 특수-목적 하드웨어(예컨대, 주문형 하드웨어, 임베디드(embedded) 제어기들로서 주문형 집적 회로(ASIC; application specific integrated circuit)들, 유선 회로소자 등)로서, 또는 이들의 일부 결합 또는 결합들로서 구현될 수 있다. 예들에서, 본원에서 설명된 엔진(들)은 하드웨어와 프로그래밍(programming)의 결합일 수 있다. 프로그래밍은 유형(tangible) 메모리 상에 저장된 프로세서 실행가능 명령들일 수 있고, 하드웨어는 그러한 명령들을 실행하기 위한 프로세싱 디바이스(예컨대, 프로세서(211) 또는 프로세서(221))를 포함할 수 있다. 따라서, 시스템 메모리(예컨대, 메모리(212) 또는 메모리(222))는, 프로세싱 디바이스에 의해 실행될 때 본원에서 설명된 엔진들을 구현하는 프로그램 명령들을 저장할 수 있다. 또한, 본원의 다른 예들에서 설명된 다른 특징들 및 기능을 포함하기 위해 다른 엔진들이 활용될 수 있다.
[27] 본 개시내용의 양상들에 따르면, AR 시스템(210)은 프로세서(211), 메모리(212), 카메라(213), 캡처(capturing) 엔진(214), AR 디스플레이 엔진(215) 및 디스플레이(216)를 포함한다. VR 시스템(220)은 프로세서(221), 메모리(222), 저작 엔진(223), 제스처 센서(224), 마이크로폰(microphone)(225) 및 디스플레이(226)를 포함한다. 대안적으로 또는 부가적으로, AR 시스템(210) 및/또는 VR 시스템(220)은 전용 하드웨어, 이를테면, 하나 이상의 집적 회로들, ASIC들, 주문형 특수 프로세서(ASSP; application specific special processor)들, 필드 프로그램가능 게이트 어레이(FPGA; field programmable gate array)들, 또는 본원에서 설명된 기법들을 수행하기 위한 전용 하드웨어의 전술된 예들의 임의의 결합을 포함할 수 있다. 일부 실시예들에서, 부가적인 구성요소들이 구현될 수 있다. 예컨대, AR 시스템(210)은 다수의 카메라들, 다수의 디스플레이들 등을 포함할 수 있다. 유사하게, VR 시스템(220)은 다수의 제스처 센서들, 다수의 마이크로폰들, 다수의 디스플레이들 등을 포함할 수 있다.
[28] AR 프로세싱 시스템(210)에 관하여, 캡처 엔진(214)은 장면의 이미지를 캡처하기 위해 카메라(213)를 사용한다. 카메라(213)는 이미지를 캡처하기 위한 임의의 적절한 유형의 카메라 또는 디바이스일 수 있다. 캡처 엔진(214)은 캡처된(captured) 이미지를 사용하여 장면의 깊이 맵을 생성한다. 깊이 맵은 시점으로부터의(즉, 카메라로부터의) 장면 내의 객체들의 표면들의 거리들에 관한 정보를 포함한다. 깊이 맵의 예가 도 6에서 도시된다. 특히, 도 6은 본 개시내용의 양상들에 따른, 장면의 깊이 맵을 도시한다. 캡처 엔진(214)은 장면을 캡처된 장면(601)으로서 캡처하고, 캡처 엔진(214)은 캡처된 장면(601)의 깊이 맵(602)을 생성한다.
[29] 일단 깊이 맵이 생성되면, AR 프로세싱 시스템(210)은 깊이 맵(202)(예컨대, 깊이 맵(602))을 VR 프로세싱 시스템(220)에 송신한다. VR 프로세싱 시스템(220)은 깊이 맵을 수신하며, 그리고 VR 프로세싱 시스템(220)의 사용자에게 디스플레이(226) 상에 디스플레이(display)하기 위한 가상 현실 환경을 생성하기 위해 깊이 맵을 사용한다.
[30] 그런 다음, 사용자는 입력들, 이를테면, 제스처, 오디오(audio) 등을 사용하여 가상 현실 환경에서 증강 현실 경험을 저작 엔진(223)을 사용하여 저작할 수 있다. 예컨대, 사용자는, 가상 현실 환경을 조작하기 위해, 제스처 센서(224)에 의해 인식 및 프로세싱되는(processed) 손 제스처들을 만들 수 있다. 제스처들은 일반적으로, 사용자의 신체의 일부, 이를테면 사용자의 손의 움직임이다. 제스처들을 사용하여, 사용자는 가상 현실 환경에서 예컨대 객체를 움직이고, 버튼(button)을 누르고, 일련의 단계들을 수행하고, 스위치(switch)를 뒤집으며 그리고/또는 다른 태스크들을 수행할 수 있다.
[31] 일부 예들에 따르면, 저작 및/또는 주석 달기(annotating)는 AR 프로세싱 시스템(210)을 사용하여 시작할 수 있다. 예컨대, AR 프로세싱 시스템(210)을 사용하는 현장 작업자는 AR 환경에서 깊이 맵에 포함되지 않은 세부사항들(예컨대, 색, 텍스처(texture), 온도 등)을 지적할 수 있다. 그러한 경우들에서, AR 프로세싱 시스템(210)은 또한, AR 프로세싱 시스템(210)을 사용하여 만들어진 깊이 맵에 대한 주석들을 VR 프로세싱 시스템(220)에 전송할 수 있다.
[32] 저작 엔진(223)은 사용자가 증강 현실 경험에 포함시키기 위해 이용가능한 미리 정의된 3D 툴들, 객체들 등을 포함한다. 사용자는 작업흐름 엘리먼트(element)들/단계들을 정의할 수 있고, 작업흐름들을 구축하기 위해 음성 인식을 사용할 수 있으며, 그리고 미리 정의된 엘리먼트들을 배치/조작하기 위한 제스처 입력들을 제공할 수 있다.
[33] 일부 예들에서, 사용자로부터 음성 명령들을 수신하기 위해 마이크로폰(225)이 사용될 수 있다. 예컨대, 사용자는 일련의 단계들을 기록하는 것을 시작하기 위해 "기록"이라고 말할 수 있고, 그런 다음, 사용자는 제스처 센서(224)에 의해 인식되는 제스처들을 사용하여 이 일련의 단계들을 수행한다. 사용자는 또한, 제스처와 동반되도록 오디오 명령들을 기록할 수 있다. 이들 오디오 명령들은, 증강 현실 경험이 증강 현실 프로세싱 시스템(예컨대, AR 프로세싱 시스템(210)) 상에서 소비될 때 나중에 재생될 수 있다. 부가적으로, 마이크로폰(225)은, 기존의 객체들을 검색하는 데 사용될 수 있거나(예컨대, "나에게 렌치(wrench)를 보여줘"), 또는 객체들을 인에이블(enable)하거나 또는 디스에이블(disable)하여 저작 프로세스(process)를 더욱 쉽게 하기 위해 VR 환경과 상호작용하는 데 사용될 수 있다.
[34] 일단 저작이 완료되면, AR 경험(204)은 다시 AR 프로세싱 시스템(210)에 송신된다. AR 프로세싱 시스템(210)은 예컨대 디스플레이(216)를 사용하여 AR 경험(204)을 AR 프로세싱 시스템(210)의 사용자에게 디스플레이할 수 있다.
[35] 도 3은 본 개시내용의 예들에 따른, 가상 현실을 사용한 증강 현실 저작을 위한 AR 및 VR 헤드세트(300)("헤드세트(300)"로 지칭됨)의 블록 다이어그램을 도시한다. 헤드세트(300)는 AR 프로세싱 시스템(210) 및 VR 프로세싱 시스템(220)의 양상들을 포함할 수 있다. 특히, 헤드세트(300)는 카메라(313) 및 제스처 센서(324)를 포함한다.
[36] 헤드세트가 헤드-마운트되어서(head-mounted), 이 헤드세트는 사용자의 머리에 착용될 수 있다. 헤드세트(300)는 카메라(313)를 사용하여 장면(즉, 실세계 환경)을 캡처하고 장면의 깊이 맵을 생성할 수 있다. 카메라(313)는 장면을 캡처하고, 이 장면은, 본원에서 설명된 바와 같이, 깊이 맵을 생성하기 위해 사용될 수 있다.
[37] 저작을 위해 통상적인 컴퓨터 프로세싱 시스템을 사용하는 대신에, 헤드세트(300)가 사용될 수 있다. 헤드세트(300)의 사용은 저자가 자신의 손들, 음성 등을 이용하여 증강 현실 경험을 구축하는 것을 가능하게 한다.
[38] 제스처 센서(324)는, 가상 현실 환경에서 저작하면서, 물리적 환경에 대한 디지털 콘텐츠의 조작/정렬을 위한 입력들로서 손들(330)의 움직임들 또는 제스처들을 검출한다. 이는 저작자가 작업 명령들 및 접근가능한 시각적 작업흐름들을 빠르게 그리고 직관적으로 생성하는 것을 가능하게 한다.
[39] 도 4는 본 개시내용의 예들에 따른, 가상 현실을 사용한 증강 현실 저작을 위한 방법(400)의 흐름 다이어그램을 도시한다. 방법은 적절한 프로세싱 시스템들, 이를테면, 프로세싱 시스템(100), AR 프로세싱 시스템(210), VR 프로세싱 시스템(220), 헤드세트(300) 및 이들의 적절한 결합들에 의해 수행될 수 있다. AR 프로세싱 시스템(210) 및/또는 VR 프로세싱 시스템(220)은 헤드-마운티드 프로세싱 시스템들일 수 있다.
[40] 블록(402)에서, VR 프로세싱 시스템(220)은 증강 현실 프로세싱 시스템(210)으로부터 깊이 맵(예컨대, 깊이 맵(602))을 수신한다. 깊이 맵은 실세계 환경(즉, 장면)의 맵이다. AR 프로세싱 시스템(210)은 실세계 환경을 캡처하는 카메라를 포함할 수 있다.
[41] 블록(404)에서, VR 프로세싱 시스템(220)은, 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하기 위해 사용된다. VR 프로세싱 시스템(220)은, 증강 현실 경험을 저작하기 위해 사용자가 VR 프로세싱 시스템(220)과 상호작용하는 것을 가능하게 하는 제스처 센서(224) 및/또는 마이크로폰(225)을 포함할 수 있다. 예컨대, 증강 현실 경험을 저작하는 것은, 제스처 센서를 사용하여 제스처들을 캡처하는 것 그리고 가상 현실 환경을 조작하기 위해 제스처들을 사용하는 것을 포함할 수 있다. 유사하게, 증강 현실 경험을 저작하는 것은, 마이크로폰을 사용하여 오디오를 캡처하는 것 그리고 가상 현실 환경을 조작(예컨대, 명령들의 부가, 기록 시작 등)하기 위해 오디오를 사용하는 것을 포함할 수 있다. 깊이 맵을 캡처한 이와 동일한 또는 상이한 사용자가 저작을 수행할 수 있다. 예컨대, 현장 작업자는 깊이 맵을 캡처하기 위해 AR 프로세싱 시스템(210)을 사용할 수 있고, 주제 전문가는 저작을 수행하기 위해 VR 프로세싱 시스템(220)을 사용할 수 있다.
[42] 블록(406)에서, VR 프로세싱 시스템(220)은 증강 현실 경험을 AR 프로세싱 시스템(210)에 송신한다. 이는 AR 프로세싱 시스템(210)의 사용자가 증강 현실 경험을 활용하는 것을 가능하게 한다. 예컨대, AR 디스플레이 엔진(215)은 AR 프로세싱 시스템(210)의 디스플레이(216) 상에 증강 현실 경험을 사용자에게 디스플레이할 수 있다.
[43] 또한, 부가적인 프로세스들이 포함될 수 있다. 예컨대, 증강 현실 경험은, AR 프로세싱 시스템(210) 대신에 그리고/또는 AR 프로세싱 시스템(210)에 부가하여, 다른 AR 프로세싱 시스템에 송신될 수 있다. 도 4에서 도시된 프로세스들이 예시들을 표현하며, 본 개시내용의 범위 및 사상을 벗어나지 않고, 다른 프로세스들이 부가될 수 있거나 또는 기존 프로세스들이 제거되거나, 수정되거나 또는 재배열될 수 있다는 것이 이해되어야 한다.
[44] 도 5는 본 개시내용의 예들에 따른, 가상 현실을 사용한 증강 현실 저작을 위한 방법(500)의 흐름 다이어그램을 도시한다. 방법은 적절한 프로세싱 시스템들, 이를테면, 프로세싱 시스템(100), AR 프로세싱 시스템(210), VR 프로세싱 시스템(220), 헤드세트(300) 및 이들의 적절한 결합들에 의해 수행될 수 있다. AR 프로세싱 시스템(210) 및/또는 VR 프로세싱 시스템(220)은 헤드-마운티드 프로세싱 시스템들일 수 있다. 특히, 도 5의 예는 헤드세트(300)를 참조하여 설명된다.
[45] 블록(502)에서, 헤드세트(300)는 카메라(313)를 사용하여 장면을 캡처하고, 블록(504)에서, 깊이 맵(예컨대, 깊이 맵(602))을 생성하기 위해 장면을 사용한다. 일부 실시예들에 따르면, 헤드세트(300)는, 증강 현실 경험을 저작하기 전에 깊이 맵에 주석을 달기 위해 사용될 수 있다. 블록(506)에서, 헤드세트(300)는, 깊이 맵에 기반하여 가상 현실 환경에서 증강 현실 경험의 저작을 인에이블한다. 저작은, 예컨대 제스처 센서(324)에 의해 검출되는 제스처들을 사용하여 수행될 수 있다. 그런 다음, 헤드세트(300)는 증강 현실 경험을 AR 시스템(예컨대, 도 2의 AR 프로세싱 시스템(210))에 송신한다.
[46] 또한, 부가적인 프로세스들이 포함될 수 있으며, 그리고 도 5에서 도시된 프로세스들이 예시들을 표현하며, 본 개시내용의 범위 및 사상을 벗어나지 않고, 다른 프로세스들이 부가될 수 있거나 또는 기존 프로세스들이 제거되거나, 수정되거나 또는 재배열될 수 있다는 것이 이해되어야 한다.
[47] 위에서 논의된 바와 같이, 도 6은 본 개시내용의 양상들에 따른, 장면의 깊이 맵(601)을 도시한다. 도 6은 또한, 깊이 맵(601)의 우측에 저작 툴들(603)의 툴바(toolbar)를 도시한다. 저작 툴들(603)은, AR 경험(204)을 생성하기 위해 저자에 의해 사용될 수 있다. 저작 툴들(603)은, 장면의 실세계 객체들을 증강시키기 위하여, 저자가 예컨대 미리 정의된 툴들을 깊이 맵(601)의 장면에 드래그(drag)하는 것을 가능하게 한다. 예컨대 작업흐름의 단계들의 순서를 결정하고, AR 경험(204)이 나중에 사용될 때 충족될 필요가 있는 태스크들을 설명하기 위하여, 다른 미리 정의된 엘리먼트들이 사용될 수 있다.
[48] 본 개시내용의 다양한 예들의 설명들은 예시의 목적들을 위해 제시되었지만, 철저한 것으로 또는 개시된 실시예들로 제한되는 것으로 의도되지 않는다. 설명된 기법들의 범위 및 사상을 벗어나지 않고, 많은 수정들 및 변형들이 당업자들에게 명백할 것이다. 본원에서 사용된 용어는, 본 기법들의 원리들, 실제 적용, 또는 시장에서 발견되는 기술들을 넘어서는 기술 개선을 가장 잘 설명하기 위해 또는 당업자들이 본원에서 개시된 기법들을 이해하는 것을 가능하게 하기 위해 선정되었다.

Claims (20)

  1. 가상 현실을 사용한 증강 현실 저작을 위한 컴퓨터-구현 방법으로서,
    가상 현실 프로세싱 시스템에 의해, 증강 현실 프로세싱 시스템으로부터 깊이 맵(map)을 수신하는 단계 ― 상기 깊이 맵은 장면의 맵임 ―;
    상기 가상 현실 프로세싱 시스템을 사용하여, 상기 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 단계; 및
    상기 가상 현실 프로세싱 시스템에 의해, 상기 증강 현실 경험을 상기 증강 현실 프로세싱 시스템에 송신하는 단계
    를 포함하는,
    컴퓨터-구현 방법.
  2. 제1항에 있어서,
    상기 가상 현실 프로세싱 시스템에 의해, 상기 증강 현실 경험을 적어도 하나의 부가적인 증강 현실 프로세싱 시스템에 송신하는 단계
    를 더 포함하는,
    컴퓨터-구현 방법.
  3. 제1항에 있어서,
    상기 증강 현실 프로세싱 시스템은 카메라를 포함하며; 그리고
    상기 카메라는 상기 장면을 캡처(capture)하는,
    컴퓨터-구현 방법.
  4. 제1항에 있어서,
    상기 가상 현실 프로세싱 시스템은 헤드-마운티드(head-mounted) 가상 현실 프로세싱 시스템인,
    컴퓨터-구현 방법.
  5. 제1항에 있어서,
    상기 증강 현실 프로세싱 시스템은 헤드-마운티드 증강 현실 프로세싱 시스템인,
    컴퓨터-구현 방법.
  6. 제1항에 있어서,
    상기 가상 현실 프로세싱 시스템은 제스처 센서(gesture sensor) 및 마이크로폰(microphone)을 포함하는,
    컴퓨터-구현 방법.
  7. 제6항에 있어서,
    상기 증강 현실 경험을 저작하는 단계는,
    상기 제스처 센서를 사용하여 제스처들을 캡처하는 단계,
    상기 마이크로폰을 사용하여 오디오를 캡처하는 단계, 및
    상기 가상 현실 환경을 조작하기 위해 상기 제스처들 및 상기 오디오를 사용하는 단계
    를 포함하는,
    컴퓨터-구현 방법.
  8. 가상 현실을 사용한 증강 현실 저작을 위한 시스템으로서,
    제1 컴퓨터 판독가능 명령들을 포함하는 제1 메모리 및 제1 방법을 수행하기 위해 상기 제1 컴퓨터 판독가능 명령들을 실행하기 위한 제1 프로세싱 디바이스를 포함하는 증강 현실 프로세싱 시스템; 및
    제2 컴퓨터 판독가능 명령들을 포함하는 제2 메모리 및 제2 방법을 수행하기 위해 상기 제2 컴퓨터 판독가능 명령들을 실행하기 위한 제2 프로세싱 디바이스를 포함하는 가상 현실 프로세싱 시스템
    을 포함하고,
    상기 제1 방법은,
    상기 제1 프로세싱 디바이스에 의해, 장면을 캡처하는 단계, 및
    상기 제1 프로세싱 디바이스에 의해, 상기 장면의 깊이 맵을 생성하는 단계
    를 포함하고,
    상기 제2 방법은,
    상기 제2 프로세싱 디바이스에 의해, 상기 증강 현실 프로세싱 시스템으로부터 상기 깊이 맵을 수신하는 단계,
    상기 제2 프로세싱 디바이스에 의해, 상기 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 것을 인에이블(enabling)하는 단계, 및
    상기 제2 프로세싱 디바이스에 의해, 상기 증강 현실 경험을 적어도 하나의 부가적인 증강 현실 프로세싱 시스템에 송신하는 단계
    를 포함하는,
    시스템.
  9. 제8항에 있어서,
    상기 증강 현실 경험을 저작하는 것은,
    상기 제스처 센서를 사용하여 제스처들을 캡처하는 것, 및
    객체를 조작하기 위해 상기 제스처들을 사용하는 것
    을 포함하는,
    시스템.
  10. 제8항에 있어서,
    상기 가상 현실 프로세싱 시스템은 헤드-마운티드 가상 현실 프로세싱 시스템인,
    시스템.
  11. 제8항에 있어서,
    상기 증강 현실 프로세싱 시스템은 헤드-마운티드 증강 현실 프로세싱 시스템인,
    시스템.
  12. 제8항에 있어서,
    상기 가상 현실 프로세싱 시스템은 제스처 센서 및 마이크로폰을 포함하는,
    시스템.
  13. 제8항에 있어서,
    상기 증강 현실 프로세싱 시스템은 카메라를 포함하며; 그리고
    상기 카메라는 상기 장면을 캡처하도록 구성되는,
    시스템.
  14. 가상 현실을 사용한 증강 현실 저작을 위한 컴퓨터 프로그램 제품으로서,
    프로그램 명령들이 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함하고, 상기 프로그램 명령들은, 프로세싱 디바이스로 하여금 방법을 수행하게 하도록 가상 현실 프로세싱 시스템에 의해 실행가능하며,
    상기 방법은,
    상기 가상 현실 프로세싱 시스템에 의해, 증강 현실 프로세싱 시스템으로부터 깊이 맵을 수신하는 단계 ― 상기 깊이 맵은 장면의 맵임 ―;
    상기 가상 현실 프로세싱 시스템을 사용하여, 상기 깊이 맵에 적어도 부분적으로 기반하여 가상 현실 환경에서 증강 현실 경험을 저작하는 단계; 및
    상기 가상 현실 프로세싱 시스템에 의해, 상기 증강 현실 경험을 상기 증강 현실 프로세싱 시스템에 송신하는 단계
    를 포함하는,
    컴퓨터 프로그램 제품.
  15. 제14항에 있어서,
    상기 방법은,
    상기 가상 현실 프로세싱 시스템에 의해, 상기 증강 현실 경험을 적어도 하나의 부가적인 증강 현실 프로세싱 시스템에 송신하는 단계
    를 더 포함하는,
    컴퓨터 프로그램 제품.
  16. 제14항에 있어서,
    상기 증강 현실 프로세싱 시스템은 카메라를 포함하며; 그리고
    상기 카메라는 상기 장면을 캡처하는,
    컴퓨터 프로그램 제품.
  17. 제14항에 있어서,
    상기 가상 현실 프로세싱 시스템은 헤드-마운티드 가상 현실 프로세싱 시스템인,
    컴퓨터 프로그램 제품.
  18. 제14항에 있어서,
    상기 증강 현실 프로세싱 시스템은 헤드-마운티드 증강 현실 프로세싱 시스템인,
    컴퓨터 프로그램 제품.
  19. 제14항에 있어서,
    상기 가상 현실 프로세싱 시스템은 제스처 센서 및 마이크로폰을 포함하며, 그리고
    상기 증강 현실 경험을 저작하는 단계는,
    상기 제스처 센서를 사용하여 제스처들을 캡처하는 단계, 및
    객체를 조작하기 위해 상기 제스처들을 사용하는 단계
    를 포함하는,
    컴퓨터 프로그램 제품.
  20. 제14항에 있어서,
    상기 방법은,
    데이터베이스로부터의 콘텐츠(content)를 상기 증강 현실 경험에 부가하는 단계
    를 더 포함하며,
    상기 콘텐츠는 데이터베이스에 저장된 복수의 컴퓨터 보조 드로잉(CAD; computer aided drawing) 모델(model)들로부터 선택된 CAD 모델인,
    컴퓨터 프로그램 제품.
KR1020197034464A 2017-04-27 2017-04-27 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작 KR102358543B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/029757 WO2018199948A1 (en) 2017-04-27 2017-04-27 Authoring augmented reality experiences using augmented reality and virtual reality

Publications (2)

Publication Number Publication Date
KR20200002963A true KR20200002963A (ko) 2020-01-08
KR102358543B1 KR102358543B1 (ko) 2022-02-03

Family

ID=58692623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034464A KR102358543B1 (ko) 2017-04-27 2017-04-27 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작

Country Status (5)

Country Link
US (1) US11099633B2 (ko)
EP (1) EP3602242A1 (ko)
KR (1) KR102358543B1 (ko)
CN (1) CN110573992B (ko)
WO (1) WO2018199948A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163999B2 (en) * 2018-05-21 2021-11-02 Ptc Inc. Augmented reality-based capture, processing and transfer of occupational knowledge
US11501658B2 (en) * 2018-11-28 2022-11-15 Purdue Research Foundation Augmented reality platform for collaborative classrooms
US11526159B2 (en) * 2020-02-14 2022-12-13 Rockwell Automation Technologies, Inc. Augmented reality human machine interface testing
CN111580655A (zh) * 2020-05-08 2020-08-25 维沃移动通信有限公司 信息处理方法、装置和电子设备
US20230038709A1 (en) * 2021-07-28 2023-02-09 Purdue Research Foundation System and Method for Authoring Freehand Interactive Augmented Reality Applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108842A (ko) * 2013-01-22 2015-09-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 혼합 현실 필터링
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US20160012640A1 (en) * 2014-07-14 2016-01-14 Microsoft Corporation User-generated dynamic virtual worlds
US20160049004A1 (en) * 2014-08-15 2016-02-18 Daqri, Llc Remote expert system
KR20160091402A (ko) * 2013-11-27 2016-08-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8209183B1 (en) * 2011-07-07 2012-06-26 Google Inc. Systems and methods for correction of text from different input types, sources, and contexts
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20160210785A1 (en) * 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US9530250B2 (en) * 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US11024014B2 (en) * 2016-06-28 2021-06-01 Microsoft Technology Licensing, Llc Sharp text rendering with reprojection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108842A (ko) * 2013-01-22 2015-09-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 혼합 현실 필터링
KR20160091402A (ko) * 2013-11-27 2016-08-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US20160012640A1 (en) * 2014-07-14 2016-01-14 Microsoft Corporation User-generated dynamic virtual worlds
US20160049004A1 (en) * 2014-08-15 2016-02-18 Daqri, Llc Remote expert system
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치

Also Published As

Publication number Publication date
KR102358543B1 (ko) 2022-02-03
CN110573992B (zh) 2023-07-18
US20200117268A1 (en) 2020-04-16
US11099633B2 (en) 2021-08-24
EP3602242A1 (en) 2020-02-05
WO2018199948A1 (en) 2018-11-01
CN110573992A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
KR102358543B1 (ko) 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
Wang et al. A comprehensive survey of augmented reality assembly research
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
Wang et al. Augmented reality aided interactive manual assembly design
US20130063560A1 (en) Combined stereo camera and stereo display interaction
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
US20110316845A1 (en) Spatial association between virtual and augmented reality
AU2013266192A1 (en) Systems and methods for generating a 3-D model of a virtual try-on product
US20150074506A1 (en) Managing Shared State Information Produced by Applications
JP2011028309A5 (ko)
Fiorentino et al. Design review of CAD assemblies using bimanual natural interface
Liu et al. A survey of immersive technologies and applications for industrial product development
Fang et al. Head-mounted display augmented reality in manufacturing: A systematic review
KR102075383B1 (ko) 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법
US11442685B2 (en) Remote interaction via bi-directional mixed-reality telepresence
Fiorentino et al. Natural interaction for online documentation in industrial maintenance
Lapointe et al. A literature review of AR-based remote guidance tasks with user studies
Bruno et al. Visualization of industrial engineering data visualization of industrial engineering data in augmented reality
Ababsa Augmented reality application in manufacturing industry: Maintenance and non-destructive testing (ndt) use cases
Warade et al. Real-time detection and tracking with Kinect
JP2015184986A (ja) 複合現実感共有装置
Wang et al. Integrated content authoring for augmented reality based product manual assembly process instruction
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
JP7029253B2 (ja) 情報処理装置及びその方法
Bai Mobile augmented reality: Free-hand gesture-based interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant