KR102521978B1 - 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들 - Google Patents

증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들 Download PDF

Info

Publication number
KR102521978B1
KR102521978B1 KR1020180136774A KR20180136774A KR102521978B1 KR 102521978 B1 KR102521978 B1 KR 102521978B1 KR 1020180136774 A KR1020180136774 A KR 1020180136774A KR 20180136774 A KR20180136774 A KR 20180136774A KR 102521978 B1 KR102521978 B1 KR 102521978B1
Authority
KR
South Korea
Prior art keywords
physical
virtual
imaging device
alignment tool
workspace
Prior art date
Application number
KR1020180136774A
Other languages
English (en)
Other versions
KR20190053119A (ko
Inventor
폴 로버트 데이비스
데이비드 리
가브리엘 조셉 에반스
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20190053119A publication Critical patent/KR20190053119A/ko
Application granted granted Critical
Publication of KR102521978B1 publication Critical patent/KR102521978B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Manufacturing & Machinery (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

시스템은 정렬 툴 및 증강 현실(AR) 이미징 디바이스를 포함한다. 정렬 툴은 포인터와 기준 마커를 가지며, 물리적 작업 공간 내에서 조작자가 들고 있다. AR 이미징 디바이스는 하나 또는 그보다 많은 센서들을 사용하여 물리적 작업 공간에서 기준 마커를 추적하고, 기준 마커의 위치 및 배향에 기초하여 물리적 작업 공간 내의 물리적 기준 위치들에서 포인터의 위치 좌표들을 결정한다. 물리적 기준 위치들은 가상 모델 내의 서로 다른 가상 기준점들과 연관된다. AR 이미징 디바이스는 가상 기준점들의 위치 좌표들을 연관된 물리적 기준 위치들의 위치 좌표들에 맞추기 위한 전달 함수를 생성하고, 가상 콘텐츠가 물리적 작업 공간에 공간적으로 등록되도록 전달 함수에 따라 디스플레이 상에 가상 콘텐츠를 디스플레이한다.

Description

증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들{SYSTEMS, METHODS, AND TOOLS FOR SPATIALLY-REGISTERING VIRTUAL CONTENT WITH PHYSICAL ENVIRONMENT IN AUGMENTED REALITY PLATFORMS}
본 개시내용의 실시예들은 일반적으로 증강 현실 플랫폼들에 관한 것으로, 보다 구체적으로는 증강 현실 플랫폼들의 물리적 환경들 또는 작업 공간들, 이를테면 항공기 또는 다른 차량들의 내부 공간에 가상 콘텐츠를 정렬하는 것에 관한 것이다.
증강 현실 플랫폼들은 물리적인 실세계 환경의 라이브 뷰를 사용자에게 보여주는 디스플레이에 가상 콘텐츠를 중첩함으로써, 물리적 환경과 가상 콘텐츠 모두의 합성 뷰를 제공하는 컴퓨터 기반 시스템들이다. 디스플레이 상에 비디오 자료로서 또는 반투명한 시스루(see-through) 디스플레이들 또는 렌즈들을 사용함으로써 라이브 뷰가 제공될 수 있어, 사용자가 디스플레이를 통해 물리적 환경을 볼 수 있다. 증강 현실은 게임, 교육 및 군대와 같은 다수의 다양한 애플리케이션들에서 유용할 수 있다. 증강 현실의 한 가지 유용한 특정 애플리케이션은 교육용 작업들을 제공하기 위한 것이다. 예를 들어, 오버레이된 가상 콘텐츠는 차량, 컴퓨터 또는 다른 기계 조립, 차량, 컴퓨터 또는 다른 기계 수리들, 의료 절차들, 가구 조립 등과 같은 특정 작업들을 수행할 때 조작자를 시각적으로 안내할 수 있다. 조작자가 물리적 환경 내에서 이동하는 경우에도, 합성 뷰 내의 가상 콘텐츠는 교육용 작업들에 대한 지원 지침을 제공하기 위해 일반적으로 물리적 환경에 정확히 정렬될 필요가 있다. 예를 들어, 가상 콘텐츠가 물리적 환경에 정확히 정렬되지 않는다면, 교육용 작업의 수행 동안 가상 콘텐츠에 의해 제공되는 지침은 사용자에게 혼란을 주고 잘못 인도할 수 있으며, 비용이 많이 드는 오류들을 초래할 수 있다.
증강 현실 플랫폼의 물리적인 실세계 환경에 가상 콘텐츠를 정렬하기 위한 하나의 공지된 방법은 조작자의 전문적 기술을 필요로 한다. 예를 들어, 사용자는 가상 객체가 물리적 환경 내의 물리적 기념물과 정렬될 때까지 키보드, 터치 패드, 제어기 디바이스, 마우스, 손 제스처들 등의 사용을 통해 가상 객체를 수동으로 평행이동하고 각을 이루도록 배향할 필요가 있을 수 있다. 더욱이, 이러한 수동 정렬은 프로세스가 조작자의 기술에 의존하고 인적 오류가 발생하기 쉽기 때문에 지루하고 시간이 오래 걸릴 뿐만 아니라 애매하고 부정확할 수 있다.
본 명세서에서 개시되는 실시예들은 이러한 그리고 다른 요인들을 고려한다. 본 개시내용의 특정 실시예들은 증강 현실 플랫폼의 물리적 작업 공간 또는 환경에 가상 콘텐츠를 정렬하기 위한 시스템을 제공한다. 이 시스템은 정렬 툴 및 증강 현실(AR: augmented-reality) 이미징 디바이스를 포함한다. 정렬 툴은 포인터 및 기준 마커를 갖는다. 정렬 툴은 물리적 작업 공간 내에서 조작자가 들도록 구성된다. AR 이미징 디바이스는 하나 또는 그보다 많은 센서들 및 하나 또는 그보다 많은 프로세서들을 포함한다. 하나 또는 그보다 많은 프로세서들은 하나 또는 그보다 많은 센서들을 사용하여 물리적 작업 공간에서 기준 마커를 추적하도록, 그리고 추적된 기준 마커의 위치 및 배향에 기초하여 물리적 작업 공간 내의 물리적 기준 위치들에서 포인터의 위치 좌표들을 결정하도록 구성된다. 물리적 기준 위치들은 가상 모델 내의 서로 다른 가상 기준점들과 연관된다. 하나 또는 그보다 많은 프로세서들은 가상 기준점들의 위치 좌표들을 연관된 물리적 기준 위치들의 위치 좌표들에 맞추기 위한 전달 함수를 생성하도록 추가로 구성된다. 하나 또는 그보다 많은 프로세서들은 가상 콘텐츠가 물리적 작업 공간에 공간적으로 등록되도록 전달 함수에 따라 디스플레이 상에 가상 콘텐츠를 디스플레이한다.
본 개시내용의 특정 실시예들은 증강 현실 플랫폼에서 가상 콘텐츠를 정렬하기 위한 방법을 제공한다. 이 방법은 증강 현실(AR) 이미징 디바이스를 사용하여 물리적 작업 공간 내에서 조작자가 들고 있는 정렬 툴 상의 기준 마커를 추적하는 단계를 포함한다. 이 방법은 물리적 작업 공간 내의 다수의 물리적 기준 위치들에서 정렬 툴의 포인터 팁의 위치 좌표들을 결정하는 단계를 포함한다. 위치 좌표들은 AR 이미징 디바이스에 의해 추적된 기준 마커의 위치 및 배향에 기초하여 결정된다. 물리적 작업 공간 내의 물리적 기준 위치들은 가상 모델 내의 서로 다른 가상 기준점들과 연관된다. 이 방법은 또한 가상 기준점들의 위치 좌표들을 연관된 물리적 기준 위치들의 위치 좌표들에 맞추기 위한 전달 함수를 생성하는 단계를 포함한다. 이 방법은 가상 콘텐츠가 물리적 작업 공간에 공간적으로 등록되도록 전달 함수에 따라 디스플레이 상에 가상 콘텐츠를 디스플레이하는 단계를 더 포함한다.
본 개시내용의 특정 실시예들은 증강 현실(AR) 이미징 디바이스를 사용하여 디스플레이 상의 물리적 작업 공간에 가상 콘텐츠를 공간적으로 등록하기 위한 정렬 툴을 제공한다. 정렬 툴은 조작자가 잡도록 구성된 핸들, 핸들에 부착된 프레임, 및 포인터를 포함한다. 프레임은 앞면 그리고 앞면과 반대쪽에 있는 뒷면을 갖는다. 프레임은 AR 이미징 디바이스에 의해 인식되도록 구성된 기준 마커를 앞면을 따라 갖는다. 포인터는 프레임의 뒷면의 후방에 배치되고, 포인터의 말단부에 있는 포인터의 팁까지 프레임으로부터 멀어지게 연장한다. 팁은 기준 마커에 대해 미리 결정된 고정 위치에 위치되어, AR 이미징 디바이스가 기준 마커의 위치 및 배향을 추적함으로써 물리적 작업 공간 내에서 팁의 위치를 결정한다.
본 개시내용의 이들 및 다른 특징들, 양상들 및 장점들은 첨부 도면들을 참조하여 다음의 상세한 설명을 읽을 때 더 잘 이해될 것이며, 도면들에서 동일한 번호들은 도면들 전반에 걸쳐 동일한 부분들을 나타낸다.
도 1은 본 개시내용의 일 실시예에 따라 물리적 작업 공간에서 가상 콘텐츠 정렬 시스템을 사용하는 조작자를 예시한다.
도 2는 본 개시내용의 일 실시예에 따른 가상 콘텐츠 정렬 시스템의 정렬 툴의 사시도이다.
도 3은 본 개시내용의 일 실시예에 따른 정렬 툴의 측면도이다.
도 4는 본 개시내용의 일 실시예에 따른 가상 콘텐츠 정렬 시스템의 블록도를 예시한다.
도 5는 본 개시내용의 일 실시예에 따라 증강 현실 플랫폼의 물리적 작업 공간에 가상 콘텐츠를 정렬하는 방법의 흐름도이다.
도 6은 본 개시내용의 실시예에 따라 디스플레이 스크린 상에 가상 모델을 디스플레이하는 디스플레이 디바이스를 예시한다.
도 7은 본 개시내용의 일 실시예에 따라 물리적 작업 공간 내에서 정렬 툴을 들고 있는 조작자를 예시한다.
도 8은 도 7에 도시된 물리적 작업 공간에서 조작자가 착용한 가상 콘텐츠 정렬 시스템의 AR 이미징 디바이스의 시야를 예시한다.
도 9는 본 개시내용의 일 실시예에 따른 항공기의 전방 사시도를 예시한다.
도 10은 본 개시내용의 일 실시예에 따른, 도 9에 도시된 항공기의 내부 객실의 평면도를 예시한다.
전술한 요약뿐만 아니라, 특정 실시예들에 대한 다음의 상세한 설명도 첨부된 도면들과 함께 읽으면 더 잘 이해될 것이다. 본 명세서에서 사용될 때, 단수로 언급되며 단수 표현이 선행되는 엘리먼트 또는 단계는, 복수의 엘리먼트들 또는 단계들을 반드시 배제하지는 않는 것으로 이해되어야 한다. 또한, "일 실시예"에 대한 언급들은 열거된 특징들을 또한 포함하는 추가 실시예들의 존재를 배제하는 것으로 해석되도록 의도되는 것은 아니다. 더욱이, 명백히 반대로 언급되지 않는 한, 특정한 특성을 갖는 엘리먼트 또는 복수의 엘리먼트들을 "포함하는" 또는 "갖는" 실시예들은 그 특성을 갖지 않는 추가 엘리먼트들을 포함할 수도 있다.
증강 현실 플랫폼의 물리적 환경에 가상 콘텐츠를 정확하고 효율적으로 정렬하며, 정렬의 정확도에 영향을 주지 않으면서 임의의 크기의 가상 콘텐츠에 사용될 수 있는 시스템 및 방법에 대한 필요성이 존재한다. 증강 현실 플랫폼의 물리적 환경에 제1 가상 객체를 정확히 정렬하며, 정렬 프로세스의 반복 또는 재교정 없이 물리적 환경에 추가 가상 객체들을 자동으로 그리고 효율적으로 정렬하는 데 사용될 수 있는 시스템 및 방법에 대한 필요성이 또한 존재한다.
이러한 필요성들을 염두에 두고, 본 개시내용의 특정 실시예들은 증강 현실 플랫폼의 물리적 작업 공간 또는 환경에 가상 콘텐츠를 정확하게 정렬하기 위한 가상 콘텐츠 정렬 시스템을 제공한다. "물리적 작업 공간"이라는 용어는 본 명세서에서, 인간인 조작자가 휴대하거나 착용하는 증강 현실(AR) 이미징 디바이스의 인사이드-아웃 감지 시스템을 통해 추적 또는 매핑될 수 있는 임의의 물리적 환경을 의미하는 데 폭넓게 사용된다. 예를 들어, 물리적 작업 공간은 벽들, 바닥 및/또는 천장으로 부분적으로 또는 전체적으로 둘러싸인 차량 또는 건물 내의 한정된 공간일 수 있다. 물리적 작업 공간은 또한 실외 공간들을 포함할 수 있다.
본 명세서에서 설명되는 하나 또는 그보다 많은 실시예들에서 설명되는 바와 같이, 가상 콘텐츠 정렬 시스템은, 조작자가 맞춤형 핸드헬드 정렬 툴을 사용하여 물리적 작업 공간 내의 특정 위치들(예컨대, 기준 위치들)을 터치하는 동안 조작자가 들고 있는 정렬 툴을 시각적으로 추적하도록 구성된다. 기준 위치들은 컴퓨팅 디바이스 상의 소프트웨어 프로그램을 사용하여 생성된 물리적 위치의 가상 모델과 같은 가상 모델의 연관된 기준점들에 대응하기 때문에, 정렬 툴에 의해 터치된 기준 위치들이 특별히 선택된다. 가상 콘텐츠 정렬 시스템은 물리적 작업 공간을 매핑하는 물리적 또는 공간적 좌표계 내에서 정렬 툴에 의해 터치된 물리적 위치들의 위치 좌표들을 결정하도록 구성된다. 공간 좌표계 내의 물리적 기준 위치들의 위치 좌표들을 가상 좌표계 내의 연관된 가상 기준점들의 위치 좌표들과 비교함으로써, 가상 좌표계를 공간 좌표계에 맞추거나 정렬하도록 전달 함수가 생성된다. 전달 함수는, 가상 콘텐츠가 물리적 작업 공간에 공간적으로 등록(예컨대, 정렬)되도록 물리적 작업 공간의 라이브 뷰와 동시에 디스플레이 상에 가상 콘텐츠를 디스플레이하는 데 사용될 수 있다. 라이브 뷰는 비디오 자료에 의해 또는 디스플레이를 통해 사용자가 물리적 작업 공간을 볼 수 있게 하는 반투명 디스플레이를 사용함으로써 제공될 수 있다.
본 명세서에서 설명되는 실시예들의 기술적 효과는 가상 환경에서의 라이브 객체들의 개선된 공동 등록을 포함한다. 본 명세서에서 설명되는 실시예들의 기술적 효과는 디스플레이 상에 가상 콘텐츠를 정렬하는 데 필요한 시간의 감소를 포함한다. 본 명세서에서 설명되는 실시예들의 기술적 효과는 물리적 환경에 가상 콘텐츠를 정렬하기 위한 조작자의 기술에 대한 의존성 감소를 포함한다. 본 명세서의 실시예들의 기술적 효과는 증강 현실 플랫폼의 물리적 환경에 가상 콘텐츠를 보다 정확하고 효율적으로 정렬하는 것을 포함하며, 정렬의 정확도에 영향을 주지 않으면서 임의의 크기의 가상 콘텐츠에 사용될 수 있다. 본 명세서에서 설명되는 실시예들의 기술적 효과는 증강 현실 플랫폼의 물리적 환경에 제1 가상 객체를 정확히 정렬하는 것을 포함하며, 정렬 프로세스의 반복 또는 재교정 없이 물리적 환경에 추가 가상 객체들을 자동으로 그리고 효율적으로 정렬하는 데 사용될 수 있다.
도 1은 일 실시예에 따라 물리적 작업 공간(102)에서 가상 콘텐츠 정렬 시스템(100)을 사용하는 조작자를 예시한다. (본 명세서에서 정렬 시스템(100)으로도 또한 지칭되는) 가상 콘텐츠 정렬 시스템(100)은 (본 명세서에서 AR 이미징 디바이스(104)로 지칭되는) 증강 현실 이미징 디바이스(104) 및 정렬 툴(106)을 포함한다. 예시된 실시예에서, 조작자는 AR 이미징 디바이스(104)와 정렬 툴(106) 모두를 휴대하고 있다. 예를 들어, AR 이미징 디바이스(104)는 조작자의 머리에 착용된 헤드 장착 디바이스이고, 정렬 툴(106)은 조작자에 의해 핸드헬드된다. 정렬 툴(106)은 툴(106)을 작업 공간(102) 내로 운반하기 위해 조작자가 쥐고 유지하는 손잡이(132)를 갖는다. 예시된 실시예에서, AR 이미징 디바이스(104)는 조작자의 머리 둘레에 결합되어 연장하는 밴드 또는 스트랩(108)을 포함하지만, 다른 실시예들에서 AR 이미징 디바이스(104)는 밴드(108) 대신에 각각의 이어 피스들을 가진 (안경에서와 같은) 사이드 암 부재들, 헬멧, 모자 등을 포함할 수 있다. 예시된 실시예에서, AR 이미징 디바이스(104)는 또한 AR 이미징 디바이스(104)가 조작자의 눈을 덮는 투명 또는 반투명 바이저(visor)(110)를 포함하는 광학적 시스루 디바이스이다. 그러나 AR 이미징 디바이스(104)는 헤드 장착 디바이스들에 한정되지 않으며, 증강 현실 플랫폼들에 대한 인사이드-아웃 추적 시스템들을 이용하도록 구성된 컴퓨터 태블릿들, 스마트폰들, 스마트워치들 등과 같은 다른 착용 가능, 휴대용 및/또는 모바일 디바이스들을 포함할 수 있다. 대안적인 실시예에서, 제1 조작자는 물리적 작업 공간(102)에서 정렬 툴(106)을 들고 있을 수 있고, 제2 조작자는 물리적 작업 공간(102)에서 AR 이미징 디바이스(104)를 착용하거나 휴대할 수 있다.
AR 이미징 디바이스(104)는 인사이드-아웃 위치 추적을 수행하도록 구성된다. 예를 들어, AR 이미징 디바이스(104)는 하나 또는 그보다 많은 이미지/비디오 카메라들, 거리 측정기들(예컨대, 근접 센서들), 적외선(IR: infrared) 센서들 등과 같은 (도 4에 도시된) 하나 또는 그보다 많은 센서들(406)을 포함한다. 조작자가 물리적 작업 공간(102) 내에서 AR 이미징 디바이스(104)를 착용하거나 휴대할 때, 센서들(406)은 작업 공간(102)의 센서 데이터(예컨대, 이미지 데이터 및/또는 근접 데이터)를 수집한다. AR 이미징 디바이스(104)는 센서 데이터를 분석하여 작업 공간(102)에 대한 AR 이미징 디바이스(104)(및 조작자)의 위치 및 배향을 추론하는 (도 4에 도시된) 하나 또는 그보다 많은 프로세서들(410)을 포함한다. 물리적 작업 공간(102)은 일련의 만곡된 프레임 부재들(122)에 의해 형성된 원통형 형상을 갖는 항공기의 동체(120) 내에 있을 수 있다. 예시된 실시예에서 동체(120)는 바닥(124), 창(126), 그리고 출입구(130)를 형성하는 뒷벽(128)을 또한 포함한다. 조작자가 동체(120) 내에서 이동할 때, AR 이미징 디바이스(104)는 동체(120)의 특정 피처들에 대한, 이를테면 출입구(130) 및/또는 창(126)에 대한 AR 이미징 디바이스(104)의 근접도 및 각도의 변화들을 추적하도록 구성된다. AR 이미징 디바이스(104) 주위에서 동체(120)의 인지된 변화들을 기초로, AR 이미징 디바이스(104)는 조작자의 움직임(예컨대, 평행이동 및/또는 회전)을 계산하고 동체(120) 내에서의 조작자의 현재 위치 및 배향을 결정한다. AR 이미징 디바이스(104)는 센서들(406)이 조작자의 위치에서부터(예컨대, 내부로부터) 주위의 작업 공간(102) 쪽으로 바깥쪽으로 "관찰"할 때 인사이드-아웃 위치 추적을 수행할 수 있다.
AR 이미징 디바이스(104)는 또한 물리적 작업 공간 또는 환경의 라이브 뷰를 보여주는 디스플레이 상에 가상 콘텐츠를 중첩함으로써 조작자에 대한 가상 콘텐츠를 디스플레이하도록 구성된다. 가상 콘텐츠는 이미지들, 심벌들, 글리프(glyph)들, 3차원 객체들 등일 수 있거나 아니면 이들을 포함할 수 있다. AR 이미징 디바이스(104)는 Microsoft™ Hololens™, DAQRI™ Smart Helmet™, Meta™ Meta II™ 등과 같이 시장에 알려진 다양한 증강 현실 특정 디바이스들 중 하나일 수 있다. 대안으로, 앞서 설명한 바와 같이, AR 이미징 디바이스(104)는 증강 현실 플랫폼들에 대한 인사이드-아웃 위치 추적을 수행하는 센서들 및 처리 능력을 갖는 태블릿 컴퓨터, 스마트폰 등일 수 있다. 일 실시예에서, 조작자가 디스플레이를 통해 실세계를 볼 수 있도록 안경 렌즈들과 유사한 기능을 하는 투명 또는 반투명 디스플레이 상에 가상 콘텐츠를 중첩함으로써 라이브 뷰가 제공될 수 있다. 다른 실시예에서는, 주변 환경의 라이브 비디오 자료를 디스플레이 디바이스 상에 디스플레이함으로써 라이브 뷰가 제공될 수 있다.
증강 현실은 수많은 애플리케이션들을 갖고 있지만, 하나 또는 그보다 많은 그러한 애플리케이션들은 작업 중에 조작자를 안내하기 위한 교육 목적으로 증강 현실을 이용한다. 이 작업은 제조, 건축, 유지보수, 검사, 훈련, 수리들 등과 관련될 수 있다. 예를 들어, 증강 현실은 작업을 통해 조작자를 안내하는 가상 교육 정보를 선택적으로 디스플레이함으로써 복잡하고 그리고/또는 어려운 노동 작업들을 안내하는 데 사용될 수 있다. 증강 현실을 사용하여 복잡하고 그리고/또는 어려운 작업들을 안내하는 것은 오류들의 수와 작업 지속기간을 줄임으로써 작업 출력을 늘리고 비용을 줄일 수 있다. 그러나 가상 콘텐츠가 물리적 환경에 적절히 정렬되지 않는다면, 증강 장면이 작업을 더욱 복잡하게 만들 수 있다. 예를 들어, 조작자는 물리적 환경에 잘못 정렬되는 교육용 가상 콘텐츠에 의해 잘못 안내되거나 적어도 혼동을 겪을 수 있다. 본 명세서에서 설명되는 정렬 시스템(100)은 증강 현실 플랫폼의 물리적 작업 공간에 가상 콘텐츠를 효율적이고 정확하게 정렬하여, 교육용 가상 정보가 조작자에게 디스플레이된 라이브 뷰 내의 물리적 작업 공간에 적절하게 공간적으로 등록됨을 보장하도록 구성된다.
AR 이미징 디바이스(104)는 물리적 작업 공간(102) 내에서 정렬 툴(106)을 추적하도록 구성된다. 정렬 툴(106)은 AR 이미징 디바이스(104)에 의해 정렬 툴(106)을 추적하는 데 사용되는 기준 마커(112)를 포함한다. 기준 마커(112)는 색상, 심벌, 이미지, 텍스트, 모양, 바코드 등과 같은 그래픽 표시이다. 예시된 실시예에서, 기준 마커(112)는 번호 기호("#")이다. AR 이미징 디바이스(104)는 하나 또는 그보다 많은 센서들(406)에 의해 캡처된 이미지 데이터에서 기준 마커(112)를 인식하고 검출하도록 구성된다(예컨대, 프로그래밍 또는 트레이닝된다). 이미지 분석을 사용하여, AR 이미징 디바이스(104)는 또한 AR 이미징 디바이스(104)에 대한 기준 마커(112)의 거리 및 각도 배향을 결정하도록 구성된다. 예를 들어, AR 이미징 디바이스(104)는 이전 이미지 데이터에서의 기준 마커(112)의 크기에 대한 기준 마커(112)의 검출된 감소된 크기에 대한 응답으로 정렬 툴(106)이 AR 이미징 디바이스(104)로부터 멀리 이동하는 것을 검출한다. 하나 또는 그보다 많은 실시예들에서, AR 이미징 디바이스(104)는 작업 공간(102) 내에서 AR 이미징 디바이스(104)의 위치 및 배향을 결정하기 위해 작업 공간(102) 내의 특정 객체들을 추적할 수 있고, AR 이미징 디바이스(104)에 대한 정렬 툴(106)의 위치 및 배향을 결정하기 위해 기준 마커(112)를 추적할 수 있다. 이 정보에 기초하여, AR 이미징 디바이스(104)는 작업 공간(102)에 대한 기준 마커(112)의 위치 및 배향을 계산할 수 있다.
도 2는 기준 마커(112)(도 1) 없이 도시된 일 실시예에 따른 정렬 툴(106)의 사시도이다. 정렬 툴(106)은 본 명세서에서 보다 상세히 설명되는 바와 같이, 물리적 작업 공간(102)(도 1)에서 기준 위치들을 수집하는 데 사용된다. 정렬 툴(106)은 손잡이(132), 프레임(202) 및 포인터(204)를 포함한다. 프레임(202)은 앞면(206) 그리고 앞면(206)과 반대쪽에 있는 뒷면(208)을 갖는다. 기준 마커(112)는 프레임(202)의 앞면(206)을 따라 장착되도록 구성된다. 예를 들어, 기준 마커(112)는 접착제, 클립 또는 다른 타입의 패스너를 통해 프레임(202)의 앞면(206)에 장착되는 종이 또는 다른 기판 상의 이미지일 수 있다. 대안적인 실시예에서, 기준 마커(112)는 프레임(202)의 앞면(206)에 통합하여 형성될 수 있는데, 이를테면 앞면(206)에 페인팅되거나, 앞면(206)을 따라 몰딩되거나, 기준 마커(112)를 둘러싸는 프레임(202) 부분들을 잘라냄으로써 형성될 수 있다.
프레임(202)은 제1 단부(210) 그리고 제1 단부(210)와 반대쪽에 있는 제2 단부(212)를 갖는다. 손잡이(132)는 제2 단부(212)에서 프레임(202)에 부착되고, 손잡이(132)의 말단부(214)까지 프레임(202)으로부터 멀어지게 연장한다. 예시된 실시예에서, 제1 단부(210)는 프레임(202)의 상단부이고, 제2 단부(212)는 하단부이다. 본 명세서에 사용되는 바와 같이, "상단," "하단," "앞," "뒤," "상부" 및 "하부"와 같은 상대적 또는 공간적 용어들은 단지 언급되는 엘리먼트들을 구별하기 위해서만 사용되며, 반드시 정렬 툴(106)의 주변 환경 또는 중력에 대한 특정 위치들 또는 배향들을 필요로 하는 것은 아니다. 예시된 실시예에서, 손잡이(132)는 프레임(202)의 제2(예컨대, 하단) 단부(212)에서부터 말단부(214)까지 선형으로 연장하는 원통형 샤프트이다. 손잡이(132)는 선택적으로, 조작자의 손을 인체 공학적으로 수용하기 위한 윤곽 둘레를 갖는다. 대안적인 실시예에서, 손잡이(132)는 만곡될 수 있고 그리고/또는 다른 형상을 가질 수 있다.
포인터(204)는 프레임(202)의 뒷면(208)의 후방에 배치되고 포인터(204)의 말단부(216)까지 프레임(202)으로부터 멀어지게 연장한다. 포인터(204)는 말단부(216)에서 한 점으로 가늘어지는 팁(218)을 포함한다. 포인터(204)는 도 3에 보다 상세히 도시된다.
도 3은 일 실시예에 따른 정렬 툴(106)의 측면도이다. 예시된 실시예에서, 포인터(204)는 프레임(202)의 뒷면(208)에서부터 말단부(216)까지 선형으로 연장한다. 일 실시예에서, 포인터(204)는 손잡이(132)의 배향에 대해 대체로 수직으로 연장한다. 예를 들어, 포인터(204)는 포인터(204)의 축과 손잡이(132)의 축 사이의 각도가 직각으로부터 + 또는 - 5도 또는 10도의 범위 이내(예컨대, 80° 내지 100°)일 수 있도록 손잡이(132)에 "대체로 수직"이다. 포인터(204)의 팁(218)은 프레임(202)에 대해 제자리에 고정되고, 프레임(202)에 대해 미리 결정된 위치에 위치된다. 예를 들어, 포인터(204)는 프레임(202)으로부터 미리 결정된 거리를 프레임(202)의 앞면(206)의 평면에 대해 미리 결정된 각도, 이를테면 90도로 연장한다. 기준 마커(112)가 프레임(202)에 장착될 때, 포인터(204)의 팁(218)은 기준 마커(112)에 대해 미리 결정된 위치에 위치된다. 기준 마커(112)에 대한 포인터(204)의 위치 및 배향이 알려져 있기 때문에, AR 이미징 디바이스(104)는 기준 마커(112)의 위치 및 배향을 추적함으로써 작업 공간(102) 내에서 포인터(204)의 팁(218)의 위치를 결정하도록 구성된다. 대안적인 실시예에서, 포인터(204)는 프레임(202)에서부터가 아니라 손잡이(132)에서부터 직접 후방으로 연장할 수 있다.
일 실시예에서, 정렬 툴(106)은 하나 또는 그보다 많은 플라스틱들 또는 다른 고분자 재료들을 포함하는 재료 조성을 갖는다. 정렬 툴(106)은 다른 실시예들에서 하나 또는 그보다 많은 금속들 또는 다른 재료들로 구성될 수 있다. 손잡이(132), 포인터(204) 및 프레임(202)은 공통 몰딩 프로세스 동안 서로 일체로 형성될 수 있고, 또는 개별적으로 형성되고 그 이후에 조립되어 정렬 툴(106)을 형성할 수 있다.
이제 다시 도 2를 참조하면, 예시된 실시예에서 정렬 툴(106)은 손잡이(132) 상에 선택 버튼(220)을 포함한다. 선택 버튼(220)은 손잡이(132)를 잡고 있는 조작자의 엄지 또는 다른 손가락에 의해 트리거되도록 구성된다. 조작자는 원통형 손잡이(132)의 내부를 향해 반경 방향 내측으로 버튼(220)을 누름으로써 버튼(220)을 트리거할 수 있다. 선택 버튼(220)은 선택적이고, 정렬 툴(106)의 하나 또는 그보다 많은 대안적인 실시예들은 버튼(220)이 없을 수 있다.
도 4는 일 실시예에 따른 가상 콘텐츠 정렬 시스템(100)의 블록도를 예시한다. 도 4에 도시된 블록도는 정렬 시스템(100) 내의 서브 컴포넌트들의 한정이 아닌 예시적인 실시예를 도시한다. 다른 실시예들에서 정렬 시스템(100)은 도 4에 예시된 컴포넌트들보다 더 적은 컴포넌트들, 추가 컴포넌트들 및/또는 다른 컴포넌트들을 포함할 수 있다.
정렬 툴(106)은 선택 버튼(220) 및 연관된 회로, 프로세서(402) 및 무선 통신 회로(404)를 포함한다. 프로세서(402) 및 무선 통신 회로(404)는 정렬 툴(106)의 (도 3에 도시된) 손잡이(132) 내에 포함될 수 있다. 프로세서(402)는 무선 통신 회로(404)의 동작을 제어하도록 구성된다. 무선 통신 회로(404)는 무선 라디오 주파수 신호들을 발생시켜 AR 이미징 디바이스(104) 및/또는 다른 컴퓨팅 디바이스로 전달(예컨대, 송신 및/또는 브로드캐스트)하기 위한 안테나 및 연관된 회로를 포함할 수 있다. 예를 들어, 무선 통신 회로(404)는 트랜시버, 송신기 등을 포함할 수 있다. 하나 또는 그보다 많은 실시예들에서, 프로세서(402)는 조작자가 선택 버튼(220)을 작동시키는 것(예컨대, 누름, 토글링, 회전 등)에 대한 응답으로, 데이터 획득 커맨드 신호를 발생시키고 AR 이미징 디바이스(104)에 무선으로 전달하도록 무선 통신 회로(404)를 제어한다. 무선 통신 회로(404)는 Bluetooth® 기술 표준 등과 같은 무선 통신 프로토콜에 따라 데이터 획득 커맨드 신호를 전달할 수 있다. 일 실시예에서, 데이터 획득 커맨드 신호는 선택 버튼(220)이 트리거될 때마다 무선 통신 회로(404)에 의해 전달된다. 데이터 획득 커맨드 신호는 선택 버튼(220)이 작동되었음을 AR 이미징 디바이스(104)에 나타내는 데이터 또는 정보를 포함하는 전자기 신호일 수 있다.
AR 이미징 디바이스(104)는 하나 또는 그보다 많은 센서들(406), 하나 또는 그보다 많은 프로세서들(410) 및 메모리(412)를 갖는 제어 유닛(408), 디스플레이 디바이스(414) 및 무선 통신 회로(416)를 포함한다. 센서들(406)은 하나 또는 그보다 많은 이미지/비디오 카메라들, 거리 측정기들(예컨대, 근접 센서들), 적외선(IR) 센서들 등을 포함할 수 있다. 센서들(406)은 AR 이미징 디바이스(104)의 주변 환경을 모니터링하고, 환경 내에서 AR 이미징 디바이스(104)의 위치 추적을 가능하게 할 뿐만 아니라, 정렬 툴(106)의 기준 마커(112)(도 1)를 추적하는 데에도 사용된다.
제어 유닛(408)의 하나 또는 그보다 많은 프로세서들(410)은 AR 이미징 디바이스(104)의 서로 다른 컴포넌트들 중 적어도 일부 컴포넌트들의 동작을 제어할 수 있다. 하나 또는 그보다 많은 프로세서들(410) 각각은 마이크로프로세서, 제어기 또는 등가 제어 회로를 포함할 수 있다. 메모리(412)는 프로세서들(410)에 의한 사용을 위해 그리고/또는 원격 통신을 위해 일시적인 또는 영구적인 기준으로 데이터를 저장하는 물리적인 비-일시적 컴퓨터 판독 가능 저장 디바이스를 포함하거나 나타낼 수 있다. 예를 들어, 하나 또는 그보다 많은 프로세서들(410)은 메모리(412) 또는 다른 비-일시적 컴퓨터 판독 가능 저장 매체에 저장된 프로그래밍된 명령들(예컨대, 소프트웨어)에 기초하여 동작할 수 있다. 메모리(412)는 랜덤 액세스 메모리(RAM: random access memory), 정적 랜덤 액세스 메모리(SRAM: static random access memory), 동적 RAM(DRAM: dynamic RAM), 다른 타입의 RAM, 판독 전용 메모리(ROM: read only memory), 플래시 메모리 등과 같은 하나 또는 그보다 많은 휘발성 및/또는 비휘발성 메모리 디바이스들을 포함할 수 있다. 메모리(412)는 센서들(406)에 의해 수집된 데이터를 적어도 임시로 저장하도록 구성될 수 있다. 예를 들어, 메모리(412)는 하나 또는 그보다 많은 카메라들에 의해 캡처된 이미지 데이터를 AR 이미징 디바이스(104) 상에 저장할 수 있다. 메모리(412)는 또한 주변 환경(예컨대, 도 1에 도시된 물리적 작업 공간(102))의 공간 좌표 기반 맵을 나타내는 매핑 데이터를 저장하는 데 사용될 수 있다. 메모리(412)는 또한 환경의 공간 맵에서 하나 또는 그보다 많은 특정 위치들의 좌표들을 나타내는 위치 데이터를 저장할 수 있다. 제어 유닛(408)은 센서들(406), 디스플레이 디바이스(414) 및 무선 통신 회로(416)에 (예컨대, 유선 또는 무선 통신 경로를 통해) 동작 가능하게 접속된다.
무선 통신 회로(416)는 정렬 툴(106)과 원격적으로 무선 통신(예컨대, 송신 및/또는 브로드캐스트)하도록, 이를테면 정렬 툴(106)로부터 데이터 획득 커맨드 신호들을 수신하도록 구성된다. 무선 통신 회로(416)는 또한 원격 컴퓨팅 디바이스와 같은 다른 디바이스와 통신하도록 구성될 수 있다. 무선 통신 회로(416)는 안테나 및 연관된 회로, 이를테면 수신기, 트랜시버 등을 포함할 수 있다.
디스플레이 디바이스(414)는 광학적 시스루 AR 이미징 디바이스(104)의 (도 1에 도시된) 투명 또는 반투명 바이저(110)에 통합될 수 있다. AR 이미징 디바이스(104)가 태블릿 컴퓨터, 스마트폰 등인 대안적인 실시예에서, 디스플레이 디바이스(414)는 AR 이미징 디바이스(104)의 모니터 또는 터치 스크린 디스플레이일 수 있다. 일 실시예에서, 하나 또는 그보다 많은 프로세서들(410)은 디스플레이 디바이스(414) 상에 증강 현실 콘텐츠, 이를테면 조작자를 둘러싸고 있는 물리적 작업 공간(102)(도 1)을 보여주는 라이브 비디오 자료 상에 중첩된 가상 객체를 디스플레이하도록 구성될 수 있다. 가상 객체는 3차원으로 디스플레이될 수 있다.
도 4에 도시된 센서들(406), 디스플레이 디바이스(414) 및 통신 회로(416)는 단지 AR 이미징 디바이스(104)의 예시적인 컴포넌트들일 뿐이며, 제어 유닛(408)은 다른 실시예들에서는 추가 컴포넌트들, 더 적은 컴포넌트들 및/또는 다른 컴포넌트들에 동작 가능하게 접속될 수 있다고 인식된다.
도 5는 일 실시예에 따라 증강 현실 플랫폼의 물리적 작업 공간에 가상 콘텐츠를 정렬하는 방법(500)의 흐름도이다. 이 방법(500)은 도 1 - 도 4에 도시된 정렬 시스템(100) 또는 그 컴포넌트들에 의해 수행될 수 있다. 예를 들어, 이 방법(500)은 AR 이미징 디바이스(104)의 하나 또는 그보다 많은 프로세서들(410)에 의해 전체적으로 또는 부분적으로 수행될 수 있다. 502에서, 가상 모델 내의 가상 기준점들의 선택이 수신된다. 가상 기준점들은 가상 모델의 별개의 이격된 점들이다. 일 실시예에서는, 적어도 3개의 가상 기준점들이 선택된다. 기준점들 중 적어도 일부는 단일 공통 선 상에 위치되지 않는다. 가상 모델은 컴퓨터 지원 설계(CAD: computer-aided design) 모델일 수 있다. 가상 모델은 항공기, 빌딩, 산업 설비 등과 같은 물리적 작업 공간을 나타낼 수 있다. 가상 기준점들 각각은 가상 좌표계 또는 기준 프레임 내에 고유 위치 좌표들을 갖는다. 일 실시예에서, 위치 좌표들은 가상 좌표계의 3개의 서로 수직인 축들을 따라 정의된 3차원 위치 좌표들이다. 일 실시예에서, 가상 기준점들은 AR 이미징 디바이스(104)와 별개이고 그로부터 멀리 있는 컴퓨팅 디바이스를 사용하여 조작자에 의해 선택된다. 가상 기준점들은 AR 이미징 디바이스(104)의 무선 통신 회로(416)(도 4)에 의해 원격 컴퓨팅 디바이스로부터 수신될 수 있다. 대안으로, 가상 모델의 가상 기준점들은 AR 이미징 디바이스(104)에 통합된 디스플레이 디바이스(414)를 사용하여 조작자에 의해 선택될 수 있다. 다른 대안적인 실시예에서, 가상 기준점들은 AR 이미징 디바이스(104) 또는 원격 컴퓨팅 디바이스를 통해 자동으로 선택될 수 있다.
도 6은 일 실시예에 따라 디스플레이 스크린(606) 상에 가상 모델(604)을 디스플레이하는 디스플레이 디바이스(602)를 예시한다. 일 실시예에서, 디스플레이 디바이스(602)는 AR 이미징 디바이스(104)로부터 멀리 떨어져 있고 조작자에 의해 가상 모델(604) 상의 3개 또는 그보다 많은 가상 기준점들을 선택하는 데 사용된다. 예를 들어, 디스플레이 디바이스(602)는 태블릿 컴퓨터일 수 있고, 디스플레이 스크린(606)은 터치 감응식 스크린일 수 있다. 디스플레이 디바이스(602)는 정렬 시스템(100)과 별개일 수 있고, 방법(500)의 502에서 가상 기준점들의 선택을 수신하는 데에는 필요하지 않을 수 있다. 다른 실시예에서, 디스플레이 디바이스(602)는 AR 이미징 디바이스(104)의 디스플레이 디바이스(414)(도 4)를 나타낼 수 있어, 가상 모델(604)이 AR 이미징 디바이스(104) 상에 디스플레이된다.
예시된 실시예에서, 가상 모델(604)은 벽(608), 천장(610), 그리고 벽(608)과 천장(610)에 장착된 다양한 컴포넌트들을 포함하는, 항공기 내의 내부 공간을 나타낸다. 컴포넌트들은 전기 디바이스들(612) 및 와이어 하니스(wire harness)(614)를 포함한다. 와이어 하니스(614)는 전기 디바이스들(612)을 전기적으로 접속하는 데 사용되는 다수의 전기 케이블들(616)을 포함한다. 디스플레이 스크린(606) 상에서 3개의 가상 기준점들(618, 620, 622)이 가상 모델(604)의 서로 다른 위치들에서 강조된다. 예를 들어, 제1 가상 기준점(618)은 천장(610)에 장착된 전기 디바이스(612)의 코너에 위치된다. 제2 가상 기준점(620)은 벽(608)에 장착된 패스너(624)의 단부에 위치되는데, 이 패스너(624)는 전기 케이블들(616) 중 하나를 제자리에 고정시킨다. 제3 가상 기준점은 벽(608)에 장착된 전기 디바이스(612)의 코너에 위치된다. 디스플레이 디바이스(602)는 가상 기준점들(618, 620, 622) 옆에 이러한 점들(618, 620, 622) 각각의 위치 좌표들을 보여준다. 가상 좌표계의 3개의 축들은 "A," "B" 및 "C"로 식별된다. 3개의 축들은 수직 축, 수평 또는 횡 축, 세로 또는 깊이 축을 나타낼 수 있다. 대안으로, 축들은 버트 라인(butt line), 워터 라인 및 스테이션 라인과 같은 항공기 축들을 나타낼 수 있다. 제1 기준점(618)은 위치 좌표들(A1, B1, C1)을 갖고, 제2 기준점(620)은 위치 좌표들(A2, B2, C2)을 가지며, 제3 기준점(622)은 위치 좌표들(A3, B3, C3)을 갖는다. 일 실시예에서, 가상 기준점들은 적어도 1미터의 거리만큼 서로 이격될 수 있고, 선택적으로는 적어도 2미터 또는 그보다 먼 거리들만큼 분리될 수 있다.
이제 도 5의 방법(500)을 다시 참조하면, 504에서 물리적 좌표계를 생성하도록 물리적 작업 공간이 매핑된다. 예를 들어, AR 이미징 디바이스(104)는 센서들(406)로부터 수신된 센서 데이터에 기초하여 AR 이미징 디바이스(104)가 위치된 물리적 작업 공간을 공간적으로 매핑하도록 구성될 수 있다. 예를 들어, AR 이미징 디바이스(104)를 가진 조작자가 물리적 작업 공간 내에서 여기저기 이동하고 있을 때, AR 이미징 디바이스(104)는 주변들을 매핑하고 물리적 작업 공간을 나타내는 물리적 좌표계 또는 기준 프레임을 생성하도록 구성될 수 있다. 물리적 좌표계에은 AR 이미징 디바이스(104)의 위치에 기초할 수 있다. 예를 들어, 매핑은 AR 이미징 디바이스(104)의 위치와 주변 환경 내의 특정 실제 객체들의 위치들 사이의 관계를 설정하여, 물리적 작업 공간을 매핑할 때, 실제 객체들에 물리적 좌표계 내의 특정 위치 좌표들이 할당된다. AR 이미징 디바이스(104)를 착용한 조작자는 선택적으로, 502에서 가상 모델 내의 가상 기준점들을 선택하는 동일한 조작자일 수 있다.
506에서, 매핑된 물리적 작업 공간 내에서 조작자가 들고 있는 정렬 툴의 기준 마커가 추적된다. 예를 들어, 도 7은 일 실시예에 따라 물리적 작업 공간(702) 내에서 정렬 툴(106)을 들고 있는 조작자를 예시한다. 예시된 실시예에서 물리적 작업 공간(702)은 항공기 내의 내부 공간이다. 항공기가 불완전한 상태일 수 있어, 내부 공간이 수리 중이다. 물리적 작업 공간(702)은 도 6에 도시된 가상 모델(604)에 대응한다. 예를 들어, 가상 모델(604)은 완성된 상태의 물리적 작업 공간(702)의 가상 표현일 수 있다. 물리적 작업 공간(702)은 벽(704)과 천장(706)을 포함한다. 벽(704)과 천장(706)에 장착된 여러 전기 디바이스들(708) 및 패스너들(710)이 있지만, 중간 상태의 와이어 하니스는 없다.
도 7에 도시된 바와 같이, 조작자는 AR 이미징 디바이스(104)를 착용하고 정렬 툴(106)을 들고 있다. AR 이미징 디바이스(104)의 센서들(406)(도 4)은 물리적 작업 공간(702) 내에서 정렬 툴(106)의 기준 마커(112)를 추적하도록 구성된다. 일 실시예에서, 조작자는 포인터(204)의 팁(218)이 도 6에 도시된 가상 모델(604)로부터의 가상 기준점들(618, 620, 622)과 연관되는, 물리적 작업 공간(702) 내의 다수의 기준 위치들 각각에 위치되도록 정렬 툴(106)을 이동시킨다. 예를 들어, 도 7에서, 조작자는 팁(218)이 벽(704) 위의 패스너(710)의 단부에서 기준 위치(714)에 배치되도록 정렬 툴(106)을 위치시킨다. 기준 위치(714)는 (도 6에 도시된) 가상 모델(604)의 벽(608)에 장착된 패스너(624)에서 제2 가상 기준점(620)과 연관된 제2 기준 위치이다.
다시 도 5를 참조하면, 508에서, 조작자 선택이 수신되는지 여부에 대한 결정이 이루어진다. 조작자 선택은 AR 이미징 디바이스(104)에 전달되는 전기 신호, 가청 명령, 제스처 등일 수 있다. 조작자 선택은 포인터(204)의 팁(218)의 현재 위치의 위치 좌표들을 수집하고 기록하도록 AR 이미징 디바이스(104)에 명령한다. 예를 들어, 조작자 선택은 조작자가 선택 버튼(220)을 누르는 것에 대한 응답으로 정렬 툴(106)의 통신 회로(404)(도 4)로부터 전달되는 데이터 획득 커맨드 신호일 수 있다. 대안으로, 조작자 선택은 AR 이미징 디바이스(104) 상의 (도시되지 않은) 마이크로폰에 의해 수신되는 조작자의 특정 음성 명령 등일 수 있다. 조작자 선택이 수신되지 않는다면, 방법(500)의 흐름은 506으로 되돌아가고, 기준 마커(112)가 계속 추적된다.
다른 한편으로, 조작자 선택이 수신된다면, 방법(500)의 흐름은 510으로 진행한다. 510에서, 기준 위치에서 정렬 툴(106)의 포인터(204)의 위치 좌표들이 수집된다. 예를 들어, 도 7을 참조하면, 조작자가 정렬 툴(106) 상의 선택 버튼(220)을 누르는 것에 대한 응답으로, AR 이미징 디바이스(104)는 포인터(204)의 팁(218)의 현재 위치에 대응하는 위치 좌표들을 수집하고 기록하도록 구성될 수 있다. AR 이미징 디바이스(104)는 AR 이미징 디바이스(104)에 대한 기준 마커(112)의 거리 및 배향을 결정하기 위해 이미지 분석에 기초하여 물리적 작업 공간(702)에서 팁(218)의 위치를 결정할 수 있다. 기준 마커(112)에 대한 팁(218)의 위치는 미리 결정되어 알려지며, 이는 AR 이미징 디바이스(104)가 AR 이미징 디바이스(104)에 대한 팁(218)의 상대적 위치를 결정할 수 있게 한다. AR 이미징 디바이스(104)는 인사이드-아웃 위치 추적을 사용하여 물리적 작업 공간(702) 내의 AR 이미징 디바이스(104)의 현재 위치 및 각도 배향을 결정하고, 더 나아가 팁(218)의 현재 위치를 결정한다.
팁(218)의 위치는 AR 이미징 디바이스(104)에 의해 매핑된 물리적 좌표계 내의 위치 좌표들로 결정된다. 예시된 실시예에서, 물리적 좌표계는좌표계는" "Y" 및 "Z"로 표현되는 3개의 서로 수직인 축들을 포함한다. 축들(X, Y, Z)은 버트 라인, 워터 라인 및 스테이션 라인과 같은 항공기 좌표 축들을 나타낼 수 있다. 도 7에 도시된 패스너(710)를 가리키는 제2 기준 위치(714)의 위치 좌표들은 (X2, Y2, Z2)로 결정된다. AR 이미징 디바이스(104)는 메모리(412)(도 4) 또는 다른 저장 디바이스 내에 제2 기준 위치(714)의 위치 좌표들을 기록할 수 있다.
기준 위치의 위치 좌표들을 수집한 후, 방법(500)은 512로 진행하고 다른 기준 위치에 대해 반복할지 여부에 대한 결정이 이루어진다. 수집 프로세스가 반복되어, 502에서 수신된 가상 모델 내의 선택된 가상 기준점들 중 하나와 연관된 각각의 기준 위치의 위치 좌표들을 수집할 수 있다. 예를 들어, 수집 프로세스가 반복되어, 도 6에 도시된 가상 기준점들(618, 620, 622)과 연관된 물리적 작업 공간(702) 내의 각각의 기준 위치에서의 위치 좌표들을 수집한다. 예를 들어, 수집 프로세스는 물리적 작업 공간(702) 내의 3개 또는 그보다 많은 기준 위치들에서의 위치 좌표들이 수집될 때까지 반복될 수 있다.
도 7을 참조하면, 조작자는 제2 기준 위치(714)에서의 위치 좌표들을 수집한 후, 물리적 작업 공간(702) 내의 정렬 툴(106)을 가상 모델(604) 내의 제3 가상 기준점(622)과 연관된 다른 기준 위치(716) 쪽으로 이동시킬 수 있다. 조작자는 포인터(204)의 팁(218)이 도 6에 도시된 가상 모델(604)의 벽(608)에 장착된 전기 디바이스(612)에 대응하는, 벽(704) 위의 전기 디바이스(708)의 코너에 놓이도록 정렬 툴(106)을 이동시킨다. AR 이미징 디바이스(104)는 (506에서) 기준 마커(112)를 계속 추적하고, (508에서) 조작자 선택을 수신하는 것에 대한 응답으로, 물리적 좌표계 내의 기준 위치(716)의 위치 좌표들을 결정한다. 예를 들어, 제3 기준 위치(716)에 대한 위치 좌표들은 (X3, Y3, Z3)로 도시된다. 수집 프로세스가 다시 반복되어, 가상 모델(604) 내의 제1 가상 기준점(618)과 연관된 제1 기준 위치(718)의 위치 좌표들을 수집한다. 제1 기준 위치(718)에서의 좌표들은 (X1, Y1, Z1)이다. 물리적 기준 위치들(714, 716, 718)의 위치 좌표들은 (물리적 기준 위치들(714, 716, 718) 각각이 대응하는 가상 기준점(620, 622, 618)과 연관되는 한) 임의의 순서로 수집될 수 있다.
도 5의 방법(500)을 참조하면, 서로 다른 가상 기준점들(618, 620, 622)에 대응하는 기준 위치들(714, 716, 718) 각각의 위치 좌표들이 결정되면, 방법(500)은 514로 진행하여 물리적 기준 위치들의 위치 좌표들이 대응하는 가상 기준점들의 위치 좌표들과 함께 그룹화된다. 예를 들어, AR 이미징 디바이스(104)의 하나 또는 그보다 많은 프로세서들(410)은 가상 모델(604) 내의 제1 가상 기준점(618)의 위치 좌표들(A1, B1, C1)을 물리적 작업 공간(702) 내의 제1 기준 위치(718)의 위치 좌표들(X1, Y1, Z1)과 함께 그룹화할 수 있다. 하나 또는 그보다 많은 프로세서들(410)은 또한 위치 좌표들(A2, B2, C2)을 좌표들(X2, Y2, Z2)과 함께, 그리고 위치 좌표들(A3, B3, C3)을 좌표들(X3, Y3, Z3)과 함께 그룹화한다. 가상 기준점들(618, 620, 622)의 위치 좌표들은 물리적 기준 위치들(714, 716, 718)의 위치 좌표들이 정의된 물리적 좌표계와는 다른 가상 좌표계 내에 정의되는 것으로 인식된다.
516에서, 가상 기준점들의 위치 좌표들을 물리적 기준 위치들의 위치 좌표들에 맞추기 위한 전달 함수가 생성된다. 예를 들어, AR 이미징 디바이스(104)의 하나 또는 그보다 많은 프로세서들(410)은 점 쌍들에 최소 제곱 피트 알고리즘(least squares fit algorithm) 등과 같은 알고리즘을 이용할 수 있다. 하나 또는 그보다 많은 프로세서들(410)은 개개의 점 쌍들 사이의 오류들을 줄이기 위해 가상 좌표계의 회전 및 평행이동을 포함하는 변환 또는 전달 함수를 결정할 수 있고, 이로써 가상 좌표계를 물리적 좌표계에 정렬 또는 공간적으로 등록할 수 있다.
518에서, 도 6에 도시된 가상 모델(604) 및/또는 다른 가상 콘텐츠가 디스플레이 상의 물리적 작업 공간과 정렬되도록 전달 함수에 따라 가상 모델 및/또는 콘텐츠가 디스플레이된다. 예를 들어, 가상 모델(604)의 적어도 일부는 물리적 작업 공간의 라이브 뷰 상에 중첩될 수 있다. 가상 모델(604)은 전달 함수를 생성하는 데 사용되지만, 전달 함수는 가상 모델(604)을 디스플레이하는 대신에 또는 그에 추가하여 가상 모델(604)과는 다른 가상 콘텐츠를 디스플레이하는 데 사용될 수 있다. 가상 모델(604) 및/또는 다른 가상 콘텐츠는 3차원 이미지들 또는 객체들로서 디스플레이될 수 있다. 디스플레이는 AR 이미징 디바이스(104)의 바이저(110)에 통합되고 AR 이미징 디바이스(104)를 착용한 조작자가 볼 수 있는 디스플레이 디바이스(414)일 수 있다. 대안으로, 가상 모델(604) 및/또는 다른 가상 콘텐츠는 통합된 디스플레이 디바이스(414) 상에 가상 콘텐츠를 디스플레이하는 대신에 또는 그에 추가하여, 개별 및 별개의 디스플레이 디바이스 상에 디스플레이될 수 있다.
예를 들어, 도 8은 도 7에 도시된 물리적 작업 공간(702)에서 조작자가 착용한 AR 이미징 디바이스(104)의 시야(802)를 예시한다. 시야(802)는 AR 이미징 디바이스(104)의 통합된 디스플레이 디바이스(414)(도 4) 상에서 조작자가 보는 것을 표시한다. 시야(802)는 도 6에 도시된 가상 모델(604)의 와이어 하니스(614)의 추가와 함께, 도 7에 도시된 바와 같은 중간 상태의 물리적 작업 공간(702)을 도시한다. 예를 들어, 시야(802) 내의 물리적 작업 공간(702)은 라이브 비디오 자료일 수 있고, 와이어 하니스(614)는 라이브 비디오 자료에 중첩되는 3차원 가상 이미지 또는 객체일 수 있다. 가상 와이어 하니스(614)는 도 8에서 팬텀(phantom)으로 도시된다. 가상 와이어 하니스(614)는 전달 함수를 적용하여 와이어 하니스(614)를 가상 좌표계로부터 물리적 좌표계로 정렬하고 공간적으로 등록함으로써 중첩된다. 도 8에 도시된 바와 같이, 와이어 하니스(614)는 가상이지만(예컨대, 물리적 작업 공간(702)에 물리적으로 위치되지는 않지만), 가상 와이어 하니스(614)는 물리적 작업 공간(702) 내의 전기 디바이스들(708) 및 패스너들(710)에 정확하게 정렬된다. 물리적 작업 공간(702)의 구성 중에 물리적 작업 공간(702)에 와이어 하니스(614)를 디스플레이함으로써, AR 이미징 디바이스(104)는 물리적 작업 공간(702) 내에 와이어 하니스의 실제 현실의 전기 케이블들을 설치할 방법을 조작자에게 지시할 수 있다.
방법(500)의 516에서 생성된 전달 함수는 가상 모델(604) 이외의 추가 가상 콘텐츠를 디스플레이하는 데 사용될 수 있다고 인식된다. 예를 들어, 전달 함수를 생성하는 데 사용된 가상 기준점들이 가상 모델로부터 선택되었지만, 전달 함수는 가상 좌표계를 사용하는 임의의 가상 콘텐츠를 물리적 작업 공간의 물리적 좌표계에 정렬하는 데 사용될 수 있다. 전달 함수는 가상 좌표계를 물리적 좌표계로 교정한다. 일단 교정이 알려진다면, 예를 들어, 항공기의 다른 부분들을 나타내는 다른 가상 모델들로부터의 가상 콘텐츠를 물리적 작업 공간에 공간적으로 등록하기 위해 이러한 다른 가상 모델들에 전달 함수가 적용될 수 있다.
다시 도 5를 참조하면, 520에서, 조작자가 물리적 작업 공간 내에서 이동했는지 여부가 결정된다. 예를 들어, AR 이미징 디바이스(104)의 센서들(406)(도 4)은 인사이드-아웃 위치 추적을 사용하여 물리적 작업 공간 내에서 AR 이미징 디바이스(104)의 위치를 계속 모니터링한다. 위치 추적에 기초하여, AR 이미징 디바이스(104)는 이를테면, 돌거나(예컨대, 회전) 보행(예컨대, 평행이동)함으로써 조작자가 물리적 작업 공간에 대해 언제 이동하는지를 결정할 수 있다. 조작자가 이동했다고 결정된다면, 흐름은 522로 진행하여 디스플레이된 가상 콘텐츠의 위치 및/또는 배향이 수정된다. 예를 들어, 도 8을 참조하면, AR 이미징 디바이스(104)는 시야(802)에서 가상 와이어 하니스(614)가 조작자에게 현실적으로 나타나게, AR 이미징 디바이스(104)의 인지된 회전 및/또는 평행이동에 기초하여 물리적 작업 공간(702)에 대한 가상 와이어 하니스(614)의 디스플레이된 위치 및 배향을 수정하도록 구성된다. 예를 들어, AR 이미징 디바이스(104)는 물리적 좌표계 내에서 AR 이미징 디바이스(104)의 업데이트된 위치 및 각도 배향을 결정할 수 있고, 가상 콘텐츠(예컨대, 와이어 하니스(614))가 이미 물리적 좌표계 내에 공간적으로 등록되어 있기 때문에, 가상 콘텐츠의 위치 및 배향에 유사한 변경들을 가할 수 있다.
가상 콘텐츠가 디스플레이되는 방법의 임의의 변경들은 물리적 작업 공간에 대한 AR 이미징 디바이스(104)의 위치 추적에만 기초한다고 인식된다. 증강 현실 플랫폼에서 가상 콘텐츠를 정렬하기 위한 공지된 일부 방법들과는 달리, 본 명세서에서 설명된 정렬 시스템(100)은 가상 콘텐츠를 물리적 작업 공간에 정렬시킬 방법을 결정하기 위해 작업 공간 내의 물리적 마커의 위치 및 배향을 추적하는 것에 의존하지 않는다. 예를 들어, 물리적 환경에서 지정된 마커를 시각적으로 추적하는 현재 AR 시스템들은 마커의 위치와 회전 모두를 추적하는 것에 의존한다. 그러나 자동화된 AR 시스템들은 특히 마커의 회전과 관련하여 추적 오류들이 발생하기 쉽다. 이러한 추적 오류들은 가상 AR 콘텐츠가 물리적 환경에 대해 잘못 정렬되게 한다. 점점 더 확연해지는 레버 암 효과들로 인해, 마커 원점으로부터 상당한 거리들(예컨대, 적어도 3미터)에서 렌더링된 가상 콘텐츠에 대해 가상 콘텐츠 정렬 오류들이 확대된다(예컨대, 작은 추적 오류들이 마커로부터의 거리에 비례하여 확대된다). 본 명세서에 설명된 정렬 시스템(100)은 물리적 마커의 위치 및 회전 추적에 의존하지 않으므로, 정렬 시스템(100)은 마커 추적 오류들에 의해 야기된 가상 콘텐츠 오정렬을 겪지 않는다.
도 9는 본 개시내용의 일 실시예에 따른 항공기(10)의 전방 사시도를 예시한다. 항공기(10)는 도 7 및 도 8을 참조로 앞서 도시 및 설명한 항공기의 구현일 수 있다. 항공기(10)는 예를 들어, 2개의 터보 팬 엔진들(14)을 포함할 수 있는 추진 시스템(12)을 포함한다. 선택적으로, 추진 시스템(12)은 도시된 것보다 더 많은 엔진들(14)을 포함할 수 있다. 엔진들(14)은 항공기(10)의 날개들(16)이 갖고 있다. 다른 실시예들에서, 엔진들(14)은 동체(18) 및/또는 꼬리날개(20)가 갖고 있을 수 있다. 꼬리날개(20)는 또한 수평 안정기들(22) 및 수직 안정기들(24)을 지지할 수 있다. 항공기(10)의 동체(18)는 내부 객실을 한정한다.
도 10은 본 개시내용의 일 실시예에 따른 (도 9에 도시된) 항공기(10)의 내부 객실(30)의 상위 평면도를 예시한다. 내부 객실(30)은 동체(18) 내에 있다. 예를 들어, 하나 또는 그보다 많은 동체 벽 부재들(62)이 내부 객실(30)을 한정할 수 있다. 내부 객실(30)은 앞쪽 섹션(33), 1등석 섹션(34), 비즈니스석 섹션(36), 앞쪽 갤리 스테이션(galley station)(38), 비즈니스 섹션(40)(예컨대, 확장된 이코노미 또는 2등석 섹션), 표준 이코노미 또는 2등석 섹션(42), 및 다수의 화장실들 및 갤리 스테이션들을 포함할 수 있는 후미 섹션(44)을 포함하는 다수의 섹션들 또는 구역들을 포함한다. 내부 객실(30)은 도시된 것보다 더 많은 또는 더 적은 섹션들 및 구역들을 포함할 수 있다고 이해되어야 한다. 예를 들어, 내부 객실(30)은 1등석 섹션을 포함하지 않을 수 있으며, 도시된 것보다 더 많은 또는 더 적은 갤리 스테이션들을 포함할 수 있다. 섹션들 각각은 등급 칸막이 조립체들을 포함할 수 있는 객실 전환 영역(46)에 의해 분리될 수 있다. 머리 위 짐칸 선반 조립체들이 내부 객실(30) 전체에 걸쳐 위치될 수 있다.
도 10에 도시된 바와 같이, 내부 객실(30)은 후미 섹션(44)으로 이어지는 2개의 통로들(50, 52)을 포함한다. 선택적으로, 내부 객실(30)은 도시된 것보다 더 적은 또는 더 많은 통로들을 가질 수 있다. 예를 들어, 내부 객실(30)은 후미 섹션(44)으로 이어지는 내부 객실(30)의 중앙을 가로질러 연장하는 단일 통로를 포함할 수 있다. 내부 객실(30)은 내부 객실(30)에 걸쳐 이어지며 일반적으로 통로들(50, 52)에 걸쳐 연장하는 좌석들(54)의 행들(53)을 포함한다. 좌석 섹션들의 열들(55, 57, 59)은 행들(53)에 수직으로 연장한다. 각각의 좌석 섹션은 하나 또는 그보다 많은 좌석들(54)을 포함할 수 있다. 열들(55, 57, 59)은 일반적으로 통로들(50, 52)과 평행하게 이어진다. 특정 섹션 또는 구역은 좌석 섹션들의 임의의 수의 열들(55, 57, 59)을 포함할 수 있다. 도 10에 도시된 바와 같이, 적어도 하나의 구역은 좌석 섹션들의 3개의 열들(55, 57, 59)을 포함한다. 그러나 각각의 구역은 3개의 열들보다 더 많은 또는 더 적은 열을 포함할 수 있다.
내부 객실(30)은 본 명세서에서 설명된 증강 현실 플랫폼에서 가상 콘텐츠를 정렬하는 정렬 시스템(100) 및 방법(500)의 하나 또는 그보다 많은 실시예들을 사용하여 구성될 수 있다. 예를 들어, 조작자는 AR 이미징 디바이스(104)를 착용하며 동체(10) 및/또는 그의 내부 객실(30)의 구성 중에 동체(10) 내에서 정렬 툴(106)을 들고 있을 수 있다. 도 7에 도시된 물리적 작업 공간(702)의 벽(704)과 천정(706)은 도 10에 도시된 동체 벽 부재들(62)일 수 있다.
대안으로, 항공기 대신에, 정렬 시스템(100)의 실시예들은 다양한 다른 차량들(예컨대, 자동차들, 버스들, 기관차들 및 객차들, 해상 선박 및 우주선)에, 산업 시설들, 주택들 등에 사용될 수 있다.
도 1 - 도 10을 참조하면, 본 개시내용의 실시예들은 가상 콘텐츠 정렬 시스템 및 방법뿐만 아니라, 방법의 수행 중에 시스템에 의해 사용되는 정렬 툴을 제공한다. 시스템 및 방법의 실시예들은 증강 현실 플랫폼들의 실세계 환경과 가상 콘텐츠의 정확한 정렬을 제공하도록 구성된다. 정렬 시스템은 정렬 정확도에 영향을 주지 않으면서 임의의 크기의 가상 콘텐츠에 사용될 수 있다. 예를 들어, 시스템 및 방법은 물리적 환경의 물리적 좌표계로 가상 좌표계를 교정하기 위한 전달 함수를 생성하여, 물리적 좌표계의 원점으로부터의 가상 객체의 크기 및 거리가 정렬 정확도에 영향을 미치지 않는다. 전달 함수는 그 후에 추가 가상 콘텐츠에 적용되어, 정렬 방법을 다시 수행하지 않고도 가상 콘텐츠를 물리적 환경에 정확하게 정렬할 수 있다. 예를 들어, 전달 함수는 동일한 가상 좌표계 내의 임의의 가상 콘텐츠를 물리적 환경에 정렬하는 데 사용될 수 있기 때문에, 조작자가 전달 함수를 생성한 후에 추가 물리적 기준 위치들의 위치 좌표들을 수집하기 위해 정렬 툴을 이용할 필요가 없다.
최상부, 최하부, 하부, 중간, 측면, 수평, 수직, 전방 등과 같은 다양한 공간적 그리고 방향적 용어들이 본 개시내용의 실시예들을 설명하는데 사용될 수 있지만, 이러한 용어들은 단지 도면들에 도시된 배향들에 관해 사용될 뿐이라고 이해된다. 배향들은, 상위 부분이 하위 부분이 되고, 그 반대가 되고, 수평이 수직이 되는 등이 이루어지도록, 반전되거나 회전되거나 아니면 변경될 수 있다.
본 명세서에서 사용된 바와 같이, 작업 또는 동작을 수행"하도록 구성되는" 구조, 제한 또는 엘리먼트는 작업 또는 동작에 대응하는 식으로 특히 구조적으로 형성, 구성 또는 적응된다. 명확성을 위해 그리고 혼선을 피하기 위해, 단지 작업 또는 동작을 수행하도록 수정되는 것만이 가능한 대상이 본 명세서에서 사용되는 바와 같이 작업 또는 동작을 수행"하도록 구성되는" 것은 아니다.
다양한 실시예들은 첨부된 도면들과 함께 읽으면 더 잘 이해될 것이다. 도면들이 다양한 실시예들의 기능 블록들의 도면들을 예시하는 한, 기능 블록들이 반드시 하드웨어 회로 사이의 구분을 나타내는 것은 아니다. 따라서 예를 들어, 기능 블록들(예컨대, 프로세서들, 제어기들 또는 메모리들) 중 하나 또는 그보다 많은 기능 블록들은 단일 부품의 하드웨어(예컨대, 범용 신호 프로세서 또는 랜덤 액세스 메모리, 하드디스크 등) 또는 여러 부품들의 하드웨어로 구현될 수 있다. 마찬가지로, 임의의 프로그램들은 독립형 프로그램들일 수 있고, 운영 시스템의 서브 루틴들로서 통합될 수 있고, 설치된 소프트웨어 패키지 내의 기능들일 수 있는 식이다. 다양한 실시예들은 도면들에 도시된 배치들 및 수단에 한정되는 것은 아니라고 이해되어야 한다.
위의 설명은 한정이 아닌 예시인 것으로 의도된다고 이해되어야 한다. 예를 들어, 위에서 설명한 실시예들(및/또는 그것들의 양상들)은 서로 결합하여 사용될 수도 있다. 추가로, 특정 상황이나 재료를 본 개시내용의 다양한 실시예들의 범위를 벗어나지 않으면서 이들의 교시들에 적응시키도록 많은 변형들이 이루어질 수도 있다. 본 명세서에서 설명한 재료들의 치수들 및 타입들은 본 개시내용의 다양한 실시예들의 파라미터들을 정의하는 것으로 의도되지만, 실시예들은 결코 한정이 아니며 예시적인 실시예들이다. 상기 설명의 검토시 많은 다른 실시예들이 당해 기술분야에서 통상의 지식을 가진 자들에게 명백할 것이다. 따라서 본 개시내용의 다양한 실시예들의 범위는 첨부된 청구항들을 참조로, 이러한 청구항들에 권리가 부여되는 등가물들의 전체 범위와 함께 결정되어야 한다. 첨부된 청구항들에서, "포함하는(including)" 및 "여기서(in which)"라는 용어들은 "포함하는(comprising)" 및 "여기서(wherein)"라는 각각의 용어들의 평이한 영어 등가물들로서 사용된다. 더욱이, "제1," "제2" 그리고 "제3" 등의 용어들은 단지 라벨들로서 사용될 뿐이며, 이들의 대상들에 대해 수치 요건들을 부과하는 것으로 의도되는 것은 아니다. 또한, 다음 청구항들의 한정들은 수단+기능 포맷으로 작성되지 않으며, 이러한 청구항 한정들이 추가 구조가 없는 기능의 서술이 뒤따르는 "~을 위한 수단"이라는 문구를 명백히 사용하지 않는 한 그리고 사용할 때까지 35 U.S.C. § 112(f)를 기반으로 해석되는 것으로 의도되는 것은 아니다.
이러한 서면 기술은 최선 모드를 포함하는 본 개시내용의 다양한 실시예들을 개시하기 위해 그리고 또한 당해 기술분야에서 통상의 지식을 가진 임의의 자가 임의의 디바이스들 또는 시스템들을 제작하여 사용하고 임의의 통합된 방법들을 수행하는 것을 비롯해 본 개시내용의 다양한 실시예들을 실시할 수 있게 하기 위해 예들을 사용한다. 본 개시내용의 다양한 실시예들의 특허 가능 범위는 청구항들에 의해 정의되고, 당해 기술분야에서 통상의 지식을 가진 자들에게 생각나는 다른 예들을 포함할 수도 있다. 그러한 다른 예들은 그 예들이 청구항들의 문언과 다르지 않은 구조적 엘리먼트들을 갖는다면, 또는 그 예들이 청구항들의 문언과 사소한 차이들을 갖는 동등한 구조적 엘리먼트들을 포함한다면, 청구항들의 범위 내에 있는 것으로 의도된다.
추가로, 본 개시내용은 다음 조항들에 따른 실시예들을 포함한다:
1. 시스템은:
포인터 및 기준 마커를 갖는 정렬 툴 ― 정렬 툴은 물리적 작업 공간 내에서 조작자가 들도록 구성됨 ―; 및
하나 또는 그보다 많은 센서들 및 하나 또는 그보다 많은 프로세서들을 포함하는 증강 현실(AR) 이미징 디바이스를 포함하며, 하나 또는 그보다 많은 프로세서들은 하나 또는 그보다 많은 센서들을 사용하여 물리적 작업 공간에서 기준 마커를 추적하도록, 그리고 추적된 기준 마커의 위치 및 배향에 기초하여 물리적 작업 공간 내의 물리적 기준 위치들에서 포인터의 위치 좌표들을 결정하도록 구성되고, 물리적 기준 위치들은 가상 모델 내의 서로 다른 가상 기준점들과 연관되며,
하나 또는 그보다 많은 프로세서들은 가상 기준점들의 위치 좌표들을 연관된 물리적 기준 위치들의 위치 좌표들에 맞추기 위한 전달 함수를 생성하도록, 그리고 가상 콘텐츠가 물리적 작업 공간에 공간적으로 등록되게 전달 함수에 따라 디스플레이 상에 가상 콘텐츠를 디스플레이하도록 추가로 구성된다.
2. 조항 1의 시스템에서, 물리적 기준 위치들의 위치 좌표들은 공간 좌표계의 3개의 서로 수직인 축들을 따라 정의된다.
3. 조항 1의 시스템에서, 하나 또는 그보다 많은 프로세서들은 하나 또는 그보다 많은 센서들에 의해 획득된 센서 데이터에 기초하여 물리적 작업 공간을 매핑하는 공간 좌표계를 생성하도록 구성되며, 물리적 기준 위치들에서의 포인터의 위치 좌표들이 공간 좌표계 내에 정의된다.
4. 조항 1의 시스템에서, AR 이미징 디바이스는 물리적 작업 공간 내에서 정렬 툴을 들고 있는 조작자가 착용하도록 구성된 광학적 시스루 헤드 장착 디바이스이며, 디스플레이는 AR 이미징 디바이스에 통합되고 AR 이미징 디바이스를 착용한 조작자가 볼 수 있다.
5. 조항 1의 시스템에서, 물리적 작업 공간은 항공기의 내부 공간이고, 디스플레이 상에 디스플레이되는 가상 콘텐츠는 항공기의 하나 또는 그보다 많은 부분들의 가상 표현이다.
6. 조항 1의 시스템에서, 정렬 툴은 선택 버튼 및 무선 통신 회로를 포함하고, 정렬 툴은 조작자가 선택 버튼을 누르는 것에 대한 응답으로 데이터 획득 커맨드 신호를 무선으로 전달하도록 구성된다.
7. 조항 6의 시스템에서, AR 이미징 디바이스의 하나 또는 그보다 많은 프로세서들은 정렬 툴로부터 데이터 획득 커맨드 신호를 수신하는 것에 대한 응답으로 물리적 기준 위치들 각각에서 포인터의 위치 좌표들을 결정하도록 구성된다.
8. 조항 1의 시스템에서, 물리적 기준 위치들은 물리적 작업 공간 내에서 적어도 2미터씩 서로 이격되는 적어도 3개의 위치들을 포함한다.
9. 조항 1의 시스템에서, 정렬 툴은 프레임 및 프레임에 부착되어 프레임으로부터 연장하는 손잡이를 더 포함하며, 손잡이는 정렬 툴을 들고 있는 조작자가 잡도록 구성되고, 프레임은 앞면 그리고 앞면과 반대쪽에 있는 뒷면을 포함하며, 기준 마커는 프레임의 제1 면에 장착되고, 정렬 툴의 포인터는 프레임의 뒷면의 후방에 배치되고, 포인터의 말단부에 있는 포인터의 팁까지 프레임으로부터 멀어지게 연장하며, 팁은 기준 마커에 대해 미리 결정된 고정 위치에 위치되어, AR 이미징 디바이스가 기준 마커의 위치 및 배향을 기초로 물리적 작업 공간 내에서 팁의 위치를 결정한다.
10. 방법은:
증강 현실(AR) 이미징 디바이스를 사용하여 물리적 작업 공간 내에서 조작자가 들고 있는 정렬 툴 상의 기준 마커를 추적하는 단계;
물리적 작업 공간 내의 다수의 물리적 기준 위치들에서 정렬 툴의 포인터 팁의 위치 좌표들을 결정하는 단계 ― 위치 좌표들은 AR 이미징 디바이스에 의해 추적된 기준 마커의 위치 및 배향에 기초하여 결정되고, 물리적 작업 공간 내의 물리적 기준 위치들은 가상 모델 내의 서로 다른 가상 기준점들과 연관됨 ―;
가상 기준점들의 위치 좌표들을 연관된 물리적 기준 위치들의 위치 좌표들에 맞추기 위한 전달 함수를 생성하는 단계; 및
가상 콘텐츠가 물리적 작업 공간에 공간적으로 등록되도록 전달 함수에 따라 디스플레이 상에 가상 콘텐츠를 디스플레이하는 단계를 포함한다.
11. 조항 10의 방법에서, 디스플레이는 AR 이미징 디바이스에 통합된다.
12. 조항 10의 방법에서, 디스플레이 상에 디스플레이되는 가상 콘텐츠는 가상 모델과는 다르다.
13. 조항 10의 방법은, 정렬 툴 상의 기준 마커를 추적하기 전에 공간 좌표계를 생성하기 위해 AR 이미징 디바이스를 사용하여 물리적 작업 공간을 매핑하는 단계를 더 포함하며, 물리적 기준 위치들의 위치 좌표들이 공간 좌표계 내에 정의된다.
14. 조항 10의 방법에서, 물리적 기준 위치들에서의 포인터 팁의 위치 좌표들은 각각, 조작자에 의한 선택을 수신하는 것에 대한 응답으로 수집된다.
15. 조항 10의 방법에서, 물리적 기준 위치들은 물리적 작업 공간 내의 적어도 3개의 위치들을 포함한다.
16. 조항 10의 방법에서, AR 이미징 디바이스는 하나 또는 그보다 많은 프로세서들을 포함하는 광학적 시스루 헤드 장착 디바이스이며, 하나 또는 그보다 많은 프로세서들은 다수의 물리적 기준 위치들에서의 포인터 팁의 위치 좌표들을 결정하고 전달 함수를 생성한다.
17. 증강 현실(AR) 이미징 디바이스를 사용하여 디스플레이 상의 물리적 작업 공간에 가상 콘텐츠를 공간적으로 등록하기 위한 정렬 툴로서, 이 정렬 툴은:
조작자가 잡도록 구성된 핸들;
손잡이에 부착된 프레임 ― 프레임은 앞면 그리고 앞면과 반대쪽에 있는 뒷면을 갖고, 프레임은 AR 이미징 디바이스에 의해 인식되도록 구성된 기준 마커를 앞면을 따라 가짐 ―; 및
프레임의 뒷면의 후방에 배치되고, 포인터의 말단부에 있는 포인터의 팁까지 프레임으로부터 멀어지게 연장하는 포인터를 포함하며, 팁은 기준 마커에 대해 미리 결정된 고정 위치에 위치되어, AR 이미징 디바이스가 기준 마커의 위치 및 배향을 추적함으로써 물리적 작업 공간 내에서 팁의 위치를 결정한다.
18. 조항 17의 정렬 툴에서, 포인터는 선형으로 연장하고, 팁은 점점 가늘어진다.
19. 조항 17의 정렬 툴은, 손잡이 상의 선택 버튼 및 선택 버튼에 동작 가능하게 접속된 무선 통신 회로를 더 포함하고, 무선 통신 회로는 선택 버튼의 작동에 대한 응답으로 AR 이미징 디바이스에 데이터 획득 커맨드 신호를 무선으로 전달하도록 구성된다.
20. 조항 17의 정렬 툴에서, 손잡이는 선형이고 포인터에 대해 대체로 수직으로 연장한다.

Claims (15)

  1. 시스템(100)으로서,
    포인터(204) 및 기준 마커(fiducial marker)(112)를 갖는 정렬 툴(106) ― 상기 정렬 툴은 물리적 작업 공간(102) 내에서 조작자가 들도록 구성됨 ―; 및
    하나 이상의 센서들(406) 및 하나 이상의 프로세서들(410)을 포함하는 증강 현실(AR: augmented-reality) 이미징 디바이스(104)를 포함하며,
    상기 하나 이상의 프로세서들은 상기 하나 이상의 센서들을 사용하여 상기 물리적 작업 공간에서 상기 기준 마커를 추적하도록, 그리고 추적된 상기 기준 마커의 위치 및 배향에 기초하여 상기 물리적 작업 공간 내의 복수의 물리적 기준 위치들(714, 716, 718) 각각에서 물리적 좌표계에서의 상기 포인터의 위치 좌표들을 결정하도록 구성되고,
    상기 물리적 기준 위치들 각각은 가상 모델(604) 내의 서로 다른 대응하는 가상 기준점(618, 620, 622)과 연관되며, 상기 가상 기준점들은 상기 가상 모델의 가상 좌표계에서의 서로 다른 각각의 위치 좌표들을 가지며,
    상기 하나 이상의 프로세서들은 상기 가상 기준점들의 위치 좌표들과 상기 연관된 물리적 기준 위치들의 위치 좌표들 간의 오프셋들을 줄여 상기 가상 좌표계를 상기 물리적 좌표계에 정합시키기 위한 전달 함수를 생성하도록 추가로 구성되고, 상기 하나 이상의 프로세서들은 가상 콘텐츠가 상기 물리적 작업 공간에 공간적으로 정합되게 상기 전달 함수에 따라 디스플레이(606) 상에 상기 가상 콘텐츠를 디스플레이하도록 추가로 구성되는,
    시스템(100).
  2. 제1항에 있어서,
    상기 물리적 기준 위치들(714, 716, 718)의 위치 좌표들은 공간 좌표계의 3개의 서로 수직인 축들을 따라 정의되는,
    시스템(100).
  3. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 프로세서들(410)은 상기 하나 이상의 센서들(406)에 의해 획득된 센서 데이터에 기초하여 상기 물리적 좌표계 내에 상기 물리적 작업 공간(102)을 매핑하도록 구성되는,
    시스템(100).
  4. 제1항에 있어서,
    상기 AR 이미징 디바이스(104)는 상기 물리적 작업 공간(102) 내에서 상기 정렬 툴(106)을 들고 있는 조작자가 착용하도록 구성된 광학적 시스루(see-through) 헤드 장착 디바이스이며,
    상기 디스플레이(606)는 상기 AR 이미징 디바이스에 통합되고 상기 AR 이미징 디바이스를 착용한 조작자가 볼 수 있는,
    시스템(100).
  5. 제1항에 있어서,
    상기 물리적 작업 공간(102)은 항공기(10)의 내부 공간이고,
    상기 디스플레이(606) 상에 디스플레이되는 가상 콘텐츠는 상기 항공기의 하나 이상의 부분들의 가상 표현인,
    시스템(100).
  6. 제1항에 있어서,
    상기 정렬 툴(106)은 선택 버튼(220) 및 무선 통신 회로(404)를 포함하고,
    상기 정렬 툴은 상기 조작자가 상기 선택 버튼을 누르는 것에 대한 응답으로 데이터 획득 커맨드 신호를 무선으로 전달하도록 구성되는,
    시스템(100).
  7. 제6항에 있어서,
    상기 AR 이미징 디바이스(104)의 하나 이상의 프로세서들(410)은 상기 정렬 툴(106)로부터 상기 데이터 획득 커맨드 신호를 수신하는 것에 대한 응답으로 상기 물리적 기준 위치들(714, 716, 718) 각각에서 상기 포인터(204)의 위치 좌표들을 결정하도록 구성되는,
    시스템(100).
  8. 제1항에 있어서,
    상기 물리적 기준 위치들(714, 716, 718)은 상기 물리적 작업 공간(102) 내에서 적어도 2미터씩 서로 이격되는 적어도 3개의 위치들을 포함하는,
    시스템(100).
  9. 제1항에 있어서,
    상기 정렬 툴(106)은 프레임(202) 및 상기 프레임에 부착되어 상기 프레임으로부터 연장하는 손잡이(132)를 더 포함하며,
    상기 손잡이는 상기 정렬 툴을 들고 있는 조작자가 잡도록 구성되고,
    상기 프레임은 앞면(206) 그리고 상기 앞면과 반대쪽에 있는 뒷면(208)을 포함하며,
    상기 기준 마커(112)는 상기 프레임의 앞면에 장착되고,
    상기 정렬 툴의 포인터(204)는 상기 프레임의 뒷면의 후방에 배치되고, 상기 포인터의 말단부(216)에 있는 상기 포인터의 팁(218)까지 상기 프레임으로부터 멀어지게 연장하며,
    상기 팁은 상기 기준 마커에 대해 미리 결정된 고정 위치에 위치되어, 상기 AR 이미징 디바이스(104)가 상기 기준 마커의 위치 및 배향을 기초로 상기 물리적 작업 공간(102) 내에서 상기 팁의 위치를 결정하는,
    시스템(100).
  10. 방법(500)으로서,
    증강 현실(AR) 이미징 디바이스(104)를 사용하여 물리적 작업 공간(102) 내에서 조작자가 들고 있는 정렬 툴(106) 상의 기준 마커(112)를 추적하는 단계(506);
    상기 물리적 작업 공간 내의 다수의 물리적 기준 위치들(714, 716, 718) 각각에서 물리적 좌표계에서의 상기 정렬 툴의 포인터(204)의 위치 좌표들을 결정하는 단계(510) ― 상기 위치 좌표들은 상기 AR 이미징 디바이스에 의해 추적된 기준 마커의 위치 및 배향에 기초하여 결정되고, 상기 물리적 작업 공간 내의 물리적 기준 위치들 각각은 가상 모델(604) 내의 서로 다른 대응하는 가상 기준점(618, 620, 622)과 연관되고, 가상 기준점들은 상기 가상 모델의 가상 좌표계에서의 서로 다른 각각의 위치 좌표들을 가짐 ―;
    상기 가상 기준점들의 위치 좌표들과 상기 연관된 물리적 기준 위치들의 위치 좌표들 간의 오프셋들을 줄여 상기 가상 좌표계를 상기 물리적 좌표계에 정합시키기 위한 전달 함수를 생성하는 단계(516); 및
    가상 콘텐츠가 상기 물리적 작업 공간에 공간적으로 정합되도록 상기 전달 함수에 따라 디스플레이(606) 상에 상기 가상 콘텐츠를 디스플레이하는 단계(518)를 포함하는,
    방법(500).
  11. 제10항에 있어서,
    상기 디스플레이는 상기 AR 이미징 디바이스(104)에 통합되는,
    방법(500).
  12. 제10항 또는 제11항에 있어서,
    상기 디스플레이 상에 디스플레이되는 가상 콘텐츠는 상기 가상 모델과는 다른,
    방법(500).
  13. 제10항에 있어서,
    상기 정렬 툴 상의 상기 기준 마커를 추적하기 전에 공간 좌표계를 생성하기 위해 상기 AR 이미징 디바이스를 사용하여 상기 물리적 작업 공간을 매핑하는 단계를 더 포함하며,
    상기 물리적 기준 위치들의 위치 좌표들이 상기 공간 좌표계 내에 정의되는,
    방법(500).
  14. 제10항에 있어서,
    상기 물리적 기준 위치들에서의 포인터 팁의 위치 좌표들은 각각, 상기 조작자에 의한 선택을 수신하는 것에 대한 응답으로 수집되는,
    방법(500).
  15. 제10항에 있어서,
    상기 물리적 기준 위치들은 상기 물리적 작업 공간 내의 적어도 3개의 위치들을 포함하는,
    방법(500).
KR1020180136774A 2017-11-09 2018-11-08 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들 KR102521978B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/808,074 US10573089B2 (en) 2017-11-09 2017-11-09 Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
US15/808,074 2017-11-09

Publications (2)

Publication Number Publication Date
KR20190053119A KR20190053119A (ko) 2019-05-17
KR102521978B1 true KR102521978B1 (ko) 2023-04-13

Family

ID=64316278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180136774A KR102521978B1 (ko) 2017-11-09 2018-11-08 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들

Country Status (7)

Country Link
US (1) US10573089B2 (ko)
EP (1) EP3483703A1 (ko)
JP (1) JP7336184B2 (ko)
KR (1) KR102521978B1 (ko)
CN (1) CN109765992B (ko)
BR (1) BR102018072910A2 (ko)
CA (1) CA3023417C (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL245339A (en) * 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
US11029671B1 (en) * 2018-08-22 2021-06-08 Automated Wiring Systems, LLC Integrated wire harness batch production using augmented reality
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US11562598B2 (en) * 2019-03-25 2023-01-24 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
US10699087B1 (en) * 2019-07-10 2020-06-30 Zebra Technologies Corporation Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
KR102208708B1 (ko) * 2019-08-14 2021-01-28 한국과학기술연구원 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system
CN110750190B (zh) * 2019-10-17 2024-01-23 辽宁中航信诺科技有限公司 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法
CN110667880B (zh) * 2019-10-17 2023-02-03 辽宁中航信诺科技有限公司 智能化飞机保障维修系统
EP4052086A4 (en) * 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
CN111338474B (zh) * 2020-02-19 2022-11-08 Oppo广东移动通信有限公司 虚拟对象位姿校准方法及装置、存储介质和电子设备
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11308700B2 (en) * 2020-04-06 2022-04-19 Saudi Arabian Oil Company Augmented reality visualization of underground pipelines using geospatial databases and KM markers
KR102209025B1 (ko) * 2020-04-07 2021-01-28 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
US11043039B1 (en) * 2020-04-22 2021-06-22 The Boeing Company 3D point cluster correlation for content alignment on augmented reality platforms
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
CN112318653B (zh) * 2020-09-28 2021-12-21 同济大学 一种无模具曲木构件加工系统及加工方法
CN116724285A (zh) 2020-12-29 2023-09-08 美国斯耐普公司 用于控制虚拟和图形元素的微手势
KR20230124077A (ko) * 2020-12-30 2023-08-24 스냅 인코포레이티드 증강 현실 정밀 추적 및 디스플레이
US20220245898A1 (en) * 2021-02-02 2022-08-04 Unisys Corporation Augmented reality based on diagrams and videos
US11776420B2 (en) * 2021-02-12 2023-10-03 B/E Aerospace, Inc. Augmented reality in wire harness installation
CN113138666B (zh) * 2021-04-15 2023-04-25 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
FR3123984A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de localisation d’au moins un point d’une pièce réelle sur une maquette numérique
FR3124007A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de visualisation d’au moins un critère d’acceptation en fonction d’un point d’une pièce ciblé
CN113934294A (zh) * 2021-09-16 2022-01-14 珠海虎江科技有限公司 虚拟现实显示设备及其对话窗口显示方法、计算机可读存储介质
CN115496798B (zh) * 2022-11-08 2023-03-24 中国电子科技集团公司第三十八研究所 用于系留气球装备模拟训练的协同定位方法和系统
DE102022133569B4 (de) 2022-12-16 2024-05-29 Audi Aktiengesellschaft Verfahren zum Erzeugen von Datengruppen zur Nutzung in einem Training mit Augmented Reality oder mit Mixed Reality

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP4847195B2 (ja) 2006-04-21 2011-12-28 キヤノン株式会社 画像からの色情報の取得方法
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US8525830B2 (en) * 2010-09-17 2013-09-03 The Boeing Company Point cloud generation system
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US9641569B2 (en) * 2013-01-22 2017-05-02 General Electric Company Systems and methods for collaborating in a non-destructive testing system using location information
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10350839B2 (en) * 2015-05-21 2019-07-16 The Boeing Company Remote advanced repair guidance
CA2976516C (en) 2015-07-27 2022-11-22 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint

Also Published As

Publication number Publication date
JP7336184B2 (ja) 2023-08-31
CA3023417C (en) 2023-02-14
US20190139320A1 (en) 2019-05-09
CN109765992B (zh) 2024-02-23
KR20190053119A (ko) 2019-05-17
CN109765992A (zh) 2019-05-17
US10573089B2 (en) 2020-02-25
JP2019087241A (ja) 2019-06-06
CA3023417A1 (en) 2019-05-09
EP3483703A1 (en) 2019-05-15
BR102018072910A2 (pt) 2019-06-18

Similar Documents

Publication Publication Date Title
KR102521978B1 (ko) 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들
CN113485392B (zh) 基于数字孪生的虚拟现实交互方法
EP2876624B1 (en) Maintenance assistant system
JP7223732B2 (ja) 自動装置ペアリングのためのシステム及び方法
US20120303336A1 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
GB2506239A (en) Projecting maintenance history using optical reference points
JP4796194B1 (ja) カーソルの表示方法およびカーソルの表示プログラム
CN107004279A (zh) 自然用户界面相机校准
CN104897091A (zh) 关节臂坐标测量机
CN103630071A (zh) 检测工件的方法和系统
CN103793936A (zh) 用于增强现实的自动化参考框架校准
JP4926826B2 (ja) 情報処理方法および情報処理装置
CN103246350A (zh) 基于感兴趣区实现辅助信息提示的人机接口设备及方法
Ma et al. A framework for interactive work design based on motion tracking, simulation, and analysis
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
De Amici et al. A Wii remote-based infrared-optical tracking system
US20190242692A1 (en) Augmented reality-based system with perimeter definition functionality
CN104834913B (zh) 基于深度图像的旗语识别方法及装置
JP2009258884A (ja) ユーザインタフェイス
Keser et al. CINNABAR Project: Augmented Reality Workflow for Aircraft Dent & Buckle Inspection
US20230214004A1 (en) Information processing apparatus, information processing method, and information processing program
WO2017007492A1 (en) Machine display and machine control systems
Ma et al. A framework for interactive work design based on digital work analysis and simulation
CN203276167U (zh) 一套基于感兴趣区实现辅助信息提示的人机接口设备
CN113384347A (zh) 一种机器人标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant