KR102566700B1 - 액티브 휴대용 앵커를 구비하는 증강 현실 시스템 - Google Patents

액티브 휴대용 앵커를 구비하는 증강 현실 시스템 Download PDF

Info

Publication number
KR102566700B1
KR102566700B1 KR1020190081031A KR20190081031A KR102566700B1 KR 102566700 B1 KR102566700 B1 KR 102566700B1 KR 1020190081031 A KR1020190081031 A KR 1020190081031A KR 20190081031 A KR20190081031 A KR 20190081031A KR 102566700 B1 KR102566700 B1 KR 102566700B1
Authority
KR
South Korea
Prior art keywords
anchor
active portable
augmented reality
location
portable anchor
Prior art date
Application number
KR1020190081031A
Other languages
English (en)
Other versions
KR20200006922A (ko
Inventor
알버트 코프만 매튜
크리스찬 리 나단
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20200006922A publication Critical patent/KR20200006922A/ko
Application granted granted Critical
Publication of KR102566700B1 publication Critical patent/KR102566700B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60Testing or inspecting aircraft components or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2205/00Indexing scheme relating to group G07C5/00
    • G07C2205/02Indexing scheme relating to group G07C5/00 using a vehicle scan tool

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

네트워크(102) 및 상기 네트워크 내 통신 포트(103)를 포함하는 증강 현실 시스템(202), 장치 및 방법. 통신 포트(103)는 휴대용 액티브 앵커(130)와 통신하고 액티브 휴대용 앵커(130)의 물리적 앵커 위치(222)와 물체(206)의 물리적 물체 위치(224)를 이용하여 물체(206)에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)가 결정되는 액티브 휴대용 앵커(130)로 물체(206)에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 보내도록 구성된다.

Description

액티브 휴대용 앵커를 구비하는 증강 현실 시스템 {AUGMENTED REALITY SYSTEM WITH AN ACTIVE PORTABLE ANCHOR}
본 개시는 일반적으로 개선된 증강 현실 시스템에 관한 것이고, 특히, 액티브 앵커들을 구비하는 증강 현실 시스템을 위한 개선된 방법, 장치 및 시스템에 관한 것이다.
증강 현실은 컴퓨터 시스템으로부터의 정보에 의해 증강되는 현실 세계 환경과의 상호작용 경험을 수반한다. 정보는 증강 현실 장치를 통해 보이는 현실 세계 환경의 라이브 뷰 상에 표시된다. 정보는 라이브 뷰에서 사용자에게 물체들에 대한 설명들 또는 지표들(indicators)을 제공하는 방식으로 라이브 뷰 상에 표시된다. 이러한 정보는 증강 현실 정보로 불리기도 한다. 다른 경우들에서는, 증강 현실 정보는 현실 세계 환경의 일부로서 인지되는 정보가 증강 현실 장치를 통해 보이도록 매끄럽게 뒤섞이는 방식으로 현실 세계 환경의 라이브 뷰 상에 표시된다.
증강 현실 장치들은 현실 세계 환경들에서 많은 적용분야에서 이용된다. 예를 들면, 증강 현실 장치들은 항공기와 같은 물체를 생산하거나 유지보수를 수행하는 데에 이용될 수 있다. 증강 현실 장치들은 부분들을 조립하고, 부분들을 제작하고(fabricate), 어셈블리들(assemblies)을 검사하기 위한 동작들 또는 다른 동작들을 수행하는 인간 작동자들에 의해 이용된다. 항공기의 라이브 뷰를 증강하기 위해 이용되는 정보는 예를 들면 개략도, 불일치(inconsistency)를 식별하는 그래픽(graphical) 지표들, 배선도, 스킨 패널들(skin panels) 아래에 숨겨진 구성요소들의 디스플레이(Display) 또는 다른 종류들의 정보를 포함할 수 있다.
앵커들(anchors)은 현실 세계 환경에서의 물체의 위치를 기술하기 위해 이용된다. 앵커는 공간 앵커(spatial anchor)라고도 불리며 현실 세계 환경에서의 물체에 대한 위치를 마킹한다(mark). 앵커는 물체의 모델에서 대응하는 위치와 상호 연관될 수 있다.
물체의 라이브 뷰 상에 그래픽들이나 홀로그램들과 같은 증강 현실 정보를 표시하는 것은 앵커의 좌표계를 이용하면 더욱 정확할 수 있다. 이러한 앵커들은 증강 현실 장치에 의해 스스로를 배향(orient)하기 위해 이용될 수 있다. 즉, 앵커들은 물체의 라이브 뷰 상에 증강 현실 정보를 표시하는 데에 이용하기 위한 증강 현실 장치의 위치를 식별하기 위해 증강 현실 장치에 의해 이용될 수 있다.
현재는, 앵커들은 현실 세계 환경에서 영구적이다(permanent). 즉, 앵커는 증강 현실 정보를 표시하는 데에 이용하기 위해 고정된다. 예를 들면, 앵커 플레이트들(plates)은 물리적 앵커의 한 종류이며 방이나 방 안의 파이프들과 같은 물체 상에 형성되거나 설치된다. 물체의 라이브 뷰 상에 증강 현실 정보를 원하는 레벨의 정확도로 표시하기 위해 이러한 앵커 플레이트들의 위치들은 물체의 모델에서의 그들 각각의 위치들과 상호 연관되어 증강 현실 장치로 그 자신을 위한 기준(reference)을 제공한다.
이러한 앵커들을 이용하는 것의 하나의 결점은 정확도에 관하여 증강 현실 장치가 위치할 수 있는 제한된 거리이다. 앵커로부터 증강 현실 장치의 거리가 증가함에 따라, 증강 현실 장치가 물체의 라이브 뷰 상에 증강 현실 정보를 표시하는 정확도는 감소한다.
예를 들면, 5미터를 넘는 거리는 증강 현실 장치가 증강 현실 정보를 물체 상 또는 물체와 가까운 위치들에 표시하기에 원하지 않는 레벨의 정확도를 초래할 수 있다. 결과적으로, 몇몇 물체들에 대해서는 원하는 정확도에 필요한 앵커들의 수가 가능(possible)하거나 실현할 수 있는(feasible) 것보다 클 수 있다. 또한, 증강 현실 시스템을 위한 모델에 앵커들을 프로그래밍하는 것은 시간 소모적이다.
따라서, 다른 가능한 이슈들과 더불어, 이상 논의된 이슈들 중 적어도 몇몇을 고려하는 방법 및 장치를 갖는 것이 바람직할 것이다. 예를 들면, 증강 현실 장치를 현실 세계 환경에서의 물체에 대하여 배향하는 것의 기술적 문제점을 극복하는 방법 및 장치를 갖는 것이 바람직할 것이다.
실례가 되는(illustrative) 일 실시예에서, 증강 현실 시스템은 액티브 휴대용 앵커(active portable anchor), 프로세서 시스템 및 증강 현실 장치를 포함한다. 상기 액티브 휴대용 앵커는 물체에 대한(relative to) 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 출력하도록 구성된다. 프로세서 시스템은 상기 물체의 물리적 물체 위치와 상기 액티브 휴대용 앵커의 물리적 앵커 위치를 이용하여 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 결정하도록 구성된다. 상기 증강 현실 장치는 상기 액티브 휴대용 앵커로부터 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 수신하도록 구성된다. 상기 증강 현실 장치는 또한 상기 현재의 물리적 앵커 위치를 이용하여 상기 물체의 모델에서 상기 액티브 휴대용 앵커의 현재의 모델 앵커 위치를 결정하고, 상기 물체의 모델과 상기 액티브 휴대용 앵커의 현재의 모델 앵커 위치를 이용하여 상기 증강 현실 장치에서 상기 물체의 라이브 뷰(live view) 상에 연관있는 증강 현실 정보를 표시하도록 구성된다. 상기 물체의 모델에서 상기 액티브 휴대용 앵커의 현재의 모델 앵커 위치는 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 반영하기 위해 업데이트된다.
실례가 되는 다른 실시예에서, 증강 현실 시스템은 액티브 휴대용 앵커 및 외부 추적 시스템을 포함한다. 상기 액티브 휴대용 앵커는 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 출력하도록 구성된다. 상기 외부 추적 시스템은 상기 액티브 휴대용 앵커의 물리적 앵커 위치 및 상기 물체의 물리적 물체 위치를 결정하도록 구성된다. 상기 액티브 휴대용 앵커에 의해 출력된 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치는 상기 물체의 물리적 물체 위치와 상기 액티브 휴대용 앵커의 물리적 앵커 위치를 이용하여 결정된다.
실례가 되는 또 다른 실시예에서, 증강 현실 시스템은 네트워크 및 상기 네트워크 내 통신 포트(port)를 포함한다. 상기 통신 포트는 휴대용 액티브 앵커와 통신하고 상기 물체의 물리적 물체 위치와 상기 액티브 휴대용 앵커의 물리적 앵커 위치를 이용하여 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치가 결정되는 상기 액티브 휴대용 앵커에, 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 보내도록 구성된다.
특징들과 기능들은 다음의 설명 및 도면들을 참조하여 본 개시의 다양한 실시예들에서 독립적으로 달성되거나 추가 세부사항들이 확인될 수 있는 또 다른 실시예들에 결합될 수 있다.
실례가 되는 실시예들의 특성으로 여겨지는 신규한 특징들은 첨부된 청구범위에 제시된다. 그러나, 실례가 되는 실시예들은 그것의 바람직한 사용 유형(mode), 추가 목적들 및 특징들과 더불어 본 개시의 실례가 되는 실시예의 다음의 구체적인 설명을 참조하여 수반된 도면들과 함께 읽힐 때 가장 잘 이해될 것이고, 도면에서:
도 1은 실례가 되는 실시예들이 구현될 수 있는 데이터 처리 시스템의 네트워크의 회화적(pictorial) 표현이고;
도 2는 실례가 되는 실시예에 따른 증강 현실 환경의 블록 다이어그램(block diagram)의 실례(illustration)이고;
도 3은 실례가 되는 실시예에 따른 액티브 휴대용 앵커의 블록 다이어그램의 실례이고;
도 4는 실례가 되는 실시예에 따른 물체의 라이브 뷰 상에 증강 현실 정보를 표시하기 위한 데이터흐름 다이어그램의 실례이고;
도 5는 실례가 되는 실시예에 따른 증강 현실 환경의 실례이고;
도 6은 실례가 되는 실시예에 따른 액티브 휴대용 앵커의 실례이고;
도 7은 실례가 되는 실시예에 따른 라이브 뷰 상에 증강 현실 정보를 표시하기 위한 프로세스의 흐름도(flowchart)의 실례이고;
도 8은 실례가 되는 실시예에 따른 증강 현실 장치를 배향하기 위해 현재의 물리적 앵커 위치를 출력하기 위한 프로세스의 흐름도의 실례이고;
도 9는 실례가 되는 실시예에 따른 증강 현실 정보를 표시하기 위한 프로세스의 흐름도의 실례이고;
도 10은 실례가 되는 실시예에 따른 증강 현실 장치를 배향하기 위한 프로세스의 흐름도의 실례이고;
도 11은 실례가 되는 실시예에 따른 현재의 물리적 앵커 위치를 수신하기 위한 프로세스의 흐름도의 실례이고;
도 12는 실례가 되는 실시예에 따른 데이터 처리 시스템의 블록 다이어그램의 실례이고;
도 13는 실례가 되는 실시예에 따른 항공기 제조 및 점검(manufacturing and service) 방법의 블록 다이어그램의 실례이고;
도 14는 실례가 되는 실시예가 구현될 수 있는 항공기의 블록 다이어그램의 실례이고; 그리고
도 15는 실례가 되는 실시예에 따른 제품 관리 시스템의 블록 다이어그램의 실례이다.
실례가 되는 실시예들은 하나 이상의 상이한 고려사항들을 인식하고 고려한다. 실례가 되는 실시예들은 항공기의 라이브 뷰 상에 표시된 증강 현실 정보를 배치함에 있어서의 정확도가 항공기 상의 동작들을 수행하는 데에 중요하다는 것을 인식하고 고려한다. 예를 들면, 항공기에서 구멍을 뚫거나 불일치(inconsistency)에 재작업을 하거나 밀폐재(sealant)를 적용하거나 조임쇠들(fasteners)을 설치하는 것과 같은 동작들을 수행하기 위해 라이브 뷰 상에 증강 현실 정보가 표시될 수 있다. 실례가 되는 하나의 예에서, 증강 현실 정보는 시각적 정보 태그들(tags)을 이용하여 불일치들을 보여줄 수 있다. 이러한 태그들은 불일치들의 장소(location)를 마킹하고 불일치들에 대한 정보를 제공할 수 있다.
실례가 되는 실시예들은, 동적 환경에서, 영구적(permanent) 앵커들의 사용이 현재로서는 실현 가능하지 않다는 것을 인식하고 고려한다. 또한, 실례가 되는 실시예들은 증강 현실 장치에 의한 사용을 위해 모델에 앵커들을 프로그래밍하기 위한 기법들이 시간 소모적이라는 것을 인식하고 고려한다. 실례가 되는 실시예들은 현재 이용되는 앵커들을 위한 준비시간(set-up time)의 양이 원하는 것보다 훨씬 크다는 것을 인식하고 고려한다.
실례가 되는 실시예들은 증강 현실 장치를 교정(calibrating)하거나 배향하기 위한 현재 이용 가능한 기법들이 증강 현실 장치들을 갖는 인간 작동자들 또는 물체들 중 적어도 하나가 움직이는 동적 환경에서 잘 동작하지 않는다는 것을 인식하고 고려한다. 예를 들면, 실례가 되는 실시예들은 동적 사진 측량법(photogrammetry) 또는 고정점(fixed point)을 이용하는 것이 증강 현실 시스템들에서 자원 사용에 많은 부담을 주고 물체 상의 앵커 플레이트들과 같은 특징들을 물체의 모델로 프로그램 하는데 많은 노력을 필요로 한다는 것을 인식하고 고려한다.
또한, 실례가 되는 실시예들은, 항공기에서는, 이런 종류의 프로세스에 사용 가능한 특징들의 수가 실현 불가능할 정도로 적다는 것을 인식하고 고려한다. 추가적으로, 실례가 되는 실시예들은 원하는 해상도(resolution) 없이는 컴퓨터가 지원하는(computer-aided) 설계 데이터(design data)가 원하는 것보다 훨씬 클 것이라는 것을 인식하고 고려한다. 실례가 되는 실시예들은 이런 종류의 기법은 항공기를 위한 것들과 비교하면 더 작은 부피들 또는 공간들에 더 적합하다는 것을 인식하고 고려한다.
실례가 되는 실시예들은 현재 이용되는 앵커 플레이트들은 알려진 위치들에 있어야 하기 때문에 매우 유용하지는 않다는 것도 인식하고 고려한다. 이러한 종류의 제한은 항공기에 대하여 인간 작동자들이 움직일 수 있는 동적 환경들에서 앵커 플레이트들이 사용되는 것을 실현 불가능하게 만든다.
실례가 되는 실시예들은 액티브 휴대용 앵커들이 증강 현실 장치들이 어떤 환경에서 자신들을 물체에 대해 빠르게 배향할 수 있도록 한다는 것을 인식하고 고려한다. 실례가 되는 실시예들은 액티브 휴대용 앵커들이 현재의 앵커들과 유사한 교정 플레이트(calibration plate)로서 이용될 수 있어서, 앵커가 현실 세계 환경에 존재한다는 것을 증강 현실 장치가 인식할 수 있도록 한다는 것을 인식하고 고려한다. 실례가 되는 실시예들은 또한 액티브 휴대용 앵커가 물체에 대한 액티브 휴대용 앵커의 현재 위치를 증강 현실 장치로 제공하도록 구성될 수도 있다는 것을 인식하고 고려한다.
실례가 되는 실시예들은 이러한 종류의 해법(solution)은 외부 추적 시스템의 형태를 갖는 2차적 장소 시스템을 활용함으로써 구현될 수 있다는 것을 인식하고 고려한다. 실례가 되는 실시예들은 외부 추적 시스템이 액티브 휴대용 앵커들의 위치를 식별하고 그 정보를 그 액티브 휴대용 앵커들을 통해 전달(relay)하여, 결국 증강 현실 장치들로 정보를 제공하는 것을 인식하고 고려한다.
따라서, 실례가 되는 실시예들은 휴대할 수 있는 액티브 앵커들을 이용하는 환경 내에서 증강 현실 장치로 자신의 위치를 확인하는 능력을 제공하기 위한 방법, 장치 및 시스템을 제공한다. 실례가 되는 하나의 예에서, 증강 현실 시스템은 액티브 휴대용 앵커, 프로세서 시스템 및 증강 현실 장치를 포함한다. 상기 액티브 휴대용 앵커는 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 출력하도록 구성된다. 프로세서 시스템은 상기 액티브 휴대용 앵커의 물리적 앵커 위치 및 상기 물체의 물리적 물체 위치를 이용하여 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 결정하도록 구성된다.
상기 증강 현실 장치는 상기 액티브 휴대용 앵커로부터 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 수신하도록 구성된다. 상기 증강 현실 장치는 또한 상기 현재의 물리적 앵커 위치를 이용하여 상기 물체의 모델에서 상기 액티브 휴대용 앵커의 현재의 모델 위치를 결정하고, 상기 액티브 휴대용 앵커의 현재의 모델 앵커 위치 및 상기 물체의 모델을 이용하여 상기 증강 현실 장치에서 상기 물체의 라이브 뷰 상에 연관있는 증강 현실 정보를 표시하도록 구성된다. 상기 물체의 모델에서 상기 액티브 휴대용 앵커의 모델 앵커 위치는 상기 물체에 대한 상기 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 반영하기 위해 동적으로 업데이트된다.
물체의 위치는 3차원에서 기술된 물체의 장소를 포함한다. 예를 들면, 장소는 데카르트 좌표계(Cartesian coordinate system)를 이용하여 기술될 수 있다. 또한, 물체의 위치는 물체의 배향(orientation)도 포함한다. 배향은 실례가 되는 예에서 둘 이상의 벡터들을 이용하여 기술될 수 있다.
이제 도면들을 참조하여, 특히 도 1을 참조하여, 실례가 되는 실시예들이 구현될 수 있는 데이터 처리 시스템들의 네트워크의 회화적 표현이 묘사된다. 네트워크 데이터 처리 시스템(100)은 실례가 되는 실시예들이 구현될 수 있는 컴퓨터들의 네트워크이다. 네트워크 데이터 처리 시스템(100)은 네트워크 데이터 처리 시스템(100) 내에서 함께 연결된 다양한 장치들과 컴퓨터들 사이에 통신 링크들(communications links)을 제공하기 위해 이용되는 매개체인 네트워크(102)를 포함한다. 네트워크(102)는 유선, 무선 통신 링크들 또는 광섬유 케이블들과 같은 연결들(connections)을 포함할 수 있다.
묘사된 예에서, 서버 컴퓨터(104) 및 서버 컴퓨터(106)는 저장 유닛(108)과 함께 네트워크(102)에 연결된다. 또한, 클라이언트 장치들(110)도 네트워크(102)에 연결된다. 묘사된 바와 같이, 클라이언트 장치들(110)은 클라이언트 컴퓨터(112), 클라이언트 컴퓨터(114) 및 클라이언트 컴퓨터(116)를 포함한다. 클라이언트 장치들(110)은 예를 들면 컴퓨터들, 워크스테이션들(workstations) 또는 네트워크 컴퓨터들일 수 있다. 묘사된 예에서, 서버 컴퓨터(104)는 부트(boot) 파일들, 운영 시스템 이미지들 및 애플리케이션들(applications)과 같은 정보를 클라이언트 장치들(110)로 제공한다. 또한, 클라이언트 장치들(110)은 모바일 폰(mobile phone)(118), 태블릿 컴퓨터(120) 및 스마트 안경(smart glasses)와 같이 다른 종류들의 클라이언트 장치들도 포함할 수 있다. 이러한 실례가 되는 예에서, 클라이언트 장치들(110)의 몇몇 또는 전부는 이러한 물리적 장치들이 연결되고 데이터를 교환할 수 있는 사물인터넷(Internet of Things)(IOT)을 형성할 수 있다.
이 예에서 클라이언트 장치들(110)은 서버 컴퓨터(104)에 대한 클라이언트들이다. 네트워크 데이터 처리 시스템(100)은 도시되지 않은 추가적인 서버 컴퓨터들, 클라이언트 컴퓨터들 및 다른 장치들을 포함할 수 있다. 클라이언트 장치들(110)은 유선, 광섬유 또는 무선 연결들 중 적어도 하나를 활용하여 네트워크(102)에 연결된다.
네트워크 데이터 처리 시스템(100)에 위치한 프로그램 코드는 컴퓨터가 기록 가능한 저장 매체에 저장되고 사용을 위해 데이터 처리 시스템 또는 다른 장치로 다운로드 될 수 있다. 예를 들면, 프로그램 코드는 서버 컴퓨터(104) 상의 컴퓨터가 기록 가능한 저장 매체에 저장되고 클라이언트 장치들(110) 상에서 사용을 위해 네트워크(102)를 거쳐 클라이언트 장치들(110)로 다운로드 될 수 있다.
묘사된 예에서, 네트워크 데이터 처리 시스템(100)은 서로 통신하기 위해 전송 제어 프로토콜/인터넷 프로토콜 (TCP/IP) 프로토콜 스위트(suite of protocols)를 이용하는 게이트웨이들(gateways)과 네트워크들의 전 세계적 집합을 나타내는 네트워크(102)를 갖는 인터넷이다. 인터넷의 핵심에는 데이터와 메시지들을 보내는(route) 수천개의 상업용, 정부용, 교육용 및 다른 컴퓨터 시스템들로 이루어지는 호스트 컴퓨터들 또는 주 노드들(major nodes) 사이에 고속 데이터 통신 라인들의 근간(backbone)이 있다. 당연히, 네트워크 데이터 처리 시스템(100)은 다수의 상이한 종류의 네트워크들을 이용하여 구현될 수도 있다. 예를 들면, 네트워크(102)는 인터넷, 인트라넷, 근거리 통신망(local area network)(LAN), 대도시 통신망(metropolitan area network)(MAN) 또는 광역 통신망(wide area network)(WAN) 중 적어도 하나로 구성될 수 있다. 도 1은 예(example)로서 의도되었으며, 상이한 실례가 되는 실시예들에 대한 구조적(architectural) 제한으로서 의도된 것은 아니다.
여기에서 사용된 “다수의”(a number of)는, 항목들(items)을 참조하여 사용되었을 때, 하나 이상의 항목들을 의미한다. 예를 들면, “다수의 상이한 종류들의 네트워크들”은 하나 이상의 상이한 종류들의 네트워크들이다.
또한, 항목들의 목록과 함께 사용되었을 때, “중 적어도 하나”라는 표현(phrase)은 하나 이상의 나열된 아이템들의 상이한 조합들이 사용될 수도 있고, 목록의 각 항목 단 하나만 필요할 수도 있다는 것을 의미한다. 즉, “중 적어도 하나”는 항목들의 임의의 조합 및 항목들의 임의의 수가 목록으로부터 이용될 수 있다는 것을 의미하지만, 목록에 있는 모든 항목들이 요구되지는 않는다. 항목은 특정 물체, 사물 또는 카테고리일 수 있다.
예를 들면, 제한 없이, “항목 A, 항목 B 또는 항목 C 중 적어도 하나”는 항목 A, 항목 A 및 항목 B, 또는 항목 C를 포함할 수 있다. 이러한 예는 또한 항목 A, 항목 B, 및 항목 C 또는 항목 B 및 항목 C를 포함할 수도 있다. 당연히, 이러한 항목들의 임의의 조합들도 존재할 수 있다. 몇몇 실례가 되는 예들에서, “중 적어도 하나”는 예를 들면, 제한 없이, 2개의 항목 A; 1개의 항목 B; 및 10개의 항목 C; 4개의 항목 B 및 7개의 항목 C; 또는 다른 적합한 조합들일 수 있다.
실례가 되는 하나의 예에서, 인간 작동자(124)는 항공기(126) 상에서 제조 또는 유지보수 동작들 중 적어도 하나를 수행하기 위해 스마트 안경(122)과 같은 증강 현실 장치를 동작한다. 묘사된 바와 같이, 서버 컴퓨터(106)는 사람 작동자(124)를 위해 항공기(126)의 라이브 뷰를 증강하기 위해 증강 현실 정보를 표시하는데 이용하기 위한 스마트 안경(122)에 항공기(126)의 모델(128)을 보낸다.
이러한 묘사된 예에서, 액티브 휴대용 앵커(130) 및 외부 추적 시스템(132)은 항공기(126)에 대한 스마트 안경(122)의 위치를 식별하기 위해 활용되는 정보를 제공한다. 외부 추적 시스템(132)은 항공기(126)와 액티브 휴대용 앵커(130)의 물리적 위치를 식별한다. 액티브 휴대용 앵커(130), 외부 추적 시스템(132), 클라이언트 장치들(110), 서버 컴퓨터(104) 또는 서버 컴퓨터(106) 중 적어도 하나에 위치한 프로세서 시스템은 항공기(126)에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치를 식별한다. 액티브 휴대용 앵커(130)는 이 현재의 물리적 앵커 위치를 스마트 안경(122)로 보낸다.
묘사된 바와 같이, 스마트 안경(122)은 액티브 휴대용 앵커(130)로부터 액티브 휴대용 앵커(130)의 현재의 물리적 위치를 수신한다. 이 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치는 다수의 상이한 방식으로 스마트 안경(122)에 의해 수신될 수 있다. 예를 들면, 현재의 물리적 앵커 위치는 액티브 휴대용 앵커(130) 상의 현재의 물리적 앵커 위치의 디스플레이 또는 액티브 휴대용 앵커(130)로부터의 현재의 물리적 위치의 무선 전송 중 적어도 하나로부터 수신될 수 있다.
액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치는 스마트 안경(122)에 의해 항공기(126)의 라이브 뷰 상 어디에 증강 현실 정보를 표시할 것인지를 결정하기 위해 사용된다. 예를 들면, 증강 현실 정보는 항공기(126) 표면 아래에 위치한 항공기(126)를 위한 배선(wiring)일 수 있다. 현재의 물리적 위치를 이용하여, 스마트 안경(122)은 항공기(126) 내 배선의 실제 장소에서 배선을 보여주기 위해 항공기(126)의 라이브 뷰에서 그래픽들을 어디에 표시할지 결정한다.
스마트 안경(122)은 액티브 휴대용 앵커(130)에 대한 자신의 위치를 결정한다. 액티브 휴대용 앵커(130)에 대하여 자신을 교정하면, 스마트 안경(122)은 사용자 입력 없이 그리고 더 큰 모델의 사진 측량법 데이터를 이용하지 않고 증강 현실 정보를 표시하기 위해 항공기(126)의 모델(128)을 처리할 수 있다.
정확도에 관해서는, 증강 현실 정보를 항공기(126)의 라이브 뷰 상의 위치들에 표시하는 데에 있어서 원하는 정확도가 유지되도록 스마트 안경(122)과 액티브 휴대용 앵커(130) 사이의 거리를 유지하기 위해 인간 작동자(124)가 이동함에 따라 액티브 휴대용 앵커(130)가 이동될 수 있다. 액티브 휴대용 앵커(130)가 이동되면, 액티브 휴대용 앵커(130)의 새로운 물리적 앵커 위치가 동적으로 결정되고 스마트 안경(122)으로 제공될 수 있다.
증강 현실 시스템을 위한 구성요소들에서 네트워크 데이터 처리 시스템(100)의 실례는 네트워크 데이터 처리 시스템(100)이 그것을 구현할 수 있는 방식을 제한하도록 의도되지 않는다. 다른 실례가 되는 예들에서, 묘사된 것들에 더불어 하나 이상의 지능형 글로벌 포지셔닝 로케이터들(intelligent global positioning locators)이 존재할 수 있다. 또한, 인간 작동자(124)에 더불어 증강 현실 장치들을 갖는 하나 이상의 사용자들이 항공기(126) 상 동작들을 수행하며 존재할 수 있다.
실례가 되는 하나의 예에서, 네트워크(102)는 통신 포트(103)를 포함한다. 통신 포트(103)는 다른 데이터 처리 시스템들 또는 액티브 휴대용 앵커(130)와 같은 장치들과 통신을 제공하도록 구성된 네트워크(102) 내 하드웨어 포트이다. 통신은 통신을 보내거나 받는 것을 용이하게 하는 하나 이상의 다른 장치들과 직접적 또는 간접적일 수 있다. 이러한 실례가 되는 예들에서, 통신 포트(103)는 네트워크 인터페이스 카드(network interface card), 스위치, 라우터(router) 또는 어떤 다른 장치에 위치한다.
묘사된 바와 같이, 통신 포트(103)는 액티브 휴대용 앵커(130)와 통신하고, 액티브 휴대용 앵커(130)의 물리적 앵커 위치와 물체의 물리적 물체 위치를 이용하여 물체에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치가 결정되는 액티브 휴대용 앵커(130)로 항공기(126)와 같은 물체에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치를 보내도록 구성된다. 액티브 휴대용 앵커(130)는 항공기(126)와 같은 물체에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치를 출력하도록 구성된다.
또한, 스마트 안경(122)과 같은 증강 현실 장치는 액티브 휴대용 앵커(130)로부터 물체에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치를 수신하도록 구성된다. 스마트 안경(122)은 현재의 물리적 앵커 위치를 이용하여 물체의 모델(128)에서 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치를 결정하고 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치와 물체의 모델(128)을 이용하여 증강 현실 장치에서 물체의 라이브 뷰 상에 연관있는 증강 현실 정보를 표시하도록 구성된다. 물체의 모델(128)에서 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치는 물체에 대한 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치를 반영하기 위해 동적으로 업데이트된다.
따라서, 현실 세계 환경에서 물체에 대하여 증강 현실 장치를 배향하는 것의 기술적 문제점은 네트워크 데이터 처리 시스템(100)에서 극복될 수 있다. 하나 이상의 기술적 해법들은 스마트 안경(122)과 같은 증강 현실 장치가 액티브 휴대용 앵커(130)와 같은 앵커와 함께 자신을 배향할 수 있도록 하는 기술적 효과를 제공할 수 있다. 하나 이상의 기술적 해법들에서, 액티브 휴대용 앵커(130)는 항공기(126)와 같은 물체에 대하여 상이한 장소들로 이동될 수 있어 스마트 안경(122)과 액티브 휴대용 앵커(130) 사이의 원하는 거리를 유지하는 것이 가능하며, 이는 스마트 안경(122)에서 라이브 뷰 상에 증강 현실 정보를 표시함에 있어서 원하는 레벨의 정확도를 유지하는 것을 야기한다. 결과적으로, 액티브 휴대용 앵커(130)를 이용한 하나 이상의 기술적 해법들은 인간 작동자(124)가 스마트 안경(122)에서 라이브 뷰 상의 증강 현실 정보의 디스플레이에 의존할 때 원하는 레벨의 정확도로 항공기(126) 상 동작을 수행할 수 있도록 한다. 예를 들면, 상기 동작이 구멍을 뚫는 것과 같은 제조 동작일 때, 구멍들의 장소는 구멍을 뚫기 위한 원하는 레벨의 정확도로 항공기(126)의 라이브 뷰 상 증강 현실 정보에 나타날 수 있다.
다음으로 도 2로 넘어가면, 실례가 되는 실시예에 따른 증강 현실 환경의 블록 다이어그램의 실례가 묘사된다. 이 실례가 되는 예에서, 증강 현실 환경(200)에서 블록 형태로 나타나는 서로 상이한 구성요소들은 도 1의 네트워크 데이터 처리 시스템(100)에 나타난 구성요소들을 이용하여 구현될 수 있다.
증강 현실 환경(200)은 증강 현실 시스템(202)이 증강 현실 장치(212)를 활용하는 인간 작동자(210)에 의해 보이는 증강 현실 정보(208)를 이용하여 물체(206)의 라이브 뷰(204)를 증강하도록 구성된 환경이다. 물체(206)는 다수의 상이한 형태를 취할 수 있다. 예를 들면, 물체(206)는 도 1의 항공기(126)일 수 있다. 또한, 물체(206)는 이동식(mobile) 플랫폼, 고정식 플랫폼, 지상 기반 구조물, 수중 기반 구조물, 우주 기반 구조물, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 제조 시설, 건물, 항공기 동체(fuselage), 엔진, 날개, 스킨 패널(skin panel), 랜딩 기어 어셈블리, 기념물(monument) 및 다른 적합한 물체들로부터 선택될 수도 있다.
이러한 실례가 되는 예에서, 증강 현실 장치(212)는 물리적 하드웨어 장치이며 머리에 착용하는 디스플레이(head-mounted display), 속이 보이며(see-through) 머리에 착용하는 광학 디스플레이, 모바일 폰, 태블릿 컴퓨터, 스마트 안경, 웨어러블(wearable) 컴퓨터 안경 또는 인간 작동자(210)에 의해 이동되고 들고 다닐 수 있고 또는 착용될 수 있는 어떤 다른 적합한 하드웨어 시스템 중 하나로부터 선택된다.
묘사된 바와 같이, 라이브 뷰(204)는 증강 현실 장치(212)에 의해 디스플레이 상에 비디오 피드(feed)로서 제공되거나 사용자가 증강 현실 장치(212)에서 디스플레이를 관통하여 물리적 현실 세계 환경을 볼 수 있도록 투명하고 속이 보이는 디스플레이들 또는 렌즈들을 이용하는 것에 의해 제공될 수 있다.
예를 들면, 라이브 뷰(204)는 머리에 착용하는 디스플레이, 스마트 안경 또는 태블릿 컴퓨터의 형태인 증강 현실 장치(212)를 위한 디스플레이 상에 보여질 수 있다. 증강 현실 정보(208)는 이런 종류의 증강 현실 장치(212)에서 디스플레이 상에 중첩(superimposed)될 수 있다. 다른 실례가 되는 예들에서, 라이브 뷰(204)는 라이브 뷰(204) 상에 다른 정보가 표시되는 디스플레이에 간접적으로 제공될 수 있다. 라이브 뷰(204)는 증강 현실 장치(212)의 표시 장치 상에 이미지들 또는 비디오를 표시하는 카메라 시스템을 이용하여 제공될 수 있다.
다른 실례가 되는 예에서, 라이브 뷰(204)는 사용자가 라이브 뷰(204) 상에서 보는 것 위에(over) 표시되는 증강 현실 정보(208)를 갖는 증강 현실 장치(212)의 인간 작동자(210)에 의해 직접적으로 보일 수 있다. 라이브 뷰(204)가 사용자에 의해 직접 보일 때, 증강 현실 장치(212)를 위한 카메라 시스템과 같은 센서 시스템을 이용함으로써 라이브 뷰(204)의 감지가 수행될 수 있다.
묘사된 바와 같이, 증강 현실 정보(208)는 라이브 뷰(204)를 증강하고 다수의 상이한 형태를 취할 수 있다. 예를 들면, 증강 현실 정보(208)는 개략도, 사용자 입력창, 지시, 숨겨진 구조에 대한 그래픽 또는 물체(206)의 라이브 뷰(204) 상 안 보이는 물체(206)의 표면 아래에 있는 구성요소들을 위한 홀로그램들 중 적어도 하나로부터 선택될 수 있다. 예를 들면, 구성요소들은 배선, 파이프, 복합 계층들(composite layers), 불일치, 접합(joint), 라인 교체형(line replaceable) 유닛 또는 물체(206)에 있을 수 있는 다른 구성요소들 중 적어도 하나로부터 선택될 수 있다.
다른 실례가 되는 예에서, 증강 현실 정보(208)는 물체(206)의 일부에 주의를 끄는 그래픽 지표를 포함할 수 있다. 예를 들면, 그래픽 지표는 박리(delamination), 균열, 벗겨진 페인트, 부정확한 치수 또는 다른 종류들의 불일치들과 같은 불일치로 주의를 끌 수 있다.
다른 예로서, 그래픽 지표는 동작이 수행될 장소로 주의를 끌 수 있다. 예를 들면 이러한 동작은 구멍을 뚫는 동작, 조임쇠 설치 동작, 검사(inspection) 동작 또는 물체(206)의 제조 또는 유지보수를 위해 이용될 수 있는 어떤 다른 적합한 종류의 동작일 수 있다.
또한, 증강 현실 정보(208)는 물체(206)에서 불일치를 해결하기 위해 변화가 만들어 져야 한다는 것을 입증하기 위해 인간 작동자(210)가 사용자 입력을 제공하도록 유도(prompt)할 수도 있다. 또 다른 실례가 되는 예에서, 증강 현실 정보(208)는 인간 작동자(210)에 의해 만들어진 사용자 입력의 시각화를 제공할 수 있다. 예를 들면, 증강 현실 정보(208)는 인간 작동자(210) 또는 다른 인간 작동자가 물체(206) 상 불일치들을 “마킹한”(marked) 장소들을 보여주는 그래픽 지표들을 포함할 수 있다.
묘사된 바와 같이, 증강 현실 시스템(202)은 다수의 상이한 구성요소들을 포함할 수 있다. 이 예에서, 증강 현실 시스템(202)은 액티브 휴대용 앵커(214), 외부 추적 시스템(216), 프로세서 시스템(218) 및 증강 현실 장치(212)를 포함한다.
액티브 휴대용 앵커(214)는 물체(206)의 물리적 물체 위치(224)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성된다.
묘사된 바와 같이, 프로세서 시스템(218)은 하나 이상의 프로세서 유닛들을 포함하는 물리적 하드웨어 시스템이다. 둘 이상의(more than one) 프로세서 유닛이 존재하는 경우, 그 프로세서 유닛들은 통신 매개체를 이용하여 서로와 통신할 수 있다. 프로세서 유닛들이 동일한 데이터 처리 시스템에 위치하는 경우, 통신 매개체는 데이터 처리 시스템 내 버스(bus) 또는 버스들일 수 있다. 프로세서 유닛들이 상이한 데이터 처리 시스템들에 위치하는 경우, 통신 매개체는 버스 또는 버스들과 네트워크일 수 있다. 프로세서 시스템은 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 멀티코어(multicore) 프로세서, 물리 처리 유닛(PPU), 디지털 신호 프로세서(DSP), 네트워크 프로세서 또는 어떤 다른 적합한 종류의 프로세서 중 적어도 하나로부터 선택될 수 있다.
이러한 실례가 되는 예에서, 프로세서 시스템(218)은 하나 이상의 상이한 장소들에 위치할 수 있다. 예를 들면, 프로세서 시스템(218)은 액티브 휴대용 앵커(214), 외부 추적 시스템(216) 또는 증강 현실 환경(200) 내 어떤 다른 데이터 처리 시스템 중 적어도 하나 내에 위치할 수 있다.
묘사된 바와 같이, 프로세서 시스템(218)은 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222)와 물체(206)의 물리적 물체 위치(224)를 이용하여 물체(206)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하도록 구성된다.
이 실례가 되는 예에서, 외부 추적 시스템(216)은 물리적 하드웨어 시스템이다. 외부 추적 시스템(216)은 레이저 추적기, 레이저 스캐너, 카메라, 변위(displacement) 센서, 측정 센서, 프로브(probe) 또는 어떤 다른 종류의 외부 추적 시스템 중 적어도 하나를 포함한다.
외부 추적 시스템(216)은 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 물체(206)의 물리적 물체 위치(224)를 결정하도록 구성된다. 물리적 앵커 위치(222) 및 물리적 물체 위치(224)는 외부 추적 시스템(216)을 위해 추적 좌표계(226)를 이용하여 기술된다.
이러한 묘사된 예에서, 물리적 물체 위치(224)는 물체(206)를 위한 물체 좌표계(228)로 위치될 수 있다. 물체(206)의 부분(part)은 기준점(reference point) 또는 원점(origin)으로서 지정(designate)될 수 있다.
예를 들면, 물체(206)가 항공기라면, 원점은 항공기의 코 끝일 수 있다. 물리적 앵커 위치(222)는 물체 좌표계(228)로 변환되거나 상호 연관될 수 있다. 물체 좌표계(228)는 물체(206)의 모델(234)에서 이용되는 좌표계이다.
상호 연관성은 추적 좌표계(226)에서의 물리적 앵커 위치(222)가, 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)가 물체(206)에 대한(relative to) 것인 물체 좌표계(228)에서의 현재의 물리적 앵커 위치(220)로 변환되도록 만들어진다. 즉, 현재의 물리적 앵커 위치(220)는 물체 좌표계(228)에서 물체(206)를 위한 원점과 같은 기준점에 대한(relative to) 것이다.
즉, 추적 좌표계(226)에서의 물리적 앵커 위치(222) 및 물리적 물체 위치(224)는 물체(206)의 모델(234)에서 물체 좌표계(228)를 이용하기 위해 변환되거나 변형됨으로써 상호 연관된다. 이러한 변환 또는 변형은 물체(206)의 원점을 위해 동일한 기준점들이 사용될 때 만들어질 수 있다. 예를 들면, 물체(206)가 항공기인 경우, 이러한 원점은 예를 들면 셋 이상의 기준점들을 이용함으로써 결정될 수 있다. 원점은 예를 들면 코 끝, 날개 끝(wingtip), 창문 또는 항공기 상의 또는 내부의 어떤 다른 특징일 수 있다.
묘사된 바와 같이, 증강 현실 장치(212)는 액티브 휴대용 앵커(214)로부터 물체(206)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하도록 구성된다. 증강 현실 장치(212)는 물체(206)의 모델(234)에서 현재의 물리적 앵커 위치(220)를 이용하여 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하도록 구성된다. 예를 들면, 증강 현실 장치(212)는 액티브 휴대용 앵커(214)로부터 수신된 물체(206)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)와 상호 연관되는 물체(206)의 모델(234)에서 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정한다.
이러한 실례가 되는 예에서, 물체(206)의 모델(234)은 다수의 상이한 형태를 취할 수 있다. 예를 들면, 모델(234)은 물체(206)의 일부를 포함하는 물체(206)의 부분 모델이거나 물체(206)의 전부를 포함할 수 있다. 예를 들면, 물체(206)가 항공기인 경우, 모델(234)은 항공기의 날개이거나 항공기 전체일 수 있다. 실례가 되는 하나의 예에서, 물체(206)의 부분 모델은 증강 현실 장치(212)의 시야 내 물체(206)의 일부 또는 증강 현실 장치(212)의 선택된 거리 이내의 물체(206)의 일부 중 적어도 하나로부터 선택된다.
또 다른 실례가 되는 예에서, 물체(206)의 모델(234)은 다양한 기준에 기초하여 물체(206)를 영역들로 나누는 것에 기초한 복수의 부분 모델들 중 하나로부터 선택될 수 있다. 기준은 예를 들면 물체(206) 상에서 수행될 동작의 종류, 부분 모델들에 대한 크기 제한들, 부분 모델을 위해 증강 현실 장치(212)에서 이용 가능한 저장 공간 및 다른 적합한 종류들의 기준 중 적어도 하나를 포함할 수 있다.
증강 현실 장치(212)는 물체(206)의 모델(234) 및 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 이용하여 증강 현실 장치(212)에서 물체(206)의 라이브 뷰(204) 상에 연관있는 증강 현실 정보(208)를 표시하도록 구성된다. 결과적으로, 물체(206)의 모델(234)에서 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)는 물체(206)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 동적으로 업데이트 된다.
이 실례가 되는 예에서, 컴퓨터 시스템(236)은 증강 현실 장치(212)와 통신한다. 컴퓨터 시스템(236)은 이 실례가 되는 예에서 증강 현실 장치(212)로 물체(206)의 모델(234)을 보낸다. 컴퓨터 시스템(236)은 물리적 하드웨어 시스템이고 하나 이상의 데이터 처리 시스템들을 포함한다. 둘 이상의 데이터 처리 시스템이 존재하는 경우, 그러한 데이터 처리 시스템들은 통신 매개체를 이용하여 서로와 통신한다. 통신 매개체는 네트워크일 수 있다. 데이터 처리 시스템들은 컴퓨터, 서버 컴퓨터, 태블릿 또는 어떤 다른 적합한 데이터 처리 시스템 중 적어도 하나로부터 선택될 수 있다.
실례가 되는 하나의 예에서, 현실 세계 환경에서 물체에 대하여 증강 현실 장치를 배향하는 것의 기술적 문제점을 극복하는 하나 이상의 기술적 해법들이 존재한다. 결과적으로, 하나 이상의 기술적 해법들은 증강 현실 장치가 앵커를 이용하여 자신을 배향할 수 있도록 하는 기술적 효과를 제공할 수 있다. 하나 이상의 기술적 해법들은 증강 현실 장치(212)와 액티브 휴대용 앵커(214) 사이의 원하는 거리를 유지하는 것을 가능하게 하는 상이한 장소들로 앵커가 이동될 수 있는 이 액티브 휴대용 앵커를 제공하며, 이는 증강 현실 정보(208)를 라이브 뷰(204) 상에 표시하는 데 있어서 원하는 레벨의 정확도를 유지하는 것을 야기한다.
결과적으로, 증강 현실 시스템(202)은 증강 현실 시스템(202)에서 액티브 휴대용 앵커(214)가 증강 현실 장치(212)가 증가된 정확도로 물체(206)의 라이브 뷰(204) 상에 증강 현실 정보(208)를 표시할 수 있도록 하는 특수 목적 컴퓨터 시스템으로서 동작한다. 예를 들면, 액티브 휴대용 앵커(214)는 증강 현실 시스템(202)을 액티브 휴대용 앵커(214)를 갖지 않는 현재 이용 가능한 일반적인 컴퓨터 시스템들과 비교하여 특수 목적 컴퓨터 시스템으로 변형하는 물리적 구성요소이다.
다음으로 도 3으로 넘어가면, 실례가 되는 실시예에 따른 액티브 휴대용 앵커의 블록 다이어그램의 실례가 묘사된다. 실례가 되는 예들에서, 둘 이상의 도면에서 동일한 참조 번호(reference numeral)가 사용될 수 있다. 상이한 도면들에서 이러한 참조 부호의 재사용은 상이한 도면들에서 동일한 요소를 나타낸다.
이 도면은 액티브 휴대용 앵커(214)가 구현될 수 있는 하나의 방식을 묘사한다. 이 예에서, 액티브 휴대용 앵커(214)는 휴대용 프레임(300), 통신 유닛(302), 출력 시스템(304) 및 프로세서 유닛(306)을 포함한다. 이 예에서, 이러한 구성요소들은 물체의 라이브 뷰 상에 증강 현실 정보를 표시하기 위해 액티브 휴대용 앵커(214)가 증강 현실 장치에 의해 이용될 수 있도록 한다. 이러한 구성요소들은 액티브 휴대용 앵커(214)가 물체에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치를 출력하게 할 수 있도록 동작한다.
묘사된 바와 같이, 휴대용 프레임(300)은 액티브 휴대용 앵커(214)를 위한 구성요소들을 지지하거나 둘러싸거나 고정하기 위해 동작하는 구조물이다. 휴대용 프레임(300)의 치수들 또는 무게 중 적어도 하나는 휴대용 프레임(300)이 인간 작동자에 의해 이동될 수 있도록 선택된다. 몇몇 경우에서는, 수치들 또는 무게는 두 명의 인간 작동자들이 휴대용 프레임(300)을 옮길 수 있도록 선택될 수 있다.
휴대용 프레임(300)은 다수의 상이한 형태를 취할 수 있다. 예를 들면, 휴대용 프레임(300)은 하우징(housing), 울타리(enclosure), 플랫폼(platform) 또는 어떤 다른 적합한 구조물일 수 있다. 이 예에서, 통신 유닛(302), 출력 시스템(304) 및 프로세서 유닛(306)은 물리적으로 휴대용 프레임(300)에 연결될 수 있다.
여기에서 사용된 바와 같이, 제 2 구성요소에 “물리적으로 연결된” 제 1 구성요소는 제 1 구성요소가 직접적으로 또는 간접적으로 제 2 구성요소에 연결될 수 있음을 의미한다. 즉, 제 1 구성요소와 제 2 구성요소 사이에 추가적인 구성요소들이 존재할 수 있다. 이 두 구성요소들 사이에 하나 이상의 추가적인 구성요소들이 존재할 때 제 1 구성요소는 제 2 구성요소에 간접적으로 연결된 것으로 여겨진다. 제 1 구성요소가 제 2 구성요소에 직접적으로 연결된 경우, 이 두 구성요소들 사이에는 추가적인 구성요소들이 존재하지 않는다.
묘사된 바와 같이, 통신 유닛(302)은 Wi-Fi, 블루투스(Bluetooth) 또는 라디오 주파수 파동들(radio frequency waves), 광학 신호들 또는 다른 종류들의 무선 전송 매체를 이용하는 어떤 다른 무선 전송 기술을 이용하여 구현될 수 있다. 예를 들면, “Wi-Fi”는 Wi-Fi 연합의 상표이며, “Bluetooth”는 Bluetooth SIG사의 등록된 상표이다.
이 실례가 되는 예에서, 통신 유닛(302)은 외부 추적 시스템(216)에 의해 결정된 대로 물체(206)의 물리적 물체 위치(224)와 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222)를 수신하도록 구성된다. 이러한 위치 정보는 통신 유닛(302)에 의해 수립된(established) 무선 통신 링크를 이용하여 수신될 수 있다.
출력 시스템(304)은 물리적으로 휴대용 프레임(300)에 연결된다. 액티브 휴대용 앵커(214)와 출력 시스템(304)으로부터의 출력은 무선 송신기 또는 표시 장치 중 적어도 하나를 이용하여 만들어질 수 있다.
이 예에서, 프로세서 유닛(306)은 휴대용 프레임(300)과 물리적으로 연결되며 통신 유닛(302) 및 출력 시스템(304)과 통신한다. 프로세서 유닛(306)은 물리적 앵커 위치와 물리적 물체 위치를 이용하여 물체의 물리적 물체 위치에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 결정하고; 출력 시스템을 이용하여 물체의 물리적 물체 위치에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치를 출력하도록 구성된다.
증강 현실 환경(200)의 실례와 도 2 및 도 3의 상이한 구성요소들은 실례가 되는 실시예가 구현될 수 있는 방식에 대한 물리적 또는 구조적 제한들을 시사하도록 의도된 것은 아니다. 예시된 것들에 추가적으로 또는 그것들을 대신하여 다른 구성요소들이 사용될 수 있다. 몇몇 구성요소들은 불필요할 수 있다. 또한, 몇몇 기능적 구성요소들을 나타내기 위해 블록들이 제시된다. 하나 이상의 이러한 블록들은 실례가 되는 실시예에서 구현될 때 결합되거나, 나누어지거나 또는 상이한 블록들과 결합되고 나누어질 수 있다.
다음으로 도 4로 넘어가면, 실례가 되는 실시예에 따른 물체의 라이브 뷰 상에 증강 현실 정보를 표시하기 위한 데이터흐름 다이어그램의 실례가 묘사된다. 묘사된 바와 같이, 물체(400)의 라이브 뷰 상에 증강 현실 정보를 표시하기 위한 데이터 흐름은 실례가 되는 실시예에 따라 묘사된다. 이 실례가 되는 예에서, 스마트 안경(402)은 도 2의 증강 현실 장치(212)에 대한 구현의 예이다. 스마트 안경(402)은 컴퓨터(405)로부터 물체(400)의 모델(404)을 수신한다. 모델(404)은 물체(400)의 라이브 뷰 상에 증강 현실 정보를 표시하기 위해 스마트 안경(402)에 의해 이용된다. 묘사된 바와 같이, 모델(404)로부터의 그래픽들, 정보 및 다른 데이터는 증강 현실 정보를 생성하기 위해 이용되거나 증강 현실 정보로서 표시될 수 있다.
물체(400)의 라이브 뷰 상에 증강 현실 정보(418)를 배치함에 있어서, 스마트 안경(402)은 액티브 휴대용 앵커(214)에 대하여 자신을 배향한다. 이 예에서, 물체(400)의 모델(404)을 물체(400)의 라이브 뷰와 상호 연관시키고 스마트 안경(402)의 위치를 식별하는 데에 이용하기 위해 기준으로서 액티브 휴대용 앵커(406)를 인식함으로써 배향(orientation)이 수행된다. 이러한 인식은 액티브 휴대용 앵커(406)가 스마트 안경(402)의 시야 내에 있을 때 만들어질 수 있다.
스마트 안경(402)은 액티브 휴대용 앵커(406)를 식별하기 위해 사진측량(photogrammetry) 센서들과 프로세스들을 이용한다. 이러한 식별은 액티브 휴대용 앵커(406)의 형상, 치수들 또는 다른 시각적 특성들 중 적어도 하나에 기초할 수 있다. 이 실례가 되는 예에서, 액티브 휴대용 앵커(406)는 또한 스마트 안경(402)에 자신의 위치를 제공한다. 액티브 휴대용 앵커(406)의 위치는 현재의 위치 데이터(414)에서 액티브 휴대용 앵커(406)로부터 수신되며 액티브 휴대용 앵커(406)의 라이브 뷰 상에 증강 현실 정보(418)를 표시하기 위해 이용된다.
이 실례가 되는 예에서, 액티브 휴대용 앵커(406)는 스마트 안경(402)의 동작 동안에 이동할 수 있다. 액티브 휴대용 앵커(406)의 현재의 위치는 외부 추적 시스템(408)을 이용하여 동적으로 결정될 수 있다.
이 실례가 되는 예에서, 외부 추적 시스템(408)은 포지셔너(positioner)(410)와 물체 포지셔너 프로브(411)를 포함한다. 물체 포지셔너 프로브(411)는 물체(400)의 상이한 지점들에 접촉하기 위해 인간 사용자 또는 로봇 중 적어도 하나에 의해 조종될 수 있다. 포지셔너(410)는 물체(400)에 접촉하는 물체 포지셔너 프로브(411)에 기초하여 측정값들을 기록한다. 물체 포지셔너 프로브(411)는 액티브 휴대용 앵커(406)의 측정값들을 만들기 위해 이용될 수도 있다. 이러한 측정값들은 위치 정보(412)를 형성하는 물체(400)를 위한 물리적 물체 위치 및 액티브 휴대용 앵커(406)를 위한 물리적 앵커 위치를 식별하기 위해 이용될 수 있다.
위치 정보(412)는 액티브 휴대용 앵커(406)로 보내어진다. 액티브 휴대용 앵커(406)는 위치 정보(412)를 이용하여 현재의 위치 데이터(414)를 생성한다. 현재의 위치 데이터(414)는 물체(400)에 대한 액티브 휴대용 앵커(406)의 현재의 물리적 앵커 위치를 포함한다. 액티브 휴대용 앵커(406)는 스마트 안경(402)으로 현재의 위치 데이터(414)를 보낸다.
묘사된 바와 같이, 스마트 안경(402)은 현재의 위치 데이터(414)에서 물체(400)에 대한 액티브 휴대용 앵커(406)의 현재의 물리적 앵커 위치를 식별한다. 모델(404)에서 액티브 휴대용 앵커(406)의 위치는 액티브 휴대용 앵커(406)에 대한 현재의 모델 앵커 위치가 물체(400)에 대한 액티브 휴대용 앵커(406)를 위한 현재의 물리적 앵커 위치에 상응하도록 업데이트된다.
스마트 안경(402)은 액티브 휴대용 앵커(406)를 이용하여 물체(400)에 대하여 자신을 배향한다. 이러한 배향과 함께, 스마트 안경(402)은 액티브 휴대용 앵커(406)에 대한 스마트 안경(402)의 위치를 식별한다.
스마트 안경(402)은 물체(400)의 라이브 뷰 상에 증강 현실 정보(418)를 표시한다. 라이브 뷰 상에 증강 현실 정보(418)를 배치하는 것은 액티브 휴대용 앵커(406)가 스마트 안경(402)의 원하는 거리 이내에 있을 때 더 높은 정확도로 수행될 수 있다. 만약 스마트 안경(402)이 움직이면, 액티브 휴대용 앵커(406)도 이동될 수 있다.
만약 액티브 휴대용 앵커(406)가 이동되면, 액티브 휴대용 앵커(406)의 위치를 식별하고 액티브 휴대용 앵커(406)로 업데이트된 위치 정보를 보내기 위해 외부 추적 시스템(408)을 이용하여 모델(404)에서 위치에 대한 업데이트가 동적으로 수행될 수 있다.
도 5를 참조하면, 실례가 되는 실시예에 따라 증강 현실 환경의 실례가 묘사된다. 증강 현실 환경(501)은 도 2에서 블록 형태로 나타난 증강 현실 환경(200)을 위한 하나의 구현 예이다.
이 실례가 되는 예에서, 항공기(500)는 도 2의 물체(206)의 예이다. 또한, 액티브 휴대용 앵커(502)는 항공기(500)에 대하여(relative to) 배치된다. 묘사된 바와 같이, 외부 추적 시스템(504)은 항공기(500)와 액티브 휴대용 앵커(502)의 위치를 식별한다. 외부 추적 시스템(504)은 지능형 글로벌 포지셔닝 시스템(iGPS) 로케이터(506), 지능형 글로벌 포지셔닝 시스템(iGPS) 로케이터(508) 및 지능형 글로벌 포지셔닝 시스템(iGPS) 로케이터(510)를 포함한다.
이러한 지능형 글로벌 포지셔닝 시스템 로케이터들은 액티브 휴대용 앵커(502)와 항공기(500)의 위치들을 식별하기 위해 상이한 장소들로부터 액티브 휴대용 앵커(502)와 항공기(500)를 아우르는 공간의 부피를 스캔하는 레이저 송신기들을 포함한다. 위치들은 외부 추적 시스템(504)을 위한 좌표계에 기초한 장소들과 배향들을 포함한다.
이러한 묘사된 예에서, 항공기(500)의 코 끝(512)은 항공기(500)를 위한 기준점으로서 선택된다. 묘사된 바와 같이, 코 끝(512)은 장소 L1(100,200,50) 및 X-벡터 X1(0.7,0.7,0.14)와 Z-벡터 Z1(-0.19, 0.28, 0.98)로 기술되는 배향을 포함하는 위치를 갖는다. 액티브 휴대용 앵커(502)의 상부(514)는 액티브 휴대용 앵커(502)의 기준점으로서 선택되며 장소 L2(60,80,10) 및 X-벡터 X2(0.44,-0.88,0.15) 및 Z-벡터 Z2(0.1, -0.1, 0.99)로 기술되는 배향을 포함하는 위치를 갖는다.
항공기(500)에 대한 액티브 휴대용 앵커(502)의 장소는 상부(514)의 위치로부터 코 끝(512)의 위치를 감산함으로써 식별될 수 있다. 상대적 장소는 L2-L1 = 상대적 장소 RL(40,120,40)으로서 식별된다. 상대적 배향 RL(X'Z')은 X'=X2-X2 = (0.26,1.58,-0.01) 및 Z'=Z2-Z1 = (-0.29,0.38,-0.01)이다.
이러한 위치들을 감산하는 것은 3차원에서 상대적 장소와 항공기(500)에 대한 액티브 휴대용 앵커(502)를 위한 상대적 배향을 제공한다. 액티브 휴대용 앵커(502)의 이러한 위치는 항공기(500)의 모델에서 액티브 휴대용 앵커(502)를 위한 모델 앵커 위치를 업데이트 하기 위해 이용된다.
이 묘사된 예에서, 코 끝(512)에 상응하는 모델에서의 코 끝은 XM = X-벡터 (1,0,0)과 ZM = Z-벡터 (0,0,1)의 배향과 함께 장소 LM(0,0,0)을 갖는 항공기의 모델을 위한 원점에 있다. 이 예에서, 모델에서 현재의 모델 앵커 위치는 현실 세계 환경에서 액티브 휴대용 앵커의 위치를 반영하기 위해 업데이트 될 수 있다. 예를 들면, 모델에서의 앵커 장소(AL)는 LM(0,0,0) + RL(40,120,40) = AL(40,120,40)이고 앵커 배향(AO)는 AO(X',Z')이며, XA = (1,0,0) + (0.26,1.58,-0.01) = (1.26,1.58,-0.01) 및 ZA = (0,0,1) + (-0.29,0.38,-0.01) = (-0.29,0.38,0.99)이다.
다음으로 도 6을 참조하면, 실례가 되는 실시예에 따라 액티브 휴대용 앵커의 실례가 묘사된다. 이 실례가 되는 예에서, 액티브 휴대용 앵커(600)는 도 2 및 도 3에서 블록 형태로 나타난 액티브 휴대용 앵커(214)를 위한 하나의 구현 예이다.
묘사된 바와 같이, 액티브 휴대용 앵커(600)는 휴대용 프레임(606)을 갖는다. 평판(flat plate)(608)은 휴대용 프레임(606)에 물리적으로 연결된다. 평판(608)은 증강 현실 장치가 자신을 배향하는 데에 사용을 위한 앵커로서 인식할 형상을 갖는다.
표시 장치(604)는 평판(608)에 물리적으로 연결되며 액티브 휴대용 앵커(600)의 위치를 표시하기 위한 능력을 제공한다. 표시 장치(604)는 예를 들면 바코드, 매트릭스(matrix) 바코드 또는 액티브 휴대용 앵커(600)의 위치를 시각적으로 전달하는 어떤 다른 적합한 종류의 포맷(format)을 표시할 수 있다. 안테나들(610)은 외부 추적 시스템으로부터 위치 정보를 수신하도록 구성된다.
도 7 내지 9에서 흐름도들의 상이한 프로세스들은 하드웨어에서 또는 소프트웨어에서 또는 둘 모두에서 구현될 수 있다. 소프트웨어에서 구현되는 경우, 프로세스들은 하나 이상의 컴퓨터 시스템들에 있는 하나 이상의 하드웨어 장치들 내에 위치한 하나 이상의 프로세서 유닛들에 의해 실행되는(run) 프로그램 코드의 형태를 취할 수 있다.
도 7을 참조하면, 실례가 되는 실시예에 따라 라이브 뷰 상에 증강 현실 정보를 표시하기 위한 프로세스의 흐름도의 실례가 묘사된다. 이 묘사된 예에서, 도 7의 프로세스는 도 2의 증강 현실 시스템(202) 내 하나 이상의 구성요소들에서 구현될 수 있다. 예를 들면, 도 2의 증강 현실 장치(212)와 증강 현실 시스템(202) 내 상이한 하드웨어 구성요소들에 위치할 수 있는 프로세서들을 포함하는 프로세서 시스템(218)에 의해 상이한 동작들이 구현될 수 있다.
프로세스는 외부 추적 시스템이 액티브 휴대용 앵커의 물리적 앵커 위치와 물체의 물리적 물체 위치를 결정함에 의해 시작한다(동작(700)). 이 실례가 되는 예에서, 동작(700)은 도 2의 외부 추적 시스템(216) 내 하나 이상의 프로세서 유닛들에 의해 수행될 수 있다. 이러한 두 개의 위치들, 즉 물리적 앵커 위치 및 물리적 물체 위치는 외부 추적 시스템을 위한 추적 좌표계 내에 있다.
프로세서 시스템은 현재의 위치 데이터를 생성한다(동작(702)). 현재의 위치 데이터는 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 포함한다. 이러한 현재의 물리적 앵커 위치는 물리적 앵커 위치로부터 물리적 물체 위치를 감산함으로써 식별될 수 있다. 동작(702)은 액티브 휴대용 앵커와 외부 추적 시스템 중 적어도 하나에 위치하는 프로세서 시스템 내 하나 이상의 프로세서 유닛들에 의해 수행될 수 있다.
액티브 휴대용 앵커는 현재의 위치 데이터를 출력한다(동작(704)). 실례가 되는 예에서, 출력은 현재의 위치 데이터의 시각적 디스플레이 또는 무선 송신 중 적어도 하나로부터 선택된 형태일 수 있다.
프로세서 시스템은 현재의 위치 데이터를 이용하여 물체의 모델을 업데이트 한다(동작(706)). 동작(704)에서, 프로세스는 모델에서 물체에 대한 액티브 휴대용 앵커를 위한 현재의 모델 앵커 위치를 반영하기 위해 모델을 업데이트 한다.
이 예에서, 프로세서 시스템 내 하나 이상의 프로세서 유닛들은 이러한 동작을 수행하고 물체의 모델을 저장하거나 증강 현실 장치로 보내는 컴퓨터 또는 증강 현실 장치 중 적어도 하나 내에 또는 어떤 다른 데이터 처리 및 증강 현실 시스템 상에 위치할 수 있다.
동작(706)에서, 물체의 모델에서 액티브 물리적 앵커의 위치는 현실 세계 환경에서 액티브 휴대용 앵커의 현재의 위치를 반영하기 위해 업데이트 된다.
증강 현실 장치는 현실 세계 환경에서 액티브 휴대용 앵커를 이용하여 자신을 배향한다(동작(708)). 프로세스는 그 후에 종료한다. 이 실례가 되는 예에서, 증강 현실 장치는 현실 세계 환경에서 물체의 라이브 뷰 상 물체의 모델에 상응하기 위해 액티브 휴대용 앵커에 의해 출력되는 현재의 물리적 앵커 위치를 수신하고 이용한다. 증강 현실 장치는 현재 이용되는 것과 비교하여 증가된 정확도로 증강 현실 정보를 표시한다.
다음으로 도 8을 참조하면, 실례가 되는 실시예에 따라 증강 현실 장치를 배향하기 위해 현재의 물리적 앵커 위치를 출력하기 위한 프로세스의 흐름도의 실례가 묘사된다. 이 흐름도에 묘사된 프로세스는 도 2의 액티브 휴대용 앵커(214)에서 구현될 수 있다.
프로세스는 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 식별함으로써 시작한다(동작(800)). 액티브 휴대용 앵커는 물체의 라이브 뷰 상에 증강 현실 정보를 표시하기 위해 증강 현실 장치에 의해 이용된다.
실례가 되는 하나의 예에서, 동작(800)에서 수행되는 식별은, 액티브 휴대용 앵커에 의해, 물체의 물리적 물체 위치와 액티브 휴대용 앵커의 물리적 앵커 위치를 이용하여 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 결정하는 것을 포함한다. 다른 예에서, 식별하는 단계는, 액티브 휴대용 앵커에 의해, 액티브 휴대용 앵커로부터 수신된 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치와 상호 연관된 물체의 모델에서 액티브 휴대용 앵커의 현재의 모델 앵커 위치를 결정하는 것을 포함한다. 또 다른 실례가 되는 예에서, 식별하는 단계는, 외부 추적기에 의해, 물체의 물리적 물체 위치와 액티브 휴대용 앵커의 물리적 앵커 위치를 이용하여 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 결정하는 것을 포함한다.
프로세스는 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 출력한다(동작(802)). 프로세스는 그 후 종료한다. 이러한 현재의 물리적 앵커 위치는 액티브 휴대용 앵커가 증강 현실 장치로부터 원하는 거리를 유지하기 위해 이동된 경우 동적으로 업데이트될 수 있다.
다음으로 도 9로 넘어가면, 실례가 되는 실시예에 따라 증강 현실 정보를 표시하기 위한 프로세스의 흐름도의 실례가 묘사된다. 도 9의 프로세스는 도 2의 증강 현실 장치(212)에서 구현될 수 있다.
프로세스는 액티브 휴대용 앵커로부터 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 수신함으로써 시작한다(동작(900)). 프로세스는 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 이용하여 물체의 모델에서 액티브 휴대용 앵커의 현재의 모델 위치를 결정한다(동작(902)). 프로세스는 액티브 휴대용 앵커의 현재의 모델 위치를 이용하여 모델을 업데이트한다 (동작(904)).
프로세스는 물체의 모델과 액티브 휴대용 앵커의 현재의 모델 위치를 이용하여 증강 현실 장치에서 물체의 라이브 뷰 상에 증강 현실 정보를 표시한다(동작(906)). 프로세스는 그 후 종료한다.
물체의 라이브 뷰 상에 증강 현실 정보를 배치함에 있어서 정확도는 물체의 물리적 물체 위치에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 반영하기 위해 물체의 모델에서 액티브 휴대용 앵커의 현재의 위치를 동적으로 업데이트 함과 함께 증가된다.
다음으로 도 10을 참조하면, 실례가 되는 실시예에 따라 증강 현실 장치를 배향하기 위한 프로세스의 흐름도의 실례가 묘사된다. 도 10의 프로세스는 증강 현실 시스템(202) 내 하나 이상의 구성요소들에서 구현될 수 있다. 예를 들면, 상이한 동작들은 도 2의 증강 현실 장치(212) 내 하나 이상의 프로세서 유닛들에 의해 구현될 수 있다.
프로세스는 액티브 휴대용 앵커로부터 액티브 휴대용 앵커의 현재의 물리적 앵커 위치를 획득함으로써 시작한다(동작(1000)). 동작(1000)에서, 현재의 물리적 앵커 위치는 액티브 휴대용 앵커 상 표시 장치 상에 표시될 수 있다. 현재의 물리적 앵커 위치는 증강 현실 장치에 의해 표시 장치로부터 획득될 수 있다. 다른 실례가 되는 예에서, 현재의 물리적 앵커 위치는 액티브 휴대용 앵커로부터 증강 현실 장치에 의해 수신된 무선 송신으로부터 증강 현실 장치에 의해 획득될 수 있다.
프로세스는 액티브 휴대용 앵커의 현재의 물리적 앵커 위치에 기초하여 증강 현실 장치를 위한 로컬 좌표계를 설정한다(동작(1002)). 이러한 위치는 3차원 공간에서의 장소 및 배향을 포함한다.
프로세스는 물체의 모델에서 액티브 휴대용 앵커의 현재의 모델 앵커 위치를 식별한다(동작(1004)). 이 현재의 모델 앵커 위치는 모델에 의해 사용되는 좌표계에 있다. 프로세스는 디스플레이가 로컬 좌표계에 맞도록(match) 모델에서 기하학들을 불러오고(load) 재배치한다(동작(1006)). 프로세스는 그 후 종료한다. 동작(1006)에서, 증강 현실 장치는 라이브 뷰 상에 원하는 위치로 물체의 라이브 뷰 상에 디스플레이를 위해 모델로부터 증강 현실 정보를 불러온다.
다음으로 도 11을 참조하면, 실례가 되는 예에 따라 현재의 물리적 앵커 위치를 수신하기 위한 프로세스의 흐름도의 실례가 묘사된다. 도 11의 프로세스는 도 2의 증강 현실 장치(212)에서 구현될 수 있다.
프로세스는 물체를 위한 액티브 휴대용 앵커들의 그룹에서 둘 이상의 액티브 휴대용 앵커들을 식별함으로써 시작한다(동작(1100)). 이 예에서, 액티브 휴대용 앵커들의 그룹은 물체를 위한 복수의 액티브 휴대용 앵커들이다. 프로세스는 액티브 휴대용 앵커들의 그룹으로부터 다수의 액티브 휴대용 앵커들을 선택한다(동작(1102)). 여기에서 사용된 바와 같이, “다수의”가 항목들을 참조하며 사용된 경우 하나 이상의 항목들을 의미한다. 예를 들면, 다수의 액티브 휴대용 앵커들은 하나 이상의 액티브 휴대용 앵커들이다.
동작(1102)에서 선택은 다수의 상이한 방식으로 만들어질 수 있다. 예를 들면, 가장 가까운 액티브 휴대용 앵커의 선택은 증강 현실 장치의 시야 내 가장 가까운 것에 기초할 수 있다. 다른 예에서, 교정에서 둘 이상의 액티브 휴대용 앵커들이 사용되고 장소는 둘 이상의 앵커 원점을 이용하여 교차 참조(cross reference)된다. 더 가까운 앵커에 바이어스(bias) 또는 더 무거운 가중치(weighting)가 주어질 수 있다.
프로세스는 복수의 액티브 휴대용 앵커들에서 선택된 수의 현재의 액티브 휴대용 앵커들로부터 선택된 수의 현재의 물리적 앵커 위치들을 수신한다(동작(1104)). 프로세스는 그 후 종료한다. 예를 들면, 증강 현실 장치는 가장 가까운 액티브 휴대용 앵커의 하나의 현재의 앵커 위치를 수신할 수 있다. 또 다른 실례가 되는 예에서, 증강 현실 장치는 복수의 현재의 액티브 휴대용 앵커들로부터 선택된 복수의 현재의 물리적 앵커 위치들을 수신한다.
묘사된 상이한 실시예들에서 흐름도들과 블록 다이어그램들은 실례가 되는 실시예에서 장치들 및 방법들의 몇몇 가능한 구현들의 구조(architecture), 기능성(functionality) 및 동작을 도시한다. 이와 관련하여, 흐름도들 또는 블록 다이어그램들의 각 블록은 모듈, 세그먼트(segment), 기능(function) 또는 동작이나 단계의 일부 중 적어도 하나를 나타낼 수 있다. 예를 들면, 하나 이상의 블록들은 프로그램 코드, 하드웨어 또는 프로그램 코드와 하드웨어의 조합으로 구현될 수 있다. 하드웨어에서 구현되는 경우, 하드웨어는 예를 들면 흐름도들 또는 블록 다이어그램들에서 하나 이상의 동작들을 수행하도록 제작되거나 구성된 집적 회로들의 형태를 취할 수 있다. 프로그램 코드와 하드웨어의 조합으로 구현되는 경우, 구현은 펌웨어(firmware)의 형태를 취할 수 있다. 흐름도들 또는 블록 다이어그램들의 각 블록은 상이한 동작들을 수행하는 특수 목적 하드웨어 시스템들 또는 특수 목적 하드웨어와 특수 목적 하드웨어에 의해 실행되는(run) 프로그램 코드의 조합들을 이용하여 구현될 수 있다.
실례가 되는 실시예의 몇몇 대안적 구현들에서는, 블록들에서 표시된(noted) 기능 또는 기능들은 도면들에 표시된 순서를 벗어나서 발생할 수 있다. 예를 들면, 몇몇 경우들에서, 연속으로 표시된 두 개의 블록들은 수반되는 기능성에 따라, 실질적으로 동시에 수행될 수도 있고, 또는 블록들은 때때로 반대의 순서로 수행될 수도 있다. 또한, 흐름도나 블록 다이어그램에서 도시된 블록들에 더하여 다른 블록들이 추가될 수 있다.
이제 도 12로 넘어가면, 실례가 되는 실시예에 따라 데이터 처리 시스템의 블록 다이어그램의 실례가 묘사된다. 데이터 처리 시스템(1200)은 서버 컴퓨터(104), 서버 컴퓨터(106), 클라이언트 장치들(110), 증강 현실 장치(212), 액티브 휴대용 앵커(214), 외부 추적 시스템(216), 컴퓨터 시스템(236), 스마트 안경(402), 컴퓨터(405), 액티브 휴대용 앵커(406) 및 상이한 실례가 되는 예들 상 동작들을 수행하기 위해 이용될 수 있는 임의의 다른 데이터 처리 시스템을 구현하기 위해 이용될 수 있다. 묘사된 바와 같이, 데이터 처리 시스템(1200)은 프로세서 유닛(1204), 메모리(1206), 영구 저장소(persistent storage)(1208), 통신 유닛(1210), 입력/출력(I/O) 유닛(1212) 및 디스플레이(1214) 사이에 통신을 제공하는 통신 프레임워크(1202)를 포함한다. 이 예에서, 통신 프레임워크(1202)는 버스(bus) 시스템의 형태를 취할 수 있다.
프로세서 유닛(1204)은 메모리(1206)로 로딩(loading)될 수 있는 소프트웨어를 위한 명령들을 실행한다(execute). 프로세서 유닛(1204)는 특정 구현에 따라 다수의 프로세서들, 멀티 프로세서 코어 또는 어떤 다른 종류의 프로세서일 수 있다.
메모리(1206)와 영구 저장소(1208)는 저장 장치들(1216)의 예들이다. 저장 장치는 예를 들면, 제한 없이, 기능적 형태의 프로그램 코드, 데이터 또는 다른 적합한 정보 중 적어도 하나와 같은 정보를 임시적으로, 영구적으로 또는 임시적이며 영구적으로 저장할 수 있는 하나의 임의의 하드웨어이다. 저장 장치들(1216)은 이러한 실례가 되는 예들에서 컴퓨터 판독가능(computer-readable) 저장 장치들로 불릴 수도 있다. 이러한 예들에서, 메모리(1206)는 예를 들면 임의 접근 메모리(random access memory) 또는 임의의 다른 적합한 휘발성 또는 비휘발성 저장 장치일 수 있다. 영구 저장소(1208)는 특정 구현에 따라 다양한 형태들을 취할 수 있다.
예를 들면, 영구 저장소(1208)는 하나 이상의 구성요소들 또는 장치들을 포함할 수 있다. 예를 들면, 영구 저장소(1208)는 하드 드라이브, SSD(solid-state drive), 플래시 메모리, 재기록 가능한 광 디스크, 재기록 가능한 자기(magnetic) 테이프 또는 위의 것들의 어떤 조합일 수 있다. 영구 저장소(1208)에 의해 이용되는 매체는 또한 제거 가능할 수 있다. 예를 들면, 제거 가능한 하드 드라이브가 영구 저장소(1208)를 위해 이용될 수 있다.
이러한 실례가 되는 예들에서, 통신 유닛(1210)은 다른 데이터 처리 시스템들 또는 장치들과의 통신을 제공한다. 이러한 실례가 되는 예들에서, 통신 유닛(1210)은 네트워크 인터페이스 카드(network interface card)이다.
입력/출력 유닛(1212)은 데이터 처리 시스템(1200)에 연결되어 있을 수 있는 다른 장치들과의 데이터의 입력과 출력을 허용한다. 예를 들면, 입력/출력 유닛(1212)은 키보드, 마우스 또는 어떤 다른 적합한 입력 장치 중 적어도 하나를 통해 사용자 입력을 위한 연결을 제공할 수 있다. 또한, 입력/출력 장치(1212)는 프린터로 출력을 보낼 수 있다. 디스플레이(1214)는 사용자에게 정보를 표시하기 위한 매커니즘(mechanism)을 제공한다.
운영 시스템, 애플리케이션들(applications) 또는 프로그램들 중 적어도 하나를 위한 명령들은 통신 프레임워크(1202)를 통해 프로세서 유닛(1204)과 통신하는 저장 장치들(1216)에 위치할 수 있다. 상이한 실시예들의 프로세스들은 메모리(1206)과 같은 메모리에 위치할 수 있는 컴퓨터로 구현되는 명령들을 이용하여 프로세서 유닛(1204)에 의해 수행될 수 있다.
이러한 명령들은 프로세서 유닛(1204)에서 프로세서에 의해 판독되고 실행(execute)될 수 있는 프로그램 코드, 컴퓨터가 이용할 수 있는 프로그램 코드 또는 컴퓨터 판독가능 프로그램 코드로 불린다. 상이한 실시예들에서 프로그램 코드는 메모리(1206) 또는 영구 저장소(1208)과 같이, 상이한 물리적 또는 컴퓨터 판독가능 저장 매체 상에 구체화(embody) 될 수 있다.
프로그램 코드(1218)는 프로세서 유닛(1204)에 의해 실행(execution)을 위해 데이터 처리 시스템(1200)으로 로딩되거나 전달될 수 있고 선택적으로 제거 가능한 컴퓨터 판독가능 매체(1220) 상에 기능적 형태로 위치한다. 프로그램 코드(1218) 및 컴퓨터 판독가능 매체(1220)는 이러한 실례가 되는 예들에서 컴퓨터 프로그램 제품(1222)을 형성한다. 실례가 되는 예에서, 컴퓨터 판독가능 매체(1220)는 컴퓨터 판독가능 저장 매체(1224)이다.
이러한 실례가 되는 예들에서, 컴퓨터 판독가능 저장 매체(1224)는 프로그램 코드(1218)를 전파하거나 전송하는 매체보다는 프로그램 코드(1218)를 저장하기 위해 이용되는 물리적 또는 유형의(tangible) 저장 장치이다.
대안적으로, 프로그램 코드(1218)는 컴퓨터 판독가능 신호 매체를 이용하여 데이터 처리 시스템(1200)으로 전달될 수 있다. 예를 들면 컴퓨터 판독가능 신호 매체는 프로그램 코드(1218)를 포함하는 전파된 데이터 신호일 수 있다. 예를 들면, 컴퓨터 판독가능 신호 매체는 전자기 신호, 광학 신호 또는 임의의 다른 적합한 종류의 신호 중 적어도 하나일 수 있다. 이러한 신호들은 무선 통신 링크들, 광섬유 케이블, 동축(coaxial) 케이블, 와이어(wire) 또는 임의의 다른 적합한 종류의 통신 링크와 같은 통신 링크들 중 적어도 하나를 통해 전송될 수 있다.
데이터 처리 시스템(1200)을 위해 도시된 상이한 구성요소들은 상이한 실시예들이 구현될 수 있는 방식에 구조적 제한을 두기 위해 의도된 것은 아니다. 상이한 실례가 되는 실시예들은 데이터 처리 시스템(1200)을 위해 도시된 것들에 추가적으로 또는 대신하여 구성요소들을 포함하는 데이터 처리 시스템으로 구현될 수 있다. 도 12에 나타난 다른 구성요소들은 실례가 되는 나타난 예들로부터 변화될 수 있다. 상이한 실시예들은 프로그램 코드(1218)를 실행(run)할 수 있는 임의의 하드웨어 장치 또는 시스템을 이용하여 구현될 수 있다.
본 개시의 실례가 되는 실시예들은 도 13에 나타나는 항공기 제조 및 점검(service) 방법(1300)과 도 14에 나타나는 항공기(1400)의 맥락에서 기술될 수 있다. 먼저 도 13으로 넘어가면, 실례가 되는 실시예에 따라 항공기 제조 및 점검 방법의 블록 다이어그램의 실시예가 묘사된다. 생산 이전 단계(pre-production) 동안에, 항공기 제조 및 점검 방법(1300)은 자재 조달(1304) 및 도 14의 항공기의 사양(specification)과 설계(design)(1302)를 포함할 수 있다.
생산 동안에는, 도 14의 항공기(1400)의 구성요소 및 서브어셈블리(subassembly) 제작(1306)과 시스템 통합(integration)(1308)이 발생한다. 그 후, 도 14의 항공기(1400)는 서비스를 하기 위해 인증과 인도(delivery)(1310)을 거칠 수 있다. 사용자에 의해 서비스 중(1312)인 동안, 도 14의 항공기(1400)는 변경, 재구성(reconfiguration), 재단장(refurbishment) 및 다른 유지 보수 또는 점검을 포함할 수 있는 일상적인 유지보수 및 점검(1314)를 위해 예정된다(scheduled). 예를 들면, 일상적인 유지보수 및 점검(1314) 동안의 항공기 검사들은 도 14의 항공기(1400)의 비행 안전성 또는 이용 가능성 중 적어도 하나를 유지하거나 증가시키기 위한 동작들을 포함할 수 있다.
항공기 제조 및 점검 방법(1300)의 각 프로세스는 시스템 통합자(system integrator), 제3자, 작동자 또는 이들의 어떤 조합에 의해 수행되거나 이행될 수 있다. 이러한 예들에서, 작동자는 고객일 수 있다. 이러한 설명의 목적을 위해, 시스템 통합자는 임의의 수의 항공기 제조자들 및 주요 시스템 하도급업자들(subcontractors)을 포함할 수 있으나 이에 제한되지 않고; 제3자는 임의의 수의 판매자들(vendors), 하도급업자들 및 공급자들을 포함할 수 있으나 이에 제한되지 않으며; 작동자는 항공사, 리스(leasing) 회사, 군사 주체, 서비스 기관 등 일 수 있다.
이제 도 14를 참고하면, 실례가 되는 실시예가 구현될 수 있는 항공기의 실례가 묘사된다. 이 예에서, 항공기(1400)는 도 13의 항공기 제조 및 점검 방법(1300)에 의해 생산되며 인테리어(1406) 및 복수의 시스템들(1404)과 함께 기체(1402)를 포함할 수 있다. 시스템들(1404)의 예들은 하나 이상의 추진 시스템(1408), 전기 시스템(1410), 유압(hydraulic) 시스템(1412) 및 환경(environmental) 시스템(1414)을 포함한다. 임의의 수의 다른 시스템들도 포함될 수 있다. 비록 항공우주 예시가 나타나 있지만, 상이한 실례가 되는 실시예들이 자동차 산업과 같은 다른 산업들에 적용될 수 있다.
여기에서 구체화된 장치들 및 방법들은 도 13의 항공기 제조 및 점검 방법의 적어도 하나의 단계들 동안에 이용될 수 있다.
실례가 되는 하나의 예에서, 도 13의 구성요소 및 서브어셈블리 제조(1306)에서 생산된 구성요소들 또는 서브어셈블리들은 항공기(1400)가 도 13의 서비스 중(1312)인 동안에 생산되는 구성요소들 또는 서브어셈블리들과 유사한 방식으로 제작되거나 제조될 수 있다. 또 다른 예로서, 하나 이상의 장치 실시예들, 방법 실시예들 또는 이들의 조합은 도 13의 구성요소 및 서브어셈블리 제조(1306) 및 시스템 통합(1308)과 같은 생산 단계들 동안에 활용될 수 있다. 하나 이상의 장치 실시예들, 방법 실시예들 또는 이들의 조합은 항공기(1400)가 서비스 중(1312)인 동안, 도 13의 유지보수 및 점검(1314) 동안 또는 둘 모두에서 활용될 수 있다. 예를 들면, 도 2의 증강 현실 시스템(202)은 구성요소 및 서브어셈블리 제조(1306), 시스템 통합(1308), 인증 및 인도(1310), 서비스 중(1312) 또는 유지보수 및 점검(1314) 중 적어도 하나 동안에 활용될 수 있다. 액티브 휴대용 앵커(214)의 사용으로, 인간 작동자에게 라이브 뷰 상에 증강 현실 정보의 디스플레이는 현재 이용 가능한 기법들과 비교하여 인간 작동자가 더 자유롭게 움직이고 증강 현실 정보를 표시함에 있어서 원하는 레벨의 정확도를 유지하는 것을 허용하는 방식으로 수행될 수 있다. 다수의 상이한 실례가 되는 실시예들은 실질적으로 항공기(1400)의 조립을 가속화하거나 항공기(1400)의 가격을 낮추거나 또는 항공기(1400)의 조립을 가속화하면서 항공기(1400)의 가격을 낮출 수 있다.
이제 도 15로 넘어가면, 실례가 되는 실시예에 따라 제품 관리 시스템의 블록 다이어그램의 실례가 묘사된다. 제품 관리 시스템(1500)은 물리적 하드웨어 시스템이다. 이 실례가 되는 예에서, 제품 관리 시스템(1500)은 제조 시스템(1502) 또는 유지보수 시스템(1504) 중 적어도 하나를 포함할 수 있다.
제조 시스템(1502)은 도 14의 항공기(1400)와 같은 제품들을 제조하도록 구성된다. 묘사된 바와 같이, 제조 시스템(1502)은 제조 장비(equipment)(1506)를 포함한다. 제조 장비(1506)는 제작 장비(1508) 또는 조립 장비(1510) 중 적어도 하나를 포함한다.
제작 장비(1508)는 도 14의 항공기(1400)를 형성하기 위해 이용되는 부분들을 위한 구성요소들을 제작하기 위해 이용될 수 있는 장비이다. 예를 들면, 제작 장비(1508)는 기계들 및 도구들(tools)을 포함할 수 있다. 이러한 기계들 및 도구들은 드릴, 유압 프레스(hydraulic press), 화로(furnace), 몰드(mold), 복합 테이프 적층 기계(composite tape laying machine), 진공 시스템, 선반(lathe) 또는 다른 적합한 종류들의 장비 중 적어도 하나일 수 있다. 제작 장비(1508)는 금속 부분들, 복합체 부분들, 반도체들, 회로들, 조임쇠들, 리브(rib)들, 스킨 패널들, 스파(spar)들, 안테나들 또는 다른 적합한 종류들의 부분들 중 적어도 하나를 제작하기 위해 이용될 수 있다.
조립 장비(1510)는 도 14의 항공기(1400)를 형성하기 위한 부분들을 조립하기 위해 이용되는 장비이다. 특히, 조립 장비(1510)는 항공기(1400)를 형성하는 구성요소들 및 부분들을 조립하기 위해 이용될 수 있다. 조립 장비(1510)도 기계들 및 도구들을 포함할 수 있다. 이러한 기계들 및 도구들은 로봇 팔(robotic arm), 크롤러(crawler), 조임쇠 설치 시스템, 레일(rail) 기반 드릴(drilling) 시스템 또는 로봇 중 적어도 하나일 수 있다. 조립 장비(1510)는 좌석들, 수평 안정판(stabilizer)들, 날개들, 엔진들, 엔진 하우징들, 랜딩 기어 시스템들 및 항공기(1400)를 위한 다른 부분들과 같은 부분들을 조립하기 위해 이용될 수 있다.
이러한 실례가 되는 예에서, 유지보수 시스템(1504)은 유지보수 장비(1512)를 포함한다. 유지보수 장비(1512)는 도 14의 항공기(1400) 상에 유지보수를 수행하기 위해 필요한 임의의 장비를 포함할 수 있다. 유지보수 장비(1512)는 항공기(1400) 상의 부분들 상에 상이한 동작들을 수행하기 위한 도구들을 포함할 수 있다. 이러한 동작들은 부분들을 해체하는 것, 부분들을 재단장하는 것, 부분들을 검사하는 것, 부분들을 재작업하는 것, 교체 부분들을 제조하는 것 또는 항공기(1400) 상 유지보수를 수행하기 위한 다른 동작들 중 적어도 하나를 포함할 수 있다. 이러한 동작들은 일상적인 유지보수, 검사, 업그레이드, 재단장 또는 다른 종류의 유지보수 동작들을 위한 것일 수 있다.
실례가 되는 예에서, 유지보수 장비(1512)는 초음파 검사 장치들, X-레이 이미징(imaging) 시스템들, 시각 시스템들, 드릴들, 크롤러들 및 다른 적합한 장치들을 포함할 수 있다. 몇몇 경우에, 유지보수 장비(1512)는 유지보수를 위해 필요할 수 있는 부분들을 생산하고 조립하기 위해 제작 장비(1508), 조립 장비(1510) 또는 둘 다를 포함할 수 있다.
제품 관리 시스템(1500)은 제어 시스템(1514)도 포함한다. 제어 시스템(1514)은 하드웨어 시스템이고 소프트웨어 또는 다른 종류들의 구성요소들을 포함할 수도 있다. 제어 시스템(1514)은 제조 시스템(1502) 또는 유지보수 시스템(1504) 중 적어도 하나의 동작을 제어하도록 구성된다. 특히, 제어 시스템(1514)은 제작 장비(1508), 조립 장비(1510) 또는 유지보수 장비(1512) 중 적어도 하나의 동작을 제어할 수 있다.
제어 시스템(1514) 내 하드웨어는 컴퓨터들, 회로들, 네트워크들 및 다른 종류들의 장비를 포함할 수 있다. 제어는 제조 장비(1506)의 직접 제어의 형태를 취할 수 있다. 예를 들면, 로봇들, 컴퓨터에 의해 제어되는 기계들 및 다른 장비가 제어 시스템(1514)에 의해 제어될 수 있다. 다른 실례가 되는 예들에서, 제어 시스템(1514)은 항공기(1400) 상 유지보수를 수행하거나 제조하는 데 있어서 인간 작동자들(1516)에 의해 수행되는 동작들을 관리할 수 있다. 예를 들면, 제어 시스템(1514)은 업무들을 할당하거나, 명령들을 제공하거나, 모델들을 표시하거나 또는 인간 작동자들(1516)에 의해 수행되는 동작들을 관리하기 위한 다른 동작들을 수행할 수 있다. 이러한 실례가 되는 예들에서, 도 2의 증강 현실 시스템(202)은 도 14의 항공기(1400)의 제조 또는 유지보수 중 적어도 하나를 관리하기 위해 제어 시스템(1514)에서 구현될 수 있다.
예를 들면, 도 2의 증강 현실 시스템(202)은 도 14의 항공기와 같은 제품의 제조 또는 유지보수 중 적어도 하나를 수행하는 인간 작동자들에게 증강 현실 정보를 표시하기 위해 동작한다. 증강 현실 정보는 제조 또는 유지보수 동작들 중 적어도 하나를 수행하기 위한 명령들을 제시할 수 있다. 또 다른 예로서, 증강 현실 정보는 항공기(1400) 상 상이한 장소들에서 수행될 작업 순서들 또는 업무들을 식별할 수 있다. 또한, 표시되는 증강 현실 정보는 동작들이 수행되어야 할 항공기(1400) 상 위치들로 인간 작동자들을 안내할 수 있다.
또한, 도 2의 증강 현실 시스템(202)은 인간 작동자들로부터 입력을 수신하기 위해서도 이용될 수도 있다. 예를 들면, 인간 작동자들은 증강 현실 시스템(202)을 이용하여 시각적 검사들로부터 식별된 불일치들을 기록할 수 있다.
상이한 실례가 되는 예들에서, 인간 작동자들(1516)은 제조 장비(1506), 유지보수 장비(1512) 또는 제어 시스템(1514) 중 적어도 하나를 동작시키거나 이와 상호작용 할 수 있다. 이러한 상호작용은 도 14의 항공기(1400)를 제조하기 위해 수행될 수 있다.
당연히, 제품 관리 시스템(1500)은 도 14의 항공기(1400) 외의 다른 제품들을 관리하도록 구성될 수 있다. 비록 제품 관리 시스템(1500)이 항공우주 산업에서 제조와 관련하여 기술되었지만, 제품 관리 시스템(1500)은 다른 산업들을 위한 제품들을 관리하도록 구성될 수 있다. 예를 들면, 제품 관리 시스템(1500)은 임의의 다른 적합한 산업들 뿐만 아니라 자동차 산업을 위한 제품들을 제조하도록 구성될 수 있다.
따라서, 하나 이상의 실례가 되는 예들은 물체 상에 또는 물체와 근접하여 배치된 액티브 휴대용 앵커들을 활용한다. 이러한 액티브 휴대용 앵커들은 증강 현실 장치들이 현실 세계 환경의 물체에 대해 빠르게 자신들을 배향할 수 있도록 한다. 또한, 액티브 휴대용 앵커들은 현재 앵커들과 유사한 교정 플레이트로서 이용될 수 있다. 즉, 증강 현실 장치는 앵커가 현실 세계 환경에 존재하는 것을 인식할 수 있고 증강 현실 정보를 표시하기 위해 자신을 배향하는 데에 이 앵커를 이용할 수 있다. 액티브 휴대용 앵커는 또한 증강 현실 장치로 물체에 대한 액티브 휴대용 앵커의 현재의 앵커 위치를 제공한다.
이러한 방식으로, 하나 이상의 기술적 해법들에서, 증강 현실 장치는 액티브 휴대용 앵커를 이용하여 더 효율적으로 자신의 위치를 찾아낼(locate) 수 있고 물체에 대한 위치들에 증강 현실 정보를 더 정확하게 표시할 수 있다. 예를 들면, 물체에서 구멍들이 형성되어야 할 장소들에 대한 그래픽 지표들은 현재 이용 가능한 시스템들을 이용하는 것보다 더 정확한 방식으로 물체의 라이브 뷰 상에 증강 현실 정보로서 표시될 수 있다. 액티브 휴대용 앵커는 다른 위치로 이동되면서 액티브 휴대용 앵커는 증강 현실 장치로 이 새로운 위치를 보내도록 업데이트 될 수 있다.
결과적으로, 실례가 되는 예들에서 증강 현실 시스템은 증강 현실 시스템에서 액티브 휴대용 앵커가 증강 현실 장치가 증가된 정확도로 물체의 라이브 뷰 상에 증강 현실 정보를 표시할 수 있도록 하는 특수 목적 컴퓨터 시스템으로서 동작한다. 특히, 액티브 휴대용 앵커를 갖지 않는 현재 이용 가능한 일반 컴퓨터 시스템들과 비교하여 액티브 휴대용 앵커는 증강 현실 시스템을 특수 목적 컴퓨터 시스템으로 변형시키는 물리적 구성요소이다.
실례가 되는 실시예들은 이러한 종류의 해법이 외부 추적 시스템의 형태로 2차적 장소 시스템을 활용함으로써 구현될 수 있다는 것을 인식하고 고려한다. 실례가 되는 실시예들은 외부 추적 시스템이 액티브 휴대용 앵커들의 장소를 식별하고 결국 이 정보를 증강 현실 장치들로 제공하는 액티브 휴대용 앵커들을 통해 그 정보를 전달하도록 동작한다는 것을 인식하고 고려한다. 또한, 물체의 라이브 뷰 상에 증강 현실 정보를 배치함에 있어서의 정확도는 액티브 휴대용 앵커의 동작으로부터 물체에 대한 액티브 휴대용 앵커의 현재의 물리적 앵커 위치의 변화를 반영하기 위해 물체의 모델에서 액티브 휴대용 앵커의 현재의 모델 앵커 위치를 업데이트 함과 함께 증가된다.
상이한 실례가 되는 실시예들의 설명이 예시와 설명의 목적들을 위해 제시되었고 개시된 형태의 실시예들로 완결되거나 제한되도록 의도되지 않는다. 상이한 실례가 되는 예들은 행동들 또는 동작들을 수행하는 구성요소들을 기술한다. 실례가 되는 실시예에서, 구성요소는 기술된 행동 또는 동작을 수행하도록 구성될 수 있다. 예를 들면, 구성요소는 구성요소에 의해 수행되는 실례가 되는 예들에서 기술된 행동 또는 동작을 수행하는 능력을 구성요소에 제공하는 구조체를 위한 구조 또는 설계를 가질 수 있다.
또한, 본 개시는 다음의 조항들에 따른 실시예들을 포함한다:
제1항(Clause 1). 증강 현실 시스템(202)으로서:
물체(206)에 대한 액티브 휴대용 앵커(active portable anchor)(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성된 액티브 휴대용 앵커(214);
상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하도록 구성된 프로세서 시스템(218);
상기 액티브 휴대용 앵커(214)로부터 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하고, 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(234)을 이용하여 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 연관있는 증강 현실 정보(208)를 표시하도록 구성된 증강 현실 장치(212)를 포함하며,
상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)는 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 동적으로 업데이트 되는 것을 특징으로 하는 증강 현실 시스템(202).
제2항. 제1항에 있어서,
상기 프로세서 시스템(218)은 상기 액티브 휴대용 앵커(214) 안에 위치하는 것을 특징으로 하는 증강 현실 시스템(202).
제3항. 제1항 또는 제2항에 있어서,
좌표계에서 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 결정하도록 구성된 외부 추적 시스템(216)을 더 포함하고, 상기 프로세서 시스템(218)은 상기 외부 추적 시스템(216) 안에 위치하는 것을 특징으로 하는 증강 현실 시스템(202).
제4항. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 물체(206)를 위한 액티브 휴대용 앵커들의 그룹을 더 포함하고, 상기 액티브 휴대용 앵커(214)와 상기 액티브 휴대용 앵커들의 그룹은 상기 물체(206)를 위한 복수의 액티브 휴대용 앵커들이고, 상기 증강 현실 장치(212)는 상기 복수의 액티브 휴대용 앵커들에서 선택된 수의 현재의 액티브 휴대용 앵커들로부터 선택된 수의 현재의 물리적 앵커 위치들을 수신하는 것을 특징으로 하는 증강 현실 시스템(202).
제5항. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 증강 현실 장치(212)는 상기 액티브 휴대용 앵커(214)로부터 수신된 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)와 상호 연관된 상기 물체(206)의 모델(234)에서의 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하는 것을 특징으로 하는 증강 현실 시스템(202).
제6항. 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 물체(206)의 모델(234)은 상기 물체(206)의 일부를 포함하는 상기 물체(206)의 부분 모델인 것을 특징으로 하는 증강 현실 시스템(202).
제7항. 제6항에 있어서,
상기 물체(206)의 부분 모델은 상기 증강 현실 장치(212)의 시야 내 상기 물체(206)의 일부 또는 상기 증강 현실 장치(212)의 선택된 거리 이내의 상기 물체(206)의 일부 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제8항. 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 증강 현실 장치(212)와 통신하는 컴퓨터 시스템(236)을 더 포함하고, 상기 컴퓨터 시스템(236)은 상기 물체(206)의 모델(234)을 상기 증강 현실 장치(212)로 보내는 것을 특징으로 하는 증강 현실 시스템(202).
제9항. 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 액티브 휴대용 앵커(214)로부터의 출력은 무선 송신기 또는 표시 장치 중 적어도 하나를 이용하여 만들어지는 것을 특징으로 하는 증강 현실 시스템(202).
제10항. 제9항에 있어서,
상기 출력은 상기 표시 장치 상 상기 현재의 물리적 앵커 위치(220)의 디스플레이 또는 상기 무선 송신기를 이용한 상기 현재의 물리적 앵커 위치(220)의 무선 송신 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제11항. 제3항 내지 제10항 중 어느 한 항에 있어서,
상기 외부 추적 시스템(216)은 레이저 추적기, 레이저 스캐너, 카메라, 변위(displacement) 센서, 측정 센서 또는 프로브(probe) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시스템(202).
제12항. 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 증강 현실 정보(208)는 개략도, 사용자 입력창, 지시, 숨겨진 구조에 대한 그래픽 또는 홀로그램 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제13항. 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 물체(206)는 이동식(mobile) 플랫폼, 고정식 플랫폼, 지상 기반 구조물, 수중 기반 구조물, 우주 기반 구조물, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 생산 시설, 건물, 항공기 동체(fuselage), 엔진, 날개, 스킨 패널(skin panel), 랜딩 기어 어셈블리 및 기념물(monument)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제14항. 증강 현실 시스템(202)으로서:
물체(206)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성된 액티브 휴대용 앵커(214); 및
상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 결정하도록 구성된 외부 추적 시스템(216);을 포함하고,
상기 액티브 휴대용 앵커(214)에 의해 출력된 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)는 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222)와 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 결정되는 것을 특징으로 하는 증강 현실 시스템(202).
제15항. 제14항에 있어서,
상기 액티브 휴대용 앵커(214)로부터 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 이용하여 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하고, 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(234)을 이용하여 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 연관있는 증강 현실 정보(208)를 표시하도록 구성된 상기 증강 현실 장치(212)를 더 포함하고,
상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 모델 앵커 위치는 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 동적으로 업데이트 되어서 상기 물체(206)의 라이브 뷰(204) 상에 상기 증강 현실 정보(208)를 표시함에 있어서 정확도를 증가시키는 것을 가능하게 하는 것을 특징으로 하는 증강 현실 시스템(202).
제16항. 제14항 또는 제15항에 있어서,
상기 물체(206)는 이동식(mobile) 플랫폼, 고정식 플랫폼, 지상 기반 구조물, 수중 기반 구조물, 우주 기반 구조물, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 생산 시설, 건물, 항공기 동체(fuselage), 엔진, 날개, 스킨 패널(skin panel), 랜딩 기어 어셈블리 및 기념물(monument)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제17항. 제15항에 있어서,
상기 물체(206)의 모델(234)은 상기 물체(206)의 일부를 포함하는 상기 물체(206)의 부분 모델인 것을 특징으로 하는 증강 현실 시스템(202).
제18항. 제17항에 있어서,
상기 물체(206)의 부분 모델은 상기 증강 현실 장치(212)의 시야 내 상기 물체(206)의 일부 또는 상기 증강 현실 장치(212)의 선택된 거리 이내의 상기 물체(206)의 일부 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제19항. 증강 현실 시스템(202)으로서:
네트워크(102); 및
상기 네트워크 내 통신 포트(103);를 포함하며,
상기 통신 포트(103)는 휴대용 액티브 앵커(130)와 통신하고 상기 액티브 휴대용 앵커(130)의 물리적 앵커 위치(222)와 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)가 결정되는 상기 액티브 휴대용 앵커(130)에, 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 보내도록 구성된 것을 특징으로 하는 증강 현실 시스템(202).
제20항. 제19항에 있어서,
증강 현실 장치(212)는 상기 액티브 휴대용 앵커(130)로부터 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 모델(128)에서 상기 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치(232)를 결정하고, 상기 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(128)을 이용하여 상기 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 연관있는 증강 현실 정보(208)를 표시하도록 구성되며, 상기 물체(206)의 모델(128)에서 상기 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치(232)는 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 동적으로 업데이트되는 것을 특징으로 하는 증강 현실 시스템(202).
제21항. 장치로서:
물체(206)의 라이브 뷰(204) 상에 증강 현실 정보(208)를 표시하기 위해 증강 현실 장치(212)에 의해 사용되는 액티브 휴대용 앵커(214)를 포함하며,
상기 액티브 휴대용 앵커(214)는 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성된 것을 특징으로 하는 장치.
제22항. 제21항에 있어서,
상기 액티브 휴대용 앵커(214)는 외부 추적 시스템(216)에 의해 결정된 대로 상기 물체(206)의 물리적 물체 위치(224) 및 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222)를 수신하고, 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하도록 구성되는 것을 특징으로 하는 장치.
제23항. 제22항에 있어서,
상기 액티브 휴대용 앵커(214)는:
휴대용 프레임(300);
상기 휴대용 프레임(300)에 물리적으로 연결된 통신 유닛(302) - 상기 통신 유닛(302)은 상기 외부 추적 시스템(216)에 의해 결정된 대로 상기 물체(206)의 물리적 물체 위치(224) 및 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222)를 수신하도록 구성됨 -;
상기 휴대용 프레임(300)에 물리적으로 연결된 출력 시스템(304); 및
상기 휴대용 프레임(300)에 물리적으로 연결되고 상기 통신 유닛(302) 및 상기 출력 시스템(304)과 통신하는 프로세서 유닛(306) - 상기 프로세서 유닛(306)은 상기 물리적 앵커 위치(222) 및 상기 물리적 물체 위치(224)를 이용하여 상기 물체(206)의 물리적 물체 위치(224)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하고, 상기 출력 시스템(304)을 이용하여 상기 물체(206)의 물리적 물체 위치(224)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성됨 -;을 포함하는 것을 특징으로 하는 장치.
제24항. 제23항에 있어서,
상기 출력 시스템(304)은 무선 송신기 또는 표시 장치 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
제25항. 제21항 내지 제24항 중 어느 한 항에 있어서,
상기 액티브 휴대용 앵커(214)에 의해 출력된 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 물체(206)의 라이브 뷰(204) 상에 상기 증강 현실 정보(208)를 위치시키기 위해 상기 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 라이브 뷰(204) 상에 상기 증강 현실 정보(208)를 표시하도록 구성된 상기 증강 현실 장치(212)를 더 포함하는 것을 특징으로 하는 장치.
제26항. 제25항에 있어서,
상기 액티브 휴대용 앵커(214)는 상기 라이브 뷰(204) 상에 상기 증강 현실 정보(208)를 표시하기 위한 앵커로서 상기 증강 현실 장치(212)에 의해 인식되는 형상을 가진 것을 특징으로 하는 장치.
제27항. 제25항에 있어서,
상기 물체(206)를 위한 액티브 휴대용 앵커들의 그룹을 더 포함하고, 상기 액티브 휴대용 앵커(214) 및 상기 액티브 휴대용 앵커들의 그룹은 상기 물체(206)를 위한 복수의 액티브 휴대용 앵커들이고, 상기 증강 현실 장치(212)는 상기 복수의 액티브 휴대용 앵커들에서 선택된 수의 현재의 액티브 휴대용 앵커들로부터 선택된 수의 현재의 물리적 앵커 위치들을 수신하는 것을 특징으로 것을 특징으로 하는 장치.
제28항. 제22항에 있어서,
상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 결정하도록 구성된 외부 추적 시스템(216)을 더 포함하는 것을 특징으로 하는 장치.
제29항. 제28항에 있어서,
상기 외부 추적 시스템(216)은 레이저 추적기, 레이저 스캐너, 카메라, 변위(displacement) 센서, 측정 센서 또는 프로브(probe) 중 적어도 하나로부터 선택되는 것을 특징으로 하는 장치.
제30항. 제21항 내지 제29항 중 어느 한 항에 있어서,
상기 물체(206)는 이동식(mobile) 플랫폼, 고정식 플랫폼, 지상 기반 구조물, 수중 기반 구조물, 우주 기반 구조물, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 생산 시설, 건물, 항공기 동체(fuselage), 엔진, 날개, 스킨 패널(skin panel), 랜딩 기어 어셈블리 및 기념물(monument)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 장치.
제31항. 증강 현실 시스템(202)으로서:
액티브 휴대용 앵커(214)로부터 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하고, 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(234)을 이용하여 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 증강 현실 정보(208)를 표시하도록 구성된 상기 증강 현실 장치(212)를 포함하고,
상기 액티브 휴대용 앵커(214)의 움직임으로부터 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)의 변화를 반영하기 위해 상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 업데이트 함과 함께 상기 물체(206)의 라이브 뷰(204) 상에 증강 현실 정보(208)를 배치함에 있어서의 정확도가 증가되는 것을 특징으로 하는 증강 현실 시스템(202).
제32항. 제31항에 있어서,
상기 물체(206)의 모델(234)은 상기 물체(206)의 일부를 포함하는 상기 물체(206)의 부분 모델인 것을 특징으로 하는 증강 현실 시스템(202).
제33항. 제32항에 있어서,
상기 물체(206)의 부분 모델은 상기 증강 현실 장치(212)의 시야 내 상기 물체(206)의 일부 및 상기 증강 현실 장치(212)의 선택된 거리 이내의 상기 물체(206)의 일부로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
제34항. 증강 현실 장치(212) 상에 증강 현실 정보(208)를 표시하기 위한 방법으로서, 상기 방법은:
상기 증강 현실 장치(212)에 의해, 액티브 휴대용 앵커(214)로부터 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하는 단계;
상기 증강 현실 장치(212)에 의해, 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하는 단계; 및
상기 증강 현실 장치(212)에 의해, 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(234)을 이용하여 상기 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 상기 증강 현실 정보(208)를 표시하는 단계;를 포함하고,
상기 물체(206)의 물리적 물체 위치(224)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 동적으로 업데이트 함과 함께 상기 물체(206)의 라이브 뷰(204) 상에 상기 증강 현실 정보(208)를 배치함에 있어서의 정확도가 증가되는 것을 특징으로 하는 방법.
제35항. 제34항에 있어서,
상기 물체(206)의 모델(234)은 상기 물체(206)의 일부를 포함하는 상기 물체(206)의 부분 모델인 것을 특징으로 하는 방법.
제36항. 제35항에 있어서,
상기 물체(206)의 부분 모델은 상기 증강 현실 장치(212)의 시야 내 상기 물체(206)의 일부 및 상기 증강 현실 장치(212)의 선택된 거리 이내의 상기 물체(206)의 일부로부터 선택되는 것을 특징으로 하는 방법.
제37항. 제34항 내지 제36항 중 어느 한 항에 있어서,
상기 액티브 휴대용 앵커(214)에 의해, 외부 추적 시스템(216)에 의해 결정된 대로 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 수신하는 단계;
상기 액티브 휴대용 앵커(214)에 의해, 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)의 물리적 물체 위치(224)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하는 단계; 및
상기 액티브 휴대용 앵커(214)에 의해, 상기 물체(206)의 물리적 물체 위치(224)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 상기 증강 현실 장치(212)에 출력하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
제38항. 제34항 내지 제37항 중 어느 한 항에 있어서,
상기 액티브 휴대용 앵커(214)에 의해, 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제39항. 제34항 내지 제38항 중 어느 한 항에 있어서,
상기 물체(206)의 물리적 물체 위치(224)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)는 무선 송신기 또는 표시 장치 중 적어도 하나로부터 선택된 출력 시스템(304)에 의해 상기 증강 현실 장치(212)에 출력되는 것을 특징으로 하는 방법.
제40항. 제34항 내지 제39항 중 어느 한 항에 있어서,
상기 물체(206)는 이동식(mobile) 플랫폼, 고정식 플랫폼, 지상 기반 구조물, 수중 기반 구조물, 우주 기반 구조물, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 생산 시설, 건물, 항공기 동체(fuselage), 엔진, 날개, 스킨 패널(skin panel), 랜딩 기어 어셈블리 및 기념물(monument)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 방법.
제41항. 증강 현실 장치(212)를 배향(orienting)하기 위한 방법으로서, 상기 방법은:
액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 식별하는 단계 - 상기 액티브 휴대용 앵커(214)는 물체(206)의 라이브 뷰(204) 상에 증강 현실 정보(208)를 표시하기 위해 상기 증강 현실 장치(212)에 의해 사용됨 -; 및
상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 출력하는 단계;를 포함하는 것을 특징으로 하는 방법.
제42항. 제41항에 있어서,
상기 식별하는 단계는:
상기 액티브 휴대용 앵커(214)에 의해, 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제43항. 제41항 또는 제42항에 있어서,
상기 식별하는 단계는:
상기 액티브 휴대용 앵커(214)에 의해, 상기 액티브 휴대용 앵커(214)로부터 수신된 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)와 상호 연관된 상기 물체(206)의 모델(234)에서의 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제44항. 제41항 내지 제43항 중 어느 한 항에 있어서,
상기 식별하는 단계는:
외부 추적기에 의해, 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
본 기술분야의 당업자에게는 많은 변경들과 변형들이 명백할 것이다. 또한, 상이한 실례가 되는 실시예들은 다른 바람직한 실시예들과 비교하여 상이한 특징들을 제공할 수 있다. 선택된 실시예 또는 실시예들은 실시예들의 원칙들과 실용적인 적용을 가장 잘 설명하고, 예상되는 특정 용도에 적당한 다양한 수정들을 갖는 다양한 실시예들을 위한 개시를 본 기술분야의 다른 당업자들이 이해할 수 있도록 하기 위해 선택되고 기술된다.

Claims (15)

  1. 증강 현실 시스템(202)으로서:
    현실 세계 환경에서의 물체(206)의 위치를 기술하기 위해 이용되며 통신 유닛(302)을 포함하는 액티브 휴대용 앵커(214)로서, 상기 물체(206)에 대한 액티브 휴대용 앵커(active portable anchor)(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성된 액티브 휴대용 앵커(214);
    상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 결정하도록 구성된 프로세서 시스템(218);
    상기 액티브 휴대용 앵커(214)로부터 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하고, 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(234)을 이용하여 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 연관있는 증강 현실 정보(208)를 표시하도록 구성된 증강 현실 장치(212)를 포함하며,
    상기 물체(206)의 모델(234)에서 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)는 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 동적으로 업데이트 되며,
    상기 증강 현실 장치(212)가 이동함에 따라 상기 액티브 휴대용 앵커(214)가 이동되고 상기 액티브 휴대용 앵커(214)가 이동되면 외부 추적 시스템(216)을 이용하여 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)가 동적으로 결정되는 것을 특징으로 하는 증강 현실 시스템(202).
  2. 제1항에 있어서,
    상기 프로세서 시스템(218)은 상기 액티브 휴대용 앵커(214) 안에 위치하는 것을 특징으로 하는 증강 현실 시스템(202).
  3. 제1항 또는 제2항에 있어서,
    좌표계에서 상기 액티브 휴대용 앵커(214)의 물리적 앵커 위치(222) 및 상기 물체(206)의 물리적 물체 위치(224)를 결정하도록 구성된 상기 외부 추적 시스템(216)을 더 포함하고, 상기 프로세서 시스템(218)은 상기 외부 추적 시스템(216) 안에 위치하는 것을 특징으로 하는 증강 현실 시스템(202).
  4. 제1항 또는 제2항에 있어서,
    상기 물체(206)를 위한 액티브 휴대용 앵커들의 그룹을 더 포함하고, 상기 액티브 휴대용 앵커(214)와 상기 액티브 휴대용 앵커들의 그룹은 상기 물체(206)를 위한 복수의 액티브 휴대용 앵커들이고, 상기 증강 현실 장치(212)는 상기 복수의 액티브 휴대용 앵커들에서 선택된 수의 현재의 액티브 휴대용 앵커들로부터 선택된 수의 현재의 물리적 앵커 위치들을 수신하는 것을 특징으로 하는 증강 현실 시스템(202).
  5. 제1항 또는 제2항에 있어서,
    상기 증강 현실 장치(212)는 상기 액티브 휴대용 앵커(214)로부터 수신된 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)와 상호 연관된 상기 물체(206)의 모델(234)에서의 상기 액티브 휴대용 앵커(214)의 현재의 모델 앵커 위치(232)를 결정하는 것을 특징으로 하는 증강 현실 시스템(202).
  6. 제1항 또는 제2항에 있어서,
    상기 물체(206)의 모델(234)은 상기 물체(206)의 일부를 포함하는 상기 물체(206)의 부분 모델인 것을 특징으로 하는 증강 현실 시스템(202).
  7. 제6항에 있어서,
    상기 물체(206)의 부분 모델은 상기 증강 현실 장치(212)의 시야 내 상기 물체(206)의 일부 또는 상기 증강 현실 장치(212)의 선택된 거리 이내의 상기 물체(206)의 일부 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
  8. 제1항 또는 제2항에 있어서,
    상기 증강 현실 장치(212)와 통신하는 컴퓨터 시스템(236)을 더 포함하고, 상기 컴퓨터 시스템(236)은 상기 물체(206)의 모델(234)을 상기 증강 현실 장치(212)로 보내는 것을 특징으로 하는 증강 현실 시스템(202).
  9. 제1항 또는 제2항에 있어서,
    상기 액티브 휴대용 앵커(214)로부터의 출력은 무선 송신기 또는 표시 장치 중 적어도 하나를 이용하여 만들어지는 것을 특징으로 하는 증강 현실 시스템(202).
  10. 제9항에 있어서,
    상기 출력은 상기 표시 장치 상 상기 현재의 물리적 앵커 위치(220)의 디스플레이 또는 상기 무선 송신기를 이용한 상기 현재의 물리적 앵커 위치(220)의 무선 송신 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
  11. 제3항에 있어서,
    상기 외부 추적 시스템(216)은 레이저 추적기, 레이저 스캐너, 카메라, 변위(displacement) 센서, 측정 센서 또는 프로브(probe) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시스템(202).
  12. 제1항 또는 제2항에 있어서,
    상기 증강 현실 정보(208)는 개략도, 사용자 입력창, 지시, 숨겨진 구조에 대한 그래픽 또는 홀로그램 중 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
  13. 제1항 또는 제2항에 있어서,
    상기 물체(206)는 이동식(mobile) 플랫폼, 고정식 플랫폼, 지상 기반 구조물, 수중 기반 구조물, 우주 기반 구조물, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 생산 시설, 건물, 항공기 동체(fuselage), 엔진, 날개, 스킨 패널(skin panel), 랜딩 기어 어셈블리 및 기념물(monument)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 증강 현실 시스템(202).
  14. 증강 현실 시스템(202)으로서:
    네트워크(102);
    현실 세계 환경에서의 물체(206)의 위치를 기술하기 위해 이용되며 통신 유닛(302)을 포함하는 액티브 휴대용 앵커(214)로서, 상기 물체(206)에 대한 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)를 출력하도록 구성된 액티브 휴대용 앵커(214); 및
    상기 네트워크 내 통신 포트(103);를 포함하며,
    상기 통신 포트(103)는 상기 액티브 휴대용 앵커(130)와 통신하고 상기 액티브 휴대용 앵커(130)로 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 보내도록 구성되며, 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)는 상기 액티브 휴대용 앵커(130)의 물리적 앵커 위치(222)와 상기 물체(206)의 물리적 물체 위치(224)를 이용하여 결정되고,
    증강 현실 장치(212)가 이동함에 따라 상기 액티브 휴대용 앵커(214)가 이동되고 상기 액티브 휴대용 앵커(214)가 이동되면 외부 추적 시스템(216)을 이용하여 상기 액티브 휴대용 앵커(214)의 현재의 물리적 앵커 위치(220)가 동적으로 결정되는 것을 특징으로 하는 증강 현실 시스템(202).
  15. 제14항에 있어서,
    상기 증강 현실 장치(212)는 상기 액티브 휴대용 앵커(130)로부터 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 수신하고, 상기 현재의 물리적 앵커 위치(220)를 이용하여 상기 물체(206)의 모델(128)에서 상기 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치(232)를 결정하고, 상기 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치(232) 및 상기 물체(206)의 모델(128)을 이용하여 상기 증강 현실 장치(212)에서 상기 물체(206)의 라이브 뷰(live view)(204) 상에 연관있는 증강 현실 정보(208)를 표시하도록 구성되며, 상기 물체(206)의 모델(128)에서 상기 액티브 휴대용 앵커(130)의 현재의 모델 앵커 위치(232)는 상기 물체(206)에 대한 상기 액티브 휴대용 앵커(130)의 현재의 물리적 앵커 위치(220)를 반영하기 위해 동적으로 업데이트되는 것을 특징으로 하는 증강 현실 시스템(202).
KR1020190081031A 2018-07-11 2019-07-05 액티브 휴대용 앵커를 구비하는 증강 현실 시스템 KR102566700B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/032,168 US10839604B2 (en) 2018-07-11 2018-07-11 Augmented reality system with an active portable anchor
US16/032,168 2018-07-11

Publications (2)

Publication Number Publication Date
KR20200006922A KR20200006922A (ko) 2020-01-21
KR102566700B1 true KR102566700B1 (ko) 2023-08-11

Family

ID=67211565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081031A KR102566700B1 (ko) 2018-07-11 2019-07-05 액티브 휴대용 앵커를 구비하는 증강 현실 시스템

Country Status (8)

Country Link
US (1) US10839604B2 (ko)
EP (1) EP3594784A1 (ko)
JP (1) JP7438680B2 (ko)
KR (1) KR102566700B1 (ko)
CN (1) CN110716637A (ko)
BR (1) BR102019013390B1 (ko)
CA (1) CA3047251C (ko)
RU (1) RU2019118258A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896546B2 (en) 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
CN117102999B (zh) * 2023-09-05 2024-04-09 无锡市昌亿机床制造有限公司 一种附带自动对刀卡盘工装的加工设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012135545A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US9292180B2 (en) * 2013-02-28 2016-03-22 The Boeing Company Locator system for three-dimensional visualization
GB2513957B (en) * 2013-03-15 2020-11-25 Fisher Rosemount Systems Inc Method and apparatus for determining the position of a mobile control device in a process plant
GB201404990D0 (en) * 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10502571B2 (en) * 2015-05-12 2019-12-10 Invensense, Inc. Systems and methods for determining a route traversed by a portable device
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
JP6902332B2 (ja) 2016-04-28 2021-07-14 三菱重工業株式会社 不具合情報取得システム
US10377484B2 (en) * 2016-09-30 2019-08-13 Sony Interactive Entertainment Inc. UAV positional anchors
TWI626468B (zh) * 2017-01-25 2018-06-11 研能科技股份有限公司 頭戴式虛擬實境顯示裝置
US10181220B2 (en) * 2017-02-09 2019-01-15 Nice Ltd. System and method for contact center augmented reality
JP6919222B2 (ja) * 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor

Also Published As

Publication number Publication date
US10839604B2 (en) 2020-11-17
RU2019118258A (ru) 2020-12-14
CN110716637A (zh) 2020-01-21
US20200020163A1 (en) 2020-01-16
AU2019204238A1 (en) 2020-01-30
JP2020038627A (ja) 2020-03-12
EP3594784A1 (en) 2020-01-15
CA3047251C (en) 2023-08-01
CA3047251A1 (en) 2020-01-11
BR102019013390B1 (pt) 2024-01-23
JP7438680B2 (ja) 2024-02-27
KR20200006922A (ko) 2020-01-21
BR102019013390A2 (pt) 2020-01-28

Similar Documents

Publication Publication Date Title
US10896546B2 (en) Augmented reality system with an active portable anchor
US11367256B2 (en) Immersive design management system
US9852237B2 (en) Immersive object testing system
EP3644283A1 (en) Augmented reality system for manufacturing composite parts
EP3255534B1 (en) Three-dimensional aircraft inspection system for layout of passenger accommodations
EP3637230B1 (en) Augmented reality system for visualizing nonconformance data for an object
KR102566700B1 (ko) 액티브 휴대용 앵커를 구비하는 증강 현실 시스템
US11186386B2 (en) Automated aircraft inspection system
AU2019204238B2 (en) Augmented reality system with an active portable anchor
EP4322108A1 (en) Verification of the correct presence of parts using contextual visualization
US20210181727A1 (en) Product Manufacturing with a Manufacturing Product and Process Structure

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant