KR102631717B1

KR102631717B1 - 복합재 부품을 제조하기 위한 증강 현실 시스템

Info

Publication number: KR102631717B1
Application number: KR1020190122815A
Authority: KR
Inventors: 데일 로플린 브라이언; 마가렛 스켈톤 멜리사
Original assignee: 더 보잉 컴파니
Priority date: 2018-10-23
Filing date: 2019-10-04
Publication date: 2024-01-30
Also published as: JP7475834B2; CN111091625A; KR20200047326A; JP2020107321A; US20200125846A1; EP3644283A1

Abstract

작업 위치(244)의 라이브 뷰(212)를 증강하기 위한 방법, 장치, 및 시스템. 휴대용 컴퓨팅 장치(238)는 물체(206)에 대해 위치가 찾아진다. 작업 위치(244)의 시각화(242)는 물체(206)의 통합된 맵(234) 및 물체(206)의 모델(246)을 이용하여 작업을 수행하기 위해 물체(206)의 라이브 뷰(212) 상에 디스플레이된다. 통합된 맵(234)은 물체(206)에 대한 상이한 뷰포인트들(230)에서 휴대용 컴퓨팅 장치들(214)에 의한 물체(206)의 스캔들로부터 생성된다.

Description

복합재 부품을 제조하기 위한 증강 현실 시스템{AUGMENTED REALITY SYSTEM FOR MANUFACTURING COMPOSITE PARTS}

본 발명은 일반적으로 복합재 부품(composite part)을 제조하는 것에 관한 것이며, 특히 증강 현실 시스템을 이용해서 복합재 부품을 제조하기 위한 방법, 장치, 및 시스템에 관한 것이다.

복합재 부품들은 툴 상에 복합 재료의 플라이(ply)들을 적층함(laying up)으로써 제조된다. 플라이들은 배치 전에 수지를 가지고 미리 함침될(pre-impregnated) 수 있다. 이러한 타입의 플라이들은 프리프레그(prepreg)라고 지칭된다. 플라이들이 툴 상에서 적층된 후에, 층들은 경화되어 복합재 부품을 형성한다.

복합재 부품을 위해 특정된 정확한 위치들, 순서, 및 지향들로 플라이들을 적층하는 것은 원하는 성능 레벨을 획득하기 위하여 중요하다. 현재, 플라이들이 인간 조작자에 의해 배치될 때, 플라이들은 플라이 배치를 위한 가이드(guide)를 디스플레이하기 위해 오버헤드 레이저 추적기(overhead laser tracker: OLT)를 이용하여 툴 상에 배치된다. 이러한 오버헤드 레이저 추적기는 툴 상에 플라이들을 배치함에 있어 정확도를 증가시킨다.

오버헤드 레이저 추적기는 적층 영역(layup area) 위에 설치된 레이저 프로젝터, 컴퓨터 컨트롤러, 및 한 세트의 역반사 정렬 핀(retroreflective alignment pin)들 또는 기준 마커(reference marker)들을 포함하는데, 이들은 툴 상에 배치되고 3차원 공간에서 툴 포지션을 설정하기 위하여 기준 포인트들로서 이용된다. 레이저 프로젝터는 플라이의 배치를 식별시키는 윤곽(outline)을 툴 상에 디스플레이한다.

이러한 타입의 시스템들은 효과적이지만 전용 공간을 필요로 한다. 예를 들어, 레이저 프로젝터는 플라이들을 적층하기 위해 이용되는 툴 위에 정해진 공간(fixed space)을 필요로 한다. 나아가, 오버헤드 레이저 추적기는 툴 위에 위치될 필요가 있다. 부가적으로, 오버헤드 레이저 추적기들은 구매하기에 가격이 비싸고 또한 캘리브레이션 및 다른 유지보수를 필요로 한다.

그러므로, 상술한 문제점들 중의 적어도 일부 및 다른 가능한 문제점들을 고려하는 방법 및 장치를 가지는 것은 바람직할 것이다. 예를 들어, 툴 상에 플라이를 배치하기 위해 가이드를 제공하는 데에 기술적인 문제를 극복하는 방법 및 장치를 가지는 것이 바람직할 것이다.

본 발명의 실시예는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법을 제공한다. 툴은 스캔 데이터를 생성하기 위하여 툴에 대한 상이한 뷰포인트들에서 인간 조작자들에게 있는 휴대용 컴퓨팅 장치들을 이용하여 스캔된다. 휴대용 컴퓨팅 장치들에 의해 생성된 스캔 데이터로부터 컴퓨터 시스템에 의해 포인트 클라우드들이 생성된다. 툴의 통합된 맵은 포인트 클라우드들을 이용하여 컴퓨터 시스템에 의해 생성된다. 휴대용 컴퓨팅 장치들에서의 휴대용 컴퓨팅 장치는 툴의 통합된 맵을 이용하여 툴에 대해 위치가 찾아진다. 복합재 플라이들의 플라이 모델 및 툴의 통합된 맵을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치에서의 디스플레이 장치를 통해 보이는 라이브 뷰 상에 툴 상의 적층 위치에 대한 작업 정보가 디스플레이되고, 디스플레이된 작업 정보는 툴의 라이브 뷰를 증강시킨다.

본 발명의 다른 실시예는 작업 위치의 라이브 뷰를 증강시키기 위한 방법을 제공한다. 휴대용 컴퓨팅 장치는 물체에 대해 위치가 찾아진다. 물체의 통합된 맵 및 물체의 모델을 이용하여 작업을 수행하기 위해 물체의 라이브 뷰 상에 작업 위치의 시각화가 디스플레이되고, 통합된 맵은 물체에 대한 상이한 뷰포인트들에서 휴대용 컴퓨팅 장치들에 의해 물체의 스캔들로부터 생성된다.

또 다른 실시예는 툴 상의 적층 위치를 시각화하기 위한 증강 현실 시스템을 제공한다. 증강 현실 시스템은 스캔 데이터를 생성하기 위하여 툴에 대한 상이한 뷰포인트들에서 인간 조작자들에게 있는 휴대용 컴퓨팅 장치들로부터 스캔 데이터를 수신하도록 동작하는 컴퓨터 시스템을 포함한다. 컴퓨터 시스템은 휴대용 컴퓨팅 장치들에 의해 생성된 스캔 데이터를 이용해서 툴의 복수의 맵들을 생성하고, 툴의 통합된 맵을 형성하기 위하여 복수의 맵들을 통합하도록 동작한다. 컴퓨터 시스템은 플라이 모델에서 적층 위치에 대한 작업 정보를 식별하도록 동작한다. 컴퓨터 시스템은 툴 상의 적층 위치의 작업 정보를 휴대용 컴퓨팅 장치들에서의 휴대용 컴퓨팅 장치에 보내도록 동작한다. 휴대용 컴퓨팅 장치는 복합재 플라이들의 플라이 모델 및 툴의 통합된 맵을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치에서의 디스플레이 장치를 통해 보이는 라이브 뷰 상에 툴 상의 적층 위치에 대한 작업 정보를 디스플레이한다.

또 다른 실시예는 작업 위치의 라이브 뷰를 증강시키기 위한 증강 현실 시스템을 제공한다. 증강 현실 시스템은 휴대용 컴퓨팅 장치를 포함하고, 휴대용 컴퓨팅 장치는 물체에 대해 위치가 찾아지고, 물체의 통합된 맵 및 물체의 모델을 이용하여 작업을 수행하기 위해 물체의 라이브 뷰 상에 작업 위치의 시각화를 디스플레이한다. 통합된 맵은 물체에 대한 상이한 뷰포인트들에서 휴대용 컴퓨팅 장치들에 의한 물체의 스캔들로부터 생성된다.

특징들 및 기능들은 본 발명의 다양한 실시예들에서 독립적으로 달성될 수 있고, 또는 또 다른 실시예들에서 결합될 수 있으며, 추가적인 세부사항들은 이하의 설명 및 도면들을 참조하여 알 수 있다.

예시적인 실시예들의 특성이라고 여겨지는 신규한 특징들이 첨부된 청구항들에서 제시된다. 하지만, 예시적인 실시예들뿐만 아니라 바람직한 사용 모드, 이들의 추가적 목적들 및 특징들은 첨부된 도면들과 함께 읽을 때 본 발명의 예시적인 실시예의 이하의 상세한 설명을 참조하여 가장 잘 이해될 것이다:
도 1은 예시적인 실시예들이 구현될 수 있는 데이터 처리 시스템들의 네트워크의 회화적 표현의 도면이다;
도 2는 예시적인 실시예에 따른 증강 현실 환경의 블록도의 도면이다;
도 3은 예시적인 실시예에 따라서 툴 상의 적층 위치에 복합재 플라이를 배치하기 위한 작업 정보를 시각화하기 위해 이용되는 증강 현실 시스템의 블록도의 도면이다;
도 4는 예시적인 실시예에 따라서 툴에서 오퍼레이션들을 수행하는 인간 조작자들의 도면이다;
도 5는 예시적인 실시예에 따라서 휴대용 컴퓨팅 장치 상의 작업 위치의 라이브 뷰를 증강하기 위한 프로세스의 흐름도의 도면이다;
도 6은 예시적인 실시예에 따라서 스캔 데이터를 처리하기 위한 프로세스의 흐름도의 도면이다;
도 7은 예시적인 실시예에 따라서 통합된 맵을 생성하기 위한 프로세스의 흐름도의 도면이다;
도 8은 예시적인 실시예에 따라서 통합된 맵을 생성하기 위한 프로세스의 흐름도의 도면이다;
도 9는 예시적인 실시예에 따라서 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 프로세스의 흐름도의 도면이다;
도 10은 예시적인 실시예에 따라서 작업 정보의 시각화를 디스플레이하기 위한 프로세스의 흐름도의 도면이다;
도 11은 예시적인 실시예에 따른 데이터 처리 시스템의 블록도의 도면이다;
도 12는 예시적인 실시예에 따른 휴대용 컴퓨팅 장치의 블록도의 도면이다;
도 13은 예시적인 실시예에 따른 항공기 제조 및 서비스 방법의 블록도의 도면이다;
도 14는 예시적인 실시예가 구현될 수 있는 항공기의 블록도의 도면이다;
도 15는 예시적인 실시예에 따른 제품 관리 시스템의 블록도의 도면이다.

예시적인 실시예들은 하나 이상의 상이한 고려사항들을 인식하고 고려한다. 예를 들어, 예시적인 실시예들은 휴대용 컴퓨팅 장치들이 작업 위치들을 디스플레이하기 위하여 오버헤드 레이저 추적기 대신에 사용된다는 점을 인식하고 고려한다. 하지만, 예시적인 실시예들은 휴대용 컴퓨팅 장치의 사용이 툴에 대한 휴대용 컴퓨팅 장치 자신의 위치찾기(localizing)를 수반한다는 점을 인식하고 고려한다. 예시적인 실시예들은 툴에 대해 휴대용 컴퓨팅 장치의 위치 및 지향을 식별하는 것 및 툴의 뷰(view)를 툴의 모델에 대응시키는 것이 오버헤드 레이저 추적기를 가지고는 존재하지 않을 도전들을 제공한다는 점을 인식하고 고려한다. 예시적인 실시예들은 휴대용 컴퓨팅 장치로부터 맵을 생성하는 것이 원하는 정확도 레벨을 가지지 않을 수 있다는 점을 인식하고 고려한다.

예시적인 실시예들은 기술적인 해결책이 상이한 뷰포인트들에서 복수의 휴대용 컴퓨팅 장치들로부터의 툴의 스캔(scan)들을 이용하는 것을 수반할 수 있다는 점을 인식하고 고려한다. 그래서, 예시적인 실시예들은 물체(object) 상에서 작업들을 수행하기 위한 정보를 시각화하기 위한 방법, 장치, 및 시스템을 제공한다. 예시적인 실시예들은 작업 위치들을 시각화하기 위한 방법, 장치, 및 시스템을 제공한다. 작업 위치들의 시각화는 작업 위치들을 식별하는 것에 부가하여 작업 위치들에서 오퍼레이션들을 수행하기 위해 이용되는 정보를 디스플레이하는 것을 포함한다.

하나의 예시적인 예에서, 방법은 작업 위치의 라이브 뷰를 증강시킨다. 휴대용 컴퓨팅 장치는 물체에 대해 위치가 찾아진다(localized). 작업 위치의 시각화는 물체의 통합된 맵 및 물체의 모델을 이용하여 작업을 수행하기 위해 물체의 라이브 뷰 상에 디스플레이되고, 통합된 맵은 물체에 대한 상이한 뷰포인트들에서 휴대용 컴퓨팅 장치들에 의한 물체의 스캔들로부터 생성된다.

다른 예시적인 예에서, 방법은 툴 상의 적층 위치에 대한 작업 정보의 시각화를 제공한다. 툴은 스캔 데이터를 생성하기 위하여 툴에 대한 상이한 뷰포인트들에서 인간 조작자들에게 있는 휴대용 컴퓨팅 장치들을 이용하여 스캔된다. 포인트 클라우드들은 휴대용 컴퓨팅 장치들에 의해 생성된 스캔 데이터로부터 컴퓨터 시스템에 의해 생성된다. 툴의 통합된 맵은 포인트 클라우드들을 이용하여 컴퓨터 시스템에 의해 이용된다. 휴대용 컴퓨팅 장치들에서의 휴대용 컴퓨팅 장치는 툴의 통합된 맵을 이용하여 툴에 대해 위치가 찾아진다. 툴 상의 적층 위치를 위한 작업 정보는 복합재 플라이들의 플라이 모델 및 툴의 통합된 맵을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치에서의 디스플레이 장치를 통해 보이는 라이브 뷰 상에 디스플레이되고, 디스플레이된 작업 정보는 툴의 라이브 뷰를 증강시킨다.

이제 도면들을 참조하면, 특히 도 1을 참조하면, 예시적인 실시예들이 구현될 수 있는 데이터 처리 시스템들의 네트워크의 회화적 표현의 도면이 도시된다. 네트워크 데이터 처리 시스템(100)은 예시적인 실시예들이 구현될 수 있는 컴퓨터들의 네트워크이다. 네트워크 데이터 처리 시스템(100)에는 네트워크(102)가 포함되어 있고, 이것은 네트워크 데이터 처리 시스템(100) 내에 함께 연결된 다양한 장치들 및 컴퓨터들 간의 통신 링크들을 제공하기 위해 이용되는 매체이다. 네트워크(102)는 유선, 무선 통신 링크들, 또는 광섬유 케이블들과 같은 연결들을 포함할 수 있다.

도시된 예에서, 서버 컴퓨터(104) 및 서버 컴퓨터(106)는 저장 유닛(108)과 함께 네트워크(102)에 연결된다. 게다가, 클라이언트 장치들(110)이 네트워크(102)에 연결된다. 도시된 바와 같이, 클라이언트 장치들(110)은 클라이언트 컴퓨터(112) 및 클라이언트 컴퓨터(114)를 포함한다. 클라이언트 장치들(110)은, 예를 들어, 컴퓨터들, 워크스테이션들, 또는 네트워크 컴퓨터들일 수 있다. 도시된 예에서, 서버 컴퓨터(104)는 부팅 파일들, 운영체제 이미지들, 및 애플리케이션들과 같은 정보를 클라이언트 장치들(110)에 제공한다. 게다가, 클라이언트 장치들(110)은 또한 태블릿 컴퓨터(116), 모바일 폰(118), 스마트 안경(smart glasses)(120), 및 스마트 안경(122)과 같은 다른 타입의 클라이언트 장치들을 포함할 수 있다. 이러한 예시적인 예에서, 서버 컴퓨터(104), 서버 컴퓨터(106), 저장 유닛(108), 및 클라이언트 장치들(110)은 네트워크(102)에 연결된 네트워크 장치들이고, 여기서 네트워크(102)는 이러한 네트워크 장치들을 위한 통신 매체이다. 클라이언트 장치들(110)의 일부 또는 전부는 사물 인터넷(Internet of things: IoT)을 형성할 수 있고, 여기서 이러한 물리적 장치들은 네트워크(102)에 연결될 수 있고 네트워크(102)를 통해 서로 정보를 교환할 수 있다.

클라이언트 장치들(110)은 이 예에서 서버 컴퓨터(104) 및 서버 컴퓨터(106)에 대한 클라이언트이다. 네트워크 데이터 처리 시스템(100)은 도시되지 않은 추가적인 서버 컴퓨터들, 클라이언트 컴퓨터들, 및 다른 장치들을 포함할 수 있다. 클라이언트 장치들(110)은 유선, 광섬유, 또는 무선 연결들 중의 적어도 하나를 활용해서 네트워크(102)에 연결된다.

네트워크 데이터 처리 시스템(100)에 위치한 프로그램 코드는 컴퓨터-기록가능 저장 매체에 저장될 수 있고, 이용을 위해 데이터 처리 시스템 또는 다른 장치에 다운로드될 수 있다. 예를 들어, 프로그램 코드는 서버 컴퓨터(104) 상의 컴퓨터-기록가능 저장 매체에 저장될 수 있고, 클라이언트 장치들(110) 상에서의 이용을 위해 네트워크(102)를 통해 클라이언트 장치들(110)에 다운로드될 수 있다.

도시된 예에서, 네트워크 데이터 처리 시스템(100)은 서로 통신하기 위하여 TCP/IP(Transmission Control Protocol/Internet Protocol) 프로토콜 슈트를 이용하는 네트워크들 및 게이트웨이들의 전 세계적인 집합을 나타내는 네트워크(102)를 가진 인터넷이다. 인터넷의 중심에는 데이터 및 메시지들을 라우팅하는 수천 개의 상업용, 정부용, 교육용, 및 다른 컴퓨터 시스템들로 이루어진 주요 노드(node)들 또는 호스트 컴퓨터들 간의 고속 데이터 통신 라인의 백본(backbone)이 존재한다. 물론, 네트워크 데이터 처리 시스템(100)은 또한 다수의 상이한 타입의 네트워크들을 이용해서 구현될 수 있다. 예를 들어, 네트워크(102)는 인터넷, 인트라넷, LAN(local area network), MAN(metropolitan area network), 또는 WAN(wide area network) 중의 적어도 하나로 이루어질 수 있다. 도 1은 예시인 것으로 의도되며, 상이한 예시적인 실시예들에 대한 구조적 제한으로 의도되지 않는다.

본 명세서에서 사용될 때, 아이템(item)들과 관련하여 사용되는 경우의 “다수의(a number of)”는 하나 이상의 아이템들을 의미한다. 예를 들어, “다수의 상이한 타입의 네트워크들”은 하나 이상의 상이한 타입의 네트워크들이다.

게다가, 아이템들의 목록과 함께 사용될 때 “중의 적어도 하나(at least one of)”라는 문구는 열거된 아이템들 중의 하나 이상의 상이한 조합들이 이용될 수 있다는 것과 목록에서 각각의 아이템 중 하나만이 이용될 수 있다는 것을 의미한다. 다시 말해, “중의 적어도 하나”는 아이템들의 임의의 조합 및 아이템들의 임의의 수가 목록으로부터 이용될 수 있되, 목록에 있는 아이템들 모두가 요구되지는 않는다는 것을 의미한다. 아이템들은 특정한 물체, 사물, 또는 카테고리일 수 있다.

예를 들어, 제한 없이, “아이템 A, 아이템 B, 또는 아이템 C 중의 적어도 하나”는 아이템 A, 아이템 A 및 아이템 B, 또는 아이템 B를 포함할 수 있다. 이 예는 또한 아이템 A, 아이템 B, 및 아이템 C 또는 아이템 B 및 아이템 C를 포함할 수 있다. 물론, 이러한 아이템들의 임의의 조합들이 존재할 수 있다. 몇몇 예시적인 예들에서, “중의 적어도 하나”는, 예를 들어, 제한 없이, 두 개의 아이템 A; 한 개의 아이템 B; 및 열 개의 아이템 C; 네 개의 아이템 B 및 일곱 개의 아이템 C; 또는 다른 적절한 조합들일 수 있다.

이러한 예시적인 예에서, 인간 조작자(124)는 스마트 안경(120)을 작동시키고, 인간 조작자(126)는 스마트 안경(122)을 작동시킨다. 이러한 예에서, 인간 조작자(124) 및 인간 조작자(126)는 복합재 구조물(composite structure)을 제작하기 위한 프로세스의 일부로서 툴 상에 복합재 플라이들의 레이어들을 배치한다. 복합재 구조물은, 예를 들어, 항공기를 위한 복합재 부품일 수 있다.

이러한 예시적인 예에서, 복합재 플라이(130)는 툴(tool)(128) 상에 이미 적층되어 있다. 도시된 바와 같이, 인간 조작자(124) 및 인간 조작자(126)는 툴(128) 상에 다른 복합재 플라이를 배치하기 위해 준비중이다.

이러한 예시적인 예에서, 새로운 복합재 플라이의 배치의 시각화는 인간 조작자(124)에 의해 작동되는 스마트 안경(120) 및 인간 조작자(126)에 의해 작동되는 스마트 안경(122)을 이용해서 수행될 수 있다.

도시된 바와 같이, 스마트 안경(120) 및 스마트 안경(122)은 툴(128)을 스캔하도록 작동한다. 이러한 예시적인 예에서, 동시적 위치찾기 및 맵작성(simultaneous localization and mapping: SLAM) 프로세스(132)를 이용하는 스마트 안경(120)에 의해서 그리고 동시적 위치찾기 및 맵작성(SLAM) 프로세스(134)를 이용하는 스마트 안경(122)에 의해서 스캔이 수행될 수 있다. 스캔은 툴(128)의 표면에 대해 데이터를 생성하는 레이저, 라이더(lidar), 적외선 스캐너, 또는 다른 적절한 장치를 가진 스캐닝 툴(128)을 포함할 수 있다.

이러한 예시적인 예에서, 스마트 안경(120) 및 스마트 안경(122) 각각은 툴(128)의 상이한 뷰포인트를 가진다. 결과적으로, 이러한 상이한 뷰포인트들로부터의 스캐닝 툴(128)은 툴(128)의 더욱 정확한 스캔을 낳을 수 있다.

예를 들어, 스마트 안경(120)은 툴(128) 상의 몇몇 위치들의 뷰를 가지지 않을 수 있다. 스마트 안경(122)은 스마트 안경(120)이 놓친 이러한 위치들의 뷰를 가질 수 있다. 유사한 방식으로, 스마트 안경(122)은 스마트 안경(120)의 뷰 내에 있는 몇몇 위치들의 뷰를 가지지 않을 수 있다.

툴(128)의 스캔에서 스마트 안경(120)에 의해 생성된 스캔 데이터(136) 및 스마트 안경(122)에 의해 생성된 스캔 데이터(138)는 서버 컴퓨터(104)에서 실행되는 비주얼라이저(visualizer)(140)에 보내진다. 스캔 데이터(136) 및 스캔 데이터(138)는 스마트 안경에 의해 생성된 포인트 클라우드들일 수 있다. 다른 예시적인 예들에서, 스캔 데이터(136) 및 스캔 데이터(138)는 툴(128)을 맵핑(mapping)하기 위해 적절한 포인트 클라우드들 또는 다른 정보를 생성하기 위하여 이용될 수 있는 다른 정보일 수 있다.

이러한 예시적인 예에서, 비주얼라이저(140)는 스캔 데이터(136) 및 스캔 데이터(138)를 이용하여 툴(128)의 통합된 맵(142)을 생성한다. 통합된 맵(142)은 복합재 플라이(130)의 배치를 포함한다.

통합된 맵(142)을 생성하기 위하여 스캔 데이터(136) 및 스캔 데이터(138)를 이용함으로써, 툴의 더욱 완벽한 또는 정확한 맵 중의 적어도 하나가 생성된다. 예를 들어, 스캔 데이터(136) 및 스캔 데이터(138)는 스캔 데이터(136) 및 스캔 데이터(138)가 생성되는 상이한 뷰포인트들과 관련하여 단지 스캔 데이터(136) 또는 스캔 데이터(138)를 이용하는 것보다 툴(128) 상에서 더 많은 위치들을 커버할 수 있다.

이러한 예시적인 예에서, 툴(128) 상의 적층 위치들에 대한 적층 정보(144)는 모델 데이터베이스(148)에서의 복합재 구조물 모델(146)에 액세스하는 비주얼라이저(140)에 의해 획득된다. 이러한 예시적인 예에서, 비주얼라이저(140)는 적층 정보(144)를 스마트 안경(120) 및 스마트 안경(122)에 보낸다.

이러한 예시적인 예에서, 스마트 안경(120) 및 스마트 안경(122)은 스마트 안경에서 실행되는 동시적 위치찾기 및 맵작성(SLAM) 프로세스를 이용하여 툴(128)에 대해 자신들의 위치를 찾는다. 스마트 안경(120) 및 스마트 안경(122)의 포지션과 함께 적층 정보(144)는 스마트 안경(120) 및 스마트 안경(122)을 통해 보이는 라이브 뷰들을 증강시키기 위하여 디스플레이될 수 있다. 예를 들어, 적층 정보(144)는 새로운 복합재 플라이가 툴(128) 상에 적층되어야 하는 지점을 식별시키는 윤곽일 수 있다.

이러한 예시적인 예들에서, 인간 조작자(124) 및 인간 조작자(126)가 복합재 부품을 위해 복합재 플라이들을 적층하기 위한 오퍼레이션들을 수행하기 위하여 움직임에 따라, 스마트 안경(120) 및 스마트 안경(122)은 툴(128)을 계속해서 스캔하고 스캔 데이터(136) 및 스캔 데이터(138)를 보낼 수 있다. 인간 조작자들이 툴(128)에 대해 움직임에 따라, 툴(128)에 대한 스마트 안경의 뷰포인트가 변할 수 있다. 결과적으로, 스마트 안경으로부터 보내진 추가적인 스캔 데이터는 툴(128)에 대한 통합된 맵(142)의 정확도를 증가시키기 위하여 추가적인 정보를 제공할 수 있다.

게다가, 추가적인 스캐닝은 또한 툴(128) 상의 복합재 플라이들의 적층의 변화들에 대한 업데이트들을 제공할 수 있다. 복합재 플라이들이 추가되거나 배치되고 있음에 따라, 이 오퍼레이션들의 스캔 데이터는 통합된 맵(142)을 업데이트하기 위해 이용될 수 있다.

이러한 예시적인 예들에서, 통합된 맵(142)에 대한 업데이트들의 생성은 실시간으로 수행된다. 다시 말해, 인간 조작자(124) 및 인간 조작자(126)가 툴(128) 상에 복합재 플라이들을 적층하기 위한 오퍼레이션들을 수행하는 동안, 스캔 데이터는 스마트 안경(120) 및 스마트 안경(122)에 의해 연속적으로 또는 주기적으로 생성될 수 있다.

결과적으로, 통합된 맵(142)은 툴(128) 상에 적층된 임의의 복합재 플라이들과 함께 있는 툴(128)의 동적인 맵일 수 있다. 이러한 방식으로, 통합된 맵(142)의 정확도는 증가될 수 있고, 툴(128) 상의 복합재 플라이들의 배치와 같은 변화들을 포함할 수 있다.

도 1의 이러한 예의 도면은 다른 예시적인 예들이 구현될 수 있는 방식을 제한하는 것을 의도하지 않는다. 예를 들어, 스마트 안경을 쓴 한 명 이상의 인간 조작자들이 툴(128)의 스캔 데이터를 생성하는 데에 존재할 수 있다. 다른 예시적인 예에서, 툴(128)이 아닌 다른 타입의 물체가 존재할 수 있다. 예를 들어, 인간 조작자들은 스카스(scarf)를 형성하고 복합 재료의 레이어들로 이루어진 패치(patch)를 설치하기 위한 재작업(rework) 오퍼레이션을 수행할 수 있다. 이러한 타입의 오퍼레이션에 있어서, 적층 정보(144)는 패치를 위한 배치를 포함할 수 있다. 게다가, 스카프를 형성함에 있어서 인간 조작자들을 돕기 위하여 스카프 정보도 존재할 수 있다.

도 2를 참조하면, 증강 현실 환경의 블록도의 도면이 예시적인 실시예에 따라서 도시된다. 도 1의 네트워크 데이터 처리 시스템(100)에서의 상이한 하드웨어 구성요소들은 증강 현실 환경(200)에서 사용될 수 있는 구성요소들의 예들이다.

도시된 바와 같이, 증강 현실 환경(200)은 물체(206)를 보는 다수의 인간 조작자들(204)에 의해 작업 정보(202)가 시각화될 수 있는 환경이다. 이러한 예에서, 다수의 인간 조작자들(204)은 물체(206) 상에서 오퍼레이션들(208)을 수행할 수 있다. 이러한 예시적인 예에서, 물체(206)는 툴, 벽, 워크피스, 날개, 동체 부분, 엔진, 빌딩, 항공기, 비히클, 또는 몇몇 다른 적절한 타입의 물체를 포함하는 그룹으로부터 선택될 수 있다.

이러한 예시적인 예에서, 정보(202)의 시각화는 증강 현실 시스템(210)을 이용해서 수행된다. 도시된 바와 같이, 증강 현실 시스템(210)은 물체(206)를 위한 작업 위치(244)의 라이브 뷰(212)를 증강시킨다. 라이브 뷰(212)는 휴대용 컴퓨팅 장치들(214)을 통해 보이는 실제 세계 환경(real world environment)(216)의 뷰이다. 이러한 예시적인 예에서, 라이브 뷰(212)는 휴대용 컴퓨팅 장치 내의 카메라에 의해 생성되어 실시간으로 휴대용 컴퓨팅 장치 내의 디스플레이 장치에서 디스플레이되는 이미지들 또는 비디오일 수 있다. 다른 예들에서, 라이브 뷰(212)는 휴대용 컴퓨팅 장치를 통해 조작자에게 직접 보일 수 있다.

이러한 예에서, 작업 정보(202)는 실제 세계 환경(216)의 라이브 뷰(212)를 증강시키기 위하여 라이브 뷰(212) 상에 디스플레이될 수 있다. 작업 정보(202)는 물체(object)(206)의 라이브 뷰(212) 상에 중첩될 수 있는 작업 위치, 플라이의 윤곽, 오퍼레이션을 수행하기 위한 명령들을 가진 텍스트, 이미지, 그래픽, 비디오, 또는 다른 적절한 타입의 정보 중의 적어도 하나를 포함할 수 있다.

도시된 바와 같이, 증강 현실 시스템은 컴퓨터 시스템(218) 및 휴대용 컴퓨팅 장치들(214)을 포함한다. 컴퓨터 시스템(218)은 물리적 하드웨어 시스템이고, 하나 이상의 데이터 처리 시스템들을 포함한다. 하나 이상의 데이터 처리 시스템이 컴퓨터 시스템(218)에 존재하는 경우에, 이러한 데이터 처리 시스템들은 통신 매체를 이용하여 서로 통신한다. 통신 매체는 네트워크일 수 있다. 데이터 처리 시스템들은 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 또는 몇몇 다른 적절한 데이터 처리 시스템 중의 적어도 하나로부터 선택될 수 있다.

휴대용 컴퓨팅 장치들(214)은 물체(206)에 대한 작업 정보(202)를 시각화하기 위하여 인간 조작자들(204)에 의해 이용되는 물리적 하드웨어 장치들이다. 휴대용 컴퓨팅 장치들(214)은 모바일 폰, 태블릿 컴퓨터, 스마트 안경, 헤드 마운티드 디스플레이, 또는 몇몇 다른 적절한 컴퓨팅 장치 중의 적어도 하나로부터 선택될 수 있다. 이러한 예시적인 예에서, 휴대용 컴퓨팅 장치들(214)은 레이저 스캐너, 구조광 3차원 스캐너, 적외선 광 스캐너, 또는 스캔 데이터(228)를 생성할 수 있는 몇몇 다른 적절한 타입의 장치 중의 적어도 하나를 이용해서 물체(206)를 스캔할 수 있다.

이러한 예시적인 예에서, 증강 현실 시스템은 물체(206) 상에서 작업(224)을 수행하기 위한 작업 정보(202)로 라이브 뷰(212)를 증강시킴으로써 휴대용 컴퓨팅 장치들(214)을 작동시키는 인간 조작자들(204) 중의 한 명 이상이 물체(206)의 라이브 뷰(212)를 시각화하는 것을 가능하게 한다.

이러한 예시적인 예들에서, 작업(224)은 다수의 상이한 형태들을 취할 수 있다. 작업(224)은 복합재 플라이를 배치하는 것(placing), 플라그(plague)를 적용하는 것(applying), 아플리케(applique)를 적용하는 것, 작업 위치의 검사를 수행하는 것, 홀을 드릴링하는 것(drilling), 패스너(fastener)를 설치하는 것, 부품을 어셈블리에 연결하는 것, 부품을 제거하는 것, 수술(surgery) 프로시저, 금속 접합(metal bond)을 형성하는 것, 페인트를 칠하는 것, 측정을 하는 것, 또는 작업(224)을 위한 몇몇 다른 오퍼레이션 중의 적어도 하나로부터 선택될 수 있다.

이러한 예시적인 예에서, 컴퓨터 시스템(218) 내의 비주얼라이저(226)는 휴대용 컴퓨팅 장치들(214)과 통신한다. 이러한 구성요소들은 이러한 예시적인 예들에서 무선 통신 링크들을 이용하여 서로 통신한다.

이러한 예시적인 예에서, 스캔 데이터(228)는 물체(206)에 대한 상이한 뷰포인트들(230)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)로 물체(206)를 스캔함으로써 생성된다. 이러한 예시적인 예에서, 스캔 데이터(228)는 실시간으로 생성되고 수신된다.

예시적인 예들에서, 뷰포인트는 휴대용 컴퓨팅 장치에 있는 센서로부터의 시각이다(perspective). 예를 들어, 센서는 카메라 또는 스캐너일 수 있다. 뷰포인트는 차원 공간에서의 위치(location) 및 휴대용 컴퓨팅 장치에 대한 지향(orientation)을 포함하는 포지션(position)일 수 있다.

비주얼라이저(226)는 휴대용 컴퓨팅 장치들(214)로부터 스캔 데이터(228)를 수신하도록 동작한다. 도시된 바와 같이, 비주얼라이저(226)는 휴대용 컴퓨팅 장치들(214)에 의해 생성된 스캔 데이터(228)로부터 포인트 클라우드들(232)을 생성한다. 이러한 예시적인 예에서, 비주얼라이저(226)는 실시간으로 스캔 데이터(228)를 수신할 수 있다. 비주얼라이저(226)는 포인트 클라우드들(232)을 이용해서 물체(206)의 통합된 맵(234)을 생성한다.

통합된 맵(234)의 생성에 있어서, 비주얼라이저(226)는 포인트 클라우드들(232) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(236)을 형성하고, 복수의 맵들(236)을 통합해서 통합된 맵(234)을 형성한다. 복수의 맵들(236)의 통합은 포인트 클라우드들을 통합하기 위하여 이러한 국부적 특징 유사성(local feature correspondences)을 이용함에 있어서 포인트 클라우드들 간의 공통된 특징들을 식별함으로써 수행될 수 있다. 이러한 공통된 특징들은 물체(206) 상에서 생기는 특징들, 물체(206) 상에 배치되는 기점마커(fiducial marker)들, 또는 물체(206) 근처에 배치되는 기점마커들 중의 적어도 하나일 수 있다. 물체(206) 상의 특징들은 홀(hole), 패스너(fastener), 시임(seam), 연신된 돌출부(elongated protrusion), 모서리(corner), 단부(end), 또는 물체(206) 상의 몇몇 다른 특징 중의 적어도 하나를 포함할 수 있다. 다른 예시적인 예에서, 통합된 맵(234)은 포인트 클라우드들(232)을 통합하고 이후 통합된 맵(234)을 생성함으로써 생성될 수 있다.

예시적인 예에서, 통합된 맵(234) 및 맵들(236)은 3차원 맵들이다. 이러한 맵들은 물체(206)의 표면 뿐만 아니라 물체(206) 상에 있거나 물체(206)와 닿아 접촉하고 있을 수 있는 임의의 다른 것들 또는 아이템들을 나타낸다.

이러한 예시적인 예에서, 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)는 물체(206)에 대해 위치가 찾아진다. 위치찾기(localization)는 물체(206)에 대한 컴퓨팅 장치(238)의 포지션을 식별한다. 휴대용 컴퓨팅 장치(238)의 포지션은 3차원 공간에서의 휴대용 컴퓨팅 장치(238)의 위치 및 지향이다.

이러한 위치찾기는 휴대용 컴퓨팅 장치(238) 상에서 실행되는 동시적 위치찾기 및 맵작성 프로세스(SLAM)(240)를 이용해서 수행될 수 있다. 휴대용 컴퓨팅 장치(238)는 물체(206)의 라이브 뷰(212) 상에 작업 위치(244)에 대한 작업 정보(202)를 디스플레이한다. 이러한 예시적인 예에서, 작업 위치(244)의 시각화(242)는 작업 정보(202)를 이용해서 수행될 수 있다. 예를 들어, 작업 정보(202)는 작업 위치(244)를 위한 좌표들을 포함할 수 있다. 시각화(242)는 물체(206)의 라이브 뷰(212) 상에서 작업 위치(244)를 시각적으로 식별시키는 그래픽 표시자(graphic indicator)일 수 있다. 시각화(242)는 물체(206) 상에서 작업(224)을 수행할 때 이용하기 위해 디스플레이된다. 부가적으로, 시각화(242)는 또한 물체(206)를 위한 부품, 어셈블리, 복합재 플라이, 또는 다른 구성요소들과 같은 구성요소의 배치를 돕기 위하여 가이드(243)와 같은 다른 정보를 포함한다.

예를 들어, 가이드(243)는 물체(206) 및 작업 위치(244) 상에서 작업(224)을 수행하기 위하여 오퍼레이션들(208)을 수행함에 있어서 인간 조작자들(204)을 안내하기 위하여 복합재 플라이의 윤곽, 복합재 플라이의 패턴, 홀의 윤곽, 또는 다른 적절한 그래픽 정보의 형태를 취할 수 있다.

게다가, 가이드(243)는 작업 위치(244)의 시각적 표시로서 이용될 수 있다. 예를 들어, 가이드(243)는 복합재 플라이가 배치되어야 하는 포지션 내의 작업 위치(244)에서 디스플레이되는 복합재 플라이의 윤곽일 수 있다. 다시 말해, 복합재 플라이는 물체(206)의 라이브 뷰(212) 상에서 디스플레이되는 윤곽 내에 들어맞도록(fit) 배치될 수 있다.

휴대용 컴퓨팅 장치들(214)에 의해 수행된 물체(206)의 스캔(scan)들로부터 생성된 통합된 맵(234) 및 물체(206)의 모델(246)을 이용해서 작업 위치(244)의 위치를 표시하기 위하여 물체(206)의 라이브 뷰(212) 상에 시각화가 만들어진다. 이러한 예시적인 예에서, 모델(246)은 스캔 데이터(228)로부터 생성되는 통합된 맵(234)과 비교될 수 있는 기준 맵(reference map)이다. 모델(246) 및 통합된 맵(234)은 물체(206)의 라이브 뷰(212) 상의 원하는 위치에 작업 정보(202)를 디스플레이하기 위해 이용되는 좌표들, 프로그램 코드, 명령들, 또는 다른 정보 중의 적어도 하나를 생성하는 데에 이용하기 위해 서로 정렬될 수 있다. 예를 들어, 만일 작업 정보(202)가 복합재 플라이의 위치를 포함하면, 이러한 두 개의 모델들은 물체(206)의 라이브 뷰 내의 정확한 포지션에 있는 물체(206)의 모델(242)로부터 복합재 플라이의 윤곽을 디스플레이하기 위해 이용될 수 있다.

예시적인 예들에서, 작업 위치(244)에서 수행될 작업(224)은 다수의 상이한 형태들을 취할 수 있다. 예를 들어, 작업 위치(244)는 복합재 플라이, 물체가 어셈블리인 경우의 어셈블리에서의 부품, 플라크(plaque), 또는 아플리케(applique), 또는 몇몇 다른 적절한 라인(line) 중의 적어도 하나를 위한 것이다. 작업(224)은 복합재 플라이를 배치하는 것, 플라그를 적용하는 것, 아플리케를 적용하는 것, 작업 위치의 검사를 수행하는 것, 홀을 드릴링하는 것, 패스너를 설치하는 것, 부품을 어셈블리에 연결하는 것, 또는 부품을 제거하는 것, 또는 작업(224)을 위한 몇몇 오퍼레이션 중의 적어도 하나로부터 선택될 수 있다.

예시적인 예에서, 비주얼라이저(226)는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어가 사용될 때, 비주얼라이저(226)에 의해 수행되는 오퍼레이션들은 프로세서 유닛과 같이 하드웨어 상에서 실행되도록 구성된 프로그램 코드로 구현될 수 있다. 펌웨어가 사용될 때, 비주얼라이저(226)에 의해 수행되는 오퍼레이션들은 프로그램 코드 및 데이터로 구현될 수 있고, 프로세서 유닛 상에서 수행되기 위하여 영구 메모리에 저장될 수 있다. 하드웨어가 채용될 때, 하드웨어는 비주얼라이저(226)에서 오퍼레이션들을 수행하도록 동작하는 회로들을 포함할 수 있다.

예시적인 예들에서, 하드웨어는 회로 시스템, 집적회로, ASIC(application specific integrated circuit), 프로그램가능 로직 장치(programmable logic device), 또는 다수의 오퍼레이션들을 수행하도록 구성된 몇몇 다른 적절한 타입의 하드웨어 중의 적어도 하나로부터 선택된 형태를 취할 수 있다. 프로그램가능 로직 장치에 있어서, 이 장치는 다수의 오퍼레이션들을 수행하도록 구성될 수 있다. 이 장치는 추후에 재구성될 수 있고, 또는 다수의 오퍼레이션들을 수행하도록 영구적으로 구성될 수 있다. 프로그램가능 로직 장치들은, 예를 들어, 프로그램가능 논리 어레이, 프로그램가능 어레이 로직, 필드 프로그램가능 논리 어레이, 필드 프로그램가능 게이트 어레이, 및 다른 적절한 하드웨어 장치들을 포함한다. 부가적으로, 프로세스들은 무기적(inorganic) 구성요소들과 통합된 유기적(organic) 구성요소들에서 구현될 수 있고, 인간을 제외한 유기적 구성요소들 전체로 구성될 수 있다. 예를 들어, 프로세스들은 유기 반도체(organic semiconductor)들 내의 회로들로서 구현될 수 있다.

다음으로 도 3을 참조하면, 툴 상의 적층 위치에 복합재 플라이를 배치하기 위한 작업 정보를 시각화하기 위해 이용되는 증강 현실 시스템의 블록도의 도면이 예시적인 실시예에 따라서 도시된다. 예시적인 예들에서, 동일한 참조 번호가 두 개 이상의 도면들에서 이용될 수 있다. 상이한 도면들에서의 이러한 참조 번호 재사용은 상이한 도면들에서 동일한 엘리먼트(element)를 나타낸다.

이러한 예시적인 예에서, 증강 현실 시스템(210)은 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 시각화하기 위한 증강 현실 환경(300)에서 이용된다. 이러한 특정한 예에서, 툴(306)은 복합재 부품(310)을 제조하기 위한 프로세스의 일부로서 복합재 플라이들(308)이 적층될 수 있는 구조물이다. 툴(306)은, 예를 들어, 맨드릴(mandrel), 몰드(mold), 복합재 툴(composite tool), 및 다른 적절한 타입의 툴들을 포함하는 그룹으로부터 선택될 수 있다.

이러한 예에서, 컴퓨터 시스템(218) 내의 비주얼라이저(226)는 툴(306)에 대한 상이한 뷰포인트들(312)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)로부터 스캔 데이터(314)를 수신해서 스캔 데이터(314)를 생성하도록 동작한다. 게다가, 비주얼라이저(226)는 툴(306)의 상이한 뷰포인트들(312)에서 휴대용 컴퓨팅 장치들(214)로부터 획득된 스캔 데이터(314)를 이용해서 툴(306)의 통합된 맵(316)을 생성한다.

하나의 예시적인 예에서, 비주얼라이저(226)는 스캔 데이터(314)로부터 툴(306)의 포인트 클라우드들(318)을 생성한다. 툴(306)의 포인트 클라우드들(318)을 생성함에 있어서, 포인트 클라우드들(318)은 또한 툴(306) 상에 배치된 임의의 복합재 플라이들, 이형 필름(release film)들, 또는 다른 구성요소들을 포함할 수 있다. 포인트 클라우드들(318)에서의 각각의 포인트 클라우드는 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치로부터 수신된 스캔 데이터(314)로부터 생성된다. 비주얼라이저(226)는 휴대용 컴퓨팅 장치들(214)에 의해 생성된 스캔 데이터(314)를 이용해서 툴(306)의 복수의 맵들(320)을 생성하고, 툴(306)의 통합된 맵(316)을 형성하기 위해 복수의 맵들(320)을 통합한다.

이러한 예에서, 비주얼라이저(226)는 복수의 맵들(320)에서의 공통의 기준 포인트들을 식별하고, 공통의 기준 포인트들을 이용해서 복수의 맵들(320)을 통합하여 통합된 맵(316)을 형성한다. 이러한 기준 포인트들은 툴(306) 상의 특징들 또는 툴(306)과 함께 이용된 기점마커들 중의 적어도 하나를 위한 것일 수 있다.

이러한 예에서, 통합된 맵(316)은 상이한 뷰포인트들(312)에서 생성된 스캔 데이터(314)로부터 생성된 복수의 맵들(320)로부터 정확도를 증가시켰다. 예를 들어, 단일한 맵만이 이용된다면, 이러한 단일한 맵을 위한 스캔 데이터는 휴대용 컴퓨팅 장치의 뷰포인트로부터 수행된 스캔으로부터 툴(306)의 부분들에 대한 데이터를 누락하고 있을 수 있다. 예를 들어, 스캔 데이터는 휴대용 컴퓨팅 장치에게 보이지 않는 물체(206)의 부분들에 대해 누락하고 있을 수 있다.

상이한 뷰포인트들로부터의 스캔 데이터를 통합함으로써, 툴(306)의 맵을 생성하기 위해 더욱 완벽한 데이터 세트가 존재한다. 결과적으로, 증가된 정확도가 존재한다.

다른 예시적인 예에서, 포인트 클라우드들(318)이 통합되어 통합된 포인트 클라우드(322)를 형성할 수 있다. 이후, 비주얼라이저(226)는 통합된 포인트 클라우드(322)로부터 통합된 맵(316)을 생성할 수 있다.

도시된 바와 같이, 비주얼라이저(226)는 복합재 부품(310)을 위한 복합재 플라이들(308)의 플라이 모델(324)에서 적층 위치(304)에 대한 작업 정보(302)를 식별한다. 작업 정보(302)는 툴(306) 상에서 복합재 부품(310)을 제작하기 위해 파일들의 아이덴티피케이션(identification), 플라이 순서(ply order), 플라이 지향(ply orientation), 배치 정보(placement information), 경화 온도, 경화 시간, 또는 다른 적절한 정보 중의 적어도 하나로부터 선택된 정보를 포함할 수 있다.

비주얼라이저(226)는 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)에 보낸다. 이러한 예시적인 예에서, 휴대용 컴퓨팅 장치(238)는 복합재 플라이들(308)의 플라이 모델(324) 및 툴(306)의 통합된 맵(316)을 이용해서 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상에 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 디스플레이한다. 디스플레이된 작업 정보는 툴(306)의 라이브 뷰(326)를 증강시킨다.

도시된 바와 같이, 휴대용 컴퓨팅 장치(238)는 복합재 부품(310)을 위한 복합재 플라이들(308)의 플라이 모델(324)에서 적층 위치(304)를 식별한다. 이러한 결정은 다수의 상이한 방식들로 이루어질 수 있다. 예를 들어, 휴대용 컴퓨팅 장치(238)에는 플라이 모델(324)의 로컬 카피(local copy)가 들어 있을 수 있다. 다른 예시적인 예에서, 모바일 컴퓨팅 장치(238)는 요청들을 비주얼라이저(226)에 보냄으로써 플라이 모델(324)에 액세스할 수 있다.

도시된 바와 같이, 휴대용 컴퓨팅 장치(214)는 플라이 모델(324) 및 통합된 맵(316)을 이용해서 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)에 대한 라이브 뷰(326) 상의 위치를 결정한다. 휴대용 컴퓨팅 장치(214)는 툴(306)에 대해 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326)상의 위치에서 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)을 디스플레이한다. 도시된 바와 같이, 다수의 가이드들(330)은 툴(306) 상의 다수의 복합재 플라이들(308)의 배치를 돕는다. 이러한 가이드는 툴(306) 상에서 복합재 부품을 제작하는 것 또는 복합재 부품(310)을 재작업하는 것 중의 적어도 하나에 대해 정확한 포지션에서 복합재 플라이를 적층하기 위해 이용되는 보조도구(aid)일 수 있다. 이러한 예시적인 예에서, 다수의 가이드들(330)은 툴(306) 상의 복합재 플라이의 배치를 안내하는 윤곽, 패턴, 또는 몇몇 다른 적절한 시각적 디스플레이 중의 적어도 하나일 수 있다.

다른 예시적인 예에서, 다수의 가이드들(330)은 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상에서 적층 위치(304)에 있는 다수의 복합재 플라이들(308)에 대한 다수의 추가적인 윤곽들 또는 패턴들일 수 있다.

다수의 추가적인 윤곽들 또는 패턴들은 툴(306) 상의 다수의 복합재 플라이들(308)에 대한 다수의 이전 배치(prior placement)들을 보여준다. 이러한 이전 배치들은 동일한 툴 또는 동일한 복합재 부품을 위한 똑같은 툴 상에서 미리 이루어진 배치들일 수 있다. 이러한 방식으로, 복합재 플라이 배치의 비교가 이루어질 수 있다.

부가적으로, 휴대용 컴퓨팅 장치(238)는 다른 작업 정보가 툴(306)의 라이브 뷰(326) 상에 디스플레이되는 증강 현실 디스플레이의 일부로서 적층 위치(304)에 있는 가이드들(330)에 부가하여 작업 정보(302)에서의 다른 작업 정보를 디스플레이할 수 있다. 예를 들어, 휴대용 컴퓨팅 장치(238)는 다수의 복합재 플라이들을 배치하기 위한 플라이 수, 명령, 이미지, 또는 비디오 중의 적어도 하나를 디스플레이할 수 있다.

하나의 예시적인 예에서, 툴 상에 플라이를 배치하기 위한 가이드를 제공하는 기술적인 문제를 극복하는 하나 이상의 기술적인 해결책들이 존재한다. 예시적인 예들에서, 하나 이상의 기술적인 해결책들은 오버헤드 레이저 추적기 대신에 휴대용 컴퓨팅 장치들을 이용해서 작업 위치들의 시각화들을 제공한다. 예시적인 예들에서, 하나 이상의 기술적인 해결책은 작업 위치들의 시각화들의 정확도를 증가시키기 위하여 상이한 뷰포인트들에서 복수의 휴대용 컴퓨팅 장치들로부터의 툴의 스캔들을 이용한다. 하나 이상의 기술적인 해결책들은 툴과 같은 물체의 통합된 맵을 형성하기 위하여 휴대용 컴퓨팅 장치들로부터 수신된 스캔 데이터를 통합하는 것을 수반해서, 툴의 일부에 대한 누락된 스캔 데이터인 하나의 휴대용 컴퓨팅 장치로부터의 스캔 데이터가 다른 휴대용 컴퓨팅 장치로부터의 툴의 일부를 포함하는 스캔 데이터로 보충될 수 있다.

결과적으로, 하나 이상의 기술적인 해결책들은 종래에 사용된 기법들과 비교할 때 복수의 휴대용 컴퓨팅 장치들로부터의 스캔 데이터를 이용함으로써 증가된 정확도를 가지고 물체들 상의 작업 위치들의 시각화를 제공하는 기술적인 효과를 제공할 수 있다.

컴퓨터 시스템(218)은 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 이용해서 상이한 예시적인 예들에서 기술된 단계들, 오퍼레이션들, 또는 액션들 중의 적어도 하나를 수행하도록 구성될 수 있다. 결과적으로, 컴퓨터 시스템(218)은 물체(206)의 라이브 뷰(212) 상에 작업 정보(202)가 중첩되는(overlaid) 증강 현실 디스플레이를 제공하는 방식에 있어서 컴퓨터 시스템(218) 내의 비주얼라이저(226)가 물체(206)의 라이브 뷰(212) 상에 작업 정보(302)를 시각화할 수 있는 특별한 목적의 컴퓨터 시스템으로서 동작한다. 특히, 비주얼라이저(226)는 비주얼라이저(226)를 가지지 않은 현재 이용가능한 일반적인 컴퓨터 시스템들과 비교할 때 컴퓨터 시스템(216)을 특별한 목적의 컴퓨터 시스템으로 변환한다.

도 2 및 도 3에서의 증강 현실 시스템(210)의 도면은 예시적인 실시예가 구현될 수 있는 방식에 대한 물리적 또는 구성적 제한을 암시하는 것으로 의도되지 않는다. 도시된 것들에 부가하여 또는 대신하여 다른 구성요소들이 이용될 수 있다. 몇몇 구성요소들은 불필요할 수 있다. 또한, 몇몇 기능적인 구성요소들을 도시하기 위하여 블록들이 제시된다. 이러한 블록들 중의 하나 이상은 예시적인 실시예에서 구현될 때 상이한 블록들로 조합, 분할, 또는 조합 및 분할될 수 있다.

예를 들어, 동시적 위치찾기 및 맵작성 프로세스(240)는 휴대용 컴퓨팅 장치(238) 상에서가 아니라 컴퓨터 시스템(218) 상에서 실행될 수 있다.

도 4를 참조하면, 툴에서 오퍼레이션들을 수행하는 인간 조작자들의 도면이 예시적인 실시예에 따라서 도시된다. 이러한 예시적인 예에서, 인간 조작자(400) 및 인간 조작자(402)는 복합재 부품을 제작하기 위하여 프로세스의 일부로서 툴(404) 상에 복합재 플라이들을 적층하기 위한 오퍼레이션들을 수행한다. 또 다른 예시적인 예에서, 하나 이상의 작업들이 작업(224)에 추가하여 수행될 수 있다. 예를 들어, 작업(224)은 복합재 플라이의 배치일 수 있다. 후속 작업은 배치가 정확한지 여부를 결정하기 위한 복합재 플라이의 검사일 수 있다.

도시된 바와 같이, 인간 조작자(400)는 스마트 안경(406)을 착용하고, 인간 조작자(402)는 스마트 안경(408)을 착용한다. 스마트 안경(406) 및 스마트 안경(408)은 도 2 및 도 3에서 블록 형태로 도시된 휴대용 컴퓨팅 장치들(214)을 위한 구현들의 예들이다.

도시된 바와 같이, 스마트 안경(406) 및 스마트 안경(408)은 툴(404)에 대하여 상이한 뷰포인트들에 있다. 이러한 예에서, 스마트 안경(406)은 뷰포인트(410)를 가지고, 스마트 안경(408)은 뷰포인트(412)를 가진다. 이러한 뷰포인트들은 상이한 포지션들로부터 툴(404)을 향하여 겨냥된다. 다시 말해, 뷰포인트(410) 및 뷰포인트(412)는 서로 상이한 뷰포인트들이다.

이러한 예시적인 예에서, 스마트 안경(406)은 뷰(view)(414)를 통해서 툴(404)을 스캔한다. 이러한 예시적인 예에서, 스캔은 레이저 스캐너, 및 적외선 스캐너, 또는 몇몇 다른 적절한 타입의 센서 중의 적어도 하나를 이용해서 수행될 수 있다. 예를 들어, 스마트 안경(408)은 레이저 스캐너를 이용할 수 있는 한편, 스마트 안경(406)은 적외선 스캐너를 이용할 수 있다. 다른 예로서, 스마트 안경(406) 및 스마트 안경(406) 각각은 레이저 스캐너 및 적외선 스캐너 양쪽 모두를 가질 수 있다.

뷰(414)는 스마트 안경(406)에 의해 스캔될 수 있는 3차원 공간이다. 뷰(416)는 스마트 안경(408)에 의해 스캔될 수 있는 3차원 공간이다. 이러한 뷰들은 또한 스마트 안경을 통한 작동을 통해 보이는 라이브 뷰들을 정의할 수 있다. 예를 들어, 뷰(414)는 스마트 안경(406)을 통해 인간 조작자(400)에게 보이는 라이브 뷰일 수 있다. 뷰(416)는 스마트 안경(408)을 통해 인간 조작자(402)에게 보이는 라이브 뷰일 수 있다. 다른 예시적인 예들에서, 스캐닝을 위한 뷰 및 라이브 뷰를 위한 뷰는 상이하지만 동일한 뷰포인트로부터의 것일 수 있다. 뷰는 휴대용 컴퓨팅 장치 내의 센서에 의해 보이거나 스캔될 수 있는 증강 현실 환경(300)의 일부이다.

상이한 뷰포인트들로부터 이러한 뷰들을 스캔하는 것은 상이한 스캔 데이터를 갖는 두 세트의 스캔들을 낳는다. 스캔 데이터는 양쪽 스캔들로부터의 데이터를 통합하는 통합된 맵을 생성하기 위해 이용될 수 있다. 이러한 통합된 맵은 스마트 안경들 중의 하나만으로부터의 스캔을 이용하는 것보다 더 정확하다.

예를 들어, 스마트 안경(406) 및 스마트 안경(408)은 툴(404)을 스캔할 수 있고, 여기서 몇몇 위치들은 스마트 안경(406)을 위한 뷰(414)에서만 가시적이고(visible), 몇몇 위치들은 스마트 안경(408)을 위한 뷰(416)에서만 가시적이다. 스캔에 있어서, 몇몇 위치들은 두 개의 스마트 안경에서 가시적이다.

예를 들어, 스마트 안경(406)을 위한 뷰(414)에서, 위치(420), 위치(422), 위치(424), 위치(426)는 스마트 안경(406)에 의해 스캔될 수 있을 뿐만 아니라 스마트 안경(406)의 라이브 뷰에 존재할 수 있다. 하지만, 이러한 위치들은 스마트 안경(408)을 위한 뷰(416) 내에 존재하지 않는다.

도시된 바와 같이, 스마트 안경(408)을 위한 뷰(416)에서, 위치(430) 및 위치(432)는 스캔될 수 있고, 스마트 안경(408)의 라이브 뷰에서 가시적이다. 이러한 위치들은 스마트 안경(406)을 위한 뷰(414) 내에 존재하지 않는다.

이러한 예시적인 예에서, 위치(440), 위치(442), 위치(444), 위치(446), 위치(448), 위치(450), 위치(452), 위치(454), 위치(456), 및 위치(458)는 스마트 안경(406)의 뷰(414) 및 스마트 안경(408)의 뷰(416)로부터 스캔가능한 위치들이다.

결과적으로, 스마트 안경 각각에 의해 생성된 스캔 데이터는 스마트 안경들 양쪽 모두에 의해 스캔되는 공통된 위치들뿐만 아니라 스마트 안경들 중 하나만에 의해 스캔되는 위치들을 포함한다. 상이한 뷰포인트들로부터의 이러한 두 개의 스마트 안경들로부터 스캔 데이터를 이용함으로써, 복합재 부품을 위한 복합재 레이어들을 적층하는 데에 이용하기 위해 툴(404)의 더욱 정확한 맵이 생성될 수 있다.

이러한 예시적인 예에서, 스마트 안경(406) 및 스마트 안경(408)은 이러한 스마트 안경들 상에서 실행되는 프로세스들을 이용해서 이들의 위치가 찾아진다. 이러한 프로세스들은, 예를 들어, 현재 이용가능한 동시적 위치찾기 및 맵작성 프로세스들을 포함할 수 있다. 다시 말해, 스마트 안경(406) 및 스마트 안경(408)은 툴(404)에 대한 자신들의 포지션들을 식별할 수 있다. 이러한 예시적인 예에서, 스마트 안경(406) 및 스마트 안경(408)의 포지션들은 3차원 공간에 있으며, 지향을 포함한다.

게다가, 스마트 안경은 복합재 부품을 위한 플라이 모델에 대해 상응하는 위치를 식별할 수 있다. 디스플레이 모델은 또한 툴(404)의 모델 및 복합재 부품을 형성하는 툴(404) 상의 플라이들의 적층(layup)을 포함할 수 있다.

이러한 예시적인 예에서, 패턴(460)은 툴(404) 상의 복합재 레이어를 위한 배치의 시각화를 제공하기 위하여 스마트 안경(406) 및 스마트 안경(408) 양쪽 모두를 통해 보이는 라이브 뷰 상에 디스플레이된다. 스마트 안경들 양쪽 모두에 의해 생성된 스캔 데이터를 가지고 툴(404) 상에서 패턴(460)을 더욱 정확하게 인덱싱(index)하거나 위치를 찾도록 표준이 통합될 수 있다.

게다가, 인간 조작자(400) 및 인간 조작자(402)가 움직임에 따라, 툴(404)의 추가적인 스캔들이 만들어질 수 있다. 이러한 추가적인 스캔들은 툴(404)에 대한 맵의 정확도를 향상시키기 위하여 툴(404)의 이미 생성된 스캔들과 함께 이용될 수 있다. 게다가, 스캔들은 툴(404) 상에 배치된 임의의 복합재 플라이들을 포함할 수 있다. 이 스캔들은 또한 툴(404) 상에 이미 배치된 복합재 플라이들 위에 툴(404) 상에 배치될 추가적인 플라이들을 위한 가이드를 제공하는 것 외에도 툴 상에 배치된 플라이들의 정확도를 검증할 수 있다.

다음으로 도 5를 참조하면, 휴대용 컴퓨팅 장치 상의 작업 위치의 라이브 뷰를 증강하기 위한 프로세스의 흐름도의 도면이 예시적인 실시예에 따라서 도시된다. 도 5의 프로세스는 하드웨어, 소프트웨어, 또는 양쪽 모두로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들 내의 하나 이상의 하드웨어 장치들에 위치한 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들어, 프로세스는 도 1의 스마트 안경(120), 도 1의 스마트 안경(122), 도 2의 증강 현실 시스템(210)에서의 휴대용 컴퓨팅 장치(238)를 포함하는 휴대용 컴퓨팅 장치들(214), 도 4의 스마트 안경(406), 또는 도 4의 스마트 안경(408) 중의 적어도 하나에서 구현될 수 있다.

프로세스는 물체에 대한 휴대용 컴퓨팅 장치의 위치를 찾음으로써 시작된다(오퍼레이션 500). 이 프로세스는 물체의 통합된 맵 및 물체의 모델을 이용해서 작업을 수행하기 위한 물체의 라이브 뷰 상에 작업 위치의 시각화를 디스플레이한다(오퍼레이션 502). 물체에 대한 상이한 뷰포인트들에서 휴대용 컴퓨팅 장치들에 의한 물체의 스캔들로부터 통합된 맵이 생성된다. 그 이후에 프로세스는 종료된다.

오퍼레이션(502)은 다수의 상이한 방식들로 수행될 수 있다. 예를 들어, 물체의 통합된 맵에서의 물체의 모델은 컴퓨터 시스템으로부터 휴대용 컴퓨팅 장치에 다운로드될 수 있다. 이후, 휴대용 컴퓨팅 장치는 작업 위치의 시각화를 디스플레이하기 위하여 이러한 모델들을 이용할 수 있다. 이러한 시각화는, 예를 들어, 툴 상의 적절한 위치에 있는 플라이의 윤곽일 수 있다. 다른 예시적인 예에서, 컴퓨터 시스템은 윤곽을 생성할 수 있고, 휴대용 컴퓨팅 장치를 위한 라이브 뷰 상에서 배치를 식별할 수 있다. 이후, 컴퓨터 시스템은 휴대용 컴퓨팅 장치를 통해 보이는 라이브 뷰 상에 윤곽을 디스플레이하기 위해 필요한 프로그램 코드, 명령들, 또는 다른 정보와 함께 윤곽을 휴대용 컴퓨팅 장치에 보낼 수 있다.

도 6을 참조하면, 스캔 데이터를 처리하기 위한 프로세스의 흐름도의 도면이 예시적인 실시예를 따라서 도시된다. 도 6의 프로세스는 하드웨어, 소프트웨어, 또는 양쪽 모두로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들 내의 하나 이상의 하드웨어 장치들에 위치한 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들어, 프로세스는 도 1의 서버 컴퓨터(104) 상에서 실행되는 비주얼라이저(140) 또는 도 2의 컴퓨터 시스템(218) 내의 비주얼라이저(226) 중의 적어도 하나에서 구현될 수 있다.

프로세스는 휴대용 컴퓨팅 장치들로부터 스캔 데이터를 수신함으로써 시작된다(오퍼레이션 600). 스캔 데이터는 물체에 대한 상이한 뷰포인트들에서 인간 조작자들에게 있는 휴대용 컴퓨팅 장치들을 가지고 물체를 스캔함으로써 생성된다.

프로세스는 스캔 데이터를 이용해서 물체의 통합된 맵을 생성한다(오퍼레이션 602). 프로세스는 작업 위치에서 작업을 수행하기 위해 휴대용 컴퓨팅 장치에 작업 위치의 시각화를 보낸다(오퍼레이션 604). 프로세스는 그 이후에 종료된다.

다음으로 도 7을 참조하면, 통합된 맵을 생성하기 위한 프로세스의 흐름도의 도면이 예시적인 실시예에 따라서 도시된다. 도 7의 프로세스는 하드웨어, 소프트웨어, 또는 양쪽 모두로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들 내의 하나 이상의 하드웨어 장치들에 위치한 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들어, 프로세스는 도 1의 서버 컴퓨터(104) 상에서 실행되는 비주얼라이저(140) 또는 도 2의 컴퓨터 시스템(218) 내의 비주얼라이저(226) 중의 적어도 하나에서 구현될 수 있다.

프로세스는 포인트 클라우드들 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들을 형성함으로써 시작된다(오퍼레이션 700). 프로세스는 복수의 맵들을 통합해서 복수의 맵들에서의 공통의 기준 포인트들을 식별시키는 툴의 통합된 맵을 형성한다(오퍼레이션 702). 그 이후에 프로세스는 종료된다.

오퍼레이션 702에서, 맵들은 공통의 기준 포인트들을 이용해서 통합된다. 이러한 맵들은 공통의 기준 포인트들을 이용해서 통합된다. 이러한 공통의 기준 포인트들은 복수의 맵들의 각각에 존재하는 특징들에 대해서 선택될 수 있다. 통합된 맵은 상이한 뷰포인트들로부터 생성된 스캔 데이터로부터 생성된 맵들로부터 증가된 정확도를 가진다.

다음으로 도 8을 참조하면, 통합된 맵을 생성하기 위한 프로세스의 흐름도의 도면이 예시적인 실시예에 따라서 도시된다. 도 8의 프로세스는 하드웨어, 소프트웨어, 또는 양쪽 모두로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들 내의 하나 이상의 하드웨어 장치들에 위치한 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들어, 프로세는 도 1의 서버 컴퓨터(104) 상에서 실행되는 비주얼라이저(140) 또는 도 2의 컴퓨터 시스템(218) 내의 비주얼라이저(226) 중의 적어도 하나에서 구현될 수 있다.

프로세스는 물체 상의 동일한 상응하는 특징들에 대한 포인트 클라우드들에서의 상응하는 포인트들을 식별함으로써 시작된다(오퍼레이션 800). 오퍼레이션 800에서, 동일한 상응하는 특징들에 대한 상응하는 포인트들의 수는 예를 들어 3개 또는 4개의 포인트들일 수 있다. 프로세스는 상응하는 포인트들을 이용하여 포인트 클라우드들을 병합해서(merge) 통합된 포인트 클라우드를 형성한다(오퍼레이션 802). 프로세스는 통합된 포인트 클라우드를 이용해서 통합된 맵을 생성한다(오퍼레이션 804). 그 이후에, 프로세스는 종료된다.

도 9에서, 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 프로세스의 흐름도의 도면이 예시적인 실시예에 따라서 도시된다. 도 9의 프로세스는 하드웨어, 소프트웨어, 또는 양쪽 모두로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들 내의 하나 이상의 하드웨어 장치들에 위치한 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들어, 프로세스는 도 3의 증강 현실 시스템(210)에서 구현될 수 있다. 오퍼레이션들은 도 3의 컴퓨터 시스템(218) 또는 휴대용 컴퓨팅 장치들(214) 중의 적어도 하나에서 구현될 수 있다. 툴(306)의 라이브 뷰(326) 상에 작업 정보(302)의 시각화를 제공하기 위한 오퍼레이션이 구현될 수 있다. 이러한 타입의 디스플레이는 인간 조작자에게 증강 현실 디스플레이를 제공하도록 라이브 뷰(326)를 증강시킨다.

프로세스는 툴에 대한 상이한 뷰포인트들에서 인간 조작자들에게 있는 휴대용 컴퓨팅 장치들을 이용하여 툴을 스캔해서 스캔 데이터를 생성함으로써 시작된다(오퍼레이션 900). 프로세스는 휴대용 컴퓨팅 장치들에 의해 생성된 스캔 데이터로부터 포인트 클라우드들을 생성한다(오퍼레이션 902). 프로세스는 포인트 클라우드들을 이용해서 툴의 통합된 맵을 생성한다(오퍼레이션 904).

프로세스는 툴의 통합된 맵을 이용해서 툴에 대한 휴대용 컴퓨팅 장치들에서의 휴대용 컴퓨팅 장치의 위치를 찾는다(오퍼레이션 906). 프로세스는 복합재 플라이들의 플라이 모델 및 툴의 통합된 맵을 이용해서 위치가 찾아진 휴대용 컴퓨팅 장치에서의 디스플레이 장치를 통해 보이는 라이브 뷰 상에 툴 상의 적층 위치에 대한 작업 정보를 디스플레이한다(오퍼레이션 908). 그 이후에, 프로세스는 종료한다.

다음으로 도 10을 참조하면, 작업 정보의 시각화를 디스플레이하기 위한 프로세스의 흐름도의 도면이 예시적인 실시예에 따라서 도시된다. 도 10에서 도시된 프로세스는 도 5에서의 오퍼레이션 502 및 도 9에서의 오퍼레이션 908에 대한 하나의 구현의 예이다.

프로세스는 휴대용 컴퓨팅 장치를 통해 보이는 툴의 라이브 뷰 상에 플라이를 위한 가이드를 디스플레이함으로써 시작된다(오퍼레이션 1000). 오퍼레이션 1000에서 디스플레이되는 가이드는 툴 상에 디스플레이될 다음 플라이이다.

프로세스는 휴대용 컴퓨팅 장치를 통해 보이는 툴의 라이브 뷰 상에 다수의 추가적인 가이드들을 디스플레이한다(오퍼레이션 1002). 다수의 추가적인 가이드들의 디스플레이는 플라이를 위한 가이드로부터 다수의 추가적인 가이드들을 구별시키는 방식으로 이루어질 수 있다. 이러한 예에서, 다수의 추가적인 가이드들은 툴에 이미 배치된 복합재 플라이들을 위한 것일 수 있다. 이러한 방식으로, 이전의 복합재 플라이들의 정렬이 식별될 수 있고, 툴의 증강 현실 디스플레이에서 시각화될 수 있다. 이러한 증강 현실 디스플레이는 이전의 복합재 플라이들이 툴 상으로의 복합재 플라이들의 적층동안 쉬프트되었는지(shifted) 여부를 결정하기 위해 이용될 수 있다.

부가적으로, 다수의 추가적인 가이드들은 또한 복합재 부품을 형성하기 위하여 이전의 오퍼레이션들에서 동일한 플라이가 툴 상에 이전에 배치된 방식의 시각화를 제공할 수 있다. 이전의 복합재 플라이들의 배치는 복합재 플라이 배치들의 이력을 가지고 있는 데이터베이스로부터 획득될 수 있다. 복합재 플라이 배치들의 이력은 복합재 플라이들의 배치 동안 수행되는 스캔들로부터 식별될 수 있다. 이러한 방식으로, 현재 배치와 이전 배치들 간의 변화의 식별이 시각화될 수 있다. 이러한 변화들은 플라이 치수들의 변화, 미끄러짐(slippage), 툴에 대한 변화들, 또는 시간이 경과함에 따라 동일한 플라이에 대한 정렬을 변경할 수 있는 다른 잠재적인 소스들 중의 적어도 하나로부터 일어날 수 있다.

상이한 도시된 실시예들에서의 흐름도들 및 블록도들은 예시적인 실시예에서 장치들 및 방법들의 몇몇 가능한 구현들의 아키텍처, 기능, 및 오퍼레이션을 도시한다. 이와 관련하여, 흐름도들 또는 블록도들에서의 각각의 블록은 오퍼레이션 또는 단계의 모듈(module), 세그먼트(segment), 기능(function), 또는 일부를 나타낼 수 있다. 예를 들어, 블록들 중의 하나 이상은 프로그램 코드, 하드웨어, 또는 프로그램 코드와 하드웨어의 조합으로 구현될 수 있다. 하드웨어로 구현될 때, 하드웨어는 예를 들어 흐름도들 또는 블록도들에서 하나 이상의 오퍼레이션들을 수행하도록 제조되거나 구성된 집접회로들의 형태를 취할 수 있다. 프로그램 코드와 하드웨어의 조합으로 구현될 때, 구현은 펌웨어의 형태를 취할 수 있다. 흐름도들 또는 블록도들에서 각각의 블록은 특별한 목적의 하드웨어에 의해 실행되는 특별한 목적의 하드웨어 및 프로그램 코드의 상이한 오퍼레이션들 또는 조합들을 수행하는 특별한 목적의 하드웨어 시스템들을 이용해서 구현될 수 있다.

예시적인 실시예의 몇몇 대안적인 구현들에서, 블록들 안에 언급된 기능 또는 기능들은 도면들에서 언급된 순서와는 다르게 일어날 수 있다. 예를 들어, 몇몇 경우들에서, 연속적으로 도시된 두 개의 블록들은 관여된 기능에 따라서, 실질적으로 동시에 수행될 수도 있고, 또는 블록들은 때때로 역순으로 수행될 수 있다. 또한, 흐름도 또는 블록도에서 도시된 블록들에 부가하여 다른 블록들이 추가될 수 있다.

이제 도 11을 참조하면, 데이터 처리 시스템의 블록도의 도면이 예시적인 실시예에 따라서 도시된다. 데이터 처리 시스템(1100)은 도 1의 서버 컴퓨터(104), 서버 컴퓨터(106), 클라이언트 장치들(110)을 구현하기 위해 이용될 수 있다. 데이터 처리 시스템(1100)은 또한 도 2 및 도 3의 컴퓨터 시스템(218)을 구현하기 위해 이용될 수 있다. 이러한 예시적인 예에서, 데이터 처리 시스템(1100)은 통신 프레임워크(1102)를 포함하고, 이것은 프로세서 유닛(1104), 메모리(1106), 영구 저장소(1108), 통신 유닛(1110), 입력/출력 (I/O) 유닛(1112), 및 디스플레이(1114) 간의 통신을 제공한다. 이러한 예에서, 통신 프레임워크(1102)는 버스 시스템의 형태를 취한다.

프로세서 유닛(1104)은 메모리(1106)에 로딩될 수 있는 소프트웨어를 위한 명령들을 실행하도록 기능한다. 프로세서 유닛(1104)은 하나 이상의 프로세서들을 포함한다. 예를 들어, 프로세서 유닛(1104)은 멀티코어 프로세서, CPU(central processing unit), GPU(graphics processing unit), PPU(physics processing unit), DSP(digital signal processor), 네트워크 프로세서, 또는 몇몇 다른 적절한 타입의 프로세서 중의 적어도 하나로부터 선택될 수 있다.

메모리(1106) 및 영구 저장소(1108)는 저장 장치(1116)의 예들이다. 저장 장치는 예를 들어 제한 없이 데이터, 함수 형태의 프로그램 코드, 또는 다른 적절한 정보 중의 적어도 하나와 같은 정보를 임시로, 영구적으로, 또는 임시로 및 영구적으로 저장할 수 있는 하드웨어로 이루어진 임의의 부품이다. 저장 장치(1116)는 또한 이러한 예시적인 예들에서 컴퓨터 판독가능 저장 장치라고 지칭될 수 있다. 이러한 예들에서, 메모리(1106)는, 예를 들어, RAM(random access memory), 또는 임의의 다른 적절한 휘발성 또는 비휘발성 저장 장치일 수 있다. 영구 저장소(1108)는 구체적인 구현에 따라서 다양한 형태를 취할 수 있다.

예를 들어, 영구 저장소(1108)는 하나 이상의 구성요소들 또는 장치들을 포함할 수 있다. 예를 들어, 영구 저장소(1108)는 하드 드라이브, 플래시 메모리, SSD(solid-state drive), 플래시 메모리, 재기록가능(rewritable) 광학적 디스크, 재기록가능 자기 테이프, 또는 이들의 몇몇 조합일 수 있다. 영구 저장소(1108)에 의해 이용되는 매체는 또한 착탈가능할(removable) 수 있다. 예를 들어, 착탈가능한 하드 드라이브가 영구 저장소(1108)를 위해 이용될 수 있다.

통신 유닛(1110)은, 이러한 예시적인 예들에서, 다른 데이터 처리 시스템들 또는 장치들과의 통신을 제공한다. 이러한 예시적인 예들에서, 통신 유닛(1110)은 네트워크 인터페이스 카드이다.

입력/출력 유닛(1112)은 데이터 처리 시스템(1100)에 연결될 수 있는 다른 장치들과의 데이터의 입력 및 출력을 가능하게 한다. 예를 들어, 입력/출력 유닛(1112)은 키보드, 마우스, 또는 몇몇 다른 적절한 입력 장치 중의 적어도 하나를 통해 사용자 입력을 위한 연결을 제공할 수 있다. 게다가, 입력/출력 유닛(1112)은 프린터에 출력을 보낼 수 있다. 디스플레이(1114)는 사용자에게 정보를 디스플레이하기 위한 메커니즘을 제공한다.

운영체제, 애플리케이션들, 또는 프로그램들 중의 적어도 하나를 위한 명령들은 통신 프레임워크(1102)를 통해 프로세서 유닛(1104)과 통신하는 저장 장치(1116)에 위치할 수 있다. 상이한 실시예들의 프로세스들은 메모리(1106)와 같은 메모리에 위치할 수 있는 컴퓨터로 구현되는 명령들을 이용하여 프로세서 유닛(1104)에 의해 수행될 수 있다.

이 명령들은 프로세서 유닛(1104) 내의 프로세서에 의해 판독 및 실행될 수 있는 프로그램 코드, 컴퓨터 이용가능 프로그램 코드, 또는 컴퓨터 판독가능 프로그램 코드라고 지칭될 수 있다. 상이한 실시예들에서의 프로그램 코드는 메모리(1106) 또는 영구 저장소(1108)와 같은 상이한 물리적 또는 컴퓨터 판독가능 저장 매체 상에서 구체화될 수 있다.

프로그램 코드(1118)는 선택적으로 착탈가능한 컴퓨터 판독가능 매체(1120) 상에 함수 형태로 위치하고, 프로세서 유닛(1104)에 의한 실행을 위해 데이터 처리 시스템(1100) 상으로 로딩되거나 데이터 처리 시스템(1100)에 전송될 수 있다. 프로그램 코드(1118) 및 컴퓨터 판독가능 매체(1120)는 이러한 예시적인 예들에서 컴퓨터 프로그램 제품(1122)을 형성한다. 이러한 예시적인 예에서, 컴퓨터 판독가능 매체(1120)는 컴퓨터 판독가능 저장 매체(1124)이다.

이러한 예시적인 예들에서, 컴퓨터 판독가능 저장 매체(1124)는 프로그램 코드(1118)를 전파하거나 전송하는 매체라기 보다는 프로그램 코드(1118)를 저장하기 위해 이용되는 물리적인 또는 유형의(tangible) 저장 장치이다.

이와 달리, 프로그램 코드(1118)는 컴퓨터 판독가능 신호 매체를 이용해서 데이터 처리 시스템(1100)에 전송될 수 있다. 컴퓨터 판독가능 신호 매체는, 예를 들어, 프로그램 코드(1118)를 담고 있는 전파되는(propagated) 데이터 신호일 수 있다. 예를 들어, 컴퓨터 판독가능 신호 매체는 전자기 신호, 광학적 신호, 또는 임의의 다른 적절한 타입의 신호 중의 적어도 하나일 수 있다. 이러한 신호들은 무선 연결들, 광섬유 케이블, 동축 케이블, 전선, 또는 임의의 다른 적절한 타입의 연결과 같은 연결들을 통해서 전송될 수 있다.

데이터 처리 시스템(1100)을 위해 도시된 상이한 구성요소들은 상이한 실시예들이 구현될 수 있는 방식에 대한 구조적 제한을 제공하는 것으로 의도된 것이 아니다. 몇몇 예시적인 예들에서, 구성요소들 중의 하나 이상은 다른 구성요소 내에 통합되거나 이와 달리 다른 구성요소의 일부를 형성할 수 있다. 예를 들어, 1106, 또는 그 일부들은 몇몇 예시적인 예들에서 프로세서 유닛(1104)에 통합될 수 있다. 상이한 예시적인 실시예들은 데이터 처리 시스템(1100)을 위해 도시된 것들에 추가하여 또는 대신하여 구성요소들을 포함하는 데이터 처리 시스템에서 구현될 수 있다. 도 11에서 도시된 다른 구성요소들은 도시된 예시적인 예들로부터 달라질 수 있다. 상이한 실시예들은 프로그램 코드(1118)를 실행할 수 있는 임의의 하드웨어 장치 또는 시스템을 이용해서 구현될 수 있다.

도 12를 참조하면, 휴대용 컴퓨팅 장치의 블록도의 도면이 예시적인 실시예에 따라서 도시된다. 휴대용 컴퓨팅 장치(1200)는 스마트 안경(120), 스마트 안경(122), 휴대용 컴퓨팅 장치(214), 스마트 안경(406), 및 스마트 안경(408)이 구현될 수 있는 하나의 방식의 예이다. 이러한 예시적인 예에서, 휴대용 컴퓨팅 장치(1200)는 프로세서 유닛(1202), 통신 프레임워크(1204), 메모리(1206), 데이터 저장소(1208), 통신 유닛(1210), 디스플레이(1212), 및 센서 시스템(1214)과 같은 물리적 하드웨어 구성요소들을 포함한다.

통신 프레임워크(1204)는 휴대용 컴퓨팅 장치(1200) 내의 상이한 구성요소들이 통신 프레임워크(1204)에 연결될 때 서로 통신할 수 있게 한다. 이러한 예시적인 예에서, 통신 프레임워크(1204)는 버스 시스템이다.

프로세서 유닛(1202)은 메모리(1206)에 로딩되는 소프트웨어를 위한 프로그램 코드를 처리한다. 프로세서 유닛(1202)은 하나 이상의 프로세서들을 포함한다. 예를 들어, 프로세서 유닛(1202)은 멀티코어 프로세서, CPU(central processing unit), GPU(graphics processing unit), PPU(physics processing unit), DSP(digital signal processor), 네트워크 프로세서, 또는 몇몇 다른 적절한 타입의 프로세서 중의 적어도 하나로부터 선택될 수 있다.

메모리(1206)는 통신 프레임워크(1204)를 통해 프로세서 유닛(1202)에 연결된다. 도시된 바와 같이, 메모리(1206)는 RAM(random-access memory), ROM(read-only memory), SRAM(static random-access memory), DRAM(dynamic random-access memory), 또는 다른 적절한 타입의 메모리 장치들 또는 회로들 중의 적어도 하나를 포함할 수 있다.

도시된 바와 같이, 데이터 저장소(1208)는 통신 프레임워크(1204)에 연결되고, 데이터, 프로그램 코드, 또는 다른 정보를 저장할 수 있다. 프로그램 코드 내의 명령들은 프로세서 유닛(1202)에 의해 처리하기 위해 데이터 저장소(1208)로부터 메모리(1206)에 로딩될 수 있다. 예를 들어, 프로그램 코드 내의 명령들은 물체의 라이브 뷰 상에 작업 정보를 디스플레이하기 위해 동시적 위치찾기 및 맵작성(SLAM) 프로세스(1203)와 증강 현실 애플리케이션(1205)을 포함할 수 있다.

데이터 저장소(1208)는 하드 디스크 드라이브, 플래시 드라이브, 솔리드-스테이트 디스크 드라이브(solid-state disk drive), 광학 드라이브(optical drive), 또는 몇몇 다른 적절한 타입의 데이터 저장 장치 또는 시스템 중의 적어도 하나를 포함할 수 있다. 데이터 저장소(1208)는 물체의 라이브 뷰와 중첩하는 작업 정보의 증강 현실 디스플레이에서 사용하기 위해 스캔 데이터, 물체의 맵, 물체의 모델, 또는 다른 적절한 정보를 저장할 수 있다.

이러한 예시적인 예에서, 통신 유닛(1210)은 다른 데이터 처리 시스템들 또는 장치들과의 통신을 제공한다. 이러한 예시적인 예들에서, 통신 유닛(1110)은 네트워크 인터페이스 카드, 무선 통신 장치, 범용 시리얼 버스 포트(universal serial bus port), 또는 다른 적절한 장치 중의 적어도 하나를 포함한다.

디스플레이(1212)는 통신 프레임워크(1204)에 연결되고, 사용자에게 정보를 디스플레이하기 위한 메커니즘을 제공한다. 이러한 예에서, 디스플레이(1212)는 터치 스크린 디스플레이일 수 있고, 이것은 이러한 디스플레이를 통해서 사용자 입력을 수신하는 것을 가능하게 한다.

이러한 예시적인 예에서, 센서 시스템(1214)은 통신 프레임워크(1204)에 연결된다. 도시된 바와 같이, 센서 시스템(1214)는 하드웨어, 소프트웨어, 또는 양쪽 모두를 포함할 수 있다. 이러한 예시적인 예에서, 센서 시스템(1214)은 레이저 스캐너, 구조광 3차원 스캐너, 카메라, 또는 적외선 광 스캐너 중의 적어도 하나를 포함할 수 있다.

휴대용 컴퓨팅 장치(1200)의 도면은 휴대용 컴퓨팅 장치(1200)가 구현될 수 있는 하나의 방식의 예이다. 이 도면은 휴대용 컴퓨팅 장치(1200)가 다른 예시적인 예들에서 구체화될 수 있는 방식에 제한을 가하도록 의도되지 않는다. 예를 들어, 휴대용 컴퓨팅 장치(1200)는 또한 오디오 출력 장치가 소리를 생성하는 오디오 인터페이스를 포함할 수 있다.

본 공개의 예시적인 실시예들이 도 13에서 도시된 것과 같은 항공기 제조 및 서비스 방법(1300) 및 도 14에서 도시된 것과 같은 항공기(1400)의 맥락에서 설명될 수 있다. 우선 도 13을 참조하면, 항공기 제조 및 서비스 방법의 도면이 예시적인 실시예에 따라서 도시된다. 생산 전(pre-production) 동안, 항공기 제조 및 서비스 방법(1300)은 도 14의 항공기(1400)의 사양 및 설계(1302)와 자재 조달(1304)을 포함할 수 있다.

생산(production) 동안, 도 14의 항공기(1400)의 구성요소 및 서브어셈블리 제조(1306)와 시스템 통합(1308)이 일어난다. 그 후에, 도 14의 항공기(1400)는 인증 및 인도(certification and delivery)(110)를 거쳐서 서비스 중(1312)에 놓일 수 있다. 고객에 의해 서비스 중(1312)에 있는 동안, 도 14의 항공기(1400)는 일상적인 유지보수 및 점검(1314)을 위한 스케줄이 잡히는데, 이것은 변형(modification), 재구성(reconfiguration), 재단장(refurbishment), 및 다른 유지보수 또는 점검을 포함할 수 있다.

항공기 제조 및 서비스 방법(1300)의 프로세스들의 각각은 시스템 통합자, 써드 파티(third party), 오퍼레이터, 또는 이들의 몇몇 조합에 의해 실행되거나 수행될 수 있다. 이러한 예들에서, 오퍼레이터는 고객일 수 있다. 이 설명의 목적을 위해서, 시스템 통합자는 제한 없이 임의의 다수의 항공기 제조자들 및 메이저-시스템(major-system) 하청업자들을 포함할 수 있고; 써드 파티는 제한 없이 임의의 다수의 판매자(vendor)들, 하청업자(subcontractor)들, 및 공급자(supplier)들을 포함할 수 있고; 오퍼레이터는 항공사(airline), 리스회사(leasing company), 군사 단체(military entity), 서비스 기구 등일 수 있다.

이제 도 14를 참조하면, 예시적인 실시예가 구현될 수 있는 항공기의 도면이 도시된다. 이러한 예에서, 항공기(1400)는 도 13의 항공기 제조 및 서비스 방법(1300)에 의해 생산되고, 복수의 시스템(1404)을 가진 기체(airframe)(1402) 및 인테리어(interior)(1406)를 포함할 수 있다. 시스템(1404)의 예들은 추진 시스템(1408), 전기 시스템(1410), 유압 시스템(1412), 및 환경 시스템(1414) 중 하나 이상을 포함한다. 임의의 다수의 다른 시스템들이 포함될 수 있다. 우주항공 예가 도시되었지만, 상이한 예시적인 실시예들이 자동차 산업과 같은 다른 산업에 적용될 수 있다.

본 명세서에서 구체화된 장치들 및 방법들은 도 13의 항공기 제조 및 서비스 방법(1300)의 단계들 중의 적어도 하나 동안 채용될 수 있다.

하나의 예시적인 예에서, 도 13의 구성요소 및 서브어셈블리 제조(1306)에서 생산된 구성요소들 또는 서브어셈블리들은 항공기(1400)가 도 13의 서비스 중(1312)인 동안 생산된 구성요소들 또는 서브어셈블리들과 유사한 방식으로 제작되거나 제조될 수 있다. 또 다른 예로서, 하나 이상의 장치 실시예들, 방법 실시예들, 또는 이들의 조합은 도 13의 구성요소 및 서브어셈블리 제조(1306) 및 시스템 통합(1308)과 같은 생산 단계들 동안 이용될 수 있다. 하나 이상의 장치 실시예들, 방법 실시예들, 또는 이들의 조합은 항공기(1400)가 도 13의 서비스 중(1312)인 동안, 유지보수 및 점검(1314) 동안, 또는 양쪽 모두에서 이용될 수 있다.

예를 들어, 증강 현실 시스템(210)은 작업 위치들의 시각화를 제공하기 위해 이용될 수 있다. 이러한 시각화들은 작업 위치들에서 수행될 작업 정보를 디스플레이하는 것을 포함할 수 있다. 증강 현실 시스템(210)은 구성요소 및 서브어셈블리 제조(1306), 시스템 통합(1308), 인증 및 인도(1310), 또는 유지보수 및 점검(1314) 중의 적어도 하나 동안 인간 조작자들에 의해 이용될 수 있다.

다수의 상이한 예시적인 실시예들의 이용은 항공기(1400)의 조립을 실질적으로 가속화할 수 있거나, 항공기(1400)의 비용을 실질적으로 절감시킬 수 있거나, 항공기(1400)의 조립을 실질적으로 가속화하고 항공기(1400)의 비용을 실질적으로 절감시킬 수 있다. 예를 들어, 증강 현실 시스템(210)의 이용은 구성요소 및 서브어셈블리 제조(1306), 시스템 통합(1308), 또는 유지보수 및 점검(1314)과 같은 다양한 단계들 동안 인간 조작자들에 의해 오퍼레이션들이 수행됨에 있어서 정확도를 증가시킬 수 있다.

이제 도 15를 참조하면, 제품 관리 시스템의 블록도의 도면이 예시적인 실시예에 따라서 도시된다. 제품 관리 시스템(1500)은 물리적 하드웨어 시스템이다. 이러한 예시적인 예에서, 제품 관리 시스템(1500)은 제조 시스템(1502) 또는 유지보수 시스템(1504) 중의 적어도 하나를 포함할 수 있다.

제조 시스템(1502)은 도 14의 항공기(1400)와 같은 제품들을 제조하도록 구성된다. 도시된 바와 같이, 제조 시스템(1502)은 제조 장비(1506)를 포함한다. 제조 장비(1506)는 제작 장비(1508) 또는 조립 장비(1510) 중의 적어도 하나를 포함한다.

제작 장비(1508)는 도 14의 항공기(1400)를 형성하기 위해 이용되는 부품들을 위한 구성요소들을 제작하기 위해 이용될 수 있는 장비이다. 예를 들어, 제작 장비(1508)는 기계들 및 툴들을 포함할 수 있다. 이러한 기계들 및 툴들은 드릴(drill), 유압 프레스(hydraulic press), 용광로(furnace), 몰드(mold), 복합재 테이프 적층 기계, 진공 시스템, 선반(lathe), 또는 다른 적절한 타입의 장비 중의 적어도 하나일 수 있다. 제작 장비(1508)는 금속 부품들, 복합재 부품들, 반도체들, 회로들, 패스너들, 립(rib)들, 스킨 패널(skin panel)들, 스파(spar)들, 안테나들, 또는 다른 적절한 타입의 부품들 중의 적어도 하나를 제작하기 위해 이용될 수 있다.

조립 장비(1510)는 도 14의 항공기(1400)를 형성하기 위하여 부품들을 조립하는 데에 이용되는 장비이다. 특히, 조립 장비(1510)는 도 14의 항공기(1400)를 형성하기 위하여 구성요소들 및 부품들을 조립하는 데에 이용될 수 있다. 조립 장비(1510)는 또한 기계들 및 툴들을 포함할 수 있다. 이러한 기계들 및 툴들은 로봇 암(robotic arm), 크롤러(crawler), 패스터 설치(faster installation) 시스템, 레일 기반 드릴링(rail-based drilling) 시스템, 또는 로봇 중의 적어도 하나일 수 있다. 조립 장비(1510)는 도 14의 항공기(1400)를 위한 좌석(seat)들, 수평 안정판(horizontal stabilizer)들, 날개들, 엔진들, 엔진 하우징들, 착륙 기어(landing gear) 시스템들, 및 다른 부품들과 같은 부품들을 조립하기 위해 이용될 수 있다.

이러한 예시적인 예에서, 유지보수 시스템(1504)은 유지보수 장비(1512)를 포함한다. 유지보수 장비(1512)는 도 14의 항공기(1400) 상에서 유지보수를 수행하기 위해 필요한 임의의 장비를 포함할 수 있다. 유지보수 장비(1512)는 도 14의 항공기(1400) 상의 부품들에서 상이한 오퍼레이션들을 수행하기 위한 툴들을 포함할 수 있다. 이러한 오퍼레이션들은 도 14의 항공기(1400)에서 유지보수를 수행하기 위하여 부품들을 분해하는 것, 부품들을 재단장하는 것, 부품들을 검사하는 것, 부품들을 재작업하는 것, 교체 부품들을 제조하는 것, 또는 다른 오퍼레이션들 중의 적어도 하나를 포함할 수 있다. 이러한 오퍼레이션들은 일상적인 유지보수, 검사들, 업그레이드들, 재단장, 또는 다른 타입의 유지보수 오퍼레이션들을 위한 것일 수 있다.

예시적인 예에서, 유지보수 장비(1512)는 초음파 검사 장치들, 엑스레이 이미징(x-ray imaging) 시스템들, 비전(vision) 시스템들, 드릴(drill)들, 크롤러(crawler)들, 및 다른 적절한 장치들을 포함할 수 있다. 몇몇 경우들에 있어서, 유지보수 장비(1512)는 유지보수를 위해 필요할 수 있는 부품들을 생산 및 조립하기 위하여 제작 장비(1508), 조립 장비(1510), 또는 양쪽 모두를 포함할 수 있다.

제품 관리 시스템(1500)은 또한 제어 시스템(1514)을 포함한다. 제어 시스템(1514)은 하드웨어 시스템이고, 또한 소프트웨어 또는 다른 타입의 구성요소들을 포함할 수 있다. 제어 시스템(1514)은 제조 시스템(1502) 또는 유지보수 시스템(1504) 중의 적어도 하나의 오퍼레이션을 제어하도록 구성된다. 특히, 제어 시스템(1514)은 제작 장비(1508), 조립 장비(1510), 또는 유지보수 장비(1512) 중의 적어도 하나의 오퍼레이션을 제어할 수 있다.

제어 시스템(1514) 내의 하드웨어는 컴퓨터들, 회로들, 네트워크들, 및 다른 타입의 장비를 포함할 수 있는 하드웨어를 이용해서 구현될 수 있다. 제어는 제조 장비(1506)의 직접 제어(direct control)의 형태를 취할 수 있다. 예를 들어, 로봇들, 컴퓨터로 제어되는(computer-controlled) 기계들, 및 다른 장비는 제어 시스템(1514)에 의해 제어될 수 있다. 다른 예시적인 예들에서, 제어 시스템(1514)은 항공기(1400)를 제조하거나 항공기(1400) 상에서 유지보수를 수행하는 인간 조작자들(1516)에 의해 수행되는 오퍼레이션들을 관리할 수 있다. 예를 들어, 제어 시스템(1514)은 인간 조작자들(1516)에 의해 수행되는 오퍼레이션들을 관리하기 위하여 작업들을 할당하거나, 명령들을 제공하거나, 모델들을 디스플레이하거나, 다른 오퍼레이션들을 수행할 수 있다.

이러한 예시적인 예들에서, 도 2 및 도 3의 증강 현실 시스템(210)은 도 14의 항공기(1400)의 제조 또는 유지보수 중의 적어도 하나를 관리하기 위하여 제어 시스템(1514)과 함께 이용하도록 구현될 수 있다. 예를 들어, 증강 현실 시스템(210)은 물체 상에서 오퍼레이션들을 수행하기 위한 명령들 및 안내(guidance)를 인간 조작자들(1516)에게 제공하도록 작동할 수 있다. 이러한 오퍼레이션들은 물체를 제조하기 위한 오퍼레이션들 또는 물체의 유지보수를 위한 오퍼레이션을 포함할 수 있다. 예를 들어, 제어 시스템(1514)은 인간 조작자들(1516) 중의 한 명 이상에게 툴 상에서의 복합재 플라이들을 적층하는 것과 같은 작업들을 할당할 수 있다. 제어 시스템(1514)은 인간 조작자들(1516)이 착용하거나 지닌 증강 현실 시스템(210) 내의 휴대용 컴퓨팅 장치들(214)에게 라이브 뷰들을 증강시키기 위한 작업 정보를 보낼 수 있다.

상이한 예시적인 예들에서, 인간 조작자들(1516)은 제조 장비(1506), 유지보수 장비(1512), 또는 제어 시스템(1514) 중의 적어도 하나를 운용하거나 이와 상호작용을 할 수 있다. 이러한 상호작용은 도 14의 항공기(1400)를 제조하기 위해 수행될 수 있다.

물론, 제품 관리 시스템(1500)은 도 14의 항공기(1400)가 아닌 다른 제품들을 관리하도록 구성될 수 있다. 제품 관리 시스템(1500)은 우주항공 산업에서의 제조와 관련하여 기술되었지만, 제품 관리 시스템(1500)은 다른 산업들을 위한 제품들을 관리하도록 구성될 수 있다. 예를 들어, 제품 관리 시스템(1500)은 자동차 산업뿐만 아니라 임의의 다른 적절한 산업들을 위한 제품들을 제조하도록 구성될 수 있다.

그래서, 예시적인 실시예들은 작업 위치들을 시각화하기 위한 방법, 장치, 및 시스템을 제공한다. 작업 위치들의 시각화는 작업 위치들을 식별하는 것 외에도 작업 위치들에서 오퍼레이션들을 수행하기 위해 이용되는 정보를 디스플레이하는 것을 포함한다. 하나의 예시적인 예에서, 툴 상에 플라이를 배치하기 위한 가이드를 제공하는 것과 함께 기술적인 문제를 극복하는 하나 이상의 기술적인 해결책들이 존재한다. 예시적인 예들에서, 하나 이상의 기술적인 해결책들은 오버헤드 레이저 추적기 대신에 휴대용 컴퓨팅 장치들을 이용하여 작업 위치들의 시각화들을 제공한다.

예시적인 예들에서, 하나 이상의 기술적인 해결책들은 작업 위치들의 시각화들의 정확도를 증가시키기 위하여 상이한 뷰포인트들에서 복수의 휴대용 컴퓨팅 장치들로부터의 툴의 스캔들을 이용한다. 그래서, 예시적인 예들에서의 하나 이상의 기술적인 해결책들은 툴과 같은 물체의 통합된 맵을 형성하기 위하여 휴대용 컴퓨팅 장치들로부터 수신된 스캔 데이터를 통합하는 것을 포함해서, 툴의 일부에 대한 스캔 데이터를 누락하고 있는 하나의 휴대용 컴퓨팅 장치로부터의 스캔 데이터는 다른 휴대용 컴퓨팅 장치로부터의 툴의 일부를 포함하는 스캔 데이터를 가지고 보충될 수 있다.

상이한 예시적인 실시예들의 설명이 실례 및 설명의 목적으로 제시되었고, 본 명세서에서 공개된 형태로 실시예들을 한정열거하거나 제한하도록 의도되지 않는다. 상이한 예시적인 예들은 액션(action)들 또는 오퍼레이션들을 수행하는 구성요소들을 기술한다. 예시적인 실시예에서, 구성요소는 설명된 액션 또는 오퍼레이션을 수행하도록 구성될 수 있다. 예를 들어, 구성요소는 구성요소에 의해 수행되는 것으로서 예시적인 예들에서 기술된 액션 또는 오퍼레이션을 수행할 능력을 구성요소에 제공하는 구조물에 대한 구성 또는 설계를 가질 수 있다.

게다가, 본 공개는 다음의 항목들에 따른 실시예들을 포함한다:

항목 1. 툴(tool)(306) 상의 적층 위치(layup location)(304)에 대한 작업 정보(task information)(302)를 시각화하기 위한 방법으로서, 상기 방법은:

툴(306)에 대한 상이한 뷰포인트들(viewpoint)(312)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)을 이용하여 툴(306)을 스캔해서 스캔 데이터(314)를 생성하는 단계;

휴대용 컴퓨팅 장치들(214)에 의하여 생성된 스캔 데이터(314)로부터 포인트 클라우드(point cloud)들(318)을, 컴퓨터 시스템(218)에 의해, 생성하는 단계;

포인트 클라우드들(318)을 이용하여 툴(306)의 통합된 맵(combined map)(316)을, 컴퓨터 시스템(218)에 의해, 생성하는 단계;

툴(306)의 통합된 맵(316)을 이용하여 툴(306)에 대해 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 단계; 및

복합재 플라이(ply)들(308)의 플라이 모델(324) 및 툴(306)의 통합된 맵(316)을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 라이브 뷰(326) 상에 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를, 휴대용 컴퓨팅 장치(238)에 의해, 디스플레이하는 단계;

를 포함하고,

디스플레이된 작업 정보(302)는 툴(306)의 라이브 뷰(326)를 증강시키는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 2. 항목 1에 있어서,

툴(306) 상의 적층 위치(304)의 라이브 뷰(326) 상에 디스플레이된 작업 정보(302)에 가이드(guide)를 이용하여 복합재 플라이를 배치하는 것을 더 포함하고,

상기 가이드는 툴(306) 상에서 다수의 복합재 플라이들(308)의 배치를 돕는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 3. 상기 항목들 어느 하나의 항목에 있어서,

툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 디스플레이하는 것은:

복합재 플라이들(308)의 플라이 모델(324)에서 적층 위치(304)를 식별하는 것;

플라이 모델(324) 및 통합된 맵(316)을 이용하여 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)에 대한 라이브 뷰(326) 상의 적층 위치(304)를 결정하는 것; 및

위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상의 적층 위치(304)에 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)을, 휴대용 컴퓨팅 장치(238)에 의해, 디스플레이하는 것;

을 포함하고,

다수의 가이드들(330)은 툴(306) 상에서 다수의 복합재 플라이들(308)의 배치를 돕는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 4. 항목 3에 있어서,

위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상의 적층 위치(304)에 다수의 복합재 플라이들(308)을 위한 다수의 추가적인 가이드들을, 휴대용 컴퓨팅 장치(238)에 의해, 디스플레이하는 것을 더 포함하고,

상기 다수의 추가적인 가이드들은 툴(306) 상의 다수의 복합재 플라이들(308)을 위한 다수의 이전 배치(prior placement)들을 보여주는(illustrate) 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 5. 항목 3에 있어서,

다수의 복합재 플라이들(308)을 배치하기 위한 플라이 수, 명령, 이미지, 또는 비디오 중의 적어도 하나를 디스플레이하는 것;을 더 포함하는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 6. 상기 항목들 중 어느 하나의 항목에 있어서,

포인트 클라우드들(318)로부터 툴(306)의 통합된 맵(316)을 생성하는 것은:

포인트 클라우드들(318) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(320)을 형성하는 것; 및

복수의 맵들(320)을 통합해서 툴(306)의 통합된 맵(316)을 형성하는 것;

을 포함하는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 7. 항목 6에 있어서,

복수의 맵들(320)을 통합해서 통합된 맵(316)을 형성하는 것은:

복수의 맵들(320)에서 공통의 기준 포인트(common reference point)들을 식별하는 것; 및

상기 공통의 기준 포인트들을 이용해서 복수의 맵들(320)을 통합하는 것;

을 포함하고,

통합된 맵(316)은 상이한 뷰포인트들(312)로부터 생성된 스캔 데이터(314)로부터 생성된 복수의 맵들(320)로부터 증가된 정확도를 가지는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 8. 항목 1에 있어서,

상기 모델을 이용하여 툴(306)에 대해 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 것은:

통합된 맵(316)과 동시적 위치찾기 및 맵작성 프로세스(240)를 이용하여 툴(306)에 대해 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 것;

항목 9. 상기 항목들 어느 하나의 항목에 있어서,

적층 위치(304)에 대한 작업 정보(302)는 복합재 부품(310)을 제작하는 것 또는 복합재 부품(310)을 재작업하는 것 중의 적어도 하나를 위해 복합재 플라이를 적층하기 위한 가이드인 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 10. 상기 항목들 어느 하나의 항목에 있어서,

툴(306)은 맨드릴, 몰드, 복합재 툴(306)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 11. 상기 항목들 어느 하나의 항목에 있어서,

휴대용 컴퓨팅 장치들(214)은 스마트 안경(120,122, 406, 408), 모바일 폰(118), 태블릿 컴퓨터(116), 또는 헤드 마운티드 디스플레이(head mounted display) 중의 적어도 하나로부터 선택되는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 12. 상기 항목들 어느 하나의 항목에 있어서,

휴대용 컴퓨팅 장치들(214)은 레이저 스캐너, 구조광(structured light) 3차원 스캐너, 또는 적외선 광(infrared light) 스캐너 중의 적어도 하나를 이용하여 툴(306)을 스캔하는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.

항목 13. 작업 위치(244)의 라이브 뷰(212)를 증강시키기 위한 방법으로서, 상기 방법은:

물체(206)에 대해 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 단계; 및

물체(206)의 통합된 맵(234) 및 물체(206)의 모델을 이용하여 작업을 수행하기 위해 물체(206)의 라이브 뷰(212) 상에 작업 위치(244)의 시각화(242)를 디스플레이하는 단계;

를 포함하고,

통합된 맵(234)은 물체(206)에 대한 상이한 뷰포인트들(230)에서 휴대용 컴퓨팅 장치들(214)에 의한 물체(206)의 스캔(scan)들로부터 생성되는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 14. 항목 13에 있어서,

휴대용 컴퓨팅 장치(238)를 포함하는 휴대용 컴퓨팅 장치들(214)로부터 스캔 데이터(228)를 수신하는 것을 더 포함하고,

스캔 데이터(228)는 물체(206)에 대한 상이한 뷰포인트들(230)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)을 가지고 물체(206)를 스캔함으로써 생성되는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 15. 항목 14에 있어서,

스캔 데이터(228)는 실시간으로 수신되는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 16. 항목 14에 있어서,

휴대용 컴퓨팅 장치들(214)에 의해 생성된 스캔 데이터(228)로부터 포인트 클라우드들(232)을, 컴퓨터 시스템(218)에 의해, 생성하는 것; 및

포인트 클라우드들(232)을 이용하여 물체(206)의 통합된 맵(234)을, 컴퓨터 시스템(218)에 의해, 생성하는 것;

을 더 포함하는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 17. 항목 16에 있어서,

포인트 클라우드들(232)을 이용하여 물체(206)의 통합된 맵(234)을, 컴퓨터 시스템(218)에 의해, 생성하는 것은:

포인트 클라우드들(232) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(236)을 형성하는 것; 및

복수의 맵들(236)을 통합해서 통합된 맵(234)을 형성하는 것;

을 포함하는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 18. 항목 13 내지 17 중 어느 하나의 항목에 있어서,

작업 위치(244)는 복합재 플라이, 물체(206)가 어셈블리인 경우의 어셈블리에서의 부품, 플라크(plaque), 또는 아플리케(applique) 중의 적어도 하나를 위한 것임을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 19. 항목 13 내지 18 중 어느 하나의 항목에 있어서,

작업은 복합재 플라이를 배치하는 것(placing), 플라그(plague)를 적용하는 것(applying), 아플리케를 적용하는 것, 작업 위치(244)의 검사를 수행하는 것, 홀을 드릴링하는 것(drilling), 패스너(fastener)를 설치하는 것, 부품을 어셈블리에 연결하는 것, 또는 부품을 제거하는 것 중의 적어도 하나로부터 선택되는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 20. 항목 13 내지 19 중 어느 하나의 항목에 있어서,

물체(206)는 툴(306), 벽, 워크피스(workpiece), 날개, 동체 부분, 엔진, 빌딩, 항공기, 및 비히클을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 작업 위치의 라이브 뷰를 증강시키기 위한 방법.

항목 21. 툴(306) 상의 적층 위치(304)를 시각화하기 위한 증강 현실 시스템으로서, 상기 증강 현실 시스템은 컴퓨터 시스템(218)을 포함하고, 컴퓨터 시스템(218)은:

툴(306)에 대한 상이한 뷰포인트들(312)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)로부터 스캔 데이터(314)를 수신해서 스캔 데이터(314)를 생성하고;

휴대용 컴퓨팅 장치들(214)에 의해 생성된 스캔 데이터(314)를 이용하여 툴(306)의 복수의 맵들(320)을 생성하고;

복수의 맵들(320)을 통합해서 툴(306)의 통합된 맵(316)을 형성하고;

플라이 모델(324)에서 적층 위치(304)를 위한 작업 정보(302)를 식별하고;

툴(306) 상의 적층 위치(304)의 작업 정보(302)를 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)에 보내도록;

동작하고,

휴대용 컴퓨팅 장치(238)는 복합재 플라이들(308)의 플라이 모델(324) 및 툴(306)의 통합된 맵(316)을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 라이브 뷰(326) 상에 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 디스플레이하는 것을 특징으로 하는 증강 현실 시스템.

항목 22. 청구항 21에서 있어서,

상기 증강 현실 시스템은 휴대용 컴퓨팅 장치(238)를 더 포함하고, 상기 휴대용 컴퓨팅 장치(238)는:

복합재 플라이들(308)의 플라이 모델(324)에서 적층 위치(304)를 식별하고;

통합된 맵(316) 및 플라이 모델(324)을 이용하여 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)에 대한 라이브 뷰(326) 상의 위치를 결정하고;

위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상의 상기 위치에 다수의 복합재 플라이들을 위한 다수의 가이드들(330)을 디스플레이하고,

다수의 가이드들(330)은 툴(306) 상의 다수의 복합재 플라이들(308)의 배치를 위한 가이드인 것을 특징으로 하는 증강 현실 시스템.

항목 23. 항목 22에 있어서,

휴대용 컴퓨팅 장치(238)는 다수의 복합재 플라이들(308)을 배치하기 위한 플라이 수, 명령, 이미지, 또는 비디오 중의 적어도 하나를 디스플레이하는 것을 특징으로 하는 증강 현실 시스템.

항목 24. 항목 21 내지 23 중 어느 하나의 항목에 있어서,

스캔 데이터(314)는 포인트 클라우드들(318)을 포함하고,

통합된 맵(316)을 생성함에 있어서, 컴퓨터 시스템(218)은:

포인트 클라우드들(318) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(320)을 형성하고;

복수의 맵들(320)을 통합해서 통합된 맵(316)을 형성하도록;

동작하는 것을 특징으로 하는 증강 현실 시스템.

항목 25. 항목 21 내지 24 중 어느 하나의 항목에 있어서,

복수의 맵들(320)을 통합해서 통합된 맵(316)을 형성함에 있어서, 컴퓨터 시스템(218)은:

복수의 맵들(320) 내의 공통의 기준 포인트들을 식별하고;

공통의 기준 포인트들을 이용하여 복수의 맵들(320)을 결합하도록;

동작하고,

통합된 맵(316)은 상이한 뷰포인트들(312)로부터 생성된 스캔 데이터(314)로부터 생성된 복수의 맵들(320)로부터 증가된 정확도를 가지는 것을 특징으로 하는 증강 현실 시스템.

항목 26. 항목 21 내지 25 중 어느 하나의 항목에 있어서,

휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)는 통합된 맵(316)과 동시적 위치찾기 및 맵작성 프로세스(240)를 이용하여 툴(306)에 대해 위치가 찾아지는 것을 특징으로 하는 증강 현실 시스템.

항목 27. 항목 21 내지 26 중 어느 하나의 항목에 있어서,

적층 위치(304)에 대한 작업 정보(302)는 툴(306) 상에서 복합재 부품(310)을 제작하는 것 또는 복합재 부품(310)을 재작업하는 것 중의 적어도 하나를 위해 복합재 플라이를 적층하기 위한 가이드인 것을 특징으로 하는 증강 현실 시스템.

항목 28. 항목 21 내지 27 중 어느 하나의 항목에 있어서,

툴(306)은 맨드릴, 몰드, 복합재 툴(306)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 증강 현실 시스템.

항목 29. 작업 위치(244)의 라이브 뷰(212)를 증강시키기 위한 증강 현실 시스템으로서, 상기 증강 현실 시스템은 휴대용 컴퓨팅 장치(238)를 포함하고,

휴대용 컴퓨팅 장치(238)는 물체에 대해 위치가 찾아지고, 물체의 통합된 맵(234) 및 물체의 모델을 이용하여 작업을 수행하기 위해 물체의 라이브 뷰(212) 상에 작업 위치(244)의 시각화(242)를 디스플레이하고,

통합된 맵(234)은 물체에 대한 상이한 뷰포인트들(230)에서 휴대용 컴퓨팅 장치들(214)에 의한 물체의 스캔들로부터 생성되는 것을 특징으로 하는 증강 현실 시스템.

항목 30. 항목 29에 있어서,

휴대용 컴퓨팅 장치(238)와 통신하는 컴퓨터 시스템(218)을 더 포함하고,

컴퓨터 시스템(218)은:

휴대용 컴퓨팅 장치(238)를 포함하는 휴대용 컴퓨팅 장치들(214)로부터 스캔 데이터(228)를 수신하고,

휴대용 컴퓨팅 장치들(214)에 의해 생성된 스캔 데이터(228)로부터 포인트 클라우드들(232)을 생성하고,

포인트 클라우드들(232)을 이용하여 물체의 통합된 맵(234)을 생성하도록;

하도록 동작하고,

스캔 데이터(228)는 물체에 대한 상이한 뷰포인트들(230)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)을 가지고 물체를 스캔함으로써 생성되는 것을 특징으로 하는 증강 현실 시스템.

항목 31. 항목 30에 있어서,

스캔 데이터(228)는 실시간으로 수신되는 것을 특징으로 하는 증강 현실 시스템.

항목 32. 항목 30에 있어서,

포인트 클라우드들(232)을 이용하여 물체의 통합된 맵(234)을 생성함에 있어서, 컴퓨터 시스템(218)은 포인트 클라우드들(232) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(236)을 형성하고, 복수의 맵들(236)을 통합해서 통합된 맵(234)을 형성하는 것을 특징으로 하는 증강 현실 시스템.

항목 33. 항목 29에 있어서,

작업 위치(244)는 복합재 플라이, 물체(206)가 어셈블리인 경우의 어셈블리에서의 부품, 플라크, 또는 아플리케 중의 적어도 하나를 위한 것임을 특징으로 하는 증강 현실 시스템.

항목 34. 항목 29 내지 33 중 어느 하나의 항목에 있어서,

작업은 복합재 플라이를 배치하는 것, 플라그를 적용하는 것, 아플리케를 적용하는 것, 작업 위치(244)의 검사를 수행하는 것, 홀을 드릴링하는 것, 패스너를 설치하는 것, 부품을 어셈블리에 연결하는 것, 또는 부품을 제거하는 것 중의 적어도 하나로부터 선택되는 것을 특징으로 하는 증강 현실 시스템.

항목 35. 항목 29 내지 34 중 어느 하나의 항목에 있어서,

물체(206)는 툴(306), 벽, 워크피스, 날개, 동체 부분, 엔진, 빌딩, 항공기, 및 비히클을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 증강 현실 시스템.

많은 변형들 및 변경들이 본 기술분야의 통상의 기술자에게 명백할 것이다. 게다가, 상이한 예시적인 실시예들은 다른 바람직한 실시예들에 비하여 상이한 특징들을 제공할 수 있다. 선택된 실시예 또는 실시예들은 실시예들의 원리, 실용적인 애플리케이션을 가장 잘 설명하기 위하여 선택되고 기술되며, 본 기술분야의 통상의 기술자가 고려된 특정 사용에 적합한 다양한 변형들을 가진 다양한 실시예들에 대해 본 공개를 이해할 수 있도록 하기 위하여 선택되고 기술된다.

Claims

툴(tool)(306) 상의 적층 위치(layup location)(304)에 대한 작업 정보(task information)(302)를 시각화하기 위한 방법으로서, 상기 방법은:
툴(306)에 대한 상이한 뷰포인트들(viewpoint)(312)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)을 이용하여 툴(306)을 스캔해서 스캔 데이터(314)를 생성하는 단계;
휴대용 컴퓨팅 장치들(214)에 의하여 생성된 스캔 데이터(314)로부터 포인트 클라우드(point cloud)들(318)을, 컴퓨터 시스템(218)에 의해, 생성하는 단계;
포인트 클라우드들(318)을 이용하여 툴(306)의 통합된 맵(combined map)(316)을, 컴퓨터 시스템(218)에 의해, 생성하는 단계로서,
포인트 클라우드들(318) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(320)을 형성하는 단계와,
복수의 맵들(320)을 통합해서 툴(306)의 통합된 맵(316)을 형성하는 단계를 포함하는, 단계;
툴(306)의 통합된 맵(316)을 이용하여 툴(306)에 대해 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 단계; 및
복합재 플라이(ply)들(308)의 플라이 모델(324) 및 툴(306)의 통합된 맵(316)을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 라이브 뷰(326) 상에 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를, 휴대용 컴퓨팅 장치(238)에 의해, 디스플레이하는 단계;
를 포함하고,
디스플레이된 작업 정보(302)는 툴(306)의 라이브 뷰(326)를 증강시키는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 1에 있어서,
툴(306) 상의 적층 위치(304)의 라이브 뷰(326) 상에 디스플레이된 작업 정보(302)에 가이드(guide)를 이용하여 복합재 플라이를 배치하는 것을 더 포함하고,
상기 가이드는 툴(306) 상에서 다수의 복합재 플라이들(308)의 배치를 돕는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 1 또는 2에 있어서,
툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 디스플레이하는 것은:
복합재 플라이들(308)의 플라이 모델(324)에서 적층 위치(304)를 식별하는 것;
플라이 모델(324) 및 통합된 맵(316)을 이용하여 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)에 대한 라이브 뷰(326) 상의 적층 위치(304)를 결정하는 것; 및
위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상의 적층 위치(304)에 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)을, 휴대용 컴퓨팅 장치(238)에 의해, 디스플레이하는 것;
을 포함하고,
다수의 가이드들(330)은 툴(306) 상에서 다수의 복합재 플라이들(308)의 배치를 돕는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 3에 있어서,
위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상의 적층 위치(304)에 다수의 복합재 플라이들(308)을 위한 다수의 추가적인 가이드들을, 휴대용 컴퓨팅 장치(238)에 의해, 디스플레이하는 것을 더 포함하고,
상기 다수의 추가적인 가이드들은 툴(306) 상의 다수의 복합재 플라이들(308)을 위한 다수의 이전 배치(prior placement)들을 보여주는(illustrate) 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 3에 있어서,
툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 디스플레이하는 것은:
다수의 복합재 플라이들(308)을 배치하기 위한 플라이 수, 명령, 이미지, 또는 비디오 중의 적어도 하나를 디스플레이하는 것;을 더 포함하는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
삭제
청구항 1에 있어서,
복수의 맵들(320)을 통합해서 통합된 맵(316)을 형성하는 것은:
복수의 맵들(320)에서 공통의 기준 포인트(common reference point)들을 식별하는 것; 및
상기 공통의 기준 포인트들을 이용해서 복수의 맵들(320)을 통합하는 것;
을 포함하고,
통합된 맵(316)은 상이한 뷰포인트들(312)로부터 생성된 스캔 데이터(314)로부터 생성된 복수의 맵들(320)로부터 증가된 정확도를 가지는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 1 또는 2에 있어서,
상기 모델을 이용하여 툴(306)에 대해 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 것은:
통합된 맵(316)과 동시적 위치찾기 및 맵작성 프로세스(240)를 이용하여 툴(306)에 대해 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)의 위치를 찾아내는 것;
을 포함하는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 1 또는 2에 있어서,
적층 위치(304)에 대한 작업 정보(302)는 복합재 부품(310)을 제작하는 것 또는 복합재 부품(310)을 재작업하는 것 중의 적어도 하나를 위해 복합재 플라이를 적층하기 위한 가이드이고,
툴(306)은 선택적으로(optionally) 맨드릴, 몰드, 복합재 툴(306)을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
청구항 1 또는 2에 있어서,
휴대용 컴퓨팅 장치들(214)은 스마트 안경(120,122, 406, 408), 모바일 폰(118), 태블릿 컴퓨터(116), 또는 헤드 마운티드 디스플레이(head mounted display) 중의 적어도 하나로부터 선택되고,
휴대용 컴퓨팅 장치들(214)은 선택적으로(optionally) 레이저 스캐너, 구조광(structured light) 3차원 스캐너, 또는 적외선 광(infrared light) 스캐너 중의 적어도 하나를 이용하여 툴(306)을 스캔하는 것을 특징으로 하는 툴 상의 적층 위치에 대한 작업 정보를 시각화하기 위한 방법.
툴(306) 상의 적층 위치(304)를 시각화하기 위한 증강 현실 시스템으로서, 상기 증강 현실 시스템은 컴퓨터 시스템(218)을 포함하고, 컴퓨터 시스템(218)은:
툴(306)에 대한 상이한 뷰포인트들(312)에서 인간 조작자들(204)에게 있는 휴대용 컴퓨팅 장치들(214)로부터 포인트 클라우드들(318)을 포함하는 스캔 데이터(314)를 수신해서 스캔 데이터(314)를 생성하고;
휴대용 컴퓨팅 장치들(214)에 의해 생성된 스캔 데이터(314)를 이용하여 툴(306)의 복수의 맵들(320)을 생성하고;
복수의 맵들(320)을 통합해서 툴(306)의 통합된 맵(316)을 형성하되, 통합된 맵(316)을 형성함에 있어서,
포인트 클라우드들(318) 내의 각각의 포인트 클라우드로부터 맵을 생성해서 복수의 맵들(320)을 형성하고,
복수의 맵들(320)을 통합해서 통합된 맵(316)을 형성하고;
플라이 모델(324)에서 적층 위치(304)에 대한 작업 정보(302)를 식별하고;
툴(306) 상의 적층 위치(304)의 작업 정보(302)를 휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)에 보내도록;
동작하고,
휴대용 컴퓨팅 장치(238)는 복합재 플라이들(308)의 플라이 모델(324) 및 툴(306)의 통합된 맵(316)을 이용하여 위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 라이브 뷰(326) 상에 툴(306) 상의 적층 위치(304)에 대한 작업 정보(302)를 디스플레이하는 것을 특징으로 하는 증강 현실 시스템.
청구항 11에 있어서,
상기 증강 현실 시스템은 휴대용 컴퓨팅 장치(238)를 더 포함하고, 상기 휴대용 컴퓨팅 장치(238)는:
복합재 플라이들(308)의 플라이 모델(324)에서 적층 위치(304)를 식별하고;
통합된 맵(316) 및 플라이 모델(324)을 이용하여 다수의 복합재 플라이들(308)을 위한 다수의 가이드들(330)에 대한 라이브 뷰(326) 상의 위치를 결정하고;
위치가 찾아진 휴대용 컴퓨팅 장치(238)에서의 디스플레이 장치(328)를 통해 보이는 툴(306)의 라이브 뷰(326) 상의 상기 위치에 다수의 복합재 플라이들을 위한 다수의 가이드들(330)을 디스플레이하고,
다수의 가이드들(330)은 툴(306) 상의 다수의 복합재 플라이들(308)의 배치를 위한 가이드이고,
휴대용 컴퓨팅 장치(238)는 선택적으로(optionally) 다수의 복합재 플라이들(308)을 배치하기 위한 플라이 수, 명령, 이미지, 또는 비디오 중의 적어도 하나를 디스플레이하는 것을 특징으로 하는 증강 현실 시스템.
삭제
청구항 11 또는 12에 있어서,
복수의 맵들(320)을 통합해서 통합된 맵(316)을 형성함에 있어서, 컴퓨터 시스템(218)은:
복수의 맵들(320) 내의 공통의 기준 포인트들을 식별하고;
공통의 기준 포인트들을 이용하여 복수의 맵들(320)을 통합하도록;
동작하고,
통합된 맵(316)은 상이한 뷰포인트들(312)로부터 생성된 스캔 데이터(314)로부터 생성된 복수의 맵들(320)로부터 증가된 정확도를 가지는 것을 특징으로 하는 증강 현실 시스템.
청구항 11 또는 12에 있어서,
휴대용 컴퓨팅 장치들(214)에서의 휴대용 컴퓨팅 장치(238)는 통합된 맵(316)과 동시적 위치찾기 및 맵작성 프로세스(240)를 이용하여 툴(306)에 대해 위치가 찾아지는 것을 특징으로 하는 증강 현실 시스템.