KR20200042391A - 물체에 대한 결함 데이터를 시각화하기 위한 증강 현실 시스템 - Google Patents

Abstract

물리적 물체에 대한 결함 데이터를 시각화하기 위한 방법, 장치 및 시스템. 휴대용 컴퓨팅 장치 내 증강 현실 애플리케이션은 정의된 좌표 큐브에서 물리적 물체 상 결함 장소들에 대응하는 지점들을 플롯팅한다. 증강 현실 애플리케이션은 플롯팅된 지점들 중 휴대용 컴퓨팅 장치의 위치에서 휴대용 컴퓨팅 장치에 의해 얻어지는 물리적 물체의 영역의 영상에서 가시적인 물리적 물체의 영역에 대응하는 부분집합을 결정하고, 지점들의 부분집합은 영상에서 물리적 물체의 물리적 물체 구조체에 의한 뷰로부터 가려진 결함 장소들은 제외한다. 증강 현실 애플리케이션은 휴대용 컴퓨팅 장치 내 표시 시스템 상 표시되는 영상에서 물리적 물체에 대한 결함 장소들의 부분집합과 연관하여 영상에서 가시적인 지점들의 부분집합에 대한 결함 데이터를 표시한다.

Description

물체에 대한 결함 데이터를 시각화하기 위한 증강 현실 시스템{AUGMENTED REALITY SYSTEM FOR VISUALIZING NONCONFORMANCE DATA FOR AN OBJECT}

본 개시는 일반적으로 항공기 제조에 관한 것으로, 특히 제조의 일 국면에서 항공기에 대한 결함 데이터를 시각화하는 방법, 장치 및 시스템에 관한 것이다.

항공기를 제조함에 있어서, 제조의 상이한 국면들(phases)에서 많은 검사들이 수행된다. 검사는 자동화된 장비, 인간 조작자 또는 이들의 조합에 의해 수행될 수 있다. 예를 들면, 인간 조작자가 결함(nonconformances)에 대하여 항공기 또는 항공기 구조체를 시각적으로 검사할 수 있다. 항공기 구조체는 예를 들면 동체 섹션(fuselage section), 엔진 하우징(housing), 날개 또는 항공기를 위한 다른 어떤 구조체일 수 있다. 결함은 예를 들면 균열, 스크래치(scratch), 박리, 부정확한 치수, 부정확한 색상 또는 부정확한 다른 어떤 특징일 수 있다.

또한, 인간 조작자는 항공기 구조체의 물리적 상태를 확인하기 위해 항공기 구조체의 문제의 구역들을 만져볼 수도 있다. 인간 조작자는 와류 탐상 검사기(eddy current tester), 초음속 기계 또는 항공기 구조체를 검사하기 위한 다른 도구들과 같은 도구들을 사용할 수도 있다.

항공기 구조체 상에서 결함을 갖는 장소가 발견되면 이 장소는 테이프나 QR(quick response) 코드와 같은 물리적 마커(marker)로 물리적으로 표시(mark)된다. 두 경우 모두, 물리적 마커는 항공기 구조체 상 결함을 갖는 장소에 위치된다.

또한, 인간 조작자는 재작업을 필요로 하는 구역의 장소 설명을 메모할 수도 있다. 결함에 대한 물리적 마커와 메모는 3링 바인더 또는 공책에 기록된다. 예를 들면, 물리적 메모에 대한 식별자 및 장소는 3링 바인더에 기록될 수 있다.

이러한 정보는 결함을 해결하기 위해 작업 명령이 생성될 수 있도록 데이터베이스로 입력되기도 한다. 상기 인간 조작자 또는 다른 인간 조작자는 결함에 대한 물리적 태그(tag)의 장소를 찾기 위해 나중에 작업 명령을 이용할 수 있고 결함을 해결하기 위해 필요한 작업을 수행할 수 있다.

이러한 종류의 검사 프로세스는 시간 소모적이고 비효율적이다. 따라서, 다른 가능한 이슈들 뿐만 아니라 위에서 논의된 이슈들 중 적어도 일부를 고려하는 방법 및 장치를 갖는 것이 바람직할 것이다. 예를 들면 항공기의 결함을 효율적으로 식별하고 해결하면서 기술적 문제를 극복하는 방법 및 장치를 갖는 것이 바람직할 것이다.

본 개시의 일 실시예는 물리적 물체에 대한 결함 데이터를 시각화하는 증강 현실 시스템을 제공하며, 증강 현실 시스템은 휴대용 컴퓨팅 장치, 스캔 애플리케이션(application), 모델링 애플리케이션, 위치국한(localization) 애플리케이션 및 증강 현실 애플리케이션을 포함한다. 휴대용 컴퓨팅 장치는 센서 시스템과 표시 시스템을 갖는다. 휴대용 컴퓨팅 장치는 제조의 일 국면에서 물리적 물체에 대한 공간에서의 지점들을 기술하는 스캔 데이터를 생성하도록 구성된다. 스캔 애플리케이션은 실행될 때 스캔 데이터를 이용하여 물리적 물체의 영역의 표면 프로파일(profile)의 포인트 클라우드 표현(point cloud representation)을 생성한다. 모델링 애플리케이션은 실행될 때 물리적 물체의 영역에 대한 포인트 클라우드 표현을 이용하여 정의된 좌표 큐브(coordinate cube)에서 물리적 물체의 영역의 모델을 생성한다. 위치국한 애플리케이션은 실행될 때 장소 타겟에 기초하여 정의된 좌표 큐브에서 물리적 물체의 영역의 모델과 함께 휴대용 컴퓨팅 장치의 위치를 국한하고 물리적 물체에 대한 휴대용 컴퓨팅 장치의 위치를 식별한다. 증강 현실 애플리케이션은 실행될 때 정의된 좌표 큐브에서 물리적 물체 상 결함 장소들에 대응하는 지점들을 플롯팅(plot)하고; 휴대용 컴퓨팅 장치에 의해 얻어지는 물리적 물체의 영역의 영상(image)에서 가시적인 정의된 좌표 큐브 내 플롯팅된 지점들의 부분집합을 결정하고 이때 부분집합은 휴대용 컴퓨팅 장치의 위치에서 볼 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들을 제외하며; 휴대용 컴퓨팅 장치 내 표시 시스템 상 표시되는 영상에서 물리적 물체에 대한 결함 장소들의 부분집합과 연관하여 영상에서 가시적인 지점들의 부분집합에 대한 결함 데이터를 표시한다.

실례가 되는 다른 실시예는 물리적 물체에 대한 결함 데이터를 시각화하기 위한 증강 현실 시스템을 제공하며, 증강 현실 시스템은 휴대용 컴퓨팅 장치와 증강 현실 애플리케이션을 포함한다. 휴대용 컴퓨팅 장치는 물리적 물체에 대한 영상을 획득하도록 구성된다. 증강 현실 애플리케이션은 휴대용 컴퓨팅 장치에 의해 실행될 때 정의된 좌표 큐브에서 물리적 물체의 결함 장소들에 대응하는 지점들을 플롯팅하고; 휴대용 컴퓨팅 장치의 위치에서 휴대용 컴퓨팅 장치에 의해 얻어지는 영상에서 가시적인 물리적 물체의 영역에 대응하는 정의된 좌표 큐브 내 플롯팅된 지점들의 부분집합을 결정하고 이때 지점들의 부분집합은 영상에서 물리적 물체의 구조체에 의한 뷰(view)에서 가려지는 결함 장소들은 제외하며; 휴대용 컴퓨팅 장치 내 표시 시스템 상 표시되는 영상에서 물리적 물체에 대한 결함 장소들의 부분집합과 연관하여 영상에서 가시적인 지점들의 부분집합에 대한 결함 데이터를 표시한다.

실례가 되는 또 다른 실시예는 물리적 물체에 대한 결함 데이터를 시각화하기 위한 방법을 제공한다. 휴대용 컴퓨팅 장치에서 증강 현실 애플리케이션은 정의된 좌표 큐브에서 물리적 물체 상 결함 장소들에 대응하는 지점들을 플롯팅한다. 휴대용 컴퓨팅 장치 내 증강 현실 애플리케이션은 휴대용 컴퓨팅 장치에 의해 얻어지는 물리적 물체의 영역의 영상에서 가시적인 물리적 물체의 영역에 대응하는 정의된 좌표 큐브 내 플롯팅된 지점들의 부분집합을 결정하고 이때 부분집합은 휴대용 컴퓨팅 장치의 위치에서 볼 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들은 제외하며 지점들의 부분집합은 영상에서 물리적 물체의 구조체에 의한 뷰에서 가려지는 결함 장소들은 제외한다. 휴대용 컴퓨팅 장치 내 증강 현실 애플리케이션은 휴대용 컴퓨팅 장치 내 표시 시스템 상 표시되는 영상에서 물리적 물체에 대한 결함 장소들의 부분집합과 연관하여 영상에서 가시적인 지점들의 부분집합에 대한 결함 데이터를 표시한다.

특징과 기능들은 본 개시의 다양한 실시예들에서 독립적으로 얻어질 수 있으며 또는 다음의 설명 및 도면들을 참고하여 추가적인 세부사항이 확인될 수 있는 또 다른 실시예들에 결합될 수도 있다.

실례가 되는 실시예들의 특성으로 여겨지는 신규한 특징들은 첨부된 청구범위에 제시된다. 그러나, 바람직한 사용 유형(mode), 추가적인 목적들 및 그 특징들과 더불어 실례가 되는 실시예들은 본 개시의 실례가 되는 실시예의 다음의 구체적인 설명을 참조하여 수반된 도면들과 함께 읽힐 때 가장 잘 이해될 것이고, 도면에서:
도 1은 실례가 되는 실시예에 따른 항공기 제조 환경의 예시이고;
도 2는 실례가 되는 실시예에 따른 시각화 환경의 블록도(block diagram)의 예시이고;
도 3은 실례가 되는 실시예에 따른 정의된 좌표 큐브에서 항공기 구조체의 모델의 예시이고;
도 4는 실례가 되는 실시예에 따른 결함 장소들을 나타내기 위해 증강된 비행 조종실(deck)의 영상의 예시이고;
도 5는 실례가 되는 실시예에 따른 결함 장소들을 나타내기 위해 증강된 비행 조종실의 영상의 예시이고;
도 6은 실례가 되는 실시예에 따른 항공기의 파노라마 뷰의 예시이고;
도 7은 실례가 되는 실시예에 따른 물리적 물체에 대한 결함 데이터를 시각화하기 위한 프로세스의 흐름도의 예시이고;
도 8은 실례가 되는 실시예에 따른 지점들(points)의 부분집합을 결정하기 위한 프로세스의 흐름도의 예시이고;
도 9는 실례가 되는 실시예에 따른 휴대용 컴퓨팅 장치의 위치를 식별하기 위한 프로세스의 흐름도의 예시이고;
도 10은 실례가 되는 실시예에 따른 결함 데이터를 필터링하기 위한 프로세스의 흐름도의 예시이고;
도 11은 실례가 되는 실시예에 따른 데이터 처리 시스템의 블록도의 예시이고;
도 12는 실례가 되는 실시예에 따른 항공기 제조 및 서비스 방법의 블록도의 예시이고;
도 13은 실례가 되는 실시예가 구현될 수 있는 항공기의 블록도의 예시이고;
도 14는 실례가 되는 실시예에 따른 제품 관리 시스템의 블록도의 예시이다.

실례가 되는 실시예들은 하나 이상의 서로 다른 고려요소들을 인식하고 고려한다. 예를 들면, 실례가 되는 실시예들은 항공기와 같은 운송수단들(vehicles)을 검사하기 위해 현재 이용되는 기법들이 물리적인 종이 메모들을 이용하여 원하는 것보다 많은 시간과 노력이 든다는 것을 인식하고 고려한다. 또한 실례가 되는 실시예들은 항공기를 검사하기 위해 현재 이용되는 기법들이 결함(nonconformances)에 대한 정보를 수집하기 위한 정확한 계량과 측정이 없이 처리 시스템들의 일관성 없는 모음을 이용한다는 것도 인식하고 고려한다.

실례가 되는 실시예들은 검사를 수행하는 인간 조작자에게 증강 현실 경험을 제공하는 프로세스가 이용될 수 있다는 것을 인식하고 고려한다. 실례가 되는 일 예시에서, 프로세스는 운송수단 내 휴대용 검사 장치의 위치를 식별한다. 모바일 검사 장치의 위치에 기초하여 휴대용 검사 장치의 시야에서 아이템들의 그룹 내 아이템에 대하여 인간 조작자에 의해 만들어지는 몸짓의 그룹을 포함하는 사용자 입력이 수신된다. 휴대용 검사 장치의 시야에서 아이템 그룹 내 아이템에 연관하여 운송수단에 대한 장소에 메모가 생성되며, 메모는 장소에 할당된다. 메모는 모바일 검사 장치에 대한 표시 시스템의 그래픽 사용자 인터페이스 상 시야에서 아이템과 연관되어 표시된다.

이러한 프로세스가 항공기와 같은 물체에 대한 결함들을 식별하기 위해 검사 중간에 이용되면, 증강 현실 시스템과 함께 이러한 결함의 해결이 더 효율적으로 수행될 수 있다. 실례가 되는 실시예들은 인간 조작자들이 물리적 표시에 의존하지 않고 결함들의 위치를 확인할 수 있다는 것을 인식하고 고려한다. 그 결과로, 더 효율적인 검사가 수행될 수 있다.

실례가 되는 일 예시에서, 증강 현실 시스템은 물리적 물체에 대한 결함 데이터를 시각화하기 위해 이용된다. 증강 현실 시스템은 휴대용 컴퓨팅 장치 및 증강 현실 애플리케이션을 포함한다. 본 개시에 따른 구현을 위해 구성되고 이용될 수 있는 증강 현실 애플리케이션 소프트웨어의 일 예시는 뷰포리아(Vuforia) 및 PTC사(PTC Incorporated)에 의해 개발된 Vuforia^TM 증강 현실 소프트웨어이다. 휴대용 컴퓨팅 장치는 물리적 물체의 영상을 획득하도록 구성된다. 증강 현실 애플리케이션은 좌표 큐브에서 지점들을 플롯팅하고, 이 지점들은 물리적 물체의 결함 장소들에 대응한다.

증강 현실 애플리케이션은 휴대용 컴퓨팅 장치의 위치에서 휴대용 컴퓨팅 장치에 의해 획득된 영상에서 가시적인 물리적 물체의 영역에 대응하는 좌표 큐브에서 플롯팅된 지점들의 부분집합을 결정한다. 이 지점들의 부분집합은 획득된 영상에서 물리적 물체의 구조체에 의한 뷰로부터 가려지는 결함 장소들은 제외한다. 증강 현실 애플리케이션은 휴대용 컴퓨팅 장치 내 표시 시스템 상 표시되는 영상에서 물리적 물체에 대한 결함 장소들의 부분집합과 연관하여 영상에서 가시적인 지점들의 부분집합에 대한 결함 데이터를 표시한다.

이제 도면들을 참조하여, 특히 도 1을 참조하여 항공기 제조 환경의 예시가 실례가 되는 실시예에 따라 묘사된다. 이러한 예에서, 항공기 제조 환경(100)은 동체 섹션(102)을 포함한다. 묘사된 바와 같이, 인간 조작자(104)는 현재의 제조 국면(phase)에서 동체 섹션(102)의 검사를 수행하기 위해 내부(106)를 통해 걸어간다.

이러한 예시적인 예에서, 인간 조작자(104)는 휴대용 컴퓨팅 장치의 일종인 태블릿 컴퓨터(108)를 지니고 있다. 태블릿 컴퓨터(108)는 인간 조작자(104)가 동체 섹션(102)에 대한 결함의 장소들을 시각화할 수 있도록 한다. 묘사된 바와 같이, 결함의 장소들은 태블릿 컴퓨터(108)의 위치에 기초하여 보일 수 있는 내부(106)의 장소들이다. 이 예시적 예에서, 위치는 3차원 공간에서 태블릿 컴퓨터(108)의 장소와 태블릿 컴퓨터(108)의 배향(orientation)을 포함한다. 달리 말하면, 태블릿 컴퓨터(108)는 인간 조작자(104)에게 동체 섹션(102)의 내부(106)의 영상을 표시하기 위해 인간 조작자(104)에 의해 다른 방향들을 향하도록 될 수 있다.

이 예시적 예에서, 태블릿 컴퓨터(108) 상에 표시되는 영상들은 동체 섹션(102) 내부(106)의 라이브 뷰(live view)에 대한 것이다. 증강 현실 표시를 제공하기 위해 라이브 뷰 상에 결함 데이터가 표시될 수 있다. 결함 데이터는 태블릿 컴퓨터(108) 상에서 실행되는 증강 현실 애플리케이션을 이용하여 동체 섹션(102)의 라이브 뷰에 덮어씌움(overlay)으로 인해 표시될 수 있다. 라이브 뷰는 태블릿 컴퓨터(108)가 동체 섹션(102)의 내부 안에 또는 근처에 있는 동안의 동체 섹션(102) 내부(106)의 뷰이다. 달리 말하면, 동체 섹션(102)의 내부(106)의 영상들은 생성되고 덮어씌워지는 결함 데이터와 함께 증강된다. 태블릿 컴퓨터(108)가 위치를 바꿈에 따라, 영상은 태블릿 컴퓨터(108)의 현재 위치에서의 뷰를 보여주기 위해 변화한다. 라이브 뷰에 대한 영상들은 실시간으로 동영상으로 표시될 수 있다. 달리 말하면, 인간 조작자(104)는 현재 태블릿 컴퓨터(108)의 카메라의 뷰에 무엇이 있는지 볼 수 있다.

묘사된 바와 같이, 태블릿 컴퓨터(108)는 동체 섹션(102)에 대한 공간에서의 지점들을 기술하는 스캔 데이터를 생성하도록 구성된 센서 시스템을 포함한다. 센서 시스템은 카메라, 스테레오 카메라, 레이저 스캐너 또는 스캔 데이터를 생성할 수 있는 어떤 다른 적합한 종류의 장치 중 적어도 하나를 포함할 수 있다.

이러한 스캔 데이터(또는 카메라 또는 센서에 의해 획득된 영상 데이터)는 무선 통신 연결(112)을 이용하여 서버 컴퓨터(110)로 보내어질 수 있다. 이 예시적 예에서, 태블릿 컴퓨터(108) 및 서버 컴퓨터(110)는 증강 현실 시스템을 형성한다.

묘사된 바와 같이, 서버 컴퓨터(110)는 스캔 데이터를 처리하여 동체 섹션(102) 영역(region)의 표면 프로파일의 포인트 클라우드 표현(point cloud representation)을 생성하며, 이는 일반적으로 라이브 뷰에서 동일한 동체 섹션에 대응한다. 또한, 서버 컴퓨터(110)는 포인트 클라우드 표현을 이용하여 동체 섹션(102) 영역의 모델을 생성한다.

이 예시적 예에서, 태블릿 컴퓨터(108)(및 동체 섹션(102)에 대한 태블릿 컴퓨터의 위치)는 동체 섹션(102) 영역의 모델을 이용하여 위치가 국한될 수 있다. 또한, 동체 섹션(102)에 대한 태블릿 컴퓨터(108)의 위치(및 배향)는 위치국한 기법을 통해 식별될 수 있으며, 배향은 태블릿 컴퓨터(108)가 향하는 방향일 수 있다. 위치국한 및 위치는 태블릿 컴퓨터(108)가 움직임에 따라 항공기 제조 환경(100) 내에서 태블릿 컴퓨터(108)의 위치를 추적하는 동시에 이러한 환경의 지도를 구성하고 업데이트하는 것을 가능하게 하는 동시적 위치국한 및 지도형성(simultaneous localization and mapping; SLAM)에 대한 현재 이용 가능한 기법들을 이용하여 식별될 수 있다.

위치국한은 동체 섹션(102)에 대한 식별 가능한 기준점(reference point)을 이용하여 수행될 수 있다. 이러한 기준점은 동시적 위치국한 및 지도형성 프로세스에 의해 식별 또는 인식되는 장소 타겟일 수 있다. 장소 타겟은 카메라 영상, 레이저 스캔 또는 다른 적합한 감지 수단을 통해 식별 가능한 동체 섹션(102)의 표면 상에 배치된 반사적(reflective) 타겟과 같이, 동체 섹션(102) 상 구조체 또는 물체에 있을 수 있다. 타겟 장소는 예를 들면 출입구, 모뉴먼트(monument), 창문, 앵커 플레이트(anchor plate) 또는 동체 섹션(102)의 모델에 대해 알려진 장소를 갖는 동체 섹션(102) 상 어떤 다른 구조체 또는 특징일 수 있다.

장소 타겟은 태블릿 컴퓨터(108)가 장소 타겟의 위치와 동체 섹션(102)의 모델에서 대응하는 위치를 상호연관 시킬 수 있도록 한다. 이러한 식별은 태블릿 컴퓨터(108)가 알려진 장소를 갖는 장소 타겟에 대한 태블릿 컴퓨터(108)의 장소를 결정할 수 있도록 하고, 또한 동체 섹션(102)의 모델 및 동체 섹션(102)에 대하여 자신의 위치를 국한할 수 있도록 한다.

이러한 예시적 예에서, 서버 컴퓨터(110)는 동체 섹션(102) 상 결함 장소들에 대응하는 좌표 큐브 내에 있는 지점들(예를 들면 결함 데이터베이스로부터 검색될 수 있음)을 플롯팅할 수 있다. 서버 컴퓨터(110)는 태블릿 컴퓨터(108)에 표시되는 동체 섹션(102)의 영상에서 결함 장소들에 대한 어떤 지점들이 가시적인지도 결정할 수 있다. 이렇게 결정된 가시적인 지점들은 인간 조작자(104)에 의해 보이는 뷰를 증강하기 위해 영상에 표시된다. 묘사된 바와 같이, 동체 섹션(102)의 영역과 연관되어 생성된 모델 및 포인트 클라우드 표현에 대하여 태블릿 컴퓨터(108)의 위치를 기초로 영상 내 뷰로부터 가려진 것으로 결정된 다른 플롯팅된 지점들은 태블릿 컴퓨터(108)에 의해 표시되는 영상에 표시되지 않는다.

따라서, 태블릿 컴퓨터(108)는 동체 섹션(102) 내에 결함이 존재하는 장소들을 인간 조작자(104)가 시각화할 수 있도록 하는 증강 현실 뷰를 인간 조작자(104)에게 제공한다.

또한, 인간 조작자(104)는 식별된 새로운 결함 장소들을 입력, 표시 또는 기록하기 위해 태블릿 컴퓨터(108)를 작동시킬 수도 있다. 도 1의 항공기 제조 환경(100)의 예시는 증강 현실 시스템에 대한 하나의 구현 예로서 제공된 것이며 다른 증강 현실 시스템들이 구현될 수 있는 방식을 제한하도록 의도된 것은 아니다. 예를 들면, 서버 컴퓨터(110)에 의해 수행되는 것으로 기술되는 하나 이상의 서로 다른 동작들은 태블릿 컴퓨터(108) 상에 이용 가능한 처리 자원의 양에 따라 태블릿 컴퓨터(108)에 의해 형성될 수도 있다. 또한, 태블릿 컴퓨터(108)는 동체 섹션(102) 외 다른 물체들에 대한 결함 데이터를 시각화하기 위해 이용될 수 있다. 예를 들면, 다른 물체들은 완성된 항공기, 날개, 자동차, 기차, 건물 또는 결함 데이터의 시각화가 필요한 어떤 다른 적합한 구조체를 포함할 수 있다.

이제 도 2를 참조하면, 실례가 되는 실시예에 따라 시각화 환경의 블록도의 예시가 묘사된다. 시각화 환경(200)은 물리적 물체(204)에 대한 정보가 시각화될 수 있는 환경이다. 실례가 되는 이 실시예에서, 물리적 물체(204)는 복수의 결함 장소(208)에서 복수의 결함(206)을 가질 수 있다. 여기에서 사용된 바와 같이, “복수의”(a number of)가 아이템들(items)을 참조로 하여 사용되었을 때는 하나 이상의 아이템들을 의미한다. 예를 들면, 복수의 결함(206)은 하나 이상의 결함(206)이다.

실례가 되는 이 예에서, 결함은 물리적 물체(204)의 일부가 사양, 표준 또는 어떤 다른 규칙으로부터 벗어났을 때를 의미한다. 실례가 되는 이 예에서, 사양, 표준 또는 어떤 다른 규칙은 정부 에이전시(agency), 미국 연방 항공청(Federal Aviation Administration), 제조사, 유지보수 제공자, 협회 또는 어떤 다른 적합한 소스(source)로부터 기인할 수 있다. 표준은 성능, 안전성, 미학 또는 다른 요인들 중 적어도 하나와 관련된 규칙들을 포함한다.

묘사된 바와 같이, 물리적 물체(204)는 복수의 상이한 형태를 취할 수 있다. 예를 들면, 물리적 물체(204)는 모바일 플랫폼, 고정식 플랫폼, 지상 기반 구조체, 수중 기반 구조체, 우주 기반 구조체, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 제조 시설, 건물, 항공기 구조체, 날개, 항공기 동체 섹션, 엔진 하우징, 엔진, 복합재 패널, 벽, 스킨 패널(skin panel), 의자 및 다른 적합한 물체들을 포함하는 그룹에서 선택된다.

묘사된 바와 같이, 물리적 물체(204)에 대한 결함 데이터(210)는 증강 현실 시스템(212)을 이용하여 시각화될 수 있다. 실례가 되는 이 예에서, 증강 현실 시스템(212)은 복수의 상이한 구성요소들을 포함한다. 묘사된 바와 같이, 증강 현실 시스템(212)은 휴대용 컴퓨팅 장치(214), 컴퓨터 시스템(216), 스캔 애플리케이션(218), 모델링 애플리케이션(220), 위치국한 애플리케이션(222) 및 증강 현실 애플리케이션(224)을 포함한다.

컴퓨터 시스템(216)은 물리적 하드웨어 시스템이고 하나 이상의 처리 시스템을 포함한다. 컴퓨터 시스템(216)에 하나 이상의 데이터 처리 시스템이 존재할 때, 이러한 데이터 처리 시스템들은 통신 매체를 이용하여 서로와 통신한다. 통신 매체는 네트워크일 수 있다. 데이터 처리 시스템들은 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터 또는 어떤 다른 적합한 데이터 처리 시스템 중 적어도 하나로부터 선택될 수 있다.

묘사된 바와 같이, 휴대용 컴퓨팅 장치(214)는 결함 데이터(210)를 시각화하는데 이용하기 위한 표시 시스템(226)을 포함하는 데이터 처리 시스템이다. 휴대용 컴퓨팅 장치(214)는 인간 조작자(228)가 지니고 다닐 수 있도록 구성된 크기, 무게 또는 형상 중 적어도 하나를 갖는다. 휴대용 컴퓨팅 장치(214)는 인간 조작자(228)가 들거나 착용할 수 있다.

휴대용 컴퓨팅 장치(214)는 복수의 상이한 형태를 취할 수 있다. 예를 들면, 휴대용 컴퓨팅 장치(214)는 모바일 폰, 태블릿 컴퓨터, 머리에 장착하는(head mounted) 장치, 스마트 안경 및 다른 적합한 장치들을 포함하는 그룹으로부터 선택될 수 있다.

실례가 되는 이 예에서, 휴대용 컴퓨팅 장치(214)는 휴대용 컴퓨팅 장치(214) 내 센서 시스템(232)을 이용하여 스캔 데이터(230)를 생성하도록 구성된다.

묘사된 바와 같이, 결함 데이터(210)는 데이터베이스(233)에 위치한다. 실례가 되는 이 예에서 데이터베이스(233)는 증강 현실 시스템(212)과 먼 장소에 있다. 실례가 되는 다른 예에서, 데이터베이스(233)는 컴퓨터 시스템(216) 내에 위치할 수 있다.

묘사된 이 예에서, 스캔 데이터(230)는 제조 국면(236)에서 물리적 물체(204)에 대한 지점들(234)을 기술한다. 제조 국면(236)은 조직 국면(structure phase), 날개-본체 접합, 최종 본체 접합, 시스템들 설치, 내부(interiors) 설치, 비행 시험 및 다른 적합한 국면들을 포함하는 그룹으로부터 선택될 수 있다. 실례가 되는 이 예에서, 물리적 물체(204)의 영역(240)의 영상(238)은 휴대용 컴퓨팅 장치(214) 내 센서 시스템(232)을 이용하여 생성된다.

묘사된 바와 같이, 물리적 물체(204)의 영역(240)의 영상(238)은 휴대용 컴퓨팅 장치(214) 내 표시 시스템(226) 상에 표시된다. 실례가 되는 이 예에서, 영역(240)의 영상(238)은 휴대용 컴퓨팅 장치(214)를 이용하여 보이는 물리적 물체(204)의 라이브 뷰이다. 휴대용 컴퓨팅 장치(214)가 움직임에 따라, 새로운 영상들이 생성될 수 있고 휴대용 컴퓨팅 장치(214) 내 표시 시스템(226) 상에 표시될 수 있다. 새로운 영상들은 물리적 물체(204)의 현재의 뷰를 보여준다. 물리적 물체(204)의 영상들은 실시간으로 주기적으로 생성될 수 있으며 표시 시스템(226) 상에 동영상으로서 표시될 수 있다.

실례가 되는 이 예에서, 센서 시스템(232)은 복수의 구성요소들을 포함하는 물리적 센서 시스템이다. 예를 들면, 센서 시스템(232)은 3차원 스캐너, 카메라, GPS(global positioning system) 수신기, 구조광(structured light) 3차원 스캐너, 라이다(lidar) 시스템, 레이저 스캐너, 코노스코픽 홀로그래프(conoscopic holograph) 시스템, TOF(time of flight; 비행시간) 3차원 스캐너 또는 다른 적합한 종류의 센서들 중 적어도 하나를 포함할 수 있다.

여기에서 사용된 바와 같이, 아이템들의 목록과 함께 사용될 때 “적어도 하나의”라는 문구는 목록에 있는 아이템들 중 하나 이상의 서로 다른 조합들이 이용될 수 있고, 목록의 각 아이템 하나씩만 필요할 수도 있다는 것을 의미한다. 달리 말하면, “적어도 하나의”는 아이템들의 임의의 조합을 의미하고 복수의 아이템들이 목록으로부터 사용될 수 있으나, 목록에 있는 모든 아이템들이 요구되지는 않는다. 아이템은 특정 물체, 사물 또는 카테고리일 수 있다.

예를 들면, “아이템 A, 아이템 B 또는 아이템 C 중 적어도 하나”는 아이템 A, 아이템 A 및 아이템 B 또는 아이템 B를 포함할 수 있으며 이에 제한되지 않는다. 이러한 예는 또한 아이템 A, 아이템 B 및 아이템 C 또는 아이템 B 및 아이템 C를 포함할 수 있다. 당연히, 이러한 아이템들의 임의의 조합들이 존재할 수 있다. 실례가 되는 어떤 예들에서, “적어도 하나의”는 예를 들면 2개의 아이템 A; 1개의 아이템 B; 및 10개의 아이템 C; 4개의 아이템 B 및 7개의 아이템 C; 또는 다른 적합한 조합들일 수 있으며 이에 제한되지 않는다.

레이저 스캐너는 물리적 물체(204)를 스캔하여 스캔 데이터(230)를 생성할 수 있다. 카메라는 물리적 물체(204)의 영역(240)의 영상(238)을 생성할 수 있다.

휴대용 컴퓨팅 장치(214)는 컴퓨터 시스템(216)으로 스캔 데이터(230)를 보낸다. 실례가 되는 이 예에서, 휴대용 컴퓨팅 장치(214)는 컴퓨터 시스템(216)과 통신한다. 통신은 네트워크, 무선 통신 연결, 유선 통신 연결과 같은 통신 매체를 이용하거나 어떤 다른 적합한 매체를 이용하여 용이해질 수 있다.

컴퓨터 시스템(216) 내 스캔 애플리케이션(218)은 소프트웨어이다. 스캔 애플리케이션(218)이 컴퓨터 시스템(216)에 의해 실행될 때, 스캔 애플리케이션(218)은 스캔 데이터(230)를 이용하여 물리적 물체(204)의 영역(240)에 대한 포인트 클라우드 표현(242)을 생성한다. 실례가 되는 이 예에서, 스캔 애플리케이션(218)은 물리적 물체(204)의 영역(240)에서 감지된 스캔 데이터(230) 내 지점들(234)을 포인트 클라우드 표현(242)으로 배치한다.

포인트 클라우드 표현(242)은 3차원 모델을 생성하기 위해 모델링 애플리케이션으로 이입(import)될 수 있다. 실례가 되는 이 예에서, 컴퓨터 시스템(216) 내 모델링 애플리케이션(220)은 포인트 클라우드 표현(242)으로부터 모델(244)을 생성하는 소프트웨어이다. 모델(244)은 3차원 모델이고 예를 들면 컴퓨터 이용 설계(computer aided design; CAD) 모델, 컴퓨터 이용 제조(computer aided manufacturing; CAM) 모델 또는 어떤 다른 적합한 모델일 수 있다. 이 예에서, 모델링 애플리케이션(220)은 물리적 물체(204)의 영역(240)에 대한 포인트 클라우드 표현(242)을 이용하여 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 생성할 수 있다.

실례가 되는 이 예에서, 휴대용 컴퓨팅 장치(214) 내 위치국한 애플리케이션(222)은 장소 타겟(250)에 기초하여 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 표면 프로파일의 포인트 클라우드 표현(242)으로부터 생성된 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하고, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 소프트웨어이다. 이 예에서, 위치국한 애플리케이션(222)은 시각화 환경(200) 내에서 휴대용 컴퓨팅 장치(214)의 위치를 추적하는 동시에 항공기 제조 환경(100)의 지도를 구성하고 업데이트하는 것을 가능하게 하는 동시적 위치국한 및 지도형성(SLAM)에 대하여 현재 이용 가능한 기법들을 구현할 수 있다. 실례가 되는 이 예에서, 휴대용 컴퓨팅 장치(214)의 위치(248)는 3차원 공간에서 휴대용 컴퓨팅 장치(214)의 장소와 휴대용 컴퓨팅 장치(214)의 배향이다.

실례가 되는 일 예에서, 모델(244)을 이용하여 휴대용 컴퓨팅 장치(214)의 위치를 국한함에 있어서, 위치국한 애플리케이션(222)은 물리적 물체(204)에 대한 장소 타겟(250)의 위치를 잡는다(locate). 위치국한 애플리케이션(222)은 정의된 좌표 큐브(246) 내 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하기 위해 장소 타겟(250)의 타겟 위치(252)를 이용하고 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별한다.

실례가 되는 이 예에서, 장소 타겟(250)은 물리적 특징이다. 장소 타겟(250)은 예를 들면 플레이트, 바코드, RFID(radio frequency identifier) 장치, 앵커(anchor), 공간 앵커(spatial anchor), 앵커 플레이트 또는 어떤 다른 적합한 구조체일 수 있다. 장소 타겟(250)은 물리적 물체(204) 상 알려진 장소에 있으며 물리적 물체(204)를 나타내는 모델(244)에서 대응하는 장소를 갖는다. 그 장소는 3차원에 있으며 장소 타겟(260)의 배향도 알려져 있다면 타겟 위치(252)일 수 있다.

물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하기 위해 장소 타겟(250)의 위치는 모델(244)에서 대응하는 장소와 상호 관련되어 있을 수 있다. 장소 타겟(250)은 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시되고 캡쳐된(captured) 영상(238)에 있는 물리적 물체(204)의 라이브 뷰 상에 휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해 원하는 레벨의 정확도로 증강 현실 정보를 표시하고 및/또는 덮어씌우기 위한 기준으로서 위치국한 애플리케이션(222)에 의해 이용될 수 있다. 이 예시에서, 휴대용 컴퓨팅 장치(214)의 위치(248)는 장소 타겟(250)의 사용으로 위치국한 애플리케이션(222)에 의해 더 정확하게 결정될 수 있다.

묘사된 바와 같이, 증강 현실 애플리케이션(224)은 휴대용 컴퓨팅 장치(214)에 위치한다. 이 예시에서, 증강 현실 애플리케이션(224)은 정의된 좌표 큐브(246)에서 물리적 물체(204) 상 결함 장소들(208)에 대응하는 지점들(234)을 플롯팅한다. 증강 현실 애플리케이션(224)은 휴대용 컴퓨팅 장치(214)의 위치(248)에서 휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246)에서 플롯팅된 지점들(234)의 부분집합(254)을 결정한다.

실례가 되는 이 예시에서, 영상(238)에서 가시적인 정의된 좌표 큐브(246)에서 플롯팅된 지점들(234)의 부분집합(254)을 결정함에 있어서, 증강 현실 애플리케이션(224)은 결함 장소들(208)에 대해 정의된 좌표 큐브(246) 내에 플롯팅된 지점들(234) 중 어느 것이, 휴대용 컴퓨팅 장치(214)의 위치에서 볼 때 물리적 물체 구조체를 넘어서 있는 것으로 결정된 장소(모델/포인트 클라우드 표현에 기초함)와 같이, 위치(248)에서 휴대용 컴퓨팅 장치(214)로부터의 뷰에서 가려진 영상(238)에서 물리적 물체 구조체를 넘어 미리 결정된 거리에 위치하는지를 결정한다.

예를 들면, 주어진 결함 장소와 휴대용 컴퓨팅 장치(214)의 장소 사이의 결정된 거리가 휴대용 컴퓨팅 장치(214)로부터의 물리적 물체 구조체의 거리보다 큰 것으로 결정된 경우, 이러한 결함 장소는 잠재적으로 휴대용 컴퓨팅 장치(214)의 위치에서 본 물리적 물체 구조체를 넘어서 있다. 다른 예시에서, 휴대용 컴퓨팅 장치(214)가 물리적 물체 구조체의 내부 공간 내에 위치하고 주어진 결함 장소와 물리적 물체 구조체의 일부를 향하여 배향되어 있고, 결함 장소와 물리적 물체 구조체의 모델 표현의 비교에 기초하여 내부 공간의 외부에 위치하는 것으로 결정된 경우, 이러한 결함 장소는 휴대용 컴퓨팅 장치(214)의 위치에서 볼 때 물리적 물체 구조체를 넘어서 있는 것이다. 물리적 물체 구조체를 넘어서 미리 결정된 거리에 있는 이러한 지점들은 지점들(234)의 부분집합(254)으로부터 제외된다.

실례가 되는 일 예시에서, 물리적 물체(204)는 항공기이며, 물리적 물체 구조체는 항공기 구조체다. 증강 현실 애플리케이션(224)은 표시된 항공기 구조체로부터 각 결함 장소의 거리가 뷰에서 가려져 있는 결함 장소에 대응하는 미리 결정된 거리를 넘는 것으로 결정함으로써 정의된 좌표 큐브(246)에서 결함 장소들(208)에 대한 남은 지점들(258) 중 어떤 것들이 가려질지 결정한다.

증강 현실 애플리케이션(224)은 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상에 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관된, 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시한다. 이 예시에서, 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)는 실황(live) 결함 데이터이다. 달리 말하면, 이러한 결함 데이터는 물리적 물체(204)에 여전히 존재하는 결함들을 반영한다. 즉, 이러한 실제 결함들은 해결되지 않은 것이다.

실례가 되는 이 예시에서, 결함 데이터(210)를 표시함에 있어서, 증강 현실 애플리케이션(224)은 물리적 물체(204)의 영역(240)의 영상(238)에서의 뷰에서 가려진 결함 장소들(208)에 대한 결함 데이터(210)는 표시하지 않고 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상에 표시되는 영상(238) 내 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관된, 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시한다. 예를 들면, 결함 장소가 영상(238)에서 비(非)가시적인 물리적 물체(204)의 표면 상에 위치한다면, 그 결함 장소는 가려진 것으로 여기고 표시하지 않는다.

묘사된 바와 같이, 위치(248)에서 휴대용 컴퓨팅 장치(214)에 가시적인 결함 장소들(208)에 대한 지점들(234), 결함 데이터(210) 또는 다른 정보 중 적어도 하나의 표시는 그래픽 지표들(257)을 이용하여 수행된다. 그래픽 지표들(257)에서 그래픽 지표는 아이콘(icon), 상형문자, 표의문자(ideogram), 그래픽, 영상, 문자, 애니메이션(animation), 굵은 표시(bolding), 그래프, 선, 화살표 또는 다른 적합한 그래픽 중 적어도 하나를 포함할 수 있다.

이러한 방식으로, 결함 데이터(210)를 이용한 영상(238)의 증강은 영상(238)에서 인간 조작자(228)에 의해 보일 수 있는 물리적 물체(204)의 일부들에 대하여 이루어진다. 인간 조작자(228)가 휴대용 컴퓨팅 장치(214)와 함께 움직임에 따라, 휴대용 컴퓨팅 장치(214)의 위치(248)는 변한다. 이러한 위치(248)의 변화는 어떤 표면이 가시적인지를 변화시킬 수 있고, 이는 결함 데이터(210)의 표시에 영향을 미칠 수 있다. 이러한 방식으로, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)가 변함에 따라 물리적 물체(204)의 증강된 뷰는 동적으로 변화할 수 있다.

실례가 되는 다른 예시에서는, 가시적인 결함 장소들과 가려진 결함 장소들을 포함하여 모든 결함 장소들(208)에 대한 지점들(234)이 표시될 수 있다. 이러한 특징은 물리적 물체(204)의 파노라마 뷰(260)에 유용할 수 있다. 예를 들면, 증강 현실 애플리케이션(224)은 휴대용 컴퓨팅 장치(214)가 파노라마 뷰(260)에 대하여 선택된 거리보다 멀리 있는지 여부를 결정할 수 있고 모든 결함 장소들(208)의 파노라마 뷰(260)를 제공하기 위해 정의된 좌표 큐브(246)에서 모든 결함 장소들(208)에 대한 지점들(234)을 표시한다.

또한, 증강 현실 애플리케이션(224)은 역사적인 결함 데이터 또는 활성(active) 결함 데이터 중 적어도 하나를 표시하기 위해 시간 정보에 기초하여 결함 데이터(210)를 필터링 할 수도 있다. 역사적인 결함 데이터는 물리적 물체(204) 또는 물리적 물체(204)의 다른 사례(instances) 중 적어도 하나에 대한 결함 데이터이다. 결함에 대한 역사적인 데이터는 이미 해결되었거나 재작업된 결함들을 포함할 수 있다. 필터링은 특정 시간 구간에 대한 것일 수 있다. 활성 결함 데이터는 실례가 되는 이 예시에서 물리적 물체(204)에 대한 아직 해결되지 않은 결함 데이터이다.

실례가 되는 다른 예시에서, 필터링은 같은 종류의 다른 물리적 물체들에 대한 결함 데이터(210)에 대하여 수행될 수 있다. 따라서, 결함들(206)의 뷰는 복수의 물리적 물체들에 대하여 관찰될 수 있다. 이러한 동종의 물리적 물체들은 동일한 시설이나 라인(line)에서 제조된 물리적 물체들에 대한 것일 수 있다. 다른 예시에서, 결함들(206)은 동일한 유지보수 시설에서 유지되는 복수의 물리적 물체들로부터 관찰될 수 있다.

스캔 애플리케이션(218), 모델링 애플리케이션(220), 위치국한 애플리케이션(222) 또는 증강 현실 애플리케이션(224) 중 적어도 하나는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 소프트웨어가 사용된 경우, 이러한 구성요소들에 의해 수행되는 동작들은 프로세서 유닛(processor unit)과 같은 하드웨어 상에서 실행되도록 구성된 프로그램 코드로 구현될 수 있다. 펌웨어가 사용된 경우, 이러한 구성요소들에 의해 수행되는 동작들은 프로그램 코드 및 데이터로 구현될 수 있고 프로세서 유닛 상에서 실행되기 위해 영구 메모리에 저장될 수 있다. 하드웨어가 사용된 경우, 하드웨어는 이러한 구성요소들 내 동작들을 수행하기 위해 작동하는 회로들을 포함할 수 있다.

실례가 되는 예시들에서, 하드웨어는 회로 시스템, 집적 회로, 주문형 집적 회로(application specific integrated circuit; ASIC), 프로그램 가능한 논리 장치 또는 복수의 동작들을 수행하도록 구성된 어떤 다른 적합한 종류의 하드웨어 중 적어도 하나로부터 선택되는 형태를 취할 수 있다. 프로그램 가능한 논리 장치와 함께라면, 그 장치는 복수의 동작들을 수행하도록 구성될 수 있다. 장치는 추후에 재구성될 수 있으며 또는 복수의 동작들을 수행하도록 영구적으로 구성될 수 있다. 프로그램 가능한 논리 장치들은 예를 들면 프로그램 가능한 논리 어레이(logic array), 프로그램 가능한 어레이 로직, 필드 프로그램 가능한(field programmable) 로직 어레이, 필드 프로그램 가능한 게이트 어레이(gate array) 및 다른 적합한 하드웨어 장치들을 포함한다. 추가적으로, 프로세스들은 무기 구성요소들과 통합된 유기 구성요소들에서 구현될 수 있고 전체로서 인간을 제외한 유기 구성요소들로 구성될 수 있다. 예를 들면, 프로세스들은 유기 반도체들에서 회로들로서 구현될 수 있다.

실례가 되는 일 예시에서, 항공기의 결함들을 효율적으로 식별하고 해결하며 기술적 문제를 해결하는 하나 이상의 기술적 해법들이 존재한다. 결과적으로, 하나 이상의 기술적 해법들은 영상(238)에서의 뷰에서 가려지지 않는 가시적인 결함 장소들(208)의 시각화를 인간 조작자(228)에게 제공하기 위해 영상(238)에서 물리적 물체(204)의 라이브 뷰를 증강하는 기술적 효과를 제공할 수 있다.

컴퓨터 시스템(216)과 휴대용 컴퓨팅 장치(214)는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 이용하여 실례가 되는 서로 다른 예시들에서 기술된 단계들, 동작들 또는 행동들 중 적어도 하나를 수행하도록 구성될 수 있다. 결과적으로, 컴퓨터 시스템(216) 또는 휴대용 컴퓨팅 장치(214) 중 적어도 하나는 이러한 구성요소들에서 서로 다른 애플리케이션들이 물리적 물체(204)의 증강된 뷰에서 결함 데이터(210)를 시각화하는 것을 가능하게 하는 특수 목적 컴퓨터 시스템으로서 동작한다. 특히, 증강 현실 애플리케이션(224)은 컴퓨터 시스템(216) 또는 휴대용 컴퓨팅 장치(214)를 증강 현실 애플리케이션(224)을 갖지 않는 현재 이용 가능한 일반적인 컴퓨터 시스템들과 비교하여 특수 목적 컴퓨터 시스템으로 변환한다.

이러한 방식으로, 태블릿 컴퓨터(108)는 포인트 클라우드 생성, 동시적 위치국한 및 지도형성 프로세스들 및 결함 데이터의 데이터베이스를 이용하여 인간 조작자(104)가 동체 섹션(102)에 대한 결함 데이터를 볼 수 있도록 한다.

도 2에서 시각화 환경(200)의 예시는 예시적 실시예가 구현될 수 있는 방식에 대한 물리적 또는 구조적 제한들을 암시하도록 의도되지 않는다. 예시된 것들에 더하여 또는 대신하여 다른 구성요소들이 사용될 수 있다. 몇몇 구성요소들은 불필요할 수 있다. 또한, 몇몇 기능적 구성요소들을 도시하기 위해 블록(blocks)이 제시된다. 하나 이상의 이러한 블록들은 실례가 되는 실시예에서 구현될 경우 다른 블록들로 결합되거나 나누어지거나 결합되면서 나누어질 수 있다.

예를 들면, 인터페이스(interface)와 같은 다른 구성요소가 증강 현실 시스템(212)에 존재할 수 있다. 인터페이스는 물리적 물체(204) 상의 결함 장소들(208)을 수신하도록 구성될 수 있다. 이러한 실례가 되는 예시들에서 인터페이스는 결함 데이터(210)의 데이터베이스(233)와의 통신을 제공할 수 있다.

추가적으로, 컴퓨터 시스템(216) 내 위치하는 것으로 예시되는 몇몇 구성요소들은 다른 구성요소 내에 구현될 수 있다. 예를 들면, 스캔 애플리케이션(218)은 몇몇 실례가 되는 예시들에서 컴퓨터 시스템(216) 대신 휴대용 컴퓨팅 장치(214) 내에 위치할 수 있다.

실례가 되는 다른 예시에서, 위치국한 애플리케이션(222)은 분산 프로세스(distributed process)로서 휴대용 컴퓨팅 장치(214)에 더하여 또는 휴대용 컴퓨팅 장치(214) 대신 컴퓨터 시스템(216) 내에 위치할 수 있다. 따라서, 컴퓨터 시스템(216)은 스캔 애플리케이션(218), 모델링 애플리케이션(220), 위치국한 애플리케이션(222) 또는 증강 현실 애플리케이션(224) 중 적어도 하나를 포함할 수 있다. 증강 현실 장치(214)는 스캔 애플리케이션(218), 모델링 애플리케이션(220), 위치국한 애플리케이션(222) 또는 증강 현실 애플리케이션(224) 중 적어도 하나를 포함할 수 있다.

이제 도 3을 참고하면, 정의된 좌표 큐브에서 항공기 구조체의 모델의 예시가 실례가 되는 실시예에 따라 도시되어 있다. 실례가 되는 이 예시에서, 모델(300)은 정의된 좌표 큐브(302) 내에 위치하는 것으로 표시되어 있다.

이 예시에서, 모델(300)은 항공기의 일부를 나타낸다. 이 예시에서, 모델(300)은 동체(310)의 일부(308) 및 코(304)를 포함한다. 이 예시에서, 모델(300)은 항공기의 일부의 포인트 클라우드 표현을 이용하여 생성된 모델의 예시이다.

예를 들면, 모델(300)은 항공기의 컴퓨터 이용 설계 모델로부터 기하학 또는 다른 정보를 추출함으로써 생성될 수 있다. 모델(300)로부터 추출된 컴퓨터 이용 설계 모델의 일부들은 항공기의 포인트 클라우드 표현에 기초할 수 있다. 실례가 되는 이 예시에서, 모델(300)은 컴퓨터 이용 설계(CAD) 모델일 수도 있다.

이제 도 4를 참고하면, 결함 장소들을 나타내기 위해 증강된 비행 조종실(deck)의 영상 예시가 실례가 되는 실시예에 따라 도시되어 있다. 실례가 되는 예시들에서, 동일한 참조 번호가 둘 이상의 도면에서 사용될 수 있다. 서로 다른 도면에서 이러한 참조 번호의 재사용은 서로 다른 도면에서 동일한 요소를 나타낸다.

실례가 되는 이 예시에서, 영상(400)은 항공기(403)의 비행 조종실(402)을 도시한다. 영상(400)은 도 2에서 표시 시스템(226) 상 휴대용 컴퓨팅 장치(214)에 의해 표시되는 영상(238)의 예시이며, 이는 비행 조종실(402)의 라이브 뷰이다. 실례가 되는 이 예시에서, 항공기(403) 내 비행 조종실(402)는 도 3의 모델(300)에서 모델링된다.

실례가 되는 이 예시에서, 비행 조종실(402) 내에 결함 장소들이 존재한다. 이 예시에서, 이러한 결함 장소들은 결함 장소(410), 결함 장소(412), 결함 장소(414), 결함 장소(416), 결함 장소(418), 결함 장소(420) 및 결함 장소(422)를 포함한다. 이러한 결함 장소들은 비행 조종실(402)의 세부사항을 포함하는 모델(300)과 결함 데이터로부터 식별될 수 있다.

영상(400) 내 비행 조종실(402)의 라이브 뷰는 결함들의 존재를 나타내기 위해 그래픽 지표들과 함께 증강된다. 실례가 되는 이 예시에서, 영상(400)에서 가려진 결함들은 그래픽 지표들을 이용하여 식별되지 않는 반면 영상(400)에서 가시적인 결함들은 그래픽 지표들과 함께 증강된다.

묘사된 바와 같이, 결함 장소(410), 결함 장소(412), 결함 장소(414) 및 결함 장소(416)는 영상(400)에서 가시적이다. 그러나, 결함 장소(418), 결함 장소(420) 및 결함 장소(422)는 가려져 있다. 묘사된 이 예시에서 이러한 결함 장소들은 영상(400) 내 이러한 비행 조종실(402)의 뷰에서 의자(424)에 의해 가려진다.

실례가 되는 이 예시에서, 가시적인 결함 장소들은 결함 장소들을 식별하기 위해 그래픽 지표들과 함께 영상(400)의 라이브 뷰를 증강함으로써 영상(400)에서 식별된다. 이 예시에서, 그래픽 지표들은 별 모양 표시(starbursts)이다. 묘사된 바와 같이, 결함 장소(410)는 별 모양 표시(430)를 이용하여 표시되고; 결함 장소(412)는 별 모양 표시(432)를 이용하여 표시되고; 결함 장소(414)는 별 모양 표시(434)를 이용하여 표시되고; 결함 장소(416)는 별 모양 표시(436)를 이용하여 표시된다. 결함 장소(418), 결함 장소(420) 및 결함 장소(422)는 비행 조종실(402)의 이러한 뷰로부터 가려져 있기 때문에 이러한 결함 장소들에 대하여는 그래픽 지표들이 영상(400)에 표시되지 않는다.

실례가 되는 이 예시에서, 그래픽 지표를 선택하는 것은 결함들에 대한 추가 정보의 표시를 야기할 수 있다. 예를 들면, 결함 장소(414)에 대한 별 모양 표시(434)의 선택은 창문(442)에서 결함 데이터(440)의 표시를 야기한다. 결함 데이터(440)는 복수의 서로 다른 형태를 취할 수 있다. 예를 들면, 결함 데이터(440)는 결함에 대한 설명, 결함을 해결하기 위한 명령들, 결함의 3점 장소(three point location), 작업 명령, 영상, 추가 정보에 대한 연결 또는 다른 적합한 정보 중 적어도 하나를 포함할 수 있다.

휴대용 컴퓨팅 장치(214)의 위치가 변화하는 경우, 가시적인 결함 장소들과 가려진 결함 장소들이 변화할 수 있다. 이러한 변화들은 비행 조종실(402)의 새로운 영상에서 가시적인 결함 장소들에 대한 그래픽 지표들을 표시함으로써 식별될 수 있다.

이제 도 5를 참조하면, 실례가 되는 실시예에 따라 결함 장소들을 나타내기 위해 증강된 비행 조종실의 영상의 예시가 묘사되어 있다.

이 도면에서, 영상(500)은 휴대용 컴퓨팅 장치(214)가 위치를 바꾼 비행 조종실(402)의 라이브 뷰이다. 묘사된 바와 같이, 결함 장소(410), 결함 장소(412), 결함 장소(414), 결함 장소(416), 결함 장소(418), 결함 장소(420) 및 결함 장소(422)는 영상(500) 내 비행 조종실(402)의 이러한 뷰 내에 있다.

이 위치에서, 가시적인 결함 장소들과 가려진 결함 장소들에서 변화가 일어난다. 결함 장소(410), 결함 장소(412), 결함 장소(414), 결함 장소(420) 및 결함 장소(422)는 영상(500) 내 이러한 비행 조종실(402)의 뷰에서 가시적이다. 결함 장소(416) 및 결함 장소(418)는 영상(500) 내 이러한 비행 조종실(402)의 뷰에서 가려져 있다.

결과적으로, 영상(500) 내 비행 조종실(402)의 라이브 뷰는 영상(500)에서 가시적인 결함 장소들을 표시하기 위해 증강된다. 이 예시에서, 결함 장소(410), 결함 장소(412) 및 결함 장소(414)는 여전히 가시적이고 각각 별 모양 표시(430), 별 모양 표시(432) 및 별 모양 표시(434)를 이용하여 표시된다. 결함 장소(420)는 별 모양 표시(510)를 가지며, 결함 장소(422)는 별 모양 표시(512)를 갖는다.

이제 도 6을 참고하면, 실례가 되는 실시예에 따라 항공기의 파노라마 뷰의 예시가 묘사된다. 영상(600)에는 실제 외부에서 본 항공기(403)가 묘사된다. 영상(600)은 도 2에서 휴대용 컴퓨팅 장치(214)에 의해 생성된 영상(238)의 다른 예시이다.

이러한 뷰에서, 휴대용 컴퓨팅 장치(214)의 위치는 항공기(403)의 파노라마 뷰(602)를 야기하는 항공기(403)로부터 선택된 거리이다. 이러한 뷰에서, 그래픽 지표들과 함께 증강된 영상(600)은 영상(600) 내 항공기(403)에 대한 모든 결함 장소들을 보여준다.

이 예시에서, 그래픽 지표들은 결함들이 영상(600) 내 라이브 뷰에서 외부에 가시적인지 여부를 나타낸다. 이 예시에서, 별 모양 표시 형태를 가진 그래픽 지표들은 가시적인 결함 장소들을 나타낸다. 원의 형태를 가진 그래픽 지표들은 가려진 결함 장소들을 나타낸다.

이 예시에서, 파노라마 뷰(602)는 영상(600) 내 이러한 항공기(403)의 뷰에서 가시적인 결함 장소들을 나타내기 위해 별 모양 표시(610), 별 모양 표시(612), 별 모양 표시(614), 별 모양 표시(616), 별 모양 표시(618), 별 모양 표시(620), 별 모양 표시(622), 별 모양 표시(624)를 포함한다.

묘사된 바와 같이, 영상(600)에서 이러한 항공기(403)의 뷰에서 가려진 결함 장소들은 원(630), 원(632), 원(634), 원(636), 원(638), 원(640), 원(642), 원(644), 원(646), 원(648), 원(650), 원(652) 및 원(654)을 포함한다.

이러한 방식으로, 인간 조작자는 어떠한 결함 장소들이 실제로 영상(600) 내 항공기(403)의 라이브 뷰에서 가시적인지를 식별할 수 있다.

이제 도 7로 넘어가면, 실례가 되는 실시예에 따라 물리적 물체에 대한 결함 데이터를 시각화하기 위한 프로세스의 흐름도가 묘사된다. 도 7의 프로세스는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 모두에서 구현될 수 있다. 소프트웨어에서 구현될 경우, 프로세스는 하나 이상의 컴퓨터 시스템에서 하나 이상의 하드웨어 장치에 위치하는 하나 이상의 프로세서 유닛에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들면, 이러한 프로세스들은 도 1의 태블릿 컴퓨터(108) 또는 도 2의 휴대용 컴퓨팅 장치(214)에서 구현될 수 있다. 이러한 프로세스들은 이러한 컴퓨팅 시스템들 중 하나에 위치한 증강 현실 애플리케이션에서 구현될 수 있다.

프로세스는 정의된 좌표 큐브에서 물리적 물체 상 결함 장소들에 대응하는 지점들을 플롯팅함으로써 시작한다(동작(700)). 동작(700)에서, 정의된 좌표 큐브는 모델링되는 물리적 물체의 영역을 정의한다.

실례가 되는 예시에서, 정의된 좌표 큐브는 물리적 물체의 전부 또는 일부를 포함할 수 있다. 물리적 물체의 얼마나 많은 부분이 모델링 될지에 대한 선택은 물리적 물체의 모델에 대해 생성되는 데이터의 양에 대해 이용 가능한 처리 자원에 달려 있다.

프로세스는 휴대용 컴퓨팅 장치에 의해 얻어지는 물리적 물체의 영역의 영상에서 가시적인 물리적 물체의 영역에 대응하는 정의된 좌표 큐브 내 플롯팅된 지점들의 부분집합을 결정하며, 이 부분집합은 휴대용 컴퓨팅 장치의 위치에서 봤을 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들을 제외한다(동작(702)). 이러한 지점들의 부분집합은 영상에서 물리적 물체의 구조체에 의한 뷰에서 가려진 결함 장소들은 제외한다. 동작(702)이 구현될 수 있는 하나의 방식은 영상에 표시된 물리적 물체 구조체로부터 각 결함 장소의 거리가 뷰로부터 가려진 결함 장소에 대응하는 미리 결정된 거리를 넘는 것으로 결정함으로써 결함 장소들에 대해 남은 지점들 중 어느 것이 가려질 것인지를 결정하는 단계를 포함하여 구현될 수 있다.

프로세스는 휴대용 컴퓨팅 장치에서 표시 시스템 상에 표시되는 영상 내 물리적 물체에 대한 결함 장소들의 부분집합과 연관된, 영상에서 가시적인 지점들의 부분집합에 대한 결함 데이터를 표시한다(동작(704)). 이후 프로세스는 종료한다.

다음으로 도 8을 참고하면, 실례가 되는 실시예에 따라 지점들의 부분집합을 결정하기 위한 프로세스의 흐름도의 예시가 묘사된다. 도 8에 도시된 프로세스는 휴대용 컴퓨팅 장치의 현재 위치에서 휴대용 컴퓨팅 장치에 가시적인 결함 장소들에 대한 지점들의 부분집합이 식별되는 도 7 내 동작(702)에 대한 하나의 구현 예시이다.

프로세스는 휴대용 컴퓨팅 장치의 위치에서 휴대용 컴퓨팅 장치로부터의 뷰에서 가려진 결함 장소들에 대하여 정의된 좌표 큐브 내에서 플롯팅된 지점들이 영상 내 물리적 물체 구조체를 넘어서 미리 결정된 거리에 위치하는 것으로 결정함으로써 시작한다(동작(800)). 프로세스는 물리적 물체 구조체를 넘어 미리 결정된 거리에 있는 이러한 지점들을 제외한다(동작(802)). 남은 지점들은 지점들의 부분집합을 형성한다. 이후 프로세스는 종료한다.

다음으로 도 9로 넘어가면, 실례가 되는 실시예에 따라 휴대용 컴퓨팅 장치의 위치를 식별하기 위한 프로세스의 흐름도의 예시가 묘사된다. 도 9의 프로세스는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 모두에서 구현될 수 있다. 소프트웨어에서 구현될 때, 프로세스들은 하나 이상의 컴퓨터 시스템에서 하나 이상의 하드웨어 장치에 위치하는 하나 이상의 프로세서 유닛에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들면, 이러한 프로세스들은 도 1의 태블릿 컴퓨터(108) 또는 도 2의 휴대용 컴퓨팅 장치(214) 또는 컴퓨터 시스템(216) 중 적어도 하나 상에서 실행될 수 있는 도 2의 위치국한 애플리케이션(222)에서 구현될 수 있다. 이러한 프로세스들은 이러한 컴퓨팅 시스템들 중 하나에 위치하는 증강 현실 애플리케이션에서 구현될 수 있다.

프로세스는 물리적 물체에 대한 장소 타겟의 위치를 잡음으로써 시작한다(동작(900)). 장소 타겟은 특정 물리적 물체 구조체일 수 있다. 예를 들면, 장소 타겟은 바코드, 플레이트, 입구(portal), 출입구(doorway) 또는 물리적 물체에 있는 어떤 다른 적합한 구조체일 수 있다. 이러한 장소 타겟은 물리적 물체의 모델 내 대응하는 위치 뿐만 아니라 물리적 물체 내 알려진 위치를 갖는다.

프로세스는 정의된 좌표 큐브에서 물리적 물체의 영역의 모델을 가지고 휴대용 컴퓨팅 장치의 위치를 국한하기 위해 장소 타겟의 타겟 위치를 이용한다(동작(902)).

프로세스는 물리적 물체에 대한 휴대용 컴퓨팅 장치의 위치를 식별한다(동작(904)). 프로세스는 이후 종료한다.

도 10을 참고하면, 실례가 되는 실시예에 따라 결함 데이터를 필터링하기 위한 프로세스의 흐름도의 예시가 묘사된다. 도 10의 프로세스는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 모두에서 구현될 수 있다. 소프트웨어에서 구현될 때, 프로세스들은 하나 이상의 컴퓨터 시스템에서 하나 이상의 하드웨어 장치에 위치하는 하나 이상의 프로세서 유닛에 의해 실행되는 프로그램 코드의 형태를 취할 수 있다. 예를 들면, 이러한 프로세스들은 도 1의 태블릿 컴퓨터(108) 또는 서버 컴퓨터(110) 중 적어도 하나 또는 도 2의 휴대용 컴퓨팅 장치(214) 또는 컴퓨터 시스템(216) 중 적어도 하나에서 구현될 수 있다. 도 10의 프로세스는 휴대용 컴퓨팅 장치 상에 표시하기 위해 결함 데이터가 선택될 수 있는 방식의 하나의 예시이다.

프로세스는 결함 데이터가 필요한 부피(volume)를 식별함으로써 시작한다(동작(1000)). 동작(1000)에서, 부피는 정의된 좌표 큐브일 수 있다. 프로세스는 휴대용 컴퓨팅 장치들이 위치하는 물리적 물체를 포함하는 물리적 물체들의 집합을 식별한다(동작(1002)). 동작(1002)에서, 물리적 물체들의 집합은 휴대용 컴퓨팅 장치가 위치하는 물리적 물체에 더불어 동일한 종류의 물리적 물체들을 포함할 수 있다. 이러한 방식으로, 동일한 종류의 다른 물리적 물체들에 대해 결함 데이터가 회수(retrieve)될 수 있다. 이러한 종류의 회수는 동일한 종류의 서로 다른 물리적 물체들에 걸쳐 결함들의 비교를 가능하게 한다. 예를 들면, 동일한 종류의 물체들은 특정 라인 또는 제조 시설 상의 모든 물리적 물체들일 수 있다.

프로세스는 또한 결함 데이터가 필요한 시간을 식별한다(동작(1004)). 이러한 시간은 결함들이 현재 존재하는 물리적 물체에 대하여 결함 데이터가 있는 현재 시간일 수 있다. 실례가 되는 다른 예시에서, 시간은 물리적 물체에 대해 해결되었을 수 있는 결함들을 아우르는 시간의 범위일 수 있다.

프로세스는 그 후 이러한 시간 및 물리적 물체들의 집합을 이용하여 결함 데이터를 회수한다(동작(1006)). 이후 프로세스는 종료한다.

묘사된 서로 다른 실시예들에서 흐름도와 블록도들은 실례가 되는 실시예에서 장치들 및 방법들의 몇몇 가능한 구현들의 구조, 기능 및 동작을 나타낸다. 이와 관련하여, 흐름도 또는 블록도에서 각각의 블록은 모듈, 세그먼트, 기능 또는 동작이나 단계의 일부 중 적어도 하나를 나타낼 수 있다. 예를 들면, 하나 이상의 블록은 프로그램 코드, 하드웨어 또는 프로그램 코드와 하드웨어의 조합으로서 구현될 수 있다. 하드웨어에서 구현될 경우, 하드웨어는 예를 들면 흐름도 또는 블록도의 하나 이상의 동작을 수행하도록 제조되거나 구성된 집적 회로의 형태를 취할 수 있다. 프로그램 코드와 하드웨어의 조합으로 구현된 경우, 구현은 펌웨어의 형태를 취할 수 있다. 흐름도 또는 블록도 내 각각의 블록은 특수 목적 하드웨어에 의해 실행되는 프로그램 코드와 특수 목적 하드웨어의 조합 또는 상이한 동작들을 수행하는 특수 목적 하드웨어 시스템들을 이용하여 구현될 수 있다.

실례가 되는 실시예의 대체적인 몇몇 구현에서, 블록으로 표시된 기능 또는 기능들은 도면들에 표시된 순서를 벗어나서 발생할 수 있다. 예를 들면, 몇몇 경우에서는, 수반된 기능성에 따라 연속으로 표시된 두 개의 블록이 실질적으로 동시에 수행될 수 있고, 또는 때로는 블록들이 역순으로 수행될 수도 있다. 또한, 흐름도 또는 블록도에서 도시된 블록들에 더불어 다른 블록들이 추가될 수 있다.

이제 도 11로 넘어가면, 실례가 되는 실시예에 따라 데이터 처리 시스템의 블록도의 실례가 묘사된다. 데이터 처리 시스템(1100)은 도 1의 태블릿 컴퓨터(108)과 서버 컴퓨터(110)를 구현하기 위해 이용될 수 있다. 데이터 처리 시스템(1100)은 또한 도 2의 휴대용 컴퓨팅 장치(214) 및 컴퓨터 시스템(216)을 구현하기 위해서도 사용될 수 있다. 실례가 되는 이 예시에서, 데이터 처리 시스템(1100)은 프로세서 유닛(1104), 메모리(1106), 영구 저장소(persistent storage)(1108), 통신 유닛(1110), 입력/출력(I/O) 유닛(1112) 및 디스플레이(1114) 사이에 통신을 제공하는 통신 프레임워크(1102)를 포함한다. 이 예에서, 통신 프레임워크(1102)는 버스(bus) 시스템의 형태를 취한다.

프로세서 유닛(1104)은 메모리(1106)로 로딩(loading)될 수 있는 소프트웨어를 위한 명령들을 실행한다(execute). 프로세서 유닛(1104)은 하나 이상의 프로세서를 포함한다. 예를 들면, 프로세서 유닛(1104)은 멀티코어(multicore) 프로세서, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 물리 처리 장치(PPU), 디지털 신호 프로세서(DSP), 네트워크 프로세서 또는 어떤 다른 적합한 종류의 프로세서 중 적어도 하나로부터 선택될 수 있다.

메모리(1106)와 영구 저장소(1108)는 저장 장치들(1116)의 예들이다. 저장 장치는 예를 들면, 이에 제한되지는 않지만, 기능적 형태의 프로그램 코드, 데이터 또는 다른 적합한 정보 중 적어도 하나와 같은 정보를 임시적으로, 영구적으로 또는 임시적이며 영구적으로 저장할 수 있는 임의의 하드웨어이다. 저장 장치들(1116)은 이러한 실례가 되는 예들에서 컴퓨터 판독가능(computer-readable) 저장 장치들로 불릴 수도 있다. 이러한 예들에서, 메모리(1106)는 예를 들면 임의 접근 메모리(random access memory) 또는 임의의 다른 적합한 휘발성 또는 비휘발성 저장 장치일 수 있다. 영구 저장소(1108)는 특정 구현에 따라 다양한 형태들을 취할 수 있다.

예를 들면, 영구 저장소(1108)는 하나 이상의 구성요소들 또는 장치들을 포함할 수 있다. 예를 들면, 영구 저장소(1108)는 하드 드라이브, SSD(solid-state drive), 플래시 메모리, 재기록 가능한 광 디스크, 재기록 가능한 자기(magnetic) 테이프 또는 위의 것들의 어떤 조합일 수 있다. 영구 저장소(1108)에 의해 이용되는 매체는 또한 제거 가능할 수 있다. 예를 들면, 제거 가능한 하드 드라이브가 영구 저장소(1108)를 위해 이용될 수 있다.

이러한 실례가 되는 예들에서, 통신 유닛(1110)은 다른 데이터 처리 시스템들 또는 장치들과의 통신을 제공한다. 이러한 실례가 되는 예들에서, 통신 유닛(1110)은 네트워크 인터페이스 카드(network interface card)이다.

입력/출력 유닛(1112)은 데이터 처리 시스템(1100)에 연결되어 있을 수 있는 다른 장치들과의 데이터의 입력과 출력을 허용한다. 예를 들면, 입력/출력 유닛(1112)은 키보드, 마우스 또는 어떤 다른 적합한 입력 장치 중 적어도 하나를 통해 사용자 입력을 위한 연결을 제공할 수 있다. 또한, 입력/출력 장치(1112)는 프린터로 출력을 보낼 수 있다. 디스플레이(1114)는 사용자에게 정보를 표시하기 위한 매커니즘(mechanism)을 제공한다.

운영 시스템, 애플리케이션들 또는 프로그램들 중 적어도 하나를 위한 명령들은 통신 프레임워크(1102)를 통해 프로세서 유닛(1104)과 통신하는 저장 장치들(1116)에 위치할 수 있다. 상이한 실시예들의 프로세스들은 메모리(1106)와 같은 메모리에 위치할 수 있는 컴퓨터로 구현되는 명령들을 이용하여 프로세서 유닛(1104)에 의해 수행될 수 있다.

이러한 명령들은 프로세서 유닛(1104)에서 프로세서에 의해 판독되고 실행(execute)될 수 있는 프로그램 코드, 컴퓨터가 이용할 수 있는 프로그램 코드 또는 컴퓨터 판독가능 프로그램 코드로 불린다. 상이한 실시예들에서 프로그램 코드는 메모리(1106) 또는 영구 저장소(1108)와 같이, 상이한 물리적 또는 컴퓨터 판독가능 저장 매체 상에 구체화(embody) 될 수 있다.

프로그램 코드(1118)는 프로세서 유닛(1104)에 의한 실행(execution)을 위해 데이터 처리 시스템(1100)으로 로딩되거나 전달될 수 있고 선택적으로 제거 가능한 컴퓨터 판독가능 매체(1120) 상에 기능적 형태로 위치한다. 프로그램 코드(1118) 및 컴퓨터 판독가능 매체(1120)는 이러한 실례가 되는 예들에서 컴퓨터 프로그램 제품(1122)을 형성한다. 실례가 되는 예에서, 컴퓨터 판독가능 매체(1120)는 컴퓨터 판독가능 저장 매체(1124)이다.

이러한 실례가 되는 예들에서, 컴퓨터 판독가능 저장 매체(1124)는 프로그램 코드(1118)를 전파하거나 전송하는 매체보다는 프로그램 코드(1118)를 저장하기 위해 이용되는 물리적 또는 유형의(tangible) 저장 장치이다.

대체적으로(alternatively), 프로그램 코드(1118)는 컴퓨터 판독가능 신호 매체를 이용하여 데이터 처리 시스템(1100)으로 전달될 수 있다. 예를 들면 컴퓨터 판독가능 신호 매체는 프로그램 코드(1118)를 포함하는 전파된 데이터 신호일 수 있다. 예를 들면, 컴퓨터 판독가능 신호 매체는 전자기 신호, 광학 신호 또는 임의의 다른 적합한 종류의 신호 중 적어도 하나일 수 있다. 이러한 신호들은 무선 연결들, 광섬유 케이블, 동축(coaxial) 케이블, 와이어(wire) 또는 임의의 다른 적합한 종류의 연결과 같은 연결들을 통해 전송될 수 있다.

데이터 처리 시스템(1100)을 위해 도시된 상이한 구성요소들은 상이한 실시예들이 구현될 수 있는 방식에 구조적 제한을 두기 위해 의도된 것은 아니다. 몇몇 실례가 되는 예시들에서, 하나 이상의 구성요소들은 다른 구성요소와 통합되거나 다른 방식으로 다른 구성요소의 일부를 형성할 수 있다. 예를 들면, 메모리(1106) 또는 메모리(1106)의 일부들은 몇몇 실례가 되는 예시에서 프로세서 유닛(1104)에 통합될 수 있다. 상이한 예시적 실시예들은 데이터 처리 시스템(1100)을 위해 예시된 것들에 추가적으로 또는 이를 대신하여 구성요소들을 포함하는 데이터 처리 시스템에서 구현될 수 있다. 도 11에 나타난 다른 구성요소들은 실례가 되는 나타난 예들로부터 달라질 수 있다. 상이한 실시예들은 프로그램 코드(1118)를 실행할 수 있는 임의의 하드웨어 장치 또는 시스템을 이용하여 구현될 수 있다.

본 개시의 실례가 되는 실시예들은 도 12에 나타나는 항공기 제조 및 서비스 방법(1200)과 도 13에 나타나는 항공기(1300)의 맥락에서 기술될 수 있다. 먼저 도 12로 넘어가면, 실례가 되는 실시예에 따라 항공기 제조 및 서비스 방법의 블록도의 예시가 묘사된다. 생산 이전 단계(pre-production) 동안에, 항공기 제조 및 서비스 방법(1200)은 도 13의 항공기의 사양(specification)과 설계(design)(1202) 및 자재 조달(1204)을 포함할 수 있다.

생산 동안에는, 도 13의 항공기(1300)의 구성요소 및 서브어셈블리(subassembly) 제조(1206)와 시스템 통합(integration)(1208)이 발생한다. 그 후, 도 13의 항공기(1300)는 서비스를 하기 위해 인증과 인도(delivery)(1210)를 거칠 수 있다. 사용자에 의해 서비스 중(1212)에는, 도 13의 항공기(1300)는 변경, 재구성(reconfiguration), 재단장(refurbishment) 및 다른 유지보수 또는 점검을 포함할 수 있는 일상적인 유지보수 및 점검(1214)을 위해 계획된다.

항공기 제조 및 서비스 방법(1200)의 각 프로세스는 시스템 통합자(system integrator), 제3자, 조작자 또는 이들의 어떤 조합에 의해 수행되거나 이행될 수 있다. 이러한 예들에서, 조작자는 고객일 수 있다. 이러한 설명의 목적을 위해, 시스템 통합자는 임의의 수의 항공기 제조자들 및 주요 시스템 하도급업자들(subcontractors)을 포함할 수 있으나 이에 제한되지 않고; 제3자는 임의의 수의 판매자들(vendors), 하도급업자들 및 공급자들을 포함할 수 있으나 이에 제한되지 않으며; 조작자는 항공사, 리스(leasing) 회사, 군사 주체, 서비스 기관 등 일 수 있다.

이제 도 13을 참고하면, 실례가 되는 실시예가 구현될 수 있는 항공기의 블록도의 예시가 묘사된다. 이 예에서, 항공기(1300)는 도 12의 항공기 제조 및 서비스 방법(1200)에 의해 생산되며 내부(interior)(1306) 및 복수의 시스템들(1304)과 함께 기체(airframe)(1302)를 포함할 수 있다. 시스템들(1304)의 예시는 하나 이상의 추진 시스템(1308), 전기 시스템(1310), 유압(hydraulic) 시스템(1312) 및 환경(environmental) 시스템(1314)을 포함한다. 임의의 수의 다른 시스템들도 포함될 수 있다. 비록 항공우주 예시가 나타나 있지만, 상이한 실례가 되는 실시예들이 자동차 산업과 같은 다른 산업들에 적용될 수 있다.

본 개시에서 구체화된 장치들 및 방법들은 도 12의 항공기 제조 및 서비스 방법의 적어도 하나의 단계 동안에 이용될 수 있다.

실례가 되는 하나의 예에서, 도 12의 구성요소 및 서브어셈블리 제조(1206)에서 생산된 구성요소들 또는 서브어셈블리들은 항공기(1300)가 도 12의 서비스 중(1212)인 동안에 생산되는 구성요소들 또는 서브어셈블리들과 유사한 방식으로 제작되거나 제조될 수 있다. 또 다른 예로서, 하나 이상의 장치 실시예들, 방법 실시예들 또는 이들의 조합은 도 12의 구성요소 및 서브어셈블리 제조(1206) 및 시스템 통합(1208)과 같은 생산 단계들 동안에 활용될 수 있다. 하나 이상의 장치 실시예들, 방법 실시예들 또는 이들의 조합은 항공기(1300)가 서비스 중(1212)인 동안, 도 12의 유지보수 및 점검(1214) 동안 또는 둘 모두에서 활용될 수 있다. 예를 들면, 도 2의 증강 현실 시스템(212)은 제조 국면에서 항공기(1300) 내 부품들 또는 조립체들에 존재할 수 있는 결함들을 시각화하기 위해 구성요소 및 서브어셈블리 제조(1206) 및 시스템 통합(1208) 동안에 활용될 수 있다. 더불어, 증강 현실 시스템(212)은 유지보수 및 점검(1214) 동안 결함들의 위치를 확인하기 위해서도 이용될 수 있다.

다수의 상이한 실례가 되는 실시예들의 이용은 실질적으로 항공기(1300)의 조립을 가속화하거나 항공기(1300)의 가격을 낮추거나 또는 항공기(1300)의 조립을 가속화하면서 항공기(1300)의 가격을 낮출 수 있다. 도 2의 증강 현실 시스템(212)의 사용은 항공기(1300) 또는 항공기(1300)에 대한 부품들 또는 조립체들의 라이브 뷰를 증강하는 것을 통해 결함 장소들을 찾기 위해 필요한 시간을 감소시킨다. 더불어, 증강 현실 시스템(212)은 결함들의 장소 뿐만 아니라 결함 데이터와 함께 라이브 뷰를 증강할 수도 있다.

이제 도 14로 넘어가면, 실례가 되는 실시예에 따라 제품 관리 시스템의 블록도의 예시가 묘사된다. 제품 관리 시스템(1400)은 물리적 하드웨어 시스템이다. 실례가 되는 이 예시에서, 제품 관리 시스템(1400)은 제조 시스템(1402) 또는 유지보수 시스템(1404) 중 적어도 하나를 포함할 수 있다.

제조 시스템(1402)은 도 13의 항공기(1300)와 같은 제품들을 제조하도록 구성된다. 묘사된 바와 같이, 제조 시스템(1402)은 제조 장비(equipment)(1406)를 포함한다. 제조(manufacturing) 장비(1406)는 제작(fabrication) 장비(1408) 또는 조립 장비(1410) 중 적어도 하나를 포함한다.

제작 장비(1408)는 도 13의 항공기(1300)를 형성하기 위해 이용되는 부품들을 위한 구성요소들을 제작하기 위해 이용될 수 있는 장비이다. 예를 들면, 제작 장비(1408)는 기계들 및 도구들을 포함할 수 있다. 이러한 기계들 및 도구들은 드릴, 유압 프레스(hydraulic press), 화로(furnace), 몰드(mold), 복합 테이프 적층 기계(composite tape laying machine), 진공 시스템, 선반(lathe) 또는 다른 적합한 종류들의 장비 중 적어도 하나일 수 있다. 제작 장비(1408)는 금속 부품들, 복합체 부품들, 반도체들, 회로들, 조임쇠들, 리브(rib)들, 스킨 패널들, 스파(spar)들, 안테나들 또는 다른 적합한 종류의 부품들 중 적어도 하나를 제작하기 위해 이용될 수 있다.

조립 장비(1410)는 도 13의 항공기(1300)를 형성하기 위한 부품들을 조립하기 위해 이용되는 장비이다. 특히, 조립 장비(1410)는 도 13의 항공기(1300)를 형성하기 위해 구성요소들 및 부품들을 조립하기 위해 이용될 수 있다. 조립 장비(1410)도 기계들 및 도구들을 포함할 수 있다. 이러한 기계들 및 도구들은 로봇 팔(robotic arm), 크롤러(crawler), 조임쇠 설치 시스템, 레일(rail) 기반 드릴링(drilling) 시스템 또는 로봇 중 적어도 하나일 수 있다. 조립 장비(1410)는 좌석들, 수평 안정판(stabilizer)들, 날개들, 엔진들, 엔진 하우징들, 랜딩 기어 시스템들 및 도 13의 항공기(1300)를 위한 다른 부품들과 같은 부품들을 조립하기 위해 이용될 수 있다.

이러한 실례가 되는 예에서, 유지보수 시스템(1404)은 유지보수 장비(1412)를 포함한다. 유지보수 장비(1412)는 도 13의 항공기(1300) 상에 유지보수를 수행하기 위해 필요한 임의의 장비를 포함할 수 있다. 유지보수 장비(1412)는 도 13의 항공기(1300) 상의 부품들에 상이한 동작들을 수행하기 위한 도구들을 포함할 수 있다. 이러한 동작들은 부품들을 해체하는 것, 부품들을 재단장하는 것, 부품들을 검사하는 것, 부품들을 재작업하는 것, 교체 부품들을 제조하는 것 또는 도 13의 항공기(1300) 상 유지보수를 수행하기 위한 다른 동작들 중 적어도 하나를 포함할 수 있다. 이러한 동작들은 일상적인 유지보수, 검사, 업그레이드, 재단장 또는 다른 종류의 유지보수 동작들을 위한 것일 수 있다.

실례가 되는 예에서, 유지보수 장비(1412)는 초음파 검사 장치들, X-레이 이미징(imaging) 시스템들, 시각 시스템들, 드릴들, 크롤러들 및 다른 적합한 장치들을 포함할 수 있다. 몇몇 경우에, 유지보수 장비(1412)는 유지보수를 위해 필요할 수 있는 부품들을 생산하고 조립하기 위해 제작 장비(1408), 조립 장비(1410) 또는 둘 다를 포함할 수 있다.

제품 관리 시스템(1400)은 제어 시스템(1414)도 포함한다. 제어 시스템(1414)은 하드웨어 시스템이고 소프트웨어 또는 다른 종류들의 구성요소들을 포함할 수도 있다. 제어 시스템(1414)은 제조 시스템(1402) 또는 유지보수 시스템(1404) 중 적어도 하나의 동작을 제어하도록 구성된다. 특히, 제어 시스템(1414)은 제작 장비(1408), 조립 장비(1410) 또는 유지보수 장비(1412) 중 적어도 하나의 동작을 제어할 수 있다.

제어 시스템(1414) 내 하드웨어는 컴퓨터들, 회로들, 네트워크들 및 다른 종류의 장비들을 포함할 수 있는 하드웨어를 이용하여 구현될 수 있다. 제어는 제조 장비(1406)의 직접 제어의 형태를 취할 수 있다. 예를 들면, 로봇들, 컴퓨터에 의해 제어되는 기계들 및 다른 장비가 제어 시스템(1414)에 의해 제어될 수 있다. 다른 실례가 되는 예들에서, 제어 시스템(1414)은 항공기(1300) 상 유지보수를 수행하거나 제조하는 데 있어서 인간 조작자들(1416)에 의해 수행되는 동작들을 관리할 수 있다. 예를 들면, 제어 시스템(1414)은 업무들을 할당하거나, 명령들을 제공하거나, 모델들을 표시하거나 또는 인간 조작자들(1416)에 의해 수행되는 동작들을 관리하기 위한 다른 동작들을 수행할 수 있다. 이러한 실례가 되는 예들에서, 도 2의 증강 현실 시스템(212)은 도 13의 항공기(1300)의 제조 또는 유지보수 중 적어도 하나를 관리하기 위해 제어 시스템(1414)에서 구현될 수 있다.

예를 들면, 증강 현실 시스템(212)은 결함들에 대하여 얻어내기 위해 인간 조작자들(1416)에 의해 이용될 수 있다. 예를 들면, 증강 현실 시스템(212) 내 휴대용 컴퓨팅 장치(214)는 제조 국면 동안에 부품들, 조립체들 또는 제품의 라이브 뷰들을 증강할 수 있다.

증강은 인간 조작자들(1416)이 더 적은 시간에 결함 장소들을 찾아낼 수 있도록 하기 위해 이용될 수 있다. 또한, 증강은 도 13의 항공기의 제조 및 유지보수(1300) 중 적어도 하나를 제어함에 있어서 인간 조작자들(1416)에게 정보와 명령을 제공하기 위해서도 이용될 수 있다.

실례가 되는 상이한 예시들에서, 인간 조작자들(1416)은 제조 장비(1406), 유지보수 장비(1412) 또는 제어 시스템(1414) 중 적어도 하나를 동작시키거나 이와 상호작용 할 수 있다. 이러한 상호작용은 도 13의 항공기(1300)를 제조하기 위해 수행될 수 있다.

당연히, 제품 관리 시스템(1400)은 도 13의 항공기(1300) 외의 다른 제품들을 관리하도록 구성될 수 있다. 비록 제품 관리 시스템(1400)이 항공우주 산업에서 제조와 관련하여 기술되었지만, 제품 관리 시스템(1400)은 다른 산업들을 위한 제품들을 관리하도록 구성될 수 있다. 예를 들면, 제품 관리 시스템(1400)은 임의의 다른 적합한 산업들 뿐만 아니라 자동차 산업을 위한 제품들을 제조하도록 구성될 수 있다.

따라서, 실례가 되는 예시는 인간 조작자가 제조 국면 동안 항공기와 같은 물리적 물체 상 결함들의 장소를 식별할 수 있도록 하는 증강 현실 시스템을 제공한다. 실례가 되는 예시들은 3차원 포인트 클라우드 생성, 동시적 위치국한 및 지도형성 프로세스들 및 결함들에 대한 데이터를 결합하여 물리적 물체에 대한 휴대용 컴퓨팅 장치의 상대적 위치에 기초하여 휴대용 컴퓨팅 장치를 작동하는 인간 조작자에게 정보를 제공한다.

이러한 방식으로, 항공기 내 결함들과 같이 종종 정의된 물리적 로컬 좌표계들에서 보기 어려운 결함들은 도 2의 증강 현실 시스템(212)을 이용하여 시각화될 수 있다. 실례가 되는 예시에서, 증강 현실은 포인트 클라우드 모델을 생성하기 위해 3차원 스캐너 기법들을 활용한다. 모델의 지점은 현재 이용 가능한 동시적 위치국한 및 지도형성(SLAM) 프로세스들을 이용하여 기준점에 대한 휴대용 컴퓨팅 장치의 위치를 식별한다. 결함 데이터의 데이터베이스는 휴대용 컴퓨팅 장치로부터의 라이브 뷰에서 가시적인 결함들에 대한 결함 정보를 제공하기 위해 액세스된다.

상이한 실례가 되는 실시예들의 설명이 예시와 설명의 목적들을 위해 제시되었고 개시된 형태의 실시예들로 완결되거나 제한되도록 의도되지 않는다. 상이한 실례가 되는 예들은 행동들 또는 동작들을 수행하는 구성요소들을 기술한다. 실례가 되는 실시예에서, 구성요소는 기술된 행동 또는 동작을 수행하도록 구성될 수 있다. 예를 들면, 구성요소는 실례가 되는 예들에서 그 구성요소에 의해 수행되는 것으로 기술된 행동 또는 동작을 수행하는 능력을 구성요소에 제공하는 구조체를 위한 구성 또는 설계를 가질 수 있다.

또한, 본 개시는 다음의 조항들에 따른 실시예들을 포함한다:

제1항. 물리적 물체(204)에 대한 결함 데이터(210)를 시각화하기 위한 증강 현실 시스템(212)으로서, 증강 현실 시스템(212)은:

센서 시스템(232) 및 표시 시스템(226)을 갖는 휴대용 컴퓨팅 장치(214) - 휴대용 컴퓨팅 장치(214) 및 센서 시스템(232)은 제조 국면(236)에서 물리적 물체(204)에 대한 공간에서의 지점들을 기술하는 스캔 데이터(230)를 생성하도록 구성됨 -;

실행될 때, 스캔 데이터(230)를 이용하여 물리적 물체(204)의 표면 프로파일의 포인트 클라우드 표현(242)을 생성하는 스캔 애플리케이션(218);

실행될 때, 물리적 물체(204)의 영역(240)에 대한 포인트 클라우드 표현(242)을 이용하여 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 생성하는 모델링 애플리케이션(220);

실행될 때, 장소 타겟(250)을 기초로 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한(localize)하고, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 위치국한 애플리케이션(222); 및

증강 현실 애플리케이션(224)을 포함하되, 증강 현실 애플리케이션(224)은 실행될 때,

물리적 물체(204) 상 결함 장소들(208)에 대응하는 정의된 좌표 큐브(246) 내 지점들을 플롯팅하고;

휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246)에서 플롯팅된 지점들(234)의 부분집합(254)을 결정하고, 이때 부분집합(254)은 휴대용 컴퓨팅 장치(214)의 위치(248)에서 볼 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들을 제외하고;

휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 것을 특징으로 하는 증강 현실 시스템(212).

제2항. 제1항에 있어서, 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시함에 있어서, 증강 현실 애플리케이션(224)은 물리적 물체(204)의 영역(240)의 영상(238)에서의 뷰(view)로부터 가려진 결함 장소들(208)에 대한 결함 데이터(210)를 표시하지 않고 휴대용 컴퓨팅 장치(214) 내 표시 시스템(226) 상 표시된 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여, 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 것을 특징으로 하는 증강 현실 시스템(212).

제3항. 제1항에 있어서, 부분집합(254)이 휴대용 컴퓨팅 장치(214)의 위치(248)에서 볼 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들을 제외하는 휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246) 내 플롯팅된 지점들(234)의 부분집합(254)을 결정함에 있어서, 증강 현실 애플리케이션(224)은 결함 장소들(208)에 대하여 정의된 좌표 큐브(246) 내에 플롯팅된 지점들(234) 중 어느 것이 위치(248)에서 휴대용 컴퓨팅 장치(214)로부터의 뷰에서 가려진 영상(238)에서 물리적 물체 구조체를 넘어서 미리 결정된 거리에 위치되어 있는지를 결정하고, 물리적 물체 구조체를 넘어서 미리 결정된 거리인 이러한 지점들은 지점들(234)의 부분집합(254)으로부터 제외되는 것을 특징으로 하는 증강 현실 시스템(212).

제4항. 제1항에 있어서, 물리적 물체(204)는 항공기 구조체이고, 휴대용 컴퓨팅 장치(214)의 위치(248)에서 휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246)에서 플롯팅된 지점들(234)의 부분집합(254)을 결정함에 있어서, 증강 현실 애플리케이션(224)은 뷰로부터 가려져 있는 결함 장소에 대응하는 미리 결정된 거리를 넘는, 표시된 항공기 구조체로부터 각 결함 장소의 거리를 결정하는 것을 특징으로 하는 증강 현실 시스템(212).

제5항. 제1항에 있어서, 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하고 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치를 식별함에 있어서, 위치국한 애플리케이션(222)은 물리적 물체(204)에 대한 장소 타겟(250)의 위치를 잡고, 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하기 위해 장소 타겟(250)의 타겟 위치(252)를 이용하고, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 것을 특징으로 하는 증강 현실 시스템(212).

제6항. 제1항에 있어서, 증강 현실 애플리케이션(224)은 실행될 때 휴대용 컴퓨팅 장치(214)가 파노라마 뷰를 위해 선택된 거리보다 멀리 있는지 여부를 결정하고 모든 결함 장소(208)의 파노라마 뷰를 제공하기 위해 정의된 좌표 큐브(246)에서 모든 결함 장소들(208)에 대한 지점들(234)을 표시하는 것을 특징으로 하는 증강 현실 시스템(212).

제7항. 제1항에 있어서, 증강 현실 애플리케이션(224)은 실행될 때 역사적인 결함 데이터(210) 또는 활성 결함 데이터(210) 중 적어도 하나를 표시하기 위해 시간 정보에 기초하여 결함 데이터(210)를 필터링하는 것을 특징으로 하는 증강 현실 시스템(212).

제8항. 제1항에 있어서, 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)는 실황(live) 결함 데이터(210)인 것을 특징으로 하는 증강 현실 시스템(212).

제9항. 제1항에 있어서, 물리적 물체(204) 상 결함 장소들(208)을 수신하도록 구성된 인터페이스를 더 포함하는 것을 특징으로 하는 증강 현실 시스템(212).

제10항. 제1항에 있어서, 센서 시스템(232)은 3차원 스캐너, 카메라, GPS(global positioning system) 수신기, 구조광 3차원 스캐너, 라이다(lidar) 시스템, 레이저 스캐너, 코노스코픽 홀로그래프(conoscopic holograph) 시스템 또는 TOF(time of flight; 비행시간) 3차원 스캐너 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시스템(212).

제11항. 제1항에 있어서, 휴대용 컴퓨팅 장치(214)는 모바일 폰, 태블릿 컴퓨터, 머리에 장착하는 장치 및 스마트 안경을 포함하는 그룹에서 선택되는 것을 특징으로 하는 증강 현실 시스템(212).

제12항. 제1항에 있어서, 물리적 물체(204)는 모바일 플랫폼, 고정식 플랫폼, 지상 기반 구조체, 수중 기반 구조체, 우주 기반 구조체, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 제조 시설, 건물, 항공기 구조체, 날개, 항공기 동체 섹션(fuselage section), 엔진 하우징, 엔진, 복합재 패널, 벽, 스킨 패널(skin panel) 및 의자를 포함하는 그룹에서 선택되는 것을 특징으로 하는 증강 현실 시스템(212).

제13항. 물체(204)에 대한 결함 데이터(210)를 시각화하기 위한 증강 현실 시스템(212)으로서, 증강 현실 시스템(212)은:

물리적 물체(204)의 영상(238)을 획득하도록 구성된 휴대용 컴퓨팅 장치(214);

휴대용 컴퓨팅 장치(214)에 의해 실행될 때, 정의된 좌표 큐브(246)에서 지점들(234)을 플롯팅하고, 휴대용 컴퓨팅 장치(214)의 위치(248)에서 휴대용 컴퓨팅 장치(214)에 의해 획득되는 영상(238)에서 가시적인 물리적 물체(204)의 영역(240)에 대응하는 정의된 좌표 큐브(246) 내 플롯팅된 지점들(234)의 부분집합(254)을 결정하고, 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상에 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 증강 현실 애플리케이션(224)을 포함하되,

지점들(234)은 물리적 물체(204) 상 결함 장소들(208)에 대응하고,

지점들(234)의 부분집합(254)은 영상(238)에서 물리적 물체(204)의 물리적 물체 구조체에 의한 뷰로부터 가려진 결함 장소들(208)을 제외하는 것을 특징으로 하는 증강 현실 시스템(212).

제14항. 제13항에 있어서, 휴대용 컴퓨팅 장치(214)가 제조 국면(236)에서 물리적 물체(204)에 대한 공간에서의 지점들(234)을 기술하는 스캔 데이터(230)를 생성하도록 구성된 센서 시스템(232)을 포함하고,

상기 증강 현실 시스템(212)은:

실행될 때, 스캔 데이터(230)를 이용하여 물리적 물체(204) 영역(240)의 표면 프로파일의 포인트 클라우드 표현(242)을 생성하는 스캔 애플리케이션(218);

실행될 때, 물리적 물체(204)의 영역(240)에 대한 포인트 클라우드 표현(242)을 이용하여 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 생성하는 모델링 애플리케이션(220);

실행될 때, 장소 타겟(250)을 기초로 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하고, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 위치국한 애플리케이션(222);을 더 포함하는 것을 특징으로 하는 증강 현실 시스템(212).

제15항. 제14항에 있어서, 스캔 애플리케이션(218), 모델링 애플리케이션(220) 및 위치국한 애플리케이션 중 적어도 하나가 위치하는 컴퓨터 시스템을 더 포함하는 것을 특징으로 하는 증강 현실 시스템(212).

제16항. 제14항에 있어서, 스캔 애플리케이션(218), 모델링 애플리케이션(220) 및 위치국한 애플리케이션(222) 중 적어도 하나가 휴대용 컴퓨팅 장치(214)에 위치하는 것을 특징으로 하는 증강 현실 시스템(212).

제17항. 제13항에 있어서, 휴대용 컴퓨팅 장치(214)의 위치(248)에서 휴대용 컴퓨팅 장치(214)에 의해 획득되는 영상(238)에서 가시적인 물리적 물체(204)의 영역(240)에 대응하는 정의된 좌표 큐브(246) 내 플롯팅된 지점들(234)의 부분집합(254)을 결정함에 있어서, 증강 현실 애플리케이션(224)은 결함 장소들(208)에 대하여 정의된 좌표 큐브(246) 내에 플롯팅된 지점들(234) 중 어느 것이 위치(248)에서 휴대용 컴퓨팅 장치(214)로부터의 뷰에서 가려진 영상(238) 내 물리적 물체(204)의 물리적 물체 구조체를 넘어서 미리 결정된 거리에 위치하는지를 결정하고, 물리적 물체 구조체를 넘어서 미리 결정된 거리인 이러한 지점들은 지점들(234)의 부분집합(254)으로부터 제외되는 것을 특징으로 하는 증강 현실 시스템(212).

제18항. 물리적 물체(204)에 대한 결함 데이터(210)를 시각화하기 위한 방법으로서:

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 물리적 물체(204) 상 결함 장소들(208)에 대응하는 지점들(234)을 정의된 좌표 큐브(246)에서 플롯팅하는 단계;

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 휴대용 컴퓨팅 장치(214)에 의해 획득된 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 물리적 물체(204)의 영역(240)에 대응하는 정의된 좌표 큐브(246) 내 플롯팅된 지점들(234)의 부분집합(254)을 결정하는 단계 - 부분집합(254)은 휴대용 컴퓨팅 장치(214)의 위치(248)에서 볼 때 물리적 물체 구조체를 넘어서 위치한 것으로 결정된 플롯팅된 지점들을 제외하고, 지점들(234)의 부분집합(254)은 영상(238) 내 물리적 물체(204)의 물리적 물체 구조체에 의한 뷰로부터 가려지는 결함 장소들(208)을 제외함 -; 및

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시된 영상(238) 내 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 단계;를 포함하는 것을 특징으로 하는 방법.

제19항. 제18항에 있어서, 결정하는 단계는:

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 위치(248)에서 휴대용 컴퓨팅 장치(214)로부터의 뷰에서 가려진 결함 장소들(208)에 대하여 정의된 좌표 큐브(246) 내에 플롯팅된 지점들(234)이 영상(238) 내 물리적 물체 구조체를 넘어서 미리 결정된 거리에 위치하는 것으로 결정하는 단계; 및

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 물리적 물체 구조체를 넘어서 미리 결정된 거리에 있는 이러한 지점들을 제외하는 단계 - 남은 지점들(258)은 지점들(234)의 부분집합(254)을 형성함 -;를 포함하는 것을 특징으로 하는 방법.

제20항. 제18항에 있어서, 결정하는 단계는:

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 영상(238)에 표시된 물리적 물체 구조체로부터 각 결함 장소의 거리가 뷰에서 가려져 있는 결함 장소에 대응하는 미리 결정된 거리를 넘는 것으로 결정함으로써 결함 장소들(208)에 대한 남은 지점들(258) 중 어떤 것들이 가려질지를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.

제21항. 제18항에 있어서,

물리적 물체(204)에 대한 장소 타겟(250)의 위치를 국한하는 단계;

장소 타겟(250)에 기초하여 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하기 위해 장소 타겟(250)의 타겟 위치(252)를 이용하는 단계; 및

물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 단계;를 더 포함하는 것을 특징으로 하는 방법.

제22항. 제18항에 있어서, 표시하는 단계는:

휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 물리적 물체(204)의 영역(240)의 영상(238)에서 뷰로부터 가려진 결함 장소들(208)에 대한 결함 데이터(210)를 표시하지 않고 휴대용 컴퓨팅 장치(214) 내 표시 시스템(226) 상 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.

제23항. 제18항에 있어서,

휴대용 컴퓨팅 장치(214)가 파노라마 뷰에 대하여 선택된 거리보다 멀리 있고 모든 결함 장소들(208)의 파노라마 뷰를 제공하기 위해 정의된 좌표 큐브(246)에서 모든 결함 장소들(208)에 대한 지점들(234)을 표시할지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.

제24항. 제18항에 있어서, 역사적인 결함 데이터(210) 또는 활성 결함 데이터(210) 중 적어도 하나를 표시하기 위해, 증강 현실 애플리케이션(224)은 실행될 때, 시간 정보에 기초하여 결함 데이터(210)를 필터링하는 것을 특징으로 하는 방법.

제25항. 제18항에 있어서, 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)는 실황 결함 데이터(210)인 것을 특징으로 하는 방법.

제26항. 제18항에 있어서, 휴대용 컴퓨팅 장치(214)는 모바일 폰, 태블릿 컴퓨터, 머리에 장착하는 장치 및 스마트 안경을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 방법.

제27항. 제18항에 있어서, 물리적 물체(204)는 모바일 플랫폼, 고정식 플랫폼, 지상 기반 구조체, 수중 기반 구조체, 우주 기반 구조체, 항공기, 상업용 항공기, 회전익기, 선박, 탱크, 병력 수송차, 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 제조 시설, 건물, 항공기 구조체, 날개, 항공기 동체 섹션 , 엔진 하우징, 엔진, 복합재 패널, 벽, 스킨 패널 및 의자를 포함하는 그룹에서 선택되는 것을 특징으로 하는 방법.

본 기술분야의 당업자에게는 많은 변경들과 변형들이 명백할 것이다. 또한, 상이한 실례가 되는 실시예들은 다른 바람직한 실시예들과 비교하여 상이한 특징들을 제공할 수 있다. 선택된 실시예 또는 실시예들은 실시예들의 원칙들과 실용적인 적용을 가장 잘 설명하고, 예상되는 특정 용도에 적당한 다양한 수정들을 갖는 다양한 실시예들을 위해 본 개시를 본 기술분야의 다른 당업자들이 이해할 수 있도록 하기 위해 선택되고 기술된다.

Claims (15)

1. 물리적 물체(204)에 대한 결함(nonconformance) 데이터(210)를 시각화하기 위한 증강 현실 시스템(212)으로서, 증강 현실 시스템(212)은:
   센서 시스템(232) 및 표시 시스템(226)을 갖는 휴대용 컴퓨팅 장치(214) - 휴대용 컴퓨팅 장치(214) 및 센서 시스템(232)은 제조 국면(236)에서 물리적 물체(204)에 대한 공간에서의 지점들을 기술하는 스캔 데이터(230)를 생성하도록 구성됨 -;
   실행될 때, 스캔 데이터(230)를 이용하여 물리적 물체(204)의 표면 프로파일의 포인트 클라우드 표현(242)을 생성하는 스캔 애플리케이션(218);
   실행될 때, 물리적 물체(204)의 영역(240)에 대한 포인트 클라우드 표현(242)을 이용하여 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 생성하는 모델링 애플리케이션(220);
   실행될 때, 장소 타겟(250)을 기초로 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한(localize)하고, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 위치국한 애플리케이션(222); 및
   증강 현실 애플리케이션(224)을 포함하되, 증강 현실 애플리케이션(224)은 실행될 때,
   물리적 물체(204) 상 결함 장소들(208)에 대응하는 정의된 좌표 큐브(246) 내 지점들을 플롯팅하고;
   휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246)에서 플롯팅된 지점들(234)의 부분집합(254)을 결정하고, 이때 부분집합(254)은 휴대용 컴퓨팅 장치(214)의 위치(248)에서 볼 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들을 제외하고;
   휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 것을 특징으로 하는 증강 현실 시스템(212).
2. 제1항에 있어서,
   휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여, 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시함에 있어서, 증강 현실 애플리케이션(224)은 물리적 물체(204)의 영역(240)의 영상(238)에서의 뷰(view)로부터 가려진 결함 장소들(208)에 대한 결함 데이터(210)를 표시하지 않고 휴대용 컴퓨팅 장치(214) 내 표시 시스템(226) 상 표시된 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여, 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 것을 특징으로 하는 증강 현실 시스템(212).
3. 제1항에 있어서,
   부분집합(254)이 휴대용 컴퓨팅 장치(214)의 위치(248)에서 볼 때 물리적 물체 구조체를 넘어서 위치하는 것으로 결정된 플롯팅된 지점들을 제외하는, 휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246) 내 플롯팅된 지점들(234)의 부분집합(254)을 결정함에 있어서, 증강 현실 애플리케이션(224)은 결함 장소들(208)에 대하여 정의된 좌표 큐브(246) 내에 플롯팅된 지점들(234) 중 어느 것이 위치(248)에서 휴대용 컴퓨팅 장치(214)로부터의 뷰에서 가려진 영상(238)에서 물리적 물체 구조체를 넘어서 미리 결정된 거리에 위치되어 있는지를 결정하고, 물리적 물체 구조체를 넘어서 미리 결정된 거리인 이러한 지점들은 지점들(234)의 부분집합(254)으로부터 제외되는 것을 특징으로 하는 증강 현실 시스템(212).
4. 제1항에 있어서,
   물리적 물체(204)는 항공기 구조체이고, 휴대용 컴퓨팅 장치(214)의 위치(248)에서 휴대용 컴퓨팅 장치(214)에 의해 획득되는 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 정의된 좌표 큐브(246)에서 플롯팅된 지점들(234)의 부분집합(254)을 결정함에 있어서, 증강 현실 애플리케이션(224)은 뷰로부터 가려져 있는 결함 장소에 대응하는 미리 결정된 거리를 넘는, 표시된 항공기 구조체로부터 각 결함 장소의 거리를 결정하는 것을 특징으로 하는 증강 현실 시스템(212).
5. 제1항에 있어서,
   정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하고 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치를 식별함에 있어서, 위치국한 애플리케이션(222)은 물리적 물체(204)에 대한 장소 타겟(250)의 위치를 잡고, 정의된 좌표 큐브(246)에서 물리적 물체(204)의 영역(240)의 모델(244)을 가지고 휴대용 컴퓨팅 장치(214)의 위치를 국한하기 위해 장소 타겟(250)의 타겟 위치(252)를 이용하고, 물리적 물체(204)에 대한 휴대용 컴퓨팅 장치(214)의 위치(248)를 식별하는 것을 특징으로 하는 증강 현실 시스템(212).
6. 제1항에 있어서,
   증강 현실 애플리케이션(224)은 실행될 때 휴대용 컴퓨팅 장치(214)가 파노라마 뷰를 위해 선택된 거리보다 멀리 있는지 여부를 결정하고 모든 결함 장소(208)의 파노라마 뷰를 제공하기 위해 정의된 좌표 큐브(246)에서 모든 결함 장소들(208)에 대한 지점들(234)을 표시하는 것을 특징으로 하는 증강 현실 시스템(212).
7. 제1항에 있어서,
   증강 현실 애플리케이션(224)은 실행될 때 역사적인 결함 데이터(210) 또는 활성 결함 데이터(210) 중 적어도 하나를 표시하기 위해 시간 정보에 기초하여 결함 데이터(210)를 필터링하는 것을 특징으로 하는 증강 현실 시스템(212).
8. 제1항에 있어서,
   지점들(234)의 부분집합(254)에 대한 결함 데이터(210)는 실황(live) 결함 데이터(210)인 것을 특징으로 하는 증강 현실 시스템(212).
9. 제1항에 있어서,
   물리적 물체(204) 상 결함 장소들(208)을 수신하도록 구성된 인터페이스를 더 포함하는 것을 특징으로 하는 증강 현실 시스템(212).
10. 제1항에 있어서,
    센서 시스템(232)은 3차원 스캐너, 카메라, GPS(global positioning system) 수신기, 구조광 3차원 스캐너, 라이다(lidar) 시스템, 레이저 스캐너, 코노스코픽 홀로그래프(conoscopic holograph) 시스템 또는 TOF(time of flight; 비행시간) 3차원 스캐너 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시스템(212).
11. 제1항에 있어서,
    휴대용 컴퓨팅 장치(214)는 지상 기반 구조체, 수중 기반 구조체, 우주 기반 구조체, 항공기, 상업용 항공기, 회전익기(rotorcraft), 선박(surface ship), 탱크, 병력 수송차(personnel carrier), 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 제조 시설, 건물, 항공기 구조체, 날개, 항공기 동체 섹션(fuselage section), 엔진 하우징, 엔진, 복합재 패널, 벽 및 스킨 패널(skin panel) 중 어느 하나를 포함하는 물리적 물체(204)에 대한 결함 데이터를 표시하기 위한 디스플레이를 포함하는 모바일 폰, 태블릿 컴퓨터, 머리에 장착하는 장치 및 스마트 안경을 포함하는 그룹에서 선택되는 것을 특징으로 하는 증강 현실 시스템(212).
12. 물리적 물체(204)에 대한 결함 데이터(210)를 시각화하기 위한 방법으로서:
    휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 물리적 물체(204) 상 결함 장소들(208)에 대응하는 지점들(234)을 정의된 좌표 큐브(246)에서 플롯팅하는 단계;
    휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 휴대용 컴퓨팅 장치(214)에 의해 획득된 물리적 물체(204)의 영역(240)의 영상(238)에서 가시적인 물리적 물체(204)의 영역(240)에 대응하는 정의된 좌표 큐브(246) 내 플롯팅된 지점들(234)의 부분집합(254)을 결정하는 단계 - 부분집합(254)은 휴대용 컴퓨팅 장치(214)의 위치(248)에서 볼 때 물리적 물체 구조체를 넘어서 위치한 것으로 결정된 플롯팅된 지점들을 제외하고, 지점들(234)의 부분집합(254)은 영상(238) 내 물리적 물체(204)의 물리적 물체 구조체에 의한 뷰로부터 가려지는 결함 장소들(208)을 제외함 -; 및
    휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 휴대용 컴퓨팅 장치(214)에서 표시 시스템(226) 상 표시된 영상(238) 내 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 단계;를 포함하는 것을 특징으로 하는 방법.
13. 제12항에 있어서,
    결정하는 단계는:
    휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 위치(248)에서 휴대용 컴퓨팅 장치(214)로부터의 뷰에서 가려진 결함 장소들(208)에 대하여 정의된 좌표 큐브(246) 내에 플롯팅된 지점들(234)이 영상(238) 내 물리적 물체 구조체를 넘어서 미리 결정된 거리에 위치하는 것으로 결정하는 단계; 및
    휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 물리적 물체 구조체를 넘어서 미리 결정된 거리에 있는 이러한 지점들을 제외하는 단계 - 남은 지점들(258)은 지점들(234)의 부분집합(254)을 형성함 -;를 포함하고,
    방법은, 휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 영상(238)에 표시된 물리적 물체 구조체로부터 각 결함 장소의 거리가 뷰로부터 가려진 결함 장소에 대응하는 미리 결정된 거리를 넘는 것으로 결정함으로써 결함 장소들(208)에 대한 남은 지점들(258) 중 어떤 것들이 가려질지를 결정하는 것을 특징으로 하는 방법.
14. 제12항 또는 제13항에 있어서,
    표시하는 단계는:
    휴대용 컴퓨팅 장치(214) 내 증강 현실 애플리케이션(224)에 의해, 물리적 물체(204)의 영역(240)의 영상(238)에서 뷰로부터 가려진 결함 장소들(208)에 대한 결함 데이터(210)를 표시하지 않고 휴대용 컴퓨팅 장치(214) 내 표시 시스템(226) 상 표시되는 영상(238)에서 물리적 물체(204)에 대한 결함 장소들(208)의 부분집합(256)과 연관하여 영상(238)에서 가시적인 지점들(234)의 부분집합(254)에 대한 결함 데이터(210)를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
15. 제12항 내지 제14항 중 어느 하나에 있어서,
    휴대용 컴퓨팅 장치(214)는 모바일 폰, 태블릿 컴퓨터, 머리에 장착하는 장치 및 스마트 안경을 포함하는 그룹으로부터 선택되고, 지상 기반 구조체, 수중 기반 구조체, 우주 기반 구조체, 항공기, 상업용 항공기, 회전익기, 선박, 탱크, 병력 수송차, 기차, 우주선, 우주 정거장, 위성, 잠수함, 자동차, 발전소, 다리, 댐, 집, 제조 시설, 건물, 항공기 구조체, 날개, 항공기 동체 섹션 , 엔진 하우징, 엔진, 복합재 패널, 벽, 스킨 패널 및 의자 중 어느 하나를 포함하는 물리적 물체(204)에 대한 결함 데이터를 표시하기 위한 디스플레이를 포함하는 것을 특징으로 하는 방법.

Images