KR20200084784A - 개선된 모델들을 사용하는 증강 현실 시스템 - Google Patents
개선된 모델들을 사용하는 증강 현실 시스템 Download PDFInfo
- Publication number
- KR20200084784A KR20200084784A KR1020190160926A KR20190160926A KR20200084784A KR 20200084784 A KR20200084784 A KR 20200084784A KR 1020190160926 A KR1020190160926 A KR 1020190160926A KR 20190160926 A KR20190160926 A KR 20190160926A KR 20200084784 A KR20200084784 A KR 20200084784A
- Authority
- KR
- South Korea
- Prior art keywords
- physical object
- images
- scan data
- computer system
- computing device
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 105
- 238000004891 communication Methods 0.000 claims abstract description 71
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 description 55
- 238000012545 processing Methods 0.000 description 47
- 238000004519 manufacturing process Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 29
- 238000012423 maintenance Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 24
- 238000012800 visualization Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000011960 computer-aided design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- -1 mobile phones Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
정보를 시각화하기 위한 방법, 장치 및 시스템이 제공된다. 증강 현실 시스템은 컴퓨터 시스템 및 컴퓨터 시스템 내의 시각화기를 포함한다. 컴퓨터 시스템은 통신 링크들을 사용하여 무인 차량들과 통신한다. 시각화기 시스템은 물리적 객체에 대해 이동하는 무인 차량들로부터 물리적 객체의 이미지들을 수신하고, 무인 차량들로부터 물리적 객체의 영역에 대한 스캔 데이터를 수신한다. 시각화기는 이미지들 및 스캔 데이터를 사용하여 물리적 객체의 개선된 모델을 생성한다. 개선된 모델의 물리적 객체의 영역은 물리적 객체의 다른 영역들보다 더 많은 양의 세부사항을 갖는다. 시각화기는 휴대용 컴퓨팅 디바이스에 의해 물리적 객체의 라이브 뷰 상에 디스플레이 가능한 정보를 휴대용 컴퓨팅 디바이스로 전송한다. 정보는 물리적 객체의 개선된 모델을 사용하여 식별된다.
Description
증강 현실은 컴퓨터 시스템으로부터의 정보로 증강되는 실제 환경과의 상호적인 경험을 수반한다. 정보는 휴대용 컴퓨팅 디바이스를 통해 보이는 실제 환경의 라이브 뷰 상에 디스플레이된다. 정보는 라이브 뷰 내의 객체들에 관한 설명들 또는 표시자들을 사용자에게 제공하는 방식으로 라이브 뷰 상에 디스플레이된다. 이 정보는 증강 현실 정보로도 또한 지칭된다. 다른 경우들에, 증강 현실 정보는 정보가 휴대용 컴퓨팅 디바이스를 통해 보이는 실제 환경의 일부로서 인식되도록 매끄럽게 짜인 방식으로 실제 환경의 라이브 뷰 상에 디스플레이된다.
동시 로케이션 및 매핑 프로세스는 앵커들을 사용하여 주변 환경에서 휴대용 컴퓨팅 디바이스를 로컬라이징한다. 앵커는 물리적 객체 또는 물리적 객체 근처의 환경에서 고유한 위치인 특징점이다. 앵커는 물리적 객체의 라이브 뷰에서 확인되는 바와 같이 물리적 객체의 모델을 실제 세계의 물리적 객체에 대응시키는 데 사용된다.
간혹, 앵커로부터의 증강 현실 디바이스의 거리가 증가함에 따라, 물리적 객체의 라이브 뷰 상에 증강 현실 정보를 디스플레이할 때 증강 현실 디바이스가 갖는 정확도가 감소한다.
예를 들어, 5미터를 초과하는 거리는 증강 현실 디바이스가 증강 현실 정보를 물리적 객체 상의 또는 물리적 객체에 근접한 위치들에 디스플레이하기 위해 바람직하지 않은 레벨의 정확도를 야기할 수 있다.
물리적 객체의 크기가 증가함에 따라, 물리적 객체의 라이브 뷰를 증강시키기 위해 정보를 디스플레이하는 데 있어 원하는 정확도에 필요한 앵커들의 수는 일부 물리적 객체들에 대해 가능하거나 실현 가능한 것보다 더 클 수 있다. 예를 들어, 항공기, 사무실 건물 또는 댐과 같은 큰 객체들의 라이브 뷰를 증강시키는 것은 원하는 것보다 더 어려울 수 있다. 정확도는 원하는 만큼 정확하지 않을 수 있고 처리 자원들의 사용은 원하는 것보다 더 클 수 있다.
본 개시내용의 실시예는 무인 항공기들의 그룹, 컴퓨터 시스템 및 휴대용 컴퓨팅 디바이스를 포함하는 증강 현실 시스템을 제공한다. 무인 차량들의 그룹은 물리적 객체에 대해 이동하고, 물리적 객체의 이미지들을 생성하고, 물리적 객체의 영역을 위한 공간의 포인트들을 기술하는 스캔 데이터를 생성하도록 동작한다. 컴퓨터 시스템은 통신 링크들을 사용하여 무인 차량들의 그룹과 통신하며, 물리적 객체에 대해 이동하는 무인 차량들의 그룹으로부터 물리적 객체의 이미지들을 수신하고; 물리적 객체에 대해 이동하는 무인 차량들의 그룹 내의 다수의 무인 차량들로부터 물리적 객체의 영역에 대한 스캔 데이터를 수신하고; 그리고 이미지들 및 스캔 데이터를 사용하여 물리적 객체의 개선된 모델을 생성하도록 동작하고, 개선된 모델의 물리적 객체의 영역은 개선된 모델의 물리적 객체의 다른 영역들보다 더 많은 양의 세부사항을 갖는다. 휴대용 컴퓨팅 디바이스는 개선된 모델을 사용하여 물리적 객체에 로컬라이징(localize)하도록 동작하고, 휴대용 컴퓨팅 디바이스를 통해 보이는 물리적 객체의 라이브 뷰 상에 정보를 디스플레이한다. 정보는 물리적 객체의 개선된 모델을 사용하여 식별된다.
본 개시내용의 다른 실시예는 컴퓨터 시스템 및 컴퓨터 시스템 내의 시각화기를 포함하는 증강 현실 시스템을 제공한다. 컴퓨터 시스템은 컴퓨터 시스템의 동작 및 무인 차량들의 그룹의 동작 중에 통신 링크들을 사용하여 무인 차량들의 그룹과 통신한다. 시각화기는 물리적 객체에 대해 이동하는 무인 차량들의 그룹으로부터 물리적 객체의 이미지들을 수신하고 그리고 물리적 객체에 대해 이동하는 무인 차량들의 그룹 내의 다수의 무인 차량들로부터 물리적 객체의 영역에 대한 스캔 데이터를 수신하도록 동작한다. 시각화기는 이미지들 및 스캔 데이터를 사용하여 물리적 객체의 개선된 모델을 생성하도록 동작한다. 개선된 모델의 물리적 객체의 영역은 개선된 모델의 물리적 객체의 다른 영역들보다 더 많은 양의 세부사항을 갖는다. 시각화기는 휴대용 컴퓨팅 디바이스에 정보를 전송한다. 정보는 휴대용 컴퓨팅 디바이스에 의해 휴대용 컴퓨팅 디바이스를 통해 보이는 물리적 객체의 라이브 뷰 상에 디스플레이 가능하다. 정보는 물리적 객체의 개선된 모델을 사용하여 식별된다.
본 개시내용의 또 다른 실시예는 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 방법을 제공한다. 물리적 객체의 이미지들은 물리적 객체에 대해 이동하는 무인 차량들의 그룹으로부터 컴퓨터 시스템에 의해 수신된다. 컴퓨터 시스템은 통신 링크들을 사용하여 무인 차량들의 그룹과 통신한다. 컴퓨터 시스템에 의해 물리적 객체의 영역에 대한 스캔 데이터가 수신된다. 이미지들 및 스캔 데이터를 사용하여 컴퓨터 시스템에 의해 물리적 객체의 개선된 모델이 생성된다. 개선된 모델의 영역은 개선된 모델의 물리적 객체의 다른 영역들보다 더 상세한 사항을 갖는다. 개선된 모델의 적어도 일부는 컴퓨터 시스템에 의해 휴대용 컴퓨팅 디바이스로 전송되며, 휴대용 컴퓨팅 디바이스는 개선된 모델의 적어도 일부를 사용하여 물리적 객체에 로컬라이징한다. 휴대용 컴퓨팅 디바이스에 의해 디스플레이 가능한 정보는 컴퓨터 시스템에 의해 휴대용 컴퓨팅 디바이스로 전송된다. 휴대용 컴퓨팅 디바이스는 휴대용 컴퓨팅 디바이스를 통해 보이는 물리적 객체의 라이브 뷰 상에 정보를 디스플레이하고, 정보는 물리적 객체의 개선된 모델을 사용하여 식별된다.
특징들 및 기능들은 본 개시내용의 다양한 실시예들에서는 독립적으로 달성될 수 있거나 또 다른 실시예들에서는 결합될 수 있는데, 여기서 추가 세부사항들은 다음 설명 및 도면들을 참조로 확인될 수 있다.
예시적인 실시예들의 특성으로 여겨지는 신규한 특징들은 첨부된 청구항들에서 제시된다. 그러나 예시적인 실시예들뿐만 아니라 이들의 선호되는 사용 모드, 추가 목적들 및 특징들 또한, 첨부 도면들과 함께 일독시 본 개시내용의 예시적인 실시예의 아래의 상세한 설명에 대한 참조에 의해 가장 잘 이해될 것이다.
도 1은 예시적인 실시예들이 구현될 수 있는 데이터 처리 시스템들의 네트워크의 그림 표현의 예시이다.
도 2는 예시적인 실시예에 따른 증강 현실 환경의 블록도의 예시이다.
도 3은 예시적인 실시예에 따른 개선된 모델의 생성을 보여주는 블록도의 예시이다.
도 4는 예시적인 실시예에 따른 물리적 객체의 영역의 선택을 보여주는 블록도의 예시이다.
도 5는 예시적인 실시예에 따른 시각화 환경의 그림 예시이다.
도 6은 예시적인 실시예에 따른 그래픽 사용자 인터페이스의 그림 예시이다.
도 7은 예시적인 실시예에 따라 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 프로세스의 흐름도의 예시이다.
도 8은 예시적인 실시예에 따라 개선된 모델을 생성하기 위한 정보를 생성하도록 무인 차량들을 제어하기 위한 프로세스의 흐름도의 예시이다.
도 9는 예시적인 실시예에 따라 물리적 객체의 개선된 모델을 생성하기 위한 프로세스의 흐름도의 예시이다.
도 10은 예시적인 실시예에 따라 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 프로세스의 흐름도의 예시이다.
도 11은 예시적인 실시예에 따른 데이터 처리 시스템의 블록도의 예시이다.
도 12는 예시적인 실시예에 따른 휴대용 컴퓨팅 디바이스의 블록도의 예시이다.
도 13은 예시적인 실시예에 따른 무인 차량 디바이스의 블록도의 예시이다.
도 14는 예시적인 실시예에 따른 항공기 제조 및 서비스 방법의 블록도의 예시이다.
도 15는 예시적인 실시예가 구현될 수 있는 항공기의 블록도의 예시이다.
도 16은 예시적인 실시예에 따른 제품 관리 시스템의 블록도의 예시이다.
도 1은 예시적인 실시예들이 구현될 수 있는 데이터 처리 시스템들의 네트워크의 그림 표현의 예시이다.
도 2는 예시적인 실시예에 따른 증강 현실 환경의 블록도의 예시이다.
도 3은 예시적인 실시예에 따른 개선된 모델의 생성을 보여주는 블록도의 예시이다.
도 4는 예시적인 실시예에 따른 물리적 객체의 영역의 선택을 보여주는 블록도의 예시이다.
도 5는 예시적인 실시예에 따른 시각화 환경의 그림 예시이다.
도 6은 예시적인 실시예에 따른 그래픽 사용자 인터페이스의 그림 예시이다.
도 7은 예시적인 실시예에 따라 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 프로세스의 흐름도의 예시이다.
도 8은 예시적인 실시예에 따라 개선된 모델을 생성하기 위한 정보를 생성하도록 무인 차량들을 제어하기 위한 프로세스의 흐름도의 예시이다.
도 9는 예시적인 실시예에 따라 물리적 객체의 개선된 모델을 생성하기 위한 프로세스의 흐름도의 예시이다.
도 10은 예시적인 실시예에 따라 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 프로세스의 흐름도의 예시이다.
도 11은 예시적인 실시예에 따른 데이터 처리 시스템의 블록도의 예시이다.
도 12는 예시적인 실시예에 따른 휴대용 컴퓨팅 디바이스의 블록도의 예시이다.
도 13은 예시적인 실시예에 따른 무인 차량 디바이스의 블록도의 예시이다.
도 14는 예시적인 실시예에 따른 항공기 제조 및 서비스 방법의 블록도의 예시이다.
도 15는 예시적인 실시예가 구현될 수 있는 항공기의 블록도의 예시이다.
도 16은 예시적인 실시예에 따른 제품 관리 시스템의 블록도의 예시이다.
예시적인 실시예들은 하나 이상의 서로 다른 고려사항들을 인식하여 고려한다. 예를 들어, 예시적인 실시예들은 항공기, 건물, 들판, 또는 다른 어떤 큰 물리적 객체와 같은 물리적 객체들이 이러한 물리적 객체들의 뷰들을 증강시키기 위한 정보의 디스플레이를 원하는 것보다 더 어렵게 만들 수 있음을 인식하여 고려한다. 예시적인 실시예들은 하나의 해결책이 인간 조작자에 의해 작동되는 휴대용 컴퓨팅 디바이스 외에도 하나 이상의 컴퓨팅 디바이스들을 사용하여 물리적 객체의 모델을 생성하는 것을 수반하는 것을 인식하여 고려한다. 예시적인 실시예들은 이러한 추가 컴퓨팅 디바이스들이 물리적 객체의 모델을 생성하는 것, 휴대용 컴퓨팅 디바이스를 로컬라이징하는 것, 또는 물리적 객체에 대한 다른 동작들을 수행하는 것 중 적어도 하나에 사용되는 추가 정보를 제공할 수 있다는 것을 인식하여 고려한다.
예를 들어, 예시적인 실시예들은 무인 차량들과 같은 휴대용 컴퓨팅 디바이스들이 물리적 객체의 모델을 생성하는 데 사용되는 데이터를 생성하는 데 사용될 수 있다는 것을 인식하여 고려한다. 이러한 무인 차량들은 무인 항공기, 무인 지상 차량 또는 무인 수중 차량 중 적어도 하나를 포함할 수 있다. 또한, 휴대용 컴퓨팅 디바이스에 의해 수집된 데이터는 추가 데이터를 생성하는 데 사용될 수 있는데, 이 추가 데이터는 무인 차량들에 의해 생성된 데이터와 함께 모델을 생성하는 데 사용된다.
본 명세서에서 사용되는 바와 같이, 항목들의 리스트에 사용되는 경우에 "~ 중 적어도 하나"라는 문구는, 열거된 항목들 중 하나 이상의 항목의 서로 다른 조합들이 사용될 수 있으며 리스트 내의 각각의 항목 중 단 하나만이 필요할 수 있음을 의미한다. 즉, "~ 중 적어도 하나"는 리스트로부터 항목들의 임의의 조합 및 임의의 수의 항목들이 사용될 수 있지만, 리스트 내의 항목들 전부가 요구되는 것은 아님을 의미한다. 항목은 특정 객체, 물건 또는 카테고리일 수 있다.
예를 들어, "항목 A, 항목 B 또는 항목 C 중 적어도 하나"는 제한 없이, 항목 A, 항목 A와 항목 B, 또는 항목 B를 포함할 수 있다. 이 예는 또한 항목 A, 항목 B 및 항목 C 또는 항목 B와 항목 C를 포함할 수 있다. 물론, 이러한 항목들의 임의의 조합들이 존재할 수 있다. 일부 예시적인 예들에서, "~ 중 적어도 하나"는 예를 들어, 제한 없이, 2개의 항목 A; 1개의 항목 B; 그리고 10개의 항목 C; 4개의 항목 B와 7개의 항목 C; 또는 다른 적당한 조합들일 수 있다.
또한, 예시적인 실시예들은 물리적 객체의 크기가 증가함에 따라 물리적 객체의 모델을 생성하기 위해 전체 물리적 객체를 스캔하는 것이 원하는 것보다 더 자원 집약적일 수 있다는 것을 인식하여 고려한다. 예를 들어, 예시적인 실시예들은 항공기 또는 건물과 같은 물리적 객체의 포인트 클라우드를 생성하기 위해 3차원 스캐너로 스캔 데이터를 생성하는 것은 원하는 것보다 더 많은 대역폭, 처리 능력, 저장소 또는 다른 컴퓨팅 자원들을 필요로 할 수 있다는 것을 인식하여 고려한다. 이러한 3차원 스캐너들은 레이저 스캐너, 라이다(lidar) 시스템, 적외선 스캐너 또는 다른 어떤 타입의 스캔 시스템을 포함할 수 있다.
예시적인 실시예들은 이미지들이 물리적 객체의 모델을 생성하는 데 사용될 수 있다는 것을 인식하여 고려한다. 예시적인 실시예들은 물리적 객체의 모델에서의 세부사항의 양이 포인트 클라우드들을 생성하기 위해 사용된 스캔으로부터의 세부사항보다 더 낮을 수 있다는 것을 인식하여 고려한다. 그러나 예시적인 실시예들은 더 높은 레벨의 세부사항이 요구되는 하나 이상의 관심 영역들에 대한 스캔 데이터를 생성하기 위해 3차원 스캐너가 사용될 수 있음을 인식하여 고려한다. 그 결과, 두 가지 타입들의 데이터를 사용하여 물리적 객체의 모델을 생성함으로써 대역폭, 처리 자원들, 저장소 또는 다른 컴퓨팅 자원들 중 적어도 하나의 양이 감소될 수 있다.
이에 따라, 예시적인 실시예들은 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 방법, 장치 및 시스템을 제공한다. 하나의 예시적인 예에서, 컴퓨터 시스템은 물리적 객체에 대해 이동하는 무인 차량들로부터 물리적 객체의 이미지들을 수신한다. 컴퓨터 시스템은 통신 링크들을 사용하여 무인 차량들과 통신한다. 컴퓨터 시스템은 물리적 객체의 영역에 대한 스캔 데이터를 수신한다. 컴퓨터 시스템은 이미지들 및 스캔 데이터를 사용하여 물리적 객체의 개선된 모델을 생성하며, 개선된 모델의 영역은 개선된 모델의 물리적 객체의 다른 영역들보다 더 상세한 사항을 갖는다. 컴퓨터 시스템은 개선된 모델의 적어도 일부를 휴대용 컴퓨팅 디바이스로 전송하며, 휴대용 컴퓨팅 디바이스는 개선된 모델의 적어도 일부를 사용하여 물리적 객체에 로컬라이징한다. 컴퓨터 시스템은 또한 휴대용 컴퓨팅 디바이스에 의해 디스플레이 가능한 정보를 전송한다. 휴대용 컴퓨팅 디바이스는 휴대용 컴퓨팅 디바이스를 통해 보이는 물리적 객체의 라이브 뷰 상에 정보를 디스플레이하며, 정보는 물리적 객체의 개선된 모델을 사용하여 식별된다.
이제 도면들을 참조하면, 그리고 특히 도 1을 참조하면, 예시적인 실시예들이 구현될 수 있는 데이터 처리 시스템들의 네트워크의 그림 표현의 예시가 도시된다. 네트워크 데이터 처리 시스템(100)은 예시적인 실시예들이 구현될 수 있는 컴퓨터들의 네트워크이다. 네트워크 데이터 처리 시스템(100)은 네트워크 데이터 처리 시스템(100) 내에서 함께 접속된 다양한 디바이스들과 컴퓨터들 사이의 통신 링크들을 제공하는 데 사용되는 매체인 네트워크(102)를 포함한다. 네트워크(102)는 테더링된 통신 링크들 또는 무선 통신 링크들과 같은 접속들을 포함할 수 있다. 무선 통신 링크들은 공기, 진공 또는 물 중 적어도 하나를 통해 설정될 수 있다.
테더링된 통신 링크들은 와이어들 또는 광섬유 케이블들 중 적어도 하나를 포함할 수 있다. 도시된 바와 같이, 테더링된 통신 링크들은 부피가 더 클 수 있거나, 무인 차량들이 이동할 수 있는 거리를 제한할 수 있다. 이러한 타입들의 통신 링크들은 무선 통신 링크들과 비교하여 향상된 보안을 제공할 수 있다. 이러한 테더링된 통신 링크들은 무인 항공기가 복귀하여 충전 또는 기지국과 접촉할 때 발생할 수 있는 간헐적인 접속들을 또한 포함할 수 있다.
다른 예에서, 간헐적 접속들은 가시선, 거리 또는 다른 요인들에 의해 영향을 받을 수 있는 간헐적 무선 접속들일 수 있다. 이러한 타입의 접속으로, 제1 무인 항공기가 무선 접속을 상실할 수 있다. 이 경우에, 다른 무인 항공기는 서버 컴퓨터(104)에 브리지 접속을 제공하기 위해 제1 무인 항공기에 대해 자체적으로 이동하거나 포지셔닝할 수 있다.
도시된 예에서, 서버 컴퓨터(104) 및 서버 컴퓨터(106)는 저장 유닛(108)과 함께 네트워크(102)에 접속된다. 또한, 클라이언트 디바이스들(110)이 네트워크(102)에 접속된다. 도시된 바와 같이, 클라이언트 디바이스들(110)은 무인 항공기(112), 무인 항공기(114) 및 무인 항공기(116)를 포함한다. 도시된 바와 같이, 무인 항공기(112) 및 무인 항공기(114)는 고정익 항공기이다. 도시된 바와 같이, 무인 항공기(116)는 쿼드콥터이다. 클라이언트 디바이스들(110)은 예를 들어 컴퓨터들, 워크스테이션들 또는 네트워크 컴퓨터들일 수 있다. 도시된 예에서, 서버 컴퓨터(104)는 부트 파일들, 운영 시스템 이미지들 및 애플리케이션들과 같은 정보를 클라이언트 디바이스들(110)에 제공한다. 추가로, 클라이언트 디바이스들(110)은 또한 휴대 전화(118), 태블릿 컴퓨터(120) 및 스마트 안경류(122)와 같은 다른 타입들의 클라이언트 디바이스들을 포함할 수 있다. 이 예시적인 예에서, 서버 컴퓨터(104), 서버 컴퓨터(106), 저장 유닛(108) 및 클라이언트 디바이스들(110)은 네트워크(102)가 이러한 네트워크 디바이스들에 대한 통신 매체인 네트워크(102)에 접속되는 네트워크 디바이스들이다. 클라이언트 디바이스들(110)의 일부 또는 전부는 이러한 물리적 디바이스들이 네트워크(102)에 접속하여 네트워크(102)를 통해 서로 정보를 교환할 수 있는 사물 인터넷(IoT: Internet-of-things)을 형성할 수 있다.
클라이언트 디바이스들(110)은 이 예에서 서버 컴퓨터(104)에 대한 클라이언트들이다. 네트워크 데이터 처리 시스템(100)은 추가 서버 컴퓨터들, 클라이언트 컴퓨터들 및 도시되지 않은 다른 디바이스들을 포함할 수 있다. 클라이언트 디바이스들(110)은 테더링된 접속들 또는 무선 접속들 중 적어도 하나를 이용하여 네트워크(102)에 접속된다.
네트워크 데이터 처리 시스템(100)에 위치된 프로그램 코드는 컴퓨터 기록 가능한 저장 매체 상에 저장되며 사용을 위해 데이터 처리 시스템 또는 다른 디바이스로 다운로드될 수 있다. 예를 들어, 프로그램 코드는 서버 컴퓨터(104) 상의 컴퓨터 기록 가능 저장 매체에 저장되어 클라이언트 디바이스들(110)에서의 사용을 위해 네트워크(102)를 통해 클라이언트 디바이스들(110)로 다운로드될 수 있다. 일부 구현들에서, 프로세서는 프로그램 코드를 리트리브하고 명령들을 실행하여 본 명세서에서 설명되는 특정 동작들을 개시, 수행 또는 제어한다.
도시된 예에서, 네트워크 데이터 처리 시스템(100)은 송신 제어 프로토콜/인터넷 프로토콜(TCP/IP: Transmission Control Protocol/Internet Protocol) 세트의 프로토콜들을 사용하여 서로 통신하는 네트워크들 및 게이트웨이들의 전세계 집합을 나타내는 네트워크(102)를 갖는 인터넷이다. 인터넷의 핵심에는 데이터와 메시지들을 라우팅하는 수천 개의 상용, 정부, 교육 및 다른 컴퓨터 시스템들로 구성된 호스트 컴퓨터들 또는 주요 노드들 사이의 고속 데이터 통신 회선들의 백본이 있다. 물론, 네트워크 데이터 처리 시스템(100)은 또한 다수의 서로 다른 타입들의 네트워크들을 사용하여 구현될 수 있다. 예를 들어, 네트워크(102)는 인터넷, 인트라넷, 근거리 네트워크(LAN: local area network), 도시권 네트워크(MAN: metropolitan area network) 또는 광역 네트워크(WAN: wide area network) 중 적어도 하나로 구성될 수 있다. 다른 예로서, 네트워크(102)는 메시 네트워크 또는 애드 혹 점대점 모바일 에지 네트워크일 수 있다. 도 1은 다른 예시적인 실시예들에 대한 구조적 제한으로서가 아니라 예로서 의도된다.
본 명세서에서 사용되는 바와 같이, 항목들과 관련하여 사용될 때 "다수"는 하나 이상의 항목들을 의미한다. 예를 들어, "다수의 서로 다른 타입들의 네트워크들"은 하나 이상의 서로 다른 타입들의 네트워크들이다.
예시적인 예에서, 인간 조작자(124)는 스마트 안경류(122)를 사용하여 항공기(126) 형태의 물리적 객체를 본다. 이 예시적인 예시에서, 인간 조작자(124)는 스마트 안경류(122)를 사용하여 항공기(126)의 라이브 뷰를 본다. 이 라이브 뷰에는 항공기(126)의 증강 현실 뷰를 형성하기 위해 스마트 안경류(122)를 사용하여 보이는 것과 같이 라이브 뷰 상에 디스플레이되는 정보(142)가 오버레이될 수 있다.
이 예시적인 예에서, 스마트 안경류(122)는 서버 컴퓨터(104)에 위치된 시각화기(128)와 통신한다. 시각화기(128)는 스마트 안경류(122)를 통해 보이는 항공기(126)의 라이브 뷰를 오버레이하도록 디스플레이되는 기준 모델(132)로부터 정보(142)를 제공한다. 스마트 안경류(122)는 개선된 모델(130)을 사용하여 항공기(126)에 자체적으로 로컬라이징한다.
이 예시적인 예에서, 개선된 모델(130)은 항공기(126)의 3차원 모델 또는 맵이다. 다른 예들에서, 모델 또는 맵은 서로 다른 물리적 객체일 수 있다. 도시된 바와 같이, 무인 항공기(112)는 항공기(126)에 대해 비행하면서 항공기(126)의 이미지들(134)을 생성한다. 무인 항공기(112)는 이미지들(134)을 시각화기(128)로 전송한다. 무인 항공기(114)는 또한 항공기(126)의 이미지들(136)을 생성하여 시각화기(128)로 전송한다. 무인 항공기(116)는 항공기(126)의 이미지들(138)을 생성하여 시각화기(128)에 전송한다.
시각화기(128)는 무인 항공기들로부터의 이러한 이미지들을 사용하여 항공기(126)의 모델을 생성한다. 모델은 항공기(126)의 표면의 3차원 모델이며, 이미지들로부터 모델들을 생성하기 위해 현재 이용 가능한 기술들을 사용하여 생성될 수 있다. 이러한 기술들은 다수의 이미지들로부터의 3차원 재구성을 수행하여 항공기(126)의 3차원 모델을 생성한다. 이런 식으로, 항공기(126)는 이러한 이미지들을 사용하여 매핑될 수 있다.
예시적인 예들에서, 항공기(126)의 영역(144)은 이미지들(134), 이미지들(136) 또는 이미지들(138)에서 보이지 않을 수 있다. 결과적으로, 항공기(126)의 모델은 영역(144)에 대한 구멍 또는 누락 섹션을 가질 것이다. 다른 경우들에는, 영역(144)이 이미지들에 포함될 수 있다.
이 예에서, 인간 조작자(124)는 이미지들(134), 이미지들(136) 및 이미지들(138)을 사용하여 제공될 수 있는 것보다 항공기(126)의 영역(144)의 보다 상세한 모델을 필요로 할 수 있다. 다시 말해서, 영역(144)은 이미지들로부터 생성된 모델에 존재할 수 있지만, 영역(144)의 세부사항이 누락될 수 있거나 원하는 만큼 크지 않을 수 있다. 결과적으로, 영역(144)에 디스플레이된 정보(142)는 원하는 만큼 정확하지 않을 수 있다.
이 경우, 무인 항공기들 중 하나 이상이 그 영역의 보다 상세한 모델을 생성하는 데 사용될 수 있다. 예를 들어, 무인 항공기(112)는 또한 스캔 데이터(140)를 생성하고 스캔 데이터(140)를 시각화기(128)에 전송할 수 있다.
이 도시된 예에서는, 스캔 데이터(140)가 항공기(126)의 영역(144)에 대한 포인트 클라우드를 생성하는 데 사용된다. 이 포인트 클라우드는 다음에, 항공기(126)의 모델에서 영역(144)을 수정하여 개선된 모델(130)을 형성하는 데 사용될 수 있다. 개선된 모델(130)은 개선된 모델(130)에서의 항공기(126)의 다른 영역들에 비해 증가된 세부사항이 존재하는, 항공기(126)의 영역(144)을 포함한다.
이 예시적인 예에서, 무인 항공기(112), 무인 항공기(114) 및 무인 항공기(116)는 개선된 모델(130)을 생성하는 데 사용되는 두 가지 타입들의 데이터, 이미지들 및 스캔 데이터를 제공한다. 개선된 모델(130)은 스마트 안경류(122)를 로컬라이징하는 데 사용될 수 있다. 로컬라이제이션은 동시 로컬라이제이션 및 매핑(SLAM: simultaneous localization and mapping) 프로세스들을 사용하여 수행될 수 있다.
무인 항공기들을 사용함으로써, 이미지들, 스캔 데이터, 또는 이들의 어떤 조합을 생성하여 모델을 생성하도록 스마트 안경류(122)를 작동시키는 데 시간 및 노력이 들었다. 인간 조작자(124)는 항공기(126)에 대한 작업들 또는 다른 동작들을 수행하는 데 집중할 수 있다.
조작자(124)에 의해 회피되는 시간 및 노력의 감소는 예시적인 예에서는 무인 항공기(112), 무인 항공기(114) 또는 무인 항공기(116) 중 적어도 하나를 사용함으로써 달성될 수 있다. 이러한 무인 항공기들은 시각화기(128)에 의해 처리된 이미지들(134), 이미지들(136), 이미지들(138) 및 스캔 데이터(140)를 제공하여 개선된 모델(130)을 생성할 수 있다.
무인 항공기들에 의해 수행되는 이러한 동작들은 인간 조작자(124)가 항공기(126)를 보기 전에 수행될 수 있다. 다시 말해서, 인간 조작자(124)는 무인 항공기들이 개선된 모델(130)을 생성하기 위한 데이터를 필요한 것보다 일찍 제공할 때 그 데이터를 생성하기 위해 어떠한 동작들도 수행할 필요가 없다. 무인 항공기들은 또한 인간 조작자(124)가 항공기(126)를 보는 동안 이미지들(134), 이미지들(136), 이미지들(138) 및 스캔 데이터(140)를 생성할 수 있다.
실시간으로 또는 사전에 얻은 추가 이미지들 및 스캔 데이터는 섹션(144) 외에도 다른 섹션들에서의 세부사항이나 세분성 또는 개선된 모델(130)의 향상된 정확도 중 적어도 하나를 제공하는 데 사용될 수 있다.
예를 들어, 추가로, 이러한 무인 항공기들의 사용은 개선된 모델(130)에서 정보의 세분성을 증가시키는 식으로 항공기(126)에 대해 생성된 데이터의 양을 증가시킬 수 있다. 이 예시적인 예에서, 무인 항공기들(112, 114 또는 116) 중 하나는 개선된 모델(130)을 생성하기 위해 사용된 이미지들에 추가하거나 이러한 이미지들을 강화하도록 다양한 시점들로부터 이미지들을 캡처할 수 있다. 예를 들어, 무인 항공기(112)는 이미지들 및 스캔 데이터(140)로부터 앵커를 생성할 수 있다. 본 명세서에서 사용되는 앵커들은 항공기(126) 및 기준 모델(132)에 대한 공통 특징들을 나타내는데, 이들은 기준 모델(132)을 항공기(126)에 정렬하는 데 사용된다. 무인 항공기(112)는 단일 기준 프레임에서 앵커가 배치될 공통 특징들을 포착하기에 충분한 거리를 항공기(126)로부터 멀어지도록 이동할 수 있다. 이에 따라, 모델을 항공기(126)에 정렬하는 데 필요한 앵커들의 수가 감소될 수 있다. 다시 말해, 개선된 모델(130)이 항공기(126)와 더 잘 정렬될 수 있다. 무인 항공기들은 이미지들 및 스캔 데이터(140)로부터 앵커를 생성할 수 있다.
또한, 항공기(126) 상의 위치 특징들을 결정하기 위해 사용되는 개선된 모델(130)의 정확도가 무인 항공기들의 사용을 통해 증가될 수 있다. 도시된 바와 같이, 무인 항공기들은 서로 다른 시점들 또는 위치들로부터 이미지들 및 스캔 데이터를 생성한다. 항공기(126) 상의 윈도우와 같은 항공기(126) 상의 특징이 이미지들(134), 이미지들(136), 이미지들(138) 또는 스캔 데이터(140) 중 적어도 하나에서 캡처될 수 있다. 이러한 서로 다른 시점들은 기준 모델(132)로부터의 윈도우에 관한 정보를 디스플레이할 때 윈도우의 위치를 식별하는 향상된 정확도를 가능하게 한다.
예를 들어, 무인 항공기들의 서로 다른 위치들로부터의 이러한 이미지들 및 스캔 데이터를 사용하여 삼각 측량이 수행될 수 있다. 예를 들어, 컴퓨터 비전 삼각 측량이 시각화기(128)에 의해 사용될 수 있다. 컴퓨터 비전 삼각 측량은 포인트의 둘 이상의 이미지들에 대한 투영이 주어진 3차원 공간의 포인트를 결정하는 프로세스이다. 더 많은 이미지들이 존재하면 서로 다른 시점들이 존재하여, 예시적인 예에서 항공기(126) 상의 특정 포인트의 정확도가 향상될 수 있다. 다른 예로서, 항공기(126)와 같은 객체 상의 포인트들에 대한 3차원 묘사들을 결정하기 위해 입체 사진 측량(stereophotogrammetry)이 사용될 수 있다. 이 기술은 무인 항공기들에 의해 서로 다른 위치들로부터 촬영된 이미지들(134), 이미지들(136), 이미지들(138)을 사용하여 수행될 수 있다.
스마트 안경류(122)를 사용하는 인간 조작자(124)는 앵커들이 스마트 안경류(122)를 사용하여 인간 조작자(124)에게 보이는 방식으로 항공기(126)에 접근할 수 있다. 인간 조작자(124)의 위치는 스마트 안경류(122)를 통해 보이는 앵커들 및 개선된 모델(130)을 사용하여 결정될 수 있다. 인간 조작자(124)가 항공기(126)에 접근할 때, 항공기(126) 상의 다른 위치들은 개선된 모델(130) 또는 기준 모델(132)의 앵커들을 포함하지 않는 스마트 안경류(122)를 통해 인간 조작자(124)에게 보일 수 있다. 앵커에서부터 시작하여 식별되는 기준점들에 의해 유지될 수 있는 기준 모델(132)로부터의 정보를 디스플레이하는 정확도는 초기에 스마트 안경류(122)를 사용하여 인간 조작자(124)에게 보인다. 이러한 기준점들은 항공기(126) 상의 특징들 또는 엘리먼트들일 수 있다.
이러한 타입의 모델 생성은 물리적 객체의 모델을 생성하는 데 필요한 시간과 노력을 줄이다. 이러한 타입의 모델 생성은 항공기(126), 건물, 들판, 도시 블록, 댐, 또는 물리적 객체의 증강 현실 뷰에 대한 정보를 디스플레이하기 위한 모델의 생성시 원하지 않는 시간 및 프로세서 자원 사용을 야기할 수 있는 다른 타입들의 물리적 객체들과 같은 대형 객체들에 특히 유용할 수 있다.
또한, 물리적 객체에 대한 이미지들 및 물리적 객체의 하나 이상의 영역들에 대한 스캔 데이터를 처리함으로써, 데이터를 처리하는 데 필요한 컴퓨팅 자원들의 양이 감소된다. 예를 들어, 포인트 클라우드들은 전체 물리적 객체가 아닌 물리적 객체의 영역에만 사용되므로 스캔 데이터로부터 포인트 클라우드들을 생성하고 포인트 클라우드들로부터 물리적 객체의 모델을 생성하기 위한 프로세서 자원들의 사용이 감소된다. 다른 예로서, 개선된 모델의 크기가 완전히 스캔 데이터를 사용하여 생성된 모델보다 더 작기 때문에 저장된 자원들이 감소될 수 있다.
이제 도 2를 참조하면, 예시적인 실시예에 따라 증강 현실 환경의 블록도의 예시가 도시된다. 이 예시적인 예에서, 시각화 환경(200)은 도 1의 네트워크 데이터 처리 시스템(100)에 도시된 하드웨어와 같은 하드웨어로 구현될 수 있는 컴포넌트들을 포함한다.
도시된 바와 같이, 시각화 환경(200)은 휴대용 컴퓨팅 디바이스(208)를 사용하여 인간 조작자(206)에 의해 물리적 객체(204)에 대한 정보(202)가 시각화될 수 있는 환경이다. 이 예시적인 예에서, 물리적 객체(204)는 비행기, 건물, 다리, 댐, 차량, 들판, 호수, 산, 엔진, 동체 섹션, 활주로 및 다른 타입들의 객체들을 포함하는 그룹으로부터 선택된다. 이 예시적인 예에서, 정보(202)는 작업 정보, 어셈블리, 비디오, 부적합성 표시, 작업 순서, 어셈블리의 분해도, 개략도, 또는 물리적 객체(204)에 관한 다른 정보 중 적어도 하나로부터 선택된다.
휴대용 컴퓨팅 디바이스(208)는 다수의 서로 다른 형태들을 취할 수 있다. 예를 들어, 휴대용 컴퓨팅 디바이스(208)는 스마트 안경류, 휴대 전화, 태블릿 컴퓨터, 증강 현실 콘택트 렌즈, 가상 망막 디스플레이, 헤드 장착형 디스플레이, 및 물리적 객체(204)의 증강 현실 뷰를 제공하기에 적합한 다른 타입들의 디바이스들을 포함하는 그룹으로부터 선택될 수 있다.
도시된 바와 같이, 인간 조작자(206)는 인간 조작자(206)가 작업(214)을 수행하는 것을 돕도록 그래픽 사용자 인터페이스(210)에 디스플레이된 정보(202)를 물리적 객체(204)의 라이브 뷰(212) 상에서 볼 수 있다. 이 예시적인 예에서, 작업(214)은 설계 작업, 제조 작업, 검사 작업, 유지보수 작업, 테스트 작업, 물리적 객체(204)를 사용하는 작업, 및 물리적 객체(204)의 라이브 뷰(212)가 정보(202)로 증강되어 물리적 객체(204)에 작업(214)을 수행하는 데 도움이 되는 다른 적절한 작업들을 포함하는 그룹으로부터 선택된다.
이 예시적인 예에서, 증강 현실 시스템(216)은 다수의 서로 다른 컴포넌트들을 포함한다. 도시된 바와 같이, 증강 현실 시스템(216)은 컴퓨터 시스템(218), 무인 차량들(220)의 그룹 및 휴대용 컴퓨팅 디바이스(208)를 포함한다.
본 명세서에서 사용되는 바와 같이, 항목들과 관련하여 사용될 때 "~의 그룹"은 하나 이상의 항목들을 의미한다. 예를 들어, "무인 차량들(220)의 그룹"은 무인 차량들(220) 중 하나 이상이다.
컴퓨터 시스템(218)은 물리적 하드웨어 시스템이고 하나 이상의 데이터 처리 시스템들을 포함한다. 컴퓨터 시스템(218)에 하나보다 많은 데이터 처리 시스템이 존재할 때, 그러한 데이터 처리 시스템들은 통신 매체를 사용하여 서로 통신한다. 통신 매체는 네트워크일 수 있다. 데이터 처리 시스템들은 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 또는 다른 어떤 적절한 데이터 처리 시스템 중 적어도 하나로부터 선택될 수 있다.
이 예시적인 예에서, 무인 차량들(220)의 그룹은 다수의 서로 다른 형태들을 취할 수 있다. 예를 들어, 무인 차량들(220)의 그룹은 무인 항공기, 드론, 무인 지상 차량 또는 무인 수상 차량 중 적어도 하나로부터 선택될 수 있다. 무인 차량들(220)의 그룹은 물리적 객체(204)에 대해 이동하도록 동작한다.
무인 차량들(220)의 그룹은 물리적 객체(204)의 이미지들(222)을 생성하고 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성한다. 이 예시적인 예에서, 무인 차량들(220)의 그룹은 무인 차량들(220)의 그룹에 물리적 객체(204)를 스캔할 다수의 무인 차량들(220)을 가짐으로써 스캔 데이터(224)를 생성할 수 있다. 다시 말해, 무인 차량들(220)의 그룹의 전부 또는 서브세트가 스캔 데이터(224)를 생성할 수 있다.
예시적인 예에서, 무인 차량들(220)의 그룹이 이미지들(222) 및 스캔 데이터(224)를 생성하도록 동작하는 동안, 인간 조작자(206)는 휴대용 컴퓨팅 디바이스(208)를 통해 물리적 객체(204)의 라이브 뷰(212)를 본다. 예를 들어, 인간 조작자(206)가 물리적 객체(204)의 라이브 뷰(212)를 보기 전에 무인 차량들(220)이 이미지들(222) 및 스캔 데이터(224)를 생성할 수 있다. 이 예에서, 인간 작업자(206)가 물리적 객체(204)를 보는 동안 무인 차량들(220)이 계속해서 이미지들(222) 및 스캔 데이터(224)를 생성할 수 있다. 다른 예들에서, 인간 조작자(206)가 휴대용 컴퓨팅 디바이스(208)를 통해 물리적 객체(204)의 라이브 뷰(212)를 볼 때 이미지들(222) 및 스캔 데이터(224)의 생성이 발생할 수 있다.
도시된 바와 같이, 컴퓨터 시스템(218)은 통신 링크들(228)을 사용하여 무인 차량들(220)의 그룹과 통신한다. 통신 링크들(228)은 테더링된 통신 링크 또는 무선 통신 링크 중 적어도 하나로부터 선택될 수 있다. 테더링된 통신 링크들은 예를 들어, 와이어, 와이어 케이블, 동축 케이블, 광섬유 또는 광 케이블 중 적어도 하나를 포함한다. 무선 통신 링크들은 무선 주파수 신호들, 광 신호들, 전자기 방사, 마이크로파들 또는 다른 적절한 매체 중 적어도 하나로부터 선택될 수 있다.
이 예시적인 예에서, 시각화기(230)는 컴퓨터 시스템(218)에 위치된다. 동작 동안, 컴퓨터 시스템(218) 내의 시각화기(230)는 물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹으로부터 물리적 객체(204)의 이미지들(222)을 수신한다.
시각화기(230)는 물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)로부터 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 수신한다. 시각화기(230)는 이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성한다.
개선된 모델(232)에서의 물리적 객체(204)의 영역(226)은 개선된 모델(232)에서의 물리적 객체(204)의 다른 영역들(234)보다 더 많은 양의 세부사항을 갖는다. 예를 들어, 스캔 데이터(224)는 이미지들(222)과 비교하여 더 큰 해상도의 영역(226)을 제공할 수 있다. 다른 예에서, 스캔 데이터(224)는 또한 물리적 객체(204)의 개선된 모델(232)의 영역(226)에서 높아진 규칙성을 제공할 수 있다. 레이저 스캐너들과 같은 3차원 스캐너들은 물리적 객체(204)를 향해 방사를 능동적으로 지향시킨다. 방사 에너지로부터의 응답들은 카메라와 같은 수동 센서 시스템과 비교하여 밝기를 향상시키고, 음영들을 감소시키며, 높아진 규칙성으로 발생하는 다른 특징들을 제공할 수 있다. 3차원 스캐너들은 또한 스캔들을 수행하기 위해 다른 타입들의 방사, 이를테면 전기, 광, 적외선, 광 스펙트럼의 다른 부분들, 전자기 스펙트럼, 음향 스펙트럼 또는 다른 타입들의 스캔 방사를 사용할 수 있다. 또 다른 예로서, 3차원 스캐너는 간섭 스캔을 이용하는 압력 감지 디바이스들을 포함할 수 있다.
3차원 스캐너들을 사용하여 수행될 수 있는 서로 다른 타입들의 스캔들로, 불투명도, 반사도, 경도, 색상, 색조 또는 다른 특성들과 같은 특성들에 대한 세부사항이 카메라들의 이미지들을 사용하는 것과 비교하여 더 쉽게 또는 정확하게 결정될 수 있다. 이러한 특성들은 물리적 객체(204)를 평가하는 데 사용될 수 있다. 예를 들어, 건강, 잔여 수명, 사용에 대한 적합성 또는 물리적 객체(204)의 다른 특성들이 결정될 수 있다. 예시적인 예에서, 서로 다른 타입들의 부적합성들을 결정하기 위해 서로 다른 타입들의 센서들이 사용될 수 있다. 예를 들어, 카메라에 의해 검출된 광은 물리적 객체(204) 내의 구조들의 부적합성들을 식별하는 데 사용될 수 있다. 이러한 부적합성들은 카메라에 의해 검출된 이미지들로부터 생성된 개선된 모델(232)의 구조를 물리적 객체(204)의 생성된 이전의 개선된 모델 또는 컴퓨터 지원 설계 모델과 같은 기준 모델(236)과 비교함으로써 식별될 수 있다. 물리적 객체(204)의 복합 구조에서 공극들을 식별하기 위해 초음파 센서가 사용될 수 있다. 또 다른 예로서, 물리적 객체(204)의 금속 구조에서 불일치들을 식별하기 위해 자기 센서가 사용될 수 있다.
이러한 특성들은 비적합성들과 같은 성질들을 분류하기 위해 시각화기(230)에 의해 사용될 수 있다. 이러한 부적합성들은 스크래치, 찌그러짐, 균열, 페인트 부족, 패스너 실종 또는 다른 타입들의 부적합성들 중 적어도 하나를 포함할 수 있다.
도시된 바와 같이, 휴대용 컴퓨팅 디바이스(208)는 개선된 모델(232)을 사용하여 물리적 객체(204)에 로컬라이징하고 휴대용 컴퓨팅 디바이스(208)를 통해 보이는 물리적 객체(204)의 라이브 뷰(212) 상에 정보(202)를 디스플레이한다.
이 예시적인 예에서, 정보(202)는 물리적 객체(204)의 개선된 모델(232)을 사용하여 식별된다. 예를 들어, 정보(202)는 기준 모델(236)에 위치될 수 있다. 기준 모델(236)은 물리적 객체(204)의 모델이다. 개선된 모델(232) 및 기준 모델(236)에서의 대응하는 위치들은 이미지 등록을 사용하여 동일한 좌표계를 갖도록 상관될 수 있다. 또한, 물리적 객체(204)에 대한 휴대용 컴퓨팅 디바이스(208)의 로컬라이제이션은 동일한 좌표계를 사용할 수 있다.
기준 모델(236)은 다수의 서로 다른 형태들을 취할 수 있다. 예를 들어, 기준 모델(236)은 물리적 객체(204)의 컴퓨터 지원 설계 모델일 수 있다. 다른 예에서, 기준 모델(236)은 이미지들(222) 및 스캔 데이터(224)로부터 이전 시점에 생성된 물리적 객체(204)의 모델일 수 있다. 예를 들어, 기준 모델(236)은 이전 제조 상태에서의 물리적 객체(204)의 모델일 수 있다. 다른 예로서, 기준 모델(236)은 이전 시점에 생성된 물리적 객체(204)의 모델일 수 있다. 이러한 타입의 기준 모델(236)은 변경들이 발생했는지를 결정하기 위해 개선된 모델(232)과의 비교를 위해 사용될 수 있다. 이러한 변경들은 부적합성들, 구성의 변경들 또는 다른 타입들의 변경들일 수 있다.
이 예시적인 예에서, 컴퓨터 시스템(218)의 시각화기(230)는 물리적 객체(204)에 대해 이동하여 물리적 객체(204)의 이미지들(222) 및 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성하도록 무인 차량들(220)의 그룹을 제어한다.
다른 예시적인 예들에서, 무인 차량들(220)의 그룹은 컴퓨터 시스템(218) 내의 시각화기(230)로부터의 입력을 사용하지 않고 자율적으로 동작할 수 있다. 예를 들어, 무인 차량들(220)의 그룹 각각은 이미지들(222) 및 스캔 데이터(224)가 생성될 수 있는 객체로서 물리적 객체(204)를 식별하는 프로그램 코드를 포함할 수 있다.
하나의 예시적인 예에서, 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)는 또한 개선된 모델(232)을 생성하도록 데이터를 제공할 수 있다. 예를 들어, 휴대용 컴퓨팅 디바이스(208)는 추가 이미지들(238) 또는 추가 스캔 데이터(240) 중 적어도 하나를 생성할 수 있다. 휴대용 컴퓨팅 디바이스(208)는 통신 링크(242)를 사용하여 컴퓨터 시스템(218)과 통신한다. 통신 링크(242)는 무선 주파수 신호들, 광 신호들, 전자기 방사, 마이크로파들 또는 다른 적절한 매체 중 적어도 하나로부터 선택될 수 있다.
도시된 바와 같이, 휴대용 컴퓨팅 디바이스(208)는 컴퓨터 시스템(218) 내의 시각화기(230)에 추가 이미지들(238) 또는 추가 스캔 데이터(240) 중 적어도 하나를 전송할 수 있다. 물리적 객체(204)의 개선된 모델(232)을 생성할 때, 시각화기(230)가 이미지들(222), 추가 이미지들(238), 스캔 데이터(224) 및 추가 스캔 데이터(240)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성한다.
시각화기(230)는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어가 사용될 때, 시각화기(230)에 의해 수행되는 동작들은 프로세서 유닛과 같은 하드웨어 상에서 실행되도록 구성된 프로그램 코드로 구현될 수 있다. 펌웨어가 사용될 때, 시각화기(230)에 의해 수행되는 동작들은 프로그램 코드 및 데이터로 구현되며 영구 메모리에 저장되어 프로세서 유닛 상에서 실행될 수 있다. 하드웨어가 이용될 때, 하드웨어는 시각화기(230)에서 동작들을 수행하도록 동작하는 회로들을 포함할 수 있다.
예시적인 예들에서, 하드웨어는 회로 시스템, 집적 회로, 주문형 집적 회로(ASIC: application specific integrated circuit), 프로그래밍 가능 로직 디바이스, 또는 다수의 동작들을 수행하도록 구성된 다른 어떤 적당한 타입의 하드웨어 중 적어도 하나로부터 선택된 형태를 취할 수 있다. 프로그래밍 가능 로직 디바이스에 의해, 디바이스는 다수의 동작들을 수행하도록 구성될 수 있다. 디바이스는 추후에 재구성될 수 있고 또는 다수의 동작들을 수행하도록 영구적으로 구성될 수 있다. 프로그래밍 가능 로직 디바이스들은 예를 들어, 프로그래밍 가능 로직 어레이, 프로그래밍 가능 어레이 로직, 필드 프로그래밍 가능 로직 어레이, 필드 프로그래밍 가능 게이트 어레이, 그리고 다른 적당한 하드웨어 디바이스들을 포함한다. 추가로, 프로세스들은 무기 컴포넌트들과 통합되는 유기 컴포넌트들로 구현될 수 있고, 인간을 배제한 유기 컴포넌트들로 전부 구성될 수 있다. 예를 들어, 프로세스들은 유기 반도체들의 회로들로서 구현될 수 있다.
하나의 예시적인 예에서, 물리적 객체의 포인트 클라우드들을 생성하는 현재 사용된 기술들과 비교하여 사용된 처리 자원들의 양을 감소시키는 방식으로 물리적 객체의 라이브 뷰를 증강시키도록 정보를 디스플레이하는 것에 대한 기술적 문제점을 극복하는 하나 이상의 기술적 해결책들이 존재한다.
그 결과, 하나 이상의 기술적 해결책들은 두 가지 타입들의 데이터를 사용하여 물리적 객체의 모델을 생성하는 데 사용되는 처리 자원들의 양을 줄이는 기술적 효과를 제공할 수 있다. 예시적인 예에서, 이미지들 및 스캔 데이터는 포인트 클라우드들만을 사용하는 현재 기술들과 비교하여 사용되는 처리 자원들의 양을 감소시키는 데 사용된다.
상업용 비행기, 댐 및 유람선과 같은 대형 물리적 객체들과 관련하여, 현재 사용되고 있는 3차원 스캐너들의 범위로 인해 거리가 증가함에 따라 이러한 타입들의 물리적 객체들의 3차원 모델들을 얻는 것이 더 어려울 수 있다. 추가로, 거리가 증가함에 따라, 스캔들과 함께 존재하는 입체 분리는 감소하고 원하는 분리를 제공하지 않을 수 있다. 따라서 두 가지 타입들의 데이터, 이미지들 및 스캔 데이터를 생성하기 위한 무인 차량들의 사용은 다수의 기술적 효과들을 제공한다. 예를 들어, 하나 이상의 영역들에 대해 더 상세히 보기 위한 확대 능력이 존재한다. 추가로, 무인 차량들의 사용은 그러한 차량들이 더 큰 분리를 제공하는 위치들로 이동될 수 있게 한다.
컴퓨터 시스템(218)은 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 사용하여 서로 다른 예시적인 예들에서 설명된 단계들, 동작들 또는 행위들 중 적어도 하나를 수행하도록 구성될 수 있다. 그 결과, 컴퓨터 시스템(218)은 컴퓨터 시스템(218) 내의 시각화기(230)가 현재 프로세스들과 비교하여 더 적은 처리 자원들을 사용하는 두 가지 타입들의 데이터를 사용하여 개선된 모델(232)을 생성하는 것을 가능하게 하는 특수 목적 컴퓨터 시스템으로서 동작한다. 특히, 시각화기(230)는 컴퓨터 시스템(218)을 시각화기(230)를 갖지 않는 현재 이용 가능한 일반 컴퓨터 시스템들과 비교되는 특수 목적 컴퓨터 시스템으로 변환한다.
다음으로 도 3을 참조하면, 예시적인 실시예에 따라 개선된 모델의 생성을 보여주는 블록도의 예시가 도시된다. 예시적인 예들에서는, 하나보다 많은 도면들에서 동일한 참조 번호가 사용될 수도 있다. 서로 다른 도면들에서 참조 번호의 이러한 재사용은 서로 다른 도면들에서 동일한 엘리먼트를 나타낸다.
이 예시적인 예에서, 시각화기(230)는 무인 차량들(220)의 그룹으로부터 수신된 이미지들(222) 및 다수의 무인 차량들(220)로부터 수신된 스캔 데이터(224)를 사용하여 개선된 모델(232)을 생성한다.
물리적 객체(204)의 개선된 모델(232)을 생성할 때, 시각화기(230)가 이미지들(222)을 사용하여 물리적 객체(204)의 모델(300)을 생성한다. 시각화기(230)는 객체 인식 프로세스를 사용하여 이미지들(222)에서 물리적 객체(204)를 식별할 수 있다. 시각화기(230)는 물리적 객체(204)의 3차원 재구성을 이용할 수 있다.
이 3차원 재구성은 이미지들(222)로부터의 물리적 객체(204)의 식별을 사용하여 수행되어 물리적 객체(204)의 3차원 모델인 모델(300)을 생성할 수 있다. 모델(300)은 컴퓨터 지원 설계(CAD: computer-aided design) 모델, 컴퓨터 지원 공학(CAE: computer-aided engineering) 모델, 또는 다른 어떤 적당한 타입의 모델일 수 있다.
이 도시된 예에서, 이미지들(222)은 서로 다른 시점들로부터의 물리적 객체(204)의 이미지들이다. 다시 말해서, 다수의 무인 차량들(220)이 서로 다른 위치들로부터 물리적 객체(204)의 이미지들(222)을 생성한다. 위치는 3차원 공간에서 무인 차량의 위치이며 무인 차량의 배향을 포함한다.
스캔 데이터(224)는 영역(226)에 대해 다수의 무인 차량들(220)에 의해 생성된다. 스캔 데이터(224)는 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술한다. 영역(226)은 이미지들(222)에서 누락되고 있을 수 있고 또는 이미지들(222)을 사용하여 제공될 수 있는 것보다 더 세부사항이 요구되는 영역일 수 있다.
시각화기(230)는 또한 무인 차량들(220)의 그룹에서 다수의 무인 차량들(220)에 의해 생성된 스캔 데이터(224)로부터 다수의 포인트 클라우드들(302)을 생성한다. 다수의 포인트 클라우드들(302)은 영역(226)에서 물리적 객체(204)의 표면(304)을 기술한다. 시각화기(230)는 개선된 모델(232)을 형성하도록 다수의 포인트 클라우드들(302)을 사용하여 물리적 객체(204)의 모델(300)을 수정한다.
예를 들어, 다수의 포인트 클라우드들(302)은 일반적으로 표면 재구성으로 지칭되는 현재 사용되는 프로세스를 통해 다각형 메시 모델, 삼각형 메시 모델, 비균일 유리 기저 스플라인(NURBS: non-uniform rational basis spline) 표면 모델 또는 컴퓨터 지원 모델로 변환될 수 있다.
추가로, 개선된 모델(232)은 또한 휴대용 컴퓨팅 디바이스(208)로부터 수신된 데이터를 사용하여 생성될 수 있다. 예를 들어, 휴대용 컴퓨팅 디바이스(208)로부터 영역(226)에 대해 추가 스캔 데이터(240)가 수신되어 다수의 포인트 클라우드들(302)의 포인트 클라우드를 생성하는 데 사용될 수 있다. 다른 예로서, 휴대용 컴퓨팅 디바이스(208)로부터 추가 이미지들(238)이 수신되어 모델(300)을 생성하는 데 사용될 수 있다.
도 4는 예시적인 실시예에 따라 도시된 물리적 객체의 영역의 선택을 보여주는 블록도의 예시이다. 이 예시적인 예에서, 컴퓨터 시스템(218) 내의 시각화기(230)는 물리적 객체(204)의 영역(226)을 선택하고, 물리적 객체(204)의 영역(226)의 스캔 데이터(224)를 생성하도록 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)을 제어한다.
영역(226)은 다수의 서로 다른 방식들로 선택될 수 있다. 예를 들어, 시각화기(230)는 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)의 응시점(400)을 기초로 물리적 객체(204)의 영역(226)을 선택할 수 있다. 응시점(400)은 인간 조작자(206)가 보고 있는 곳이다. 이 예시적인 예에서, 휴대용 컴퓨팅 디바이스(208)는 인간 조작자(206)의 응시점(400)을 측정할 수 있다. 물리적 객체(204) 상의 응시점(400)의 위치는 물리적 객체(204) 상의 영역(226)을 결정하는 데 사용될 수 있다.
다른 예시적인 예에서, 시각화기(230)는 휴대용 컴퓨팅 디바이스(208)를 사용하여 인간 조작자(206)에 의해 수행된 작업(214)에 대한 위치(402)에 기초하여 물리적 객체(204)의 영역(226)을 선택할 수 있다. 이 예에서, 위치(402)는 영역(226)으로 둘러싸인다.
영역(226)의 식별에 의해, 시각화기(230)는 스캔 데이터(224)를 생성하도록 다수의 무인 차량들(220)을 제어할 수 있다. 스캔 데이터(224)에 의해, 개선된 모델(232) 내의 물리적 객체(204)의 영역(226)은 개선된 모델(232) 내의 물리적 객체(204)의 다른 영역들(234)보다 더 많은 세부사항을 갖는다.
또한, 인공 지능 시스템(404)이 영역(226)의 식별을 도울 수 있다. 예를 들어, 인공 지능 시스템(404)은 인간 조작자(206)가 어디를 볼 것인지 예측할 수 있다. 다시 말하면, 인공 지능 시스템(404)은 인간 조작자(206)에 대한 응시점(400)을 예측할 수 있고, 다수의 무인 차량들(220)을 물리적 객체(204) 상의 예측된 영역으로 향하게 하여 스캔 데이터(224)를 생성하고 개선된 모델(232)을 생성 또는 업데이트할 수 있다. 개선된 모델(232)의 이러한 생성 또는 업데이트는 인간 조작자(206)가 응시점(400)을 예측된 영역으로 변경하기 전에 발생할 수 있다.
추가로, 휴대용 컴퓨팅 디바이스(208)는 추가 스캔 데이터(240)를 생성하여 시각화기(230)에 전송할 수 있다. 이 예시적인 예에서, 추가 스캔 데이터(240)는 응시점(400)에 대한 것일 수 있다.
도 2 - 도 4의 시각화 환경(200) 및 시각화 환경(200) 내의 서로 다른 컴포넌트들의 예시는 예시적인 실시예가 구현될 수 있는 방식에 대한 물리적 또는 구조적 제한들을 암시하려는 것이 아니다. 예시된 것들에 추가로 또는 그 대신 다른 컴포넌트들이 사용될 수 있다. 일부 컴포넌트들은 불필요할 수 있다. 또한, 블록들은 일부 기능 컴포넌트들을 예시하기 위해 제시된다. 이러한 블록들 중 하나 이상의 블록은 예시적인 실시예로 구현될 때, 조합되거나, 분할되거나, 또는 조합되어 서로 다른 블록들로 분할될 수 있다.
예를 들어, 하나 이상의 휴대용 컴퓨팅 디바이스들 및 하나 이상의 휴대용 컴퓨팅 디바이스들을 사용하는 하나 이상의 인간 조작자들이 휴대용 컴퓨팅 디바이스(208)에 추가로 또는 그 대신에 시각화 환경에 존재할 수 있다. 다른 예로서, 개선된 모델(232)은 예시적인 예에서 증강 현실 시스템(216)에서 사용되는 것으로 도시되었지만, 개선된 모델(232)은 가상 현실 시스템과 같은 다른 혼합 현실 시스템들에서 사용될 수 있다. 가상 현실 시스템에서, 개선된 모델(232)은 물리적 객체(204)에 대한 동작들을 수행하기 위한 훈련에 사용될 수 있다. 예를 들어, 인간 조작자(206)는 물리적 객체(204)의 개선된 모델(232)을 보고 물리적 객체(204)에 대한 작업(214)을 수행하도록 훈련시킬 수 있다. 다른 예에서, 영역(226)에 추가하여 또는 그 대신에 하나 이상의 영역들이 스캔되어 그러한 하나 이상의 영역들에 대한 스캔 데이터를 생성할 수 있다.
예를 들어, 기준 모델(236)은 개선된 모델(232)을 생성하는 대신 스캔 데이터(224)를 사용하여 업데이트될 수 있다. 이런 식으로, 기준 모델(236)은 시간이 지남에 따라 발생한 물리적 객체(204)에 대한 변경들을 반영하도록 업데이트될 수 있다.
이 예에서, 물리적 객체(204)의 영역(226)이 스캔될 수 있고 기준 모델(236)의 대응 영역이 업데이트될 수 있다. 기준 모델에 대한 업데이트(236)는 시간이 지남에 따라 발생하는 물리적 객체(204)에 대한 변경들을 다룰 수 있다. 또한, 스캔 데이터(224)는 또한, 동일한 상세 레벨에서 기준 모델(236) 내의 물리적 객체(204)의 시간적 변화들을 보다 정확하게 반영하기 위해 영역(226)에서 기준 모델(236)의 세부사항을 증가시키는 데 사용될 수 있다.
하나의 예시적인 예에서, 물리적 객체(204)의 구조는 시간이 지남에 따라 재성형되거나, 변형되거나 아니면 변경될 수 있다. 변경된 구조가 교체되어야 한다면, 변경된 구조를 가진 현재 구성이 교체 구조들을 식별 또는 제작하는 데 사용된다. 변경 없는 기준 모델(236)은 구조를 교체하는 데 사용될 수 없다. 이 경우, 구조가 위치되는 물리적 객체(204) 내의 영역(226)이 스캔되어, 물리적 객체(204)의 기준 모델(236) 내의 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 생성할 수 있다.
다른 예로서, 이미지들(222) 및 스캔 데이터(224)의 개선된 모델(232)이 기준 모델(236)을 생성하는 데 사용될 수 있다. 이러한 타입의 프로세스는 기준 모델(236)이 이전에 존재하지 않았을 때 유용할 수 있다.
다른 예시적인 예에서, 물리적 객체의 타입은 알려져 있지만, 사용될 기준 모델의 보다 상세한 식별은 알려지지 않을 수 있다. 예를 들어, 항공기의 경우, 특정 타입의 항공기에 대해 여러 기준 모델들이 존재할 수 있지만, 항공기의 특정 모델 또는 항공기의 식별자 번호는 알려지지 않을 수 있다. 개선된 모델(232)은 사용할 특정 기준 모델을 식별하는 데 사용될 수 있다. 일부 경우들에, 물리적 객체를 식별하는 신뢰도는 100% 미만일 수 있다. 이 경우, 기준 모델들의 서브세트가 사용을 위해 식별될 수 있다.
다음으로 도 5를 참조하면, 예시적인 실시예에 따라 시각화 환경의 그림 예시가 도시된다. 이 예시적인 예에서, 시각화 환경(500)은 도 2의 시각화 환경(200)의 구현의 일례이다.
이 예시적인 예에서, 시각화 환경(500)은 동체 섹션(502)을 포함한다. 도시된 바와 같이, 인간 조작자(504)가 현재 제조 단계에서 동체 섹션(502)의 검사를 수행한다. 도시된 바와 같이, 인간 조작자(504)는 휴대용 컴퓨팅 디바이스의 한 타입인 스마트 안경류(506)를 착용한다. 추가로, 이 도시된 예에서 무인 항공기(508) 및 무인 항공기(510)는 쿼드콥터들이다.
도시된 바와 같이, 무인 항공기(508) 및 무인 항공기(510)는 동체 섹션(502)의 이미지들을 생성한다. 추가로, 무인 항공기(508) 및 무인 항공기(510)는 또한 동체 섹션(502)의 하나 이상의 영역들을 스캔하여 스캔 데이터를 생성할 수 있다. 예를 들어, 무인 항공기(508)는 동체 섹션(502)에서 크랙 형태의 부적합성(512)을 포함하는 영역(520)을 스캔할 수 있다.
무인 항공기(508) 및 무인 항공기(510)에 의해 생성된 이미지들 및 스캔 데이터는 무선 통신 링크(514) 및 무선 통신 링크(516)를 통해 서버 컴퓨터(512)로 전송된다.
도시된 바와 같이, 서버 컴퓨터(512)는 무인 항공기(508) 및 무인 항공기(510)로부터 수신된 이미지들 및 스캔 데이터를 사용하여 개선된 모델을 생성한다. 도시된 바와 같이, 영역(520)에 대한 스캔 데이터는 부적합성(512)을 포함하는 영역(520)의 보다 높은 해상도의 시각화를 제공한다.
개선된 모델의 적어도 일부는 무선 통신 링크(518)를 통해 스마트 안경류(506)로 전송된다. 스마트 안경류(506)로 전송된 개선된 모델의 부분은 스마트 안경류(506)에 의해 렌더링되고 디스플레이되어 인간 조작자(504)를 위한 영역(520)의 라이브 뷰를 증강시킬 수 있는 정보이다.
도 6을 참조하면, 예시적인 실시예에 따라 그래픽 사용자 인터페이스의 그림 예시가 도시된다. 이 예시적인 예에서, 그래픽 사용자 인터페이스(600)는 도 5에서 인간 조작자(504) 상의 스마트 안경류(506) 상에 디스플레이된다.
이 예시적인 예에서, 그래픽 사용자 인터페이스(600)는 동체 섹션(502)의 라이브 뷰(602)를 포함하는데, 개선된 모델로부터의 정보(604)가 라이브 뷰(602)를 증강시킨다. 정보(604)는 또한 증강 현실 정보로 지칭될 수 있다. 이 예시적인 예에서, 정보(604)는 동체 섹션(502)의 라이브 뷰(602)에서 부적합성(512)을 식별하는 그래픽 표시자(610)를 포함한다. 그래픽 표시자(610)는 동체 섹션(502)의 라이브 뷰(602)에서 이 부적합성에 대해 인간 조작자(504)의 주의를 끈다. 또한, 그래픽 표시자(612)가 부적합성(512)을 강조한다. 그래픽 표시자(612)는 이미지들뿐만 아니라 스캔 데이터를 사용하여 부적합성(512)의 라이브 뷰(602) 상에 보다 정확하게 디스플레이된다. 추가로, 정보(604)는 또한 부적합성(512)과 관련하여 수행될 동작들을 식별하는, 라이브 뷰(602) 상에 디스플레이된 작업 순서(614)를 포함한다.
다음으로, 도 7을 참조하면, 예시적인 실시예에 따라 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 프로세스의 흐름도의 예시가 도시된다. 도 7의 프로세스는 하드웨어, 소프트웨어, 또는 이 둘 다로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들에서 하나 이상의 하드웨어 디바이스들에 위치된 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드 형태를 취할 수 있다. 예를 들어, 프로세스는 도 2의 컴퓨터 시스템(218) 내의 시각화기(230)에서 구현될 수 있다.
이 프로세스는 물리적 객체에 대해 이동하는 무인 차량들의 그룹으로부터 물리적 객체의 이미지들을 수신함으로써 시작된다(동작(700)). 동작(700)에서, 이미지들은 무인 차량들과의 통신 링크들을 통해 수신된다.
프로세스는 물리적 객체의 영역에 대한 스캔 데이터를 수신한다(동작(702)). 스캔 데이터는 다수의 통신 링크들을 통해 무인 차량들의 그룹 내의 다수의 무인 차량들로부터 수신된다.
프로세스는 이미지들 및 스캔 데이터를 사용하여 물리적 객체의 개선된 모델을 생성한다(동작(704)). 개선된 모델의 영역은 개선된 모델의 물리적 객체의 다른 영역들보다 더 상세한 사항을 갖는다. 더 상세한 사항은 물리적 객체의 영역의 라이브 뷰 상에 정보를 배치할 때 더 높은 정확도에 도움이 될 수 있는 향상된 해상도일 수 있다.
프로세스는 개선된 모델의 적어도 일부를 휴대용 컴퓨팅 디바이스로 전송한다(동작(706)). 휴대용 컴퓨팅 디바이스는 개선된 모델의 적어도 일부를 사용하여 물리적 객체에 로컬라이징한다.
프로세스는 휴대용 컴퓨팅 디바이스에 의해 디스플레이 가능한 정보를 전송하며, 휴대용 컴퓨팅 디바이스는 휴대용 컴퓨팅 디바이스를 통해 보이는 물리적 객체의 라이브 뷰 상에 정보를 디스플레이한다(동작(708)). 이후 프로세스가 종료된다.
동작(708)에서, 정보는 물리적 객체의 개선된 모델을 사용하여 식별된다. 예를 들어, 물리적 객체의 라이브 뷰에서 보이는 물리적 객체 상의 위치를 식별하는 것으로부터, 그 위치가 개선된 모델에서 식별될 수 있으며, 이 위치는 정보를 포함하는 물리적 객체의 기준 모델에서 대응하는 위치를 식별하는 데 사용될 수 있다. 예를 들어, 전기 광학(EO: electro-optic) 이미지들 또는 적외선(IR: infrared) 이미지들에 대해 특징 추출 및 의미론적 장면 분할이 수행될 수 있다. 이미지 분류 및 객체 인식을 사용하여, 획득된 이미지들이 스캔된 정보를 기준 모델에 정렬할 수 있다.
일부 상황들에서, 하드(고정식) 또는 소프트(주로 고정) 웨이포인트들을 정의할 수 있는 다른 위치 특징들 또는 서명들이 존재한다. 이러한 위치 서명들은 글로벌 포지셔닝 시스템 및 획득 배향에 의해 결정되는 물리적 위치와 같은 것들일 수 있다. 대안으로, 2차원 바코드들 또는 3차원 바코드들 중 적어도 하나를 사용하여 자동 식별이 수행될 수 있다. 자동 식별은 또한 사전 정의된 구성을 갖는 항공기 기내의 무선 주파수 식별자들, 알려진 로고들 또는 알려진 식별자 플레이트들을 사용하여 수행될 수 있다. 기준 모델에서 원하는 대응 위치에 대한 정보는 기준 모델로부터 얻어질 수 있다.
도 8을 참조하면, 예시적인 실시예에 따라 개선된 모델을 생성하기 위한 정보를 생성하도록 무인 차량들을 제어하기 위한 프로세스의 흐름도의 예시가 도시된다. 도 8의 프로세스는 하드웨어, 소프트웨어, 또는 이 둘 다로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들에서 하나 이상의 하드웨어 디바이스들에 위치된 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드 형태를 취할 수 있다. 예를 들어, 프로세스는 도 2의 컴퓨터 시스템(218) 내의 시각화기(230)에서 구현될 수 있다.
정보는 이미지들 또는 스캔 데이터 중 적어도 하나를 포함한다. 이미지들은 물리적 객체의 모델을 생성하는 데 사용될 수 있다. 스캔 데이터는 더 세부사항을 갖도록 하나 이상의 영역들에서 모델을 강화하여 개선된 모델을 형성하는 데 사용될 수 있다.
이 프로세스는 물리적 객체에 대해 이동하도록 무인 차량들의 그룹을 제어함으로써 시작된다(동작(800)). 프로세스는 물리적 객체의 이미지들을 생성하고 물리적 객체의 영역을 위한 공간의 포인트들을 기술하는 데이터를 스캔하도록 무인 차량들의 그룹을 제어한다(동작(802)). 무인 차량들이 물리적 객체에 대해 움직이는 동안 이미지들의 생성이 발생할 수 있다. 또한, 이미지들의 생성은 객체에 대해 고정된 위치들에서 무인 차량들 중 하나 이상으로 발생할 수 있다. 다시 말해서, 무인 차량들이 이동하는 동안 이미지들이 생성될 수 있는 한편, 무인 차량들은 특정 고정 위치, 또는 이들의 어떤 조합이다. 이후 프로세스가 종료된다.
도 9를 참조하면, 예시적인 실시예에 따라 물리적 객체의 개선된 모델을 생성하기 위한 프로세스의 흐름도의 예시가 도시된다. 도 9의 프로세스는 도 7의 동작(704)의 한 구현의 일례이다.
이 프로세스는 이미지들을 사용하여 물리적 객체의 모델을 생성함으로써 시작된다(동작(900)). 프로세스는 무인 차량들의 그룹 내의 다수의 무인 차량들에 의해 생성된 스캔 데이터로부터 다수의 포인트 클라우드들을 생성한다(동작(902)).
프로세스는 개선된 모델을 형성하도록 다수의 포인트 클라우드들을 사용하여 물리적 객체의 모델을 수정한다(동작(904)). 이후 프로세스가 종료된다. 동작(904)에서, 프로세스는 다수의 포인트 클라우드들을 사용하여 생성된 영역의 모델로 영역에 대한 모델의 일부를 대체할 수 있다.
도 10을 참조하면, 예시적인 실시예에 따라 물리적 객체의 라이브 뷰 상에서 정보를 시각화하기 위한 프로세스의 흐름도의 예시가 도시된다. 도 10의 프로세스는 하드웨어, 소프트웨어, 또는 이 둘 다로 구현될 수 있다. 소프트웨어로 구현될 때, 프로세스는 하나 이상의 컴퓨터 시스템들에서 하나 이상의 하드웨어 디바이스들에 위치된 하나 이상의 프로세서 유닛들에 의해 실행되는 프로그램 코드 형태를 취할 수 있다. 예를 들어, 프로세스는 도 2의 증강 현실 시스템(216)의 휴대용 컴퓨팅 디바이스(208)에서 구현될 수 있다.
이 프로세스는 물리적 객체의 개선된 모델을 사용하여 휴대용 컴퓨팅 디바이스를 물리적 객체에 로컬라이징함으로써 시작된다(동작(1000)). 동작(1000)의 로컬라이제이션은 휴대용 컴퓨팅 디바이스 상에서 실행되는 동시 로케이션 및 매핑(SLAM) 프로세스들을 사용하여 수행될 수 있다.
프로세스는 물리적 객체의 개선된 모델 및 물리적 객체의 기준 모델을 사용하여 로컬라이징된 휴대용 컴퓨팅 디바이스에서 디스플레이 디바이스를 통해 보이는 물리적 객체의 라이브 뷰 상에 정보를 디스플레이한다(동작(1002)). 동작(1002)에서, 물리적 객체의 라이브 뷰 상의 위치는 개선된 모델 상의 대응하는 위치에 상관될 수 있다. 결국, 개선된 모델에서의 위치는 물리적 객체의 기준 모델에 상관될 수 있다. 정보는 기준 모델에서의 위치를 기반으로 식별될 수 있다. 이 정보는 물리적 객체의 라이브 뷰 상에 디스플레이될 수 있다. 이러한 상관들은 현재 이용 가능한 이미지 등록 프로세스들을 사용하여 수행될 수 있다.
동작(1002)은 Vuforia and PTC Incorporated에 의해 개발된 Vuforia™ 증강 현실 소프트웨어와 같은 현재 이용 가능한 증강 현실 애플리케이션들을 사용하여 구현될 수 있다. 이후 프로세스가 종료된다.
도시된 서로 다른 실시예들의 흐름도들 및 블록도들은 예시적인 실시예의 장치들 및 방법들의 일부 가능한 구현들의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도들 또는 블록도들 내의 각각의 블록은 모듈, 세그먼트, 기능, 또는 동작이나 단계의 일부 중 적어도 하나를 나타낼 수 있다. 예를 들어, 블록들 중 하나 이상은 프로그램 코드, 하드웨어, 또는 프로그램 코드와 하드웨어의 결합으로 구현될 수 있다. 하드웨어로 구현될 때, 하드웨어는 예를 들어, 흐름도들 또는 블록도들의 하나 이상의 동작들을 수행하도록 제조 또는 구성되는 집적 회로들의 형태를 취할 수 있다. 프로그램 코드와 하드웨어의 결합으로서 구현될 때, 구현은 펌웨어의 형태를 취할 수 있다. 흐름도들 또는 블록도들의 각각의 블록은 특수 목적 하드웨어 및 특수 목적 하드웨어에 의해 실행되는 프로그램 코드의 상이한 동작들 또는 결합들을 수행하는 특수 목적 하드웨어 시스템들을 사용하여 구현될 수 있다.
예시적인 실시예의 일부 대안적인 구현들에서는, 블록들에서 언급된 기능 또는 기능들이 도면들에서 언급된 순서와 다르게 발생할 수 있다. 예를 들어, 어떤 경우들에는, 연속하여 도시된 2개의 블록들이 실질적으로 동시에 수행될 수 있고, 또는 블록들이 수반되는 기능에 따라 간혹 역순으로 수행될 수 있다. 또한, 흐름도 또는 블록도에서 예시된 블록들 외에도 다른 블록들이 추가될 수 있다.
또한, 일례로 도 2의 시각화기(230)에 의해 수행되는 동작들과 관련하여 예들이 설명된다. 다른 예시적인 예들에서, 이러한 프로세스들은 도 4의 인공 지능 시스템(404) 또는 도 1의 시각화기(128) 중 적어도 하나를 포함하는 다른 컴포넌트들에 의해 수행될 수 있다.
이제 도 11을 참조하면, 예시적인 실시예에 따라 데이터 처리 시스템의 블록도의 예시가 도시된다. 데이터 처리 시스템(1100)은 도 1의 서버 컴퓨터(104), 서버 컴퓨터(106) 및 클라이언트 디바이스들(110)을 구현하는 데 사용될 수 있다. 데이터 처리 시스템(1100)은 또한 도 2의 컴퓨터 시스템(218) 및 휴대용 컴퓨팅 디바이스(208)를 구현하는 데 사용될 수 있다. 이 예시적인 예에서, 데이터 처리 시스템(1100)은 프로세서 유닛(1104), 메모리(1106), 영구 저장소(1108), 통신 유닛(1110), 입력/출력(I/O: input/output) 유닛(1112) 그리고 디스플레이(1114) 간의 통신들을 제공하는 통신 프레임워크(1102)를 포함한다. 이 예에서, 통신 프레임워크(1102)는 버스 시스템의 형태를 취한다.
프로세서 유닛(1104)은 메모리(1106)에 로딩될 수 있는 소프트웨어에 대한 명령들을 실행하는 역할을 한다. 프로세서 유닛(1104)은 하나 이상의 프로세서들을 포함한다. 예를 들어, 프로세서 유닛(1104)은 멀티코어 프로세서, 중앙 처리 유닛(CPU: central processing unit), 그래픽 처리 유닛(GPU: graphics processing unit), 물리 처리 유닛(PPU: graphics processing unit), 디지털 신호 프로세서(DSP: physics processing unit), 네트워크 프로세서, 또는 다른 어떤 적합한 타입의 프로세서 중 적어도 하나로부터 선택될 수 있다.
메모리(1106) 및 영구 저장소(1108)는 저장 디바이스들(1116)의 예들이다. 저장 디바이스는 예를 들어, 제한 없이, 데이터, 함수 형태의 프로그램 코드, 또는 다른 적당한 정보 중 적어도 하나와 같은 정보를 임시로나, 영구적으로나, 아니면 임시로도 그리고 영구적으로도 저장할 수 있는 하드웨어의 임의의 부분(piece)이다. 저장 디바이스들(1116)은 또한 이러한 예시적인 예들에서 컴퓨터 판독 가능 저장 디바이스들로 지칭될 수 있다. 이러한 예들에서 메모리(1106)는 예를 들어, 랜덤 액세스 메모리 또는 임의의 다른 적당한 휘발성 또는 비휘발성 저장 디바이스일 수 있다. 영구 저장소(1108)는 특정 구현에 따라 다양한 형태들을 취할 수 있다.
예를 들어, 영구 저장소(1108)는 하나 이상의 컴포넌트들 또는 디바이스들을 포함할 수 있다. 예를 들어, 영구 저장소(1108)는 하드 드라이브, 솔리드 스테이트 드라이브(SSD: solid-state drive), 플래시 메모리, 재기록 가능한 광 디스크, 재기록 가능한 자기 테이프, 또는 상기의 어떤 결합일 수 있다. 영구 저장소(1108)에 의해 사용되는 매체는 또한 착탈식일 수 있다. 예를 들어, 영구 저장소(1108)에 착탈식 하드 드라이브가 사용될 수 있다.
통신 유닛(1110)은 이러한 예시적인 예들에서, 다른 데이터 처리 시스템들 또는 디바이스들과의 통신들을 제공한다. 이러한 예시적인 예들에서, 통신 유닛(1110)은 네트워크 인터페이스 카드이다.
입력/출력 유닛(1112)은 데이터 처리 시스템(1100)에 접속될 수 있는 다른 디바이스들과의 데이터의 입력 및 출력을 가능하게 한다. 예를 들어, 입력/출력 유닛(1112)은 키보드, 마우스, 또는 다른 어떤 적당한 입력 디바이스 중 적어도 하나를 통해 사용자 입력에 대한 접속을 제공할 수 있다. 또한, 입력/출력 유닛(1112)은 프린터에 출력을 전송할 수 있다. 디스플레이(1114)는 사용자에게 정보를 디스플레이하기 위한 메커니즘을 제공한다.
운영 시스템, 애플리케이션들 또는 프로그램들 중 적어도 하나에 대한 명령들은 통신 프레임워크(1102)를 통해 프로세서 유닛(1104)과 통신하는 저장 디바이스들(1116)에 로케이팅될 수 있다. 서로 다른 실시예들의 프로세스들은 메모리(1106)와 같은 메모리에 위치될 수 있는 컴퓨터 구현 명령들을 사용하여 프로세서 유닛(1104)에 의해 수행될 수 있다.
이러한 명령들은 프로세서 유닛(1104) 내의 프로세서에 의해 판독 및 실행될 수 있는 프로그램 코드, 컴퓨터 사용 가능 프로그램 코드 또는 컴퓨터 판독 가능 프로그램 코드로 지칭된다. 서로 다른 실시예들에서의 프로그램 코드는 서로 다른 물리적 또는 컴퓨터 판독 가능 저장 매체, 이를테면 메모리(1106) 또는 영구 저장소(1108) 상에 구현될 수 있다.
프로그램 코드(1118)는 선택적으로 착탈식인 컴퓨터 판독 가능 매체(1120) 상에 함수 형태로 위치되며, 프로세서 유닛(1104)에 의한 실행을 위해 데이터 처리 시스템(1100)으로 로딩되거나 전송될 수 있다. 이러한 예시적인 예들에서 프로그램 코드(1118)와 컴퓨터 판독 가능 매체(1120)는 컴퓨터 프로그램 제품(1122)을 형성한다. 예시적인 예에서, 컴퓨터 판독 가능 매체(1120)는 컴퓨터 판독 가능 저장 매체(1124)이다.
이러한 예시적인 예들에서, 컴퓨터 판독 가능 저장 매체(1124)는 프로그램 코드(1118)를 전파하거나 송신하는 매체라기보다는 프로그램 코드(1118)를 저장하는 데 사용되는 물리적 또는 유형의 저장 디바이스이다.
대안으로, 프로그램 코드(1118)는 컴퓨터 판독 가능 신호 매체를 사용하여 데이터 처리 시스템(1100)으로 전송될 수 있다. 컴퓨터 판독 가능 신호 매체는 예를 들어, 프로그램 코드(1118)를 포함하는 전파 데이터 신호일 수 있다. 예를 들어, 컴퓨터 판독 가능 신호 매체는 전자기 신호, 광 신호 또는 임의의 다른 적절한 타입의 신호 중 적어도 하나일 수 있다. 이러한 신호들은 테더링된 통신 링크들 또는 무선 통신 링크들과 같은 접속들을 통해 송신될 수 있다. 테더링된 통신 링크들은 광섬유 케이블, 동축 케이블, 와이어, 또는 임의의 다른 적절한 타입의 접속을 사용하여 이루어진 접속들을 포함할 수 있다.
데이터 처리 시스템(1100)에 대해 예시된 서로 다른 컴포넌트들은 서로 다른 실시예들이 구현될 수 있는 방식에 대한 구성적 제한들을 제공하려는 것이 아니다. 일부 예시적인 예들에서, 컴포넌트들 중 하나 이상은 다른 컴포넌트의 일부에 통합되거나 아니면 다른 컴포넌트의 일부를 형성할 수 있다. 예를 들어, 메모리(1106) 또는 그 부분들은 일부 예시적인 예들에서는 프로세서 유닛(1104)에 통합될 수 있다. 서로 다른 예시적인 실시예들이 데이터 처리 시스템(1100)에 대해 예시된 것들에 추가로 또는 그 대신에 컴포넌트들을 포함하는 데이터 처리 시스템으로 구현될 수 있다. 도 11에 도시된 다른 컴포넌트들은 도시된 예시적인 예들과 다를 수 있다. 서로 다른 실시예들은 프로그램 코드(1118)를 실행할 수 있는 임의의 하드웨어 디바이스 또는 시스템을 사용하여 구현될 수 있다.
도 12를 참조하면, 예시적인 실시예에 따라 휴대용 컴퓨팅 디바이스의 블록도의 예시가 도시된다. 휴대용 컴퓨팅 디바이스(1200)는 도 2의 휴대용 컴퓨팅 디바이스(208)가 구현될 수 있는 하나의 방식의 예이다. 이 예시적인 예에서, 휴대용 컴퓨팅 디바이스(1200)는 프로세서 유닛(1202), 통신 프레임워크(1204), 메모리(1206), 데이터 저장소(1208), 통신 유닛(1210), 디스플레이(1212) 및 센서 시스템(1214)과 같은 물리적 하드웨어 컴포넌트들을 포함한다.
통신 프레임워크(1204)는 휴대용 컴퓨팅 디바이스(1200)의 서로 다른 컴포넌트들이 통신 프레임워크(1204)에 접속될 때 서로 통신할 수 있게 한다. 통신 프레임워크(1204)는 이 예시적인 예에서 버스 시스템이다.
프로세서 유닛(1202)은 메모리(1206)에 로딩된 소프트웨어에 대한 프로그램 코드를 처리한다. 이 예시적인 예에서, 프로그램 코드는 증강 현실 애플리케이션( 1205) 및 동시 로컬라이제이션 및 매핑(SLAM) 프로세스(1207)와 같은 애플리케이션들을 포함할 수 있다.
증강 현실 애플리케이션(1205)은 증강 현실 뷰를 제공하기 위해 휴대용 컴퓨팅 디바이스(1200)에서 디스플레이(1212)를 통해 보이는 물리적 객체의 라이브 뷰 상에 정보를 디스플레이하도록 동작할 수 있다.
동시 로컬라이제이션 및 매핑 프로세스(1207)는 물리적 객체의 맵 또는 모델을 생성하도록 동작할 수 있다. 추가로, 이 프로세스는 또한 물리적 객체에 대한 휴대용 컴퓨팅 디바이스(1200)의 위치를 로컬라이징 또는 식별하도록 동작할 수 있다. 이 프로세스는 물리적 객체의 라이브 뷰와 관련하여 정보를 어디에 디스플레이할지를 결정하는 데 사용할 수 있다.
프로세서 유닛(1202)은 하나 이상의 프로세서들을 포함한다. 예를 들어, 프로세서 유닛(1202)은 멀티코어 프로세서, 중앙 처리 유닛(CPU: central processing unit), 그래픽 처리 유닛(GPU: graphics processing unit), 물리 처리 유닛(PPU: graphics processing unit), 디지털 신호 프로세서(DSP: physics processing unit), 네트워크 프로세서, 또는 다른 어떤 적합한 타입의 프로세서 중 적어도 하나로부터 선택될 수 있다.
메모리(1206)는 통신 프레임워크(1204)를 통해 프로세서 유닛(1202)에 접속된다. 도시된 바와 같이, 메모리(1206)는 랜덤 액세스 메모리(RAM: random-access memory), 판독 전용 메모리(ROM: read-only memory), 정적 랜덤 액세스 메모리(SRAM: static random-access memory), 동적 랜덤 액세스 메모리(DRAM: dynamic random-access memory) 또는 다른 적합한 타입들의 메모리 디바이스들 또는 회로들 중 적어도 하나를 포함할 수 있다.
도시된 바와 같이, 데이터 저장소(1208)가 통신 프레임워크(1204)에 접속되고 데이터, 프로그램 코드 또는 다른 정보를 저장할 수 있다. 프로그램 코드의 명령들은 프로세서 유닛(1202)에 의한 처리를 위해 데이터 저장소(1208)로부터 메모리(1206)로 로딩될 수 있다. 데이터 저장소(1208)는 하드 디스크 드라이브, 플래시 드라이브, 솔리드 스테이트 디스크 드라이브, 광 드라이브, 또는 다른 어떤 적당한 타입의 데이터 저장소 디바이스 또는 시스템 중 적어도 하나를 포함할 수 있다.
이 예시적인 예에서, 통신 유닛(1210)은 다른 데이터 처리 시스템들 또는 디바이스들과의 통신들을 제공한다. 이러한 예시적인 예들에서, 통신 유닛(1210)은 네트워크 인터페이스 카드, 무선 통신 디바이스, 범용 직렬 버스 포트 또는 다른 적절한 디바이스 중 적어도 하나를 포함한다.
디스플레이(1212)는 통신 프레임워크(1204)에 접속되며, 사용자에게 정보를 디스플레이하기 위한 메커니즘을 제공한다. 이 예에서, 디스플레이(1212)는 이 디스플레이를 통한 사용자 입력의 수신을 가능하게 하는 터치 스크린 디스플레이일 수 있다.
이 예시적인 예에서, 센서 시스템(1214)은 통신 프레임워크(1204)에 접속된다. 도시된 바와 같이, 센서 시스템(1214)은 센서 시스템(1214) 내의 카메라 시스템(1216) 및 3차원 스캐너(1218)의 동작을 제어하는 하드웨어, 소프트웨어 또는 이 둘 모두를 포함할 수 있다. 카메라 시스템(1216)은 이미지들을 기록 또는 캡처할 수 있는 하나 이상의 카메라들을 포함하는 물리적 하드웨어이다. 카메라 시스템(1216)은 하나 이상의 디지털 카메라들이며, 스테레오 카메라, 미러리스 카메라 또는 다른 어떤 타입의 이미징 디바이스 중 적어도 하나를 포함할 수 있다. 카메라들은 또한 예를 들어, 전기 광학 또는 적외선 카메라들 중 적어도 하나일 수 있다. 이미지들은 비디오에 대한 이미지들에 대한 개별 이미지들일 수 있다.
3차원 스캐너(1218)는 물리적 객체를 스캔하여 스캔 데이터를 생성할 수 있는 하드웨어이다. 스캔 데이터는 물리적 객체 상의 포인트들을 기술한다. 스캔 데이터는 이미지들을 사용하여 생성된 객체의 다른 영역들보다 더 상세한 객체 영역의 모델을 생성하는 데 사용될 수 있다. 이 데이터는 동시 로컬라이제이션 및 매핑 프로세스(1207)와 함께 객체를 매핑할 뿐만 아니라 휴대용 컴퓨팅 디바이스(1200)를 물리적 객체에 로컬라이징하는 데 사용될 수 있다. 3차원 스캐너(1218)는 다수의 서로 다른 형태들을 취할 수 있다. 예를 들어, 3차원 스캐너(1218)는 레이저 스캐너, 라이다 시스템, 적외선 스캐너 또는 다른 어떤 타입의 스캔 시스템 중 적어도 하나로부터 선택될 수 있다.
휴대용 컴퓨팅 디바이스(1200)의 예시는 휴대용 컴퓨팅 디바이스(1200)가 구현될 수 있는 하나의 방식의 예이다. 이 예시는 다른 예시적인 예들에서 휴대용 컴퓨팅 디바이스(1200)가 구현될 수 있는 방식을 제한하려는 것은 아니다.
도 13을 참조하면, 예시적인 실시예에 따라 무인 차량 디바이스의 블록도의 예시가 도시된다. 무인 차량(1300)은 도 1의 무인 항공기(112), 도 1의 무인 항공기(114), 도 1의 무인 항공기(116) 및 도 2의 무인 차량들(220)이 구현될 수 있는 하나의 방식의 예이다.
이러한 예시적인 예에서, 무인 차량(1300)은 다수의 컴포넌트들로 구성된다. 도시된 바와 같이, 무인 차량(1300)은 프레임(1302), 추진 시스템(1304), 컴퓨터(1306), 통신 시스템(1308) 및 센서 시스템(1310)을 포함한다.
프레임(1302)은 무인 차량(1300)에 의해 사용되는 로코모션(locomotion)의 타입에 기초하여 설계된 물리적 구조이다. 예를 들어, 무인 차량(1300)이 무인 항공기라면, 무인 차량(1300)은 공기 역학적 표면들을 가질 수 있다. 무인 차량(1300)이 무인 수상 차량이라면, 무인 차량(1300)은 수중에서 사용하기 위한 선체일 수 있다. 이 예시적인 예에서, 추진 시스템(1304), 컴퓨터(1306), 통신 시스템(1308) 및 센서 시스템(1310)은 프레임(1302)에 접속된다.
추진 시스템(1304)은 무인 차량(1300)을 이동시키는 하드웨어 시스템이다. 예를 들어, 추진 시스템(1304)은 무인 차량(1300)이 무인 항공기일 때 제트 엔진, 로터들 또는 다른 추진 컴포넌트들을 포함할 수 있다.
컴퓨터(1306)는 무인 차량(1300)에서의 컴포넌트들의 동작을 제어하는 하드웨어이다. 예를 들어, 컴퓨터(1306)는 추진 시스템(1304), 통신 시스템(1308) 및 센서 시스템(1310)의 동작들을 제어할 수 있다.
통신 시스템(1308)은 테더링된 통신 링크 또는 무선 통신 링크를 사용하여 통신들을 제공하는 하드웨어이다. 이 통신 링크는 지상에서 또는 다른 무인 차량들에서 원격 컴퓨터들과 설정될 수 있다. 무선 통신 링크는 무선 주파수 신호들 또는 광 신호들을 사용할 수 있다.
센서 시스템(1310)은 하드웨어, 소프트웨어 또는 둘 다를 포함한다. 도시된 바와 같이, 센서 시스템(1310)은 카메라 시스템(1312) 및 3차원 스캐너(1314)를 포함한다.
본 개시내용의 예시적인 실시예들은 도 14에 도시된 것과 같은 항공기 제조 및 서비스 방법(1400) 그리고 도 15에 도시된 것과 같은 항공기(1500)와 관련하여 설명될 수 있다. 먼저 도 14를 참조하면, 예시적인 실시예에 따라 항공기 제조 및 서비스 방법의 블록도의 예시가 도시된다. 예비 생산 동안, 항공기 제조 및 서비스 방법(1400)은 도 15의 항공기(1500)의 규격 및 설계(1402) 그리고 자재 조달(1404)을 포함할 수 있다.
생산 동안에는, 도 15의 항공기(1500)의 컴포넌트 및 하위 부품 제조(1406) 그리고 시스템 통합(1408)이 이루어진다. 이후, 도 15의 항공기(1500)는 운항(1412)되기 위해 인증 및 납품(1410)을 거칠 수 있다. 고객에 의한 운항(1412) 동안, 도 15의 항공기(1500)는 정기 유지보수 및 서비스(1414)를 위해 스케줄링되는데, 이는 수정, 재구성, 개조 및 다른 유지보수 또는 서비스를 포함할 수 있다.
항공기 제조 및 서비스 방법(1400)의 프로세스들 각각은 시스템 통합자, 제3자, 오퍼레이터, 또는 이들의 어떤 결합에 의해 수행 또는 실행될 수 있다. 이러한 예들에서, 오퍼레이터는 고객일 수 있다. 이러한 설명을 목적으로, 시스템 통합자는 임의의 수의 항공기 제작사들 및 메이저 시스템 하도급 업체들을 제한 없이 포함할 수 있고; 제3자는 임의의 수의 판매사들, 하도급 업체들 및 공급사들을 제한 없이 포함할 수 있으며; 오퍼레이터는 항공사, 리스(leasing) 회사, 군사업체, 서비스 기관 등일 수 있다.
이제 도 15를 참조하면, 예시적인 실시예가 구현될 수 있는 항공기의 블록도의 예시가 도시된다. 이 예에서, 항공기(1500)는 도 14의 항공기 제조 및 서비스 방법(1400)에 의해 생산되며, 복수의 시스템들(1504) 및 내부(1506)와 함께 기체(1502)를 포함할 수 있다. 시스템들(1504)의 예들은 추진 시스템(1508), 전기 시스템(1510), 유압 시스템(1512) 및 환경 시스템(1514) 중 하나 이상을 포함한다. 임의의 수의 다른 시스템들이 포함될 수 있다. 항공 우주 산업의 예가 도시되지만, 서로 다른 예시적인 실시예들은 자동차 산업과 같은 다른 산업들에 적용될 수 있다.
본 명세서에서 구현되는 장치들 및 방법들은 도 14의 항공기 제조 및 서비스 방법(1400)의 단계들 중 적어도 하나의 단계 동안 이용될 수 있다.
한 예시적인 예에서, 도 14의 컴포넌트 및 하위 부품 제조(1406)에서 생산된 컴포넌트들 또는 하위 부품들은 도 14에서 항공기(1500)가 운항중(1412)인 동안 생산된 컴포넌트들 또는 하위 부품들과 비슷한 방식으로 제작 또는 제조될 수 있다. 또 다른 예로서, 도 14의 컴포넌트 및 하위 부품 제조(1406) 그리고 시스템 통합(1408)과 같은 생산 단계들 동안 하나 이상의 장치 실시예들, 방법 실시예들, 또는 이들의 결합이 이용될 수 있다. 항공기(1500)가 운항중(1412)인 동안, 도 14에서 유지보수 및 서비스(1414) 동안, 또는 두 경우 모두, 하나 이상의 장치 실시예들, 방법 실시예들, 또는 이들의 결합이 이용될 수 있다.
예를 들어, 도 2의 증강 현실 시스템(216)은 작업 위치들의 시각화들을 제공하는 데 사용될 수 있다. 이러한 시각화들은 작업 위치들에서 수행될 작업 정보를 디스플레이하는 것을 포함할 수 있다. 증강 현실 시스템(216)은 컴포넌트 및 하위 부품 제조(1406), 시스템 통합(1408), 인증 및 납품(1410) 또는 유지보수 및 서비스(1414) 중 적어도 하나 동안 인간 조작자들에 의해 이용될 수 있다. 증강 현실 시스템(216)은 객체들의 라이브 뷰를 증강시키기 위해 현재의 기술들을 사용하는 것에 비해 부분적으로 조립된 항공기와 같은 더 큰 객체들을 보는 데 유용할 수 있다.
다수의 다른 예시적인 실시예들의 사용은 항공기(1500)의 조립을 실질적으로 더 신속히 처리하거나, 항공기(1500)의 비용을 줄일 수 있고, 또는 항공기(1500)의 조립을 더 신속히 처리하게 하는 것과 항공기(1500)의 비용을 줄이는 것 모두를 할 수 있다. 예를 들어, 항공기(1500) 또는 그 일부와 같은 객체들에 대해 동작들을 수행하는 데 사용하기 위한 모델들을 생성하는 데 필요한 시간의 양을 감소시킬 뿐만 아니라 동작들을 알리는 데 필요한 프로세서 자원들의 양이 감소될 수 있다.
이제 도 16을 참조하면, 예시적인 실시예에 따라 제품 관리 시스템의 블록도의 예시가 도시된다. 제품 관리 시스템(1600)은 물리적 하드웨어 시스템이다. 이 예시적인 예에서, 제품 관리 시스템(1600)은 제조 시스템(1602) 또는 유지보수 시스템(1604) 중 적어도 하나를 포함한다.
제조 시스템(1602)은 도 15의 항공기(1500)와 같은 제품들을 제조하도록 구성된다. 도시된 바와 같이, 제조 시스템(1602)은 제조 장비(1606)를 포함한다. 제조 장비(1606)는 제작 장비(1608) 또는 조립 장비(1610) 중 적어도 하나를 포함한다.
제작 장비(1608)는 도 15의 항공기(1500)를 형성하는 데 사용되는 부품들을 위한 컴포넌트들을 제작하는 데 사용되는 장비이다. 예를 들어, 제작 장비(1608)는 머신들 및 공구들을 포함할 수 있다. 이러한 머신들 및 공구들은 드릴, 유압 프레스, 노, 몰드, 복합 테이프 적층 머신, 진공 시스템, 선반, 도 2의 증강 현실 시스템(216), 또는 다른 적절한 타입들의 장비 중 적어도 하나일 수 있다. 제작 장비(1608)는 금속 부품들, 복합 부품들, 반도체들, 회로들, 패스너들, 리브들, 스킨 패널들, 스파들, 안테나들 또는 다른 적절한 타입들의 부품들 중 적어도 하나를 제작하는 데 사용될 수 있다.
조립 장비(1610)는 도 15의 항공기(1500)를 형성하기 위한 부품들을 조립하는 데 사용되는 장비이다. 특히, 조립 장비(1610)는 항공기(1500)를 형성하기 위한 컴포넌트들 및 부품들을 조립하는 데 사용된다. 조립 장비(1610)는 또한 머신들 및 공구들을 포함할 수 있다. 이러한 기계들 및 공구들은 로봇 팔, 크롤러, 고속 설치 시스템, 레일 기반 드릴링 시스템, 도 2의 증강 현실 시스템(216) 또는 로봇 중 적어도 하나일 수 있다. 조립 장비(1610)는 좌석들, 수평 안정기들, 날개들, 엔진들, 엔진 하우징들, 랜딩 기어 시스템들, 및 도 15의 항공기(1500)를 위한 다른 부품들과 같은 부품들을 조립하는 데 사용될 수 있다.
이 예시적인 예에서, 유지보수 시스템(1604)은 유지보수 장비(1612)를 포함한다. 유지보수 장비(1612)는 항공기(1500)에 대한 유지보수를 수행하는데 필요한 임의의 장비를 포함할 수 있다. 유지보수 장비(1612)는 항공기(1500) 상의 부품들에 대해 상이한 동작들을 수행하기 위한 공구들을 포함할 수 있다. 이러한 동작들은 부품들의 해체, 부품들의 보수, 부품들의 검사, 부품들의 재작업, 교체 부품들의 제조, 또는 도 15의 항공기(1500)에 유지보수를 수행하기 위한 다른 동작들 중 적어도 하나를 포함할 수 있다. 이러한 동작들은 일상적인 유지보수, 검사들, 업그레이드들, 보수 또는 다른 타입들의 유지보수 동작들을 위한 것일 수 있다.
예시적인 예에서, 유지보수 장비(1612)는 초음파 검사 디바이스들, 엑스레이 영상 시스템들, 비전 시스템들, 드릴들, 크롤러들 및 다른 적절한 디바이스들을 포함할 수 있다. 어떤 경우들에는, 유지보수 장비(1612)가 유지보수에 필요한 부품들을 생산 및 조립하기 위한 제작 장비(1608)나 조립 장비(1610), 또는 이 둘 다를 포함할 수 있다.
제품 관리 시스템(1600)은 또한 제어 시스템(1614)을 포함한다. 제어 시스템(1614)은 하드웨어 시스템이고, 또한 소프트웨어 또는 다른 타입들의 컴포넌트들을 포함할 수 있다. 제어 시스템(1614)은 제조 시스템(1602) 또는 유지보수 시스템(1604) 중 적어도 하나의 동작을 제어하도록 구성된다. 특히, 제어 시스템(1614)은 제작 장비(1608), 조립 장비(1610) 또는 유지보수 장비(1612) 중 적어도 하나의 동작을 제어할 수 있다.
제어 시스템(1614) 내의 하드웨어는 컴퓨터들, 회로들, 네트워크들, 및 다른 타입들의 장비를 포함할 수 있는 하드웨어를 사용하여 구현될 수 있다. 제어는 제조 장비(1606)의 직접 제어의 형태를 취할 수 있다. 예를 들어, 로봇들, 컴퓨터 제어 머신들 및 다른 장비는 제어 시스템(1614)에 의해 제어될 수 있다. 다른 예시적인 예들에서, 제어 시스템(1614)은 항공기(1500)를 제조하거나 이에 대한 유지보수를 수행할 때 인간 조작자들(1616)에 의해 수행되는 동작들을 관리할 수 있다. 예를 들어, 제어 시스템(1614)은 작업들을 할당하거나, 명령들을 제공하거나, 모델들을 디스플레이하거나, 인간 조작자들(1616)에 의해 수행되는 동작들을 관리하기 위한 다른 동작들을 수행할 수 있다. 이러한 예시적인 예에서, 도 2의 증강 현실 시스템(216)은 도 15의 항공기(1500)의 제조 또는 유지보수 중 적어도 하나를 관리하도록 제어 시스템(1614)으로 또는 이를 위해 구현될 수 있다.
예를 들어, 제어 시스템(1614)은 항공기, 건물, 댐, 또는 다른 어떤 적절한 객체와 같은 객체를 조립 또는 유지보수하기 위한 작업들을 하나 이상의 인간 조작자들(1616)에게 할당할 수 있다. 제어 시스템(1614)은 작업 정보를 전송하여, 인간 조작자들(1616)에 의해 착용 또는 휴대되는 도 2의 증강 현실 시스템(216)에서 휴대용 컴퓨팅 디바이스들에 대한 라이브 뷰를 증강시킬 수 있다.
다른 예시적인 예들에서, 인간 조작자들(1616)은 제조 장비(1606), 유지보수 장비(1612) 또는 제어 시스템(1614) 중 적어도 하나를 작동시키거나 이와 상호 작용할 수 있다. 이러한 상호 작용은 도 15의 항공기(1500)를 제조하기 위해 발생할 수 있다.
물론, 제품 관리 시스템(1600)은 도 15의 항공기(1500) 이외의 다른 제품들을 관리하도록 구성될 수 있다. 제품 관리 시스템(1600)은 항공 우주 산업에서의 제조에 관해 설명되었지만, 제품 관리 시스템(1600)은 다른 산업들을 위한 제품들을 관리하도록 구성될 수 있다. 예를 들어, 제품 관리 시스템(1600)은 자동차 산업뿐만 아니라 임의의 다른 적합한 산업들을 위한 제품들을 제조하도록 구성될 수 있다.
추가로, 본 개시내용은 다음 조항들에 따른 실시예들을 포함한다:
조항 1.
증강 현실 시스템(216)은:
물리적 객체(204)에 대해 이동하고, 물리적 객체(204)의 이미지들(222)을 생성하고, 물리적 객체(204)의 영역(226)을 위한 공간의 포인트들을 기술하는 스캔 데이터(224)를 생성하도록 동작하는 무인 차량들(220)의 그룹;
통신 링크들(228)을 사용하여 무인 차량들(220)의 그룹과 통신하는 컴퓨터 시스템(218) ― 컴퓨터 시스템(218)은:
물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹으로부터 물리적 객체(204)의 이미지들(222)을 수신하고;
물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)로부터 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 수신하고;
이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성하도록 동작하며, 개선된 모델(232)에서의 물리적 객체(204)의 영역(226)은 개선된 모델(232)에서의 물리적 객체(204)의 다른 영역들(234)보다 더 많은 양의 세부사항을 가짐 ―; 및
휴대용 컴퓨팅 디바이스(208)를 포함하며, 휴대용 컴퓨팅 디바이스(208)는:
개선된 모델(232)을 사용하여 물리적 객체(204)에 로컬라이징하고, 그리고
휴대용 컴퓨팅 디바이스(208)를 통해 보이는 물리적 객체(204)의 라이브 뷰(212) 상에 정보(202)를 디스플레이하도록 동작하고, 정보(202)는 물리적 객체(204)의 개선된 모델(232)을 사용하여 식별된다.
조항 2.
조항 1의 증강 현실 시스템(216)에서, 컴퓨터 시스템(218)은 물리적 객체(204)에 대해 이동하도록 무인 차량들(220)의 그룹을 제어하고, 물리적 객체(204)의 이미지들(222) 및 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성한다.
조항 3.
조항 1 또는 조항 2의 증강 현실 시스템(216)에서, 이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성할 때, 컴퓨터 시스템(218)은:
이미지들(222)을 사용하여 물리적 객체(204)의 모델(300)을 생성하고;
무인 차량들(220)의 그룹에서 다수의 무인 차량들(220)에 의해 생성된 스캔 데이터(224)로부터 다수의 포인트 클라우드들(302)을 생성하고; 그리고
개선된 모델(232)을 형성하도록 다수의 포인트 클라우드들(302)을 사용하여 물리적 객체(204)의 모델(300)을 수정하도록 동작한다.
조항 4.
조항 1 내지 조항 3 중 어느 한 조항의 증강 현실 시스템(216)에서, 무인 차량들(220)의 그룹이 이미지들(222) 및 스캔 데이터(224)를 생성하도록 동작하는 동안, 인간 조작자(206)가 휴대용 컴퓨팅 디바이스(208)를 통해 물리적 객체(204)의 라이브 뷰(212)를 본다.
조항 5.
조항 1 내지 조항 4 중 어느 한 조항의 증강 현실 시스템(216)에서, 컴퓨터 시스템(218)은 물리적 객체(204)의 영역(226)을 선택하고, 물리적 객체(204)의 영역(226)의 스캔 데이터(224)를 생성하도록 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)을 제어한다.
조항 6.
조항 5의 증강 현실 시스템(216)에서, 물리적 객체(204)의 영역(226)을 선택할 때, 컴퓨터 시스템(218)은 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)의 응시점(400)을 기초로 물리적 객체(204)의 영역(226)을 선택한다.
조항 7.
조항 5의 증강 현실 시스템(216)에서, 물리적 객체(204)의 영역(226)을 선택할 때, 컴퓨터 시스템(218)은 휴대용 컴퓨팅 디바이스(208)를 사용하여 인간 조작자(206)에 의해 수행된 작업(214)에 대한 위치(402)를 기초로 물리적 객체(204)의 영역(226)을 선택하며, 위치(402)는 영역(226)으로 둘러싸인다.
조항 8.
조항 1 내지 조항 7 중 어느 한 조항의 증강 현실 시스템(216)에서, 컴퓨터 시스템(218)은 휴대용 컴퓨팅 디바이스(208)로부터 물리적 객체(204)의 추가 이미지들(228) 또는 물리적 객체(204)의 추가 스캔 데이터(240) 중 적어도 하나를 수신하고; 그리고
이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성할 때, 컴퓨터 시스템(218)은 이미지들(222), 추가 이미지들(228), 스캔 데이터(224) 및 추가 스캔 데이터(240)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성한다.
조항 9.
조항 1 내지 조항 8 중 어느 한 조항의 증강 현실 시스템(216)에서, 정보(202)는 작업 정보, 어셈블리, 비디오, 부적합성 표시, 작업 순서, 어셈블리의 분해도 또는 개략도 중 적어도 하나로부터 선택된다.
조항 10.
조항 1 내지 조항 9 중 어느 한 조항의 증강 현실 시스템(216)에서, 물리적 객체(204)는 비행기, 건물, 다리, 댐, 차량, 들판, 호수, 산, 엔진, 동체 섹션 및 활주로를 포함하는 그룹으로부터 선택된다.
조항 11.
조항 1 내지 조항 10 중 어느 한 조항의 증강 현실 시스템(216)에서, 휴대용 컴퓨팅 디바이스(208)는 스마트 안경류, 휴대 전화, 태블릿 컴퓨터 및 헤드 장착형 디스플레이를 포함하는 그룹으로부터 선택된다.
조항 12.
조항 1 내지 조항 11 중 어느 한 조항의 증강 현실 시스템에서, 무인 차량들(220)의 그룹은 무인 항공기, 드론, 무인 지상 차량 또는 무인 수상 차량 중 적어도 하나로부터 선택된다.
조항 13.
증강 현실 시스템(216)은:
컴퓨터 시스템(218) ― 컴퓨터 시스템(218)은 컴퓨터 시스템(218)의 동작 및 무인 차량들(220)의 그룹의 동작 중에 통신 링크들(228)을 사용하여 무인 차량들(220)의 그룹과 통신함 ―;
컴퓨터 시스템(218) 내의 시각화기(230)를 포함하며, 시각화기(230)는:
물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹으로부터 물리적 객체(204)의 이미지들(222)을 수신하고;
물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)로부터 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 수신하고;
이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성하고 ― 개선된 모델(232)에서의 물리적 객체(204)의 영역(226)은 개선된 모델(232)에서의 물리적 객체(204)의 다른 영역들(234)보다 더 많은 양의 세부사항을 가짐 ―; 그리고
휴대용 컴퓨팅 디바이스(208)에 정보(202)를 전송하도록 동작하고, 정보(202)는 휴대용 컴퓨팅 디바이스(208)에 의해 휴대용 컴퓨팅 디바이스(208)를 통해 보이는 물리적 객체(204)의 라이브 뷰(212) 상에 디스플레이 가능하고, 정보(202)는 물리적 객체(204)의 개선된 모델(232)을 사용하여 식별된다.
조항 14.
조항 13의 증강 현실 시스템(216)에서, 시각화기(230)는:
물리적 객체(204)에 대해 이동하도록 무인 차량들(220)의 그룹을 제어하고; 그리고
물리적 객체(204)의 이미지들(222) 및 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성하게 무인 차량들(220)의 그룹을 제어하도록 동작한다.
조항 15.
조항 13 또는 조항 14의 증강 현실 시스템(216)에서, 시각화기(230)는 물리적 객체(204)의 영역(226)을 선택하고, 물리적 객체(204)의 영역(226)의 스캔 데이터(224)를 생성하게 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)을 제어하도록 동작한다.
조항 16.
조항 15의 증강 현실 시스템(216)에서, 물리적 객체(204)의 영역(226)을 선택할 때, 시각화기(230)는 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)의 응시점(400)을 기초로 물리적 객체(204)의 영역(226)을 선택하도록 동작한다.
조항 17.
조항 15의 증강 현실 시스템(216)에서, 물리적 객체(204)의 영역(226)을 선택할 때, 시각화기(230)는 휴대용 컴퓨팅 디바이스(208)를 사용하여 인간 조작자(206)에 의해 수행된 작업(214)에 대한 위치(402)를 기초로 물리적 객체(204)의 영역(226)을 선택하도록 동작하며, 위치(402)는 영역(226)으로 둘러싸인다.
조항 18.
조항 13 내지 조항 17 중 어느 한 조항의 증강 현실 시스템에서, 무인 차량들(220)의 그룹은 무인 항공기, 드론, 무인 지상 차량 또는 무인 수상 차량 중 적어도 하나로부터 선택된다.
조항 19.
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법으로서, 이 방법은:
컴퓨터 시스템(218)에 의해, 물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹으로부터 물리적 객체(204)의 이미지들(222)을 수신하는 단계 ― 컴퓨터 시스템(218)은 통신 링크들(228)을 사용하여 무인 차량들(220)의 그룹과 통신함 ―;
컴퓨터 시스템(218)에 의해, 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 수신하는 단계;
컴퓨터 시스템(218)에 의해, 이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계 ― 개선된 모델(232)에서의 영역(226)은 개선된 모델(232)에서의 물리적 객체(204)의 다른 영역들(234)보다 더 상세한 사항을 가짐 ―;
컴퓨터 시스템(218)에 의해, 개선된 모델(232)의 적어도 일부를 휴대용 컴퓨팅 디바이스(208)로 전송하는 단계 ― 휴대용 컴퓨팅 디바이스(208)는 개선된 모델(232)의 적어도 일부를 사용하여 물리적 객체(204)에 로컬라이징함 ―; 및
휴대용 컴퓨팅 디바이스(208)에 의해 디스플레이 가능한 정보(202)를 컴퓨터 시스템(218)에 의해 전송하는 단계를 포함하며, 휴대용 컴퓨팅 디바이스(208)는 휴대용 컴퓨팅 디바이스(208)를 통해 보이는 물리적 객체(204)의 라이브 뷰(212) 상에 정보(202)를 디스플레이하고, 정보(202)는 물리적 객체(204)의 개선된 모델(232)을 사용하여 식별된다.
조항 20.
조항 19의 방법은:
컴퓨터 시스템(218)에 의해, 물리적 객체(204)에 대해 이동하도록 무인 차량들(220)의 그룹을 제어하는 단계; 및
물리적 객체(204)의 이미지들(222) 및 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성하도록 무인 차량들(220)의 그룹을 제어하는 단계를 더 포함한다.
조항 21.
조항 19 또는 조항 20의 방법에서, 이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계는:
이미지들(222)을 사용하여 물리적 객체(204)의 모델(300)을 생성하는 단계;
무인 차량들(220)의 그룹에서 다수의 무인 차량들(220)에 의해 생성된 스캔 데이터(224)로부터 다수의 포인트 클라우드들(302)을 생성하는 단계; 및
개선된 모델(232)을 형성하도록 다수의 포인트 클라우드들(302)을 사용하여 물리적 객체(204)의 모델(300)을 수정하는 단계를 포함한다.
조항 22.
조항 19 내지 조항 21 중 어느 한 조항의 방법에서, 무인 차량들(220)의 그룹이 이미지들(222) 및 스캔 데이터(224)를 생성하도록 동작하는 동안, 인간 조작자(206)가 휴대용 컴퓨팅 디바이스(208)를 통해 물리적 객체(204)의 라이브 뷰(212)를 본다.
조항 23.
조항 19 내지 조항 22 중 어느 한 조항의 방법은:
컴퓨터 시스템(218)에 의해, 물리적 객체(204)의 영역(226)을 선택하는 단계; 및
컴퓨터 시스템(218)에 의해, 물리적 객체(204)의 영역(226)의 스캔 데이터(224)를 생성하도록 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)을 제어하는 단계를 더 포함한다.
조항 24.
조항 23의 방법에서, 컴퓨터 시스템(218)에 의해 물리적 객체(204)의 영역(226)을 선택하는 단계는:
컴퓨터 시스템(218)에 의해, 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)의 응시점(400)을 기초로 물리적 객체(204)의 영역(226)을 선택하는 단계를 포함한다.
조항 25.
조항 23의 방법에서, 컴퓨터 시스템(218)에 의해 물리적 객체(204)의 영역(226)을 선택하는 단계는:
컴퓨터 시스템(218)에 의해, 휴대용 컴퓨팅 디바이스(208)를 사용하여 인간 조작자(206)에 의해 수행된 작업(214)에 대한 위치(402)를 기초로 물리적 객체(204)의 영역(226)을 선택하는 단계를 포함하며, 위치(402)는 영역(226)으로 둘러싸인다.
조항 26.
조항 19 내지 조항 24 중 어느 한 조항의 방법은:
컴퓨터 시스템(218)에 의해, 휴대용 컴퓨팅 디바이스(208)로부터 물리적 객체(204)의 추가 이미지들(228) 또는 물리적 객체(204)의 추가 스캔 데이터(240) 중 적어도 하나를 수신하는 단계를 더 포함하며;
컴퓨터 시스템(218)에 의해, 이미지들(222) 및 스캔 데이터(224)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계는:
컴퓨터 시스템(218)에 의해, 이미지들(222), 추가 이미지들(228), 스캔 데이터(224) 및 추가 스캔 데이터(240)를 사용하여 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계를 포함한다.
조항 27.
조항 19 내지 조항 26 중 어느 한 조항의 방법에서, 정보(202)는 작업 정보, 어셈블리, 비디오, 부적합성 표시, 작업 순서, 어셈블리의 분해도 또는 개략도 중 적어도 하나로부터 선택된다.
조항 28.
조항 19 내지 조항 27 중 어느 한 조항의 방법에서, 물리적 객체(204)는 비행기, 건물, 다리, 댐, 차량, 들판, 호수, 산, 엔진, 동체 섹션 및 활주로를 포함하는 그룹으로부터 선택된다.
조항 29.
조항 19 내지 조항 28 중 어느 한 조항의 방법에서, 휴대용 컴퓨팅 디바이스(208)는 스마트 안경류, 휴대 전화, 태블릿 컴퓨터 및 헤드 장착형 디스플레이를 포함하는 그룹으로부터 선택된다.
따라서 하나 이상의 예시적인 예들은 물리적 객체의 포인트 클라우드들을 생성하는 현재 사용된 기술들과 비교하여 처리 자원들의 양을 감소시키는 방식으로 물리적 객체의 라이브 뷰를 증강시키도록 정보를 디스플레이하는 것에 대한 기술적 문제점을 극복한다. 그 결과, 하나 이상의 예시적인 예들은 두 가지 타입들의 데이터를 사용하여 물리적 객체의 모델을 생성하는 데 사용되는 컴퓨팅 자원들의 양을 줄이는 기술적 효과를 제공할 수 있다. 예시적인 예에서, 이미지들 및 스캔 데이터는 포인트 클라우드들만을 사용하는 현재 기술들과 비교하여 사용되는 컴퓨팅 자원들의 양을 감소시키는 데 사용된다.
서로 다른 예시적인 실시예들의 설명은 예시 및 설명을 목적으로 제시되었으며, 개시된 형태로 실시예들을 총망라하거나 이에 한정되도록 의도되는 것은 아니다. 서로 다른 예시적인 예들은 조치들 또는 동작들을 수행하는 컴포넌트들을 설명한다. 예시적인 실시예에서, 컴포넌트는 설명된 조치 또는 동작을 수행하도록 구성될 수 있다. 예를 들어, 컴포넌트는, 컴포넌트에 의해 수행되는 것으로 예시적인 예들에서 설명되는 조치 또는 동작을 수행하는 능력을 컴포넌트에 제공하는 구조에 대한 구성 또는 설계를 가질 수 있다.
많은 수정들 및 변형들이 당해 기술분야에서 통상의 지식을 가진 자들에게 명백할 것이다. 추가로, 서로 다른 예시적인 실시예들은 다른 바람직한 실시예들과 비교할 때 다른 특징들을 제공할 수 있다. 선택된 실시예 또는 실시예들은 실시예들의 원리들, 실제 적용을 가장 잘 설명하기 위해, 그리고 당해 기술분야에서 통상의 지식을 가진 다른 자들이 고려되는 특정 용도에 맞는 다양한 수정들을 갖는 다양한 실시예들에 대한 개시내용을 이해할 수 있게 하기 위해 선택되고 설명된다.
Claims (15)
- 증강 현실 시스템(216)으로서,
물리적 객체(204)에 대해 이동하고, 상기 물리적 객체(204)의 이미지들(222)을 생성하고, 상기 물리적 객체(204)의 영역(226)을 위한 공간의 포인트들을 기술하는 스캔 데이터(224)를 생성하도록 동작하는 무인 차량들(220)의 그룹;
통신 링크들(228)을 사용하여 상기 무인 차량들(220)의 그룹과 통신하는 컴퓨터 시스템(218) ― 상기 컴퓨터 시스템(218)은,
상기 물리적 객체(204)에 대해 이동하는 상기 무인 차량들(220)의 그룹으로부터 상기 물리적 객체(204)의 이미지들(222)을 수신하고;
상기 물리적 객체(204)에 대해 이동하는 상기 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)로부터 상기 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 수신하고;
상기 이미지들(222) 및 상기 스캔 데이터(224)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성하도록 동작하며, 상기 개선된 모델(232)에서의 상기 물리적 객체(204)의 영역(226)은 상기 개선된 모델(232)에서의 상기 물리적 객체(204)의 다른 영역들(234)보다 더 많은 양의 세부사항을 가짐 ―; 및
휴대용 컴퓨팅 디바이스(208)를 포함하며,
상기 휴대용 컴퓨팅 디바이스(208)는,
상기 개선된 모델(232)을 사용하여 상기 물리적 객체(204)에 로컬라이징(localize)하고, 그리고
상기 휴대용 컴퓨팅 디바이스(208)를 통해 보이는 상기 물리적 객체(204)의 라이브 뷰(212) 상에 정보(202)를 디스플레이하도록 동작하고, 상기 정보(202)는 상기 물리적 객체(204)의 개선된 모델(232)을 사용하여 식별되는,
증강 현실 시스템(216). - 제1 항에 있어서,
상기 컴퓨터 시스템(218)은 상기 물리적 객체(204)에 대해 이동하도록 상기 무인 차량들(220)의 그룹을 제어하고, 상기 물리적 객체(204)의 이미지들(222) 및 상기 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성하는,
증강 현실 시스템(216). - 제1 항 또는 제2 항에 있어서,
상기 이미지들(222) 및 상기 스캔 데이터(224)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성할 때, 상기 컴퓨터 시스템(218)은,
상기 이미지들(222)을 사용하여 상기 물리적 객체(204)의 모델(300)을 생성하고;
상기 무인 차량들(220)의 그룹에서 다수의 무인 차량들(220)에 의해 생성된 스캔 데이터(224)로부터 다수의 포인트 클라우드(point cloud)들(302)을 생성하고; 그리고
상기 개선된 모델(232)을 형성하도록 상기 다수의 포인트 클라우드들(302)을 사용하여 상기 물리적 객체(204)의 모델(300)을 수정하도록 동작하는,
증강 현실 시스템(216). - 제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 무인 차량들(220)의 그룹이 상기 이미지들(222) 및 상기 스캔 데이터(224)를 생성하도록 동작하는 동안, 인간 조작자(206)가 상기 휴대용 컴퓨팅 디바이스(208)를 통해 상기 물리적 객체(204)의 라이브 뷰(212)를 보는,
증강 현실 시스템(216). - 제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템(218)은 상기 물리적 객체(204)의 영역(226)을 선택하고, 상기 물리적 객체(204)의 영역(226)의 스캔 데이터(224)를 생성하도록 상기 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)을 제어하는,
증강 현실 시스템(216). - 제5 항에 있어서,
상기 물리적 객체(204)의 영역(226)을 선택할 때, 상기 컴퓨터 시스템(218)은 상기 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)의 응시점(400)을 기초로 상기 물리적 객체(204)의 영역(226)을 선택하는,
증강 현실 시스템(216). - 제5 항에 있어서,
상기 물리적 객체(204)의 영역(226)을 선택할 때, 상기 컴퓨터 시스템(218)은 상기 휴대용 컴퓨팅 디바이스(208)를 사용하여 인간 조작자(206)에 의해 수행된 작업(214)에 대한 위치(402)를 기초로 상기 물리적 객체(204)의 영역(226)을 선택하며,
상기 위치(402)는 상기 영역(226)으로 둘러싸이는,
증강 현실 시스템(216). - 제1 항 내지 제7 항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템(218)은 상기 휴대용 컴퓨팅 디바이스(208)로부터 상기 물리적 객체(204)의 추가 이미지들(228) 또는 상기 물리적 객체(204)의 추가 스캔 데이터(240) 중 적어도 하나를 수신하고; 그리고
상기 이미지들(222) 및 상기 스캔 데이터(224)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성할 때, 상기 컴퓨터 시스템(218)은 상기 이미지들(222), 상기 추가 이미지들(228), 상기 스캔 데이터(224) 및 상기 추가 스캔 데이터(240)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성하는,
증강 현실 시스템(216). - 제1 항 내지 제8 항 중 어느 한 항에 있어서,
상기 정보(202)는 작업 정보, 어셈블리, 비디오, 부적합성 표시, 작업 순서, 어셈블리의 분해도 또는 개략도 중 적어도 하나로부터 선택되고,
상기 물리적 객체(204)는 비행기, 건물, 다리, 댐, 차량, 들판, 호수, 산, 엔진, 동체 섹션 및 활주로를 포함하는 그룹으로부터 선택되며,
상기 휴대용 컴퓨팅 디바이스(208)는 스마트 안경류, 휴대 전화, 태블릿 컴퓨터 및 헤드 장착형 디스플레이를 포함하는 그룹으로부터 선택되고,
상기 무인 차량들(220)의 그룹은 무인 항공기, 드론, 무인 지상 차량 또는 무인 수상 차량 중 적어도 하나로부터 선택되는,
증강 현실 시스템(216). - 물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법으로서,
컴퓨터 시스템(218)에 의해, 물리적 객체(204)에 대해 이동하는 무인 차량들(220)의 그룹으로부터 상기 물리적 객체(204)의 이미지들(222)을 수신하는 단계 ― 상기 컴퓨터 시스템(218)은 통신 링크들(228)을 사용하여 상기 무인 차량들(220)의 그룹과 통신함 ―;
상기 컴퓨터 시스템(218)에 의해, 상기 물리적 객체(204)의 영역(226)에 대한 스캔 데이터(224)를 수신하는 단계;
상기 컴퓨터 시스템(218)에 의해, 상기 이미지들(222) 및 상기 스캔 데이터(224)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계 ― 상기 개선된 모델(232)에서의 상기 영역(226)은 상기 개선된 모델(232)에서의 상기 물리적 객체(204)의 다른 영역들(234)보다 더 상세한 사항을 가짐 ―;
상기 컴퓨터 시스템(218)에 의해, 상기 개선된 모델(232)의 적어도 일부를 휴대용 컴퓨팅 디바이스(208)로 전송하는 단계 ― 상기 휴대용 컴퓨팅 디바이스(208)는 상기 개선된 모델(232)의 적어도 일부를 사용하여 상기 물리적 객체(204)에 로컬라이징함 ―; 및
상기 휴대용 컴퓨팅 디바이스(208)에 의해 디스플레이 가능한 정보(202)를 상기 컴퓨터 시스템(218)에 의해 전송하는 단계를 포함하며,
상기 휴대용 컴퓨팅 디바이스(208)는 상기 휴대용 컴퓨팅 디바이스(208)를 통해 보이는 상기 물리적 객체(204)의 라이브 뷰(212) 상에 상기 정보(202)를 디스플레이하고,
상기 정보(202)는 상기 물리적 객체(204)의 개선된 모델(232)을 사용하여 식별되는,
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법. - 제10 항에 있어서,
상기 컴퓨터 시스템(218)에 의해, 상기 물리적 객체(204)에 대해 이동하도록 무인 차량들(220)의 그룹을 제어하는 단계; 및
상기 물리적 객체(204)의 이미지들(222) 및 상기 물리적 객체(204)의 영역(226)에 대한 공간에서의 포인트들을 기술하는 스캔 데이터(224)를 생성하도록 상기 무인 차량들(220)의 그룹을 제어하는 단계를 더 포함하는,
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법. - 제10 항 또는 제11 항에 있어서,
상기 이미지들(222) 및 상기 스캔 데이터(224)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계는,
상기 이미지들(222)을 사용하여 상기 물리적 객체(204)의 모델(300)을 생성하는 단계;
상기 무인 차량들(220)의 그룹에서 다수의 무인 차량들(220)에 의해 생성된 스캔 데이터(224)로부터 다수의 포인트 클라우드들(302)을 생성하는 단계; 및
상기 개선된 모델(232)을 형성하도록 상기 다수의 포인트 클라우드들(302)을 사용하여 상기 물리적 객체(204)의 모델(300)을 수정하는 단계를 포함하는,
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법. - 제10 항 내지 제12 항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템(218)에 의해, 휴대용 컴퓨팅 디바이스(208)를 사용하는 인간 조작자(206)의 응시점(400)을 기초로 상기 물리적 객체(204)의 영역(226)을 선택하는 단계; 및
상기 컴퓨터 시스템(218)에 의해, 상기 물리적 객체(204)의 영역(226)의 스캔 데이터(224)를 생성하도록 상기 무인 차량들(220)의 그룹 내의 다수의 무인 차량들(220)을 제어하는 단계를 더 포함하는,
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법. - 제10 항 내지 제13 항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템(218)에 의해, 상기 휴대용 컴퓨팅 디바이스(208)로부터 상기 물리적 객체(204)의 추가 이미지들(228) 또는 상기 물리적 객체(204)의 추가 스캔 데이터(240) 중 적어도 하나를 수신하는 단계를 더 포함하며;
상기 컴퓨터 시스템(218)에 의해, 상기 이미지들(222) 및 상기 스캔 데이터(224)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계는,
상기 컴퓨터 시스템(218)에 의해, 상기 이미지들(222), 상기 추가 이미지들(228), 상기 스캔 데이터(224) 및 상기 추가 스캔 데이터(240)를 사용하여 상기 물리적 객체(204)의 개선된 모델(232)을 생성하는 단계를 포함하는,
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법. - 제10 항 내지 제14 항 중 어느 한 항에 있어서,
상기 정보(202)는 작업 정보, 어셈블리, 비디오, 부적합성 표시, 작업 순서, 어셈블리의 분해도 또는 개략도 중 적어도 하나로부터 선택되고,
상기 물리적 객체(204)는 비행기, 건물, 다리, 댐, 차량, 들판, 호수, 산, 엔진, 동체 섹션 및 활주로를 포함하는 그룹으로부터 선택되며,
상기 휴대용 컴퓨팅 디바이스(208)는 스마트 안경류, 휴대 전화, 태블릿 컴퓨터 및 헤드 장착형 디스플레이를 포함하는 그룹으로부터 선택되는,
물리적 객체(204)의 라이브 뷰(212) 상에서 정보(202)를 시각화하기 위한 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/237,841 | 2019-01-02 | ||
| US16/237,841 US11030812B2 (en) | 2019-01-02 | 2019-01-02 | Augmented reality system using enhanced models |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200084784A true KR20200084784A (ko) | 2020-07-13 |
| KR102645667B1 KR102645667B1 (ko) | 2024-03-07 |
Family
ID=69137677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190160926A KR102645667B1 (ko) | 2019-01-02 | 2019-12-05 | 개선된 모델들을 사용하는 증강 현실 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11030812B2 (ko) |
| EP (1) | EP3678100A1 (ko) |
| JP (1) | JP2020119511A (ko) |
| KR (1) | KR102645667B1 (ko) |
| CN (1) | CN111402425A (ko) |
| BR (1) | BR102019022477A2 (ko) |
| CA (1) | CA3059940A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| US11232635B2 (en) | 2018-10-05 | 2022-01-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| US11210851B1 (en) * | 2019-06-14 | 2021-12-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for labeling 3D models using virtual reality and augmented reality |
| US11568605B2 (en) | 2019-10-15 | 2023-01-31 | Magic Leap, Inc. | Cross reality system with localization service |
| US11562542B2 (en) | 2019-12-09 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
| US11393176B2 (en) * | 2020-02-07 | 2022-07-19 | Krikey, Inc. | Video tools for mobile rendered augmented reality game |
| EP4104145A4 (en) | 2020-02-13 | 2024-01-24 | Magic Leap Inc | CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION |
| CN115398314A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 使用多分辨率帧描述符进行地图处理的交叉现实系统 |
| WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
| JP2023515524A (ja) * | 2020-02-26 | 2023-04-13 | マジック リープ， インコーポレイテッド | 高速位置特定を伴うクロスリアリティシステム |
| CN113618723A (zh) * | 2021-08-18 | 2021-11-09 | 东华大学 | 一种基于增强现实的船舶小组立辅助装配系统 |
| US20230316644A1 (en) * | 2022-03-31 | 2023-10-05 | Topcon Corporation | Point cloud information generating system, control method of point cloud information generating system, and control program of point cloud information generating system |
| US11538228B1 (en) * | 2022-08-26 | 2022-12-27 | Illuscio, Inc. | Systems and methods for augmented reality viewing based on directly mapped point cloud overlays |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160016955A (ko) * | 2013-06-03 | 2016-02-15 | 데크리, 엘엘씨 | 의도를 통한 증강 현실에서의 가상 객체의 조작 |
| KR20160016964A (ko) * | 2013-06-03 | 2016-02-15 | 데크리, 엘엘씨 | 실질 세계 객체 조작에 기초한 데이터 조작 |
| KR20170006262A (ko) * | 2015-07-07 | 2017-01-17 | 더 보잉 컴파니 | 제품 시각화 시스템 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8060270B2 (en) * | 2008-02-29 | 2011-11-15 | The Boeing Company | System and method for inspection of structures and objects by swarm of remote unmanned vehicles |
| US8902254B1 (en) * | 2010-09-02 | 2014-12-02 | The Boeing Company | Portable augmented reality |
| US10026227B2 (en) * | 2010-09-02 | 2018-07-17 | The Boeing Company | Portable augmented reality |
| US10250821B2 (en) * | 2013-11-27 | 2019-04-02 | Honeywell International Inc. | Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle |
| US9928659B2 (en) * | 2014-01-08 | 2018-03-27 | Precisionhawk Inc. | Method and system for generating augmented reality agricultural presentations |
| US9335764B2 (en) * | 2014-05-27 | 2016-05-10 | Recreational Drone Event Systems, Llc | Virtual and augmented reality cockpit and operational control systems |
| AU2017382448B2 (en) * | 2016-12-22 | 2023-07-13 | Xevo Inc. | Method and system for providing interactive parking management via artificial intelligence analytic (AIA) services using cloud network |
| KR20200110771A (ko) * | 2018-01-18 | 2020-09-25 | 삼성전자주식회사 | 증강 현실 콘텐츠 조정 방법 및 장치 |
| US20200049946A1 (en) * | 2018-08-10 | 2020-02-13 | Varjo Technologies Oy | Display apparatus and method of displaying using gaze prediction and image steering |
| US10902678B2 (en) * | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
-
2019
- 2019-01-02 US US16/237,841 patent/US11030812B2/en active Active
- 2019-10-24 CA CA3059940A patent/CA3059940A1/en active Pending
- 2019-10-25 BR BR102019022477-0A patent/BR102019022477A2/pt unknown
- 2019-11-29 CN CN201911204103.9A patent/CN111402425A/zh active Pending
- 2019-12-05 KR KR1020190160926A patent/KR102645667B1/ko active IP Right Grant
- 2019-12-19 JP JP2019228978A patent/JP2020119511A/ja active Pending
- 2019-12-20 EP EP19218606.2A patent/EP3678100A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160016955A (ko) * | 2013-06-03 | 2016-02-15 | 데크리, 엘엘씨 | 의도를 통한 증강 현실에서의 가상 객체의 조작 |
| KR20160016964A (ko) * | 2013-06-03 | 2016-02-15 | 데크리, 엘엘씨 | 실질 세계 객체 조작에 기초한 데이터 조작 |
| KR20170006262A (ko) * | 2015-07-07 | 2017-01-17 | 더 보잉 컴파니 | 제품 시각화 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| BR102019022477A2 (pt) | 2020-07-14 |
| CN111402425A (zh) | 2020-07-10 |
| EP3678100A1 (en) | 2020-07-08 |
| US20200211286A1 (en) | 2020-07-02 |
| JP2020119511A (ja) | 2020-08-06 |
| CA3059940A1 (en) | 2020-07-02 |
| KR102645667B1 (ko) | 2024-03-07 |
| US11030812B2 (en) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102645667B1 (ko) | 개선된 모델들을 사용하는 증강 현실 시스템 | |
| US20220398806A1 (en) | Systems and methods for generating 3d models from drone imaging | |
| CN113449383B (zh) | 对象管理系统及用于管理对象的方法 | |
| CN111539973B (zh) | 用于检测车辆位姿的方法及装置 | |
| KR102631717B1 (ko) | 복합재 부품을 제조하기 위한 증강 현실 시스템 | |
| US20170076495A1 (en) | Immersive Object Testing System | |
| US20180046181A1 (en) | Multiple unmanned aerial vehicle autonomous coordination | |
| CN112115607A (zh) | 一种基于多维赛博空间的移动智能体数字孪生系统 | |
| JP7421895B2 (ja) | 物体に対する不適合データを可視化するための拡張現実システム | |
| US11887248B2 (en) | Systems and methods for reconstructing a scene in three dimensions from a two-dimensional image | |
| KR102566700B1 (ko) | 액티브 휴대용 앵커를 구비하는 증강 현실 시스템 | |
| US11595549B2 (en) | Aircraft inkjet printing | |
| Stavropoulos et al. | Augmented Reality tool for the facilitation of the UAV flight inspection process during aircraft de-icing as a maintenance procedure | |
| Zhang et al. | A self-supervised monocular depth estimation approach based on uav aerial images | |
| Moritani et al. | Quality Prediction of Dense Points Generated by Structure from Motion for High-Quality and Efficient As-Is Model Reconstruction | |
| Muñoz et al. | Power lines detection from a stereo vision system | |
| Ahmed et al. | Autonomous Site Inspection of Power Transmission Line Insulators with Unmanned Aerial Vehicle System | |
| Liang et al. | Applications of 4D Point Clouds (4DPC) in Digital Twin Construction: A SWOT Analysis | |
| CN115797250A (zh) | 支持一般目视检查的物体的自动体积图像捕获 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |