KR20200072535A - 다중-레이어 뷰잉 시스템 및 방법 - Google Patents

Abstract

다중-레이어 뷰잉 시스템은 고정 이미저 및 개체의 영역 상으로 물리적 레이어 마킹들을 투영하기 위한 빔 프로젝터를 포함한다. 헤드셋은 상기 헤드셋을 착용하고 있는 로컬 사용자가 증강 현실 디스플레이를 통해 상기 타겟 개체를 직접 볼 수 있게 하기에 충분히 투명하고 상기 개체 상에 중첩되는 주석을 디스플레이하기 위한 증강 현실 디스플레이를 포함한다. 프로세서는 상기 주석의 디스플레이를 위해 상기 타겟 영역에 관해 선택된 위치를 수신하도록, 획득된 이미지들에서 마킹들의 이미지들을 또는 상기 개체 상에서 마킹들을 식별함으로써 상기 증강 현실 디스플레이의 배향을 결정하도록, 상기 선택된 위치에 디스플레이되고, 계산된 디스플레이 위치에 디스플레이될 때 상기 주석이 상기 사용자에 의해 인지될 수 있도록 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하기 위한 디스플레이 위치를 계산하도록 구성된다.

Description

다중-레이어 뷰잉 시스템 및 방법

본 발명은 다중-레이어 뷰잉 시스템 및 방법에 관한 것이다.

복잡한 장비 또는 기계류의 유지 보수, 조립, 서비스 또는 작동은 보통 두 사람의 기사: 장비와 직접 상호 작용할 가능성 없이 멀리 떨어진 부지에 있을 수 있는 원격 기사와 함께 "현장"에 위치한, 즉 물리적으로 장비 부근에 있고 장비의 부분들을 수동으로 조작할 수 있는 로컬 기사 간의 협력을 필요로 한다. 기계 또는 장비의 피스의 기사 또는 기사를 도움, 안내, 감독 및/또는 승인하는 전문가(예를 들어, 멀리 떨어진 부지에서)와 함께 일하는, 고객 부지에서 장비를 수리하는 로컬 기술자와 같은 두 기사는 서로 다른 수준의 전문 지식을 가질 수 있다. 대안적으로, 두 기사는 장비의 복잡한 문제에 관해 공동 문제 해결 회의(또는 브레인 스토밍)를 수행하는 동일한 수준의 전문 지식(가능하게는 전문 지식의 보완 분야의)을 가질 수 있다.

예를 들어, 기술자(또는 현장 기사)는 생산이 중단된 기계의 고장을 수리하기 위해 일을 할 수 있다. 기술자는 문제 해결 및 수리 절차를 수행하려고 할 수 있지만 원격 콜센터에 위치한 기술 전문가로부터의 도움을 필요로 할 수 있다. 다른 예에서, 로컬 기술자는 고위 직원의 승인이 필요한 복잡한 수리를 수행해야 할 수도 있다. 그러한 승인을 받기 전에, 로컬 기술자는 예를 들어, 원격 감독자에 결함을 시연해야 할수 있다. 또 다른 예에서, 초보 기사는 다른 부지에 위치한 숙련된 기사의 원격 안내를 필요로 할 수 있다.

그러한 공동 유지 보수 및 수리는 현재 이미지 및 비디오에 의한 통신을 사용하여 수행될 수 있다. 통신은 참가자들이 장비의 뷰, 다이어그램 및 명령과 같은 보조 자료, 및 설명 및 안내의 구두 통신과 같은 정보를 공유할 수 있게 한다. 예를 들어, 현장 기사는 장비의 이미지들을 원격 전문가에게 보낼 수 있다. 원격 전문가는 로컬 기사들에게 그림 및 사진과 같은 자료를 지원함으로써 실현될 수 있는 구두 안내 및 조언을 제공할 수 있다. 로컬 기사와 원격 전문가 간에 언어적 또는 문화적 차이가 있는 경우 그러한 안내는 시간이 많이 걸리고 어려울 수 있다. 또한, 비디오, 오디오 또는 지시 장비의 핸들링과 같은 인체 공학적 또는 기타 제약 조건들, 조도 부족과 같은 환경 요인들, 소음 또는 기타 요인들로 인해 이러한 프로세스의 어려움이 증가할 수 있다.

그러한 공동 유지 보수, 수리 또는 작동 동안, 보통 원격 참가자가 장비의 온라인 원격 디스플레이 비디오를 사용하여 장비 상의 위치를 마킹하면서, 로컬 참가자가 장비 상에 오버레이되는 이러한 마킹을 볼 수 있게 하는 것이 매우 유용하다. 예를 들어, 원격 전문가는 특정 타겟(예를 들어, 손잡이, 나사, 스위치, 와이어 또는 원하는 부품)을 마킹하고 현장 참가자 또는 기사에게 타겟에 관해 특정 동작(예를 들어, 손잡이 돌리기, 나사 열기, 스위치 작동, 전선 연결 또는 분리 또는 다른 동작)을 수행하도록 지시할 수 있다. 원격 전문가가 현장 카메라(예를 들어, AR 고글 상에 장착된)로부터의 비디오를 사용하여 장비 상의 특정 위치를 지정하기 위해 마킹을 생성하는 동안 증강 현실(AR) 디스플레이(이를테면 AR 안경 또는 다른 시스루 AR 디스플레이)는 현장 참가자에 의해 사용될 수 있다. 그 다음 증강 현실 시스템은 현장 기사에게 마킹이 "실제" 타겟 위에 오버레이되도록 AR 디스플레이 상에 마킹의 이미지를 제시할 것이다. 예를 들어, 원격 전문가는 장비의 부분이고 특정 방향으로 돌려질 손잡이를 마킹할 수 있다. AR 시스템을 사용하면, 현장 기술자는 디스플레이 상에서 손잡이를 돌리는 방향과 같이 수행될 동작의 어느 정도의 설명으로 가능한 문제의 손잡이 위에 오버레이되거나 그것을 가리키는 마킹을 볼 수 있다.

AR의 그러한 사용은 AR 레이어 디스플레이 상에 디스플레이되는 마킹 및 실제 목타겟 장비의 위치 사이의 정밀한 정렬을 필요로 할 수 있다. 원격 전문가에 의해 생산된 마크는 현장 기사에게 타겟 장비 위에 오버레이되는 것으로 보여야 하고 높은 정밀도로 타겟을 가리킬 것으로 기대될 수 있다. 약간의 오정렬도 장비의 잘못된 부분 상에서 동작이 수행되게 할 수 있다. AR 시스템들에서, 높은 정밀도로 그러한 정렬을 얻기 위해서는 통상적으로 장비에 관한 AR 디스플레이의 정밀한 위치, 및 사용자의 눈 및/또는 눈동자에 관한 AR 디스플레이의 상대 위치를 고려하는 복잡한 절차들이 필요하다. 그러한 정밀한 정렬은 복잡한 캘리브레이션 절차들을 필요로 할 수 있고, 정렬의 정밀도는 시간이 지남에 악화될 수 있다.

따라서 본 발명의 일 실시 예에 따라, 타겟 개체를 포함하는 시야를 갖는 이미지들을 획득하도록 구성된 고정 이미저; 상기 타겟 개체의 타겟 개체 상으로 하나 이상의 물리적 레이어 마킹을 투영하도록 제어 가능한 빔 프로젝터; 증강 현실 디스플레이 및 상기 증강 현실 디스플레이 앞 영역의 장면 이미지들을 획득하도록 구성된 장면 이미저(scene imager) 또는 상기 증강 현실 디스플레이 앞에 헤드셋 빔을 투영하도록 구성된 헤드셋 빔 프로젝터를 포함하는 헤드셋으로서, 상기 증강 현실 디스플레이는 상기 헤드셋을 착용하고 있는 로컬 사용자가 상기 증강 현실 디스플레이를 통해 상기 타겟 개체를 직접 볼 수 있게 하기에 충분히 투명하고 직접 보이는 타겟 개체 상에 중첩되는 주석(annotation)을 상기 로컬 사용자에 보이게 하기 위해 디스플레이하도록 구성된, 상기 헤드셋; 및 프로세서로서: 상기 주석의 디스플레이를 위해 상기 타겟 영역에 관해 선택된 위치를 수신하도록; 상기 장면 이미지들에서 상기 하나 이상의 물리적 레이어 마킹의 이미지들을 식별함으로써, 또는 상기 고정 이미저에 의해 획득된 이미지에서 상기 하나 이상의 물리적 레이어 마킹의 그리고 상기 헤드셋 빔에 의해 형성되는 마크의 이미지들을 식별함으로써 상기 증강 현실 디스플레이의 배향을 결정하도록; 상기 타겟 영역에 관한 상기 선택된 위치에 디스플레이될 때 상기 주석이 상기 로컬 사용자에 의해 인지될 수 있도록 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하기 위한 디스플레이 위치를 계산하도록; 그리고 계산된 상기 디스플레이 위치의 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하도록 구성된, 상기 프로세서를 포함하는, 다중-레이어 뷰잉 시스템이 제공된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 빔 프로젝터는 사용자 제어부의 동작에 의해 제어 가능하다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 사용자 제어부는 원격 사용자가 상기 고정 이미저에 의해 획득되는 상기 타겟 개체의 이미지 상의 상기 타겟 영역의 표시에 의해 상기 빔 프로젝터를 제어할 수 있게 한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 사용자 제어부는 상기 고정 이미저에 의해 획득되는 상기 타겟 개체의 이미지 상의 상기 선택된 위치의 표시에 의해 상기 선택된 위치의 입력을 가능하게 하도록 구성된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 빔 프로젝터는 레이저를 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 빔 프로젝터는 물리적 레이어 마킹을 패턴 형태로 투영하도록 구성된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 고정 이미저의 시야는 적어도 물리적 레이어 마킹이 상기 장면 이미저의 시야보다 크고 이를 포함하는 상기 빔 프로젝터에 의해 투영될 수 있는 타겟 개체의 영역을 완전히 커버하기에 충분히 크다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 빔 프로젝터는 상기 타겟 개체의 표면 위 상기 하나 이상의 물리적 레이어 마킹을 스캔하도록 더 구성된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 프로세서는 상기 표면의 경사각을 계산하도록 더 구성된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 시스템은 원격 스테이션을 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 원격 스테이션은 원격 디스플레이 및 사용자 제어부들을 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 고정 이미저 및 상기 빔 프로젝터는 단일 고정 유닛으로 통합된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 시스템은 적어도 하나의 추가 이미지 또는 적어도 하나의 추가 프로젝터를 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 프로세서는 상기 적어도 하나의 추가 이미저를 상기 고정 이미저에 보이지 않는 것으로 식별되는 상기 타겟 개체의 영역의 이미지를 획득하도록 작동시키거나, 상기 적어도 하나의 추가 프로젝터를 상기 빔 프로젝터에 의해 방출되는 빔이 액세스할 수 없는 것으로 식별되는 상기 타겟 개체의 영역 상에 마킹을 투영하도록 작동시키도록 더 구성된다.

또한, 본 발명의 일 실시 예에 따라, 고정 이미저, 빔 프로젝터, 및 증강 현실 디스플레이 및 상기 증강 현실 디스플레이 앞 영역의 장면 이미지들을 획득하도록 구성된 장면 이미저(scene imager) 또는 상기 증강 현실 디스플레이 앞에 헤드셋 빔을 투영하도록 구성된 헤드셋 빔 프로젝터를 포함하는 헤드셋으로서, 상기 증강 현실 디스플레이는 상기 헤드셋을 착용하고 있는 로컬 사용자가 상기 증강 현실 디스플레이를 통해 상기 타겟 개체를 직접 볼 수 있게 하기에 충분히 투명하고 직접 보이는 타겟 개체 상에 중첩되어 보이는 주석을 디스플레이하도록 구성된, 상기 헤드셋을 포함하는 뷰잉 시스템의 작동 방법으로서, 상기 빔 프로젝터에 의해 하나 이상의 물리적 레이어 마킹이 상기 타겟 개체의 타겟 영역 상으로 투영될 때 상기 타겟 개체의 장면 이미지를 상기 장면 이미저를 사용하여, 또는 상기 하나 이상의 물리적 레이어 마킹 및 상기 헤드셋 빔에 의해 형성되는 마크를 포함하는 이미지를 상기 고정 이미저를 사용하여 획득하는 단계; 상기 주석의 디스플레이를 위해 상기 타겟 영역에 관해 선택된 위치를 수신하는 단계; 획득된 상기 장면 이미지에서 상기 하나 이상의 물리적 레이어 마킹의 이미지를 또는 상기 하나 이상의 물리적 레이어 마킹의 이미지 및 상기 헤드셋 빔에 의해 형성되는 상기 마크의 이미지를 식별하는 단계; 상기 타겟 영역에 관한 상기 선택된 위치에 디스플레이될 때 상기 주석이 상기 로컬 사용자에 의해 인지될 수 있도록 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하기 위한 디스플레이 위치를 계산하는 단계; 및 계산된 상기 디스플레이 위치의 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하는 단계를 포함하는, 방법이 제공된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 타겟 개체의 상기 장면 이미지를 획득하는 단계는 상기 하나 이상의 물리적 레이어 마킹의 물리적 레이어 마킹이 상기 타겟 개체의 표면에 걸쳐 스캔될 때 복수의 상기 장면 이미지를 성공적으로 획득하는 단계를 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 방법은 성공적으로 획득된 상기 장면 이미지들 내에서 스캔된 상기 물리적 레이어 마킹의 상기 이미지의 위치를 식별함으로써 상기 표면의 경사각을 계산하는 단계를 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 장면 이미저를 사용하여 획득하는 단계에는 정합 캘리브레이션 절차의 실행이 선행된다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 정합 캘리브레이션 절차는 상기 빔 프로젝터를 상기 타겟 개체 상으로 하나 이상의 캘리브레이션 물리적 레이어 마킹을 투영하도록 작동시키는 단계를 포함한다.

뿐만 아니라, 본 발명의 일 실시 예에 따르면, 상기 정합 캘리브레이션 절차는 상기 주석이 상기 하나 이상의 캘리브레이션 물리적 레이어 마킹의 마킹을 보는 상기 헤드셋의 사용자에게 해당 마킹 상에 중첩되어 보이도록 상기 증강 현실 디스플레이 상에 캘리브레이션 주석을 디스플레이하는 단계를 더 포함한다.

본 발명으로 여겨지는 기술 요지가 본 명세서의 결론 부분에서 특히 언급되고 뚜렷하게 청구된다. 그러나, 그 목적들, 특징들 및 이점들과 함께, 구성 및 동작 방법 양자에 관한 본 발명은 이하의 상세한 설명을 참조하여 다음 첨부 도면들과 읽을 때 가장 잘 이해될 수 있다:
도 1은 웨어러블 헤드셋을 갖는 다중-레이어 뷰잉 시스템을 개략적으로 도시한다;
도 2a는 고정 이미저(201)를 갖는 다중-레이어 뷰잉 시스템을 개략적으로 도시한다;
도 2b는 제2 지향성 조명원을 갖는 다중-레이어 뷰잉 시스템을 개략적으로 도시한다;
도 3은 본 발명의 일 실시 예에 따른 다중-레이어 뷰잉 시스템을 개략적으로 도시한다; 그리고
도 4는 본 발명의 일 실시 예에 따른 다중-레이어 뷰잉 시스템의 작동 방법을 도시한 흐름도이다.
예시의 간단함 및 명확성을 위해, 도면들에 도시된 요소들은 반드시 일정 축적으로 그려진 것은 아니라는 것이 이해될 것이다. 예를 들어, 몇몇 요소의 치수들이 명확성을 위해 다른 요소들에 관해 확대될 수 있다. 나아가, 적절한 것으로 고려되는 경우, 참조 부호들은 대응하는 또는 유사한 요소들을 나타내기 위해 도면들 중에 반복될 수 있다.

이하의 상세한 설명에서, 많은 구체적인 세부 사항이 본 발명에 대한 충분한 이해를 제공하기 위해 제시된다. 그러나, 해당 기술분야의 통상의 기술자들에 의해서는 본 발명이 이러한 구체적인 세부 사항들 없이 실시될 수 있다는 것이 이해될 것이다. 다른 경우로, 주지의 방법들, 절차들, 및 구성요소들은 본 발명을 모호하게 하지 않기 위해 상세하게 설명되지 않았다. 일 실시 예에 대하여 설명된 일부 특징 또는 요소는 다른 실시 예들에 대하여 설명된 특징들 또는 요소들과 조합될 수 있다. 명확성을 위해, 동일하거나 유사한 특징들 또는 요소들에 대한 논의는 반복되지 않을 수 있다.

본 발명의 실시 예들이 이와 관련하여 제한되지는 않지만, 예를 들어, "처리", "컴퓨팅", "계산", "결정", "확립", "분석", "확인" 등은 컴퓨터의 레지스터들 및/또는 메모리들 내 물리(예를 들어, 전자)량들로서 표현된 데이터를 유사하게 컴퓨터의 레지스터들 및/또는 메모리들 내 물리량들로서 표현된 다른 데이터 또는 동작들 및/또는 프로세스들을 수행하기 위한 명령들을 저장할 수 있는 비일시적 저장 매체 다른 정보로 조작 및/또는 변환하는 컴퓨터, 컴퓨팅 플랫폼, 컴퓨팅 시스템 또는 다른 전자 컴퓨팅 디바이스의 동작(들) 및/또는 프로세스(들) 또는 지칭할 수 있다. 본 발명의 실시 예들이 이와 관련하여 제한되지 않지만, "복수" 및 "복수의"라는 용어들은 여기서 사용될 때 예를 들어, "다수" 또는 "둘 이상"을 포함할 수 있다. "복수" 및 "복수의"라는 용어들은 본 명세서 전반에 걸쳐 둘 이상의 구성요소, 디바이스, 요소, 유닛, 파라미터 등을 설명하기 위해 사용될 수 있다. 명시적으로 언급되지 않는 한, 여기에 설명된 방법 실시 예들은 특정 순서 또는 시퀀스로 제한되지 않는다. 또한, 설명된 방법 실시 예들 또는 그 요소들 중 일부는 동시에, 동일한 시점에, 또는 동시에 발생 또는 수행될 수 있다.

본 발명의 일 실시 예에 따르면, 다중-레이어 증강 현실(AR) 시스템은 원격 사용자가 타겟 위치를 마킹하고 시-스루 증강 현실 디스플레이를 통해 로컬 사용자에게 보일 수 있는 타겟 개체와 관련된 추가 정보를 추가할 수 있게 하도록 구성된다. 정보는 (예를 들어, 투영되는 광 빔을 통해) 타겟 개체 상에 직접 물리적 레이어 마킹을,그리고 증강 현실 디스플레이 상에 디스플레이되고 AR 디스플레이(예를 들어, AR 고글 또는 다른 헤드-업 디스플레이)를 통해 보여지는 타겟 개체의 직접 뷰 상에 중첩되는 것으로 로컬 사용자에 의해 보여질 수 있는 주석 또는 다른 마킹을 포함하는 "가상 레이어"(그러한 모든 마킹이 여기서 주석으로 지칭됨)를 포함할 수 있다.

원격 사용자는 원격 부지와 타겟 개체의 실제 물리적 거리에 관계 없이(예를 들어, 인접한 방에서 부근에 있거나 심지어 타겟 개체와 동일한 방 내 별개의 위치에 있을 수도 있다), 원격 사용자가 타겟 개체에 직접 물리적으로 액세스할 수 없는 원격 부지(예를 들어, 다른 건물, 도시, 국가 또는 다른 곳)에 위치할 수 있다.

타겟 개체는, 예를 들어, 장비, 작업물, 사람 또는 동물 신체, 식물, 샘플(예를 들어, 생물학적, 화학적, 지리학적 또는 다른 유형의 샘플), 또는 로컬 사용자가 보도록 원격 사용자에 의해 마킹될 수 있는 다른 타겟 개체를 포함할 수 있다. 로컬 사용자는 통상적으로 타겟 개체에 직접 액세스할 수 있도록(예를 들어, 직접 물리적 접촉을 통해 또는 툴을 사용하여) 타겟 장비의 부지에 위치된다.

다중-레이어 뷰잉 시스템은 타겟 영역의 이미지를 원격 뷰어에 제공하는 적어도 하나의 고정 이미저(예를 들어, 팬-틸트-줌 카메라, 웹 카메라 또는 다른 유형의 카메라), 물리적 레이어 마크들 및/또는 이미지들을 투영할 수 있는 원격 제어 프로젝터, 로컬 사용자의 눈과 타겟 개체 사이에 위치되는 시-스루 디스플레이(예를 들어, AR 고글, 헤드-업 디스플레이 또는 다른 시-스루 디스플레이) 상에 이미지들을 투영하기 위해 증강 현실 프로젝터를 통상적으로 포함하는 증강 현실 디스플레이, 및 증강 현실 디스플레이에 의해 디스플레이되는 정보를 타겟 개체와 정렬시키고 프로젝터의 움직임을 제어하도록 구성된 프로세서를 포함한다.

통상적으로, 시스템은 각각 하나 이상의 이미저(각각 여기서 고정 이미저로 지칭됨) 및 프로젝터를 포함하는 하나 이상의 고정 유닛을 포함할 수 있다. 각 유닛은 통상적으로 제어기(예를 들어, 프로세서, 프로세서에 대한 통신 링크, 제어 회로 또는 다른 제어기 구성요소들 중 하나 이상을 포함하는)를 포함한다. 각 고정 이미저의 시야는 통상적으로 적어도 하나의 빔 프로젝터에 의해 마킹될 수 있는 타겟 개체의 공간의 영역을 완전히 커버하기에 충분히 크다. 유닛의 제어기는 유닛의 고정 이미저로부터의 이미지들을 이용하여 폐쇄 루프로 빔 프로젝터 및 고정 이미저의 동작 사이를 조율하도록 구성될 수 있다.

통상적으로, 시스템은(증강 현실 디스플레이를 포함하는) 통상적으로 로컬 사용자 바로 앞에 있는 장면을 이미징하도록(시선 방향으로) 구성된 장면 이미저를 포함하는 헤드-장착 헤드셋 유닛을 포함한다. 일부 경우에, 헤드셋은 헤드셋 바로 앞에 빔을 투영하도록(예를 들어, 시선 방향으로) 구성된 빔 프로젝터(예를 들어, 장면 이미저에 추가로 또는 그 대신)를 포함할 수 있다.

각 고정 유닛은 타겟의 적어도 부분을 이미지징 및 투영하도록 타겟 부근에 위치된다. 하나보다 많은 고정 유닛이 포함될 때, 최적의 셋업은 상이한 고정 이미저들이 상이한 방향들로부터 타겟 개체를 보도록(그리고 상이한 방향들로부터 타겟 개체 상에 빔들을 투영하도록) 다양한 고정 유닛의 배치를 포함할 수 있다. 따라서, 하나의 고정 유닛에 대한 직접 시선이없는 타겟 개체의 섹션은 다른 위치에서 추가의 고정 유닛에 의해 커버될 수 있다. 전형적으로, 적어도 하나의 고정 유닛은 예를 들어 삼각대 또는 스탠드에 고정된(예를 들어, 움직이지 않는 경우 제자리에 남아있는) 위치에 장착되고, 테이블, 카트 또는 다른 가구에 선반, 선반 또는 선반에 배치된다. 다른 고정 구조물, 벽, 천장 또는 타겟의 장착 가능한 고정 부분에 장착되거나 자율적으로 움직일 수없는 구조물에 장착된 경우. 하나 이상의 추가의 고정 유닛은 로컬 사용자 또는 다른 사람의 신체의 일부(예를 들어, 어깨, 몸통, 팔 또는 다른 부분)에 장착될 수 있다.

이미저(정지 또는 헤드 마운트)는 예를 들어 비디오 카메라, 연속 이미지를 획득하도록 구성된 카메라, 또는 다른 유형의 이미징 장치를 포함할 수 있다. 이미저는 가시광 이미지, 적외선 이미지 또는 다른 스펙트럼 범위의 이미지를 획득하도록 구성될 수 있다. 일부 예에서, 이미저는 쌍안 쌍 또는 둘 이상의 이미저의 다른 조합을 포함할 수 있다.

다중-레이어 뷰잉 시스템은 또한 타겟 근처에 위치한 로컬 사용자의 머리에 착용되는 헤드 마운트 이미저(본 명세서에서 "장면 이미저"로 지칭 됨)를 포함할 수 있다. 일반적으로, 헤드 마운트 이미저는 로컬 사용자의 머리 앞에있는 시야의 이미지를 획득하도록 구성된다. 따라서, 머리 장착 이미저의 시야는 로컬 사용자의 머리가 회전함에 따라 변할 수 있다. 헤드 마운트 이미저의 시야는 로컬 사용자에 의해 임의의 주어진 움직임에서 보이는 현재 시야를 근사할 수 있다. 그러나, 현재의 시야는 또한 로컬 사용자의 눈이 로컬 사용자의 머리를 향하는 방향에 의해 결정되기 때문에, 현재의 시야는 헤드 마운트의 시야와 정확히 일치하지 않을 수 있다 이미저. 일반적으로, 헤드 마운트 이미저의 시야는 로컬 사용자의 눈의 방향에 관계없이 현재의 시야를 포함하도록 충분히 크다.

본 명세서에 사용된 바와 같이, 카메라는 타겟의 부지에서 로컬 사용자 또는 다른 사람과 함께 움직이지 않는 고정구 상에 장착 될 때 정지된 것으로 간주된다. 로컬 사용자의 움직임과 독립적으로 움직일 수 있는 회전 가능 또는 변환 가능 마운트에 장착된 이미저도 정지된 것으로 간주된다.

원격 사용자는 다중-레이어 뷰잉 시스템의 원격 스테이션을 운영할 수 있다. 예를 들어, 원격 스테이션은 원격 사용자가 하나 이상의 고정 이미저, 헤드 마운트 이미저 또는 둘 다에 의해 획득된 이미지를 볼 수 있는 원격 디스플레이를 포함할 수 있다. 원격 스테이션은 로컬 사용자가 볼 수 있도록 표시하기 위해 원격 사용자가 타겟의 이미지의 영역을 나타내거나 타겟상의 위치를 고정된 좌표로 표시할 수 있게하는 하나 이상의 제어를 포함한다. 제어을 사용하면 원격 사용자가 주석을 추가하거나 표시 할 정보를 추가할 수 있다.

다중-레이어 뷰잉 시스템은 하나 이상의 마킹을 타겟 개체의 타겟 영역에 직접 투사하기위한 프로젝터를 포함한다. 이러한 마킹은 본 명세서에서 물리적 레이어 마킹으로 지칭된다. 예를 들어, 프로젝터는 레이저, 또는 타겟 개체 상으로 광선을 투영할 수 있는 다른 조명 장치를 포함할 수 있다. 투영된 빔은 가시광을 포함할 수 있거나, 헤드 마운트 이미저(및 후술되는 증강 현실 디스플레이)를 통해 로컬 사용자에 의해 볼 수 있는 비 가시광(예를 들어, 적외선)을 포함할 수 있다. 일부 예에서, 프로젝터는 래스터 패턴 또는 다른 패턴으로 빠르게 스캔되도록 구성될 수 있다. (본 명세서에서 사용된 바와 같이, 빠른 스캔은 패턴의 완전한 스캔 빔이 고정된 형태의 꾸준한 디스플레이로서 비전의 지속성으로 인해 시청자에 의해 인식되는 속도로 스캔하는 것을 지칭한다). 이러한 일부 예에서, 빔은 타겟 영역의 1 차원 또는 2 차원 개요 또는 다른 표시를 개략적으로 또는 다르게 제공하는 패턴으로 스캔될 수 있다. 이러한 일부 예에서, 투영된 빔의 강도는 타겟 영역을 조명하거나보다 복잡한 마킹을 형성하기 위해 빔의 스캔과 병행하여 변조될 수 있다(예를 들어, 주석 또는 다른 방식의 단순한 윤곽선보다 더 복잡하다). 타겟 영역을 다른 시야와 구별하기 위해).

일부 예에서, 프로젝터는 원격 사용자에 의해 작동될 수 있다(예를 들어, 로컬 사용자에게 안내를 제공하거나 로컬 사용자에게 질의를 명확하게하기 위해). 일부 예에서, 프로젝터는 원격 사용자 또는 로컬 사용자에 의해 작동될 수 있다(예를 들어, 표시된 위치로 원격 사용자의주의를 끌기 위해 사용하기 위해). 일부 예에서, 로컬 사용자 및 원격 사용자에 의한 동작을 위해 별도의 프로젝터가 제공될 수 있다. 일부 예에서, 둘 이상의 상이한 프로젝터에 의해 생성된 빔은 그 색상, 별 모양 또는 다른 방식으로 서로 구별될 수 있다.

로컬 사용자에게는 증강 현실 디스플레이가 제공됩니다. 일반적으로, 증강 현실 디스플레이는 로컬 사용자의 머리에 착용되며, 헤드 마운트 이미저(head-mounted imager)를 갖는 단일 헤드 마운트 유닛의 일부일 수 있다. 증강 현실 디스플레이는 로컬 사용자의 눈에 의해 보여지는 장면에 중첩된 것으로 로컬 사용자에 의해 보여지는 이미지를 표시하도록 구성된다. 일반적으로, 증강 현실 디스플레이는 투명 또는 반투명 고글을 포함하며,이를 통해 로컬 사용자는(광선을 통한 전자 신호로의 임의의 변환없이 광학적으로 만 직접 시선을 통해) 타겟 개체(또는 임의의 다른 장면)를 직접 볼 수 있다. 로컬 사용자의 타겟 개체의 직접적인 시야를 완전히 방해하지 않으면 서 추가적인 마킹(예를 들어, 영숫자 텍스트, 기호, 개요, 강조 또는 다른 마킹 형태)이 투영되거나 달리 표시될 수 있다. 이러한 마킹은 본 명세서에서 증강 현실 층 마킹으로 지칭된다.

(예를 들어, 증강 현실 디스플레이 또는 다른 곳에 통합된) 멀티-레이어 뷰잉 시스템의 프로세서는 증강 현실 디스플레이 상에 디스플레이되는 임의의 정보를 타겟 개체와 정렬하도록 구성될 수 있다. 예를 들어, 주석은 타겟 영역 내의 타겟에 대한 검사 또는 동작과 관련하여 타겟 영역의 타겟 영역 또는 구성요소의 식별, 표시 명령 또는 기호(예를 들어, 움직임 또는 회전 방향을 나타내는)를 포함할 수 있다(예를 들어, 손잡이 또는 볼트와 같은 개체의 회전, 개체에 힘을 가함, 덮개를 열거 나, 윤활 또는 기타 물질을 적용하거나, 외과 적 또는 기타 의학적 절차를 적용하거나, 샘플링 또는 기타 수정 또는 작동), 구성요소의 색상 코딩 타겟 개체 또는 기타 주석 정렬은 주석이 로컬 사용자에 의해 보여지는 바와 같이 의도된 위치에서 증강 현실 디스플레이 상에 위치되는 것을 보장할 수 있다.

예를 들어, 프로세서는 의도된 정렬을 달성하기 위해 헤드 장착형 이미저에 의해 획득된 이미지와 함께 타겟 개체의 물리적 레이어 마킹을 이용하도록 구성될 수 있다. 예를 들어, 물리적 레이어 마킹은 타겟 개체 상에 특정 타겟 위치를 마킹하도록 사용자에 의해 제어될 수 있다. 일반적으로, 원격 사용자는 고정 이미저에 의해 획득된 원격으로 디스플레이된 이미지상의 위치를 선택할 수 있다. 원격 사용자는 동일한 디스플레이에서 증강 현실 디스플레이 상에 표시 될 특정 주석이있는 위치를 나타낼 수 있다. 전형적으로, 다중-레이어 뷰잉 시스템은 공지된 기술(예를 들어, 이미지 처리 기술)을 적용하여 고정식 이미저의 전형적으로 더 큰 시야 내에서 헤드 장착 이미저의 시야의 위치를 결정한다. 프로세서는 헤드 마운트 이미저에 의해 획득된 물리적 레이어 마킹의 이미지를 식별하기 위해 이미지 처리 기술을 적용하도록 구성될 수 있다. 그 후, 프로세서는(예를 들어, 고정 이미저의 시야의 디스플레이 상에 사용자에 의해 지시된 바와 같이) 이미징된 물리적 레이어 마킹에 대한 위치에서 증강 현실 계층에 주석을 적용하도록 구성될 수 있다. 따라서, 표시된 주석은 물리적 레이어 마킹 및 타겟 개체에 대한 의도된 위치에 표시 될 것이다.

대안 적으로 또는 추가로, 증강 현실 디스플레이와 함께 헤드셋에 결합된 헤드셋 프로젝터는 헤드셋의 방향을 나타내는 빔을 투사할 수 있다. 헤드셋 프로젝터에서 투사된 빔은 추가 헤드셋 표시로 타겟 개체(물리적)를 표시할 수 있다. 예를 들어, 고정 이미저에 의해 이미지화된 바와 같이(고정) 빔 프로젝터에 의해 투영되는 물리적 레이어 마킹에 대한 헤드셋 마킹의 위치는 하나 이상의 고정 개체에 대한 헤드셋의 배향을 나타낼 수 있다(예를 들어). , 타겟 개체 또는 고정 이미저). 예를 들어, 헤드셋 마킹은 획득된 이미지에서 그것의 색상, 형상, 편광, 또는 다른 특성에 의해 물리적 레이어 마킹과 구별될 수 있다.

AR 디스플레이에 대한 눈의 회전을 보상하기 위해 주석과 물리적 레이어 마킹 사이의 정렬의 정확도가 연속적으로 조정될 수 있음을 주목할 수 있다. 예를 들어, 초기 캘리브레이션 절차 동안, 예를 들어, 타겟 개체에 대한 작업을 시작하기 전에, 로컬 사용자의 눈의 시선 방향과 물리적 레이어 마킹 사이의 정렬이 결정될 수 있다. 예를 들어, 로컬 사용자는 마킹을 똑바로 보면서(예를 들어, 눈이 얼굴을 직접 마주 보면서) 물리적 레이어 마킹을보고 마주하도록 요청받을 수 있다. 동시에, 증강 현실 디스플레이는 마크 형태로 주석을 디스플레이하도록 동작될 수 있다. 주석 마크의 위치는 주석 마크가 물리적 레이어 마킹과 일치하는 것으로 로컬 사용자에 의해 보일 때까지(예를 들어, 로컬 사용자에 의해 또는 원격 사용자와의 통신을 통해 제어되는) 제어될 수 있다.

대안 적으로 또는 추가적으로, 로컬 사용자는 물리적 레이어 마킹이 타겟 개체상의 상이한 위치(예를 들어, 타겟 개체의 중심 및 에지에서의 지점)에 투영 될 때 타겟 개체를 향하도록 요청될 수 있다. 로컬 사용자의 얼굴과 헤드셋이 고정되어 있다. 타겟 개체(예를 들어, 고정 이미저에 의해 획득된 이미지) 및 헤드 장착형 장면 이미저에 의해 획득된 이미지에서의 마킹의 위치는 분석되어 다음에 대해 고정된 좌표 시스템으로부터의 변환을 생성할 수 있다. 타겟 오브젝트(예를 들어, 글로벌 또는 로컬 좌표 시스템에 대해 정의된 바와 같은 정지 좌표) 및 헤드 마운트 장면 이미저에 대해 정의된 이동 가능한 좌표 시스템.

초기 정렬 캘리브레이션 동안 볼 수 있는 물리적 레이어 마킹의 포인트 수를 늘리거나 물리적 레이어 마킹의 포인트 사이의 분리는 초기 정렬 캘리브레이션의 정확도를 높일 수 있다.

초기 정렬 후에, 시스템은 로컬 사용자의 눈의 계산된 방향에 따라 주석의 배치를 계속 조정할 수 있다. 예를 들어, 주석은 물리적 레이어 마킹에 의해 마킹된 타겟 개체의 타겟 영역 상에 중첩되어 보이도록 표시되도록 의도될 수 있다. 로컬 사용자가 현재 물리적 레이어 마킹을보고 있다고 가정할 수 있다(예를 들어, 주석이 로컬 사용자에게 사용되는 것으로 가정 됨).

예를 들어, 표준 이미지 분석 기술이 헤드 마운트 장면 이미저의 시야의 방향 및 따라서 헤드셋(예를 들어, 타겟 개체에 대한)의 방향을 식별하기 위해 적용될 수 있다. 대안 적으로 또는 추가로, 헤드 장착형 유닛이 빔 프로젝터를 포함 할 때, 헤드 장착형 프로젝터에 의해 투사된 마크의 이미지화된 위치는 헤드셋 배향의 결정을 가능하게할 수 있다. (일부 경우, 헤드셋 장착 빔 프로젝터를 사용하여 헤드셋 방향을 결정하는 것은 로컬 사용자의 신체에 장착된 추가 이미저에 의해 용이해질 수 있다.)

헤드셋의 방위와 증강 현실 디스플레이가 결정된 후, 물리적 레이어 마킹의 이미지화된 위치(로컬 사용자가보고있는 것으로 가정 됨)와 헤드 마운트 장면 이미저의 방위 사이의 각도 분리 또한, 헤드 마운트 장면 이미저에 대한 로컬 사용자의 눈의 회전과 같다고 가정될 수 있다. 증강 현실 디스플레이 상에 디스플레이되는 주석은 그에 따라 변위될 수 있다. 예를 들어, 주석은 초기 정렬 교정에 기초하여 물리적 레이어 마킹이 증강 현실 디스플레이를 통해 로컬 사용자에게 나타날 것으로 계산되는 위치에 표시될 수 있다.

물리적 레이어 마킹과 증강 현실 계층 주석 사이의 이러한 정렬은 다른 기술보다 유리할 수 있다. 또한, 이러한 정렬은 눈동자 추적의 복잡성 또는 이러한 정렬을 달성하기위한 다른 기술을 피할 수 있다.

일부 경우에, 프로세서는(고정 이미저의 시야에서 측정된 바와 같이) 타겟 개체상의 물리적 레이어 마킹의 좌표를 각각의 타겟 영역에 대한 빔 프로젝터 좌표에 매핑하도록 구성될 수 있다. 이것은 물리적 레이어 마킹의 타겟물상에서 새로운 위치로의 빠른 개방 루프 이동을 가능하게할 수 있다.

또한, 프로세서는이 마커 위치 맵을 사용하여 원격 사용자에 의해 정의되거나 타겟 이미지(이미지 필드에 정렬 됨)로부터 획득된 타겟 개체의 구성요소 또는 영역을 선택적으로 조명하거나 윤곽을 그리도록 구성될 수 있다. 보기). 연속적으로 획득된 이미지 프레임 내의 물리적 레이어 마킹 영역에서 프로젝터 스팟의 이동 속도는 이미지 평면(또는 이미지 평면에 수직) 또는 프로젝터의 타겟 개체의 표면 방향을 산출하도록 해석될 수 있다. . 이러한 배향에 대한 지식은 물리적 레이어 마킹의 배치의 정확도를 추가로 증가 시키거나, 또는 이미저에게 현재 보이지 않는 타겟 개체의 일부로 사용자를 안내하는데 이용될 수 있다. 일부 경우에, 프로세서가 헤드셋이 테스트 개체, 물리적 레이어 마킹 또는 다른 특정 영역을 향하고 있다고 결정할 때, 프로세서는 오디오 콘텐츠(예를 들어, 구두 설명) 또는 다른 비 시각적 콘텐츠를 재생하도록 구성될 수 있다.

도 1은 웨어러블 헤드셋을 갖는 다중-레이어 뷰잉 시스템을 개략적으로 도시한다. 다중-레이어 뷰잉 시스템(110)은 타겟 개체(10)를 동작시키는 적어도 한 사용자에 대해 동기화된 타겟 위치 추정을 가능하게 할 수 있다.

일부 예에서, 참가자들(예를 들어, 타겟 개체(10)의 유지 보수에 참여하는 로컬 또는 원격 사용자) 중 적어도 하나는 컴퓨터 시스템으로 대체될 수 있다. 예를 들어, 컴퓨터 시스템은 장면의 이미지를 수신하고, 예를 들어 이미지 처리 기술들을 적용함으로써 마킹될 타겟 개체(10)상의 위치를 결정하며, 이러한 위치를 인간 사용자가 보도록 마킹할 수 있다. 일부 예에서, 인간 사용자는 다중-레이어 뷰잉 시스템(110)의 컴퓨터 시스템에 의해 발생되는 타겟 위치 추정의 보조로 타겟 개체(10) 상에서 수동으로 동작하기 위해 현장에있는 로컬 사용자일 수 있다. 일부 예에서, 인간 사용자는 타겟 개체(10)에 멀리 떨어져 있고 타겟 개체(10)의 이미지들을 전송하기 위한 카메라를 갖는 현장 컴퓨터 시스템으로부터 타겟 위치 추정의 보조로 원격으로 작동할 수 있는 원격 사용자일 수 있다(예를 들어, 원격 사용자가 로봇 팔을 원격으로 조작함).

일부 예에서, 적어도 하나의 참가자 또는 사용자는 타겟 개체(10)의 타겟 영역(20) 상에서 동작을 수행할 의도로(예를 들어, 회로 보드의 구성요소를 교체하기 위해 또는 기타 수리 또는 유지 보수를 수행하기 위해), 물리적으로 타겟 개체(10) 현장에 또는 부근에 있는 로컬 사용자일 수 있다. 로컬 사용자는 시야(102)를 갖는 적어도 하나의 이미저(101)(예를 들어, 비디오 카메라)를 구비할 수 있다. 일부 예에서, 이미저(101)는 타겟 영역(20)을 포함하는 시야(102)를 갖는 이미지들을 캡처하도록 구성될 수 있다. 일부 예에서, 이미저(101)는 시야(102)가 타겟 개체(10)를 수동으로 작동하고 있는 로컬 사용자의 눈의 실제 시야에 대응할 수 있도록 로컬 사용자에 의해 착용 가능할 수 있다(예를 들어, 머리에).

일부 예에서, 로컬 사용자는 또한 물리적 레이어 마킹(107)으로 타겟 영역(20)을 나타내기 위해 빔(104)을 방출하도록 구성된 적어도 하나의 지향성 조명원(103)(예를 들어, 레이저원 또는 다른 빔원) 을 구비할 수 있다. 일부 예에서, 지향성 조명원(103)은 빔(104)이 로컬 사용자의 머리 방향(예를 들어, 시선 방향)에 대응할 수 있도록 로컬 사용자에 의해 착용 가능할 수 있다. 그에 따라, 물리적 레이어 마킹(107)은 다른(예를 들어, 원격) 사용자들에게 타겟 개체(10) 상의 로컬 사용자의 주시점을 나타낼 수 있다.

일부 예에서, 이미저(101) 및/또는 지향성 조명원(103)은 타겟 영역(20)과 적절하게 정렬하기 위해 이동 가능하고/거나 사용자(로컬 또는 원격)에 의해 제어될 수 있다.

일부 예에서, 다중-레이어 뷰잉 시스템(110)은 이미저(101)로부터 신호들을 수신하도록 그리고 지향성 조명원(103)을 제어하도록 구성된 적어도 하나의 프로세서(105)를 포함할 수 있다. 일부 예에서, 이미저(101) 및/또는 지향성 조명원(103)의 이동은 프로세서(105)에 의해 제어될 수 있다. 일부 예에서, 프로세서(105)와 이미저(101)와 지향성 조명원(103) 간 통신은 (예를 들어, Wi-Fi 및/또는 블루투스를 통해) 적어도 부분적으로 무선일 수 있다.

헤드셋(106)은 로컬 사용자에 의해 착용될 수 있다. 헤드셋(106)은 로컬 사용자 시선의 다른 사용자들에게 표시를 제공할 수 있는 로컬 사용자의 정상 시야(예를 들어, 사용자의 눈이 사용자의 얼굴을 똑바로 바라보고 있을 때, 눈동자가 중앙 위치에 있는)에 정렬되는 시야를 갖는 적어도 이미저(101)를 포함할 수 있다. 헤드셋(106) 또한 지향성 조명원(103)(헤드셋에 고정된)을 포함할 수 있어, 사용자 머리의 움직임이 헤드셋(106)의 대응하는 움직을 야기함에 따라, 로컬 사용자가 물리적 레이어 마킹(107)을 타겟 영역(20) 상에 배치하도록 빔(104)을 조준할 수 있게 된다. 지향성 조명원(103)은 또한 원격 및 로컬 사용자들에 의해 이동 가능하고 제어 가능할 수 있다.

일부 예에서, 프로세서(105)는 헤드셋(106)에 내장될 수 있다. 일부 예에서, 헤드셋(106)은 다른 디바이스들과의 통신(예를 들어, 무선)을 위한 통신 모듈을 포함할 수 있다. 일부 예에서, 이미저(101) 및 지향성 조명원(103) 중 적어도 하나는 헤드셋(106)으로부터 개별적으로 이동될 수 있다.

도 2a는 고정 이미저(201)를 갖는 다중-레이어 뷰잉 시스템(200)을 개략적으로 도시한다. 고정 이미저(201)는 타겟 개체(10)를 작동하는 로컬 사용자를 보조하는 원격 사용자에 의해 제어 및/또는 이동될 수 있다. 일부 예에서, 고정 이미저(201)는 프로세서(105) 및/또는 원격 서버와 통신할 수 있다. 예를 들어, 이미저(101)는 제 1 시야(102)를 갖고 타겟 영역(20)을 향할 수 있고, 고정 이미저(201)는 시야(202)(예를 들어, 시야(102)보다 더 넓은 시야)를 갖고 상이한 위치로부터 타겟 영역(20)을 향할 수 있다. 예를 들어, 고정 이미저(201)를 작동하는 원격 사용자는 현재 로컬 사용자에게 보이지 않는 타겟 개체(10)의 추가 요소들을 관찰할 수 있다. 다른 예로서, 원격 사용자는 예를 들어, 로컬 사용자와의 오디오 통신을 통해(예를 들어, 헤드셋(106)의 전용 스피커를 통해) 물리적 레이어 마킹(107)을 타겟 영역(20)에 정밀하게 적용하고 그에 따라 로컬 사용자의 움직임을 가리키기 위해 빔(104)의 정렬을 교정할 수 있다.

일부 예에서, 고정 이미저(201)는 로컬 기사가 이미저(101)에 의해 타겟(10)의 뷰를 차단할 때 타겟 개체(10) 또는 타겟 영역(20)의 더 나은(예를 들어, 더 넓은 시야, 더 안정된 또는 그 외 다른 바람직한) 뷰잉을 가능하게 할 수 있다. 예를 들어, 원격 사용자는 고정 이미저(201)를 사용하여 상이한 시야각으로부터 타겟 개체(10)를 볼 수 있다. 일부 예에서, 원격 사용자는 이미저(101) 및 고정 이미저(201) 양자로부터 이미지들을 동시에 수신할 수 있다. 일부 예에서, 다중-레이어 뷰잉 시스템(200)의 상이한 이미저들은 상이한 스펙트럼 대역들에서, 예를 들어 하나는 가시광 대역에서 그리고 하나는 적외선 대역에서 이미지들을 획득할 수 있다. 일부 예에서, 다중-레이어 뷰잉 시스템(200)의 이미저는 로컬 사용자의 시선 방향을 결정하기 위해 시선 검출을 검출하도록, 그리고 예를 들어 그에 따라 지향성 조명원(103)을 가리키도록 구성될 수 있다.

일부 예에서, 다중-레이어 뷰잉 시스템의 적어도 하나의 이미저는 주변 조명에 의해 조명되지 않는 타겟 개체(10)의 섹션들을 조명하기 위해 추가 조명 유닛들을 구비할 수 있다.

도 2b는 제2 지향성 조명원(203)을 갖는 다중-레이어 뷰잉 시스템(210)을 개략적으로 도시한다. 제2 지향성 조명원(203)은 타겟 개체(10)를 작동하는 로컬 사용자를 보조하는 원격 사용자에 의해 제어(예를 들어, 회전 또는 병진 이동)될 수 있다. 예를 들어, 원격 사용자는 타겟 개체(10) 상의 특정 지점에 제2 물리적 레이어 마킹(207)을 적용하기 위해 제2 빔(204)을 조준하도록 제2 지향성 조명원(203)을 제어할 수 있다. 다른 예로서, 원격 사용자는 물리적 레이어 마킹(107)에 의해 나타내어지는 현재 타겟 영역(20)에 오류가 있음을 나타내고 정확한 타겟 영역(20)을 나타내기 위해 제2 물리적 레이어 마킹(207)을 적용할 수 있다.

일부 예에서, 제2 지향성 조명원(203)은 고정 이미저(201)로부터 물리적으로 변위되고 개별적으로 제어 가능할 수 있다(예를 들어, 프로세서(105)에 의해).

예를 들어, 제2 지향성 조명원(203)은 레이저 포인터일 수 있고, 레이저 포인터(203)로부터의 지향된 광 빔(204)이 타겟 개체(10)의 표면 상에 충돌하는 지점에 가시 조명(제2 물리적 레이어 마킹(207))을 생성할 수 있다. 제2 물리적 레이어 마킹(207)은 다른 사용자들 또는 참가자들에게 보일 수 있다. 마킹이 단지 가상인 방법들(예를 들어, 증강 현실 디바이스들을 사용하는)과 대조적으로; 그러한 물리적 마킹은 타겟 요소(20)의 정확한 위치 추정을 가능하게 하는 것으로 이해되어야 한다.

일부 예에서, 제2 지향성 조명원(203)은 빔들 간 시각적 구별을 가능하게 하기 위해 빔(104)의 색상과 상이한 색상을 갖는 제2 빔(204)을 방출할 수 있다. 도면들에는 하나 또는 두 개의 이미저 및 지향성 조명원이 도시되어 있지만, 임의의 수의 요소가 가능할 수 있음에 유의해야 한다. 예를 들어, 다중-레이어 뷰잉 시스템은 지향성 조명원들로부터 방출되는 각 빔이 상이한 색상을 가질 수 있도록, 두 원격 사용자에 의해 제어되는 제2 및 제 3 이미저들 및 제2 및 제3 지향성 조명원들을 포함할 수 있다.

일부 예에 따르면, 사전 정의된 위치에 관한 적어도 하나의 이미저 또는 지향성 조명원의 방향은 대응하는 사용자(또는 기사)의 시선 방향을 결정하기 위해 감지될 수 있다. 일부 예에서, 각 이미저 또는 지향성 조명원의 초기 위치는 임의의 움직임이 초기 위치와 비교될 수 있도록 사전 정의될 수 있다. 일부 예에서, 각 이미저 또는 지향성 조명원의 배향 또는 위치는 위성 항법 시스템(GPS, Global Positioning System) 디바이스, 가속도계, 자이로스코프 또는 다른 위치 또는 배향 센서들에 의해 결정될 수 있다.

일부 예에 따르면, 적어도 두 개의 지향성 조명원은 타겟 개체(10) 상의 단일 지점을 향해 빔들을 동시에 방출할 수 있다. 이러한 방식으로, 매끄러운 표면들로부터의 반사 효과가 처리될 수 있다. 예를 들어, 두 개의 지향성 조명원(103)은 상이한 위치들에 위치될 수 있고 단일 위치를 향해 빔들(104)을 방출할 수 있다. 일부 예에서, 그러한 다수의 지향성 조명원의 감지된 배향들은 다수의 이미저의 시야 중에서 정밀한 정렬을 가능하게 할 수 있으며, 그에 따라 이미지 정합을 사용하여 여러 프레임의 조합을 가능하게 한다.

일부 예에 따르면, 멀티-레이어 뷰잉 시스템(210)은 프로세서(105)에 결합되고 참가자들이 볼 수 있을 타겟 개체(10) 상으로 적어도 하나의 심볼(또는 패턴)을 투영하도록 구성된 적어도 하나의 프로젝터(205)를 포함할 수 있다. 예를 들어, 프로젝터(205)는 타겟 영역(20) 부근에서 특정 손잡이를 돌리기 위한 명령들을 투영할 수 있다. 일부 예에서, 적어도 하나의 프로젝터(205)는 적어도 하나의 지향성 조명원에 내장될 수 있다. 일부 예에서, 투영들은 헤드셋 상에 디스플레이될 수 있다.

일부 예에서, 다중-레이어 뷰잉 시스템(210)의 이미저에 의해 획득되는 이미지는 추후 처리를 위해 프로세서(105)와 통신하는 메모리 유닛에 저장될 수 있다. 예를 들어, 타겟 개체(10)에 관한 동작에의 참가자들은 타겟(10)의 현재 뷰를 이전에 획득된 이미지들과 비교할 수 있다.

일부 예에서, 이미저 또는 지향성 조명원은 타겟 개체(10)의 부분들에 부착되거나, 로컬 사용자의 신체 부위들에 장착되거나 또는 삼각대 또는 플렉스 아암과 같은 장착 디바이스들을 사용하여 타겟 개체(10) 부근 위치될 수 있다. 일부 예에서, 타겟 개체(10)의 조작의 각 유형 또는 타겟 개체(10)의 각 영역은 이미저 또는 지향성 조명원의 배치에 바람직할 것으로 이전에 결정되었던 위치들과 연관될 수 있다.

일부 예에서, 원격 사용자는 로컬 사용자에 타겟 개체(10)의 특정 부분에 관한 현재 로컬 사용자에게 보이지 않는 조작을 수행하도록 안내할 수 있다. 그러한 예들에서, 원격 사용자는 로컬 사용자가 해당 부분의 위치를 찾을 수 있게 하기 위한 일반적인 방향을 나타내는 제2 물리적 레이어 마킹(207)을 제공하도록 제2 지향성 조명원(203)을 작동한다. 원격 사용자는 로컬 사용자의 관심 부분으로의 안내를 가능하게 하기 위해 장비 부지의 광각 뷰를 볼 수 있다.

도 3은 본 발명의 일 실시 예에 따른 다중-레이어 뷰잉 시스템을 개략적으로 도시한다.

통상적으로, 다중-레이어 시스템(300)은 로컬 사용자(예를 들어, 직접 볼 수 있고, 어떤 경우에는 타겟 개체(10)의 적어도 부분을 터치, 핸들링 또는 조작하기 위해 물리적 접촉하게 되는 사용자)에 의해 착용하기 위한 헤드셋(306) 및 원격 사용자에 의한 작동을 위한 원격 스테이션(320)을 포함한다. 원격 사용자는 타겟 개체(10)로부터 물리적으로 떨어진 위치에 있을 수 있고, 타겟 개체(10) 부근에 있지만 헤드셋(306)을 착용한 사용자일 수 있거나 로컬 사용자일 수 있다.

원격 스테이션(320)은 통상적으로 사용자 제어부들(322) 및 원격 디스플레이(324)를 포함한다. 예를 들어, 사용자 제어부들(322)은 고정 이미저(201), 빔 프로젝터(303), 증강 현실 장면 이미저(301) 및 증강 현실 디스플레이(302) 중 하나 이상의 동작을 제어하도록 원격 사용자에 의해 작동될 수 있다. 원격 디스플레이(324)는 고정 이미저(201), 증강 현실 장면 이미저(301) 또는 하나 이상의 다른 자원으로부터의 이미지들(예를 들어, 프로세서(105)와 연관된 데이터 저장 디바이스로부터 또는 원격 사용자가 액세스할 수 있는 다른 자원으로부터 검색되는 타겟 개체(10)와 관련된 이미지들 또는 다른 문서)을 디스플레이하기 위해 사용될 수 있다. 원격 디스플레이(324) 상에서 타겟 개체(10)의 획득된 이미지를 보고 있는 원격 사용자는 빔 프로젝터(303)가 물리적 레이어 마킹(307)을 나타내어진 위치로 투영하게 하기 위해 디스플레이된 이미지 상에 타겟 위치(20)를 나타내도록 사용자 제어부들(322)을 작동할 수 있다. 원격 디스플레이(324) 상에서 타겟 개체(10)의 획득된 이미지를 보고 있는 원격 사용자는 증강 현실 디스플레이(302)가 선택된 위치에 주석(310)을 디스플레이하게 하기 위해 디스플레이된 이미지 상에 선택된 위치를 나타내도록 사용자 제어부들(322)을 작동할 수 있다. 예를 들어, 증강 현실 디스플레이(302)는 증강 현실 디스플레이(302)의 반투명 시-스루 구성요소 상에 주석을 투영하도록 구성되거나, 주석(310)을 증강 현실 디스플레이(302) 상에 디스플레이하도록 (예를 들어, 액정 디스플레이로 또는 그 외 다른 것으로) 그 외 다르게 구성될 수 있는 프로젝터를 포함할 수 있다.

다중-레이어 시스템(300)에서, 타겟 개체(10)의 타겟 영역(20)은 빔 프로젝터(303)에 의해 투영되는 투영된 빔(304)을 이용하여 물리적 레이어 마킹(307)으로 마킹될 수 있다(이는 도 2b의 제2 지향성 조명원(203)과 동일하거나 유사할 수 있다). 예를 들어, 빔 프로젝터(303)의 동작은 프로그래밍된 명령들에 따라 자동으로 또는 다중-레이어 시스템(300)의 사용자(예를 들어, 원격 사용자)에 의해 작동되는 제어부들에 응답하여 프로세서(105)에 의해 제어될 수 있다.

일부 경우에, 빔 프로젝터(303)는 고정 이미저(201)를 포함하는 단일 고정 유닛(312)(예를 들어, 독립적으로 이동 가능하거나 회전 가능하지만 단일 스탠드 상에 장착되는)의 부분일 수 있다. 일부 경우에, 다중-레이어 시스템(300)은 예를 들어, 추가의 고정 또는 이동 가능한 위치들에 위치되는 두 개 이상의 고정 유닛(312)을 포함할 수 있다. 예를 들어, 추가의 고정 유닛(312)은 로컬 사용자 또는 다른 사람에 의해, 예를 들어, 어깨 또는 몸통에 착용될 수 있다. 일부 경우에, 빔 프로젝터(303) 및 고정 이미저(201)는 서로 독립적으로 배치될 수 있는 별개의 유닛들일 수 있다). 일부 경우에, 빔 프로젝터(303)는 투영된 빔(304)의 방향을 제어하기 위해 액추에이터들에 의해 이동 가능하거나 회전 가능한 하나 이상의 거울, 렌즈, 프리즘 또는 다른 요소들의 광학 시스템을 구비할 수 있다. 빔 프로젝터(303)는 레이저원 또는 투영되는 빔(304)을 방출하기 위한 다른 자원(예를 들어, 시준 광학계를 갖는 확산원)을 포함할 수 있다. 빔 프로젝터(303)는 래스터 패턴 또는 다른 패턴으로 투영되는 빔(304)을 이동시켜 윤곽, 다이어그램, 심볼, 영숫자 문자 또는 타겟 개체(10) 상의 다른 패턴 형태로 물리적 레이어 마킹(307)을 투영하도록 작동될 수 있는 피코-프로젝터 또는 미니-프로젝터를 포함할 수 있다.

또한, 다중-레이어 시스템(300)의 프로세서(105)는 증강 현실 디스플레이(302) 상에 주석(310)을 디스플레이하도록 구성될 수 있다. 통상적으로, 증강 현실 디스플레이(302)는 다중-레이어 시스템(300)의 로컬 사용자에 의해 착용될 수 있는 헤드셋(306)에 통합된다. 헤드셋(306)의 고글은 로컬 사용자가 증강 현실 디스플레이(302)를 통해 타겟 영역(20) 및 물리적 레이어 마킹(307)을 포함하여 타겟 개체(10)를 직접 볼 수 있게 하기에 충분히 투명(또는 반투명)할 수 있다. 증강 현실 디스플레이(302)는 고글 상에 주석(310)을 투영하거나 그 외 다르게 디스플레이하도록 구성된 프로젝터 또는 다른 구성요소를 포함한다. 그에 따라, 로컬 사용자는 증강 현실 디스플레이(302) 상에 디스플레이되는 주석(310)을 타겟 개체(10)의 직접 뷰 상에 중첩되거나 오버레이된 것으로 볼 수 있다. 주석은 영숫자 문자, 심볼(예를 들어, 화살표 또는 다른 심볼), 윤곽, 그림 또는 도면, 강조 표시(예를 들어, 관심 영역을 커버하는 영역의 착색) 또는 다른 주석을 포함할 수 있다.

프로세서(105)는 컴퓨터 또는 처리 회로와 같은 하나 이상의 개별 처리 유닛을 포함할 수 있다. 개별 처리 유닛들의 일부 또는 전부는 예를 들어, 유선(전기 또는 광 케이블) 또는 무선 통신 채널들을 통해 상호 통신하도록 구성될 수 있다. 일부 경우에, 개별 처리 유닛들 중 하나 이상은 다른 처리 유닛들과 독립적으로 그리고 자율적으로 작동하도록 구성될 수 있다. 예를 들어, 헤드셋(306)은 헤드셋(306)의 증강 현실 디스플레이(302)를 제어하도록 구성되거나 전용되는 처리 유닛을 포함할 수 있다. 고정 유닛(312)은 고정 이미저(201)의 동작과 빔 프로젝터(303) 사이의 조정(예를 들어, 폐쇄 루프 조정)(예를 들어, 물리적 레이어 마킹(307)의 투영을 정확한 타겟 영역에 고정 이미저(201)에 의해 획득된 이미지 상에서 식별되는 것으로 보장하기 위한)을 가능하게 하기 위한 처리 유닛(예를 들어, 처리 회로)을 포함할 수 있다.

일부 경우에, 헤드셋(306)은 오디오 스피커 또는 헤드폰, 헤드셋(306)의 배향을 나타내는 지시 디바이스 빔, 또는 다른 구성요소들(예를 들어, 프로세서(105)의 일부 또는 전부, 전원 또는 다른 구성요소들)을 포함할 수 있다. 일부 경우에, 헤드셋(306)은 로컬 사용자의 눈(330)(통상적으로 두 눈을 나타내는 것으로 이해됨)의 시선 방향의 계산을 돕기 위해 눈(330)을 이미징하도록 구성된 후방 카메라를 포함할 수 있다.

통상적으로, 헤드셋(306)은 헤드셋(306) 및 증강 현실 디스플레이(302) 앞에 있는 장면의 이미지들을 획득하도록 구성된 적어도 하나의 증강 현실 장면 이미저(301)를 또한 포함할 수 있다. 증강 현실 장면 이미저(301)는 증강 현실 디스플레이(302)에 관해 고정될 수 있다. 통상적으로, 증강 현실 장면 이미저(301)는 증강 현실 장면 이미저(301)의 시야(302)가 증강 현실 디스플레이(302)(예를 들어, 그것의 고글)를 통해 로컬 뷰어에 의해 보게 되는 것과 적어도 대략적으로 일치하도록 배향 및 조절될 수 있다(예를 들어, 적절한 렌즈 초점 거리로). 로컬 사용자의 머리가 회전되거나 달리 이동 될 때, 증강 현실 장면 이미저(301)는 증강 현실 디스플레이(302)와 함께 움직일 수 있다.

증강 현실 장면 이미저(301)에 대안 또는 추가로, 헤드셋(306)은 헤드셋(306)의 배향을 나타내는 빔(예를 들어, 빔(104))을 투영하도록 구성된 헤드셋 빔 프로젝터(예를 들어,도 1에 도시된 바와 같은 조명원(103) - 명확성을 위해 도 3에는 도시되지 않음)를 포함할 수 있다.

주석(310)은 타겟 개체(10)의 특정 부분 또는 영역과 관련될 수 있다. 예를 들어, 주석(310)은 부분 또는 영역을 식별하는데 도움을 줄 수 있거나, 부분 또는 영역을 조작하거나 그에 관한 동작을 수행함에 있어 로컬에 안내를 제공할 수 있거나 또는 그 외 다르게 부분 또는 영역에 관련될 수 있다. 그에 따라, 프로세서(105)는 증강 현실 디스플레이(302)에 의해 디스플레이될 때 주석(310)을 로컬 사용자의 눈(330)에 의해 현재 보여지고 있는 장면과 정렬시키도록 구성될 수 있다.

고정 이미저(201)의 시야(202)는 타겟 개체(10)의 이미지들을 획득하기 위해 로컬 사용자 또는 원격 사용자에 의해 조절(예를 들어, 배향, 줌 또는 둘 다)될 수 있다. 통상적으로, 고정 이미저(201)의 시야(202)는 빔 프로젝터(303)에 의해 마킹될 수 있는 적어도 타겟 개체(10)의 영역을 포함하는 공간의 영역을 완전히 커버하기에 충분히 크다. 일부 경우에, 시야(202)는 증강 현실 장면 이미저(301)의 시야(302)보다 더 넓을 수 있다. 다중-레이어 시스템(300)의 원격 스테이션(320)의 원격 사용자는 원격 디스플레이(324) 상에서 고정 이미저(201)에 의해 획득된 타겟 개체(10)의 이미지를 볼 수 있다. 그 다음, 원격 사용자는 이미지 상에 물리적 레이어 마킹(307)에 의해 마킹될 선택된 위치를 나타내도록 사용자 제어부들(322)을 작동할 수 있다. 원격 사용자는 또한 증강 현실 디스플레이(302) 상에 디스플레이될 주석(310)의 내용을 나타내도록 사용자 제어부들(322)을 작동할 수 있다.

프로세서(105)는 주석(310)의 선택된 위치 및 내용의 표시를 수신하도록 구성될 수 있다. 프로세서(105)는 고정 이미저(201) 및 증강 현실 장면 이미저(301) 각각에 의해 획득된 타겟 개체(10)의 이미지들을 분석하고 획득된 이미지들 각각에서 하나 이상의 물리적 레이어 마킹(307)의 이미지들을 식별하도록 구성될 수 있다.

도 3에 개략적으로 도시된 예에서, 주석(310)은 물리적 레이어 마킹(307) 상에 중첩된 것으로 눈(330)에 의해 보여질 것이다. 이 경우, 프로세서(105)는 타겟 개체(10) 및 물리적 레이어 마킹에 관한 헤드셋(306)의 배향을 결정하기 위해 증강 현실 장면 이미저(301)(또는 헤드셋 장착 빔 프로젝터에 의해 투영되는 빔)에 의해 획득된 이미지를 분석할 수 있다. 예를 들어, 눈(330)이 물리적 레이어 마킹(307)을 직접 보고 있다고 가정될 수 있다. 헤드셋(306)의 배향이 물리적 레이어 마킹(307)을 직접 향하지 않을 경우, 물리적 레이어 마킹(307)의 방향으로부터 헤드셋(306)의 각편차는 헤드셋(306)이 향하는 방향으로부터 멀어지는 눈(330)의 회전과 동일할 수 있다고 가정될 수 있다. 이러한 정보를 사용하여, 주석(310)은 직선 연결 눈(330) 및 물리적 레이어 마킹(307) 상에 놓이도록 계산된 위치의 증강 현실 디스플레이(302) 상에 디스플레이될 수 있다.

일부 경우에, 주석(310)을 디스플레이하기 위한 증강 현실 디스플레이(302)의 동작에는 정렬 캘리브레이션 절차가 선행될 수 있다.

예를 들어, 로컬 사용자는 눈(330)이 물리적 레이어 마킹(307)을 향해 똑바로 정면을 향하고 있는 동안 투영되는 물리적 레이어 마킹(307)을 향하도록(예를 들어, 그것을 향해 헤드셋(306)을 돌리도록) 요청될 수 있다. 그 다음, 주석(310)이 증강 현실 디스플레이(302) 상에 디스플레이될 수 있다. 증강 현실 디스플레이(302) 상의 주석(310)의 위치는 로컬 사용자가 주석(310)이 물리적 레이어 마킹(307) 상에 중첩된 것 같이 보인다고 보고할 때까지 조절될 수 있다(예를 들어, 로컬 사용자에 의해 작동되는 제어부에 의해, 또는 로컬 사용자와 통신하는 원격 사용자에 의해). 이러한 방식으로, 눈(330)과 증강 현실 디스플레이(302) 사이의 베이스라인 정렬이 확립될 수 있다.

정렬 캘리브레이션 절차의 다른 예로서, 다수의 물리적 레이어 마킹(307)이 동시에(예를 들어, 상이하게 색상 또는 형상으로 된 투영되는 빔들(304)로), 또는 고정 이미저(201) 및 증강 현실 장면 이미저(301)에 의한 이미지 획득과 조율되는 순서로 순차적으로 투영될 수 있다. 로컬 사용자는 이렇게 투영되는 물리적 레이어 마킹들(307) 중 하나 이상을 보도록 요청될 수 있다. 프로세서(105)는 타겟 개체(10)에 관해 고정된 좌표계(예를 들어, 글로벌 또는 로컬 좌표계)에서 좌표들을 식별하기 위해 증강 현실 장면 이미저(301)에 의해 보여지는 바에 따라 식별되는 물리적 레이어 마킹(307)을 이용할 수 있다. 일부 경우에, 프로세서(105)는 물리적 레이어 마킹들(307)의 3-차원 좌표들을 식별하기 위해 알려진 타겟 개체(10)의 표면들(예를 들어, 3-차원 모델)의 평면 또는 디지털 서식을 이용할 수 있다. 일부 경우에, 프로세서(105)는 물리적 레이어 마킹(307)이 투영되는 표면의 경사각을 계산하고, 그에 따라 이미저(고정 이미저(201) 또는 증강 현실 장면 이미저(301))와 물리적 레이어 마킹(307) 간 상대 거리를 계산(그에 따라 획득된 이미지들에서 물리적 레이어 마킹(307)의 이미지의 (픽셀) 좌표들에 의해 도출될 수 있는 2차원에 추가로 3차원을 제공)하기 위해 타겟 개체(10)의 표면(예를 들어, 알려진 곡률)에 걸쳐 알려진 속도로 스캔되는 물리적 레이어 마킹(307)의 순차적으로 획득된 이미지들을 이용할 수 있다.

예를 들어, 고정 좌표계는 하나 이상의 고정 이미저(201)에 의해 획득되는 이미지들에 기초할 수 있다. 주석(310)에 대해 선택된 위치가 원격 사용자에 의해(예를 들어, 타겟 개체(10)의 디스플레이된 이미지 상에) 표시될 때, 주석(310)(예를 들어, 원격 사용자에 의해 입력되는 내용을 갖는)은 증강 현실 디스플레이에 의해 고정 좌표계에 따라 결정되는 타겟 개체(10)에 관한 위치에 디스플레이될 수 있다. 그에 따라, 주석(310)은 예를 들어, 원격 사용자에 의해 지시되었던 타겟 개체(10)에 관해 선택된 위치의 증강 현실 디스플레이(302) 상에 디스플레이될 때 로컬 사용자에 의해 인지될 수 있다.

다중-레이어 시스템(300)에서 타겟 개체(10)와 주석(310)의 정합은 물리적 레이어 마킹이 없는 시스템에서의 정합보다 더 정확하고 간단할 수 있다. 물리적 레이어 마킹이 없는 시스템에서, 타겟 개체와의 주석의 정렬은 단지 증강 현실 디스플레이의 보는 방향(예를 들어, 헤드셋 장착 이미저의 시야를 고정 이미저의 시야와 비교하는 것)만을 기초로 할 수 있다. 그러한 경우, 로컬 사용자의 시선 방향이 헤드셋 장착 이미저의 지시 방향과 일치하지 않는(예를 들어, 헤드셋이 오른쪽을 가리키며 사용자의 눈은 왼쪽으로 돌아가는) 경우 주석은 타겟 개체에 관해 정확한 위치에서 인지되지 않을 수 있다(예를 들어, 오른쪽으로 너무 멈).

일부 증강 현실 고글은 고글에 관한 동공 위치를 검출하기 위해 동공 위치 센서(예를 들어, 착용자의 눈을 향하는 카메라)를 구비한다. 증강 현실 장면 이미저(301)에 의해 물리적 레이어 마킹(307)의 검출을 동공 위치 센서로부터의 데이터와 조합하면 동공 위치 센서만을 사용하여 가능할 것보다 더 정밀하고 간단한(또는 더 빠른) 알고리즘으로 주석(310)의 정확한 위치 설정을 가능하게 할 수 있다.

멀티-레이어 시스템(300)에 의해 가능하게 된 주석(310)의 정합 개선은 주석(310)이 임의의 모호함을 방지하면서 타겟 개체(10)의 하나 이상의 구성요소 또는 그 부근 특징부들을 간단히 서술하거나 강조하게 할 수 있다. (통상적인 증강 현실 시스템에서, 구성요소 합성 이미지는 보여지는 구성요소 위 또는 옆에 디스플레이되거나 구성요소를 간단히 서술하거나 강조함으로써 그러한 이미지이다.)

다중-레이어 시스템(300)은 타겟 개체(10)의 모든 관심 영역 상에 물리층 마킹(307)의 배치를 가능하게 하기 위해 빔 프로젝터(303)의 위치 설정을 가능하게 하도록 구성될 수 있다.

예를 들어, 물리적 레이어 마킹(307)은 래스터 패턴과 같은 미리 결정된 패턴으로 타겟 개체(10)의 표면에 걸쳐 자동으로 스캔될 수 있다. 스캔하는 동안, 고정 이미저(201) 및 증강 현실 장면 이미저(301)에 의해 획득되는 물리적 레이어 마킹(307)의 연속 이미지들은 투영된 빔(304)이 도달할 수 없는(예를 들어, 타겟 개체(10)의 다른 구성요소들 또는 부근의 다른 개체들에 의한 그림자로 인해) 타겟 개체(10) 상의 위치들을 검출할 수 있다. 유사하게, 프로세서(105)는 고정 이미저(201) 및 증강 현실 장면 이미저(301) 중 하나에는 보이지만 다른 것에 대해서는 그렇지 않은 타겟 개체(10)의 영역들을 검출할 수 있다. 그러한 영역들의 자동 식별은 그러한 영역들(또는 "블라인드 스팟들")의 발생을 제거 또는 감소시키기 위해 고정 이미저(201) 및 타겟 개체(10) 중 하나 이상의 재위치 설정을 가능하게 할 수 있다.

그러한 영역들("블라인드 스팟들")의 발생이 불가피한 경우(예를 들어, 타겟 개체(10)의 3-차원 구조 또는 장애물 또는 벽의 존재로 인해), 추가 빔 프로젝터, 고정 이미저 또는 고정 유닛이(예를 들어, 빔 프로젝터(303), 고정 이미저(201) 또는 고정 유닛(312) 이외에) 제공될 수 있다. 프로세서(105)는 고정 이미저(201)에 의해 보이지 않거나 빔 프로젝터(303)의 투영된 빔(304)에 의해 도달될 수 없는 타겟 개체(10)의 부분들을 보거나 그것들에 물리적 레이어 마킹(307)을 적용할 수 있도록 추가 구성요소들을 위치시키는 것을 보조하도록 구성될 수 있다.

프로세서(105)는 타겟 개체(10)의 영역들 상에 물리적 레이어 마킹(307)의 투영을 가능하게 하기 위해 필요에 따라 상이한 고정 이미저들 또는 빔 프로젝터들 사이에서 자동으로 스위칭하도록 구성될 수 있다. 그러한 스위칭 기능은 또한 하나의 투영된 빔(304)이 예를 들어, 툴 또는 개체의 삽입에 의해, 로컬 사용자에 의한 조작에 의해, 타겟 개체(10)의 형상 변경에 의해(예를 들어, 커버를 열거나 닫는 것, 부품을 제거 또는 추가하는 것 또는 그 외 다른 방법으로), 또는 다른 상황들 하에서 (일시적으로) 차단되는 경우들에서 물리적 레이어 마킹(307)의 지속된 적용을 가능하게 할 수 있다.

빔(304)이 투영되는 일부 경우에, 증강 현실 디스플레이(302)에 의한 주석(310)이 물리적 레이어 마킹(307)을 대신할 수 있다.

통상적으로, 빔 프로젝터(303)가 안정된 방식으로 장착되기 때문에, 물리적 레이어 마킹(307)은 3-차원 표면의 통상적인 증강 현실 마킹보다 더 정밀할 수 있다. 타겟 개체(10)의 표면에 걸친 물리적 레이어 마킹(307)의 초기 스캔 동안, 타겟 개체(10)의 표면의 각 영역의 경사각을 영역의 위치와 상관시키는(예를 들어, 물리적 레이어 마킹(307)의 이미징된 스캔 속도를 투영된 빔(304)의 실제 스캔 속도와 비교하는 것 또는 그 외 다른 방법으로) 타겟 개체(10)의 맵이 생성될 수 있다. 타겟 개체(10)의 표면에 대한 상세한 지식은 물리적 레이어 마킹(307)의 정확한 위치 설정을 가능하게 할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 다중-레이어 뷰잉 시스템의 작동 방법을 도시한 흐름도이다.

여기서 참조되는 임의의 흐름도에 대하여 도시된 방법을 흐름도의 블록들로 표현되는 개별 동작들로 분할하는 것은 단지 편의성 및 명확성을 위해 선택된 것으로 이해되어야 한다. 도시된 방법을 개별 동작들로 대안적으로 분할하는 것도 동등한 결과들로 가능하다. 그렇게 도시된 방법을 개별 동작들로 대안적으로 분할하는 것은 도시된 방법의 다른 실시 예들을 나타내는 것으로 이해되어야 한다.

유사하게, 다르게 지시되지 않는 한, 여기서 참조되는 임의의 흐름도의 블록들로 표현된 동작들의 도시된 실행 순서는 단지 편의성 및 명확성을 위해 선택된 것으로 이해되어야 한다. 도시된 방법의 동작들은 동등한 결과들로 대안적인 순서로, 또는 동시에 실행될 수 있다. 그렇게 도시된 방법의 동작들을 재배열하는 것은 도시된 방법의 다른 실시 예들을 나타내는 것으로 이해되어야 한다.

다중-레이어 동작 방법(400)은 예를 들어, 증강 현실 디스플레이(302) 상에 주석(310)을 디스플레이하기 위한 원격 사용자의 요청에 응답하여, 다중-레이어 시스템(300)의 프로세서(105)에 의해 실행될 수 있다.

다중-레이어 동작 방법(400)의 실행에는 초기 정합 캘리브레이션 절차가 선행될 수 있다. 통상적으로, 초기 정합 캘리브레이션 절차는 타겟 개체(10) 상에 하나 이상의 물리적 레이어 마킹(307)의 투영 및 헤드셋(306)을 착용하고 있는 로컬 사용자에 의한 하나 이상의 응답 또는 동작을 요청하는 것을 포함할 수 있다. 예를 들어, 그러한 응답들은 물리적 레이어 마킹(307)을 향해 보는 것, 주석(310)을 물리적 레이어 마킹(307)과 정렬시키는 것을 보조하는 것, 또는 다른 동작들을 포함할 수 있다. 초기 정합 캘리브레이션 절차는 로컬 사용자가 헤드셋(306)을 착용하고 있고 타겟 개체(10)에 관한 작업을 시작할 위치에 있을 때 수행될 수 있다. 일부 경우에, 예를 들어 헤드셋(306)이 로컬 사용자의 머리로부터 제거되고 교체되었을 때, 또는 헤드셋(306)이 로컬 사용자의 머리에서 미끄러지거나 그 외 다르게 이동되었을 때, 또는 다른 상황들에서초기 정합 캘리브레이션 절차가 반복될 수 있다.

빔 프로젝터(303)는 타겟 개체(10) 상에 하나 이상의 물리적 레이어 마킹(307)을 투영하도록 작동될 수 있다(블록 410). 투영된 물리적 레이어 마킹들(307)은 타겟 개체(10) 상으로 타겟 개체(10)의 타겟 영역(20)에 투영될 수 있다. 예를 들어, 원격 스테이션의 원격 사용자는 투영된 빔(304)의 방향을 제어하기 위해 사용자 제어부(322)를 작동할 수 있다.

(예를 들어, 원격 스테이션(320)으로부터) 타겟 영역(20) 또는 물리적 레이어 마킹(307)에 관해 선택된 위치에 주석(310)을 디스플레이하기 위한 명령들이 수신될 수 있다(블록 420). 예를 들어, 원격 사용자는 타겟 이미저(201)에 의해 획득되었던 타겟 개체(10)의 이미지 및 물리적 레이어 마킹(307)을 디스플레이하는 원격 디스플레이(324) 상에서 타겟 개체(10)를 볼 수 있다. 원격 사용자는 디스플레이된 이미지 상에(예를 들어, 주석(310)이 디스플레이될 물리적 레이어 마킹(307)에 또는 부근에) 위치를 마킹하도록 사용자 제어부들(322)을 작동할 수 있고, 주석(310)의 내용을 입력할 수 있다.

증강 현실 디스플레이(302)의 배향이 결정될 수 있다(블록 430). 예를 들어, 타겟 개체(10)의 이미지 및 하나 이상의 물리적 레이어 마킹(307)(예를 들어, 동시에 또는 순차적으로 디스프레이되는)은 증강 현실 장면 이미저(301)에 의해 획득될 수 있다. 프로세서(105)는 이미지 처리 기술들을 적용하여 헤드셋(306)이 향하는 방향을 결정할 수 있다. 다른 예로서, 헤드셋(306)에 통합되거나 결합되는 지향성 조명원(103)에 의해 방출되는 빔(104)에 의해 형성되는 마킹과 함께, 타겟 개체(10)의 이미지 및 물리적 레이어 마킹(307)이 고정 이미저(201)에 의해 획득될 수 있다. 두 개의 이미징된 빔들의 상대 위치들은 물리적 레이어 마킹(307)에 관한 증강 현실 디스플레이(302)의 배향을 나타낼 수 있다.

프로세서(105)는, 예를 들어, 초기 정합 캘리브레이션 절차에 기초하여 또는 그 외 다르게, 증강 현실 디스플레이(302)를 보고 있는 로컬 사용자의 눈(330)이 타겟 개체(10)에 관해 선택된 위치에 디스플레이될 때 주석(310)을 인지할 수 있도록 증강 현실 디스플레이(302) 상에 주석(310)을 디스플레이하기 위한 디스플레이 위치를 계산할 수 있다(블록 440). 예를 들어, 프로세서(105)는 헤드셋(306)의 향하는 방향과 물리적 레이어 마킹(307)을 향한 실제 방향 사이의 각도 편차를 계산하기 위해 그리고 획득된 이미지들을 분석하고, 눈(330)이 타겟 개체(10) 또는 물리적 레이어 마킹(307)에 관해 선택된 위치에서 타겟 개체(10) 상에 중첩되는 바와 같이 주석(310)을 볼 것으로 기대되도록 증강 현실 디스플레이(302) 상의 디스플레이 주석(310)을 위한 위치를 계산할 수 있다.

그 다음 프로세서(105)는 증강 현실 디스플레이(302)가 계산된 디스플레이 위치의 주석(310)을 물리적 레이어 마킹(307)의 이미지에 관해 지시된 위치에서 인식되게 디스플레이하게 할 수 있다(블록 450).

여기서 본 발명의 특정 특징들이 예시 및 설명되었지만, 많은 변형, 치환, 변경, 및 균들문들이 해당 기술분야의 통상의 기술자들에게 떠오를 수 있다. 그에 따라, 첨부된 청구범위가 모든 그러한 변형 및 변경이 본 발명의 진정한 사상 내에 속하는 것으로 커버하도록 의도된다는 것이 이해되어야 한다.

다양한 실시 예가 제시되었다. 이러한 실시 예들 각각은 물론 제시된 다른 실시 예들로부터의 특징들을 포함할 수 있고, 명시적으로 설명되지 않은 실시 예들도 여기에 설명된 다양한 특징을 포함할 수 있다.

Claims (20)

1. 다중-레이어 뷰잉 시스템으로서,
   타겟 개체를 포함하는 시야를 갖는 이미지들을 획득하도록 구성된 고정 이미저;
   상기 타겟 개체의 타겟 개체 상으로 하나 이상의 물리적 레이어 마킹을 투영하도록 제어 가능한 빔 프로젝터;
   증강 현실 디스플레이 및 상기 증강 현실 디스플레이 앞 영역의 장면 이미지들을 획득하도록 구성된 장면 이미저(scene imager) 또는 상기 증강 현실 디스플레이 앞에 헤드셋 빔을 투영하도록 구성된 헤드셋 빔 프로젝터를 포함하는 헤드셋으로서, 상기 증강 현실 디스플레이는 상기 헤드셋을 착용하고 있는 로컬 사용자가 상기 증강 현실 디스플레이를 통해 상기 타겟 개체를 직접 볼 수 있게 하기에 충분히 투명하고 직접 보이는 타겟 개체 상에 중첩되는 주석(annotation)을 상기 로컬 사용자에 보이게 하기 위해 디스플레이하도록 구성된, 상기 헤드셋; 및
   프로세서로서:
   상기 주석의 디스플레이를 위해 상기 타겟 영역에 관해 선택된 위치를 수신하도록;
   상기 장면 이미지들에서 상기 하나 이상의 물리적 레이어 마킹의 이미지들을 식별함으로써, 또는 상기 고정 이미저에 의해 획득된 이미지에서 상기 하나 이상의 물리적 레이어 마킹의 그리고 상기 헤드셋 빔에 의해 형성되는 마크의 이미지들을 식별함으로써 상기 증강 현실 디스플레이의 배향을 결정하도록;
   상기 타겟 영역에 관한 상기 선택된 위치에 디스플레이될 때 상기 주석이 상기 로컬 사용자에 의해 인지될 수 있도록 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하기 위한 디스플레이 위치를 계산하도록; 그리고
   계산된 상기 디스플레이 위치의 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하도록 구성된, 상기 프로세서를 포함하는, 시스템.
2. 청구항 1에 있어서, 상기 빔 프로젝터는 사용자 제어부의 동작에 의해 제어 가능한, 시스템.
3. 청구항 2에 있어서, 상기 사용자 제어부는 원격 사용자가 상기 고정 이미저에 의해 획득되는 상기 타겟 개체의 이미지 상의 상기 타겟 영역의 표시에 의해 상기 빔 프로젝터를 제어할 수 있게 하는, 시스템.
4. 청구항 1에 있어서, 사용자 제어부는 상기 고정 이미저에 의해 획득되는 상기 타겟 개체의 이미지 상의 상기 선택된 위치의 표시에 의해 상기 선택된 위치의 입력을 가능하게 하도록 구성되는, 시스템.
5. 청구항 1에 있어서, 상기 빔 프로젝터는 레이저를 포함하는, 시스템.
6. 청구항 1에 있어서, 상기 빔 프로젝터는 물리적 레이어 마킹을 패턴 형태로 투영하도록 구성되는, 시스템.
7. 청구항 1에 있어서, 상기 고정 이미저의 시야는 적어도 물리적 레이어 마킹이 상기 빔 프로젝터에 의해 투영될 수 있는 타겟 개체의 영역을 완전히 커버하기에 충분히 큰, 시스템.
8. 청구항 1에 있어서, 상기 빔 프로젝터는 상기 타겟 개체의 표면 위 상기 하나 이상의 물리적 레이어 마킹을 스캔하도록 더 구성되는, 시스템.
9. 청구항 8에 있어서, 상기 프로세서는 상기 표면의 경사각을 계산하도록 더 구성되는, 시스템.
10. 청구항 1에 있어서, 원격 스테이션을 더 포함하는, 시스템.
11. 청구항 10에 있어서, 상기 원격 스테이션은 원격 디스플레이 및 사용자 제어부들을 포함하는, 시스템.
12. 청구항 1에 있어서, 상기 고정 이미저 및 상기 빔 프로젝터는 단일 고정 유닛으로 통합되는, 시스템.
13. 청구항 1에 있어서, 적어도 하나의 추가 이미저 또는 적어도 하나의 추가 프로젝터를 더 포함하는, 시스템.
14. 청구항 13에 있어서, 상기 프로세서는 상기 적어도 하나의 추가 이미저를 상기 고정 이미저에 보이지 않는 것으로 식별되는 상기 타겟 개체의 영역의 이미지를 획득하도록 작동시키거나, 상기 적어도 하나의 추가 프로젝터를 상기 빔 프로젝터에 의해 방출되는 빔이 액세스할 수 없는 것으로 식별되는 상기 타겟 개체의 영역 상에 마킹을 투영하도록 작동시키도록 더 구성되는, 시스템.
15. 고정 이미저, 빔 프로젝터, 및 증강 현실 디스플레이 및 상기 증강 현실 디스플레이 앞 영역의 장면 이미지들을 획득하도록 구성된 장면 이미저(scene imager) 또는 상기 증강 현실 디스플레이 앞에 헤드셋 빔을 투영하도록 구성된 헤드셋 빔 프로젝터를 포함하는 헤드셋으로서, 상기 증강 현실 디스플레이는 상기 헤드셋을 착용하고 있는 로컬 사용자가 상기 증강 현실 디스플레이를 통해 상기 타겟 개체를 직접 볼 수 있게 하기에 충분히 투명하고 직접 보이는 타겟 개체 상에 중첩되어 보이는 주석을 디스플레이하도록 구성된, 상기 헤드셋을 포함하는 뷰잉 시스템의 작동 방법으로서,
    상기 빔 프로젝터에 의해 하나 이상의 물리적 레이어 마킹이 상기 타겟 개체의 타겟 영역 상으로 투영될 때 상기 타겟 개체의 장면 이미지를 상기 장면 이미저를 사용하여, 또는 상기 하나 이상의 물리적 레이어 마킹 및 상기 헤드셋 빔에 의해 형성되는 마크를 포함하는 이미지를 상기 고정 이미저를 사용하여 획득하는 단계;
    상기 주석의 디스플레이를 위해 상기 타겟 영역에 관해 선택된 위치를 수신하는 단계;
    획득된 상기 장면 이미지에서 상기 하나 이상의 물리적 레이어 마킹의 이미지를, 또는 상기 하나 이상의 물리적 레이어 마킹의 이미지 및 상기 헤드셋 빔에 의해 형성되는 상기 마크의 이미지를 식별하는 단계;
    상기 타겟 영역에 관한 상기 선택된 위치에 디스플레이될 때 상기 주석이 상기 로컬 사용자에 의해 인지될 수 있도록 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하기 위한 디스플레이 위치를 계산하는 단계; 및
    계산된 상기 디스플레이 위치의 상기 증강 현실 디스플레이 상에 상기 주석을 디스플레이하는 단계를 포함하는, 방법.
16. 청구항 15에 있어서, 상기 타겟 개체의 상기 장면 이미지를 획득하는 단계는 상기 하나 이상의 물리적 레이어 마킹의 물리적 레이어 마킹이 상기 타겟 개체의 표면에 걸쳐 스캔될 때 복수의 상기 장면 이미지를 성공적으로 획득하는 단계를 포함하는, 방법.
17. 청구항 16에 있어서, 성공적으로 획득된 상기 장면 이미지들 내에서 스캔된 상기 물리적 레이어 마킹의 상기 이미지의 위치를 식별함으로써 상기 표면의 경사각을 계산하는 단계를 더 포함하는, 방법.
18. 청구항 15에 있어서, 상기 장면 이미저를 사용하여 획득하는 단계에는 정합 캘리브레이션 절차의 실행이 선행되는, 방법.
19. 청구항 18에 있어서, 상기 정합 캘리브레이션 절차는 상기 빔 프로젝터를 상기 타겟 개체 상으로 하나 이상의 캘리브레이션 물리적 레이어 마킹을 투영하도록 작동시키는 단계를 포함하는, 방법.
20. 청구항 19에 있어서, 상기 정합 캘리브레이션 절차는 상기 주석이 상기 하나 이상의 캘리브레이션 물리적 레이어 마킹의 마킹을 보는 상기 헤드셋의 사용자에게 해당 마킹 상에 중첩되어 보이도록 상기 증강 현실 디스플레이 상에 캘리브레이션 주석을 디스플레이하는 단계를 더 포함하는, 방법.

Images