KR20230051527A - 도구, 사용 및 관련된 프로세스를 능동적으로 위치 추정(로컬라이제이션)하는 증강 현실 또는 가상 현실 시스템 - Google Patents

Abstract

도구, 사용 및 관련 프로세스를 능동적으로 위치 추정하는 증강 현실 또는 가상 현실 시스템
도구, 사용 및 관련 프로세스의 능동적인 위치 추정 기능을 갖춘 증강 현실 또는 가상 현실 시스템. 본 발명은 증강/가상 현실, AR/VR 시스템을 개시하며, 다음을 포함한다: 하나 이상의 광학 마커(7, 8)가 배치된 객체(1); 도구(2); AR/VR 뷰어(3); 정보 획득의 제1 광학 수단(4); 및 적어도 상기 도구(2) 및 AR/VR 뷰어(3)에 연결된 처리 유닛(5). 유리하게는, 상기 도구(2)는 상기 뷰어(3)로부터 가려진 경우 조차도 상기 시스템이 작동하는 것과 같은 방식으로 정보 획득의 제2 광학 수단(6)을 포함한다. 상기 처리 유닛(5)은 제1 광학 수단(4) 및/또는 제2 광학 수단(6)에 의해 획득된 정보를 수신하고, 동일하게 처리하고 그에 기초하여 실제 공간에서 도구(2) 에 의해 이동된 궤적에 관한 정보로 가상 궤적을 계산한다.

Description

도구, 사용 및 관련된 프로세스를 능동적으로 위치 추정(로컬라이제이션)하는 증강 현실 또는 가상 현실 시스템

본 발명은 일반적으로 증강 또는 가상 현실 시스템에 관한 것으로, 보다 상세하게는, 도구를 통해 상기 시스템과 사용자의 상호작용을 허용하는 시스템에 관한 것으로, 후자는 정보 획득의 광학적 수단을 포함하고 스스로 감지할 수 있는 것을 특징으로 한다.

최신의 가상 현실(VR) 또는 증강 현실(AR) 시스템은 공통 참조 시스템(common reference system)과 관련하여 관심의 다양한 물체의 3-차원 위치 추정(3D 변환 및 회전)을 필요로 한다. 첫째, 사용자의 시점을 추정하고 AR/VR 뷰어를 통하여 적절한 그래프를 보여주는 것이 가능하기 위해서는 사용자의 위치를 실시간으로 알아야 한다. 이를 위해서는 환경 내에서 관람자 자체의 위치 추정(로컬라이제이션)이 반드시 이루어져야 한다. 증강 현실과 가상 현실은 일반적으로 서로 다른 몰입 환경으로 간주되는 것에도 불구하고, 본 발명에서는 그것들을 혼용하여 사용할 것이다. 따라서, 증강 현실에 대한 모든 참조는 가상 현실을 참조하는 것으로 간주되며 그 반대도 마찬가지이다.

게다가, 이러한 시스템 중 다수는 실제 물체와의 상호 작용 또는 그들을 도구로 사용하는 것을 허용한다. 따라서, 동일한 참조 시스템에 대해 실시간으로 이러한 물체의 위치를 파악하는 것 또한 필요하다. 많은 상업적 시스템들(Oculus, HTC Vive 등)에서 이러한 물체들은 자유롭게 이동하고 가상 환경과 상호 작용할 수 있는 사용자의 컨트롤러에 해당한다. 이러한 시스템의 예로는 바이저(용접 마스크), 용접 부품 및 용접 토치 또는 로드가 실시간으로 위치하는 AR/VR 용접 시뮬레이터, Soldamatic solution이 있다.

AR/VR 용접 트레이닝 시스템이 어떻게 디자인될 수 있는지를 개시하는 미국 특허 US 9,230,449 또한 알려져 있다. 부품과 토치/로드 사이의 상대적인 위치를 알면, 용접 프로세스가 시뮬레이션되고 뷰어의 로컬라이제이션의 결과로서 표시된다.

AR/VR 시스템에서 물체의 3D 감지는 광학 및 비-광학 센서들의 사용에 기반하해서, 다음과 같이 분류될 수 있다:

a) 비-광학 센서들:

1. 전자기(Electromagentic) 센서: 그들은 자기장 방출기(emitter)를 사용하여 물체의 위치를 추정하고 물체의 움직임에 의해 생성된 플럭스의 변화를 분석하는 것을 기반으로 한다. 그들의 주된 문제는: 감소된 작업 영역(area)(전자기 방출기의 부근으로 제한됨), 주위의 금속 물체의 간섭에 대한 민감성, 높은 경제적 비용 및 환경에서 직접적으로 기준점을 설정하는 것을 허용하지 않는 것이다. 그것의 장점은 그것의 정확성과 폐색 문제가 없는 것이다.

2. 관성 센서: 그것들은 물체의 위치와 회전을 알기 위해 자이로스코프와 가속도계의 사용에 기반한다. 그들의 주된 문제는 오류가 빠르게 누적되어 많은 응용 프로그램에서 자체적으로 사용할 수 없다는 것이다. 그들은 또한 환경에서 직접적으로 기준점을 설정하는 것을 허용하지 않는다; 그들은 자기적 간섭에 민감하고, 복잡한 후-처리가 필요하다. 그들은 일반적으로 다른 유형의 센서들(예: 광학)과 조합하여 사용된다. 반면에, 그들은 저렴하고, 휴대 가능하며, 크기가 작고 폐색 문제들이 없으며, 중력(환경에서 수직 위치)을 포함한, 가속 방향에 대한 정보를 제공한다.

3. 기계적(Mechanical) 센서: 그들은 사용자가 다른 위치로 이동할 수 있는 물리적 장치(예: 팔 또는 햅틱 글러브)의 위치를 직접 측정하는 것에 기반한다. 그들의 주된 단점은 움직임이 물리적 장치에서 허용하는 움직임으로 제한되어, 그들의 사용이 매우 제한적인 것이다. 장점은 그들은 간섭에 강하고 폐색 문제를 나타내지 않는다는 것이다.

b) 광학 센서: 그들은 가장 널리 보급된 유형의 센서이며 본 발명의 기본이다. 그것은 물체의 위치를 추정하기 위해 카메라의 사용을 기반으로 한다. 이러한 유형의 시스템에서는, 카메라의 뷰에서 물체가 관찰되고 PnP(Perspective-n-Point) 알고리즘이나 스테레오 또는 멀티-뷰 삼각측량 기술의 수단에 의해 그들의 위치를 추정한다. 일반적으로 이미지에서 물체의 감지를 용이하게 하기 위해 광학 마커의 일부 유형이 사용된다(예: LED, 역반사 구, 정사각형 인쇄 마커 등). 어떠한 경우에도, 물체가 카메라에서 보일 수 있어야 그것이 가려짐이 나타났을 때 작동하지 않는다.

현재의 AR/VR 시스템에는, 카메라가 어디에 위치해 있는지에 기반하여 두 가지의 주요 아키텍처가 있다:

a) 고정된 위치의 카메라:

이러한 시스템에서 카메라는 환경의 하나의 위치, 예를들어 천장, 에 고정된다. 이것은 모션 캡처(MoCap) 시스템의 일반적인 구성이며 또한 많은 상용 VR 제품(HTC Vive, Oculus의 초기 버전, Miller Live Arc 등)에서도 사용된다. 이 카메라들은 사용자의 뷰어를 찾고 물체 또는 도구를 찾는 데 사용된다.

주요 장점들 중, 관련 참고 사항:

-높은 정밀도.

- 그들은 환경에서 기준점을 설정하는 것이 허용됨.

- 많은 수의 카메라를 사용하는 크고 확장 가능한 작업량.

- 한 명 이상의 사용자가 동시에 감지될 수 있음.

그러나, 이 아키텍처는 일련의 제한 사항 또한 있음:

- 관심의 객체가 보여야만 함; 가려짐을 허용하지 않음.

- 최대 작업량은 카메라의 범위에 의해 제한됨.

- 카메라들이 움직일 수 없음; 작업량은 고정됨.

- 물체의 마커는 감지할 수 있을 만큼 충분히 크고 간격이 충분히 떨어져 있어야 함. 그것은 작은 물체를 허용하지 않음.

- LED 또는 그와 같은 것을 사용하여 가장 정확하고 견고한 결과를 얻을 수 있음. 이러한 경우 복잡할 수 있는 마커 식별 알고리즘의 적용이 필요함.

- 설치가 수정될 때마다, 즉 카메라가 이동될 때 마다, 시스템 교정 프로세스가 필요함.

b) 뷰어의 카메라:

이 경우, 카메라는 사용자의 뷰어 자체에 위치해 있다. 뷰어에 대한 관심의 객체의 위치는 직접적으로 추정된다. 몇몇 상용 예로는 Oculus Quest, Microsoft Hololens 또는 Soldamatic이 있다.

이 아키텍처는 두 가지 주요 이점을 제공함:

- 카메라가 사용자와 함께 움직이기 때문에, 고정식 카메라 시스템보다 더 많은 기능을 사용할 수 있다. 즉, 워크로드는 사용자와 함께 움직임.

- 교정 과정은 한 번만 수행됨.

반면에, 그것은 다음과 같은 여러 단점이 있음:

- 고정된 카메라 시스템보다 정확도가 떨어짐. 감지(Detection)가 모션 블러(blurr) 또는 또는 관심의 물체의 감지 위치/각도로 인한 블러링에 의해 영향을 받을 수 있음(특히 LED 마커 또는 그와 같은 것을 사용하지 않을 경우).

-관심있는 물체가 보여야 함; 가려짐을 허용하지 않음. 이는 일반적으로 사용자에게 수직으로 사용되는 원통형 도구(브러시, 용접 전극 등)에서 특히 문제가 됨.

- 물체의 마커는 감지할 수 있을 만큼 충분히 크고 간격이 충분히 떨어져 있어야 함. 그것은 작은 물체를 허용하지 않음. 이 것은 마커를 추가하기 위해 그들의 크기를 늘리는 것 없이 감지할 수 있는 도구의 유형을 제한함.

- 최대 작업량이 카메라들의 범위에 의해 제한됨. 구성에 따라서 그것은 감지되지 않는 "사각 지대"로 이어질 수 있음.

- 그것은 오직 단일 사용자(뷰어를 착용한 사람)만 감지함.

따라서, 도구를 적용하려면 사용자가 상기 도구가 적용되어야 하는 물체의 영역을 그/그녀의 시야에 포함시켜야 하므로, 기존의 AR/VR 솔루션으로는 한계가 있다. 그러나 이것이 항상 가능하거나(예: 시각적 가려짐이 발생하는 경우) 바람직한 것은 아니다(예: AR/VR 시스템이 블라인드 용접 대회를 위한 블라인드 용접 시스템을 시뮬레이션 하는 경우). 이러한 경우, 사용자는 도구가 적용되는 영역을 볼 수 없을 지라도, AR/VR 시스템이 상기 도구/물체 상호 작용의 결과를 현실적으로 시뮬레이션 할 수 있는 것이 매우 바람직하다. 그러나, 종래 기술에 개시된 시스템 중 어느 것도 이를 허용하지 않는다.

앞서 언급한 AR/VR 시스템에서는, 때때로 실시간으로 객체의 위치를 파악해야 하는 경우가 있다. AR 시스템의 경우, 이러한 객체는 물리적 세계의 실제 객체와 AR/VR 시스템의 가상 객체 간의 공간적 상응 관계를 설정하는 데 사용되는 일련의 마커 또는 키포인트를 포함할 수 있다. 이러한 공간적 상응 관계를 획득하기 위해서, 동시적 위치 추정 및 매핑(Simultaneous Localization and Mapping(SLAM)) 기술이 일반적이다. 카메라-기반의 SLAM 프로세스들은 종종 Visual SLAM(VSLAM)이라고 불리운다. 이 경우 객체는 AR/VR 시스템의 카메라를 통하여 감지될 수 있는 키포인트 또는 마커의 맵으로 표현된다. 가장 일반적인 예는 객체의 키포인트를 사용하는 VSLAM이다. 이 경우, 카메라는 AR/VR 시스템의 카메라가 획득한 복수의 이미지들로부터 객체의 키포인트에 대한 3-차원 지도가 생성되는 전혀 알려지지 않은 환경에서 동작을 시작한다. 동시에, 이 맵은 환경 내에서 카메라의 위치를 지정하는 데 사용된다. VSLAM 맵은 일반적으로 다음 요소들을 포함한다:

a) 마커 위치의 포인트들의 리스트(3차원 좌표). 이러한 마커들은 카메라로 감지할 수 있고 객체의 환경 내에 위치할 수 있는 어떠한 광학적 특징(예: 키포인트, 엣지, 객체의 모서리, 광학 마커 등)을 포함한다.

b) 마커의 다른 특징들, 예를 들어, 색상, 설명자, 법선의 방향 등.

c) 객체 맵을 생성하는 데 사용되는 마커들이 관찰되는 키프레임들 또는 키 이미지들을 포함하는, 키프레임들. 상기 관찰들은 상기 맵이 업데이트 되어야 할 때 재사용될 수 있다.

AR/VR 시스템을 실행하는 VSLAM 프로세스는 일반적으로 세 주요 스텝들로 구성된다: 초기화, 위치 추정 및 매핑, 이에 대해서는 아래에서 자세히 논의될 것이다.

1) 초기화: 이 단계는 맵이 비어 있을 때만 실행되어, 제1 마커를 생성한다. 키포인트가 있는 VSLAM의 경우에 초기화를 수행하기 위한 특정 실시예는 적어도 2개의 관점에서 객체를 구성하는 동일한 영역을 캡처하는 것을 포함한다. 이러한 방식으로, 객체의 키포인트의 초기 위치를 삼각 측량할 수 있고 객체의 이러한 키포인트는 객체의 더 나아간 위치(further postions)를 감지하기 위하여 추적될 것이다.

2) 위치 추정: 이 단계는 카메라 또는 시스템의 카메라 위치를 획득하는 것의 목적을 위해, 알고리즘의 각 프레임에서 실행된다. 상기 방법(process)은 차례로 다음을 포함한다:

- 프레임 내에서 마커 찾기.

- 프레임의 마커와 맵에 저장된 마커 간의 대응 관계를 찾기.

- 수학적 최적화를 통해 지도에 대한 카메라의 위치를 획득하고 상기 대응 관계를 이용하기.

3) 매핑: 이 단계는 일반적으로 계산적으로 비용이 많이 들고 모든 프레임에서 실행되지는 않는다. 또한, AR/VR 시스템의 작동을 방해하지 않도록 일반적으로 백그라운드에서 실행된다. 특히 맵에 새로운 키프레임으로 추가하기로 결정된 객체의 그러한 프레임에서만 오직 실행된다. 해당 지도에 키프레임을 추가할지 여부를 결정하는 많은 기준들이 있다, 예를 들어, 지도에 새로운 정보를 추가하는지 여부 또는 마지막 키프레임이 지도에 추가된 이 후 최소의 프레임 수가 경과했는지 여부에 따라. 키프레임의 수가 많아질 수록 상기 맵은 더욱 완전해진다. 그러나 지도를 업데이트하는 프로세스 또한 느려질 것이고 매핑 및 위치 추정 절차는 더 많은 계산 리소스들을 필요로 할 것이다. 따라서, 중요한 정보를 제공하는 경우에만 키프레임이 추가되는 중간 지점에 도달하는 것이 일반적아다. 키프레임이 맵에 추가될 때마다, 상기 맵은 업데이트되며, 일반적으로 다음을 수행하는 것에 연루된다:

- 지도에 새 마커를 추가하는 것.

- 지도의 에러들이나 오래된 마커들을 삭제하는 것.

- 새로운 키프레임과 이전의 키프레임들을 기준으로 지도의 마커들의 위치를 다시 계산하는 것.

상기 SLAM 프로세스는 그것이 의도된 특정한 AR/VR 시스템이나 애플리케이션에 기반하여 커스터마이즈 될 수 있다.

발명의 간략한 설명

본 발명은 증강 현실(AR) 또는 가상 현실(VR) 시스템에서 물체의 3차원 위치 추정을 위한 시스템에 포함되며 전술한 종래 기술의 한계를 극복할 수 있게 한다. 상기 제안된 시스템은 공통 참조 시스템을 기준으로 객체의 3D 위치 및 회전을 실시간으로 알 수 있도록 한다.

이전 섹션에서 언급한 바와 같이, 가려짐에 강하고 사용자가 착용한 AR/VR 뷰어에서 볼 수 있는 영역 너머 영역에서 도구-객체 상호 작용의 사실적인 시뮬레이션을 허용하는 카메라 및 뷰어 아키텍처를 갖춘 AR/VR 시스템에 대한 선행 기술이 필요하다. 본 발명은 주로 안경 또는 AR/VR 헤드셋과 같은 개인용 뷰어를 언급하지만, AR/VR 환경이 표현될 수 있도록 하는 임의의 모니터 또는 스크린(예: 컴퓨터, 모바일 장치, 태블릿 또는 텔레비전의 스크린) 또한 이 용어의 범위에 포함되는 것으로 간주된다.

보다 상세하게는, 본 발명의 주된 목적은 사용자에 의해 조작 가능한 AR/VR 시스템에 관한 것으로, 상기 시스템은:

- 그 위에 배치된 하나 이상의 광학 마커를 포함하는 객체;

- 사용자가 위치를 점유하거나 공간에서 실제 궤도를 이동하는 것에 사용하기 적합한 도구;

- 사용자가 사용하기에 적합한 AR/VR 뷰어.

- 제1 광학적 정보 획득 수단, 바람직하게는 AR/VR 뷰어에 위치하는;

- 도구 및 AR/VR 뷰어에 적어도 연결된 처리 유닛. 상기 처리 유닛은 통상의 기술자가 인식할 수 있는 필요한 하드웨어/소프트웨어 수단(하나 이상의 중앙 처리 유닛 또는 CPU, 하나 이상의 그래픽 처리 유닛 또는 GPU들, 하나 이상의 서버들, 하나 이상의 모바일 애플리케이션들 등) 및 필요한 연결(유선 연결, 무선 연결 등)을 포함한다.

상기 시스템은 유리하게는 다음을 특징으로 한다:

- 상기 도구는 정보 획득의 두 번째 광학 수단을 포함하는 것.

- 상기 광학 마커는 제1 광학 수단에 의한 획득에 적합한 광학 정보로 인코딩된 제1 마커, 및 제2 광학 수단에 의한 획득에 적합한 광학 정보로 인코딩된 제2 마커를 포함하고; 그리고

- 상기 처리 유닛은 제1 광학적 수단 및/또는 제2 광학적 수단에 의해 획득된 정보를 수신하고, 상기 정보를 처리하고, 점유된 위치 또는 공간에서 도구가 이동한 실제 궤적에 관련된 정보를 포함하는 가상 궤적을 계산하는 것.

상기 도구는 바람직하게는 정보 획득의 제2 광학 수단을 포함하고, 이는 그것 스스로를 능동적으로 위치시킬 수 있게 한다; 반면 정보 획득의 제1 광학적 수단은 상기 객체를 감지하기 위한 수동적인 카메라들을 포함한다. 이러한 방식으로, 상기 시스템은 다른 객체와 상호 작용하는 도구의 사용이 시뮬레이션되는 상황에 대하여 특히 최적화된다. 예를 들어, 부품의 용접 토치/막대, 캔버스의 브러시, 산업용 페인트 분무기, 또는 신체에 대한 메스(sclpel on a body)이다.

AR/VR 시스템의 바람직한 실시예에서, 이것은 처리 유닛에서 계산된 가상 궤적으로부터 AR/VR 뷰어에 표시되는 가상의 스트로크를 더 포함한다.

상기 시스템의 유리한 실시예들에서, 상기 도구는 제1 광학 수단에 의한 획득에 적합한 광학 정보가 구비된 제3 광학 마커를 포함한다. 이러한 방식으로, 상기 시스템은 상기 도구가 객체를 향해있지 않을 때 상기 도구를 찾을 수 있다.

상기 시스템의 특정한 실시예에서, 상기 제2 광학 수단은 도구에 수용된 내시경 카메라를 포함한다. 상기 내시경 카메라의 장점은 매우 콤팩트하고 어떠한 유형의 도구로, 특히 원통형(cylindrical) 형태의 그것들로, 쉽게 성형할 수 있다는 것이다.

상기 시스템의 다른 실시예에서, 상기 도구는 처리 유닛에 연결된 적어도 하나의 액추에이터를 포함한다. 상기 액추에이터는 도구에 의해 이동된 궤적 외에 더 많은 추가적인 정보를 획득할 수 있게 한다, 예를 들어, 액추에이터는 사용자가 그것을 누르기 위해 가하는 힘 또는 누르는 시간에 민감할 수 있다. 다른 대안적인 실시예들은 상기 도구 내의 복수 개의 액추에이터를 포함한다.

일부 특정한 실시예들에서, 상기 시스템의 제1 광학 수단 및/또는 제2 광학 수단은 하나 이상의 카메라를 포함한다.

상기 시스템의 바람직한 실시예에서, 상기 도구는 그것의 정밀도와 견고성을 개선하기 위해 하나 이상의 비-광학 센서를 더 포함한다. 예를 들어, 상기 도구는 관성 센서, 햅틱 센서, 열 센서, 기계적 센서, 전자기적 센서 등을 포함할 수 있다.

상기 시스템의 특정 실시예에서, 상기 광학 마커(객체에 배치된 그것들 및 도구에 위치된 그것들 모두)는 LED, QR 코드, 바코드, 재귀반사 구체 및/또는 프린트된 마커(어떠한 기하학적 형상의: 평면 마커, 정사각형 마커, 원형 마커 등); 뿐만 아니라 객체 및/또는 도구의 키포인트와 같은 자연 마커들(예를들어, 객체의 모서리는 키포인트로서 이용될 수 있음)을 포함한다. 이러한 의미에서 "인코딩된 정보"는 광학적 획득 수단에 의해 캡처되고, 처리 유닛에 의해 분석되고, 자연적으로 또는 그것에 추가된 물체와 연관되거나, 물체에 포함된 어떠한 광학 정보를 의미하는 것으로 이해되어야 한다.

본 발명의 바람직한 실시예에서, 상기 뷰어(viewer)는 용접 마스크에 수용된다; 상기 도구는 용접 토치 및/또는 물질 공급 요소들을 포함한다. 상기 물질 공급 요소들은 바람직하게는 용접 봉들 또는 용접 전극들을 포함한다. 더욱이, 상기 객체는 가상 스트로크(stroke)에 의해 용접 소모품의 적용이 한정된 지점에서 시뮬레이트되는 부분을 포함한다. 이러한 방식으로, 본 발명은 용접 및 심지어는 블라인드 용접에서 조차 교훈적인 사용에 적합한 AR/VR 시뮬레이터를 개시한다.

대안적인 실시예들에서, 상기 도구는 산업용 페인트 분무기, 메스 또는 햅틱 글러브를 포함한다. 이와 같이 본 발명은 용접, 페인팅, 의료 등 다양한 분야의 교육용 시뮬레이터에 적용될 수 있다.

다른 실시예들에서, 상기 도구는 로봇 팔을 포함한다. 이러한 방식으로, 상기 시스템은 산업 프로세스의 시뮬레이션, 고-정밀 수술 절차 또는 상기 로봇 팔을 사용해야 하는 어떠한 기타 응용 분야에 사용될수 있다.

상기 시스템의 특정 실시예들에서, 상기 도구는 상기 제2 광학 수단(예를 들어, 내시경 카메라)을 수용하기 위해 적합한 말단(termination)(예를 들어, 케이싱, 마우스피스 또는 후드로서)에 물리적으로 연결되거나 결합될 수 있다. 이러한 방식으로, 상기 말단은 상기 도구의 일부분을 적어도 부분적으로 수용할 것이다. 바람직하게는, 상기 말단은 도구에 영구적으로 또는 일시적으로 결합되도록 조정된다(예를 들어, 도구의 말단이 교환될 수 있도록 허용하는 나사산 메커니즘의 수단에 의해). 상기 말단의 기하학적 구조와 치수는 상기 도구가 사용되는 특정한 용도(용접, 페인팅 등)에 맞게 조정된다.

훨씬 더 바람직한 실시예들에서, 상기 말단은 제1 광학 수단에 의한 획득에 적합한 광학 정보로 인코딩된 제3 광학 마커를 더 포함한다.

전술한 시스템의 대안적인 실시예들은 상기 도구의 구성에 기반하여 상기 도구의 다양한 진동 패턴을 생성하도록 조정된 진동 모듈을 더 포함한다. 예를 들어, 상기 도구가 용접 토치를 시뮬레이션하는 경우, 상기 진동 모듈은 적어도 이러한 파라미터들로 정의된 몇몇의 용접 패턴들을 생성할 수 있다: 진동 주파수, 진동 강도, 및 진동 지속 시간. 이러한 패턴들은 상기 도구의 구성과 시뮬레이트되는 용접 유형에 따라 달라진다 (depend on). 상기 도구로 사용자가 수행한 작업(예를 들어, 가상 부품을 만드는 용접)은 상기 사용자가 전문가인 경우 수행되어야 하는 참조 작업과 비교될 것이다. 상기 참조에 대한 편차에 근거하여, 상기 진동은 강도, 주파수, 지속 시간 또는 어떠한 다른 파라미터가 변경될 것이다. 상기 진동 모듈은 사운드 박스 또는 도구에 간단하게 통합할 수 있는 모든 유형의 전자 장치(예를들어, 마이크로 컨트롤러, 인쇄 회로 기판, 또는 기타 하드웨어)를 포함한다.

언급한 바와 같이, 주된 관심 분야는 객체 간의 상호 작용을 시뮬레이션하기 위한 목적으로 도구를 찾는 데 필요한 AR/VR 시뮬레이터와 관련이 있다. 이러한 유형의 시뮬레이터는 AR/VR의 대응하는 장점들(물질 절약, 무제한 연습 세션, 게임화, 보안 환경, 등)과 함께 수동(manual) 기술들이 필요한 연습(practcong) 및 학습 프로세스를 허용하기 때문에 아카데믹 분야에서 특히 유용하다.

본 발명의 시스템의 바람직한 사용은 용접 또는 블라인드 용접 AR 시뮬레이션으로 구성된다. 다른 바람직한 실시예들에서, 상기 시스템은 페인팅, 수술 또는 치과용 AR/VR 시뮬레이터에 사용하기에 적합하다. 대안적인 실시예들에서, 그것의 사용은 AR/VR을 넘어 임의의 다른 맥락으로 외삽될 수 있으며, 이는 두 객체들 사이의 정확한 위치 추정을 필요로 한다.

또한 상기 시스템을 작동하기 위한 방법 특허의 일부는 다음과 같으며, AR/VR 시스템에서 가상 궤적의 계산을 위하여 의도된 것이고, 다음 단계를 수행하는 것을 포함하는 것을 특징으로 한다:

- 제1 수단 및/또는 제2 광학 수단으로부터 객체 및 도구의 위치 추정.

- 제1 광학적 수단 및/또는 제2 광학적 수단에 의해 객체 마커의 추적 및 공간에서 도구에 의해 이동된 궤적에 기초한 정보의 획득.

- 가상 궤적을 계산하기 위해 처리 유닛에서 상기 정보의 처리.

- 위의 단계들을 주기적으로 반복. 상기 프로세스가 반복되는 업데이트 시간은 전적으로 어플리케이션에 따라 다르다. 일부 어플리케이션에서는 가상 스트로크의 계속적인 또는 실시간의 업데이트가 필요하지만, 반면에 다른 어플리케이션에서는 이 업데이트는 사용자의 재량에 따라 조정될 수 있다.

상기 방법의 다른 실시예들에서, 상기 방법의 도구의 위치 추정은 제3 광학 마커의 검출을 더 포함한다. 이러한 방식으로, 이 추가 정보를 사용하여 상기 도구의 위치 추정이 개선될 수 있다.

본 발명의 다른 유리한 실시예에서, 상기 획득 단계는 적어도 하나의 액추에이터를 통해 도구의 추가적인 정보를 포착하는 것을 포함한다. 상기 액추에이터는 사용자가 도구에 작용하는 힘 및 시간에 민감한 트리거, 버튼 또는 이와 같은 것일 수 있으며, 이 정보는 가상 궤적을 생성하는 것과 관련이 있다.

상기 방법의 바람직한 실시예들에서, 상기 방법은 AR/VR 뷰어와 객체 사이의 위치, 도구와 객체 사이의 위치, 및 AR/VR 뷰어와 도구 사이의 위치의 추정을 포함한다.

이러한 위치들의 추정(estimation)을 위해, 동시적인 위치 추정(localisation) 및 매핑, 또는 SLAM(VSLAM), 기술들이 일부 실시예들에서 사용된다. 바람직하게는, 상기 매핑은 실시간으로 그리고 AR/VR 시스템에 의해 실행되는 메인 시뮬레이션과 병행하여 실행된다. 이러한 실시예들에서, 상기 시스템은 객체 및/또는 그것의 환경에 배치된 광학 마커를 검출하기 위한 검출 모듈을 더 포함한다. 차례로, 상기 AR/VR 시스템은 상기 광학 마커의 위치에 관한 정보를 검출, 처리 및 저장하도록 적응된 프로세스 수단(예를 들어, 컴퓨터)을 포함한다. 객체의 마커들의 위치 추정 및 마커의 초기 맵과의 비교는 공통 참조 프레임을 사용하여, AR/VR 뷰어 및/또는 상기 객체에 대한 도구 사이의 관점을 설정하는 것을 허용한다.

본 발명의 방법에서 SLAM의 목적은 다음을 포함한다:

- 객체에 마커의 초기 맵이 이미 있는 경우, SLAM은 이 마커들의 위치를 수정하기 위하여 사용된다(예를들어, 상기 마커가 부품에 제대로 부착되지 않음). SLAM은 또한 초기 맵에서 찾을 수 없는 새 마커를 추가하는 것을 허용한다. 예를 들어, 이미 마커 맵이 있는 경우 상기 마커의 위치는 수정되고 SLAM의 적용에 의해 키포인트들이 추가된다.

- 초기 맵이 없는 경우, SLAM은 첫 번째 버전을 생성하는 것을 허용한다.

마지막으로, 상기 발명의 시스템 객체의 강점은 다음과 같다는 점을 유의해야 한다:

- 정밀도는 뷰어의 움직임이나 도구가 관찰되는 각도/거리에 의해 영향을 받지 않는다. 다른 말로, 정밀도는 사용자의 관점과 독립적이다.

- 카메라가 위치한 도구는 검출을 위해 반드시 광학 마커를 필요로 하는 것이 아니므로, 훨씬 작은 크기의 객체가 감지될 수 있다.

또한, 본 발명은 뷰어에 카메라가 있는 광학 시스템의 장점을 특징으로 한다, 다음과 같은:

- 워크로드는 실제 사용자와 함께 움직인다.

- 그것들은 환경에서 기준점을 설정하는 것이 허용된다.

- 교정 프로세스는 한 번만 수행된다.

- 다른 객체의 존재로 인한 간섭이 없다.

- 낮은 계산 프로세스.

- 낮은 경제적 비용.

전술한 이점들은 상기 도구가 기본 객체의 제2 광학 마커를 관찰할 때 충족된다.

도구가 상기 시야를 벗어날 때, 상기 도구 자체가 광학 마커를 가지고 있는 경우, 뷰어에 카메라가 있는 표준 광학 시스템의 작동을 통해 상기 도구가 계속해서 감지될 수 있다(원하는 경우).

예를 들어, 캔버스에 붓 그림이 시뮬레이되는 경우, 카메라를 붓에 위치하도록 두고 광학 마커를 캔버스에 위치하도록 한다. 브러시의 카메라가 캔버스를 향하고 있는 경우, 상기 브러시의 상대적 위치는 사용자의 뷰어와 독립적으로 알 수 있게 된다. 그러나 상기 브러시가 캔버스를 향하지 않는 경우, 내장된 카메라로는 그것의 위치를 찾을 수 없다. 이 경우, 사용자가 착용한 뷰어의 카메라를 사용되어야 한다.

AR/VR의 수단을 통해 시뮬레이션할 수 있는 다른 객체에 대한 도구의 상호 작용이 시뮬레이션되어 민감한 많은 작업에서 상당히 일반적인 프로세스이다(예: 산업용 페인트 분무기 부품, 캔버스에 붓, 몸에 메스, 부품에 용접 토치 등).

요약하면, 본 발명은 AR/VR 뷰어에 카메라를 포함하는 AR/VR 시스템을 개시하는데, 그 주된 장점은 객체와의 상호 작용에 사용되는 실제의 도구에 위치한 다른 카메라가 있기 때문에 가려짐에 의해 영향을 받지 않는다는 것이다. 특히, 본 발명의 결과로 상기 객체 및/또는 도구는 사용자의 관점으로부터 보일 필요가 없다. 이러한 방식으로, 객체/도구는 뷰어의 위치와 무관하게 검출될 수 있다; 즉, 가려짐이나 사각지대의 문제가 없다. 사실상, AR/VR 뷰어가 없어도 상기 도구와 상호 작용할 수 있지만, 그럼에도 불구하고 이 뷰어는 언제든지 시뮬레이션의 결과를 관찰할 수 있어야만 한다.

본문 전체에서 "구성하다"(및 그 파생어)라는 단어는 배타적인 방식으로 이해해서는 안 되며 정의된 내용에 추가 요소 또는 단계가 포함될 수 있다는 가능성을 허용한다는 의미로 이해해야 한다. 또한, 본 발명의 범위에서 "광학" 수단을 언급할 때 "가시적인" 전자기 스펙트럼으로 제한하려는 의도가 아니라, 차라리 그 어떠한 부분의 그것(자외선, 적외선 등)도 사용될 수 있다. 마찬가지로, "광학 정보"의 개념은 광학 인식 수단에 의해 판독되거나 획득될 수 있는 인코딩된 정보를 포함하는 어떠한 요소를 의미하는 것으로 이해될 것이다. 상기 광학 정보는, 따라서, 인식 또는 판독이 광학적 수단에 의해 수행될 수 있는 경우 복수의 물리적 매체(QR 코드, LED, 이미지, 문자, 바코드, 역반사구, 인쇄된 마커 등을 포함)에 인코딩될 수 있다 (예를들면, 카메라). 또한, "카메라"를 언급할 때, 상기 명칭은 이미지 및/또는 비디오의 형식으로 정보를 획득할 수 있는 모든 장치에 해당하는 방식으로 제한되지 않는다. 마찬가지로, "실제" 궤적을 참조할 때 실제 물리적 공간에서의 궤적이라는 사실을 참조하는 반면, "가상" 궤적은 가상 또는 증강 현실 공간에서의 궤적을 참조한다. 두 궤적 사이에는 관계가 있지만 반드시 같을 필요는 없다.

본 발명의 설명을 완성하기 위해, 설명의 필수적인 부분이고 본 발명의 바람직한 실시예를 예시하는 일련의 도면이 제공된다. 상기 도면은 예시적이고 비제한적인 방식으로 해석되어야 하며 아래에서 상세히 설명된다.
도 1은 도구가 내시경 디지털 카메라를 포함하는 용접 토치인 본 발명의 바람직한 실시예를 도시한다. 카메라와 처리 장치의 하드웨어/소프트웨어 수단의 성능에 기초하여 시뮬레이션이 표시되는 주파수를 조정할 수 있지만, 가상 스트로크는, 이 경우 실시간으로, 뷰어의 화면에 표시된다는 점에 유의해야 한다.
도 2는 1개(도 2a)) 및 2개(도 2b))의 카메라가 통합된 뷰어의 2개의 특정 실시예를 도시한다.
도 3은 내시경 카메라가 내부에 어떻게 배치되어 있는지 볼 수 있는 도구의 상세한 내용을 보여준다.
도 4는 객체에 배치된 두 유형의 광학 마커를 나타낸다. 가장 큰 마커는 AR/VR 뷰어에서 관찰할 수 있도록 특별히 설계된 반면, 가장 작은 마커는 주로 도구에서 사용된다.
도 5는 뷰어의 카메라와 도구의 카메라에서 객체에 있는 광학 인쇄된 마커의 두 관점을 나타낸다.
도 6은 그것의 위치 추정을 용이하게 하기 위하여 제3 광학 마커를 포함하는 도구의 특정한 실시예를 도시한다. 마찬가지로 상기 도구는 사용자에 의해 편안하게 작동될 수 있는 인체공학적 그립과 방아쇠가 있다.
도 7은 위치 파악을 용이하게 하기 위해 시스템의 다른 요소(도구, 개체 및 뷰어)의 회전 및 변환에 대한 정보가 포함되는, 3D 강체 변환 행렬(rigid transformation matrices)(D1, D2, D3)의 변환의 연결을 보여준다.
도 8은 용접 전극을 시뮬레이트하는 도구의 말단 분해도를 보여준다.
도 9는 조립 후 도구에 배치할 준비가 된, 도 8의 동일한 말단을 보여준다.
도 10은 MIG 노즐을 시뮬레이션하는 툴의 말단 분해도에 해당한다.
도 11은 조립 후 공구에 배치할 준비가 된 도 10의 종료를 나타낸다.
도 12는 TIG 노즐을 에뮬레이트하는 공구의 말단 분해도를 보여준다.
도 13a-13b는 일단 조립되고 공구에 배치될 준비가 된, 도 12의 말단에 대한 다른 관점을 보여준다.
도 14(축척 아님)는 도구의 말단 중 하나를 나타낸다. 특히, 이 도구는 MIG 용접 토치를 모방하고 말단은 도구에 결합될 수 있는 교환 가능한 팁을 포함한다.
도 15(a) 내지 도 15(b)는 마커를 대상물(이 경우, 용접부)에 접착하는 동안 마커 오정렬(이 경우, 다이-컷 스티커)의 경우를 도시한다. 이 효과는 광학 마커가 매우 작을 때 심각한 영향을 가진다.
도 16(a)-16(b)는, 각각, 이는 뷰어(3)의 제1 광학 수단(4) 및 도구(2)의 제2 광학 수단(6)에서 볼 수 있듯이, 도 15(a)-15(b)의 부착된 마커가 있는 부분에 해당한다.

도 1은 본 발명의 바람직한 구현예로서, 사용자가 도구(2)를 이용하여 동작하는 객체(1)를 검출하도록 설계된 AR/VR 시스템에 관한 것으로, 사용자가 이에 대해 발휘하는 움직임에 민감하고 또한 시스템에 의해 반드시 검출되어야 한다. 상기 객체(1)는 일반적으로 도구(2)보다 큰 사이즈를 갖는다. 상기 사용자는 객체(1), 도구(2) 및 그 주변을 포함하는 공간 내에서 시야를 제공하는 AR/VR 뷰어(3)를 착용한다. 상기 뷰어(3)는 바람직하게는 정보 획득(본 실시예에서는 주로 이미지), 특히 하나 이상의 카메라(도 2에 도시됨)의 제1 광학 수단(4)을 포함한다.

그러나, 본 발명의 다른 실시예들에서, 획득의 제1 광학 수단(4)은 정보/이미지 획득을 위한 객체(1)의 일반적인 관점을 제공할 수 있다면, 다른 요소들(예를 들어, 삼각대 또는 유사한 지지대)에 설치되거나 배치될 수 있다.

상기 시스템은 정보를 수신하는 데 필요한 하드웨어/소프트웨어 수단, 예를 들어 AR/VR 뷰어(3) 및/또는 도구(2)로부터 획득된 이미지를 갖는 프로세싱 유닛(5)을 더 포함한다. 또한, 상기 프로세싱 유닛(5)은 시뮬레이션과 관련된 모든 정보의 저장을 가능하게 하여, 후속적으로 동일한 것을 검토하거나 분석할 수 있다.

본 발명의 주요 장점은 상기 도구(2) 그 자체가 정보 획득의 제2 광학 수단(6)을 포함한다는 것이다(특히, 도 1에서, 상기 수단은 내시경 카메라를 포함한다). 또한, 객체(1) 상에 복수의 광학 마커(7, 8)가 배치되어, 상기 광학 마커(7, 8)는 상기 제1 광학 수단(4)에 의한 추적을 가능하게 하는 제1 광학 마커(7) 및 상기 도구(2)에 내장된 제2 광학 수단(6)을 통한 추적을 가능하게 하는 제2 광학 마커(8)를 포함한다. 본 발명의 다른 실시예들에서, 제1 마커(7)와 제2 마커(8)는 동일하거나 상이한 형상 또는 특성을 가질 수 있고, 또한 부분적으로 또는 완전히 일치할 수 있다.

도 1의 바람직한 실시예에서, 뷰어(3)로부터 볼 수 있는 상기 제1 마커(7)는, 제2 광학 수단(6)으로부터 가시화되도록 구체적으로 설계된 제2 마커(8)보다 큰 크기를 갖는다. 상기 제1 마커(7) 및 제2 광학 마커(8)는 모두 제1 수단(4) 및/또는 제2 수단(6)에 의해 획득하기에 적합한 광학 정보로 인코딩되며, 상기 광학 정보는 이러한 타입들 중 어떠한 것일 수 있다: 인코딩된 라벨, QR 코드, 이미지, LED, 문자 또는 광학 인식에 민감한 기타 정보 소스 중 어느 하나.

도 1에서 객체(1)는 (용접 부품을 시뮬레이션한)PVC로 만든 T자형 부품이고 도구(2)는 용접 토치이다. 그러나, 다른 바람직한 실시예에서, 상기 객체(1)는 임의의 유형의 부품, 캔버스 또는 본체일 수 있으며; 상기 도구(2)는 산업용 페인트 분무기, 예술적 페인팅 도구, 메스, 스크루드라이버, 햅틱 글러브 등일 수 있다. 일반적으로 상기 도구(2)는 상기 객체(1)보다 특별히 작기 때문에, 또는 수직 위치에 있기 때문에, 또는 가려지기 때문에, AR/VR 뷰어(3)에서 항상 명확하게 관찰되지 않는 요소이다. 이러한 이유로, 객체(1)는 도구(2)의 카메라로부터의 검출뿐만 아니라 AR/VR 뷰어의 카메라로부터의 검출을 용이하게 하는 복수의 광학 마커(7, 8)를 갖는다(3).

처리 유닛(5)은 제1 수단(4) 및/또는 제2 수단(6)에 의해 획득된 이미지를 수신하여 이를 처리하고 가상 궤적을 계산하도록 구성된다. 그런 다음, 이 가상 궤적은 AR/VR 뷰어(3)에 표시된 가상 스트로크(2')를 통해 표현되며, 상기 가상 스트로크(2')는 도구(2)가 이동한 실제 궤적에 관련된다. 따라서, 상기 시스템은 뷰어의 시야(3)에 속하지 않는 지점에서도 객체(1)와 사용자의 상호 작용을 추적하고 나타낼 수 있다. 따라서 시스템의 모든 카메라(뷰어(3)의 카메라 및 도구(2) 자체의 카메라 포함)의 이미지가 처리 유닛(5)에 도달하고, 이 이미지는 마커(7, 8)를 검출하기 위해 처리되고 따라서 상기 시스템의 다른 요소들의 위치 추정을 추정한다. 상기 처리 유닛(5)은 시스템의 나머지 요소에 유선 방식으로 연결될 수 있거나, 상기 연결은 무선일 수 있다.

도 3은 내시경 카메라가 내장된, 도 1에 도시된 바와 같은, 용접 토치로 구성되는 도구(2)를 보다 상세하게 도시한다.

도 4는 AR/VR 뷰어(3)에 최적화된 제1 광학 마커(7)와 도구(2)에서 보이도록 특별히 설계된 제2 마커(8)를 나타낸다. 용접에 초점을 맞춘 본 발명의 특정 실시예에서, 제2 마커(8)는 용접 소모품의 적용이 시뮬레이트되는 객체(1)의 부착부에 위치된다는 점에 유의해야 한다. 이러한 경우 가상 경로 및 가상 스트로크(2')를 통해 시뮬레이트된 용접의 품질을 평가할 수 있도록 의도된 것이므로, 상기 제2 마커(8)는 해상도를 높이고 처리 유닛(5)에 의한 추적을 용이하게 하기 위해 더 작아지고 서로 더 가까워야 할 필요가 있다. 더욱이, 도구(2)는 바람직하게는 상기 제2 마커(8)에 매우 근접하여 작동하기 때문에, 상기 제2 마커(8)는 매우 클 필요가 없다.

도 5는 서로 다른 카메라의 서로 다른 시점을 보여준다: AR/VR 뷰어(3)의 카메라는 제1 광학 마커(7)에 위치하는 반면 도구(2)의 카메라는 상기 제2 광학 마커(8)를 관찰한다. AR/VR 뷰어(3)에서 위치를 추정하기 위한 제1 마커(7)는, 현재 시스템에서 이미 사용되는 것과 같이, 동일하게 볼 수 있어야 한다. 더 먼 거리의 시장, 등으로부터 볼 수 있어야만 하는 가려짐의 가능성을 고려해야 한다. 상기 도구(2)에서 위치를 추정하기 위한 제2 마커(8)는 상기 도구(2)의 카메라에서 볼 수 있어야 한다. 예를 들어, 상기 도구(2)가 부품에 매우 가까운 거리에서 작업하는 경우 광학 마커(7, 8)가 보이려면 크기가 작아야 한다. 객체(1)의 광학 마커(7, 8) 또한 애플리케이션에 의존한다: 그들은 인쇄된 마커, 역반사구, LED 등이 될 수 있다. 그러나 객체(1)를 매개로 AR/VR 뷰어(3)에서 도구(2)의 위치를 알 수 있어야 한다. 시스템이 사각형 광학 마커(7, 8)를 사용하여 용접하는 경우를 에뮬레이트하는 도 1의 경우 도구(2)가 가까운 거리에서 사용된다. 이를 위해, 객체(1)는 도구(2)로부터 검출하기 위해 임의로 작은 일련의 제2 광학 마커(7)와 AR/VR 뷰어(3)로부터 검출하기 위해 더 큰 크기를 갖는 제1 마커(8)를 갖는다. 어떠한 경우에도 광학 마커(7, 8) 사이의 이러한 분리는 엄격할 필요가 없다. 응용 프로그램에서 그것을 허용하는 경우, 동일한 마커(7, 8)들은 도구(2)와 뷰어(3)에서 모두 추정에 사용할 수 있다.

도 6은 본 발명의 또 다른 훨씬 더 유리한 실시예를 도시하며, 상기 도구(2)는 사용자에 의해 편안하게 제어될 수 있도록, 제3 광학 마커(9) 및 액추에이터(10), 특히 트리거를 더 포함한다. 상기 도구(2) 자체에 배치된 상기 제3 광학 마커(9)는 상기 도구(2)가 그것의 작업 영역을 관찰하지 않을 때(즉, 제2 광학 마커(8)를 향하지 않을 때, 이 경우 가장 작은 것) AR/VR 뷰어(3)로부터 후자를 감지할 수 있도록 한다.. 이는 AR/VR 시스템에서 도구의 표준 감지와 동일하다. 용접 시뮬레이션의 경우, 상기 액추에이터(10)는 상기 액추에이터(10)가 작동되는 시간 및 힘이 소모량을 조절할 수 있도록 하는 방식으로 용접 소모품의 적용을 에뮬레이션할 수 있게 한다. 이 경우 가상 스트로크(2')는 상기 도구(2)가 이동한 실제 공간 위치에 대한 정보뿐만 아니라 액추에이터(10)에 가해지는 힘과 미는 지속 시간에 대한 정보도 포함한다. 그런 다음, 그 결과로서 상기 처리 유닛(5) 또한 사용자가 만든 용접과 관련된 모든 정보를 저장하므로 나중에 평가할 수 있다(AR/VR 뷰어(3)의 메인 화면 또는 다른 모니터와 같은, 추가적인 그래픽 표현 수단), 이는 시뮬레이터가 교육 목적으로 사용될 때 유용하다. 이런 의미에서, 가상 궤적은 너무 오래 머문 경우나 소모품이 과도하게 적용된 경우를 기록할 수 있다.

도구(2) 자체가 정보 획득의 제2 광학 수단(6)을 포함한다는 사실의 결과로서, 본 발명은 다음과 같은 이점을 갖는다:

- 뷰어(3)의 위치와 독립적으로 객체(1)에 대해 도구(2)를 배치할 수 있다.

- 도구(2)와 AR/VR 뷰어(3) 간의 추정은 뷰어(3)의 시점에 영향을 받지 않는다.

-도구(2)는 일반적으로 AR/VR 뷰어(3)보다 객체(1)에 더 가깝고 객체가 적거나 객체 사이에 가려진 객체가 없기 때문에 더 높은 정밀도를 얻을 수 있다.

- 객체(1)가 뷰어(3)에서 감지되면 뷰어에 대한 도구(2)의 위치는 도구(2), 객체(도구(2), 객체( 1) 및 AR/VR 뷰어(3). 따라서 AR/VR의 도구(2)는 뷰어(3)에서 직접 감지되지는 않지만 여전히 표시될 수 있다. 이는 도 7에 설명되어 있다. 여기서 D1은 AR/VR 뷰어(3)에 대한 객체(1)의 감지를 진행하는 데 필요한 변환이고, D2는 객체(1)의 감지와 관련된 변환을 나타낸다. 도구(2)와 관련하여; 반면 D3은 D1과 D2의 연결이며 AR/VR 뷰어(3)와 관련하여 도구(2)를 감지할 수 있다.

-도구(2)가 AR/VR 뷰어(3)의 시야를 벗어나는 경우와 같이, 도구(2)가 객체(1)에 대해 위치할 수 없는 경우, 이것은 현재의 AR/VR 시스템에서 수행된 것과 같이, 상기 도구(2)가 제3 광학 마커(9)를 포함하는 경우, 뷰어(3)에 대해 계속 검출될 수 있다.

제안된 시스템의 주요한 한계는 도구(2)와 객체(1) 사이의 위치가 도구(2)가 객체 (1)를 향하도록 배향된 경우에만 추정될 수 있다는 것이다. 그러나, 많은 응용 분야에서 상기 도구(2)가 프로세스의 많은 부분 에서 객체(1)를 관찰하는 것이 일반적이거나 더 큰 정밀도와 견고성이 필요한 시점이다. 예를 들어, 본 발명이 용접 시뮬레이터로 사용되는 경우, 용접이 수행되고 토치가 객체(1)을 향할 때 도구(2)의 위치 추정에 대한 정밀도와 견고성이 필요하다. 나머지 시간 동안 AR/VR 뷰어(3)의 화면에 정보를 표시하기 위해 도구(2)를 감지하는 것이 중요할 수 있지만 시뮬레이션에는 중요하지 않다. 어떤 경우든 도구(2)의 카메라가 객체(1)를 관찰하지 않을 때, 도구(2)가 또한 제3 광학 마커(9)를 포함하면, 상기 도구(2)는 현재 시스템에서 수행되는 것처럼 상기 뷰어(3)의 카메라의 수단에 의해 계속 감지될 수 있다.

상기 도구(2)에 포함된 카메라 유형과 관련하여, 적용 유형 및 해당 요구 사항에 따라 다르다. 예를 들어, 고려할 수 있는 몇 가지 고려 사항은 다음과 같다:

- 상기 도구(2)는 근거리에서 사용하는 경우, 초점 거리가 줄어든 카메라가 필요할 것이다.

- 카메라가 빠르게 움직이는 경우, 모션 블러를 방지하기 위해 리프레시 속도(refresh rate)가 더 높은 카메라를 사용해야 한다.

- 도구(2)가 작은 경우, 축소된 크기의 카메라(예를 들어, 내시경 카메라)를 사용할 수 있다.

- 도구(2)가 무선인 경우, 무선 카메라 시스템을 사용할 수 있다.

각각의 애플리케이션에 대해 상기 도구에 가장 적합한 카메라 유형(2)과 카메라를 배치할 위치, 그뿐 아니라 객체(1)에 대한 광학 마커의 최상의 디자인(7, 8)을 결정하는 설계 프로세스가 있다. 이 설계의 목적은 도구(2)에서 광학 마커(7, 8)의 가시성을 최적화하는 동시에 AR/VR 뷰어(3)에서 객체(1)를 감지할 수 있도록 하는 것이다.

언급해야 할 또 다른 중요한 측면은 시스템, 특히 카메라의 교정이다. 추정은 AR/VR 뷰어(3)와 독립적이기 때문에, 뷰어(3)의 카메라에 대한 보정 요구 사항은 도구(2) 자체에 통합된 카메라의 결과로 더 미세한 세부 사항의 정밀도와 해상도를 얻기 때문에 그리 까다롭지 않다. 단, Tool(2)의 Camera에 대해서는 보다 철저한 교정이 필요하다. 다른 광학 탐지 시스템과 마찬가지로 이 교정은 두 부분을 특징으로 한다:

- 고유의(intrinsic) 교정: 카메라의 초점 거리, 광학 중심 및 왜곡 매개 변수.

- 외부의(extrinsic) 교정: 도구(2)에 대한 카메라의 상대적 위치.

본 발명의 다른 유리한 실시예들에서, 정보 획득의 제2 광학 수단(6)은 스테레오 시스템, 멀티 뷰 시스템 또는 이와 같은 것 등을 제공하여, 더 큰 정밀도 및/또는 상기 공구(2)의 더 큰 작업 영역을 제공하도록 구성된 복수의 카메라를 포함한다.

본 발명의 다른 실시예에서, 전술한 여러 상이한 바람직한 실시예의 요소 및 이점이 결합된다.

본 발명의 또 다른 목적은 AR/VR 뷰어(3)와 도구(2) 사이의 위치를 추정하기 위한 프로세스에 관한 것으로, 이는 P3으로 표시된다. 이를 위해 AR/VR 뷰어(3)와 객체(1) 사이의 위치(이하 P1이라 함)와 P2 위치는 도구(2)와 객체(1) 사이의 위치를 기준으로, 취득해야 한다. 상기 프로세스의 가장 간단한 경우는 도구(2)에 제3 광학 마커(9)가 없을 때 발생한다. 이러한 경우 각 반복(기간은 사용자가 설정한 정보의 업데이트 시간으로 정의됨)은 다음 단계를 수행하는 것을 포함한다(기술적으로 가능한 모든 순서로):

- 정보 획득의 제1 광학 수단(4)에서 이미지 캡처;

- 제1 광학 마커(7)가 감지되면, 상기 제1 광학 마커(7)의 위치로부터 P1을 계산.

- 정보 획득의 제2 광학 수단(6)으로부터의 이미지 캡처;

- 제2 광학 마커(8)가 감지되면 상기 제2 광학 마커(8)의 위치로부터 P2를 계산.

- P1과 P2가 계산되면, P3을 계산하기 위하여 두 위치가 결합되는 것으로, 이는 AR/VR 뷰어(3)와 도구(2) 사이의 위치를 찾을 수 있도록 함.

대안적인 실시예에서, 도구(2)는 제3 광학 마커(9)를 포함하고 변환을 추정하기 위한 프로세스(D3)는, 상기 프로세스에 표시된 단계에 더하여, 다음 단계를 수행하는 단계를 포함한다:

-위 프로세스의 단계에서 P3를 추정할 수 없는 경우(예: 가려짐으로 인해) 또는 제3 광학 마커(9)를 사용하여 위치를 미세 조정해야 하는 경우:

a) 제3 광학 마커(9)는 정보 획득의 제1 광학 수단(4)에 의해 검출된다.

b) 상기 획득된 정보(이미지)를 사용하여 위치 P3을 추정하거나 최적화한다.

-위치 P1, P2, P3 중 하나라도 얻을 수 없는 경우(가려짐 등으로 인해), 상기 미싱(missing) 위치는 다른 두 위치의 조합에서 추정된다.

본 발명의 바람직한 실시예에서, 상기 도구(2)는 하나 이상의 말단에 연결되거나 결합되며, 그 기하학적 구조 및 치수는 사용되는 특정 애플리케이션에 따라 변한다. 말단은 용접 공정을 시뮬레이트하는 AR/VR 시스템에 사용되는 것이 바람직하지만 다른 애플리케이션(페인팅 등)에도 적합하다. 말단은 제2 광학 수단(6) 및 추가 전자 장치를 수용하도록 구성된다.

도 8 및 9에 도시된 특정 실시예에서, 도구(2)의 말단은 다음을 포함한다:

- 팁이라고도 하는 말단의 프런트 엔드(11)는 도 8에 표시된 것처럼 다트 모양이며 용접 전극의 말단을 시뮬레이션하는 데 적합하다.

- 조명 수단(바람직하게는 발광 다이오드 또는 LED 유형)을 차례로 통합하는 인쇄 회로 기판(12) 또는 동등한 전자 장치. 상기 인쇄 회로 기판(12)은 광학 마커(7, 8, 9)의 추적을 용이하게 하는 이미지 획득의 제1 수단(4) 및 제2 수단(6)에 추가적인 조명을 제공한다.

- AR/VR 시스템의 제2 광학 수단(6)(예를 들어, 내시경 카메라)을 수용하는 본체(13). 제2 광학 수단(6)은 본체(13) 내부의 올바른 위치에 고정 나사 또는 다른 유사한 메커니즘으로 고정된다. 본체(13)는 또한 인쇄 회로 기판(12)을 수용하기 위한 하나 이상의 갭을 포함한다. 제2 광학 수단(6)의 전자 장치(내시경 카메라) 및 배선 통과를 위한 도관은 본체(13) 내부에 배치된다.

- 도구(2)의 배선 및 전자 장치를 보호하기 위한 하우징 형태의 후면 끝(14) 또는 덮개(cover). 예를 들어, 덮개는 말단의 단부, 팁에서 가장 멀리 떨어진 끝에 배치될 수 있으며, 제2 광학 수단(6)의 단부를 덮는다. 후방 끝(14)은 연결 배선의 출구와 도구(2)(이 경우, 필러 로드)를 위한 개구를 포함한다.

본 발명의 특정 실시예에서, 도 9의 말단의 조립은 쉽게 분해되는 것을 방지하기 위해 접착 재료를 사용하고 영구적인 부착물을 생성하여 수행된다. 훨씬 더 바람직한 실시예에서, 말단은 또한 광학 마커(7, 8, 9)를 포함한다. 예를 들어, 마커 QR과 같은 하나 이상의 광학 마커(7, 8, 9)는 본체(13) 및/또는 커버의 표면의 하나 이상의 면(13')에 배치될 수 있다.

도구(2)(이 경우 MIG 토치)에 대한 종단의 또 다른 예는 MIG(금속 불활성 가스) 노즐을 시뮬레이션하는 데 적합한 도 10-11에서 볼 수 있다. 이 종료는 다음을 포함한다:

- MIG 노즐을 시뮬레이션하고 말단의 전면 부분에 위치한 전면 끝(11) 또는 팁.

- 추가 조명을 제공하기 위한 조명 수단(가급적 LED)이 있는 인쇄 회로 기판(12). 인쇄 회로 기판(12)은 제2 광학 수단(6)(내시경 카메라)을 수용하기 위한 천공 또는 도관을 포함한다.

- 후방 끝(14) 또는 말단의 후방부에 위치한 커버에 나사 결합되어 조립되는 본체(13)에는 제2광학수단(6)과 인쇄회로기판(12)이 수용된다. 본체(13)는 또한 제1 광학 수단(4)과 제2 광학 수단(6)에 여분의 조명을 제공하는 LED 인쇄 회로 기판(12)을 수용하기 위한 갭을 갖는다. 하나 이상의 광학 마커(7, 8, 9), 예를 들어, QR 또른 이와 같은 것 등,은 본체(13) 및/또는 후면 끝(14)의 표면의 하나 이상의 면(13')에 배치될 수 있다.

- 종단의 뒷부분에 위치한 덮개는 나사산을 위한 개구부를 포함한다. 상기 덮개는 도구(2) 역할을 하는 MIG 토치의 목에 나사로 조립된다.

도 10 내지 도 11의 예시적인 실시예에서, 내시경 카메라는 회전을 방지하는 고정 나사 또는 유사한 메커니즘에 의해 고정된다. 본체(13)를 후방 끝(14) 또는 커버에 조립하는 것은 고정 나사를 사용하는 것이 바람직하다. 본체(13)와 팁(11) 사이의 부착은 압입에 의해 수행된다.

도구(12)에 대한 말단의 세 번째 예는 도구(12)가 TIG(텅스텐 불활성 가스) 토치인 경우에 커스터마이즈된 도12, 13A 및 13B에 설명되어 있다. 위의 말단과 유사하게 이 말단은 다음을 포함한다:.

- TIG 노즐을 시뮬레이션하고 그 앞 부분에서 말단을 닫는 프런트 엔드(11) 또는 팁.

- 광학 수단(4, 6)에 추가 조명을 제공하는 LED 조명이 있는 인쇄 회로 기판(12).

- 제2수단(6)(내시경 카메라)과 인쇄회로기판(12)을 수용하는 본체(13).

- 고정나사에 의해 본체(13)에 결합되는 말단의 후방 부분에 있는 후방 끝(14) 또는 커버.

- 내시경 카메라를 수용하기 위한 속이 빈 덮개(15) 또는 도관(도 13b 참조).

도구(2)의 헤드(이 경우 TIG 토치)는 도구가 본체(13) 내부에 수용될 때까지 후면 덮개를 통해 삽입된다. 그런 다음 종단 어셈블리를 닫기 위해 커버를 TIG 토치 헤드 주위에 나사로 고정한다. 전단부(11)는 기계적 압력에 의해 본체(13)에 결합된다.

도 14는 도구(2)가 도 10-11에 도시된 것과 같은 말단이 통합된 MIG 토치인 실시예에 대응한다. 즉, 제2 광학 수단(6)(내시경 카메라)이 말단의 끝(11, 14)에 의해 보호되는 말단의 본체(13)에 수용되는 방법을 설명한다. 바람직하게는, 도구는 도 14에서 도구(2)에 배선되고 부착되는 진동 모듈(16)을 포함한다. 상기 도구(2)는 실제 용접의 경우에 행해지는 것처럼 공급되는 재료의 양을 제어하기 위한 작동기(17) 또는 방아쇠를 포함한다. 또한, 도구(2)는 커넥터(18) 및 내시경 카메라용 배선, 및 제2 광학 수단(6)에 의해 요구되는 전자 장치를 포함하는 제2 인쇄 회로 기판(19)을 포함한다. 마지막으로, 제2 광학 수단(6)의 전자 장치와 말단 본체(13)의 위치는 고정 요소(20)에 의해 보장된다.

도구(2)에 대한 다양한 말단을 조립하기 위한 이 모듈식 조립 시스템으로 전자 장치의 간단한 조립 및/또는 내시경 카메라에 해당하는 필요한 장치의 통합이 허용된다. 공구 말단의 커버 또는 후방 끝(14)뿐만 아니라 말단의 모든 팁 또는 전방 끝(11)이 임의의 형식(예: QR) 또는 다른 형식의 시스템의 광학 마커를 용이하게 감지할 수 있도록 허용하는지 관찰하는 것이 적절하다. 도 8 내지 도 14에 도시된 말단의 실시예는 도구(2)가 용접 토치인 것처럼 시뮬레이트하는 경우를 위해 설계된다. 이러한 실시예는 내시경 시스템과 함께 높은 작업 표면 정밀도를 요구하는 다른 유형의 시스템에서 사용될 수 있지만 재료 공급 시스템에서 특히 유리하다.

또한, 본 발명의 시스템은 제2광학 수단(6)에 대한 제2광학 마커(8)의 일부가 예를 들어 3mm×3mm의 매우 작은 크기를 가지므로 매우 정밀한 설치가 필요한 경우를 고려한다. (인쇄된 마커인 경우 이러한 마커의 설치는 객체(1)에 부착하는 방식으로 수행된다.) 마커의 부적절한 위치 지정은 제2 광학 수단(6)으로 얻은 검출 및 해상도에 부정적인 영향을 미친다. 마커가 커진 경우(예를 들어, 제1 마커(7)의 경우) 오정렬 또는 포지셔닝 오류가 커밋된 경우 이 요소는 마커 감지에 중요한 상대적 오류를 도입하지 않는다. 대조적으로, 마커가 작은 경우(예를 들어 전술한 제2 광학 마커(8), 치수가 3 x 3mm인 경우) 해당 스케일에서 ±1mm의 오류가 매우 중요하다(상대 오류 30%). 따라서 이 문제는 가장 작은 마커인 내시경 카메라에 의한 인식에 적합한 제2 마커(8)의 경우에 더 분명하다.

마커(7, 8)의 접착 문제 중 일부(예: 다이 컷 스티커 형태)는 수평 또는 수직 변위를 포함한다(예: 마커가 시뮬레이션된 용접 비드 방향에 있는지 여부에 따라 시스템 또는 그 수직 방향), 회전, 마커(7, 8)의 제어되지 않은 변형(물체(1)에 부착된 경우 주름 또는 접힘이 발생할 수 있음) 등. 특히 튜브 형태나 굴곡진 부분을 가진 물체(1)에서 접착의 어려움으로 인해 변위와 회전이 가장 많이 발생한다. 이러한 잘못된 위치 지정 문제는 제1 마커(7)에서 볼 수 있지만, 그럼에도 불구하고 이러한 경우 시스템의 인식 능력에 영향을 미치기 위해서 상기 오정렬 또는 회전이 대단히 중요하다.

예를 들어, 도 15(a)는 제1 마커(7) 및 제2 광학 마커(8)가 객체(1)에 올바르게 부착된 상황을 나타내고, 도 15(b)는 수직 및 수평 변위(작은 반시계 방향 회전에 해당함)를 갖는 마커(7, 8)의 경우를 나타낸다. 제1 마커(7)에서의 효과는 상기 마커가 더 크고, 더 먼 거리에서 검출됨으로써 포지셔닝 오류가 더 커질 수 있기 때문에 뚜렷하지 않다. 그러나, 제2 마커(8)의 경우, 변위가 제2 마커(8)의 크기보다 커서 객체(1)에 대한 위치 인식 또는 위치 결정에 오류가 발생할 수 있기 때문에, 그 효과는 매우 관련이 있다. 마커(7, 8) 위치의 정밀도는 객체(1) 인식을 위해 AR/VR 시스템의 감지 소프트웨어로 전송되는 위치이기 때문에 관련이 있다. 이러한 방식으로, 감지 소프트웨어 모듈로 전송되는 위치와 마커(7, 8)가 실제 객체(1)에 위치하는 위치 사이의 대응 정밀도가 높을수록 AR/VR 시스템의 정밀도가 높아진다.

도 16(a)-16(b)는 객체(1)를 포함하는 시야를 나타내며, AR/VR 뷰어(3)의 카메라 및 도구(2)의 내시경 카메라에서 볼 수 있다. 그림 16(a)는 검출 소프트웨어로 전송된 위치(뷰어(3)에서 보이는 위치)와 관련하여 마커(7, 8)의 상대적 위치에서 어떠한 불일치도 보여주지 않는다. 대조적으로, 그림 16(b)는 소프트웨어로 전송된 위치(그림 16(a)에 따른 마커의 정확한 위치(7, 8)와 일치함)가 정렬 오류 및 회전으로 인해 해당 마커(7, 8)의 실제 위치와 일치하지 않는 방법을 보여준다. 따라서 AR/VR 시스템에 의한 인식 오류가 발생한다.

도 15(b) 및 도 16(b)에서 관찰되는 마커(7, 8)의 정렬 문제를 극복하기 위해, 본 발명은 내시경 카메라에서 관찰되는 것과 같이, 제2 마커(8)의 위치를 실시간 매핑하는 프로세스를 포함한다. 이러한 의미에서, 객체(1)의 여러 이미지는 여러 관점에서 획득되며, 이에 따라 제2 마커(8)가 추적된다. 이러한 이미지들은 제1 광학 수단(4)에 의해 획득될 수 있다. 선택적으로, 제1 마커(7)는 상기 영상에서 매핑될 수 있다. 유리하게도, 마커의 실시간 매핑은 AR/VR 시스템의 작동에 그다지 방해가 되지 않으며 마커(7, 8)가 물체(1)에 부착되는 동안 발생하는 모든 오류에 적응할 수 있다.

도 15 및 16에서, 마커 매핑 프로세스는, 마커(7, 8)가 이상적으로 배치되었을 수 있는, 소프트웨어 모듈(도 15(a) 및 16(a))에 의해 초기에 알려진 위치의 초기 맵으로서 사용하는 것을 포함한다. 그러나, 일부 마커(7,8)의 크기가 작기 때문에, 객체(1)에 대한 위치 지정의 정확성을 항상 보장할 수 있는 것은 아니다. 이러한 경우에, 적합한 솔루션은 광학 수단(4, 6)을 통해 획득한 마커의 초기 맵과 최종 맵을 비교하는 것으로 구성되며, 최종 맵은 객체(1)에 대한 마커의 최종 위치를 포함한다. SLAM(특히, VSLAM) 기술에 기초한 이 접근법은, 아래에서 설명되는 바와 같이, 본 발명의 바람직한 실시예에서 사용된다.

마커(7, 8, 9)를 검출하기 위해 검출 모듈로 보내지는 위치들과 객체(1) 상의 실제 위치들 사이의 불-일치 문제에 대한 또 다른 해결책은 접착을 용이하게 하기 위해 제2 마커(8)의 제조(인쇄) 동안 참조(reference)를 추가하는 것을 포함한다. 또한, 이 솔루션은 반복성이 부족함에도 불구하고, 주문-제작 객체(1)(예를 들어, 산업용 부품)에 대해 특정 교정(카메라들 또는 마커의 위치를 계산하기 위한 다른 센서들에 의해)을 수행할 수 있다. 또한, 예를 들어, RANSAC(랜덤 샘플 컨센서스)와 같은 특이치(outliers)를 탐지하는 기술이 통합될 수 있다. 이러한 기법을 사용하면 잘못 배치된 마커(7, 8)를 탐지하고 탐지하는 동안 그것들을 생략할 수 있다.

요약하면, AR/VR 시스템으로 객체의 위치를 정확하게 파악하기 위해서는 공통 참조 시스템(common reference system)에 대한 객체(1)에 대한 이러한 마커들(7, 8)의 3차원 위치를 정확하게 아는 것이 중요하다. 예를 들어, 객체(1)가 정사각형 마커(7, 8)로 덮여 있는 경우, 물리적 객체의 마커(7, 8) 좌표는 마커를 감지하기 위해 감지 소프트웨어 모듈에 제공된 좌표와 일치해야 한다. 마커(7, 8)가 물리적 객체(1)에 잘못 배치된 경우 실제 좌표는 감지 소프트웨어 모듈이 수신하는 것과 일치하지 않는다. 이 경우 현지화 과정에서 오류가 전파되어 편차와 노이즈가 발생한다.

AR/VR 시스템이 허용하는 마커(7,8)의 최대 위치 오차는, 무엇보다도, 다음 요인들에 따라 달라진다: 시뮬레이션될 특정 응용 프로그램, 정보 획득 수단(4, 6)의 공간 해상도 및 마커까지의 거리(7, 8).

본 발명의 시스템을 위해 특별히 설계된 SLAM(VSLAM) 프로세스의 특정 실시예가 아래에 설명된다. 바람직하게는, 이 프로세스는 복수의 마커(예를 들어, 정사각형 마커)를 포함하는 하나 이상의 스티커가 객체(1)에 부착된 용접 시뮬레이션에 사용된다. 상기 시스템은 적어도 2개의 카메라, 구체적으로 상기 언급된 제1 광학 수단(4) 및 제2 광학 수단(6)을 포함할 것이다. 상기 제1 수단(4)은 사용자의 뷰어(3)에 있는 카메라를 참조하는 반면, 상기 제2 수단(6)은 시뮬레이션 중에 사용자에 의해 처리되는 도구(2) 그 자체에 있으며, 둘 다 상기 SLAM 프로세스에서 이미지를 획득하는 데 사용된다. 이 실시예에서, 상기 SLAM 맵은 다음의 정보를 포함한다: 정사각형 마커의 3-차원 좌표 리스트, 마커의 분류(예를 들어, 스티커가 하나 이상인 경우 그들이 어느 스티커에 속하는지에 대한 표시; 스티커가 평평하거나 곡선인 경우, 등등) 및 키프레임의 세트. 이미 알려진 VSLAM 공정과 구별되는 본 발명에 사용된 VSLAM 공정의 주요 특징은 다음과 같다:

- 부품의 디자인 및 상기 마커들을 포함하는 스티커의 제조와 함께 생성되는 모든 마커(7, 8)가 있는 초기 맵에서 부터 프로세스가 시작되기 때문에 초기화 단계는 필수적이지 않다. 아래에서 볼 수 있는 것과 같이, 매핑 단계에서 상기 마커(7, 8)의 위치를 물리적 객체(1)에 대한 배치로 조정하는 것만이 필요하다.

- 상기 위치 추정 단계는 시스템의 카메라 영상을 통해 관찰된 마커와 초기 지도의 마커 사이의 대응관계를 검색하여 각 프레임에서 카메라의 위치를 찾는 단계를 포함한다. 바람직하게 위치 계산은 PnP(Perspective N-Points)에 의해 수행되며, 이는 알려진 좌표의 N 3차원 점 세트에서 보정된 카메라의 포즈를 카메라의 이미지 내 투영과 함께 추정할 수 있게 한다.

- 상기 매핑 단계는 본 발명의 시스템이 VSLAM에 제공하는 주요한 신규성이다. 일반적인 VSLAM 버전과 비교할 때 중요한 차이점은 선험적으로 마커가 지도에 추가되거나 삭제되지 않는다는 것이다. 따라서 모든 마커는 선험적으로 알려져 있으며 카메라가 보는 것에 따라 위치만 조정하면 된다. 따라서, 현재의 프레임과 그것의 마커들은 존재했던 초기의 마커들과 비교되어야 한다. 이 VSLAM의 변형에는 새로운 키프레임을 추가하기 위한 여러 가지 기준이 있다:

a) 객체의 마커의 맵 내의 최대 키프레임 수.

b) 마지막 키프레임이 추가된 이후로 특정 수의 프레임이 경과해 왔다.

c) 스티커의 위치 추정에 오류가 감지되면, 새로운 키프레임으로 상기 지도가 업데이트될 수도 있다.

d) 각각의 개별 스티커의 최소 감지 품질을 충족하는 경우.

e) 보이는 각각의 스티커에 대한 충분한 다른 스티커 또는 충분한 마커가 관찰되는 경우.

f) 이전 키 프레임에 없던 새로운 스티커가 보이는 경우.

g) 보이는 스티커의 최소 개수가 있는 경우.

h) 이전 키 프레임까지의 거리가 임계값보다 큰 경우.

새로운 키프레임을 추가하는 경우, 새로운 키프레임과 이전의 모든 키프레임을 모두 사용하여 지도가 정제된다. 즉, 키프레임에 있는 마커의 모든 관찰을 고려하는 맵을 개선하기 위해 수학적 최적화가 적용된다(가급적이면 Structure from Motion으로 알려진 최적화가 사용됨).

VSLAM 프로세스의 바람직한 실시예에서, 한 평면에 있는 마커를 포함하는 스티커가 그 평면 밖으로 이동할 수 없도록 최적화 프로세스에 제한이 추가된다. 예를 들어, 원통형 튜브 모양을 가진 객체(1)에 있는 스티커는 해당 실린더를 빠져나갈 수 없으며 동일한 논리가 객체(1)의 알려진 형상에 적용된다.

본 발명의 바람직한 실시예에서, VSLAM 프로세스는 2개의 카메라, 즉 뷰어의 카메라(3) 및 도구의 내시경 카메라(2)로부터 나오는 이미지의 분석을 포함한다. 본 발명의 다른 실시예에서, 상기 VSLAM 프로세스는 그들의 시야에 객체(1)를 갖는 더 많은 수의 카메라에 대해 일반화될 수 있고, 따라서 더 많은 관점을 제공할 수 있다.

본 발명의 VSLAM 프로세스의 바람직한 실시예에서, 최적화는 마커(7, 8)를 갖는 스티커 레벨에서 전역적으로 수행된다. 따라서 스티커의 모든 마커는 일체형으로 움직인다. 또한, 위의 VSLAM 프로세스는 객체에 맞는 형상을 기반으로 모든 마커 모양(정사각형, 원형 등)에 적용할 수 있다(1).

본 발명의 VSLAM 프로세스의 다른 대안적인 실시예는 스티커의 나머지 마커와 독립적으로 각 마커(7, 8)의 위치를 개별적으로 개선하기 위한 제2 최적화를 포함한다. 마커가 있는 구부러진 스티커가 있는 튜브 개체의 경우 스티커에 특정 변형이 있을 수 있다(예를 들어, 물리적 부품의 직경이 정확하지 않기 때문에). 이러한 경우 스티커의 마커는 최적화에서 독립적으로 처리하기 위해 논리 수준에서 서로 다른 "하위 스티커"로 나뉘어 질 수 있다.

본 발명의 바람직한 실시예에서, 객체(1)의 환경의 하나 이상의 키포인트는 VSLAM 프로세스에 통합되어 시스템을 매핑 및 지역화 모두에서 더욱 강력하게 만든다.

본 발명의 바람직한 실시예에서, 물체(1)의 환경의 하나 이상의 키포인트는 VSLAM 프로세스에 통합되어 시스템을 매핑 및 지역화 모두에서 더욱 강력하게 만든다.

본 발명의 바람직한 실시예에서, AR/VR 시뮬레이터는 진동 하드웨어 및/또는 소프트웨어 모듈을 통해 구현되는 도구(2)의 진동 기능을 포함한다. 특히 이 기능은 도구(2)가 용접 토치를 시뮬레이션할 때 적용할 수 있다. 진동 효과는 해당 컨텍스트에서 여러 응용 프로그램을 갖기 때문이다.

진동의 한 가지 응용은 모의 용접을 실행하는 동안 특정 진동 패턴(특정 주파수, 강도 및 지속 시간으로 특징 지어짐)이 성능을 사용자에게 알리는 방식으로 시스템 사용자에게 제공하는 것이다. 용접 재료의 부적절하거나 과도한 적용, 잘못된 토치 구성 등과 같은 측면을 사용자에게 알려야 할 때 유용하다. 도구(2)에서 진동 효과를 생성하기 위해 고려할 수 있는 일부 변수는 다음과 같다 : 장력, 강도, 가스량, 용접 와이어 공급 속도(WFS), 작업 각도, 이동 각도, 이동 속도 및 접촉 팁에서 작업 거리(CTWD), 등. 바람직하게는, 진동의 강도는 변수의 이상적인 값에 대한 편차에 따라 증가할 것이다.

AR/VR 시스템이 용접 절차 시뮬레이션에 사용되는 경우, 진동의 또 다른 적용은 AR/VR 시스템을 보다 현실적으로 만들기 위해 실제 용접 시스템에서 발생하는 것처럼 구동 롤에 의해 발생하는 물리적 진동 효과를 시뮬레이션에 포함하는 것이다. 이 경우 진동 패턴은 실제 용접 토치가 갖는 롤의 회전 속도를 인코딩하며, 이는 다시 용접 절차 사양(WPS) 및 절차 자격 기록(PQR)에 의해 결정되는 몇 가지 매개 변수에 따라 달라진다. 이러한 매개변수에는 용접 프로세스 유형, 와이어 재료 유형, 모재 두께, 용접 위치, 와이어 직경, 이송 유형 및 전기 매개변수 등이 포함된다.

진동 포함의 세 번째 적용은 잘못된 용접 프로세스에 의해 생성된 진동 에너지 효과를 시뮬레이션에서 고려할 수 있다는 것이다. 이는 예를 들어 용융지의 전기 아크 및 와이어 충격의 변화를 생성하는 중간 전달 용접 중에 발생한다. 이러한 유형의 물리적 효과는 다른 AR/VR 시뮬레이션 시스템에서 종종 무시된다. 본 발명의 시스템에서, 시너지 효과가 없는 구성(예: 전기적 파라미터 또는 호 길이)이 선택되면, 재료 전달에 대한 상이한 효과가 발생한다. 예를 들어, 전압, 와이어 직경, 와이어 속도 및 돌출부에 따라 객체(1)로의 재료 전달이 최적이거나 불규칙할 수 있다. 이러한 효과는 물리적 용접 시스템에 대한 실제 측정값을 고려한 다음 시뮬레이션에 데이터를 외삽함으로써 모델링된다.

특히 GMAW 용접의 경우 다음과 같은 특성 전달이 시뮬레이션에 포함될 수 있다:

a) 용접 와이어가 용융 풀에 닿아 전도성 저항에 의해 전압 스파이크가 발생하는 단락. 이 유형은 업계에서 매우 일반적이며 에너지 입력이 낮고 약간의 스패터가 있는 용접부를 생성한다.

b) 스프레이는, 그것은 더 에너지가 넘치는 효과를 발생시키는 것에도 불구하고, 그것의 청결함 때문에 가장 널리 사용되는 트랜스퍼(transfer) 중 하나이다. 스프레이는 용융물이 용융 풀에 분사되는 것을 특징으로 한다.

c) 구상체, 쇼트와 스프레이 사이의 중간 상황. 이러한 유형의 전송은 더 높은 투영을 가진 불안정한 호를 생성한다.

d) 펄스 아크 - 각 프린지가 부착물의 에너지 및 침투를 제어할 수 있는 파형의 극성과 체류 시간을 진동시킬 수 있다. 열전도율이 높은 연성 소재(합금, 알루미늄)에 널리 사용된다.

단, 공구(2)의 진동 관련 기능이 용접 시뮬레이션의 경우에 특화되었지만, 그러한 기능은 정보 획득의 제2 광학 수단(6)을 포함하는지 여부에 관계없이 모든 유형의 공구(2)에 통합될 수 있다.

언급된 수치들은 다음 요소들에 대응하는, 일련의 참조 번호를 수반한다:
(1) 객체(부품).
(2) 공구(용접 토치, 산업용 페인트 분무기, 메스, 햅틱 장갑 등).
(3) AR/VR 뷰어.
(4) 정보 획득의 제1 광학적 수단(뷰어에서).
(5) 처리 유닛.
(6) 정보 획득의 제2 광학적 수단(도구 내).
(7) 객체의 제1 광학 마커(뷰어용).
(8) 객체의 제2 광학 마커(도구용).
(9) 공구의 제3 광학 마커.
(10) 공구의 액추에이터(트리거 등).
(11) 말단의 앞쪽 끝 또는 끝.
(12) 조명 수단이 내장된 인쇄 회로 기판.
(13) 본체.
(14) 후방 끝 또는 후면 커버.
(15) 제2 광학적 정보 획득 수단을 수용하기 위한 중공 피복 또는 도관.
(16) 유선 진동 요소를 포함하는 진동 모듈.
(17) 도구의 액추에이터(트리거).
(18) 내시경 카메라의 커넥터 및 배선.
(19) 제2 광학 수단(내시경 카메라)을 위한 인쇄 회로 기판.
(20) 고정요소(고정나사 등).

Claims (19)

1. 사용자에 의해 작동 가능한 증강/가상 현실, AR/VR, 시스템으로서, 상기 시스템은 다음을 포함한다:
   - 그 위에 배치된 하나 이상의 광학 마커(7, 8)를 포함하는 객체(1);
   - 공간에서 위치를 점유하거나 실제 궤도를 이동하는, 사용자가 사용하기에 적합한 도구(2);
   - AR/VR 뷰어(3)
   - 정보 획득의 제1 광학 수단(4);
   - 적어도 상기 도구(2) 및 상기 AR/VR 뷰어(3)에 연결된 처리 유닛(5);
   상기 시스템은 다음과 같은 특징을 가진다
   - 상기 도구(2)는 정보 획득의 제2 광학 수단(6)을 포함하고;
   - 상기 광학 마커(7, 8)는 상기 제1 광학 수단(4)에 의한 획득에 적합한 광학 정보로 인코딩된 제1 마커(7), 및 상기 제2 광학 수단(6)에 의한 획득에 적합한 광학 정보로 인코딩된 제2 마커(8)를 포함한다; 그리고
   - 상기 처리 유닛(5)은 제1 광학 수단(4) 및/또는 제2 광학 수단(6)에 의해 획득된 정보를 수신하기 위하여 구성된 소프트웨어/하드웨어 수단을 포함하고, 상기 정보를 처리하고 점유된 위치와 관련된 정보를 포함하는 가상 궤적 또는 공간에서 도구(2)에 의해 이동된 실제 궤적을 계산한다.
   
2. 제1항에 있어서, 상기 처리 유닛(5)에서 계산된 가상 궤적으로부터 AR/VR 뷰어(3)에 표현된 가상 스트로크(2')를 더 포함하는 시스템.
   
3. 제1항 또는 제2항 중 어느 한 항에 있어서, 상기 도구(2)는 제1 광학 수단(4)에 의한 획득에 적합한 광학 정보가 장착된 제3 광학 마커(9)를 포함하는 시스템.
   
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 제2 광학 수단(6)은 도구(2)에 수용된 내시경 카메라를 포함하는 시스템.
   
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 도구(2)는 상기 처리 유닛(5)에 연결된 액추에이터(10)를 포함하는 시스템.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 광학 수단(4) 및/또는 상기 제2 광학 수단(6)은 하나 이상의 카메라를 포함하는 시스템.
   
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 도구(2)는 하나 이상의 비-광학 센서를 더 포함하는 시스템.
   
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 광학 마커(7, 8, 9)는 LED, QR 코드, 바코드, 역반사구, 인쇄된 마커 및/또는 키포인트를 포함하는 시스템.
   
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   - 상기 AR/VR 뷰어(3)는 용접 마스크에 들어 있고;
   - 상기 도구(2)는 용접 토치 및/또는 재료 공급 요소를 포함하고; 그리고
   - 상기 객체(1)는 상기 가상 스트로크(2')로 구분된 지점에서 용접 소모품의 적용이 시뮬레이트되는 부분으을 포함하는, 시스템.
   
10. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 도구(2)는 산업용 페인트 분무기, 메스, 햅틱 글러브 및/또는 로봇 팔을 포함하는 시스템.
    
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 AR/VR 뷰어(3)는 안경, 마스크, 모니터 및/또는 모바일 장치의 디스플레이를 포함하는 시스템.
    
12. 제1항 내지 제11항 중 어느 한 항에 있어서, 정보 획득의 상기 제1 광학 수단(4)은 AR/VR 뷰어(3)에 포함되는 시스템.
    
13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 제2 광학 수단(6)과 상기 도구(2)의 적어도 일부를 수용하도록 구성된 말단을 더 포함하고, 상기 도구(2)는 상기 말단에 연결되도록 구성되는 시스템.
    
14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 도구(2)의 하나 이상의 진동 패턴을 생성하도록 구성된 진동 모듈을 더 포함하는 시스템.
    
15. 용접 기술, 블라인드 용접, 산업용 페인팅, 수술 및/또는 치과 절차의 시뮬레이션을 위한 AR/VR 환경의 표현을 위한 제1항 내지 제14항 중 어느 한 항에 따른 시스템의 사용.
    
16. 제1항 내지 제14항 중 어느 한 항에 따른 시스템의 사용을 포함하는 증강/가상 현실(AR/VR) 시스템에서 가상 궤적을 계산하기 위한 방법으로서, 다음 단계를 수행하는 단계를 포함하는 것을 특징으로 하는 방법:
    - 제1 광학 수단(4) 및/또는 제2 광학 수단(6)으로부터 객체(1) 및 도구(2)의 위치 추정;
    - 상기 제1 광학적 수단(4) 및/또는 상기 제2 광학적 수단(6)에 의해, 상기 객체(1)의 마커(7,8)의 추척 및 공간에서 도구(2)에 의해 이동한 궤적에 기반한 정보의, 획득
    - 가상 궤적을 계산하기 위해 처리 유닛(5)에서 상기 정보를 처리하는 단계;
    - 선택적으로, 제3 광학 마커(9)를 검출하는 단계;
    - 위의 단계를 주기적으로 반복하는 단계.
    
17. 제1항 내지 제16항 중 어느 한 항에 있어서, 획득 단계는 적어도 하나의 액추에이터(10)를 통해 도구(2)의 추가 정보를 캡처하는 것을 포함하는 프로세스.
    
18. 제16항 내지 제17항 중 어느 한 항에 따르는 방법에있어서, 다음의 추정을 포함하는 것: 상기 AR/VR 뷰어(3) 및 상기 객체(1) 사이의 위치, 상기 도구(2)와 상기 객체(1) 사이의 위치, 및 상기AR/VR 뷰어(3)와 상기 도구(2) 사이의 위치.
    
19. 제1항 내지 제18항 중 어느 한 항의 방법에 있어서, 공통 공간 기준 프레임에서 상기 뷰어 (3), 상기 객체(1) 및 상기 도구(2)의 추정은 실시간으로 상기 객체(1) 하나 이상의 마커(7, 8) 위치를 매핑하는 것.
    
    
    

Images