KR20210008382A

KR20210008382A - 사용자의 안경에 조정 가능하게 부착하기 위한 스마트폰-지원 휴대용 증강 현실(ar) 장치 및 클립-온 유닛

Info

Publication number: KR20210008382A
Application number: KR1020207035074A
Authority: KR
Inventors: 즈비 라피도트; 에후드 티로시; 오데드 아르논; 우리 사메트
Original assignee: 비라이드 리미티드
Priority date: 2018-05-10
Filing date: 2019-05-07
Publication date: 2021-01-21
Also published as: EP3791227B1; ES2942216T3; IL259276A; WO2019215739A1; US20210223575A1; IL259276B; EP3791227A1; US11347082B2; JP2021524066A

Abstract

본 발명은 분리 가능한 안경 장착 증강 현실(AR) 장치 및 클립-온 유닛에 관한 것으로, 상기 장치는 클립-온 유닛을 분리 가능하게 지지하도록 구성된 하우징(31), 사용자가 장면을 관찰하는 출구 윈도우(30) 및 입구 윈도우(30), 핸드-헬드 장치에 연결하기 위한 통신 인터페이스(71, 74) 및 카메라 윈도우(36)를 통해 사용자에 의해 관찰되는 장면을 이미지화하고, 상기 장면의 이미지를 핸드-헬드 장치로 전달하도록 구성된 하우징 내의 카메라(37)를 갖는다. 가시선 가이드 유닛(39)은 사용자의 가시선을 장면의 지정된 구성을 향하도록 하기 위해 사용자의 시야각에서 적어도 하나의 마커를 표시하고, 하우징 내의 광학 장치(40)는 사용자가 보는 장면에 중첩하기 위한 거리에서 마커를 투영한다.

Description

사용자의 안경에 조정 가능하게 부착하기 위한 스마트폰-지원 휴대용 증강 현실(AR) 장치 및 클립-온 유닛

본 발명은 일반적으로 광학 헤드 장착 디스플레이에 관한 것이며, 특히, 사용자의 안경에 부착하기 위한 휴대용 증강 현실(AR) 장치에 관한 것이다.

AR 시스템은 항공용 헬멧 장착 시스템으로 한동안 구현되어서 전투기 조종사가 현실에 중첩된 물체 관련 정보를 지정하고 표시하는 것을 가능하게 한다. 이러한 장치의 예로는 조종사가 목표 또는 관심 지점을 단순히 "보면서" 높은 정확도로 목표를 지정할 수 있는 젠텍스 스콜피온(Gentex Scorpion)™이 있다. 또한, AR 시스템은 예컨대, 마이크로소프트 홀로렌즈(Microsoft Hololens)™와 같이, 헤드 장착 시스템과 같은 안경류로도 사용되었다. 두 구현 예들은 모두 비용이 많이들고 번거롭다. 크기와 비용을 극복하기 위해, 뷰직스(Vuzix)^®와 같은 AR 기능이 내장된 전용 안경도 개발되었다(예를 들어, 뷰직스 블레이드 https://www.vuzix.com/products/blade-smart-glasses 참조).

추가 시도에는 표준 안경에 통합된 분리 가능한 모듈 개발이 포함된다. 예들은 소니(Sony): https://techcrunch.com/2014/12/17/sony-glasses-attach/ 및 아두이노(Arduino): https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter를 포함한다. 이들 모듈 모두는 측면 장착, 즉, 안경 프레임의 측면 암에 부착되며, AR 정보를 사용자의 눈으로 전달하기 위한 광학 장치를 포함한다. 소니 모듈은 투명하지 않으므로 실제 장면에 AR 정보가 중첩될 수 없다. 아두이노 모듈은 투명하지만 실제 장면에 AR 정보를 정렬하기 위한 기구를 포함하지 않는다. 또한, 모듈에는 풍경에 AR 정보를 투영하기 위한 투명 디스플레이도 장착되어 있다. 이러한 광학 장치, 특히, 투명 디스플레이는 사용자의 눈 위치와 정렬되어야 하며, 사용자는 머리 형상, 특히 동공 거리(PD)가 다양하기 때문에, 모듈 설계는 이러한 다양성을 고려해야 해서 모듈은 눈 위치에 관계없이 다른 사용자에 의해 사용될 수 있다. 하나의 해결책은 넓은 범위의 사용자에게 맞출 수 있도록 증가된 눈 모션 박스를 갖는 광학 장치를 설계하는 것이다. 눈 모션 박스 또는 사출 동공은 전체 디스플레이를 보기 위해 눈이 배치될 수 있는 영역이다. 이러한 해결책은 광학 설계를 복잡하게 만들고 시스템을 더 크고 무겁게 만든다. 다른 가능한 해결책은 광학 장치를 사용자의 눈을 기준으로 좌측, 우측으로 이동시키는 정렬 시스템을 추가하는 것이다. 그러나, 모듈은 안경 측면 암에 장착되어 있기 때문에, 모듈을 좌측, 우측으로 이동시키는 것은 복잡하고 부피가 큰 기구를 필요로 한다.

측면 장착 모듈의 다른 단점은 사용자의 주변 시야를 차단한다는 것이다. 주변 시야는 주변의 움직임을 식별하고 배경 감각과 상황 인식을 제공하는데 중요한 역할을 한다. 주변 시야를 차단하면 사용자가 불편함을 느끼고 경우에 따라 안전에 부정적인 영향을 미칠 수 있다.

국제 공개공보 WO 2017/142480호는 호스트 안경 또는 헬멧에 제거 가능하게 부착되는 모듈식 헤드-업 증강 현실(AR) 디스플레이 시스템을 개시하고 있다. 상기 시스템은 프로세서 모듈, 배터리 모듈, 프로세서와 배터리 사이에 배치된 트렁킹(trunking) 모듈 및 디스플레이(투영) 모듈을 포함한다. 프로세서 및 배터리 모듈은 호스트 안경의 별도의 관자놀이 부분에 부착될 수 있으며, 트렁킹 모듈은 전면 프레임 부재에 부착될 수 있고 배터리를 프로세서에 연결하는 기능을 한다. 투영 모듈의 몸체는 사용자의 눈에 근접한 투명 프리즘을 갖는다.

상기 제한 중 적어도 일부를 해결하기 위해, 본 발명은 안경 프레임의 전방에 클립-온(clip-on)하도록 치수가 정해진 분리 가능한 AR 모듈을 제안한다.

사용자의 눈에 대한 모듈의 좌측 및 우측 정렬은 클립의 일부인 컴팩트한 기구에 의해 수행된다. 결과적으로, 투명 디스플레이는 사용자의 눈 전방에 정확하게 위치되고, 작은 크기의 눈 모션 박스만으로도 충분하므로 컴팩트하고 저렴한 광학 장치를 설계하는 것이 가능하다. 이는 사용자의 주변 시야를 제한하지 않고 그리고 사용자 안경의 관자놀이 부분에 디스플레이 광학 장치 또는 전자 장치를 장착할 필요없이 달성되고, 따라서, 접안 렌즈에 일반 또는 맞춤 렌즈가 있거나 심지어 렌즈가 없는 기존의 경량 안경이 될 수 있다.

본 발명을 이해하고 그것이 실제로 어떻게 수행될 수 있는지 보기 위해, 이제 실시예들이 첨부된 도면을 참조하여 비-제한적인 예로서만 설명될 것이다.

도 1은 본 발명에 따른 장치를 착용한 사용자를 도시한다.
도 2는 본 발명에 따른 시스템의 기능을 보여주는 블록도이다.
도 3a 및 도 3b는 각각 후방 및 전방에서 본 분리 가능한 장치를 도시한다.
도 3c는 내부에 포함된 광학 장치의 부분적인 세부 사항을 보여주는 후면에서 본 분리 가능한 장치의 부분 절개도이다.
도 3d는 광학 장치의 개략도이다.
도 4a 및 도 4b는 각각 장치를 사용자의 안경의 전방에 부착하는데 사용되는 클립-온 유닛의 조립 및 분해도이다.
도 5는 마이크로-디스플레이의 스크린에 나타날 수 있는 예시적인 주석을 도시한다.
도 6a 및 도 6b는 각각 무선 및 유선 구성의 장치의 블록도이다.
도 7은 장치 카메라의 시야각(FOV)을 도시한다.
도 8은 장치 카메라와 스마트폰 디스플레이 사이의 초기 정렬을 위해 스마트폰 애플리케이션과 함께 수행되는 절차의 흐름도이다.
도 9는 관심 물체의 위치를 원격 사용자에게 전달하기 위해 스마트폰 애플리케이션과 함께 수행되는 절차의 흐름도이다.

일부 실시예들의 다음 설명에서, 하나 이상의 도면에 나타나거나 유사한 기능을 공유하는 동일한 구성 요소는 동일한 도면부호로 참조될 것이다.

도 1은 로컬 사용자(12)를 구성하는 관찰자가 착용한 안경 프레임(11)의 전방에 분리 가능하게 클립-장착된 본 발명에 따른 AR 장치(10)를 도시한다. 이를 통해 장치는 로컬 사용자의 눈 전방에 직접 장착되어서 사용자가 출구 윈도우(13)를 통해 장면을 관찰하는 것이 가능하다. 또한, 로컬 사용자는 분리 가능한 장치(10)에 의해 그의 눈에 투영되고 실제 장면에 중첩된 그래픽 주석을 볼 수 있다. 사용자 안경의 관자놀이 부분(측면 암)에 장치 또는 장치의 임의의 구성 요소를 장착할 필요가 없다.

도 2는 전형적인 시나리오에서 장치(10)를 사용하는 시스템(20)을 개략적으로 도시한다. 로컬 사용자(12)는 인터넷과 같은 통신 채널(17)을 통해 원격 스테이션(16)과 통신하는 로컬 스테이션(15)에 위치된다. 이를 위해, 장치(10)는 예를 들어, 블루투스™ 또는 와이파이를 통해 무선으로 또는 USB 케이블과 같은 유선 연결을 통해 로컬 스마트폰(19)과 통신한다. 원격 스테이션(16)에 위치된 원격 사용자(21)는 스마트폰(22)과 같은 원격 통신 장치 또는 인터넷과 같은 통신 인터페이스를 갖는 PC를 사용하여 로컬 스테이션(15)과 무선으로 통신한다.

이 구성의 전형적인 용도는 예를 들어, 로컬 사용자(12)가 장비를 수리하는 기술자이고 원격 사용자(21)가 더 높은 지원 레벨 엔지니어인 원격 지원이다.

도 3a는 장치(10)의 후면도이다. 로컬 사용자(12)는 출구 윈도우(30)를 통해 실제 장면을 보고 또한 이 장면에 중첩된 그래픽 주석을 본다. 이러한 주석은 마크, 텍스트, 그래픽 형상 등을 포함할 수 있다. 분리 가능한 장치는 도 4a 및 도 4b를 참조하여 후술하는 클립-온 유닛을 지지하기 위한 고정 장착 브래킷(32)이 있는 하우징(31)을 가지며, 장치(10)는 사용자의 안경의 전방에 고정된다. 선택적으로, 장치(10)를 스마트폰(19)에 연결하기 위해 USB 커넥터(34)가 제공된다.

도 3b는 전방에서 본, 즉 로컬 사용자(12)를 바라보는 분리 가능한 장치(10)의 정면도이다. 윈도우(36)가 제공되고, 상기 윈도우를 통해 장치 내부에 위치되고 도 3c에서 점선으로 개략적으로 도시된 내장 카메라(37)가 외부 장면을 촬영한다. 또한 입구 윈도우(30')가 도시되어 있으며, 사용자에 의해 관찰될 수 있도록 입구 윈도우를 통해 장면으로부터의 빛이 출구 윈도우(30)를 통과한다.

도 3c는 장치(10)의 내부 구조를 더욱 상세하게 도시한다. 인쇄 회로 기판(PCB)(38)은 분리 가능한 장치의 전자적인 작동을 위한 전자 회로를 지지한다. 또한 USB 커넥터(34), 마이크로-디스플레이(39) 및 내장 카메라(37)가 PCB(38)에 연결된다. 카메라(37)는 카메라 윈도우(36)을 통해 로컬 사용자(12)에 의해 관찰된 뷰의 광각 스틸 이미지 또는 비디오 이미지를 획득하도록 구성된다. 그 기능은 도 5, 도 6 및 도 7을 참조하여 아래에서 더 설명될 것이다. 실시로 축소된 실시예에서, 미스미(Misumi) MD-B31107U-77, 1/6" 컬러 디지털 카메라 모듈이 내장 USB 연결과 함께 사용되었다. 이 카메라의 다른 특성은 아래와 같다.

프레임 크기: 1920x1080 픽셀

픽셀 크기: 1.4μm x 1.4μm

렌즈: f = 1.83mm, F/2

시야각: H: 70°, V: 42.7°, D: 77.3°

마이크로-디스플레이(39)는 다음과 같은 주요 특성을 갖는 고-선명도 흑백 디스플레이이다.

픽셀 수: 304x256

픽셀 크기: 12μm x 12μm

활성 영역: 3.648mm x 3.972mm

장치(10)는 2개의 더블릿(doublet)(41, 41') 및 결합된 프리즘(42)을 포함하는 도 3d에 도시된 광학 장치(40)를 수용한다. 더블릿(41, 41')은 21mm의 동일한 초점 거리로 결합된 대물 렌즈를 생성한다. 마이크로-디스플레이(39)의 발광 평면은 이 결합된 대물 렌즈의 초점 평면에 위치되어서, 디스플레이의 이미지가 무한대에서 생성되고, 이에 의해 로컬 사용자(12)는 실제 장면에 투영된 디스플레이 상의 이미지를 본다. 스크린의 일반적인 이미지에는 도 5에서 "A"로 표시된 십자형 마커가 포함되어 있으며, 이는 로컬 사용자가 자신의 시야각에서 물체를 지정하는데 사용된다. 이미지는 화살표로 도시된 바와 같이, 먼저 결합된 프리즘(42)의 거울 표면(45)에 의해 접힌 다음 부분적인 거울 표면(46)에 의해 로컬 사용자(12)의 눈으로 지향되고, 이는 디스플레이(39)로부터의 빛이 로컬 사용자의 눈에 도달하고, 동시에 로컬 사용자가 도 3b의 출구 윈도우(30)를 통해 부분적인 거울 표면(46)을 통해 전송된 실제 장면을 볼 수 있도록 한다. 전형적으로, 부분적인 거울 표면(46)은 ~50%의 반사 및 ~50%의 투과를 갖는다. 결합된 더블릿의 초점 거리가 21mm이므로 디스플레이 스크린은 H: 10 x V: 8.3도(대각선 13도)의 시야각을 캡처한다. 광학 설계는 로컬 사용자에게 4.5mm 직경의 눈 모션 박스를 허용한다.

도 4a 및 도 4b는 각각 장치(10)를 로컬 사용자의 안경(11)에 부착하고 정렬시키는 클립-온 유닛(50)의 조립도 및 분해도이다. 클립-온 유닛(50)은 각각의 힌지 조인트를 형성하기 위해 각각의 핀을 수용하는 각각의 너클(52, 53)을 대향 측면에 갖는 긴 평면 지지체(51)를 포함한다. 너클(52)은 사이에 상향으로 돌출된 접합부(55)가 있는 개방 슬롯(54)을 갖는 한 쌍의 변위된 C-형상 원통형 소켓의 형태이다. 다른 힌지 부재는 핀(56)과 베이스 부분(57)이 일 단부에서 너클(52)로 삽입되어 힌지를 형성하도록 슬롯(54)보다 약간 작은 두께를 가지며 베이스 부분(57)의 길이를 따라 용접되는 긴 핀(56)이다. 너클(52)의 대향 측면에서, 베이스 부분(51)은 단부들이 연질 플라스틱 또는 고무로 형성된 보호 슬리브(59)로 덮인 한 쌍의 하향으로 돌출된 골조(armature)(58)를 지지한다. 핀(56) 및 부착된 베이스 부분(57)을 너클(52)에 삽입한 후, 한 쌍의 상향으로 연장된 골조(60)가 핀의 대향 단부에서 핀(56)에 용접된다. 각각의 골조(60)는 도 3a에 도시된 바와 같은 장치(10)의 장착 브래킷(32)에 클립(50)이 나사(도시되지 않음)에 의해 부착될 수 있도록 하는 구멍(61)을 갖는다.

너클(53)은 긴 직선 부분과 각각의 단부가 연질 플라스틱 또는 고무로 형성된 보호 슬리브(66)로 덮인 하향으로 의존하는 암을 갖는 클립 암(65)을 지지한다. 클립 암(65)은 너클(53)에 장착될 때 단부(66)가 골조(58)의 보호 단부(59)와 만나고 접하도록 치수가 정해진다. 클립 암(65)의 긴 직선 부분은 중공 코어(68)와 측면 부분(69, 70)을 갖는 코일 스프링 형태의 L-형상 스프링 부재(67)를 지지한다. 직선 부분에 고정된 상향으로 돌출된 핸들(71)은 측면 부분(70)을 위한 지지 역할을 하고, 다른 측면 부분(69)은 베이스 부분 (51)에 의해 지지된다. 힌지 핀을 형성하는 클립 암(65)을 너클(53) 내부에 장착하기 위해서는 클립 암이 성형 전에 삽입되거나 또는 클립 암을 위치시킨 후에만 너클이 형성될 수 있다.

사용 시에, 전술한 바와 같이, 장치(10)를 상향으로 연장된 골조(60)에 부착한 후, 어셈블리는 하향으로 돌출된 골조(58)의 후방과 클립 암(65)의 전방 사이의 스프링(67)의 탄성력 하에서 그립된 프레임(11)에 의해 로컬 사용자의 안경에 고정된다. 이러한 방식으로 로컬 사용자의 안경에 장착되면, 장치(10)는 너클(52) 내의 핀(56)의 이동의 자유로 인해 측면으로 이동될 수 있다. 스프링(67)의 측면 부분(69)은 한편으로는 핀(56)의 원치 않는 회전 및 측면 이동을 방지하면서 원할 때 로컬 사용자에 의해 핀이 앞뒤로 움직일 수 있게 하여 안경 프레임(11)에 대해 장치(10)를 측면 방향으로 이동시킬 수 있도록 베이스 부분(57)에 적당한 힘을 가한다. 구멍(61)이 둥근 것으로 도시되어 있지만, 이들은 길쭉할 수 있고, 골조(60)는 안경 프레임(11)에 대해 장치(10)의 수직 상하 이동을 소량 허용하기 위해 스프링-장착 볼트를 사용하여 장치에 부착될 수 있다는 점에 유의해야 한다. 이는 이제 도 5를 참조하여 설명되는 바와 같이, 로컬 사용자의 눈에 대해 장치를 정렬하도록 적절한 조정을 허용한다. 클립-온 유닛은 장치에서 분리 가능하거나 그와 통합될 수 있다. 두 경우 모두 클립 온 유닛을 사용하면 장치를 안경 프레임의 전방에 분리 가능하게 장착할 수 있으며, 장치의 출구 윈도우를 사용자의 가시선과 정렬하기 위해 안경 프레임에 대해 측면으로 이동시킬 수 있다.

도 5는 마이크로-디스플레이 스크린의 중앙에 위치된 "A"로 표시된 십자, 다른 마크(B) 및 구불구불한 선(C)를 포함하며 마이크로-디스플레이(39)의 스크린 상에 나타날 수 있는 예시적인 주석을 도시한다. 이러한 주석의 일반적인 사용은 아래에서 상세하게 설명된다. 주석은 도 6a 및 도 6b를 참조하여 후술되는 바와 같이, 장치(10)에 연결되는 로컬 스마트폰(19)에 의해 실행되는 소프트웨어 애플리케이션의 제어 하에 표시된다. 십자(A)는 마이크로-디스플레이(39)가 로컬 사용자의 가시선에 대해 적절히 중앙 정렬되어 로컬 사용자의 눈이 원격 물체를 향할 때 마이크로-디스플레이 스크린의 중앙에 위치된 십자(A)가 원격 물체의 중앙에 나타나는 표시를 제공한다.

도 6a 및 도 6b는 각각 무선 및 유선 구성의 장치(10)의 블록도이다.

따라서, 도 6a를 참조하면, 전술한 바와 같은 광학 장치(40)는 로컬 사용자(12)의 눈에 스크린 이미지가 외부 장면에 중첩되는 마이크로-디스플레이(39)를 투영한다. 이미 참조된 카메라(37) 이외에, 장치(10)는 또한 장치의 움직임을 추적하여 로컬 사용자의 머리 움직임을 추적하기 위한 관성 자기 유닛(IMU)(70)을 포함한다. 마이크로-디스플레이(39), 카메라(37) 및 IMU(70)는 마이크로 컨트롤러(72)에 구현된 USB 허브(71)에 연결된다. 이를 위해, 카메라(37)는 UVC 표준 USB 인터페이스(73)를 갖는다. 마이크로 컨트롤러(72)는 또한 RF 안테나(75)를 통해 저에너지(LE) 블루투스™ 유닛(74)과 양방향 통신을 위한 데이터를 처리한다. 블루투스™ 유닛(74)은 로컬 스마트폰(19)의 블루투스™ 유닛(76)과 통신한다. 내장 배터리(77)는 장치 구성 요소에 전력을 제공한다.

도 6b는 USB 유선 통신을 사용하는 대안적인 실시예를 도시한다. 마이크로 컨트롤러(72)는 SPI(직렬 주변 장치 인터페이스) 드라이버 및 디스플레이(39)와 IMU(70)를 각각 USB 허브(71)에 연결하는 USB-SPI 변환기(77, 77')를 포함한다. USB 허브(71)는 USB 케이블을 통해 로컬 스마트폰(21)에 연결된다. 옵션 배터리 팩(77)은 스마트폰 배터리를 보충하기 위해 사용될 수 있다.

작동 설명

전술한 바와 같이, 스마트폰(19)과 결합되는 분리 가능한 장치(10)는 예를 들어, 장비 운영자 또는 기술자와 같은 로컬 사용자(12)가 정기적인 오디오 통신 이외에 시각 정보 및 안내를 사용하여 강사 또는 상위 엔지니어일 수 있는 원격 사용자(21)와 통신하는 것을 가능하게 한다.

효과적으로 통신하기 위해, 원격 사용자(21)는 로컬 사용자(12)가 어떤 지점 또는 물체를 보고 있는지를 정확하게 알아야 한다. 이는 로컬 사용자(12)가 카메라(37)로 이미지(또는 비디오)를 포착하고 원격 사용자(21)에게 이를 전송함으로써 행해진다. 로컬 사용자(12)는 출구 윈도우(30)를 통해 직접 물체를 보고 카메라(37)는 윈도우(36)를 통해 물체를 보기 때문에, 도 8을 참조하여 아래에서 보다 상세히 설명되는 바와 같이, 카메라(37)의 가시선과 디스플레이 스크린(39)의 중앙에 위치되는 십자(A)(도 5)를 정렬하는 것으로 구성된 초기 정렬이 필요하다.

도 7은 전술한 바와 같이, 70°x 42°인 카메라 시야각(FOV)(80)을 도시한다. 카메라 시야각(80)의 축소된 영역은 실제로 스마트폰(19)의 스크린에 표시된다. 도면에서 81로 표시된 이 축소된 영역이 스마트폰 FOV로 지칭된다. 스마트폰에 표시되는 카메라 시야각(80)의 영역은 정렬 프로세스에 의해 결정된다. 이 예에서, 폰에 표시되는 카메라 시야각의 일부는 35°x 35°이다. 스마트폰 스크린에 표시된 축소된 영역의 중앙은 십자(D)로 표시된다. 또한, 카메라 FOV(80) 내에 완전히 놓여있지만 스마트폰 FOV(81)에서는 부분적으로만 보이는 물체를 구성하는 장비 콘솔(82)도 도시되어 있다. 또한, 노브(83) 및 나사 헤드(84)가 도시되어 있으며, 둘 다 장비 콘솔(82)의 일부이다.

정렬을 시작하기 전에 스마트폰에 표시된 카메라 FOV의 축소된 영역(81)은 도면에 도시된 바와 같이 카메라 FOV(80)와 센터링된다. 이는 스마트폰 스크린의 픽셀 해상도와 중심을 알고, 또한 카메라 FOV의 픽셀 해상도와 중심도 알고 있는 스마트폰 애플리케이션의 제어 하에 행해진다. 로컬 사용자는 마이크로-디스플레이(39)의 중앙에 위치된 로컬 마크(A)를 나사 헤드(84)와 같은 장비 콘솔(82)의 구별 가능한 지점으로 향하게 함으로써, 도 8에 도시된 바와 같은 정렬 프로세스를 시작하고, 스마트폰을 사용하여 이미지를 포착한다.

로컬 사용자(12)는 스마트폰 스크린에 나타나는 카메라 이미지를 보고, 마크(D)가 동일한 구별 가능한 지점을 가리키는지 확인한다. 그렇지 않은 경우, 사용자는 정렬이 이루어질 때까지 마크(D)를 기준으로 스크린에서 이미지를 드래그하고 정렬을 저장한다. 이 프로세스는 만족스러운 정렬이 이루어질 때까지 반복될 수 있다. 실제로 정렬 프로세스는 로컬 스마트폰(19)이 장치(10)의 카메라(37)와 적절하게 정렬되도록 하기 위해 적용되어야 하는 스마트폰 디스플레이의 중앙에 대해 마크(D)로 지정된 카메라 FOV의 중앙의 x-y 오프셋을 결정한다.

전형적인 작동을 설명하기 위해, 로컬 사용자(12)는 관찰된 물체, 즉 장비 콘솔(82)과 관련된 지시가 필요한 운영자로 가정한다. 시각적 통신을 가능하게 하기 위해, 원격 사용자(21)는 로컬 사용자(12)가 정확히 어디를 보고 있는지 알고 있어야 하고, 그 대가로 그에게 다른 위치를 보도록 보낼 필요가 있다. 이는 다음과 같이 행해진다.

로컬 사용자(12)는 예를 들어, 노브(83)와 같은 장비 콘솔(82)의 구별 가능한 지점으로 로컬 마크(A)를 향하게 하고, 이미지를 포착하여 이를 로컬 스마트폰 애플리케이션을 통해 원격 사용자(21)에게 전송한다.

원격 사용자(21)는 원격 스마트폰 또는 PC의 스크린 이미지에서 예를 들어, 나사 헤드(84)와 같은 다른 지점을 표시한다. 이는 원격 사용자가 원격 스마트폰의 터치 스크린에서 손가락 또는 스타일러스로 나사 헤드(84)를 가리킴으로써 또는 로컬 스마트폰(19)으로부터 전달된 이미지가 표시되는 PC에서 마우스를 사용함으로써 행해진다. 이 마크는 원격 마크라고 지칭되며, 그 위치는 로컬 사용자(12)에게 다시 전송되고, 관련된 물체 또는 구성이 마이크로-디스플레이(39)의 시야각 내에 나타나면 마이크로-디스플레이(39)에 표시된다(도 5의 B).

원격 마크가 마이크로-디스플레이(39)의 시야각(10°x 8.3°) 내에 있는 경우, 로컬 사용자가 가시선을 이동하여 로컬 마크(A)를 나사 헤드(84)로 지향시키면, 원격 마크는 로컬 사용자(12)에 의해 보이는 나사 헤드(84)에 나타난다.

원격 사용자가 로컬 사용자의 주의를 끌고자 하는 카메라 FOV의 위치가 마이크로-디스플레이(39)의 시야각 외부에 있는 경우, 로컬 스마트폰(19)의 소프트웨어 애플리케이션은 사용자를 정확한 위치로 지향시키기 위해 마이크로-디스플레이(39)에 화살표 또는 동등한 내비게이션 지원을 표시한다.

로컬 사용자는 로컬 마크를 나사 헤드(84)로 향하게 함으로써 자신에게 전송된 위치를 추가로 확인할 수 있다. 원격 사용자는 필요한 경우 확인 또는 수정을 보낼 수 있다.

대안적으로, 원격 사용자(21)는 도 5의 마크(C)와 같이 정확한 위치에서 디스플레이에 나타날 보다 상세한 그래픽 마크를 전송할 수 있다. 예를 들어, 원격 사용자는 사용자의 주의를 끌고자 하는 구성의 외형 또는 윤곽을 표시하거나 추가 정보를 스케치할 수 있다.

대안적으로 또는 추가적으로, 로컬 사용자가 이제 올바른 관심 지점과 정렬되었음을 원격 사용자에게 확인하는 필수 피드백은 IMU(70) 센서 또는 이미지를 사용하는 표준 추적 기술을 사용하여 달성될 수 있다.

대안적으로, 이미지 데이터를 사용하여 올바른 위치에 원격 마크를 배치하기 위해 이미지 데이터가 사용될 수 있다.

IMU만을, 이미지만을 또는 둘 다를 추적하기 위해 IMU와 이미지의 임의의 조합이 사용될 수 있음이 명백하다.

두 경우 모두 장치는 이미지를 추적하여 각 시점에서 해당 물에 마크가 투영되도록 한다.

대안적으로, 통신 대역폭이 허용하는 경우, 실시간 비디오 전송이 사용될 수 있다.

전술한 사용, 즉, 유지 관리를 목적을 위해 로컬 사용자와 원격 사용자 간의 통신은 예일 뿐이다. 실외 내비게이션(도시 또는 시골), 가상 물체를 환경 및 게임(예컨대, 포켓몬(

))에 투영하기 위한 실내 AR과 같은 다른 많은 응용도 가능하다. 프로세싱은 로컬에서 또는 외부 서버의 지원을 통해 수행될 수 있다.

로컬 사용자 및 원격 사용자 간의 정확한 통신 특성에 관계없이, 원격 사용자가 로컬 사용자와 동일한 장면을 볼 수 있도록 장치가 정렬되어야 한다. 이는 로컬 사용자의 가시선이 확립되고, 관심 물체가 사용자의 가시선과 정렬될 것을 요구한다. 설명된 실시예에서, 이는 로컬 사용자에 의해 관찰된 장면에 대해 일정 거리에서 투영되는 십자선과 같은 이미지를 표시하는 마이크로-디스플레이를 사용하여 행해진다. 따라서, 마이크로-디스플레이(39)는 사용자의 가시선을 장면으로 향하게 하기 위해 사용자의 시야각의 중앙에 마크를 표시하는 가시선 가이드 유닛을 구성한다. 또한, 마이크로-디스플레이는 원격 사용자에 의해 로컬 스마트폰으로 전달되는 이미지를 투영하는 기능도 한다. 그러나, 원격 사용자로부터 마크를 받을 필요가 없는 애플리케이션이 있을 수 있다. 이러한 경우에, 마이크로-디스플레이 및 가시선 가이드 유닛은 예컨대, 에칭되거나 그렇지 않으면 로컬 사용자에 의해 무한대에서 보여지도록 광학 장치(40)의 초점에 형성되는 레티클과 같은 다른 형태를 취할 필요가 없을 수 있다.

본 발명에 따른 핸드-헬드 통신 장치는 일반적으로 적절하게 프로그래밍된 스마트폰이다. 그러나, 이는 통신 인터페이스 및 마이크로-디스플레이 이미지에 대해 카메라 이미지를 이동시킬 수 있는 능력을 갖는 임의의 휴대용, 바람직하게는 핸드-헬드 컴퓨터일 수 있다. 이를 위해, 핸드-헬드 통신 장치에는 일반적으로 이미지를 드래그하기 위한 터치 스크린이 있다. 그러나, 핸드-헬드 통신 장치는 마우스 또는 다른 포인팅 장치를 사용하여 디스플레이 이미지가 이동되도록 하는 적절한 소프트웨어 하에서 작동할 수 있다. 따라서, 본 발명 및 첨부된 청구 범위 내에서, "컴퓨터"라는 용어는 CPU, 디스플레이, GUI(그래픽 사용자-인터페이스) 및 통신 인터페이스를 갖는 임의의 장치를 포괄하는 것으로 의도된다.

마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위한 핸드-헬드 통신 장치의 프로세싱 유닛에 의해 판독 가능한 컴퓨터 프로그램을 고려한다. 본 발명은 또한 본 발명의 방법을 실행하기 위해 기계에 의해 실행 가능한 명령 프로그램을 유형적으로 구현하는 기계-판독 가능 메모리를 고려한다.

Claims

클립-온 유닛을 갖는 분리 가능한 안경-장착 증강 현실(AR) 장치로,
상기 장치(10)는,
클립-온 유닛을 지지하도록 구성된 하우징(31),
사용자가 장면을 관찰하는 하우징의 출구 윈도우(30) 및 입구 윈도우(30'),
핸드-헬드 장치에 연결하기 위한 통신 인터페이스(71, 74),
카메라 윈도우(36)를 통해 사용자에 의해 관찰되는 장면을 이미지화하고, 상기 장면의 이미지를 핸드-헬드 장치로 전달하도록 구성된 하우징 내의 카메라(37),
사용자의 가시선을 장면의 지정된 구성으로 지향시키기 위해 사용자의 시야각에 적어도 하나의 마커를 표시하는 가시선 가이드 유닛(39), 및
사용자가 보는 장면에 중첩하기 위한 거리에서 마커를 투영하는 하우징 내의 광학 장치(40)를 포함하고,
상기 클립-온 유닛(50)은 사용자가 착용한 안경 프레임의 전방에 AR 장치를 분리 가능하게 장착하도록 구성되고, 출구 윈도우를 사용자의 가시선과 정렬하기 위해 안경 프레임에 대한 장치의 측면 변위를 가능하게 하는 것을 특징으로 하는 장치.
제1항에 있어서,
클립-온 유닛(50)은,
사용자가 착용한 안경의 전방에 부착하도록 구성된 제1 부재(51), 및
장치의 장착 브래킷(32)에 부착될 수 있고, 출구 윈도우를 사용자의 가시선과 정렬시키기 위해 부착된 장치가 상기 안경의 접안 렌즈에 대해 측면 방향으로 이동 가능하도록 제1 부재에 대해 이동 가능한 제2 부재(57)를 포함하는 것을 특징으로 하는 장치.
제1항 또는 제2항에 있어서,
제1 부재(51)는 장치의 장착 브래킷에 부착되도록 구성된 한 쌍의 골조(60)에 힌지식으로 부착되고,
클립 암(65)이 제1 부재에 부착되고, 제1 부재에 대해 측면 방향으로 변위 가능한 것을 특징으로 하는 장치.
제3항에 있어서,
클립 암은 탄성적으로 편향되어서, 클립 암의 대향 단부들이 각각의 골조(58)를 향하도록 하여 장치의 출구 윈도우가 안경 접안 렌즈의 전방에 있는 상태로 사용자가 착용한 안경(11)이 클립 암과 골조 사이에 파지되도록 하고, 출구 윈도우(30)를 사용자의 가시선과 정렬하기 위해 지지체 및 부착된 장치가 측면 방향으로 이동 가능한 것을 특징으로 하는 장치.
제3항 또는 제4항에 있어서,
클립 암(65)은, 지지체(51)에 부착된 한 쌍의 너클(53)에 장착되어 상기 너클에 대해 회전 가능하고 축 방향으로 병진 이동될 수 있는 긴 직선 부분을 포함하는 것을 특징으로 하는 장치.
제4항에 있어서,
클립 암(65)은 스프링(67)에 의해 골조(58)를 향해 편향되는 것을 특징으로 하는 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 장치는 원격 사용자로부터 전달된 정보를 표시하도록 구성된 마이크로-디스플레이(39)를 또한 포함하는 것을 특징으로 하는 장치.
제7항에 있어서,
마이크로-디스플레이는 가시선 가이드 유닛으로 작동하도록 구성되는 것을 특징으로 하는 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
가시선 가이드 유닛은 마이크로-디스플레이인 것을 특징으로 하는 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
가시선 가이드 유닛은 레티클인 것을 특징으로 하는 장치.
제1항 내지 제10항 중 어느 한 항에 있어서,
장치의 움직임을 추적하여 로컬 사용자의 머리 움직임을 추적하기 위한 IMU(관성 자기 유닛)(70)를 또한 포함하는 것을 특징으로 하는 장치.
제1항 내지 제11항 중 어느 한 항에 있어서,
통신 인터페이스는 무선인 것을 특징으로 하는 장치.
제1항 내지 제11항 중 어느 한 항에 있어서,
통신 인터페이스는 유선인 것을 특징으로 하는 장치.
제1항 내지 제13항 중 어느 한 항에 있어서,
클립-온 유닛은 장치로부터 분리 가능한 것을 특징으로 하는 장치.
제1항 내지 제13항 중 어느 한 항에 있어서,
클립-온 유닛은 장치와 통합되는 것을 특징으로 하는 장치.
사용자(12)가 착용한 안경 프레임(11)에 장착된 증강 현실 장치(10)에서 로컬 사용자(12)와 카메라가 보는 각각의 시야각을 정렬하는 방법으로,
카메라(37)와 사용자는 다른 윈도우를 통해 장면을 보고, 사용자의 가시선을 장면의 관심있는 제1 구성을 향하도록 하기 위해 사용자의 눈이 장면에 투영된 마커와 정렬하여 장면을 보며,
상기 방법은,
카메라(37)가 관찰한 장면을 제1 디지털 이미지로 캡처하는 단계;
장면의 제1 디지털 이미지를 카메라로부터 터치 스크린 상에 표시하는 핸드-헬드 통신 장치(19)로 전달하는 단계;
관심있는 제1 구성과 정확한 공간 정렬로 표시를 터치 스크린에 중첩하는 단계; 및
필요한 경우 표시가 관심있는 제1 구성과 정렬될 때까지 제1 디지털 이미지를 드래그하는 단계를 포함하고,
이에 의해, 사용자(12)와 카메라가 보는 각각의 시야각이 정렬되는 것을 특징으로 하는 방법.
제1항 내지 제15항 중 어느 한 항에 따른 어셈블리를 착용한 로컬 사용자(12)와 원격 사용자(21) 사이에서 디지털 이미지를 양방향으로 전달하는 방법으로,
상기 방법은,
로컬 사용자(12) 및 상기 어셈블리 내의 카메라가 보는 각각의 시야각을 정렬하기 위해 제16항의 방법을 수행하는 단계; 및
원격 사용자가 로컬 사용자에 의해 관찰된 것과 유사한 공간 정렬로 장면 및 관심있는 제1 구성을 보도록 원격 사용자가 보는 디스플레이 장치에 제1 디지털 이미지를 전달하는 단계를 포함하는 것을 특징으로 하는 방법.
제17항에 있어서,
로컬 사용자를 상기 장면의 관심있는 제2 구성으로 향하게 하기 위해 장면의 제1 디지털 이미지 상에 중첩되도록, 핸드-헬드 통신 장치(19)에서 마이크로-디스플레이 상에 표시하는 내비게이션 지원을 수신하는 단계를 또한 포함하는 것을 특징으로 하는 방법.
제18항에 있어서,
내비게이션 지원은 관심있는 제2 구성과 정렬하여 제1 디지털 이미지에 중첩되는 마크인 것을 특징으로 하는 방법.
18항에 있어서,
내비게이션 지원은 관심있는 제2 구성이 제1 디지털 이미지에 존재하지 않는 경우 상기 가시선을 변경하도록 로컬 사용자에게 지시하는 것을 특징으로 하는 방법.
제17항 내지 제20항 중 어느 한 항에 있어서,
원격 사용자에 의해 사용되는 원격 통신 장치(22)로부터 핸드-헬드 통신 장치(19)로 제3 이미지가 전달되는 것을 특징으로 하는 방법.
컴퓨터에서 실행될 때 제17항 내지 제21항 중 어느 한 항에 따른 방법을 실행하는 프로그램 코드를 나타내는 데이터를 저장하기 위한 컴퓨터-판독 가능 메모리.